CN113436067B - 一种自学习的超分辨率三维光声血管图像重建方法及系统 - Google Patents

一种自学习的超分辨率三维光声血管图像重建方法及系统 Download PDF

Info

Publication number
CN113436067B
CN113436067B CN202110561584.XA CN202110561584A CN113436067B CN 113436067 B CN113436067 B CN 113436067B CN 202110561584 A CN202110561584 A CN 202110561584A CN 113436067 B CN113436067 B CN 113436067B
Authority
CN
China
Prior art keywords
resolution
vessel
photoacoustic
dimensional
dimensional photoacoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110561584.XA
Other languages
English (en)
Other versions
CN113436067A (zh
Inventor
马海钢
黄庆华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Shenzhen Institute of Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Shenzhen Institute of Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University, Shenzhen Institute of Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110561584.XA priority Critical patent/CN113436067B/zh
Publication of CN113436067A publication Critical patent/CN113436067A/zh
Application granted granted Critical
Publication of CN113436067B publication Critical patent/CN113436067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种自学习的超分辨率三维光声血管图像重建方法及系统。所述自学习的超分辨率三维光声血管图像重建方法及系统，首先采用邻域嵌入和自相似性的方法充分挖掘二维光声图像内部存在的多角度和多尺度的相似结构，并采用约束重建方法增强分辨率；然后将三维重建问题转换为二维图像的超分辨率问题，通过不同层面二维光声血管图像的超分辨率结果融合来重建各向同性数据的三维光声血管图像；最终实现在少量样本数据的前提下，对三维光声血管数据进行超分辨率图像重建。与现有光声血管图像增强技术相比，本发明解决了光声血管图像数据的高维度、数据量和处理难度大的问题，极大的改善了三维光声血管图像分辨率和信噪比。

Description

一种自学习的超分辨率三维光声血管图像重建方法及系统
技术领域
本发明属于光声显微成像技术领域，涉及一种自学习的超分辨率三维光声血管图像重建方法及系统，还涉及用于三维光声血管图像的深度学习技术的部分。
背景技术
随着高分辨率、大视场、快速光声成像技术的不断发展，高分辨光声显微术结合临床人体浅表血管学的特征成为光声成像技术临床推广应用的一个重要的方向。根据光学和声学配置的不同，目前光声显微术主要分为光分辨率和声分辨率成像模式。光学分辨率光声显微系统虽然能够实现对人体皮肤内的黑色素细胞及真皮微血管网络的高分辨率可视化，但其受光子散射影响，人体皮肤组织内光的聚焦一般局限于深度不超过1mm范围内，难以满足人体浅表深层组织微血管的无损高分辨显像要求。而声学分辨率光声显微系统利用高频超声波的低散射和深聚焦的优势，最大成像深度可达几个厘米，其在无创高分辨率血管成像中表现出较高的临床应用价值。
对于声学分辨率光声显微系统，虽然利用合成孔径聚焦技术(SAFTs)技术的大数值孔径超声换能器可以提高离焦区域的横向分辨率，相当于延长了焦深，但恢复的横向分辨率要比超声换能器聚焦区域的原始横向分辨率差，且信噪比低，尤其是在远离声焦点的区域。同时由于血管是管状结构，因此利用SAFTs合成沿实际柱面超声波的光声信号是非常困难的。此外，采用现有的反褶积、像素校正及深度学习等方法虽然能够很好的提高离焦区域的横向分辨率，但需要较高的计算成本或者较大的样本量。
鉴于现有的三维光声血管图像分辨率与对比度增强技术的效果差、耗时长、样本量大等缺点。然而，快速、高维度、小样本图像超分辨率方法在光声血管成像领域存在重大的临床应用需求。因此，如何实现在少量样本数据的前提下，对三维光声血管数据进行超分辨率图像重建，是本领域亟需解决的技术问题。
发明内容
本发明的目的提供一种自学习的超分辨率三维光声血管图像重建方法及系统，以解决光声血管图像数据的高维度、数据量和处理难度大的问题。本发明中的自学习的超分辨率三维光声血管图像重建方法及系统具有快速、高维度、小样本、鲁棒性强等特点，可以适配各种光声显微成像系统，更重要的是完全可适配于临床血管检测的声分辨率光声显微成像系统及仪器设备。
为了实现上述目的，本发明提供了如下方案：
对于初始的三维光声血管数据，通过插值算法将原始数据沿扫描面方向内插成为各向同性的三维光声血管数据；
然后，在由所述各向同性的三维光声血管数据组成的三维光声血管图像的至少两个切面上获得多个低分辨率二维光声血管断层图像；
根据所述低分辨率二维光声血管断层图像自身的冗余性来建立超-低分辨率数据的映射关系；
通过所述低分辨率二维光声血管断层图像自身构建训练样本库；
基于所述训练样本库对所述低分辨率二维光声血管断层图像进行重建获得高分辨率二维光声血管断层图像；
利用非局部先验知识的增强策略，进一步基于所述高分辨率二维光声血管断层图像提高分辨率精度获得超分辨率二维光声血管断层图像；
将所述低分辨率二维光声血管断层图像序列的前后若干帧图像同时作为多通道网络的输入，根据所述超-低分辨率数据的映射关系得到超分辨率二维光声血管断层图像序列；
将不同方向切面重建的所述超分辨率二维光声血管断层图像序列融合获得重建的超分辨率三维光声血管图像。
可选的，根据所述低分辨率二维光声血管断层图像自身的冗余性来建立超-低分辨率数据的映射关系；进而通过所述低分辨率二维光声血管断层图像自身构建训练样本库，采取邻域嵌入的策略，通过最优化重构误差以保证所述低分辨率二维光声血管断层图像局部特征的完整性与连续性；具体包括：
对于输入所述低分辨率二维光声血管断层图像Y1，将其上采样得到二维光声血管断层图像X2；同时将Y1降质生成二维光声血管断层图像X1，然后下采样再上采样，具体定义如下：
X1＝((Y1*G)↓s)↑s
其中，G代表着模糊核函数，通常采用的是各向异性的高斯模糊核，*表示卷积操作，↓和↑分别表示下采样和上采样，s为放大倍数。
可选的，基于所述训练样本库对所述低分辨率二维光声血管断层图像进行重建获得高分辨率二维光声血管断层图像，具体包括：
将X2分成若干的有重叠的光声血管图像块，对每一个光声血管图像块
Figure BDA0003079213870000031
在训练样本库中的低分辨率光声血管断层图像集中寻找k个最相似的光声血管图像块
Figure BDA0003079213870000032
其中q代表若干个有重叠的光声血管图像块中的任意一个；
计算每个相似块
Figure BDA0003079213870000033
对
Figure BDA0003079213870000034
的重建权重系数Wiq，为了获取最优权重，拟采用求解能量方程：
Figure BDA0003079213870000035
根据邻域嵌入算法，重建权重系数在邻域范围将相似块的空间位置与重建权重系数映射到高分辨率空间，重建公式如下所示:
Figure BDA0003079213870000036
将含有重叠部分的所有图像块排列组合，重叠部分取均值，从而可以得到高分辨率二维光声血管断层图像。
可选的，所述利用非局部先验知识的增强策略，进一步基于所述高分辨率二维光声血管断层图像提高分辨率精度获得超分辨率二维光声血管断层图像，其中：
非局部先验知识的公式定义如下：
Figure BDA0003079213870000041
其中，Yi是高分辨率二维光声血管断层图像中的图像块，Si和Wi N是其N个最相似的图像块和相对权重系数，
Figure BDA0003079213870000042
为超分辨率二维光声血管断层图像。
可选的，将所述低分辨率二维光声血管断层图像序列的前后若干帧图像同时作为多通道二维卷积网络的输入，其中：
所述多通道二维卷积神经网络的所述超-低分辨率数据的映射关系用数学关系式可表示为：
Figure BDA0003079213870000043
其中，Sx是从不同方向切面上提取的低分辨率二维光声血管断层图像，而Sy是对应的超分辨率二维光声血管断层图像，N是低分辨率二维光声血管断层图像样本的总数量；函数f(·)是卷积神经网络拟合低分辨率图像到超分辨率图像的映射函数。
可选的，所述将不同方向切面重建的二维光声血管图像序列融合获得三维重建，具体包括：
对不同方向切面所述低分辨率二维光声血管断层图像进行超分辨率处理后，便可以得到不同方向切面上超分辨率二维光声血管断层图像，分别为X1,...Xn；然后通过图像融合的方法获得最终的三维光声血管图像重建；其得到的超分辨率三维光声血管图像用数学关系式可表示为：
X＝(X1+...+Xn)/n，1≤n≤3。
本发明还提供了一种自学习的超分辨率三维光声血管图像重建系统，所述系统包括：
图像插值模块，用于对于初始的三维光声血管数据，通过插值算法将原始数据沿扫描面方向内插成为各向同性的三维光声血管数据；
图像维度转化模块，在由所述各向同性的三维光声血管数据组成的三维光声血管图像的至少两个切面上获得多个低分辨率二维光声血管断层图像；
图像样本库模块，根据所述低分辨率二维光声血管断层图像自身的冗余性来建立超-低分辨率数据的映射关系；进而通过所述低分辨率二维光声血管断层图像自身构建训练样本库；
二维图像重建模块，用于基于所述训练样本库对所述低分辨率二维光声血管断层图像进行重建获得高分辨率二维光声血管断层图像；
图像增强策略模块，用于利用非局部先验知识的增强策略，进一步基于所述高分辨率二维光声血管断层图像提高分辨率精度获得超分辨率二维光声血管断层图像；
多通道卷积神经网络模块，用于将所述低分辨率二维光声血管断层图像序列的前后若干帧图像同时作为多通道网络的输入，根据所述超-低分辨率数据的映射关系得到超分辨率二维光声血管断层图像序列；
三维图像重建模块，用于将不同方向切面重建的所述超分辨率二维光声血管断层图像序列融合获得重建的超分辨率三维光声血管图像。
有益效果
本发明提供一种自学习的超分辨率三维光声血管图像重建方法及系统，采用所述自学习的超分辨率三维光声血管图像重建方法及系统，能够实现在少量样本数据的前提下，对三维光声血管数据进行超分辨率图像重建。与现有光声血管图像增强技术相比，本发明解决了光声血管图像数据的高维度、数据量和处理难度大的问题，极大的改善了三维光声血管图像分辨率和信噪比，在匹配光声显微仪器的临床应用方面能够达到更佳的效果。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供一种自学习的超分辨率三维光声血管图像重建方法及系统的方法流程图；
图2为自学习的二维光声血管图像超分辨率重建算法模块；
图3为多通道卷积神经网络模块；
图4为二维卷积神经网络的三维光声血管图像超分辨率算法模块；
图5为光声血管数据通过本方法得到的超分辨结果。
图6为本发明提供的自学习的超分辨率三维光声血管图像重建系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外、术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种自学习的超分辨率三维光声血管图像重建方法及系统，以实现在少量样本数据的前提下，对三维光声血管数据进行超分辨率图像重建。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明提供的一种自学习的超分辨率三维光声血管图像重建方法的方法流程图。参见图1，本发明提供的种自学习的超分辨率三维光声血管图像重建方法包括：
步骤101：对于初始的三维光声血管数据，通过插值算法将原始数据沿扫描面方向内插成为各向同性的三维光声血管数据；
步骤102：在由所述各向同性的三维光声血管数据组成的三维光声血管图像的至少两个切面上获得多个低分辨率二维光声血管断层图像；本实施例中将对冠状面和矢状面两个方向上的光声血管断层图像序列进行二维图像超分辨重建，以获得相应面的超分辨光声血管断层图像。
步骤103：根据所述低分辨率二维光声血管断层图像自身的冗余性来建立超-低分辨率数据的映射关系；进而通过所述低分辨率二维光声血管断层图像自身构建训练样本库，采取邻域嵌入的策略，通过最优化重构误差以保证所述低分辨率二维光声血管断层图像局部特征的完整性与连续性；具体包括：
对于输入所述低分辨率二维光声血管断层图像Y1，将其上采样得到二维光声血管断层图像X2；同时将Y1降质生成二维光声血管断层图像X1，然后下采样再上采样，具体定义如下：
X1＝((Y1*G)↓s)↑s
其中，G代表着模糊核函数，通常采用的是各向异性的高斯模糊核，*表示卷积操作，↓和↑分别表示下采样和上采样，s为放大倍数。
步骤104：基于所述训练样本库对所述低分辨率二维光声血管断层图像重建获得高分辨率二维光声血管断层图像，图2为自学习的二维光声血管图像超分辨率重建算法模块，具体包括：
将X2分成若干的有重叠的光声血管图像块，对每一个光声血管图像块
Figure BDA0003079213870000081
在训练样本库中的低分辨率光声血管断层图像集中寻找k个最相似的光声血管图像块
Figure BDA0003079213870000082
其中q代表若干个有重叠的光声血管图像块中的任意一个；
计算每个相似块
Figure BDA0003079213870000083
对
Figure BDA0003079213870000084
的重建权重系数Wiq，为了获取最优权重，拟采用求解能量方程：
Figure BDA0003079213870000085
根据邻域嵌入算法，重建权重系数在邻域范围将相似块的空间位置与重建权重系数映射到高分辨率空间，重建公式如下所示:
Figure BDA0003079213870000086
将含有重叠部分的所有图像块排列组合，重叠部分取均值，从而可以得到高分辨率二维光声血管断层图像。
步骤105：所述利用非局部先验知识的增强策略，进一步基于所述高分辨率二维光声血管断层图像提高分辨率精度获得超分辨率二维光声血管断层图像，具体包括：
非局部先验知识的公式定义如下：
Figure BDA0003079213870000087
其中，Yi是高分辨率二维光声血管断层图像中的图像块，Si和Wi N是其N个最相似的图像块和相对权重系数，
Figure BDA0003079213870000088
为超分辨率二维光声血管断层图像。
步骤106：将所述低分辨率二维光声血管断层图像序列的前后若干帧图像同时作为多通道二维卷积网络的输入，根据所述超-低分辨率数据的映射关系得到超分辨率二维光声血管断层图像序列，图3为多通道卷积神经网络模块，具体包括：
所述多通道二维卷积神经网络的所述超-低分辨率数据的映射关系用数学关系式可表示为：
Figure BDA0003079213870000091
其中，Sx是从不同方向切面上提取的低分辨率二维光声血管断层图像，而Sy是对应的超分辨率二维光声血管断层图像，N是低分辨率二维光声血管断层图像样本的总数量；函数f(·)是卷积神经网络拟合低分辨率图像到超分辨率图像的映射函数。
步骤107：将冠状面和矢状面重建的二维光声血管图像序列融合获得三维重建，具体包括：
对冠状面和矢状面一系列光声血管断层图像进行超分辨率处理后，便可以得到两个方向上超分辨率二维光声血管断层图像，分别为X1和X2。然后通过图像融合的方法获得最终的三维光声血管图像重建。其得到的超分辨率三维光声血管图像用数学关系式可表示为：
X＝(X1+X2)/2
其中，图4为二维卷积神经网络的三维光声血管图像超分辨率算法模块。
最终得到的三维光声血管图像超分辨率重建的结果为图5。
本发明还提供了一种自学习的超分辨率三维光声血管图像重建系统。图6为本发明提供的自学习的超分辨率三维光声血管图像重建系统的结构示意图。参见图6，所述系统包括：
图像插值模块601，用于对于初始的三维光声血管数据，通过插值算法将原始数据沿扫描面方向内插成为各向同性的三维光声血管数据；
图像维度转化模块602，在由所述各向同性的三维光声血管数据组成的三维光声血管图像的至少两个切面上获得多个低分辨率二维光声血管断层图像；
图像样本库模块603，用于根据所述低分辨率二维光声血管断层图像自身的冗余性来建立超-低分辨率数据的映射关系；进而通过所述低分辨率二维光声血管断层图像自身构建训练样本库；
二维图像重建模块604，用于基于所述训练样本库对所述低分辨率二维光声血管断层图像进行重建获得高分辨率二维光声血管断层图像；
图像增强策略模块605，用于利用非局部先验知识的增强策略，进一步基于所述高分辨率二维光声血管断层图像提高分辨率精度获得超分辨率二维光声血管断层图像；
多通道卷积神经网络模块606，用于将将所述低分辨率二维光声血管断层图像序列的前后若干帧图像同时作为多通道网络的输入，根据所述超-低分辨率数据的映射关系得到超分辨率二维光声血管断层图像序列；
三维图像重建模块607，用于将不同方向切面重建的所述超分辨率二维光声血管断层图像序列融合获得重建的超分辨率三维光声血管图像。
正如背景技术部分所述，鉴于现有的光声血管图像分辨率与对比度增强技术的效果差、耗时长、样本量大等缺点，本发明提供了一种自学习的超分辨率三维光声血管图像重建方法及，可实现在少量样本数据的前提下，利用深度学习和多通道二维卷积神经网络框架对三维光声血管数据进行超分辨率图像高精度重建。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种自学习的超分辨率三维光声血管图像重建方法，其特征在于，所述方法包括：
对于初始的三维光声血管数据，通过插值算法将原始数据沿扫描面方向内插成为各向同性的三维光声血管数据；
然后，在由所述各向同性的三维光声血管数据组成的三维光声血管图像的至少两个切面上获得多个低分辨率二维光声血管断层图像；
根据所述低分辨率二维光声血管断层图像自身的冗余性来建立超-低分辨率数据的映射关系；进而通过所述低分辨率二维光声血管断层图像自身构建训练样本库；
基于所述训练样本库对所述低分辨率二维光声血管断层图像进行重建获得高分辨率二维光声血管断层图像，并利用非局部先验知识的增强策略，进一步基于所述高分辨率二维光声血管断层图像提高分辨率精度获得超分辨率二维光声血管断层图像；
将所述低分辨率二维光声血管断层图像序列的前后若干帧图像同时作为多通道网络的输入，根据所述超-低分辨率数据的映射关系得到超分辨率二维光声血管断层图像序列；
将不同方向切面重建的所述超分辨率二维光声血管断层图像序列融合获得重建的超分辨率三维光声血管图像；
根据所述低分辨率二维光声血管断层图像自身的冗余性来建立超-低分辨率数据的映射关系；进而通过所述低分辨率二维光声血管断层图像自身构建训练样本库，采取邻域嵌入的策略，通过最优化重构误差以保证所述低分辨率二维光声血管断层图像局部特征的完整性与连续性；具体包括：
对于输入所述低分辨率二维光声血管断层图像Y1，将其上采样得到二维光声血管断层图像X2；同时将Y1降质生成二维光声血管断层图像X1，然后下采样再上采样，具体定义如下：
X1＝((Y1*G)↓s)↑s
其中，G代表着模糊核函数，通常采用的是各向异性的高斯模糊核，*表示卷积操作，↓和↑分别表示下采样和上采样，s为放大倍数；
所述基于所述训练样本库对所述低分辨率二维光声血管断层图像进行重建获得高分辨率二维光声血管断层图像，具体包括：
将X2分成若干的有重叠的光声血管图像块，对每一个光声血管图像块
Figure FDA0004165147330000021
在训练样本库中的低分辨率光声血管断层图像集中寻找k个最相似的光声血管图像块
Figure FDA0004165147330000022
其中q代表若干个有重叠的光声血管图像块中的任意一个，i为k值范围变量；
计算每个相似块
Figure FDA0004165147330000023
对
Figure FDA0004165147330000024
的重建权重系数wiq，为了获取最优权重，拟采用求解能量方程：
Figure FDA0004165147330000025
根据邻域嵌入算法，重建权重系数在邻域范围将相似块的空间位置与重建权重系数映射到高分辨率空间，重建公式如下所示:
Figure FDA0004165147330000026
将含有重叠部分的所有图像块
Figure FDA0004165147330000027
排列组合，重叠部分取均值，从而可以得到高分辨率二维光声血管断层图像；
所述利用非局部先验知识的增强策略，进一步基于所述高分辨率二维光声血管断层图像提高分辨率精度获得超分辨率二维光声血管断层图像，其中：
非局部先验知识的公式定义如下：
Figure FDA0004165147330000031
其中，YI是高分辨率二维光声血管断层图像中的图像块，SI和WI N是其N个最相似的图像块和相对权重系数，
Figure FDA0004165147330000032
为超分辨率二维光声血管断层图像的完整目标函数，Y为期待重建出的光声血管断层图像，I为Y值范围变量。
2.根据权利要求1所述的一种自学习的超分辨率三维光声血管图像重建方法，其特征在于，将所述低分辨率二维光声血管断层图像序列的前后若干帧图像同时作为多通道二维卷积网络的输入，其中：
所述多通道二维卷积神经网络的所述超-低分辨率数据的映射关系用数学关系式可表示为：
Figure FDA0004165147330000033
其中，Sx是从不同方向切面上提取的低分辨率二维光声血管断层图像，而Sy是对应的超分辨率二维光声血管断层图像，N是低分辨率二维光声血管断层图像样本的总数量；函数f(·)是卷积神经网络拟合低分辨率图像到超分辨率图像的映射函数，δ为N值范围变量。
3.根据权利要求1所述的一种自学习的超分辨率三维光声血管图像重建方法，其特征在于，所述将不同方向切面重建的二维光声血管图像序列融合获得三维重建，具体包括：
对不同方向切面所述低分辨率二维光声血管断层图像进行超分辨率处理后，便可以得到不同方向切面上超分辨率二维光声血管断层图像，分别为X1,...Xn；然后通过图像融合的方法获得最终的三维光声血管图像重建；其得到的超分辨率三维光声血管图像用数学关系式可表示为：
X＝(X1+...+Xn)/n，1≤n≤3。
4.用于执行权利要求1至3之一所述方法的一种自学习的超分辨率三维光声血管图像重建系统，其特征在于，所述系统包括：
图像插值模块，用于对于初始的三维光声血管数据，通过插值算法将原始数据沿扫描面方向内插成为各向同性的三维光声血管数据；
图像维度转化模块，在由所述各向同性的三维光声血管数据组成的三维光声血管图像的至少两个切面上获得多个低分辨率二维光声血管断层图像；
图像样本库模块，用于根据所述低分辨率二维光声血管断层图像自身的冗余性来建立超-低分辨率数据的映射关系；进而通过所述低分辨率二维光声血管断层图像自身构建训练样本库；
二维图像重建模块，用于基于所述训练样本库对所述低分辨率二维光声血管断层图像进行重建获得高分辨率二维光声血管断层图像；
图像增强策略模块，用于利用非局部先验知识的增强策略，进一步基于所述高分辨率二维光声血管断层图像提高分辨率精度获得超分辨率二维光声血管断层图像；
多通道卷积神经网络模块，用于将所述低分辨率二维光声血管断层图像序列的前后若干帧图像同时作为多通道网络的输入，根据所述超-低分辨率数据的映射关系得到超分辨率二维光声血管断层图像序列；
三维图像重建模块，用于将不同方向切面重建的所述超分辨率二维光声血管断层图像序列融合获得重建的超分辨率三维光声血管图像。
CN202110561584.XA 2021-05-22 2021-05-22 一种自学习的超分辨率三维光声血管图像重建方法及系统 Active CN113436067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110561584.XA CN113436067B (zh) 2021-05-22 2021-05-22 一种自学习的超分辨率三维光声血管图像重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110561584.XA CN113436067B (zh) 2021-05-22 2021-05-22 一种自学习的超分辨率三维光声血管图像重建方法及系统

Publications (2)

Publication Number Publication Date
CN113436067A CN113436067A (zh) 2021-09-24
CN113436067B true CN113436067B (zh) 2023-05-09

Family

ID=77802695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110561584.XA Active CN113436067B (zh) 2021-05-22 2021-05-22 一种自学习的超分辨率三维光声血管图像重建方法及系统

Country Status (1)

Country Link
CN (1) CN113436067B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661377B (zh) * 2022-12-28 2023-05-05 中国科学院自动化研究所 自监督深度学习及构建各向同性超分辨率三维图像的方法
CN117974448A (zh) * 2024-04-02 2024-05-03 中国科学院自动化研究所 三维医学图像各向同性超分辨方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2800189B1 (fr) * 1999-10-26 2002-01-11 Ge Medical Syst Sa Procede de reconstruction multi-resolutions d'une image tridimensionnelle d'un objet, en particulier une image tridimensionnelle angiographique
DE102006006451A1 (de) * 2006-02-10 2007-08-16 Siemens Ag Verfahren zum Betrieb einer Röntgendiagnostikeinrichtung zur Erzeugung hochaufgelöster Subtraktionsangiographie-Bilder
CN105931179B (zh) * 2016-04-08 2018-10-26 武汉大学 一种联合稀疏表示与深度学习的图像超分辨率方法及系统
CN105976321B (zh) * 2016-05-11 2019-07-23 湖南大学 一种光学相干断层图像超分辨率重建方法和装置
CN107944379B (zh) * 2017-11-20 2020-05-15 中国科学院自动化研究所 基于深度学习的眼白图像超分辨率重建与图像增强方法
WO2020056274A1 (en) * 2018-09-14 2020-03-19 The Johns Hopkins University Machine learning processing of contiguous slice image data
CN111968222B (zh) * 2020-08-04 2022-07-05 西北工业大学 一种人体组织非静止状态下三维超声重建方法
CN112669209B (zh) * 2020-12-24 2023-06-16 华中科技大学 一种三维医学图像超分辨率重建方法和系统

Also Published As

Publication number Publication date
CN113436067A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN113436067B (zh) 一种自学习的超分辨率三维光声血管图像重建方法及系统
Vu et al. Deep image prior for undersampling high-speed photoacoustic microscopy
CN111956180B (zh) 一种重建光声内窥层析图像的方法
Ly et al. Full-view in vivo skin and blood vessels profile segmentation in photoacoustic imaging based on deep learning
CN113052936A (zh) 集成fdk和深度学习的单视角ct重建方法
Seong et al. Three-dimensional reconstructing undersampled photoacoustic microscopy images using deep learning
Kim et al. Integrated deep learning framework for accelerated optical coherence tomography angiography
CN114187181B (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
Kim et al. Deep learning alignment of bidirectional raster scanning in high speed photoacoustic microscopy
CN115147404A (zh) 一种双重特征融合mra图像的颅内动脉瘤分割方法
CN116863014A (zh) 一种基于深度双域联合引导学习的ldct图像重建方法
Do et al. 7T MRI super-resolution with Generative Adversarial Network
CN117237196A (zh) 基于隐式神经表征的脑部mri超分辨率重建方法及系统
Huh et al. Tunable image quality control of 3-D ultrasound using switchable CycleGAN
Wen et al. Convolutional neural network-based speckle tracking for ultrasound strain elastography: an unsupervised learning approach
Lu et al. An enhanced multiscale generation and depth-perceptual loss-based super-resolution network for prostate ultrasound images
Dang et al. LVSegNet: a novel deep learning-based framework for left ventricle automatic segmentation using magnetic resonance imaging
CN105303537A (zh) 一种医学图像三维血管显示增强方法
Khavari et al. Non-local super resolution in ultrasound imaging
CN102078203B (zh) 超声3d扫描导向和重建方法和装置及其系统
Zou et al. PA-NeRF, a neural radiance field model for 3D photoacoustic tomography reconstruction from limited Bscan data
CN114494482A (zh) 一种基于平扫ct生成ct血管成像的方法
Feng et al. Image enhancement in acoustic-resolution photoacoustic microscopy enabled by a novel directional algorithm
Cammarasana et al. Super-resolution of 2D ultrasound images and videos
CN111932443A (zh) 多尺度表达结合造影剂提升超声与磁共振配准精度的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant