CN111956180B - 一种重建光声内窥层析图像的方法 - Google Patents

一种重建光声内窥层析图像的方法 Download PDF

Info

Publication number
CN111956180B
CN111956180B CN201910416880.3A CN201910416880A CN111956180B CN 111956180 B CN111956180 B CN 111956180B CN 201910416880 A CN201910416880 A CN 201910416880A CN 111956180 B CN111956180 B CN 111956180B
Authority
CN
China
Prior art keywords
neural network
photoacoustic
network model
light absorption
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910416880.3A
Other languages
English (en)
Other versions
CN111956180A (zh
Inventor
孙正
闫向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN201910416880.3A priority Critical patent/CN111956180B/zh
Publication of CN111956180A publication Critical patent/CN111956180A/zh
Application granted granted Critical
Publication of CN111956180B publication Critical patent/CN111956180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Acoustics & Sound (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开一种重建光声内窥层析图像的方法及系统。方法包括：获取用于光声内窥层析成像稀疏重建问题的光声数据集；根据所述光声数据集，得到腔体横截面的光吸收分布图，所述光吸收分布图包括测试集和训练集；构建前向传播神经网络模型；采用所述训练集和测试集对所述前向传播神经网络模型进行训练和测试，得到优化后的神经网络模型；根据所述优化后的神经网络模型对所述腔体横截面的光吸收分布图进行预测，得到预测的光声内窥层析图像。采用本发明的方法或系统能够提高光声内窥层析图像的成像精度。

Description

一种重建光声内窥层析图像的方法
技术领域
本发明涉及医学成像技术领域领域，特别是涉及一种重建光声内窥层析图像的方法及系统。
背景技术
光声层析成像(photoacoustic tomography,PAT)是一种基于生物组织光声效应的非电离功能成像方法，其成像参数是组织的光吸收系数和散射系数，可以实现高分辨率和高对比度的软组织深层成像。PAT的原理是采用短脉冲激光照射生物组织，组织吸收光能量后受热膨胀产生瞬时压力，并向外辐射宽带(10kHz～100MHz)超声波，即光声信号。声压的幅值与脉冲激光的强度成正比，反映组织的光吸收特性。超声换能器接收来自不同方向、不同位置的光声信号，送入计算机后采用合适的算法即可反演得到组织内部的初始声压或者光吸收能量的空间分布图，直观显示组织的内部结构。在此基础上还可估算组织的光学特性参数的空间分布，反映组织的功能成分。
对于光声内窥层析成像(如血管内光声成像)，由于腔道内封闭成像几何的特殊性，受成像导管的机械结构、空间位置及成像时间等的限制，超声探测器往往只能进行有限角度的扫描，采集到稀疏的光声信号数据。由于测量角度范围不能满足数据完备性的条件，因而会导致重建出的图像中出现严重的伪影和失真，降低图像质量。因此，为了提高成像精度，需要解决利用有限角度扫描的光声测量数据重建高质量图像的问题。
发明内容
本发明的目的是提供一种重建光声内窥层析图像的方法及系统，能够提高光声内窥层析图像的成像精度。
为实现上述目的，本发明提供了如下方案：
一种重建光声内窥层析图像的方法，包括：
获取用于光声内窥层析成像稀疏重建问题的光声数据集；
根据所述光声数据集，得到腔体横截面的光吸收分布图，所述光吸收分布图包括测试集和训练集；
构建前向传播神经网络模型；
采用所述训练集和测试集对所述前向传播神经网络模型进行训练和测试，得到优化后的神经网络模型；
根据所述优化后的神经网络模型对所述腔体横截面的光吸收分布图进行预测，得到预测的光声内窥层析图像。
可选的，所述获取用于光声内窥层析成像稀疏重建问题的光声数据集，具体包括：
通过超声探测器采集全角度扫描的完备光声数据集和有限角度扫描的稀疏光声数据集。
可选的，所述根据所述光声数据集，得到腔体横截面的光吸收分布图，所述光吸收分布图包括测试集和训练集，具体包括：
根据所述光声数据集采用公式
Figure BDA0002064690440000021
得到腔体横截面的光吸收分布图；
其中，Φ(k)(r)是由第k个光声数据集重建出的位置r处的光吸收能量；
Figure BDA0002064690440000022
是/>
Figure BDA0002064690440000023
的第j个元素，i＝1,2,...,n，j＝1,2,...,l；Cp是组织的比热容；c是超声波在组织中的传播速度；β是组织的体积膨胀温度系数；r0是超声探测器与图像平面中心点之间的距离矢量；φ0是超声探测器与X轴之间的夹角；t是超声波从位置r处到超声探测器的传播时间；d是微分符号；/>
Figure BDA0002064690440000024
是偏导符号；
将根据有限角度扫描的稀疏光声数据集重建出的光吸收分布图作为样本的输入图像，将根据全角度扫描的完备光声数据集重建出的图像作为样本的目标图像，构建数据集；
将所述数据集中的所有样本随机打乱，按照7:3的比例将所述数据集划分为训练集和测试集。
可选的，所述采用所述训练集和测试集对所述前向传播神经网络模型进行训练和测试，得到优化后的神经网络模型，具体包括：
采用所述训练集对所述前向传播神经网络模型进行训练，得到训练后的神经网络模型；
采用所述测试集对所述训练后的神经网络模型进行测试，更新所述训练后的神经网络模型的参数，得到优化后的神经网络模型。
可选的，所述根据所述优化后的神经网络模型对所述腔体横截面的光吸收分布图进行预测，得到预测的光吸收分布图，具体包括：
将所述有限角度扫描的稀疏光声数据重建出的光吸收分布图像输入至所述优化后的神经网络模型，得到预测的光声内窥层析图像。
一种重建光声内窥层析图像的系统，包括：
获取模块，用于获取用于光声内窥层析成像稀疏重建问题的光声数据集；
光吸收分布图获取模块，用于根据所述光声数据集，得到腔体横截面的光吸收分布图，所述光吸收分布图包括测试集和训练集；
神经网络模型构建模块，用于构建前向传播神经网络模型；
训练测试模块，用于采用所述训练集和测试集对所述前向传播神经网络模型进行训练和测试，得到优化后的神经网络模型；
预测模块，用于根据所述优化后的神经网络模型对所述腔体横截面的光吸收分布图进行预测，得到预测的光声内窥层析图像。
可选的，所述获取模块，具体包括：
获取单元，用于通过超声探测器采集全角度扫描的完备光声数据集和有限角度扫描的稀疏光声数据集。
可选的，所述光吸收分布图获取模块，具体包括：
光吸收分布图获取单元，用于根据所述光声数据集采用公式
Figure BDA0002064690440000031
得到腔体横截面的光吸收分布图；
其中，Φ(k)(r)是由第k个光声数据集重建出的位置r处的光吸收能量；
Figure BDA0002064690440000032
是/>
Figure BDA0002064690440000033
的第j个元素，i＝1,2,...,n，j＝1,2,...,l；Cp是组织的比热容；c是超声波在组织中的传播速度；β是组织的体积膨胀温度系数；r0是超声探测器与图像平面中心点之间的距离矢量；φ0是超声探测器与X轴之间的夹角；t是超声波从位置r处到超声探测器的传播时间；d是微分符号；/>
Figure BDA0002064690440000034
是偏导符号；
数据集构建单元，用于将根据有限角度扫描的稀疏光声数据集重建出的光吸收分布图作为样本的输入图像，将根据全角度扫描的完备光声数据集重建出的图像作为样本的目标图像，构建数据集；
数据集划分单元，用于将所述数据集中的所有样本随机打乱，按照7:3的比例将所述数据集划分为训练集和测试集。
可选的，所述训练测试模块，具体包括：
训练单元，用于采用所述训练集对所述前向传播神经网络模型进行训练，得到训练后的神经网络模型；
测试单元，用于采用所述测试集对所述训练后的神经网络模型进行测试，更新所述训练后的神经网络模型的参数，得到优化后的神经网络模型。
可选的，所述预测模块，具体包括：
预测单元，用于将所述有限角度扫描的稀疏光声数据重建出的光吸收分布图像输入至所述优化后的神经网络模型，得到预测的光声内窥层析图像。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供一种重建光声内窥层析图像的方法，通过获取用于光声内窥层析成像稀疏重建问题的光声数据集；根据光声数据集，得到腔体横截面的光吸收分布图，光吸收分布图包括测试集和训练集；构建前向传播神经网络模型；采用训练集和测试集对前向传播神经网络模型进行训练和测试，得到优化后的神经网络模型；根据优化后的神经网络模型对腔体横截面的光吸收分布图进行预测，得到预测的光声内窥层析图像，采用上述步骤能够提高光声内窥层析图像的成像精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明重建光声内窥层析图像的方法流程图；
图2为本发明重建光声内窥层析图像的系统机构图；
图3为本发明光声内窥层析成像及图像重建示意图；
图4为本发明本发明方法所用的神经网络结构图；
图5为本发明前向传播的神经网络模型构建流程图；
图6为本发明对神经网络进行训练和测试的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种重建光声内窥层析图像的方法及系统，能够提高光声内窥层析图像的成像精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明重建光声内窥层析图像的方法流程图。如图1所示，一种重建光声内窥层析图像的方法包括：
步骤101：获取用于光声内窥层析成像稀疏重建问题的光声数据集，具体包括：
通过超声探测器采集全角度扫描的完备光声数据集和有限角度扫描的稀疏光声数据集。
图3为本发明光声内窥层析成像及图像重建示意图，其中图左半部分是成像示意图，图右半部分是超声探测器从腔道内接收组织产生的光声信号和图像重建示意图。如图3所示，成像导管在腔内旋转角度α，共采集n个位置的光声信号。超声探测器在每个测量位置采集到的离散光声信号长度为l，探测器在第i个测量位置实际接收到的信号用1×l维的向量pi＝(pi1,pi2,...,pil)表示，其中i＝1,2,…,n，pi1、pi2、...pil分别是pi的第1、第2、...、第l个元素。
分别将α设置为区间[180°,360°]内的m个值，共采集到m个光声信号数据集
Figure BDA0002064690440000051
其中当180°<α<360°时，采集到有限角度扫描的稀疏光声数据集；当α＝360°时，采集到全角度扫描的完备光声数据集。
步骤102：根据所述光声数据集，得到腔体横截面的光吸收分布图，所述光吸收分布图包括测试集和训练集，具体包括：
根据所述光声数据集采用公式：
Figure BDA0002064690440000052
得到腔体横截面的光吸收分布图；
其中，Φ(k)(r)是由第k个光声数据集重建出的位置r处的光吸收能量；
Figure BDA0002064690440000061
是/>
Figure BDA0002064690440000062
的第j个元素，i＝1,2,...,n，j＝1,2,...,l；Cp是组织的比热容；c是超声波在组织中的传播速度；β是组织的体积膨胀温度系数；r0是超声探测器与图像平面中心点之间的距离矢量；φ0是超声探测器与X轴之间的夹角；t是超声波从位置r处到超声探测器的传播时间；d是微分符号；/>
Figure BDA0002064690440000063
是偏导符号，如图3所示。
将根据有限角度扫描的稀疏光声数据集重建出的光吸收分布图作为样本的输入图像，将根据全角度扫描的完备光声数据集重建出的图像作为样本的目标图像，构建数据集，由此可知，对同一腔体的不同部位可以产生多对样本；
将所述数据集中的所有样本随机打乱，按照7:3的比例将所述数据集划分为训练集和测试集，最后把训练集A中的样本平均分成N组，每组是一个小批量训练集，共包含M个样本。。
步骤103：构建前向传播神经网络模型；
图5为本发明前向传播的神经网络模型构建流程图。如图5所示，构建前向传播神经网络模型包括如下步骤：
步骤1：搭建神经网络：
图4为本发明本发明方法所用的神经网络结构图。如图4所示，本发明方法所搭建的神经网络包括收缩路径(左侧)和扩张路径(右侧)，两条路径呈对称关系。网络中的卷积操作采用的滤波核尺寸为3×3×T；最后一次卷积操作采用1×1卷积，其滤波核尺寸为1×1×T，其中T是当前层输入的特征图数量。卷积方式采用步长为1的same卷积，其中滤波核的初始数量，即特征通道数channels＝64。激活函数采用线性整流函数ReLU。池化操作采用的滤波核尺寸为2×2×T，池化方式采用步长为2的最大池化。上采样操作采用的滤波核尺寸为2×2×T，步长为2。
步骤2：初始化参数：c＝1，pool＝0，channels＝64，upsample＝0。其中，c是特征图层的序号，pool是池化操作的次数，channels是特征通道数，upsample是上采样的次数。
步骤3：将训练集A中的第1组小批量训练集A1中的M个样本从收缩路径输入神经网络，作为特征图mapc。其中，A1是训练集A中的第1组小批量训练集；mapc是输入图像经第c–1次卷积、池化、上采样产生的特征图层。
步骤4：令conv＝0。其中，conv是卷积操作的次数。
步骤5：对mapc通过多个特征通道并行地执行卷积操作，产生多组线性激活响应。然后利用ReLU函数计算线性激活响应对应的函数值，得到卷积操作的特征图层。
步骤6：令c＝c+1，conv＝conv+1。若conv≥2，则转向步骤7；若conv<2，转向步骤5。
步骤7：令channels＝channels×2，对mapc进行池化操作，并将第pool次池化操作前的特征图层标记为mappool。
步骤8：令c＝c+1，pool＝pool+1。若pool≥4，令pool＝3，转向步骤9；若pool<4，转向步骤4。
步骤9：令conv＝0。
步骤10：对mapc通过多个特征通道并行地执行卷积操作，产生多组线性激活响应。然后利用ReLU函数计算线性激活响应对应的函数值，得到卷积操作的特征图层。
步骤11：令c＝c+1，conv＝conv+1。若conv≥2，令channels＝channels/2，转向步骤12；若conv<2，转向步骤10。
步骤12：对mapc执行上采样操作，获得上采样后的特征图层。
步骤13：对mappool进行拼接操作，即将mappool对应地堆叠到上采样操作得到的特征图层上。
步骤14：令c＝c+1，pool＝pool–1，upsample＝upsample+1。若upsample≥4，令conv＝0，转向步骤15；若upsample<4，转向步骤9。
步骤15：对mapc通过多个特征通道并行地执行卷积操作，产生多组线性激活响应。然后利用ReLU函数计算线性激活响应对应的函数值，得到卷积操作的特征图层。
步骤16：令c＝c+1，conv＝conv+1。若conv≥2，令channels＝1，转向步骤17；若conv<2，转向步骤15。
步骤17：对mapc执行1×1卷积操作，产生线性激活响应。然后利用ReLU函数计算线性激活响应对应的函数值，得到A1中M个样本的预测图像。此时，c＝28。
步骤104：采用所述训练集和测试集对所述前向传播神经网络模型进行训练和测试，得到优化后的神经网络模型。
图6为本发明对神经网络进行训练和测试的流程图。如图6所示，对对神经网络进行训练和测试包括如下步骤：
步骤1：初始化参数：令epoch＝0，I＝2。其中，epoch是遍历所有小批量训练集的次数；I是训练集A中小批量训练集的索引。
步骤2：将AI中M个样本输入搭建完的神经网络模型中进行前向传播。其中，AI是训练集A中的第I组小批量训练集。
步骤3：设置AI的损失函数：
Figure BDA0002064690440000081
其中，W是神经网络的权重参数集，其初始值服从均值为0、标准差为
Figure BDA0002064690440000082
的高斯分布，其中q是每一层输入节点的个数；b是神经网络的偏置参数集，其初始值为0；L(W,b)是AI中关于W和b的损失函数；M是AI中的样本数量；/>
Figure BDA0002064690440000083
是AI中第k个样本的预测图像，其中k＝1,2,3,……,M；y(k)是AI中第k个样本的目标图像。
步骤4：根据递推关系Zc＝WcAc-1+bc，计算神经网络输出层(即第28层)各参数的梯度：
Figure BDA0002064690440000084
Figure BDA0002064690440000091
其中，Zc是前向传播中第c层产生的线性激活响应，c＝2,3,……,28；Wc是第c层对应的权重参数矩阵；bc是第c层对应的偏置参数向量；Ac–1是前向传播过程中第c–1层的输出，也是第c层的输入；
Figure BDA0002064690440000092
表示矩阵对应元素点对点的乘法；ReLU′是ReLU函数的一阶导数。
步骤5：计算输出层的误差向量
Figure BDA0002064690440000093
递推得到从第27层至第2层的误差向量δc：
Figure BDA0002064690440000094
此时，c＝2,3,……,27。
步骤6：计算每一层对应参数的梯度：
Figure BDA0002064690440000095
Figure BDA0002064690440000096
步骤7：计算各层参数的调整尺度：
Figure BDA0002064690440000097
Figure BDA0002064690440000098
其中，c＝2,3,...,28；
Figure BDA0002064690440000099
是Wc的调整尺度，其初始值为0；/>
Figure BDA00020646904400000910
是bc的调整尺度，其初始值为0。
根据调整尺度将Wc和bc沿各自梯度方向进行微调：
Figure BDA0002064690440000101
Figure BDA0002064690440000102
其中，η是学习率，设为0.003。
步骤8：令I＝I+1。若I<N+1，则转向步骤2；若I≥N+1，则令epoch＝epoch+1，转向步骤9。
步骤9：判断是否停止遍历：若epoch<a，则令I＝2，转向步骤2；若epoch≥a，则停止遍历，转向步骤10。其中，a是epoch的最大值。
步骤10：确定神经网络参数，并以此作为最终的神经网络模型Nfinal。
步骤105：根据所述优化后的神经网络模型对所述腔体横截面的光吸收分布图进行预测，得到预测的光声内窥层析图像，具体包括：
将所述有限角度扫描的稀疏光声数据重建出的光吸收分布图像输入至所述优化后的神经网络模型，得到预测的光声内窥层析图像。如图4所示，将重建图像从Nfinal左端输入，经过前向传播，从Nfinal右端输出预测的光吸收分布图像。
图2为本发明重建光声内窥层析图像的系统结构图。如图2所示，一种重建光声内窥层析图像的系统包括：
获取模块201，用于获取用于光声内窥层析成像稀疏重建问题的光声数据集；
光吸收分布图获取模块202，用于根据所述光声数据集，得到腔体横截面的光吸收分布图，所述光吸收分布图包括测试集和训练集；
神经网络模型构建模块203，用于构建前向传播神经网络模型；
训练测试模块204，用于采用所述训练集和测试集对所述前向传播神经网络模型进行训练和测试，得到优化后的神经网络模型；
预测模块205，用于根据所述优化后的神经网络模型对所述腔体横截面的光吸收分布图进行预测，得到预测的光声内窥层析图像。
所述获取模块201，具体包括：
获取单元，用于通过超声探测器采集全角度扫描的完备光声数据集和有限角度扫描的稀疏光声数据集。
所述光吸收分布图获取模块202，具体包括：
光吸收分布图获取单元，用于根据所述光声数据集采用公式
Figure BDA0002064690440000111
得到腔体横截面的光吸收分布图；
其中，Φ(k)(r)是由第k个光声数据集重建出的位置r处的光吸收能量；
Figure BDA0002064690440000112
是/>
Figure BDA0002064690440000113
的第j个元素，i＝1,2,...,n，j＝1,2,...,l；Cp是组织的比热容；c是超声波在组织中的传播速度；β是组织的体积膨胀温度系数；r0是超声探测器与图像平面中心点之间的距离矢量；φ0是超声探测器与X轴之间的夹角；t是超声波从位置r处到超声探测器的传播时间；d是微分符号；/>
Figure BDA0002064690440000114
是偏导符号；
数据集构建单元，用于将根据有限角度扫描的稀疏光声数据集重建出的光吸收分布图作为样本的输入图像，将根据全角度扫描的完备光声数据集重建出的图像作为样本的目标图像，构建数据集；
数据集划分单元，用于将所述数据集中的所有样本随机打乱，按照7:3的比例将所述数据集划分为训练集和测试集。
所述训练测试模块204，具体包括：
训练单元，用于采用所述训练集对所述前向传播神经网络模型进行训练，得到训练后的神经网络模型；
测试单元，用于采用所述测试集对所述训练后的神经网络模型进行测试，更新所述训练后的神经网络模型的参数，得到优化后的神经网络模型。
所述预测模块205，具体包括：
预测单元，用于将所述有限角度扫描的稀疏光声数据重建出的光吸收分布图像输入至所述优化后的神经网络模型，得到预测的光声内窥层析图像。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种重建光声内窥层析图像的方法，其特征在于，包括：
获取用于光声内窥层析成像稀疏重建问题的光声数据集；
根据所述光声数据集，得到腔体横截面的光吸收分布图，所述光吸收分布图包括测试集和训练集；
构建前向传播神经网络模型；所述神经网络模型中的神经网络包括收缩路径和扩张路径，所述收缩路径和所述扩张路径呈对称关系；所述神经网络中的卷积操作采用的滤波核尺寸以当前层输入的特征图数量为标准；
采用所述训练集和测试集对所述前向传播神经网络模型进行训练和测试，得到优化后的神经网络模型；
根据所述优化后的神经网络模型对所述腔体横截面的光吸收分布图进行预测，得到预测的光声内窥层析图像；
所述采用所述训练集和测试集对所述前向传播神经网络模型进行训练和测试，得到优化后的神经网络模型，具体包括：
步骤1：初始化参数：令epoch＝0，I＝2；其中，epoch是遍历所有小批量训练集的次数；I是训练集A中小批量训练集的索引；
步骤2：将AI中M个样本输入搭建完的神经网络模型中进行前向传播；其中，AI是训练集A中的第I组小批量训练集；
步骤3：设置AI的损失函数：
Figure FDA0004197643990000011
其中，W是神经网络的权重参数集，其初始值服从均值为0、标准差为
Figure FDA0004197643990000012
的高斯分布，其中q是每一层输入节点的个数；b是神经网络的偏置参数集，其初始值为0；L(W，b)是AI中关于W和b的损失函数；M是AI中的样本数量；/>
Figure FDA0004197643990000013
是AI中第k个样本的预测图像，其中k＝1，2，3，……，M；y(k)是AI中第k个样本的目标图像；
步骤4：根据递推关系Zc＝WcAc-1+bc，计算神经网络输出层各参数的梯度，输出层即第28层：
Figure FDA0004197643990000021
Figure FDA0004197643990000022
其中，Zc是前向传播中第c层产生的线性激活响应，c＝2，3，……，28；Wc是第c层对应的权重参数矩阵；bc是第c层对应的偏置参数向量；Ac–1是前向传播过程中第c–1层的输出，也是第c层的输入；
Figure FDA0004197643990000023
表示矩阵对应元素点对点的乘法；ReLU′是ReLU函数的一阶导数；
步骤5：计算输出层的误差向量
Figure FDA0004197643990000024
递推得到从第27层至第2层的误差向量δc：
Figure FDA0004197643990000025
此时，c＝2，3，……，27；
步骤6：计算每一层对应参数的梯度：
Figure FDA0004197643990000026
Figure FDA0004197643990000027
步骤7：计算各层参数的调整尺度：
Figure FDA0004197643990000028
Figure FDA0004197643990000029
其中，c＝2，3，...，28；
Figure FDA0004197643990000031
是Wc的调整尺度，其初始值为0；/>
Figure FDA0004197643990000032
是bc的调整尺度，其初始值为0；
根据调整尺度将Wc和bc沿各自梯度方向进行微调：
Figure FDA0004197643990000033
Figure FDA0004197643990000034
其中，η是学习率，设为0.003；
步骤8：令I＝I+1；若I<N+1，则转向步骤2；若I≥N+1，则令epoch＝epoch+1，转向步骤9；
步骤9：判断是否停止遍历：若epoch<a，则令I＝2，转向步骤2；若epoch≥a，则停止遍历，转向步骤10；其中，a是epoch的最大值；
步骤10：确定神经网络参数，并以此作为最终的神经网络模型Nfinal。
2.根据权利要求1所述的重建光声内窥层析图像的方法，其特征在于，所述获取用于光声内窥层析成像稀疏重建问题的光声数据集，具体包括：
通过超声探测器采集全角度扫描的完备光声数据集和有限角度扫描的稀疏光声数据集。
3.根据权利要求2所述的重建光声内窥层析图像的方法，其特征在于，所述根据所述光声数据集，得到腔体横截面的光吸收分布图，所述光吸收分布图包括测试集和训练集，具体包括：
根据所述光声数据集采用公式
Figure FDA0004197643990000035
得到腔体横截面的光吸收分布图；
其中，Φ(k)(r)是由第k个光声数据集重建出的位置r处的光吸收能量；
Figure FDA0004197643990000036
是/>
Figure FDA0004197643990000037
的第j个元素，i＝1，2，...，n，j＝1，2，...，l；Cp是组织的比热容；c是超声波在组织中的传播速度；β是组织的体积膨胀温度系数；r0是超声探测器与图像平面中心点之间的距离矢量；φ0是超声探测器与X轴之间的夹角；t是超声波从位置r处到超声探测器的传播时间；d是微分符号；/>
Figure FDA0004197643990000038
是偏导符号；
将根据有限角度扫描的稀疏光声数据集重建出的光吸收分布图作为样本的输入图像，将根据全角度扫描的完备光声数据集重建出的图像作为样本的目标图像，构建数据集；
将所述数据集中的所有样本随机打乱，按照7:3的比例将所述数据集划分为训练集和测试集。
4.根据权利要求1所述的重建光声内窥层析图像的方法，其特征在于，所述采用所述训练集和测试集对所述前向传播神经网络模型进行训练和测试，得到优化后的神经网络模型，具体包括：
采用所述训练集对所述前向传播神经网络模型进行训练，得到训练后的神经网络模型；
采用所述测试集对所述训练后的神经网络模型进行测试，更新所述训练后的神经网络模型的参数，得到优化后的神经网络模型。
5.根据权利要求3所述的重建光声内窥层析图像的方法，其特征在于，所述根据所述优化后的神经网络模型对所述腔体横截面的光吸收分布图进行预测，得到预测的光吸收分布图，具体包括：
将所述有限角度扫描的稀疏光声数据重建出的光吸收分布图像输入至所述优化后的神经网络模型，得到预测的光声内窥层析图像。
6.一种重建光声内窥层析图像的系统，其特征在于，包括：
获取模块，用于获取用于光声内窥层析成像稀疏重建问题的光声数据集；
光吸收分布图获取模块，用于根据所述光声数据集，得到腔体横截面的光吸收分布图，所述光吸收分布图包括测试集和训练集；
神经网络模型构建模块，用于构建前向传播神经网络模型；所述神经网络模型中的神经网络包括收缩路径和扩张路径，所述收缩路径和所述扩张路径呈对称关系；所述神经网络中的卷积操作采用的滤波核尺寸以当前层输入的特征图数量为标准；
训练测试模块，用于采用所述训练集和测试集对所述前向传播神经网络模型进行训练和测试，得到优化后的神经网络模型；
预测模块，用于根据所述优化后的神经网络模型对所述腔体横截面的光吸收分布图进行预测，得到预测的光声内窥层析图像；
所述训练测试模块，用于采用所述训练集和测试集对所述前向传播神经网络模型进行训练和测试，得到优化后的神经网络模型，具体包括：
步骤1：初始化参数：令epoch＝0，I＝2；其中，epoch是遍历所有小批量训练集的次数；I是训练集A中小批量训练集的索引；
步骤2：将AI中M个样本输入搭建完的神经网络模型中进行前向传播；其中，AI是训练集A中的第I组小批量训练集；
步骤3：设置AI的损失函数：
Figure FDA0004197643990000051
其中，W是神经网络的权重参数集，其初始值服从均值为0、标准差为
Figure FDA0004197643990000052
的高斯分布，其中q是每一层输入节点的个数；b是神经网络的偏置参数集，其初始值为0；L(W，b)是AI中关于W和b的损失函数；M是AI中的样本数量；/>
Figure FDA0004197643990000053
是AI中第k个样本的预测图像，其中k＝1，2，3，……，M；y(k)是AI中第k个样本的目标图像；
步骤4：根据递推关系Zc＝WcAc-1+bc，计算神经网络输出层各参数的梯度，输出层即第28层：
Figure FDA0004197643990000054
Figure FDA0004197643990000055
其中，Zc是前向传播中第c层产生的线性激活响应，c＝2，3，……，28；Wc是第c层对应的权重参数矩阵；bc是第c层对应的偏置参数向量；Ac–1是前向传播过程中第c–1层的输出，也是第c层的输入；
Figure FDA0004197643990000056
表示矩阵对应元素点对点的乘法；ReLU′是ReLU函数的一阶导数；
步骤5：计算输出层的误差向量
Figure FDA0004197643990000061
递推得到从第27层至第2层的误差向量δc：
Figure FDA0004197643990000062
此时，c＝2，3，……，27；
步骤6：计算每一层对应参数的梯度：
Figure FDA0004197643990000063
Figure FDA0004197643990000064
步骤7：计算各层参数的调整尺度：
Figure FDA0004197643990000065
Figure FDA0004197643990000066
其中，c＝2，3，...，28；
Figure FDA0004197643990000067
是Wc的调整尺度，其初始值为0；/>
Figure FDA0004197643990000068
是bc的调整尺度，其初始值为0；
根据调整尺度将Wc和bc沿各自梯度方向进行微调：
Figure FDA0004197643990000069
Figure FDA00041976439900000610
其中，η是学习率，设为0.003；
步骤8：令I＝I+1；若I<N+1，则转向步骤2；若I≥N+1，则令epoch＝epoch+1，转向步骤9；
步骤9：判断是否停止遍历：若epoch<a，则令I＝2，转向步骤2；若epoch≥a，则停止遍历，转向步骤10；其中，a是epoch的最大值；
步骤10：确定神经网络参数，并以此作为最终的神经网络模型Nfinal。
7.根据权利要求6所述的重建光声内窥层析图像的系统，其特征在于，所述获取模块，具体包括：
获取单元，用于通过超声探测器采集全角度扫描的完备光声数据集和有限角度扫描的稀疏光声数据集。
8.根据权利要求7所述的重建光声内窥层析图像的系统，其特征在于，所述光吸收分布图获取模块，具体包括：
光吸收分布图获取单元，用于根据所述光声数据集采用公式
Figure FDA0004197643990000071
得到腔体横截面的光吸收分布图；
其中，Φ(k)(r)是由第k个光声数据集重建出的位置r处的光吸收能量；
Figure FDA0004197643990000072
是/>
Figure FDA0004197643990000073
的第j个元素，i＝1，2，...，n，j＝1，2，...，l；Cp是组织的比热容；c是超声波在组织中的传播速度；β是组织的体积膨胀温度系数；r0是超声探测器与图像平面中心点之间的距离矢量；φ0是超声探测器与X轴之间的夹角；t是超声波从位置r处到超声探测器的传播时间；d是微分符号；/>
Figure FDA0004197643990000074
是偏导符号；
数据集构建单元，用于将根据有限角度扫描的稀疏光声数据集重建出的光吸收分布图作为样本的输入图像，将根据全角度扫描的完备光声数据集重建出的图像作为样本的目标图像，构建数据集；
数据集划分单元，用于将所述数据集中的所有样本随机打乱，按照7:3的比例将所述数据集划分为训练集和测试集。
9.根据权利要求6所述的重建光声内窥层析图像的系统，其特征在于，所述训练测试模块，具体包括：
训练单元，用于采用所述训练集对所述前向传播神经网络模型进行训练，得到训练后的神经网络模型；
测试单元，用于采用所述测试集对所述训练后的神经网络模型进行测试，更新所述训练后的神经网络模型的参数，得到优化后的神经网络模型。
10.根据权利要求8所述的重建光声内窥层析图像的系统，其特征在于，所述预测模块，具体包括：
预测单元，用于将所述有限角度扫描的稀疏光声数据重建出的光吸收分布图像输入至所述优化后的神经网络模型，得到预测的光声内窥层析图像。
CN201910416880.3A 2019-05-20 2019-05-20 一种重建光声内窥层析图像的方法 Active CN111956180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910416880.3A CN111956180B (zh) 2019-05-20 2019-05-20 一种重建光声内窥层析图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910416880.3A CN111956180B (zh) 2019-05-20 2019-05-20 一种重建光声内窥层析图像的方法

Publications (2)

Publication Number Publication Date
CN111956180A CN111956180A (zh) 2020-11-20
CN111956180B true CN111956180B (zh) 2023-06-27

Family

ID=73357648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910416880.3A Active CN111956180B (zh) 2019-05-20 2019-05-20 一种重建光声内窥层析图像的方法

Country Status (1)

Country Link
CN (1) CN111956180B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2030687B1 (en) * 2022-01-25 2023-08-04 North China Electric Power Univ Baoding Endoscopic photoacoustic tomographic image reconstruction method and system
CN114548191B (zh) * 2022-04-27 2022-08-05 之江实验室 光声成像环形稀疏阵列信号预测方法与装置
CN116416331B (zh) * 2023-01-16 2023-09-29 哈尔滨工业大学 基于部分先验梯度域卷积稀疏编码压缩感知光声成像方法
CN117710233B (zh) * 2024-02-05 2024-05-24 之江实验室 一种内窥图像的景深扩展方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610194A (zh) * 2017-08-14 2018-01-19 成都大学 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN108510502A (zh) * 2018-03-08 2018-09-07 华南理工大学 基于深度神经网络的黑色素瘤图片组织分割方法和系统
WO2018223275A1 (zh) * 2017-06-06 2018-12-13 深圳先进技术研究院 基于深度卷积网的一维部分傅里叶并行磁共振成像方法
CN109740588A (zh) * 2018-12-24 2019-05-10 中国科学院大学 基于弱监督和深度响应重分配的x光图片违禁品定位方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012249739A (ja) * 2011-06-01 2012-12-20 Fujifilm Corp 光音響撮像装置およびその作動方法
CN102306385B (zh) * 2011-06-22 2013-04-10 复旦大学 任意扫描方式下光声成像的图像重建方法
CN103345770B (zh) * 2013-07-18 2016-07-06 中国科学院自动化研究所 一种基于迭代自适应加权的有限视角光声成像重建方法
CN104586363B (zh) * 2015-01-14 2017-11-10 复旦大学 基于图像块稀疏系数的快速光声成像图像重建方法
WO2017214428A1 (en) * 2016-06-08 2017-12-14 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Tissue characterization with acoustic wave tomosynthesis
CN108280859B (zh) * 2017-12-25 2021-03-30 华南理工大学 一种采样角度受限下的ct稀疏投影图像重建方法及装置
CN108577810B (zh) * 2018-03-21 2021-06-04 华北电力大学（保定） 解决声速不均匀问题的血管内光声图像重建方法及系统
CN109671130B (zh) * 2018-12-27 2023-03-17 华北电力大学（保定） 利用稀疏测量数据重建内窥式光声层析图像的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018223275A1 (zh) * 2017-06-06 2018-12-13 深圳先进技术研究院 基于深度卷积网的一维部分傅里叶并行磁共振成像方法
CN107610194A (zh) * 2017-08-14 2018-01-19 成都大学 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN108510502A (zh) * 2018-03-08 2018-09-07 华南理工大学 基于深度神经网络的黑色素瘤图片组织分割方法和系统
CN109740588A (zh) * 2018-12-24 2019-05-10 中国科学院大学 基于弱监督和深度响应重分配的x光图片违禁品定位方法

Also Published As

Publication number Publication date
CN111956180A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111956180B (zh) 一种重建光声内窥层析图像的方法
CN109978778B (zh) 基于残差学习的卷积神经网络医学ct图像去噪方法
Awasthi et al. Sinogram super-resolution and denoising convolutional neural network (SRCN) for limited data photoacoustic tomography
CN107007259B (zh) 一种用于生物光声内窥成像的光吸收系数重建方法
Zheng et al. 2-D image reconstruction of photoacoustic endoscopic imaging based on time-reversal
Shang et al. Sparsity-based photoacoustic image reconstruction with a linear array transducer and direct measurement of the forward model
Druet et al. Autocalibration method for guided wave tomography with undersampled data
CN111223162B (zh) 一种用于重建epat图像的深度学习方法及系统
Giovannelli et al. Regularization and Bayesian Methods for Inverse Problems in Signal and Image Processing
Prasad et al. DeepUCT: Complex cascaded deep learning network for improved ultrasound tomography
Liu et al. Real-time reconstruction for low contrast ultrasonic tomography using continuous-wave excitation
Hsu et al. Fast iterative reconstruction for photoacoustic tomography using learned physical model: theoretical validation
Lu et al. Full-frequency correction of spatial impulse response in back-projection scheme using space-variant filtering for optoacoustic mesoscopy
Hooi et al. Acoustic attenuation imaging of tissue bulk properties with a priori information
Sun et al. An iterative gradient convolutional neural network and its application in endoscopic photoacoustic image formation from incomplete acoustic measurement
Jovanovic Inverse problems in acoustic tomography: theory and applications
CN109598769B (zh) 总变差正则化约束的超声成像同步代数迭代重建方法
Wang et al. Accelerating image reconstruction in ultrasound transmission tomography using L-BFGS algorithm
CN117094897B (zh) 一种相衬光学相干弹性成像的超分辨相位梯度估计方法
Zheng et al. Quantitative photoacoustic tomography with light fluence compensation based on radiance Monte Carlo model
CN110706298B (zh) 正则化加权最小二乘的透射反射双模式超声成像重建方法
CN109102552B (zh) 一种非均匀形状约束的像素值域滤波超声成像重建方法
Hofmann et al. Enhancing optoacoustic mesoscopy through calibration-based iterative reconstruction
CN117237473A (zh) 一种基于扩散模型的光声断层成像稀疏重建方法
Song et al. Sparse-view reconstruction for photoacoustic tomography combining diffusion model with model-based iteration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant