CN111062906A - 散射光学成像乳房图像融合方法及其系统 - Google Patents
散射光学成像乳房图像融合方法及其系统 Download PDFInfo
- Publication number
- CN111062906A CN111062906A CN201911363244.5A CN201911363244A CN111062906A CN 111062906 A CN111062906 A CN 111062906A CN 201911363244 A CN201911363244 A CN 201911363244A CN 111062906 A CN111062906 A CN 111062906A
- Authority
- CN
- China
- Prior art keywords
- image
- breast
- images
- optical imaging
- control points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000481 breast Anatomy 0.000 title claims abstract description 75
- 238000012634 optical imaging Methods 0.000 title claims abstract description 23
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 53
- 230000009466 transformation Effects 0.000 claims description 44
- 210000002445 nipple Anatomy 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000002604 ultrasonography Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 abstract description 16
- 238000001514 detection method Methods 0.000 abstract description 7
- 230000003287 optical effect Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 abstract description 5
- 230000001575 pathological effect Effects 0.000 abstract description 3
- 230000015654 memory Effects 0.000 description 10
- 206010006187 Breast cancer Diseases 0.000 description 9
- 208000026310 Breast neoplasm Diseases 0.000 description 9
- 238000001914 filtration Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000000243 solution Substances 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 210000005075 mammary gland Anatomy 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000007822 coupling agent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 229910052750 molybdenum Inorganic materials 0.000 description 1
- 239000011733 molybdenum Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请公开了一种散射光学成像乳房图像融合方法及其系统，本方法可以将碗状超声(或微波)乳房成像系统和光学乳腺检测成像系统得到的图像融合，利用各自的信息优势，在一幅图上同时表达解剖和功能及病理信息；本发明可以解决无论是DOT图像还是超声图像(或者微波图像)在成像过程中被检测组织均发生不同程度的扭曲变形，将两个不同变形程度的不同模态图像融合。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种散射光学成像乳房图像融合方法及其系统。
背景技术
全球乳腺癌发病率从20世纪70年代末开始一直呈上升趋势，并且已经成为世界范围内女性最常见的恶性肿瘤。在美国每8个妇女中就会有1人患有乳腺癌。中国虽然不是乳腺癌的高发地区，但也不宜乐观。近年来随着自然环境不断恶化，各种生活压力不断增加，我国乳腺癌发病率的增长速度却高出高发地区1～2个百分点。
经研究发现，如果能早期及时检测，乳腺癌是可以完全治愈的。由此可见，乳腺病变的早期检测对治愈患者有着非常重要作用。
相比于钼靶X线、CT、MRI等影像学诊断方法，散射光学成像(DOT)系统是一种廉价安全，准确性高、无辐射、无风险的诊断方法，利于乳腺癌的早期诊断。
现有的散射光学成像(Diffuse optical tomography(DOT))成像系统能够提供乳房中是否有组织癌变的光学参数信息，但无法进一步确定肿瘤的位置和大小信息，需要其他模态的成像系统提供辅助信息。在临床诊断中，单一模态的图像往往不能提供医生所需要的足够信息，因此，如果能将不同模态的医学图像进行适当的融合，使解剖信息和功能信息有机地结合起来，在一幅图像上同时综合地表达来自多种成像源的信息，以便医生了解病变组织或器官的综合情况，并做出更加准确的诊断或制定出更加科学优化的治疗方案，这必将推动现代医学临床技术的巨大进步。
发明内容
为了解决上述技术问题，本申请实施例提供一种DOT乳房图像融合方法及其系统。
本申请实施例第一方面提供了一种DOT乳房图像融合方法，可包括：
获取DOT图像和乳房解剖图像数据，对两类图像进行校正和去噪预处理；
基于所述预处理之后的图像数据，获取乳头位置和内部特征；
多重网格化处理上述预处理后的图像，分别对两种图像进行刚性匹配使得两幅图的初始几何偏差最小；
基于所获取的乳头位置和内部特征生成图像的控制点和样条函数，并将控制点赋予权值；
设置约束项函数，基于所生成的控制点和样条函数对两类图像进行非刚性变换生成配准图。
进一步地，所述获取DOT图像和乳房解剖图像数据，对两类图像进行校正和去噪预处理包括：
获取图像数据，分别形成DOT图像和乳房解剖图像；
调整DOT图像和乳房解剖图像的像素大小至两个图像的像素大小相同；
基于像素相同的两个图像，利用滤波函数进行卷积去噪处理。
进一步地，所述乳房解剖图像数据包括超声乳房图像或者微波乳房图像。
进一步地，所述基于所述预处理之后的图像数据，获取乳头位置和内部特征包括：
获取预处理之后的图像数据；
利用标定方式或卷积神经网络对图像进行特征提取。
进一步地，所述多重网格化处理上述预处理后的图像，分别对两种图像进行刚性匹配使得两幅图的初始几何偏差最小包括：
对图像进行多重网格化处理，增加像素；
利用乳头位置和内部特征的内容分别对两种图像进行刚性匹配，构建旋转变换矩阵，在图像上进行刚性变换。
进一步地，所述基于所获取的乳头位置和内部特征生成图像的控制点和样条函数，并将控制点赋予权值包括：
基于乳房的特征生成图像的控制点，并对控制点内容赋予权值；
设置样条函数对图像进行非刚性图像匹配。
本申请实施例第二方面提供了一种DOT乳房图像融合系统，包括：
预处理单元，用于获取DOT图像和乳房解剖图像数据，对两类图像进行校正和去噪预处理；
特征提取单元，用于基于所述预处理单元输出的图像数据，采用标定方式或卷积神经网络获取乳头位置和内部特征；
刚性匹配单元，用于对两种图像进行刚性匹配使得两幅图的初始几何偏差最小；
参数设置单元，用于基于所获取的乳头位置和内部特征生成图像的控制点和样条函数，并将控制点赋予权值；
非刚性变换单元，用于设置约束项函数，基于所生成的控制点和样条函数对两类图像进行非刚性变换生成配准图。
进一步地，所述预处理单元包括：
图像获取单元，用于利用硬件设备获取图像数据，分别形成DOT图像和乳房解剖图像；所述乳房解剖图像数据包括超声乳房图像或者微波乳房图像；
像素调整单元，用于调整DOT图像和乳房解剖图像的像素大小至两个图像的像素大小相同；
去噪处理单元，用于基于像素相同的两个图像，利用滤波函数进行卷积去噪处理。
进一步地，所述刚性匹配单元包括：
网格化处理单元，用于对图像进行多重网格化处理，增加像素；
刚性变换单元，用于利用乳头位置和内部特征的内容分别对两种图像进行刚性匹配，构建旋转变换矩阵，在图像上进行刚性变换。
进一步地，所述参数设置单元包括：
控制点获取单元，用于基于乳房的特征生成图像的控制点，并对控制点内容赋予权值；
变换函数获取单元，基于自由变换形式，设置样条函数作为对图像进行非刚性图像的函数。
在本申请实施例中，本方法可以将碗状超声乳房(或微波)成像系统和光学乳腺检测成像系统得到的图像融合，利用各自的信息优势，在一幅图上同时表达解剖和功能及病理信息；本发明可以解决无论是DOT图像还是超声图像(或者微波图)在成像过程中被检测组织都不同程度的扭曲变形，将两个不同变形程度的不同模态图像融合。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的流程图；
图2(a)是超声乳房图像；
图2(b)是DOT散射光学图像示意图；
图3(a)是基于CNN神经网络对图像进行特征提取的逻辑框图；
图3(b)是图1的逻辑框图；
图4是本申请实施例提供的一种融合系统的示意框图；
图5是本申请实施例提供的一种融合装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
如图1所示，是本申请所涉及的一种DOT乳房图像融合方法的流程图，包括：
S101:获取DOT图像和乳房解剖图像数据，对两类图像进行校正和去噪预处理。
可以理解的是，本方案需要利用硬件设备来获取图像数据，作为一个具体的实施例，本申请利用便携式多模态乳腺癌检测仪的超声(或微波)系统和散射光学成像系统分别得到的图像进行融合的。
在超声成像中由于在成像孔径中耦合剂的注入对乳房造成了一定程度的挤压使乳房超声图像产生了一定的扭曲变形。另外在DOT成像过程中由于气囊的轻微挤压使得光学乳房图像也发生了变形，如图2(a)(b)所示，其中图2(b)在实际中应为彩色图像。此外，在有的情况下，检测仪并不是采用超声系统获取图像，而是采用微波来进行成像，该情况下就是将微波图像与DOT图像进行融合，在后续的步骤上都相同，在后面的实施例中，均以超声图像为例进行说明。
作为一个具体的实施例，本步骤中首先对图像进行预处理，分别对超声乳腺图像和DOT图像进行尺度校正和图像去噪。这个步骤首先将二者调整到相同的像素大小，然后分别对两个图像(均以I表示)与滤波函数f做卷积运算得去除噪音的图像I′，I′＝I*f，滤波函数这里采用的是维纳滤波(Wiener filtering)，其他诸如中值滤波，高斯滤波，均值滤波等函数也可以采用。
S102:基于所述预处理之后的图像数据，获取乳头位置和内部特征。
可以理解的是，如图3(b)所示，在经过预处理的图像中提取乳房的乳头位置和内部特征(如乳腺后间隙)信息，该特征可以通过人为标定，也可以通过卷积神经网络(Convolutional Neural Networks,CNN)等多种方法进行提取，由于采用卷积神经网络提取特征的方式已经是很常用的技术方案了，这里就不进行赘述。
S103:多重网格化处理上述预处理后的图像，分别对两种图像进行刚性匹配使得两幅图的初始几何偏差最小。
可以理解的是，对图像进行多重网格化处理是用来增加匹配的灵活度和匹配精度。
然后分别对两种图像进行刚性匹配来使在后面非刚性匹配时，两幅图的初始几何偏差达到最小，这里的刚性匹配主要利用乳房的乳头和边缘特征进行匹配。
作为一个具体的实施例，假定α为旋转角度，u为旋转轴，(1,i,j,k)为四元函数的一组基，那么基于四元数的三维旋转变换公式为：
写成的正交旋转变换矩阵为：
通过该旋转变换作用在图像I上面进行二者图像的刚性变换，其中ω，x,y,z分别是在(1,I,j,k)这四个坐标方向的数值。
S104:基于所获取的乳头位置和内部特征生成图像的控制点和样条函数，并将控制点赋予权值。
可以理解的是，待刚性变换收敛后，基于乳房的特征(如乳头，乳腺后间隙等)生成图像的控制点，并将控制点赋予一定的权值，使得二者图像进行非刚性图像匹配时，当这些控制点产生空间位移时，B样条函数随即被弯曲。
变换函数采用的自由形式变换(FFDs)，可以描述为三个一维三次B样条函数的张量积，即：
其中l,m,n表示求和的变量，分别取值0-3进行求和，ijk表示一个变换对象P中一个元素的坐标，βi为第i次B样条的基函数，具体表示为：
S105:设置约束项函数，基于所生成的控制点和样条函数对两类图像进行非刚性变换生成配准图。
可以理解的是，为了保证非刚性几何变换域的平滑性和可逆性，用一个匹配代价函数加入一个几何变换作为约束项，定义如下：
T表示变换函数，Ω变换范围或者边界，x,yz是三维坐标。
本方案能够将碗状超声乳腺成像系统和光学乳腺检测成像系统得到的图像融合，利用各自的信息优势，在一幅图上同时表达解剖和功能及病理信息。本发明处理的一个难点与特色(主要是与其他发明不同的点)是无论是DOT图像还是超声图像(或者微波图)在成像过程中被检测组织都不同程度的发生了扭曲变形，将两个不同变形程度的不同模态图像融合是本发明需要解决的。
本申请实施例还提供一种DOT乳房图像融合系统，该系统用于执行前述任一项上述融合方法。具体地，参见图4，图4是本申请实施例提供的一种融合系统的示意框图。本实施例的装置包括：预处理单元310、特征提取单元320、刚性匹配单元330、参数设置单元340和非刚性变换单元350。
上述的预处理单元310，用于获取DOT图像和乳房解剖图像数据，对两类图像进行校正和去噪预处理。
具体地预处理单元310分为三个部分，包括：
图像获取单元311，用于利用硬件设备获取图像数据，分别形成DOT图像和乳房解剖图像。本申请中硬件设备采用便携式多模态乳腺癌检测仪，其所采集的图像一般都是DOT图像以及超声乳房图像或者微波乳房图像。
像素调整单元312，用于调整DOT图像和乳房解剖图像的像素大小至两个图像的像素大小相同。
去噪处理单元313，用于基于像素相同的两个图像，利用滤波函数进行卷积去噪处理，具体地，分别对两个图像(均以I表示)与滤波函数f做卷积运算得去除噪音的图像I′，I′＝I*f，滤波函数这里采用的是维纳滤波(Wiener filtering)，其他诸如中值滤波，高斯滤波，均值滤波等函数也可以采用。
上述的特征提取单元320，用于基于所述预处理单元输出的图像数据，采用标定方式或卷积神经网络获取乳头位置和内部特征。在经过预处理的图像中提取乳房的乳头位置和内部特征(如乳腺后间隙)信息，该特征可以通过人为标定，也可以通过卷积神经网络(Convolutional Neural Networks,CNN)等多种方法进行提取。
上述的刚性匹配单元330，用于对两种图像进行刚性匹配使得两幅图的初始几何偏差最小。
具体地，刚性匹配单元330包括：
网格化处理单元331，用于对图像进行多重网格化处理，增加像素，增加匹配的灵活度和匹配精度。
刚性变换单元332，用于利用乳头位置和内部特征的内容分别对两种图像进行刚性匹配，构建旋转变换矩阵，在图像上进行刚性变换。
上述的参数设置单元340，用于基于所获取的乳头位置和内部特征生成图像的控制点和样条函数，并将控制点赋予权值。
具体地，参数设置单元340包括：
控制点获取单元341，待刚性变换收敛后用于基于乳房的特征生成图像的控制点，并对控制点内容赋予权值，使得二者图像进行非刚性图像匹配时，当这些控制点产生空间位移时，B样条函数随即被弯曲。
乳房的特征包括乳头，乳腺后间隙等。
变换函数获取单元342，基于自由变换形式，设置样条函数作为对图像进行非刚性图像的函数，变换函数采用的自由形式变换(FFDs)，可以描述为三个一维三次B样条函数的张量积。
上述的非刚性变换单元350，用于设置约束项函数，为了保证非刚性几何变换域的平滑性和可逆性，用一个匹配代价函数加入一个几何变换作为约束项，基于所生成的控制点和样条函数对两类图像进行非刚性变换生成配准图。
图5是本申请实施例提供的一种融合设备的结构示意图。该对象检测设备4000包括处理器41，还可以包括输入装置42、输出装置43和存储器44。该输入装置42、输出装置43、存储器44和处理器41之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
可以理解的是，图5仅仅示出了对象检测设备的简化设计。在实际应用中，动作识别装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的动作识别装置都在本申请的保护范围之内。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。
以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护。
Claims (10)
1.一种散射光学成像乳房图像融合方法，其特征在于，包括：
获取散射光学成像图像和乳房解剖图像数据，对两类图像进行校正和去噪预处理；
基于所述预处理之后的图像数据，获取乳头位置和内部特征；
多重网格化处理上述预处理后的图像，分别对两种图像进行刚性匹配使得两幅图的初始几何偏差最小；
基于所获取的乳头位置和内部特征生成图像的控制点和样条函数，并将控制点赋予权值；
设置约束项函数，基于所生成的控制点和样条函数对两类图像进行非刚性变换生成配准图。
2.根据权利要求1所述的散射光学成像乳房图像融合方法，其特征在于，
所述获取散射光学成像图像和乳房解剖图像数据，对两类图像进行校正和去噪预处理包括：
获取图像数据，分别形成散射光学成像图像和乳房解剖图像；
调整散射光学成像图像和乳房解剖图像的像素大小至两个图像的像素大小相同；
基于像素相同的两个图像，利用滤波函数进行卷积去噪处理。
3.根据权利要求2所述的散射光学成像乳房图像融合方法，其特征在于，
所述乳房解剖图像数据包括超声乳房图像或者微波乳房图像。
4.根据权利要求3所述的散射光学成像乳房图像融合方法，其特征在于，
所述基于所述预处理之后的图像数据，获取乳头位置和内部特征包括：
获取预处理之后的图像数据；
利用标定方式或卷积神经网络对图像进行特征提取。
5.根据权利要求4所述的散射光学成像乳房图像融合方法，其特征在于，
所述多重网格化处理上述预处理后的图像，分别对两种图像进行刚性匹配使得两幅图的初始几何偏差最小包括：
对图像进行多重网格化处理，增加像素；
利用乳头位置和内部特征的内容分别对两种图像进行刚性匹配，构建旋转变换矩阵，在图像上进行刚性变换。
6.根据权利要求5所述的散射光学成像乳房图像融合方法，其特征在于，
所述基于所获取的乳头位置和内部特征生成图像的控制点和样条函数，并将控制点赋予权值包括：
基于乳房的特征生成图像的控制点，并对控制点内容赋予权值；
设置样条函数对图像进行非刚性图像匹配。
7.一种散射光学成像乳房图像融合系统，其特征在于，包括：
预处理单元，用于获取散射光学成像图像和乳房解剖图像数据，对两类图像进行校正和去噪预处理；
特征提取单元，用于基于所述预处理单元输出的图像数据，采用标定方式或卷积神经网络获取乳头位置和内部特征；
刚性匹配单元，用于对两种图像进行刚性匹配使得两幅图的初始几何偏差最小；
参数设置单元，用于基于所获取的乳头位置和内部特征生成图像的控制点和样条函数，并将控制点赋予权值；
非刚性变换单元，用于设置约束项函数，基于所生成的控制点和样条函数对两类图像进行非刚性变换生成配准图。
8.根据权利要求7所述的散射光学成像乳房图像融合系统，其特征在于，
所述预处理单元包括：
图像获取单元，用于利用硬件设备获取图像数据，分别形成散射光学成像图像和乳房解剖图像；所述乳房解剖图像数据包括超声乳房图像或者微波乳房图像；
像素调整单元，用于调整散射光学成像图像和乳房解剖图像的像素大小至两个图像的像素大小相同；
去噪处理单元，用于基于像素相同的两个图像，利用滤波函数进行卷积去噪处理。
9.根据权利要求8所述的散射光学成像乳房图像融合系统，其特征在于，
所述刚性匹配单元包括：
网格化处理单元，用于对图像进行多重网格化处理，增加像素；
刚性变换单元，用于利用乳头位置和内部特征的内容分别对两种图像进行刚性匹配，构建旋转变换矩阵，在图像上进行刚性变换。
10.根据权利要求9所述的散射光学成像乳房图像融合系统，其特征在于，
所述参数设置单元包括：
控制点获取单元，用于基于乳房的特征生成图像的控制点，并对控制点内容赋予权值；
变换函数获取单元，基于自由变换形式，设置样条函数作为对图像进行非刚性图像的函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911363244.5A CN111062906B (zh) | 2019-12-25 | 2019-12-25 | 散射光学成像乳房图像融合方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911363244.5A CN111062906B (zh) | 2019-12-25 | 2019-12-25 | 散射光学成像乳房图像融合方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062906A true CN111062906A (zh) | 2020-04-24 |
| CN111062906B CN111062906B (zh) | 2023-06-30 |
Family
ID=70303764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911363244.5A Active CN111062906B (zh) | 2019-12-25 | 2019-12-25 | 散射光学成像乳房图像融合方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062906B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030233039A1 (en) * | 2002-06-12 | 2003-12-18 | Lingxiong Shao | Physiological model based non-rigid image registration |
| US20090118614A1 (en) * | 2006-12-27 | 2009-05-07 | Fujifilm Corporation | Medical imaging system and method |
| US20120256920A1 (en) * | 2011-04-05 | 2012-10-11 | Julian Marshall | System and Method for Fusing Computer Assisted Detection in a Multi-Modality, Multi-Dimensional Breast Imaging Environment |
| US20160317122A1 (en) * | 2015-04-28 | 2016-11-03 | Qualcomm Incorporated | In-device fusion of optical and inertial positional tracking of ultrasound probes |
| CN106214130A (zh) * | 2016-08-31 | 2016-12-14 | 北京数字精准医疗科技有限公司 | 一种手持式光学成像和超声成像多模态融合成像系统与方法 |
| CN106373089A (zh) * | 2016-08-30 | 2017-02-01 | 上海大学 | B型与弹性双模态超声跟腱图像拼接方法 |
| CN108186115A (zh) * | 2018-02-08 | 2018-06-22 | 北京数字精准医疗科技有限公司 | 手持式荧光超声融合造影导航系统 |
| CN108185974A (zh) * | 2018-02-08 | 2018-06-22 | 北京数字精准医疗科技有限公司 | 一种内窥式荧光超声融合造影导航系统 |
| CN109035160A (zh) * | 2018-06-29 | 2018-12-18 | 哈尔滨商业大学 | 医学影像的融合方法及基于融合医学影像学习的图像检测方法 |
| US20180360313A1 (en) * | 2017-06-20 | 2018-12-20 | Siemens Healthcare Gmbh | Deep-learnt tissue deformation for medical imaging |
| CN109589128A (zh) * | 2018-11-20 | 2019-04-09 | 中国科学院自动化研究所 | 基于乳腺癌检测的平板pet与光学双模融合成像系统及方法 |
| CN109998599A (zh) * | 2019-03-07 | 2019-07-12 | 华中科技大学 | 一种基于ai技术的光/声双模成像眼底疾病诊断系统 |
-
2019
- 2019-12-25 CN CN201911363244.5A patent/CN111062906B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030233039A1 (en) * | 2002-06-12 | 2003-12-18 | Lingxiong Shao | Physiological model based non-rigid image registration |
| US20090118614A1 (en) * | 2006-12-27 | 2009-05-07 | Fujifilm Corporation | Medical imaging system and method |
| US20120256920A1 (en) * | 2011-04-05 | 2012-10-11 | Julian Marshall | System and Method for Fusing Computer Assisted Detection in a Multi-Modality, Multi-Dimensional Breast Imaging Environment |
| US20160317122A1 (en) * | 2015-04-28 | 2016-11-03 | Qualcomm Incorporated | In-device fusion of optical and inertial positional tracking of ultrasound probes |
| CN106373089A (zh) * | 2016-08-30 | 2017-02-01 | 上海大学 | B型与弹性双模态超声跟腱图像拼接方法 |
| CN106214130A (zh) * | 2016-08-31 | 2016-12-14 | 北京数字精准医疗科技有限公司 | 一种手持式光学成像和超声成像多模态融合成像系统与方法 |
| US20180360313A1 (en) * | 2017-06-20 | 2018-12-20 | Siemens Healthcare Gmbh | Deep-learnt tissue deformation for medical imaging |
| CN108186115A (zh) * | 2018-02-08 | 2018-06-22 | 北京数字精准医疗科技有限公司 | 手持式荧光超声融合造影导航系统 |
| CN108185974A (zh) * | 2018-02-08 | 2018-06-22 | 北京数字精准医疗科技有限公司 | 一种内窥式荧光超声融合造影导航系统 |
| CN109035160A (zh) * | 2018-06-29 | 2018-12-18 | 哈尔滨商业大学 | 医学影像的融合方法及基于融合医学影像学习的图像检测方法 |
| CN109589128A (zh) * | 2018-11-20 | 2019-04-09 | 中国科学院自动化研究所 | 基于乳腺癌检测的平板pet与光学双模融合成像系统及方法 |
| CN109998599A (zh) * | 2019-03-07 | 2019-07-12 | 华中科技大学 | 一种基于ai技术的光/声双模成像眼底疾病诊断系统 |
Non-Patent Citations (2)
| Title |
|---|
| 李彬 等: "基于自适应自由变形法和梯度下降法的胸部多模医学图像配准", 《计算机应用研究》, pages 1 - 5 * |
| 邹诚实,岑婷: "腹部CT及MRI图像融合配准在临床中的应用", 上海医学影像, no. 04 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062906B (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112001925B (zh) | 图像的分割方法、放射治疗系统、计算机设备和存储介质 | |
| CN111008984B (zh) | 医学影像中正常器官的轮廓线自动勾画方法 | |
| US20220249038A1 (en) | Determining Rotational Orientation Of A Deep Brain Stimulation Electrode In A Three-Dimensional Image | |
| US10497123B1 (en) | Isolation of aneurysm and parent vessel in volumetric image data | |
| US9741131B2 (en) | Anatomy aware articulated registration for image segmentation | |
| CN107220965B (zh) | 一种图像分割方法及系统 | |
| KR20130023735A (ko) | 장기 모델 영상 생성 방법 및 장치 | |
| JP2017029343A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN112950648B (zh) | 确定磁共振图像中的正中矢状平面的方法和设备 | |
| CN107424162B (zh) | 一种图像分割方法及系统 | |
| CN111353524B (zh) | 用于定位患者特征的系统和方法 | |
| EP3424017A1 (en) | Automatic detection of an artifact in patient image data | |
| CN108898578B (zh) | 一种医疗图像的处理方法、装置及计算机存储介质 | |
| CN111210423B (zh) | Nir图像的乳房轮廓提取方法、系统及装置 | |
| Niri et al. | Multi-view data augmentation to improve wound segmentation on 3D surface model by deep learning | |
| CN107220984B (zh) | 图像分割方法、图像分割系统及图像分割装置 | |
| CN113888566B (zh) | 目标轮廓曲线确定方法、装置、电子设备以及存储介质 | |
| US20150043809A1 (en) | Automatic Segmentation of Articulated Structures | |
| CN111062906B (zh) | 散射光学成像乳房图像融合方法及其系统 | |
| CN116664476A (zh) | 确定医学图像数据中描绘的解剖异常的变化的方法和系统 | |
| EP4169449A1 (en) | Determining a consensus plane for imaging a medical device | |
| CN116091560A (zh) | 图像与模型的配准方法及相关产品 | |
| US12014813B2 (en) | Contouring system | |
| US11928828B2 (en) | Deformity-weighted registration of medical images | |
| US20110064288A1 (en) | Systems and Methods for Computer-aided Fold Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200424 Assignee: On cloud Huatuo Digital Health (Zhejiang Free Trade Zone) Co.,Ltd. Assignor: Zhejiang Dolby Medical Technology Co.,Ltd. Contract record no.: X2023980041593 Denomination of invention: Method and System for Fusion of Breast Images in Scattering Optical Imaging Granted publication date: 20230630 License type: Common License Record date: 20230914 |
|
| EE01 | Entry into force of recordation of patent licensing contract |