CN117252794B - 一种在频域内多波长透射图像融合装置 - Google Patents
一种在频域内多波长透射图像融合装置 Download PDFInfo
- Publication number
- CN117252794B CN117252794B CN202311241210.5A CN202311241210A CN117252794B CN 117252794 B CN117252794 B CN 117252794B CN 202311241210 A CN202311241210 A CN 202311241210A CN 117252794 B CN117252794 B CN 117252794B
- Authority
- CN
- China
- Prior art keywords
- image
- frequency
- region
- fusion
- wavelength
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 105
- 230000005540 biological transmission Effects 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000009825 accumulation Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 210000000746 body region Anatomy 0.000 claims description 2
- 230000002401 inhibitory effect Effects 0.000 claims description 2
- 208000026310 Breast neoplasm Diseases 0.000 abstract description 13
- 238000001514 detection method Methods 0.000 abstract description 13
- 206010006187 Breast cancer Diseases 0.000 abstract description 12
- 238000007500 overflow downdraw method Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000011218 segmentation Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 9
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000000540 analysis of variance Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 239000002960 lipid emulsion Substances 0.000 description 1
- 239000011259 mixed solution Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052750 molybdenum Inorganic materials 0.000 description 1
- 239000011733 molybdenum Substances 0.000 description 1
- 229920006324 polyoxymethylene Polymers 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种在频域内多波长透射图像融合装置，包括：图像采集系统装置、波长图像提取装置、图像预处理装置、图像重构装置；提取了多波长图像中R\G\B三通道波长的图像；采用帧累加技术和二阶巴特沃斯滤波器来提高图像的信噪比和抑制图像的噪声，采用区域方差显著性融合策略和区域空间能量加权融合策略分别对低频和高频的图像进行重构；将提出的图像融合方法和现有的方法在多波长图像中异质体检测的结果进行了比较。本发明与现有的图像融合方法相比，不仅能够更准确地识别异质体区域的位置，而且显著提高了融合图像中异质体区域与正常区域的对比度，促进了多波长透射图像在早期乳腺癌检测中的潜在应用。
Description
技术领域
本发明涉及多光谱透射图像中异质体检测装置领域，具体涉及一种在频域内多波长透射图像融合装置。
背景技术
乳腺癌作为一种高发疾病，对女性的健康和生活造成了极大的伤害。2018年，中国癌症中心宣布乳腺癌在中国女性癌症发病率中仍居首位。中国女性乳腺癌的发病率和死亡率分别占全球乳腺癌人口的11.2％和9.2％。乳腺癌的早期治疗不仅保护了女性的乳房，而且与中晚期患者相比，大大提高了乳腺癌的治愈率。因此，越早发现乳腺癌，对患者的治疗越好。
目前用于乳腺癌检测的成像技术主要包括超声、X光钼靶摄影、计算机断层扫描(Computed Tomography,CT)、磁共振成像(Magnetic Resonance Imaging,MRI)和近红外透射成像。由于检测精度的不标准化，很难评估超声波对不同人群的检测效果。CT成像不仅会产生伪影，还会对患者身体造成电离辐射的损伤。MRI成像对患者要求严格，价格昂贵，成像慢，不利于普及。而且早期肿瘤组织的物理结构分布在这些图像中是模糊的，这使得定位组织中肿瘤的位置和范围是存在困难的。然而，乳腺组织是半透明的，具有高透射性。在透射成像过程中，由于乳腺肿瘤组织周边存在大量的新生血管和血红蛋白，这会使得图像中产生较大的阴影，称为异质体。所以，光学透射成像是一种有效可行的乳腺癌检测方法。然而多光谱透射成像在医学领域的研究应用却很少。这主要是由于光源在生物组织传输过程中存在强散射性，使得多光谱透射图像中的信号较弱，无法获得丰富的异质体的特征信息。但在多光谱透射成像中，不同组织在不同波长下的光学性质是不同的。不同波长信息的组合有利于图像中异质体的检测。
发明内容
本发明所要解决的技术问题在于：如何根据各波长图像的频率分布建立合理的多波长图像融合装置，以增强异质体区域的信息度，提供了一种在频域内多波长透射图像融合装置方法。
为解决以上技术问题，本发明提供如下技术方案：一种在频域内多波长透射图像融合装置，包括：图像采集系统装置、波长图像提取装置、图像预处理装置、图像重构装置；
所述图像采集系统装置，用于采集仿体图像，获得仿体图像序列；仿体图像序列中包含若干帧多波长图像；
所述波长图像提取装置，用于提取多波长图像中R\G\B单波长图像；
所述图像预处理装置，用于对单通道波长图像进行图像帧累加、以及降噪处理，获得高质量三单波长的滤波图像；
所述图像重构装置，包括：频域动态图获取单元、RVS重构低频融合图像单元、RSEW重构高频融合图像单元、高低频图像融合单元；
所述频域动态图获取单元，用于基于同态滤波获取单通道波长图像的频域动态图；
所述RVS重构低频融合图像单元，用于对图像中低频区域进行RVS计算，计算低频局部区域方差匹配度，确定低频局部区域融合策略，得到RVS重构低频融合图像；
所述RSEW重构高频融合图像单元，用于计算图像高频区域RSEW，高频局部区域能量匹配度的计算，确定高频局部区域融合策略，得到RSEW重构高频融合图像；
所述高低频图像融合单元，用于融合低频和高频融合图像的系数矩阵，得到最终融合图像。
进一步地，前述的波长图像提取装置被配置执行如下步骤：
S101、针对多波长图像，分别提取预设波长中心的红光图像、绿光图像、蓝光图像；
S102、分别对红光图像、绿光图像、蓝光图像进行剪切，获得预设帧数和尺寸的图像。
进一步地，前述的图像预处理装置包括图像帧累加单元、以及降噪处理单元；所述图像帧累加单元被配置执行如下动作：筛选获取的弱信号图像，对每个波长所有的弱信号图像进行帧累加平均处理，如下式：
式中：xi为图像，i为通道数，j为帧数，n为帧的总数
所述降噪处理单元，被配置执行如下动作：对图像xi进行快速傅里叶变换得到其幅频特性曲线，提取图像中高频区域，针对高频区域利用二阶巴特沃斯滤波器抑制图像噪声。
进一步地，前述的二阶巴特沃斯滤波器的截止频率设置为50HZ。
进一步地，前述的频域动态图获取单元，被配置执行如下动作：利用同态滤波获得R\G\B单波长图像的频域动态图，然后对R\G\B单波长图像的频域动态图建立频域组合，消除图像中异质体区域模糊部分、以及修正同一位置灰度；
进一步地，前述的RVS重构低频融合图像单元单元，被配置执行如下动作：
S201、对图像中的低频区域进行RVS计算，如下式：
式中：X表示一帧图像，p表示图像像素点，q代表权值取值像素点，Q表示选取图像的局部区域，大小为3×3矩阵；G(X,p)以点p为中心的局部区域Q的RVS；ω(q)为权值，权值通过行和列的高斯分布加权相加得到；C(X,p)为区域Q形成的矩阵；μ(X,p)为图像X的低频系数矩阵内区域Q的平均值；
S202、对低频局部区域方差匹配度计算，对R\G\B单波长图像的低频系数矩阵采用两两组合方式，分别计算不同区域间局部区域的方差匹配度，方差匹配度定义公式如下：
M(p)＝min(MAB(p),MAC(p),MBC(p)) (4)
式中：A表示红光图像，B表示绿光图像，C表示蓝光图像；MAB(p)、MAC(p)和MBC(p)分别表示图像A和B、A和C、B和C低频系数在局部区域Q的方差匹配度，数值在0～1之间变化；C(A,p)和C(B,p)分别表示图像A和B在区域Q内形成的数据矩阵；和/>分别表示图像A和B在低频系数矩阵内区域Q的平均值；G(A,p)和G(B,p)分别表示以点p为中心图像A和B的局部区域Q的RVS；
S203、确定低频局部区域融合策略，R\G\B单波长图像两两组合，选择预设自适应阈值T作为匹配度阈值，其定义如下式：
T＝min(TAB,TAC,TBC) (6)
式中：TAB表示图像A和B自适应匹配度阈值；TAc和TBC分别表示图像A和C、B和C自适应匹配度阈值；
当M(p)≤T时，采用选择融合策略：
Gw＝max(GA(A,p),GB(B,p),GC(C,p)) (7)
C(F,p)＝C(w,p) (8)
当M(p)＞T时，采用加权融合策略：
Gv＝min(GA(A,p),GB(B,p),GC(C,p)) (9)
Gλ＝max(GA(A,p),GB(B,p),GC(C,p)) (10)
C(F,p)＝ωminC(v,p)+ωmaxC(λ,p) (11)
其中，
ωmax＝1-ωmin (13)
式中：C(F,p)表示在图像A、B和C中最终选取的低频区域；C(w,p)表示当M(p)≤T时图像A、B和C局部区域RVS中值最大的图像低频区域；C(v,p)表示当M(p)＞T时图像A、B和C局部区域RVS中值最小的图像低频区域；C(λ,p)表示当M(p)＞T时图像A、B和C局部区域RVS中值最大的图像低频区域；
S204、基于RVS重构低频融合图像，基于RVS重建低频图像过程中，选择“db3”小波包提取图像的低频系数，得到低频融合图像。
进一步地，前述的RSEW重构高频融合图像单元，被配置执行如下动作：
S301、进行图像高频区域RSEW的计算，用RSEW作为选取局部系数的依据，定义如下：
式中：j表示高频区域小波变换选取的层数，l表示高频区域小波变换的方向，m和n分别表示单波长图像的像素点位置，q代表权值取值像素点，Q为以点P(m,n)为中心选取的局部区域，大小为3×3的矩阵，i和j分别表示选取图像局部区域的像素点位置；Ej,l(m,n)表示在尺度j和方向l下高频系数的局部区域能量；Cj,l(i,j)表示在区间Q内的像素值；
S302、进行高频局部区域能量匹配度的计算，R\G\B单波长的高频系数矩阵采用两两组合方式，分别计算局部区域的能量匹配度，局部区域能量匹配度定义如下：
式中：和/>分别表示图像A和B在区间Q内的像素值；/>和分别表示图像A和B在在尺度j和方向l高频系数的局部区域能量；Mj.l(m,n)的取值为0～1，取值越小表明相关程度越低；/>和/>分别表示图像A和B、图像A和C、图像B和C间的能量匹配度；
S303、确定高频局部区域融合策略，具体如下：设T1为能量匹配度阈值；
当Mj.l(m,n)≤T1时，采用以下融合策略：
当Mj.l(m,n)＞T1时，采用加权融合策略：
其中，
ωmax＝1-ωmin (23)
式中：和/>分别表示图像A、B和C局部区域的RSEW；/>表示在图像A、B和C中最终选取的高频区域；/>表示当Mj,l(m,n)≤T1时图像A、B和C局部区域RSEW中值最小的图像高频区域；/>表示当Mj,l(m,n)＞T1时图像A、B和C局部区域RSEW中值最小的图像高频区域；/>表示当Mj,l(m,n)＞T1时图像A、B和C局部区域RSEW中值最大的图像高频区域。
进一步地，前述的高低频图像融合单元，被配置执行如下动作：融合低频和高频融合图像的系数矩阵，通过小波逆变换对不同频域的系数矩阵进行组合得到最终融合图像。
相较于现有技术，本发明采用以上技术方案的有益技术效果如下：针对多波长透射图像中异质体区域模糊的问题，提出了一种在频域内多波长透射图像融合装置。该装置通过帧累加技术和二阶巴特沃斯滤波器来提高图像的信噪比和抑制图像中的噪声。然后，经过同态滤波之后发现多波长图像中同频域间是连通的，这将不利于异质体区域的检测。利用RVS和RSEW融合策略分别融合图像的低频和高频区域来打破图像同频域间的连通性。最后，通过分水岭算法得到图像的异质体区域。本发明的装置与现有的图像融合装置相比，不仅提高了融合图像中异质体区域与正常区域的对比度，而且能够更准确地检测出异质体区域。虽然只是对仿体模型中最简单异质体区域的检测，但它提供了一种打破图像同频域间连通性的思想。随着进一步的研究，改进的方法可以适应更复杂的情况，用于临床应用。综上所述，本发明所提供的装置不仅有效实现了多波长图像中异质体区域的识别，而且促进了多波长透射成像在乳腺肿瘤早期筛查中的临床应用。
附图说明
图1为本发明实施例中实验系统装置示意图。
图2为本发明实施例中单帧多波长透射彩色图像示意图。
图3为本发明实施例中R/G/B三通道图像的幅频特性曲线示意图。
图4为本发明实施例中R/G/B三通道滤波图像示意图，其中(a)为红光滤波图，(b)为绿光滤波图，(c)为蓝光滤波图。
图5为本发明实施例中R/G/B三单波长图像的动态滤波示意图，其中(a)为红光图像的动态滤波图，(b)为绿光图像的动态滤波图，(c)为蓝光图像的动态滤波图。
图6为本发明实施例中频域融合过程处理图像示意图，其中(a)为滤波后图像，(b)是基于RVS融合策略得到的低频融合图像，(c)是基于RSEW融合策略得到的高频融合图像，(d)是通过小波逆变换对不同频域的系数矩阵进行组合得到的融合图像。
图7为本发明实施例中R/G/B三单波长图像的信噪比结果示意图。
图8为本发明实施例中R/G/B三单波长图像处理前后的灰阶对比示意图，其中(a)为红光图像处理前后灰阶对比图,(b)为绿光图像处理前后灰阶对比图,(c)为蓝光图像处理前后灰阶对比图。
图9为本发明实施例中不同融合方法下图像不同区域分割示意图，其中，(a)是通过IDRF法分割图像不同区域的结果图，(b)是通过QBG法分割图像不同区域的结果图，(c)是通过MWGF法分割图像不同区域的结果图，(d)是通过SFFF法分割图像不同区域的结果图，(e)是通过NSCT法分割图像不同区域的结果图，(f)是通过NSST法分割图像不同区域的结果图，(g)是通过CP法分割图像不同区域的结果图，(h)是通过NSCTA法分割图像不同区域的结果图，(i)是通过S-PCNN法分割图像不同区域的结果图，(j)是通过CNN法分割图像不同区域的结果图，(k)为红光图像不同区域分割的结果图，(l)为绿光图像不同区域分割的结果图，(m)为蓝光图像不同区域分割的结果图，(n)为RGB原始图像不同区域分割的结果图，(o)是通过本发明频域融合方法分割图像不同区域的结果图。
图10为本发明实施例中不同融合方法下不同区域分割指标结果示意图。
图11为本发明实施例中不同融合方法下图像异质体区域的标定示意图，其中(a)是通过MWGF方法获得的异质体区域图，(b)是通过NSCTA方法获得的异质体区域图，(c)是通过CNN方法获得的异质体区域图，(d)为R图像中的异质体区域图，(e)是通过本发明融合方法获得的异质体区域图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本发明中参照附图来描述本发明的各方面，附图中示出了许多说明性实施例。本发明的实施例不局限于附图所述。应当理解，本发明通过上面介绍的多种构思和实施例，以及下面详细描述的构思和实施方式中的任意一种来实现，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
如图1所示，本发明提供一种在频域内多波长透射图像融合装置，包括：图像采集系统装置、波长图像提取装置、图像预处理装置、图像重构装置；
图像采集系统装置，用于采集仿体图像，获得仿体图像序列；仿体图像序列中包含若干帧多波长图像；
所述波长图像提取装置，用于提取多波长图像中R\G\B的单波长图像；
所述图像预处理装置，用于对单通道波长图像进行图像帧累加、以及降噪处理，获得高质量三单波长的滤波图像；
所述图像重构装置，包括：频域动态图获取单元、RVS重构低频融合图像单元、RSEW重构高频融合图像单元、高低频图像融合单元；
所述频域动态图获取单元，用于基于同态滤波获取单通道波长图像的频域动态图；
所述RVS重构低频融合图像单元，用于对图像中低频区域进行RVS计算，计算低频局部区域方差匹配度，确定低频局部区域融合策略，得到RVS重构低频融合图像；
所述RSEW重构高频融合图像单元，用于计算图像高频区域RSEW，高频局部区域能量匹配度的计算，确定高频局部区域融合策略，得到RSEW重构高频融合图像；
所述高低频图像融合单元，用于融合低频和高频融合图像的系数矩阵，得到最终融合图像。
参考图1，仿体图像采集装置，包括500W氙灯，波长范围：190-1100nm、可编程DC稳压电源，型号：hspy-600、工业相机，型号：JHSM120f，图像分辨率：1280×780，相机帧频：29帧/秒、图像数据处理的电脑，型号：Hewlett-Packard、遮光布和仿体等部件。其中，仿体由聚甲醛构成，在仿体小孔中注射浓度为3％的脂肪乳和墨水混合溶液作为异质体。在搭建的实验装置平台上采集原始多波长透射图像，具体为：(1)设置相机参数。其中，相机的增益设为10，曝光时间设为5ms，采集频率约为25帧/秒。(2)调整和固定光源和仿体、仿体和相机之间的距离，并用遮光布遮盖。(3)打开光源开关和相机的摄像头获取仿体图像序列，如图2所示显示了一帧多波长图像。
利用本发明的波长图像提取装置，从多波长图像中提取三原色R\G\B的单通道波长图像。包括波长中心为700.0nm的红光图像、波长中心为546.1nm的绿光图像和波长中心为435.8nm的蓝光图像，每个波长分别获得1993帧尺寸大小为575×571的图像。
利用发明中的图像预处理装置，对于弱信号图像，帧累加是获得高信噪比目标图像最有效的方法之一。通过对实验中每个波长中所有的图像进行帧累加平均处理，从而提高图像的信噪比，如公式(1)所示：
式中：xi为图像，i为通道数，j为帧数，n为帧的总数，本实施例中n＝1993。
对图像高频区域降噪处理。对图像xi，其中i＝1,2,3，进行快速傅里叶变换得到其幅频特性曲线，如图3所示。从图中可以看出，图像的噪声主要是高频区域的加性噪声。为了抑制图像累加后的加性噪声，使用二阶巴特沃斯滤波器来抑制图像的噪声。其中，滤波器的截止频率设为50Hz。最后，获得高质量R/G/B单波长的滤波图像，见图4中的(a)红光滤波图，(b)绿光滤波图，(c)蓝光滤波图所示。
如图5所示，(a)为红光图像的动态滤波图，(b)为绿光图像的动态滤波图，(c)为蓝光图像的动态滤波图。所述频域动态图获取单元，用于基于同态滤波获取单通道波长图像的频域动态图，通过同态滤波获得R\G\B单波长图像的频域动态图。从三单波长频域动态图可以看出，图像相同频率区域是连通的，这将导致图像中异质体区域的模糊性。然而，在不同波长的频域动态图中，同一位置的灰度值是不同的。因此，可以通过建立合理的频域组合关系来实现异质体区域的检测。
所述RVS重构低频融合图像单元，被配置执行如下动作：
S201、对图像中的低频区域进行RVS计算，方差分析是对不同样本均值显著差别性的检验。通过分析研究图像不同局部区域范围差异性及其对整体图像的贡献性，确定相对位置方差性的大小，实现目标区域的选取。其中，RVS的定义公式如下所示：
式中：X表示一帧图像，p表示图像像素点，q代表权值取值像素点，Q表示选取图像的局部区域，大小为3×3矩阵；G(X,p)以点p为中心的局部区域Q的RVS，ω(q)为权值，权值通过行和列的高斯分布加权相加得到；C(X,p)为区域Q形成的矩阵；为图像X的低频系数矩阵内区域Q的平均值；
S202、对低频局部区域方差匹配度计算，采用匹配度来说明局部区域选取的合理性，对R\G\B单波长的低频系数矩阵采用两两组合方式，分别计算不同区域间局部区域的方差匹配度，方差匹配度定义公式如下：
M(p)＝min(MAB(p),MAC(p),MBC(p)) (4)
式中：A表示红光图像，B表示绿光图像，C表示蓝光图像；MAB(p)、MAC(p)和MBC(p)分别表示图像A和B、A和C、B和C低频系数在局部区域Q的方差匹配度，数值在0～1之间变化；C(A,p)和C(B,p)分别表示图像A和B在区域Q内形成的数据矩阵；和/>分别表示图像A和B在低频系数矩阵内区域Q的平均值；G(A,p)和G(B,p)分别表示以点p为中心图像A和B的局部区域Q的RVS。
S203、确定低频局部区域融合策略，R\G\B单波长两两组合，选择预设自适应阈值T作为匹配度阈值，其定义如下式：
T＝min(TAB,TAC,TBC) (6)
式中：TAB表示图像A和B自适应匹配度阈值；TAc和TBC分别表示图像A和C、B和C自适应匹配度阈值；
当M(p)≤T时，采用选择融合策略：
Gw＝max(GA(A,p),GB(B,p),GC(C,p)) (7)
C(F,p)＝C(w,p) (8)
当M(p)＞T时，采用加权融合策略：
Gv＝min(GA(A,p),GB(B,p),GC(C,p)) (9)
C(F,p)＝ωminC(v,p)+ωmaxC(w,p) (10)
Gλ＝max(GA(A,p),GB(B,p),GC(C,p)) (11)
其中，
ωmax＝1-ωmin (13)
式中：C(F,p)表示在图像A、B和C中最终选取的低频区域；C(w,p)表示当M(p)≤T时图像A、B和C局部区域RVS中值最大的图像低频区域；C(v,p)表示当M(p)＞T时图像A、B和C局部区域RVS中值最小的图像低频区域；C(λ,p)表示当M(p)＞T时图像A、B和C局部区域RVS中值最大的图像低频区域。
S204、基于RVS重构低频融合图像，基于RVS重建低频图像过程中，选择“db3”小波包提取图像的低频系数，得到低频融合图像。如图6中(a)所示，滤波后图像的频域中心呈现出规则的区域分布特征。因此，选择3×3的正方形矩阵作为局部区域选择的模板。而且低频融合策略是根据相邻像素间的相关性，可以保持图像局部区域关联关系的不变性，且RVS能有效地保留图像整体轮廓的细节信息。所以，采用上述RVS融合策略来重构图像的低频系数矩阵。最后，通过小波逆变换得到重新融合后的低频图像，如图6中(b)所示。融合后图像的整体轮廓更加清晰，不同区域之间的对比度更加明显。
所述RSEW重构高频融合图像单元，被配置执行如下动作：
S301、进行图像高频区域RSEW的计算，图像高频成分系数矩阵主要是体现图像内部整体的细节信息，细节信息的外在表现为局部区域分散的能量。用RSEW作为选取局部系数的依据，定义如下：
式中：j表示高频区域小波变换选取的层数，l表示高频区域小波变换的方向，m和n分别表示单波长图像的像素点位置，q代表权值取值像素点，Q为以点P(m,n)为中心选取的局部区域，大小为3×3的矩阵，i和j分别表示选取图像局部区域的像素点位置；Ej,l(m,n)表示在尺度j和方向l下高频系数的局部区域能量；Cj,l(i,j)表示在区间Q内的像素值；
S302、进行高频局部区域能量匹配度的计算，R\G\B单波长的高频系数矩阵采用两两组合方式，分别计算局部区域的能量匹配度，局部区域能量匹配度定义如下：
式中：和/>分别表示图像A和B在区间Q内的像素值；/>和分别表示图像A和B在在尺度j和方向l高频系数的局部区域能量；Mj.l(m,n)的取值为0～1，取值越小表明相关程度越低；/>和/>分别表示图像A和B、图像A和C、图像B和C间的能量匹配度；
S303、确定高频局部区域融合策略，具体如下：设T1为能量匹配度阈值，一般取值范围在0.5～1。本文基于高频融合图像的信息熵实现能量匹配阈值的计算。其中，图像信息熵越高，图像融合质量越高。经过多次测试表明，当T1＝0.8时，高频融合图像的信息熵最高。
当Mj.l(m,n)≤T1时，采用以下融合策略：
当Mj.l(m,n)＞T1时，采用加权融合策略：
其中，
ωmax＝1-ωmin (23)
式中：和/>分别表示图像A、B和C局部区域的RSEW；/>表示在图像A、B和C中最终选取的高频区域；/>表示当Mj,l(m,n)≤T1时图像A、B和C局部区域RSEW中值最小的图像高频区域；/>表示当Mj,l(m,n)＞T1时图像A、B和C局部区域RSEW中值最小的图像高频区域；/>表示当Mj,l(m,n)＞T1时图像A、B和C局部区域RSEW中值最大的图像高频区域。
基于RSEW重构高频融合图像。不同尺度和方向的高频系数矩阵包含了图像的细节信息，图像的清晰度由区域内所有的像素来反映。其中，在小波变换过程中，第一、三层高频系数会出现大量的“抖动”信号，这主要是由于图像在两层分离的高频内含有大量的噪声，而第二层高频系数相对平坦。因此，选择第二层高频系数矩阵作为图像高频区域研究的基础，可以有效地抑制噪声，反映图像高频区域内的细节特征。基于RSEW融合策略得到的高频融合图像能够有效地保留图像的边缘信息，如图6中(c)所示，图像的细节信息更加丰富。
所述高低频图像融合单元，被配置执行如下动作：融合低频和高频融合图像的系数矩阵，通过小波逆变换对不同频域的系数矩阵进行组合得到最终融合图像。通过小波逆变换对不同频域的系数矩阵进行组合得到融合图像，如图6中(d)所示。融合图像的整体轮廓信息更加清晰，异质体区域与正常区域的对比更加明显。与三单波长原始图像相比，融合图像避免了R图像的整体模糊性，图像层次更加清晰，也避免了G\B图像中信息的丢失，丰富了图像的细节信息。
为了充分挖掘多波长图像的特征信息，本发明基于不同生物组织在多波长图像中的信息差异在图像的不同频域分别建立了多尺度融合策略。通过不同的融合策略选择能够反映异质区域特征并保持定量关系的图像数据矩阵。为此，提出了一种在图像频域内多波长透射图像融合装置来实现异质体的检测。多波长透射图像经过帧累加技术处理后，信噪比和灰阶等级显著提高，如图7所示。而且灰度等级分布明显增加，图像的空间分辨率也有所提高，如图8所示，其中(a)为红光图像处理前后灰阶对比图,(b)为绿光图像处理前后灰阶对比图,(c)为蓝光图像处理前后灰阶对比图，从图中看出，图像更加清晰。同时，通过分水岭算法将本发明融合方法与现有的各种融合方法分割图像中不同区域进行对比。其中，图像驱动区域融合(Image-Driven Region Fusion,IDRF)方法区域分割如图9中(a)所示、基于四叉树的融合算法(Quadtree-Based Algorithm,QBA)区域分割如图9中(b)所示、多尺度加权梯度融合(Multi-Scale Weighted Gradient-Based Fusion,MWGF)方法区域分割如图9中(c)所示、自分数傅里叶函数(Self-Fractional Fourier Function,SFFF)方法区域分割如图9中(d0所示、非下采样轮廓波变换(On-Nonsubsampled Contourlet Transform,NSCT)方法区域分割如图9中(e0所示、非子样剪切波变换(Non-Subsampled ShearletTransform,NSST)方法区域分割如图9中(f0所示、对比度金字塔(Contrast Pyramid,CP)方法区域分割如图9中(g0所示、非二次采样轮廓变换算法(Non-Subsampled ContourTransform Algorithm,NSCTA)区域分割如图9中(h)所示、简化脉冲耦合神经网络(Simplified Pulse Coupled Neural Network,S-PCNN)方法区域分割如图9中(i)所示、卷积神经网络(Convolutional Neural Networks,CNN)方法区域分割如图9中(j)所示、R单波长图像区域分割如图9中(k)所示、G单波长图像区域分割如图9中(l)所示、B单波长图像区域分割如图9中(m)所示、RGB多波长图像区域分割如图9中(n)所示以及本发明提出的融合方法(Fusion Method)区域分割如图9中(o)所示，结果显然本发明提取的方法更加能够划分正常与异质体区域。进一步结果表明，本发明所提出的融合装置不仅提高了融合图像中异质体区域与正常区域的对比度，如图10所示，而且能够更准确地检测出异质体区域，如图11所示，其中(a)是通过MWGF方法获得的异质体区域图，(b)是通过NSCTA方法获得的异质体区域图，(c)是通过CNN方法获得的异质体区域图，(d)为R图像中的异质体区域图，(e)是通过本发明融合方法获得的异质体区域图，可以看出本发明进一步促进了多波长透射图像在早期乳腺癌筛查中的潜在应用。
虽然本发明已以较佳实施例阐述如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。
Claims (8)
1.一种在频域内多波长透射图像融合装置，其特征在于，包括：图像采集系统装置、波长图像提取装置、图像预处理装置、图像重构装置；
所述图像采集系统装置，用于采集仿体图像，获得仿体图像序列；仿体图像序列中包含若干帧多波长图像；
所述波长图像提取装置，用于提取多波长图像中R\G\B单波长图像；
所述图像预处理装置，用于对单通道波长图像进行图像帧累加、以及降噪处理，获得高质量三单波长的滤波图像；
所述图像重构装置，包括：频域动态图获取单元、RVS重构低频融合图像单元、RSEW重构高频融合图像单元、高低频图像融合单元；
所述频域动态图获取单元，用于基于同态滤波获取单通道波长图像的频域动态图；
所述RVS重构低频融合图像单元，用于对图像中低频区域进行RVS计算，计算低频局部区域方差匹配度，确定低频局部区域融合策略，得到RVS重构低频融合图像；
所述RSEW重构高频融合图像单元，用于计算图像高频区域RSEW，高频局部区域能量匹配度的计算，确定高频局部区域融合策略，得到RSEW重构高频融合图像；
所述高低频图像融合单元，用于融合低频和高频融合图像的系数矩阵，得到最终融合图像。
2.根据权利要求1所述的一种在频域内多波长透射图像融合装置，其特征在于，所述波长图像提取装置被配置执行如下步骤：
S101、针对多波长图像，分别提取预设波长中心的红光图像、绿光图像、蓝光图像；
S102、分别对红光图像、绿光图像、蓝光图像进行剪切，获得预设帧数和尺寸的图像。
3.根据权利要求1所述的一种在频域内多波长透射图像融合装置，其特征在于，所述图像预处理装置包括图像帧累加单元、以及降噪处理单元；
所述图像帧累加单元被配置执行如下动作：筛选获取的弱信号图像，对每个波长所有的弱信号图像进行帧累加平均处理，如下式：
式中：xi为图像，i为通道数，j为帧数，n为帧的总数
所述降噪处理单元，被配置执行如下动作：对图像xi进行快速傅里叶变换得到其幅频特性曲线，提取图像中高频区域，针对高频区域利用二阶巴特沃斯滤波器抑制图像噪声。
4.根据权利要求1所述的一种在频域内多波长透射图像融合装置，其特征在于，二阶巴特沃斯滤波器的截止频率设置为50HZ。
5.根据权利要求1所述的一种在频域内多波长透射图像融合装置，其特征在于，所述频域动态图获取单元，被配置执行如下动作：利用同态滤波获得R\G\B单波长图像的频域动态图，然后对R\G\B单波长图像的频域动态图建立频域组合，消除图像中异质体区域模糊部分、以及修正同一位置灰度。
6.根据权利要求1所述的一种在频域内多波长透射图像融合装置，其特征在于，所述RVS重构低频融合图像单元，被配置执行如下动作：
S201、对图像中的低频区域进行RVS计算，如下式：
式中：X表示一帧图像，p表示图像像素点，q代表权值取值像素点，Q表示选取图像的局部区域，大小为3×3矩阵；G(X,p)以点p为中心的局部区域Q的RVS，ω(q)为权值，权值通过行和列的高斯分布加权相加得到；C(X,p)为区域Q形成的矩阵；为图像X的低频系数矩阵内区域Q的平均值；
S202、对低频局部区域方差匹配度计算，对R\G\B单波长图像的低频系数矩阵采用两两组合方式，分别计算不同区域间局部区域的方差匹配度，方差匹配度定义公式如下：
M(p)＝min(MAB(p),MAC(p),MBC(p)) (4)
式中：A表示红光图像，B表示绿光图像，C表示蓝光图像；MAB(p)、MAC(p)和MBC(p)分别表示图像A和B、A和C、B和C低频系数在局部区域Q的方差匹配度，数值在0～1之间变化；C(A,p)和C(B,p)分别表示图像A和B在区域Q内形成的数据矩阵；和/>分别表示图像A和B在低频系数矩阵内区域Q的平均值；G(A,p)和G(B,p)分别表示以点p为中心图像A和B的局部区域Q的RVS；
S203、确定低频局部区域融合策略，R\G\B单波长图像两两组合，选择预设自适应阈值T作为匹配度阈值，其定义如下式：
T＝min(TAB,TAC,TBC) (6)
式中：TAB表示图像A和B自适应匹配度阈值；TAc和TBC分别表示图像A和C、B和C自适应匹配度阈值；
当M(p)≤T时，采用选择融合策略：
Gw＝max(GA(A,p),GB(B,p),GC(C,p)) (7)
C(F,p)＝C(w,p) (8)
当M(p)＞T时，采用加权融合策略：
Gv＝min(GA(A,p),GB(B,p),GC(C,p)) (9)
Gλ＝max(GA(A,p),GB(B,p),GC(C,p)) (10)
C(F,p)＝ωminC(v,p)+ωmaxC(λ,p) (11)
其中，
ωmax＝1-ωmin (13)
式中：C(F,p)表示在图像A、B和C中最终选取的低频区域；C(w,p)表示当M(p)≤T时图像A、B和C局部区域RVS中值最大的图像低频区域；C(v,p)表示当M(p)＞T时图像A、B和C局部区域RVS中值最小的图像低频区域；C(λ,p)表示当M(p)＞T时图像A、B和C局部区域RVS中值最大的图像低频区域；
S204、基于RVS重构低频融合图像，基于RVS重建低频图像过程中，选择“db3”小波包提取图像的低频系数，得到低频融合图像。
7.根据权利要求1所述的一种在频域内多波长透射图像融合装置，其特征在于，所述RSEW重构高频融合图像单元，被配置执行如下动作：
S301、进行图像高频区域RSEW的计算，用RSEW作为选取局部系数的依据，定义如下：
式中：j表示高频区域小波变换选取的层数，l表示高频区域小波变换的方向，m和n分别表示单波长图像的像素点位置，q代表权值取值像素点，Q为以点P(m,n)为中心选取的局部区域，大小为3×3的矩阵，i和j分别表示选取图像局部区域的像素点位置；Ej,l(m,n)表示在尺度j和方向l下高频系数的局部区域能量；Cj,l(i,j)表示在区间Q内的像素值；
S302、进行高频局部区域能量匹配度的计算，R\G\B单波长的高频系数矩阵采用两两组合方式，分别计算局部区域的能量匹配度，局部区域能量匹配度定义如下：
式中：和/>分别表示图像A和B在区间Q内的像素值；/>和/>分别表示图像A和B在在尺度j和方向l高频系数的局部区域能量；Mj.l(m,n)的取值为0～1，取值越小表明相关程度越低；/>和/>分别表示图像A和B、图像A和C、图像B和C间的能量匹配度；
S303、确定高频局部区域融合策略，具体如下：设T1为能量匹配度阈值；
当Mj.l(m,n)≤T1时，采用以下融合策略：
当Mj.l(m,n)＞T1时，采用加权融合策略：
其中，
ωmax＝1-ωmin (23)
式中：和/>分别表示图像A、B和C局部区域的RSEW；/>表示在图像A、B和C中最终选取的高频区域；/>表示当Mj,l(m,n)≤T1时图像A、B和C局部区域RSEW中值最小的图像高频区域；/>表示当Mj,l(m,n)＞T1时图像A、B和C局部区域RSEW中值最小的图像高频区域；/>表示当Mj,l(m,n)＞T1时图像A、B和C局部区域RSEW中值最大的图像高频区域。
8.根据权利要求1所述的一种在频域内多波长透射图像融合装置，其特征在于，所述高低频图像融合单元，被配置执行如下动作：融合低频和高频融合图像的系数矩阵，通过小波逆变换对不同频域的系数矩阵进行组合得到最终融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311241210.5A CN117252794B (zh) | 2023-09-25 | 2023-09-25 | 一种在频域内多波长透射图像融合装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311241210.5A CN117252794B (zh) | 2023-09-25 | 2023-09-25 | 一种在频域内多波长透射图像融合装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117252794A CN117252794A (zh) | 2023-12-19 |
| CN117252794B true CN117252794B (zh) | 2024-04-16 |
Family
ID=89127535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311241210.5A Active CN117252794B (zh) | 2023-09-25 | 2023-09-25 | 一种在频域内多波长透射图像融合装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117252794B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194904A (zh) * | 2017-05-09 | 2017-09-22 | 西北工业大学 | 基于增补机制和pcnn的nsct域图像融合方法 |
| CN108230260A (zh) * | 2017-12-06 | 2018-06-29 | 天津津航计算技术研究所 | 一种新型红外图像与微光图像的融合方法 |
| CN109919929A (zh) * | 2019-03-06 | 2019-06-21 | 电子科技大学 | 一种基于小波变换的舌裂纹特征提取方法 |
| CN113298147A (zh) * | 2021-05-25 | 2021-08-24 | 长春大学 | 基于区域能量和直觉模糊集的图像融合方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9916655B2 (en) * | 2013-06-07 | 2018-03-13 | Paul Scherrer Institut | Image fusion scheme for differential phase contrast imaging |
-
2023
- 2023-09-25 CN CN202311241210.5A patent/CN117252794B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194904A (zh) * | 2017-05-09 | 2017-09-22 | 西北工业大学 | 基于增补机制和pcnn的nsct域图像融合方法 |
| CN108230260A (zh) * | 2017-12-06 | 2018-06-29 | 天津津航计算技术研究所 | 一种新型红外图像与微光图像的融合方法 |
| CN109919929A (zh) * | 2019-03-06 | 2019-06-21 | 电子科技大学 | 一种基于小波变换的舌裂纹特征提取方法 |
| CN113298147A (zh) * | 2021-05-25 | 2021-08-24 | 长春大学 | 基于区域能量和直觉模糊集的图像融合方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117252794A (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2538839A1 (en) | Method of analyzing a medical image | |
| Dolui et al. | A new similarity measure for non-local means filtering of MRI images | |
| Du et al. | Three-layer image representation by an enhanced illumination-based image fusion method | |
| CN113034641B (zh) | 一种基于小波多尺度卷积特征编码的稀疏角度ct重建方法 | |
| Jeevakala | Sharpening enhancement technique for MR images to enhance the segmentation | |
| Kelm et al. | Optimizing non-local means for denoising low dose CT | |
| CA3065957A1 (en) | Subtraction algorithm for detection of tumors | |
| CN108038840B (zh) | 一种图像处理方法、装置、图像处理设备及存储介质 | |
| Jeevakala et al. | A novel segmentation of cochlear nerve using region growing algorithm | |
| CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
| Panda et al. | A 3D wide residual network with perceptual loss for brain MRI image denoising | |
| Krishnan et al. | Medical image enhancement in health care applications using modified sun flower optimization | |
| Liu et al. | Low-dose CT noise reduction based on local total variation and improved wavelet residual CNN | |
| Mirajkar et al. | Acute ischemic stroke detection using wavelet based fusion of CT and MRI images | |
| WO2023000244A1 (zh) | 一种图像处理方法、系统及其应用 | |
| Golshan et al. | A modified Rician LMMSE estimator for the restoration of magnitude MR images | |
| CN117252794B (zh) | 一种在频域内多波长透射图像融合装置 | |
| Nageswara Reddy et al. | BRAIN MR IMAGE SEGMENTATION BY MODIFIED ACTIVE CONTOURS AND CONTOURLET TRANSFORM. | |
| CN111477304A (zh) | 一种pet和mri图像相融合的肿瘤照射成像组合方法 | |
| CN116342444A (zh) | 一种双通道多模态图像融合方法及融合成像终端机 | |
| CN115619693A (zh) | 一种基于嵌套多尺度变换的时空融合模型 | |
| Salwe et al. | Brain tumor pixels detection using adaptive wavelet based histogram thresholding and fine windowing | |
| Muthiah et al. | Fusion of MRI and PET images using deep learning neural networks | |
| Li et al. | Medical image fusion based on local Laplacian decomposition and iterative joint filter | |
| Cao et al. | Medical image fusion based on GPU accelerated nonsubsampled shearlet transform and 2D principal component analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |