CN111275668B

CN111275668B - Nir图像的乳房血管提取方法、系统和装置

Info

Publication number: CN111275668B
Application number: CN202010031035.7A
Authority: CN
Inventors: 高爽; 马贝; 李世维; 谢晓青; 何芸芸; 容若文; 张国旺
Original assignee: Zhejiang Dolby Medical Technology Co ltd
Current assignee: Zhejiang Dolby Medical Technology Co ltd
Priority date: 2020-01-13
Filing date: 2020-01-13
Publication date: 2023-09-15
Anticipated expiration: 2040-01-13
Also published as: CN111275668A

Abstract

本申请公开了一种NIR图像的乳房血管提取方法、系统及装置，在本申请实施例中，本发明能够将多个角度的LED光源下的图像信息结合，得到完整的乳房光照信息，通过提取血管区域，可以排除血管区域范围外LED灯对血管提取的干扰。通过归一化的高斯核提取血管区域范围内的血管，并通过增强变换得到乳房区域内的血管分布。

Description

NIR图像的乳房血管提取方法、系统和装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种NIR图像的乳房血管提取方法、系统和装置。

背景技术

目前乳腺癌的诊断方法有钼靶X线、CT、MR、光学成像(DOT)等影像学诊断方法，光学成像(DOT)系统是通过NIR图像将乳房区域的光强吸收系数重建到图像中以达到诊断的目的。由于肿瘤细胞生长会造成新生血管的生成，因此肿瘤周围常存在致密毛细血管网，而NIR图像中存在血管信息，血管的提取对于乳腺癌的早期诊断也有着重要意义。由于乳房区域附近有127个LED光源，利用现有的模板配准，基于阈值的分割或者基于阈值的区域生长方法直接对图像进行血管提取容易受到LED光源亮度的影响。其次医学DICOM图像含有多帧，其中一帧仅反映了部分光源下的乳房信息，因此需要结合多帧的信息来进行血管提取。而且由于图像分辨率较低，需要做一些增强变换来加强血管分布图像。

发明内容

为了解决上述技术问题，本申请实施例提供一种NIR图像的乳房血管提取方法、系统和装置。

本申请实施例第一方面提供了一种NIR图像的乳房血管提取方法，可包括：

获取扫描周期内的图像数据，提取其中的前若干帧图像信息，并进行预处理；

基于预处理后的图像数据，获取乳房轮廓，并去除轮廓外的LED干扰区域后形成血管区域；

基于预处理后的图像数据，利用高斯核卷积方式获取血管分布；

结合所述血管分布和血管区域，并将负值域变换到正值域；

增强所获取的图像数据，得到乳房区域的血管分布图像。

进一步地，所述获取扫描周期内的图像数据，提取其中的前若干帧图像信息，并进行预处理具体包括：

扫描首周期中的图像，提取给乳房加压到100mmHg后第一周期的所有帧的图像(所有LED照射范围)后进行归一化处理并合并成一帧；

获取归一化后的图像数据转换到log域后的图像数据。

进一步地，所述基于预处理后的图像数据，获取乳房轮廓，并去除轮廓外的LED干扰区域后形成血管区域具体包括：

利用Otsu算法获取乳房轮廓；

以固定尺寸的滑动窗口进行检测，分割出二值图像中乳房轮廓范围的连通区域，并删除像素数低于预设值的连通区域后形成血管区域。

进一步地，所述利用Otsu算法获取乳房轮廓具体包括：

获取log域下的归一化灰度直方图，并获取直方图每个bin中的分量；

获取小于不同阈值处的累加直方图分量以及灰度值均值；

获取整体的灰度值均值，并获取前景与背景的最大类间方差的对应阈值，利用该阈值分割乳房区域。

进一步地，所述增强所获取的图像数据，得到乳房区域的血管分布图像具体包括：

获取上一步所得到的血管图像数据，并将图像变换到log域后做FFT变换；

设置与所述血管图像数据同等大小的高斯核，并对高斯图像进行FFT变换；

获取上述两者变换结果的乘积，并进行反FFT变换后，变换到log域，形成入射模拟分量；

获取血管图像数据除去入射模拟分量的图像数据，从log域变换回图像域，并映射到0～255范围后得到乳房区域的血管分布图像数据。

本申请实施例第二方面提供了一种NIR图像的乳房血管提取系统，包括：

图像获取单元，用于通过扫描周期内的图像数据，提取其中的前若干帧图像信息，并进行预处理；

血管区域获取单元，用于根据图像获取单元的图像数据获取乳房轮廓，并去除轮廓外的LED干扰区域后形成血管区域；

血管分布获取单元，用于根据图像获取单元的图像数据利用高斯核卷积方式获取血管分布；

图像结合单元，用于基于血管区域获取单元和血管分布获取单元的图像数据进行结合，并将负值域变换到正值域后形成乳房血管区域的血管分布图像数据；

增强变换单元，用于增强所获取的乳房血管区域的血管分布图像数据，获得最终的乳房血管图像。

进一步地，所述图像获取单元包括：

图像采集单元，获取扫描数据的首周期图像数据，并提取给乳房加压到100mmHg下首周期的图像数据；

预处理单元，用于对上述若干帧图像数据进行求和处理后进行归一化处理；

像域转换单元，将上述归一化后的图像整体转换到log域中。

进一步地，所述血管区域获取单元具体包括：

轮廓获取单元，利用Otsu算法获取乳房轮廓；

筛查单元，用于以固定尺寸的滑动窗口检测轮廓获取单元获取的图像数据，分割出二值图像中乳房轮廓范围的连通区域，并删除像素数低于预设值的连通区域后得到血管区域图像数据。

进一步地，所述增强变换单元具体包括：

FFT变换单元，用于将像域转换单元的图像数据做FFT变换，将预处理单元获得的图像数据在同等大小的高斯核下形成的高斯图像进行FFT变换；

入射模拟分量获取单元，用于对FFT变换单元变换后的两种图像乘积进行反FFT变换后，变换到log域，形成入射模拟分量；

图像输出单元，用于获取血管图像数据除去入射模拟分量的图像数据，从log域变换回图像域，并映射到0～255范围后得到乳房区域的最终血管分布图像数据。

第三方面，本申请实施例提供了一种提取装置，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现第一方面的方法。

在本申请实施例中，在本申请实施例中，该发明能够将多个角度的LED光源下的图像信息结合，得到完整的乳房光照信息。通过提取血管区域，可以排除血管区域范围外LED灯对血管提取的干扰。通过归一化的高斯核提取血管区域范围内的血管，并通过增强变换得到乳房区域内的血管分布。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的提取方法流程图；

图2是乳房血管提取的流示意框图；

图3是前3帧融合并归一化后的乳房图像示意图；

图4是Otsu算法提取的乳房轮廓区域示意图；

图5是去除小干扰区域后的乳房轮廓区域示意图；

图6是高斯核卷积得到的乳房范围内的血管分布示意图；

图7是负值域变换到正值域的血管分布示意图；

图8是Retinex增强变换后的乳房血管分布示意图；

图9是本申请实施例提供的一种提取系统的示意框图；

图10是本申请实施例提供的一种提取装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

如图1所示，涉及本申请所提出的一种NIR图像的乳房血管提取方法，包括：

S101：获取扫描周期内的图像数据，提取其中的前若干帧图像信息，并进行预处理。

可以理解的是，对于本方法一般在进行乳腺癌诊断的一开始就需要给出图像数据，在该要求下，对于整个方法的采集和输出都有要求，这就使得本方案在数据采集时，并不能够有充足的时间获取相当多的数据，因此为了满足整个方案的要求，本步骤扫描给乳房加压到100mmHg的第一个周期中的图像，提取至少前3帧的图像后并进行归一化处理，就得到了各种角度LED光源照射下乳房的完整信息。为了提高亮度，将得到的图像转换到log域。

具体地，

步骤1a：对前三帧图像进行归一化求和，得到其中I_i表示第i帧的灰度值。然后把得到的和图像再进行归一化image＝sum/max(sum)。

步骤1b：将所得图像转换到log域，即20×log(image)，得到的log域图像如图3所示。

S102：基于预处理后的图像数据，获取乳房轮廓，并去除轮廓外的LED干扰区域后形成血管区域。

可以理解的是，为了获取整个血管的分布，除了在获取分析每个血管的形状走向之外，整个血管的所在区域也需要进行确定，在本申请中整个血管的分布以通过确定乳房轮廓的所在来完成。

具体地，包括：

S1021:利用Otsu算法获取乳房轮廓，

步骤21a：计算log域图像的归一化灰度直方图，使用p_i代表直方图每个bin中的分量，其中i＝0～255。

步骤21b：计算小于阈值k处的累加直方图分量

步骤21c：计算小于阈值k处的灰度值均值

步骤21d：计算全体的灰度值均值

步骤21e：计算前景与背景的类间方差找到阈值k使它最大，并利用阈值k分割出乳房区域，如图4所示。

S1022:以固定尺寸的滑动窗口进行检测，分割出二值图像中乳房轮廓范围的连通区域，并删除像素数低于预设值的连通区域后形成血管区域。

本申请中，用3×3的滑动窗口检测分割出的二值图像中乳房轮廓范围的连通区域，认为水平，垂直，对角线上的相邻像素如果都是乳房轮廓范围，则属于连通区域。去除小于50个像素的连通区域。结果如图5所示。

S103：基于预处理后的图像数据，利用高斯核卷积方式获取血管分布。可以理解的是，在获得了整个血管区域之后，基于转换到log域后的图像数据，用高斯核卷积的方法获取血管分布。

作为一个具体的实施例，

步骤3a：取7×7的高斯核，旋转角度从间隔/>因此得到12个高斯核。高斯核为/>其中u为高斯核内各处x坐标到中心点处的差值，x的取值范围在距离中心点处±3σ内。再将高斯核正规化：k＝k-mean(k),k＝k/max(k)。

步骤3b：用上述12个高斯核分别对步骤1b中得到的log域图像进行卷积，得到12帧图像。在每个像素点处取12帧图像对应处的最小值，得到血管分布。

S104：结合所述血管分布和血管区域，并将负值域变换到正值域。

可以理解的是，对于上述的步骤S102和S103可以调换，两者之间并没有先后关系，本步骤用于将两个步骤所获取的数据进行融合。具体地，

步骤4a：取血管区域范围内的血管分布veinImg，如图6所示。

步骤4b：每个像素点处的值：0.5-5*veinImg，并将取值范围限制在[0,1]内，如图7所示。

S105：增强所获取的图像数据，得到乳房区域的血管分布图像。

可以理解的是，在步骤S104中所获得的图像可以作为所要获取的血管分布的粗略图像，为了使得整个血管分布图像更真实，需要进行Retinex增强变换。

具体地，

步骤5a：将步骤4b中得到的血管图像I变换到log域，得到I_log＝log(I)，并对I_log做FFT变换得到I_FFT。

步骤5b：产生与I同等大小的高斯核其中x,y为到图像中心点处的相对坐标。并对高斯图像做FFT变换得到G_FFT。

步骤5c：对I_FFT·G_FFT做反FFT变换，并取log域，得到S_log来模拟入射分量。

步骤5d：用捕捉到的图像减去入射分量得到原始图像log域分量，即R_log＝I_log-S_log，从log域变换到图像

步骤5e：把R的值映射到0～255的范围，得到的结果如图8所示。

本申请实施例还提供一种NIR图像的乳房血管提取系统，该系统用于执行前述任一项上述方法。具体地，参见图9，包括：图像获取单元310、血管区域获取单元320、血管分布获取单元330、图像结合单元340和增强变换单元350。

上述的图像获取单元310，用于通过扫描周期内的图像数据，提取其中的前若干帧图像信息，并进行预处理。

具体地包括：

图像采集单元311，获取扫描数据的首周期图像数据，并提取最初始的若干帧图像数据；

预处理单元312，用于对上述若干帧图像数据进行求和处理后进行归一化处理；

像域转换单元312，将上述归一化后的图像整体转换到log域中。

上述的血管区域获取单元320，用于根据图像获取单元的图像数据获取乳房轮廓，并去除轮廓外的LED干扰区域后形成血管区域。

具体地，包括：

轮廓获取单元321，利用Otsu算法获取乳房轮廓。

筛查单元322，用于以固定尺寸的滑动窗口检测轮廓获取单元获取的图像数据，分割出二值图像中乳房轮廓范围的连通区域，并删除像素数低于预设值的连通区域后得到血管区域图像数据。

上述的血管分布获取单元330，用于根据图像获取单元的图像数据利用高斯核卷积方式获取血管分布；

上述的图像结合单元340，用于基于血管区域获取单元和血管分布获取单元的图像数据进行结合，并将负值域变换到正值域后形成乳房血管区域的血管分布图像数据；

上述的增强变换单元350，用于增强所获取的乳房血管区域的血管分布图像数据，获得最终的乳房血管图像。

具体地，包括：

FFT变换单元351，用于将像域转换单元的图像数据做FFT变换，将和预处理单元获得的图像同等大小的高斯核下形成的高斯图像进行FFT变换。

入射模拟分量获取单元352，用于对FFT变换单元变换后的两种图像乘积进行反FFT变换后，变换到log域，形成入射模拟分量。

图像输出单元353，用于获取血管图像数据除去入射模拟分量的图像数据，从log域变换回图像域，并映射到0～255范围后得到乳房区域的最终血管分布图像数据。

由于上述系统与方法内容一致，在这里就不进行具体实施例的阐述。

图10是本申请实施例提供的一种提取设备的结构示意图。该对象检测设备4000包括处理器41，还可以包括输入装置42、输出装置43和存储器44。该输入装置42、输出装置43、存储器44和处理器41之间通过总线相互连接。

存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。

输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

可以理解的是，图10仅仅示出了对象检测设备的简化设计。在实际应用中，动作识别装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的动作识别装置都在本申请的保护范围之内。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。

以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护。

Claims

1.一种NIR图像的乳房血管提取方法，其特征在于，包括：

S101:获取扫描周期内的图像数据，提取其中的前若干帧图像信息，并进行预处理，具体包括：

扫描气囊对乳房加压到预设值的首周期中的图像，进行归一化处理后合并为一帧；

将合并后的图像数据转换到log域的图像数据；

S102:基于预处理后的图像数据，获取乳房轮廓，并去除轮廓外的LED干扰区域后形成血管区域, 具体包括：

利用Otsu算法获取乳房轮廓；

以固定尺寸的滑动窗口进行检测，分割出二值图像中乳房轮廓范围的连通区域，并删除像素数低于预设值的连通区域后形成血管区域；

S103:基于预处理后的图像数据，利用高斯核卷积方式获取血管分布；

S104:结合所述血管分布和血管区域，并将负值域变换到正值域；

S105:增强所获取的图像数据，得到乳房区域的血管分布图像。

2.根据权利要求1所述的NIR图像的乳房血管提取方法，其特征在于，所述利用Otsu算法获取乳房轮廓具体包括：

获取小于不同阈值处的累加直方图分量以及灰度值均值；

3.根据权利要求1所述的NIR图像的乳房血管提取方法，其特征在于，所述增强所获取的图像数据，得到乳房区域的血管分布图像具体包括：

获取血管图像数据除去入射模拟分量的图像数据，从log域变换回图像域，并映射到0~255范围后得到乳房区域的血管分布图像数据。

4.一种NIR图像的乳房血管提取系统，其特征在于，包括：

增强变换单元，用于增强所获取的乳房血管区域的血管分布图像数据，获得最终的乳房血管图像;

其中，所述图像获取单元包括：

图像采集单元，获取对乳房加压到预设值的首周期中的图像；

预处理单元，用于对上述图像数据进行求和处理后进行归一化处理；

像域转换单元，将合并后的图像数据转换到log域的图像数据；所述血管区域获取单元具体包括：

轮廓获取单元，利用Otsu算法获取乳房轮廓；

5.根据权利要求4所述的NIR图像的乳房血管提取系统，其特征在于，所述增强变换单元具体包括：

FFT变换单元，用于将像域转换单元的图像数据做FFT变换，将和预处理单元获得的图像同等大小的高斯核下形成的高斯图像进行FFT变换；

图像输出单元，用于获取血管图像数据除去入射模拟分量的图像数据，从log域变换回图像域，并映射到0~255范围后得到乳房区域的最终血管分布图像数据。

6.一种提取装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1-3任意一项所述的方法。