CN112085698A - 左右乳腺超声图像自动分析方法及装置 - Google Patents

Abstract

本发明公开一种左右乳腺超声图像自动分析方法，该左右乳腺超声图像自动分析方法包括构建左右乳房的三维模型；根据所述三维模型驱动超声探头对左右乳房进行扫查以获得左右乳房的超声图像；获取左右乳房的超声图像中的坐标点，并将左乳房的超声图像与右乳房的超声图像中的坐标点对称匹配；将对称匹配后的左右乳房的超声图像的对称区域进行比对。本发明有利于增加对乳房扫查的判别结果的精度。此外，本发明还公开一种左右乳腺超声图像自动分析装置。

Description

左右乳腺超声图像自动分析方法及装置

技术领域

本发明涉及乳腺扫查技术领域，具体涉及一种左右乳腺超声图像自动分析方法及装置。

背景技术

乳腺疾病是一种常见的妇科疾病，严重威胁着全世界妇女的健康甚至生命。随着科学技术的发展，乳腺疾病的诊断技术和治疗方法都有了较大的提高。较为常见的主要有钼靶软X射线检查、超声显像检查、近红外线扫描检查、CT检查等。

现有的对乳房检查的方式一般是通过获取乳房的超声图像，然后医生根据超声图像进行判断。但是，人为判断的方式存在主观性，从而导致判断的结果存在一定的误差。

发明内容

本发明的主要目的在于提供一种左右乳腺超声图像自动分析方法，旨在解决人为判断的方式存在误差的技术问题。

为解决上述技术问题，本发明提出一种左右乳腺超声图像自动分析方法，该左右乳腺超声图像自动分析方法包括：

构建左右乳房的三维模型；

根据所述三维模型驱动超声探头对左右乳房进行扫查以获得左右乳房的超声图像；

获取左右乳房的超声图像中的坐标点，并将左乳房的超声图像与右乳房的超声图像中的坐标点对称匹配；

将对称匹配后的左右乳房的超声图像的对称区域进行比对。

优选地，所述构建左右乳房的三维模型的步骤包括：

通过深度相机采集左右乳房的图像信息；

分别获取深度相机的坐标和机械手的坐标；

根据所述左右乳房的图像信息以及深度相机的坐标和机械手的坐标通过刚体变换矩阵构建左右乳房的粗略模型；

获取所述左右乳房的图像信息中的点云数据和RGB数据；

根据所述点云数据和RGB数据利用误差最小化匹配算法对所述粗略模型进行处理，以得到精细模型。

优选地，所述根据三维模型驱动超声探头对左右乳房进行扫查以获得左右乳房的超声图像的步骤包括：

通过AI自动识别所述精细模型中的乳头和左右乳房轮廓；

分别获取所述精细模型中的乳头和左右乳房轮廓的坐标信息；

超声探头根据所述三维模型中的乳头和左右乳房轮廓的坐标信息对左右乳房进行扫查，以获得左右乳房的超声图像。

优选地，所述获取左右乳房的超声图像中的坐标点，并将左乳房的超声图像与右乳房的超声图像中的坐标点对称匹配的步骤包括：

获取左右乳房的超声图像中的坐标信息；

在超声图像中构建垂直于左右乳头连接线的对称轴线；

分别在左乳房P中取点集p_i∈P和在右乳房Q中取点集q_i∈Q，并将连接线垂直于所述对称轴线且||q_i-p_i||＝min的点集进行配对。

优选地，所述将对称匹配后的左右乳房的超声图像的对称区域进行比对的步骤包括：

分别获取左乳房中区域A的超声图像和右乳房中与左乳房对应的区域a的超声图像；

将左乳房中区域A的超声图像与右乳房中区域a的超声图像进行比对以得到两者的差异程度值。

本发明进一步提出一种左右乳腺超声图像自动分析装置，该左右乳腺超声图像自动分析装置包括：

模型生成模块，用于构建左右乳房的三维模型；

图像获取模块，用于根据所述三维模型驱动超声探头对左右乳房进行扫查以获得左右乳房的超声图像；

对称匹配模块，用于获取左右乳房的超声图像中的坐标点，并将左乳房的超声图像与右乳房的超声图像中的坐标点对称匹配；

图像比对模块，用于将对称匹配后的左右乳房的超声图像的对称区域进行比对。

优选地，所述模型生成模块包括：

信息获取单元，用于通过深度相机采集左右乳房的图像信息；

坐标获取单元，用于分别获取深度相机的坐标和机械手的坐标；

模型生成单元，用于根据所述左右乳房的图像信息以及深度相机的坐标和机械手的坐标通过刚体变换矩阵构建左右乳房的粗略模型；

数据提取单元，用于获取所述左右乳房的图像信息中的点云数据和RGB数据；

模型优化单元，用于根据所述点云数据和RGB数据利用误差最小化匹配算法对所述粗略模型进行处理，以得到精细模型。

优选地，所述图像获取模块包括：

自动识别单元，用于通过AI自动识别所述精细模型中的乳头和左右乳房轮廓；

第一获取单元，用于分别获取所述精细模型中的乳头和左右乳房轮廓的坐标信息

扫查控制单元，用于超声探头根据所述三维模型中的乳头和左右乳房轮廓的坐标信息对左右乳房进行扫查，以获得左右乳房的超声图像。

优选地，所述对称匹配模块包括：

第二获取单元，用于获取左右乳房的超声图像中的坐标信息；

虚拟构建单元，用于在超声图像中构建垂直于左右乳头连接线的对称轴线；

自动匹配单元，用于分别在左乳房P中取点集p_i∈P和在右乳房Q中取点集q_i∈Q，并将连接线垂直于所述对称轴线且||q_i-p_i||＝min的点集进行配对。

优选地，所述图像对比模块包括：

第三获取单元，用于分别获取左乳房中区域A的超声图像和右乳房中与左乳房对应的区域a的超声图像；

差异判断模块，用于将左乳房中区域A的超声图像与右乳房中区域a的超声图像进行比对以得到两者的差异程度值。

本发明实施例提供的左右乳腺超声图像自动分析方法，在获取左右乳房的超声图像后，通过将左右乳房的超声图像进行对称匹配，从而便于将左右乳房上对称区域上病灶的等级进行对比，从而获得两区域的差异程度，从而更有利于增加对乳房扫查的判别结果的精度。

附图说明

图1为本发明中左右乳腺超声图像自动分析方法一实施例的流程图；

图2为本发明中左右乳腺超声图像自动分析装置一实施例的功能模块图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种左右乳腺超声图像自动分析方法，如图1所示，该左右乳腺超声图像自动分析方法包括：

步骤S10，构建左右乳房的三维模型。

本步骤中，构建左右乳房的三维模型的方式可以参照现有的方式进行即可，如通过深度相机获取左右乳房的信息后进行建模即可。

步骤S20，根据所述三维模型驱动超声探头对左右乳房进行扫查以获得左右乳房的超声图像。

本步骤中，在构建与左右乳房一致的模型后，机械手即可按照自动规划的轨迹对左右乳房进行扫查，以获得左右乳房的超声图像，具体的方式可参照现有CNC建模后自动加工的方式。

步骤S30，获取左右乳房的超声图像中的坐标点，并将左乳房的超声图像与右乳房的超声图像中的坐标点对称匹配。

本步骤中，首先获取左右乳房中各个点位的坐标信息，具体可以是在左右乳房的超声图像内植入坐标系，从而即可使对超声图像中的各个点位进行标记；然后通过特定的规则将左乳房与右乳房中对称的坐标点进行匹配。

步骤S40，将对称匹配后的左右乳房的超声图像的对称区域进行比对。

本步骤中，由于现有乳房患病时一般不会出现左右乳房对称区域内病灶的BI-RADS等级一致的情况，因此只需提取左右乳房对称区域内病灶的BI-RADS等级，若差异较大则将其中等级较高的与标准模型进行对比，以此来判断该区域是否存在为病灶的可能性。当然，也可以是先将其中一个乳房上某个区域先与标准模型进行对比，若该区域病灶的BI-RADS等级大于某一预设等级时，即获取另一个乳房上对称的区域的BI-RADS等级并将两者进行对比若等级相差较小，则该区域病灶概率(或者风险等级)会降低，反之则该区域病灶概率(或者风险等级)会降低。其中，病灶提取的方式通过现有卷积神经网络进行提取即可。

本发明中，在获取左右乳房的超声图像后，通过将左右乳房的超声图像进行对称匹配，从而便于将左右乳房上对称区域上病灶的等级进行对比，从而获得两区域的差异程度，从而更有利于增加对乳房扫查的判别结果的精度。

在一较佳实施例中，所述构建左右乳房的三维模型的步骤包括：

通过深度相机采集左右乳房的图像信息；

分别获取深度相机的坐标和机械手的坐标；

根据所述左右乳房的图像信息以及深度相机的坐标和机械手的坐标通过刚体变换矩阵构建左右乳房的粗略模型；

获取所述图像信息中的点云数据和RGB数据；

根据所述点云数据和RGB数据利用误差最小化匹配算法对所述粗略模型进行处理，以得到精细模型。

本步骤中，首先通过深度相机对左右乳房进行拍照，以获取左右乳房的图像信息，同时还获取深度相机的坐标和机械手的坐标，从而利用左右乳房的图像信息以及深度相机的坐标和机械手的坐标构建适用于机械手的粗略模型(利用深度相机构建的左右乳房的大致模型)。进一步地，还提取左右乳房的图像信息中的点云数据和RGB数据，从而便于根据点云数据和RGB数据利用误差最小化匹配算法对粗略模型进行处理，以得到精细模型(即对粗略模型进行去噪点和平滑处理等操作后的模型)。其中，最小化匹配算法对粗略模型进行处理的方式可以参照下述方式进行：

(1)在目标点云P中取点集pi∈P；

(2)找出源点云Q中的对应点集qi∈Q，使得||qi-pi||＝min；

(3)计算旋转矩阵R和平移矩阵t，使得误差函数最小；

(4)对pi使用上一步求得的旋转矩阵R和平移矩阵t进行旋转和平移变换，得到新的对应点集pi'＝{pi'＝Rpi+t，pi∈P}；

(5)按照以下公式计算pi'与对应点集qi的平均距离，

(6)如果d小于某一给定的阈值或者大于预设的最大迭代次数，则停止迭代计算。否则返回第2步，直到满足收敛条件为止。

在一较佳实施例中，所述根据三维模型驱动超声探头对左右乳房进行扫查以获得左右乳房的超声图像的步骤包括：

通过AI自动识别所述精细模型中的乳头和左右乳房轮廓；

分别获取所述精细模型中的乳头和左右乳房轮廓的坐标信息；

超声探头根据所述三维模型中的乳头和左右乳房轮廓的坐标信息对左右乳房进行扫查，以获得左右乳房的超声图像。

本步骤中，AI自动识别精细模型中乳头和左右乳房轮廓的方式可以是参照现有方式即可，如将位于乳房正上方拍摄的图片与精细模型重合，通过以图片上乳头为起点竖直发射射线，而射线与精细模型的焦点则为精细模型上乳头的位置，而识别左右乳房轮廓的方式参照上述方式进行即可，当然，上述方式均可是在虚拟状态下完成。在精细模型上完成乳头和左右乳房轮廓标记后获取乳头和左右乳房轮廓在精细模型中的坐标信息即可，然后即可根据上述坐标信息规划超声探头的扫查路径，以此完成对左右乳房的扫查。

在一较佳实施例中，所述获取左右乳房的超声图像中的坐标点，并将左乳房的超声图像与右乳房的超声图像中的坐标点对称匹配的步骤包括：

获取左右乳房的超声图像中的坐标信息；

在超声图像中构建垂直于左右乳头连接线的对称轴线；

分别在左乳房P中取点集p_i∈P和在右乳房Q中取点集q_i∈Q，并将连接线垂直于所述对称轴线且||q_i-p_i||＝min的点集进行配对。

本步骤中，首先获取左右乳房的超声图像中的坐标信息，具体的方式可以是在超声图像中植入坐标系，如采用用植入驱动超声探头移动的机械臂的坐标系即可。然后在超声图像中构建一个虚拟的对称轴线，使左乳房与右乳房呈对称布置。最后分别在左乳房中取一个点，然后以该点为起点做垂直于对称轴线的射线，同时在该射线上取右乳房上的对称点与上述点位进行配对，重复上述方法即可完成左右乳房的超声图像上所有点位的配对。

在一较佳实施例中，所述将对称匹配后的左右乳房的超声图像的对称区域进行比对的步骤包括：

分别获取左乳房中区域A的超声图像和右乳房中与左乳房对应的区域a的超声图像；

将左乳房中区域A的超声图像与右乳房中区域a的超声图像进行比对以得到两者的差异程度值。

本步骤中，分别获取左右乳房中对称布置的区域A和a，其中区域A中的点位与a区域中的点位均是一一对应的对称点(即由点构成面)。然后将区域A的BI-RADS等级与a区域的BI-RADS等级进行比对，以判断两个区域的等级的差异程度。其中，提取某一区域BI-RADS等级的方式参照现有操作即可，而左右乳房对称该区域的对比可以是某一特定区域，也可以是全面对比，即将相同规则将左右乳房分割成不同的区域即可。

基于前述所提出的左右乳腺超声图像自动分析方法，如图2所示，本发明还提出一种左右乳腺超声图像自动分析装置，该左右乳腺超声图像自动分析装置包括：

模型生成模块10，用于构建左右乳房的三维模型；

图像获取模块20，用于根据所述三维模型驱动超声探头对左右乳房进行扫查以获得左右乳房的超声图像；

对称匹配模块30，用于获取左右乳房的超声图像中的坐标点，并将左乳房的超声图像与右乳房的超声图像中的坐标点对称匹配；

图像比对模块40，用于将对称匹配后的左右乳房的超声图像的对称区域进行比对。

在一较佳实施例中，所述模型生成模块10包括：

信息获取单元，用于通过深度相机采集左右乳房的图像信息；

坐标获取单元，用于分别获取深度相机的坐标和机械手的坐标；

模型生成单元，用于根据所述左右乳房的图像信息以及深度相机的坐标和机械手的坐标通过刚体变换矩阵构建左右乳房的粗略模型；

数据提取单元，用于获取所述左右乳房的图像信息中的点云数据和RGB数据；

模型优化单元，用于根据所述点云数据和RGB数据利用误差最小化匹配算法对所述粗略模型进行处理，以得到精细模型。

在一较佳实施例中，所述图像获取模块20包括：

自动识别单元，用于通过AI自动识别所述精细模型中的乳头和左右乳房轮廓；

第一获取单元，用于分别获取所述精细模型中的乳头和左右乳房轮廓的坐标信息

扫查控制单元，用于超声探头根据所述三维模型中的乳头和左右乳房轮廓的坐标信息对左右乳房进行扫查，以获得左右乳房的超声图像。

在一教案及实施例中，所述对称匹配模块30包括：

第二获取单元，用于获取左右乳房的超声图像中的坐标信息；

虚拟构建单元，用于在超声图像中构建垂直于左右乳头连接线的对称轴线；

自动匹配单元，用于分别在左乳房P中取点集p_i∈P和在右乳房Q中取点集q_i∈Q，并将连接线垂直于所述对称轴线且||q_i-p_i||＝min的点集进行配对。

在一较佳实施例中，，所述图像对比模块40包括：

第三获取单元，用于分别获取左乳房中区域A的超声图像和右乳房中与左乳房对应的区域a的超声图像；

差异判断模块，用于将左乳房中区域A的超声图像与右乳房中区域a的超声图像进行比对以得到两者的差异程度值。

基于前述所提出的左右乳腺超声图像自动分析方法，本发明还提出一种左右乳腺超声图像自动分析设备，该乳腺环扫轨迹规划设备包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现至少如图1所示的左右乳腺超声图像自动分析方法中的各个步骤。

基于前述所提出的左右乳腺超声图像自动分析方法，本发明还提出一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时至少实现如图1所示的左右乳腺超声图像自动分析方法中的各个步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上的仅为本发明的部分或优选实施例，无论是文字还是附图都不能因此限制本发明保护的范围，凡是在与本发明一个整体的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明保护的范围内。

Claims (10)

1.一种左右乳腺超声图像自动分析方法，其特征在于，包括:

构建左右乳房的三维模型；

根据所述三维模型驱动超声探头对左右乳房进行扫查以获得左右乳房的超声图像；

获取左右乳房的超声图像中的坐标点，并将左乳房的超声图像与右乳房的超声图像中的坐标点对称匹配；

将对称匹配后的左右乳房的超声图像的对称区域进行比对。

2.根据权利要求1所述的左右乳腺超声图像自动分析方法，其特征在于，所述构建左右乳房的三维模型的步骤包括：

通过深度相机采集左右乳房的图像信息；

分别获取深度相机的坐标和机械手的坐标；

根据所述左右乳房的图像信息以及深度相机的坐标和机械手的坐标通过刚体变换矩阵构建左右乳房的粗略模型；

获取所述左右乳房的图像信息中的点云数据和RGB数据；

根据所述点云数据和RGB数据利用误差最小化匹配算法对所述粗略模型进行处理，以得到精细模型。

3.根据权利要求2所述的左右乳腺超声图像自动分析方法，其特征在于，所述根据三维模型驱动超声探头对左右乳房进行扫查以获得左右乳房的超声图像的步骤包括：

通过AI自动识别所述精细模型中的乳头和左右乳房轮廓；

分别获取所述精细模型中的乳头和左右乳房轮廓的坐标信息；

超声探头根据所述三维模型中的乳头和左右乳房轮廓的坐标信息对左右乳房进行扫查，以获得左右乳房的超声图像。

4.根据权利要求2所述的左右乳腺超声图像自动分析方法，其特征在于，所述获取左右乳房的超声图像中的坐标点，并将左乳房的超声图像与右乳房的超声图像中的坐标点对称匹配的步骤包括：

获取左右乳房的超声图像中的坐标信息；

在超声图像中构建垂直于左右乳头连接线的对称轴线；

分别在左乳房P中取点集p_i∈P和在右乳房Q中取点集q_i∈Q，并将连接线垂直于所述对称轴线且||q_i-p_i||＝min的点集进行配对。

5.根据权利要求1所述的左右乳腺超声图像自动分析方法，其特征在于，所述将对称匹配后的左右乳房的超声图像的对称区域进行比对的步骤包括：

分别获取左乳房中区域A的超声图像和右乳房中与左乳房对应的区域a的超声图像；

将左乳房中区域A的超声图像与右乳房中区域a的超声图像进行比对以得到两者的差异程度值。

6.一种左右乳腺超声图像自动分析装置，其特征在于，包括：

模型生成模块，用于构建左右乳房的三维模型；

图像获取模块，用于根据所述三维模型驱动超声探头对左右乳房进行扫查以获得左右乳房的超声图像；

对称匹配模块，用于获取左右乳房的超声图像中的坐标点，并将左乳房的超声图像与右乳房的超声图像中的坐标点对称匹配；

图像比对模块，用于将对称匹配后的左右乳房的超声图像的对称区域进行比对。

7.根据权利要求6所述的左右乳腺超声图像自动分析装置，其特征在于，所述模型生成模块包括：

信息获取单元，用于通过深度相机采集左右乳房的图像信息；

坐标获取单元，用于分别获取深度相机的坐标和机械手的坐标；

模型生成单元，用于根据所述左右乳房的图像信息以及深度相机的坐标和机械手的坐标通过刚体变换矩阵构建左右乳房的粗略模型；

数据提取单元，用于获取所述左右乳房的图像信息中的点云数据和RGB数据；

模型优化单元，用于根据所述点云数据和RGB数据利用误差最小化匹配算法对所述粗略模型进行处理，以得到精细模型。

8.根据权利要求7所述的左右乳腺超声图像自动分析装置，其特征在于，所述图像获取模块包括：

自动识别单元，用于通过AI自动识别所述精细模型中的乳头和左右乳房轮廓；

第一获取单元，用于分别获取所述精细模型中的乳头和左右乳房轮廓的坐标信息

扫查控制单元，用于超声探头根据所述三维模型中的乳头和左右乳房轮廓的坐标信息对左右乳房进行扫查，以获得左右乳房的超声图像。

9.根据权利要求7所述的左右乳腺超声图像自动分析装置，其特征在于，所述对称匹配模块包括：

第二获取单元，用于获取左右乳房的超声图像中的坐标信息；

虚拟构建单元，用于在超声图像中构建垂直于左右乳头连接线的对称轴线；

自动匹配单元，用于分别在左乳房P中取点集p_i∈P和在右乳房Q中取点集q_i∈Q，并将连接线垂直于所述对称轴线且||q_i-p_i||＝min的点集进行配对。

10.根据权利要求6所述的左右乳腺超声图像自动分析装置，其特征在于，所述图像对比模块包括：

第三获取单元，用于分别获取左乳房中区域A的超声图像和右乳房中与左乳房对应的区域a的超声图像；

差异判断模块，用于将左乳房中区域A的超声图像与右乳房中区域a的超声图像进行比对以得到两者的差异程度值。

Images