CN111275617B - 一种abus乳腺超声全景图的自动拼接方法、系统和存储介质 - Google Patents

一种abus乳腺超声全景图的自动拼接方法、系统和存储介质 Download PDF

Info

Publication number
CN111275617B
CN111275617B CN202010020827.4A CN202010020827A CN111275617B CN 111275617 B CN111275617 B CN 111275617B CN 202010020827 A CN202010020827 A CN 202010020827A CN 111275617 B CN111275617 B CN 111275617B
Authority
CN
China
Prior art keywords
image
abus
ultrasonic
breast
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010020827.4A
Other languages
English (en)
Other versions
CN111275617A (zh
Inventor
吴俊�
耿如霞
杨继婷
徐丹
张学杰
李海燕
张榆锋
柏伟
余韩梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN202010020827.4A priority Critical patent/CN111275617B/zh
Publication of CN111275617A publication Critical patent/CN111275617A/zh
Application granted granted Critical
Publication of CN111275617B publication Critical patent/CN111275617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本发明公开了一种ABUS乳腺超声全景图的自动拼接方法、系统和存储介质。本发明首先采用乳头位置的自动定位方法来识别和标记ABUS图像中的乳头位置；其次，将识别和标记后的乳头位置指定为后续拼接算法的特征匹配点；之后通过匹配特征点进行待拼接图像的拟合变换；最终利用梯度加权的方法对图片进行叠加及融合，从而实现对ABUS乳腺超声全景图的自动拼接。本发明方法能够有效地自动拼接ABUS乳腺超声全景图，无需人工干预，解决了因ABUS乳腺超声图像成像视野有限而不能完整呈现整个乳腺区域的不足，医生可通过全景图一次性直观查看到被检查者的整个乳腺组织结构，进而对乳腺癌筛查病例实现更为准确和客观地诊断，具有非常重要的临床应用价值。

Description

一种ABUS乳腺超声全景图的自动拼接方法、系统和存储介质
技术领域
本发明涉及，尤其是一种ABUS乳腺超声全景图的自动拼接方法、对应的系统和存储介质。
背景技术
随着近年ABUS(automated 3-D breast ultrasound,ABUS)技术的发展，其逐渐弥补了传统二维手持式超声图像对于医生依赖性高且成像视野有限的缺陷。ABUS设备可以实现全自动地采集大容积的信息，但对比于目前使用的CT(电子计算机断层扫描)和MRI(磁共振成像)设备，ABUS设备就显示出成像视野有限的情况，导致这一情况主要是因为CT和MRI可对患者全身进行成像，而ABUS成像设备还是受探头尺寸的限制。为弥补ABUS设备的这一缺陷，由此提出了扫描视野扩展EFOV(extended field-of-view,EFOV)技术，该技术克服了传统超声成像的小视野局限性，可为人体组织结构的超声检查提供全景成像，全景成像是拓宽医学超声图像临床诊断和测量视野的关键技术之一，该技术也使人体组织结构可以在超声检查中达到更好的可视化效果。该方案是基于MATLAB平台与SIFT(尺度不变特征变换)自动生成全景图像的技术，但由于超声信号中的低信噪比和阴影、斑点和其他噪声的存在，而且医生在对病人进行超声检查时，在不同的检测位置探测时的力度和与接触程度可能会不尽相同，这些因素会对上述基于SIFT自动拼接超声图像方法的实现产生很大的影响，所以对于此情况，如果使用自动寻找SIFT匹配特征点的方法完成拼接全景图是会存在很大困难。
本发明所涉及到的理论知识包括：
[1]Golatta M.,Franz D.,Harcos A.,Junkermann H.,Rauch G.,Scharf A.,Schuetz F.,Sohn C.,Heil J.Interobserver reliability of automated breastvolume scanner(ABVS)interpretation and agreement of ABVS findings with handheld breast ultrasound(HHUS),mammography and pathology results.EuropeanJournal of Radiology 2013,82(8):e332-336.
[2]赵柳,颜光前,吴俊,et al.基于ABUS冠状面图像的乳头位置自动检测算法.云南大学学报(自然科学版),2019(3).
[3]Spratling M.A neural implementation of the Hough transform and theadvantages of.pdf.Image and Vision Computing 2016.
[4]何扬名,戴曙光.提高霍夫变换识别圆形物体准确率的算法.上海理工大学光学与电子信息学院,2009(3):25
[5]Wojcinski S.,Farrokh A.,Hille U.,Wiskirchen J.,Gyapong S.,SolimanA.,Degenhardt F.,Hillemanns P.The Automated Breast Volume Scanner(ABVS):initial experiences in lesion detection compared with conventional handheldB-mode ultrasound:a pilot study of 50 cases.Int J Womens Health 2011,3:337-346.
[6]Lin X.,Wang J.,Han F.,Fu J.,Li A.Analysis of eighty-one cases withbreast lesions using automated breast volume scanner and comparison withhandheld ultrasound."Eur J Radiol 2012,81(5):873-878.
[7]W.H.,A.S.,et al.Advantages of and applications for extended field-of-view ultrasound.pdf.original article 2003,268:121–127.
[8]Ni D.,Qu Y.,XuanYang.,Chui YP.,Wong T-T.,Ho2.SSM.,Heng.PA.Volumetric ultrasound panorama based on 3D SIFT.pdf.miccai2008:52–60,.
[9]W.H.,Ilka Fuchs M.,Annette Schmider M.,J.K.,Bühling M.,W J.,Dudenhausen M.Transvaginal and Transabdominal Extended Field-of-View.pdf.Image Presentation 2002:1137–1144.
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种ABUS乳腺超声全景图的自动拼接方案。以自动拼接出平整、均匀的ABUS乳腺超声全景图像，解决因ABUS乳腺超声图像成像视野有限而不能完整呈现整个乳腺区域的问题。
本发明采用的技术方案如下：
一种ABUS乳腺超声全景图的自动拼接方法，该方法对至少两幅不同扫描位置的ABUS乳腺超声图像进行自动拼接，本发明的自动拼接方法包括：
对于待拼接超声图像集中的各幅超声图像，分别定位特征点位置，所述特征点位置作为拼接用的匹配特征点；所述待拼接超声图像集中的各幅超声图像为：分别对应于不同扫描位置、处于同一扫描深度的冠状面超声图像；
基于所述特征点位置，对各冠状面超声图像进行空间拟合变换；
通过图像的梯度加权方式融合各冠状面超声图像。
通过上述方法，通过超声波扫描的方式，将处于同一扫描深度的冠状面超声图像进行拼接，不受人工干预(如医生检查力度和接触程度)的影响，成像效果准确、均匀。操作简单、拼接过程快速。
进一步的，所述待拼接超声图像集的准备方法为：从ABUS图像数据中筛选出冠状面超声图像集，再从所筛选出的冠状面超声图像集中筛选出处于同一扫描深度的、不同扫描位置的超声图像。
进一步的，所述特征点位置为乳头位置。乳头作为乳腺组织最具特点的位置，具有凸出的特征，能够被计算机快速、准确的识别。
进一步的，所述定位特征点位置的方法包括：
提取超声图像的感兴趣区域，并对提取的感兴趣区域进行预处理，然后利用圆检测方法定位疑似乳头位置；
对于定位出的疑似乳头位置，利用识别圆形物体准确率的方法对疑似乳头位置进行过滤，得到乳头位置。
该过程设置了特征点筛选过滤的步骤，防止了特征点的错误定位。
进一步的，所述提取超声图像的感兴趣区域的方法包括：消除超声图像背景区域的点状高亮杂质，进行阈值和边界平滑的处理过程，以生成ABUS冠状面的前景掩模，利用所述ABUS冠状面的前景掩模提取感兴趣区域。
进一步的，所述对提取的感兴趣区域进行预处理的方法包括：对感兴趣区域的图像进行图像斑点的降噪，将降噪后的图像进行二值化、开闭和反相运算处理，最后删除其中与图像边框相连的白色区域和预定面积以内的白色目标。
进一步的，所述对各冠状面超声图像进行空间拟合变换的方法包括：
计算对各冠状面超声图像进行空间拟合变换后需要的坐标大小范围，然后对各冠状面超声图像分别进行相似变换。
进一步的，所述通过图像的梯度加权方式融合各冠状面超声图像的方法包括：
提取各冠状面超声图像的遮罩重叠区，并根据遮罩重叠区构造对应冠状面超声图像的权重遮罩，根据梯度加权方式，将各冠状面超声图像分别映射到最终拼接的全景图，将映射后的各冠状面超声图像的重叠区融合在一起。
本发明还提供了一种计算机可读存储介质，其存储有计算机程序，运行所述计算机程序可执行上述的ABUS乳腺超声全景图的自动拼接方法。
本发明还提供了一种ABUS乳腺超声全景图的自动拼接系统，其包括处理器，该处理器执行上述的ABUS乳腺超声全景图的自动拼接方法。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明基于超声波扫描的方式进行全景图像拼接，操作过程仅需对乳腺组织进行几个方位的扫描，操作过程简单，拼接过程无需人工干预。基于扫描结果进行的图像拼接，不受人工操作等主观因素的影响，所完成的图像平整度高、还原度高。
本发明选用基于特征点匹配的拼接方式，同时对特征点的选取进行了误差修正，提高了图像拼接的准确性和可靠性。
本发明将扫描结果导入系统并设置相关参数即可，过程无需人工进行额外操作，自动化程度高。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1为本发明的一种ABUS乳腺超声全景图的自动拼接方法流程图。
图2为自动检测乳头位置的方法流程图。
图3为ABVS影像诊断工作站。对ABUS三维超声图像建立空间三角坐标系，包括Y轴，X轴，Z轴，其中Y轴变换方向为矢状面，Z轴变换方向为冠状面，X轴变换方向为横断面，图中显示出ABVS影像诊断工作站对其三平面实现的联动显示。
图4为超声探测位置示意图。图中R是指被检查者的右侧乳房，L是指被检查者的右侧乳房，具体的探测位置包括：Axilla(腋下),Superior(顶部),AP(前后)，Lateral(侧面)，Medial(中间)，Inferior(底部)以及Andere(其他)。
图5为ABVS扫描位置。图中包括AP(前后)，Lateral(侧面)，Medial(中间)，Superior(顶部)，Inferior(底部)等扫描位置。
图6为被检查者A左侧乳房的C平面超声图像数据在检测深度为12.454mm，检测位置为AP(前后)，Lateral(侧面)时的超声图像。
图7为被检查者A左侧乳房的C平面超声图像数据在检测深度为12.454mm，检测位置为AP(前后)，Lateral(侧面)时的超声图像经过自动定位标记乳头位置后的实验结果，其中白色虚线圆环标记位置即为乳头位置。
图8为被检查者A左侧乳房的C平面超声图像数据在检测深度为12.454mm，检测位置为AP(前后)，Lateral(侧面)时的超声图像经过本发明算法拼接之后的结果。
图9为被检查者A右侧乳房的C平面超声图像数据在检测深度为12.454mm，检测位置为AP(前后)，Lateral(侧面)时的超声图像。
图10为被检查者A右侧乳房的C平面超声图像数据在检测深度为12.454mm，检测位置为AP(前后)，Lateral(侧面)时的超声图像经过自动定位标记乳头位置后的结果，其中白色虚线圆环标记位置即为乳头位置，另一明显区别于正常组织的位置为肿瘤。
图11为被检查者A右侧乳房的C平面超声图像数据在检测深度为12.454mm，检测位置为AP(前后)，Lateral(侧面)时的超声图像经本发明算法拼接之后的结果。
图12为被检查者B右侧乳房的C平面超声图像数据在检测深度为9.123mm，检测位置为AP(前后)，Lateral(侧面)，Medial(中间)时的超声图像。
图13为被检查者B右侧乳房的C平面超声图像数据在检测深度为9.123mm，检测位置为AP(前后)，Lateral(侧面)，Medial(中间)时的超声图像经过自动定位标记乳头位置后的结果，其中白色虚线圆环标记位置即为乳头位置，另一明显区别于正常组织的位置为肿瘤。
图14为被检查者B右侧乳房的C平面超声图像数据在检测深度为9.123mm检测位置为AP(前后)，Lateral(侧面)，Medial(中间)时的超声图像经本发明算法拼接之后的结果。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
实施例一
本实施例公开了一种ABUS乳腺超声全景图的自动拼接方法，该方法可对不同扫描位置下、同一扫描深度的冠状面超声图像(C平面超声图像)拼接为一副全景图像。拼接方法包括：
对于待拼接超声图像集中的各幅超声图像，分别定位特征点位置，该特征点位置作为拼接用的匹配特征点，存在于各幅超声图像中。一般来讲，为了便于准确识别，选择乳头作为特征点。以乳头作为特征点为例，定位特征点的方法包括：提取超声图像的感兴趣区域，并对提取的感兴趣区域进行预处理，然后利用圆检测方法定位疑似乳头位置；对于定位出的疑似乳头位置，利用识别圆形物体准确率的方法对疑似乳头位置进行过滤，得到乳头位置。其中，提取超声图像的感兴趣区域的方法包括：消除超声图像背景区域的点状高亮杂质，进行阈值和边界平滑的处理过程，以生成ABUS冠状面的前景掩模，利用所述ABUS冠状面的前景掩模提取感兴趣区域。对感兴趣区域进行预处理的过程包括：对感兴趣区域的图像进行图像斑点的降噪，将降噪后的图像进行二值化、开闭和反相运算处理，最后删除其中与图像边框相连的白色区域和预定面积以内的白色目标(即小面积的白色目标)。待拼接超声图像集中的各幅超声图像分别对应于不同扫描位置，各幅超声图像处于同一扫描深度，且均为冠状面超声图像。对于每一例ABUS图像数据而言，其包含H平面(横断面)，S平面(矢状面)，C平面(冠状面)三个平面的图像数据，如图3所示，本实施例从中自动选择C平面超声图像数据作为待拼接数据，然后自动选取其中处于同一扫描深度的C平面超声图像数据，即可完成待拼接超声图像集的数据准备过程。
基于特征点位置，对各冠状面超声图像进行空间拟合变换。过程包括：计算对各冠状面超声图像进行空间拟合变换后需要的坐标大小范围，然后对各冠状面超声图像分别进行相似变换。
最后，通过图像的梯度加权方式融合各冠状面超声图像。过程包括：提取各冠状面超声图像的遮罩重叠区，并根据遮罩重叠区构造对应冠状面超声图像的权重遮罩，根据梯度加权方式，将各冠状面超声图像分别映射到最终拼接的全景图，将映射后的各冠状面超声图像的重叠区融合在一起。其中需要说明的是，构造出权重遮罩后通过权重调节来判断图像间是否能够融合，此过程可能会进行多次，直至对应图像能够融合为止。
实施例二
参见附图1，本实施例公开了一种ABUS乳腺超声全景图的自动拼接方法，能够有效地自动拼接ABUS乳腺超声全景图，无需人工干预，解决了因ABUS乳腺超声图像成像视野有限而不能完整呈现整个乳腺区域的不足，医生可通用全景图一次性直观查看到被检查者的整个乳腺组织结构，进而对乳腺癌筛查病例实现更为准确和客观地诊断，具有非常重要的临床应用价值。
本发明的具体步骤包括：
一种ABUS乳腺超声全景图的自动拼接方法，能够有效地自动拼接ABUS乳腺超声全景图，无需人工干预，解决了因ABUS乳腺超声图像成像视野有限而不能完整呈现整个乳腺区域的不足，医生可通用全景图一次性直观查看到被检查者的整个乳腺组织结构，进而对乳腺癌筛查病例实现更为准确和客观地诊断，具有非常重要的临床应用价值。本实施例的拼接方法包括以下步骤：
步骤1，新读取一例ABUS乳腺超声图像数据。
步骤2，判断读取后的ABUS乳腺超声图像数据中是否含有待拼接的不同扫描位置，例如：AP(前后)，Lateral(侧面)，Medial(中间)等扫描位置，如图5所示。若含有，则正确读取了ABUS乳腺超声图像数据，若不含，则返回步骤1。
步骤3，根据先验知识，从正确读取的ABUS乳腺超声图像数据中自动选择C平面(冠状面)超声图像数据进行后续处理。
步骤4，从步骤3选出的超声图像数据中选择处于同一扫描深度的图像数据进行后续处理。
步骤5，自动定位乳头位置。这一步骤包括：首先，自动提取图像的ROI(region ofinterest,ROI，感兴趣区域)，并对选取的ROI进行预处理，在完成ROI的预处理后，即可利用Hough(霍夫)变换圆检测自动定位乳头位置，最后根据一种提高Hough变换识别圆形物体准确率的方法排除经Hough变换圆检测算法误识别的圆，根据以上步骤即可完成自动定位图像中的乳头位置，其过程流程图如图2所示。
步骤6，标记自动识别定位后的乳头位置，将其指定为后续拼接算法的匹配特征点。
步骤7，通过步骤6指定的匹配特征点进行空间拟合变换。
步骤8，通过图片的梯度加权方式融合图片。首先提取图像的遮罩重叠区，构造图像的权重遮罩，接着判断图片是否能融合，若成功融合，则拼接成功；若不成功，则重复步骤8。
实施例三
本实施例公开了一种ABUS乳腺超声全景图的自动拼接方法，包括以下步骤：
步骤1：新读取一例ABUS乳腺超声图像数据,。
步骤2：判断读取后数据中是否含有待拼接的不同扫描位置，不同扫描位置例如：AP(前后)，Lateral(侧面)，Medial(中间)，如图4和图5所示。若判断为此例数据中含有待拼接的不同扫描位置，则进行下一步骤，否则返回步骤1(单幅图像不需要拼接)。
步骤3：根据先验知识，从正确读取的ABUS乳腺超声图像数据中自动选择C平面超声图像数据。正确读取后的一例ABUS图像数据中包含了H平面(横断面)，S平面(矢状面)，C平面(冠状面)三个平面的图像数据，如图3所示，本步骤从ABUS图像数据中自动选择C平面超声图像数据作为待拼接数据。
步骤4：进一步的，从步骤3的筛选出的超声图像数据中自动选取其中处于同一扫描深度的C平面超声图像数据，即可完成数据准备过程。
步骤5：自动定位乳头位置。首先，自动提取ROI，提取ROI主要通过生成ABUS冠状面的前景掩模，此过程步骤包括：消除超声图像背景区域的点状高亮杂质，进行阈值和边界平滑的处理过程。利用生成的ABUS冠状面的前景掩模可提取ROI，在完成ROI提取之后,接着对ROI进行预处理，其中预处理过程步骤包括：利用ISRAD算法进行图像斑点的降噪，ISRAD算法可以自动选取最优同质区域，再由所选同质区域精确计算扩散参数q0(t)，ISRAD的实际应用效果取决于对q0(t)估算的准确性，对q0(t)的计算方法为：
Figure BDA0002360719230000111
其中，var[Z(t)]和
Figure BDA0002360719230000112
分别代表ISRAD算法选取的超声同质区域所计算的方差和均值。然后确定图像的迭代循环次数，根据参数计算结果，可实现对图像的斑点降噪过程。然后将降噪后的图像进行二值化，开闭和反相运算处理，最后删除其中与图像边框相连的白色区域和小面积的白色目标，即可完成对超声图像的预处理过程。在完成对超声图像的预处理之后，利用Hough变换的圆检测算法，Hough变换圆检测算法的基本思想是将图像中的边缘点坐标映射到参数空间坐标中，所有映射后的参数空间坐标点的元素利用对应的累加器进行累加统计，根据局部的最大累加值判断圆的半径和圆心所在位置，进而实现对乳头位置的自动检测，这也叫做一种投票算法。具体步骤如下，二值图像I的任意边缘点坐标(x，y)转换为参数空间坐标(a，b，r)，转换方程如下：
(x-a)2+(y-b)2＝r2   (2)
从式子可以看出，二值图像的每个边缘点映射成参数空间上的一个三维锥面，图像空间中同一圆上的点对应于参数空间中所有的三维锥面必然交于一点，设点为(a0，b0，r0,)，此点便是Hough变换最终要找的点，即对应于图像空间中圆的圆心坐标与半径。将式(2)写成参数形式：
a＝x-rcos(θ),b＝y-rsin(θ)   (3)
其中，θ∈[0,2π]，r∈[R1,R2]，设待测圆的半径，按照Hough变换的基本思想，对于任意一个边缘点I(x，y)，θ和r分别以Δθ和Δr的步长[0,2π]和[R1,R2]遍历图像，得到参数空间(a，b，r)的子空间，并对相应的累加器单元A(a，b，r)加1。对二值图像的所有像素点遍历之后，得到累加器数组A，其中任意一个数组元素A(a，b，r)表示半径为r，圆心为(a，b)的圆上边缘点数目。当A(a，b，r)越大，表示存在圆心为(a，b)，半径为r的圆的可能性越大。根据先验知识，乳头在ABUS冠状面图像中的半径范围约为40到50个像素，所以设置[R1,R2]为[40,50]。由于个体发育的差异，人体乳头形状是不完全规则的，所以在一般情况下，ABUS冠状面图像中的乳头形状不是正圆形。因此，设定当累加单元值A(a，b，r)大于80，则认为检测到了乳头。在此过程完成之后，还需要排除误识别的圆，其中主要是根据一种提高Hough变换识别圆形物体准确率的方法来实现，具体内容为：首先以Δθ＝2π/360作为角度的步长，将θ从0到2π范围内对圆心为(a，b)，半径为r的圆搜索其边缘点，并用数组theta[]保存每个边缘点的角度θ，其中数组长度为360；然后将边缘点的角度数组代入下式中，求标准差σ：
Figure BDA0002360719230000121
其中，E(theta)是角度数组theta[]的期望，最后判断累加单元A(a，b，r)与标准差σ的比值K是否大于1，大于1属于正确识别，小于1则属于错误识别，以此确定乳头的所在正确位置坐标。
步骤6：标记自动识别定位后的乳头位置，将其指定为后续拼接算法的匹配特征点。在步骤6中，将检测出的乳头位置的坐标点存入矩阵，赋予这些坐标点为拼接算法的特征匹配点。
步骤7：通过步骤6指定的匹配特征点进行空间拟合变换。首先计算ABUS超声图像进行空间拟合变换后的需要的坐标大小范围，其中用到MATLAB中的outputLimits函数，以坐标最大值为范围，对每个投影变化找到输出的空间坐标限制值，由此确定范围之后，以新的图像坐标范围建立坐标系，然后开始对图片实施变换，在空间拟合变换中采用MATLAB中estimateGeometricTransform函数，此函数中包括三种变换方式，“Affine”(仿射变换)，“Projective”(投影变换)，“Similarity”(相似变换)，本发明采用“Similarity”(相似变换)变换方式，对图像实施变换过程使用到MATLAB里的imwarp函数。
步骤8：利用图片梯度加权叠加融合图片。具体步骤包括：利用梯度遮罩的方法，首先提取图像的遮罩重叠区，准备亮度拉伸参数，然后提取图片遮罩左边坐标，根据坐标分别构造图像的权重遮罩，根据梯度加权方式，使用imwarp函数将图像分别映射到最终拼接的全景图，然后用vision.AlphaBlender函数将图像重叠起来，注意把矩阵转化成uint8类型，实现以上步骤之后可实现最终的图像融合过程，达到拼接ABUS乳腺超声全景图的目的。
实施例四
本实施例公开了一种ABUS乳腺超声全景图的自动拼接方法，包括以下步骤：
S1：读取实验所需的ABUS三维超声图像数据。本步骤的实验获取结果可由图6，图9和图12可见。
(1)正确读取ABUS图像数据的具体步骤为：首先，新读取一例ABUS乳腺超声图像数据，然后判断读取后数据中是否含有待拼接的不同扫描位置，例如：AP(前后)，Lateral(侧面)，Medial(中间)，如图4和图5所示，若判断为含有不同扫描位置，则进行下一步骤，此过程中使用到RadiAnt DICOM Viewer软件。在正确读取后的ABUS图像数据中包含了H平面(横断面)，S平面(矢状面)，C平面(冠状面)三个平面的图像数据，如图3所示，在这三个平面中自动选择C平面超声图像数据进行后续处理。实验中选取一被检查者A的一例ABUS乳腺图像数据进行实验，此例数据包含了左右两边乳房的AP(前后)，Lateral(侧面)位置。为证明实验的可靠性，再次选取被检查者B的一例超声图像数据进行与被检查者A相同的后续处理，此例数据包含右边乳房的AP(前后)，Lateral(侧面)，Medial(中间)这三个检测位置。
(2)根据这些不同扫描位置的实验数据，利用3D Slicer软件选择其中处于同一扫描深度的C平面图像数据作为实验图像数据。实验中选取被检查者A处于深度为12.454mm的图像数据进行实验，选取后的图像如图6和图9所示，通过实验分别拼接左右两侧，可以观察到此被检查者的右边乳房患有癌症，左边乳房正常，拼接结果形成对比，可以清楚观察到患有癌症的乳腺组织和正常乳腺组织的结构外貌差别，使医生的诊断结果也更具准确性和客观性。实验中选取被检查者B处于深度为9.123mm的图像数据进行实验，选取后的图像如图12所示。通过拼接此例超声图像，医生可以清楚地观察到被检查者的整个右边乳腺组织，可以完整地观察到肿瘤所在位置，大致形状和大小，此实验即可直观反映超声全景图在准确和客观地诊断乳腺癌筛查病例中的优势以及在临床的实际应用价值。
S2：自动定位乳头位置过程。本步骤的实验识别和标记结果可由图7，图10和图13可见。
(1)提取实验图像数据的ROI区域并分别对提取后的ROI做出相应的预处理，然后完成图像二值化，开闭和反相运算的过程，最后删除与实验图像边框相连的白色区域和小面积白色目标，即完成进行乳头位置检测实验前的图像数据准备过程。
(2)利用Hough变换圆检测完成自动定位标记乳头位置过程；实验采用Hough变换圆检测算法，对于ABUS乳腺超声图像中的任意一个边缘点I(x，y)，分别以Δθ和Δr的步长遍历图像，得到参数空间(a，b，r)的子空间，并对相应的累加器单元A(a，b，r)加1。对二值图像的所有像素点遍历之后，得到累加器数组A，其中任意一个数组元素表示半径为r，圆心为(a，b)的圆上边缘点数目，得出A(a，b，r)的最大值，当其值大于80，即找到了圆形位置。根据提高Hough变换识别圆形物体准确率的方法排除误判圆。识别完成之后，还需排除错误识别，判断累加单元A与标准差σ的比值K是否大于1，大于1属于正确识别，小于1则属于错误识别，在实验中除去大于1的情况，最终正确确定乳头的所在位置坐标。通过实验拼接超声图像，被检查者A的左侧乳房通过自动定位标记乳头位置的结果为图7，右侧乳房通过自动定位标记乳头位置的结果为图10，被检查者B的右侧乳房通过自动定位标记乳头位置的结果为图13，其中利用白色虚线圆环标记的位置即为乳头位置。
S3：全景图拼接。本步骤的实验拼接结果可由图8，图11和图14可见。
(1)将确定的乳头位置指定为特征匹配点，实验中将乳头坐标放入矩阵，指定为本发明自动拼接算法的特征点。
(2)通过匹配特征点进行空间拟合变换。实验中首先利用MATLAB中的outputLimits分别计算实验中从被检查者A和被检查者B选择出的三例图像经过空间变换后需要的坐标大小范围，对其中每个投影变化找到其输出的空间坐标限制值，以这个限制值为坐标最大值的范围，在完全确定范围之后以新的图片范围建立坐标系，开始实施变换。在变换时利用MATLAB中的estimateGeometricTransform函数去构造模板的变换，采用常用的“Similarity”(相似变换)，因为相似变换的不变量是：角度，长度的比例，面积的比例，符合变换要求，然后用到MATLAB里的imwarp函数分别对图像实施变换。
(3)图片融合。实验中首先分别提取三例图像数据遮罩重叠区，准备亮度拉伸参数，提取图片遮罩左边坐标，利用find函数分别找到进行拼接的两张图片的非零位置最小坐标，通过比较两边最小坐标构造图片左右权重遮罩的坐标矩阵，权重遮罩构造完成之后用vision.AlphaBlender将图像重叠起来，分别对图片采用step函数得到融合之前的准备图像，注意将其中的矩阵类型转换为unit8之后，进行最终的图像相加融合，即拼接全景图完成。经过本算法实验，得出被检查者A的左侧乳房拼接结果为图8，被检查者A右边乳房拼接结果为图11，被检查者B右侧乳房拼接结果为图14。
由拼接结果可见，实验结束之后均可完整地看到实验选取的三例图像数据经拼接后的超声全景图，即证明了本发明算法的有效性和可靠性。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种ABUS乳腺超声全景图的自动拼接方法，该方法对至少两幅不同扫描位置的ABUS乳腺超声图像进行自动拼接，其特征在于，所述自动拼接方法包括：对于待拼接超声图像集中的各幅超声图像，分别定位特征点位置，所述特征点位置作为拼接用的匹配特征点；所述待拼接超声图像集中的各幅超声图像为：分别对应于不同扫描位置、处于同一扫描深度的冠状面超声图像；
基于所述特征点位置，对各冠状面超声图像进行空间拟合变换；
通过图像的梯度加权方式融合各冠状面超声图像。
2.如权利要求1所述的自动拼接方法，其特征在于，所述待拼接超声图像集的准备方法为：从ABUS图像数据中筛选出冠状面超声图像集，再从所筛选出的冠状面超声图像集中筛选出处于同一扫描深度的、不同扫描位置的超声图像。
3.如权利要求1所述的自动拼接方法，其特征在于，所述特征点位置为乳头位置。
4.如权利要求3所述的自动拼接方法，其特征在于，所述定位特征点位置的方法包括：
提取超声图像的感兴趣区域，并对提取的感兴趣区域进行预处理，然后利用圆检测方法定位疑似乳头位置；
对于定位出的疑似乳头位置，利用识别圆形物体准确率的方法对疑似乳头位置进行过滤，得到乳头位置。
5.如权利要求4所述的自动拼接方法，其特征在于，所述提取超声图像的感兴趣区域的方法包括：消除超声图像背景区域的点状高亮杂质，进行阈值和边界平滑的处理过程，以生成ABUS冠状面的前景掩模，利用所述ABUS冠状面的前景掩模提取感兴趣区域。
6.如权利要求4所述的自动拼接方法，其特征在于，所述对提取的感兴趣区域进行预处理的方法包括：对感兴趣区域的图像进行图像斑点的降噪，将降噪后的图像进行二值化、开闭和反相运算处理，最后删除其中与图像边框相连的白色区域和预定面积以内的白色目标。
7.如权利要求1所述的自动拼接方法，其特征在于，所述对各冠状面超声图像进行空间拟合变换的方法包括：
计算对各冠状面超声图像进行空间拟合变换后需要的坐标大小范围，然后对各冠状面超声图像分别进行相似变换。
8.如权利要求7所述的自动拼接方法，其特征在于，所述通过图像的梯度加权方式融合各冠状面超声图像的方法包括：
提取各冠状面超声图像的遮罩重叠区，并根据遮罩重叠区构造对应冠状面超声图像的权重遮罩，根据梯度加权方式，将各冠状面超声图像分别映射到最终拼接的全景图，将映射后的各冠状面超声图像的重叠区融合在一起。
9.一种计算机可读存储介质，其存储有计算机程序，其特征在于，运行所述计算机程序可执行如权利要求1～8任一所述的ABUS乳腺超声全景图的自动拼接方法。
10.一种ABUS乳腺超声全景图的自动拼接系统，其包括处理器，其特征在于，所述处理器执行如权利要求1～8任一所述的ABUS乳腺超声全景图的自动拼接方法。
CN202010020827.4A 2020-01-09 2020-01-09 一种abus乳腺超声全景图的自动拼接方法、系统和存储介质 Active CN111275617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010020827.4A CN111275617B (zh) 2020-01-09 2020-01-09 一种abus乳腺超声全景图的自动拼接方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010020827.4A CN111275617B (zh) 2020-01-09 2020-01-09 一种abus乳腺超声全景图的自动拼接方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN111275617A CN111275617A (zh) 2020-06-12
CN111275617B true CN111275617B (zh) 2023-04-07

Family

ID=71001580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010020827.4A Active CN111275617B (zh) 2020-01-09 2020-01-09 一种abus乳腺超声全景图的自动拼接方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN111275617B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112155594B (zh) * 2020-10-10 2023-04-07 无锡声亚医疗科技有限公司 一种用于超声图像的配准方法、超声设备及存储介质
CN115965570A (zh) * 2021-10-13 2023-04-14 青岛海信医疗设备股份有限公司 超声乳腺三维全景图的生成方法和超声设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101455576A (zh) * 2007-12-12 2009-06-17 深圳迈瑞生物医疗电子股份有限公司 超声宽景成像的方法、装置与系统
WO2011065950A1 (en) * 2009-11-27 2011-06-03 Qview Medical, Inc. Interactive display of computer aided detection radiological screening results combined with quantitative prompts
WO2015017542A1 (en) * 2013-07-31 2015-02-05 Qview Medical, Inc. Reduced image reading time and improved patient flow in automated breast ultrasound using enhanced, whole-breast navigator overview images
CN104657984A (zh) * 2015-01-28 2015-05-27 复旦大学 三维超声乳腺全容积图像感兴趣区域的自动提取方法
CN105738477A (zh) * 2016-02-24 2016-07-06 飞依诺科技(苏州)有限公司 超声扫描的宽景成像方法及装置
CN106875409A (zh) * 2017-03-24 2017-06-20 云南大学 一种轻量型切口疝补片三维超声图像特征提取方法
CN106991660A (zh) * 2017-03-31 2017-07-28 云南大学 基于改进型八叉树分解的三维超声图像数据抽样方法
CN107644411A (zh) * 2017-09-19 2018-01-30 武汉中旗生物医疗电子有限公司 超声宽景成像方法及装置
CN109171817A (zh) * 2018-09-05 2019-01-11 浙江深博医疗技术有限公司 三维乳腺超声扫描方法及超声扫描系统
CN109410167A (zh) * 2018-08-31 2019-03-01 深圳大学 一种3d乳腺图像的分析方法及相关产品
CN109636714A (zh) * 2018-08-30 2019-04-16 沈阳聚声医疗系统有限公司 一种超声宽景成像的图像拼接方法
CN109859184A (zh) * 2019-01-29 2019-06-07 牛旗 一种连续扫描乳腺超声图像的实时检测与决策融合方法
CN110246125A (zh) * 2019-05-31 2019-09-17 天津大学 基于abus冠状面图像的乳头位置自动检测方法
CN110393591A (zh) * 2018-04-24 2019-11-01 通用电气公司 多模态2d至3d成像导航

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9439621B2 (en) * 2009-11-27 2016-09-13 Qview, Medical Inc Reduced image reading time and improved patient flow in automated breast ultrasound using enchanced, whole breast navigator overview images
US10251621B2 (en) * 2010-07-19 2019-04-09 Qview Medical, Inc. Automated breast ultrasound equipment and methods using enhanced navigator aids
US20120014578A1 (en) * 2010-07-19 2012-01-19 Qview Medical, Inc. Computer Aided Detection Of Abnormalities In Volumetric Breast Ultrasound Scans And User Interface
US9959617B2 (en) * 2016-01-28 2018-05-01 Taihao Medical Inc. Medical image processing apparatus and breast image processing method thereof

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101455576A (zh) * 2007-12-12 2009-06-17 深圳迈瑞生物医疗电子股份有限公司 超声宽景成像的方法、装置与系统
WO2011065950A1 (en) * 2009-11-27 2011-06-03 Qview Medical, Inc. Interactive display of computer aided detection radiological screening results combined with quantitative prompts
WO2015017542A1 (en) * 2013-07-31 2015-02-05 Qview Medical, Inc. Reduced image reading time and improved patient flow in automated breast ultrasound using enhanced, whole-breast navigator overview images
CN104657984A (zh) * 2015-01-28 2015-05-27 复旦大学 三维超声乳腺全容积图像感兴趣区域的自动提取方法
CN105738477A (zh) * 2016-02-24 2016-07-06 飞依诺科技(苏州)有限公司 超声扫描的宽景成像方法及装置
CN106875409A (zh) * 2017-03-24 2017-06-20 云南大学 一种轻量型切口疝补片三维超声图像特征提取方法
CN106991660A (zh) * 2017-03-31 2017-07-28 云南大学 基于改进型八叉树分解的三维超声图像数据抽样方法
CN107644411A (zh) * 2017-09-19 2018-01-30 武汉中旗生物医疗电子有限公司 超声宽景成像方法及装置
CN110393591A (zh) * 2018-04-24 2019-11-01 通用电气公司 多模态2d至3d成像导航
CN109636714A (zh) * 2018-08-30 2019-04-16 沈阳聚声医疗系统有限公司 一种超声宽景成像的图像拼接方法
CN109410167A (zh) * 2018-08-31 2019-03-01 深圳大学 一种3d乳腺图像的分析方法及相关产品
CN109171817A (zh) * 2018-09-05 2019-01-11 浙江深博医疗技术有限公司 三维乳腺超声扫描方法及超声扫描系统
CN109859184A (zh) * 2019-01-29 2019-06-07 牛旗 一种连续扫描乳腺超声图像的实时检测与决策融合方法
CN110246125A (zh) * 2019-05-31 2019-09-17 天津大学 基于abus冠状面图像的乳头位置自动检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
三维ABUS图像多平面联合显示平台的MATLAB实现方法;闵一迪;《国外电子测量技术》;全文 *
基于ABUS冠状面图像的乳头位置自动检测算法;赵柳;《云南大学学报(自然科学版)》;全文 *
提高霍夫变换识别圆形物体准确率的算法;何扬名;《微计算机信息》;全文 *
自动乳腺全容积成像系统临床应用现状;程婧;《医学综述》;全文 *

Also Published As

Publication number Publication date
CN111275617A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
US9098935B2 (en) Image displaying apparatus, image displaying method, and computer readable medium for displaying an image of a mammary gland structure without overlaps thereof
US10628930B1 (en) Systems and methods for generating fused medical images from multi-parametric, magnetic resonance image data
US10413253B2 (en) Method and apparatus for processing medical image
US8675944B2 (en) Method of registering image data
US7653263B2 (en) Method and system for volumetric comparative image analysis and diagnosis
US8625869B2 (en) Visualization of medical image data with localized enhancement
Giancardo et al. Textureless macula swelling detection with multiple retinal fundus images
US7876939B2 (en) Medical imaging system for accurate measurement evaluation of changes in a target lesion
EP2245592B1 (en) Image registration alignment metric
US20070237372A1 (en) Cross-time and cross-modality inspection for medical image diagnosis
Molinari et al. Hypothesis validation of far-wall brightness in carotid-artery ultrasound for feature-based IMT measurement using a combination of level-set segmentation and registration
JP6448356B2 (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
US20070014448A1 (en) Method and system for lateral comparative image analysis and diagnosis
US20200051246A1 (en) Automatic ct detection and visualization of active bleeding and blood extravasation
US20130257910A1 (en) Apparatus and method for lesion diagnosis
EP2601637B1 (en) System and method for multi-modality segmentation of internal tissue with live feedback
CN111275617B (zh) 一种abus乳腺超声全景图的自动拼接方法、系统和存储介质
KR20160061248A (ko) 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법
US20130034278A1 (en) Reporting organ volume for a medical digital image
WO2009050676A1 (en) Pathology-related magnetic resonance imaging
US9020215B2 (en) Systems and methods for detecting and visualizing correspondence corridors on two-dimensional and volumetric medical images
Edwin et al. Liver and tumour segmentation from abdominal CT images using adaptive threshold method
Alang et al. Implementation of circular Hough transform on MRI images for eye globe volume estimation
Cheriyan et al. 3D Reconstruction of Human Retina from Fundus Image-A Survey
Chemaly Multimodality image registration for visualization in robotic assisted breast biopsy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant