CN110738633A - 一种机体组织的三维图像处理方法及相关设备 - Google Patents

一种机体组织的三维图像处理方法及相关设备 Download PDF

Info

Publication number
CN110738633A
CN110738633A CN201910846206.9A CN201910846206A CN110738633A CN 110738633 A CN110738633 A CN 110738633A CN 201910846206 A CN201910846206 A CN 201910846206A CN 110738633 A CN110738633 A CN 110738633A
Authority
CN
China
Prior art keywords
region
dimensional
feature map
interest
body tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910846206.9A
Other languages
English (en)
Other versions
CN110738633B (zh
Inventor
刘西洋
王晓东
宋宏萍
杨姗灵
王黎明
王晓利
奚昶尊
管泽辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201910846206.9A priority Critical patent/CN110738633B/zh
Publication of CN110738633A publication Critical patent/CN110738633A/zh
Application granted granted Critical
Publication of CN110738633B publication Critical patent/CN110738633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种机体组织的三维图像处理方法及相关设备，通过三维特征提取网络对受测机体组织的三维图像进行多尺度特征提取以得到多种尺度的特征图，再根据多个不同的预设尺寸和特征图得到多个区域候选框，接着利用三维分类网络进行特征图区域分类，最后，根据区域分类结果获得在受测机体组织中的三维感兴趣区域，克服已知技术中存在人工进行乳腺癌筛选的准确率和效率低下的技术问题，利用受测机体组织的三维图像和三维网络进行病灶检测，由于考虑了病灶在三维空间中的特征，不仅实现了自动、高效的得到表示病灶的三维感兴趣区域，而且病灶的识别准确率更高，提高了病灶检出率，进而辅助医生对病情给出更准确的判断结果。

Description

一种机体组织的三维图像处理方法及相关设备
技术领域
本发明涉及图像处理领域，尤其是一种机体组织的三维图像处理方法及相关设备。
背景技术
ABUS(Automated Breast Ultrasound System)是乳腺自动全容积超声成像系统，它是一种三维成像系统，它拥有一个特殊形状的传感器，类似于磁共振检查，可以从冠状面、矢状面、横断面等多个视角观察乳房结构，能够快速对整个乳房进行扫描并产生多个图像以便医生阅读诊断，显著的提高乳腺病灶检出率和诊断准确性。
乳腺癌是造成女性死亡的主要原因之一。筛查可有效改善早期乳腺肿瘤发现率，减少不必要的活检，降低死亡率。已知技术中，钼靶是现有技术中常用的乳腺成像检测法。成像简便，具有可重复性，为目前乳腺癌检查的金标准。但钼靶成像具有X射线辐射，需要特殊的防护使用环境，并且对致密性的乳腺检查效果不佳。有研究表明，对于高密度的乳房组织，钼靶检测报告的灵敏度是44％。密实的乳房(即BI-RADS乳房密度为3或4)常见于年轻妇女，而相对西方妇女，东方妇女的乳腺相对致密，且乳腺癌的发病年龄较低。所以需要其他的检测设备。
对于致密型乳房的女性一般通过使用手持或自动超声检查作为补充检查以显著提高敏感性，然而手持超声检查缺乏标准化流程，对放射科医生的操作手法及诊断水平的依赖性明显，为了克服这一困难，自动乳腺超声ABUS标准化了整个乳房的扫描，但是，ABUS一次检查将产生数千个2D切片，这意味着专业的放射科医生的阅片压力将增加，而且人工阅片导致乳腺癌筛选的准确率和效率低下。因此，亟需对此技术做出改进。
发明内容
本发明旨在至少在一定程度上解决相关记述中的技术问题之一。为此，本发明的一个目的是提供一种机体组织的三维图像处理方法及相关设备，用于提高感兴趣区域的检出率。
本发明所采用的技术方案是：
第一方面，本发明提供一种机体组织的三维图像处理方法，包括：
特征提取步骤，根据受测机体组织的三维图像和三维特征提取网络进行多尺度特征提取以获取多种尺度的特征图；
区域候选框获取步骤，根据所述特征图和多个不同的预设尺寸生成多个区域候选框；
分类步骤，根据所述区域候选框对应的特征图区域和三维分类网络进行区域分类，以获取所述特征图区域的区域类型，所述区域类型包括感兴趣区域和非感兴趣区域；
感兴趣区域获取步骤，根据所述受测机体组织的三维图像、所述特征图和所述特征图区域的区域类型获取所述受测机体组织的三维感兴趣区域。
进一步地，所述区域候选框获取步骤包括：
根据所述特征图和所述预设尺寸生成以所述特征图的每个像素点为中心的多个所述区域候选框；
所述三维图像处理方法还包括：
回归步骤，根据三维边框回归网络对所述区域类型为感兴趣区域的所述区域候选框对应的所述特征图区域进行边框回归处理，所述区域候选框为以同一像素点为中心的区域候选框。
进一步地，所述三维特征提取网络包括顺序连接的用于生成第一尺度的第一特征图的第一卷积层、用于生成第二尺度的第二特征图的第二卷积层和用于生成第三尺度的第三特征图的第三卷积层，所述第一卷积层、所述第二卷积层和所述第三卷积层反向顺序连接并通过特征融合得到新的所述第一特征图和新的所述第二特征图。
进一步地，所述三维特征提取网络还包括扩张卷积层，所述扩张卷积层的输出端与所述第一卷积层的输入端连接。
进一步地，所述感兴趣区域获取步骤包括：
候选框位置信息获取子步骤，根据所述受测机体组织的三维图像、所述特征图的尺度获取所述区域候选框对应到所述受测机体组织的三维图像中的位置信息，并将所述位置信息作为所述区域候选框的位置信息；
叠加子步骤，获取区域类型为感兴趣区域的所述区域候选框，将具有重合部分的所述区域候选框进行候选框合并以得到感兴趣区域框，并根据所述感兴趣区域框、所述区域候选框的位置信息获取所述感兴趣区域框对应到所述受测机体组织中的感兴趣区域框位置信息，所述感兴趣区域框位置信息对应的区域为所述三维感兴趣区域。
进一步地，所述三维图像处理方法还包括：
信息添加步骤，将所述感兴趣区域框位置信息添加至DICOM文件中。
进一步地，根据非极大值抑制算法将具有重合部分的所述区域候选框进行候选框合并以得到所述感兴趣区域框。
进一步地，所述受测机体组织的三维图像包括受测机体组织的三维超声图像、受测机体组织的三维MRI图像、受测机体组织的三维CT图像中的一种图像。
第二方面，本发明提供一种机体组织的三维图像处理装置，包括：
特征提取模块，用于根据受测机体组织的三维图像和三维特征提取网络进行多尺度特征提取以获取多种尺度的特征图；
区域候选框获取模块，用于根据所述特征图和多个不同的预设尺寸生成多个区域候选框；
分类模块，用于根据所述区域候选框对应的特征图区域和三维分类网络进行区域分类，以获取所述特征图区域的区域类型，所述区域类型包括感兴趣区域和非感兴趣区域；
感兴趣区域获取模块，用于根据所述受测机体组织的三维图像、所述特征图和所述特征图区域的区域类型获取所述受测机体组织的三维感兴趣区域。
第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行所述的机体组织的三维图像处理方法。
本发明的有益效果是：
本发明通过三维特征提取网络对受测机体组织的三维图像进行多尺度特征提取以得到多种尺度的特征图，再根据多个不同的预设尺寸和特征图得到多个区域候选框，接着利用三维分类网络进行特征图区域分类，最后，根据区域分类结果获得在受测机体组织中的三维感兴趣区域，克服已知技术中存在人工进行乳腺癌筛选的准确率和效率低下的技术问题，利用受测机体组织的三维图像和三维网络进行病灶检测，由于考虑了病灶在三维空间中的特征，不仅实现了自动、高效的得到表示病灶的三维感兴趣区域，而且病灶的识别准确率更高，提高了病灶检出率，进而辅助医生对病情给出更准确的判断结果。
另外，将感兴趣区域框位置信息添加至DICOM文件中，而DICOM文件可导入读图平台设备上，医生可以在读图平台上审阅核实受测机体组织的三维图像(已获取得到感兴趣区域)，帮助医生对病情做出准确的处理。
附图说明
图1是本发明中机体组织的三维图像处理方法的一种实施例的流程图；
图2是本发明中感兴趣区域获取网络的一种实施例结构图；
图3是本发明中三维特征提取网络的一种实施例的示意图；
图4是本发明中区域候选框的一种实施例的示意图；
图5是本发明中机体组织的三维图像处理装置的一种实施例的结构框图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本申请实施例提出的三维图像处理方法的目的是为了提高感兴趣区域的检出率和准确度，考虑了感兴趣区域的三维空间特征，自动从受测机体组织的三维图像中检测出三维感兴趣区域。
本申请实施例中提到的受测机体组织的三维图像是指通过断层扫描人体某个受测机体组织后得到的容积图像，也即三维图像，包括冠状面、矢状面、横断面方向上的图像；受测机体组织的三维图像具体包括受测机体组织的三维超声图像、受测机体组织的三维MRI图像、受测机体组织的三维CT图像中的一种图像，受测机体组织包括人体脑部、肾、乳腺等组织。而本申请实施例中提到的三维感兴趣区域是指人体的受测机体组织中的疑似病变区域，也即疑似病灶区域，例如：若扫描得到的是人体脑部的三维MRI图像，则三维感兴趣区域可能是脑部肿块；或者若扫描得到的是肾的三维MRI图像，三维感兴趣区域可能是肾结石区域，而若扫描得到的是乳腺的三维超声图像，则三维感兴趣区域可能是乳腺癌肿块。
实施例1
一种机体组织的三维图像处理方法，将机体组织的三维图像输入训练好的感兴趣区域获取网络后，可以获得机体组织中对应的三维感兴趣区域，参考图1和图2，图1示例性示出了机体组织的三维图像处理方法的流程图，而图2示例性示出了感兴趣区域获取网络的结构图；具体地，三维图像处理方法包括：
特征提取步骤S101，根据受测机体组织的三维图像和三维特征提取网络进行多尺度特征提取以获取多种尺度的特征图；
区域候选框获取步骤S102，根据特征图、多个不同的预设尺寸生成以特征图的每个像素点为中心的多个区域候选框，即特征图中的每个像素点都对应有一组区域候选框，一组区域候选框包括多个区域候选框，区域候选框框中的区域为特征图上的部分区域；其中，区域候选框的尺寸由预设尺寸决定，而本实施例中，设置有多个不同的预设尺寸，预设尺寸的个数也可以自由设置；
分类步骤S103，根据区域候选框对应的特征图区域和三维分类网络进行特征图区域分类，以获取特征图区域的区域类型，特征图区域的区域类型包括感兴趣区域和非感兴趣区域，利用训练好的三维分类网络可以对特征图区域进行分类，以区分感兴趣区域和非感兴趣区域；
感兴趣区域获取步骤S105，根据受测机体组织的三维图像、特征图和特征图区域的区域类型获取受测机体组织的三维感兴趣区域(立体的)，根据区域类型获取感兴趣区域的特征图区域，再根据受测机体组织的三维图像、特征图和区域类型为感兴趣区域的特征图区域获取三维感兴趣区域，其中，三维感兴趣区域可以有多个。
通过三维特征提取网络对受测机体组织的三维图像进行多尺度特征提取以得到多种尺度的特征图，再根据多个不同的预设尺寸和特征图得到多个区域候选框，接着利用三维分类网络进行特征图区域分类，最后，根据区域分类结果获得在受测机体组织中的三维感兴趣区域，克服已知技术中存在人工进行乳腺癌筛选的准确率和效率低下的技术问题，利用受测机体组织的三维图像和三维网络进行病灶检测，由于考虑了病灶在三维空间中的特征，不仅实现了自动、高效的得到表示病灶的三维感兴趣区域，而且病灶的识别准确率更高，提高了病灶检出率，进而辅助医生对病情给出更准确的判断结果。
优选地，由于使用三维图像数据进行感兴趣区域检测和定位需要占据大量GPU内存，因此，本发明实施例中，在将三维图像数据输入感兴趣区域获取网络之前，将受测机体组织的三维图像数据进行压缩后再输入，以压缩到211*416*330体素值为例，具体的压缩比例可以自由设置。
进一步地，参考图3，图3示例性示出了三维特征提取网络的示意图，本实施例中，以三维特征提取网络提取三种不同尺度的特征图为例，三维特征提取网络以3D MobileNet V2作为特征提取的骨干网络，同时引入逆向连接，将不同尺寸的特征进行融合。具体地，三维特征提取网络包括顺序连接的扩张卷积层(卷积块1)、用于生成第一尺度的第一特征图的第一卷积层(卷积块2)、用于生成第二尺度的第二特征图的第二卷积层(卷积块3)和用于生成第三尺度的第三特征图的第三卷积层(卷积块4)，第一卷积层、第二卷积层和第三卷积层反向顺序连接并通过特征融合得到新的第一特征图和新的第二特征图。其中，卷积块1作为扩张层，目的是为了提升通道数，获得更多特征，扩大三维特征提取网络的感受野，而卷积块2、卷积块3和卷积块4用于提取输入的三维图像的特征以生成不同尺度的特征图，三维图像数据经过卷积块2、卷积块3和卷积块4三个卷积块得到三个不同尺度的特征层，同时引入逆向连接，将不同尺寸的特征进行融合，即将深层的高级语义特征信息和浅层的初级特征信息进行特征融合，使浅层特征拥有了更强的语义特征，同时提高了小目标的检出率，也即提高三维感兴趣区域的检出率和准确度。具体地，特征融合时，根据第三特征图和第二特征图进行特征融合以得到新的第二特征图，同理，根据新的第二特征图和第一特征图进行特征融合以得到新的第一特征图。
进一步地，对区域候选框获取步骤S102进行具体说明：
首先需要设置区域候选框的预设尺寸，预设尺寸可以根据对受测机体组织的三维感兴趣区域的研究历史经验来设置，以使区域候选框(二维)可以适应不同尺寸的感兴趣区域(二维)即可，因此，为了提高三维感兴趣区域的检出率和准确度，需要设置多个不同的预设尺寸，参考图4，图4示例性示出了区域候选框的示意图，本实施例中，设置了8种区域候选框的预设尺寸，对应特征图A中的8个虚线框，如图4中的1、2、3、4、5、6、7、和8，其中，1、2、3、4和5对应的箭头所指的位置为虚线框的右上角，6、7、8对应的箭头所指的位置为虚线框的左上角，虚线框即为区域候选框，每个虚线框的尺寸不同，其中的黑点B为像素点。
设置好预设尺寸后，根据预设尺寸在特征图上生成多个区域候选框，其中，参考图4，特征图上的每个像素点有一组以该点为中心、尺寸不同的区域候选框，图4中，一组区域候选框有8个区域候选框。
进一步地，三维分类网络采用三维分类卷积神经网络来实现，利用三维分类卷积神经网络获取特征图上每个像素点对应的区域候选框对应的特征图区域的类别，判断每个区域候选框对应的特征图区域是否为感兴趣区域。具体地，通过计算每个区域候选框对应的特征图区域的IOU值，并将获得的IOU值与预设IOU值进行比较，IOU值大于预设IOU值的特征图区域为感兴趣区域，否则为非感兴趣区域。
进一步地，本实施例中，感兴趣区域获取步骤S105的一种具体实现方法可以是：获取到不同尺度的区域类型为感兴趣区域的特征图区域后，获取不同尺度的特征图区域对应到受测机体组织的三维图像中的位置，具体地，对于不同尺度的特征图，根据特征图的尺度和受测机体组织的三维图像可以得到图像缩放比例，根据图像缩放比例可以获得特征图区域在受测机体组织的三维图像中对应部分的图像，对应部分的图像位置信息也可以得到；再将对应得到的所有图像进行重叠后，取其中的重合部分作为三维感兴趣区域(三维立体)，则三维感兴趣区域的位置信息也可以得到，其中，三维感兴趣区域可以有多个。
进一步地，提供另一种感兴趣区域获取步骤S105的具体实现方法，本实施例中，感兴趣区域获取步骤S105包括：
候选框位置信息获取子步骤，根据受测机体组织的三维图像、特征图的尺度获取区域候选框对应到受测机体组织的三维图像中的位置信息，并将此位置信息作为区域候选框的位置信息；其中，根据特征图的尺度和受测机体组织的三维图像可以获得图像缩放比例，根据图像缩放比例可以获得区域候选框对应到受测机体组织的三维图像中的位置，将这个位置信息作为区域候选框的位置信息，位置信息可以是区域候选框对应到受测机体组织的三维图像中的中心点坐标(即对应到三维图像后的中心点坐标)以及候选框的长、宽(即对应到三维图像后的长、宽)，位置信息也可以是区域候选框对应到受测机体组织的三维图像中的左上角坐标和右下角坐标(即对应到三维图像后的左上角坐标和右下角坐标)。这样在后续根据特征图区域获取三维感兴趣区域时，可以直接根据区域候选框的位置信息获取受测机体组织的三维感兴趣区域，减少数据处理量，也可以提高三维感兴趣区域的检出速度；
叠加子步骤，获取区域类型为感兴趣区域的区域候选框，根据非极大值抑制算法将具有重合部分的区域候选框进行候选框合并以得到感兴趣区域框，并根据感兴趣区域框、区域候选框的位置信息获取感兴趣区域框对应到受测机体组织中的感兴趣区域框位置信息(三维)，感兴趣区域框位置信息在受测机体组织中对应的立体区域为三维感兴趣区域(三维立体)。其中，由于区域候选框对应到受测机体组织中的位置已知，则根据感兴趣区域框的尺寸信息、区域候选框的尺寸信息、区域候选框的位置信息可以获取感兴趣区域框对应到受测机体组织中的感兴趣区域框位置信息。当有多个重合部分时，可以得到多个三维感兴趣区域。
进一步地，参考图1和图2，三维图像处理方法中，在分类步骤S103之后还包括：
回归步骤S104，根据三维边框回归网络对区域类型为感兴趣区域的区域候选框对应的特征图区域进行边框回归处理，具体地，对以同一像素点为中心且区域类型为感兴趣区域的多个区域候选框进行边框回归处理，以获取更接近真实的感兴趣区域的区域候选框，减少区域候选框的数量，有利于提高三维感兴趣区域的获取速度。在进行边框回归处理后，根据边框回归处理后的区域候选框获取受测机体组织的三维感兴趣区域，同上，不再赘述。
更进一步地，参考图1，三维图像处理方法还包括：
信息添加步骤S106，将感兴趣区域框位置信息(即感兴趣区域框对应到受测机体组织中的位置信息)添加至DICOM文件中。将感兴趣区域框位置信息写入DICOM文件中，也即将三维感兴趣区域的位置信息写入DICOM文件中，而DICOM文件可导入读图平台设备上，医生可以在读图平台上审阅核实受测机体组织的三维图像(根据感兴趣区域框位置信息获取得到三维感兴趣区域)，帮助医生对病情做出准确的处理，十分方便。
值得注意的是，在使用感兴趣区域获取网络之前，需要对其进行训练，参考图2，以乳腺组织的三维超声图像为例，下面对感兴趣区域获取网络的训练过程做具体说明：
首先，需要获取已标记好三维感兴趣区域的多个训练样本数据。具体地，可以从医疗中心中获取利用ABUS设备扫描多名患者后得到的三维容积图像。在每次扫描中，ABUS设备输出330张2D灰度图像，间距为0.5mm。容积图像的大小根据扫描深度分为三类分别为：422*831*330体素、482*841*330体素、608*865*330体素。
然后需要获取三维容积图像中的病灶位置，也即三维感兴趣区域的位置。由两名高级放射科医生根据三维容积图像对每名患者在遵循双盲法的原则下参照ACR制定的BI-RADS(Breast Imaging,Reporting&Data System)词典确定BI-RADS分级结果，对于BI-RADS分级结果为1和2级的患者不需要活检或随访，将该患者确定为正常，即不存在三维感兴趣区域；而对于BI-RADS分级结果为3级以上的患者，对BI-RADS分级结果为3级的患者进行定期随访，例如随访2年，若随访期间无异常则为良性，也即不存在三维感兴趣区域，而对于BI-RADS分级结果为4级和5级的患者，需要进行病理性活检并结合钼靶图像以确定病灶位置(即三维感兴趣区域)。至此，可以根据三维感兴趣区域对患者的三维容积图像进行标记以完成训练样本数据的收集。
在对感兴趣区域获取网络进行训练之前，由于使用三维图像数据进行感兴趣区域检测和定位需要大量GPU内存，因此，将受测机体组织的三维图像数据进行压缩后输入感兴趣区域获取网络，以压缩到211*416*330体素值为例。参考图2，将已标记好三维感兴趣区域的训练样本数据逐个输入感兴趣区域获取网络中进行监督式训练，以获得感兴趣区域获取网络的网络参数。其中，区域候选框的预设尺寸可以根据训练样本中三维感兴趣区域的大小来确定，以区域候选框能适应所有尺寸的三维感兴趣区域为准。
实施例2
基于实施例1提供实施例2，参考图2和图5，图5示例性示出了机体组织的三维图像处理装置的结构框图，机体组织的三维图像处理装置包括：
特征提取模块501，用于根据受测机体组织的三维图像和三维特征提取网络进行多尺度特征提取以获取多种尺度的特征图；
区域候选框获取模块502，用于根据特征图、多个不同的预设尺寸生成多个区域候选框；
分类模块503，用于根据区域候选框对应的特征图区域和三维分类网络进行特征图区域分类，以获取特征图区域的区域类型，特征图区域的区域类型包括感兴趣区域和非感兴趣区域；
感兴趣区域获取模块505，用于根据受测机体组织的三维图像、特征图和特征图区域的区域类型获取受测机体组织的三维感兴趣区域(立体的)，根据区域类型获取感兴趣区域的特征图区域，再根据受测机体组织的三维图像、特征图和区域类型为感兴趣区域的特征图区域获取三维感兴趣区域，其中，三维感兴趣区域可以有多个。
特征提取模块501通过三维特征提取网络对受测机体组织的三维图像进行多尺度特征提取以得到多种尺度的特征图，区域候选框获取模块502再根据多个不同的预设尺寸和特征图得到多个区域候选框，接着分类模块503利用三维分类网络进行特征图区域分类，最后，感兴趣区域获取模块505根据区域分类结果获得在受测机体组织中的三维感兴趣区域，克服已知技术中存在人工进行乳腺癌筛选的准确率和效率低下的技术问题，利用受测机体组织的三维图像和三维网络进行病灶检测，由于考虑了病灶在三维空间中的特征，不仅实现了自动、高效的得到表示病灶的三维感兴趣区域，而且病灶的识别准确率更高，提高了病灶检出率，进而辅助医生对病情给出更准确的判断结果。
进一步地，本实施例中，感兴趣区域获取模块506的一种具体工作过程可以是：获取到不同尺度的区域类型为感兴趣区域的特征图区域后，获取不同尺度的特征图区域对应到受测机体组织的三维图像中的位置，具体地，对于不同尺度的特征图，根据特征图的尺度和受测机体组织的三维图像可以得到图像缩放比例，根据图像缩放比例可以获得特征图区域在受测机体组织的三维图像中对应部分的图像，对应部分的图像位置信息也可以得到；再将对应得到的所有图像进行重叠后，取其中的重合部分作为三维感兴趣区域(三维立体)，则三维感兴趣区域的位置信息也可以得到，其中，三维感兴趣区域可以有多个。
进一步地，提供感兴趣区域获取模块506的另一种具体工作过程，感兴趣区域获取模块506包括：
候选框位置信息获取子模块，用于根据受测机体组织的三维图像、特征图的尺度获取区域候选框对应到受测机体组织的三维图像中的位置信息，并将位置信息作为区域候选框的位置信息；其中，根据特征图的尺度和受测机体组织的三维图像可以获得图像缩放比例，根据图像缩放比例可以获得区域候选框对应到受测机体组织的三维图像中的位置，将这个位置信息作为区域候选框的位置信息，位置信息可以是区域候选框对应到受测机体组织的三维图像中的中心点坐标(即对应到三维图像后的中心点坐标)以及候选框的长、宽(即对应到三维图像后的长、宽)，位置信息也可以是区域候选框对应到受测机体组织的三维图像中的左上角坐标和右下角坐标(即对应到三维图像后的左上角坐标和右下角坐标)。这样在后续根据特征图区域获取三维感兴趣区域时，可以直接根据区域候选框的位置信息获取受测机体组织的三维感兴趣区域，减少数据处理量，也可以提高三维感兴趣区域的检出速度；
叠加子模块，用于获取区域类型为感兴趣区域的区域候选框，根据非极大值抑制算法将具有重合部分的区域候选框进行候选框合并以得到感兴趣区域框，并根据感兴趣区域框、区域候选框的位置信息获取感兴趣区域框对应到受测机体组织中的感兴趣区域框位置信息(三维)，感兴趣区域框位置信息对应的区域为三维感兴趣区域(三维立体)。其中，由于区域候选框对应到受测机体组织中的位置已知，则根据感兴趣区域框的尺寸信息、区域候选框的尺寸信息、区域候选框的位置信息获取感兴趣区域框对应到受测机体组织中的感兴趣区域框位置信息。当有多个重合部分时，可以得到多个三维感兴趣区域。
进一步地，参考图5，三维图像处理装置还包括：
回归模块504，用于根据三维边框回归网络对区域类型为感兴趣区域的区域候选框对应的特征图区域进行边框回归处理，具体地，对以同一像素点为中心且区域类型为感兴趣区域的多个区域候选框进行边框回归处理，以获取更接近真实的感兴趣区域的区域候选框，减少区域候选框的数量，有利于提高三维感兴趣区域的获取速度。在进行边框回归处理后，根据边框回归处理后的区域候选框获取受测机体组织的三维感兴趣区域，同上，不再赘述。
信息添加模块506，用于将感兴趣区域框位置信息(即感兴趣区域框对应到受测机体组织中的位置信息)添加至DICOM文件中。将感兴趣区域框位置信息写入DICOM文件中，也即将三维感兴趣区域的位置信息写入DICOM文件中，而DICOM文件可导入读图平台设备上，医生可以在读图平台上审阅核实受测机体组织的三维图像(根据感兴趣区域框位置信息获取得到三维感兴趣区域)，帮助医生对病情做出准确的处理，十分方便。
实际使用时，机体组织的三维图像处理装置可以布置在云端服务器，并利用图像采集设备如ABUS设备用于采集受测机体组织的三维图像，云端服务器与图像采集设备之间基于网络通信方式进行交互。图像采集设备与云端服务器通过网络通信来交互，有利于医生的操作，在云端服务器直接利用三维图像进行感兴趣区域检测和定位，此过程无需人工进行数据处理，医生只需要在最后进行确认核实，提高了三维感兴趣区域的检出率和准确度，并且大大缓解了医生的阅片负担。特别地，由于考虑机体组织如乳腺的三维特征，三维感兴趣区域的检出率和准确度有所提高，可以直接在大规模的临床筛查中使用。
对于实施例2中的模块的具体工作过程可以参考实施例1的描述，不再赘述。
实施例3
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行实施例1所述的机体组织的三维图像处理方法。三维图像处理方法的具体描述可以参考实施例1的描述，不再赘述。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种机体组织的三维图像处理方法，其特征在于，包括：
特征提取步骤，根据受测机体组织的三维图像和三维特征提取网络进行多尺度特征提取以获取多种尺度的特征图；
区域候选框获取步骤，根据所述特征图和多个不同的预设尺寸生成多个区域候选框；
分类步骤，根据所述区域候选框对应的特征图区域和三维分类网络进行区域分类，以获取所述特征图区域的区域类型，所述区域类型包括感兴趣区域和非感兴趣区域；
感兴趣区域获取步骤，根据所述受测机体组织的三维图像、所述特征图和所述特征图区域的区域类型获取所述受测机体组织的三维感兴趣区域。
2.根据权利要求1所述的机体组织的三维图像处理方法，其特征在于，所述区域候选框获取步骤包括：
根据所述特征图和所述预设尺寸生成以所述特征图的每个像素点为中心的多个所述区域候选框；
所述三维图像处理方法还包括：
回归步骤，根据三维边框回归网络对所述区域类型为感兴趣区域的所述区域候选框对应的所述特征图区域进行边框回归处理，所述区域候选框为以同一像素点为中心的区域候选框。
3.根据权利要求1所述的机体组织的三维图像处理方法，其特征在于，所述三维特征提取网络包括顺序连接的用于生成第一尺度的第一特征图的第一卷积层、用于生成第二尺度的第二特征图的第二卷积层和用于生成第三尺度的第三特征图的第三卷积层，所述第一卷积层、所述第二卷积层和所述第三卷积层反向顺序连接并通过特征融合得到新的所述第一特征图和新的所述第二特征图。
4.根据权利要求3所述的机体组织的三维图像处理方法，其特征在于，所述三维特征提取网络还包括扩张卷积层，所述扩张卷积层的输出端与所述第一卷积层的输入端连接。
5.根据权利要求1至4任一项所述的机体组织的三维图像处理方法，其特征在于，所述感兴趣区域获取步骤包括：
候选框位置信息获取子步骤，根据所述受测机体组织的三维图像、所述特征图的尺度获取所述区域候选框对应到所述受测机体组织的三维图像中的位置信息，并将所述位置信息作为所述区域候选框的位置信息；
叠加子步骤，获取区域类型为感兴趣区域的所述区域候选框，将具有重合部分的所述区域候选框进行候选框合并以得到感兴趣区域框，并根据所述感兴趣区域框、所述区域候选框的位置信息获取所述感兴趣区域框对应到所述受测机体组织中的感兴趣区域框位置信息，所述感兴趣区域框位置信息对应的区域为所述三维感兴趣区域。
6.根据权利要求5所述的机体组织的三维图像处理方法，其特征在于，所述三维图像处理方法还包括：
信息添加步骤，将所述感兴趣区域框位置信息添加至DICOM文件中。
7.根据权利要求5所述的机体组织的三维图像处理方法，其特征在于，根据非极大值抑制算法将具有重合部分的所述区域候选框进行候选框合并以得到所述感兴趣区域框。
8.根据权利要求1至4任一项所述的机体组织的三维图像处理方法，其特征在于，所述受测机体组织的三维图像包括受测机体组织的三维超声图像、受测机体组织的三维MRI图像、受测机体组织的三维CT图像中的一种图像。
9.一种机体组织的三维图像处理装置，其特征在于，包括：
特征提取模块，用于根据受测机体组织的三维图像和三维特征提取网络进行多尺度特征提取以获取多种尺度的特征图；
区域候选框获取模块，用于根据所述特征图和多个不同的预设尺寸生成多个区域候选框；
分类模块，用于根据所述区域候选框对应的特征图区域和三维分类网络进行区域分类，以获取所述特征图区域的区域类型，所述区域类型包括感兴趣区域和非感兴趣区域；
感兴趣区域获取模块，用于根据所述受测机体组织的三维图像、所述特征图和所述特征图区域的区域类型获取所述受测机体组织的三维感兴趣区域。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至8任一项所述的机体组织的三维图像处理方法。
CN201910846206.9A 2019-09-09 2019-09-09 一种机体组织的三维图像处理方法及相关设备 Active CN110738633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910846206.9A CN110738633B (zh) 2019-09-09 2019-09-09 一种机体组织的三维图像处理方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910846206.9A CN110738633B (zh) 2019-09-09 2019-09-09 一种机体组织的三维图像处理方法及相关设备

Publications (2)

Publication Number Publication Date
CN110738633A true CN110738633A (zh) 2020-01-31
CN110738633B CN110738633B (zh) 2023-06-20

Family

ID=69267634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910846206.9A Active CN110738633B (zh) 2019-09-09 2019-09-09 一种机体组织的三维图像处理方法及相关设备

Country Status (1)

Country Link
CN (1) CN110738633B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340780A (zh) * 2020-02-26 2020-06-26 汕头市超声仪器研究所有限公司 一种基于三维超声图像的病灶检测方法
CN111428709A (zh) * 2020-03-13 2020-07-17 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN113591852A (zh) * 2021-08-09 2021-11-02 数坤(北京)网络科技股份有限公司 感兴趣区域标记的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100254582A1 (en) * 2009-04-03 2010-10-07 Siemens Corporation System and Method for Detecting Landmarks in a Three-Dimensional Image Volume
CN107480677A (zh) * 2017-08-07 2017-12-15 北京深睿博联科技有限责任公司 一种识别三维ct图像中感兴趣区域的方法及装置
US20180247405A1 (en) * 2017-02-27 2018-08-30 International Business Machines Corporation Automatic detection and semantic description of lesions using a convolutional neural network
CN110147715A (zh) * 2019-04-01 2019-08-20 江西比格威医疗科技有限公司 一种视网膜OCT图像Bruch膜开角自动检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100254582A1 (en) * 2009-04-03 2010-10-07 Siemens Corporation System and Method for Detecting Landmarks in a Three-Dimensional Image Volume
US20180247405A1 (en) * 2017-02-27 2018-08-30 International Business Machines Corporation Automatic detection and semantic description of lesions using a convolutional neural network
CN107480677A (zh) * 2017-08-07 2017-12-15 北京深睿博联科技有限责任公司 一种识别三维ct图像中感兴趣区域的方法及装置
CN110147715A (zh) * 2019-04-01 2019-08-20 江西比格威医疗科技有限公司 一种视网膜OCT图像Bruch膜开角自动检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏燕妮等: "乳腺肿瘤超声图像中感兴趣区域的自动检测", 《中国生物医学工程学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340780A (zh) * 2020-02-26 2020-06-26 汕头市超声仪器研究所有限公司 一种基于三维超声图像的病灶检测方法
CN111340780B (zh) * 2020-02-26 2023-04-07 汕头市超声仪器研究所股份有限公司 一种基于三维超声图像的病灶检测方法
CN111428709A (zh) * 2020-03-13 2020-07-17 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111428709B (zh) * 2020-03-13 2023-10-24 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN113591852A (zh) * 2021-08-09 2021-11-02 数坤(北京)网络科技股份有限公司 感兴趣区域标记的方法和装置
CN113591852B (zh) * 2021-08-09 2022-08-23 数坤(北京)网络科技股份有限公司 感兴趣区域标记的方法和装置

Also Published As

Publication number Publication date
CN110738633B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111428709B (zh) 图像处理方法、装置、计算机设备和存储介质
US8355553B2 (en) Systems, apparatus and processes for automated medical image segmentation using a statistical model
US10363010B2 (en) Method for breast screening in fused mammography
CN109493325B (zh) 基于ct影像的肿瘤异质性分析系统
US9098935B2 (en) Image displaying apparatus, image displaying method, and computer readable medium for displaying an image of a mammary gland structure without overlaps thereof
EP2572332B1 (en) Visualization of medical image data with localized enhancement
CN112469340A (zh) 具有用于引导式肝成像的人工神经网络的超声系统
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
EP2116973B1 (en) Method for interactively determining a bounding surface for segmenting a lesion in a medical image
US20090022375A1 (en) Systems, apparatus and processes for automated medical image segmentation
EP2116974B1 (en) Statistics collection for lesion segmentation
CN110738633B (zh) 一种机体组织的三维图像处理方法及相关设备
KR20130023735A (ko) 장기 모델 영상 생성 방법 및 장치
CN112529834A (zh) 病理图像模式在3d图像数据中的空间分布
EP4118617A1 (en) Automated detection of tumors based on image processing
CN114974575A (zh) 基于多特征融合的乳腺癌新辅助化疗疗效预测装置
Kaliyugarasan et al. Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI
US20120078101A1 (en) Ultrasound system for displaying slice of object and method thereof
CN112002407A (zh) 一种基于超声视频的乳腺癌诊断装置及其方法
CN115294023A (zh) 肝脏肿瘤自动分割方法及装置
CN114708283A (zh) 图像目标的分割方法、装置、电子设备及存储介质
CN111862014A (zh) 一种基于左右侧脑室分割的alvi自动测量方法及装置
CN115619641B (zh) 基于ffdm的乳腺影像处理方法、系统、终端和介质
CN115132357B (zh) 基于医学影像图预测目标疾病指标状态的装置
Dey Review on Novel Approach to observation of Brain Image Anomaly

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant