CN111784646A - 图像处理装置及电子设备 - Google Patents
图像处理装置及电子设备 Download PDFInfo
- Publication number
- CN111784646A CN111784646A CN202010558639.7A CN202010558639A CN111784646A CN 111784646 A CN111784646 A CN 111784646A CN 202010558639 A CN202010558639 A CN 202010558639A CN 111784646 A CN111784646 A CN 111784646A
- Authority
- CN
- China
- Prior art keywords
- image
- region
- processing apparatus
- image processing
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 60
- 238000013528 artificial neural network Methods 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 9
- 230000000717 retained effect Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 230000010339 dilation Effects 0.000 claims description 5
- 230000003628 erosive effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 18
- 238000003672 processing method Methods 0.000 description 17
- 238000002591 computed tomography Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 7
- 230000003902 lesion Effects 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000002583 angiography Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000010968 computed tomography angiography Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 208000022211 Arteriovenous Malformations Diseases 0.000 description 1
- 208000034710 Cerebral arteriovenous malformation Diseases 0.000 description 1
- 208000002263 Intracranial Arteriovenous Malformations Diseases 0.000 description 1
- 230000005744 arteriovenous malformation Effects 0.000 description 1
- 201000000034 arteriovenous malformations of the brain Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种图像处理装置及电子设备。使用能够对三维图像进行处理的第一神经网络对分割的各个预设尺寸的三维图像区域分别进行目标物的特征检测，得到候选图像区域，并使用第二神经网络对待处理的三维图像中的对应于候选图像区域的目标图像区域进行分类，从而能够快速且准确的实现三维图像中目标物的检测、定位和分割，降低了漏检率和假阳性率。
Description
技术领域
本发明涉及信息技术领域，尤其涉及一种图像处理装置及电子设备。
背景技术
随着信息技术的发展，图像处理技术在各个技术领域都得到了广泛的应用。
例如，在医疗设备领域，图像处理技术发挥了重要的作用，其可以用于生成并处理各种医学图像。例如，医学图像可以包括CT(Computed Tomography)图像、磁共振成像(MR)以及数字减影血管造影(DSA)等图像。基于磁共振成像(MR)以及数字减影血管造影(DSA)等图像能够较为准确的检测到病灶等目标物，但是磁共振成像(MR)以及数字减影血管造影(DSA)相关设备的成本较高，普及率较低。CT设备的普及率较高，其获得的CT扫描图像是多次断面扫描后得到的多个图像，也可以说，该多个图像构成了三维图像。但是，目前，仅基于CT扫描图像很难快速且准确的获得目标物的检测结果。
另外，在其他应用领域，也缺少针对三维图像的快速且准确的目标物检测方法。
应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
为了解决上述问题中的至少一个，本发明实施例提供一种图像处理装置及电子设备，能够快速且准确的实现三维图像中目标物的检测、定位和分割。
根据本发明实施例的第一方面，提供一种图像处理装置，所述图像处理装置包括：预处理单元，其对待处理的三维图像进行预处理，得到预处理后的三维图像；提取单元，其在所述预处理后的三维图像中提取有效区域；检测单元，其将所述有效区域分割为多个预设尺寸的三维图像区域，并使用第一神经网络对各个预设尺寸的三维图像区域分别进行目标物的特征检测，得到候选图像区域；分类单元，其使用第二神经网络对所述待处理的三维图像中的对应于所述候选图像区域的目标图像区域进行分类，得到所述目标图像区域属于预设类别的置信度；以及第一筛选单元，其保留所述置信度大于第一阈值的所述目标图像区域。
根据本发明实施例的第二方面，所述第一神经网络具有三维卷积结构。
根据本发明实施例的第三方面，用于对所述第一神经网络进行训练的训练数据包括数量大于第二阈值的阳性和假阳性数据。
根据本发明实施例的第四方面，用于对所述第一神经网络进行训练的所述训练数据经过了数据增强处理。
根据本发明实施例的第五方面，所述提取单元根据以下方法中的至少一种，在所述预处理后的三维图像中提取有效区域：基于图像连通性、腐蚀、膨胀以及边缘分割。
根据本发明实施例的第六方面，所述图像处理装置还包括：测量单元，其测量所述第一筛选单元保留的所述目标图像区域的特征指标。
根据本发明实施例的第七方面，所述测量单元包括：第二筛选单元，其使用目标物的轮廓去除所述保留的所述目标图像区域中的非目标物区域，得到目标物轮廓区域；第一计算单元，其计算所述目标物轮廓区域内的所有像素的第一参数的总和以及所述目标物轮廓区域内的像素点个数；以及第二计算单元，其根据所述第一参数的总和以及所述像素点个数，计算所述特征指标。
根据本发明实施例的第八方面，所述待处理的三维图像由在深度上分布的多个二维图像构成。
根据本发明实施例的第九方面，所述多个二维图像是断层扫描得到的图像。
根据本发明实施例的第十方面，所述电子设备包括根据本发明实施例的第一方面至第九方面中的任一方面所述的图像处理装置。
本发明实施例的有益效果在于：使用能够对三维图像进行处理的第一神经网络对分割的各个预设尺寸的三维图像区域分别进行目标物的特征检测，得到候选图像区域，并使用第二神经网络对待处理的三维图像中的对应于候选图像区域的目标图像区域进行分类，从而能够快速且准确的实现三维图像中目标物的检测、定位和分割，降低了漏检率和假阳性率。
参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例1的图像处理装置的一示意图；
图2是本发明实施例1的第一神经网络的一结构图；
图3是本发明实施例1的第二神经网络的一结构图；
图4是本发明实施例1的测量单元106的一示意图；
图5是本发明实施例2的电子设备的一示意图；
图6是本发明实施例2的电子设备的系统构成的一示意框图；
图7是本发明实施例3的图像处理方法的一示意图。
具体实施方式
参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。
实施例1
本发明实施例提供一种图像处理装置。图1是本发明实施例1的图像处理装置的一示意图。
如图1所示，图像处理装置100包括：
预处理单元101，其对待处理的三维图像进行预处理，得到预处理后的三维图像；
提取单元102，其在该预处理后的三维图像中提取有效区域；
检测单元103，其将该有效区域分割为多个预设尺寸的三维图像区域，并使用第一神经网络对各个预设尺寸的三维图像区域分别进行目标物的特征检测，得到候选图像区域；
分类单元104，其使用第二神经网络对该待处理的三维图像中的对应于该候选图像区域的目标图像区域进行分类，得到该目标图像区域属于预设类别的置信度；以及
第一筛选单元105，其保留置信度大于第一阈值的该目标图像区域。
这样，使用能够对三维图像进行处理的第一神经网络对分割的各个预设尺寸的三维图像区域分别进行目标物的特征检测，得到候选图像区域，并使用第二神经网络对待处理的三维图像中的对应于候选图像区域的目标图像区域进行分类，从而能够快速且准确的实现三维图像中目标物的检测、定位和分割，降低了漏检率和假阳性率。
在本发明实施例中，图像处理装置100可以处理各种领域以及各种类型的三维图像。例如，待处理的三维图像由在深度或厚度上分布的多个二维图像构成，也就是说，待处理的三维图像可以是二维图像序列。
在本发明实施例中，以CT设备获得的原始图像，也就是说，该多个二维图像通过在不同深度或厚度上进行断层扫描而获得。但是，本发明实施例处理的对象并不限于CT扫描图像，其也可以是其他图像。
另外，CT扫描图像可以是各种类型的断层扫描图像，例如，对于脑部在不同厚度上进行断层扫描而得到的CT扫描图像。但是，本发明实施例不对CT扫描图像的具体内容进行限制，即不对断层扫描的类型以及扫描针对的部位进行限制。
例如，该CT扫描图像可以是通过CT血管造影(CTA)的扫描方式获得的原始图像，对于这类原始图像，图像处理装置100能够获得更好的检测精度和效果。
例如，对于CT扫描图像，其格式为标准DICOM文件格式，图像中包含可用的脑部CT序列，另外，扫描厚度不大于5mm。
在本发明实施例中，预处理单元101对待处理的三维图像进行预处理，得到预处理后的三维图像。例如，对于CT扫描图像，预处理单元101去除该CT扫描图像中第一参数的值小于预设阈值的第一参数，该第一参数例如是CT值。
例如，预处理单元101将该CT扫描图像中-500以下的CT值去除，然后将脑窗区域的有效CT值保留。
在预处理单元101对待处理的三维图像进行预处理之后，提取单元102在该预处理后的三维图像中提取有效区域。
在本发明实施例中，提取单元102可以使用各种方法提取有效区域，例如，根据基于图像连通性、腐蚀、膨胀以及边缘分割中的至少一种方法来提取有效区域。
在提取单元102提取出有效区域之后，检测单元103将该有效区域分割为多个预设尺寸的三维图像区域，并使用第一神经网络对各个预设尺寸的三维图像区域分别进行目标物的特征检测，得到候选图像区域。
在本发明实施例中，检测单元103将该有效区域分割为多个预设尺寸的三维图像区域，该预设尺寸是根据实际情况而预先设置的，例如，该预设尺寸根据目标物的尺寸而确定。例如，该预设尺寸是目标物的尺寸的2-3倍。
例如，该预设尺寸是64mm×64mm×64mm。也就是说，检测单元103将该有效区域分割为多个64mm×64mm×64mm的三维图像区域并对各个三维图像区域分别使用第一神经网络进行检测。
例如，检测单元103对该有效区域进行平移扫描并检测，每次扫描的区域为具有该预设尺寸的区域。
在本发明实施例中，该目标物可以根据图像处理装置100的应用场景而设置为不同的类型。例如，对于医学图像，该目标物可以是病灶。进一步的，例如，对于脑部的CT图像，该目标物可以是颅内动静脉畸形(AVM)、动脉瘤、烟雾综合症中的至少一个的病灶。但是，本发明实施例中的目标物不限于上述示例，其可以是各种应用场景作为检测目标的目标物。
在本发明实施例中，检测单元103使用的第一神经网络具有三维卷积结构，从而能够处理三维图像。
第一神经网络可以包括多个卷积层，其卷积层的数量以及卷积核的尺寸可以根据实际需要而确定。例如，第一神经网络包括32个卷积层，卷积核的尺寸为3×3。
图2是本发明实施例1的第一神经网络的一结构图。如图2所示，输入第一神经网络的三维图像201包括在不同厚度上进行断层扫描而得到的多个二维图像，输入的该三维图像经过了预处理单元101和提取单元102的处理。在输入到第一神经网络之后，卷积层从多个二维图像中提取特征而得到多个特征图(feature map)，在多个特征图之间进行三维(3D)卷积，并通过下采样和上采样过程，最终得到输出的三维图像202，其中，检测到了候选图像区域203。
在本发明实施例中，第一神经网络是预先训练完成的，用于对该第一神经网络进行训练的训练数据可以包括数量大于第二阈值的阳性和假阳性数据。该第二阈值可以根据实际需要而设置。另外，用于对该第一神经网络进行训练的该训练数据经过了数据增强处理。
这样，通过将大量的阳性和假阳性数据用于训练第一神经网络，并且对这些训练数据进行了数据增强处理，因此能够提高第一神经网络的鲁棒性和泛化性能。
在通过检测单元103得到候选图像区域之后，分类单元104使用第二神经网络对该待处理的三维图像中的对应于该候选图像区域的目标图像区域进行分类，得到该目标图像区域属于预设类别的置信度。
在检测单元103检测到多个候选图像区域的情况下，分类单元104对各个候选图像区域分别进行处理。
在本发明实施例中，该预设类别可以根据图像处理装置100的应用场景以及实际需要而预先设定。例如，对于CT扫描图像，该预设类别为疑似区域。
在本发明实施例中，第二神经网络可以是三维CNN(Convolutional NeuralNetworks)分类网络。
图3是本发明实施例1的第二神经网络的一结构图。如图3所示，第二神经网络包括输入层、多个在深度上分别的卷积层、与卷积层相应的多个池化层以及全连接层。输入第二神经网络的数据是待处理的三维图像中的对应于该候选图像区域的区域，即目标图像区域301，第二神经网络的输出的结果是输入的该目标图像区域属于预设类别的置信度。
在分类单元104使用第二神经网络得到该目标图像区域属于预设类别的置信度之后，第一筛选单元105保留置信度大于第一阈值的该目标图像区域。
在本发明实施例中，该第一阈值可以根据实际需要而设置，例如，该第一阈值为0.6，也就是说，例如，第一筛选单元105去除置信度小于或等于0.6的目标图像区域，而保留置信度大于0.6的目标图像区域。
这样，第一筛选单元105通过基于置信度的筛选，得到了置信度较高的目标图像区域，即属于预设类别的可能性较大的目标图像区域。例如，当处理对象是CT扫描图像时，第一筛选单元105得到的是属于疑似疾病可能性较大的目标图像区域，其可以作为一种用于参考的中间结果。
在本发明实施例中，如图1所示，图像处理装置100还可以包括：
测量单元106，其测量该第一筛选单元105保留的该目标图像区域的特征指标。
在本发明实施例中，该特征指标可以是基于应用场景和实际需要的特征指标。例如，当处理对象是CT扫描图像时，该特征指标可以是病灶的平均密度。
例如，图4是本发明实施例1的测量单元106的一示意图。如图4所示，测量单元104包括：
第二筛选单元401，其使用目标物的轮廓去除该保留的该目标图像区域中的非目标物区域，得到目标物轮廓区域；
第一计算单元402，其计算该目标物轮廓区域内的所有像素的第一参数的总和以及该目标物轮廓区域内的像素点个数；以及
第二计算单元403，其根据该第一参数的总和以及该像素点个数，计算该特征指标。
在本发明实施例中，当处理对象是CT扫描图像时，该第一参数例如是CT值，第二计算单元403将目标轮廓区域内的所有像素的CT值的总和(又称为“总体CT值”)除以该目标物轮廓区域内的像素点个数(又称为“病灶体积”)，得到作为特征指标的“病灶平均密度”，该特征指标可以作为另一种中间结果供参考。
在本发明实施例中，该第一筛选单元105保留的该目标图像区域分布在不同厚度的多个二维图像上，即分布在不同层的二维图像上，测量单元104将对各个二维图像逐个进行处理。
在本发明实施例中，该特征指标可以以文字的形式叠加在图像中输出。
这样，通过测量单元106能够自动测量保留的该目标图像区域的特征指标，从而能够提供更多的参考信息。
由上述实施例可知，使用能够对三维图像进行处理的第一神经网络对分割的各个预设尺寸的三维图像区域分别进行目标物的特征检测，得到候选图像区域，并使用第二神经网络对待处理的三维图像中的对应于候选图像区域的目标图像区域进行分类，从而能够快速且准确的实现三维图像中目标物的检测、定位和分割，降低了漏检率和假阳性率。
实施例2
本发明实施例还提供了一种电子设备，图5是本发明实施例2的电子设备的一示意图。如图5所示，电子设备500包括图像处理装置501，图像处理装置501的结构和功能与实施例1中的记载相同，此处不再赘述。
在本发明实施例的一种实施方式中，电子设备500可以是各种类型的电子设备，例如，计算机或服务器。
图6是本发明实施例2的电子设备的系统构成的一示意框图。如图6所示，电子设备600可以包括第一处理器601、第二处理器602和存储器603；该存储器603耦合到该第一处理器601和第二处理器602。该图是示例性的；还可以使用其它类型的结构，来补充或代替该结构，以实现电信功能或其它功能。
如图6所示，电子设备600还可以包括：输入单元604、显示器605、电源606。
在本发明实施例中，例如，第一处理器601可以是中央处理器(CPU)，第二处理器602可以是图像处理器(GPU)。
在本发明实施例的一个实施方式中，实施例1所述的图像处理装置的部分功能可以被集成到第一处理器601中。例如，第一处理器601可以被配置为：对待处理的三维图像进行预处理，得到预处理后的三维图像；以及在该预处理后的三维图像中提取有效区域。
在本发明实施例的一个实施方式中，实施例1所述的图像处理装置的部分功能可以被集成到第二处理器602中。例如，第二处理器602可以被配置为：将该有效区域分割为多个预设尺寸的三维图像区域，并使用第一神经网络对各个预设尺寸的三维图像区域分别进行目标物的特征检测，得到候选图像区域；使用第二神经网络对该待处理的三维图像中的对应于该候选图像区域的目标图像区域进行分类，得到该目标图像区域属于预设类别的置信度；以及保留该置信度大于第一阈值的该目标图像区域。
例如，该第一神经网络具有三维卷积结构。
例如，用于对该第一神经网络进行训练的训练数据包括数量大于第二阈值的阳性和假阳性数据。
例如，用于对该第一神经网络进行训练的该训练数据经过了数据增强处理。
例如，根据以下方法中的至少一种，在该预处理后的三维图像中提取有效区域：基于图像连通性、腐蚀、膨胀以及边缘分割。
例如，第一处理器601或第二处理器602还可以被配置为：测量保留的该目标图像区域的特征指标。
例如，测量保留的该目标图像区域的特征指标包括：使用目标物的轮廓去除该保留的该目标图像区域中的非目标物区域，得到目标物轮廓区域；计算该目标物轮廓区域内的所有像素的第一参数的总和以及该目标物轮廓区域内的像素点个数；以及根据该第一参数的总和以及该像素点个数，计算该特征指标。
例如，该待处理的三维图像由在深度上分布的多个二维图像构成。
例如，该多个二维图像是断层扫描得到的图像。
在本发明实施例的另一个实施方式中，实施例1所述的图像处理装置可以与第一处理器601和第二处理器602分开配置，例如可以将该图像处理装置配置为与第一处理器601和第二处理器602连接的芯片，通过第一处理器601和第二处理器602的控制来实现该图像处理装置的功能。
在本发明实施例的一种实施方式中，电子设备600也并不是必须要包括图6中所示的所有部件。
如图6所示，第一处理器601有时也称为控制器或操作控件，可以包括微处理器或其它处理器装置和/或逻辑装置，第一处理器601接收输入并控制电子设备600的各个部件的操作。
该存储器603，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且第一处理器601和第二处理器602可执行该存储器603存储的该程序，以实现信息存储或处理等。其它部件的功能与现有类似，此处不再赘述。电子设备600的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本发明的范围。
由上述实施例可知，使用能够对三维图像进行处理的第一神经网络对分割的各个预设尺寸的三维图像区域分别进行目标物的特征检测，得到候选图像区域，并使用第二神经网络对待处理的三维图像中的对应于候选图像区域的目标图像区域进行分类，从而能够快速且准确的实现三维图像中目标物的检测、定位和分割，降低了漏检率和假阳性率。
实施例3
本发明实施例还提供一种图像处理方法，该方法对应于实施例1的图像处理装置。图7是本发明实施例3的图像处理方法的一示意图。如图7所示，该方法包括：
步骤701：对待处理的三维图像进行预处理，得到预处理后的三维图像；
步骤702：在该预处理后的三维图像中提取有效区域；
步骤703：将该有效区域分割为多个预设尺寸的三维图像区域，并使用第一神经网络对各个预设尺寸的三维图像区域分别进行目标物的特征检测，得到候选图像区域；
步骤704：使用第二神经网络对该待处理的三维图像中的对应于该候选图像区域的目标图像区域进行分类，得到该目标图像区域属于预设类别的置信度；
步骤705：保留该置信度大于第一阈值的该目标图像区域；以及
步骤706：测量保留的该目标图像区域的特征指标。
在本发明实施例的一种实施方式中，上述各个步骤的具体实现方法与实施例1中的记载相同，此处不再重复。
由上述实施例可知，使用能够对三维图像进行处理的第一神经网络对分割的各个预设尺寸的三维图像区域分别进行目标物的特征检测，得到候选图像区域，并使用第二神经网络对待处理的三维图像中的对应于候选图像区域的目标图像区域进行分类，从而能够快速且准确的实现三维图像中目标物的检测、定位和分割，降低了漏检率和假阳性率。
本发明实施例还提供一种计算机可读程序，其中当在图像处理装置或电子设备中执行所述程序时，所述程序使得计算机在所述图像处理装置或电子设备中执行实施例3所述的图像处理方法。
本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在图像处理装置或电子设备中执行实施例3所述的图像处理方法。
结合本发明实施例描述的图像处理装置或电子设备中执行图像处理方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图1中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图7所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，如果电子设备采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本发明所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。
本发明实施例还公开下述的附记：
附记1、一种图像处理方法，所述图像处理方法包括：
预处理单元，其对待处理的三维图像进行预处理，得到预处理后的三维图像；
提取单元，其在所述预处理后的三维图像中提取有效区域；
检测单元，其将所述有效区域分割为多个预设尺寸的三维图像区域，并使用第一神经网络对各个预设尺寸的三维图像区域分别进行目标物的特征检测，得到候选图像区域；
分类单元，其使用第二神经网络对所述待处理的三维图像中的对应于所述候选图像区域的目标图像区域进行分类，得到所述目标图像区域属于预设类别的置信度；以及
第一筛选单元，其保留所述置信度大于第一阈值的所述目标图像区域。
附记2、根据附记1所述的图像处理方法，其中，
所述第一神经网络具有三维卷积结构。
附记3、根据附记2所述的图像处理方法，其中，
用于对所述第一神经网络进行训练的训练数据包括数量大于第二阈值的阳性和假阳性数据。
附记4、根据附记3所述的图像处理方法，其中，
用于对所述第一神经网络进行训练的所述训练数据经过了数据增强处理。
附记5、根据附记1所述的图像处理方法，其中，
所述提取单元根据以下方法中的至少一种，在所述预处理后的三维图像中提取有效区域：基于图像连通性、腐蚀、膨胀以及边缘分割。
附记6、根据附记1所述的图像处理方法，其中，所述图像处理方法还包括：
测量单元，其测量所述第一筛选单元保留的所述目标图像区域的特征指标。
附记7、根据附记6所述的图像处理方法，其中，所述测量单元包括：
第二筛选单元，其使用目标物的轮廓去除所述保留的所述目标图像区域中的非目标物区域，得到目标物轮廓区域；
第一计算单元，其计算所述目标物轮廓区域内的所有像素的第一参数的总和以及所述目标物轮廓区域内的像素点个数；以及
第二计算单元，其根据所述第一参数的总和以及所述像素点个数，计算所述特征指标。
附记8、根据附记1-7中的任一项所述的图像处理方法，其中，
所述待处理的三维图像由在深度上分布的多个二维图像构成。
附记9、根据附记8所述的图像处理方法，其中，
所述多个二维图像是断层扫描得到的图像。
Claims (10)
1.一种图像处理装置，其特征在于，所述图像处理装置包括：
预处理单元，其对待处理的三维图像进行预处理，得到预处理后的三维图像；
提取单元，其在所述预处理后的三维图像中提取有效区域；
检测单元，其将所述有效区域分割为多个预设尺寸的三维图像区域，并使用第一神经网络对各个预设尺寸的三维图像区域分别进行目标物的特征检测，得到候选图像区域；
分类单元，其使用第二神经网络对所述待处理的三维图像中的对应于所述候选图像区域的目标图像区域进行分类，得到所述目标图像区域属于预设类别的置信度；以及
第一筛选单元，其保留所述置信度大于第一阈值的所述目标图像区域。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述第一神经网络具有三维卷积结构。
3.根据权利要求2所述的图像处理装置，其特征在于，
用于对所述第一神经网络进行训练的训练数据包括数量大于第二阈值的阳性和假阳性数据。
4.根据权利要求3所述的图像处理装置，其特征在于，
用于对所述第一神经网络进行训练的所述训练数据经过了数据增强处理。
5.根据权利要求1所述的图像处理装置，其特征在于，
所述提取单元根据以下方法中的至少一种，在所述预处理后的三维图像中提取有效区域：基于图像连通性、腐蚀、膨胀以及边缘分割。
6.根据权利要求1所述的图像处理装置，其特征在于，所述图像处理装置还包括：
测量单元，其测量所述第一筛选单元保留的所述目标图像区域的特征指标。
7.根据权利要求6所述的图像处理装置，其特征在于，所述测量单元包括：
第二筛选单元，其使用目标物的轮廓去除所述保留的所述目标图像区域中的非目标物区域，得到目标物轮廓区域；
第一计算单元，其计算所述目标物轮廓区域内的所有像素的第一参数的总和以及所述目标物轮廓区域内的像素点个数；以及
第二计算单元，其根据所述第一参数的总和以及所述像素点个数，计算所述特征指标。
8.根据权利要求1-7中的任一项所述的图像处理装置，其特征在于，
所述待处理的三维图像由在深度上分布的多个二维图像构成。
9.根据权利要求8所述的图像处理装置，其特征在于，
所述多个二维图像是断层扫描得到的图像。
10.一种电子设备，其特征在于，所述电子设备包括根据权利要求1-9中的任一项所述的图像处理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010558639.7A CN111784646A (zh) | 2020-06-18 | 2020-06-18 | 图像处理装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010558639.7A CN111784646A (zh) | 2020-06-18 | 2020-06-18 | 图像处理装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111784646A true CN111784646A (zh) | 2020-10-16 |
Family
ID=72756747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010558639.7A Pending CN111784646A (zh) | 2020-06-18 | 2020-06-18 | 图像处理装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784646A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112581357A (zh) * | 2020-12-16 | 2021-03-30 | 珠海格力电器股份有限公司 | 人脸数据的处理方法、装置、电子设备和存储介质 |
| CN112750110A (zh) * | 2021-01-13 | 2021-05-04 | 大连理工大学 | 基于神经网络对肺部病灶区进行评估的评估系统和相关产品 |
| CN112767340A (zh) * | 2021-01-13 | 2021-05-07 | 大连理工大学 | 基于神经网络模型对病灶区进行评估的设备和相关产品 |
| CN112785562A (zh) * | 2021-01-13 | 2021-05-11 | 北京智拓视界科技有限责任公司 | 一种基于神经网络模型进行评估的系统和相关产品 |
| CN112884706A (zh) * | 2021-01-13 | 2021-06-01 | 北京智拓视界科技有限责任公司 | 一种基于神经网络模型的图像评估系统和相关产品 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109003260A (zh) * | 2018-06-28 | 2018-12-14 | 深圳视见医疗科技有限公司 | Ct图像肺结节检测方法、装置、设备及可读存储介质 |
| CN110710986A (zh) * | 2019-10-25 | 2020-01-21 | 华院数据技术(上海)有限公司 | 一种基于ct图像的脑部动静脉畸形检测方法及检测系统 |
-
2020
- 2020-06-18 CN CN202010558639.7A patent/CN111784646A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109003260A (zh) * | 2018-06-28 | 2018-12-14 | 深圳视见医疗科技有限公司 | Ct图像肺结节检测方法、装置、设备及可读存储介质 |
| CN110710986A (zh) * | 2019-10-25 | 2020-01-21 | 华院数据技术(上海)有限公司 | 一种基于ct图像的脑部动静脉畸形检测方法及检测系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112581357A (zh) * | 2020-12-16 | 2021-03-30 | 珠海格力电器股份有限公司 | 人脸数据的处理方法、装置、电子设备和存储介质 |
| CN112750110A (zh) * | 2021-01-13 | 2021-05-04 | 大连理工大学 | 基于神经网络对肺部病灶区进行评估的评估系统和相关产品 |
| CN112767340A (zh) * | 2021-01-13 | 2021-05-07 | 大连理工大学 | 基于神经网络模型对病灶区进行评估的设备和相关产品 |
| CN112785562A (zh) * | 2021-01-13 | 2021-05-11 | 北京智拓视界科技有限责任公司 | 一种基于神经网络模型进行评估的系统和相关产品 |
| CN112884706A (zh) * | 2021-01-13 | 2021-06-01 | 北京智拓视界科技有限责任公司 | 一种基于神经网络模型的图像评估系统和相关产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784646A (zh) | 图像处理装置及电子设备 | |
| CN108010021B (zh) | 一种医学图像处理系统和方法 | |
| US11562491B2 (en) | Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network | |
| US9633108B2 (en) | Method and system for anomaly detection in data sets | |
| CN108133476B (zh) | 一种肺结节自动检测方法及系统 | |
| Zhang et al. | Intelligent scanning: Automated standard plane selection and biometric measurement of early gestational sac in routine ultrasound examination | |
| JP5200101B2 (ja) | Ｃｔ画像データにおける出血性脳卒中の検出 | |
| KR20230059799A (ko) | 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델 | |
| Chang et al. | Graph-based learning for segmentation of 3D ultrasound images | |
| CN112529918B (zh) | 一种脑部ct图像中脑室区域分割的方法、装置及设备 | |
| US8306354B2 (en) | Image processing apparatus, method, and program | |
| CN117635519A (zh) | 基于ct图像的病灶检测方法、装置及计算机可读存储介质 | |
| KR101590483B1 (ko) | 형태학적 연산을 이용한 이미지 분할 처리방법 | |
| CN116862930B (zh) | 适用于多模态的脑血管分割方法、装置、设备和存储介质 | |
| CN111723836A (zh) | 图像相似度的计算方法及装置、电子设备、存储介质 | |
| CN110533667B (zh) | 基于图像金字塔融合的肺部肿瘤ct影像3d分割方法 | |
| CN109767468B (zh) | 脏器体积检测方法及装置 | |
| CN113408595B (zh) | 病理图像处理的方法、装置、电子设备及可读存储介质 | |
| US20220405916A1 (en) | Method for detecting the presence of pneumonia area in medical images of patients, detecting system, and electronic device employing method | |
| CN114757953A (zh) | 医学超声图像识别方法、设备及存储介质 | |
| CN112634280B (zh) | 基于能量泛函的mri图像脑肿瘤分割方法 | |
| CN114742763A (zh) | 骨骼图像的识别优化方法、系统、存储介质及电子设备 | |
| CN114565588A (zh) | 一种肝脏图像表面特征量化方法、装置、电子设备 | |
| KR101494975B1 (ko) | 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템 및 그 검출 방법 | |
| Nagori et al. | Methods and algorithms for extracting values from MRS graph for brain tumour detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |