CN111598896A - 图像检测方法、装置、设备及存储介质 - Google Patents
图像检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111598896A CN111598896A CN202010352290.1A CN202010352290A CN111598896A CN 111598896 A CN111598896 A CN 111598896A CN 202010352290 A CN202010352290 A CN 202010352290A CN 111598896 A CN111598896 A CN 111598896A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional slice
- target object
- slice images
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 408
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims description 114
- 238000007499 fusion processing Methods 0.000 claims description 41
- 238000005520 cutting process Methods 0.000 claims description 33
- 230000004927 fusion Effects 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 abstract description 17
- 206010028980 Neoplasm Diseases 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 22
- 238000002591 computed tomography Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 13
- 206010064571 Gene mutation Diseases 0.000 description 12
- 241000282414 Homo sapiens Species 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 206010056342 Pulmonary mass Diseases 0.000 description 6
- 210000001165 lymph node Anatomy 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 210000004881 tumor cell Anatomy 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000035755 proliferation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 102000009465 Growth Factor Receptors Human genes 0.000 description 1
- 108010009202 Growth Factor Receptors Proteins 0.000 description 1
- 108090000412 Protein-Tyrosine Kinases Proteins 0.000 description 1
- 102000004022 Protein-Tyrosine Kinases Human genes 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 102000027257 transmembrane receptors Human genes 0.000 description 1
- 108091008578 transmembrane receptors Proteins 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像检测方法、装置、设备及存储介质,属于计算机技术领域。该方法包括:获取目标物体的三维图像,按照多个角度分别对三维图像进行截取,将截取得到的多个图像作为目标物体的二维切片图像,分别对目标物体的多个二维切片图像进行检测处理,得到多个二维切片图像的检测结果,对多个二维切片图像的检测结果进行融合处理,得到目标物体的检测结果。该方法获取目标物体的多个角度的二维切片图像,每个角度的二维切片图像包括不同的图像信息,在检测过程中,考虑了多个角度的二维切片图像的图像信息,增加了信息量,提高了目标物体的检测结果的准确率。
Description
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种图像检测方法、装置、设备及存储介质。
背景技术
随着计算机技术和图像检测技术的发展,多个领域均可应用图像检测技术实现图像的自动检测,例如在医疗领域中可以根据某一身体部位的CT(Computed Tomography,电子计算机断层扫描)图像,对CT图像进行检测处理,根据检测结果确定该身体部位的状态。
目前的图像检测技术通常是对目标物体的一个图像进行检测处理,得到目标物体的检测结果,由于在检测过程中仅考虑了一个图像的图像信息,信息量较少,导致检测结果的准确率较低。
发明内容
本申请实施例提供了一种图像检测方法、装置、设备及存储介质,提高了检测结果的准确率。所述技术方案如下:
一方面,提供了一种图像检测方法,所述方法包括:
获取目标物体的三维图像;
按照多个角度分别对所述三维图像进行截取,将截取得到的多个图像作为所述目标物体的二维切片图像,所述二维切片图像中所述目标物体的显示角度与截取得到所述二维切片图像时的截取角度匹配;
分别对所述目标物体的多个二维切片图像进行检测处理,得到所述多个二维切片图像的检测结果;
对所述多个二维切片图像的检测结果进行融合处理,得到所述目标物体的检测结果,所述目标物体的检测结果用于表示所述目标物体的状态。
另一方面,提供了一种图像检测装置,所述装置包括:
三维图像获取模块,用于获取目标物体的三维图像;
第一切片图像获取模块,用于按照多个角度分别对所述三维图像进行截取,将截取得到的多个图像作为所述目标物体的二维切片图像,所述二维切片图像中所述目标物体的显示角度与截取得到所述二维切片图像时的截取角度匹配;
图像检测模块,用于分别对所述目标物体的多个二维切片图像进行检测处理,得到所述多个二维切片图像的检测结果;
结果融合模块,用于对所述多个二维切片图像的检测结果进行融合处理,得到所述目标物体的检测结果,所述目标物体的检测结果用于表示所述目标物体的状态。
在一种可能实现方式中,所述三维图像获取模块,还用于:
获取所述目标物体的多个横断面切片图像,根据所述多个横断面切片图像进行重构处理,得到所述目标物体的三维图像,所述多个横断面切片图像为所述目标物体在同一水平方向的不同厚度处的切片图像。
在另一种可能实现方式中,所述装置还包括:
第二切片图像获取模块,用于按照多个尺寸分别对任一个二维切片图像进行切割处理,将切割处理后得到的二维切片图像也作为所述目标物体的二维切片图像。
在另一种可能实现方式中,所述装置还包括:
尺寸确定模块,用于按照所述目标物体的目标尺寸,确定所述多个尺寸,所述多个尺寸中包括所述目标尺寸、小于所述目标尺寸的尺寸或大于所述目标尺寸的尺寸中的至少一种。
在另一种可能实现方式中,所述装置还包括:
图像增强模块,用于分别对所述目标物体的多个二维切片图像进行图像增强处理,将增强处理后得到的多个二维切片图像作为所述目标物体的二维切片图像。
在另一种可能实现方式中,所述结果融合模块,包括:
第一融合单元,用于分别对属于同一个角度的所述多个尺寸的二维切片图像的检测结果进行融合处理,得到所述多个角度对应的检测结果;
第二融合单元,用于对所述多个角度对应的检测结果进行融合处理,得到所述目标物体的检测结果。
在另一种可能实现方式中,所述结果融合模块,包括:
第三融合单元,用于分别对属于同一个尺寸的所述多个角度的二维切片图像的检测结果进行融合处理,得到所述多个尺寸对应的检测结果;
第四融合单元,用于对所述多个尺寸对应的检测结果进行融合处理,得到所述目标物体的检测结果。
在另一种可能实现方式中,所述检测结果为概率,所述概率用于指示所述目标物体属于目标状态的概率,所述结果融合模块,还用于:
对所述多个二维切片图像的概率进行加权求和处理,得到所述目标物体属于所述目标状态的概率;或者,
对所述多个二维切片图像的概率进行加权平均处理,得到所述目标物体属于所述目标状态的概率。
在另一种可能实现方式中,所述图像检测模块,还用于:
调用图像检测模型,分别对所述多个二维切片图像进行检测处理,得到所述多个二维切片图像的检测结果。
在另一种可能实现方式中,所述装置还包括:
第一样本获取模块,用于获取样本物体的多个样本二维切片图像及所述样本物体的样本检测结果,所述多个样本二维切片图像包括多个角度的样本物体;
第一训练模块,用于根据所述多个样本二维切片图像及所述样本检测结果,训练所述图像检测模型。
在另一种可能实现方式中,所述图像检测模块,还用于:
调用任一尺寸对应的图像检测模型,对属于所述尺寸的二维切片图像进行检测处理,得到所述尺寸的二维切片图像的检测结果。
在另一种可能实现方式中,所述装置还包括:
第二样本获取模块,用于获取样本物体的多个样本二维切片图像及所述样本物体的样本检测结果,所述多个样本二维切片图像的尺寸均属于所述尺寸;
第二训练模块,用于根据所述多个样本二维切片图像及所述样本检测结果,训练所述尺寸对应的图像检测模型。
在另一种可能实现方式中,图像检测模型包括角度划分层、检测层及融合层,所述角度划分层用于按照所述多个角度分别对所述三维图像进行截取,将截取得到的多个图像作为所述目标物体的二维切片图像;
所述检测层用于分别对所述目标物体的多个二维切片图像进行检测处理,得到所述多个二维切片图像的检测结果;
所述融合层用于对所述多个二维切片图像的检测结果进行融合处理,得到所述目标物体的检测结果。
在另一种可能实现方式中,所述图像检测模型还包括尺寸划分层,所述尺寸划分层用于按照多个尺寸分别对任一个二维切片图像进行切割处理,将切割处理后得到的二维切片图像也作为所述目标物体的二维切片图像;
所述检测层包括所述多个尺寸对应的检测单元,每个尺寸对应的检测单元用于对属于所述尺寸的二维切片图像进行检测处理,得到所述尺寸的二维切片图像的检测结果。
在另一种可能实现方式中,所述装置还包括:
第三样本获取模块,用于获取样本物体的样本三维图像及所述样本物体的样本检测结果;
第三训练模块,用于根据所述样本三维图像及所述样本检测结果,训练所述图像检测模型。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如所述图像检测方法中所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如所述图像检测方法中所执行的操作。
本申请实施例提供的方法、装置、设备及存储介质,获取目标物体的三维图像,按照多个角度分别对三维图像进行截取,将截取得到的多个图像作为目标物体的二维切片图像,分别对目标物体的多个二维切片图像进行检测处理,得到多个二维切片图像的检测结果,对多个二维切片图像的检测结果进行融合处理,得到目标物体的检测结果。该方法获取目标物体的多个角度的二维切片图像,每个角度的二维切片图像包括不同的图像信息,在检测过程中,考虑了多个角度的二维切片图像的图像信息,增加了信息量,提高了目标物体的检测结果的准确率。
并且,按照多个尺寸分别对任一个二维切片图像进行切割处理,将切割处理后得到的二维切片图像也作为目标物体的二维切片图像,对每个角度的二维切片图像进行切割,得到多个尺寸的二维切片图像,进一步增加了信息量,提高了目标物体的检测结果的准确率。
并且,本申请实施例中,不同尺寸的二维切片图像中包括的图像信息的侧重点不同,根据多个尺寸的二维切片图像考虑目标物体在不同侧重点的图像信息,考虑的图像信息更加全面,进一步提高了目标物体的检测结果的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像检测方法的流程图;
图2是本申请实施例提供的一种横断面切片图像的示意图;
图3是本申请实施例提供的一种二维切片图像的示意图;
图4是本申请实施例提供的另一种图像检测方法的流程图;
图5是本申请实施例提供的一种图像检测模型的示意图;
图6是本申请实施例提供的一种检测单元内部结构的示意图;
图7是本申请实施例提供的一种瓶颈层内部结构的示意图;
图8是本申请实施例提供的另一种图像检测方法的流程图;
图9是本申请实施例提供的一种图像检测装置的结构示意图;
图10是本申请实施例提供的另一种图像检测装置的结构示意图;
图11是本申请实施例提供的一种终端的结构示意图;
图12是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解,本申请所使用的术语“每个”、“多个”、“任一”等,多个包括两个或两个以上,每个是指对应的多个中的每一个,任一是指对应的多个中的任意一个。举例来说,多个二维切片图像包括5个二维切片图像,而每个二维切片图像是指这5个二维切片图像中的每一个二维切片图像,任一二维切片图像是指这5个二维切片图像中的任意一个二维切片图像。
为了便于理解本申请实施例提供的图像检测方法,对本申请实施例涉及到的关键词进行解释:
EGFR(Epidermal Growth Factor Receptor,上皮生长因子受体):EGFR是一种跨膜受体络氨酸激酶,对于肿瘤细胞的生长、增殖等相关信号的传递中具有重要作用,亚裔癌症患者中EGFR突变率约有50%。对于癌症患者,确定EGFR是否发生了基因突变是非常重要的。
多尺度卷积神经网络:卷积神经网络是一种深度模型,与普通神经网络类似,由具有可学习的权重和偏置常量的神经元组成,通过局部连接和全局共享两种方式显著降低网络的复杂度。多尺度神经网络包含多个输入尺寸大小不同的卷积神经网络以提取不同层次的信息,最后将多个网络的输出结果融合得到最终的输出结果。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习、深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
本申请实施例提供的图像检测方法涉及人工智能的人工智能技术、计算机视觉技术等技术,通过下述实施例对图像检测方法进行说明。
本申请实施例提供了一种图像检测方法,执行主体为计算机设备。该计算机设备获取目标物体的三维图像,按照多个角度分别对三维图像进行截取,将截取得到的多个图像作为目标物体的二维切片图像,分别对目标物体的多个二维切片图像进行检测处理,得到多个二维切片图像的检测结果,对多个二维切片图像的检测结果进行融合处理,得到目标物体的检测结果。
在一种可能实现方式中,该计算机设备为终端,终端可以为便携式、袖珍式、手持式等多种类型的终端,如智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等。
在另一种可能实现方式中,该计算机设备为服务器,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
另外,终端和服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
图1是本申请实施例提供的一种图像检测方法的流程图。本申请实施例的执行主体为计算机设备,参见图1,该方法包括:
101、计算机设备获取目标物体的三维图像。
本申请实施例中,计算机设备获取物体的三维图像,根据获取的三维图像进行检测处理,得到物体的检测结果。本申请实施例仅是以目标物体为例进行说明。其中,目标物体是指待检测的物体,应用场景不同,目标物体可以为不同的物体,例如,在医学场景下,目标物体可以为人体中的器官、细胞等。
目标物体的三维图像可以为计算机设备存储的,或者是由其他设备发送给计算机设备的,或者可以是计算机设备根据目标物体的二维图像生成的。
在一种可能实现方式中,计算机设备获取目标物体的多个横断面切片图像,根据多个横断面切片图像进行重构处理,得到目标物体的三维图像。其中,横断面切片图像为二维图像,多个横断面切片图像为目标物体在同一水平方向的不同厚度处的切片图像。
可选地,由CT机或者其他设备对目标物体进行拍摄,得到目标物体的多个横断面切片图像。
例如,参见图2,目标物体的三维图像为正方体201,根据目标物体的三维图像创建坐标系,确定x轴、y轴和z轴,正方体201的中心为空间坐标系的原点,横断面切片图像202位于由x轴和y轴构成的平面中。
由于难以直接获取目标物体的三维图像,根据多个二维图像进行重构处理,可以得到目标物体的三维图像,得到的三维图像可以反映目标物体的各个角度,与二维图像相比较,三维图像包含更多的目标物体的信息。
本申请实施例仅是以根据多个横断面切片图像进行重构处理得到三维图像为例进行说明,在另一实施例中可以采用其他角度的切片图像获取目标物体的三维图像,或者直接接收其他设备发送的三维图像,本申请实施例对三维图像的获取方式不做限制。
102、计算机设备按照多个角度分别对三维图像进行截取,将截取得到的多个图像作为目标物体的二维切片图像。
本申请实施例中,由于仅从一个角度对目标物体进行截取得到的图像,仅能够反映该角度的目标物体,包含的信息量较少。
例如,基于上述图2所示的横断面切片图像202,该横断面切片图像202只包括三维图像中的各个体素在x轴方向和y轴方向之间的关联关系,而无法表示z轴方向的图像信息,丢失了体素的空间关联信息。
因此从多个角度分别对目标物体的三维图像进行截取得到多个图像,作为目标物体的二维切片图像,其中,截取得到的多个二维切片图像中可以包括上述步骤101中的横断面切片图像和其他角度的二维切片图像。该多个图像分别反映不同角度的目标物体,每个图像中包括该图像对应的角度的目标物体的信息,多个角度的图像包括的目标物体的信息更加全面,增大了信息量。
其中,二维切片图像中目标物体的显示角度与截取得到目标切片图像时的截取角度匹配。显示角度是二维切片图像中显示出的目标物体的角度,截取角度是指对三维图像进行截取时的角度。例如,二维切片图像中显示出的是目标物体的正面的图像,截取角度为沿垂直面进行截取,结合上述图2所示的正方体201,可以沿x轴和z轴构成的平面进行截取。
在一种可能实现方式中,可以对目标物体的三维图像进行旋转,将三维图像旋转至某一角度,目标物体的姿态在该角度固定,按照多个角度对旋转至某一角度的三维图像进行截取,将截取得到的多个图像作为目标物体的二维切片图像;之后可以继续对三维图像进行旋转,将三维图像旋转至另一角度,目标物体的姿态在该角度固定,按照多个角度对旋转至另一角度的三维图像进行截取,将截取得到的多个图像作为目标物体的二维切片图像;之后还可以继续进行旋转,直至不需要再获取目标物体的二维切片图像。
计算机设备按照多个角度对三维图像进行截取时,同一个截取角度下,对于旋转的角度不同的多个三维图像,可以截取到显示角度不同的多个二维切片图像。
例如,当前目标物体的三维图像显示的是目标物体的正面,确定截取的角度为水平面,可以按照水平面对三维图像进行截取,也可以将三维图像旋转任意角度,按照x轴和y轴构成的水平面对旋转之后的三维图像进行截取,则旋转之后截取的图像与旋转之前截取的图像不同。
另外,计算机设备按照多个角度对三维图像进行截取,每个角度可以截取一个或多个图像,按照多个角度截取的图像的尺寸可以相同,也可以不同,本申请实施例对每个角度截取的图像的数量及图像的尺寸不做限制。
例如,参见图3,对于目标物体的三维图像300,根据该三维图像300创建坐标系,确定x轴、y轴和z轴,从不同的角度对该三维图像300进行截取,得到多个不同的二维切片图像,得到二维切片图像301、二维切片图像302、二维切片图像303和二维切片图像304。其中,二维切片图像301与上述图2中的横断面切片图像的角度相同,二维切片图像302、二维切片图像303和二维切片图像304包括x轴、y轴和z轴三个方向上的图像信息,包括的图像信息更加全面。
在一种可能实现方式中,计算机设备将截取得到的多个图像作为目标物体的二维切片图像之后,计算机设备还可以分别对目标物体的多个二维切片图像进行图像增强处理,将增强处理后得到的多个二维切片图像作为目标物体的二维切片图像。其中,可以采用多种图像增强方式对二维切片图像进行图像增强处理。
可选地,图像增强方式包括随机平移、随机旋转、图像镜像或其他方式。例如,对于随机平移,根据二维切片图像创建坐标系,确定x轴和y轴,可以将该二维切片图像中的每个像素点沿x轴方向和y轴方向平移0到15个像素点,或者仅沿x轴方向平移0到15个像素点,或者仅沿y轴方向0到15个像素点。
对二维切片图像进行图像增强处理,对增强处理后的二维切片图像进行检测时,可以防止过拟合现象,使得到的检测结果更加准确。
另外,计算机设备得到增强处理后的多个二维切片图像后,后续对二维切片图像进行检测处理时,仅对增强处理后的多个二维切片图像进行检测处理,不再对增强处理前的多个二维切片图像进行检测处理;或者对增强处理后的多个二维切片图像和增强处理前的多个二维切片图像均进行检测处理。
本申请实施例中,对二维切片图像进行图像增强处理时,可以采用一种或多种图像增强方式,本申请实施例对此不做限制。
103、计算机设备分别对目标物体的多个二维切片图像进行检测处理,得到多个二维切片图像的检测结果。
本申请实施例中,由于对目标物体的一个二维切片图像进行检测处理,得到的检测结果不够准确,因此,分别对目标物体的多个二维切片图像进行检测处理,根据多个二维切片图像的检测结果,确定目标物体的检测结果,使目标物体的检测结果更加准确。
其中,检测结果用于表示目标物体的状态,目标物体的多个二维切片图像的检测结果可以相同,也可以不同。
104、计算机设备对多个二维切片图像的检测结果进行融合处理,得到目标物体的检测结果。
本申请实施例中,对多个二维切片图像的检测结果进行融合处理,将融合处理后得到的检测结果作为目标物体的检测结果,避免了一个二维切片图像的偶然性,使得到的目标物体的检测结果更加准确,提高检测结果的准确率。
在一种可能实现方式中,检测结果为概率,概率用于指示目标物体属于目标状态的概率,概率越大表示目标物体属于目标状态的可能性越大。其中,检测结果的取值范围为0到1。
可选地,设置预设概率,当得到的目标物体的概率大于预设概率时,表示目标物体属于目标状态,当得到的目标物体的概率不大于预设概率时,表示目标物体不属于目标状态。如果需要检测结果的准确率很高,则可以设置较大的预设概率,如果不需要检测结果的准确率很高,则可以设置较小的预设概率,更加灵活。
可选地,计算机设备对多个二维切片图像的概率进行加权求和处理,得到目标物体属于目标状态的概率。
例如,有三个二维切片图像,这三个二维切片图像的检测结果分别为Ms、Mm和Ml,每个二维切片图像的权重分别为Ws、Wm和Wl,可以采用下述公式确定目标物体的概率M:
M=MsWs+MmWm+MlWl。
可选地,计算机设备对多个二维切片图像的概率进行加权平均处理,得到目标物体属于目标状态的概率。
在另一种可能实现方式中,检测结果可以为第一数值或第二数值,当检测结果为第一数值时表示目标物体属于目标状态,当检测结果为第二数值时表示目标物体不属于目标状态。
另外,在一种可能实现方式中,计算机设备采用上述步骤101-步骤104得到目标物体的检测结果之后,再次执行步骤102-步骤104,对三维图像进行截取时,按照其他的多个角度进行截取,以使再次截取到的目标物体的二维切片图像与之前的检测过程中的二维切片图像不同,根据重新截取到的二维切片图像获取目标物体的检测结果;或者获取目标物体的新的三维图像,再次执行步骤101-步骤104获取目标物体的检测结果。对获取的多个目标物体的检测结果进行融合,最终确定目标物体的检测结果,对目标物体进行多次检测,增加了检测结果的鲁棒性,进一步提高了目标物体的检测结果的准确率。
例如,检测结果为概率时,重复执行10次上述步骤101-步骤104,得到目标物体的10个概率,求取这10个概率的平均值,得到目标物体的概率。平均值求取过程如下述公式所示:
其中,p为目标物体的概率,i表示重复执行的次数,i为正整数,pi表示第i次执行图像检测过程时的目标物体的概率。
本申请实施例提供的方法,获取目标物体的三维图像,按照多个角度分别对三维图像进行截取,将截取得到的多个图像作为目标物体的二维切片图像,分别对目标物体的多个二维切片图像进行检测处理,得到多个二维切片图像的检测结果,对多个二维切片图像的检测结果进行融合处理,得到目标物体的检测结果。该方法获取目标物体的多个角度的二维切片图像,每个角度的二维切片图像包括不同的图像信息,在检测过程中,考虑了多个角度的二维切片图像的图像信息,增加了信息量,提高了目标物体的检测结果的准确率。
并且,本申请实施例中,由于难以直接获取目标物体的三维图像,根据多个二维图像进行重构处理,可以得到目标物体的三维图像,得到的三维图像可以反映目标物体的各个角度,与二维图像相比较,三维图像包含更多的目标物体的信息。
并且,从多个角度分别对目标物体的三维图像进行截取得到多个图像,该多个图像分别反映不同角度的目标物体,每个图像中包括该图像对应的角度的目标物体的信息,多个角度的图像包括的目标物体的信息更加全面,增大了信息量。
并且,本申请实施例中,对二维切片图像进行图像增强处理,对增强处理后的二维切片图像进行检测时,可以防止过拟合现象,使得到的检测结果更加准确。
图4是本申请实施例提供的另一种图像检测方法的流程图。本申请实施例的执行主体为计算机设备,参见图4,该方法包括:
401、计算机设备获取目标物体的三维图像。
402、计算机设备按照多个角度分别对三维图像进行截取,将截取得到的多个图像作为目标物体的二维切片图像。
本申请实施例中的步骤401-步骤402的实施方式与上述图1所示的实施例中的步骤101-步骤102的实施方式类似,在此不再赘述。
403、计算机设备按照多个尺寸分别对任一个二维切片图像进行切割处理,将切割处理后得到的二维切片图像也作为目标物体的二维切片图像。
本申请实施例中,计算机设备可以对截取得到的多个图像进行切割处理,将任一个二维切片图像切割为多个尺寸的图像,将截取的二维切片图像和切割处理后得到的二维切片图像均作为目标物体的二维切片图像。
在一种可能实现方式中,计算机设备按照目标物体的目标尺寸,确定多个尺寸,多个尺寸中包括目标尺寸、小于目标尺寸的尺寸或大于目标尺寸的尺寸中的至少一种。
不同尺寸的图像可以反映出目标物体的不同的信息,当二维切片图像的尺寸小于目标尺寸时,该二维切片图像包括目标物体中的某一部分,可以反映该部分的局部图像信息;当二维切片图像的尺寸为目标尺寸时,该二维切片图像中包括完整的目标图像,可以反映目标物体的整体图像信息;当二维切片图像的尺寸大于目标尺寸时,该二维切片图像包括目标物体及目标物体周围的部分区域,可以反映目标物体的周围环境信息。不同尺寸的二维切片图像,从不同的方面反映目标物体的信息,使获取的关于目标物体的信息更加全面,使后续处理过程中,可以根据更多的目标物体的信息,得到目标物体的检测结果,进一步提高检测结果的准确率。
另外,可以根据实际需要,设置该多个尺寸;对于截取得到的目标物体的多个二维切片图像,可以对该多个二维切片图像中任意数量的图像进行切割处理,本申请实施例对此不做限制。
在一种可能实现方式中,计算机设备将切割处理后的二维切片图像作为目标物体的二维切片图像之后,计算机设备分别对目标物体的多个二维切片图像进行图像增强处理,将增强处理后得到的多个二维切片图像作为目标物体的二维切片图像。
另外,计算机设备得到增强处理后的多个二维切片图像后,后续对二维切片图像进行检测处理时,仅对增强处理后的多个二维切片图像进行检测处理,不再对增强处理前的多个二维切片图像进行检测处理;或者对增强处理后的多个二维切片图像和增强处理前的多个二维切片图像均进行检测处理。
本申请实施例中,图像增强处理的实施方式与上述步骤103中的图像增强处理的实施方式类似,在此不再赘述。
404、计算机设备调用图像检测模型,分别对多个二维切片图像进行检测处理,得到多个二维切片图像的检测结果。
其中,该图像检测模型可以对任意尺寸的二维切片图像进行处理。
在一种可能实现方式中,计算机设备获取到目标物体的多个二维切片图像后,将该多个二维切片图像输入至图像检测模型中,该图像检测模型对多个二维切片图像进行检测处理,得到多个二维切片图像的检测结果。
在另一种可能实现方式中,计算机设备获取到目标物体的多个二维切片图像后,将一个二维切片图像输入至图像检测模型中,该图像检测模型对这一个二维切片图像进行检测处理,得到这一个二维切片图像的检测结果,然后将下一个二维切片图像再输入至图像检测模型中,获取下一个二维切片图像的检测结果,将剩余的二维切片图像依次输入至图像检测模型,得到每个二维切片图像的检测结果。
在一种可能实现方式中,在调用图像检测模型之前,需要对图像检测模型进行训练,该图像检测模型可以是由计算机设备进行训练的,也可以是由其他设备训练之后发送给计算机设备的。
计算机设备获取样本物体的多个样本二维切片图像及样本物体的样本检测结果,根据多个样本二维切片图像及样本检测结果,训练图像检测模型。其中,多个样本二维切片图像包括多个角度的样本物体,对样本二维切片图像的尺寸不做限制,则训练出的图像检测模型可以对任意尺寸的二维切片图像进行检测。
可选地,计算机设备获取到样本物体的多个样本二维切片图像之后,对样本二维切片图像进行图像增强处理,采用增强处理后的样本二维切片图像训练图像检测模型。由于可以采用不同的增强处理方式,一个样本二维切片图像可以得到多个不同的增强处理后的样本二维切片图像,增加数据量,提高了训练出的图像检测模型的准确率。
例如,计算机设备将获取的样本物体的多个样本二维切片图像输入至图像检测模型,通过该图像检测模型,分别得到多个样本二维切片图像的预测结果,比较多个样本二维切片图像的预测结果和样本检测结果,得到预测结果与样本检测结果之间的差异,根据预测结果与样本检测结果之间的差异调整图像检测模型的参数,以减小预测结果与样本检测结果之间的差异,使图像检测模型学习到根据物体的二维切片图像得到物体的检测结果的能力。
步骤404可以由以下步骤进行替换:计算机设备调用任一尺寸对应的图像检测模型,对属于该尺寸的二维切片图像进行检测处理,得到该尺寸的二维切片图像的检测结果。也就是说,一个图像检测模型用于处理一个尺寸的二维切片图像,得到该尺寸的二维切片图像的检测结果。
计算机设备获取到目标物体的多个二维切片图像,该多个二维切片图像中包括不同尺寸的二维切片图像,按照尺寸对多个二维切片图像进行划分,将属于同一尺寸的二维切片图像划分为一组。对于任一尺寸的一组二维切片图像,调用该尺寸对应的图像检测模型,对这一组二维切片图像进行检测处理,得到这一组二维切片图像中每个二维切片图像的检测结果。
可选地,对于任一尺寸对应的图像检测模型,计算机设备获取样本物体的多个样本二维切片图像及样本物体的样本检测结果,根据多个样本二维切片图像及样本检测结果,训练该任一尺寸对应的图像检测模型。其中,多个样本二维切片图像的尺寸均属于该任一尺寸。
可选地,计算机设备也可以对样本二维切片图像进行图像增强处理,采用增强处理后的样本二维切片图像训练图像检测模型。
例如,计算机设备将获取的样本物体的多个任一尺寸的样本二维切片图像输入至任一尺寸对应的图像检测模型,通过该任一尺寸对应的图像检测模型,分别得到多个任一尺寸的样本二维切片图像的预测结果,比较多个样本二维切片图像的预测结果和样本检测结果,得到预测结果与样本检测结果之间的差异,根据预测结果与样本检测结果之间的差异调整该任一尺寸对应的图像检测模型的参数,以减小预测结果与样本检测结果之间的差异,使该任一尺寸对应的图像检测模型学习到根据物体的该任一尺寸的二维切片图像得到物体的检测结果的能力。
由于不同尺寸的二维切片图像中包括的图像信息的侧重点不同,采用同一尺寸的样本二维切片图像训练图像检测模型,使训练出的图像检测模型能够更加准确地反映该尺寸的二维切片图像的图像信息,使用该图像检测模型对二维切片图像进行检测时,可以得到更加准确的检测结果,提高图像检测模型的准确率。
本申请实施例仅是以训练任一尺寸对应的图像检测模型为例进行说明,在另一实施例中分别训练多个尺寸对应的图像检测模型的实施方式,与上述训练任一尺寸对应的图像检测模型的实施方式类似,不同的是样本二维切片图像的尺寸不同,在此不再赘述。
另外,本申请实施例中的图像检测模型可以为卷积神经网络、残差卷积神经网络或者其他神经网络。
405、计算机设备对多个二维切片图像的检测结果进行融合处理,得到目标物体的检测结果。
本申请实施例中,将二维切片图像按角度进行划分,则目标物体的多个二维切片图像包括多个角度的二维切片图像,而同一个角度的二维切片图像又包括多个尺寸,或者将二维切片图像按尺寸进行划分,则目标物体的多个二维切片图像包括多个尺寸的二维切片图像,而同一个尺寸的二维切片图像又包括多个角度。那么根据划分标准的不同,可以采用不同的融合顺序对多个二维切片图像的检测结果进行融合处理。
在一种可能实现方式中,计算机设备采用先按尺寸融合再按角度融合的方式:分别对属于同一个角度的多个尺寸的二维切片图像的检测结果进行融合处理,得到多个角度对应的检测结果;对多个角度对应的检测结果进行融合处理,得到目标物体的检测结果。
在另一种可能实现方式中,计算机设备采用先按角度融合再按尺寸融合的方式:分别对属于同一个尺寸的多个角度的二维切片图像的检测结果进行融合处理,得到多个尺寸对应的检测结果;对多个尺寸对应的检测结果进行融合处理,得到目标物体的检测结果。
上述可能实现方式中,对属于同一角度的多个尺寸的多个二维切片图像的检测结果进行融合处理的实施方式、对多个角度对应的检测结果进行融合处理的实施方式、对属于同一尺寸的多个角度的二维切片图像的检测结果进行融合处理的实施方式,以及对多个尺寸对应的检测结果进行融合处理的实施方式与上述步骤104中对多个二维切片图像的检测结果进行融合处理的实施方式类似,在此不再赘述。
本申请实施例中,按照不同的划分标准,对多个二维切片图像的检测结果进行两次融合处理,首先对相同尺寸的二维切片图像的检测结果进行融合,再对多个角度对应的检测结果进行融合,或者首先对相同角度的二维切片图像的检测结果进行融合,再对多个尺寸对应的检测结果进行融合,使得到的检测结果更加准确。
另外,在一种可能实现方式中,可以采用图像检测模型实现上述步骤402-步骤405的操作,该图像检测模型包括角度划分层、尺寸划分层、检测层及融合层。其中,角度划分层用于按照多个角度分别对三维图像进行截取,将截取得到的多个图像作为目标物体的二维切片图像;尺寸划分层用于按照多个尺寸分别对任一个二维切片图像进行切割处理,将切割处理后得到的二维切片图像也作为目标物体的二维切片图像;检测层用于分别对目标物体的多个二维切片图像进行检测处理,得到多个二维切片图像的检测结果;融合层用于对多个二维切片图像的检测结果进行融合处理,得到目标物体的检测结果。
可选地,检测层包括多个尺寸对应的检测单元,每个尺寸对应的检测单元用于对属于对应尺寸的二维切片图像进行检测处理,得到对应尺寸的二维切片图像的检测结果。
可选地,该图像检测模型还包括图像增强层,图像增强层用于分别对目标物体的多个二维切片图像进行图像增强处理,将增强处理后得到的多个二维切片图像作为目标物体的二维切片图像。
例如,参见图5,将目标物体的三维图像输入至图像检测模型,通过角度划分层501,分别截取三维图像在多个角度的图像,对于截取的任一图像,通过尺寸划分层502,对该任一图像进行切割处理,得到三个尺寸的二维切片图像,这三个尺寸依次为51*51、101*101和151*151,通过图像增强层503,分别对这三个尺寸的二维切片图像进行增强处理,将增强处理之后的三个尺寸的二维切片图像,分别输入至检测层504中尺寸对应的检测单元进行检测,得到这三个尺寸的二维切片图像的检测结果,通过融合层505对这三个尺寸的二维切片图像的检测结果进行融合处理,得到目标物体的检测结果。
其中,检测单元内部结构的示意图参见图6,将增强处理后的图像输入至检测单元,第一个卷积(conv)层为1*1,且卷积步长(stride)为2,卷积核为16,第二个卷积层为5*5,且卷积步长为1,卷积核个数为64,第一个瓶颈(bottleneck)层和第二个瓶颈层的卷积核个数为64,卷积步长均为1,第三个瓶颈层的卷积核个数为64,卷积步长为2,第四个瓶颈层、第五个瓶颈层及第六个瓶颈层的卷积核个数均为128,卷积步长均为1,第七个瓶颈层的卷积核个数为128,卷积步长均为2,依次设置多个瓶颈层,使最后三个瓶颈层的卷积核个数为512,卷积步长为1,将最后一个瓶颈层的输出结果通过平均池化(Average Pool)层进行池化处理,将池化处理后的输出结果通过卷积核为2的全连接层(Fully Connected,FC)进行处理,输出(output)图像的检测结果。
其中,瓶颈层的内部结构示意图参见图7,通过批量标准化(BatchNormalization,BN)层对输入的图像进行标准化处理,通过激活函数(Relu)进行激活处理,输入至1*1的卷积层,该卷积层的卷积核个数为64;再通过批量标准化层、激活函数和3*3的卷积层进行处理,该卷积层的卷积核个数为64;然后再通过批量标准化层、激活函数和1*1的卷积层进行处理,该卷积层的卷积核个数为256,得到输出结果,对输出结果核输入的图像进行融合处理,得到该任一瓶颈层的输出结果。
在一种可能实现方式中,计算机设备获取样本物体的样本三维图像及样本物体的样本检测结果;根据样本三维图像及样本检测结果,训练图像检测模型。
例如,计算机设备将获取的样本物体的样本三维图像输入至图像检测模型,通过该图像检测模型,得到该样本物体的预测结果,比较该样本物体的预测结果和样本检测结果,得到预测结果与样本检测结果之间的差异,根据预测结果与样本检测结果之间的差异调整图像检测模型的参数,以减小预测结果与样本检测结果之间的差异,使图像检测模型学习到根据物体的三维图像得到物体的检测结果的能力。
本申请实施例提供的方法,获取目标物体的三维图像,按照多个角度分别对三维图像进行截取,将截取得到的多个图像作为目标物体的二维切片图像,按照多个尺寸分别对任一个二维切片图像进行切割处理,将切割处理后得到的二维切片图像也作为目标物体的二维切片图像,调用图像处理模型分别对目标物体的多个二维切片图像进行检测处理,得到多个二维切片图像的检测结果,对多个二维切片图像的检测结果进行融合处理,得到目标物体的检测结果。该方法获取目标物体的多个角度的二维切片图像,每个角度的二维切片图像包括不同的图像信息,在检测过程中,考虑了多个角度的二维切片图像的图像信息,增加了信息量,并且,对每个角度的二维切片图像进行切割,得到多个尺寸的二维切片图像,进一步增加了信息量,提高了目标物体的检测结果的准确率。
并且,本申请实施例中,不同尺寸的二维切片图像中包括的图像信息的侧重点不同,从不同的方面反映目标物体的信息,根据多个尺寸的二维切片图像考虑目标物体在不同侧重点的图像信息,考虑的图像信息更加全面,可以根据更多的目标物体的信息,得到目标物体的检测结果,进一步提高了目标物体的检测结果的准确率。
并且,本申请实施例中,在训练图像检测模型的过程中,对样本二维切片图像进行图像增强处理,采用增强处理后的样本二维切片图像训练图像检测模型。由于可以采用不同的增强处理方式,一个样本二维切片图像可以得到多个不同的增强处理后的样本二维切片图像,增加数据量,提高了训练出的图像检测模型的准确率。
并且,本申请实施例中,由于不同尺寸的二维切片图像中包括的图像信息的侧重点不同,采用同一尺寸的样本二维切片图像训练图像检测模型,使训练出的图像检测模型能够更加准确地反映该尺寸的二维切片图像的图像信息,使用该图像检测模型对该尺寸的二维切片图像进行检测时,可以得到更加准确的检测结果,提高图像检测模型的准确率。
图8是本申请实施例提供的另一种图像检测方法的流程图。本申请实施例的执行主体为计算机设备,参见图8,该方法包括:
801、计算机设备获取EGFR的CT图像。
在临床医学中,EGFR与肿瘤细胞的生长、增值之间存在关联关系,当EGFR存在基因突变时,表示有肿瘤细胞的产生,检测EGFR是否发生基因突变对肿瘤的判断具有重要作用。
本申请实施例中,以目标物体为EGFR,三维图像为CT图像为例,将图像检测方法应用于对EGFR进行状态检测的场景中,对EGFR的状态进行检测,得到EGFR的检测结果,将检测结果作为判断EGFR是否发生基因突变的一种依据。
在一种可能实现方式中,采用设备对人体进行扫描得到EGFR的多个二维横断面切片图像,根据EGFR的多个二维横断面切片图像进行重构处理,得到EGFR的CT图像。
例如,可以采用多层面重建法、最大密度投影法、表面阴影遮盖法等方法对EGFR的多个二维横断面切片图像进行重构处理,得到EGFR的CT图像。
由于临床医学中,只能够获取EGFR的横断面切片图像,该横断面切片图像为二维图像,丢失了EGFR在三维空间中的图像信息,通过重构处理得到的CT图像包括了EGFR在三维空间中的图像信息,使后续可以根据更多的图像信息得到EGFR的状态。
802、计算机设备按照多个角度分别对CT图像进行截取,将截取得到的多个图像作为EGFR的二维切片图像。
步骤802的实施方式与上述图1所示的实施例中步骤102的实施方式类似,在此不再赘述。
803、计算机设备按照多个尺寸分别对任一个二维切片图像进行切割处理,将切割处理后得到的二维切片图像也作为EGFR的二维切片图像。
本申请实施例中,EGFR位于肿瘤中,对EGFR进行检测即是对包括EGFR的肿瘤进行检测,因此,可以根据肿瘤的大小设置进行切割的尺寸。
在一种可能实现方式中,设置第一尺寸、第二尺寸和第三尺寸三个尺寸,按照这三个尺寸分别对二维切片图像进行切割处理。其中,第一尺寸的二维切片图像包括肿瘤中心区域,该第一尺寸的二维切片图像反映肿瘤内部与基因突变状态之间的关联关系;第二尺寸的二维切片图像包括完整的肿瘤区域,该第二尺寸的二维切片图像可以反映完整的肿瘤信息;第三尺寸的二维切片图像除包括完整的肿瘤区域之外,还包括肿瘤的周围区域,该第三尺寸的二维切片图像反映肿瘤周围的环境信息与基因突变状态之间的关联关系。
可选地,可以根据肿瘤区域的目标尺寸,该目标尺寸仅是完整肿瘤区域的尺寸,设置第一尺寸为目标尺寸的一半,设置第二尺寸为目标尺寸,设置第三尺寸为目标尺寸的两倍。
与相关技术中,采用任一尺寸的一个二维切片图像获取EGFR的状态相比,通过不同尺寸的二维切片图像,更加全面地获取关于肿瘤及肿瘤周围环境的信息,使得到的EGFR的状态更加准确。
另外,本申请实施例仅是以第一尺寸、第二尺寸和第三尺寸为例进行说明,在另一实施例中可以采用其他的尺寸,本申请实施例对此不做限制。
804、计算机设备对EGFR的多个二维切片图像进行图像增强处理,将增强处理后得到的二维切片图像作为EGFR的二维切片图像。
步骤804的实施方式与上述步骤102中图像增强处理的实施方式类似,在此不再赘述。
805、计算机设备对EGFR的多个二维切片图像进行检测处理,得到多个二维切片图像的检测结果。
806、计算机设备对多个二维切片图像的状态进行融合处理,得到EGFR的检测结果。
步骤805-步骤806的实施方式与上述图4所示的实施例中步骤404-步骤405的实施方式类似,在此不再赘述。与上述实施例中的实施方式不同的是,本申请实施例中,得到的检测结果用于指示EGFR的状态。
在一种可能实现方式中,采用概率表示EGFR的检测结果,概率越大表示EGFR发生基因突变的可能性越大,概率越小表示EGFR发生基因突变的可能性越小。
可选地,设置预设概率,当得到的概率大于预设概率时,表示EGFR发生基因突变,当得到的概率不大于预设概率时,表示EGFR没有发生基因突变。
相关技术中,可以采用病理检测(基因测序)的方式检测EGFR是否处于基因突变状态,但是采用病理检测时需要活体标本,而采集活体标本需要进行穿刺,需要耗费较长的时间,且如果患者的肿瘤位置较深,穿刺具有较大的风险,难以获取活体标本,并且病理检测是一种有创检测,对人体造成伤害。而本申请实施例,则是根据CT图像即可进行检测,不会对人体造成伤害,并且,不需要活体标本,耗费的时间较少,提高了检测的速度,且由于容易获取EGFR的CT图像,可以不断更新EGFR的CT图像,实现对EGFR的动态追踪检测。
需要说明的一点是,本申请实施例中仅是根据EGFR的CT图像得到EGFR的检测结果,得到的检测结果仅是一种判断EGFR是否发生基因突变的依据,还需要结合EGFR的其他相关信息,确定EGFR是否发生基因突变。另外,医生在对肿瘤进行诊断时,EGFR的状态也仅是辅助医生判断的一种依据,还需要结合其他与肿瘤相关的信息或病人的身体情况,来确定肿瘤的诊断结果。
需要说明的另一点是,本申请实施例仅是以将图像检测方法应用于EGFR检测场景下进行说明,在另一实施例中,图像检测方法还可以应用于其他场景下。
例如,将图像检测方法应用于肺结节检测场景下。在临床医学中,可以采用上述实施例提供的图像检测方法,对肺结节的CT图像进行检测,得到肺结节的检测结果,后续医生根据得到的肺结节的检测结果以及肺结节的其他相关信息,确定该肺结节的状态。
又例如,将图像检测方法应用于淋巴结转移检测场景下。淋巴结与肿瘤密切相关,通过检测淋巴结是否转移能够确定肿瘤是否转移,淋巴结转移检测对肿瘤状态的判断具有关键作用,可以采用上述实施例提供的图像检测方法,对淋巴结的CT图像进行检测,确定淋巴结的位置,判断淋巴结是否转移,对淋巴结转移进行预测,后续医生根据淋巴结的检测结果以及肿瘤的其他相关信息,确定肿瘤是否转移。
本申请实施例提供的方法,获取EGFR的CT图像,按照多个角度分别对CT图像进行截取,将截取得到的多个图像作为EGFR的二维切片图像,按照多个尺寸分别对任一二维切片图像进行切割处理,将切割处理后得到的二维切片图像也作为EGFR的二维切片图像,对EGFR的多个二维切片图像进行图像增强处理,将增强处理后得到的二维切片图像作为EGFR的二维切片图像,对EGFR的多个二维切片图像进行检测处理,得到多个二维切片图像的检测结果,对多个二维切片图像的状态进行融合处理,得到EGFR的检测结果。该方法获取EGFR的多个角度的二维切片图像,每个角度的二维切片图像包括不同的图像信息,在检测过程中,考虑了多个角度的二维切片图像的图像信息,增加了信息量,并且,对每个角度的二维切片图像进行切割,得到多个尺寸的二维切片图像,进一步增加了信息量,提高了得到的EGFR的检测结果的准确率。
图9是本申请实施例提供的一种图像检测装置的结构示意图。参见图9,该装置包括:
三维图像获取模块901,用于获取目标物体的三维图像;
第一切片图像获取模块902,用于按照多个角度分别对三维图像进行截取,将截取得到的多个图像作为目标物体的二维切片图像,二维切片图像中目标物体的显示角度与截取得到二维切片图像时的截取角度匹配;
图像检测模块903,用于分别对目标物体的多个二维切片图像进行检测处理,得到多个二维切片图像的检测结果;
结果融合模块904,用于对多个二维切片图像的检测结果进行融合处理,得到目标物体的检测结果,目标物体的检测结果用于表示目标物体的状态。
本申请实施例提供的装置,获取目标物体的三维图像,按照多个角度分别对三维图像进行截取,将截取得到的多个图像作为目标物体的二维切片图像,分别对目标物体的多个二维切片图像进行检测处理,得到多个二维切片图像的检测结果,对多个二维切片图像的检测结果进行融合处理,得到目标物体的检测结果。该装置获取目标物体的多个角度的二维切片图像,每个角度的二维切片图像包括不同的图像信息,在检测过程中,考虑了多个角度的二维切片图像的图像信息,增加了信息量,提高了目标物体的检测结果的准确率。
在一种可能实现方式中,三维图像获取模块901,还用于:
获取目标物体的多个横断面切片图像,根据多个横断面切片图像进行重构处理,得到目标物体的三维图像,多个横断面切片图像为目标物体在同一水平方向的不同厚度处的切片图像。
在另一种可能实现方式中,参见图10,该装置还包括:
第二切片图像获取模块905,用于按照多个尺寸分别对任一个二维切片图像进行切割处理,将切割处理后得到的二维切片图像也作为目标物体的二维切片图像。
在另一种可能实现方式中,参见图10,该装置还包括:
尺寸确定模块906,用于按照目标物体的目标尺寸,确定多个尺寸,多个尺寸中包括目标尺寸、小于目标尺寸的尺寸或大于目标尺寸的尺寸中的至少一种。
在另一种可能实现方式中,参见图10,该装置还包括:
图像增强模块907,用于分别对目标物体的多个二维切片图像进行图像增强处理,将增强处理后得到的多个二维切片图像作为目标物体的二维切片图像。
在另一种可能实现方式中,参见图10,结果融合模块904,包括:
第一融合单元9041,用于分别对属于同一个角度的多个尺寸的二维切片图像的检测结果进行融合处理,得到多个角度对应的检测结果;
第二融合单元9042,用于对多个角度对应的检测结果进行融合处理,得到目标物体的检测结果。
在另一种可能实现方式中,参见图10,结果融合模块904,包括:
第三融合单元9043,用于分别对属于同一个尺寸的多个角度的二维切片图像的检测结果进行融合处理,得到多个尺寸对应的检测结果;
第四融合单元9044,用于对多个尺寸对应的检测结果进行融合处理,得到目标物体的检测结果。
在另一种可能实现方式中,检测结果为概率,概率用于指示目标物体属于目标状态的概率,结果融合模块904,还用于:
对多个二维切片图像的概率进行加权求和处理,得到目标物体属于目标状态的概率;或者,
对多个二维切片图像的概率进行加权平均处理,得到目标物体属于目标状态的概率。
在另一种可能实现方式中,图像检测模块903,还用于:
调用图像检测模型,分别对多个二维切片图像进行检测处理,得到多个二维切片图像的检测结果。
在另一种可能实现方式中,参见图10,该装置还包括:
第一样本获取模块908,用于获取样本物体的多个样本二维切片图像及样本物体的样本检测结果,多个样本二维切片图像包括多个角度的样本物体;
第一训练模块909,用于根据多个样本二维切片图像及样本检测结果,训练图像检测模型。
在另一种可能实现方式中,图像检测模块903,还用于:
调用任一尺寸对应的图像检测模型,对属于尺寸的二维切片图像进行检测处理,得到尺寸的二维切片图像的检测结果。
在另一种可能实现方式中,参见图10,该装置还包括:
第二样本获取模块910,用于获取样本物体的多个样本二维切片图像及样本物体的样本检测结果,多个样本二维切片图像的尺寸均属于尺寸;
第二训练模块911,用于根据多个样本二维切片图像及样本检测结果,训练尺寸对应的图像检测模型。
在另一种可能实现方式中,图像检测模型包括角度划分层、检测层及融合层,角度划分层用于按照多个角度分别对三维图像进行截取,将截取得到的多个图像作为目标物体的二维切片图像;
检测层用于分别对目标物体的多个二维切片图像进行检测处理,得到多个二维切片图像的检测结果;
融合层用于对多个二维切片图像的检测结果进行融合处理,得到目标物体的检测结果。
在另一种可能实现方式中,图像检测模型还包括尺寸划分层,尺寸划分层用于按照多个尺寸分别对任一个二维切片图像进行切割处理,将切割处理后得到的二维切片图像也作为目标物体的二维切片图像;
检测层包括多个尺寸对应的检测单元,每个尺寸对应的检测单元用于对属于尺寸的二维切片图像进行检测处理,得到尺寸的二维切片图像的检测结果。
在另一种可能实现方式中,参见图10,该装置还包括:
第三样本获取模块912,用于获取样本物体的样本三维图像及样本物体的样本检测结果;
第三训练模块913,用于根据样本三维图像及样本检测结果,训练图像检测模型。
图11示出了本申请一个示例性实施例提供的终端1100的结构示意图。该终端1100用于执行上述实施例中的终端执行的步骤。
通常,终端1100包括有:处理器1101和存储器1102。
处理器1101可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1101可以在集成有GPU(Graphics Processing Unit,图像处理的交互器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1101还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1101所具有以实现本申请中方法实施例提供的图像检测方法。
在一些实施例中,终端1100还可选包括有:外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。具体地,外围设备包括:射频电路1104、触摸显示屏1105、摄像头1106、音频电路1107、定位组件1108和电源1109中的至少一种。
外围设备接口1103可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中,处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上;在一些其他实施例中,处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1104用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1104包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1104还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1105用于显示UI(UserInterface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时,显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时,显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1105可以为一个,设置终端1100的前面板;在另一些实施例中,显示屏1105可以为至少两个,分别设置在终端1100的不同表面或呈折叠设计;在再一些实施例中,显示屏1105可以是柔性显示屏,设置在终端1100的弯曲表面上或折叠面上。甚至,显示屏1105还可以设置成非矩形的不规则图形,也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1106用于采集图像或视频。可选地,摄像头组件1106包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端1100的前面板,后置摄像头设置在终端1100的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1101进行处理,或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1107还可以包括耳机插孔。
定位组件1108用于定位终端1100的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1108可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1109用于为终端1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于:加速度传感器1111、陀螺仪传感器1112、压力传感器1113、指纹传感器1114、光学传感器1115以及接近传感器1116。
加速度传感器1111可以检测以终端1100建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号,控制触摸显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于应用或者用户的运动数据的采集。
陀螺仪传感器1112可以检测终端1100的机体方向及转动角度,陀螺仪传感器1112可以与加速度传感器1111协同采集用户对终端1100的3D动作。处理器1101根据陀螺仪传感器1112采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、应用控制以及惯性导航。
压力传感器1113可以设置在终端1100的侧边框和/或触摸显示屏1105的下层。当压力传感器1113设置在终端1100的侧边框时,可以检测用户对终端1100的握持信号,由处理器1101根据压力传感器1113采集的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在触摸显示屏1105的下层时,由处理器1101根据用户对触摸显示屏1105的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1114用于采集用户的指纹,由处理器1101根据指纹传感器1414采集到的指纹识别用户的身份,或者,由指纹传感器1114根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1101授权该用户具有相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1114可以被设置终端1100的正面、背面或侧面。当终端1100上设置有物理按键或厂商Logo时,指纹传感器1114可以与物理按键或厂商标志集成在一起。
光学传感器1115用于采集环境光强度。在一个实施例中,处理器1101可以根据光学传感器1115采集的环境光强度,控制触摸显示屏1105的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1105的显示亮度;当环境光强度较低时,调低触摸显示屏1105的显示亮度。在另一个实施例中,处理器1101还可以根据光学传感器1115采集的环境光强度,动态调整摄像头组件1106的拍摄参数。
接近传感器1116,也称距离传感器,通常设置在终端1100的前面板。接近传感器1116用于采集用户与终端1100的正面之间的距离。在一个实施例中,当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变小时,由处理器1101控制触摸显示屏1105从亮屏状态切换为息屏状态;当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变大时,由处理器1101控制触摸显示屏1105从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图11中示出的结构并不构成对终端1100的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图12是本申请实施例提供的一种服务器的结构示意图,该服务器1200可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central ProcessingUnits,CPU)1201和一个或一个以上的存储器1202,其中,存储器1202中存储有至少一条指令,该至少一条指令由处理器1201加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
服务器1200可以用于执行上述图像检测方法中服务器所执行的步骤。
本申请实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,存储器中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的图像检测方法中所执行的操作。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的图像检测方法中所执行的操作。
本申请实施例还提供了一种计算机程序,该计算机程序中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的图像检测方法中所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (15)
1.一种图像检测方法,其特征在于,所述方法包括:
获取目标物体的三维图像;
按照多个角度分别对所述三维图像进行截取,将截取得到的多个图像作为所述目标物体的二维切片图像,所述二维切片图像中所述目标物体的显示角度与截取得到所述二维切片图像时的截取角度匹配;
分别对所述目标物体的多个二维切片图像进行检测处理,得到所述多个二维切片图像的检测结果;
对所述多个二维切片图像的检测结果进行融合处理,得到所述目标物体的检测结果,所述目标物体的检测结果用于表示所述目标物体的状态。
2.根据权利要求1所述的方法,其特征在于,所述获取目标物体的三维图像,包括:
获取所述目标物体的多个横断面切片图像,根据所述多个横断面切片图像进行重构处理,得到所述目标物体的三维图像,所述多个横断面切片图像为所述目标物体在同一水平方向的不同厚度处的切片图像。
3.根据权利要求1所述的方法,其特征在于,所述按照多个角度分别对所述三维图像进行截取,得到所述目标物体的多个二维切片图像之后,所述方法还包括:
按照多个尺寸分别对任一个二维切片图像进行切割处理,将切割处理后得到的二维切片图像也作为所述目标物体的二维切片图像。
4.根据权利要求3所述的方法,其特征在于,所述按照多个尺寸分别对所述二维切片图像进行切割处理,得到切割处理后的所述多个尺寸的二维切片图像之前,所述方法还包括:
按照所述目标物体的目标尺寸,确定所述多个尺寸,所述多个尺寸中包括所述目标尺寸、小于所述目标尺寸的尺寸或大于所述目标尺寸的尺寸中的至少一种。
5.根据权利要求1所述的方法,其特征在于,所述分别对所述目标物体的多个二维切片图像进行检测处理,得到所述多个二维切片图像的检测结果之前,所述方法还包括:
分别对所述目标物体的多个二维切片图像进行图像增强处理,将增强处理后得到的多个二维切片图像作为所述目标物体的二维切片图像。
6.根据权利要求3所述的方法,其特征在于,所述对所述多个二维切片图像的检测结果进行融合处理,得到所述目标物体的检测结果,包括:
分别对属于同一个角度的所述多个尺寸的二维切片图像的检测结果进行融合处理,得到所述多个角度对应的检测结果;
对所述多个角度对应的检测结果进行融合处理,得到所述目标物体的检测结果。
7.根据权利要求3所述的方法,其特征在于,所述对所述多个二维切片图像的检测结果进行融合处理,得到所述目标物体的检测结果,包括:
分别对属于同一个尺寸的所述多个角度的二维切片图像的检测结果进行融合处理,得到所述多个尺寸对应的检测结果;
对所述多个尺寸对应的检测结果进行融合处理,得到所述目标物体的检测结果。
8.根据权利要求1所述的方法,其特征在于,所述检测结果为概率,所述概率用于指示所述目标物体属于目标状态的概率,所述对所述多个二维切片图像的检测结果进行融合处理,得到所述目标物体的检测结果,包括:
对所述多个二维切片图像的概率进行加权求和处理,得到所述目标物体属于所述目标状态的概率;或者,
对所述多个二维切片图像的概率进行加权平均处理,得到所述目标物体属于所述目标状态的概率。
9.根据权利要求1所述的方法,其特征在于,所述分别对所述多个二维切片图像进行检测处理,得到所述多个二维切片图像的检测结果,包括:
调用图像检测模型,分别对所述多个二维切片图像进行检测处理,得到所述多个二维切片图像的检测结果。
10.根据权利要求3所述的方法,其特征在于,所述分别对所述多个二维切片图像进行检测处理,得到所述多个二维切片图像的检测结果,包括:
调用任一尺寸对应的图像检测模型,对属于所述尺寸的二维切片图像进行检测处理,得到所述尺寸的二维切片图像的检测结果。
11.根据权利要求1所述的方法,其特征在于,图像检测模型包括角度划分层、检测层及融合层,所述角度划分层用于按照所述多个角度分别对所述三维图像进行截取,将截取得到的多个图像作为所述目标物体的二维切片图像;
所述检测层用于分别对所述目标物体的多个二维切片图像进行检测处理,得到所述多个二维切片图像的检测结果;
所述融合层用于对所述多个二维切片图像的检测结果进行融合处理,得到所述目标物体的检测结果。
12.根据权利要求11所述的方法,其特征在于,所述图像检测模型还包括尺寸划分层,所述尺寸划分层用于按照多个尺寸分别对任一个二维切片图像进行切割处理,将切割处理后得到的二维切片图像也作为所述目标物体的二维切片图像;
所述检测层包括所述多个尺寸对应的检测单元,每个尺寸对应的检测单元用于对属于所述尺寸的二维切片图像进行检测处理,得到所述尺寸的二维切片图像的检测结果。
13.一种图像检测装置,其特征在于,所述装置包括:
三维图像获取模块,用于获取目标物体的三维图像;
切片图像获取模块,用于按照多个角度分别对所述三维图像进行截取,将截取得到的多个图像作为所述目标物体的二维切片图像,所述二维切片图像中所述目标物体的显示角度与截取得到所述二维切片图像时的截取角度匹配;
图像检测模块,用于分别对所述目标物体的多个二维切片图像进行检测处理,得到所述多个二维切片图像的检测结果;
结果融合模块,用于对所述多个二维切片图像的检测结果进行融合处理,得到所述目标物体的检测结果,所述目标物体的检测结果用于表示所述目标物体的状态。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如权利要求1至12任一权利要求所述的图像检测方法中所执行的操作。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如权利要求1至12任一权利要求所述的图像检测方法中所执行的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010352290.1A CN111598896B (zh) | 2020-04-28 | 2020-04-28 | 图像检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010352290.1A CN111598896B (zh) | 2020-04-28 | 2020-04-28 | 图像检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111598896A true CN111598896A (zh) | 2020-08-28 |
CN111598896B CN111598896B (zh) | 2023-12-05 |
Family
ID=72192080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010352290.1A Active CN111598896B (zh) | 2020-04-28 | 2020-04-28 | 图像检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111598896B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052835A (zh) * | 2021-04-20 | 2021-06-29 | 江苏迅捷装具科技有限公司 | 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 |
CN116320199A (zh) * | 2023-05-19 | 2023-06-23 | 科大乾延科技有限公司 | 一种元宇宙全息显示信息智能管理系统 |
WO2023178863A1 (zh) * | 2022-03-23 | 2023-09-28 | 上海商汤智能科技有限公司 | 三维数据显示方法及装置、电子设备和存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049920A (zh) * | 2011-10-14 | 2013-04-17 | 美国西门子医疗解决公司 | 用于识别医学成像数据中感兴趣区域的方法及装置 |
CN103543167A (zh) * | 2013-10-08 | 2014-01-29 | 华南理工大学 | 一种基于知识库的三维x射线断层扫描检测系统及方法 |
CN106886054A (zh) * | 2017-04-13 | 2017-06-23 | 西安邮电大学 | 基于三维x射线成像的危险品自动识别装置及方法 |
CN108921929A (zh) * | 2018-06-26 | 2018-11-30 | 开放智能机器(上海)有限公司 | 一种识别系统及训练方法及单张单目图像的识别方法 |
CN109215033A (zh) * | 2017-06-30 | 2019-01-15 | 上海联影医疗科技有限公司 | 图像分割的方法及系统 |
US20190130562A1 (en) * | 2017-11-02 | 2019-05-02 | Siemens Healthcare Gmbh | 3D Anisotropic Hybrid Network: Transferring Convolutional Features from 2D Images to 3D Anisotropic Volumes |
CN110430809A (zh) * | 2017-01-16 | 2019-11-08 | P·K·朗 | 用于外科、医疗和牙科手术的光学引导 |
US20190384047A1 (en) * | 2017-08-09 | 2019-12-19 | Allen Institute | Systems, devices, and methods for image processing to generate an image having predictive tagging |
CN110621233A (zh) * | 2017-03-30 | 2019-12-27 | 豪洛捷公司 | 使用对象网格增强从高维图像数据合成低维图像数据的系统和方法 |
-
2020
- 2020-04-28 CN CN202010352290.1A patent/CN111598896B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049920A (zh) * | 2011-10-14 | 2013-04-17 | 美国西门子医疗解决公司 | 用于识别医学成像数据中感兴趣区域的方法及装置 |
CN103543167A (zh) * | 2013-10-08 | 2014-01-29 | 华南理工大学 | 一种基于知识库的三维x射线断层扫描检测系统及方法 |
CN110430809A (zh) * | 2017-01-16 | 2019-11-08 | P·K·朗 | 用于外科、医疗和牙科手术的光学引导 |
CN110621233A (zh) * | 2017-03-30 | 2019-12-27 | 豪洛捷公司 | 使用对象网格增强从高维图像数据合成低维图像数据的系统和方法 |
CN106886054A (zh) * | 2017-04-13 | 2017-06-23 | 西安邮电大学 | 基于三维x射线成像的危险品自动识别装置及方法 |
CN109215033A (zh) * | 2017-06-30 | 2019-01-15 | 上海联影医疗科技有限公司 | 图像分割的方法及系统 |
US20190384047A1 (en) * | 2017-08-09 | 2019-12-19 | Allen Institute | Systems, devices, and methods for image processing to generate an image having predictive tagging |
US20190130562A1 (en) * | 2017-11-02 | 2019-05-02 | Siemens Healthcare Gmbh | 3D Anisotropic Hybrid Network: Transferring Convolutional Features from 2D Images to 3D Anisotropic Volumes |
CN108921929A (zh) * | 2018-06-26 | 2018-11-30 | 开放智能机器(上海)有限公司 | 一种识别系统及训练方法及单张单目图像的识别方法 |
Non-Patent Citations (4)
Title |
---|
JUNFENG XIONG等: "Implementation strategy of a CNN model affects the performance of CT assessment of EGFR mutation status in lung cancer patients", 《IEEE ACCESS. 2019》, pages 1 * |
李莎: "单幅人体切片图像的多轮廓二维重构算法研究与实现", 《中国优秀硕士学位论文全文数据库_信息科技辑》, pages 138 - 343 * |
熊俊峰: "基于CT图像识别肺腺癌EGFR基因突变的研究", 《中国博士学位论文全文数据库_医药卫生科技辑》, pages 060 - 11 * |
胡晓伟等: "基于组网雷达的空间旋转对称进动目标三维重构", 《系统工程与电子技术》, vol. 38, no. 10, pages 2281 - 2286 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052835A (zh) * | 2021-04-20 | 2021-06-29 | 江苏迅捷装具科技有限公司 | 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 |
CN113052835B (zh) * | 2021-04-20 | 2024-02-27 | 江苏迅捷装具科技有限公司 | 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 |
WO2023178863A1 (zh) * | 2022-03-23 | 2023-09-28 | 上海商汤智能科技有限公司 | 三维数据显示方法及装置、电子设备和存储介质 |
CN116320199A (zh) * | 2023-05-19 | 2023-06-23 | 科大乾延科技有限公司 | 一种元宇宙全息显示信息智能管理系统 |
CN116320199B (zh) * | 2023-05-19 | 2023-10-31 | 科大乾延科技有限公司 | 一种元宇宙全息显示信息智能管理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111598896B (zh) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110348543B (zh) | 眼底图像识别方法、装置、计算机设备及存储介质 | |
CN111079576B (zh) | 活体检测方法、装置、设备及存储介质 | |
CN111091576B (zh) | 图像分割方法、装置、设备及存储介质 | |
CN110059744B (zh) | 训练神经网络的方法、图像处理的方法、设备及存储介质 | |
CN111325726A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
CN111091166B (zh) | 图像处理模型训练方法、图像处理方法、设备及存储介质 | |
CN107833219B (zh) | 图像识别方法及装置 | |
CN109815150B (zh) | 应用测试方法、装置、电子设备及存储介质 | |
CN111104980B (zh) | 确定分类结果的方法、装置、设备及存储介质 | |
CN112036331B (zh) | 活体检测模型的训练方法、装置、设备及存储介质 | |
CN110570460B (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
CN110544272A (zh) | 脸部跟踪方法、装置、计算机设备及存储介质 | |
CN108288032B (zh) | 动作特征获取方法、装置及存储介质 | |
CN112884770B (zh) | 图像分割处理方法、装置及计算机设备 | |
CN111598896B (zh) | 图像检测方法、装置、设备及存储介质 | |
CN111192262A (zh) | 基于人工智能的产品缺陷分类方法、装置、设备及介质 | |
CN113610750A (zh) | 对象识别方法、装置、计算机设备及存储介质 | |
CN114332554A (zh) | 图像分割模型的训练方法、图像分割方法、装置及设备 | |
CN111062248A (zh) | 图像检测的方法、装置、电子设备及介质 | |
CN113570645A (zh) | 图像配准方法、装置、计算机设备及介质 | |
CN110705438A (zh) | 步态识别方法、装置、设备及存储介质 | |
CN113724189A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN110675473B (zh) | 生成gif动态图的方法、装置、电子设备及介质 | |
CN111353513B (zh) | 一种目标人群筛选的方法、装置、终端和存储介质 | |
CN111982293B (zh) | 体温测量方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40027319 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |