CN109886282A - 对象检测方法、装置、计算机可读存储介质和计算机设备 - Google Patents
对象检测方法、装置、计算机可读存储介质和计算机设备 Download PDFInfo
- Publication number
- CN109886282A CN109886282A CN201910143267.9A CN201910143267A CN109886282A CN 109886282 A CN109886282 A CN 109886282A CN 201910143267 A CN201910143267 A CN 201910143267A CN 109886282 A CN109886282 A CN 109886282A
- Authority
- CN
- China
- Prior art keywords
- network
- marking area
- target
- training sample
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 349
- 239000000284 extract Substances 0.000 claims abstract description 183
- 238000000605 extraction Methods 0.000 claims abstract description 157
- 238000012549 training Methods 0.000 claims description 538
- 230000011218 segmentation Effects 0.000 claims description 123
- 238000012360 testing method Methods 0.000 claims description 106
- 230000000153 supplemental effect Effects 0.000 claims description 102
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 claims description 80
- 229910052750 molybdenum Inorganic materials 0.000 claims description 80
- 239000011733 molybdenum Substances 0.000 claims description 80
- 238000013145 classification model Methods 0.000 claims description 41
- 230000015654 memory Effects 0.000 claims description 29
- 230000006835 compression Effects 0.000 claims description 17
- 238000007906 compression Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 12
- 239000000203 mixture Substances 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003475 lamination Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000009607 mammography Methods 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种对象检测方法、装置、计算机可读存储介质和计算机设备,该方法包括:获取待检测图像;将待检测图像输入至目标对象检测模型中,得到待检测图像对应的预测图;根据预测图获取待检测图像的各个像素点属于目标检测对象的关系度,根据关系度进行轮廓提取得到目标检测对象显著区域;根据目标检测对象显著区域从预测图中确定多个不同尺度的显著区域子图;将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到待检测图像中的目标检测对象预测区域。本申请提供的方案能够提高待检测图像中目标对象所在区域的准确度。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种对象检测方法、装置、计算机可读存储介质和计算机设备。
背景技术
传统技术中,对象检测模型一般直接通过简单地对待检测图像中目标检测对象进行搜索,从而输出搜索得到的待检测图像中目标检测对象所在的区域,但是由于这种对待检测图像的搜索方式比较粗略,而且容易造成误搜索,从而导致待检测图像中目标检测对象所在区域的检测准确度低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高待检测图像中目标检测对象所在区域的准确度的对象检测方法、装置、计算机可读存储介质和计算机设备。
一种对象检测方法,该方法包括:
获取待检测图像;
将待检测图像输入至目标对象检测模型中,得到待检测图像对应的预测图;
根据预测图获取待检测图像的各个像素点属于目标检测对象的关系度,根据关系度进行轮廓提取得到目标检测对象显著区域;
根据目标检测对象显著区域从预测图中确定多个不同尺度的显著区域子图;
将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到待检测图像中的目标检测对象预测区域。
一种对象检测装置,该装置包括:
待检测图像获取模块,用于获取待检测图像;
目标对象检测模型检测模块,用于将待检测图像输入至目标对象检测模型中,得到待检测图像对应的预测图;
目标检测对象轮廓提取模块,用于根据预测图获取待检测图像的各个像素点属于目标检测对象的关系度,根据关系度进行轮廓提取得到目标检测对象显著区域;
显著区域子图确定模块,用于根据目标检测对象显著区域从预测图中确定多个不同尺度的显著区域子图;
目标对象分类模型处理模块,用于将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到待检测图像中的目标检测对象预测区域。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行所述程序时实现以下步骤:
获取待检测图像;
将待检测图像输入至目标对象检测模型中,得到待检测图像对应的预测图;
根据预测图获取待检测图像的各个像素点属于目标检测对象的关系度,根据关系度进行轮廓提取得到目标检测对象显著区域;
根据目标检测对象显著区域从预测图中确定多个不同尺度的显著区域子图;
将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到待检测图像中的目标检测对象预测区域。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:
获取待检测图像;
将待检测图像输入至目标对象检测模型中,得到待检测图像对应的预测图;
根据预测图获取待检测图像的各个像素点属于目标检测对象的关系度,根据关系度进行轮廓提取得到目标检测对象显著区域;
根据目标检测对象显著区域从预测图中确定多个不同尺度的显著区域子图;
将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到待检测图像中的目标检测对象预测区域。
一种对象检测方法,该方法包括:
获取钼靶图像;
将钼靶图像输入至目标对象检测模型中,得到钼靶图像对应的概率图;
根据概率图获取钼靶图像的各个像素点属于肿块的概率,根据概率进行轮廓提取得到肿块疑似区域;
根据肿块疑似区域从概率图中确定多个不同尺度的显著区域子图;
将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到钼靶图像中的肿块预测区域。
一种对象检测系统,该系统包括:
钼靶图像采集器,用于获取钼靶图像;
存储器,存储器中存储有计算机可读指令;
处理器,计算机可读指令被处理器执行时,使得处理器执行以下步骤:将钼靶图像输入至目标对象检测模型中,得到钼靶图像对应的概率图;根据概率图获取钼靶图像的各个像素点属于肿块的概率,根据概率进行轮廓提取得到肿块疑似区域;根据肿块疑似区域从概率图中确定多个不同尺度的显著区域子图;将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到钼靶图像中的肿块预测区域;
显示器,用于显示钼靶图像中的肿块预测区域。
上述对象检测方法、装置、计算机可读存储介质和计算机设备,获取待检测图像;将待检测图像输入至目标对象检测模型中,得到待检测图像对应的预测图;根据预测图获取待检测图像的各个像素点属于目标检测对象的关系度,根据关系度进行轮廓提取得到目标检测对象显著区域;根据目标检测对象显著区域从预测图中确定多个不同尺度的显著区域子图;将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到待检测图像中的目标检测对象预测区域。首先,通过目标对象检测模型对待检测图像检测,得到对应的预测图,根据预测图中的待检测图像的各个像素点属于目标检测对象的关系度进行轮廓提取得到目标检测对象显著区域,从而快速地、无需人工参与就可以确定目标检测对象在待检测图像中的疑似区域,再通过目标对象分类模型对疑似区域进行再次检测,具体利用疑似区域周围的其他区域信息来提高待检测图像中目标检测对象所在区域的准确性。
附图说明
图1为一个实施例中对象检测方法的应用环境图;
图2为一个实施例中对象检测方法的流程示意图;
图3为一个实施例中预测图生成步骤的流程示意图;
图4为一个实施例中对象检测方法的系统原理框架图;
图5为一个实施例中目标检测对象显著区域轮廓提取步骤的流程示意图;
图5A为一个实施例中目标检测对象显著区域的界面示意图;
图6为一个实施例中不同尺度的显著区域子图确定步骤的流程示意图;
图7为一个实施例中目标对象分类模型处理步骤的流程示意图;
图8为一个实施例中目标对象检测模型的训练步骤的流程示意图;
图9为一个实施例中目标对象分类模型的训练步骤的流程示意图;
图10A为一个实施例中训练样本对象分割损失值计算步骤的流程示意图;
图10B为一个实施例中训练样本对象分类损失值计算步骤的流程示意图;
图11A为一个实施例中对象检测方法的流程示意图;
图11B为一个实施例中对象检测系统的系统框架图;
图12为一个实施例中对象检测装置的结构框图;
图13为一个实施例中目标对象检测模型检测模块的结构框图;
图14为一个实施例中目标检测对象轮廓提取模块的结构框图;
图15为一个实施例中显著区域子图确定模块的结构框图;
图16为一个实施例中目标对象分类模型处理模块的结构框图;
图17为另一个实施例中对象检测装置的结构框图;
图18为又一个实施例中对象检测装置的结构框图;
图19为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中对象检测方法的应用环境图。参照图1,该对象检测方法应用于对象检测系统。该对象检测系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
具体地,终端110获取待检测图像,将待检测图像发送至服务器120。服务器120将待检测图像输入至目标对象检测模型中,得到待检测图像对应的预测图,根据预测图获取待检测图像的各个像素点属于目标检测对象的关系度,根据关系度进行轮廓提取得到目标检测对象显著区域,根据目标检测对象显著区域从预测图中确定多个不同尺度的显著区域子图,将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到待检测图像中的目标检测对象预测区域。进一步地,服务器120将已经检测出目标检测对象预测区域的待检测图像返回终端110。
如图2所示,在一个实施例中,提供了一种对象检测方法。本实施例主要以该方法应用于上述图1中的终端110或服务器120来举例说明。参照图2,该对象检测方法具体包括如下步骤:
步骤202,获取待检测图像。
其中,待检测图像包括但不限于图片、照片、影片等。具体可以是通过相机拍摄的照片、通过截屏获取的图片或者是通过可上传图像的应用程序上传的图像等等,其中待检测图像中包括目标检测对象。目标检测对象是指待检测图像中需要检测出来的对象。
在一个实施例中,待检测图像为钼靶图像,目标检测对象为肿块,目标检测对象显著区域为肿块疑似区域。
其中,钼靶图像是指通过医学设备(如X线)拍摄的黑白影像。在具体的实际应用场景中,可通过钼靶图像得知目标检测对象的具体所在的位置,而在实际应用场景中,钼靶图像中的目标检测对象可以是但不限于肿块。其中,钼靶图像中的目标检测对象显著区域为肿块疑似区域,肿块疑似区域是指怀疑肿块所在的区域,其中,肿块疑似区域并不是肿块准确的位置,还需要后续的处理来通过肿块疑似区域找到肿块具体的位置。
步骤204,将待检测图像输入至目标对象检测模型中,得到待检测图像对应的预测图。
其中,目标对象检测模型是用来计算待检测图像各个像素点属于目标检测对象的关系度的网络模型。这里的目标对象检测模型是已训练好的网络模型,可直接用来计算待检测图像中各个像素点属于目标检测对象的关系度。其中,关系度是指待检测图像中各个像素点属于目标检测对象的可能性,关系度可以用概率、百分制分数或者百分比等来表示。其中,目标对象检测模型可以采用全卷积网络结构FCN、语义分割网络结构DeepLab、卷积神经网络结构U-net等。而在目标对象检测模型中包括但不限于编码层网络和解码层网络,编码层网络是用来对待检测图像进行编码压缩的,提取维度更低的低层语义特征图,而解码层网络是用来对编码层网络输出的低层语义特征图进行解码运算,输出与待检测图像尺寸一样的预测图。
其中,为了提升预测图中各个像素点对应的关系度的准确性,目标对象检测模型还使用了跳跃连接方式将编码层网络输出的低层语义特征图融合到解码层网络中,这种目标对象检测模型可以获取到非线性的、局部到全局的特征映射,融合了低层语义特征和高层语义特征。
其中,预测图是描述待检测图像的各个像素点属于目标检测对象的关系度,可根据预测图像描述的各个像素点对应的关系度进行轮廓提取得到目标检测对象显著区域。
步骤206,根据预测图获取待检测图像的各个像素点属于目标检测对象的关系度,根据关系度进行轮廓提取得到目标检测对象显著区域。
其中,在得到目标对象检测模型输出的预测图后,可根据预测图描述的各个像素点属于目标检测对象的关系度进行轮廓提取得到目标检测对象显著区域。具体地,可先对预测图进行二值化,得到二值化预测图,然后采用图像开运算对二值化预测图进行处理,得到处理后的二值化预测图,最后可根据处理后的二值化预测图进行轮廓提取,得到目标检测对象显著区域。这里的目标检测对象显著区域是目标检测对象疑似区域,并不是目标检测对象的准确区域,后续还需要通过目标对象分类模型根据目标检测对象显著区域预测得到目标检测对象的准确区域。
其中,根据处理后的二值化预测图进行轮廓提取,得到目标检测对象显著区域具体可以是将二值化预测图显示为1的区域划分为目标检测对象显著区域,因此最后根据关系度进行轮廓提取得到多个目标检测对象显著区域。
步骤208,根据目标检测对象显著区域从预测图中确定多个不同尺度的显著区域子图。
其中,根据预测图中描述待检测图像中各个像素点属于目标检测对象的关系度进行轮廓提取得到多个目标检测对象显著区域,根据各个目标检测对象显著区域从预测图中确定对应的多个不同尺度的显著区域子图。也就是说,各个目标检测对象显著区域都对应多个不同尺度的显著区域子图,而各个不同尺度的显著区域子图中都包括目标检测对象显著区域,但各个不同尺度的显著区域子图中还包括其他背景因素,这里的背景因素是指除了目标检测对象显著区域中的像素点之外的其他像素点。
其中,根据各个目标检测对象显著区域从预测图中确定对应的多个不同尺度的显著区域子图,具体可以是,先根据各个目标检测对象显著区域的大小确定基础裁剪区域范围,再根据基础裁剪区域范围从预测图中裁剪得到基础显著区域子图。进一步地根据基础裁剪区域范围确定多个不同尺度的目标裁剪区域范围,其中,各个不同尺度的目标裁剪区域范围可以是基础显著区域子图的预设倍数,预设倍数可根据实际业务需求进行调整或者设置。最后,在得到各个不同尺度的目标裁剪区域范围后,根据目标裁剪区域范围从预测图中裁剪得到多个不同尺度的目标显著区域子图,再将基础显著区域子图和多个不同尺度的目标显著区域子图组成多个不同尺度的显著区域子图。
在一个实施例中,以具体一个目标检测对象显著区域为例,根据该目标检测对象显著区域的大小确定基础裁剪区域范围为:249*249像素,则根据基础裁剪区域范围从预测图中裁剪得到的基础显著区域子图为:边长为249像素的正方形区域子图。进一步地,根据基础裁剪区域范围的预设倍数确定多个不同尺度的目标裁剪区域范围,如1.2倍和1.4倍,得到2个不同尺度的目标显著区域子图分别为:边长为299像素的正方形区域子图和边长为349像素的正方形区域子图。最后,将边长为249像素的基础显著区域子图、边长为299像素的目标显著区域子图和边长为349像素的目标显著区域子图组成该目标检测对象显著区域对应的不同尺度的显著区域子图。
步骤210,将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到待检测图像中的目标检测对象预测区域。
其中,目标对象分类模型是用来检测待检测图像中各个目标检测对象具体所在的区域的网络模型。这里的目标对象分类模型是已训练好的网络模型,可直接用来检测待检测图像中各个目标检测对象具体所在的区域。其中,目标对象分类模型的输出结果就是待检测图像中目标检测对象所在的准确区域。目标对象分类模型包括多个特征提取网络子网络和对象分类子网络,其中特征提取网络是用来提取显著区域子图特征的网络,而对象分类子网络是用来对特征提取网络提取出的待目标检测对象分类图进行分类从而得到目标检测对象预测区域的网络。
其中,各个特征提取子网络包括但不限于分别对应的基础特征提取网络、辅助特征提取网络,其中,基础特征提取网络和辅助特征提取网络都用来提取显著区域子图的特征的网络,基础特征提取网络和辅助特征提取网络是一一对应的关系,由于基础特征提取网络和辅助特征提取网络的网络模型参数不同,则基础特征提取网络和辅助特征提取网络输出的特征图也是不同的。具体地,目标对象分类模型将各个显著区域子图输入至对应的特征提取子网络,特征提取子网络将输入的显著区域子图输入至基础特征提取网络,通过基础特征提取网络对输入的显著区域子图进行特征提取,得到第一显著区域子图特征图。特征提取子网络再将第一显著区域子图输入至与基础特征提取网络对应的辅助特征提取网络,通过辅助特征提取网络对第一显著区域子图进行特征提取,得到第二显著区域子图。其中,在得到各个辅助特征提取网络输出的第二显著区域子图后,根据各个辅助特征提取网络输出的第二显著区域子图生成目标检测对象显著区域对应的待目标检测对象分类图。最后,目标对象分类模型将待目标检测对象分类图输入至对象分类子网络中,通过对象分类子网络对待目标检测对应分类图进行分类,得到待检测图像中的目标检测对象预测区域。其中,这里的目标检测对象预测区域是待检测图像中目标检测对象所在的具体区域,是准确的。
上述对象检测方法,获取待检测图像;将待检测图像输入至目标对象检测模型中,得到待检测图像对应的预测图;根据预测图获取待检测图像的各个像素点属于目标检测对象的关系度,根据关系度进行轮廓提取得到目标检测对象显著区域;根据目标检测对象显著区域从预测图中确定多个不同尺度的显著区域子图;将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到待检测图像中的目标检测对象预测区域。首先,通过目标对象检测模型对待检测图像检测,得到对应的预测图,根据预测图中的待检测图像的各个像素点属于目标检测对象的关系度进行轮廓提取得到目标检测对象显著区域,从而快速地、无需人工参与就可以确定目标检测对象在待检测图像中的疑似区域,再通过目标对象分类模型对疑似区域进行再次检测,具体利用疑似区域周围的其他区域信息来提高待检测图像中目标检测对象所在区域的准确性。
在一个实施例中,如图3所示,目标对象检测模型包括编码层网络和解码层网络,将待检测图像输入至对象检测模型中,得到待检测图像对应的预测图,包括:
步骤302,目标对象检测模型通过编码层网络对待检测图像进行编码压缩,得到对象状态特征信息。其中,目标对象检测模型包括但不限于编码层网络和解码层网络,其中,编码层网络是用来对待检测图像进行编码压缩的,提取维度更低的低层语义特征图,而解码层网络是用来对编码层网络输出的低层语义特征图进行解码运算,输出与待检测图像尺寸一样的预测图。
其中,编码层网络可以是使用卷积层对待检测图像进行编码压缩,也就是使用卷积层来构建编码器,通过编码层网络对待检测图像进行编码压缩,能够提取出待检测图像中的低层语义特征信息。与编码层网络连接的是编码层网络,其中编码层网络与解码层网络连接可以使用跳跃连接的连接方式,能够提高像素级密度估计的准确性。
具体地,目标对象检测模型将待检测图像输入至编码层网络,通过编码层网络对待检测图像进行编码压缩,具体编码层网络可以通过卷积层对待检测图像进行编码压缩,提取维度更低的特征图,输出对象状态特征信息。这里的对象状态特征信息是指待检测图像中低层语义特征信息,维度较低的特征图。对象状态特征信息可以是待检测图像的基本视觉信息,比如亮度、颜色、纹理等等。
步骤304,目标对象检测模型将对象状态特征信息输入至解码层网络,通过编码层网络对对象状态特征信息进行解码运算,得到待检测图像的各个像素点属于目标检测对象的关系度组成预测图。
其中,在编码层网络输出得到对象状态特征信息后,目标对象检测模型将对象状态特征信息输入至解码层网络,解码层网络对对象状态特征信息进行解码运算,最后得到待检测图像的各个像素点属于目标检测对象的关系度组成预测图。
具体地,编码层网络将提取出的低层语义特征信息输入至解码层网络,解码层网络可以使用反卷积层和上采样层对低层语义特征信息进行解码运算,得到对应的预测图。其中,解码层网络输出的预测图在解码运算过程中,可以恢复成与待检测图像相同尺寸大小的预测图。其中,在解码层网络输出预测图之前,解码层网络可以将低层语义特征信息融入到解码层网络中,可以根据低层语义特征信息提取相对应的高层语义特征信息,因此解码层网络融合了低层语义特征信息和高层语义特征信息。进一步地,解码层网络输出对应的预测图,预测图中描述了待检测图像中各个像素点属于目标检测对象的概率值。
在一个实施例中,如图4所示,图4示出一个实施例中对象检测方法的系统原理框架图。如图4的目标对象检测模型的框架中所示,将待检测图像输入至目标对象检测模型中,首先通过编码层网络对输入的待检测图像进行编码压缩,得到维度较低的对象状态特征信息,如颜色、亮度等。与编码层网络连接的是解码层网络,将编码层网络输出的对象状态特征信息输入至解码层网络中,解码层网络对对象状态特征信息进行解码运算,输出与待检测图像原尺寸一样的预测图。预测图如图4所示,可从预测图中得知待检测图像中各个像素点属于目标检测对象的概率值,同时预测图显式地展现了目标检测对象的显著区域。
在一个实施例中,如图5所示,根据预测图获取待检测图像的各个像素点属于目标检测对象的关系度,根据关系度进行轮廓提取得到目标检测对象显著区域,包括:
步骤502,根据关系度对预测图进行二值化得到对应的二值化预测图。
步骤504,根据二值化预测图进行轮廓提取得到多个目标检测对象显著区域。
其中,二值化是指就是将预测图上的像素点的灰度值设置为0或255,也就是将整个预测图呈现出明显的只有黑和白的视觉效果。由于预测图描述了待检测图像中各个像素点属于目标检测对象的概率值,因此可以使用阈值对预测图进行二值化处理,得到对应的二值化预测图。具体可以是,获取预设二值化阈值,其中预设二值化阈值可根据实际业务需求进行设置或者调整,根据获取到预设二值化阈值对预测图进行二值化处理,得到对应的二值化预测图。其中,二值化预测图中只有0和1,具体可以是将关系度大于预设二值化阈值的像素点标注为1,而将关系度小于或者等于预设二值化阈值的像素点标注为0,而在视觉效果上,只有标注为1的像素点才有白的视觉效果,而标注为0的像素点只有黑的视觉效果。
进一步地,在得到二值化预测图后,根据二值化预测图进行轮廓提取得到多个目标检测对象显著区域。其中,轮廓提取是将标注为1的像素点的轮廓提取出来,得到多个目标检测对象显著区域。如图5A所示,图5A示出一个实施例中目标检测对象显著区域的界面示意图,如图5A所示,图5A所示的白色部分为各个目标检测对象显著区域,目标检测对象显著区域中的各个像素点的关系度都大于预设二值化阈值,二值化后都标注为1的像素点,而图5A所示的黑色区域中的各个像素点的关系度都小于或者等于预设二值化阈值,二值化后都标注为0的像素点。
在一个实施例中,如图6所示,根据目标检测对象显著区域从预测图确定多个不同尺度的显著区域子图,包括:
步骤602,根据目标检测对象显著区域的大小确定基础裁剪区域范围,根据基础裁剪区域范围从预测图中裁剪得到基础显著区域子图。
其中,由于各个目标检测对象显著区域对应不同的尺寸大小,有些目标检测对象显著区域比较大,而有些目标对象显著区域比较小,为了各个显著区域子图都包括目标检测对象显著区域,因此需要根据各个目标检测对象显著区域的大小确定基础裁剪区域范围,基础裁剪区域范围是指裁剪目标检测对象显著区域的最小裁剪区域范围,尺寸较大的目标检测对象显著区域对应的基础裁剪区域范围就较宽,而尺寸较小的目标检测对象显著区域对应的基础裁剪区域范围就较窄。进一步地,在确定各个目标检测对象显著区域对应的基础裁剪区域范围后,根据基础裁剪区域范围从预测图中裁剪得到各个目标检测对象显著区域对应的基础显著区域子图。
在一个具体实际应用场景中,由于大多数目标检测对象显著区域都超出249像素的长度,对于这种情况,使用紧凑的边界框裁剪得到基础显著区域子图,而对于少数小于249像素的目标检测对象显著区域,直接使用边长249像素边界框裁剪得到基础显著区域子图。
步骤604,根据基础裁剪区域范围确定多个不同尺度的目标裁剪区域范围,根据目标裁剪区域范围从预测图中裁剪得到多个不同尺度的目标显著区域子图。
步骤606,将基础显著区域子图和目标显著区域子图组成多个不同尺度的显著区域子图。
其中,在根据各个目标检测对象显著区域的大小确定对应的基础裁剪区域范围后,可根据基础裁剪区域范围确定多个不同尺度的目标裁剪区域范围。其中,具体可以是,多个不同尺度的目标裁剪区域范围可以是基础裁剪区域范围的预设裁剪倍数,或者可以是基础显著区域子图的预设裁剪倍数作为目标裁剪区域范围等。其中,预设裁剪倍数可根据实际需要进行设置或者调整。进一步地,在得到多个不同尺度的目标裁剪区域范围后,根据目标裁剪区域范围从预测图中裁剪得到多个不同尺度的目标显著区域子图。最后,将基础显著区域子图和目标显著区域子图组成多个不同尺度的显著区域子图。
在一个具体实际应用场景中,确定各个目标检测对象显著区域对应的基础区域子图为249*249后,目标显著区域子图可以是以基础区域子图的1.2倍和1.4倍进行裁剪,得到多个不同尺度的目标显著区域子图为299*299和349*349。最后,将249*249的基础区域子图、299*299的目标显著区域子图和349*349。的目标显著区域子图组成不同尺度的显著区域子图。在一个实施例中,如图4所示,如图4所示,目标对象检测模型输出预测图后,根据预测图获取待检测图像中各个像素点属于目标检测对象的关系度,根据关系度进行轮廓提取得到多个目标检测对象显著区域。如图4所示的黑白图像用各个正方形标注出来的都是目标检测对象显著区域,对于每一个目标检测对象显著区域,都存在对应的多个不同尺度的显著区域子图。图4中的3个不同尺度的显著区域子图为其中某一个目标检测对象显著区域对应的3个不同尺度的显著区域子图边长分别为:249*249、299*299和349*349。
在一个实施例中,如图7所示,特征提取子网络包括基本特征提取网络和辅助特征提取网络,将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到待检测图像中的目标检测对象预测区域,包括:
步骤702,目标对象分类模型将各个显著区域子图输入至对应的基本特征提取网络,基本特征提取网络对显著区域子图进行特征提取,得到对应的第一显著区域特征图。
其中,目标对象分类模型中各个特征提取子网络包括一一对应关系的基础特征提取网络和辅助特征提取网络,也就是说,一个特征提取子网络包括基础特征提取网络和对应的辅助特征提取网络,基础特征提取网络的输出作为辅助特征提取网络的输入。具体地,在根据目标检测对象显著区域从预测图中确定多个不同尺度的显著区域子图后,将不同尺度的各个显著区域子图输入至目标对象分类模型中,目标对象分类模型将输入的各个显著区域子图输入至对应的基础特征提取网络中。可如图4所示,如图4所示的输入图像为目标检测对象显著区域的3个不同尺度的显著区域子图,分别为249*249、299*299和349*349,将这3个不同尺度的显著区域子图分别输入至3个独立的基本特征提取网络,这3个基本特征提取网络都存在相同的网络结构,但是模型参数相互独立。进一步地,各个基本特征提取网络对输入的显著区域子图进行特征提取,得到对应的第一显著区域特征图。
步骤704,目标对象分类模型将各个第一显著区域特征图输入至与基本特征提取网络对应的辅助特征提取网络,辅助特征提取网络对第一显著区域特征图提取得到第二显著区域特征图。
具体地,各个基本特征提取网络对输入的显著区域子图进行特征提取,得到对应的第一显著区域特征图后,将各个基本特征提取网络输出的第一显著区域特征图输入至对应的辅助特征提取网络中,辅助特征提取对基本特征提取网络输出的第一显著区域特征图进行特征提取,得到第二显著区域特征图。由于基本特征提取网络和对应的辅助特征提取网络的网络模型参数不同,因此分别输出的第一显著区域特征图和第二显著区域特征图不同,第二显著区域特征图通常比第一显著区域特征图的特征描述比较准确。具体可如图4所示,图4将各个基本特征提取网络输出的第一显著区域特征图输入至对应的辅助特征提取网络中,通过辅助特征提取网络对第一显著区域特征图进行特征提取,从而得到各个辅助特征提取网络对应的第二显著区域特征图。其中,辅助特征提取网络包括卷积层网络、上采样层网络、池化层网络、正则化层网络中的至少一种。
步骤706,根据各个辅助特征提取网络输出的第二显著区域特征图生成目标检测对象显著区域对应的待目标检测对象分类图。
具体地,在得到各个辅助特征提取网络输出的第二显著区域特征图后,需要根据各个辅助特征提取网络输出的第二显著区域特征图生成目标检测对象显著区域对应的待目标检测对象分类图。其中,根据各个辅助特征提取网络输出的第二显著区域特征图生成目标检测对象显著区域对应的待目标检测对象分类图具体可以是但不限于将各个辅助特征提取网络输出的第二显著区域特征图进行叠加,得到各个目标检测对象显著区域对应的待目标检测对象分类图。或者根据各个辅助特征提取网络输出的第二显著区域特征图中的特征进行计算得到各个目标检测对象显著区域对应的待目标检测对象分类图等。具体可如图4所示,图4是将某一目标检测对象显著区域的3个不同尺度的显著区域子图输入至目标对象分类模型中,目标对象分类模型将这3个不同尺度的显著区域子图分别输入至3个相同网络结构但是网络模型参数不同的基本特征提取网络中,3个基本特征提取网络分别对输入的显著区域子图进行简单的特征提取,得到对应的第一显著区域特征图。目标对象分类模型再将这3个基本特征提取网络输出的第一显著区域特征图分别输入至对应的辅助特征提取网络中,通过3个辅助特征提取网络分别对输入的第一显著区域特征图进行特征提取,得到对应的第二显著区域特征图。最后,将这3个辅助特征提取网络输出的第二显著区域特征图进行叠加,得到该目标检测对象显著区域对应的待目标检测对象分类图。
步骤708,将待目标检测对象分类图输入至目标对象分类模型中的对象分类子网络中,通过对象分类子网络对各个待目标检测对象分类图进行分类,得到待检测图像中的目标检测对象预测区域。
具体地,在得到各个目标检测对象显著区域对应的待目标检测对象分类图后,目标对象分类模型将各个目标检测对象显著区域对应的待目标检测对象分类图输入至对象分类子网络中,对象分类子网络是用于对各个待目标检测对象分类图进行分类的网络。进一步地,对象分类子网络对输入的各个目标检测对象显著区域对应的待目标检测对象分类图进行分类,将分类结果为阳性的待目标检测对象分类图对应的目标检测对象显著区域显示出来,则得到待检测图像中的目标检测对象预测区域。也就是说,最后得到的待检测图像中的目标检测对象预测区域就是对象分类子网络的分类结果为阳性的待目标检测对象分类图对应的目标检测对象显著区域。在一个具体实际应用场景中,若目标检测对象显著区域为肿块疑似区域,则最后得到的待检测图像中的目标检测对象预测区域就是肿块具体所在的区域。其中,对象分类子网络可以是已训练好的分类器。如图4所示,图4中的对象分类子网络对各个待目标检测对象分类图进行分类,会将各个待目标检测对象分类图用0或1来表示,0表示阴性,1表示阳性,只有当分类结果为1时,才能在待检测图像中显示对应的目标检测对象预测区域。其中,上述提到的阳性代表非正常情况,在医学中代表有疾病,反之,阴性代表正常情况,在医学中代表没有疾病。
在一个实施例中,如图8所示,目标对象检测模型的训练步骤包括:
步骤802,获取训练样本图像集,训练样本图像集中的训练样本图像包括训练目标检测对象的标准轮廓区域。
步骤804,将训练样本图像集中的训练样本图像输入至对象检测模型中,得到对应的训练样本预测图。
其中,目标对象检测模型和目标对象分类模型的训练是分别训练的,可以先对对象检测模型进行训练得到目标对象检测模型,再去训练对象分类模型得到目标对象分类模型。其中,目标对象检测模型的训练过程具体可以是,先获取训练样本图像集,训练样本图像是用来训练对象检测模型的样本图像,训练样本图像集中的各个训练样本图像包括训练目标检测对象的标准轮廓区域,其中,各个训练样本图像中的训练目标检测对象的标准轮廓区域可通过专业的标注人员进行标注。在医学应用场景中,训练样本图像中的训练目标检测对象的标准轮廓区域可以是肿块所在的区域的轮廓位置。
进一步地,将获取到的训练样本图像集中的训练样本图像输入至对象检测模型,对象检测模型的网络结构包括但不限于编码层网络和解码层网络,对象检测模型通过编码层网络将各个训练样本图像进行编码压缩,提取各个训练样本图像中维度更低的低层语义特征信息,再将提取出的各个低层语义特征信息通过解码层网络进行解码运算,计算训练样本图像中各个像素点属于训练目标检测对象的概率值,从而得到训练样本预测图。其中,训练样本预测图中描述了训练样本图像中各个像素点属于训练目标检测对象的概率值。
步骤806,根据训练样本预测图和标准轮廓区域计算得到训练损失值,根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。
具体地,训练样本预测图中描述了训练样本图像中各个像素点属于训练目标检测对象的概率值,而在训练样本图像中标注的标准轮廓区域中的各个像素点的概率值为1,认为训练样本图像中标注的标准轮廓区域中的各个像素点百分之百属于训练目标检测对象。因此则可根据训练样本预测图中各个像素点属于训练目标检测对象的概率值和训练样本图像中标注的标准轮廓区域中的各个像素点的概率值计算得到训练损失值,例如利用softmax函数根据训练样本预测图中各个像素点属于训练目标检测对象的概率值和训练样本图像中标注的标准轮廓区域中的各个像素点的概率值计算得到训练损失值。
进一步地,在计算得到对象检测模型的训练损失值后,根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。其中,收敛条件可根据实际需求进行设置或者调整,例如当训练损失值达到最小时,则可认为满足收敛条件,或者当损失值无法再发生变化时,则可认为满足收敛条件。
在一个实施例中,如图9所示,目标对象分类模型的训练步骤包括:
步骤902,获取训练样本图像集,训练样本图像集中的训练样本图像包括训练目标检测对象的标准轮廓区域。
步骤904,将训练样本图像集中的训练样本图像输入至目标对象检测模型中,得到对应的训练样本预测图。
其中,目标对象检测模型和目标对象分类模型的训练是分别训练的,可以先对对象检测模型进行训练得到目标对象检测模型,再去训练对象分类模型得到目标对象分类模型。其中,这里的训练样本图像是用来训练对象检分类模型的样本图像,训练样本图像集中的各个训练样本图像包括训练目标检测对象的标准轮廓区域,其中,各个训练样本图像中训练目标检测对象的标准轮廓区域可通过专业的标注人员进行标注。在医学应用场景中,训练样本图像中的训练目标检测对象的标准轮廓区域可以是肿块所在的区域的轮廓位置。
进一步地,将获取到的训练样本图像集中的训练样本图像输入至目标对象检测模型,目标对象检测模型的网络结构包括但不限于编码层网络和解码层网络,目标对象检测模型通过编码层网络将各个训练样本图像进行编码压缩,提取各个训练样本图像中维度更低的低层语义特征信息,再将提取出的各个低层语义特征信息通过解码层网络进行解码运算,计算训练样本图像中各个像素点属于训练目标检测对象的概率值,从而得到训练样本预测图。其中,训练样本预测图中描述了训练样本图像中各个像素点属于训练目标检测对象的概率值。
步骤906,根据训练样本预测图获取训练样本图像的各个像素点属于训练目标检测对象的训练关系度,根据训练关系度进行轮廓提取得到训练目标检测对象显著区域。
其中,在得到训练样本预测图后,可根据训练样本预测图描述的各个像素点属于训练目标检测对象的关系度进行轮廓提取得到训练目标检测对象显著区域。具体地,可先对训练样本预测图进行二值化,得到训练样本二值化预测图,然后采用图像开运算对训练样本二值化预测图进行处理,得到处理后的训练样本二值化预测图,最后可根据处理后的训练样本二值化预测图进行轮廓提取,得到训练目标检测对象显著区域。这里的训练目标检测对象显著区域是训练目标检测对象疑似区域,并不是训练目标检测对象的准确区域,后续还需要通过对象分类模型根据训练目标检测对象显著区域预测得到训练目标检测对象的准确区域。
其中,根据处理后的训练样本二值化预测图进行轮廓提取,得到训练目标检测对象显著区域具体可以是将训练样本二值化预测图中显示为1的区域划分为训练目标检测对象显著区域,因此最后根据关系度进行轮廓提取得到多个训练目标检测对象显著区域。
步骤908,根据训练目标检测对象显著区域从训练样本预测图中确定多个不同尺度的训练显著区域子图。
其中,根据训练样本预测图中描述训练样本图像中各个像素点属于训练目标检测对象的关系度进行轮廓提取得到多个训练目标检测对象显著区域,根据各个训练目标检测对象显著区域从训练样本预测图中确定对应的多个不同尺度的训练显著区域子图。也就是说,各个训练目标检测对象显著区域都对应多个不同尺度的训练显著区域子图,而各个不同尺度的训练显著区域子图中都包括训练目标检测对象显著区域,但各个不同尺度的训练显著区域子图中还包括其他背景因素,这里的背景因素是指除了训练目标检测对象显著区域中的像素点之外的其他像素点。
其中,根据各个训练目标检测对象显著区域从训练样本预测图中确定对应的多个不同尺度的训练显著区域子图,具体可以是,先根据各个训练目标检测对象显著区域的大小确定训练基础裁剪区域范围,再根据训练基础裁剪区域范围从训练样本预测图中裁剪得到训练基础显著区域子图。进一步地根据训练基础裁剪区域范围确定多个不同尺度的训练目标裁剪区域范围,其中,各个不同尺度的训练目标裁剪区域范围可以是训练基础显著区域子图的预设倍数,预设倍数可根据实际业务需求进行调整或者设置。最后,在得到各个不同尺度的训练目标裁剪区域范围后,根据训练目标裁剪区域范围从训练样本预测图中裁剪得到多个不同尺度的训练目标显著区域子图,再将训练基础显著区域子图和多个不同尺度的训练目标显著区域子图组成多个不同尺度的训练显著区域子图。其中,如图4所示的3张不同尺度的显著区域子图也可以为3张不同尺度的训练显著区域子图。
步骤910,根据标准轮廓区域和训练显著区域子图进行比较,确定各个训练显著区域子图对应的类别标签,类别标签包括正样本训练显著区域子图和负样本训练显著区域子图。
具体地,在得到各个训练目标检测对象显著区域对应的多个不同尺度的训练显著区域子图后,将训练目标检测对象显著区域对应的训练显著区域子图和训练目标检测对象显著区域对应的标准轮廓区域进行比较,确定各个训练显著区域子图对应的类别标签。其中,具体可以是,在将训练目标检测对象显著区域对应的训练显著区域子图和训练目标检测对象显著区域对应的标准轮廓区域进行比较时,可以是以训练目标检测对象显著区域的某一张训练显著区域子图与对应的标准轮廓区域进行比较,若该训练显著区域子图和标准轮廓区域吻合时,则可确定该训练显著区域子图的类别标签为正样本训练显著区域子图,反之,则确定该训练显著区域子图的类别标签为负样本训练显著区域子图。其中,当确定该训练显著区域子图的类别标签后,该训练目标检测对象显著区域的其他尺度的训练显著区域子图也为该训练显著区域子图的类别标签。也就是说,训练目标检测对象显著区域的不同尺度的训练显著区域子图的类别标签都相同,若训练目标检测对象显著区域的某一种训练显著区域子图的类别标签为正样本训练显著区域子图,则训练目标检测对象显著区域的其他训练显著区域子图的类别标签也会正样本训练显著区域子图。
在一个医学应用场景中,正样本训练显著区域子图为阳性肿块疑似区域子图,负样本训练显著区域子图为阴性肿块疑似区域子图。阳性肿块疑似区域子图是指肿块疑似区域子图中有疾病,属于非正常情况,而阴性肿块疑似区域子图是指肿块疑似区域子图中没有任何疾病,属于正常情况。
步骤912,将各个训练显著区域子图输入至对象分类模型中的各个基本特征提取网络中,通过各个基本特征提取网络对训练显著区域子图进行特征提取,得到对应的训练样本对象基本特征图。
具体地,在根据训练目标检测对象显著区域从训练样本预测图中确定多个不同尺度的训练显著区域子图后,将各个训练显著区域子图输入至对象分类模型中的各个基本特征提取网络中,通过各个基本特征提取网络对训练显著区域子图进行特征提取,得到对应的训练样本对象基本特征图。对象分类模型的训练过程也可参考图4所示,图4所示的输入图像为某一训练目标检测对象显著区域的3张不同尺度的训练显著区域子图,将这3张不同尺度的训练显著区域子图输入至3个独立的基本特征提取网络,这3个基本特征提取网络都存在相同的网络结构,但是模型参数相互独立。进一步地,各个基本特征提取网络对输入的训练显著区域子图进行特征提取,得到对应的训练样本对象基本特征图。
步骤914,将训练样本对象基本特征图输入至与基本特征提取网络对应的训练样本对象分割网络,根据训练样本对象分割网络输出的训练样本对象轮廓分割结果和训练显著区域子图计算得到训练样本对象分割损失值。
其中,在训练过程中,对象分类模型的训练样本对象分割网络是需要用来进行训练的,而已训练好的对象分类模型在使用过程中,对象分割网络则无需进行使用。具体地,将各个基本特征提取网络输出的训练样本对象基本特征图输入至与基本特征提取网络对应的训练样本对象分割网络,训练样本对象分割网络对输入的训练样本对象基本特征图进行轮廓分割,得到训练样本对象轮廓分割结果。其中,训练样本对象分割网络对输入的训练样本对象基本特征图进行轮廓分割具体可以是将训练样本对象基本特征图中的训练目标检测对象显著区域分割出来,作为训练样本对象轮廓分割结果。其中,训练样本对象分割网络分割处理的训练目标检测对象显著区域比根据训练关系度进行轮廓提取得到的训练目标检测对象显著区域的准确度高。
进一步地,根据训练样本对象分割网络的训练样本对象轮廓分割结果和训练显著区域子图计算得到训练样本对象分割损失值。具体可以是,将训练样本对象分割网络的训练样本对象轮廓分割结果和训练显著区域子图进行比较计算,得到训练样本对象分割损失值;或者是将训练样本对象分割网络的训练样本对象轮廓分割结果和训练显著区域子图进行加权计算,得到训练样本对象分割损失值;或者还可以是利用softmax函数将训练样本对象分割网络的训练样本对象轮廓分割结果和训练显著区域子图进行计算,得到训练样本对象分割损失值等。
步骤916,将训练样本对象基本特征图输入至与基本特征提取网络对应的辅助特征提取网络,根据辅助特征提取网络输出得到训练目标检测对象显著区域对应的预测标签与类别标签计算得到训练样本对象分类损失值。
具体地,将各个基本特征提取网络输出的训练样本对象基本特征图输入至对应的辅助特征提取网络中,辅助特征提取网络对输入的训练样本对象基本特征图进行特征提取,得到各个辅助特征提取网络输出的训练样本对象辅助特征图。进一步地,需要将各个辅助特征提取网络输出的训练样本对象辅助特征图进行叠加,得到各个训练目标检测对象显著区域对应的训练样本待分类特征图。再将各个训练目标检测对象显著区域对应的训练样本待分类特征图通过对象分类模型的训练对象分类子网络对其进行分类,得到各个训练目标检测对象显著区域对应的预测标签。其中,具体可以是,各个训练目标检测对象显著区域对应的训练样本待分类特征图通过分类器进行分类,得到对应的预测标签。例如,预测标签可以是正样本预测标签,或者负样本预测标签。
其中,由于训练目标检测对象显著区域对应的类别标签包括正样本训练显著区域子图和负样本训练显著区域子图,可根据辅助特征提取网络输出得到训练目标检测对象显著区域对应的预测标签与类别标签计算得到训练样本对象分类损失值。例如,若辅助特征提取网络输出得到训练目标检测对象显著区域对应的预测标签与类别标签相同,说明训练样本对象分类损失值越小,反之,则说明训练样本对象损失值越大。
步骤918,根据训练样本对象分割损失值和训练样本对象分类损失值确定对象分类模型的训练目标损失值,根据训练目标损失值对对象分类模型的模型参数进行调整,直至满足收敛条件,得到已训练的目标对象分类模型。
具体地,在得到训练样本对象分割损失值和训练样本对象分类损失值后,根据训练样本对象分割损失值和训练样本对象分类损失值确定对象模型的训练目标损失值,具体可以是将训练样本对象分割损失值和训练样本对象分类损失值进行加权计算,得到对象分类模型的训练目标损失值。或者还可以是将训练样本对象分割损失值和训练样本对象分类损失值进行均值计算,得到对象分类模型的训练目标损失值。紧接着,根据训练目标损失值对对象分类模型的模型参数进行调整,直至满足收敛条件,得到已训练的目标对象分类模型。其中,这里的收敛条件可根据实际需要进行调整或设置,例如,当训练目标损失值达到最小时,则可认为满足收敛条件;或者当训练目标损失值不再发生变化时,则可认为满足收敛条件。
在一个实施例中,如图10A所示,将训练样本对象基本特征图输入至与基本特征提取网络对应的训练样本对象分割网络,根据训练样本对象分割网络输出的训练样本对象轮廓分割结果和训练显著区域子图计算得到训练样本对象分割损失值,包括:
步骤1002,对象分类模型将各个基本特征提取网络提取出的训练样本对象基本特征图输入至对应的训练样本对象分割网络中,得到各个训练样本对象分割网络输出的轮廓预测分割结果。
其中,对象分类模型中各个基本特征提取网络输出对应的训练样本对象基本特征图后,将各个训练样本对象基本特征图输入至与各个基本特征提取网络对应的训练样本对象分割网络中,各个训练样本对象分割网络分别对输入的训练样本对象基本特征图进行分割,得到各个训练样本对象分割网络输出的轮廓预测分割结果。具体地,将各个基本特征提取网络输出的训练样本对象基本特征图输入至与基本特征提取网络对应的训练样本对象分割网络,训练样本对象分割网络对输入的训练样本对象基本特征图进行轮廓分割,得到轮廓预测分割结果。其中,训练样本对象分割网络对输入的训练样本对象基本特征图进行轮廓分割具体可以是将训练样本对象基本特征图中的训练目标检测对象显著区域分割出来,作为轮廓预测分割结果。
步骤1004,根据各个轮廓预测分割结果和对应的训练显著区域子图计算得到各个训练样本对象分割网络对应的训练样本对象预测分割损失值。
步骤1006,统计各个训练样本对象分割网络对应的训练样本对象预测分割损失值得到训练样本对象分割损失值。
具体地,根据各个训练样本对象分割网络的轮廓预测分割结果和训练显著区域子图计算得到训练样本对象分割损失值。具体可以是,将各个训练样本对象分割网络的轮廓预测结果和训练显著区域子图进行比较计算,得到各个训练样本对象分割网络对应的训练样本对象预测分割损失值。或者将各个训练样本对象分割网络的轮廓预测结果和训练显著区域子图进行加权计算,得到各个训练样本对象分割网络对应的训练样本对象预测分割损失值。或者还可以是利用softmax函数将各个训练样本对象分割网络的轮廓预测结果和训练显著区域子图进行计算,得到各个训练样本对象分割网络对应的训练样本对象预测分割损失值。
进一步地,在得到各个训练样本对象分割网络对应的训练样本对象预测分割损失值,可根据各个训练样本对象分割网络对应的训练样本对象预测分割损失值计算得到训练样本对象分割损失值。具体可以是,统计各个训练样本对象分割网络对应的训练样本对象预测分割损失值得到训练样本对象分割损失值。例如,将各个训练样本对象分割网络对应的训练样本对象预测分割损失值进行求和得到训练样本对象分割损失值。或者将各个训练样本对象分割网络对应的训练样本对象预测分割损失值进行均值计算,得到训练样本对象分割损失值。或者还可以是将各个训练样本对象分割网络对应的训练样本对象预测分割损失值进行加权求和,得到训练样本对象分割损失值等。
在一个实施例中,如图10B所示,步骤916即将训练样本对象基本特征图输入至与基本特征提取网络对应的辅助特征提取网络,根据辅助特征提取网络输出得到训练目标检测对象显著区域对应的预测标签与类别标签计算得到训练样本对象分类损失值,包括:
步骤916a,对象分类模型将各个基本特征提取网络提取出的训练样本对象基本特征图输入至对应的辅助特征提取网络中,得到各个辅助特征提取网络输出的训练样本对象辅助特征图。
步骤916b,根据各个辅助特征提取网络输出的训练样本对象辅助特征图生成训练目标检测对象显著区域的训练待分类特征图。
具体地,对象分类模型将基本特征提取网络输出的训练样本对象基本特征图输入至对应的辅助特征提取网络中,辅助特征提取网络对输入的训练样本对象基本特征图进行特征提取,得到各个辅助特征提取网络输出的训练样本对象辅助特征图。
进一步地,需要将各个辅助特征提取网络输出的训练样本对象辅助特征图进行叠加,得到各个训练目标检测对象显著区域对应的训练待分类特征图。
步骤916c,将训练待分类特征图输入至对象分类模型中的训练对象分类子网络中,得到训练目标检测对象显著区域对应的预测标签。
步骤916d,根据预测标签和类别标签计算得到对应的训练样本对象分类损失值。
具体地,将各个训练目标检测对象显著区域对应的训练待分类特征图通过对象分类模型的训练对象分类子网络对其进行分类,得到各个训练目标检测对象显著区域对应的预测标签。其中,具体可以是,各个训练目标检测对象显著区域对应的训练待分类特征图通过分类器进行分类,得到对应的预测标签。例如,预测标签可以是正样本预测标签,或者负样本预测标签。
其中,由于训练目标检测对象显著区域对应的类别标签包括正样本训练显著区域子图和负样本训练显著区域子图,可根据辅助特征提取网络输出得到训练目标检测对象显著区域对应的预测标签与类别标签计算得到训练样本对象分类损失值。例如,若辅助特征提取网络输出得到训练目标检测对象显著区域对应的预测标签与类别标签相同,说明训练样本对象分类损失值越小,反之,则说明训练样本对象损失值越大。
在一个实施例中,目标对象分类模型包括多个特征提取子网络和对象分类子网络,各个特征提取子网络包括分别对应的基本特征提取网络、辅助特征提取网络和对象分割网络,辅助特征提取网络包括卷积层网络、上采样层网络、池化层网络、正则化层网络中的至少一种,各个特征提取子网络存在相同的网络结构、模型参数相互独立。
其中,目标对象分类模型的网络结构可如图4所示,图4中的目标对象分类模型的网络结构包括但不限于多个特征提取子网络和对象分类子网络,各个特征提取子网络包括但不限于一一对应的基本特征提取网络、辅助特征提取网络和对象分割网络。也就是说,一个特征提取子网络包括基本特征提取网络、与基本特征提取网络连接的辅助特征提取网络和与基本特征提取网络连接的对象分割网络。其中,辅助提取网络包括卷积层网络、上采样层网络、池化层网络、正则化层网络中的至少一种,各个特征提取子网络存在相同的网络结构、模型参数相互独立。其中,目标对象分类模型将不同尺度的显著区域子图输入至不同的基本特征提取网络中,是因为基本特征提取网络处理对应的显著区域子图的效果更佳,更适合该基本特征提取网络的模型参数提取对应的显著区域子图的特征信息更加合适,和提取出来的特征信息更加准确。
在一个具体的实施例中,提供了一种对象检测方法,具体包括以下步骤:
1、获取训练样本图像集,训练样本图像集中的训练样本图像包括训练目标检测对象的标准轮廓区域。
2、将训练样本图像集中的训练样本图像输入至对象检测模型中,得到对应的训练样本预测图。
3、根据训练样本预测图和标准轮廓区域计算得到训练损失值,根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。
4、获取训练样本图像集,训练样本图像集中的训练样本图像包括训练目标检测对象的标准轮廓区域。
5、将训练样本图像集中的训练样本图像输入至目标对象检测模型中,得到对应的训练样本预测图。
6、根据训练样本预测图获取训练样本图像的各个像素点属于训练目标检测对象的训练关系度,根据训练关系度进行轮廓提取得到训练目标检测对象显著区域。
7、根据训练目标检测对象显著区域从训练样本预测图中确定多个不同尺度的训练显著区域子图。
8、根据标准轮廓区域和训练显著区域子图进行比较,确定各个训练显著区域子图对应的类别标签,类别标签包括正样本训练显著区域子图和负样本训练显著区域子图。
9、将各个训练显著区域子图输入至对象分类模型中的各个基本特征提取网络中,通过各个基本特征提取网络对训练显著区域子图进行特征提取,得到对应的训练样本对象基本特征图。
10、将训练样本对象基本特征图输入至与基本特征提取网络对应的训练样本对象分割网络,根据训练样本对象分割网络输出的训练样本对象轮廓分割结果和训练显著区域子图计算得到训练样本对象分割损失值。
10-1、对象分类模型将各个基本特征提取网络提取出的训练样本对象基本特征图输入至对应的训练样本对象分割网络中,得到各个训练样本对象分割网络输出的轮廓预测分割结果。
10-2、根据各个轮廓预测分割结果和对应的训练显著区域子图计算得到各个训练样本对象分割网络对应的训练样本对象预测分割损失值。
10-3、统计各个训练样本对象分割网络对应的训练样本对象预测分割损失值得到训练样本对象分割损失值。
11、将训练样本对象基本特征图输入至与基本特征提取网络对应的辅助特征提取网络,根据辅助特征提取网络输出得到训练目标检测对象显著区域对应的预测标签与类别标签计算得到训练样本对象分类损失值。
11-1、对象分类模型将各个基本特征提取网络提取出的训练样本对象基本特征图输入至对应的辅助特征提取网络中,得到各个辅助特征提取网络输出的训练样本对象辅助特征图。
11-2、根据各个辅助特征提取网络输出的训练样本对象辅助特征图生成训练目标检测对象显著区域的训练待分类特征图。
11-3、将训练待分类特征图输入至对象分类模型中的训练对象分类子网络中,得到训练目标检测对象显著区域对应的预测标签。
11-4、根据预测标签和类别标签计算得到对应的训练样本对象分类损失值。
12、根据训练样本对象分割损失值和训练样本对象分类损失值确定对象分类模型的训练目标损失值,根据训练目标损失值对对象分类模型的模型参数进行调整,直至满足收敛条件,得到已训练的目标对象分类模型。
13、获取待检测图像。
14、将待检测图像输入至目标对象检测模型中,得到待检测图像对应的预测图。
14-1、目标对象检测模型通过编码层网络对待检测图像进行编码压缩,得到对象状态特征信息。
14-2、目标对象检测模型将对象状态特征信息输入至解码层网络,通过编码层网络对对象状态特征信息进行解码运算,得到待检测图像的各个像素点属于目标检测对象的关系度组成预测图。
15、根据预测图获取待检测图像的各个像素点属于目标检测对象的关系度,根据关系度进行轮廓提取得到目标检测对象显著区域。
15-1、根据关系度对预测图进行二值化得到对应的二值化预测图。
15-2、根据二值化预测图进行轮廓提取得到多个目标检测对象显著区域。
16、根据目标检测对象显著区域从预测图中确定多个不同尺度的显著区域子图。
16-1、根据目标检测对象显著区域的大小确定基础裁剪区域范围,根据基础裁剪区域范围从预测图中裁剪得到基础显著区域子图。
16-2、根据基础裁剪区域范围确定多个不同尺度的目标裁剪区域范围,根据目标裁剪区域范围从预测图中裁剪得到多个不同尺度的目标显著区域子图。
16-3、将基础显著区域子图和目标显著区域子图组成多个不同尺度的显著区域子图。
17、将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到待检测图像中的目标检测对象预测区域。
17-1、目标对象分类模型将各个显著区域子图输入至对应的基本特征提取网络,基本特征提取网络对显著区域子图进行特征提取,得到对应的第一显著区域特征图。
17-2、目标对象分类模型将各个第一显著区域特征图输入至与基本特征提取网络对应的辅助特征提取网络,辅助特征提取网络对第一显著区域特征图提取得到第二显著区域特征图。
17-3、根据各个辅助特征提取网络输出的第二显著区域特征图生成目标检测对象显著区域对应的待目标检测对象分类图。
17-4、将待目标检测对象分类图输入至目标对象分类模型中的对象分类子网络中,通过对象分类子网络对各个待目标检测对象分类图进行分类,得到待检测图像中的目标检测对象预测区域。
在一个钼靶图像中检测肿块的应用场景中,如图4所示,将钼靶图像作为待检测图像,输入至目标对象检测模型中,在目标对象检测模型中,编码器使用卷积层对输入的钼靶图像进行编码压缩,提取维度更低的特征图;解码器使用反卷积层和上采样层对特征图进行解码运算,输出图像原尺寸的空间密度估计(即预测图)。为了提升像素级密度估计的准确性,即提高预测图的准确性,目标对象检测模型还使用了跳跃连接的方式将编码器中的低层特征图融合到解码器中。这种目标对象检测模型的网咯结构可以获取到非线性的、局部到全局的特征映射,融合了低层的视觉特征和高层的语义信息。目标对象检测模型的输出预测图给出了钼靶图像中每个像素属于肿块病灶的概率值,同时预测图还显式地展现了肿块病灶的显著区域。
进一步地,对预测图使用阈值进行二值化处理,可以得到显著区域的轮廓。为了抑制噪声,可采用图像开运算滤除孤立的噪点。对每一个显著区域,可使用不同尺度的正方形边界框进行裁剪,例如边长249像素、299像素和349像素。考虑到大多数显著区域超出249像素的长度,对于这种情况,可使用紧凑的边界框裁剪第一个尺度的子图,然后分别1.2和1.4倍的边长裁剪第二个和第三个子图。为了便于后续的目标对象分类模型的处理,通过图像压缩调整这三个子图的分辨率到249像素、299像素和349像素。对于小于249像素的显著区域,可直接使用边长249像素、299像素和349像素的正方形边界框进行裁剪,这样可以避免图像的插值运算(因为插值运算会引入非真实像素)。最后,采用非最大值抑制方法对重叠过多的冗余子图进行过滤,滤除重复的显著区域子图。
最后,将各个显著区域对应的不同尺度的显著区域子图输入至目标对象分类模型中,目标对象分类模型集成疑似病灶的多尺度显著区域子图的特征,同时执行分类和分割任务。具体地,通过各个基本特征提取网络对输入对应的显著区域子图进行简单的特征提取,得到对应的第一特征图,将输出的第一特征图输入至对应的辅助特征提取网络,得到各个辅助特征提取网络输出的第二特征图,将各个辅助特征提取网络输出的第二特征图进行整合,得到各个显著区域子图对应的待分类特征图。最后,通过目标对象分类模型中的对象分类子网络对各个显著区域子图对应的待分类特征图进行分类,得到钼靶图像中各个肿块病灶所在的具体区域。
在一个实施例中,如图11A所示,提供了一种对象检测方法。本实施例主要以该方法应用于上述图1中的终端110或服务器120来举例说明。参照图2,该对象检测方法具体包括如下步骤:
步骤1102,获取钼靶图像。
其中,钼靶图像是指通过医学设备(如X线)拍摄的黑白影像,医学设备包括但不限于钼靶图像采集器,如钼靶X线机等。在具体的实际应用场景中,可通过钼靶图像得知目标检测对象的具体所在的位置,而在实际应用场景中,钼靶图像中的目标检测对象可以是但不限于肿块。其中,钼靶图像中的目标检测对象显著区域为肿块疑似区域,肿块疑似区域是指怀疑肿块所在的区域,其中,肿块疑似区域并不是肿块准确的位置,还需要后续的处理来通过肿块疑似区域找到肿块具体的位置。
步骤1104,将钼靶图像输入至目标对象检测模型中,得到钼靶图像对应的概率图。步骤1106,根据概率图获取钼靶图像的各个像素点属于肿块的概率,根据概率进行轮廓提取得到肿块疑似区域。
具体地,将获取到的钼靶图像输入至目标对象检测模型,目标对象检测模型包括但不限于编码层网络和解码层网络,目标对象检测模型通过编码层网络对钼靶图像进行编码压缩,提取得到维度更低的低层语义特征图,再通过解码层网络对低层语义特征图进行解码运算,输出与钼靶图像原尺寸相同的概率图。而概率图是描述钼靶图像的各个像素点属于肿块的概率,可根据概率图描述的各个像素点对应的概率进行轮廓提取得到肿块疑似区域。
其中,在通过目标对象检测模型得到对应的概率图后,根据概率图描述钼靶图像的各个像素点属于肿块的概率,可对概率图进行二值化处理,再根据二值化处理结果进行轮廓提取,得到肿块疑似区域。其中,肿块疑似区域是指怀疑肿块在钼靶图像所在的区域,而肿块在钼靶图像中具体区域需要后续根据肿块疑似区域进行确定。例如,根据概率图描述钼靶图像中各个像素点属于肿块的概率进行二值化处理具体可以是,获取预设二值化阈值,根据预设二值化阈值对概率图进行二值化,如将概率大于预设二值化阈值的像素点二值化为1,反之为0。进一步可再将二值化为1的像素点进行轮廓提取得到肿块疑似区域。
步骤1108,根据肿块疑似区域从概率图中确定多个不同尺度的显著区域子图。
其中,根据概率图中描述钼靶图像中各个像素点属于肿块的概率进行轮廓提取得到多个肿块疑似区域,根据各个肿块疑似区域从概率图中确定对应的多个不同尺度的显著区域子图。也就是说,各个肿块疑似区域都对应多个不同尺度的显著区域子图,而各个不同尺度的显著区域子图中都包括肿块疑似区域,但各个不同尺度的显著区域子图中还包括其他背景因素,这里的背景因素是指除了肿块疑似区域中的像素点之外的其他像素点。
其中,根据各个肿块疑似区域从概率图中确定对应的多个不同尺度的显著区域子图,具体可以是,先根据各个肿块疑似区域的大小确定基础裁剪区域范围,再根据基础裁剪区域范围从概率图中裁剪得到基础显著区域子图。进一步地根据基础裁剪区域范围确定多个不同尺度的目标裁剪区域范围,其中,各个不同尺度的目标裁剪区域范围可以是基础显著区域子图的预设倍数,预设倍数可根据实际业务需求进行调整或者设置。最后,在得到各个不同尺度的目标裁剪区域范围后,根据目标裁剪区域范围从概率图中裁剪得到多个不同尺度的目标显著区域子图,再将基础显著区域子图和多个不同尺度的目标显著区域子图组成多个不同尺度的显著区域子图。
步骤1110,将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到钼靶图像中的肿块预测区域。
其中,目标对象分类模型是用来检测钼靶图像中各个肿块具体所在的区域的网络模型。这里的目标对象分类模型是已训练好的网络模型,可直接用来检测钼靶图像中各个肿块具体所在的区域。其中,目标对象分类模型的输出结果就是钼靶图像中肿块所在的准确区域。目标对象分类模型包括多个特征提取网络子网络和对象分类子网络,其中特征提取网络是用来提取显著区域子图特征的网络,而对象分类子网络是用来对特征提取网络提取出的待肿块分类图进行分类从而得到肿块预测区域的网络。
其中,各个特征提取子网络包括但不限于分别对应的基础特征提取网络、辅助特征提取网络,其中,基础特征提取网络和辅助特征提取网络都用来提取显著区域子图的特征的网络,基础特征提取网络和辅助特征提取网络是一一对应的关系,由于基础特征提取网络和辅助特征提取网络的网络模型参数不同,则基础特征提取网络和辅助特征提取网络输出的特征图也是不同的。具体地,目标对象分类模型将各个显著区域子图输入至对应的特征提取子网络,特征提取子网络将输入的显著区域子图输入至基础特征提取网络,通过基础特征提取网络对输入的显著区域子图进行特征提取,得到第一显著区域子图特征图。特征提取子网络再将第一显著区域子图输入至与基础特征提取网络对应的辅助特征提取网络,通过辅助特征提取网络对第一显著区域子图进行特征提取,得到第二显著区域子图。其中,在得到各个辅助特征提取网络输出的第二显著区域子图后,根据各个辅助特征提取网络输出的第二显著区域子图生成肿块疑似区域对应的待肿块分类图。最后,目标对象分类模型将待肿块分类图输入至对象分类子网络中,通过对象分类子网络对待肿块分类图进行分类,得到钼靶图像中的肿块预测区域。其中,这里的肿块预测区域是钼靶图像中肿块所在的具体区域,是准确的。
在一个实施例中,如图11B所示,提供了一种对象检测系统,包括:
钼靶图像采集器11Ba,用于获取钼靶图像。
其中,钼靶图像采集器是用来采集钼靶图像的设备,如钼靶X线机等。而钼靶图像是指通过医学设备(如X线)拍摄的黑白影像。具体地,可通过钼靶图像采集器11Ba获取钼靶图像。
存储器11Bb,存储器中存储有计算机可读指令。
处理器11Bc,计算机可读指令被处理器执行时,使得处理器执行以下步骤:将钼靶图像输入至目标对象检测模型中,得到钼靶图像对应的概率图;根据概率图获取钼靶图像的各个像素点属于肿块的概率,根据概率进行轮廓提取得到肿块疑似区域;根据肿块疑似区域从概率图中确定多个不同尺度的显著区域子图;将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到钼靶图像中的肿块预测区域。
显示器11Bd,用于显示钼靶图像中的肿块预测区域。
具体地,对象检测系统可以包括钼靶图像采集器11Ba、存储器11Bb、处理器11Bc和显示器11Bd。钼靶图像采集器11Ba将采集到的钼靶图像发送至存储器11Bb,存储器中存储有计算机可读指令,计算机可读指令被处理器11Bc执行时,使得处理器11Bc执行以下步骤:将钼靶图像输入至目标对象检测模型中,得到钼靶图像对应的概率图,根据概率图获取钼靶图像的各个像素点属于肿块的概率,根据概率进行轮廓提取得到肿块疑似区域,根据肿块疑似区域从概率图中确定多个不同尺度的显著区域子图,将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到钼靶图像中的肿块预测区域。最后,这些钼靶图像可以在显示器11Bd上显示,即在显示器11Bd上的钼靶图像中标注出肿块预测区域,肿块预测区域为钼靶图像中肿块所在的具体区域。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图12所示,提供了一种对象检测装置1200,该装置包括:
待检测图像获取模块1202,用于获取待检测图像。
目标对象检测模型检测模块1204,用于将待检测图像输入至目标对象检测模型中,得到待检测图像对应的预测图。
目标检测对象轮廓提取模块1206,用于根据预测图获取待检测图像的各个像素点属于目标检测对象的关系度,根据关系度进行轮廓提取得到目标检测对象显著区域。
显著区域子图确定模块1208,用于根据目标检测对象显著区域从预测图中确定多个不同尺度的显著区域子图。
目标对象分类模型处理模块1210,用于将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到待检测图像中的目标检测对象预测区域。
在一个实施例中,如图13所示,目标对象检测模型检测模块1204包括:
待检测图像编码压缩单元1204a,用于对象检测模型通过编码层网络对待检测图像进行编码压缩,得到对象状态特征信息。
对象状态特征信息解码运算单元1204b,用于对象检测模型将对象状态特征信息输入至解码层网络,通过编码层网络对对象状态特征信息进行解码运算,得到待检测图像的各个像素点属于目标检测对象的关系度组成预测图。
在一个实施例中,如图14所示,目标检测对象轮廓提取模块1206包括:
预测图二值化单元1206a,用于根据关系度对预测图进行二值化得到对应的二值化预测图。
预测图轮廓提取单元1206b,用于根据二值化预测图进行轮廓提取得到多个目标检测对象显著区域。
在一个实施例中,如图15所示,显著区域子图确定模块1208包括:
基础裁剪区域范围确定单元1208a,用于根据目标检测对象显著区域的大小确定基础裁剪区域范围,根据基础裁剪区域范围从预测图中裁剪得到基础显著区域子图。
目标裁剪区域范围确定单元1208b,用于根据基础裁剪区域范围确定多个不同尺度的目标裁剪区域范围,根据目标裁剪区域范围从预测图中裁剪得到多个不同尺度的目标显著区域子图。
显著区域子图确定单元1208c,用于将基础显著区域子图和目标显著区域子图组成多个不同尺度的显著区域子图。
在一个实施例中,如图16所示,目标对象分类模型处理模块1210包括:
第一显著区域特征图生成单元1210a,用于目标对象分类模型将各个显著区域子图输入至对应的基本特征提取网络,基本特征提取网络对显著区域子图进行特征提取,得到对应的第一显著区域特征图。
第二显著区域特征图生成单元1210b,用于目标对象分类模型将各个第一显著区域特征图输入至与基本特征提取网络对应的辅助特征提取网络,辅助特征提取网络对第一显著区域特征图提取得到第二显著区域特征图。
待目标检测对象分类图生成单元1210c,用于根据各个辅助特征提取网络输出的第二显著区域特征图生成目标检测对象显著区域对应的待目标检测对象分类图。
目标检测对象预测区域生成单元1210d,用于将待目标检测对象分类图输入至目标对象分类模型中的对象分类子网络中,通过对象分类子网络对各个待目标检测对象分类图进行分类,得到待检测图像中的目标检测对象预测区域。
在一个实施例中,如图17所示,对象检测装置1200还包括:
训练样本图像集获取模块1702,用于获取训练样本图像集,训练样本图像集中的训练样本图像包括训练目标检测对象的标准轮廓区域。
训练样本预测图生成模块1704,用于将训练样本图像集中的训练样本图像输入至对象检测模型中,得到对应的训练样本预测图。
对象检测模型训练模块1706,用于根据训练样本预测图和标准轮廓区域计算得到训练损失值,根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。
在一个实施例中,如图18所示,对象检测装置1200还包括:
训练样本图像集获取模块1802,用于获取训练样本图像集,训练样本图像集中的训练样本图像包括训练目标检测对象的标准轮廓区域。
训练样本预测图1804,用于将训练样本图像集中的训练样本图像输入至目标对象检测模型中,得到对应的训练样本预测图。
目标检测对象显著区域提取模块1806,用于根据训练样本预测图获取训练样本图像的各个像素点属于训练目标检测对象的训练关系度,根据训练关系度进行轮廓提取得到训练目标检测对象显著区域。
训练显著区域子图确定模块1808,用于根据训练目标检测对象显著区域从训练样本预测图中确定多个不同尺度的训练显著区域子图。
训练显著区域子图对比模块1810,用于根据标准轮廓区域和训练显著区域子图进行比较,确定各个训练显著区域子图对应的类别标签,类别标签包括正样本训练显著区域子图和负样本训练显著区域子图。
基本特征提取网络处理模块1812,用于将各个训练显著区域子图输入至对象分类模型中的各个基本特征提取网络中,通过各个基本特征提取网络对训练显著区域子图进行特征提取,得到对应的训练样本对象基本特征图。
训练样本对象分割网络处理模块1814,用于将训练样本对象基本特征图输入至与基本特征提取网络对应的训练样本对象分割网络,根据训练样本对象分割网络输出的训练样本对象轮廓分割结果和训练显著区域子图计算得到训练样本对象分割损失值。
辅助特征提取网络处理模块1816,用于将训练样本对象基本特征图输入至与基本特征提取网络对应的辅助特征提取网络,根据辅助特征提取网络输出得到训练目标检测对象显著区域对应的预测标签与类别标签计算得到训练样本对象分类损失值。
对象分类模型训练模块1818,用于根据训练样本对象分割损失值和训练样本对象分类损失值确定对象分类模型的训练目标损失值,根据训练目标损失值对对象分类模型的模型参数进行调整,直至满足收敛条件,得到已训练的目标对象分类模型。
在一个实施例中,训练样本对象分割网络处理模块1814还用于对象分类模型将各个基本特征提取网络提取出的训练样本对象基本特征图输入至对应的训练样本对象分割网络中,得到各个训练样本对象分割网络输出的轮廓预测分割结果;根据各个轮廓预测分割结果和对应的训练显著区域子图计算得到各个训练样本对象分割网络对应的训练样本对象预测分割损失值;统计各个训练样本对象分割网络对应的训练样本对象预测分割损失值得到训练样本对象分割损失值。
在一个实施例中,辅助特征提取网络处理模块1816还用于对象分类模型将各个基本特征提取网络提取出的训练样本对象基本特征图输入至对应的辅助特征提取网络中,得到各个辅助特征提取网络输出的训练样本对象辅助特征图;根据各个辅助特征提取网络输出的训练样本对象辅助特征图生成训练目标检测对象显著区域的训练待分类特征图;将训练待分类特征图输入至对象分类模型中的训练对象分类子网络中,得到训练目标检测对象显著区域对应的预测标签;根据预测标签和类别标签计算得到对应的训练样本对象分类损失值。
图19示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110或服务器120。如图19所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现对象检测方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行对象检测方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。应当说明的是,若计算机设备具体为服务器120时,则计算机设备不包括显示屏。
本领域技术人员可以理解,图19中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的对象检测装置可以实现为一种计算机程序的形式,计算机程序可在如图19所示的计算机设备上运行。计算机设备的存储器中可存储组成该对象检测装置的各个程序模块,比如,图12所示的待检测图像获取模块、目标对象检测模型检测模块、目标检测对象轮廓提取模块、显著区域子图确定模块和目标对象分类模型处理模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的对象检测方法中的步骤。
例如,图19所示的计算机设备可以通过如图12所示的对象检测装置中的待检测图像获取模块执行获取待检测图像;目标对象检测模型检测模块执行将待检测图像输入至目标对象检测模型中,得到待检测图像对应的预测图;目标检测对象轮廓提取模块执行根据预测图获取待检测图像的各个像素点属于目标检测对象的关系度,根据关系度进行轮廓提取得到目标检测对象显著区域;显著区域子图确定模块执行根据目标检测对象显著区域从预测图中确定多个不同尺度的显著区域子图;目标对象分类模型处理模块执行将各个显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到待检测图像中的目标检测对象预测区域。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述对象检测方法的步骤。此处对象检测方法的步骤可以是上述各个实施例的对象检测方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述对象检测方法的步骤。此处对象检测方法的步骤可以是上述各个实施例的对象检测方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种对象检测方法,包括:
获取待检测图像;
将所述待检测图像输入至目标对象检测模型中,得到所述待检测图像对应的预测图;
根据所述预测图获取所述待检测图像的各个像素点属于目标检测对象的关系度,根据所述关系度进行轮廓提取得到目标检测对象显著区域;
根据所述目标检测对象显著区域从所述预测图中确定多个不同尺度的显著区域子图;
将各个所述显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到所述待检测图像中的目标检测对象预测区域。
2.根据权利要求1所述的方法,其特征在于,所述目标对象检测模型包括编码层网络和解码层网络,所述将所述待检测图像输入至目标对象检测模型中,得到所述待检测图像对应的预测图,包括:
所述目标对象检测模型通过所述编码层网络对所述待检测图像进行编码压缩,得到对象状态特征信息;
所述目标对象检测模型将所述对象状态特征信息输入至所述解码层网络,通过所述编码层网络对所述对象状态特征信息进行解码运算,得到所述待检测图像的各个像素点属于目标检测对象的关系度组成所述预测图。
3.根据权利要求1所述的方法,其特征在于,所述根据所述预测图获取所述待检测图像的各个像素点属于目标检测对象的关系度,根据所述关系度进行轮廓提取得到目标检测对象显著区域,包括:
根据所述关系度对所述预测图进行二值化得到对应的二值化预测图;
根据所述二值化预测图进行轮廓提取得到多个目标检测对象显著区域。
4.根据权利要求1所述的方法,其特征在于,所述根据所述目标检测对象显著区域从所述预测图确定多个不同尺度的显著区域子图,包括:
根据所述目标检测对象显著区域的大小确定基础裁剪区域范围,根据所述基础裁剪区域范围从所述预测图中裁剪得到基础显著区域子图;
根据所述基础裁剪区域范围确定多个不同尺度的目标裁剪区域范围,根据所述目标裁剪区域范围从所述预测图中裁剪得到多个不同尺度的目标显著区域子图;
将所述基础显著区域子图和所述目标显著区域子图组成所述多个不同尺度的显著区域子图。
5.根据权利要求1所述的方法,其特征在于,所述特征提取子网络包括基本特征提取网络和辅助特征提取网络,所述将各个所述显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到所述待检测图像中的目标检测对象预测区域,包括:
所述目标对象分类模型将各个所述显著区域子图输入至对应的所述基本特征提取网络,所述基本特征提取网络对所述显著区域子图进行特征提取,得到对应的第一显著区域特征图;
所述目标对象分类模型将各个所述第一显著区域特征图输入至与所述基本特征提取网络对应的所述辅助特征提取网络,所述辅助特征提取网络对所述第一显著区域特征图提取得到第二显著区域特征图;
根据各个所述辅助特征提取网络输出的第二显著区域特征图生成所述目标检测对象显著区域对应的待目标检测对象分类图;
将所述待目标检测对象分类图输入至所述目标对象分类模型中的对象分类子网络中,通过所述对象分类子网络对各个所述待目标检测对象分类图进行分类,得到所述待检测图像中的目标检测对象预测区域。
6.根据权利要求1所述的方法,其特征在于,所述目标对象检测模型的训练步骤包括:
获取训练样本图像集,所述训练样本图像集中的训练样本图像包括训练目标检测对象的标准轮廓区域;
将所述训练样本图像集中的所述训练样本图像输入至对象检测模型中,得到对应的训练样本预测图;
根据所述训练样本预测图和所述标准轮廓区域计算得到训练损失值,根据所述训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。
7.根据权利要求1所述的方法,其特征在于,所述目标对象分类模型的训练步骤包括:
获取训练样本图像集,所述训练样本图像集中的训练样本图像包括训练目标检测对象的标准轮廓区域;
将所述训练样本图像集中的所述训练样本图像输入至目标对象检测模型中,得到对应的训练样本预测图;
根据所述训练样本预测图获取所述训练样本图像的各个像素点属于训练目标检测对象的训练关系度,根据所述训练关系度进行轮廓提取得到训练目标检测对象显著区域;
根据所述训练目标检测对象显著区域从训练样本预测图中确定多个不同尺度的训练显著区域子图;
根据所述标准轮廓区域和所述训练显著区域子图进行比较,确定各个所述训练显著区域子图对应的类别标签,所述类别标签包括正样本训练显著区域子图和负样本训练显著区域子图;
将各个所述训练显著区域子图输入至对象分类模型中的各个基本特征提取网络中,通过各个所述基本特征提取网络对所述训练显著区域子图进行特征提取,得到对应的训练样本对象基本特征图;
将所述训练样本对象基本特征图输入至与所述基本特征提取网络对应的训练样本对象分割网络,根据所述训练样本对象分割网络输出的训练样本对象轮廓分割结果和所述训练显著区域子图计算得到训练样本对象分割损失值;
将所述训练样本对象基本特征图输入至与所述基本特征提取网络对应的辅助特征提取网络,根据所述辅助特征提取网络输出得到所述训练目标检测对象显著区域对应的预测标签与所述类别标签计算得到训练样本对象分类损失值;
根据所述训练样本对象分割损失值和所述训练样本对象分类损失值确定所述对象分类模型的训练目标损失值,根据所述训练目标损失值对所述对象分类模型的模型参数进行调整,直至满足收敛条件,得到已训练的目标对象分类模型。
8.根据权利要求7所述的方法,其特征在于,所述将所述训练样本对象基本特征图输入至与所述基本特征提取网络对应的训练样本对象分割网络,根据所述训练样本对象分割网络输出的训练样本对象轮廓分割结果和所述训练显著区域子图计算得到训练样本对象分割损失值,包括:
所述对象分类模型将各个所述基本特征提取网络提取出的所述训练样本对象基本特征图输入至对应的训练样本对象分割网络中,得到各个所述训练样本对象分割网络输出的轮廓预测分割结果;
根据各个所述轮廓预测分割结果和对应的所述训练显著区域子图计算得到各个所述训练样本对象分割网络对应的训练样本对象预测分割损失值;
统计各个所述训练样本对象分割网络对应的训练样本对象预测分割损失值得到训练样本对象分割损失值。
9.根据权利要求7所述的方法,其特征在于,所述将所述训练样本对象基本特征图输入至与所述基本特征提取网络对应的辅助特征提取网络,根据所述辅助特征提取网络输出得到所述训练目标检测对象显著区域对应的预测标签与所述类别标签计算得到训练样本对象分类损失值,包括:
所述对象分类模型将各个所述基本特征提取网络提取出的所述训练样本对象基本特征图输入至对应的辅助特征提取网络中,得到各个所述辅助特征提取网络输出的训练样本对象辅助特征图;
根据各个所述辅助特征提取网络输出的训练样本对象辅助特征图生成训练目标检测对象显著区域的训练待分类特征图;
将所述训练待分类特征图输入至所述对象分类模型中的训练对象分类子网络中,得到所述训练目标检测对象显著区域对应的预测标签;
根据所述预测标签和所述类别标签计算得到对应的训练样本对象分类损失值。
10.根据权利要求1所述的方法,其特征在于,所述目标对象分类模型包括多个特征提取子网络和对象分类子网络,各个所述特征提取子网络包括分别对应的基本特征提取网络、辅助特征提取网络和对象分割网络,所述辅助特征提取网络包括卷积层网络、上采样层网络、池化层网络、正则化层网络中的至少一种,所述各个所述特征提取子网络存在相同的网络结构、模型参数相互独立。
11.一种对象检测方法,包括:
获取钼靶图像;
将所述钼靶图像输入至目标对象检测模型中,得到所述钼靶图像对应的概率图;
根据所述概率图获取所述钼靶图像的各个像素点属于肿块的概率,根据所述概率进行轮廓提取得到肿块疑似区域;
根据所述肿块疑似区域从所述概率图中确定多个不同尺度的显著区域子图;
将各个所述显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到所述钼靶图像中的肿块预测区域。
12.一种对象检测系统,其特征在于,所述系统包括:
钼靶图像采集器,用于获取钼靶图像;
存储器,所述存储器中存储有计算机可读指令;
处理器,所述计算机可读指令被所述处理器执行时,使得所述处理器执行以下步骤:将所述钼靶图像输入至目标对象检测模型中,得到所述钼靶图像对应的概率图;根据所述概率图获取所述钼靶图像的各个像素点属于肿块的概率,根据所述概率进行轮廓提取得到肿块疑似区域;根据所述肿块疑似区域从所述概率图中确定多个不同尺度的显著区域子图;将各个所述显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到所述钼靶图像中的肿块预测区域;
显示器,用于显示所述钼靶图像中的所述肿块预测区域。
13.一种对象检测装置,其特征在于,所述装置包括:
待检测图像获取模块,用于获取待检测图像;
目标对象检测模型检测模块,用于将所述待检测图像输入至目标对象检测模型中,得到所述待检测图像对应的预测图;
目标检测对象轮廓提取模块,用于根据所述预测图获取所述待检测图像的各个像素点属于目标检测对象的关系度,根据所述关系度进行轮廓提取得到目标检测对象显著区域;
显著区域子图确定模块,用于根据所述目标检测对象显著区域从所述预测图中确定多个不同尺度的显著区域子图;
目标对象分类模型处理模块,用于将各个所述显著区域子图输入至目标对象分类模型中的各个特征提取子网络中,根据各个特征提取子网络的特征提取结果得到所述待检测图像中的目标检测对象预测区域。
14.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。
15.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910827719.5A CN110490212B (zh) | 2019-02-26 | 2019-02-26 | 钼靶影像处理设备、方法和装置 |
CN201910143267.9A CN109886282B (zh) | 2019-02-26 | 2019-02-26 | 对象检测方法、装置、计算机可读存储介质和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910143267.9A CN109886282B (zh) | 2019-02-26 | 2019-02-26 | 对象检测方法、装置、计算机可读存储介质和计算机设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910827719.5A Division CN110490212B (zh) | 2019-02-26 | 2019-02-26 | 钼靶影像处理设备、方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109886282A true CN109886282A (zh) | 2019-06-14 |
CN109886282B CN109886282B (zh) | 2021-05-28 |
Family
ID=66929537
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910143267.9A Active CN109886282B (zh) | 2019-02-26 | 2019-02-26 | 对象检测方法、装置、计算机可读存储介质和计算机设备 |
CN201910827719.5A Active CN110490212B (zh) | 2019-02-26 | 2019-02-26 | 钼靶影像处理设备、方法和装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910827719.5A Active CN110490212B (zh) | 2019-02-26 | 2019-02-26 | 钼靶影像处理设备、方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN109886282B (zh) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110245721A (zh) * | 2019-06-25 | 2019-09-17 | 深圳市腾讯计算机系统有限公司 | 神经网络模型的训练方法、装置和电子设备 |
CN110363803A (zh) * | 2019-07-18 | 2019-10-22 | 深圳市思锐视科技有限公司 | 一种结合深度图切片和神经网络的目标检测方法和系统 |
CN110458833A (zh) * | 2019-08-15 | 2019-11-15 | 腾讯科技(深圳)有限公司 | 基于人工智能的医学图像处理方法、医学设备和存储介质 |
CN110472638A (zh) * | 2019-07-30 | 2019-11-19 | 精硕科技(北京)股份有限公司 | 一种目标检测方法、装置及设备、存储介质 |
CN110675408A (zh) * | 2019-09-19 | 2020-01-10 | 成都数之联科技有限公司 | 基于深度学习的高分辨率影像建筑物提取方法及系统 |
CN110705633A (zh) * | 2019-09-27 | 2020-01-17 | 北京猎户星空科技有限公司 | 目标物检测、目标物检测模型的建立方法及装置 |
CN111178162A (zh) * | 2019-12-12 | 2020-05-19 | 北京迈格威科技有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
CN111311578A (zh) * | 2020-02-17 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 基于人工智能的对象分类方法以及装置、医学影像设备 |
CN111460991A (zh) * | 2020-03-31 | 2020-07-28 | 科大讯飞股份有限公司 | 异常检测方法、相关设备及可读存储介质 |
CN111476306A (zh) * | 2020-04-10 | 2020-07-31 | 腾讯科技(深圳)有限公司 | 基于人工智能的物体检测方法、装置、设备及存储介质 |
CN111563550A (zh) * | 2020-04-30 | 2020-08-21 | 北京百度网讯科技有限公司 | 基于图像技术的精子形态检测方法和装置 |
CN111680563A (zh) * | 2020-05-09 | 2020-09-18 | 苏州中科先进技术研究院有限公司 | 一种活体检测方法、装置、电子设备及存储介质 |
CN111738133A (zh) * | 2020-06-17 | 2020-10-02 | 北京奇艺世纪科技有限公司 | 模型训练方法、目标检测方法、装置、电子设备及可读存储介质 |
CN111783791A (zh) * | 2020-01-22 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 图像分类方法、装置和计算机可读存储介质 |
CN112149693A (zh) * | 2020-10-16 | 2020-12-29 | 上海智臻智能网络科技股份有限公司 | 轮廓识别模型的训练方法和目标对象的检测方法 |
CN112184635A (zh) * | 2020-09-10 | 2021-01-05 | 上海商汤智能科技有限公司 | 目标检测方法、装置、存储介质及设备 |
CN112541489A (zh) * | 2019-09-23 | 2021-03-23 | 顺丰科技有限公司 | 图像检测方法、装置、移动终端及存储介质 |
CN112766272A (zh) * | 2021-01-15 | 2021-05-07 | 北京迈格威科技有限公司 | 目标检测方法、装置和电子系统 |
CN112818853A (zh) * | 2021-02-01 | 2021-05-18 | 中国第一汽车股份有限公司 | 一种交通要素识别方法、装置、设备及储存介质 |
WO2021093435A1 (zh) * | 2019-11-12 | 2021-05-20 | 腾讯科技(深圳)有限公司 | 语义分割网络结构的生成方法、装置、设备及存储介质 |
CN113033557A (zh) * | 2021-04-16 | 2021-06-25 | 北京百度网讯科技有限公司 | 用于训练图像处理模型和检测图像的方法、装置 |
CN113344912A (zh) * | 2021-07-06 | 2021-09-03 | 矿冶科技集团有限公司 | 矿石颗粒分割系统、方法和机器可读存储介质 |
CN114419337A (zh) * | 2022-03-25 | 2022-04-29 | 阿里巴巴达摩院(杭州)科技有限公司 | 一种图像检测、三维建模方法、图像分析方法和装置 |
EP4033453A1 (en) * | 2021-01-22 | 2022-07-27 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Training method and apparatus for target detection model, device and storage medium |
WO2022179083A1 (zh) * | 2021-02-25 | 2022-09-01 | 上海商汤智能科技有限公司 | 图像检测方法、装置、设备、介质和程序 |
CN116051811A (zh) * | 2023-03-31 | 2023-05-02 | 深圳思谋信息科技有限公司 | 区域识别方法、装置、计算机设备及计算机可读存储介质 |
WO2023236044A1 (zh) * | 2022-06-07 | 2023-12-14 | 西门子股份公司 | 对象检测模型训练方法、装置、计算机设备和存储介质 |
WO2024017226A1 (zh) * | 2022-07-22 | 2024-01-25 | 索尼集团公司 | 信息处理设备和方法、计算机可读存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111753692B (zh) * | 2020-06-15 | 2024-05-28 | 珠海格力电器股份有限公司 | 目标对象提取方法、产品检测方法、装置、计算机和介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105809180A (zh) * | 2014-12-31 | 2016-07-27 | 北京智诺英特科技有限公司 | 图像处理方法及装置 |
CN108392215A (zh) * | 2018-02-09 | 2018-08-14 | 南方医科大学 | 一种同侧异位乳腺钼靶图像的点位置关联方法 |
WO2018222775A1 (en) * | 2017-05-30 | 2018-12-06 | Digitalglobe, Inc. | Broad area geospatial object detection |
CN109034219A (zh) * | 2018-07-12 | 2018-12-18 | 上海商汤智能科技有限公司 | 图像的多标签类别预测方法及装置、电子设备和存储介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014042678A1 (en) * | 2012-09-13 | 2014-03-20 | The Regents Of The University Of California | System and method for automated detection of lung nodules in medical images |
CN104361339B (zh) * | 2014-11-27 | 2018-08-07 | 北京市新技术应用研究所 | 掌形图形提取及识别方法 |
CN105809415B (zh) * | 2016-03-04 | 2020-04-21 | 腾讯科技(深圳)有限公司 | 基于人脸识别的签到系统、方法和装置 |
CN106447658B (zh) * | 2016-09-26 | 2019-06-21 | 西北工业大学 | 基于全局和局部卷积网络的显著性目标检测方法 |
CN107016409A (zh) * | 2017-03-20 | 2017-08-04 | 华中科技大学 | 一种基于图像显著区域的图像分类方法和系统 |
CN106940816B (zh) * | 2017-03-22 | 2020-06-09 | 杭州健培科技有限公司 | 基于3d全卷积神经网络的ct图像肺结节检测系统 |
CN107274402A (zh) * | 2017-06-27 | 2017-10-20 | 北京深睿博联科技有限责任公司 | 一种基于胸部ct影像的肺结节自动检测方法及系统 |
CN108876790A (zh) * | 2017-09-14 | 2018-11-23 | 北京旷视科技有限公司 | 图像语义分割方法和装置、神经网络训练方法和装置 |
CN107958271A (zh) * | 2017-12-06 | 2018-04-24 | 电子科技大学 | 基于膨胀卷积的多尺度特征的皮肤病变深度学习识别系统 |
CN108109144A (zh) * | 2017-12-29 | 2018-06-01 | 广州柏视医疗科技有限公司 | 一种钼靶图像中乳头位置自动检测方法 |
CN108364288B (zh) * | 2018-03-01 | 2022-04-05 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
CN108596915A (zh) * | 2018-04-13 | 2018-09-28 | 深圳市未来媒体技术研究院 | 一种基于无标注数据的医疗图像分割方法 |
CN108764325B (zh) * | 2018-05-23 | 2022-07-08 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
CN109064449B (zh) * | 2018-07-04 | 2021-01-05 | 中铁大桥科学研究院有限公司 | 一种桥梁表面病害的检测方法 |
CN108898610B (zh) * | 2018-07-20 | 2020-11-20 | 电子科技大学 | 一种基于mask-RCNN的物体轮廓提取方法 |
CN109345538B (zh) * | 2018-08-30 | 2021-08-10 | 华南理工大学 | 一种基于卷积神经网络的视网膜血管分割方法 |
CN109285164B (zh) * | 2018-09-17 | 2022-04-05 | 代黎明 | 医学图像目标区域定位方法及系统 |
CN109325954B (zh) * | 2018-09-18 | 2021-08-10 | 北京旷视科技有限公司 | 图像分割方法、装置及电子设备 |
-
2019
- 2019-02-26 CN CN201910143267.9A patent/CN109886282B/zh active Active
- 2019-02-26 CN CN201910827719.5A patent/CN110490212B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105809180A (zh) * | 2014-12-31 | 2016-07-27 | 北京智诺英特科技有限公司 | 图像处理方法及装置 |
WO2018222775A1 (en) * | 2017-05-30 | 2018-12-06 | Digitalglobe, Inc. | Broad area geospatial object detection |
CN108392215A (zh) * | 2018-02-09 | 2018-08-14 | 南方医科大学 | 一种同侧异位乳腺钼靶图像的点位置关联方法 |
CN109034219A (zh) * | 2018-07-12 | 2018-12-18 | 上海商汤智能科技有限公司 | 图像的多标签类别预测方法及装置、电子设备和存储介质 |
Cited By (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110245721A (zh) * | 2019-06-25 | 2019-09-17 | 深圳市腾讯计算机系统有限公司 | 神经网络模型的训练方法、装置和电子设备 |
CN110689038B (zh) * | 2019-06-25 | 2024-02-02 | 深圳市腾讯计算机系统有限公司 | 神经网络模型的训练方法、装置和医学图像处理系统 |
CN110689038A (zh) * | 2019-06-25 | 2020-01-14 | 深圳市腾讯计算机系统有限公司 | 神经网络模型的训练方法、装置和医学图像处理系统 |
CN110245721B (zh) * | 2019-06-25 | 2023-09-05 | 深圳市腾讯计算机系统有限公司 | 神经网络模型的训练方法、装置和电子设备 |
CN110363803B (zh) * | 2019-07-18 | 2021-08-27 | 光沦科技(深圳)有限公司 | 一种结合深度图切片和神经网络的目标检测方法和系统 |
CN110363803A (zh) * | 2019-07-18 | 2019-10-22 | 深圳市思锐视科技有限公司 | 一种结合深度图切片和神经网络的目标检测方法和系统 |
CN110472638A (zh) * | 2019-07-30 | 2019-11-19 | 精硕科技(北京)股份有限公司 | 一种目标检测方法、装置及设备、存储介质 |
CN110458833A (zh) * | 2019-08-15 | 2019-11-15 | 腾讯科技(深圳)有限公司 | 基于人工智能的医学图像处理方法、医学设备和存储介质 |
CN110458833B (zh) * | 2019-08-15 | 2023-07-11 | 腾讯科技(深圳)有限公司 | 基于人工智能的医学图像处理方法、医学设备和存储介质 |
CN110675408A (zh) * | 2019-09-19 | 2020-01-10 | 成都数之联科技有限公司 | 基于深度学习的高分辨率影像建筑物提取方法及系统 |
CN112541489A (zh) * | 2019-09-23 | 2021-03-23 | 顺丰科技有限公司 | 图像检测方法、装置、移动终端及存储介质 |
CN110705633A (zh) * | 2019-09-27 | 2020-01-17 | 北京猎户星空科技有限公司 | 目标物检测、目标物检测模型的建立方法及装置 |
CN110705633B (zh) * | 2019-09-27 | 2022-06-07 | 北京猎户星空科技有限公司 | 目标物检测、目标物检测模型的建立方法及装置 |
WO2021093435A1 (zh) * | 2019-11-12 | 2021-05-20 | 腾讯科技(深圳)有限公司 | 语义分割网络结构的生成方法、装置、设备及存储介质 |
CN111178162A (zh) * | 2019-12-12 | 2020-05-19 | 北京迈格威科技有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
CN111178162B (zh) * | 2019-12-12 | 2023-11-07 | 北京迈格威科技有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
CN111783791A (zh) * | 2020-01-22 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 图像分类方法、装置和计算机可读存储介质 |
CN111311578B (zh) * | 2020-02-17 | 2024-05-03 | 腾讯科技(深圳)有限公司 | 基于人工智能的对象分类方法以及装置、医学影像设备 |
CN111311578A (zh) * | 2020-02-17 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 基于人工智能的对象分类方法以及装置、医学影像设备 |
CN111460991A (zh) * | 2020-03-31 | 2020-07-28 | 科大讯飞股份有限公司 | 异常检测方法、相关设备及可读存储介质 |
CN111476306A (zh) * | 2020-04-10 | 2020-07-31 | 腾讯科技(深圳)有限公司 | 基于人工智能的物体检测方法、装置、设备及存储介质 |
CN111476306B (zh) * | 2020-04-10 | 2023-07-28 | 腾讯科技(深圳)有限公司 | 基于人工智能的物体检测方法、装置、设备及存储介质 |
CN111563550A (zh) * | 2020-04-30 | 2020-08-21 | 北京百度网讯科技有限公司 | 基于图像技术的精子形态检测方法和装置 |
CN111563550B (zh) * | 2020-04-30 | 2023-08-25 | 北京百度网讯科技有限公司 | 基于图像技术的精子形态检测方法和装置 |
CN111680563A (zh) * | 2020-05-09 | 2020-09-18 | 苏州中科先进技术研究院有限公司 | 一种活体检测方法、装置、电子设备及存储介质 |
CN111680563B (zh) * | 2020-05-09 | 2023-09-19 | 苏州中科先进技术研究院有限公司 | 一种活体检测方法、装置、电子设备及存储介质 |
CN111738133A (zh) * | 2020-06-17 | 2020-10-02 | 北京奇艺世纪科技有限公司 | 模型训练方法、目标检测方法、装置、电子设备及可读存储介质 |
CN112184635A (zh) * | 2020-09-10 | 2021-01-05 | 上海商汤智能科技有限公司 | 目标检测方法、装置、存储介质及设备 |
CN112149693A (zh) * | 2020-10-16 | 2020-12-29 | 上海智臻智能网络科技股份有限公司 | 轮廓识别模型的训练方法和目标对象的检测方法 |
CN112766272A (zh) * | 2021-01-15 | 2021-05-07 | 北京迈格威科技有限公司 | 目标检测方法、装置和电子系统 |
EP4033453A1 (en) * | 2021-01-22 | 2022-07-27 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Training method and apparatus for target detection model, device and storage medium |
CN112818853A (zh) * | 2021-02-01 | 2021-05-18 | 中国第一汽车股份有限公司 | 一种交通要素识别方法、装置、设备及储存介质 |
CN112818853B (zh) * | 2021-02-01 | 2022-07-19 | 中国第一汽车股份有限公司 | 一种交通要素识别方法、装置、设备及储存介质 |
WO2022179083A1 (zh) * | 2021-02-25 | 2022-09-01 | 上海商汤智能科技有限公司 | 图像检测方法、装置、设备、介质和程序 |
CN113033557A (zh) * | 2021-04-16 | 2021-06-25 | 北京百度网讯科技有限公司 | 用于训练图像处理模型和检测图像的方法、装置 |
CN113344912A (zh) * | 2021-07-06 | 2021-09-03 | 矿冶科技集团有限公司 | 矿石颗粒分割系统、方法和机器可读存储介质 |
CN113344912B (zh) * | 2021-07-06 | 2024-04-16 | 矿冶科技集团有限公司 | 矿石颗粒分割系统、方法和机器可读存储介质 |
CN114419337A (zh) * | 2022-03-25 | 2022-04-29 | 阿里巴巴达摩院(杭州)科技有限公司 | 一种图像检测、三维建模方法、图像分析方法和装置 |
WO2023236044A1 (zh) * | 2022-06-07 | 2023-12-14 | 西门子股份公司 | 对象检测模型训练方法、装置、计算机设备和存储介质 |
WO2024017226A1 (zh) * | 2022-07-22 | 2024-01-25 | 索尼集团公司 | 信息处理设备和方法、计算机可读存储介质 |
CN116051811B (zh) * | 2023-03-31 | 2023-07-04 | 深圳思谋信息科技有限公司 | 区域识别方法、装置、计算机设备及计算机可读存储介质 |
CN116051811A (zh) * | 2023-03-31 | 2023-05-02 | 深圳思谋信息科技有限公司 | 区域识别方法、装置、计算机设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110490212B (zh) | 2022-11-08 |
CN110490212A (zh) | 2019-11-22 |
CN109886282B (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109886282A (zh) | 对象检测方法、装置、计算机可读存储介质和计算机设备 | |
CN111080629B (zh) | 一种图像拼接篡改的检测方法 | |
CN111127412B (zh) | 一种基于生成对抗网络的病理图像识别装置 | |
CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
CN109872278B (zh) | 基于u形网络和生成对抗网络的图像云层移除方法 | |
CN110853005A (zh) | 一种免疫组化膜染色切片诊断方法及装置 | |
CN112465746B (zh) | 一种射线底片中小缺陷检测方法 | |
CN114972191A (zh) | 一种耕地变化检测方法和装置 | |
US11410300B2 (en) | Defect inspection device, defect inspection method, and storage medium | |
CN112017243B (zh) | 一种介质能见度识别方法 | |
CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
CN113887472A (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
CN113505781A (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
CN115239672A (zh) | 缺陷检测方法及装置、设备、存储介质 | |
Mazumdar et al. | Two-stream encoder–decoder network for localizing image forgeries | |
Basso et al. | Combining morphological filtering, anisotropic diffusion and block-based data replication for automatically detecting and recovering unscanned gaps in remote sensing images | |
CN116959712B (zh) | 基于病理图像的肺腺癌预后方法、系统、设备及存储介质 | |
Zhu et al. | Progressive feedback-enhanced transformer for image forgery localization | |
CN117095396A (zh) | 基于特征增强的文档图像篡改检测与定位方法及装置 | |
CN115984712A (zh) | 基于多尺度特征的遥感图像小目标检测方法及系统 | |
CN116415019A (zh) | 虚拟现实vr图像识别方法及装置、电子设备、存储介质 | |
Wu et al. | Deep learning‐based super‐resolution with feature coordinators preservation for vision‐based measurement | |
Kottayil et al. | Learning local distortion visibility from image quality | |
CN116542884B (zh) | 模糊图像清晰化模型的训练方法、装置、设备及介质 | |
CN116778563B (zh) | 一种基于牙齿及附着龈的图像处理方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |