CN112766272A - 目标检测方法、装置和电子系统 - Google Patents
目标检测方法、装置和电子系统 Download PDFInfo
- Publication number
- CN112766272A CN112766272A CN202110059475.8A CN202110059475A CN112766272A CN 112766272 A CN112766272 A CN 112766272A CN 202110059475 A CN202110059475 A CN 202110059475A CN 112766272 A CN112766272 A CN 112766272A
- Authority
- CN
- China
- Prior art keywords
- image
- area
- target object
- processed
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000011218 segmentation Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种目标检测方法、装置和电子系统，提取待处理图像的图像特征；基于该图像特征，确定待处理图像中包含目标对象的图像区域；该图像区域的边缘形状与目标对象的边缘形状相关，且目标对象所占据的区域小于图像区域；对图像特征中，图像区域对应的区域特征进行特征增强处理，得到处理后的图像特征；基于处理后的图像特征，检测目标对象。该方式可以理解为预先对目标对象进行了粗分割，得到包含目标对象的图像区域；进而对图像特征中，该图像区域对应的区域特征进行特征增强处理；该方式可以强化目标对象的对象特征，进而弱化图像中背景区域的特征，降低了背景信息在检测目标过程中的干扰，提高了目标检测的准确率。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种目标检测方法、装置和电子系统。
背景技术
相关技术中，目标检测任务通常采用矩形框来定位目标，进而再识别矩形框内目标的类别。对于人脸、汽车、行人等具有标准形态或标准轮廓的目标，该方式的目标检测结果较为准确；但是对于形态多变或轮廓差异较大的目标，例如杂物堆、各类物体的堆积体等，通过矩形框检测目标时会引入大量的背景信息，这些背景信息会对目标检测造成干扰，影响目标检测的准确率。
发明内容
有鉴于此，本发明的目的在于提供一种目标检测方法、装置和电子系统，以提高目标对象检测的准确率。
第一方面，本发明实施例提供了一种目标检测方法，该方法包括：提取待处理图像的图像特征；基于图像特征，确定待处理图像中包含目标对象的图像区域；其中，图像区域的边缘形状与目标对象的边缘形状相关，且目标对象所占据的区域小于图像区域；对图像特征中，图像区域对应的区域特征进行特征增强处理，得到处理后的图像特征；基于处理后的图像特征，检测目标对象。
进一步的，基于图像特征，确定待处理图像中包含目标对象的图像区域的步骤，包括：将图像特征输入至预先训练完成的区域分割网络中，输出区域蒙版图像；其中，区域蒙版图像中，图像区域之内的像素位置的像素值为第一像素值；图像区域之外的像素位置的像素值为第二像素值；基于区域蒙版图像，确定包含有目标对象的图像区域。
进一步的，图像区域包括：与目标对象的边缘形状相关的多边形区域。
进一步的，用于训练区域分割网络的训练样本包括样本图像，以及样本图像的标注信息；标注信息包括：样本图像中包含有目标对象的图像区域的多边形标识。
进一步的，对图像特征中，图像区域对应的区域特征进行特征增强处理，得到处理后的图像特征的步骤，包括：获取指示图像区域的区域蒙版图像；其中，区域蒙版图像中，图像区域之内的像素位置的像素值为第一像素值；图像区域之外的像素位置的像素值为第二像素值；针对每个像素位置，将图像特征中该像素位置上的特征值，与区域蒙版图像中该像素位置上的像素值相乘，得到处理后的图像特征。
进一步的，获取指示图像区域的区域蒙版图像的步骤之后，上述方法还包括：如果区域蒙版图像的尺度与图像特征的尺度不同，调整区域蒙版图像的尺度，以使区域蒙版图像的尺度与图像特征的尺度相同。
进一步的，上述方法还包括：如果图像特征包括多个通道，针对每个通道，执行针对每个像素位置，将图像特征中该像素位置上的特征值，与区域蒙版图像中该像素位置上的像素值相乘的步骤，得到处理后的图像特征。
进一步的，基于处理后的图像特征，检测目标对象的步骤，包括：将处理后的图像特征输入至预先训练完成的目标检测网络中，输出目标检测结果；目标检测结果包括：指示目标对象所在位置的矩形框标识，以及目标对象的类别。
第二方面，本发明实施例提供了一种目标检测装置，该装置包括：提取模块，用于提取待处理图像的图像特征；确定模块，用于基于图像特征，确定待处理图像中包含目标对象的图像区域；其中，图像区域的边缘形状与目标对象的边缘形状相关，且目标对象所占据的区域小于图像区域；检测模块，用于对图像特征中，图像区域对应的区域特征进行特征增强处理，得到处理后的图像特征；基于处理后的图像特征，检测目标对象。
第三方面，本发明实施例提供了一种电子系统，电子系统包括：处理设备和存储装置；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如第一方面任一项的目标检测方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如第一方面任一项的目标检测方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供了一种目标检测方法、装置和电子系统，提取待处理图像的图像特征；基于该图像特征，确定待处理图像中包含目标对象的图像区域；该图像区域的边缘形状与目标对象的边缘形状相关，且目标对象所占据的区域小于图像区域；对图像特征中，图像区域对应的区域特征进行特征增强处理，得到处理后的图像特征；基于处理后的图像特征，检测目标对象。该方式中，包含目标对象的图像区域的边缘形状与目标对象的边缘形状相关，且目标对象所占据的区域小于该图像区域；该方式可以理解为预先基于目标对象的边缘对目标对象进行了粗分割，得到包含目标对象的图像区域；进而对图像特征中，该图像区域对应的区域特征进行特征增强处理；该方式可以强化目标对象的对象特征，进而弱化图像中背景区域的特征，降低背景信息在检测目标过程中的干扰，提高了目标检测的准确率。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子系统的结构示意图；
图2为本发明实施例提供的一种目标检测方法的流程图；
图3为本发明实施例提供的另一种目标检测方法的流程图；
图4为本发明实施例提供的一种区域蒙版图像示意图；
图5为本发明实施例提供的一种训练样本的图像示意图；
图6为本发明实施例提供的另一种目标检测方法的流程图；
图7为本发明实施例提供的一种网络训练方法的流程示意图；
图8为本发明实施例提供的一种目标检测装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，目标检测方法通常采用与x轴和y轴平行的矩形框来定位目标，另外，在标注数据的时候也是使用的同样方式对目标进行标注，这种方式针对人脸、汽车、行人等具有标准形态或标准轮廓的目标具有较好的检测结果，因为这些目标特征比较统一，整个目标的形态表现也不会差异太大；但是将该种方法迁移到更加通用的目标检测时，比如，在城市管理应用中的杂物堆、各类物体的堆积体等；由于杂物堆的形态差异很大，通过矩形框检测目标时会引入大量的背景信息，这些背景信息会对目标检测造成干扰，影响目标检测的准确率。
基于此，本发明实施例提供的一种目标检测方法、装置和电子系统，该技术可以应用于从原始图像中检测或者识别目标对象的应用场景，如检测原始图像中的主体对象、前景对象的类别等；例如，卫星图像分析应用场景，在卫星图像中识别建筑、道路、森林；在医学图像分析应用场景，在医学图像中定位病灶、测量面积等；在智能交通应用场景，识别道路信息，包括车道标记、交通标志等。
实施例一：
首先，参照图1来描述用于实现本发明实施例的目标检测方法、装置和电子系统的示例电子系统100。
如图1所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108，另外可以包括一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，电子系统也可以具有其他组件和结构。
处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子系统100中的其它组件的数据进行处理，还可以控制电子系统100中的其它组件以执行期望的功能。
存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。
输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
输出装置108可以向外部(例如，用户)输出各种信息(例如，图像、数据或声音)，并且可以包括显示器、扬声器等中的一个或多个。
图像采集设备110可以采集预览视频帧或图片数据(如待处理图像或目标视频帧)，并且将采集到的预览视频帧或图像数据存储在存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的目标检测方法、装置和电子系统的示例电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图片的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端、摄像机等智能终端。
实施例二：
本发明实施例提供了一种目标检测方法，如图2所示，该方法包括如下步骤：
步骤S202，提取待处理图像的图像特征；
上述待处理图像通常是指待检测的图像，可以是包含有形态多变、轮廓差异较大或形状不规则的目标的图像，比如包含有杂物堆(垃圾堆、快递堆等)、各类物体的堆积体(洒落的玩具堆、书本等)、摆放不规则的物体(杂乱无章的自行车等)等目标的图像。上述图像特征可以是指待处理图像的高维特征数据，其中通常包括有待处理图像的细节特征；具体的，可以将待处理图像(也可以称为原始图像)输入至特征提取网络，输出该待处理图像的图像特征；该特征提取网络可以主干网络(Backbone)，比如ResNet-50(深度残差网络)等主干网络，也可以是基于卷积神经网络的骨干网络(CNN Backbone，Convolutional NeuralNetworks Backbone)等。图像特征的通常为较高维度的特征数据，例如可以是64通道、128通道；图像特征的维度可以根据实际的需求进行设置，或者根据原始图像的特征自动设置。
步骤S204，基于图像特征，确定待处理图像中包含目标对象的图像区域；其中，图像区域的边缘形状与目标对象的边缘形状相关，且目标对象所占据的区域小于图像区域；
上述图像区域可以是包含目标对象的区域，具体而言，为了使图像区域能够不包含过多的背景信息，图像区域的边缘形状与目标对象的边缘形状相似，比如目标对象为椭圆形，则图像区域的边缘形状为椭圆形；另外，为了使图像区域能够完全包含目标对象，不丢失任何目标对象的信息，目标对象所占据的区域小于图像区域；可以理解，图像区域的边缘性状不要求完全贴合目标对象的轮廓，只需要大概包含目标对象的主体信息；上述图像区域可以为单通道的图像。
具体的，可以基于预设的多边形检测规则，对提取得到的图像特征中的目标对象的区域进行检测，得到包含有目标对象图像区域；还可以将图像特征输入至图像分隔网络，基于图像分割方法(比如，基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法等)，对图像特征划分为多个的区域，其中包含有目标对象的区域为图像区域。其中，图像分隔网络为预先训练完成的网络。
步骤S206，对图像特征中，图像区域对应的区域特征进行特征增强处理，得到处理后的图像特征；基于处理后的图像特征，检测目标对象。
上述特征增强处理可以为将图像区域的区域特征数据进行数学运算，增强待处理图像中目标对象所占区域的特征，比如，将边缘特征的特征数据与预设数值(比如1、1.2等)相乘，增加图像区域中每个像素位置的像素值，使得待处理图像中目标对象更加突出；还可以将图像特征中除图像区域的区域特征以外的边缘特征(通常为背景信息)进行特征减弱处理，比如，将边缘特征的特征数据与0相乘，降低图像背景中每个像素位置的像素值，从而突出待处理图像中的目标对象。
具体的，如果上述图像特征可以为高维图像特征，针对每个通道的图像特征，对该图像特征中，图像区域对应的区域特征进行特征增强处理，得到处理后的该通道的图像特征，将每个通道的图像特征相加，最终得到处理后的图像特征。其中，处理后的图像特征与原始图像的尺度相同，且处理后的图像特征中仅包含目标对象所在的区域特征，以及在目标对象所在的区域特征的边缘包含有少量的背景信息。
上述检测目标对象，具体可以为，将处理后的图像特征输入至目标标识及分类网络，针对图像特征中增强的图像区域，检测并识别出目标对象的类别等信息；具体而言，检测目标对象的结果包括原始图像、原始图像中目标对象的区域标识框(比如，包括目标对象矩形框、包括目标对象的边缘轮廓框等)、以及原始图像中目标对象的类别等信息。其中，目标标识及分类网络为预先训练完成的网络。
本发明实施例提供了一种目标检测方法，提取待处理图像的图像特征；基于该图像特征，确定待处理图像中包含目标对象的图像区域；其中，图像区域的边缘形状与目标对象的边缘形状相关，且目标对象所占据的区域小于图像区域；对图像特征中，图像区域对应的区域特征进行特征增强处理，得到处理后的图像特征；基于处理后的图像特征，检测目标对象。该方式中，包含目标对象的图像区域的边缘形状与目标对象的边缘形状相关，且目标对象所占据的区域小于该图像区域；该方式可以理解为预先基于目标对象的边缘对目标对象进行了粗分割，得到包含目标对象的图像区域；进而对图像特征中，该图像区域对应的区域特征进行特征增强处理；该方式可以强化目标对象的对象特征，进而弱化图像中背景区域的特征，降低背景信息在检测目标过程中的干扰，提高了目标检测的准确率。
实施例三：
本发明实施例还提供了另一种目标检测方法，本实施例在上述实施例的基础上实现；本实施例重点描述基于图像特征，确定待处理图像中包含目标对象的图像区域的步骤的具体实现方式(通过步骤S304-S306实现)；如图3所示，该方法包括如下步骤：
步骤S302，提取待处理图像的图像特征；
步骤S304，将图像特征输入至预先训练完成的区域分割网络中，输出区域蒙版图像；其中，区域蒙版图像中，图像区域之内的像素位置的像素值为第一像素值；图像区域之外的像素位置的像素值为第二像素值；
上述预先训练完成的区域分割网络可以识别出的图像特征中图像区域的位置信息，以及图像区域的边缘形状并进行标注；上述区域蒙版图像也可以称为mask，包括两部分区域，每种区域中像素的像素值不同；且该区域蒙版图像中像素的像素值通常包括两种，即上述第一像素值和第二像素值，其中，图像区域之内的像素位置的像素值为第一像素值，该第一像素值可以为1，图像区域之外的像素位置的像素值为第二像素值，该第二像素值可以为0；当然，第一像素值与第二像素值也可以为其他数值，比如第一像素值可以为2，第二像素值可以为1等；第一像素值与第二像素值的数值主要是为了区分图像区域和非图像区域。
具体的，可以将图像特征输入至预先训练完成的区域分割网络中，基于该区域分割网络中的卷积层以及卷积核，计算图像特征中目标对象的边缘轮廓，对目标对象的边缘轮廓进行标注(比如标注线条)，得到图像区域，同时将图像区域中像素位置的像素值设置为第一像素值，将图像区域以外的像素位置的像素值设置为第二像素值，将设置完像素值的图像特征确定为区域蒙版图像，以此增强图像区域的特征表示，并将该区域蒙版图像输出。
上述图像区域包括：与目标对象的边缘形状相关的多边形区域；例如图4所示的区域蒙版图像，图4中(a)为待处理图像，其中的目标对象为不规则堆放的纸箱，图4中(b)为输出的区域蒙版图像，其中白色区域为图像区域，第一像素值为1，黑色区域为图像区域之外的区域，第二像素值为0；由图4可以看出，图像区域包括与目标对象的边缘形状相关的多边形区域。
另外，用于训练区域分割网络的训练样本包括样本图像，以及样本图像的标注信息；该标注信息包括：样本图像中包含有目标对象的图像区域的多边形标识。
例如图5所示的训练样本，其中样本图像中的目标对象为不规则堆放的纸箱，样本图像的标注信息为图中黑色线条所示的多边形，即为上述目标对象的图像区域的多边形标识。其主要目的是利用具有多边形标识的训练样本，训练区域分割网络能够输出区域蒙版图像。
具体的，参见图7所示的训练方法，上述区域分割网络为有监督学习的网络，输入至主干网络的训练样本中包括样本图像，以及样本图像的标注信息，主干网络输出图像特征；然后将图像特征输入至区域分割网络，利用多边形标注得到区域蒙版图像中的图像区域(其中，最后预测出来的区域蒙版图像的像素值有可能是0-1之间的小数)，经过大量的训练样本对区域分割网络中的参数进行训练，最终得到训练完成的区域分割网络。最后如图7所示的
表示将图像特征与区域蒙版图像相乘，并将相乘后的结果分别输出至分类分支和回归分支，对分类分支和回归分支进行训练。
步骤S306，基于区域蒙版图像，确定包含有目标对象的图像区域；
区域蒙版图像中像素为第一像素值的位置，对应的待处理图像(或图像特征)中相应位置的区域即为图像区域。具体的，上述区域蒙版图像的尺度与图像特征的尺度相同，因此可以直接基于区域蒙版图像中像素为第一像素值的像素位置指示的区域，确定为目标对象的图像区域。
步骤S308，对图像特征中，图像区域对应的区域特征进行特征增强处理，得到处理后的图像特征；基于处理后的图像特征，检测目标对象。
上述方式中，将提取得到的图像特征输入至预先训练完成的区域分割网络中，输出区域蒙版图像；该区域蒙版图像中，图像区域之内的像素位置的像素值为第一像素值；图像区域之外的像素位置的像素值为第二像素值；基于区域蒙版图像，确定包含有目标对象的图像区域；该图像区域的边缘形状与目标对象的边缘形状相关，且目标对象所占据的区域小于图像区域；对图像特征中，图像区域对应的区域特征进行特征增强处理，得到处理后的图像特征；基于处理后的图像特征，检测目标对象。该方式中，针对包含多形态目标的待处理图像，利用区域分割网络，可以确定边缘形状与目标对象的边缘形状相关的图像区域，同时对图像区域的特征进行特征增强处理，弱化了背景区域的特征，降低了在检测目标时背景信息的干扰，提高了目标检测的准确率。
实施例四：
本发明实施例还提供了另一种目标检测方法，本实施例在上述实施例的基础上实现；本实施例重点描述对图像特征中，图像区域对应的区域特征进行特征增强处理，得到处理后的图像特征的步骤的具体实现方式(通过步骤S608-S610实现)，以及基于处理后的图像特征，检测目标对象的步骤的具体实现方式(通过步骤S612实现)；如图6所示，该方法包括如下步骤：
步骤S602，提取待处理图像的图像特征；
步骤S604，将图像特征输入至预先训练完成的区域分割网络中，输出区域蒙版图像；
步骤S606，基于区域蒙版图像，确定包含有目标对象的图像区域；
步骤S608，获取指示图像区域的区域蒙版图像；其中，区域蒙版图像中，图像区域之内的像素位置的像素值为第一像素值；图像区域之外的像素位置的像素值为第二像素值；
得到图像特征以及包含有目标对象的图像区域后，为了使图像区域的特征增强，需要再次获取区域分割网络输出的指示图像区域的区域蒙版图像；在大多情况下，为了指示包含有目标对象的图像区域在待处理图像中的位置，在区域蒙版图像中，该图像区域之内的像素的像素值，与该图像区域之外的像素的像素值不同；基于此，本实施例中，区域蒙版图像中，图像区域之内的像素位置的像素值为第一像素值；图像区域之外的像素位置的像素值为第二像素值；其中的第一像素值和第二像素值的数值通常不同，且具有较大的差异，以明显的区分图像区域和图像区域之外的其他区域。
一种具体的实现方式中，该区域蒙版图像是用于增强上述图像区域之内的图像特征，为了实现增强图像区域内图像特征的目的，上述区域蒙版图像中的第一像素值大于第二像素值，从而在后续的步骤中实现增强图像区域内的图像特征，弱化图像区域外的图像特征的目的；例如，第一像素值可以设置为1，第二像素值可以设置为0。
另外，在获取指示图像区域的区域蒙版图像的步骤之后，如果区域蒙版图像的尺度与图像特征的尺度不同，还需要调整区域蒙版图像的尺度，以使区域蒙版图像的尺度与图像特征的尺度相同。
比如，区域蒙版图像的尺度为20*20，图像特征的尺度为60*60，则需要利用尺度变换等方法，增大区域蒙版图像的尺度，最终得到的区域蒙版图像的尺度为60*60；还如，区域蒙版图像的尺度为70*70，图像特征的尺度为50*50，则需要利用尺度变换等方法，减少区域蒙版图像的尺度，最终得到的区域蒙版图像的尺度为50*50。
步骤S610，针对每个像素位置，将图像特征中该像素位置上的特征值，与区域蒙版图像中该像素位置上的像素值相乘，得到处理后的图像特征；
由于区域蒙版图像的尺度与图像特征的尺度相同，为了增强图像区域的特征，可以直接针对图像特征中的每个像素位置，将该像素位置上的特征值，与区域蒙版图像中该像素位置上的像素值相乘，得到处理后的图像特征。
另外，如果图像特征包括多个通道，针对每个通道，执行针对每个像素位置，将图像特征中该像素位置上的特征值，与区域蒙版图像中该像素位置上的像素值相乘的步骤，得到处理后的图像特征。
例如，提取的待处理图像的图像特征为128维图像特征(即128个通道的图像特征)，需要针对每一维的图像特征，针对每个像素位置，将该维图像特征中该像素位置上的特征值，与区域蒙版图像中该像素位置上的像素值相乘，最终得到处理后的128维图像特征。
步骤S612，将处理后的图像特征输入至预先训练完成的目标检测网络中，输出目标检测结果；目标检测结果包括：指示目标对象所在位置的矩形框标识，以及目标对象的类别。
上述目标检测网络包括分类网络和回归网络，具体的，将处理后的图像特征输入至预先训练完成的目标检测网络中，首先将处理后的图像特征中的目标对象回归一个矩形框，该矩形框内包含有目标对象；然后识别处理后的图像特征中图像区域内目标对象的类别，并将该类别输出。
需要说明的是，参见图7所示，目标检测网络包括分类分支和回分支，在训练目标检测网络时，检测和分类的方式是在处理后的图像特征中每一个像素回归一个矩形框和对应的分类结果，矩形框的回归是回归当前像素点到标注信息(ground truth)框四条边的距离，只有落入到ground truth框中的像素点才去回归，其余点作为负样本参与分类但不回归。
上述方式中，通过获取指示图像区域的区域蒙版图像；针对每个像素位置，将图像特征中该像素位置上的特征值，与区域蒙版图像中该像素位置上的像素值相乘，得到处理后的图像特征，增强图像区域的特征；将处理后的图像特征输入至预先训练完成的目标检测网络中，输出目标检测结果；目标检测结果包括：指示目标对象所在位置的矩形框标识，以及目标对象的类别。该方式中，针对包含多形态目标的待处理图像，通过区域分割网络，得到区域蒙版图像；基于区域蒙版图像，确定图像区域，同时得到边缘形状与目标对象的边缘形状相关的图像区域；将区域蒙版图像与图像特征中每个对应位置的特征相乘，增强图像区域的特征，弱化了背景区域的特征，降低了在检测目标时背景信息的干扰，提高了目标检测的准确率。
实施例五：
对应于上述方法实施例，参见图8所示的一种目标检测装置的结构示意图，该装置包括：
提取模块81，用于提取待处理图像的图像特征；
确定模块82，用于基于图像特征，确定待处理图像中包含目标对象的图像区域；其中，图像区域的边缘形状与目标对象的边缘形状相关，且目标对象所占据的区域小于图像区域；
检测模块83，用于对图像特征中，图像区域对应的区域特征进行特征增强处理，得到处理后的图像特征；基于处理后的图像特征，检测目标对象。
本发明实施例提供了一种目标检测装置，提取待处理图像的图像特征；基于该图像特征，确定待处理图像中包含目标对象的图像区域；其中，图像区域的边缘形状与目标对象的边缘形状相关，且目标对象所占据的区域小于图像区域；对图像特征中，图像区域对应的区域特征进行特征增强处理，得到处理后的图像特征；基于处理后的图像特征，检测目标对象。该方式中，包含目标对象的图像区域的边缘形状与目标对象的边缘形状相关，且目标对象所占据的区域小于该图像区域；该方式可以理解为预先基于目标对象的边缘对目标对象进行了粗分割，得到包含目标对象的图像区域；进而对图像特征中，该图像区域对应的区域特征进行特征增强处理；该方式可以强化目标对象的对象特征，进而弱化图像中背景区域的特征，降低背景信息在检测目标过程中的干扰，提高了目标检测的准确率。
进一步的，上述确定模块还用于：将图像特征输入至预先训练完成的区域分割网络中，输出区域蒙版图像；其中，区域蒙版图像中，图像区域之内的像素位置的像素值为第一像素值；图像区域之外的像素位置的像素值为第二像素值；基于区域蒙版图像，确定包含有目标对象的图像区域。
进一步的，上述图像区域包括：与目标对象的边缘形状相关的多边形区域。
进一步的，用于训练区域分割网络的训练样本包括样本图像，以及样本图像的标注信息；该标注信息包括：样本图像中包含有目标对象的图像区域的多边形标识。
进一步的，上述检测模块还用于：获取指示图像区域的区域蒙版图像；其中，区域蒙版图像中，图像区域之内的像素位置的像素值为第一像素值；图像区域之外的像素位置的像素值为第二像素值；针对每个像素位置，将图像特征中该像素位置上的特征值，与区域蒙版图像中该像素位置上的像素值相乘，得到处理后的图像特征。
进一步的，上述装置还包括尺度调整模块，用于如果区域蒙版图像的尺度与图像特征的尺度不同，调整区域蒙版图像的尺度，以使区域蒙版图像的尺度与图像特征的尺度相同。
进一步的，上述装置还用于：如果图像特征包括多个通道，针对每个通道，执行针对每个像素位置，将图像特征中该像素位置上的特征值，与区域蒙版图像中该像素位置上的像素值相乘的步骤，得到处理后的图像特征。
进一步的，上述检测模块还包括结果输出单元，用于将处理后的图像特征输入至预先训练完成的目标检测网络中，输出目标检测结果；目标检测结果包括：指示目标对象所在位置的矩形框标识，以及目标对象的类别。
本发明实施例提供的目标检测装置，与上述实施例提供的目标检测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
实施例六：
本发明实施例提供了一种电子系统，该电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述目标检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如上述目标检测方法的步骤。
本发明实施例所提供的目标检测方法、装置和电子系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种目标检测方法，其特征在于，所述方法包括：
提取待处理图像的图像特征；
基于所述图像特征，确定所述待处理图像中包含目标对象的图像区域；其中，所述图像区域的边缘形状与所述目标对象的边缘形状相关，且所述目标对象所占据的区域小于所述图像区域；
对所述图像特征中，所述图像区域对应的区域特征进行特征增强处理，得到处理后的所述图像特征；基于处理后的所述图像特征，检测所述目标对象。
2.根据权利要求1所述的方法，其特征在于，基于所述图像特征，确定所述待处理图像中包含目标对象的图像区域的步骤，包括：
将所述图像特征输入至预先训练完成的区域分割网络中，输出区域蒙版图像；其中，所述区域蒙版图像中，所述图像区域之内的像素位置的像素值为第一像素值；所述图像区域之外的像素位置的像素值为第二像素值；
基于所述区域蒙版图像，确定包含有所述目标对象的图像区域。
3.根据权利要求1或2所述的方法，其特征在于，所述图像区域包括：与所述目标对象的边缘形状相关的多边形区域。
4.根据权利要求2所述的方法，其特征在于，用于训练所述区域分割网络的训练样本包括样本图像，以及所述样本图像的标注信息；所述标注信息包括：所述样本图像中包含有目标对象的图像区域的多边形标识。
5.根据权利要求1所述的方法，其特征在于，对所述图像特征中，所述图像区域对应的区域特征进行特征增强处理，得到处理后的所述图像特征的步骤，包括：
获取指示所述图像区域的区域蒙版图像；其中，所述区域蒙版图像中，所述图像区域之内的像素位置的像素值为第一像素值；所述图像区域之外的像素位置的像素值为第二像素值；
针对每个像素位置，将所述图像特征中该像素位置上的特征值，与所述区域蒙版图像中该像素位置上的像素值相乘，得到处理后的所述图像特征。
6.根据权利要求5所述的方法，其特征在于，获取指示所述图像区域的区域蒙版图像的步骤之后，所述方法还包括：
如果所述区域蒙版图像的尺度与所述图像特征的尺度不同，调整所述区域蒙版图像的尺度，以使所述区域蒙版图像的尺度与所述图像特征的尺度相同。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
如果所述图像特征包括多个通道，针对每个通道，执行针对每个像素位置，将所述图像特征中该像素位置上的特征值，与所述区域蒙版图像中该像素位置上的像素值相乘的步骤，得到处理后的所述图像特征。
8.根据权利要求1所述的方法，其特征在于，基于处理后的所述图像特征，检测所述目标对象的步骤，包括：
将处理后的所述图像特征输入至预先训练完成的目标检测网络中，输出目标检测结果；所述目标检测结果包括：指示所述目标对象所在位置的矩形框标识，以及所述目标对象的类别。
9.一种目标检测装置，其特征在于，所述装置包括：
提取模块，用于提取待处理图像的图像特征；
确定模块，用于基于所述图像特征，确定所述待处理图像中包含目标对象的图像区域；其中，所述图像区域的边缘形状与所述目标对象的边缘形状相关，且所述目标对象所占据的区域小于所述图像区域；
检测模块，用于对所述图像特征中，所述图像区域对应的区域特征进行特征增强处理，得到处理后的所述图像特征；基于处理后的所述图像特征，检测所述目标对象。
10.一种电子系统，其特征在于，所述电子系统包括：处理设备和存储装置；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至8任一项所述的目标检测方法。
11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行如权利要求1至8任一项所述的目标检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110059475.8A CN112766272A (zh) | 2021-01-15 | 2021-01-15 | 目标检测方法、装置和电子系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110059475.8A CN112766272A (zh) | 2021-01-15 | 2021-01-15 | 目标检测方法、装置和电子系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112766272A true CN112766272A (zh) | 2021-05-07 |
Family
ID=75702283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110059475.8A Pending CN112766272A (zh) | 2021-01-15 | 2021-01-15 | 目标检测方法、装置和电子系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766272A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114840700A (zh) * | 2022-05-30 | 2022-08-02 | 来也科技(北京)有限公司 | 结合rpa和ai实现ia的图像检索方法、装置及电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1897015A (zh) * | 2006-05-18 | 2007-01-17 | 王海燕 | 基于机器视觉的车辆检测和跟踪方法及系统 |
| CN101877074A (zh) * | 2009-11-23 | 2010-11-03 | 常州达奇信息科技有限公司 | 基于多元特征的结核杆菌目标识别计数算法 |
| US20160019435A1 (en) * | 2013-03-27 | 2016-01-21 | Fujifilm Corporation | Image processing apparatus, non-transitory computer-readable recording medium having stored therein image processing program, and operation method of image processing apparatus |
| CN107274389A (zh) * | 2017-05-25 | 2017-10-20 | 中国科学院苏州生物医学工程技术研究所 | 基于ct三维序列图像的股骨和髋臼解剖参数获取方法 |
| CN107481203A (zh) * | 2017-08-14 | 2017-12-15 | 厦门美图之家科技有限公司 | 一种图像导向滤波方法及计算设备 |
| CN109308447A (zh) * | 2018-07-29 | 2019-02-05 | 国网上海市电力公司 | 在电力远程监控中自动提取设备运行参数和运行状态的方法 |
| CN109886282A (zh) * | 2019-02-26 | 2019-06-14 | 腾讯科技（深圳）有限公司 | 对象检测方法、装置、计算机可读存储介质和计算机设备 |
| CN109949317A (zh) * | 2019-03-06 | 2019-06-28 | 东南大学 | 基于逐步对抗学习的半监督图像实例分割方法 |
| CN111951270A (zh) * | 2020-06-29 | 2020-11-17 | 珠海格力电器股份有限公司 | 一种基于深度学习的单目标物体分割方法及检测设备 |
-
2021
- 2021-01-15 CN CN202110059475.8A patent/CN112766272A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1897015A (zh) * | 2006-05-18 | 2007-01-17 | 王海燕 | 基于机器视觉的车辆检测和跟踪方法及系统 |
| CN101877074A (zh) * | 2009-11-23 | 2010-11-03 | 常州达奇信息科技有限公司 | 基于多元特征的结核杆菌目标识别计数算法 |
| US20160019435A1 (en) * | 2013-03-27 | 2016-01-21 | Fujifilm Corporation | Image processing apparatus, non-transitory computer-readable recording medium having stored therein image processing program, and operation method of image processing apparatus |
| CN107274389A (zh) * | 2017-05-25 | 2017-10-20 | 中国科学院苏州生物医学工程技术研究所 | 基于ct三维序列图像的股骨和髋臼解剖参数获取方法 |
| CN107481203A (zh) * | 2017-08-14 | 2017-12-15 | 厦门美图之家科技有限公司 | 一种图像导向滤波方法及计算设备 |
| CN109308447A (zh) * | 2018-07-29 | 2019-02-05 | 国网上海市电力公司 | 在电力远程监控中自动提取设备运行参数和运行状态的方法 |
| CN109886282A (zh) * | 2019-02-26 | 2019-06-14 | 腾讯科技（深圳）有限公司 | 对象检测方法、装置、计算机可读存储介质和计算机设备 |
| CN110490212A (zh) * | 2019-02-26 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 钼靶影像处理设备、方法和装置 |
| CN109949317A (zh) * | 2019-03-06 | 2019-06-28 | 东南大学 | 基于逐步对抗学习的半监督图像实例分割方法 |
| CN111951270A (zh) * | 2020-06-29 | 2020-11-17 | 珠海格力电器股份有限公司 | 一种基于深度学习的单目标物体分割方法及检测设备 |
Non-Patent Citations (4)
| Title |
|---|
| MARCIN MARSZAŁEK · CORDELIA SCHMID: "Accurate Object Recognition with Shape Masks", INT J COMPUT VIS, 31 December 2012 (2012-12-31), pages 191 - 209 * |
| WEICHENG KUO 等: "ShapeMask: Learning to Segment Novel Objects by Refining Shape Priors", ARXIV:1904.03239V1, 30 April 2019 (2019-04-30), pages 1 - 12 * |
| 侯春萍等: "轮廓匹配的复杂背景中目标检测算法", 哈尔滨工业大学学报, vol. 52, no. 5, 31 May 2020 (2020-05-31), pages 1 - 3 * |
| 李昕;张丹普;付忠良;: "一种基于统计形状先验的图像边缘增强新方法", 四川大学学报(工程科学版), no. 1, 30 April 2014 (2014-04-30), pages 128 - 134 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114840700A (zh) * | 2022-05-30 | 2022-08-02 | 来也科技(北京)有限公司 | 结合rpa和ai实现ia的图像检索方法、装置及电子设备 |
| CN114840700B (zh) * | 2022-05-30 | 2023-01-13 | 来也科技(北京)有限公司 | 结合rpa和ai实现ia的图像检索方法、装置及电子设备 |
| WO2023231159A1 (zh) * | 2022-05-30 | 2023-12-07 | 来也科技(北京)有限公司 | 结合rpa和ai实现ia的图像检索方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108364010B (zh) | 一种车牌识别方法、装置、设备及计算机可读存储介质 | |
| JP6831480B2 (ja) | テキスト検出分析方法、装置及びデバイス | |
| CN110766014B (zh) | 票据信息定位方法、系统及计算机可读存储介质 | |
| CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
| CN110232713B (zh) | 一种图像目标定位修正方法及相关设备 | |
| EP3806064A1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| CN108268867B (zh) | 一种车牌定位方法及装置 | |
| CN112686812B (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
| Alam et al. | Indian traffic sign detection and recognition | |
| US20170287252A1 (en) | Counterfeit Document Detection System and Method | |
| CN108986152B (zh) | 一种基于差分图像的异物检测方法及装置 | |
| CN108108731B (zh) | 基于合成数据的文本检测方法及装置 | |
| CN110516517B (zh) | 一种基于多帧图像的目标识别方法、装置及设备 | |
| Hoang et al. | Enhanced detection and recognition of road markings based on adaptive region of interest and deep learning | |
| CN108108734B (zh) | 一种车牌识别方法及装置 | |
| Türkyılmaz et al. | License plate recognition system using artificial neural networks | |
| CN109740515B (zh) | 一种评阅方法及装置 | |
| CN112200081A (zh) | 异常行为识别方法、装置、电子设备及存储介质 | |
| CN110598566A (zh) | 图像处理方法、装置、终端和计算机可读存储介质 | |
| TW200529093A (en) | Face image detection method, face image detection system, and face image detection program | |
| CN114049512A (zh) | 模型蒸馏方法、目标检测方法、装置及电子设备 | |
| CN111353491A (zh) | 一种文字方向确定方法、装置、设备及存储介质 | |
| CN108961262B (zh) | 一种复杂场景下的条码定位方法 | |
| CN113971792A (zh) | 交通标志牌的字符识别方法、装置、设备和存储介质 | |
| CN113673528A (zh) | 文本处理方法、装置、电子设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |