CN107045716A - 一种物体检测方法及计算机设备 - Google Patents

一种物体检测方法及计算机设备 Download PDF

Info

Publication number
CN107045716A
CN107045716A CN201610084119.0A CN201610084119A CN107045716A CN 107045716 A CN107045716 A CN 107045716A CN 201610084119 A CN201610084119 A CN 201610084119A CN 107045716 A CN107045716 A CN 107045716A
Authority
CN
China
Prior art keywords
reference zone
normalization
sample
value
sample reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610084119.0A
Other languages
English (en)
Inventor
刘枢
贾佳亚
鲁亚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610084119.0A priority Critical patent/CN107045716A/zh
Priority to US15/425,756 priority patent/US20170228890A1/en
Publication of CN107045716A publication Critical patent/CN107045716A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

本发明实施例公开了一种物体检测方法及计算机设备,该方法包括:获取待处理图像;根据待处理图像,获取用于标识待处理图像中的待检测物体的n个参考区域,以及n个参考区域各自对应于待检测物体的n个检测准确度值,n为大于1的整数;在n个参考区域中确定样本参考区域,其中,样本参考区域的重合度大于预设阈值,样本参考区域的重合度为样本参考区域与n个检测准确度值中的最大值对应的参考区域之间的重合度;基于样本参考区域,确定待检测物体对应的目标区域,目标区域用于标识待处理图像中的待检测物体。实施本发明实施例,有利于提升检测物体位置的准确性。

Description

一种物体检测方法及计算机设备
技术领域
本发明涉及图像处理技术领域,具体涉及了一种物体检测方法及计算机设备。
背景技术
物体检测是指物体计算机将一张输入图像中的物体标注出来的过程,是机器视觉中一个基本问题。如图1所示,输入一张图像,该图像没有任何的标注,输出是标注有检测到的物体的具体位置的图像。物体检测在日常生活中有着非常广泛的应用,比如相机能够自动检测潜在的待检测物体并自动对其对焦,在视频监控中自动的检测行人,或者在自动驾驶系统中自动检测到障碍物,等等。这些物体检测设备能够高效提供准确的结果以确保商用。目前,人们主要采用潜在区域分类法来检测图像中的物体,该方法的执行流程如图2所示,首先,在输入图像中产生非常多的可能包括物体的区域(每张图可能多达两千个),然后,将这些区域变换到相同的大小,其次,将这些变换后的区域使用基于区域的卷积神经网络(Region Based Convolutional Neural Network,RCNN)分类器对其分类,最终,根据分类器输出的检测准确度值,从中选择检测准确度值比较高的区域作为输出。上述方案中,由于产生的图片中的区域存在非常大的冗余,即同一个物体可能会被很多个区域包括,而这些区域由于包括该物体,都能够确定比较高的得分,造成最终的结果也存在非常大的冗余,使得物体检测设备的检测效率较低。
为解决上述物体检测设备的检测效率较低的问题,现有方案主要使用最大抑制方法,物体检测设备每次选择当前分数最高的区域,然后将与当前分数最高的区域重合度较高的区域删掉。重复这个过程,直到所有的区域都被选择或者删掉。
然而,当图像中的区域的检测准确度值足够高了之后,候选区域的得分与其得分并不是强相关的(皮尔逊相关系数低于0.3),所以每次都是选择分数最高的区域但不利用其他区域的信息的方式确定的目标区域的准确性难以保证。
发明内容
本发明实施例提供一种物体检测方法及计算机设备,有利于提升计算机设备检测物体位置的准确性。
第一方面,本发明实施例提供了一种物体检测方法,包括:
获取待处理图像;
根据所述待处理图像,获取用于标识所述待处理图像中的待检测物体的n个参考区域,以及所述n个参考区域各自对应于所述待检测物体的n个检测准确度值,所述n为大于1的整数;
在所述n个参考区域中确定样本参考区域,其中,所述样本参考区域与所述n个检测准确度值中的最大值对应的参考区域之间的重合度大于预设阈值;
基于所述样本参考区域,确定所述待检测物体对应的目标区域,所述目标区域用于标识所述待处理图像中的所述待检测物体。
结合第一方面,在一些可能的实现方式中,所述基于所述样本参考区域,确定所述待检测物体对应的目标区域,包括:
将所述样本参考区域的坐标值进行归一化,从而得到所述样本参考区域的归一化后的坐标值,所述样本参考区域的坐标值用于表示所述样本参考区域;
基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值;
基于所述特征值,确定用于标识所述待处理图像中的所述待检测物体的所述待检测物体对应的目标区域的坐标值。
可见,本发明实施例并非简单删除区域重合度较高的参考区域,而是利用质量比较高的样本参考区域对物体的目标区域的位置进行预测,充分考虑样本参考区域的互相关系,有利于提升检测物体位置的准确性。
结合第一方面,在一些可能的实现方式中,所述确定所述待检测物体对应的目标区域之后,所述方法还包括:
输出标识有所述目标区域的所述待处理图像。
结合第一方面,在一些可能的实现方式中,所述将所述样本参考区域的坐标值进行归一化,从而得到所述样本参考区域的归一化后的坐标值包括:
基于如下公式计算所述样本参考区域的归一化后的坐标值
其中,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,为位于所述样本参考区域中的第i个参考区域的左上角的像素点在所述待处理图像中的横坐标;
为位于所述样本参考区域中的第j个参考区域的左上角的像素点在所述待处理图像中的横坐标,为位于所述第j个参考区域的右下角的像素点在所述待处理图像中的横坐标,为位于所述第i个参考区域的左上角的像素点的归一化后的横坐标;或者,
为位于所述第j个参考区域的左下角的像素点在所述待处理图像中的横坐标,为位于所述第j个参考区域的右上角的像素点在所述待处理图像中的横坐标,为位于所述第i个参考区域的左下角的像素点的归一化后的横坐标;
I(sj)为指示函数,在所述第j个参考区域对应的检测准确度值Sj大于预设准确度值时,I(sj)为1,在所述第j个参考区域对应的检测准确度值Sj小于或者等于所述预设准确度值时,I(sj)为0;i、j为小于或等于p的正整数。
本发明实施例的归一化处理步骤中通过样本参考区域的坐标值进行归一化,有利于降低检测准确度值比较低的参考区域对物体检测准确度的影响,从而提升物体检测准确度。
结合第一方面,在一些可能的实现方式中,所述特征值包括第一特征值,所述基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值包括:
基于如下公式计算所述第一特征值:
其中,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,所述第一特征值包括所述utSi为与所述样本参考区域中第i个参考区域对应的检测准确度值,函数gt(si)为Si的函数,函数gt(si)用于作为的加权函数,为所述样本参考区域的归一化后的坐标值,i为小于或等于p的正整数, 表示所述样本参考区域;
为位于所述样本参考区域中的第i个参考区域的左上角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的纵坐标,为位于所述第i个参考区域的右下角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的右下角的像素点在所述待处理图像中的归一化后的纵坐标;或者,
为位于所述样本参考区域中的第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的纵坐标,为位于所述第i个参考区域的右上角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的右上角的像素点在所述待处理图像中的归一化后的纵坐标。
需要注意的是,上述ut的计算公式中的具体是指:
若当前计算的第一特征值为样本参考区域的x1坐标对应的第一特征值,则若当前计算的第一特征值为样本参考区域的y1坐标对应的第一特征值,则若当前计算的第一特征值为样本参考区域的x2坐标对应的第一特征值,则若当前计算的第一特征值为样本参考区域的y2坐标对应的第一特征值,则其中,所述x1坐标与上述坐标对应,所述x2坐标与上述坐标对应。
本发明实施例中,由于所述第一特征值是针对所有样本参考区域的坐标使用不同的加权函数所得到的值的加权平均,故而基于该第一特征值确定的待检测物体的目标区域的坐标值综合考虑了每一个样本参考区域的坐标值对目标区域的影像,有利于提升物体检测准确性。
结合第一方面,在一些可能的实现方式中,所述第一特征值d为正整数,t为小于或等于d的正整数,ut为所述第一特征值中的第t个特征值,函数gt(si)为所述的加权函数中的第t个加权函数,所述的加权函数包括以下至少一种:
g(si)=exp(ρ1si),g(si)=exp(ρ2si),g(si)=exp(ρ3si),
g(si)=si1,g(si)=si2,g(si)=si3
g(si)=min(si1,4),g(si)=min(si2,4),g(si)=min(si3,4),
g(si)=(si1)2,g(si)=(si2)2,g(si)=(si-τ3)2
其中,所述ρ1、τ1、ρ2、τ2、ρ3、τ3为归一化系数。
结合第一方面,在一些可能的实现方式中,所述特征值还包括第二特征值,所述基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值包括:
基于如下公式计算所述第二特征值
其中,为所述第二特征值,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,矩阵D包括所述样本参考区域的归一化后的坐标值,矩阵D的第i行为所述样本参考区域中的第i个参考区域的归一化后的坐标值,表示所述样本参考区域。
本发明实施例中,由于所述第二特征值是基于包括样本参考区域的坐标的矩阵计算得到,故而基于该第二特征值确定的待检测物体的目标区域的坐标值综合考虑了不同样本参考区域的坐标的二维关系,有利于提升物体检测准确性。
结合第一方面,在一些可能的实现方式中,所述基于所述特征值,确定所述待检测物体对应的目标区域的坐标值包括:
根据如下公式计算所述目标区域的坐标值:
其中,为所述待检测物体对应的目标区域的坐标值,为所述第一特征值,为所述第二特征值的向量形式,λ、Λ1、Λ2为系数, 表示所述样本参考区域。
结合第一方面,在一些可能的实现方式中,系数Λ的值通过如下模型确定:
其中,C、∈为预设值,K为预存的训练集合的个数,为所述K个训练集合中的第k个训练集合中的参考区域对应的目标区域的预设坐标值,表示所述第k个训练集合中的参考区域。
第二方面,本发明实施例公开了一种计算机设备,包括:
获取单元,用于获取待处理图像;
所述获取单元,还用于根据所述待处理图像,获取用于标识所述待处理图像中的待检测物体的n个参考区域,以及所述n个参考区域各自对应于所述待检测物体的n个检测准确度值,所述n为大于1的整数;
第一确定单元,用于在所述n个参考区域中确定样本参考区域,其中,所述样本参考区域与所述n个检测准确度值中的最大值对应的参考区域之间的重合度大于预设阈值;
第二确定单元,用于基于所述样本参考区域,确定所述待检测物体对应的目标区域,所述目标区域用于标识所述待处理图像中的所述待检测物体。
结合第二方面,在一些可能的实现方式中,所述第二确定单元包括:
归一化单元,用于将所述样本参考区域的坐标值进行归一化,从而得到所述样本参考区域的归一化后的坐标值,所述样本参考区域的坐标值用于表示所述样本参考区域;
特征值确定单元,用于基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值;
坐标值确定单元,用于基于所述特征值,确定用于标识所述待处理图像中的所述待检测物体的所述待检测物体对应的目标区域的坐标值。
结合第二方面,在一些可能的实现方式中,所述归一化单元具体用于:
基于如下公式计算所述样本参考区域的归一化后的坐标值
其中,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,为位于所述样本参考区域中的第i个参考区域的左上角的像素点在所述待处理图像中的横坐标;
为位于所述样本参考区域中的第j个参考区域的左上角的像素点在所述待处理图像中的横坐标,为位于所述第j个参考区域的右下角的像素点在所述待处理图像中的横坐标,为位于所述第i个参考区域的左上角的像素点的归一化后的横坐标;或者,
为位于所述第j个参考区域的左下角的像素点在所述待处理图像中的横坐标,为位于所述第j个参考区域的右上角的像素点在所述待处理图像中的横坐标,为位于所述第i个参考区域的左下角的像素点的归一化后的横坐标;
I(sj)为指示函数,在所述第j个参考区域对应的检测准确度值Sj大于预设准确度值时,I(sj)为1,在所述第j个参考区域对应的检测准确度值Sj小于或者等于所述预设准确度值时,I(sj)为0;i、j为小于或等于p的正整数。
结合第二方面,在一些可能的实现方式中,所述特征值包括第一特征值,所述特征值确定单元具体用于:
基于如下公式计算所述第一特征值:
其中,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,所述第一特征值包括所述utSi为与所述样本参考区域中第i个参考区域对应的检测准确度值,函数gt(si)为Si的函数,函数gt(si)用于作为的加权函数,为所述样本参考区域的归一化后的坐标值,i为小于或等于p的正整数, 表示所述样本参考区域;
为位于所述样本参考区域中的第i个参考区域的左上角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的纵坐标,为位于所述第i个参考区域的右下角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的右下角的像素点在所述待处理图像中的归一化后的纵坐标;或者,
为位于所述样本参考区域中的第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的纵坐标,为位于所述第i个参考区域的右上角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的右上角的像素点在所述待处理图像中的归一化后的纵坐标。
需要注意的是,上述ut的计算公式中的具体是指:
若当前计算的第一特征值为样本参考区域的x1坐标对应的第一特征值,则若当前计算的第一特征值为样本参考区域的y1坐标对应的第一特征值,则若当前计算的第一特征值为样本参考区域的x2坐标对应的第一特征值,则若当前计算的第一特征值为样本参考区域的y2坐标对应的第一特征值,则其中,所述x1坐标与上述坐标对应,所述x2坐标与上述坐标对应。
结合第二方面,在一些可能的实现方式中,所述第一特征值d为正整数,t为小于或等于d的正整数,ut为所述第一特征值中的第t个特征值,函数gt(si)为所述的加权函数中的第t个加权函数,所述的加权函数包括以下至少一种:
g(si)=exp(ρ1si),g(si)=exp(ρ2si),g(si)=exp(ρ3si),
g(si)=si1,g(si)=si2,g(si)=si3
g(si)=min(si1,4),g(si)=min(si2,4),g(si)=min(si3,4),
g(si)=(si1)2,g(si)=(si2)2,g(si)=(si3)2
其中,所述ρ1、τ1、ρ2、τ2、ρ3、τ3为归一化系数。
结合第二方面,在一些可能的实现方式中,所述特征值还包括第二特征值,所述特征值确定单元具体用于:
基于如下公式计算所述第二特征值
其中,为所述第二特征值,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,矩阵D包括所述样本参考区域的归一化后的坐标值,矩阵D的第i行为所述样本参考区域中的第i个参考区域的归一化后的坐标值,表示所述样本参考区域。
结合第二方面,在一些可能的实现方式中,所述坐标值确定单元具体用于:
根据如下公式计算所述目标区域的坐标值:
其中,为所述待检测物体对应的目标区域的坐标值,为所述第一特征值,为所述第二特征值的向量形式,λ、Λ1、Λ2为系数, 表示所述样本参考区域。
结合第二方面,在一些可能的实现方式中,系数Λ的值通过如下模型确定:
其中,C、∈为预设值,K为预存的训练集合的个数,为所述K个训练集合中的第k个训练集合中的参考区域对应的目标区域的预设坐标值,表示所述第k个训练集合中的参考区域。
第三方面,本发明实施例公开了一种计算机设备,所述计算机设备包括存储器,以及和所述存储器耦合的处理器,所述存储器用于存储可执行程序代码,处理器被配置用于运行所述可执行程序代码,以执行本发明实施例第一方面任一方法中所描述的部分或全部步骤。
第四方面,本发明实施例公开了一种计算机可读存储介质,其中,所述计算机可读存储介质存储有用于计算机设备执行的程序代码,该程序代码具体包括指令,所述指令用于执行本发明实施例第一方面任一方法中所描述的部分或全部步骤。
本发明实施例中,在获取用于标识待处理图像中的待检测物体的n个参考区域,以及n个参考区域各自对应于待检测物体的n个检测准确度值,并在n个参考区域中确定样本参考区域之后,可以基于样本参考区域,确定待检测物体对应的目标区域,目标区域用于标识待处理图像中的待检测物体,其中,样本参考区域的重合度大于预设阈值,样本参考区域的重合度为样本参考区域与n个检测准确度值中的最大值对应的参考区域之间的重合度;可见,本发明实施例并非简单删除区域重合度较高的参考区域,而是利用质量比较高的样本参考区域对物体的目标区域的位置进行预测,充分考虑样本参考区域的互相关系,有利于提升检测物体位置的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术中的一种针对图像中的物体的位置进行检测的示意图;
图2是现有技术中的一种采用潜在区域分类法来检测图像中物体的位置的示意图;
图3是本发明实施例公开的一种计算机设备的结构示意图;
图4是本发明方法实施例公开了一种物体检测方法的流程示意图;
图5是本发明装置实施例公开了一种计算机设备的功能单元组成框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于理解本发明实施例,下面先对现有技术中计算机设备针对图像中的待检测物体的位置进行检测的方法进行简要说明。计算机设备先通过潜在区域分类法生成用于标识待检测物体的多个参考区域,并通过基于区域的卷积神经网络(Region BasedConvolutional Neural Network,RCNN)分类器对参考区域分类,确定参考区域对应于待检测物体的检测准确度值,然后,选择检测准确度值的最大值对应的参考区域为待检测物体的目标区域。当图像中的参考区域的检测准确度值足够高了之后,参考区域的得分与其实际位置准确度并不是强相关的(皮尔逊相关系数低于0.3),这使得最终确定的待检测物体的目标区域的准确度难以保证。
基于此,本发明方案提出一种物体检测方法,计算机设备在获取用于标识待处理图像中的待检测物体的n个参考区域,以及n个参考区域各自对应于待检测物体的n个检测准确度值,并在n个参考区域中确定样本参考区域之后,可以基于样本参考区域,确定待检测物体对应的目标区域,目标区域用于标识待处理图像中的待检测物体,其中,样本参考区域的重合度大于预设阈值,样本参考区域的重合度为样本参考区域与n个检测准确度值中的最大值对应的参考区域之间的重合度;可见,本发明实施例并非简单删除区域重合度较高的参考区域,而是利用质量比较高的样本参考区域对物体的目标区域的位置进行预测,充分考虑样本参考区域的互相关系,有利于提升检测物体位置的准确性。
下面进行详细说明。
请参见图3,图3是本发明实施例提供的一种计算机设备的结构示意图。所述计算机设备包括至少一个处理器301,通信总线302,存储器303以及至少一个通信接口304。其中,处理器301可以是一个通用中央处理器(CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本发明方案程序执行的集成电路。通信总线302可包括一通路,在上述组件之间传送信息。通信接口304可以是使用收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线接入网(RAN),无线局域网(Wireless Local Area Networks,WLAN)等。存储器303可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
所述计算机设备还可以包括输出设备305和输入设备306。输出设备305和处理器301通信,可以以多种方式来显示信息,输入设备306和处理器301通信,可以以多种方式接受用户的输入。
具体实现中,上述计算机设备例如可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant,PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备或具有如图3中类似结构的设备,本发明实施例不限定计算机设备的类型。
上述计算机设备中的处理器301能够耦合所述至少一个存储器303,所述存储器303中预存有程序代码,所述程序代码具体包括获取模块、第一确定模块、第二确定模块,所述存储器303还进一步存储有内核模块,所述内核模块包括操作系统(如WINDOWSTM,ANDROIDTM,IOSTM等)。
所述计算机设备的处理器301调用所述程序代码以执行本发明实施例所公开的物体检测方法,具体包括以下步骤:
所述计算机设备的处理器301运行存储器303中的获取模块,以获取待处理图像,并根据所述待处理图像,获取用于标识所述待处理图像中的待检测物体的n个参考区域,以及所述n个参考区域各自对应于所述待检测物体的n个检测准确度值,所述n为大于1的整数;
其中,所述参考区域各自对应于所述待检测物体的检测准确度值可以通过使用基于区域的卷积神经网络(Region Based Convolutional Neural Network,RCNN)分类器计算得到。
所述计算机设备的处理器301运行存储器303中的第一确定模块,以在所述n个参考区域中确定样本参考区域,其中,所述样本参考区域与所述n个检测准确度值中的最大值对应的参考区域之间的重合度大于预设阈值;
其中,若两个完全重合的参考区域对应的重合度为1,则所述预设阈值例如可以是0.99、0.98等,若两个完全重合的参考区域对应的重合度为100,则所述预设阈值例如可以是99、98、95等。该预设阈值可以由用户预先进行设定。
所述计算机设备的处理器301运行存储器303中的第二确定模块,以基于所述样本参考区域,确定所述待检测物体对应的目标区域,所述目标区域用于标识所述待处理图像中的所述待检测物体。
可见,本发明实施例提供的计算机设备并非简单删除区域重合度较高的参考区域,而是利用质量比较高的样本参考区域对物体的目标区域的位置进行预测,充分考虑样本参考区域的互相关系,有利于提升检测物体位置的准确性。
可选的,所述处理器301确定所述待检测物体对应的目标区域之后,所述处理器301还用于:
输出标识有所述目标区域的所述待处理图像。
可选的,所述处理器301基于所述样本参考区域,确定所述待检测物体对应的目标区域的具体实现方式为:
将所述样本参考区域的坐标值进行归一化,从而得到所述样本参考区域的归一化后的坐标值,所述样本参考区域的坐标值用于表示所述样本参考区域;
基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值;
基于所述特征值,确定用于标识所述待处理图像中的所述待检测物体的所述待检测物体对应的目标区域的坐标值。
可选的,所述处理器301将所述样本参考区域的坐标值进行归一化,从而得到所述样本参考区域的归一化后的坐标值的具体实现方式为:
基于如下公式计算所述样本参考区域的归一化后的坐标值
其中,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,为位于所述样本参考区域中的第i个参考区域的左上角的像素点在所述待处理图像中的横坐标;
为位于所述样本参考区域中的第j个参考区域的左上角的像素点在所述待处理图像中的横坐标,为位于所述第j个参考区域的右下角的像素点在所述待处理图像中的横坐标,为位于所述第i个参考区域的左上角的像素点的归一化后的横坐标;或者,
为位于所述第j个参考区域的左下角的像素点在所述待处理图像中的横坐标,为位于所述第j个参考区域的右上角的像素点在所述待处理图像中的横坐标,为位于所述第i个参考区域的左下角的像素点的归一化后的横坐标;
I(sj)为指示函数,在所述第j个参考区域对应的检测准确度值Sj大于预设准确度值时,I(sj)为1,在所述第j个参考区域对应的检测准确度值Sj小于或者等于所述预设准确度值时,I(sj)为0;i、j为小于或等于p的正整数。
其中,所述预设准确度值可以由用户预先进行设定,也可以是根据所述n个检测准确度值中的最大值计算得到的一个参考值,本发明实施例不做唯一限定。
本发明实施例的归一化处理步骤中通过样本参考区域的坐标值进行归一化,有利于降低检测准确度值比较低的参考区域对物体检测准确度的影响,从而提升物体检测准确度。
可选的,所述特征值包括第一特征值,所述处理器301基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值的具体实现方式为:
基于如下公式计算所述第一特征值:
其中,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,所述第一特征值包括所述utSi为与所述样本参考区域中第i个参考区域对应的检测准确度值,函数gt(si)为Si的函数,函数gt(si)用于作为的加权函数,为所述样本参考区域的归一化后的坐标值,i为小于或等于p的正整数, 表示所述样本参考区域;
为位于所述样本参考区域中的第i个参考区域的左上角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的纵坐标,为位于所述第i个参考区域的右下角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的右下角的像素点在所述待处理图像中的归一化后的纵坐标;或者,
为位于所述样本参考区域中的第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的纵坐标,为位于所述第i个参考区域的右上角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的右上角的像素点在所述待处理图像中的归一化后的纵坐标。
需要注意的是,上述ut的计算公式中的具体是指:
若当前计算的第一特征值为样本参考区域的x1坐标对应的第一特征值,则若当前计算的第一特征值为样本参考区域的y1坐标对应的第一特征值,则若当前计算的第一特征值为样本参考区域的x2坐标对应的第一特征值,则若当前计算的第一特征值为样本参考区域的y2坐标对应的第一特征值,则其中,所述x1坐标与上述坐标对应,所述x2坐标与上述坐标对应。
本发明实施例中,由于所述第一特征值是针对所有样本参考区域的坐标使用不同的加权函数所得到的值的加权平均,故而基于该第一特征值确定的待检测物体的目标区域的坐标值综合考虑了每一个样本参考区域的坐标值对目标区域的影像,有利于提升物体检测准确性。
可选的,所述第一特征值d为正整数,t为小于或等于d的正整数,ut为所述第一特征值中的第t个特征值,函数gt(si)为所述的加权函数中的第t个加权函数,所述的加权函数包括以下至少一种:
g(si)=exp(ρ1si),g(si)=exp(ρ2si),g(si)=exp(ρ3si),
g(si)=si1,g(si)=si2,g(si)=si3
g(si)=min(si1,4),g(si)=min(si2,4),g(si)=min(si3,4),
g(si)=(si1)2,g(si)=(si2)2,g(si)=(si3)2
其中,所述ρ1、τ1、ρ2、τ2、ρ3、τ3为归一化系数。
可选的,所述特征值还包括第二特征值,所述处理器301基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值的具体实现方式为:
基于如下公式计算所述第二特征值
其中,为所述第二特征值,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,矩阵D包括所述样本参考区域的归一化后的坐标值,矩阵D的第i行为所述样本参考区域中的第i个参考区域的归一化后的坐标值,表示所述样本参考区域。
本发明实施例中,由于所述第二特征值是基于包括样本参考区域的坐标的矩阵计算得到,故而基于该第二特征值确定的待检测物体的目标区域的坐标值综合考虑了不同样本参考区域的坐标的二维关系,有利于提升物体检测准确性。
可选的,所述处理器301基于所述特征值,确定所述待检测物体对应的目标区域的坐标值的具体实现方式为:
根据如下公式计算所述目标区域的坐标值:
其中,为所述待检测物体对应的目标区域的坐标值, 为所述第一特征值,为所述第二特征值的向量形式,λ、Λ1、Λ2为系数, 表示所述样本参考区域。
可选的,系数Λ的值通过如下模型确定:
其中,C、∈为预设值,K为预存的训练集合的个数,为所述K个训练集合中的第k个训练集合中的参考区域对应的目标区域的预设坐标值,表示所述第k个训练集合中的参考区域。
可以看出,本发明实施例中,计算机设备在获取用于标识待处理图像中的待检测物体的n个参考区域,以及n个参考区域各自对应于待检测物体的n个检测准确度值,并在n个参考区域中确定样本参考区域之后,可以基于样本参考区域,确定待检测物体对应的目标区域,目标区域用于标识待处理图像中的待检测物体,其中,样本参考区域的重合度大于预设阈值,样本参考区域的重合度为样本参考区域与n个检测准确度值中的最大值对应的参考区域之间的重合度;可见,本发明实施例并非简单删除区域重合度较高的参考区域,而是利用质量比较高的样本参考区域对物体的目标区域的位置进行预测,充分考虑样本参考区域的互相关系,有利于提升检测物体位置的准确性。
与上述技术方案一致的,请参阅图4,图4是本发明方法实施例公开的一种物体检测方法的流程示意图。需要注意的是,虽然本方法实施例公开的物体检测方法能够基于图3所示的计算机设备的实体装置实现,但上述示例计算机设备不构成对本发明方法实施例公开的物体检测方法的唯一限定。
如图4所示,所述物体检测方法包括以下步骤:
S401,计算机设备获取待处理图像;
S402,所述计算机设备根据所述待处理图像,获取用于标识所述待处理图像中的待检测物体的n个参考区域,以及所述n个参考区域各自对应于所述待检测物体的n个检测准确度值,所述n为大于1的整数;
其中,所述参考区域各自对应于所述待检测物体的检测准确度值可以通过使用基于区域的卷积神经网络(Region Based Convolutional Neural Network,RCNN)分类器计算得到。
S403,所述计算机设备在所述n个参考区域中确定样本参考区域,其中,所述样本参考区域与所述n个检测准确度值中的最大值对应的参考区域之间的重合度大于预设阈值;
其中,若两个完全重合的参考区域对应的重合度为1,则所述预设阈值例如可以是0.99、0.98等,若两个完全重合的参考区域对应的重合度为100,则所述预设阈值例如可以是99、98、95等。该预设阈值可以由用户预先进行设定。
S404,所述计算机设备基于所述样本参考区域,确定所述待检测物体对应的目标区域,所述目标区域用于标识所述待处理图像中的所述待检测物体。
可以看出,本发明实施例中,计算机设备在获取用于标识待处理图像中的待检测物体的n个参考区域,以及n个参考区域各自对应于待检测物体的n个检测准确度值,并在n个参考区域中确定样本参考区域之后,可以基于样本参考区域,确定待检测物体对应的目标区域,目标区域用于标识待处理图像中的待检测物体,其中,样本参考区域的重合度大于预设阈值,样本参考区域的重合度为样本参考区域与n个检测准确度值中的最大值对应的参考区域之间的重合度;可见,本发明实施例并非简单删除区域重合度较高的参考区域,而是利用质量比较高的样本参考区域对物体的目标区域的位置进行预测,充分考虑样本参考区域的互相关系,有利于提升检测物体位置的准确性。
可选的,本发明实施例中,所述计算机设备确定所述待检测物体对应的目标区域之后,所述计算机设备还用于:
输出标识有所述目标区域的所述待处理图像。
可选的,本发明实施例中,所述计算机设备基于所述样本参考区域,确定所述待检测物体对应的目标区域的具体实现方式为:
所述计算机设备将所述样本参考区域的坐标值进行归一化,从而得到所述样本参考区域的归一化后的坐标值,所述样本参考区域的坐标值用于表示所述样本参考区域;
所述计算机设备基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值;
所述计算机设备基于所述特征值,确定用于标识所述待处理图像中的所述待检测物体的所述待检测物体对应的目标区域的坐标值。
可选的,本发明实施例中,所述计算机设备将所述样本参考区域的坐标值进行归一化,从而得到所述样本参考区域的归一化后的坐标值的具体实现方式为:
所述计算机设备基于如下公式计算所述样本参考区域的归一化后的坐标值
其中,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,为位于所述样本参考区域中的第i个参考区域的左上角的像素点在所述待处理图像中的横坐标;
为位于所述样本参考区域中的第j个参考区域的左上角的像素点在所述待处理图像中的横坐标,为位于所述第j个参考区域的右下角的像素点在所述待处理图像中的横坐标,为位于所述第i个参考区域的左上角的像素点的归一化后的横坐标;或者,
为位于所述第j个参考区域的左下角的像素点在所述待处理图像中的横坐标,为位于所述第j个参考区域的右上角的像素点在所述待处理图像中的横坐标,为位于所述第i个参考区域的左下角的像素点的归一化后的横坐标;
I(sj)为指示函数,在所述第j个参考区域对应的检测准确度值Sj大于预设准确度值时,I(sj)为1,在所述第j个参考区域对应的检测准确度值Sj小于或者等于所述预设准确度值时,I(sj)为0;i、j为小于或等于p的正整数。
其中,所述预设准确度值可以由用户预先进行设定,也可以是根据所述n个检测准确度值中的最大值计算得到的一个参考值,本发明实施例不做唯一限定。
可选的,本发明实施例中,所述特征值包括第一特征值,所述计算机设备基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值的具体实现方式为:
所述计算机设备基于如下公式计算所述第一特征值:
其中,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,所述第一特征值包括所述utSi为与所述样本参考区域中第i个参考区域对应的检测准确度值,函数gt(si)为Si的函数,函数gt(si)用于作为的加权函数,为所述样本参考区域的归一化后的坐标值,i为小于或等于p的正整数, 表示所述样本参考区域;
为位于所述样本参考区域中的第i个参考区域的左上角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的纵坐标,为位于所述第i个参考区域的右下角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的右下角的像素点在所述待处理图像中的归一化后的纵坐标;或者,
为位于所述样本参考区域中的第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的纵坐标,为位于所述第i个参考区域的右上角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的右上角的像素点在所述待处理图像中的归一化后的纵坐标。
需要注意的是,上述ut的计算公式中的具体是指:
若当前计算的第一特征值为样本参考区域的x1坐标对应的第一特征值,则若当前计算的第一特征值为样本参考区域的y1坐标对应的第一特征值,则若当前计算的第一特征值为样本参考区域的x2坐标对应的第一特征值,则若当前计算的第一特征值为样本参考区域的y2坐标对应的第一特征值,则其中,所述x1坐标与上述坐标对应,所述x2坐标与上述坐标对应。
可选的,本发明实施例中,所述第一特征值d为正整数,t为小于或等于d的正整数,ut为所述第一特征值中的第t个特征值,函数gt(si)为所述的加权函数中的第t个加权函数,所述的加权函数包括以下至少一种:
g(si)=exp(ρ1si),g(si)=exp(ρ2si),g(si)=exp(ρ3si),
g(si)=si1,g(si)=si2,g(si)=si3
g(si)=min(si1,4),g(si)=min(si2,4),g(si)=min(si3,4),
g(si)=(si1)2,g(si)=(si2)2,g(si)=(si3)2
其中,所述ρ1、τ1、ρ2、τ2、ρ3、τ3为归一化系数。
可选的,本发明实施例中,所述特征值还包括第二特征值,所述计算机设备基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值的具体实现方式为:
所述计算机设备基于如下公式计算所述第二特征值
其中,为所述第二特征值,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,矩阵D包括所述样本参考区域的归一化后的坐标值,矩阵D的第i行为所述样本参考区域中的第i个参考区域的归一化后的坐标值,表示所述样本参考区域。
可选的,本发明实施例中,所述计算机设备基于所述特征值,确定所述待检测物体对应的目标区域的坐标值的具体实现方式为:
所述计算机设备根据如下公式计算所述目标区域的坐标值:
其中,为所述待检测物体对应的目标区域的坐标值, 为所述第一特征值,为所述第二特征值的向量形式,λ、Λ1、Λ2为系数, 表示所述样本参考区域。
可选的,本发明实施例中,系数Λ的值通过如下模型确定:
其中,C、∈为预设值,K为预存的训练集合的个数,为所述K个训练集合中的第k个训练集合中的参考区域对应的目标区域的预设坐标值,表示所述第k个训练集合中的参考区域。
上述计算机设备中执行的部分或全部步骤,具体可以由所述计算机设备通过执行上述存储器中的软件模块(程序代码)来实现。例如,所述步骤S401和步骤S402可以由计算机设备执行图3所示的获取模块来实现;所述步骤S403可以由计算机设备执行图3所示的第一确定模块来实现;所述步骤S404可以由计算机设备执行图3所示的第二确定模块来实现。
下面为本发明装置实施例,请参阅图5,图5是本发明装置实施例公开的一种计算机设备的功能单元组成框图。如图5所示,所述计算机设备包括获取单元501、第一确定单元502以及第二确定单元503,其中:
所述获取单元501,用于获取待处理图像;
所述获取单元501,还用于根据所述待处理图像,获取用于标识所述待处理图像中的待检测物体的n个参考区域,以及所述n个参考区域各自对应于所述待检测物体的n个检测准确度值,所述n为大于1的整数;
所述第一确定单元502,用于在所述n个参考区域中确定样本参考区域,其中,所述样本参考区域与所述n个检测准确度值中的最大值对应的参考区域之间的重合度大于预设阈值;
所述第二确定单元503,用于基于所述样本参考区域,确定所述待检测物体对应的目标区域,所述目标区域用于标识所述待处理图像中的所述待检测物体。
可选的,所述第二确定单元503包括:
归一化单元,用于将所述样本参考区域的坐标值进行归一化,从而得到所述样本参考区域的归一化后的坐标值,所述样本参考区域的坐标值用于表示所述样本参考区域;
特征值确定单元,用于基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值;
坐标值确定单元,用于基于所述特征值,确定用于标识所述待处理图像中的所述待检测物体的所述待检测物体对应的目标区域的坐标值。
可选的,所述归一化单元具体用于:
基于如下公式计算所述样本参考区域的归一化后的坐标值
其中,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,为位于所述样本参考区域中的第i个参考区域的左上角的像素点在所述待处理图像中的横坐标;
为位于所述样本参考区域中的第j个参考区域的左上角的像素点在所述待处理图像中的横坐标,为位于所述第j个参考区域的右下角的像素点在所述待处理图像中的横坐标,为位于所述第i个参考区域的左上角的像素点的归一化后的横坐标;或者,
为位于所述第j个参考区域的左下角的像素点在所述待处理图像中的横坐标,为位于所述第j个参考区域的右上角的像素点在所述待处理图像中的横坐标,为位于所述第i个参考区域的左下角的像素点的归一化后的横坐标;
I(sj)为指示函数,在所述第j个参考区域对应的检测准确度值Sj大于预设准确度值时,I(sj)为1,在所述第j个参考区域对应的检测准确度值Sj小于或者等于所述预设准确度值时,I(sj)为0;i、j为小于或等于p的正整数。
其中,所述预设准确度值可以由用户预先进行设定,也可以是根据所述n个检测准确度值中的最大值计算得到的一个参考值,本发明实施例不做唯一限定。
可选的,所述特征值包括第一特征值,所述特征值确定单元具体用于:
基于如下公式计算所述第一特征值:
其中,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,所述第一特征值包括所述utSi为与所述样本参考区域中第i个参考区域对应的检测准确度值,函数gt(si)为Si的函数,函数gt(si)用于作为的加权函数,为所述样本参考区域的归一化后的坐标值,i为小于或等于p的正整数, 表示所述样本参考区域;
为位于所述样本参考区域中的第i个参考区域的左上角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的纵坐标,为位于所述第i个参考区域的右下角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的右下角的像素点在所述待处理图像中的归一化后的纵坐标;或者,
为位于所述样本参考区域中的第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的纵坐标,为位于所述第i个参考区域的右上角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的右上角的像素点在所述待处理图像中的归一化后的纵坐标。
需要注意的是,上述ut的计算公式中的具体是指:
若当前计算的第一特征值为样本参考区域的x1坐标对应的第一特征值,则若当前计算的第一特征值为样本参考区域的y1坐标对应的第一特征值,则若当前计算的第一特征值为样本参考区域的x2坐标对应的第一特征值,则若当前计算的第一特征值为样本参考区域的y2坐标对应的第一特征值,则其中,所述x1坐标与上述坐标对应,所述x2坐标与上述坐标对应。
可选的,所述第一特征值d为正整数,t为小于或等于d的正整数,ut为所述第一特征值中的第t个特征值,函数gt(si)为所述的加权函数中的第t个加权函数,所述的加权函数包括以下至少一种:
g(si)=exp(ρ1si),g(si)=exp(ρ2si),g(si)=exp(ρ3si),
g(si)=si1,g(si)=si2,g(si)=si3
g(si)=min(si1,4),g(si)=min(si2,4),g(si)=min(si3,4),
g(si)=(si1)2,g(si)=(si2)2,g(si)=(si3)2
其中,所述ρ1、τ1、ρ2、τ2、ρ3、τ3为归一化系数。
可选的,所述特征值还包括第二特征值,所述特征值确定单元具体用于:
基于如下公式计算所述第二特征值
其中,为所述第二特征值,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,矩阵D包括所述样本参考区域的归一化后的坐标值,矩阵D的第i行为所述样本参考区域中的第i个参考区域的归一化后的坐标值,表示所述样本参考区域。
可选的,所述坐标值确定单元具体用于:
根据如下公式计算所述目标区域的坐标值:
其中,为所述待检测物体对应的目标区域的坐标值, 为所述第一特征值,为所述第二特征值的向量形式,λ、Λ1、Λ2为系数, 表示所述样本参考区域。
可选的,系数Λ的值通过如下模型确定:
其中,C、∈为预设值,K为预存的训练集合的个数,为所述K个训练集合中的第k个训练集合中的参考区域对应的目标区域的预设坐标值,表示所述第k个训练集合中的参考区域。
需要注意的是,本发明功能单元装置实施例所描述的计算机设备是以功能单元的形式呈现。这里所使用的术语“单元”应当理解为尽可能最宽的含义,用于实现各个“单元”所描述功能的对象例如可以是集成电路ASIC,单个电路,用于执行一个或多个软件或固件程序的处理器(共享的、专用的或芯片组)和存储器,组合逻辑电路,和/或提供实现上述功能的其他合适的组件。
举例来说,本领域技术员人可以知晓该计算机设备的硬件载体的组成形式具体可以是图3所示的计算机设备。
其中,所述获取单元501的功能可以由所述计算机设备中的处理器301和存储器303来实现,具体是通过处理器100运行存储器303中的获取模块,以获取待处理图像,并根据所述待处理图像,获取用于标识所述待处理图像中的待检测物体的n个参考区域,以及所述n个参考区域各自对应于所述待检测物体的n个检测准确度值;;
所述第一确定单元502的功能可以由所述计算机设备中的处理器301和存储器303来实现,具体是通过处理器100运行存储器303中的第一确定模块,以在所述n个参考区域中确定样本参考区域;
所述第二确定单元503的功能可以由所述计算机设备中的处理器301和存储器303来实现,具体是通过处理器100运行存储器303中的第二确定模块,以基于所述样本参考区域,确定所述待检测物体对应的目标区域;
可以看出,本发明实施例中,本发明实施例公开的计算机设备的获取单元首先获取待处理图像,根据所述待处理图像,获取用于标识所述待处理图像中的待检测物体的n个参考区域,以及所述n个参考区域各自对应于所述待检测物体的n个检测准确度值,其次,计算机设备的第一确定单元在所述n个参考区域中确定样本参考区域,最后,计算机设备的第二确定单元基于所述样本参考区域,确定所述待检测物体对应的目标区域,其中,样本参考区域的重合度大于预设阈值,样本参考区域的重合度为样本参考区域与n个检测准确度值中的最大值对应的参考区域之间的重合度;可见,本发明实施例并非简单删除区域重合度较高的参考区域,而是利用质量比较高的样本参考区域对物体的目标区域的位置进行预测,充分考虑样本参考区域的互相关系,有利于提升检测物体位置的准确性。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
以上对本发明实施例公开的一种物体检测方法及计算机设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种物体检测方法,其特征在于,包括:
获取待处理图像;
根据所述待处理图像,获取用于标识所述待处理图像中的待检测物体的n个参考区域,以及所述n个参考区域各自对应于所述待检测物体的n个检测准确度值,所述n为大于1的整数;
在所述n个参考区域中确定样本参考区域,其中,所述样本参考区域与所述n个检测准确度值中的最大值对应的参考区域之间的重合度大于预设阈值;
基于所述样本参考区域,确定所述待检测物体对应的目标区域,所述目标区域用于标识所述待处理图像中的所述待检测物体。
2.根据权利要求1所述的方法,其特征在于,所述基于所述样本参考区域,确定所述待检测物体对应的目标区域,包括:
将所述样本参考区域的坐标值进行归一化,从而得到所述样本参考区域的归一化后的坐标值,所述样本参考区域的坐标值用于表示所述样本参考区域;
基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值;
基于所述特征值,确定用于标识所述待处理图像中的所述待检测物体对应的目标区域的坐标值。
3.根据权利要求2所述的方法,其特征在于,所述将所述样本参考区域的坐标值进行归一化,从而得到所述样本参考区域的归一化后的坐标值包括:
基于如下公式计算所述样本参考区域的归一化后的坐标值
其中,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,为位于所述样本参考区域中的第i个参考区域的左上角的像素点在所述待处理图像中的横坐标;
为位于所述样本参考区域中的第j个参考区域的左上角的像素点在所述待处理图像中的横坐标,为位于所述第j个参考区域的右下角的像素点在所述待处理图像中的横坐标,为位于所述第i个参考区域的左上角的像素点的归一化后的横坐标;或者,
为位于所述第j个参考区域的左下角的像素点在所述待处理图像中的横坐标,为位于所述第j个参考区域的右上角的像素点在所述待处理图像中的横坐标,为位于所述第i个参考区域的左下角的像素点的归一化后的横坐标;
I(sj)为指示函数,在所述第j个参考区域对应的检测准确度值sj大于预设准确度值时,I(sj)为1,在所述第j个参考区域对应的检测准确度值sj小于或者等于所述预设准确度值时,I(sj)为0;i、j为小于或等于p的正整数。
4.根据权利要求2或3任一项所述的方法,其特征在于,所述特征值包括第一特征值,所述基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值包括:
基于如下公式计算所述第一特征值:
其中,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,所述第一特征值包括所述utsi为与所述样本参考区域中第i个参考区域对应的检测准确度值,函数gt(si)为si的函数,函数gt(si)用于作为的加权函数,为所述样本参考区域的归一化后的坐标值,i为小于或等于p的正整数, 表示所述样本参考区域;
为位于所述样本参考区域中的第i个参考区域的左上角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的纵坐标,为位于所述第i个参考区域的右下角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的右下角的像素点在所述待处理图像中的归一化后的纵坐标;或者,
为位于所述样本参考区域中的第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的纵坐标,为位于所述第i个参考区域的右上角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的右上角的像素点在所述待处理图像中的归一化后的纵坐标。
5.根据权利要求4所述的方法,其特征在于,所述第一特征值d为正整数,t为小于或等于d的正整数,ut为所述第一特征值中的第t个特征值,函数gt(si)为所述的加权函数中的第t个加权函数,所述的加权函数包括以下至少一种:
2
其中,所述ρ1、τ1、ρ2、τ2、ρ3、τ3为归一化系数。
6.根据权利要求2-5任一项所述的方法,其特征在于,所述特征值还包括第二特征值,所述基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值包括:
基于如下公式计算所述第二特征值
其中,为所述第二特征值,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,矩阵D包括所述样本参考区域的归一化后的坐标值,矩阵D的第i行为所述样本参考区域中的第i个参考区域的归一化后的坐标值,表示所述样本参考区域。
7.根据权利要求6所述的方法,其特征在于,所述基于所述特征值,确定所述待检测物体对应的目标区域的坐标值包括:
根据如下公式计算所述目标区域的坐标值:
其中,为所述待检测物体对应的目标区域的坐标值,为所述第一特征值,为所述第二特征值的向量形式,λ、Λ1、Λ2为系数,表示所述样本参考区域。
8.根据权利要求7所述的方法,其特征在于,系数Λ的值通过如下模型确定:
其中,C、∈为预设值,K为预存的训练集合的个数,为所述K个训练集合中的第k个训练集合中的参考区域对应的目标区域的预设坐标值,表示所述第k个训练集合中的参考区域。
9.一种计算机设备,其特征在于,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如下步骤:
获取待处理图像;
根据所述待处理图像,获取用于标识所述待处理图像中的待检测物体的n个参考区域,以及所述n个参考区域各自对应于所述待检测物体的n个检测准确度值,所述n为大于1的整数;
在所述n个参考区域中确定样本参考区域,其中,所述样本参考区域与所述n个检测准确度值中的最大值对应的参考区域之间的重合度大于预设阈值;
基于所述样本参考区域,确定所述待检测物体对应的目标区域,所述目标区域用于标识所述待处理图像中的所述待检测物体。
10.根据权利要求9所述的计算机设备,其特征在于,所述处理器基于所述样本参考区域,确定所述待检测物体对应的目标区域的具体实现方式为:
将所述样本参考区域的坐标值进行归一化,从而得到所述样本参考区域的归一化后的坐标值,所述样本参考区域的坐标值用于表示所述样本参考区域;
基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值;
基于所述特征值,确定用于标识所述待处理图像中的所述待检测物体对应的目标区域的坐标值。
11.根据权利要求10所述的计算机设备,其特征在于,所述处理器将所述样本参考区域的坐标值进行归一化,从而得到所述样本参考区域的归一化后的坐标值的具体实现方式为:
基于如下公式计算所述样本参考区域的归一化后的坐标值
其中,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,为位于所述样本参考区域中的第i个参考区域的左上角的像素点在所述待处理图像中的横坐标;
为位于所述样本参考区域中的第j个参考区域的左上角的像素点在所述待处理图像中的横坐标,为位于所述第j个参考区域的右下角的像素点在所述待处理图像中的横坐标,为位于所述第i个参考区域的左上角的像素点的归一化后的横坐标;或者,
为位于所述第j个参考区域的左下角的像素点在所述待处理图像中的横坐标,为位于所述第j个参考区域的右上角的像素点在所述待处理图像中的横坐标,为位于所述第i个参考区域的左下角的像素点的归一化后的横坐标;
I(sj)为指示函数,在所述第j个参考区域对应的检测准确度值sj大于预设准确度值时,I(sj)为1,在所述第j个参考区域对应的检测准确度值sj小于或者等于所述预设准确度值时,I(sj)为0;i、j为小于或等于p的正整数。
12.根据权利要求10或11任一项所述的计算机设备,其特征在于,所述特征值包括第一特征值,所述处理器基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值的具体实现方式为:
基于如下公式计算所述第一特征值:
其中,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,所述第一特征值包括所述utsi为与所述样本参考区域中第i个参考区域对应的检测准确度值,函数gt(si)为si的函数,函数gt(si)用于作为的加权函数,为所述样本参考区域的归一化后的坐标值,i为小于或等于p的正整数, 表示所述样本参考区域;
为位于所述样本参考区域中的第i个参考区域的左上角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的纵坐标,为位于所述第i个参考区域的右下角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的右下角的像素点在所述待处理图像中的归一化后的纵坐标;或者,
为位于所述样本参考区域中的第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的左下角的像素点在所述待处理图像中的归一化后的纵坐标,为位于所述第i个参考区域的右上角的像素点在所述待处理图像中的归一化后的横坐标,为位于所述第i个参考区域的右上角的像素点在所述待处理图像中的归一化后的纵坐标。
13.根据权利要求12所述的计算机设备,其特征在于,所述第一特征值d为正整数,t为小于或等于d的正整数,ut为所述第一特征值中的第t个特征值,函数gt(si)为所述的加权函数中的第t个加权函数,所述的加权函数包括以下至少一种:
其中,所述ρ1、τ1、ρ2、τ2、ρ3、τ3为归一化系数。
14.根据权利要求10-13任一项所述的计算机设备,其特征在于,所述特征值还包括第二特征值,所述处理器基于所述样本参考区域的归一化后的坐标值,确定所述样本参考区域的特征值的具体实现方式为:
基于如下公式计算所述第二特征值
其中,为所述第二特征值,所述样本参考区域的区域数量为p个,p为小于或等于n的正整数,矩阵D包括所述样本参考区域的归一化后的坐标值,矩阵D的第i行为所述样本参考区域中的第i个参考区域的归一化后的坐标值,表示所述样本参考区域。
15.根据权利要求14所述的计算机设备,其特征在于,所述处理器基于所述特征值,确定所述待检测物体对应的目标区域的坐标值的具体实现方式为:
根据如下公式计算所述目标区域的坐标值:
其中,为所述待检测物体对应的目标区域的坐标值,为所述第一特征值,为所述第二特征值的向量形式,λ、Λ1、Λ2为系数,表示所述样本参考区域。
16.根据权利要求15所述的计算机设备,其特征在于,系数Λ的值通过如下模型确定:
其中,C、∈为预设值,K为预存的训练集合的个数,为所述K个训练集合中的第k个训练集合中的参考区域对应的目标区域的预设坐标值,表示所述第k个训练集合中的参考区域。
CN201610084119.0A 2016-02-06 2016-02-06 一种物体检测方法及计算机设备 Withdrawn CN107045716A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610084119.0A CN107045716A (zh) 2016-02-06 2016-02-06 一种物体检测方法及计算机设备
US15/425,756 US20170228890A1 (en) 2016-02-06 2017-02-06 Object detection method and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610084119.0A CN107045716A (zh) 2016-02-06 2016-02-06 一种物体检测方法及计算机设备

Publications (1)

Publication Number Publication Date
CN107045716A true CN107045716A (zh) 2017-08-15

Family

ID=59496454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610084119.0A Withdrawn CN107045716A (zh) 2016-02-06 2016-02-06 一种物体检测方法及计算机设备

Country Status (2)

Country Link
US (1) US20170228890A1 (zh)
CN (1) CN107045716A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110220882A (zh) * 2019-05-30 2019-09-10 深圳前海达闼云端智能科技有限公司 样品检测方法、设备、计算设备及计算机存储介质
CN111797728A (zh) * 2020-06-19 2020-10-20 浙江大华技术股份有限公司 一种运动物体的检测方法、装置、计算设备及存储介质
CN113378873A (zh) * 2021-01-13 2021-09-10 杭州小创科技有限公司 一种用于确定目标对象归属或归类的算法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111385834B (zh) * 2018-12-27 2023-08-18 深圳市大数据研究院 对象识别方法、装置、电子设备及计算机可读存储介质
CN113034427B (zh) * 2019-12-25 2024-01-23 合肥欣奕华智能机器股份有限公司 图像识别方法及图像识别装置
CN111784672A (zh) * 2020-06-30 2020-10-16 创新奇智(上海)科技有限公司 缺陷检测方法、装置、电子设备及可读存储介质
CN114757250A (zh) * 2020-12-29 2022-07-15 华为云计算技术有限公司 一种图像处理方法以及相关设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110220882A (zh) * 2019-05-30 2019-09-10 深圳前海达闼云端智能科技有限公司 样品检测方法、设备、计算设备及计算机存储介质
CN110220882B (zh) * 2019-05-30 2022-05-17 深圳前海达闼云端智能科技有限公司 样品检测方法、设备、计算设备及计算机存储介质
CN111797728A (zh) * 2020-06-19 2020-10-20 浙江大华技术股份有限公司 一种运动物体的检测方法、装置、计算设备及存储介质
CN113378873A (zh) * 2021-01-13 2021-09-10 杭州小创科技有限公司 一种用于确定目标对象归属或归类的算法

Also Published As

Publication number Publication date
US20170228890A1 (en) 2017-08-10

Similar Documents

Publication Publication Date Title
CN107045716A (zh) 一种物体检测方法及计算机设备
CN109919934B (zh) 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
CN106097361A (zh) 一种缺陷区域检测方法及装置
CN105975929A (zh) 一种基于聚合通道特征的快速行人检测方法
CN106530271B (zh) 一种红外图像显著性检测方法
CN107424160A (zh) 通过视觉系统查找图像中线的系统和方法
CN108537286A (zh) 一种基于关键区域检测的复杂目标精准识别方法
CN110232387A (zh) 一种基于kaze-hog算法的异源图像匹配方法
CN106210513A (zh) 一种基于移动终端的拍照预览方法及移动终端
CN109087294A (zh) 一种产品缺陷检测方法、系统及计算机可读存储介质
CN113221804B (zh) 一种基于监控视频的乱堆物料检测方法、装置及应用
CN107256357A (zh) 基于深度学习的安卓恶意应用的检测和分析方法
CN104463240B (zh) 一种仪表定位方法及装置
CN106682092A (zh) 一种目标检索方法及终端
CN112634201B (zh) 目标检测方法、装置和电子设备
CN110415237A (zh) 皮肤瑕疵检测方法、检测装置、终端设备及可读存储介质
CN111553914A (zh) 基于视觉的货物检测方法、装置、终端及可读存储介质
CN117152484B (zh) 基于改进的YOLOv5s的小目标布匹瑕疵检测方法
Zhao et al. Redundant object detection method for civil aircraft assembly based on machine vision and smart glasses
CN108428247A (zh) 焊锡点方向的检测方法和系统
CN106228553A (zh) 高分辨率遥感图像阴影检测装置与方法
KR100837244B1 (ko) 자동차 번호판의 영상 인식 시스템 및 그 방법
CN106874835B (zh) 一种图像处理方法及装置
TWI296087B (en) Fuzzy reasoning model for semiconductor process fault detection using wafer acceptance test data
WO2021036185A1 (zh) 证件识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20170815

WW01 Invention patent application withdrawn after publication