CN109961455A - 一种目标检测方法及装置 - Google Patents

一种目标检测方法及装置 Download PDF

Info

Publication number
CN109961455A
CN109961455A CN201711405618.6A CN201711405618A CN109961455A CN 109961455 A CN109961455 A CN 109961455A CN 201711405618 A CN201711405618 A CN 201711405618A CN 109961455 A CN109961455 A CN 109961455A
Authority
CN
China
Prior art keywords
image
area
default
coordinate system
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711405618.6A
Other languages
English (en)
Other versions
CN109961455B (zh
Inventor
蒋腻聪
朱建华
沈冰伟
郭斌
蒋海青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN201711405618.6A priority Critical patent/CN109961455B/zh
Priority to PCT/CN2018/115641 priority patent/WO2019120011A1/zh
Priority to EP18893123.2A priority patent/EP3731180A4/en
Priority to US16/954,751 priority patent/US11367276B2/en
Publication of CN109961455A publication Critical patent/CN109961455A/zh
Application granted granted Critical
Publication of CN109961455B publication Critical patent/CN109961455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805Parameters or conditions being sensed
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805Parameters or conditions being sensed
    • A47L9/2826Parameters or conditions being sensed the condition of the floor
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2842Suction motors or blowers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/94Investigating contamination, e.g. dust
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本发明实施例提供了一种目标检测方法及装置,该方法包括:获得图像采集设备在待检测区域处于不同照射角度的光源照射的情况下所采集的多张图像,作为待检测图像,其中,不同照射角度对应不同待检测图像;基于所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定待检测区域是否存在目标。应用本发明实施例以实现对待检测区域中的目标简便有效地检测。

Description

一种目标检测方法及装置
技术领域
本发明涉及图像处理技术领域,特别是涉及一种目标检测方法及装置。
背景技术
在目标检测领域中,现有的目标检测方法一般都是采用混合高斯算法,来从目标场景中检测出是否存在目标。
然而在采用混合高斯算法,来从目标场景中检测出是否存在目标的过程中,电子设备首先需要针对该目标场景采集图像,基于所采集的图像建立高斯模型,并在检测过程中不断的更新上述所建立的高斯模型,检测过程中计算量大且复杂,不够简便。
那么如何提供一种简便的目标检测方法成为亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种目标检测方法及装置,以实现对待检测区域中的目标简便有效地检测。具体技术方案如下:
一方面,本发明实施例提供了一种目标检测方法,所述方法包括:
获得图像采集设备在待检测区域处于不同照射角度的光源照射的情况下所采集的多张图像,作为待检测图像,其中,不同照射角度对应不同待检测图像;
基于所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定所述待检测区域是否存在目标。
可选地,所述不同照射角度的光源包括:光束发射方向与所述待检测区域所在平面垂直的直射光源以及光束发射方向与所述待检测区域所在平面不垂直的斜射光源;
所述图像采集设备的光轴与所述待检测区域所在平面垂直,所述图像采集设备与所述直射光源之间的距离不超过第一预设距离,所述图像采集设备与所述斜射光源之间的距离不低于第二预设距离,所述第二预设距离大于所述第一预设距离;
所述待检测图像包括:所述直射光源对应的第一待检测图像和所述斜射光源对应的第二待检测图像;
所述基于所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定所述待检测区域是否存在目标的步骤,包括:
基于所述图像采集设备的光轴以及预设重投影规则,从所述第一待检测图像中确定出第一区域图像,并从所述第二待检测图像中确定出第二区域图像,其中,所述第一区域图像中的像素点与所述第二区域图像中的像素点之间存在对应关系,且存在对应关系的像素点对应所述待检测区域中相同位置的点;
基于所述第一区域图像中每一像素点的灰度值以及所述第二区域图像中每一像素点的灰度值,计算所述第一区域图像和所述第二区域图像的相似度值;
基于所计算的相似度值,确定所述待检测区域是否存在目标。
可选地,所述基于所述图像采集设备的光轴以及预设重投影规则,从所述第一待检测图像中确定出第一区域图像,并从所述第二待检测图像中确定出第二区域图像的步骤,包括:
确定所述图像采集设备的光轴的延长线与所述待检测区域所在平面的交点,作为中心点;
基于所述中心点以及预设长度,从所述待检测区域中确定目标区域;
基于预设投影公式以及所述目标区域中的点在预设三维直角坐标系下的坐标,从所述第一待检测图像中确定出所述目标区域对应的第一区域图像,并从所述第二待检测图像中确定出所述目标区域对应的第二区域图像,其中,所述预设投影公式为:
其中,所述fx表示所述第一区域图像所在图像坐标系的第一横轴方向上的等效焦距,所述fy表示所述第一区域图像所在图像坐标系的第一纵轴方向上的等效焦距,所述ρ表示预设比例因子,所述s表示预设的所述第一横轴和所述第一纵轴的不垂直因子;所述(cx,cy)表示所述图像采集设备的光心在所述第一区域图像所在图像坐标系下的坐标,所述(u,v)表示所述第一区域图像中像素点在所述第一区域图像所在图像坐标系下的坐标,所述(XC,YC,ZC)表示所述目标区域中的点在预设三维直角坐标系下的坐标,所述预设三维直角坐标系为:基于所述图像采集设备的光心所建立的坐标系,所述第一横轴的方向与所述预设三维直角坐标系的第二横轴的方向相同,所述所述第一纵轴的方向与所述预设三维直角坐标系的第二纵轴的方向相同;或,
所述fx表示所述第二区域图像所在图像坐标系的第三横轴方向上的等效焦距,所述fy表示所述第二区域图像所在图像坐标系的第三纵轴方向上的等效焦距,所述ρ表示预设比例因子,所述s表示预设的所述第三横轴和所述第三纵轴的不垂直因子;所述(cx,cy)表示所述图像采集设备的光心在所述第二区域图像所在图像坐标系下的坐标,所述(u,v)表示所述第二区域图像中像素点在所述第二区域图像所在图像坐标系下的坐标,所述(XC,YC,ZC)表示所述目标区域中的点在预设三维直角坐标系下的坐标,所述预设三维直角坐标系为:基于所述图像采集设备的光心所建立的坐标系,所述第三横轴的方向与所述预设三维直角坐标系的第二横轴的方向相同,所述第三纵轴的方向与所述预设三维直角坐标系的第二纵轴的方向相同。
可选地,所述基于所述第一区域图像中每一像素点的灰度值以及所述第二区域图像中每一像素点的灰度值,计算所述第一区域图像和所述第二区域图像的相似度值的步骤,包括:
对所述第一区域图像中每一像素点的灰度值进行归一化,得到所述第一区域图像中每一像素点的归一化后的灰度值;
并对所述第二区域图像中每一像素点的灰度值进行归一化,得到所述第二区域图像中每一像素点的归一化后的灰度值;
基于归一化互相关算法、所述第一区域图像中每一像素点的归一化后的灰度值以及所述第二区域图像中每一像素点的归一化后的灰度值,计算所述第一区域图像和所述第二区域图像的相似度值。
可选地,所述基于所计算的相似度值,确定所述待检测区域是否存在目标的步骤,包括:
判断计算所得的相似度值是否小于预设相似度阈值;
当判断计算所得的相似度值小于预设相似度阈值时,确定所述待检测区域存在目标;
当判断计算所得的相似度值不小于预设相似度阈值时,确定所述待检测区域不存在目标。
可选地,在所述确定所述待检测区域存在目标的步骤之后,所述方法还包括:
通过所述第一区域图像中每一像素点的灰度值,与所述第二区域图像中每一像素点的灰度值,确定出所述第一区域图像与所述第二区域图像之间的灰度差值图;
从所述灰度差值图中,确定出灰度值大于预设灰度阈值的像素点,作为投影像素点;
基于所确定的投影像素点,确定所述第二区域图像中的第一投影区域;
基于预设投影公式,从所述待检测区域中确定所述第一投影区域对应的第二投影区域;其中,所述预设投影公式为:
所述fx表示所述第二区域图像所在图像坐标系的第三横轴方向上的等效焦距,所述fy表示所述第二区域图像所在图像坐标系的第三纵轴方向上的等效焦距,所述ρ表示预设比例因子,所述s表示预设的所述第三横轴和所述第三纵轴的不垂直因子;所述(cx,cy)表示所述图像采集设备的光心在所述第二区域图像所在图像坐标系下的坐标,所述(u,v)表示所述第二区域图像中像素点在所述第二区域图像所在图像坐标系下的坐标,所述(XC,YC,ZC)表示所述第二投影区域中的点在预设三维直角坐标系下的坐标,所述预设三维直角坐标系为:基于所述图像采集设备的光心所建立的坐标系,所述第三横轴的方向与所述预设三维直角坐标系的第二横轴的方向相同,所述第三纵轴的方向与所述预设三维直角坐标系的第二纵轴的方向相同;
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标以及所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息;
基于所述目标的形状信息,确定所述目标的类型。
可选地,所述基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标以及所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息的步骤,包括:
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标,确定出最小横轴坐标值以及最大横轴坐标值;
从所述第二投影区域中各点中,确定出所述最小横轴坐标值对应的最大纵轴坐标值,并将所对应的点,作为第一点;
从第二投影区域中各点中,确定出最大横轴坐标值对应的最大纵轴坐标值,并将所对应的点,作为第二点;
从第二投影区域中各点中,确定出所述最大横轴坐标值对应的最小纵轴坐标值,并将所对应的点,作为第三点;
将所述第二点和所述第三点的纵轴坐标值之差,作为所述目标的形状信息中的最大横截面长度;
基于相似三角形原理,利用所述第一点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标、所述第三点在所述预设三维直角坐标系下的坐标以及所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息中的目标高度。
可选地,所述基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标以及所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息的步骤,包括:
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标,从所述第二投影区域中各点中,确定出所对应横轴坐标值最小的点,作为第一点;
确定所述第一点在所述预设三维直角坐标系下的坐标;
确定所述第一点与所述斜射光源在所述待检测区域所在平面中的投影点之间的连线与所述第二投影区域的相交点;
从所述相交点中,确定出所对应横轴坐标值最大的相交点在所述预设三维直角坐标系下的坐标;
基于相似三角形原理,利用所述第一点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标、所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标以及所述所对应横轴坐标值最大的相交点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息中的目标高度;
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标,从所述第二投影区域中各点中,确定出所对应横轴坐标值相同、且所对应纵轴坐标值之差最大的点对,作为目标点对;
将所述目标点对中每一点的纵轴坐标值之差的绝对值,作为所述目标的形状信息中的最大横截面长度。
可选地,所述基于所述目标的形状信息,确定所述目标的类型的步骤,包括:
计算所述目标的最大横截面长度以及所述目标的目标高度的比值;
根据所计算的比值,确定所述目标的类型,其中,当所计算的比值小于或等于第一预设阈值时,确定所述目标的类型为丝状物体;当所计算的比值大于所述第一预设阈值,且小于或等于第二预设阈值时,确定所述目标的类型为颗粒状物体;当所计算的比值大于所述第二预设阈值时,确定所述目标的类型为絮状物体。
可选地,应用于清洁机器人,
在所述根据所计算的比值,确定所述目标的类型的步骤之后,所述方法还包括:
根据所确定的所述目标的类型,调节所述清洁机器人的清扫部件的工作功率。
另一方面,本发明实施例提供了一种目标检测装置,所述装置包括:不同照射角度的光源、图像采集设备和处理器;
所述不同照射角度的光源,用于照射待检测区域;
所述图像采集设备,用于采集在所述待检测区域处于所述不同照射角度的光源照射的情况下的图像;
所述处理器,用于获得图像采集设备所采集的图像,作为待检测图像;并基于所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定所述待检测区域是否存在目标。
可选地,所述处理器,包括:
第一获得模块,用于获得图像采集设备在待检测区域处于不同照射角度的光源照射的情况下所采集的多张图像,作为待检测图像,其中,不同照射角度对应不同待检测图像;
第一确定模块,用于基于所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定所述待检测区域是否存在目标。
可选地,所述不同照射角度的光源包括:光束发射方向与所述待检测区域所在平面垂直的直射光源以及光束发射方向与所述待检测区域所在平面不垂直的斜射光源;
所述图像采集设备的光轴与所述待检测区域所在平面垂直,所述图像采集设备与所述直射光源之间的距离不超过第一预设距离,所述图像采集设备与所述斜射光源之间的距离不低于第二预设距离,所述第二预设距离大于所述第一预设距离;
所述待检测图像包括:所述直射光源对应的第一待检测图像和所述斜射光源对应的第二待检测图像;
所述第一确定模块,具体用于:
基于所述图像采集设备的光轴以及预设重投影规则,从所述第一待检测图像中确定出第一区域图像,并从所述第二待检测图像中确定出第二区域图像,其中,所述第一区域图像中的像素点与所述第二区域图像中的像素点之间存在对应关系,且存在对应关系的像素点对应所述待检测区域中相同位置的点;
基于所述第一区域图像中每一像素点的灰度值以及所述第二区域图像中每一像素点的灰度值,计算所述第一区域图像和所述第二区域图像的相似度值;
基于所计算的相似度值,确定所述待检测区域是否存在目标。
可选地,所述第一确定模块,具体用于
确定所述图像采集设备的光轴的延长线与所述待检测区域所在平面的交点,作为中心点;
基于所述中心点以及预设长度,从所述待检测区域中确定目标区域;
基于预设投影公式以及所述目标区域中的点在预设三维直角坐标系下的坐标,从所述第一待检测图像中确定出所述目标区域对应的第一区域图像,并从所述第二待检测图像中确定出所述目标区域对应的第二区域图像,其中,所述预设投影公式为:
其中,所述fx表示所述第一区域图像所在图像坐标系的第一横轴方向上的等效焦距,所述fy表示所述第一区域图像所在图像坐标系的第一纵轴方向上的等效焦距,所述ρ表示预设比例因子,所述s表示预设的所述第一横轴和所述第一纵轴的不垂直因子;所述(cx,cy)表示所述图像采集设备的光心在所述第一区域图像所在图像坐标系下的坐标,所述(u,v)表示所述第一区域图像中像素点在所述第一区域图像所在图像坐标系下的坐标,所述(XC,YC,ZC)表示所述目标区域中的点在预设三维直角坐标系下的坐标,所述预设三维直角坐标系为:基于所述图像采集设备的光心所建立的坐标系,所述第一横轴的方向与所述预设三维直角坐标系的第二横轴的方向相同,所述第一纵轴的方向与所述预设三维直角坐标系的第二纵轴的方向相同;或,
所述fx表示所述第二区域图像所在图像坐标系的第三横轴方向上的等效焦距,所述fy表示所述第二区域图像所在图像坐标系的第三纵轴方向上的等效焦距,所述ρ表示预设比例因子,所述s表示预设的所述第三横轴和所述第三纵轴的不垂直因子;所述(cx,cy)表示所述图像采集设备的光心在所述第二区域图像所在图像坐标系下的坐标,所述(u,v)表示所述第二区域图像中像素点在所述第二区域图像所在图像坐标系下的坐标,所述(XC,YC,ZC)表示所述目标区域中的点在预设三维直角坐标系下的坐标,所述预设三维直角坐标系为:基于所述图像采集设备的光心所建立的坐标系,所述第三横轴的方向与所述预设三维直角坐标系的第二横轴的方向相同,所述第三纵轴的方向与所述预设三维直角坐标系的第二纵轴的方向相同。
可选地,所述第一确定模块,具体用于
对所述第一区域图像中每一像素点的灰度值进行归一化,得到所述第一区域图像中每一像素点的归一化后的灰度值;
并对所述第二区域图像中每一像素点的灰度值进行归一化,得到所述第二区域图像中每一像素点的归一化后的灰度值;
基于归一化互相关算法、所述第一区域图像中每一像素点的归一化后的灰度值以及所述第二区域图像中每一像素点的归一化后的灰度值,计算所述第一区域图像和所述第二区域图像的相似度值。
可选地,第一确定模块,具体用于;
判断计算所得的相似度值是否小于预设相似度阈值;
当判断计算所得的相似度值小于预设相似度阈值时,确定所述待检测区域存在目标;
当判断计算所得的相似度值不小于预设相似度阈值时,确定所述待检测区域不存在目标。
可选地,所述第一确定模块,还用于:
在所述确定所述待检测区域存在目标之后,通过所述第一区域图像中每一像素点的灰度值,与所述第二区域图像中每一像素点的灰度值,确定出所述第一区域图像与所述第二区域图像之间的灰度差值图;
从所述灰度差值图中,确定出灰度值大于预设灰度阈值的像素点,作为投影像素点;
基于所确定的投影像素点,确定所述第二区域图像中的第一投影区域;
基于预设投影公式,从所述待检测区域中确定所述第一投影区域对应的第二投影区域;其中,所述预设投影公式为:
所述fx表示所述第二区域图像所在图像坐标系的第三横轴方向上的等效焦距,所述fy表示所述第二区域图像所在图像坐标系的第三纵轴方向上的等效焦距,所述ρ表示预设比例因子,所述s表示预设的所述第三横轴和所述第三纵轴的不垂直因子;所述(cx,cy)表示所述图像采集设备的光心在所述第二区域图像所在图像坐标系下的坐标,所述(u,v)表示所述第二区域图像中像素点在所述第二区域图像所在图像坐标系下的坐标,所述(XC,YC,ZC)表示所述第二投影区域中的点在预设三维直角坐标系下的坐标,所述预设三维直角坐标系为:基于所述图像采集设备的光心所建立的坐标系,所述第三横轴的方向与所述预设三维直角坐标系的第二横轴的方向相同,所述第三纵轴的方向与所述预设三维直角坐标系的第二纵轴的方向相同;
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标以及所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息;
基于所述目标的形状信息,确定所述目标的类型。
可选地,第一确定模块,具体用于
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标,确定出最小横轴坐标值以及最大横轴坐标值;
从所述第二投影区域中各点中,确定出所述最小横轴坐标值对应的最大纵轴坐标值,并将所对应的点,作为第一点;
从第二投影区域中各点中,确定出最大横轴坐标值对应的最大纵轴坐标值,并将所对应的点,作为第二点;
从第二投影区域中各点中,确定出所述最大横轴坐标值对应的最小纵轴坐标值,并将所对应的点,作为第三点;
将所述第二点和所述第三点的纵轴坐标值之差,作为所述目标的形状信息中的最大横截面长度;
基于相似三角形原理,利用所述第一点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标、所述第三点在所述预设三维直角坐标系下的坐标以及所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息中的目标高度。
可选地,第一确定模块,具体用于
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标,从所述第二投影区域中各点中,确定出所对应横轴坐标值最小的点,作为第一点;
确定所述第一点在所述预设三维直角坐标系下的坐标;
确定所述第一点与所述斜射光源在所述待检测区域所在平面中的投影点之间的连线与所述第二投影区域的相交点;
从所述相交点中,确定出所对应横轴坐标值最大的点在所述预设三维直角坐标系下的坐标;
基于相似三角形原理,利用所述第一点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标、所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标以及所述所对应横轴坐标值最大的相交点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息中的目标高度;
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标,从所述第二投影区域中各点中,确定出所对应横轴坐标值相同、且所对应纵轴坐标值之差最大的点对,作为目标点对;
将所述目标点对中每一点的纵轴坐标值之差的绝对值,作为所述目标的形状信息中的最大横截面长度。
可选地,第一确定模块,具体用于
计算所述目标的最大横截面长度以及所述目标的目标高度的比值;
根据所计算的比值,确定所述目标的类型,其中,当所计算的比值小于或等于第一预设阈值时,确定所述目标的类型为丝状物体;当所计算的比值大于所述第一预设阈值,且小于或等于第二预设阈值时,确定所述目标的类型为颗粒状物体;当所计算的比值大于所述第二预设阈值时,确定所述目标的类型为絮状物体。
可选地,应用于清洁机器人,所述第一确定模块,还用于在所述根据所计算的比值,确定所述目标的类型之后,根据所确定的所述目标的类型,调节所述清洁机器人的清扫部件的工作功率。
另一方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例所提供的任一所述的目标检测方法步骤。
本发明实施例中,获得图像采集设备在待检测区域处于不同照射角度的光源照射的情况下所采集的多张图像,作为待检测图像,其中,不同照射角度对应不同待检测图像;基于所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定待检测区域是否存在目标。
本发明实施例中,获得图像采集设备在待检测区域处于不同照射角度的光源照射的情况下所采集的多张图像,其中,当待检测区域存在目标时,不同照射角度的光源照射上述待检测区域时,上述目标可以在待检测区域形成不同角度的阴影,进而,图像采集设备针对待检测区域,在待检测区域处于不同照射角度的光源照射的情况下所采集的图像时,不同图像的灰度值会存在较大差别;当待检测区域不存在目标时,上述待检测区域不会形成阴影,进而,图像采集设备针对待检测区域,在待检测区域处于不同照射角度的光源照射的情况下所采集的图像时,不同图像的灰度值不会存在较大差别。通过所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,可以从待检测区域中确定出是否存在目标,可见,目标检测过程简便有效。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种目标检测方法的流程示意图;
图2A为直射光源照射待检测区域,且待检测区域中存在目标时的所采集图像的一种示例图;
图2B为斜射光源照射待检测区域,且待检测区域中存在目标时的所采集图像的一种示例图;
图3为图像采集设备、图像平面、以及待检测区域之间的位置映射关系的一种示例图;
图4A为斜射光源照射待检测区域,且待检测区域中存在目标时的一种示例图;
图4B为斜射光源照射待检测区域,且待检测区域中存在目标时的另一种示例图;
图5为本发明实施例所提供的一种目标检测装置的结构示意图;
图6为本发明实施例所提供的处理器的一种结构示意图;
图7为本发明实施例所提供的一种目标检测装置的另一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例的目的在于提供一种目标检测方法及装置,以实现对目标简便有效地检测。
如图1所示,本发明实施例提供了一种目标检测方法,可以包括如下步骤:
S101:获得图像采集设备在待检测区域处于不同照射角度的光源照射的情况下所采集的多张图像,作为待检测图像,其中,不同照射角度对应不同待检测图像;
本发明实施例所提供的一种目标检测方法,可以应用于任一可以获得图像采集设备所采集的图像的电子设备,上述电子设备可以为电脑、手机以及清洁机器人等等。上述图像采集设备可以为摄像头、相机等等。
在一种实现方式中,图像采集设备在针对待检测区域,采集该待检测区域处于不同照射角度的光源照射的情况下的图像时,图像采集设备采集图像时的位置和角度可以不变。电子设备可以获得图像采集设备所采集的多张图像,其中,每一照射角度可以对应一张或多张待检测图像,不同照射角度对应不同待检测图像。当每一照射角度对应多张待检测图像时,可以对上述多张待检测图像进行融合,以增强待检测图像中的信息,例如色彩信息等。
S102:基于所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定待检测区域是否存在目标。
可以理解的是,当待检测区域存在目标时,不同照射角度的光源照射上述待检测区域时,上述目标可以在待检测区域形成不同角度的阴影,进而,图像采集设备针对待检测区域,在待检测区域处于不同照射角度的光源照射的情况下所采集的图像时,不同图像的灰度值会存在较大差别;当待检测区域不存在目标时,上述待检测区域不会形成阴影,进而,图像采集设备针对待检测区域,在待检测区域处于不同照射角度的光源照射的情况下所采集的图像时,不同图像的灰度值不会存在较大差别。
在一种实现方式中,电子设备获得不同照射角度对应的待检测图像后,可以将上述不同照射角度对应的待检测图像进行两两作差,求得两两待检测图像之间的差值图,并判断上述每一差值图中是否存在所对应灰度值高于预设的灰度值的像素点,当判断至少一个差值图中存在所对应灰度值高于预设的灰度值的像素点时,则可以确定待检测区域存在目标。
一种情况中,可以设置不同照射角度的光源是相同类型的光源,以避免由于光源的不同,而造成图像采集设备所采集的图像的灰度值差异较大的情况。
本发明实施例中,获得图像采集设备在待检测区域处于不同照射角度的光源照射的情况下所采集的多张图像,其中,当待检测区域存在目标时,不同照射角度的光源照射上述待检测区域时,上述目标可以在待检测区域形成不同角度的阴影,进而,图像采集设备针对待检测区域,在待检测区域处于不同照射角度的光源照射的情况下所采集的图像时,不同图像的灰度值会存在较大差别;当待检测区域不存在目标时,上述待检测区域不会形成阴影,进而,图像采集设备针对待检测区域,在待检测区域处于不同照射角度的光源照射的情况下所采集的图像时,不同图像的灰度值不会存在较大差别。通过所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,可以从待检测区域中确定出是否存在目标,可见,目标检测过程简便有效。
本发明实施例所提供的目标检测方法,既可以检测出待检测区域中尺寸较大的目标,又能检测出待检测区域中尺寸较小的微小目标,其中,上述尺寸较大的目标为:所占像素点的个数与图像中所有像素点的个数的比值超过第一预设比值的目标;上述尺寸较小的微小目标为:所占像素点的个数与图像中所有像素点的个数的比值未超过第二预设比值的目标。
在一种实现方式中,上述不同照射角度的光源可以包括:光束发射方向与待检测区域所在平面垂直的直射光源以及光束发射方向与待检测区域所在平面不垂直的斜射光源;
上述图像采集设备的光轴与待检测区域所在平面垂直,图像采集设备与直射光源之间的距离不超过第一预设距离,图像采集设备与斜射光源之间的距离不低于第二预设距离;
上述待检测图像可以包括:直射光源对应的第一待检测图像和斜射光源对应的第二待检测图像;
上述基于所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定待检测区域是否存在目标(S102)的步骤,可以包括:
基于图像采集设备的光轴以及预设重投影规则,从第一待检测图像中确定出第一区域图像,并从第二待检测图像中确定出第二区域图像,其中,第一区域图像中的像素点与第二区域图像中的像素点之间存在对应关系,且存在对应关系的像素点对应待检测区域中相同位置的点;
基于第一区域图像中每一像素点的灰度值以及第二区域图像中每一像素点的灰度值,计算第一区域图像和第二区域图像的相似度值;
基于所计算的相似度值,确定待检测区域是否存在目标。
其中,上述直射光源、上述斜射光源的照射范围、上述直射光源的照射范围分别与上述图像采集设备的采集范围,三者之间的需存在一定重合的范围,例如90%。
本发明实施例中,为了更好的体现出当待检测区域存在目标时,在待检测区域处于不同照射角度的光源照射的情况下,所采集的图像中灰度值的差别,上述不同照射角度的光源可以包括:光束发射方向与待检测区域所在平面垂直的直射光源以及光束发射方向与待检测区域所在平面不垂直的斜射光源。可以理解的是,直射光源照射待检测区域时,待检测区域中所存在的目标几乎不会形成阴影,如图2A所示,为直射光源照射待检测区域,且待检测区域中存在目标时的所采集图像的一种示例图。斜射光源照射待检测区域时,相对于直射光源照射待检测区域时所形成的阴影,待检测区域中所存在的目标会形成面积较大的阴影,如图2B所示,为斜射光源照射待检测区域,且待检测区域中存在目标时的所采集图像的一种示例图。而当待检测区域不存在目标时,不管直射光源照射待检测区域,还是斜射光源照射待检测区域,均不会形成阴影。
上述图像采集设备、直射光源以及斜射光源可以设置于同一水平面上,即上述图像采集设备、直射光源以及斜射光源分别到待检测区域所在平面的距离均相同。
在一种情况中,为了更好的确保在直射光源照射待检测区域时,待检测区域中所存在的目标几乎不会形成阴影,可以设置图像采集设备与直射光源之间的距离不超过第一预设距离,并且,图像采集设备的光轴与待检测区域所在平面垂直。其中,本发明实施例中上述所提的“垂直”,可以理解为:图像采集设备的光轴与待检测区域所在平面的夹角,与90度角之差,在预设角度范围内。
另外,斜射光源与待检测区域所在平面之间的夹角越小,待检测区域中所存在的目标所形成阴影的面积越大。在一种情况中,可以设置图像采集设备与斜射光源之间的距离不低于第二预设距离,其中,上述第二预设距离大于上述第一预设距离,上述第二预设距离还可以大于斜射光源到待检测区域所在平面的距离。
本发明实施例中,电子设备需要依据待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定待检测区域是否存在目标。本发明实施例所提供的目标检测方法,更适用于待检测区域所在平面为纯色背景的情况。这是由于斜射光源照射待检测区域时,待检测区域中所存在的目标会形成阴影,在待检测区域所在平面为纯色背景的情况下,所形成的阴影与纯色背景之间的差异,相对于非纯色背景会更加明显,通过本发明实施例所提供的目标检测方法所得到的检测结果也更准确。上述非纯色背景可以为存在纹理的背景。
针对待检测区域所在平面为存在纹理的背景的情况,在待检测区域存在目标时,所获得的待检测区域处于斜射光源照射的情况下的待检测图像中,目标、目标所形成的阴影与纹理难以区分。本发明实施例,为了保证在待检测区域所在平面为存在纹理的背景的情况下,所得检测结果的准确性,电子设备在获得上述第一待检测图像和第二待检测图像后,可以基于图像采集设备的光轴以及预设重投影规则,从第一待检测图像中确定出第一区域图像,并从第二待检测图像中确定出第二区域图像,以缩小图像的检测范围,减少背景的干扰。并且缩小图像的检测范围在一定程度上可以减少计算的复杂度。
后续的,电子设备基于上述确定的第一区域图像以及第二区域图像,确定待检测区域中是否存在目标。
在一种实现方式中,上述基于图像采集设备的光轴以及预设重投影规则,从第一待检测图像中确定出第一区域图像,并从第二待检测图像中确定出第二区域图像的步骤,可以包括:
确定图像采集设备的光轴的延长线与待检测区域所在平面的交点,作为中心点;
基于中心点以及预设长度,从待检测区域中确定目标区域;
基于预设投影公式以及目标区域中的点在预设三维直角坐标系下的坐标,从第一待检测图像中确定出目标区域对应的第一区域图像,并从第二待检测图像中确定出目标区域对应的第二区域图像,其中,预设投影公式为:
其中,上述fx表示第一区域图像所在图像坐标系的第一横轴方向上的等效焦距,上述fy表示第一区域图像所在图像坐标系的第一纵轴方向上的等效焦距,上述ρ表示预设比例因子,上述s表示预设的第一横轴和第一纵轴的不垂直因子;上述(cx,cy)表示图像采集设备的光心在第一区域图像所在图像坐标系下的坐标,上述(u,v)表示第一区域图像中像素点在第一区域图像所在图像坐标系下的坐标,上述(XC,YC,ZC)表示目标区域中的点在预设三维直角坐标系下的坐标,预设三维直角坐标系为:基于图像采集设备的光心所建立的坐标系,第一横轴的方向与预设三维直角坐标系的第二横轴的方向相同,第一纵轴的方向与预设三维直角坐标系的第二纵轴的方向相同;或,
上述fx表示第二区域图像所在图像坐标系的第三横轴方向上的等效焦距,上述fy表示第二区域图像所在图像坐标系的第三纵轴方向上的等效焦距,上述ρ表示预设比例因子,上述s表示预设的第三横轴和第三纵轴的不垂直因子;上述(cx,cy)表示图像采集设备的光心在第二区域图像所在图像坐标系下的坐标,上述(u,v)表示第二区域图像中像素点在第二区域图像所在图像坐标系下的坐标,上述(XC,YC,ZC)表示目标区域中的点在预设三维直角坐标系下的坐标,预设三维直角坐标系为:基于图像采集设备的光心所建立的坐标系,第三横轴的方向与预设三维直角坐标系的第二横轴的方向相同,第三纵轴的方向与预设三维直角坐标系的第二纵轴的方向相同。
在一种情况中,上述第一区域图像所在图像坐标系与上述第二区域图像所在图像坐标系可以重合,也可以不重合,这都是可以的。在上述第一区域图像所在图像坐标系与上述第二区域图像所在图像坐标系重合时,上述第一区域图像所在图像坐标系的原点,与第二区域图像所在图像坐标系的原点为:对应待检测区域中相同位置的点的像素点。
一种实现方式中,上述s取值可以为0;其中,上述fx、fy、cx、cy和s为图像采集设备的内部参数,可以由张正友标定法直接标定确定
可以理解的是,上述图像采集设备的光轴与待检测区域所在平面垂直,上述图像采集设备的光轴的延长线与待检测区域所在平面必存在一交点,将上述交点作为中心点。在一种实现方式中,电子设备可以基于上述中心点以及预设长度,从待检测区域中确定出一区域,作为目标区域,其中,上述目标区域可以为矩形区域,也可以是圆形区域,本发明实施例并不对上述目标区域的形状进行限定。当上述目标区域为矩形区域时,上述中心点可以为上述矩形区域的对角线的交点;当上述目标区域为圆形区域时,上述中心点可以为上述圆形区域的圆心。
后续的,电子设备基于预设投影公式以及目标区域中的点在预设三维直角坐标系下的坐标,从第一待检测图像中确定出目标区域对应的第一区域图像,并从第二待检测图像中确定出目标区域对应的第二区域图像。
在一种实现方式中,上述预设三维直角坐标系为:基于图像采集设备的光心所建立的坐标系。具体的,可以是以图像采集设备的光心为原点,以图像采集设备的光轴为竖轴,作为第二竖轴;以图像采集设备与斜射光源之间的连线为横轴,作为第二横轴;以过上述图像采集设备的光心的、且与上述第二竖轴和第二横轴所在平面垂直的直线为纵轴,作为第二纵轴。其中,上述图像采集设备与斜射光源之间的连线为:过图像采集设备的光心的、且与待检测区域所在平面平行的直线,上述第二竖轴可以用Z轴标识,上述第二横轴可以用X轴标识。
举例而言,如图3所示,为图像采集设备、图像平面、以及待检测区域之间的位置映射关系,其中,图像平面为第一待检测图像所在平面或第二待检测图像所在平面,第一待检测图像所在平面及第二待检测图像所在平面重合,待检测区域所在平面为地面,图像采集设备的光轴垂直于地面,图3中的坐标系OC-XCYCZC为预设三维直角坐标系;坐标系O-UV为第一区域图像所在图像坐标系或第二区域图像所在图像坐标系;图3中所示的“h”可以表示图像采集设备到地面的距离;
电子设备确定图像采集设备的光轴的延长线与地面的交点,作为中心点;
电子设备基于述中心点以及预设长度3cm(厘米),从地面中确定目标区域abcd,其中,上述目标区域abcd为一边长为3cm的正方形区域,其中,上述中心点为目标区域abcd的中心;
电子设备基于上述预设投影规则以及上述目标区域abcd,从图像平面中确定出对应的区域a’b’c’d’,即第一待检测图像中确定出第一区域图像,并从第二待检测图像中确定出第二区域图像。
上述基于第一区域图像中每一像素点的灰度值以及第二区域图像中每一像素点的灰度值,计算第一区域图像和第二区域图像的相似度值的步骤,可以包括:
对第一区域图像中每一像素点的灰度值进行归一化,得到第一区域图像中每一像素点的归一化后的灰度值;
并对第二区域图像中每一像素点的灰度值进行归一化,得到第二区域图像中每一像素点的归一化后的灰度值;
基于归一化互相关算法(NCC,Normalized Cross Correlation)、第一区域图像中每一像素点的归一化后的灰度值以及第二区域图像中每一像素点的归一化后的灰度值,计算第一区域图像和第二区域图像的相似度值。
可以理解的是,当待检测区域存在目标时,图像采集设备在待检测区域处于斜射光源照射的情况下所采集的第二待检测图像,相比于图像采集设备在待检测区域处于直射光源照射的情况下所采集的第一待检测图像,由于上述目标在斜射光源照射的情况下所形成的阴影,上述第二待检测图像中目标周围区域的灰度值与上述第一待检测图像中目标周围区域的灰度值会存在较大差异。当待检测区域不存在目标时,上述第二待检测图像中目标周围区域的灰度值与上述第一待检测图像中目标周围区域的灰度值不会存在较大差异。
基于上述原理,当目标存在于待检测区域的目标区域时,上述第二区域图像中目标周围区域的灰度值与上述第一区域图像中目标周围区域的灰度值会存在较大差异。当目标不存在于待检测区域的目标区域时,上述第二区域图像中目标周围区域的灰度值与上述第一区域图像中目标周围区域的灰度值不会存在较大差异。
在一种实现方式中,可以通过块匹配的方式,基于上述第一区域图像和第二区域图像,确定上述目标区域中是否存在目标。块匹配的思想一般为:既然单个像素的亮度没有区分性,并且单个像素的亮度容易受到所对应区域的背景(例如,地面的纹理)的影响,那么就取图像中预设区域内的所有像素点进行整体比较。在上述比较过程中,当假设在每个图像中其预设区域内的所有像素点的灰度值不变时,上述比较过程才会有效。基于上述原理,在进行块匹配前,可以通过灰度值归一化处理,将需要上述第一区域图像中像素点的灰度值和上述第二区域图像中像素点的灰度值,归一化到(0,1)区间内,然后通过归一化互相关算法,比较计算上述第一区域图像和上述第二区域图像的相似度值。在利用上述归一化互相关算法,比较计算上述第一区域图像和上述第二区域图像的相似度值时,所利用公式可以为:
其中,上述S(A,B)NCC表示上述第一区域图像和上述第二区域图像的相似度值;上述A(i,j)表示第一区域图像中坐标为(i,j)的像素点,上述B(i,j)表示第二区域图像中坐标为(i,j)的像素点。
当计算得到上述第一区域图像和上述第二区域图像的相似度值为0时,可以表明上述第一区域图像和上述第二区域图像不相似,当计算得到上述第一区域图像和上述第二区域图像的相似度值越接近1,可以表明上述第一区域图像和上述第二区域图像越相似。
在一种实现方式中,当计算得到上述第一区域图像和上述第二区域图像的相似度值后,电子设备可以基于上述相似度值,确定上述目标区域中是否存在目标,可以理解的是,上述相似度值越接近1,表明上述第一区域图像和上述第二区域图像越相似。上述第一区域图像和上述第二区域图像越相似,表明上述第一区域图像和上述第二区域图像之间的灰度值差异越小,进而可以表明上述目标区域不存在目标的可能性越大。在一种情况中,可以预先设置阈值,当计算得到的相似度值小于上述阈值时,表明上述第一区域图像和上述第二区域图像之间的灰度值差异较大,则可以确定待检测区域存在目标;当计算得到的相似度值不小于上述阈值时,表明上述第一区域图像和上述第二区域图像之间的灰度值差异不大,则可以确定待检测区域不存在目标。具体的,本发明实施例中,上述基于所计算的相似度值,确定所述待检测区域是否存在目标的步骤,可以包括:
判断计算所得的相似度值是否小于预设相似度阈值;
当判断计算所得的相似度值小于预设相似度阈值时,确定待检测区域存在目标;
当判断计算所得的相似度值不小于预设相似度阈值时,确定待检测区域不存在目标。
在一种实现方式中,当电子设备确定出上述目标区域,即上述待检测区域中存在目标后,可以继续基于上述第一区域图像以及上述第二区域图像,确定上述目标所形成的阴影区域,进一步的,基于预设投影公式,确定出在上述阴影区域在预设三维直角坐标系下的坐标,即确定出其实际中的位置,进而,基于斜射光源的位置信息近似确定目标的形状信息,进而确定出目标的类型。
本发明实施例中,在上述确定待检测区域存在目标的步骤之后,所述方法还可以包括:
通过第一区域图像中每一像素点的灰度值,与第二区域图像中每一像素点的灰度值,确定出第一区域图像与第二区域图像的灰度差值图;
从灰度差值图中,确定出灰度值大于预设灰度阈值的像素点,作为投影像素点;
基于所确定的投影像素点,确定第二区域图像中的第一投影区域;
基于预设投影公式,从待检测区域中确定第一投影区域对应的第二投影区域;
其中,预设投影公式为:
上述fx表示第二区域图像所在图像坐标系的第三横轴方向上的等效焦距,上述fy表示第二区域图像所在图像坐标系的第三纵轴方向上的等效焦距,上述ρ表示预设比例因子,上述s表示预设的第三横轴和第三纵轴的不垂直因子;上述(cx,cy)表示图像采集设备的光心在第二区域图像所在图像坐标系下的坐标,上述(u,v)表示第二区域图像中像素点在第二区域图像所在图像坐标系下的坐标,上述(XC,YC,ZC)表示第二投影区域中的点在预设三维直角坐标系下的坐标,预设三维直角坐标系为:基于图像采集设备的光心所建立的坐标系,第三横轴的方向与预设三维直角坐标系的第二横轴的方向相同,第三纵轴的方向与预设三维直角坐标系的第二纵轴的方向相同;
基于第二投影区域中各点在预设三维直角坐标系下的坐标、斜射光源在预设三维直角坐标系下的坐标以及斜射光源在第二投影区域中的投影点在预设三维直角坐标系下的坐标,确定目标的形状信息;
基于目标的形状信息,确定目标的类型。
在一种情况中,可以逐像素点的计算上述第一区域图像与上述第二区域图像相同位置处的像素点的灰度值之差,进而,得到上述第一区域图像与上述第二区域图像之间的灰度差值图,其中,得到上述灰度差值图所利用公式可以为:
T=A(i,j)-B(i,j)
其中,上述T表示第一区域图像中坐标为(i,j)的像素点,与第二区域图像中坐标为(i,j)的像素点的灰度值之差,即为灰度差值图中坐标为(i,j)的像素点的灰度值,上述A(i,j)表示第一区域图像中坐标为(i,j)的像素点,上述B(i,j)表示第二区域图像中坐标为(i,j)的像素点。
当灰度差值图中像素点所对应的T大于上述预设灰度阈值时,确定该像素点处于所检测出的目标所产生的阴影区域中,从上述灰度差值图中逐像素扫描,确定出灰度值大于预设灰度阈值的像素点,作为投影像素点,后续的,确定第二区域图像中的第一投影区域。在一种情况中,上述确定第二区域图像中的第一投影区域的过程,可以为:将上述所确定出的所有投影像素点所在区域,作为上述第一投影区域;或者,也可以为:基于上述所确定出的所有投影像素点,确定出上述所有投影像素点所在区域的最小外接矩形区域、梯形区域或圆形区域,作为上述第一投影区域,等等,这都是可以的。
电子设备确定出上述第一投影区域后,基于预设投影公式,将上述第一投影区域在第二区域图像所在的图像坐标系下的坐标,转化为在预设三维直角坐标系下的坐标,即从待检测区域中确定第一投影区域对应的第二投影区域。
进而,基于上述第二投影区域中各点在预设三维直角坐标系下的、斜射光源在预设三维直角坐标系下的以及斜射光源在第二投影区域中的投影点在预设三维直角坐标系下的坐标、确定出目标的形状信息,继而根据目标的形状信息,确定出上述所检测到的目标的类型。在一种实现方式中,上述基于第二投影区域中各点在预设三维直角坐标系下的坐标、斜射光源在预设三维直角坐标系下的坐标以及斜射光源在第二投影区域中的投影点在预设三维直角坐标系下的坐标,确定目标的形状信息的步骤,可以包括:
基于第二投影区域中各点在预设三维直角坐标系下的坐标,确定出最小横轴坐标值以及最大横轴坐标值;
从第二投影区域中各点中,确定出最小横轴坐标值对应的最大纵轴坐标值,并将所对应的点,作为第一点;
从第二投影区域中各点中,确定出最大横轴坐标值对应的最大纵轴坐标值,并将所对应的点,作为第二点;
从第二投影区域中各点中,确定出最大横轴坐标值对应的最小纵轴坐标值,并将所对应的点,作为第三点;
将所述第二点和所述第三点的纵轴坐标值之差,作为目标的形状信息中的最大横截面长度;
基于相似三角形原理,利用第一点在预设三维直角坐标系下的坐标、斜射光源在预设三维直角坐标系下的坐标、第三点在预设三维直角坐标系下的坐标以及斜射光源在第二投影区域中的投影点在预设三维直角坐标系下的坐标,确定目标的形状信息中的目标高度。
当电子设备检测到目标区域存在目标时,本发明实施例中,电子设备可以依据目标所形成的阴影区域,以及与斜射光源的位置关系,近似确定出目标的形状信息,其中,上述形状信息包括目标的最大横截面长度和目标高度,其中没上述目标高度可以为目标的最大高度。
举例而言,在一种情况中,为了方便上述确定目标的形状信息的原理的描述,以下例子需要进行两处简化:第一,假设待检测区域的目标区域中存在目标,且所存在目标为规则正方体模型,这个假设仅是为了对上述确定目标的形状信息的原理的直观展示。在实际情况下,任何不规则的目标都可以通过本发明实施例所提供的目标检测方法,确定出所存在目标的形状信息中的最大高度;第二,假设所存在目标正好处于图像采集设备的采集区域的中心点。
基于上述情况,如图4A所示,待检测区域所在平面为地面,图4A中所示的阴影区域为:地面处于斜射光源照射的情况下,所存在目标形成的阴影区域,即为本发明实施例所提的第二投影区域;图4A中的O点为图像采集设备在地面的投影点,位于所存在目标的底面的中心位置;图像采集设备、直射光源、斜射光源距离地面的距离均为h;斜射光源与图像采集设备之间的距离为L,斜射光源用d标识,在预设三维直角坐标系(XC,YC,ZC)下的坐标可以表示为(L,0,0);
在假设所存在目标为正方体时,图4A中所示的第二投影区域中各点在预设三维直角坐标系(XC,YC,ZC)下的坐标都是确定的,其中,m点为最小横轴坐标值且最小纵轴坐标值对应的点,在预设三维直角坐标系(XC,YC,ZC)下的坐标为(Xmin,Ymin,h),n点为最小横轴坐标值且最大纵轴坐标值对应的点,即本发明实施例所确定出的第一点,在预设三维直角坐标系(XC,YC,ZC)下的坐标为(Xmin,Ymax,h),b点为最大横轴坐标值且最大纵轴坐标值对应的点,,即本发明实施例所确定出的第二点,在预设三维直角坐标系(XC,YC,ZC)下的坐标为(Xmax,Ymax,h),a点为最大横轴坐标值且最小纵轴坐标值对应的点,即本发明实施例所确定出的第三点,在预设三维直角坐标系(XC,YC,ZC)下的坐标为(Xmax,Ymin,h);
电子设备将第二点b和第三点a的纵轴坐标值之差,作为目标的形状信息中的最大横截面长度,如图4A所示,将b点与a点之间的距离,作为目标的形状信息中的最大横截面长度;
如图4A所示,斜射光源到所存在目标所形成阴影的最远处,则可以用直线段md或者线段nd表示,其中,m点和n点分别到斜射光源的距离相等。在实际情况下,所存在目标相对图像采集设备的采集区域的中心点会存在位置上的偏移,此时,上述直线段md或者线段nd,也可以直接根据相应端点分别在预设三维直角坐标系(XC,YC,ZC)下的坐标,计算得到其距离,其中,直线段md的相应端点为m点和d点,直线段nd的相应端点为n点和d点;
C点为斜射光源在地面上的投影点,在预设三维直角坐标系(XC,YC,ZC)下的坐标为(L,0,h),其中,mcd三角形和ncd三角形为全等的直角三角形;
基于勾股定理,利用直线段md和直线段dc,可以得到直线段mc的长度,即其中,直线段dc的长度等于点c的竖轴坐标值,即在ZC轴上的坐标,也即为h;
基于光源的直线性,斜射光源d与n点之间的连线,必经过正方体的目标的e点,且,neb三角形与ncd三角形相似;此时,可以认为直线段eb为正方体的目标的最大高度,即目标的形状信息的目标高度,可以基于相似三角形原理,得到直线段eb的长度,即其中,直线段nb的长度为n点和b点之间的距离。
在另一种实现方式中,上述基于第二投影区域中各点在预设三维直角坐标系下的坐标、斜射光源在预设三维直角坐标系下的坐标以及斜射光源在第二投影区域中的投影点在预设三维直角坐标系下的坐标,确定目标的形状信息的步骤,可以包括:
基于第二投影区域中各点在预设三维直角坐标系下的坐标,从第二投影区域中各点中,确定出所对应横轴坐标值最小的点,作为第一点;
确定第一点在预设三维直角坐标系下的坐标;
确定第一点与斜射光源在第二投影区域中的投影点之间的连线与第二投影区域的相交点;
从相交点中,确定出所对应横轴坐标值最大的点在预设三维直角坐标系下的坐标;
基于相似三角形原理,利用第一点在预设三维直角坐标系下的坐标、斜射光源在预设三维直角坐标系下的坐标、斜射光源在第二投影区域中的投影点在预设三维直角坐标系下的坐标以及所对应横轴坐标值最大的相交点在预设三维直角坐标系下的坐标,确定目标的形状信息中的目标高度;
基于第二投影区域中各点在预设三维直角坐标系下的坐标,从第二投影区域中各点中,确定出所对应横轴坐标值相同、且所对应纵轴坐标值之差最大的点对,作为目标点对;
将目标点对中每一点的纵轴坐标值之差的绝对值,作为目标的形状信息中的最大横截面长度。
在一种情况中,目标可以为形状不规则的物体,此时,对于此类目标,可以基于目标所形成的阴影,得到目标的最大横截面长度,以及目标的最大高度,即目标高度。在一种情况中,标可以为形状不规则的物体时,目标所形成的阴影区域的形状也不规则,即第二投影区域的形状也不规则;目标所形成的阴影区域中,最小横轴坐标值对应的点可以仅存在一个,且,最大横轴坐标值也可以仅存在一个;
电子设备确定出第二投影区域中各点的坐标后,从上述第二投影区域中各点确定出所对应横轴坐标值最小的点,作为第一点;
假设如图4B所示,待检测区域所在平面为地面,图4B中所示的阴影区域为:地面处于斜射光源照射的情况下,所存在目标形成的阴影区域,即为本发明实施例所提的第二投影区域;图4B中的O点为图像采集设备在地面的投影点,图像采集设备、直射光源(图中未标出)、斜射光源距离地面的距离均为h;斜射光源与图像采集设备之间的距离为L,斜射光源可以用M表示,在预设三维直角坐标系(XC,YC,ZC)下的坐标可以表示为(L,0,0);上述第二投影区域中,所对应横轴坐标值最大的点,仅存在一个为A点,A点预设三维直角坐标系(XC,YC,ZC)下的坐标可以表示为(Xmin,YA,h);图4中所示的直线段AE为第一点A与斜射光源在地面中的投影点E之间的连线;
电子设备确定第一点与斜射光源在待检测区域所在平面中的投影点之间的连线与第二投影区域的相交点;如图4B所示,即确定出直线段AE与第二投影区域的相交点,如图4B所示,直线段AF上点均为直线段AE与第二投影区域的相交点;
电子设备从上述相交点中,确定出所对应横轴坐标值最大的点在预设三维直角坐标系下的坐标;如图4B中所示的F点,其中,上述F点在预设三维直角坐标系下的坐标为(XF,YF,h);
电子设备基于相似三角形原理,利用第一点A在预设三维直角坐标系下的坐标、斜射光源M在预设三维直角坐标系下的坐标、斜射光源在待检测区域所在平面中的投影点E在预设三维直角坐标系下的坐标以及所对应横轴坐标值最大的相交点在预设三维直角坐标系下的坐标,确定目标的形状信息中的目标高度;如图4B所示,三角形AME为直角三角形,基于F点作平行于直线段ME的平行线,必经过直线段AM;
电子设备可以将所确定的直线段AM的长度,作为目标的形状信息中的目标高度;
电子设备基于第二投影区域中各点在预设三维直角坐标系下的坐标,从第二投影区域中各点中,确定出所对应横轴坐标值相同、且所对应纵轴坐标值之差最大的点对,作为目标点对;如图4B所示,目标点对可以为C点和B点,其中,C点在预设三维直角坐标系下的坐标为(XC,YC,h),B点在预设三维直角坐标系下的坐标为(XB,YB,h);
电子设备将目标点对中每一点的纵轴坐标值之差,作为目标的形状信息中的最大横截面长度,如图4B所示将C点和B点的纵轴坐标值之差的绝对值,作为目标的形状信息中的最大横截面长度,即将|YC-YB|,作为目标的形状信息中的最大横截面长度。
在另一种情况中,在电子设备确定目标的形状信息中的目标高度时,可以在确定出第一点在预设三维直角坐标系下的坐标后,不再确定第一点与斜射光源在待检测区域所在平面中的投影点之间的连线与第二投影区域的相交点;而继续基于第二投影区域中各点在预设三维直角坐标系下的坐标,从第二投影区域中各点中,确定出所对应横轴坐标值最大的点;例如图4B中所示的D点;
电子设备基于所确定的第二投影区域中所对应横轴坐标值最大的点,在待检测区域所在平面确定所有横轴坐标值最大的点;其中,如图4B所示,上述所确定的第二投影区域中所对应横轴坐标值最大的点,在预设三维直角坐标系下的坐标为(Xmax,YD,h),即在地面中确定直线XC=Xmax
电子设备基于在待检测区域所在平面确定所有横轴坐标值最大的点,作垂直于待检测区域所在平面的直线,确定所作直线中与第一点和斜射光源的连线相交的目标直线,并确定出相交的交点;以及在预设三维直角坐标系下的坐标;
电子设备可以将目标直线上的,上述所确定出的相交的交点与目标直线与待检测区域所在平面的交点之间的距离,作为目标的形状信息中的目标高度。
在一种实现方式中,当电子设备确定出上述所检测到的目标的形状信息,即最大横截面长度和高度后,可以继续基于上述最大横截面长度和高度确定,上述所检测到的目标的类型。具体的,本发明实施例中,上述基于目标的形状信息,确定目标的类型的步骤,可以包括:
计算目标的最大横截面长度以及目标的高度的比值;
根据所计算的比值,确定目标的类型,其中,当所计算的比值小于或等于第一预设阈值时,确定目标的类型为丝状物体;当所计算的比值大于第一预设阈值,且小于或等于第二预设阈值时,确定目标的类型为颗粒状物体;当所计算的比值大于第二预设阈值时,确定目标的类型为絮状物体。
可以理解的是,上述第一预设阈值以及上述第二预设阈值均大于0,且上述第一预设阈值<上述第二预设阈值。在一种实现方式中,上述第一预设阈值可以取为0.1,上述第二预设阈值可以取为10。
在一种实现方式中,本发明实施例所提供的目标检测方法可以应用于清洁机器人,相应的,在上述根据所计算的比值,确定出目标的类型的步骤之后,所述方法还可以包括:
根据所确定的目标的类型,调节清洁机器人的清扫部件的工作功率。
本发明实施例中,上述目标检测方法可以实现对待检测区域中的微小目标的检测,进一步的,可以确定所检测到的微小目标的包括最大横截面长度和高度在内的形状信息,进而,根据上述形状信息,确定所检测到的微小目标的类型。并且当上述目标检测方法应用于清洁机器人时,清洁机器人可以根据所确定的微小目标的类型,调节清洁机器人自身的清扫部件的工作功率,比如清扫部件为吸尘器件的话,就可以调节吸尘器件的吸力,以达到高效且智能的清洁任务。
相应于上述方法实施例,如图5所示,本发明实施例提供了一种目标检测装置500,所述装置可以包括:不同照射角度的光源510、图像采集设备520和处理器530;
所述不同照射角度的光源510,用于照射待检测区域;
所述图像采集设备520,用于采集在所述待检测区域处于所述不同照射角度的光源照射的情况下的图像;
所述处理器530,用于获得图像采集设备所采集的图像,作为待检测图像;并基于所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定所述待检测区域是否存在目标。
本发明实施例中,获得图像采集设备在待检测区域处于不同照射角度的光源照射的情况下所采集的多张图像,其中,当待检测区域存在目标时,不同照射角度的光源照射上述待检测区域时,上述目标可以在待检测区域形成不同角度的阴影,进而,图像采集设备针对待检测区域,在待检测区域处于不同照射角度的光源照射的情况下所采集的图像时,不同图像的灰度值会存在较大差别;当待检测区域不存在目标时,上述待检测区域不会形成阴影,进而,图像采集设备针对待检测区域,在待检测区域处于不同照射角度的光源照射的情况下所采集的图像时,不同图像的灰度值不会存在较大差别。通过所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,可以从待检测区域中确定出是否存在目标,可见,目标检测过程简便有效。
本发明实施例所提供的目标检测方法,既可以检测出待检测区域中尺寸较大的目标,又能检测出待检测区域中尺寸较小的微小目标,其中,上述尺寸较大的目标为:所占像素点的个数与图像中所有像素点的个数的比值超过第一预设比值的目标;上述尺寸较小的微小目标为:所占像素点的个数与图像中所有像素点的个数的比值未超过第二预设比值的目标。
在一种实现方式中,如图6所示,所述处理器530,包括:
第一获得模块531,用于获得图像采集设备在待检测区域处于不同照射角度的光源照射的情况下所采集的多张图像,作为待检测图像,其中,不同照射角度对应不同待检测图像;
第一确定模块532,用于基于所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定所述待检测区域是否存在目标。
在一种实现方式中,所述不同照射角度的光源包括:光束发射方向与所述待检测区域所在平面垂直的直射光源以及光束发射方向与所述待检测区域所在平面不垂直的斜射光源;
所述图像采集设备的光轴与所述待检测区域所在平面垂直,所述图像采集设备与所述直射光源之间的距离不超过第一预设距离,所述图像采集设备与所述斜射光源之间的距离不低于第二预设距离,所述第二预设距离大于所述第一预设距离;
所述待检测图像包括:所述直射光源对应的第一待检测图像和所述斜射光源对应的第二待检测图像;
所述第一确定模块532,具体用于:
基于所述图像采集设备的光轴以及预设重投影规则,从所述第一待检测图像中确定出第一区域图像,并从所述第二待检测图像中确定出第二区域图像,其中,所述第一区域图像中的像素点与所述第二区域图像中的像素点之间存在对应关系,且存在对应关系的像素点对应所述待检测区域中相同位置的点;
基于所述第一区域图像中每一像素点的灰度值以及所述第二区域图像中每一像素点的灰度值,计算所述第一区域图像和所述第二区域图像的相似度值;
基于所计算的相似度值,确定所述待检测区域是否存在目标。
在一种实现方式中,所述第一确定模块532,具体用于
确定所述图像采集设备的光轴的延长线与所述待检测区域所在平面的交点,作为中心点;
基于所述中心点以及预设长度,从所述待检测区域中确定目标区域;
基于预设投影公式以及所述目标区域中的点在预设三维直角坐标系下的坐标,从所述第一待检测图像中确定出所述目标区域对应的第一区域图像,并从所述第二待检测图像中确定出所述目标区域对应的第二区域图像,其中,所述预设投影公式为:
其中,所述fx表示所述第一区域图像所在图像坐标系的第一横轴方向上的等效焦距,所述fy表示所述第一区域图像所在图像坐标系的第一纵轴方向上的等效焦距,所述ρ表示预设比例因子,所述s表示预设的所述第一横轴和所述第一纵轴的不垂直因子;所述(cx,cy)表示所述图像采集设备的光心在所述第一区域图像所在图像坐标系下的坐标,所述(u,v)表示所述第一区域图像中像素点在所述第一区域图像所在图像坐标系下的坐标,所述(XC,YC,ZC)表示所述目标区域中的点在所述预设三维直角坐标系下的坐标,所述预设三维直角坐标系为:基于所述图像采集设备的光心所建立的坐标系,所述第一横轴的方向与所述预设三维直角坐标系的第二横轴的方向相同,所述第一纵轴的方向与所述预设三维直角坐标系的第二纵轴的方向相同;或,
所述fx表示所述第二区域图像所在图像坐标系的第三横轴方向上的等效焦距,所述fy表示所述第二区域图像所在图像坐标系的第三纵轴方向上的等效焦距,所述ρ表示预设比例因子,所述s表示预设的所述第三横轴和所述第三纵轴的不垂直因子;所述(cx,cy)表示所述图像采集设备的光心在所述第二区域图像所在图像坐标系下的坐标,所述(u,v)表示所述第二区域图像中像素点在所述第二区域图像所在图像坐标系下的坐标,所述(XC,YC,ZC)表示所述目标区域中的点在预设三维直角坐标系下的坐标,所述预设三维直角坐标系为:基于所述图像采集设备的光心所建立的坐标系,所述第三横轴的方向与所述预设三维直角坐标系的第二横轴的方向相同,所述第三纵轴的方向与所述预设三维直角坐标系的第二纵轴的方向相同。
在一种实现方式中,所述第一确定模块532,具体用于
对所述第一区域图像中每一像素点的灰度值进行归一化,得到所述第一区域图像中每一像素点的归一化后的灰度值;
并对所述第二区域图像中每一像素点的灰度值进行归一化,得到所述第二区域图像中每一像素点的归一化后的灰度值;
基于归一化互相关算法、所述第一区域图像中每一像素点的归一化后的灰度值以及所述第二区域图像中每一像素点的归一化后的灰度值,计算所述第一区域图像和所述第二区域图像的相似度值。
在一种实现方式中,所述第一确定模块532,具体用于;
判断计算所得的相似度值是否小于预设相似度阈值;
当判断计算所得的相似度值小于预设相似度阈值时,确定所述待检测区域存在目标;
当判断计算所得的相似度值不小于预设相似度阈值时,确定所述待检测区域不存在目标。
在一种实现方式中,所述第一确定模块532,还用于:
在所述确定所述待检测区域存在目标之后,通过所述第一区域图像中每一像素点的灰度值,与所述第二区域图像中每一像素点的灰度值,确定出所述第一区域图像与所述第二区域图像之间的灰度差值图;
从所述灰度差值图中,确定出灰度值大于预设灰度阈值的像素点,作为投影像素点;
基于所确定的投影像素点,确定所述第二区域图像中的第一投影区域;
基于预设投影公式,从所述待检测区域中确定所述第一投影区域对应的第二投影区域;其中,所述预设投影公式为:
所述fx表示所述第二区域图像所在图像坐标系的第三横轴方向上的等效焦距,所述fy表示所述第二区域图像所在图像坐标系的第三纵轴方向上的等效焦距,所述ρ表示预设比例因子,所述s表示预设的所述第三横轴和所述第三纵轴的不垂直因子;所述(cx,cy)表示所述图像采集设备的光心在所述第二区域图像所在图像坐标系下的坐标,所述(u,v)表示所述第二区域图像中像素点在所述第二区域图像所在图像坐标系下的坐标,所述(XC,YC,ZC)表示所述第二投影区域中的点在预设三维直角坐标系下的坐标,所述预设三维直角坐标系为:基于所述图像采集设备的光心所建立的坐标系,所述第三横轴的方向与所述预设三维直角坐标系的第二横轴的方向相同,所述第三纵轴的方向与所述预设三维直角坐标系的第二纵轴的方向相同;
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标以及所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息;
基于所述目标的形状信息,确定所述目标的类型。
在一种实现方式中,所述第一确定模块532,具体用于
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标,确定出最小横轴坐标值以及最大横轴坐标值;
从所述第二投影区域中各点中,确定出所述最小横轴坐标值对应的最大纵轴坐标值,并将所对应的点,作为第一点;
从所述第二投影区域中各点中,确定出所述最大横轴坐标值对应的最大纵轴坐标值,并将所对应的点,作为第二点;
从所述第二投影区域中各点中,确定出所述最大横轴坐标值对应的最小纵轴坐标值,并将所对应的点,作为第三点;
将所述第二点和所述第三点的纵轴坐标值之差,作为所述目标的形状信息中的最大横截面长度;
基于相似三角形原理,利用所述第一点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标、所述第三点在所述预设三维直角坐标系下的坐标以及所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息中的目标高度。
在一种实现方式中,所述第一确定模块532,具体用于
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标,从所述第二投影区域中各点中,确定出所对应横轴坐标值最小的点,作为第一点;
确定所述第一点在所述预设三维直角坐标系下的坐标;
确定所述第一点与所述斜射光源在所述待检测区域所在平面中的投影点之间的连线与所述第二投影区域的相交点;
从所述相交点中,确定出所对应横轴坐标值最大的点在所述预设三维直角坐标系下的坐标;
基于相似三角形原理,利用所述第一点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标、所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标以及所述所对应横轴坐标值最大的相交点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息中的目标高度;
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标,从所述第二投影区域中各点中,确定出所对应横轴坐标值相同、且所对应纵轴坐标值之差最大的点对,作为目标点对;
将所述目标点对中每一点的纵轴坐标值之差的绝对值,作为所述目标的形状信息中的最大横截面长度。
在一种实现方式中,所述第一确定模块532,具体用于
计算所述目标的最大横截面长度以及所述目标的目标高度的比值;
根据所计算的比值,确定所述目标的类型,其中,当所计算的比值小于或等于第一预设阈值时,确定所述目标的类型为丝状物体;当所计算的比值大于所述第一预设阈值,且小于或等于第二预设阈值时,确定所述目标的类型为颗粒状物体;当所计算的比值大于所述第二预设阈值时,确定所述目标的类型为絮状物体。
在一种实现方式中,应用于清洁机器人,所述第一确定模块,还用于在所述根据所计算的比值,确定所述目标的类型之后,根据所确定的所述目标的类型,调节所述清洁机器人的清扫部件的工作功率。
在一种实现方式中,如图7所示,所述不同照射角度的光源510可以包括:光束发射方向与所述待检测区域所在平面垂直的直射光源511以及光束发射方向与所述待检测区域所在平面不垂直的斜射光源512,所述图像采集设备520的光轴与所述待检测区域所在平面垂直,所述图像采集设备520与所述直射光源511之间的距离不超过第一预设距离,所述图像采集设备与所述斜射光源512之间的距离不低于第二预设距离,所述第二预设距离大于所述第一预设距离。其中,在一种实现方式中,上述直射光源可包括一个或多个。如图7所示,上述直射光源712可以包括两个。
在一种实现方式中,如图7所示,所述目标检测装置还可以包括移动底盘710,所述直射光源511、所述斜射光源512、所述处理器530(图中未示出)以及所述图像采集设备520可以设置于所述移动底盘,所述移动底盘710还设置有轮子720,其中,所述轮子720包括至少两个。
在一种实现方式中,所述直射光源511、所述斜射光源512以及所述图像采集设备520距离所述待检测区域所在平面的距离为第一高度h,所述斜射光源512距离所述图像采集设备520的距离为第一长度L,其中,所述第一高度h小于所述第一长度L。
可以理解的是,在一种情况中,上述目标检测装置可以为清洁机器人。此时,该清洁机器人中还可以包括清扫部件,上述处理器530中第一确定模块可以根据所确定的目标的类型,调节清扫部件的工作功率。具体的,第一确定模块可以根据所确定的目标的类型,调节清扫部件的工作功率,基于所调节后的工作功率,控制清扫部件进行清洁。
相应于上述方法实施例,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例所提供的目标检测方法,该目标检测方法可以包括步骤:
获得图像采集设备在待检测区域处于不同照射角度的光源照射的情况下所采集的多张图像,作为待检测图像,其中,不同照射角度对应不同待检测图像;
基于所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定所述待检测区域是否存在目标。
本发明实施例中,获得图像采集设备在待检测区域处于不同照射角度的光源照射的情况下所采集的多张图像,其中,当待检测区域存在目标时,不同照射角度的光源照射上述待检测区域时,上述目标可以在待检测区域形成不同角度的阴影,进而,图像采集设备针对待检测区域,在待检测区域处于不同照射角度的光源照射的情况下所采集的图像时,不同图像的灰度值会存在较大差别;当待检测区域不存在目标时,上述待检测区域不会形成阴影,进而,图像采集设备针对待检测区域,在待检测区域处于不同照射角度的光源照射的情况下所采集的图像时,不同图像的灰度值不会存在较大差别。通过所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,可以从待检测区域中确定出是否存在目标,可见,目标检测过程简便有效。
本发明实施例所提供的目标检测方法,既可以检测出待检测区域中尺寸较大的目标,又能检测出待检测区域中尺寸较小的微小目标,其中,上述尺寸较大的目标为:所占像素点的个数与图像中所有像素点的个数的比值超过第一预设比值的目标;上述尺寸较小的微小目标为:所占像素点的个数与图像中所有像素点的个数的比值未超过第二预设比值的目标。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (22)

1.一种目标检测方法,其特征在于,所述方法包括:
获得图像采集设备在待检测区域处于不同照射角度的光源照射的情况下所采集的多张图像,作为待检测图像,其中,不同照射角度对应不同待检测图像;
基于所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定所述待检测区域是否存在目标。
2.根据权利要求1所述的方法,其特征在于,所述不同照射角度的光源包括:光束发射方向与所述待检测区域所在平面垂直的直射光源以及光束发射方向与所述待检测区域所在平面不垂直的斜射光源;
所述图像采集设备的光轴与所述待检测区域所在平面垂直,所述图像采集设备与所述直射光源之间的距离不超过第一预设距离,所述图像采集设备与所述斜射光源之间的距离不低于第二预设距离,所述第二预设距离大于所述第一预设距离;
所述待检测图像包括:所述直射光源对应的第一待检测图像和所述斜射光源对应的第二待检测图像;
所述基于所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定所述待检测区域是否存在目标的步骤,包括:
基于所述图像采集设备的光轴以及预设重投影规则,从所述第一待检测图像中确定出第一区域图像,并从所述第二待检测图像中确定出第二区域图像,其中,所述第一区域图像中的像素点与所述第二区域图像中的像素点之间存在对应关系,且存在对应关系的像素点对应所述待检测区域中相同位置的点;
基于所述第一区域图像中每一像素点的灰度值以及所述第二区域图像中每一像素点的灰度值,计算所述第一区域图像和所述第二区域图像的相似度值;
基于所计算的相似度值,确定所述待检测区域是否存在目标。
3.根据权利要求2所述的方法,其特征在于,所述基于所述图像采集设备的光轴以及预设重投影规则,从所述第一待检测图像中确定出第一区域图像,并从所述第二待检测图像中确定出第二区域图像的步骤,包括:
确定所述图像采集设备的光轴的延长线与所述待检测区域所在平面的交点,作为中心点;
基于所述中心点以及预设长度,从所述待检测区域中确定目标区域;
基于预设投影公式以及所述目标区域中的点在预设三维直角坐标系下的坐标,从所述第一待检测图像中确定出所述目标区域对应的第一区域图像,并从所述第二待检测图像中确定出所述目标区域对应的第二区域图像,其中,所述预设投影公式为:
其中,所述fx表示所述第一区域图像所在图像坐标系的第一横轴方向上的等效焦距,所述fy表示所述第一区域图像所在图像坐标系的第一纵轴方向上的等效焦距,所述ρ表示预设比例因子,所述s表示预设的所述第一横轴和所述第一纵轴的不垂直因子;所述(cx,cy)表示所述图像采集设备的光心在所述第一区域图像所在图像坐标系下的坐标,所述(u,v)表示所述第一区域图像中像素点在所述第一区域图像所在图像坐标系下的坐标,所述(XC,YC,ZC)表示所述目标区域中的点在预设三维直角坐标系下的坐标,所述预设三维直角坐标系为:基于所述图像采集设备的光心所建立的坐标系,所述第一横轴的方向与所述预设三维直角坐标系的第二横轴的方向相同,所述第一纵轴的方向与所述预设三维直角坐标系的第二纵轴的方向相同;或,
所述fx表示所述第二区域图像所在图像坐标系的第三横轴方向上的等效焦距,所述fy表示所述第二区域图像所在图像坐标系的第三纵轴方向上的等效焦距,所述ρ表示预设比例因子,所述s表示预设的所述第三横轴和所述第三纵轴的不垂直因子;所述(cx,cy)表示所述图像采集设备的光心在所述第二区域图像所在图像坐标系下的坐标,所述(u,v)表示所述第二区域图像中像素点在所述第二区域图像所在图像坐标系下的坐标,所述(XC,YC,ZC)表示所述目标区域中的点在预设三维直角坐标系下的坐标,所述预设三维直角坐标系为:基于所述图像采集设备的光心所建立的坐标系,所述第三横轴的方向与所述预设三维直角坐标系的第二横轴的方向相同,所述第三纵轴的方向与所述预设三维直角坐标系的第二纵轴的方向相同。
4.根据权利要求2所述的方法,其特征在于,所述基于所述第一区域图像中每一像素点的灰度值以及所述第二区域图像中每一像素点的灰度值,计算所述第一区域图像和所述第二区域图像的相似度值的步骤,包括:
对所述第一区域图像中每一像素点的灰度值进行归一化,得到所述第一区域图像中每一像素点的归一化后的灰度值;
并对所述第二区域图像中每一像素点的灰度值进行归一化,得到所述第二区域图像中每一像素点的归一化后的灰度值;
基于归一化互相关算法、所述第一区域图像中每一像素点的归一化后的灰度值以及所述第二区域图像中每一像素点的归一化后的灰度值,计算所述第一区域图像和所述第二区域图像的相似度值。
5.根据权利要求2-4任一项所述的方法,其特征在于,所述基于所计算的相似度值,确定所述待检测区域是否存在目标的步骤,包括:
判断计算所得的相似度值是否小于预设相似度阈值;
当判断计算所得的相似度值小于预设相似度阈值时,确定所述待检测区域存在目标;
当判断计算所得的相似度值不小于预设相似度阈值时,确定所述待检测区域不存在目标。
6.根据权利要求5所述的方法,其特征在于,在所述确定所述待检测区域存在目标的步骤之后,所述方法还包括:
通过所述第一区域图像中每一像素点的灰度值,与所述第二区域图像中每一像素点的灰度值,确定出所述第一区域图像与所述第二区域图像之间的灰度差值图;
从所述灰度差值图中,确定出灰度值大于预设灰度阈值的像素点,作为投影像素点;
基于所确定的投影像素点,确定所述第二区域图像中的第一投影区域;
基于预设投影公式,从所述待检测区域中确定所述第一投影区域对应的第二投影区域;其中,所述预设投影公式为:
所述fx表示所述第二区域图像所在图像坐标系的第三横轴方向上的等效焦距,所述fy表示所述第二区域图像所在图像坐标系的第三纵轴方向上的等效焦距,所述ρ表示预设比例因子,所述s表示预设的所述第三横轴和所述第三纵轴的不垂直因子;所述(cx,cy)表示所述图像采集设备的光心在所述第二区域图像所在图像坐标系下的坐标,所述(u,v)表示所述第二区域图像中像素点在所述第二区域图像所在图像坐标系下的坐标,所述(XC,YC,ZC)表示所述第二投影区域中的点在预设三维直角坐标系下的坐标,所述预设三维直角坐标系为:基于所述图像采集设备的光心所建立的坐标系,所述第三横轴的方向与所述预设三维直角坐标系的第二横轴的方向相同,所述第三纵轴的方向与所述预设三维直角坐标系的第二纵轴的方向相同;
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标以及所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息;
基于所述目标的形状信息,确定所述目标的类型。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标以及所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息的步骤,包括:
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标,确定出最小横轴坐标值以及最大横轴坐标值;
从所述第二投影区域中各点中,确定出所述最小横轴坐标值对应的最大纵轴坐标值,并将所对应的点,作为第一点;
从第二投影区域中各点中,确定出最大横轴坐标值对应的最大纵轴坐标值,并将所对应的点,作为第二点;
从第二投影区域中各点中,确定出所述最大横轴坐标值对应的最小纵轴坐标值,并将所对应的点,作为第三点;
将所述第二点和所述第三点的纵轴坐标值之差,作为所述目标的形状信息中的最大横截面长度;
基于相似三角形原理,利用所述第一点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标、所述第三点在所述预设三维直角坐标系下的坐标以及所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息中的目标高度。
8.根据权利要求6所述的方法,其特征在于,所述基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标以及所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息的步骤,包括:
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标,从所述第二投影区域中各点中,确定出所对应横轴坐标值最小的点,作为第一点;
确定所述第一点在所述预设三维直角坐标系下的坐标;
确定所述第一点与所述斜射光源在所述待检测区域所在平面中的投影点之间的连线与所述第二投影区域的相交点;
从所述相交点中,确定出所对应横轴坐标值最大的相交点在所述预设三维直角坐标系下的坐标;
基于相似三角形原理,利用所述第一点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标、所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标以及所述所对应横轴坐标值最大的相交点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息中的目标高度;
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标,从所述第二投影区域中各点中,确定出所对应横轴坐标值相同、且所对应纵轴坐标值之差最大的点对,作为目标点对;
将所述目标点对中每一点的纵轴坐标值之差的绝对值,作为所述目标的形状信息中的最大横截面长度。
9.根据权利要求6所述的方法,其特征在于,所述基于所述目标的形状信息,确定所述目标的类型的步骤,包括:
计算所述目标的最大横截面长度以及所述目标的目标高度的比值;
根据所计算的比值,确定所述目标的类型,其中,当所计算的比值小于或等于第一预设阈值时,确定所述目标的类型为丝状物体;当所计算的比值大于所述第一预设阈值,且小于或等于第二预设阈值时,确定所述目标的类型为颗粒状物体;当所计算的比值大于所述第二预设阈值时,确定所述目标的类型为絮状物体。
10.根据权利要求9所述的方法,其特征在于,应用于清洁机器人,
在所述根据所计算的比值,确定所述目标的类型的步骤之后,所述方法还包括:
根据所确定的所述目标的类型,调节所述清洁机器人的清扫部件的工作功率。
11.一种目标检测装置,其特征在于,所述装置包括:不同照射角度的光源、图像采集设备和处理器;
所述不同照射角度的光源,用于照射待检测区域;
所述图像采集设备,用于采集在所述待检测区域处于所述不同照射角度的光源照射的情况下的图像;
所述处理器,用于获得图像采集设备所采集的图像,作为待检测图像;并基于所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定所述待检测区域是否存在目标。
12.根据权利要求11所述的目标检测装置,其特征在于,所述处理器,包括:
第一获得模块,用于获得图像采集设备在待检测区域处于不同照射角度的光源照射的情况下所采集的多张图像,作为待检测图像,其中,不同照射角度对应不同待检测图像;
第一确定模块,用于基于所获得的待检测图像在不同照射角度的光源照射的情况下的灰度值差别,确定所述待检测区域是否存在目标。
13.根据权利要求11所述的目标检测装置,其特征在于,所述不同照射角度的光源包括:光束发射方向与所述待检测区域所在平面垂直的直射光源以及光束发射方向与所述待检测区域所在平面不垂直的斜射光源;
所述图像采集设备的光轴与所述待检测区域所在平面垂直,所述图像采集设备与所述直射光源之间的距离不超过第一预设距离,所述图像采集设备与所述斜射光源之间的距离不低于第二预设距离,所述第二预设距离大于所述第一预设距离;
所述待检测图像包括:所述直射光源对应的第一待检测图像和所述斜射光源对应的第二待检测图像;
所述第一确定模块,具体用于:
基于所述图像采集设备的光轴以及预设重投影规则,从所述第一待检测图像中确定出第一区域图像,并从所述第二待检测图像中确定出第二区域图像,其中,所述第一区域图像中的像素点与所述第二区域图像中的像素点之间存在对应关系,且存在对应关系的像素点对应所述待检测区域中相同位置的点;
基于所述第一区域图像中每一像素点的灰度值以及所述第二区域图像中每一像素点的灰度值,计算所述第一区域图像和所述第二区域图像的相似度值;
基于所计算的相似度值,确定所述待检测区域是否存在目标。
14.根据权利要求13所述的目标检测装置,其特征在于,所述第一确定模块,具体用于
确定所述图像采集设备的光轴的延长线与所述待检测区域所在平面的交点,作为中心点;
基于所述中心点以及预设长度,从所述待检测区域中确定目标区域;
基于预设投影公式以及所述目标区域中的点在预设三维直角坐标系下的坐标,从所述第一待检测图像中确定出所述目标区域对应的第一区域图像,并从所述第二待检测图像中确定出所述目标区域对应的第二区域图像,其中,所述预设投影公式为:
其中,所述fx表示所述第一区域图像所在图像坐标系的第一横轴方向上的等效焦距,所述fy表示所述第一区域图像所在图像坐标系的第一纵轴方向上的等效焦距,所述ρ表示预设比例因子,所述s表示预设的所述第一横轴和所述第一纵轴的不垂直因子;所述(cx,cy)表示所述图像采集设备的光心在所述第一区域图像所在图像坐标系下的坐标,所述(u,v)表示所述第一区域图像中像素点在所述第一区域图像所在图像坐标系下的坐标,所述(XC,YC,ZC)表示所述目标区域中的点在预设三维直角坐标系下的坐标,所述预设三维直角坐标系为:基于所述图像采集设备的光心所建立的坐标系,所述第一横轴的方向与所述预设三维直角坐标系的第二横轴的方向相同,所述第一纵轴的方向与所述预设三维直角坐标系的第二纵轴的方向相同;或,
所述fx表示所述第二区域图像所在图像坐标系的第三横轴方向上的等效焦距,所述fy表示所述第二区域图像所在图像坐标系的第三纵轴方向上的等效焦距,所述ρ表示预设比例因子,所述s表示预设的所述第三横轴和所述第三纵轴的不垂直因子;所述(cx,cy)表示所述图像采集设备的光心在所述第二区域图像所在图像坐标系下的坐标,所述(u,v)表示所述第二区域图像中像素点在所述第二区域图像所在图像坐标系下的坐标,所述(XC,YC,ZC)表示所述目标区域中的点在预设三维直角坐标系下的坐标,所述预设三维直角坐标系为:基于所述图像采集设备的光心所建立的坐标系,所述第三横轴的方向与所述预设三维直角坐标系的第二横轴的方向相同,所述第三纵轴的方向与所述预设三维直角坐标系的第二纵轴的方向相同。
15.根据权利要求13所述的目标检测装置,其特征在于,所述第一确定模块,具体用于
对所述第一区域图像中每一像素点的灰度值进行归一化,得到所述第一区域图像中每一像素点的归一化后的灰度值;
并对所述第二区域图像中每一像素点的灰度值进行归一化,得到所述第二区域图像中每一像素点的归一化后的灰度值;
基于归一化互相关算法、所述第一区域图像中每一像素点的归一化后的灰度值以及所述第二区域图像中每一像素点的归一化后的灰度值,计算所述第一区域图像和所述第二区域图像的相似度值。
16.根据权利要求13-15任一项所述的目标检测装置,其特征在于,所述第一确定模块,具体用于:
判断计算所得的相似度值是否小于预设相似度阈值;
当判断计算所得的相似度值小于预设相似度阈值时,确定所述待检测区域存在目标;
当判断计算所得的相似度值不小于预设相似度阈值时,确定所述待检测区域不存在目标。
17.根据权利要求16所述的目标检测装置,其特征在于,所述第一确定模块,还用于:
在所述确定所述待检测区域存在目标之后,通过所述第一区域图像中每一像素点的灰度值,与所述第二区域图像中每一像素点的灰度值,确定出所述第一区域图像与所述第二区域图像之间的灰度差值图;
从所述灰度差值图中,确定出灰度值大于预设灰度阈值的像素点,作为投影像素点;
基于所确定的投影像素点,确定所述第二区域图像中的第一投影区域;
基于预设投影公式,从所述待检测区域中确定所述第一投影区域对应的第二投影区域;其中,所述预设投影公式为:
所述fx表示所述第二区域图像所在图像坐标系的第三横轴方向上的等效焦距,所述fy表示所述第二区域图像所在图像坐标系的第三纵轴方向上的等效焦距,所述ρ表示预设比例因子,所述s表示预设的所述第三横轴和所述第三纵轴的不垂直因子;所述(cx,cy)表示所述图像采集设备的光心在所述第二区域图像所在图像坐标系下的坐标,所述(u,v)表示所述第二区域图像中像素点在所述第二区域图像所在图像坐标系下的坐标,所述(XC,YC,ZC)表示所述第二投影区域中的点在预设三维直角坐标系下的坐标,所述预设三维直角坐标系为:基于所述图像采集设备的光心所建立的坐标系,所述第三横轴的方向与所述预设三维直角坐标系的第二横轴的方向相同,所述第三纵轴的方向与所述预设三维直角坐标系的第二纵轴的方向相同;
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标以及所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息;
基于所述目标的形状信息,确定所述目标的类型。
18.根据权利要求17所述的目标检测装置,其特征在于,所述第一确定模块,具体用于
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标,确定出最小横轴坐标值以及最大横轴坐标值;
从所述第二投影区域中各点中,确定出所述最小横轴坐标值对应的最大纵轴坐标值,并将所对应的点,作为第一点;
从第二投影区域中各点中,确定出最大横轴坐标值对应的最大纵轴坐标值,并将所对应的点,作为第二点;
从第二投影区域中各点中,确定出所述最大横轴坐标值对应的最小纵轴坐标值,并将所对应的点,作为第三点;
将所述第二点和所述第三点的纵轴坐标值之差,作为所述目标的形状信息中的最大横截面长度;
基于相似三角形原理,利用所述第一点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标、所述第三点在所述预设三维直角坐标系下的坐标以及所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息中的目标高度。
19.根据权利要求17所述的装置,其特征在于,所述第一确定模块,具体用于
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标,从所述第二投影区域中各点中,确定出所对应横轴坐标值最小的点,作为第一点;
确定所述第一点在所述预设三维直角坐标系下的坐标;
确定所述第一点与所述斜射光源在所述待检测区域所在平面中的投影点之间的连线与所述第二投影区域的相交点;
从所述相交点中,确定出所对应横轴坐标值最大的点在所述预设三维直角坐标系下的坐标;
基于相似三角形原理,利用所述第一点在所述预设三维直角坐标系下的坐标、所述斜射光源在所述预设三维直角坐标系下的坐标、所述斜射光源在所述待检测区域所在平面中的投影点在所述预设三维直角坐标系下的坐标以及所述所对应横轴坐标值最大的相交点在所述预设三维直角坐标系下的坐标,确定所述目标的形状信息中的目标高度;
基于所述第二投影区域中各点在所述预设三维直角坐标系下的坐标,从所述第二投影区域中各点中,确定出所对应横轴坐标值相同、且所对应纵轴坐标值之差最大的点对,作为目标点对;
将所述目标点对中每一点的纵轴坐标值之差的绝对值,作为所述目标的形状信息中的最大横截面长度。
20.根据权利要求17所述的装置,其特征在于,所述第一确定模块,具体用于
计算所述目标的最大横截面长度以及所述目标的目标高度的比值;
根据所计算的比值,确定所述目标的类型,其中,当所计算的比值小于或等于第一预设阈值时,确定所述目标的类型为丝状物体;当所计算的比值大于所述第一预设阈值,且小于或等于第二预设阈值时,确定所述目标的类型为颗粒状物体;当所计算的比值大于所述第二预设阈值时,确定所述目标的类型为絮状物体。
21.根据权利要求20所述的装置,其特征在于,应用于清洁机器人,
所述第一确定模块,还用于在所述根据所计算的比值,确定所述目标的类型之后,根据所确定的所述目标的类型,调节所述清洁机器人的清扫部件的工作功率。
22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-10任一所述的目标检测方法步骤。
CN201711405618.6A 2017-12-22 2017-12-22 一种目标检测方法及装置 Active CN109961455B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711405618.6A CN109961455B (zh) 2017-12-22 2017-12-22 一种目标检测方法及装置
PCT/CN2018/115641 WO2019120011A1 (zh) 2017-12-22 2018-11-15 一种目标检测方法及装置
EP18893123.2A EP3731180A4 (en) 2017-12-22 2018-11-15 METHOD AND DEVICE FOR TARGET DETECTION
US16/954,751 US11367276B2 (en) 2017-12-22 2018-11-15 Target detection method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711405618.6A CN109961455B (zh) 2017-12-22 2017-12-22 一种目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN109961455A true CN109961455A (zh) 2019-07-02
CN109961455B CN109961455B (zh) 2022-03-04

Family

ID=66994386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711405618.6A Active CN109961455B (zh) 2017-12-22 2017-12-22 一种目标检测方法及装置

Country Status (4)

Country Link
US (1) US11367276B2 (zh)
EP (1) EP3731180A4 (zh)
CN (1) CN109961455B (zh)
WO (1) WO2019120011A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111141758A (zh) * 2019-12-27 2020-05-12 江苏南高智能装备创新中心有限公司 一种内圆柱表面缺陷检测方法
CN112797915A (zh) * 2020-12-29 2021-05-14 杭州海康机器人技术有限公司 一种线结构光测量系统的标定方法、标定装置、以及系统
WO2021143065A1 (zh) * 2020-01-15 2021-07-22 平安科技(深圳)有限公司 图片数据清洗方法、装置、计算机设备和存储介质
CN113643368A (zh) * 2021-08-03 2021-11-12 嘉洋智慧安全生产科技发展(北京)有限公司 一种物体之间真实间距的确定方法、装置及电子设备
CN114111645A (zh) * 2022-01-26 2022-03-01 西安石油大学 一种基于视觉检测的角度测量方法及系统
CN115040238A (zh) * 2022-08-15 2022-09-13 南昌大学第二附属医院 体表皮损区域激光定位设备的控制方法及激光定位设备
CN115876093A (zh) * 2023-02-21 2023-03-31 南通鸿劲金属铝业有限公司 一种用于铝合金的性能检测系统
CN116148186A (zh) * 2023-04-19 2023-05-23 高视科技(苏州)股份有限公司 极片飞拍纠偏方法、电子设备及存储介质
WO2023219297A1 (ko) * 2022-05-13 2023-11-16 삼성전자주식회사 청소 장치 및 그 제어 방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348795A (zh) * 2020-11-05 2021-02-09 深圳市海腾建设工程有限公司 瓷砖铺贴质量检测方法、检测设备及存储介质
CN112669302B (zh) * 2020-12-30 2023-07-28 北京市商汤科技开发有限公司 吊弦缺陷检测方法、装置、电子设备及存储介质
CN113020126A (zh) * 2021-02-01 2021-06-25 武汉光谷航天三江激光产业技术研究院有限公司 在线检测方法及系统、终端设备、存储介质、检测头
CN113160305B (zh) * 2021-02-23 2023-04-25 歌尔光学科技有限公司 平行检测方法、设备、存储介质及装置
CN112884833B (zh) * 2021-03-18 2023-10-27 北京博清科技有限公司 一种焊缝坡口的检测方法、装置及计算机设备
CN113409259B (zh) * 2021-06-09 2022-04-19 电子科技大学 基于图像特征信息的精密工件台倾角检测方法
CN113588654B (zh) * 2021-06-24 2024-02-02 宁波大学 一种发动机热交换器接口的三维视觉检测方法
CN113469030B (zh) * 2021-06-30 2023-09-01 上海天齐智能建筑股份有限公司 一种基于人工智能与身体阴影评估的人员定位方法及系统
CN113628238B (zh) * 2021-07-22 2023-09-22 中汽创智科技有限公司 一种目标对象的定位方法、装置及介质
CN114018160B (zh) * 2021-11-09 2023-11-28 北京深点视觉科技有限公司 一种极耳成像装置和极耳尺寸检测方法
CN114260259B (zh) * 2021-12-22 2023-06-02 深圳泰德激光技术股份有限公司 激光清洗电池的方法、装置及计算机可读存储介质
CN114674249B (zh) * 2022-03-28 2023-02-07 上海大学 一种筒体嵌套装配对中的视觉测量引导装置、方法及系统
CN116485788B (zh) * 2023-06-16 2023-08-29 东莞市华驰高分子材料有限公司 图像处理方法及手机pet保护膜底涂工艺质量检测方法

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731417A (zh) * 2005-08-19 2006-02-08 清华大学 复杂背景图像中的鲁棒人脸检测方法
CN1731418A (zh) * 2005-08-19 2006-02-08 清华大学 复杂背景图像中鲁棒的眼睛精确定位方法
CN101251658A (zh) * 2008-03-12 2008-08-27 友达光电股份有限公司 一种显示质量检测装置及检测方法
CN101464132A (zh) * 2008-12-31 2009-06-24 北京中星微电子有限公司 位置确定方法及设备
CN101727671A (zh) * 2009-12-01 2010-06-09 湖南大学 基于路面共线三点及其平行线的单摄像机标定方法
CN101950355A (zh) * 2010-09-08 2011-01-19 中国人民解放军国防科学技术大学 基于数字视频的驾驶员疲劳状态检测方法
US20120154577A1 (en) * 2010-12-15 2012-06-21 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same, distance measurement apparatus, and storage medium
CN102629378A (zh) * 2012-03-01 2012-08-08 西安电子科技大学 基于多特征融合的遥感图像变化检测方法
CN102629380A (zh) * 2012-03-03 2012-08-08 西安电子科技大学 基于多组滤波和降维的遥感图像变化检测方法
CN103164693A (zh) * 2013-02-04 2013-06-19 华中科技大学 一种监控视频行人检测匹配方法
CN103226838A (zh) * 2013-04-10 2013-07-31 福州林景行信息技术有限公司 地理场景中移动监控目标的实时空间定位方法
CN103793921A (zh) * 2012-10-29 2014-05-14 浙江大华技术股份有限公司 一种运动目标提取方法及装置
CN104007444A (zh) * 2014-06-09 2014-08-27 北京建筑大学 一种基于中心投影的地面激光雷达反射强度图像的生成方法
US20150316648A1 (en) * 2014-05-01 2015-11-05 Kikai Sekkei Nakahata Kabushiki Kaisha Detection apparatus, Detection method and Manipulator
WO2016015546A1 (zh) * 2014-08-01 2016-02-04 深圳中集天达空港设备有限公司 一种飞机入坞引导和机型识别的系统及方法
WO2016061244A1 (en) * 2014-10-14 2016-04-21 Electronics For Imaging, Inc. Differential lighting
WO2016099321A1 (ru) * 2014-12-19 2016-06-23 Андрей Владимирович КЛИМОВ Способ контроля линейных размеров трехмерных объектов
CN106157219A (zh) * 2016-06-30 2016-11-23 北京工业大学 基于车载扫描系统的道路中心线提取方法和装置
CN106485735A (zh) * 2015-09-01 2017-03-08 南京理工大学 基于立体视觉技术的人体目标识别与跟踪方法
CN106503605A (zh) * 2015-09-01 2017-03-15 南京理工大学 基于立体视觉技术的人体目标识别方法
CN106558038A (zh) * 2015-09-18 2017-04-05 中国人民解放军国防科学技术大学 一种水天线检测方法及装置
CN106791433A (zh) * 2017-01-18 2017-05-31 维沃移动通信有限公司 一种图像处理方法及电子设备
CN107255458A (zh) * 2017-06-19 2017-10-17 昆明理工大学 一种垂直投影光栅测量仿真系统及其实现方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421451B2 (en) * 1997-09-16 2002-07-16 Kabushiki Kaisha Toshiba Step difference detection apparatus and processing apparatus using the same
US6465801B1 (en) * 2000-07-31 2002-10-15 Hewlett-Packard Company Dust and scratch detection for an image scanner
JP4625716B2 (ja) * 2005-05-23 2011-02-02 株式会社日立ハイテクノロジーズ 欠陥検査装置及び欠陥検査方法
CN1738426A (zh) * 2005-09-09 2006-02-22 南京大学 一种视频运动目标分割与跟踪方法
CN101277429B (zh) 2007-03-27 2011-09-07 中国科学院自动化研究所 监控中多路视频信息融合处理与显示的方法和系统
JP5721042B2 (ja) * 2010-10-20 2015-05-20 株式会社ニコン 顕微鏡システム
US20150087902A1 (en) * 2012-03-30 2015-03-26 Trustees Of Boston University Phase Contrast Microscopy With Oblique Back-Illumination
US10393505B2 (en) * 2013-12-06 2019-08-27 Werth Messtechnik Gmbh Device and method for measuring workpieces
CN104063939A (zh) * 2014-06-20 2014-09-24 威海华菱光电股份有限公司 目标物真伪的验证方法和装置
DE102014109687B4 (de) * 2014-07-10 2020-03-19 Carl Zeiss Microscopy Gmbh Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
JP6370177B2 (ja) * 2014-09-05 2018-08-08 株式会社Screenホールディングス 検査装置および検査方法
JP6486050B2 (ja) * 2014-09-29 2019-03-20 株式会社Screenホールディングス 検査装置および検査方法
DE102015107517B3 (de) * 2015-05-13 2016-06-23 Carl Zeiss Ag Vorrichtung und Verfahren zur Bildaufnahme mit erhöhter Schärfentiefe

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731418A (zh) * 2005-08-19 2006-02-08 清华大学 复杂背景图像中鲁棒的眼睛精确定位方法
CN1731417A (zh) * 2005-08-19 2006-02-08 清华大学 复杂背景图像中的鲁棒人脸检测方法
CN101251658A (zh) * 2008-03-12 2008-08-27 友达光电股份有限公司 一种显示质量检测装置及检测方法
CN101464132A (zh) * 2008-12-31 2009-06-24 北京中星微电子有限公司 位置确定方法及设备
CN101727671A (zh) * 2009-12-01 2010-06-09 湖南大学 基于路面共线三点及其平行线的单摄像机标定方法
CN101950355A (zh) * 2010-09-08 2011-01-19 中国人民解放军国防科学技术大学 基于数字视频的驾驶员疲劳状态检测方法
US20120154577A1 (en) * 2010-12-15 2012-06-21 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same, distance measurement apparatus, and storage medium
CN102629378A (zh) * 2012-03-01 2012-08-08 西安电子科技大学 基于多特征融合的遥感图像变化检测方法
CN102629380A (zh) * 2012-03-03 2012-08-08 西安电子科技大学 基于多组滤波和降维的遥感图像变化检测方法
CN103793921A (zh) * 2012-10-29 2014-05-14 浙江大华技术股份有限公司 一种运动目标提取方法及装置
CN103164693A (zh) * 2013-02-04 2013-06-19 华中科技大学 一种监控视频行人检测匹配方法
CN103226838A (zh) * 2013-04-10 2013-07-31 福州林景行信息技术有限公司 地理场景中移动监控目标的实时空间定位方法
US20150316648A1 (en) * 2014-05-01 2015-11-05 Kikai Sekkei Nakahata Kabushiki Kaisha Detection apparatus, Detection method and Manipulator
CN104007444A (zh) * 2014-06-09 2014-08-27 北京建筑大学 一种基于中心投影的地面激光雷达反射强度图像的生成方法
WO2016015546A1 (zh) * 2014-08-01 2016-02-04 深圳中集天达空港设备有限公司 一种飞机入坞引导和机型识别的系统及方法
WO2016061244A1 (en) * 2014-10-14 2016-04-21 Electronics For Imaging, Inc. Differential lighting
WO2016099321A1 (ru) * 2014-12-19 2016-06-23 Андрей Владимирович КЛИМОВ Способ контроля линейных размеров трехмерных объектов
CN106485735A (zh) * 2015-09-01 2017-03-08 南京理工大学 基于立体视觉技术的人体目标识别与跟踪方法
CN106503605A (zh) * 2015-09-01 2017-03-15 南京理工大学 基于立体视觉技术的人体目标识别方法
CN106558038A (zh) * 2015-09-18 2017-04-05 中国人民解放军国防科学技术大学 一种水天线检测方法及装置
CN106157219A (zh) * 2016-06-30 2016-11-23 北京工业大学 基于车载扫描系统的道路中心线提取方法和装置
CN106791433A (zh) * 2017-01-18 2017-05-31 维沃移动通信有限公司 一种图像处理方法及电子设备
CN107255458A (zh) * 2017-06-19 2017-10-17 昆明理工大学 一种垂直投影光栅测量仿真系统及其实现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI GUANG-LUN等: "Real-time Detection for Moving Object in Video Monitor System", 《COMPUTER ENGINEERING》 *
袁国武: "智能视频监控中的运动目标检测和跟踪算法研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111141758A (zh) * 2019-12-27 2020-05-12 江苏南高智能装备创新中心有限公司 一种内圆柱表面缺陷检测方法
WO2021143065A1 (zh) * 2020-01-15 2021-07-22 平安科技(深圳)有限公司 图片数据清洗方法、装置、计算机设备和存储介质
CN112797915A (zh) * 2020-12-29 2021-05-14 杭州海康机器人技术有限公司 一种线结构光测量系统的标定方法、标定装置、以及系统
CN112797915B (zh) * 2020-12-29 2023-09-12 杭州海康机器人股份有限公司 一种线结构光测量系统的标定方法、标定装置、以及系统
CN113643368A (zh) * 2021-08-03 2021-11-12 嘉洋智慧安全生产科技发展(北京)有限公司 一种物体之间真实间距的确定方法、装置及电子设备
CN114111645A (zh) * 2022-01-26 2022-03-01 西安石油大学 一种基于视觉检测的角度测量方法及系统
CN114111645B (zh) * 2022-01-26 2022-04-29 西安石油大学 一种基于视觉检测的角度测量方法及系统
WO2023219297A1 (ko) * 2022-05-13 2023-11-16 삼성전자주식회사 청소 장치 및 그 제어 방법
CN115040238A (zh) * 2022-08-15 2022-09-13 南昌大学第二附属医院 体表皮损区域激光定位设备的控制方法及激光定位设备
CN115040238B (zh) * 2022-08-15 2022-11-15 南昌大学第二附属医院 体表皮损区域激光定位设备的控制方法及激光定位设备
CN115876093A (zh) * 2023-02-21 2023-03-31 南通鸿劲金属铝业有限公司 一种用于铝合金的性能检测系统
CN116148186A (zh) * 2023-04-19 2023-05-23 高视科技(苏州)股份有限公司 极片飞拍纠偏方法、电子设备及存储介质

Also Published As

Publication number Publication date
US20200320296A1 (en) 2020-10-08
WO2019120011A1 (zh) 2019-06-27
EP3731180A1 (en) 2020-10-28
US11367276B2 (en) 2022-06-21
CN109961455B (zh) 2022-03-04
EP3731180A4 (en) 2021-01-20

Similar Documents

Publication Publication Date Title
CN109961455A (zh) 一种目标检测方法及装置
Sarbolandi et al. Kinect range sensing: Structured-light versus Time-of-Flight Kinect
CN1324529C (zh) 对场景中的物体进行分类的系统及其方法
EP2072947B1 (en) Image processing device and image processing method
US7277187B2 (en) Overhead dimensioning system and method
O’Riordan et al. Stereo vision sensing: Review of existing systems
US20050249382A1 (en) System and Method for Restricting Access through a Mantrap Portal
WO2011070927A1 (ja) 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
TWI578269B (zh) 三維座標縫合方法及應用其之三維座標資訊縫合裝置
WO2020167314A1 (en) Detection of projected infrared patterns using difference of gaussian and blob identification
CN106033614A (zh) 一种强视差下的移动相机运动目标检测方法
CN112889087A (zh) 对制膜中任意形状的片材部件的自动检查
WO2021226716A1 (en) System and method for discrete point coordinate and orientation detection in 3d point clouds
JP2000207693A (ja) 車載用障害物検出装置
CN109839628A (zh) 一种障碍物确定方法及移动机器人
JP2003028811A (ja) 欠陥検出方法
JP6477348B2 (ja) 自己位置推定装置及び自己位置推定方法
CN107271445A (zh) 一种缺陷检测方法及装置
Taylor et al. Monocular vision as a range sensor
Yao et al. Fusing complementary images for pavement cracking measurements
Derhgawen et al. Vision based obstacle detection using 3D HSV histograms
JP3340599B2 (ja) 平面推定方法
CN112925351A (zh) 一种视觉机器光源控制方法、装置
Rumyantsev et al. An analysis of feature detection efficiency on images with a priori unknown and changing viewing conditions
JP5743635B2 (ja) 異物検知装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant