CN111736140B - 一种对象检测方法和摄像设备 - Google Patents

一种对象检测方法和摄像设备 Download PDF

Info

Publication number
CN111736140B
CN111736140B CN202010544549.2A CN202010544549A CN111736140B CN 111736140 B CN111736140 B CN 111736140B CN 202010544549 A CN202010544549 A CN 202010544549A CN 111736140 B CN111736140 B CN 111736140B
Authority
CN
China
Prior art keywords
detected
size
image
determining
actual size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010544549.2A
Other languages
English (en)
Other versions
CN111736140A (zh
Inventor
林克荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikmicro Sensing Technology Co Ltd
Original Assignee
Hangzhou Hikmicro Sensing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikmicro Sensing Technology Co Ltd filed Critical Hangzhou Hikmicro Sensing Technology Co Ltd
Priority to CN202010544549.2A priority Critical patent/CN111736140B/zh
Publication of CN111736140A publication Critical patent/CN111736140A/zh
Priority to EP21825409.2A priority patent/EP4166981A4/en
Priority to PCT/CN2021/099211 priority patent/WO2021254233A1/zh
Application granted granted Critical
Publication of CN111736140B publication Critical patent/CN111736140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/581Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/582Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/886Radar or analogous systems specially adapted for specific applications for alarm systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/288Coherent receivers
    • G01S7/2883Coherent receivers using FFT processing

Abstract

本申请提供一种对象检测方法和摄像设备,可包括:依据用于探测待检测对象的雷达探测信号确定待检测对象的空间位置信息,所述空间位置信息至少包括:所述待检测对象相对所述摄像设备的距离信息和所述待检测对象的速度信息;若所述速度信息满足设定速度要求,则依据所述距离信息确定所述待检测对象对应的标定尺寸范围,并依据已采集的包含所述待检测对象的图像确定所述待检测对象的实际尺寸;其中,所述标定尺寸范围用于表示在所述待检测对象为指定对象时所述指定对象在所述图像中的尺寸,基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象。使用本申请提供的对象检测方法,可以提高对象检测的准确性。

Description

一种对象检测方法和摄像设备
技术领域
本申请涉及监控领域,尤其涉及一种对象检测方法和摄像设备。
背景技术
对象检测,也可以称为周界检测,是指检测监控区域内是否出现预设的指定对象的技术。周界检测技术是整个安防系统的第一道防线,对于整套安防系统具有重要意义。
但是现有的周界检测方法容易受到天气、遮挡物等影响,使得周界检测结果的准确性较低。
发明内容
有鉴于此,本申请提供一种对象检测方法和摄像设备,用于提高对象检测的准确性。
具体地,本申请是通过如下技术方案实现的:
根据本申请的第一方面,提供一种对象检测方法,所述方法应用于摄像设备,包括:
依据用于探测待检测对象的雷达探测信号确定待检测对象的空间位置信息,所述空间位置信息至少包括:所述待检测对象相对所述摄像设备的距离信息和所述待检测对象的速度信息;
若所述速度信息满足设定速度要求,则依据所述距离信息确定所述待检测对象对应的标定尺寸范围,并依据已采集的包含所述待检测对象的图像确定所述待检测对象的实际尺寸,其中,所述标定尺寸范围用于表示在所述待检测对象为指定对象时所述指定对象在所述图像中的尺寸;
基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象。
可选的,所述依据所述距离信息确定所述待检测对象的标定尺寸范围,包括:
将所述距离信息输入至预设的尺寸预测模型得到对应的标定尺寸,其中,所述尺寸预测模型表示所述距离信息与所述标定尺寸之间的对应关系;
基于所述标定尺寸和预设的尺寸误差确定所述标定尺寸范围。
可选的,所述基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为所述指定对象,包括:
若所述实际尺寸在所述标定尺寸范围内,则确定所述待检测对象为所述指定对象;
若所述实际尺寸不在所述标定尺寸范围内,则确定所述待检测对象不是所述指定对象。
可选的,所述图像为热成像图像;
所述依据已采集的包含所述待检测对象的图像确定所述待检测对象的实际尺寸,还包括:依据所述热成像图像确定所述待检测对象的当前温度信息;
所述基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象,包括:
若所述实际尺寸在所述标定尺寸范围内、且所述当前温度信息满足预设温度要求,则确定所述待检测对象为所述指定对象;
若所述实际尺寸不在所述标定尺寸范围内、和/或所述当前温度信息不满足预设温度要求,则确定所述待检测对象不是所述指定对象。
可选的,所述图像包括热成像图像和可见光图像;
所述依据已采集的包含所述待检测对象的图像确定所述待检测对象的实际尺寸,包括:
从所述热成像图像中确定所述待检测对象的第一实际尺寸;
从所述可见光图像中确定所述待检测对象的第二实际尺寸;
所述依据已采集的包含所述待检测对象的图像确定所述待检测对象的实际尺寸还包括:依据所述热成像图像确定所述待检测对象的当前温度信息;
基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象,包括:
若所述第一实际尺寸、第二实际尺寸均在所述标定尺寸范围内、且所述当前温度信息满足预设温度要求,则确定所述待检测对象为所述指定对象;
若所述第一实际尺寸不在所述标定尺寸范围内、和/或所述第二实际尺寸不在所述标定尺寸范围内、和/或当前温度信息不满足预设温度要求,则确定所述待检测对象不是所述指定对象。
根据本申请的第二方面,提供一种摄像设备,所述摄像设备包括:
雷达模组,用于发送用于探测待检测对象的雷达探测信号;
图像模组,用于采集包含所述待检测对象的图像;
处理器,用于获取待检测对象的空间位置信息;所述空间位置信息依据所述用于探测待检测对象的雷达探测信号确定,所述空间位置信息至少包括:所述待检测对象相对所述摄像设备的距离信息和所述待检测对象的速度信息;若所述速度信息满足设定速度要求,则依据所述距离信息确定所述待检测对象的标定尺寸范围,并获取所述待检测对象的实际尺寸;所述实际尺寸依据已采集的包含所述待检测对象的图像确定;基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象;
其中,所述标定尺寸范围用于表示在所述待检测对象为指定对象时所述指定对象在所述图像中的尺寸。
可选的,所述处理器,在依据所述距离信息确定所述待检测对象的标定尺寸范围时,用于将所述距离信息输入至预设的尺寸预测模型得到对应的标定尺寸;基于所述标定尺寸和预设的尺寸误差确定所述标定尺寸范围;
其中,所述尺寸预测模型表示所述距离信息与所述标定尺寸之间的对应关系。
可选的,所述处理器,在依据基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为所述指定对象时,用于若所述实际尺寸在所述标定尺寸范围内,则确定所述待检测对象为所述指定对象;若所述实际尺寸不在所述标定尺寸范围内,则确定所述待检测对象不是所述指定对象。
可选的,所述图像模组为热成像模组,所述图像为热成像图像;
所述处理器,还用于获取所述待检测对象的当前温度信息;所述当前温度信息依据所述热成像图像确定;
所述处理器,在依据基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为所述指定对象时,用于若所述实际尺寸在所述标定尺寸范围内、且所述当前温度信息满足预设温度要求,则确定所述待检测对象为所述指定对象;若所述实际尺寸不在所述标定尺寸范围内、和/或所述当前温度信息不满足预设温度要求,则确定所述待检测对象不是所述指定对象。
可选的,所述图像模组包括:热成像模组和可见光模组;
所述图像包括:热成像图像和可见光图像;
所述处理器,在获取所述待检测对象的实际尺寸时,用于获取所述待检测对象的第一实际尺寸和所述待检测对象的第二实际尺寸;所述第一实际尺寸依据所述热成像图像确定;从第二实际尺寸依据所述可见光图像确定;
所述处理器,还用于依据所述热成像图像确定所述待检测对象的当前温度信息;
所述处理器,在基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象时,用于若所述第一实际尺寸、第二实际尺寸均在所述标定尺寸范围内、且所述当前温度信息满足预设温度要求,则确定所述待检测对象为所述指定对象;若所述第一实际尺寸不在所述标定尺寸范围内、和/或所述第二实际尺寸不在所述标定尺寸范围内、和/或当前温度信息不满足预设温度要求,则确定所述待检测对象不是所述指定对象。
由上述描述可知,由于基于雷达探测信号不易受到环境因素影响,因此基于依据雷达探测信号确定出的待检测对象与摄像设备的距离信息更为准确,进而依据距离信息确定出的标定尺寸范围更为准确,所以本申请提出的基于雷达探测信号和图像共同来实现对象检测的方式,会大大提高对象检测的准确率。
附图说明
图1是本申请一示例性实施例示出的一种对象检测方法的流程图;
图2是本申请一示例性实施例示出的一种摄像设备的示意图;
图3是本申请一示例性实施例示出的一种雷达探测待检测对象的空间位置信息的示意图;
图4a是本申请一示例性实施例示出的另一种摄像设备的示意图;
图4b是本申请一示例性实施例示出的一种对象检测方法的流程图;
图5a是本申请一示例性实施例示出的另一种摄像设备的示意图;
图5b是本申请一示例性实施例示出的一种对象检测方法的流程图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请旨在提出一种对象检测方法,用以准确检测监控区域中出现的待检测对象是否为指定对象。
在实现时,摄像设备集成了雷达模组和图像模组,雷达模组可发送并接收用于探测待检测对象的雷达探测信号,图像模组可采集包含所述待检测对象的图像,这就使得摄像设备可依据用于探测待检测对象的雷达探测信号确定待检测对象相对摄像设备的距离信息和待检测对象的速度信息。若所述速度信息满足设定速度要求,则摄像设备可依据所述距离信息确定所述待检测对象对应的标定尺寸范围,并依据已采集的包含所述待检测对象的图像确定所述待检测对象的实际尺寸。摄像设备基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象。
由于基于雷达探测信号不易受到环境因素影响,因此基于依据雷达探测信号确定出的待检测对象与摄像设备的距离信息更为准确,进而依据距离信息确定出的标定尺寸范围更为准确,所以本申请提出的基于雷达探测信号和图像共同来实现对象检测的方式,会大大提高对象检测的准确率。
在介绍本申请提供的对象检测方法之前,先对本申请所涉及的概念进行介绍。
1、指定对象
指定对象是用户想要监控的对象、是用户预设的对象。该预设的指定对象可以是人、车、小动物等等。这里不对指定对象进行具体地限定。
3、待检测对象
待检测对象是指监控区域内出现的可运动的对象。该待检测对象可以是人、车、小动物等等,这里不对该待检测对象进行具体地限定。
例如,在本申请实施例中,假设指定对象为人。假设监控区域内出现了可运动的待检测对象,则需要检测该待检测对象是否为人。
3、尺寸预测模型
本申请预先训练了尺寸预测模型。该尺寸预测模型可以表示待检测对象与摄像设备之间的距离信息、与标定尺寸之间的对应关系。其中,该标定尺寸表示待检测对象为指定对象时,指定对象在图像中的尺寸。换句话来说,输入该尺寸预测模型的是待检测对象与摄像设备之间的距离信息,该尺寸预测模型输出的是待检测对象对应的标定尺寸。
下面对该尺寸预测模型的构建过程进行介绍。
在实现时,可在监控区域内选择至少一个指定位置。
针对每个指定位置,将指定对象依次放置在各指定位置。
然后,依据每个指定位置,摄像设备向该指定位置上的指定对象发出雷达探测信号,并依据返回的雷达探测信号,确定该指定对象相对于摄像设备的距离信息。以及,摄像采集该指定对象的图像,并从采集的图像中确定出该指定对象的尺寸,作为标定尺寸。由此,摄像设备可得到该指定位置对应距离信息和标定尺寸。
基于上述同样的方式,摄像设备可得到与每个指定位置对应的距离信息和标定尺寸。
然后,以每个指定位置对应的距离信息作为自变量,以各指定位置对应的标定尺寸作为因变量,生成每个指定位置对应的自变量-因变量对。然后,对各自变量-因变量对进行拟合,得到尺寸预测模型。
下面对本申请提供的对象检测方法进行详细地说明。
参见图1,图1是本申请一示例性实施例示出的一种对象检测方法的流程图,该方法可应用在摄像设备上,可包括如下所示步骤。
步骤101:摄像设备依据用于探测待检测对象的雷达探测信号确定待检测对象的空间位置信息,所述空间位置信息至少包括:所述待检测对象相对所述摄像设备的距离信息和所述待检测对象的速度信息。
在本申请实施例中,该摄像设备可以是多目摄像设备。多目摄像设备的其中一目可以安装有雷达探测器,一目可以安装用于图像采集的摄像头。
在检测到监控区域有运动的待检测对象时,摄像设备可通过雷达探测器发送并接收用于探测待检测对象的雷达探测信号、以及通过摄像头采集该图像。
摄像设备可依据该雷达探测信号确定出待检测对象的空间位置信息。
其中,该空间位置信息可包括:待检测对象相对于摄像设备的距离信息、待检测对象的速度信息等。这里只是对空间位置信息进行示例性地说明,不对其进行具体地限定。
步骤102:若所述速度信息满足设定速度要求,则依据所述距离信息确定所述待检测对象对应的标定尺寸范围,并依据已采集的包含所述待检测对象的图像确定所述待检测对象的实际尺寸;其中,所述标定尺寸范围用于表示在所述待检测对象为指定对象时所述指定对象在所述图像中的尺寸。
在实现时,摄像设备可检测该待检测对象的速度信息是否满足预设的速度要求。比如,该速度要求可以是待检测对象的速度在预设的指定对象的速度范围内。再比如,该速度要求可以是待检测对象的速度与预设的指定对象的速度的差值在预设的误差范围内。这里只是对速度要求进行示例性地说明,不对其进行具体地限定。
若该待检测对象的速度信息不满足预设的速度要求,则确定该待检测对象不是预设的指定对象。
若该待检测对象的速度信息满足预设的速度要求,则可进一步检测该待检测对象是否为指定对象。
具体地,若所述速度信息满足设定速度要求,则依据所述距离信息确定所述待检测对象对应的标定尺寸范围,并依据已采集的包含所述待检测对象的图像确定所述待检测对象的实际尺寸。
下面详细介绍下这两个尺寸的获取方式
1)待检测对象的标定尺寸范围的获取。
在实现时,摄像设备可将该待检测对象与摄像设备之间的距离信息输入至上述预设的尺寸预测模型中,并获取该尺寸预测模型输出的该待检测对象的标定尺寸。
然后,摄像设备可基于标定尺寸和预设的尺寸误差,确定标定尺寸范围。例如,摄像设备可将标定尺寸和预设的尺寸误差相加,得到标定尺寸范围。当然,摄像设备还可采用其他方式来获取标定尺寸范围,这里只是示例性地说明,不对其进行具体地限定。
需要说明的是:该待检测对象的标定尺寸范围所表示含义实则是:将预设指定对象放置在当前待检测对象对应的距离信息所指示的位置上,摄像设备对该位置上的指定对象进行图像采集,指定对象在采集的图像中的尺寸。换句话来说,该含义是:假设该待检测对象是指定对象,该指定对象在图像中的实际尺寸。
2)待检测对象的实际尺寸
在实现时,摄像设备可依据待检测对象与摄像设备的距离信息(为了方便叙述,简称为待检测对象的距离信息),从已采集的图像中获取该待检测对象的实际尺寸。
下面通过步骤A至步骤B对该实际尺寸的获取方式进行详细地说明。
步骤A:摄像设备可对图像进行对象识别,从图像中识别出至少一个对象在图像中的位置信息,以及对象在图像中的实际尺寸。
例如,摄像设备可以将该图像输入至预设的对象识别模型中,以由对象识别模型对输入的图像进行对象识别,输出图像中的至少一个对象的区域框。然后,针对每个对象的区域框,摄像设备可确定该区域框在图像中的位置作为该对象在图像中的位置信息,以及将该区域框的尺寸范围,作为该对象在该图像中的实际尺寸。
其中,该对象识别模型可以是YOLO模型,也可以是其他模型,这里只是对对象识别模型进行示例性地说明,不对其进行具体地限定。
当然,摄像设备也可采用其他方式来实现步骤A,这里只是示例性地说明,不对其进行具体地限定。
步骤B:摄像设备可从图像中识别出的至少一个对象中,确定出待检测对象,以及该待检测对象的实际尺寸。
摄像设备上预配置有距离信息和图像位置信息的对应关系。其中,该对应关系的距离信息是指监控区域的一个位置相对于摄像设备的距离信息,该对应关系中图像位置信息是指这个位置在图像中的位置信息。通过这个对应关系,可以将针对监控区域的同一位置的雷达测出的距离、和该位置在图像中的位置信息关联起来。
在实现步骤B时,摄像设备可在该距离信息和位置信息的对应关系中,查找该待检测对象的距离信息对应的图像位置信息。
然后,摄像设备可在识别出的至少一个对象中,确定该对象在图像中的位置与该查找到的图像位置信息匹配的对象,作为待检测对象。摄像设备可将确定出的对象的实际尺寸,作为待检测对象的实际尺寸。
例如,预设的距离信息和图像位置信息如表1所示。
距离信息 图像位置信息
距离1 位置1
距离2 位置2
距离3 位置3
表1
假设确定出的待检测对象的距离信息为距离1,从图像中识别出两个对象。分别为对象1和对象2。识别出的对象1在图像中的位置信息为位置1,实际尺寸为尺寸1。识别出的对象2在图像中的位置信息为位置2,实际尺寸为尺寸2。
摄像设备可在表1中,查找与待检测对象的距离信息(即距离1)对应的图像位置信息,即位置1。然后,由于对象1在图像中的位置为位置1。摄像设备确定对象1为待检测对象,并将对象1的实际尺寸作为待检测对象的实际尺寸。
步骤103:摄像设备基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象。
需要说明的是,标定尺寸范围表示:假设该待检测对象是指定对象,则该指定对象在图像中的尺寸。而实际尺寸是指待检测对象真实的尺寸。在本申请实施例中,摄像设备先假设待检测对象是指定对象,然后通过标定尺寸范围和实际尺寸来验证该假设是否成立,从而实现检测该待检测对象是否为指定对象。
在一种可选的实现方式中,摄像设备可检测该实际尺寸是否在该标定尺寸范围内。若该实际尺寸在该标定尺寸范围内,则确定该待检测对象是指定对象。若该实际尺寸不在该标定尺寸范围内,则确定该待检测对象不是指定对象。
由于热成像图像可以提供对象更多的信息,比如对象的尺寸、对象在图像中的位置、以及对象的当前温度等。所以为了提高对象检测的准确性,上述采集的图像可以是热成像图像。
此外,为了提高对象检测的准确性,可以结合热成像图像中的温度信息,排除一些小目标物体(比如树枝、雨雪等)的干扰。
因此,在另一种可选的实现方式中,摄像设备可依据已采集的包含所述待检测对象的热成像图像确定待检测对象的实际尺寸,以及依据该热成像图像确定待检测对象的当前温度。
若所述实际尺寸在所述标定尺寸范围内、且所述当前温度信息满足预设温度要求,摄像设备则可确定所述待检测对象为所述指定对象;
若所述实际尺寸不在所述标定尺寸范围内、和/或所述当前温度信息不满足预设温度要求,摄像设备则可确定所述待检测对象不是所述指定对象。
此外,由于可见光图像可以提供更多的图像细节信息、便于取证、确认,以及可见光图像可以弥补环境温度过低时,热成像图像的图像质量不佳的缺陷。本申请采集的图像除了包括热成像图像外,还可包括可见光图像。
在另一种可选的实现方式中,摄像设备可依据已采集的包含所述待检测对象的热成像图像确定待检测对象的第一实际尺寸,以及依据该热成像图像确定待检测对象的当前温度,以及依据已采集的包含所述待检测对象的可见光图像确定待检测对象的第二实际尺寸。
若所述第一实际尺寸、第二实际尺寸均在所述标定尺寸范围内、且所述当前温度信息满足预设温度要求,则确定所述待检测对象为所述指定对象;
若所述第一实际尺寸不在所述标定尺寸范围内、和/或所述第二实际尺寸不在所述标定尺寸范围内、和/或当前温度信息不满足预设温度要求,则确定所述待检测对象不是所述指定对象。
此外,在本申请实施例中,为了输出信息更多的图像,在检测出待检测对象是指定对象后,摄像设备还可将包含该待检测对象的热成像图像和可见光图像进行融合,并输出融合后的图像。当然,摄像设备也可输出可见光图像、热成像图像等。这里不进行具体地限定。
由于融合后的图像即包含了可见光图像中的细节信息,还包含热成像图像中的温度信息,所以融合后的图像会包含更多的信息,更有利于图像的后续处理。
由上述描述可以看出,一方面,由于基于雷达探测信号不易受到环境因素影响,因此基于依据雷达探测信号确定出的待检测对象与摄像设备的距离信息更为准确,进而依据距离信息确定出的标定尺寸范围更为准确,所以本申请提出的基于雷达探测信号和图像共同来实现对象检测的方式,会大大提高对象检测的准确率。
另一方面,本申请在进行对象检测时结合了待检测对象的速度信息使得对象检测的准确性更高。
第三方面,在对象检测时,本申请还结合了可见光图像中的温度信息,使得在对象检测时可以降低小目标物体(比如树枝等)对对象检测的干扰,使得对象检测的准确性更高。
第四方面,在对象检测时,为了弥补低温环境造成热成像图像的图像质量不高的缺陷,本申请还结合了可见光图像进行检测,使得对象检测的准确性更高。
此外,本申请还提供一种摄像设备。
参见图2,图2是本申请一示例性实施例示出的一种摄像设备的示意图。该摄像设备包括:雷达模组、图像模组和处理器。
在实际应用中,摄像设备还可包括其他模组,比如通信模组等,这里只是对摄像设备集成的模组进行示例性地说明,不对该摄像设备进行具体地限定。
雷达模组通过数字接口与处理器相连,图像模组通过数字接口与处理器相连。
1)雷达模组
雷达模组用于监测监控区域内的待检测对象的空间位置信息。其中,待检测对象的空间位置信息可包括:待检测对象和摄像设备之间的距离,以及待检测对象速度信息等。这里只是对运动信息进行实例性地说明,不对其进行具体地限定。
对于通过雷达信号监测待检测对象的空间位置信息,可采用集成模块方案或者分立模块方案。
具体来说,参见图3,图3是本申请一示例性实施例示出的一种雷达探测待检测对象的空间位置信息的示意图。
如图3所示,通常雷达探测待检测对象的空间位置信息会包括:雷达收发模块(比如雷达收发模块包括雷达探测器,天线等),用于发送雷达探测信号,以及接收返回的该雷达探测信号。数字信号采集模块基于返回的雷达探测信号进行数字信号采集。2D FFT(二维快速傅里叶变换)模块会对采集出的数字信号进行二维快速傅里叶变换。然后,二维峰值搜索模块可对变换后的信号进行二维峰值搜索处理。然后,恒虚警检测模块会对二维峰值搜索模块输出结果进行恒虚警检测。聚类模块对恒虚警检测结果进行聚类。航迹输出模块可以基于聚类结果确定待检测对象的空间位置信息。
在集成模块方案中,可以将图3所示的模块均集成在雷达模组中。雷达模组直接输出待检测对象的空间位置信息。
在分立模块方案中,可以将图3中的部分模块部署在雷达模组中,将另一部分模块部署在摄像设备的处理器中。
例如,将上述雷达收发模块部署在雷达模组中,将图3其余的模块部署在处理器中。雷达模组向处理器返回雷达探测信号,处理器基于其余模块从雷达探测信号中确定出待检测对象的空间位置信息。
这里只是对雷达模组进行示例性地说明,不对其进行具体地限定。
2)图像模组
其中,图像模组可包括:热成像模组;或者,热成像模组和可见光模组。
具体地,在一种可选的实现方式中,摄像设备包括:雷达模组、热成像模组和处理器。
在另一种可选的实现方式中,摄像设备包括:雷达模组、热成像模组、可见光模组和处理器。
其中,热成像模组包括:热成像镜头、处理芯片等。这里不对热成像模组进行具体地限定。热成像模组,用于采集监控区域内的待检测对象的热成像图像。
可见光模组包括:可见光镜头,处理芯片等等,这里对该可见光模组进行具体地限定。可见光模组,用于采集监控区域内的待检测对象的可见光图像。
4)处理器
处理器用于实现对象检测。其中,该处理器可以是逻辑处理芯片,处理器上配置有SOC(system–on–a-chip,片上操作系统),通过操作系统实现对象检测。
在本申请实施例中,雷达模组,用于发送用于探测待检测对象的雷达探测信号,以及接收反射回来的该雷达探测信号。
图像模组,用于采集包含所述待检测对象的图像。
处理器,用于获取待检测对象的空间位置信息;所述空间位置信息依据所述用于探测待检测对象的雷达探测信号确定,所述空间位置信息至少包括:所述待检测对象相对所述摄像设备的距离信息和所述待检测对象的速度信息;若所述速度信息满足设定速度要求,则依据所述距离信息确定所述待检测对象的标定尺寸范围,并获取所述待检测对象的实际尺寸;所述实际尺寸依据已采集的包含所述待检测对象的图像确定;基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象;其中,所述标定尺寸范围用于表示在所述待检测对象为指定对象时所述指定对象在所述图像中的尺寸。
下面通过步骤201至步骤203对处理器的作用进行具体地介绍。
步骤201:处理器获取待检测对象的空间位置信息;所述空间位置信息依据所述用于探测待检测对象的雷达探测信号确定,所述空间位置信息至少包括:所述待检测对象相对所述摄像设备的距离信息和所述待检测对象的速度信息。
在一种可选实现方式中,雷达模组基于该雷达探测信号确定待检测对象的空间位置信息,并将空间位置信息发送给处理器。处理器可以接收该空间位置信息。
在另一种可选的实现方式中,雷达模组将该雷达探测信号,以及与该雷达探测信号相关的信息(比如雷达探测信号的发送时间以及接收时间等)发送给处理器,处理器依据该雷达探测信号确定待检测对象的空间位置信息。
这里不进行具体地限定。
此外,具体地实现方式可参见步骤101,这里不再赘述。
步骤202:若所述速度信息满足设定速度要求,处理器则依据所述距离信息确定所述待检测对象的标定尺寸范围,并获取所述待检测对象的实际尺寸;所述实际尺寸依据已采集的包含所述待检测对象的图像确定。
在实现时,处理器可检测该待检测对象的速度信息是否满足预设的速度要求。比如,该速度要求可以是待检测对象的速度在预设的指定对象的速度范围内。再比如,该速度要求可以是待检测对象的速度与预设的指定对象的速度的差值在预设的误差范围内。这里只是对速度要求进行示例性地说明,不对其进行具体地限定。
若该待检测对象的速度信息不满足预设的速度要求,则确定该待检测对象不是预设的指定对象。
若该待检测对象的速度信息满足预设的速度要求,则可进一步检测该待检测对象是否为指定对象。
具体地,若所述速度信息满足设定速度要求,则依据所述距离信息确定所述待检测对象对应的标定尺寸范围,并依据已采集的包含所述待检测对象的图像确定所述待检测对象的实际尺寸。
下面详细介绍下这两个尺寸的获取方式
1)待检测对象的标定尺寸范围的获取。
在实现时,处理器可将该待检测对象与处理器之间的距离信息输入至上述预设的尺寸预测模型中,并获取该尺寸预测模型输出的该待检测对象的标定尺寸。
然后,处理器可基于标定尺寸和预设的尺寸误差,确定标定尺寸范围。例如,处理器可将标定尺寸和预设的尺寸误差进行累加,得到标定尺寸范围。当然,处理器还可采用其他方式来获取标定尺寸范围,这里只是示例性地说明,不对其进行具体地限定。
需要说明的是:该待检测对象的标定尺寸范围所表示含义实则是:将预设指定对象放置在当前待检测对象对应的距离信息所指示的位置上,处理器对该位置上的指定对象进行图像采集,指定对象在采集的图像中的尺寸。换句话来说,该含义是:假设该待检测对象是指定对象,该指定对象在图像中的实际尺寸。
2)待检测对象的实际尺寸的获取
在一种可选的确定实际尺寸的方式中,图像模组可对已采集的图像进行识别,得到多个对象在图像中的位置信息和实际尺寸,并将多个对象的位置信息和实际尺寸发送给处理器。处理器在上述距离信息和位置信息的对应关系中,查找该待检测对象的距离信息对应的位置信息。然后,处理器可在识别出的至少一个对象中,确定该对象在图像中的位置与该查找到的图像位置信息匹配的对象,作为待检测对象,将确定出的对象的实际尺寸,作为待检测对象的实际尺寸。
在另一种可选的确定实际尺寸的方式中,图像模组可将已采集的图像发送给处理器。处理器对已采集的图像进行识别,得到多个对象在图像中的位置信息和实际尺寸,并在上述距离信息和位置信息的对应关系中,查找该待检测对象的距离信息对应的位置信息。然后,处理器可在识别出的至少一个对象中,确定该对象在图像中的位置与该查找到的图像位置信息匹配的对象,作为待检测对象,将确定出的对象的实际尺寸,作为待检测对象的实际尺寸。
具体可参见上述步骤102中的描述,这里不再赘述。
步骤203:处理器基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象。
可选的,所述处理器,在依据所述距离信息确定所述待检测对象的标定尺寸范围时,用于将所述距离信息输入至预设的尺寸预测模型得到对应的标定尺寸;基于所述标定尺寸和预设的尺寸误差确定所述标定尺寸范围。
可选的,所述处理器,在依据基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为所述指定对象时,用于若所述实际尺寸在所述标定尺寸范围内,则确定所述待检测对象为所述指定对象;若所述实际尺寸不在所述标定尺寸范围内,则确定所述待检测对象不是所述指定对象。
可选的,所述图像模组为热成像模组,所述图像为热成像图像;
所述处理器,还用于获取所述待检测对象的当前温度信息;所述当前温度信息依据所述热成像图像确定;
所述处理器,在依据基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为所述指定对象时,用于若所述实际尺寸在所述标定尺寸范围内、且所述当前温度信息满足预设温度要求,则确定所述待检测对象为所述指定对象;若所述实际尺寸不在所述标定尺寸范围内、和/或所述当前温度信息不满足预设温度要求,则确定所述待检测对象不是所述指定对象。
需要说明的是,在获取待检测对象的当前温度信息时,在一种可选的实现方式中,热成像模组可以从热成像图像中确定该待检测对象的当前的温度信息,并将当前温度信息发送给处理器。当然,在另一种可选的实现方式中,热成像模组将该热成像图像发送给处理器,处理器从该热成像图像中确定该待检测对象的当前的温度信息。这里只是示例性地说明,不对其进行具体地限定。
可选的,所述图像模组包括:热成像模组和可见光模组;
所述图像包括:热成像图像和可见光图像;
所述处理器,在获取所述待检测对象的实际尺寸时,用于获取所述待检测对象的第一实际尺寸和所述待检测对象的第二实际尺寸;所述第一实际尺寸依据所述热成像图像确定;从第二实际尺寸依据所述可见光图像确定;
所述处理器,还用于依据所述热成像图像确定所述待检测对象的当前温度信息;
所述处理器,在基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象时,用于若所述第一实际尺寸、第二实际尺寸均在所述标定尺寸范围内、且所述当前温度信息满足预设温度要求,则确定所述待检测对象为所述指定对象;若所述第一实际尺寸不在所述标定尺寸范围内、和/或所述第二实际尺寸不在所述标定尺寸范围内、和/或当前温度信息不满足预设温度要求,则确定所述待检测对象不是所述指定对象。
需要说明的是:
在获取待检测对象的第一实际尺寸和当前温度信息时,在一种可选的实现方式中,热成像模组可以从热成像图像中确定该待检测对象的当前的温度信息、以及第一实际尺寸,并将当前温度信息和第一实际尺寸发送给处理器。当然,在另一种可选的实现方式中,热成像模组将该热成像图像发送给处理器,处理器从该热成像图像中确定该待检测对象的当前的温度信息和第一实际尺寸。这里只是示例性地说明,不对其进行具体地限定。
在获取待检测对象的第二实际尺寸时,在一种可选的实现方式中,可见光模组可以从可见光图像中确定该待检测对象的第二实际尺寸,并将第二实际尺寸发送给处理器。当然,在另一种可选的实现方式中,可见光模组将该可见光图像发送给处理器,处理器从该可见光图像中确定该待检测对象的第二实际尺寸。这里只是示例性地说明,不对其进行具体地限定。
由上述描述可以看出,一方面,由于基于雷达探测信号不易受到环境因素影响,因此基于依据雷达探测信号确定出的待检测对象与摄像设备的距离信息更为准确,进而依据距离信息确定出的标定尺寸范围更为准确,所以本申请提出的基于雷达探测信号和图像共同来实现对象检测的方式,会大大提高对象检测的准确率。
另一方面,本申请结合了待检测对象的速度信息、尺寸信息进行对象检测,使得对象检测的准确性更高。
第三方面,在对象检测时,本申请还结合了可见光图像中的温度信息,使得在对象检测时可以降低小目标物体(比如树枝等)对对象检测的干扰,使得对象检测的准确性更高。
第四方面,在对象检测时,为了弥补低温环境造成热成像图像的图像质量不高的缺陷,本申请还依据待检测对象热成像图像和可见光图像的实际尺寸,来进行对象检测,使得对象检测的准确性更高。
参见图4b,图4b是本申请一示例性实施例示出的一种对象检测方法的流程图。
该方法可应用在摄像设备上,如图4a所示,该摄像设备可包括:雷达模组、热成像模组、处理器。该方法可包括如下所示步骤。
在检测到监控区域内出现待检测对象,雷达模组可发送并接收用于探测该待检测对象的雷达探测信号、以及热成像模组可采集包含该待检测设备的热成像图像。
步骤401:处理器获取待检测空对象的空间位置信息;所述空间位置信息依据雷达模组发送并接收的雷达探测信号确定,所述空间位置信息至少包括:所述待检测对象相对所述摄像设备的距离信息和所述待检测对象的速度信息。
步骤402:处理器检测该速度信息是否满足速度要求。
若该速度信息满足速度要求,则执行步骤403;
若该速度信息不满足速度要求,则执行步骤407。
步骤403:处理器依据所述距离信息确定所述待检测对象的标定尺寸范围,以及获取待检测对象的实际尺寸以及该待检侧对象的当前温度信息;所述实际尺寸和当前温度信息依据已采集的包含所述待检测对象的图像确定。
步骤404:处理器检测该实际尺寸是否在标定尺寸范围内;
若该实际尺寸在标定尺寸范围内,则执行步骤405;
若该实际尺寸不在标定尺寸范围内,则执行步骤407。
步骤405:处理器检测当前温度信息是否满足温度要求;
若当前温度信息满足温度条件,则执行步骤406;
若当前温度信息不满足温度条件,则执行步骤407。
步骤406:处理器确定待检测对象是指定对象;
步骤407:处理器确定待检测对象不是指定对象。
需要说明的是,步骤401至步骤407的具体实现方式可参见上文描述,这里不再赘述。
参见图5b,图5b是本申请一示例性实施例示出的一种对象检测方法的流程图。
该方法可应用在摄像设备上,如图5a所示,该摄像设备可包括:雷达模组、热成像模组、可见光模组,处理器。该方法可包括如下所示步骤。
在检测到监控区域内出现待检测对象,雷达模组可发送并接收用于探测该待检测对象的雷达探测信号、以及热成像模组和可见光模组可采集包含该待检测设备的热成像图像和可见光图像。
步骤501:处理器获取待检测空对象的空间位置信息;所述空间位置信息依据雷达模组发送并接收的雷达探测信号确定,所述空间位置信息至少包括:所述待检测对象相对所述摄像设备的距离信息和所述待检测对象的速度信息。
步骤502:处理器检测该速度信息是否满足速度要求。
若该速度信息满足速度要求,则执行步骤503;
若该速度信息不满足速度要求,则执行步骤507。
步骤503:处理器依据所述距离信息确定所述待检测对象的标定尺寸范围,以及获取待检测对象的第一实际尺寸、该待检侧对象的当前温度信息、该待检测对象的第二实际尺寸;所述第一实际尺寸和当前温度信息依据已采集的包含所述待检测对象的热成像图像确定;所述第二实际尺寸依据已采集的包含该待检测对象的可见光图像确定。
步骤504:处理器检测该第一实际尺寸、第二实际尺寸是否均在标定尺寸范围内;
若该第一实际尺寸和第二实际尺寸均在标定尺寸范围内,则执行步骤505;
若该第一实际尺寸不在标定尺寸范围内,和/或该第二实际尺寸不在标定尺寸范围内,则执行步骤507。
步骤505:处理器检测当前温度信息是否满足温度要求;
若当前温度信息满足温度条件,则执行步骤506;
若当前温度信息不满足温度条件,则执行步骤507。
步骤506:处理器确定待检测对象是指定对象;
步骤507:处理器确定待检测对象不是指定对象。
需要说明的是,步骤501至步骤507的具体实现方式可参见上文描述,这里不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (10)

1.一种对象检测方法,其特征在于,所述方法应用于摄像设备,包括:
在检测到监控区域有运动的待检测对象时,通过雷达探测器发送并接收用于探测待检测对象的雷达探测信号、以及通过摄像头采集图像;
依据用于探测待检测对象的雷达探测信号确定待检测对象的空间位置信息,所述空间位置信息至少包括:所述待检测对象相对所述摄像设备的距离信息和所述待检测对象的速度信息;
若所述速度信息满足设定速度要求,则依据所述距离信息确定所述待检测对象对应的标定尺寸范围,并依据已采集的包含所述待检测对象的图像确定所述待检测对象的实际尺寸,其中,所述标定尺寸范围用于表示在所述待检测对象为指定对象时所述指定对象在所述图像中的尺寸;
基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象。
2.根据权利要求1所述方法,其特征在于,所述依据所述距离信息确定所述待检测对象的标定尺寸范围,包括:
将所述距离信息输入至预设的尺寸预测模型得到对应的标定尺寸,其中,所述尺寸预测模型表示所述距离信息与所述标定尺寸之间的对应关系;
基于所述标定尺寸和预设的尺寸误差确定所述标定尺寸范围。
3.根据权利要求1所述方法,其特征在于,所述基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为所述指定对象,包括:
若所述实际尺寸在所述标定尺寸范围内,则确定所述待检测对象为所述指定对象;
若所述实际尺寸不在所述标定尺寸范围内,则确定所述待检测对象不是所述指定对象。
4.根据权利要求1所述的方法,其特征在于,所述图像为热成像图像;
所述依据已采集的包含所述待检测对象的图像确定所述待检测对象的实际尺寸,还包括:依据所述热成像图像确定所述待检测对象的当前温度信息;
所述基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象,包括:
若所述实际尺寸在所述标定尺寸范围内、且所述当前温度信息满足预设温度要求,则确定所述待检测对象为所述指定对象;
若所述实际尺寸不在所述标定尺寸范围内、和/或所述当前温度信息不满足预设温度要求,则确定所述待检测对象不是所述指定对象。
5.根据权利要求1所述的方法,其特征在于,所述图像包括热成像图像和可见光图像;
所述依据已采集的包含所述待检测对象的图像确定所述待检测对象的实际尺寸,包括:
从所述热成像图像中确定所述待检测对象的第一实际尺寸;
从所述可见光图像中确定所述待检测对象的第二实际尺寸;
所述依据已采集的包含所述待检测对象的图像确定所述待检测对象的实际尺寸还包括:依据所述热成像图像确定所述待检测对象的当前温度信息;
基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象,包括:
若所述第一实际尺寸、第二实际尺寸均在所述标定尺寸范围内、且所述当前温度信息满足预设温度要求,则确定所述待检测对象为所述指定对象;
若所述第一实际尺寸不在所述标定尺寸范围内、和/或所述第二实际尺寸不在所述标定尺寸范围内、和/或当前温度信息不满足预设温度要求,则确定所述待检测对象不是所述指定对象。
6.一种摄像设备,其特征在于,所述摄像设备包括:
雷达模组,用于发送用于探测待检测对象的雷达探测信号;
图像模组,用于采集包含所述待检测对象的图像;
处理器,用于在检测到监控区域有运动的待检测对象时,通过雷达探测器发送并接收用于探测待检测对象的雷达探测信号、以及通过摄像头采集图像;获取待检测对象的空间位置信息;所述空间位置信息依据所述用于探测待检测对象的雷达探测信号确定,所述空间位置信息至少包括:所述待检测对象相对所述摄像设备的距离信息和所述待检测对象的速度信息;若所述速度信息满足设定速度要求,则依据所述距离信息确定所述待检测对象的标定尺寸范围,并获取所述待检测对象的实际尺寸;所述实际尺寸依据已采集的包含所述待检测对象的图像确定;基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象;
其中,所述标定尺寸范围用于表示在所述待检测对象为指定对象时所述指定对象在所述图像中的尺寸。
7.根据权利要求6所述的设备,其特征在于,所述处理器,在依据所述距离信息确定所述待检测对象的标定尺寸范围时,用于将所述距离信息输入至预设的尺寸预测模型得到对应的标定尺寸;基于所述标定尺寸和预设的尺寸误差确定所述标定尺寸范围;
其中,所述尺寸预测模型表示所述距离信息与所述标定尺寸之间的对应关系。
8.根据权利要求6所述的设备,其特征在于,所述处理器,在依据基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为所述指定对象时,用于若所述实际尺寸在所述标定尺寸范围内,则确定所述待检测对象为所述指定对象;若所述实际尺寸不在所述标定尺寸范围内,则确定所述待检测对象不是所述指定对象。
9.根据权利要求6所述的设备,其特征在于,所述图像模组为热成像模组,所述图像为热成像图像;
所述处理器,还用于获取所述待检测对象的当前温度信息;所述当前温度信息依据所述热成像图像确定;
所述处理器,在依据基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为所述指定对象时,用于若所述实际尺寸在所述标定尺寸范围内、且所述当前温度信息满足预设温度要求,则确定所述待检测对象为所述指定对象;若所述实际尺寸不在所述标定尺寸范围内、和/或所述当前温度信息不满足预设温度要求,则确定所述待检测对象不是所述指定对象。
10.根据权利要求6所述的设备,其特征在于,所述图像模组包括:热成像模组和可见光模组;
所述图像包括:热成像图像和可见光图像;
所述处理器,在获取所述待检测对象的实际尺寸时,用于获取所述待检测对象的第一实际尺寸和所述待检测对象的第二实际尺寸;所述第一实际尺寸依据所述热成像图像确定;从第二实际尺寸依据所述可见光图像确定;
所述处理器,还用于依据所述热成像图像确定所述待检测对象的当前温度信息;
所述处理器,在基于所述实际尺寸和所述标定尺寸范围,检测所述待检测对象是否为指定对象时,用于若所述第一实际尺寸、第二实际尺寸均在所述标定尺寸范围内、且所述当前温度信息满足预设温度要求,则确定所述待检测对象为所述指定对象;若所述第一实际尺寸不在所述标定尺寸范围内、和/或所述第二实际尺寸不在所述标定尺寸范围内、和/或当前温度信息不满足预设温度要求,则确定所述待检测对象不是所述指定对象。
CN202010544549.2A 2020-06-15 2020-06-15 一种对象检测方法和摄像设备 Active CN111736140B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010544549.2A CN111736140B (zh) 2020-06-15 2020-06-15 一种对象检测方法和摄像设备
EP21825409.2A EP4166981A4 (en) 2020-06-15 2021-06-09 OBJECT RECOGNITION METHOD AND CAMERA DEVICE
PCT/CN2021/099211 WO2021254233A1 (zh) 2020-06-15 2021-06-09 对象检测方法和摄像设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010544549.2A CN111736140B (zh) 2020-06-15 2020-06-15 一种对象检测方法和摄像设备

Publications (2)

Publication Number Publication Date
CN111736140A CN111736140A (zh) 2020-10-02
CN111736140B true CN111736140B (zh) 2023-07-28

Family

ID=72649190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010544549.2A Active CN111736140B (zh) 2020-06-15 2020-06-15 一种对象检测方法和摄像设备

Country Status (3)

Country Link
EP (1) EP4166981A4 (zh)
CN (1) CN111736140B (zh)
WO (1) WO2021254233A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111736140B (zh) * 2020-06-15 2023-07-28 杭州海康微影传感科技有限公司 一种对象检测方法和摄像设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389977A (zh) * 2006-02-24 2009-03-18 丰田自动车株式会社 物体检测装置和检测物体的方法
CN108615321A (zh) * 2018-06-07 2018-10-02 湖南安隆软件有限公司 基于雷达侦测及视频图像行为分析的安防预警系统及方法
CN110207727A (zh) * 2019-07-03 2019-09-06 湖北中达智造科技有限公司 一种发动机气门尺寸测量的温度补偿方法
CN110609274A (zh) * 2018-06-15 2019-12-24 杭州海康威视数字技术股份有限公司 一种测距方法、装置及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4857839B2 (ja) * 2006-03-22 2012-01-18 日産自動車株式会社 物体検出装置
JP2014215877A (ja) * 2013-04-26 2014-11-17 株式会社デンソー 物体検出装置
JP6435661B2 (ja) * 2014-06-26 2018-12-12 株式会社リコー 物体識別システム、情報処理装置、情報処理方法及びプログラム
GB201509387D0 (en) * 2015-06-01 2015-07-15 Apical Ltd Method and apparatus for image processing (distance detection)
CN106385530B (zh) * 2015-07-28 2022-12-13 杭州海康微影传感科技有限公司 一种双光谱摄像机
JP2017041125A (ja) * 2015-08-20 2017-02-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6643166B2 (ja) * 2016-03-31 2020-02-12 株式会社デンソー 物体認識装置及び物体認識方法
CN107302655B (zh) * 2016-09-29 2019-11-01 维沃移动通信有限公司 一种拍摄取景的调节方法及移动终端
CN108012143B (zh) * 2017-12-04 2021-02-09 深圳市无限动力发展有限公司 双目摄像头标定方法及装置
CN108845574B (zh) * 2018-06-26 2021-01-12 北京旷视机器人技术有限公司 目标识别与追踪方法、装置、设备及介质
CN110874953B (zh) * 2018-08-29 2022-09-06 杭州海康威视数字技术股份有限公司 区域报警方法、装置、电子设备及可读存储介质
CN111045000A (zh) * 2018-10-11 2020-04-21 阿里巴巴集团控股有限公司 监测系统和方法
US11287523B2 (en) * 2018-12-03 2022-03-29 CMMB Vision USA Inc. Method and apparatus for enhanced camera and radar sensor fusion
CN110458888A (zh) * 2019-07-23 2019-11-15 深圳前海达闼云端智能科技有限公司 基于图像的测距方法、装置、存储介质和电子设备
KR102092552B1 (ko) * 2019-11-11 2020-03-24 주식회사 삼주전자 지능형 전천후 영상 표출 카메라 시스템
CN111736140B (zh) * 2020-06-15 2023-07-28 杭州海康微影传感科技有限公司 一种对象检测方法和摄像设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389977A (zh) * 2006-02-24 2009-03-18 丰田自动车株式会社 物体检测装置和检测物体的方法
CN108615321A (zh) * 2018-06-07 2018-10-02 湖南安隆软件有限公司 基于雷达侦测及视频图像行为分析的安防预警系统及方法
CN110609274A (zh) * 2018-06-15 2019-12-24 杭州海康威视数字技术股份有限公司 一种测距方法、装置及系统
CN110207727A (zh) * 2019-07-03 2019-09-06 湖北中达智造科技有限公司 一种发动机气门尺寸测量的温度补偿方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于单目视觉测量运动物体速度的研究;巴全科;傅成华;艾茜苴;李云;;计算机科学(第S2期);283-285 *
远距离运动目标三维测量中图像匹配的研究;张晓玲;张宝峰;林玉池;;光电子.激光(第03期);92-96 *

Also Published As

Publication number Publication date
WO2021254233A1 (zh) 2021-12-23
EP4166981A1 (en) 2023-04-19
CN111736140A (zh) 2020-10-02
EP4166981A4 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
CN110244314B (zh) 一种“低慢小”目标探测识别系统与方法
KR101925293B1 (ko) 레이더 및 영상 융합 차량 단속시스템
CN111045000A (zh) 监测系统和方法
US10955518B2 (en) Method for generating an indoor environment model and a method for determining position data for a location in an indoor environment
KR101553000B1 (ko) 비콘을 이용한 영상 보안 시스템 및 방법, 그리고 이를 위한 객체 관리 장치
US11061102B2 (en) Position estimating apparatus, position estimating method, and terminal apparatus
KR20170080481A (ko) 다차선 차량 속도 측정 시스템
CN111935641B (zh) 一种室内自定位的实现方法、智能移动设备和存储介质
KR20140144047A (ko) 실시간 도로 네트워크의 교통특성 정보 추정 시스템 및 방법
CN111736140B (zh) 一种对象检测方法和摄像设备
Mazan et al. A Study of Devising Neural Network Based Indoor Localization Using Beacons: First Results.
CN113959457A (zh) 一种自动驾驶车辆的定位方法、装置、车辆和介质
KR101674298B1 (ko) 카메라 렌즈 초점거리 정보를 이용한 거리계산 방법
EP3005238B1 (en) Method and system for coordinating between image sensors
KR101518314B1 (ko) 무인 항공 감시 장치를 이용한 영상 감시 방법 및 장치
CN107135483B (zh) 确定相对距离变化趋势的方法、室内定位方法及其装置
CN112116637A (zh) 基于无人机3d激光扫描技术的电力塔自动检测方法及系统
CN112348891A (zh) 一种图像检测及定位方法、装置、存储介质及电子装置
KR101379211B1 (ko) 이동체의 위치 판단 장치 및 위치 판단 방법
CN111466295B (zh) 位置确定装置
JP7258732B2 (ja) 通信種別と対象種別との対応関係に基づき端末を同定する装置、プログラム及び方法
CN109286785B (zh) 一种环境信息共享系统及方法
CN106506933A (zh) 对焦物体以捕获其图像的方法及电子设备
KR20170077370A (ko) 객체 인식을 위한 디바이스, 방법 및 이를 이용한 객체 인식 시스템
CN116128810B (zh) 一种基于前端识别的红外缺陷检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant