CN114913497A - 目标检测方法、装置、终端设备以及存储介质 - Google Patents

目标检测方法、装置、终端设备以及存储介质 Download PDF

Info

Publication number
CN114913497A
CN114913497A CN202210534587.9A CN202210534587A CN114913497A CN 114913497 A CN114913497 A CN 114913497A CN 202210534587 A CN202210534587 A CN 202210534587A CN 114913497 A CN114913497 A CN 114913497A
Authority
CN
China
Prior art keywords
target
coordinate system
information
radar
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210534587.9A
Other languages
English (en)
Inventor
吴光强
刘兆勇
李维钧
邵卫澍
鞠丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202210534587.9A priority Critical patent/CN114913497A/zh
Publication of CN114913497A publication Critical patent/CN114913497A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种目标检测方法、装置、终端设备以及存储介质，通过获取雷达检测信息与图像信息；基于预先建立的坐标转换关系，根据所述雷达检测信息得到目标点；对所述图像信息进行目标检测处理，得到目标像素区域及目标信息；判断所述目标点是否位于所述目标像素区域；若所述目标点不位于所述目标像素区域，则输出所述目标点为可疑目标。通过将雷达检测信息中得到目标点与图像信息得到的目标像素区域进行匹配，从而实现对雷达检测信息的冗余判断，识别出不在目标像素区域的可疑目标，提高雷达检测结果的可靠性。

Description

目标检测方法、装置、终端设备以及存储介质
技术领域
本发明涉及汽车雷达技术领域，尤其涉及目标检测方法、装置、终端设备以及存储介质。
背景技术
随着主动安全功能的发展，车辆对于前方目标检测结果的可靠性稳定性的需求也越来越强。目前量产车上的主动安全功能多为基于毫米波雷达所开发的，系统对于周围环境的判断皆依赖于毫米波雷达所传递的信息。而在这一过程中，一旦毫米波雷达对周围信息判断有误，将有可能导致决策模块无法预知存在的危险，从而给驾驶员及乘客的安全带来风险。
因此，有必要提出一种提高雷达检测结果可靠性的解决方案。
发明内容
本发明的主要目的在于提供一种目标检测方法、装置、终端设备以及存储介质，旨在提高雷达检测结果的可靠性。
为实现上述目的，本发明提供一种目标检测方法，所述目标检测方法包括：
获取雷达检测信息与图像信息；
基于预先建立的坐标转换关系，根据所述雷达检测信息得到目标点；
对所述图像信息进行目标检测处理，得到目标像素区域及目标信息；
判断所述目标点是否位于所述目标像素区域；
若所述目标点不位于所述目标像素区域，则输出所述目标点为可疑目标。
可选地，所述获取雷达检测信息与图像信息的步骤之前还包括：
通过毫米波雷达进行检测，得到所述雷达检测信息，其中，所述雷达检测信息包括目标位置信息；
通过车载摄像头进行拍摄，得到所述图像信息。
可选地，所述基于预先建立的坐标转换关系，根据所述雷达检测信息得到目标点的步骤之前还包括：
建立所述坐标转换关系，具体包括：
获取所述毫米波雷达与所述车载摄像头的物理位置关系及相关参数，其中，所述相关参数包括摄像头焦距及畸变参数；
建立世界坐标系、毫米波雷达坐标系、摄像头坐标系、图像坐标系以及像素坐标系；
基于所述世界坐标系、所述毫米波雷达坐标系、所述摄像头坐标系、所述图像坐标系以及所述像素坐标系，根据所述物理位置关系及所述相关参数建立所述坐标转换关系。
可选地，所述基于所述世界坐标系、所述毫米波雷达坐标系、所述摄像头坐标系、所述图像坐标系以及所述像素坐标系，根据所述物理位置关系及所述相关参数建立所述坐标转换关系的步骤包括：
基于所述世界坐标系，根据所述物理位置关系，得到所述毫米波雷达与所述摄像头的横纵向相对位置；
根据所述横纵向相对位置得到所述毫米波雷达坐标系与所述摄像头坐标系中坐标之间的第一转换关系；
基于相似三角形原理，根据所述摄像头焦距得到所述摄像头坐标系与所述图像坐标系中坐标之间的第二转换关系；
基于所述畸变参数建立所述图像坐标系与所述像素坐标系中坐标之间的第三转换关系，其中，所述畸变参数包括径向畸变系数及切向畸变系数；
基于所述第一转换关系、所述第二转换关系及所述第三转换关系得到所述坐标转换关系。
可选地，所述基于所述畸变参数建立所述图像坐标系与所述像素坐标系中坐标之间的第三转换关系的步骤包括：
根据所述径向畸变系数得到径向畸变校正公式；
根据所述切向畸变系数得到切向畸变校正公式；
基于所述径向畸变校正公式及所述切向畸变校正公式建立所述图像坐标系与所述像素坐标系中坐标的第三转换关系。
可选地，所述对所述图像信息进行目标检测处理，得到目标像素区域及目标信息的步骤包括：
通过目标检测算法对所述图像信息进行目标检测处理，得到所述目标像素区域及所述目标信息，其中，所述目标信息包括目标类型信息。
可选地，所述判断所述目标点是否位于所述目标像素区域的步骤之后还包括：
若所述目标点位于所述目标像素区域，则输出所述雷达检测信息与所述目标信息。
此外，为实现上述目的，本发明还提供一种目标检测装置，所述目标检测装置包括：
获取模块，用于获取雷达检测信息与图像信息；
转换模块，用于基于预先建立的坐标转换关系，根据所述雷达检测信息得到目标点；
检测模块，用于对所述图像信息进行目标检测处理，得到目标像素区域及目标信息；
判断模块，用于判断所述目标点是否位于所述目标像素区域；
输出模块，用于若所述目标点不位于所述目标像素区域，则输出所述目标点为可疑目标。
此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的目标检测程序，所述目标检测程序被所述处理器执行时实现如上所述的目标检测方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有目标检测程序，所述目标检测程序被处理器执行时实现如上所述的目标检测方法的步骤。
本发明实施例提出的一种目标检测方法、装置、终端设备以及存储介质，通过获取雷达检测信息与图像信息；基于预先建立的坐标转换关系，根据所述雷达检测信息得到目标点；对所述图像信息进行目标检测处理，得到目标像素区域及目标信息；判断所述目标点是否位于所述目标像素区域；若所述目标点不位于所述目标像素区域，则输出所述目标点为可疑目标。通过将雷达检测信息中得到目标点与图像信息得到的目标像素区域进行匹配，从而实现对雷达检测信息的冗余判断，识别出不在目标像素区域的可疑目标，提高雷达检测结果的可靠性。
附图说明
图1为本发明目标检测装置所属终端设备的功能模块示意图；
图2为本发明目标检测方法一示例性实施例的流程示意图；
图3为本发明目标检测方法另一示例性实施例的流程示意图；
图4为本发明实施例中基于毫米波雷达和车载摄像头的目标冗余检测的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：通过获取雷达检测信息与图像信息；基于预先建立的坐标转换关系，根据所述雷达检测信息得到目标点；对所述图像信息进行目标检测处理，得到目标像素区域及目标信息；判断所述目标点是否位于所述目标像素区域；若所述目标点不位于所述目标像素区域，则输出所述目标点为可疑目标。通过将雷达检测信息中得到目标点与图像信息得到的目标像素区域进行匹配，从而实现对雷达检测信息的冗余判断，识别出不在目标像素区域的可疑目标，提高雷达检测结果的可靠性。
具体地，参照图1，图1为本发明目标检测装置所属终端设备的功能模块示意图。该目标检测装置可以为独立于终端设备的、能够进行目标检测的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
在本实施例中，该目标检测装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作系统以及目标检测程序，目标检测装置可以将获取的雷达检测信息与图像信息、基于预先建立的坐标转换关系，根据所述雷达检测信息得到的目标点、对所述图像信息进行目标检测处理，得到的目标像素区域及目标信息，以及判断所述目标点是否位于所述目标像素区域，若所述目标点不位于所述目标像素区域，则输出所述目标点为可疑目标等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
其中，存储器130中的目标检测程序被处理器执行时实现以下步骤：
获取雷达检测信息与图像信息；
基于预先建立的坐标转换关系，根据所述雷达检测信息得到目标点；
对所述图像信息进行目标检测处理，得到目标像素区域及目标信息；
判断所述目标点是否位于所述目标像素区域；
若所述目标点不位于所述目标像素区域，则输出所述目标点为可疑目标。
进一步地，存储器130中的目标检测程序被处理器执行时还实现以下步骤：
通过毫米波雷达进行检测，得到所述雷达检测信息，其中，所述雷达检测信息包括目标位置信息；
通过车载摄像头进行拍摄，得到所述图像信息。
进一步地，存储器130中的目标检测程序被处理器执行时还实现以下步骤：
建立所述坐标转换关系，具体包括：
获取所述毫米波雷达与所述车载摄像头的物理位置关系及相关参数，其中，所述相关参数包括摄像头焦距及畸变参数；
建立世界坐标系、毫米波雷达坐标系、摄像头坐标系、图像坐标系以及像素坐标系；
基于所述世界坐标系、所述毫米波雷达坐标系、所述摄像头坐标系、所述图像坐标系以及所述像素坐标系，根据所述物理位置关系及所述相关参数建立所述坐标转换关系。
进一步地，存储器130中的目标检测程序被处理器执行时还实现以下步骤：
基于所述世界坐标系，根据所述物理位置关系，得到所述毫米波雷达与所述摄像头的横纵向相对位置；
根据所述横纵向相对位置得到所述毫米波雷达坐标系与所述摄像头坐标系中坐标之间的第一转换关系；
基于相似三角形原理，根据所述摄像头焦距得到所述摄像头坐标系与所述图像坐标系中坐标之间的第二转换关系；
基于所述畸变参数建立所述图像坐标系与所述像素坐标系中坐标之间的第三转换关系，其中，所述畸变参数包括径向畸变系数及切向畸变系数；
基于所述第一转换关系、所述第二转换关系及所述第三转换关系得到所述坐标转换关系。
进一步地，存储器130中的目标检测程序被处理器执行时还实现以下步骤：
根据所述径向畸变系数得到径向畸变校正公式；
根据所述切向畸变系数得到切向畸变校正公式；
基于所述径向畸变校正公式及所述切向畸变校正公式建立所述图像坐标系与所述像素坐标系中坐标的第三转换关系。
进一步地，存储器130中的目标检测程序被处理器执行时还实现以下步骤：
通过目标检测算法对所述图像信息进行目标检测处理，得到所述目标像素区域及所述目标信息，其中，所述目标信息包括目标类型信息。
进一步地，存储器130中的目标检测程序被处理器执行时还实现以下步骤：
若所述目标点位于所述目标像素区域，则输出所述雷达检测信息与所述目标信息。
本实施例通过上述方案，具体通过获取雷达检测信息与图像信息；基于预先建立的坐标转换关系，根据所述雷达检测信息得到目标点；对所述图像信息进行目标检测处理，得到目标像素区域及目标信息；判断所述目标点是否位于所述目标像素区域；若所述目标点不位于所述目标像素区域，则输出所述目标点为可疑目标。通过将雷达检测信息中得到目标点与图像信息得到的目标像素区域进行匹配，从而实现对雷达检测信息的冗余判断，识别出不在目标像素区域的可疑目标，提高雷达检测结果的可靠性。
基于上述终端设备架构但不限于上述架构，提出本发明方法实施例。
本实施例方法的执行主体可以为一种目标检测装置或终端设备等，本实施例以目标检测装置进行举例。
参照图2，图2为本发明目标检测方法一示例性实施例的流程示意图。所述目标检测方法包括：
步骤S10，获取雷达检测信息与图像信息；
为实现更为可靠的主动安全功能，车辆对于前方目标检测结果的可靠性稳定性的需求也越来越强。目前量产车上的主动安全功能多为基于毫米波雷达所开发的，系统对于周围环境的判断皆依赖于毫米波雷达所传递的信息。而在这一过程中，一旦毫米波雷达对周围信息判断有误，将有可能导致决策模块无法预知存在的危险，从而给驾驶员及乘客的安全带来风险。因此考虑结合摄像头和雷达的检测结果，实现对检测目标的冗余检测，以避免单一传感器的信息判断有误引起的决策模块功能失效。在此之前需采集雷达检测信息与图像信息，具体包括：
通过毫米波雷达进行检测，得到所述雷达检测信息，其中，所述雷达检测信息包括目标位置信息；
通过车载摄像头进行拍摄，得到所述图像信息。
具体地，检测雷达的按频段分类可以为毫米波雷达、激光雷达以及微波雷达等，在本发明实施例中，采用量产车上较为常用的毫米波雷达，通过毫米波雷达对传感器前方的物体进行检测，得到车辆周围的目标距离传感器的相对位置信息，所述目标可以是其他车辆、行人以及障碍物等。在采集图像信息过程中，可以直接采用车载摄像头进行拍摄到的所述图像信息，在此过程中，车载摄像头的拍摄方向需与雷达传感器的检测方向一致。得到雷达检测信息及图像信息后，即可通过转换处理对二者进行匹配。
步骤S20，基于预先建立的坐标转换关系，根据所述雷达检测信息得到目标点；
进一步地，获取到雷达检测信息及图像信息后，可以基于预先建立的坐标转换关系根据雷达检测信息得到目标点，即通过坐标转换将雷达检测信息中的目标位置转换为图像信息对应的坐标系上的点，即为所述目标点。在此之前，需先引入世界坐标系、毫米波雷达坐标系、摄像头坐标系、图像坐标系、像素坐标系，进而根据车载摄像头与毫米波雷达的物理位置关系、三角形相似原理等，将毫米波雷达得到的目标位置信息映射到车载摄像头的像素坐标系上的一个点，即为目标点。此外，在坐标转换过程中，由于摄像头镜头在加工或安装过程中可能存在镜头曲率不均或与感光芯片不平行的情况，可能导致拍摄的图像产生径向畸变或切向畸变。为了修正图像的畸变现象，可以利用畸变参数对获得的图像上的各点坐标进行非线性校正，从而提高判断结果的准确性。
步骤S30，对所述图像信息进行目标检测处理，得到目标像素区域及目标信息；
具体地，通过目标检测算法对所述图像信息进行目标检测处理，得到所述目标像素区域及所述目标信息，其中，所述目标信息包括目标类型信息。
对图像信息进行处理得到目标像素区域的方式较多，作为其中一种实施方式，本发明实施例中采用YoloV4-tiny目标检测算法对车载摄像头采集到的图像信息进行目标检测，以得到目标像素区域以及目标信息，其中，目标信息可以包括目标类型、目标大小等信息。
步骤S40，判断所述目标点是否位于所述目标像素区域；
进一步地，通过坐标转换关系得到目标点，并通过目标检测算法得到目标像素区域后，即可将所述目标点与目标像素区域进行比对，以判断毫米波雷达与车载摄像头检测到的目标是否一致，如果判断出该目标点位于目标像素区域，则说明二者的检测结果一致，进而可以将目标位置信息及目标类型等信息输出到决策模块，以供决策模块进行决策，确保了决策模块所采用信息的准确性，进而保障车辆的主动安全功能。
步骤S50，若所述目标点不位于所述目标像素区域，则输出所述目标点为可疑目标。
如果存在无法匹配的目标点和目标像素区域，则说明毫米波雷达与车载摄像头的检测结果不一致，因而需要将该目标点判定为可疑目标并输出到决策模块，以供决策模块进行决策判断，有助于帮助决策模块实现更为可靠的安全决策，从而提高车辆主动安全功能的可靠性。
在本实施例中，通过获取雷达检测信息与图像信息；基于预先建立的坐标转换关系，根据所述雷达检测信息得到目标点；对所述图像信息进行目标检测处理，得到目标像素区域及目标信息；判断所述目标点是否位于所述目标像素区域；若所述目标点不位于所述目标像素区域，则输出所述目标点为可疑目标。通过将雷达检测信息中得到目标点与图像信息得到的目标像素区域进行匹配，从而实现对雷达检测信息的冗余判断，识别出不在目标像素区域的可疑目标，提高雷达检测结果的可靠性。
参照图3，图3为本发明目标检测方法另一示例性实施例的流程示意图。基于上述图2所示的实施例，在本实施例中，在步骤S20之前，所述目标检测方法还包括：
步骤S00，建立所述坐标转换关系。本实施例以步骤S00在步骤S10与步骤S20之间实施，在其他实施例中，步骤S00也可以在步骤S10之前实施。
相比上述图2所示的实施例，本实施例还包括建立所述坐标转换关系的方案。
具体地，建立所述坐标转换关系的步骤可以包括：
步骤S001，获取所述毫米波雷达与所述车载摄像头的物理位置关系及相关参数；
首先，需要对车辆上的毫米波雷达与车载摄像头的距离及角度等物理位置关系进行测定，并对摄像头进行内外参数标定，其中包括摄像头的外参矩阵及内参矩阵，本发明实施例中，考虑到将传感器安装在刚体上，忽略传感器之间的相互旋转运动，因此在后续坐标变换时不加入外参矩阵进行计算。摄像头内参矩阵由焦距、畸变系数等组成。其中，畸变系数摄像头焦距等均可由Matlab Camera Calibration工具箱求得。
步骤S002，建立世界坐标系、毫米波雷达坐标系、摄像头坐标系、图像坐标系以及像素坐标系；
进一步地，本发明实施例中，通过引入世界坐标系、毫米波雷达坐标系、摄像头坐标系、图像坐标系以及像素坐标系建立毫米波雷达与摄像头之间的坐标转换关系。
步骤S003，基于所述世界坐标系、所述毫米波雷达坐标系、所述摄像头坐标系、所述图像坐标系以及所述像素坐标系，根据所述物理位置关系及所述相关参数建立所述坐标转换关系。
基于世界坐标系、毫米波雷达坐标系、摄像头坐标系、图像坐标系、像素坐标系、毫米波雷达与所述车载摄像头的物理位置关系及相关参数建立二者之间的坐标转换关系的步骤包括：
步骤S0031，基于所述世界坐标系，根据所述物理位置关系，得到所述毫米波雷达与所述摄像头的横纵向相对位置；
具体地，世界坐标系是系统的绝对坐标系，在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。摄像头与毫米波雷达间的横纵向相对位置可以在世界坐标系下根据二者的物理位置关系确定。
步骤S0032，根据所述横纵向相对位置得到所述毫米波雷达坐标系与所述摄像头坐标系中坐标之间的第一转换关系；
由确定的毫米波雷达与摄像头的横纵向相对位置得到毫米波雷达坐标系下一点P(R,α)向摄像头坐标系的坐标转换关系：
Figure BDA0003647224230000101
步骤S0033，基于相似三角形原理，根据所述摄像头焦距得到所述摄像头坐标系与所述图像坐标系中坐标之间的第二转换关系；
根据三角形相似原理可得到摄像头坐标系与图像坐标系之间的关系，设摄像头坐标系中一点的坐标为P(Xc，Yc，Zc)，该点投影到图像坐标系中的对应点的坐标为P'(x，y)，且两点连线与摄像头平面的交点为Oc，图像平面与摄像头平面的距离为焦距f,由此可得摄像头坐标系与图像坐标系的转换关系为：
Figure BDA0003647224230000102
步骤S0034，基于所述畸变参数建立所述图像坐标系与所述像素坐标系中坐标之间的第三转换关系，其中，所述畸变参数包括径向畸变系数及切向畸变系数；
由于摄像头镜头在加工或安装过程中可能存在镜头曲率不均或与感光芯片不平行的情况，可能导致拍摄的图像产生径向畸变或切向畸变。为了修正图像的畸变现象，需利用畸变参数对获得的图像上的各点坐标(x,y)进行非线性校正。具体包括：
步骤S00341，根据所述径向畸变系数得到径向畸变校正公式；
径向畸变校正的公式为：
Figure BDA0003647224230000103
式中r2＝x2+y2,k1,k2,k3为径向畸变系数。
步骤S00342，根据所述切向畸变系数得到切向畸变校正公式；
切向畸变校正的公式为：
Figure BDA0003647224230000111
式中r2＝x2+y2,p1,p2为切向畸变系数。
步骤S00343，基于所述径向畸变校正公式及所述切向畸变校正公式建立所述图像坐标系与所述像素坐标系中坐标的第三转换关系。
设在图像坐标系的原点在像素坐标系下的坐标为(u0,v0)，图像坐标下一个像素点的在x轴和y轴上的单位长度分别为dx和dy。若不考虑图像畸变，则点p’(x,y)在像素坐标系中坐标(u,v)为：
Figure BDA0003647224230000112
Figure BDA0003647224230000113
步骤S0035，基于所述第一转换关系、所述第二转换关系及所述第三转换关系得到所述坐标转换关系。
由以上步骤得到的第一转换关系、第二转换关系及第三转换关系，即可得到毫米波雷达坐标系下一点向像素坐标系投影的坐标转换关系。
本实施例通过上述方案，具体通过获取所述毫米波雷达与所述车载摄像头的物理位置关系及相关参数，其中，所述相关参数包括摄像头焦距及畸变参数；建立世界坐标系、毫米波雷达坐标系、摄像头坐标系、图像坐标系以及像素坐标系；基于所述世界坐标系、所述毫米波雷达坐标系、所述摄像头坐标系、所述图像坐标系以及所述像素坐标系，根据所述物理位置关系及所述相关参数建立所述坐标转换关系。通过世界坐标系、毫米波雷达坐标系、摄像头坐标系、图像坐标系、像素坐标系、毫米波雷达与车载摄像头的物理位置关系及相关参数，建立二者之间的坐标转换关系，可以将毫米波雷达的检测结果准确转换为可以体现在图像信息对应的目标像素区域中的目标点，从而实现对目标的冗余检测，通过二者信息的结合可以给决策模块提供更为准确的目标信息以及可疑目标的信息，帮助决策模块实现更为可靠的安全决策。
此外，本发明实施例还提出一种目标检测装置，所述目标检测装置包括：
获取模块，用于获取雷达检测信息与图像信息；
转换模块，用于基于预先建立的坐标转换关系，根据所述雷达检测信息得到目标点；
检测模块，用于对所述图像信息进行目标检测处理，得到目标像素区域及目标信息；
判断模块，用于判断所述目标点是否位于所述目标像素区域；
输出模块，用于若所述目标点不位于所述目标像素区域，则输出所述目标点为可疑目标。
参照图4，图4为本发明实施例中基于毫米波雷达和车载摄像头的目标冗余检测的流程示意图，如图4所示，本发明实施例中进行目标冗检测的具体步骤包括：
(1)确定车载摄像头与毫米波雷达安装位置间的物理关系，并对摄像头进行内外参数标定：
引入世界坐标系、毫米波雷达坐标系、摄像头坐标系、图像坐标系、像素坐标系；
由毫米波雷达与摄像头的物理位置关系得到毫米波雷达坐标系下一点向摄像头坐标系的坐标转换关系；
根据三角形相似原理可得到摄像头坐标系与图像坐标系之间的关系，设摄像头坐标系中一点的坐标为P(Xc,Yc,Zc)，该点投影到图像坐标系中的对应点的坐标为P’(x,y)，且两点连线与摄像头平面的交点为Oc，图像平面与摄像头平面的距离为焦距f,由此可得摄像头坐标系与图像坐标系的转换关系；
由于摄像头镜头在加工或安装过程中可能存在镜头曲率不均或与感光芯片不平行的情况，可能导致拍摄的图像产生径向畸变或切向畸变。为了修正图像的畸变现象，需利用畸变参数对获得的图像上的各点坐标(x,y)进行非线性校正。畸变系数摄像头焦距等均可由Matlab Camera Calibration工具箱求得。
由以上步骤，即可得到毫米波雷达坐标系下一点向像素坐标系投影的坐标转换关系。
(2)使用毫米波雷达对传感器前方物体进行检测得到前方车辆距传感器的相对位置信息，并将位置信息映射到车载摄像头的图像像素坐标系上的一个点m：
将毫米波雷达的检测出来的目标相对位置信息，使用步骤(1)中的转换关系，转换为像素坐标系中的点的坐标.
(3)图像信息经目标检测算法处理后得到存在目标的像素区域γ以及目标类型：
选用YoloV4-tiny作为目标检测算法，对车载摄像头采集到的图像进行目标检测。
(4)对(2)和(3)中的结果进行比较：
倘若点m位于像素区域γ内，则两个传感器检测到的为同一目标，输出其目标的位置信息和类型信息给决策模块；
倘若存在无法匹配的点和区域，则将其作为可疑目标输出给决策模块。
在本实施例中，通过结合车载摄像头和毫米波雷达的检测结果，实现对目标的冗余检测，以避免单一传感器的信息判断有误引起的决策模块功能失效。该方法通过二者信息的结合可以给决策模块提供更为准确的目标信息以及可疑目标的信息，帮助决策模块实现更为可靠的安全决策，从而提高车辆主动安全功能的可靠性。
此外，本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的目标检测程序，所述目标检测程序被所述处理器执行时实现如上所述的目标检测方法的步骤。
由于本目标检测程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有目标检测程序，所述目标检测程序被处理器执行时实现如上所述的目标检测方法的步骤。
由于本目标检测程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
相比现有技术，本发明实施例提出的目标检测方法、装置、终端设备以及存储介质，通过获取雷达检测信息与图像信息；基于预先建立的坐标转换关系，根据所述雷达检测信息得到目标点；对所述图像信息进行目标检测处理，得到目标像素区域及目标信息；判断所述目标点是否位于所述目标像素区域；若所述目标点不位于所述目标像素区域，则输出所述目标点为可疑目标。通过将雷达检测信息中得到目标点与图像信息得到的目标像素区域进行匹配，从而实现对雷达检测信息的冗余判断，识别出不在目标像素区域的可疑目标，提高雷达检测结果的可靠性。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种目标检测方法，其特征在于，所述目标检测方法包括以下步骤：
获取雷达检测信息与图像信息；
基于预先建立的坐标转换关系，根据所述雷达检测信息得到目标点；
对所述图像信息进行目标检测处理，得到目标像素区域及目标信息；
判断所述目标点是否位于所述目标像素区域；
若所述目标点不位于所述目标像素区域，则输出所述目标点为可疑目标。
2.如权利要求1所述的目标检测方法，其特征在于，所述获取雷达检测信息与图像信息的步骤之前还包括：
通过毫米波雷达进行检测，得到所述雷达检测信息，其中，所述雷达检测信息包括目标位置信息；
通过车载摄像头进行拍摄，得到所述图像信息。
3.如权利要求2所述的目标检测方法，其特征在于，所述基于预先建立的坐标转换关系，根据所述雷达检测信息得到目标点的步骤之前还包括：
建立所述坐标转换关系，具体包括：
获取所述毫米波雷达与所述车载摄像头的物理位置关系及相关参数，其中，所述相关参数包括摄像头焦距及畸变参数；
建立世界坐标系、毫米波雷达坐标系、摄像头坐标系、图像坐标系以及像素坐标系；
基于所述世界坐标系、所述毫米波雷达坐标系、所述摄像头坐标系、所述图像坐标系以及所述像素坐标系，根据所述物理位置关系及所述相关参数建立所述坐标转换关系。
4.如权利要求1所述的目标检测方法，其特征在于，所述基于所述世界坐标系、所述毫米波雷达坐标系、所述摄像头坐标系、所述图像坐标系以及所述像素坐标系，根据所述物理位置关系及所述相关参数建立所述坐标转换关系的步骤包括：
基于所述世界坐标系，根据所述物理位置关系，得到所述毫米波雷达与所述摄像头的横纵向相对位置；
根据所述横纵向相对位置得到所述毫米波雷达坐标系与所述摄像头坐标系中坐标之间的第一转换关系；
基于相似三角形原理，根据所述摄像头焦距得到所述摄像头坐标系与所述图像坐标系中坐标之间的第二转换关系；
基于所述畸变参数建立所述图像坐标系与所述像素坐标系中坐标之间的第三转换关系，其中，所述畸变参数包括径向畸变系数及切向畸变系数；
基于所述第一转换关系、所述第二转换关系及所述第三转换关系得到所述坐标转换关系。
5.如权利要求4所述的目标检测方法，其特征在于，所述基于所述畸变参数建立所述图像坐标系与所述像素坐标系中坐标之间的第三转换关系的步骤包括：
根据所述径向畸变系数得到径向畸变校正公式；
根据所述切向畸变系数得到切向畸变校正公式；
基于所述径向畸变校正公式及所述切向畸变校正公式建立所述图像坐标系与所述像素坐标系中坐标的第三转换关系。
6.如权利要求1所述的目标检测方法，其特征在于，所述对所述图像信息进行目标检测处理，得到目标像素区域及目标信息的步骤包括：
通过目标检测算法对所述图像信息进行目标检测处理，得到所述目标像素区域及所述目标信息，其中，所述目标信息包括目标类型信息。
7.如权利要求1所述的目标检测方法，其特征在于，所述判断所述目标点是否位于所述目标像素区域的步骤之后还包括：
若所述目标点位于所述目标像素区域，则输出所述雷达检测信息与所述目标信息。
8.一种目标检测装置，其特征在于，所述目标检测装置包括：
获取模块，用于获取雷达检测信息与图像信息；
转换模块，用于基于预先建立的坐标转换关系，根据所述雷达检测信息得到目标点；
检测模块，用于对所述图像信息进行目标检测处理，得到目标像素区域及目标信息；
判断模块，用于判断所述目标点是否位于所述目标像素区域；
输出模块，用于若所述目标点不位于所述目标像素区域，则输出所述目标点为可疑目标。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的目标检测程序，所述目标检测程序被所述处理器执行时实现如权利要求1-7中任一项所述的目标检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有目标检测程序，所述目标检测程序被处理器执行时实现如权利要求1-7中任一项所述的目标检测方法的步骤。
CN202210534587.9A 2022-05-17 2022-05-17 目标检测方法、装置、终端设备以及存储介质 Pending CN114913497A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210534587.9A CN114913497A (zh) 2022-05-17 2022-05-17 目标检测方法、装置、终端设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210534587.9A CN114913497A (zh) 2022-05-17 2022-05-17 目标检测方法、装置、终端设备以及存储介质

Publications (1)

Publication Number Publication Date
CN114913497A true CN114913497A (zh) 2022-08-16

Family

ID=82769438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210534587.9A Pending CN114913497A (zh) 2022-05-17 2022-05-17 目标检测方法、装置、终端设备以及存储介质

Country Status (1)

Country Link
CN (1) CN114913497A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115685131A (zh) * 2023-01-05 2023-02-03 中国科学院空天信息创新研究院 基于毫米波雷达的物品检测方法、检测装置及检测系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115685131A (zh) * 2023-01-05 2023-02-03 中国科学院空天信息创新研究院 基于毫米波雷达的物品检测方法、检测装置及检测系统

Similar Documents

Publication Publication Date Title
JP6458439B2 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
CN110562249B (zh) 自动泊车辅助方法、可读存储介质和电子设备
US6925403B2 (en) Method and system for calibrating a sensor
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
US20140085409A1 (en) Wide fov camera image calibration and de-warping
CN111413721A (zh) 车辆定位的方法、装置、控制器、智能车和系统
CN110962844B (zh) 一种车辆航向角修正方法及系统、存储介质及终端
JP2008522268A (ja) 物体の位置をディジタル画像から特定する方法
CN112907681A (zh) 基于毫米波雷达与双目相机的联合标定方法和系统
CN104167109A (zh) 车辆位置的检测方法和检测装置
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
KR20190062852A (ko) 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램
CN114913497A (zh) 目标检测方法、装置、终端设备以及存储介质
CN113492829B (zh) 数据处理的方法和装置
CN113608170B (zh) 雷达标定方法、雷达、机器人、介质及计算机程序产品
CN111105465B (zh) 一种摄像装置校准方法、装置、系统电子设备及存储介质
WO2021073634A1 (zh) 交通工具铰接点标定方法、及相应的标定装置、计算机设备和存储介质
CN112967347A (zh) 位姿标定方法、装置、机器人及计算机可读存储介质
CN114755663A (zh) 车辆传感器的外参校准方法、装置及计算机可读存储介质
CN114415129A (zh) 基于多项式模型的视觉与毫米波雷达联合标定方法及装置
WO2022204953A1 (zh) 确定俯仰角的方法、装置及终端设备
KR102611759B1 (ko) 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법
CN117392240A (zh) 一种车辆摄像头的标定方法、装置、电子设备及存储介质
CN114663458B (zh) 动态标定方法、装置、驾驶状态检测方法、介质及设备
CN115661366B (zh) 用于构建三维场景模型的方法和图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination