CN114549590A - 目标对象的检测方法及装置 - Google Patents

目标对象的检测方法及装置 Download PDF

Info

Publication number
CN114549590A
CN114549590A CN202210199955.9A CN202210199955A CN114549590A CN 114549590 A CN114549590 A CN 114549590A CN 202210199955 A CN202210199955 A CN 202210199955A CN 114549590 A CN114549590 A CN 114549590A
Authority
CN
China
Prior art keywords
point cloud
cloud data
data set
target object
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210199955.9A
Other languages
English (en)
Inventor
张英达
朱奇峰
邓志言
刘明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202210199955.9A priority Critical patent/CN114549590A/zh
Publication of CN114549590A publication Critical patent/CN114549590A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供了一种目标对象的检测方法及装置，上述方法包括：获取动态视觉传感器采集到的第一点云数据集合，以及激光雷达传感器采集的第二点云数据集合，其中，第一点云数据集合和第二点云数据集合是在同一位置上采集到的点云数据集合；根据目标对象在第一点云数据集合中的第一坐标位置，确定目标对象在第二点云数据集合中的第二坐标位置；通过第一点云数据集合和第二坐标位置，确定目标对象的状态。通过本发明，解决了动态目标跟踪准确率低的问题，进而达到了提高动态目标跟踪准确率高的效果。

Description

目标对象的检测方法及装置
技术领域
本发明实施例涉及目标检测领域，具体而言，涉及一种目标对象的检测方法及装置。
背景技术
目前养老的领域越来越受到社会的关注，人们主要焦距与老人的身体健康，以及老人的运动轨迹，此前较为成熟的方案都是通过传统的摄像头进行监控，但是由于现在对于隐私问题的日益关注，摄像头似乎已经无法承担这样的重任，人们提出使用激光雷达传感器对老人进行实时监测，这大大解决了隐私的问题，但是现有的激光雷达传感器跟踪目标中需要复杂的算法支持，提取跟踪目标需要先进行环境构建，场景变化时需要重新进行环境构建，且无法识别真人还是假人，对于运动状态多变的行人跟踪难度较大。
针对现有技术中动态目标跟踪准确率低的问题，目前尚未存在有效的解决方案。
发明内容
本发明实施例提供了一种目标对象的检测方法及装置，以至少解决相关技术中动态目标跟踪准确率低的问题。
根据本发明的一个实施例，提供了一种目标对象的检测方法，包括：获取动态视觉传感器采集到的第一点云数据集合，以及激光雷达传感器采集的第二点云数据集合，其中，所述第一点云数据集合和所述第二点云数据集合是在同一位置上采集到的点云数据集合；根据目标对象在所述第一点云数据集合中的第一坐标位置，确定所述目标对象在所述第二点云数据集合中的第二坐标位置；通过所述第一点云数据集合和所述第二坐标位置，确定所述目标对象的状态。
在一个示例性实施例中，根据目标对象的在所述第一点云数据集合中的第一坐标位置，确定所述目标对象在所述第二点云数据集合中的第二坐标位置，包括：获取所述动态视觉传感器和所述激光雷达传感器之间的关联矩阵；获取所述目标对象的目标部位在所述第一点云数据集合中的所述第一坐标位置；通过所述关联矩阵对所述第一坐标位置进行转换，得到所述目标部位在所述第二点云数据集合中的所述第二坐标位置。
在一个示例性实施例中，通过所述第一点云数据集合和所述第二坐标位置，确定所述目标对象的状态，包括：在所述第二点云数据集合中获取位于所述第二坐标位置预设范围内的点云数据，得到目标点云数据集合；在所述目标点云数据集合中识别出目标形状的点云数据，并将所述目标形状的点云数据确定为所述第二点云数据集合中与所述目标对象对应的点云数据；根据所述第一点云数据集合、所述目标形状，以及所述目标形状的中心点，确定所述目标对象的状态。
在一个示例性实施例中，根据所述第一点云数据集合、所述目标形状，以及所述目标形状的中心点，确定所述目标对象的状态，包括：在所述第一点云数据集合获取所述目标对象的运动方向和运动速度；在所述运动方向为向下且所述运动速度大于第一阈值的情况下，将所述目标对象的状态确定为向下运动；在所述目标对象为向下运动，所述目标形状为平躺，且所述中心点的高度小于或等于预设值的情况下，将所述目标对象的状态确定为跌倒状态。
在一个示例性实施例中，在获取所述动态视觉传感器和所述激光雷达传感器之间的关联矩阵之前，包括：获取所述动态视觉传感器采集的第三点云数据集合和所述激光雷达传感器采集第四点云数据集合，其中，所述动态视觉传感器的中心和所述激光雷达传感器的中心对准同一位置，所述动态视觉传感器的航向角与所述激光雷达传感器的航向角相同，且所述动态视觉传感器的翻滚角与所述激光雷达传感器的翻滚角相同；通过所述第三点云数据集合和所述第四点云数据集合，对所述动态视觉传感器和所述激光雷达传感器进行坐标标定匹配，得到所述关联矩阵。
在一个示例性实施例中，通过所述第三点云数据集合和所述第四点云数据集合，对所述动态视觉传感器采集和所述激光雷达传感器进行坐标标定匹配，得到所述关联矩阵，包括：获取预设对象在所述第三点云数据中的坐标位置，得到第一坐标位置集合，所述第一坐标合集包括所述预设对象在不同位置时所述动态视觉传感器采集的坐标；获取所述预设对象在所述第四点云数据中的坐标位置，得到第二坐标集合，其中，所述第二坐标合集包括所述预设对象在不同位置时所述激光雷达传感器采集的坐标，第一坐标合集中的坐标和所述第二坐标合集中的坐标一一对应；将所述第一坐标位置集合和所述第二坐标位置集合输入目标函数，并通过所述目标函数得到所述关联矩阵。
在一个示例性实施例中，通过所述目标函数得到所述关联矩阵，包括：通过以下目标函数得到所述关联矩阵：
θ＝(XTPX)-1(XTPY)
其中，θ为所述关联矩阵，
Figure BDA0003527138640000031
uD1、vD1...uDn、vDn是所述第一坐标位置集合中的坐标位置，xL1、yL1...xLn、yLn是所述第二坐标位置集合中的坐标位置。
根据本发明的另一个实施例，提供了一种目标对象的检测装置，包括：获取模块，用于获取动态视觉传感器采集到的第一点云数据集合，以及激光雷达传感器采集的第二点云数据集合，其中，所述第一点云数据集合和所述第二点云数据集合是在同一位置上采集到的点云数据集合；第一确定模块，用于根据目标对象在所述第一点云数据集合中的第一坐标位置，确定所述目标对象在所述第二点云数据集合中的第二坐标位置；第二确定模块，用于通过所述第一点云数据集合和所述第二坐标位置，确定所述目标对象的状态。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于通过动态目标传感器提取出了探测区域中的目标对象，根据目标对象在动态传感器采集的第一点云数据集合中的第一坐标位置找到目标对象在激光雷达传感器中采集的第二点云数据集合中的第二坐标位置，以在第二点云数据集合中的点云数据中迅速准据的提取出目标对象对应坐标位置，并通过所述第一点云数据集合和所述第二坐标位置，确定所述目标对象的状态。因此，可以解决相关技术中激光雷达对动态目标跟踪准确率低的问题，达到提高动态目标跟踪准确率高的效果。
附图说明
图1是本发明实施例的目标对象的检测方法的移动终端的硬件结构框图；
图2是根据本发明实施例的目标对象的检测方法的流程图；
图3是根据本发明实施例的激光雷达传感器和动态视觉传感器目标融合的流程图；
图4是根据本发明实施例的通过动态视觉传感器和激光雷达传感器判断行人是否出现跌倒的流程图；
图5是根据本发明实施例的目标对象的检测装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的目标对象的检测方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标对象的检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种目标对象的检测方法，图2是根据本发明实施例的目标对象的检测方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取动态视觉传感器采集到的第一点云数据集合，以及激光雷达传感器采集的第二点云数据集合，其中，所述第一点云数据集合和所述第二点云数据集合是在同一位置上采集到的点云数据集合；
在本实施例中，通过动态视觉传感器采集第一点云数据集合，其中动态视觉传感器与普通的视觉传感器不同，动态视觉传感器只会输出光电强度变化的像素点，因此，动态视觉传感采集的数据中只包含运动的目标且不受强光照射影响；通过激光雷达传感器采集的第二点云数据集合，其中激光雷达能够获取探测区域内所有对象的精确位置，能精确描绘不同的对象的目标轮廓。
步骤S204，根据目标对象在所述第一点云数据集合中的第一坐标位置，确定所述目标对象在所述第二点云数据集合中的第二坐标位置；
在本实施例中，目标对象可以但不限于为行人、动物，以目标对象为行人为例，在动态视觉传感器中获取的第一点云数据集合中只包含探测区域的动态目标，对第一点云数据中的所有点云进行人形检测算法，点云数据通过人形检测算法，则说明动态视觉传感器中提取的动态目标为行人，将该动态目标确定为目标对象。
动态视觉传感器和激光雷达传感器在同一位置采集数据，也就是说两个传感器都能采集到目标对象的相关数据，目标对象在两个传感器采集的点云数据中所处的坐标位置不同，但是目标对象中的在两个传感器采集的点云数据中所处的坐标的两个坐标位置之间具有对应关系，根据目标对象在动态视觉传感器采集的点云数据中的坐标位置就可以确定目标对象在激光雷达传感器采集的点云数据中的坐标位置。
步骤S206，通过所述第一点云数据集合和所述第二坐标位置，确定所述目标对象的状态。
举例来说，动态视觉传感器和激光雷达传感器采集同一个房间内的情况，假设在这个房间内只有一个人在行走，动态视觉传感器采集的点云数据中只有在行走的人所对应的像素点，而处于静止状态的其他物品，例如房间内的家具则不会输出到动态视觉传感器采集的点云数据中，根据这个人在动态视觉传感器采集的图像中的像素点的坐标，可以确定这个人在激光雷达传感器采集的激光点云中的点云，根据这个人点云信息可以识别出这个人的姿态，从而判断这个人有没有出现摔倒。
通过上述步骤，根据动态视觉传感器中采集的目标对象的点云数据的坐标确定目标对象在激光雷达传感器中的采集的目标对象的点云数据的坐标，从而过滤掉了激光雷达传感器中的采集的其他处于静止状态的对象的点云数据，只提取出了目标对象的点云数据，以通过目标对象的点云数据确定所述目标对象的状态，解决相关技术中激光雷达对动态目标跟踪准确率低的问题，达到提高动态目标跟踪准确率高的效果。
举例来说，动态视觉传感器和激光雷达传感器采集同一个房间内的情况，假设在这个房间内只有一个行人在行走，动态视觉传感器采集的点云数据中只有在行人所对应的像素点，而处于静止状态的其他物品，例如房间内的家具则不会输出到动态视觉传感器采集的点云数据中，根据行人在动态视觉传感器采集的图像中的像素点的坐标，可以确定行人在激光雷达传感器采集的点云数据，根据行人的点云数据可以识别出行人的姿态，从而判断行人的状态是站立还是摔倒。
在一个示例性实施例中，根据目标对象的在所述第一点云数据集合中的第一坐标位置，确定所述目标对象在所述第二点云数据集合中的第二坐标位置，包括：获取所述动态视觉传感器和所述激光雷达传感器之间的关联矩阵；获取所述目标对象的目标部位在所述第一点云数据集合中的所述第一坐标位置；通过所述关联矩阵对所述第一坐标位置进行转换，得到所述目标部位在所述第二点云数据集合中的所述第二坐标位置。
在本实施例中，获取动态视觉传感器和所述激光雷达传感器之间的关联矩阵，其中关联矩阵体现了同一位置上的点在两个传感器采集的点云数据中所处的坐标位置之间的对应关系。
以目标对象是人为例，那么目标对象的目标部位的为脚，在动态视觉传感器中采集的点的坐标为二维的，记做(uDi，vDi)，在动态视觉传感器采集的点云数据中，人包含多个点，不同部位对应的点的二维坐标不同，不同身高的人站在同一个位置，脚所处的点的坐标基本一致，但身体其他部位可能会相差较大，因此，通常使用人脚所在的坐标确定目标对象在激光雷达传感器中采集的点云数据的坐标。
需要说明的是，在激光雷达传感器中采集的点的坐标为三维的，记做(xLi，yLi，zLi)，在激光雷达传感器采集的点云数据中，人身上的点基本都处于相同的(x，y)，区别是z坐标不同。由于在动态视觉传感器中采集的点的坐标为二维的，所以在进行坐标转换的时候激光雷达传感器采集的点云数据只用取二维坐标(x，y)，通过人的脚在动态视觉传感器中采集的点云数据中的第一坐标位置，根据关联矩阵，将第一坐标位置转换为人的脚在激光雷达传感器中采集的点云数据中的第二坐标位置。
在一个示例性实施例中，通过所述第一点云数据集合和所述第二坐标位置，确定所述目标对象的状态，包括：在所述第二点云数据集合中获取位于所述第二坐标位置预设范围内的点云数据，得到目标点云数据集合；在所述目标点云数据集合中识别出目标形状的点云数据，并将所述目标形状的点云数据确定为所述第二点云数据集合中与所述目标对象对应的点云数据；根据所述第一点云数据集合、所述目标形状，以及所述目标形状的中心点，确定所述目标对象的状态。
在本实施例中，在获取目标对象的目标部位在激光雷达传感器中采集的点云数据中的第二坐标位置之后，在第二点云数据集合中找到第二坐标位置预设范围内的所有点云信息，得到目标点云数据集合。例如将第二坐标为圆心，预设半径内的所有点云信息，确定为目标点云数据集合，在目标点云数据集合中进行形状检测，提取中目标形状对应的点云数据，例如，在目标点云数据集合中进行人形检测，即可将人身上的所有点提取出来，获取这些点的二维坐标(x，y)，进行聚类，得到目标对象的聚类中心的二维坐标。
在一个示例性实施例中，根据所述第一点云数据集合、所述目标形状，以及所述目标形状的中心点，确定所述目标对象的状态，包括：在所述第一点云数据集合获取所述目标对象的运动方向和运动速度；在所述运动方向为向下且所述运动速度大于第一阈值的情况下，将所述目标对象的状态确定为向下运动；在所述目标对象为向下运动，所述目标形状为平躺，且所述中心点的高度小于或等于预设值的情况下，将所述目标对象的状态确定为跌倒状态。
在本实施例中，在动态视觉传感器采集的点云数据中可以获取目标对象的运动方向和运动速度，根据目标对象的运动方向和运动速度对目标对象的状态进行初步的判断，例如，以目标对象是人的情况为例，在目标对象的运动方向为水平时，目标对象应该是在行走，在目标对象的运动方向向下时，目标对象可能是躺下或者跌倒，如果目标对象向下的运动速度超过第一阈值，则目标对象极有可能发送跌倒，在这种情况下根据目标对象的形状和目标对象的中心点的高度进一步的确定目标对象的状态，人在躺着的形状和人在站立的形状是不一样的，激光雷达传感可以确定目标对象的目标形状是平躺还是站立或者倾斜。根据中心点的坐标可以确定其目标对象距离地面的高度，获取中心点(x，y)的z坐标，根据z坐标确定目标对象的高度。如果目标对象的目标形状为平躺在高度大于预设值的情况下，目标对象可能躺在床上，在高度小于或等于预设值的情况下，目标对象可能躺在地上。在目标对象为向下运动，目标形状为平躺，且所述中心点的高度小于或等于预设值的情况下，将所述目标对象的状态确定为跌倒状态。
在一个示例性实施例中，在获取所述动态视觉传感器和所述激光雷达传感器之间的关联矩阵之前，包括：获取所述动态视觉传感器采集的第三点云数据集合和所述激光雷达传感器采集第四点云数据集合，其中，所述动态视觉传感器的中心和所述激光雷达传感器的中心对准同一位置，所述动态视觉传感器的航向角与所述激光雷达传感器的航向角相同，且所述动态视觉传感器的翻滚角与所述激光雷达传感器的翻滚角相同；通过所述第三点云数据集合和所述第四点云数据集合，对所述动态视觉传感器和所述激光雷达传感器进行坐标标定匹配，得到所述关联矩阵。
在本实施例中，关联矩阵表示同一位置在动态视觉传感器和激光雷达传感器分别采集的数据中坐标的对应关系，在对目标对象进行检测之前，需要对所述动态视觉传感器和所述激光雷达传感器进行坐标标定匹配，得到关联矩阵，以在获取目标对象在动态视觉传感器采集的数据中的坐标后，可以根据关联矩阵得到目标对象激光雷达传感器采集的数据中的坐标。当设备完成安装之后，一般只需要进行一次坐标标定，然后将关联矩阵保存下来即可，在设备被移动或用户觉得标定效果不好时，重新标定。
在安装传感器设备时，将动态视觉传感器和激光雷达传感器的中心对准同一位置，且两个传感器的航向角和翻滚角基本保持一致，使两个传感器探测覆盖的区域最大程度的重合且探测中心位置一致，此时不要求探测中心一致的精确度，误差会在后面的标定过程中补偿回来。
在传感器设备安装好之后，对动态视觉传感器和激光雷达传感器采集的数据的坐标进行坐标标定，标定过程包括：
获取用于坐标标定的样本数据，让行人在两个传感器探测区域中共同覆盖的区域中行走，选取行人在多个不同位置时两个传感器采集的坐标作为样本数据，其中激光雷达传感器采集的二维坐标数据样本为第三点云数据集合，其中点的坐标记为(xLi，yLi)，其中i＝1,2,3……n；动态视觉传感器中的像素坐标数据样本为第四点云数据集合，其中点的坐标记为(uDi，vDi)其中i＝1,2,3……n，i表示数据样本在探测区域中对应的不同位置，n表示一共在n个位置上选取样本。
将作为样本数据的第三点云数据集合和第四点云数据集合中的坐标输入目标函数中，得到关联矩阵。
在一个示例性实施例中，通过所述第三点云数据集合和所述第四点云数据集合，对所述动态视觉传感器采集和所述激光雷达传感器进行坐标标定匹配，得到所述关联矩阵，包括：获取预设对象在所述第三点云数据中的坐标位置，得到第一坐标位置集合，所述第一坐标合集包括所述预设对象在不同位置时所述动态视觉传感器采集的坐标；获取所述预设对象在所述第四点云数据中的坐标位置，得到第二坐标集合，其中，所述第二坐标合集包括所述预设对象在不同位置时所述激光雷达传感器采集的坐标，第一坐标合集中的坐标和所述第二坐标合集中的坐标一一对应；将所述第一坐标位置集合和所述第二坐标位置集合输入目标函数，并通过所述目标函数得到所述关联矩阵。
在一个示例性实施例中，通过所述目标函数得到所述关联矩阵，包括：通过以下目标函数得到所述关联矩阵：
θ＝(XTPX)-1(XTPY)
其中，
Figure BDA0003527138640000111
θ为所述关联矩阵，uD1、vD1...uDn、vDn是所述第一坐标位置集合中的坐标位置，xL1、yL1...xLn、yLn是所述第二坐标位置集合中的坐标位置。
其中，目标函数的推导过程如下：
根据坐标转换模型，将动态视觉传感器中采集的坐标转换到激光雷达传感器采集的激光点云中的二维坐标的转换公式可以写为公式1：
Figure BDA0003527138640000112
其中，Δx、Δy、k、α为两个传感器采集数据的坐标的关联参数，(xL，yL)为激光雷达传感器采集的当前位置的二维坐标，(uDi，VDi)为动态视觉传感器采集的当前位置的二维坐标。
上述公式转换后得到公式2：
Figure BDA0003527138640000113
进一步转换得到公式3：
Figure BDA0003527138640000121
设a＝kcosα-1，b＝ksinα，将公式3进一步转化为公式4：
Figure BDA0003527138640000122
将公式4进一步转化为公式5：
Figure BDA0003527138640000123
将公式5进一步转化为公式6：
Figure BDA0003527138640000124
令
Figure BDA0003527138640000125
定义损失函数为
Figure BDA0003527138640000126
其中，系数1/2是为了求导后系数为1，方便计算。这里定义损失函数的方法的采用的是最小二乘法，目标函数＝∑(观测值-理论值)2，理论值的表达式为hθ(x)＝Xθ，观测值为Y。根据最小二乘法的原理，当损失函数对θ求偏导，当偏导取到零时，损失最小，将此时矩阵θ的取值确定为关联矩阵。
让损失函数对θ求偏导取0，得到
Figure BDA0003527138640000127
计算可得目标函数：θ＝(XTPX)-1(XTPY)，其中X与Y矩阵的值已知，可以得到关联矩阵θ。
进一步的根据关联矩阵可以得到
Figure BDA0003527138640000128
与k和α，通过公式1就可以将DVS中的坐标(uD，vD)转换为激光雷达的中的二维坐标(xL，yL)。
显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。
下面结合实施例对本发明进行具体说明：
图3是根据本发明实施例的激光雷达传感器和动态视觉传感器目标融合的流程图，如图3所示，包括：
步骤S301，确保激光雷达传感器与动态视觉传感器的中心照射位置基本一致；
步骤S302，获取用于匹配标定的第一图像与第二图像，其中，第一图像为激光雷达传感器获取的，第二图像为动态视觉传感器获取的；
步骤S303，分辨提取同一目标的第一坐标与第二坐标，其中第一坐标为同一目标在激光雷达传感器获取的第一图像中的位置，其中第二坐标为同一目标在动态视觉传感器获取的第二图像中的位置；
步骤S304，将多组坐标进行手动匹配标定，构建对应关系，计算损失函数；
步骤S305，计算的损失函数最小时的匹配参数，得到关联矩阵；
步骤S306，通过关联矩阵，将动态视觉传感器获取的目标与激光雷达传感器中获取的目标融合。
图4是根据本发明实施例的通过动态视觉传感器和激光雷达传感器判断行人是否出现跌倒的流程图，如图4所示，包括：
步骤S401，完成融合匹配算法，获取关联矩阵；
步骤S402，获取动态视觉传感器的累计图像，获取动态的目标；
步骤S403，通过人形检测算法，判断动态目标是否为人，在执行结果为是的情况下，执行步骤S404；
步骤S404，获取人双脚中心所处的像素坐标(u1，v1)，运动方向和运动速度；
步骤S405，通过关联矩阵可以得到(u1，v1)在激光雷达传感器中的对应坐标(x1，y1)；
步骤S406，通过坐标(x1，y1)在激光雷达中找到以(x1，y1)为圆心，半径R内的点云信息；
步骤S407，在上述点云信息中提取处于人身上的点云，并进行聚类，得到聚类中心，即人的中心点坐标(x2，y2)，以及高度h，其中高度h表示人的中心距离地面的距离；
步骤S408，结合运动方向和运动速度对目标实时跟踪，判断目标是否出现跌倒等姿态。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种目标对象的检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的目标对象的检测装置的结构框图，如图5所示，该装置包括：
获取模块502，用于获取动态视觉传感器采集到的第一点云数据集合，以及激光雷达传感器采集的第二点云数据集合，其中，所述第一点云数据集合和所述第二点云数据集合是在同一位置上采集到的点云数据集合；
第一确定模块504，用于根据目标对象在所述第一点云数据集合中的第一坐标位置，确定所述目标对象在所述第二点云数据集合中的第二坐标位置；
第二确定模块506，用于通过所述第一点云数据集合和所述第二坐标位置，确定所述目标对象的状态。
在一个示例性实施例中，上述第一确定模块包括：第一获取单元，用于获取所述动态视觉传感器和所述激光雷达传感器之间的关联矩阵；第二获取单元，用于获取所述目标对象的目标部位在所述第一点云数据集合中的所述第一坐标位置；转换单元，用于通过所述关联矩阵对所述第一坐标位置进行转换，得到所述目标部位在所述第二点云数据集合中的所述第二坐标位置。
在一个示例性实施例中，上述第二确定模块包括：第三获取单元，用于在所述第二点云数据集合中获取位于所述第二坐标位置预设范围内的点云数据，得到目标点云数据集合；第一确定单元，用于在所述目标点云数据集合中识别出目标形状的点云数据，并将所述目标形状的点云数据确定为所述第二点云数据集合中与所述目标对象对应的点云数据；第二确定单元，用于根据所述第一点云数据集合、所述目标形状，以及所述目标形状的中心点，确定所述目标对象的状态。
在一个示例性实施例中，上述第二确定单元包括：第一获取子单元，用于在所述第一点云数据集合获取所述目标对象的运动方向和运动速度；第一确定子单元，用于在所述运动方向为向下且所述运动速度大于第一阈值的情况下，将所述目标对象的状态确定为向下运动；第二确定子单元，在所述目标对象为向下运动，所述目标形状为平躺，且所述中心点的高度小于或等于预设值的情况下，将所述目标对象的状态确定为跌倒状态。
在一个示例性实施例中，上述装置还包括：第四获取单元，用于获取所述动态视觉传感器采集的第三点云数据集合和所述激光雷达传感器采集第四点云数据集合，其中，所述动态视觉传感器的中心和所述激光雷达传感器的中心对准同一位置，所述动态视觉传感器的航向角与所述激光雷达传感器的航向角相同，且所述动态视觉传感器的翻滚角与所述激光雷达传感器的翻滚角相同；匹配单元，用于通过所述第三点云数据集合和所述第四点云数据集合，对所述动态视觉传感器和所述激光雷达传感器进行坐标标定匹配，得到所述关联矩阵。
在一个示例性实施例中，上述匹配单元包括：第二获取子单元，用于获取预设对象在所述第三点云数据中的坐标位置，得到第一坐标位置集合，所述第一坐标合集包括所述预设对象在不同位置时所述动态视觉传感器采集的坐标；第三获取子单元，获取所述预设对象在所述第四点云数据中的坐标位置，得到第二坐标集合，其中，所述第二坐标合集包括所述预设对象在不同位置时所述激光雷达传感器采集的坐标，第一坐标合集中的坐标和所述第二坐标合集中的坐标一一对应；输入子单元，用于将所述第一坐标位置集合和所述第二坐标位置输入目标函数，并通过所述目标函数得到所述关联矩阵。
在一个示例性实施例中，上述匹配单元还用于，通过以下目标函数得到所述关联矩阵：
θ＝(XTPX)-1(XTPY)
其中，θ为所述关联矩阵，
Figure BDA0003527138640000161
uD1、vD1...uDn、vDn是所述第一坐标位置集合中的坐标位置，xL1、yL1...xLn、yLn是所述第二坐标位置集合中的坐标位置。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取动态视觉传感器采集到的第一点云数据集合，以及激光雷达传感器采集的第二点云数据集合，其中，所述第一点云数据集合和所述第二点云数据集合是在同一位置上采集到的点云数据集合；
S2，根据目标对象在所述第一点云数据集合中的第一坐标位置，确定所述目标对象在所述第二点云数据集合中的第二坐标位置；
S3，通过所述第一点云数据集合和所述第二坐标位置，确定所述目标对象的状态。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取动态视觉传感器采集到的第一点云数据集合，以及激光雷达传感器采集的第二点云数据集合，其中，所述第一点云数据集合和所述第二点云数据集合是在同一位置上采集到的点云数据集合；
S2，根据目标对象在所述第一点云数据集合中的第一坐标位置，确定所述目标对象在所述第二点云数据集合中的第二坐标位置；
S3，通过所述第一点云数据集合和所述第二坐标位置，确定所述目标对象的状态。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标对象的检测方法，其特征在于，包括：
获取动态视觉传感器采集到的第一点云数据集合，以及激光雷达传感器采集的第二点云数据集合，其中，所述第一点云数据集合和所述第二点云数据集合是在同一位置上采集到的点云数据集合；
根据目标对象在所述第一点云数据集合中的第一坐标位置，确定所述目标对象在所述第二点云数据集合中的第二坐标位置；
通过所述第一点云数据集合和所述第二坐标位置，确定所述目标对象的状态。
2.根据权利要求1所述的方法，其特征在于，所述根据目标对象的在所述第一点云数据集合中的第一坐标位置，确定所述目标对象在所述第二点云数据集合中的第二坐标位置，包括：
获取所述动态视觉传感器和所述激光雷达传感器之间的关联矩阵；
获取所述目标对象的目标部位在所述第一点云数据集合中的所述第一坐标位置；
通过所述关联矩阵对所述第一坐标位置进行转换，得到所述目标部位在所述第二点云数据集合中的所述第二坐标位置。
3.根据权利要求2所述的方法，其特征在于，所述通过所述第一点云数据集合和所述第二坐标位置，确定所述目标对象的状态，包括：
在所述第二点云数据集合中获取位于所述第二坐标位置预设范围内的点云数据，得到目标点云数据集合；
在所述目标点云数据集合中识别出目标形状的点云数据，并将所述目标形状的点云数据确定为所述第二点云数据集合中与所述目标对象对应的点云数据；
根据所述第一点云数据集合、所述目标形状，以及所述目标形状的中心点，确定所述目标对象的状态。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一点云数据集合、所述目标形状，以及所述目标形状的中心点，确定所述目标对象的状态，包括：
在所述第一点云数据集合获取所述目标对象的运动方向和运动速度；
在所述运动方向为向下且所述运动速度大于第一阈值的情况下，将所述目标对象的状态确定为向下运动；
在所述目标对象为向下运动，所述目标形状为平躺，且所述中心点的高度小于或等于预设值的情况下，将所述目标对象的状态确定为跌倒状态。
5.根据权利要求2所述的方法，其特征在于，在所述获取所述动态视觉传感器和所述激光雷达传感器之间的关联矩阵之前，包括：
获取所述动态视觉传感器采集的第三点云数据集合和所述激光雷达传感器采集第四点云数据集合，其中，所述动态视觉传感器的中心和所述激光雷达传感器的中心对准同一位置，所述动态视觉传感器的航向角与所述激光雷达传感器的航向角相同，且所述动态视觉传感器的翻滚角与所述激光雷达传感器的翻滚角相同；
通过所述第三点云数据集合和所述第四点云数据集合，对所述动态视觉传感器和所述激光雷达传感器进行坐标标定匹配，得到所述关联矩阵。
6.根据权利要求5所述的方法，其特征在于，所述通过所述第三点云数据集合和所述第四点云数据集合，对所述动态视觉传感器采集和所述激光雷达传感器进行坐标标定匹配，得到所述关联矩阵，包括：
获取预设对象在所述第三点云数据中的坐标位置，得到第一坐标位置集合，所述第一坐标合集包括所述预设对象在不同位置时所述动态视觉传感器采集的坐标；
获取所述预设对象在所述第四点云数据中的坐标位置，得到第二坐标集合，其中，所述第二坐标合集包括所述预设对象在不同位置时所述激光雷达传感器采集的坐标，第一坐标合集中的坐标和所述第二坐标合集中的坐标一一对应；
将所述第一坐标位置集合和所述第二坐标位置输入目标函数，并通过所述目标函数得到所述关联矩阵。
7.根据权利要求6所述的方法，其特征在于，所述通过所述目标函数得到所述关联矩阵，包括：
通过以下目标函数得到所述关联矩阵：
θ＝(XTPX)-1(XTPY)
其中，θ为所述关联矩阵，
Figure FDA0003527138630000031
uD1、vD1…uDn、vDn是所述第一坐标位置集合中的坐标位置，xL1、yL1...xLn、yLn是所述第二坐标位置集合中的坐标位置。
8.一种目标对象的检测装置，其特征在于，包括：
获取模块，用于获取动态视觉传感器采集到的第一点云数据集合，以及激光雷达传感器采集的第二点云数据集合，其中，所述第一点云数据集合和所述第二点云数据集合是在同一位置上采集到的点云数据集合；
第一确定模块，用于根据目标对象在所述第一点云数据集合中的第一坐标位置，确定所述目标对象在所述第二点云数据集合中的第二坐标位置；
第二确定模块，用于通过所述第一点云数据集合和所述第二坐标位置，确定所述目标对象的状态。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至7任一项中所述的方法的步骤。
10.一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至7任一项中所述的方法的步骤。
CN202210199955.9A 2022-03-01 2022-03-01 目标对象的检测方法及装置 Pending CN114549590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210199955.9A CN114549590A (zh) 2022-03-01 2022-03-01 目标对象的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210199955.9A CN114549590A (zh) 2022-03-01 2022-03-01 目标对象的检测方法及装置

Publications (1)

Publication Number Publication Date
CN114549590A true CN114549590A (zh) 2022-05-27

Family

ID=81662183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210199955.9A Pending CN114549590A (zh) 2022-03-01 2022-03-01 目标对象的检测方法及装置

Country Status (1)

Country Link
CN (1) CN114549590A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115494484A (zh) * 2022-10-26 2022-12-20 上海擎朗智能科技有限公司 机器人传感器系统自检的方法及机器人

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115494484A (zh) * 2022-10-26 2022-12-20 上海擎朗智能科技有限公司 机器人传感器系统自检的方法及机器人

Similar Documents

Publication Publication Date Title
CN115597659B (zh) 一种变电站智能安全管控方法
CN104574386B (zh) 一种基于三维环境模型匹配的室内定位方法
CN108628306B (zh) 机器人行走障碍检测方法、装置、计算机设备和存储介质
US12063911B2 (en) Multiscopic whitetail scoring game camera systems and methods
CN112766302B (zh) 一种图像融合方法、装置、存储介质及电子装置
CN107730993A (zh) 基于图像再识别的停车场智能寻车系统及方法
CN113670292A (zh) 地图的绘制方法和装置、扫地机、存储介质、电子装置
CN113160327A (zh) 一种点云补全的实现方法和系统
CN111307046B (zh) 基于半球图像的树高测量方法
CN110067274B (zh) 设备控制方法及挖掘机
CN115808170B (zh) 一种融合蓝牙与视频分析的室内实时定位方法
CN112132900B (zh) 一种视觉重定位方法及系统
KR101469099B1 (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
CN112633096A (zh) 客流的监测方法、装置、电子设备及存储介质
CN114549590A (zh) 目标对象的检测方法及装置
CN114299153B (zh) 一种超大电力设备的相机阵列同步标定方法及系统
CN114494468A (zh) 三维彩色点云构建方法、装置、系统及存储介质
CN114463663A (zh) 一种人员身高的计算方法、装置、电子设备及存储介质
CN117690081A (zh) 基于多模态数据融合的安全带检测方法及装置
CN111402324A (zh) 一种目标测量方法、电子设备以及计算机存储介质
CN112405526A (zh) 一种机器人的定位方法及装置、设备、存储介质
CN115773759A (zh) 自主移动机器人的室内定位方法、装置、设备及存储介质
CN111985266A (zh) 尺度图确定方法、装置、设备及存储介质
Chu et al. High-precision fruit localization using active laser-camera scanning: Robust laser line extraction for 2D-3D transformation
CN103258322A (zh) 不同投影角度下动态目标高度的确定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhang Yingda

Inventor after: Zhu Qifeng

Inventor after: Deng Zhiji

Inventor after: Liu Ming

Inventor before: Zhang Yingda

Inventor before: Zhu Qifeng

Inventor before: Deng Zhiyan

Inventor before: Liu Ming

CB03 Change of inventor or designer information