CN112396630B - 目标对象状态的确定方法、装置、存储介质及电子装置 - Google Patents

目标对象状态的确定方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN112396630B
CN112396630B CN201910755239.2A CN201910755239A CN112396630B CN 112396630 B CN112396630 B CN 112396630B CN 201910755239 A CN201910755239 A CN 201910755239A CN 112396630 B CN112396630 B CN 112396630B
Authority
CN
China
Prior art keywords
information
target object
point cloud
determining
laser point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910755239.2A
Other languages
English (en)
Other versions
CN112396630A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninebot Beijing Technology Co Ltd
Original Assignee
Ninebot Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninebot Beijing Technology Co Ltd filed Critical Ninebot Beijing Technology Co Ltd
Priority to CN201910755239.2A priority Critical patent/CN112396630B/zh
Publication of CN112396630A publication Critical patent/CN112396630A/zh
Application granted granted Critical
Publication of CN112396630B publication Critical patent/CN112396630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种目标对象状态的确定方法、装置、存储介质及电子装置,其中,该方法包括:利用移动设备上配置的光学传感器获取目标场景的图像信息,以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息;将所述图像信息和所述激光点云信息进行对齐,以得到包括所述图像信息和所述激光点云信息的对齐信息;确定所述对齐信息中包括的目标对象的对齐信息;基于所述目标对象的对齐信息确定所述目标对象的状态。通过本发明,解决了相关技术中存在的无法得到图像的深度信息的问题,进而达到有效确定图像的深度信息,进而得到目标对象的状态的效果。

Description

目标对象状态的确定方法、装置、存储介质及电子装置
技术领域
本发明涉及通信领域,具体而言,涉及一种目标对象状态的确定方法、装置、存储介质及电子装置。
背景技术
图像多目标识别与追踪(Detection&Multi-Object Tracking)作为机器视觉方向上的两大经典课题,近年来得益于深度学习的广泛且有效的运用,两个课题都得到了较大的进步。
但是在相关技术中,由于相机成像原理的物理限制,无法得到图像的深度信息。
针对相关技术中存在的无法得到图像的深度信息的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种目标对象状态的确定方法、装置、存储介质及电子装置,以至少解决相关技术中存在的无法得到图像的深度信息的问题。
根据本发明的一个实施例,提供了一种目标对象状态的确定方法,包括:利用移动设备上配置的光学传感器获取目标场景的图像信息,以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息;将所述图像信息和所述激光点云信息进行对齐,以得到包括所述图像信息和所述激光点云信息的对齐信息;确定所述对齐信息中包括的目标对象的对齐信息;基于所述目标对象的对齐信息确定所述目标对象的状态。
根据本发明的另一个实施例,提供了一种目标对象状态的确定装置,包括:获取模块,用于利用移动设备上配置的光学传感器获取目标场景的图像信息,以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息;对齐模块,用于将所述图像信息和所述激光点云信息进行对齐,以得到包括所述图像信息和所述激光点云信息的对齐信息;第一确定模块,用于确定所述对齐信息中包括的目标对象的对齐信息;第二确定模块,用于基于所述目标对象的对齐信息确定所述目标对象的状态。
根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述方法实施例中的步骤。
通过本发明,在得到的对齐信息中包括了目标场景的图像信息以及激光点云信息,通过激光点云信息可以确定图像信息中包括的各个对象的深度信息,进而可以确定目标对象的深度信息,以及目标对象的状态。有效解决相关技术中存在的无法得到图像的深度信息的问题,进而达到有效确定图像的深度信息,进而得到目标对象的状态的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种目标对象状态的确定方法的移动设备的硬件结构框图;
图2是根据本发明实施例的目标对象状态的确定方法流程图;
图3是根据本发明实施例的激光点云鸟瞰示意图以及激光点云与图像信息对齐后的图像示意图;
图4是根据本发明实施例的检测和追踪信息与图像信息的融合示意图;
图5是根据本发明实施例的激光点云筛选结果示意图;
图6是根据本发明实施例的目标对象状态的确定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
在相关技术中,常见的多目标识别与追踪算法分为如下几个步骤:通过图像识别模型,例如,检测器,得到当前一帧中的每个目标的像素坐标P,再将这些像素坐标P传入轨迹追踪模型,例如,追踪器中,与轨迹追踪模型中的每个保存的轨迹T进行比对,通过计算余弦距离和协方差矩阵,给出最为优化的匹配结果,即,为每个目标匹配对应的轨迹,并将当前帧的信息保存进追踪器中,作为下一帧的比对信息。
但是,由于相关技术中相机成像原理的物理限制,无法得到各个目标的状态信息,例如,对应于各个目标的轨迹的速度、方向、空间位置信息等。
为了解决上述问题,在本发明实施例中提出了确定目标对象的状态方案,下面结合实施例对本发明进行说明:
本申请所提供的方法实施例可以在移动设备,例如,移动机器人,具备自主移动能力的运输车或者类似的设备中执行。图1是本发明实施例的一种目标对象状态的确定方法的移动设备的硬件结构框图。如图1所示,移动设备10可以包括一个或多个,其中,图1中仅示出一个,处理器102和用于存储数据的存储器104,其中,处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置,可选地,上述移动设备还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动设备的结构造成限定。例如,移动设备10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的目标对象状态的确定方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动设备10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
图2是根据本发明实施例的目标对象状态的确定方法流程图,如图2所示,该流程包括如下步骤:
步骤S202,利用移动设备上配置的光学传感器获取目标场景的图像信息,以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息;
步骤S204,将所述图像信息和所述激光点云信息进行对齐,以得到包括所述图像信息和所述激光点云信息的对齐信息;
步骤S206,确定所述对齐信息中包括的目标对象的对齐信息;
步骤S208,基于所述目标对象的对齐信息确定所述目标对象的状态。
其中,执行上述操作的可以是上述的移动设备,例如,具备自主移动的机器人或者运输车等。上述的光学传感器可以是单目相机。
在上述实施例中,将所述图像信息和所述激光点云信息进行对齐实际上是将图像信息和激光点云信息融合到一起,来得到叠加有上述图像信息和激光点云信息的图像。
在一些示例中,如图3所示,其中,图3中左侧的图为激光点云信息的鸟瞰图,右侧的图为图像信息和激光点云信息进行对齐后的图像。上述的目标对象可以是特定类型的对象,例如,可以是行人,或者可以是具备移动能力的物品。如图3所示,右侧的图中显示的对齐后的图像,可以获得激光点云信息所指示的上述目标对象的对齐信息。
在上述实施例中,在得到的对齐信息中包括了目标场景的图像信息以及激光点云信息,通过激光点云信息可以确定图像信息中包括的各个对象的深度信息,进而可以确定目标对象的深度信息,以及目标对象的状态。有效解决相关技术中存在的无法得到图像的深度信息的问题,进而达到有效确定图像的深度信息,进而得到目标对象的状态的效果。
在一个可选的实施例中,在将所述图像信息和所述激光点云信息进行对齐,以得到包括所述图像信息和所述激光点云信息的对齐信息之前,所述方法还包括:确定当前帧图像信息中所包括的所述目标对象的坐标信息;将所述坐标信息与预先确定的轨迹信息进行匹配,以得到所述目标对象的轨迹信息,其中,所述预先确定的轨迹信息为基于所述当前帧图像信息之前的帧图像信息中所包括的所述目标对象的坐标信息所确定的。
在一些示例中,当前帧图像信息之前的每一帧图像信息中均包括有目标对象的坐标信息,将各帧图像信息中包括的目标对象的坐标信息融合到一起即可形成该目标对象的历史轨迹信息。
在一些示例中,基于所述目标对象的对齐信息确定所述目标对象的状态包括:基于所述目标对象的对齐信息和所述目标对象的轨迹信息确定所述目标对象的状态,也就是说,可以将检测和追踪信息与图像信息进行融合,即,把图像中每个目标框中的激光点云信息与相应的目标对象进行匹配并标记。如图4所示,其中,图4中的长方形框是用于对各个目标进行标记的,长方形框上的标识是用于唯一标识每个目标的。
在本发明实施例中,可以通过多帧图像中目标对象的移动距离以及该多帧图像之间的时间间隔来判断目标对象的移动速度以及方向。但是需要说明的是,通过帧图像确定的目标对象的速度和方向的方式可能会与实际的速度和方向存在一定的偏差。
可选地,根据一些实施例,还可以结合与各帧图像所对应的目标对象的激光点云信息来精确的确定出各目标对象的速度和方向,其确定方式也是基于多个激光点云信息中目标对象的移动距离以及多个激光点云信息的时间间隔来确定目标对象的精确的移动速度以及方向。
下面对如何得到上述目标对象的轨迹信息进行说明:
在本发明实施例中,移动设备中可以配置两个算法模块,即,检测追踪模块和融合模块,其中,检测追踪模块又可以分为检测器和追踪器两个小模块。上述实施例中所获得的每一帧的图像信息都可以传入检测追踪模块中,通过图像识别模型,例如,上述的检测器,得到当前一帧中的每个目标的像素坐标P,再将这些像素坐标P传入轨迹追踪模型,例如,上述的追踪器,中,与追踪器中预先确定并保存的多个轨迹T进行比对,其中,轨迹信息中包括有位置信息和速度信息,通过计算余弦距离和协方差矩阵,给出最为优化的匹配结果,即确定与各个目标对应的轨迹。此外,还可以对每一个目标都标记上一个独一无二的编号,例如,通过数字进行标记,通过字母进行标记,或者通过其他符号进行标记。并将当前帧的信息保存进追踪器中,作为下一帧的比对信息。
在一个可选的实施例中,确定当前帧图像信息中所包括的所述目标对象的坐标信息包括:为所述目标对象配置用于标识所述目标对象的标识框;将所述标识框的坐标信息确定为所述目标对象的坐标信息。在本实施例中个,标识框可以是一个长方形的框,且该标识框可以完全覆盖目标对象。该标识框的坐标信息可以用该标识框的两个点的坐标来表示,例如,利用标识框的左上角的点的坐标和右下角的点的坐标来表示。
在一个可选的实施例中,在将所述图像信息和所述激光点云信息进行对齐,以得到包括所述图像信息和所述激光点云信息的对齐信息之前,所述方法还包括:在所述图像信息中为所述目标对象配置用于标识所述目标对象的标识框;确定所述对齐信息中包括的目标对象的对齐信息包括:确定所述标识框中所包含的激光点云信息;从所述标识框中所包含的激光点云信息中确定出目标激光点云信息,并将所述目标激光点云信息确定为所述目标对象的对齐信息中所包括的激光点云信息,其中,所述目标激光点云信息包括距离所述移动设备最近的激光点云的信息,以及与所述最近的激光点云相距小于预定阈值的激光点云的信息。
根据一些实施例,与最近的激光点相距小于预定阈值的激光点可以是位于标识框中的与最近的激光点云紧挨着的激光点云。在本实施例中,距离移动设备近的激光点云一般是行人或者可移动设备的激光点云,其余的激光点云一般是远方的固定物品,例如,墙壁、柜子等的激光点云。此外,还可以基于激光点云信息通过迭代算法计算每个目标对象,例如,行人目标的质心。因此,通过上述实施例可以有效区分出目标框中的前后景,精确判断出属于目标对象的激光点云。
在一些实施例中,如图5所示,其中,图5中的长方形框是用于对各个目标进行标记的,长方形框上的标识是用于唯一标识每个目标的,图5中的左侧的图为鸟瞰式的激光点云图,右侧的图为将激光点云信息和图像信息进行融合后得到的图。如图5所示,也可以用不同灰度或颜色的激光点云指示标识图像中的不同目标对象。
在一个可选的实施例中,在所述图像信息中为所述目标对象配置用于标识所述目标对象的标识框之后,所述方法还包括:为所述标识框配置唯一的标识信息。从而实现唯一标示各个目标对象的目的。
在一个可选的实施例中,基于所述目标对象的对齐信息确定所述目标对象的状态包括:基于相邻的预定数量的帧的对齐信息确定所述目标对象的运动方向以及运动速度;基于所述对齐信息中包括的所述图像信息确定所述目标对象的位置;将所述目标对象的运动方向、运动速度以及位置所指示的状态确定为所述目标对象的状态。可选地,在基于所述目标对象的对齐信息确定所述目标对象的状态之后,所述方法还包括:基于所述目标对象的状态,为所述移动设备规划用于避让所述目标对象的行驶路线。从而避免移动设备在自主移动过程中发生不必要的碰撞。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质,如ROM/RAM、磁碟、光盘中,包括若干指令用以使得一台终端设备,例如可以是手机,计算机,服务器,或者网络设备等设备来执行本发明各个实施例所述的方法。
在本实施例中还提供了一种目标对象状态的确定装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明实施例的目标对象状态的确定装置的结构框图,如图6所示,该装置包括:
获取模块62,用于利用移动设备上配置的光学传感器获取目标场景的图像信息,以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息;
对齐模块64,用于将所述图像信息和所述激光点云信息进行对齐,以得到包括所述图像信息和所述激光点云信息的对齐信息;
第一确定模块66,用于确定所述对齐信息中包括的目标对象的对齐信息;
第二确定模块68,用于基于所述目标对象的对齐信息确定所述目标对象的状态。
在一个可选的实施例中,所述装置还用于在将所述图像信息和所述激光点云信息进行对齐,以得到包括所述图像信息和所述激光点云信息的对齐信息之前,确定当前帧图像信息中所包括的所述目标对象的坐标信息;将所述坐标信息与预先确定的轨迹信息进行匹配,以得到所述目标对象的轨迹信息,其中,所述预先确定的轨迹信息为基于所述当前帧图像信息之前的帧图像信息中所包括的所述目标对象的坐标信息所确定的。
在一个可选的实施例中,所述第二确定模块68用于基于所述目标对象的对齐信息和所述目标对象的轨迹信息确定所述目标对象的状态。
在一个可选的实施例中,所述装置可以通过如下方式确定当前帧图像信息中所包括的所述目标对象的坐标信息:为所述目标对象配置用于标识所述目标对象的标识框;将所述标识框的坐标信息确定为所述目标对象的坐标信息。
在一个可选的实施例中,所述装置还用于在将所述图像信息和所述激光点云信息进行对齐,以得到包括所述图像信息和所述激光点云信息的对齐信息之前,在所述图像信息中为所述目标对象配置用于标识所述目标对象的标识框。
在一个可选的实施例中,所述第一确定模块66可以通过如下方式确定所述对齐信息中包括的目标对象的对齐信息:确定所述标识框中所包含的激光点云信息;从所述标识框中所包含的激光点云信息中确定出目标激光点云信息,并将所述目标激光点云信息确定为所述目标对象的对齐信息中所包括的激光点云信息,其中,所述目标激光点云信息包括距离所述移动设备最近的激光点云的信息,以及与所述最近的激光点云相距小于预定阈值的激光点云的信息。
在一个可选的实施例中,所述装置还用于在所述图像信息中为所述目标对象配置用于标识所述目标对象的标识框之后,为所述标识框配置唯一的标识信息。
在一个可选的实施例中,所述第二确定模块68可以通过如下方式实现基于所述目标对象的对齐信息确定所述目标对象的状态:基于相邻的预定数量的帧的对齐信息确定所述目标对象的运动方向以及运动速度;基于所述对齐信息中包括的所述图像信息确定所述目标对象的位置;将所述目标对象的运动方向、运动速度以及位置所指示的状态确定为所述目标对象的状态。
在一个可选的实施例中,所述装置还用于在基于所述目标对象的对齐信息确定所述目标对象的状态之后,基于所述目标对象的状态,为所述移动设备规划用于避让所述目标对象的行驶路线。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
通过上述实施例,可以实现如下有益效果:
通过本发明实施例中的方案,可以让一个地面自主移动装置,例如,机器人来实时感知周围目标对象,例如,行人目标,并能够获得每个行人目标相距机器人相机坐标系原点的深度,例如,距离。并且能够实时给出每个行人的行走速度与方向。
采用本发明实施例中的追踪方法,无需得知机器人和被检测目标的相对地面的绝对坐标,而只需要得知机器人和被检测目标之间的相对位置。因此,这种追踪方法无需GPS或者其他任何绝对位置传感器,也无需进行任何远程终端控制机器人,只需要通过机器人上所搭载的单目相机和激光雷达两个传感器和机器人自带的计算平台来实时感知周围环境即可。因此避免了GPS需要搜索卫星进行定位、远程终端需要远距离传输信号等诸多不便。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标对象状态的确定方法,其特征在于,包括:
利用移动设备上配置的光学传感器获取目标场景的图像信息,以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息;
将所述图像信息和所述激光点云信息进行对齐,以得到包括所述图像信息和所述激光点云信息的对齐信息;
确定所述对齐信息中包括的目标对象的对齐信息,其中,所述目标对象为具备移动能力的对象;
基于所述目标对象的对齐信息确定所述目标对象的状态;
其中,确定所述对齐信息中包括的目标对象的对齐信息包括:基于所述激光点云信息通过迭代算法确定所述目标对象的质心;基于确定出来的所述质心确定所述激光点云信息中包括的属于所述目标对象的激光点云信息;基于属于所述目标对象的激光点云信息确定所述对齐信息中包括的所述目标对象的对齐信息。
2.根据权利要求1所述的方法,其特征在于,
在将所述图像信息和所述激光点云信息进行对齐,以得到包括所述图像信息和所述激光点云信息的对齐信息之前,所述方法还包括:确定当前帧图像信息中所包括的所述目标对象的坐标信息;将所述坐标信息与预先确定的轨迹信息进行匹配,以得到所述目标对象的轨迹信息,其中,所述预先确定的轨迹信息为基于所述当前帧图像信息之前的帧图像信息中所包括的所述目标对象的坐标信息所确定的;
基于所述目标对象的对齐信息确定所述目标对象的状态包括:基于所述目标对象的对齐信息和所述目标对象的轨迹信息确定所述目标对象的状态。
3.根据权利要求2所述的方法,其特征在于,确定当前帧图像信息中所包括的所述目标对象的坐标信息包括:
为所述目标对象配置用于标识所述目标对象的标识框;
将所述标识框的坐标信息确定为所述目标对象的坐标信息。
4.根据权利要求1所述的方法,其特征在于,
在将所述图像信息和所述激光点云信息进行对齐,以得到包括所述图像信息和所述激光点云信息的对齐信息之前,所述方法还包括:在所述图像信息中为所述目标对象配置用于标识所述目标对象的标识框;
确定所述对齐信息中包括的目标对象的对齐信息包括:确定所述标识框中所包含的激光点云信息;从所述标识框中所包含的激光点云信息中确定出目标激光点云信息,并将所述目标激光点云信息确定为所述目标对象的对齐信息中所包括的激光点云信息,其中,所述目标激光点云信息包括距离所述移动设备最近的激光点云的信息,以及与所述最近的激光点云相距小于预定阈值的激光点云的信息。
5.根据权利要求4所述的方法,其特征在于,在所述图像信息中为所述目标对象配置用于标识所述目标对象的标识框之后,所述方法还包括:
为所述标识框配置唯一的标识信息。
6.根据权利要求1所述的方法,其特征在于,基于所述目标对象的对齐信息确定所述目标对象的状态包括:
基于相邻的预定数量的帧的对齐信息确定所述目标对象的运动方向以及运动速度;
基于所述对齐信息中包括的所述图像信息确定所述目标对象的位置;
将所述目标对象的运动方向、运动速度以及位置所指示的状态确定为所述目标对象的状态。
7.根据权利要求6所述的方法,其特征在于,在基于所述目标对象的对齐信息确定所述目标对象的状态之后,所述方法还包括:
基于所述目标对象的状态,为所述移动设备规划用于避让所述目标对象的行驶路线。
8.一种目标对象状态的确定装置,其特征在于,包括:
获取模块,用于利用移动设备上配置的光学传感器获取目标场景的图像信息,以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息;
对齐模块,用于将所述图像信息和所述激光点云信息进行对齐,以得到包括所述图像信息和所述激光点云信息的对齐信息;
第一确定模块,用于确定所述对齐信息中包括的目标对象的对齐信息,其中,所述目标对象为具备移动能力的对象;
第二确定模块,用于基于所述目标对象的对齐信息确定所述目标对象的状态;
其中,所述第一确定模块用于基于所述激光点云信息通过迭代算法确定所述目标对象的质心;基于确定出来的所述质心确定所述激光点云信息中包括的属于所述目标对象的激光点云信息;基于属于所述目标对象的激光点云信息确定所述对齐信息中包括的所述目标对象的对齐信息。
9.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。
CN201910755239.2A 2019-08-15 2019-08-15 目标对象状态的确定方法、装置、存储介质及电子装置 Active CN112396630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910755239.2A CN112396630B (zh) 2019-08-15 2019-08-15 目标对象状态的确定方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910755239.2A CN112396630B (zh) 2019-08-15 2019-08-15 目标对象状态的确定方法、装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN112396630A CN112396630A (zh) 2021-02-23
CN112396630B true CN112396630B (zh) 2024-05-31

Family

ID=74601723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910755239.2A Active CN112396630B (zh) 2019-08-15 2019-08-15 目标对象状态的确定方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN112396630B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113028992B (zh) * 2021-03-16 2023-01-20 广东电网有限责任公司广州供电局 一种配电房测量方法、装置、设备和存储介质
CN115641567B (zh) * 2022-12-23 2023-04-11 小米汽车科技有限公司 用于车辆的目标对象检测方法、装置、车辆及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610084A (zh) * 2017-09-30 2018-01-19 驭势科技(北京)有限公司 一种对深度图像和激光点云图进行信息融合的方法与设备
CN109084786A (zh) * 2018-08-09 2018-12-25 北京智行者科技有限公司 一种地图数据的处理方法
CN109270534A (zh) * 2018-05-07 2019-01-25 西安交通大学 一种智能车激光传感器与相机在线标定方法
EP3438777A1 (en) * 2017-08-04 2019-02-06 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
WO2019109142A1 (en) * 2017-12-06 2019-06-13 University Of Technology Sydney Monitoring systems, and computer implemented methods for processing data in monitoring systems, programmed to enable identification and tracking of human targets in crowded environments
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3438777A1 (en) * 2017-08-04 2019-02-06 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
CN107610084A (zh) * 2017-09-30 2018-01-19 驭势科技(北京)有限公司 一种对深度图像和激光点云图进行信息融合的方法与设备
WO2019109142A1 (en) * 2017-12-06 2019-06-13 University Of Technology Sydney Monitoring systems, and computer implemented methods for processing data in monitoring systems, programmed to enable identification and tracking of human targets in crowded environments
CN109270534A (zh) * 2018-05-07 2019-01-25 西安交通大学 一种智能车激光传感器与相机在线标定方法
CN109084786A (zh) * 2018-08-09 2018-12-25 北京智行者科技有限公司 一种地图数据的处理方法
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法

Also Published As

Publication number Publication date
CN112396630A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
US12147244B2 (en) Autonomous robotic navigation in storage site
US11835967B2 (en) System and method for assisting collaborative sensor calibration
CN110470333B (zh) 传感器参数的标定方法及装置、存储介质和电子装置
CN112166458B (zh) 目标检测与跟踪方法、系统、设备及存储介质
CN111380515B (zh) 定位方法及装置、存储介质、电子装置
CN107972027B (zh) 机器人的定位方法和装置、机器人
CN106647738A (zh) 一种无人搬运车的对接路径确定方法及系统及无人搬运车
CN112396630B (zh) 目标对象状态的确定方法、装置、存储介质及电子装置
CN111353453A (zh) 用于车辆的障碍物检测方法和装置
CN117218628A (zh) 多目标检测的方法、系统及服务器
Llorca et al. Assistive pedestrian crossings by means of stereo localization and rfid anonymous disability identification
US20230133480A1 (en) Thin object detection and avoidance in aerial robots
CN114782496A (zh) 一种对象的跟踪方法、装置、存储介质及电子装置
CN112396051B (zh) 可通行区域的确定方法及装置、存储介质、电子装置
CN112163519A (zh) 图像映射处理方法、装置、存储介质及电子装置
Vemprala et al. Vision based collaborative localization for swarms of aerial vehicles
CN112562011B (zh) 一种图像标定方法、装置、存储介质及电子装置
CN114683269B (zh) 一种机器人及机器人的定位方法
CN112284399B (zh) 一种基于视觉和imu的车辆定位方法及车载终端
CN116127165A (zh) 车辆的位置更新方法、装置、存储介质及电子装置
Vadlamani A Novel Indoor Positioning System for Firefighters in Unprepared Scenarios
Jian et al. Enhancing passive target localization technology in UAV low frame-rate image sequences with a Joint Registration and Tracking module
CN112393720A (zh) 目标设备的定位方法及装置、存储介质、电子装置
CN113885041A (zh) 一种机器人定位方法、装置、设备及存储介质
EP4426612A1 (en) Precision height estimation using sensor fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TG01 Patent term adjustment
TG01 Patent term adjustment