CN112816995B - 目标检测方法及装置、融合处理单元、计算机可读介质 - Google Patents
目标检测方法及装置、融合处理单元、计算机可读介质 Download PDFInfo
- Publication number
- CN112816995B CN112816995B CN202011562118.5A CN202011562118A CN112816995B CN 112816995 B CN112816995 B CN 112816995B CN 202011562118 A CN202011562118 A CN 202011562118A CN 112816995 B CN112816995 B CN 112816995B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- target
- laser point
- event data
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000007499 fusion processing Methods 0.000 title claims abstract description 39
- 230000008859 change Effects 0.000 claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 230000004438 eyesight Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 10
- 238000009432 framing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 229910044991 metal oxide Inorganic materials 0.000 description 4
- 150000004706 metal oxides Chemical class 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供了一种目标检测方法,包括:获取激光点云数据,所述激光点云数据表征至少一个目标物体的运动状态;获取事件数据,所述事件数据表征目标平面中光强变化信息;将所述激光点云数据与所述事件数据进行融合处理,生成至少一个所述目标物体的多维运动信息。本公开还提供一种目标检测装置、一种融合处理单元、一种计算机可读介质。
Description
技术领域
本公开涉及目标检测技术领域,特别涉及一种目标检测方法、一种目标检测装置、一种融合处理单元、一种计算机可读介质。
背景技术
目标检测是视频分析与理解的重要技术,是部分计算视觉任务重要的预处理步骤,如物体识别、运动物体跟踪等。
在一些相关技术中,主要基于时间感知对运动物体进行检测,但是空间感知能力较弱,无法同时对运动的物体和/或静止的物体进行多维视觉感知。
发明内容
本公开提供一种目标检测方法、一种目标检测装置、一种融合处理单元、一种计算机可读介质。
第一方面,本公开实施例提供一种目标检测方法,包括:
获取激光点云数据,所述激光点云数据表征至少一个目标物体的运动状态;
获取事件数据,所述事件数据表征目标平面中光强变化信息;
将所述激光点云数据与所述事件数据进行融合处理,生成至少一个所述目标物体的多维运动信息。
第二方面,本公开实施例提供一种目标检测装置,包括:
激光雷达,用于发射激光束对至少一个目标物体进行探测,生成激光点云数据;
第一传感器,用于检测目标平面中光强变化信息,生成事件数据;
融合处理单元,用于将所述激光点云数据与所述事件数据进行融合处理,生成至少一个所述目标物体的多维运动信息。
第三方面,本公开实施例提供一种融合处理单元,应用于目标检测装置,所述融合处理单元包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本公开实施例第一方面所述的目标检测方法。
第四方面,本公开实施例提供一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本公开实施例第一方面所述的目标检测方法。
在本公开实施例提供的目标检测方法中,通过获取激光点云数据和表征目标平面中光强变化信息的事件数据,并将激光点云数据和事件数据进行融合处理,生成至少一个目标物体的多维运动信息,从而能够对至少一个静止或运动的目标物体进行清晰的运动判断,实现了对静止或运动的目标物体的类生物视觉感知。
在本公开实施例提供的目标检测装置中,激光雷达能够对目标物体进行探测生成激光点云数据,第一传感器能够对目标物体的运动进行探测生成表征目标平面中光强变化信息的事件数据,将激光点云数据和事件数据进行融合处理生成至少一个目标物体的多维运动信息,从而能够对至少一个静止或运动的目标物体进行清晰的运动判断,使得目标检测装置具有类生物视觉,实现了对静止或运动的目标物体的类生物视觉感知。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用来提供对本公开的进一步理解,并且构成说明书的一部分,与本公开的实施例一起用于解释本公开,并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述,以上和其他特征和优点对本领域技术人员将变得更加显而易见,在附图中:
图1是本公开实施例中一种目标检测方法的流程图;
图2是本公开实施例中另一种目标检测方法中部分步骤的流程图;
图3是本公开实施例中又一种目标检测方法中部分步骤的流程图;
图4是本公开实施例中再一种目标检测方法中部分步骤的流程图;
图5是本公开实施例中再一种目标检测方法中部分步骤的流程图;
图6是本公开实施例中再一种目标检测方法中部分步骤的流程图;
图7是本公开实施例中一种目标检测装置的组成框图;
图8是本公开实施例中另一种目标检测装置的组成框图;
图9是本公开实施例中又一种目标检测装置的组成框图;
图10是本公开实施例中一种融合处理单元的组成框图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案,以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在不冲突的情况下,本公开各实施例及实施例中的各特征可相互组合。
如本文所使用的,术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例,且不意欲限制本公开。如本文所使用的,单数形式“一个”和“该”也意欲包括复数形式,除非上下文另外清楚指出。还将理解的是,当本说明书中使用术语“包括”和/或“由……制成”时,指定存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。
除非另外限定,否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解,诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义,且将不解释为具有理想化或过度形式上的含义,除非本文明确如此限定。
第一方面,参照图1,本公开实施例提供一种目标检测方法,包括:
在步骤S100中,获取激光点云数据,所述激光点云数据表征至少一个目标物体的运动状态;
在步骤S200中,获取事件数据,所述事件数据表征目标平面中光强变化信息;
在步骤S300中,将所述激光点云数据与所述事件数据进行融合处理,生成至少一个所述目标物体的多维运动信息。
在本公开实施例中,激光点云数据是通过激光雷达(Lidar)生成的。其中,点云数据可以是指在一个三维坐标系统中的一组向量的集合,集合中的向量可以以X、Y、Z三维坐标的形式表示。激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统。激光雷达通过扫描生成激光点云数据,能够表征至少一个目标物体的距离、方位、高度、速度、姿态、形状等目标物体的运动状态。
在本公开实施例中,事件数据是通过第一传感器对目标平面中的光强变化信息进行生成的。其中,第一传感器是模仿生物视觉的工作机理的传感器,在生成事件数据时保留动态信息,事件数据由目标平面中发生变化的像素的信息组成。作为一种可选的实施方式,第一传感器为动态视觉传感器(DVS,Dynamic Vision Sensor)。
激光雷达能够对运动物体进行探测,也能够对静止物体的进行探测。因此,在本公开实施例中,目标物体可以是运动中的物体,也可以是静止的物体。本公开实施例对此不做特殊限定。
在本公开实施例中,对目标物体的多维运动信息不做特殊限定。例如,多维运动信息可以包括目标物体的距离、方位、高度、速度、姿态、形状等信息中的至少一者。
在本公开实施例中,可以同时执行步骤S100和步骤S200,获取对应相同时间点的激光点云数据和事件数据;也可以分别执行步骤S100和步骤S200,获取对应多个时间点的激光点云数据和对应多个时间点的事件数据。在步骤S300中,将激光点云数据和事件数据进行融合处理,是将对应相同时间点的激光点云数据和事件数据进行对齐校准,生成至少一个目标物体的多维运动信息。
在本公开实施例中,通过获取激光点云数据和表征目标平面中光强变化信息的事件数据,并将激光点云数据和事件数据进行融合处理,生成至少一个目标物体的多维运动信息,从而能够对至少一个静止或运动的目标物体进行清晰的运动判断,实现了对静止或运动的目标物体的类生物视觉感知。
本公开实施例对于如何执行步骤S300对事件数据和激光点云数据进行融合处理不做特殊限定。作为一种可选的实施方式,利用神经网络对事件数据和激光点云数据进行融合处理。在一些实施例中,神经网络的输入为三维图像和事件帧。其中,三维图像是根据激光点云数据生成的;事件帧是根据获取的事件数据进行组帧生成的。
相应地,在一些实施例中,参照图2,步骤S300包括:
在步骤S311中,根据所述激光点云数据生成三维图像;
在步骤S312中,将同一采样周期内的所述事件数据进行组帧,生成事件帧;
在步骤S313中,将所述三维图像和所述事件帧输入神经网络进行处理,生成至少一个所述目标物体的多维运动信息。
其中,生成的三维图像可以是指三维点云图。
在一些实施例中,神经网络的输入为二维图像和事件帧。其中,二维图像是将三维激光点云数据投影到俯视图和前视图,得到三维激光点云数据的二维图像表示;事件帧是将同一采样周期的事件数据进行组帧,按帧输入神经网络。
相应地,在一些实施例中,参照图3,步骤S300包括:
在步骤S321中,对所述激光点云数据进行处理,生成所述激光点云数据的前视图和俯视图;
在步骤S322中,将同一采样周期内的所述事件数据进行组帧,生成事件帧;
在步骤S323中,将所述前视图、所述俯视图、所述事件帧输入所述神经网络进行处理,生成至少一个所述目标物体的多维运动信息。
本公开实施例还提供了将激光点云数据与事件数据进行融合处理的非神经网络的处理方式。
相应地,在一些实施例中,参照图4,步骤S300包括:
在步骤S331中,根据所述事件数据确定至少一个目标区域,得到所述至少一个目标区域的第一坐标信息,每一个所述目标区域对应一个所述目标物体;
在步骤S332中,根据所述第一坐标信息确定所述目标区域在所述激光点云数据中的第二坐标信息,生成至少一个所述目标物体的多维运动信息。
本公开实施例对第一传感器不做特殊限定。作为一种可选的实施方式,第一传感器为动态视觉传感器DVS。DVS是一种模仿生物视觉的工作机理的传感器,能够检测光的改变并输出光强发生变化像素的地址和信息,消除了冗余数据,并能够对场景变化实时动态响应。
在本公开实施例中,DVS采集的事件数据为目标平面的二维数据,DVS输出的每个时间点光强发生变化的像素的地址、光强变化信息、时间信息组成事件数据。
相应地,在一些实施例中,参照图5,步骤S200包括:
在步骤S210中,响应于所述目标平面中像素的光强度变化获取所述事件数据,所述事件数据包括所述目标平面光强发生变化的像素的坐标和光强变化信息、时间信息。
需要说明的是,在本公开实施例中,DVS的输出为由多个4元组组成的事件数据,每一个4元组对应目标平面中光强发生变化的像素,4元组包括光强发生变化的像素在目标平面中的横坐标、纵坐标以及光强变化信息、时间信息。在步骤S321中,根据4元组携带的时间信息,将对应于同一个时间点的4元组进行组帧,生成事件帧。
在本公开实施例中,还可以通过一个或多个图像传感器对目标物体进行探测,并将一个或多个图像传感器产生的信号与事件数据、激光点云数据进行融合处理,形成对目标物体的多维感知。作为一种可选的实施方式,图像传感器为互补金属氧化物半导体(CMOS,Complementary Metal Oxide Semiconductor)传感器。
相应地,参照图6,所述目标检测方法还包括:
在步骤S400中,获取至少一路RGB图像信号;
步骤S300包括:
在步骤S340中,将至少一路所述RGB图像信号和所述激光点云数据、所述事件数据进行融合处理,生成至少一个所述目标物体的多维运动信息。
在本公开实施例中,神经网络包括多条支路,每一条支路对应一路RGB图像信号。RGB图像信号通过对应的支路输入神经网络。在本公开实施例中,RGB图像信号按帧输入神经网络。
第二方面,本公开实施例提供一种目标检测装置,参照图7,目标检测装置包括:
激光雷达120,用于发射激光束对至少一个目标物体进行探测,生成激光点云数据;
第一传感器110,用于检测目标平面中光强变化信息,生成事件数据;
融合处理单元130,用于将所述激光点云数据与所述事件数据进行融合处理,生成至少一个所述目标物体的多维运动信息。
在本公开实施例中,激光点云数据是通过激光雷达(Lidar)生成的。激光雷120达是以发射激光束探测目标的位置、速度等特征量的雷达系统。激光雷达120通过扫描生成激光点云数据,能够表征至少一个目标物体的距离、方位、高度、速度、姿态、形状等目标物体的运动状态。
在本公开实施例中,事件数据是通过第一传感器110对目标平面中的光强变化信息进行生成的。其中,第一传感器110是模仿生物视觉的工作机理的传感器,在生成事件数据时保留动态信息,事件数据由目标平面中发生变化的像素的信息组成。在本公开实施例中,第一传感器110具有运动敏感、边缘敏感、高时间分辨率等特点。
激光雷达120能够对运动物体进行探测,也能够对静止物体的进行探测。因此,在本公开实施例中,目标物体可以是运动中的物体,也可以是静止的物体。本公开实施例对此不做特殊限定。
在本公开实施例中,对目标物体的多维运动信息不做特殊限定。例如,多维运动信息可以包括目标物体的距离、方位、高度、速度、姿态、形状等信息中的至少一者。
本公开实施例提供的目标检测装置能够应用于自动驾驶。
在本公开实施例中,目标检测装置中的激光雷达能够对目标物体进行探测生成激光点云数据,第一传感器能够对目标物体的运动进行探测生成表征目标平面中光强变化信息的事件数据,将激光点云数据和事件数据进行融合处理生成至少一个目标物体的多维运动信息,从而能够对至少一个静止或运动的目标物体进行清晰的运动判断,使得目标检测装置具有类生物视觉,实现了对静止或运动的目标物体的类生物视觉感知。
在本公开实施例中,利用神经网络对事件数据和激光点云数据进行融合处理。在一些实施例中,神经网络的输入为三维图像和事件帧。其中,三维图像是根据激光点云数据生成的;事件帧是根据获取的事件数据进行组帧生成的。
相应地,在一些实施例中,参照图8,所述融合处理单元130包括第一图像信号处理器(ISP,Image Signal Processing)131和第一神经网络132;
所述第一图像信号处理器131用于根据所述激光点云数据生成三维图像;
所述第一图像信号处理器131还用于将同一采样周期内的所述事件数据进行组帧,生成事件帧;
所述第一神经网络132用于对所述三维图像和所述事件帧进行处理,生成至少一个所述目标物体的多维运动信息。
在一些实施例中,神经网络的输入为二维图像和事件帧。其中,二维图像是将三维激光点云数据投影到俯视图和前视图,得到三维激光点云数据的二维图像表示;事件帧是将同一采样周期的事件数据进行组帧,按帧输入神经网络。
在一些实施例中,参照图9,所述融合处理单元130包括第二图像信号处理器133和第二神经网络134;
所述第二图像信号处理器133用于对所述激光点云数据进行处理,生成所述激光点云数据的前视图和俯视图;
所述第二图像信号处理器133还用于将同一采样周期内的所述事件数据进行组帧,生成事件帧;
所述第二神经网络134用于对所述前视图、所述俯视图、所述事件帧进行处理,生成至少一个所述目标物体的多维运动信息。
在一些实施例中,所述融合处理单元130将所述激光点云数据与所述事件数据进行融合处理,生成至少一个所述目标物体的多维运动信息包括:
所述融合处理单元130根据所述事件数据确定至少一个目标区域,得到所述至少一个目标区域的第一坐标信息,每一个所述目标区域对应一个所述目标物体;
所述融合处理单元130根据所述第一坐标信息确定所述目标区域在所述激光点云数据中的第二坐标信息,生成至少一个所述目标物体的多维运动信息。
本公开实施例对第一传感器110不做特殊限定。作为一种可选的实施方式,第一传感器110为动态视觉传感器DVS。DVS是一种模仿生物视觉的工作机理的传感器,能够检测光的改变并输出光强发生变化像素的地址和信息,消除了冗余数据,并能够对场景变化实时动态响应。
在本公开实施例中,DVS采集的事件数据为目标平面的二维数据,DVS输出的每个时间点光强发生变化的像素的地址、光强变化信息、时间信息组成事件数据。
相应地,在一些实施例中,所述第一传感器110为动态视觉传感器,所述目标平面中光强变化信息包括所述目标平面中像素的光强的变化;
所述动态视觉传感器用于检测所述目标平面中像素的光强的变化,生成所述事件数据;所述事件数据包括所述目标平面光强发生变化的像素的坐标和光强变化信息、时间信息。
在本公开实施例中,还可以通过一个或多个图像传感器对目标物体进行探测,并将一个或多个图像传感器产生的信号与事件数据、激光点云数据进行融合处理,形成对目标物体的多维感知。作为一种可选的实施方式,图像传感器为互补金属氧化物半导体(CMOS,Complementary Metal Oxide Semiconductor)传感器。
相应地,在一些实施例中,参照图8和图9,所述目标检测装置还包括至少一个第二传感器140;
所述第二传感器140用于获取RGB图像生成RGB图像信号;
所述融合处理单元130用于将至少一路所述RGB图像信号和所述激光点云数据、所述事件数据进行融合处理,生成至少一个所述目标物体的多维运动信息。
在本公开实施例中,第一神经网络132包括多条支路,每一条支路对应一个第二传感器140。第二传感器140输出的RGB图像信号通过对应的支路输入第一神经网络132;第二神经网络134包括多条支路,每一条支路对应一个第二传感器140。第二传感器140输出的RGB图像信号通过对应的支路输入第二神经网络134。在本公开实施例中,RGB图像信号按帧输入神经网络。
第三方面,本公开实施例提供一种融合处理单元,应用于目标检测装置,参照图10,所述融合处理单元包括:
一个或多个处理器201;
存储器202,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现本公开实施例第一方面所述的目标检测方法;
一个或多个I/O接口203,连接在处理器与存储器之间,配置为实现处理器与存储器的信息交互。
其中,处理器201为具有数据处理能力的器件,其包括但不限于中央处理器(CPU)等;存储器202为具有数据存储能力的器件,其包括但不限于随机存取存储器(RAM,更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH);I/O接口(读写接口)203连接在处理器201与存储器202间,能实现处理器201与存储器202的信息交互,其包括但不限于数据总线(Bus)等。
在一些实施例中,处理器201、存储器202和I/O接口203通过总线204相互连接,进而与计算设备的其它组件连接。
第四方面,本公开实施例提供一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本公开实施例第一方面所述的目标检测方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
本文已经公开了示例实施例,并且虽然采用了具体术语,但它们仅用于并仅应当被解释为一般说明性含义,并且不用于限制的目的。在一些实例中,对本领域技术人员显而易见的是,除非另外明确指出,否则可单独使用与特定实施例相结合描述的特征、特性和/或元素,或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此,本领域技术人员将理解,在不脱离由所附的权利要求阐明的本公开的范围的情况下,可进行各种形式和细节上的改变。
Claims (15)
1.一种目标检测方法,包括:
获取激光点云数据,所述激光点云数据表征至少一个目标物体的运动状态;
获取事件数据,所述事件数据表征目标平面中光强变化信息;所述事件数据包括所述目标平面光强发生变化的像素的坐标和光强变化信息、时间信息;
将所述激光点云数据与所述事件数据进行融合处理,生成至少一个所述目标物体的多维运动信息。
2.根据权利要求1所述的目标检测方法,其中,将所述激光点云数据与所述事件数据进行融合处理的步骤包括:
根据所述激光点云数据生成三维图像;
将同一采样周期内的所述事件数据进行组帧,生成事件帧;
将所述三维图像和所述事件帧输入神经网络进行处理,生成至少一个所述目标物体的多维运动信息。
3.根据权利要求1所述的目标检测方法,其中,将所述激光点云数据与所述事件数据进行融合处理的步骤包括:
对所述激光点云数据进行处理,生成所述激光点云数据的前视图和俯视图;
将同一采样周期内的所述事件数据进行组帧,生成事件帧;
将所述前视图、所述俯视图、所述事件帧输入神经网络进行处理,生成至少一个所述目标物体的多维运动信息。
4.根据权利要求1所述的目标检测方法,其中,将所述激光点云数据与所述事件数据进行融合处理的步骤包括:
根据所述事件数据确定至少一个目标区域,得到所述至少一个目标区域的第一坐标信息,每一个所述目标区域对应一个所述目标物体;
根据所述第一坐标信息确定所述目标区域在所述激光点云数据中的第二坐标信息,生成至少一个所述目标物体的多维运动信息。
5.根据权利要求1至4中任意一项所述的目标检测方法,其中,所述目标检测方法还包括:
获取至少一路RGB图像信号;
生成至少一个所述目标物体的多维运动信息的步骤包括:
将至少一路所述RGB图像信号和所述激光点云数据、所述事件数据进行融合处理,生成至少一个所述目标物体的多维运动信息。
6.根据权利要求1至4中任意一项所述的目标检测方法,其中,获取事件数据的步骤包括:
通过动态视觉传感器获取所述事件数据。
7.一种目标检测装置,包括:
激光雷达,用于发射激光束对至少一个目标物体进行探测,生成激光点云数据;
第一传感器,用于检测目标平面中光强变化信息,生成事件数据,所述事件数据包括所述目标平面光强发生变化的像素的坐标和光强变化信息、时间信息;
融合处理单元,用于将所述激光点云数据与所述事件数据进行融合处理,生成至少一个所述目标物体的多维运动信息。
8.根据权利要求7所述的目标检测装置,其中,所述融合处理单元包括第一图像信号处理器和第一神经网络;
所述第一图像信号处理器用于根据所述激光点云数据生成三维图像;
所述第一图像信号处理器还用于将同一采样周期内的所述事件数据进行组帧,生成事件帧;
所述第一神经网络用于对所述三维图像和所述事件帧进行处理,生成至少一个所述目标物体的多维运动信息。
9.根据权利要求7所述的目标检测装置,其中,所述融合处理单元包括第二图像信号处理器和第二神经网络;
所述第二图像信号处理器用于对所述激光点云数据进行处理,生成所述激光点云数据的前视图和俯视图;
所述第二图像信号处理器还用于将同一采样周期内的所述事件数据进行组帧,生成事件帧;
所述第二神经网络用于对所述前视图、所述俯视图、所述事件帧进行处理,生成至少一个所述目标物体的多维运动信息。
10.根据权利要求7所述的目标检测装置,其中,所述融合处理单元将所述激光点云数据与所述事件数据进行融合处理,生成至少一个所述目标物体的多维运动信息包括:
所述融合处理单元根据所述事件数据确定至少一个目标区域,得到所述至少一个目标区域的第一坐标信息,每一个所述目标区域对应一个所述目标物体;
所述融合处理单元根据所述第一坐标信息确定所述目标区域在所述激光点云数据中的第二坐标信息,生成至少一个所述目标物体的多维运动信息。
11.根据权利要求7至10中任意一项所述的目标检测装置,其中,所述第一传感器为动态视觉传感器,所述目标平面中光强变化信息包括所述目标平面中像素的光强的变化;
所述动态视觉传感器用于检测所述目标平面中像素的光强的变化,生成所述事件数据;所述事件数据包括所述目标平面光强发生变化的像素的坐标和光强变化信息、时间信息。
12.根据权利要求7至10中任意一项所述的目标检测装置,其中,所述目标检测装置还包括至少一个第二传感器;
所述第二传感器用于获取RGB图像生成RGB图像信号;
所述融合处理单元用于将至少一路所述RGB图像信号和所述激光点云数据、所述事件数据进行融合处理,生成至少一个所述目标物体的多维运动信息。
13.根据权利要求12所述的目标检测装置,其中,所述第二传感器为CMOS传感器。
14.一种融合处理单元,应用于目标检测装置,所述融合处理单元包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现根据权利要求1至6中任意一项所述的目标检测方法。
15.一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现根据权利要求1至6中任意一项所述的目标检测方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011562118.5A CN112816995B (zh) | 2020-12-25 | 2020-12-25 | 目标检测方法及装置、融合处理单元、计算机可读介质 |
PCT/CN2021/141370 WO2022135594A1 (zh) | 2020-12-25 | 2021-12-24 | 目标物体的检测方法及装置、融合处理单元、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011562118.5A CN112816995B (zh) | 2020-12-25 | 2020-12-25 | 目标检测方法及装置、融合处理单元、计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112816995A CN112816995A (zh) | 2021-05-18 |
CN112816995B true CN112816995B (zh) | 2024-03-01 |
Family
ID=75853927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011562118.5A Active CN112816995B (zh) | 2020-12-25 | 2020-12-25 | 目标检测方法及装置、融合处理单元、计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112816995B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022135594A1 (zh) * | 2020-12-25 | 2022-06-30 | 北京灵汐科技有限公司 | 目标物体的检测方法及装置、融合处理单元、介质 |
CN117975920A (zh) * | 2024-03-28 | 2024-05-03 | 深圳市戴乐体感科技有限公司 | 一种鼓槌动态识别定位方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10345447B1 (en) * | 2018-06-27 | 2019-07-09 | Luminar Technologies, Inc. | Dynamic vision sensor to direct lidar scanning |
CN111521161A (zh) * | 2019-02-05 | 2020-08-11 | 莱卡地球系统公开股份有限公司 | 包括事件相机的勘测装置 |
CN111582300A (zh) * | 2020-03-20 | 2020-08-25 | 北京航空航天大学 | 一种基于事件相机的高动态目标检测方法 |
CN111951313A (zh) * | 2020-08-06 | 2020-11-17 | 北京灵汐科技有限公司 | 图像配准方法、装置、设备及介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102248404B1 (ko) * | 2014-11-17 | 2021-05-07 | 삼성전자주식회사 | 움직임 분석 방법 및 움직임 분석 장치 |
-
2020
- 2020-12-25 CN CN202011562118.5A patent/CN112816995B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10345447B1 (en) * | 2018-06-27 | 2019-07-09 | Luminar Technologies, Inc. | Dynamic vision sensor to direct lidar scanning |
CN111521161A (zh) * | 2019-02-05 | 2020-08-11 | 莱卡地球系统公开股份有限公司 | 包括事件相机的勘测装置 |
CN111582300A (zh) * | 2020-03-20 | 2020-08-25 | 北京航空航天大学 | 一种基于事件相机的高动态目标检测方法 |
CN111951313A (zh) * | 2020-08-06 | 2020-11-17 | 北京灵汐科技有限公司 | 图像配准方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112816995A (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110163904B (zh) | 对象标注方法、移动控制方法、装置、设备及存储介质 | |
US11823429B2 (en) | Method, system and device for difference automatic calibration in cross modal target detection | |
CN110893617B (zh) | 障碍物检测方法、装置及存储装置 | |
CN110263652B (zh) | 激光点云数据识别方法及装置 | |
CN108377380B (zh) | 影像扫描系统及其方法 | |
US20210174548A1 (en) | Calibrating cameras using human skeleton | |
CN111753609A (zh) | 一种目标识别的方法、装置及摄像机 | |
CN112816995B (zh) | 目标检测方法及装置、融合处理单元、计算机可读介质 | |
WO2022135594A1 (zh) | 目标物体的检测方法及装置、融合处理单元、介质 | |
Kang et al. | Accurate fruit localisation using high resolution LiDAR-camera fusion and instance segmentation | |
JP6684475B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2022183685A1 (zh) | 目标检测方法、电子介质和计算机存储介质 | |
WO2022217988A1 (zh) | 传感器配置方案确定方法、装置、计算机设备、存储介质及程序 | |
WO2021114777A1 (en) | Target detection method, terminal device, and medium | |
CN110213491A (zh) | 一种焦距调整方法、装置及存储介质 | |
CN112666550B (zh) | 运动物体检测方法及装置、融合处理单元、介质 | |
WO2020124517A1 (zh) | 拍摄设备的控制方法、拍摄设备的控制装置及拍摄设备 | |
Amamra et al. | GPU-based real-time RGBD data filtering | |
CN113689508B (zh) | 点云标注方法、装置、存储介质及电子设备 | |
CN113281780B (zh) | 对图像数据进行标注的方法、装置及电子设备 | |
Zhang et al. | Data association between event streams and intensity frames under diverse baselines | |
Liu et al. | Outdoor camera calibration method for a GPS & camera based surveillance system | |
Layek et al. | Remote distance measurement from a single image by automatic detection and perspective correction | |
US11954924B2 (en) | System and method for determining information about objects using multiple sensors | |
CN111383262A (zh) | 遮挡检测方法、系统、电子终端以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |