CN108710367B - 激光数据识别方法、装置、机器人及存储介质 - Google Patents

激光数据识别方法、装置、机器人及存储介质 Download PDF

Info

Publication number
CN108710367B
CN108710367B CN201810502366.7A CN201810502366A CN108710367B CN 108710367 B CN108710367 B CN 108710367B CN 201810502366 A CN201810502366 A CN 201810502366A CN 108710367 B CN108710367 B CN 108710367B
Authority
CN
China
Prior art keywords
data
laser
point cloud
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810502366.7A
Other languages
English (en)
Other versions
CN108710367A (zh
Inventor
谢琨
曹军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201810502366.7A priority Critical patent/CN108710367B/zh
Publication of CN108710367A publication Critical patent/CN108710367A/zh
Application granted granted Critical
Publication of CN108710367B publication Critical patent/CN108710367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种激光数据识别方法、装置、机器人及存储介质，涉及机器人技术领域。其具体包括：获取激光装置采集的激光数据以及摄像装置采集的图像数据，激光装置和摄像装置的采集空间相同；确定图像数据中物体图像的识别结果；根据识别结果为激光数据中与物体图像对应的点云数据添加物体标签。采用上述方案，可以解决现有技术中，由于激光装置采集的激光数据过于稀疏，使得机器人得到过少信息量的技术问题，增强了机器人对外界环境的理解能力，为激光数据增加了具有语义的物体标签，丰富了激光数据所包含的信息内容，提高了机器人后续利用激光数据进行导航、定位时的准确性。

Description

激光数据识别方法、装置、机器人及存储介质
技术领域
本发明涉及机器人技术领域，尤其涉及一种激光数据识别方法、装置、机器人及存储介质。
背景技术
具有移动功能的机器人，是一类能够通过传感器感知环境和自身状态，实现在有障碍物的环境中面向目标的自主导航运动，从而完成预定任务的机器人系统。通常，机器人配置有激光装置，如2D激光雷达。激光装置可以通过发射与接收的激光数据确定周围环境的物体分布情况，通常被用于机器人定位、室内外场景重建以及测绘等场景中。然而，发明人在实现本发明的过程中，发现现有技术存在如下缺陷：激光装置采集的激光数据过于稀疏，使得机器人得到过少信息量，不利于机器人后续进行定位、场景重建以及测绘等操作。
发明内容
有鉴于此，本发明实施例提供一种激光数据识别方法、装置、机器人及存储介质，以解决现有技术中，由于激光装置采集的激光数据过于稀疏，使得机器人得到过少信息量的技术问题。
第一方面，本发明实施例提供了一种激光数据识别方法，包括：
获取激光装置采集的激光数据以及摄像装置采集的图像数据，所述激光装置和所述摄像装置的采集空间相同；
确定所述图像数据中物体图像的识别结果；
根据所述识别结果为所述激光数据中与所述物体图像对应的点云数据添加物体标签。
第二方面，本发明实施例还提供了一种激光数据识别装置，包括：
数据获取模块，用于获取激光装置采集的激光数据以及摄像装置采集的图像数据；
图像识别模块，用于确定所述图像数据中物体图像的识别结果；
标签添加模块，用于根据所述识别结果为所述激光数据中与所述物体图像对应的点云数据添加物体标签。
第三方面，本发明实施例还提供了一种机器人，包括：
用于采集激光数据的激光装置、用于采集图像数据的摄像装置以及一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的激光数据识别方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的激光数据识别方法。
上述提供的激光数据识别方法、装置、机器人及存储介质，通过获取摄像装置采集的图像数据，得到图像数据中物体图像的识别结果，并根据该识别结果为激光数据中与物体图像对应的点云数据添加物体标签的技术手段，解决了激光装置采集的激光数据过于稀疏，使得机器人得到过少信息量的技术问题，通过增加摄像装置，增强了机器人对外界环境的理解能力，为激光数据增加了具有语义的物体标签，丰富了激光数据所包含的信息内容，提高了机器人后续利用激光数据进行导航、定位时的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例一提供的一种激光数据识别方法的流程图；
图2为本发明实施例二提供的一种激光数据识别方法的流程图；
图3为机器人所在空间的平面示意图；
图4为激光数据示意图；
图5为机器人中激光装置与摄像装置的安装位置示意图；
图6为融合结果第一示意图；
图7为2D激光雷达采集的激光数据示意图；
图8为摄像头采集的图像数据示意图；
图9为图像识别结果示意图；
图10为激光数据聚类结果第一示意图；
图11为激光数据聚类结果第二示意图；
图12为融合结果第二示意图；
图13为添加物体标签后的激光数据示意图；
图14为本发明实施例三提供的一种激光数据识别装置的结构示意图；
图15为本发明实施例四提供的一种机器人的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
实施例一
图1为本发明实施例一提供的一种激光数据识别方法的流程图。本实施例提供的激光数据识别方法可以由激光数据识别装置执行，该激光数据识别装置可以通过软件和/或硬件的方式实现，并集成在机器人中。其中，机器人是指可以自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动，如移动小车。
具体的，参考图1，本实施例提供的激光数据识别方法具体包括：
S110、获取激光装置采集的激光数据以及摄像装置采集的图像数据。
在本实施例中，机器人配置有激光装置和摄像装置。其中，激光装置可以是2D激光雷达、3D激光雷达等。摄像装置可以是摄像头等。具体的，激光装置设置有相应的扫描范围，在该扫描范围内，激光装置在每个采样时刻向扫描范围内各采集角度发射一束激光。当激光遇到障碍物时会反射回激光装置，激光装置根据接收的反射激光绘制激光数据；当激光达到最大采集距离后，仍然没有遇到障碍物，则激光装置在该激光的发射方向上不会接收到反射回的激光。一般而言，一帧激光数据是指激光装置接收同一发射时刻反射回的激光后生成的数据，其一般以包含激光点的激光图像的形式体现。具体的，激光数据中一个激光点是根据一束激光发射和返回情况绘制的，其具体为根据激光的采集角度确定物体所在方向，根据激光的发射时间和接收时间确定物体与激光装置的距离，即采集距离。
进一步的，摄像装置对机器人周围的环境进行拍摄，以得到对应的图像数据。其中，图像数据可以是彩色图片、黑白图片等，优选为彩色图片。图像数据可以直观的反映出机器人周围的实体环境。
典型的，摄像装置和激光装置的采集空间相同。即激光装置的扫描范围和摄像装置的拍摄范围在实际空间中相互重叠。其中，采集空间中包括至少一个物体，该物体可以是静态物体和/或动态物体，采集空间可以是室内空间也可以是室外空间。通常，在实际应用中由于安装条件的限制等，会使得扫描范围和拍摄范围之间不能完全重叠，因此需要确定激光装置和摄像装置之间的相对位置关系，之后，根据相对位置关系将图像数据和激光数据对齐，以保证图像数据和激光数据的采集视角相同。其中，相对位置关系根据摄像装置和激光装置的外参确定，外参的具体内容可以根据实际情况设定。
可选的，激光数据和图像数据的采样频率可以相等也可以不相等，实施例中优选激光数据和图像数据的采样频率相等，以保证每一帧激光数据均有对应的图像数据相对应。
S120、确定图像数据中物体图像的识别结果。
其中，物体图像为图像数据对采集空间进行拍摄时，至少一个物体对应的图像。其中，物体可以人为选择也可以机器人自行确定。例如，机器人对图像数据进行识别，获取位于图像数据中心的物体的物体图像。又如，机器人对图像数据进行识别，获取图像数据中任一或者全部物体的物体图像。再如，机器人显示图像数据，根据用户选定的位置确定物体图像。具体的，物体图像可以是图像数据中的一个完整物体的图像，也可以是不完整的物体的图像。优选的，确定物体图像时，剔除图像数据中的背景图像。例如，采集空间为室内空间，则剔除背景墙后确定物体图像。又如，采集空间为室外草坪，则剔除草坪和天空，并确定物体图像。
可选的，在识别物体图像时，生成物体检测框，其标定物体图像对应的物体，即物体检测框圈住物体图像。该物体检测框一般为矩形框，其大小根据物体的大小决定。可选的，在物体检测框周围的设定区域显示识别结果。其中，识别结果包括但不限定于：物体图像中物体的物体名称以及表示物体名称准确度的第一概率值，还可选包括：物体颜色组成等。其中，物体名称一般为日常生活中所使用的通用名称，例如，人、狗、猫、马、花、椅子、桌子以及灯等等。由于识别过程可能存在误差，因此，在识别结果中增加第一概率值，通过第一概率值可以让机器人及用户明确物体名称的准确度。可选的，可以限定第一概率值的最大小数点数，以防止小数点数过多，增加后续计算难度。例如，物体识别结果为“狗，0.994”，则说明物体图像显示的物体为狗的概率为0.994。又如，物体识别结果为“人，0.979”，则说明物体图像显示的物体为人的概率为0.979。
可选的，在物体图像的识别过程中，可能生成多条识别结果，此时，可以设定显示全部识别结果，或者设定仅显示第一概率值最大的识别结果，或者是，设定显示条数，当生成的识别结果条数大于显示条数时，按照第一概率值由大到小的顺序，显示设定条数的识别结果。
一般而言，识别物体图像时采用目标检测技术，其是一种依赖于神经网络的图像检测技术，其可以识别出图像数据中包含的物体，并围绕物体周围绘制一个物体检测框，同时，可以得到包含物体名称和第一概率值的识别结果。目标检测技术可以采用：Faster-RCNN、YOLO V2版本以及YOLO其他衍生算法等。
S130、根据识别结果为激光数据中与物体图像对应的点云数据添加物体标签。
一般而言，采集空间中的物体会反射多束激光，这些激光的采集角度一般相邻或者相近。这些激光绘制到激光数据时，是以多个聚类到一起的激光点体现的。这些聚类到一起的激光点组成一簇点云聚类数据。其中，激光点聚类处理的具体实现算法可以根据实际情况设定，本实施例不作限定。
进一步的，由于激光装置和摄像装置的采集空间相同，因此，图像数据中的物体图像在激光数据中存在对应的点云数据，即采集空间中的物体存在相互对应的物体图像和点云数据。其中，在激光数据中确定与物体图像相对应的点云数据时，具体的实现方式可以根据实际情况设定。例如，将激光数据和图像数据融合后，取覆盖于物体图像的点云聚类数据作为与物体图像对应的点云数据。进一步的，在融合时为了提高准确度，获取激光装置和摄像装置的外参，进而确定激光装置和摄像装置之间的相对位置关系，根据相对位置关系确定激光装置和摄像装置在采集数据时同一物体的采集视角差异程度，进而根据采集视角差异程度修正融合结果。举例而言，激光装置位于摄像装置的正下方，那么在采集数据时，同一物体呈现在激光数据中和图像数据中可能存在采集视角的差异，此时，便可以通过相对位置关系修正差异。
进一步的，确定物体图像对应的点云数据后，为点云数据添加物体标签，以实现对激光数据的可视化表达。其中，根据物体图像的识别结果确定点云数据的物体标签。例如，直接将识别结果确定为物体标签。又如，根据识别结果对点云数据进行计算，以确定点云数据的名称为识别结果中物体名称的第二概率值，即相似度，进而将物体名称和第二概率值作为物体标签添加至点云数据中。
还可选的，计算激光数据中每簇点云聚类数据与物体图像的识别结果的第二概率值，选择第二概率值最大的点云聚类数据作为物体图像对应的点云数据，并根据物体图像的识别结果为该点云数据添加物体标签。
本实施例提供的技术方案，通过确定摄像装置采集的图像数据中物体图像的识别结果，并根据该识别结果为激光数据中与物体图像对应的点云数据添加物体标签的技术手段，解决了激光装置采集的激光数据过于稀疏，使得机器人得到过少信息量的技术问题，通过增加摄像装置，增强了机器人对外界环境的理解能力，为激光数据增加了具有语义的物体标签，丰富了激光数据所包含的信息内容，提高了机器人后续利用激光数据进行导航、定位时的准确性。
实施例二
图2为本发明实施例二提供的一种激光数据识别方法的流程图。本实施例是在上述实施例的基础上进行具体化。在实施例中，识别结果包括：物体图像中物体的物体名称及表示物体名称准确度的第一概率值。
具体的，参考图2，本实施例提供的激光数据识别方法具体包括：
S201、获取激光装置采集的激光数据以及摄像装置采集的图像数据。
S202、识别图像数据，以确定物体图像，并得到用于标定物体图像中物体的物体检测框以及物体图像对应的至少两个待选识别结果。
具体的，利用YOLO V2版本的目标检测算法进行图像识别，以得到标定物体图像中物体的物体检测框以及至少两个待选识别结果。其中，待选识别结果与识别结果包括的内容相同，均包括物体名称以及第一概率值。进一步的，当识别得到多个物体图像时，相邻物体图像或者部分重叠的两个物体图像间的物体检测框的颜色可以不同。
S203、选择第一概率值最大的待选识别结果作为识别结果。
其中，第一概率值越大说明待选识别结果的准确度越高，即物体名称为物体图像中物体的实际名称的准确度越高。因此，本实施例中选择第一概率值最大的待选识别结果作为物体图像的识别结果。可选的，在物体检测框周边仅显示识别结果，或者是按照第一概率值由大到小的顺序显示设定数量的待选识别结果。可选的，在显示识别结果时，可以同时显示物体名称和第一概率值，或者仅显示物体名称。或者是，仅显示物体检测框，以提示识别出的物体图像，而不显示识别结果。
S204、对激光数据中各激光点进行聚类处理，以得到至少一簇点云聚类数据。
具体的，激光数据可以体现障碍物的物理位置信息，即障碍物与机器人的相对位置关系。因此，根据各激光点的物理位置信息，将物理位置信息相近的同一簇激光点标记为一类，即一簇点云聚类数据。其中，每簇点云聚类数据代表采集空间中的一个物体。例如，图3为机器人所在空间的平面示意图。机器人21的激光装置在当前采集空间内间隔相同角度发射激光时，激光覆盖范围为区域22。进一步的，图4为激光数据示意图，其表明激光装置在当前采集空间内得到的激光数据。由图4可知，激光数据是由一系列激光点组成的，每个激光点为激光装置接收到的反射激光。其中，同个物体在激光装置扫描得到的激光数据中各激光点是邻近且平滑变化的，例如，物体23在激光数据中对应的激光点24是平滑的。实施例中，基于同个物体在激光数据中各激光点是邻近且平滑变化的特点，对激光数据中的各激光点进行聚类处理，以将同一物体对应的激光点聚类在一起，便于为同一物体对应的激光点统一添加物体标签。
可选的，该步骤具体包括：
S2041、在激光数据中，计算第K个激光点对应的距离变化率以及第K个激光点与第K-1个激光点的距离差值。
具体的，对激光数据中的每个激光点进行编号。编号规则可以根据实际情况设定。例如，按照激光采集角度顺序编号。其中，第K个激光点为激光数据中的任一激光点。第K-1个激光点与第K个激光点的发射角度相邻。可选的，1≤K≤N，N为激光数据中激光点的总个数。当K＝1时，第K-1个激光点的距离记为0。
可选的，计算第K个激光点的距离变化率时，首先分别确定相邻两帧激光数据中该激光点的采集距离，而后将采集距离作差以得到第K个激光点的距离变化率。同样的，计算第K个激光点与第K-1个激光点的距离差值时，分别计算第K个激光点和第K-1个激光点的采集距离，即计算第K个激光点对应的物体到激光装置的距离以及计算第K-1个激光点对应的物体到激光装置的距离，进而确定距离差值。
还可选的，确定激光数据中各激光点的采集距离，并计算各采集距离的一阶导数，以得到采集角度相邻的两个激光点对应的距离差值，即第K个激光点与第K-1个激光点的距离差值。进一步的，计算各采集距离的二阶导数，以得到每个激光点的距离变化率，即第K个激光点的距离变化率。
S2042、判断是否满足距离变化率大于变化率阈值且距离差值大于距离阈值。如果距离变化率大于变化率阈值且距离差值大于距离阈值，则执行S2043。否则，执行S2044。
具体的，距离变化率越大说明第K个激光点代表一个新出现物体的概率越大，距离差值越大说明第K个激光点与第K-1个间的距离越大，进一步的说明第K个激光点与第K-1个激光点属于不同物体的概率越大。因此，设定变化率阈值和距离阈值，通过变化率阈值和距离阈值判断第K个激光点与第K-1个激光点是否属于同一物体。其中，变化率阈值可以根据采集空间的实际情况设定，距离阈值可以根据激光装置在使用时的误差参数决定。
S2043、将第K个激光点归类为新一簇点云聚类数据。
具体的，当距离变化率大于变化率阈值且距离差值大于距离阈值时，确认第K个激光点与第K-1个激光点属于两个不同物体，即将第K个激光点归类为新一簇点云聚类数据。
举例而言，if d1＞σ1and d2＞σ2，则将第K个激光点确定为新一簇点云聚类数据。其中，d1＝ranges'，σ1为距离阈值，d2＝ranges”，σ2为变化率阈值，ranges为一帧激光数据中第K个激光点的采集距离，d1为采集距离的一阶导数，d2为采集距离的二阶导数。
S2044、将第K个激光点与第K-1个激光点归为一类。
具体的，如果第K个激光点的距离变化率和距离差值均没有大于对应的变化率阈值和距离阈值，则将第K个激光点与第K-1个激光点归为一类。
设置变化率阈值和距离阈值的好处是可以更加准确的对同一物体对应的激光点进行聚类。举例而言，由于物体的外部形态因素，使得激光数据中该物体对应的第K个激光点与该物体对应的第K-1个激光点间距离差值大于距离阈值，但是第K个激光点的变化率的距离变化率小于变化率阈值，此时，仍然可以认为第K个激光点与第K-1个激光点为同一物体对应的激光点。
可选的，由于采集空间中任一物体在激光数据中均由至少两个激光点体现，因此，在聚类完成后，剔除仅包含一个激光点的点云聚类数据，以达到对激光数据进行去噪。
上述聚类方法可以记为填充聚类方法。
考虑到实际应用中，采集空间中的物体可能处于运动状态，此时，激光装置采集的各帧激光数据中，表明该物体的激光点在各激光数据中是变化的。当物体逐渐靠近背景(如墙壁)时，激光数据中，该物体对应的激光点与背景对应的激光点的距离越近且越平滑，此时，很容易将该物体对应的激光点与背景对应的激光点聚为一类。为了有效在激光数据中分离运动的物体与背景，可以采用动态算法(dynamic means)，该算法主要利用狄利克雷过程(Dirichlet process)和马尔科夫链(Markov chain)。其具体考虑激光数据的采集时间，在每次进行聚类处理时，基于上一采样时刻得到的点云聚类数据确定本次聚类处理结果的预测值，进而对本次聚类结果进行修正。此时，不仅能实现对激光数据的聚类处理，还可以实现数据跟踪，有效在激光数据中分离运动的物体与背景。其中，该算法具体包括下述步骤：
S2045、基于前一帧激光数据得到的历史点云聚类数据确定激光数据的聚类结果预测值。
具体的，调取上一采样时刻激光数据的点云聚类数据，即前一帧激光数据的历史点云聚类数据。进一步的，结合历史点云聚类数据确定激光数据中各激光点的聚类结果预设值。其具体方式本实施例不作限定，例如，比较前一帧激光数据和当前激光数据，将当前激光数据中与历史点云聚类数据的位置相近、形状相似的一簇激光点确定为聚类结果预测值。
其中，每帧激光数据的聚类处理方式与S2041-S2044提及的处理方式类似，在此不作赘述。
S2046、根据聚类结果预测值修正激光数据的聚类处理结果，以得到修修正后的至少一簇点云聚类数据。
示例性的，比较激光数据的聚类处理结果以及聚类结果预测值，如果根据聚类结果预测值确定聚类处理结果中某一簇点云聚类数据实际对应两个不同的物体，那么将该簇点云聚类数据基于聚类结果预测值分成两簇点云聚类数据，即得到修正后的至少一簇点云聚类数据。
需要说明的是，S2041-S2046仅是示例性的描述了两种可以得到点云聚类数据的方法，其它可以实现激光数据聚类处理的方法同样适用于本实施例。
需要说明的是，识别图像数据和对激光数据进行聚类处理为两个不同的操作，可以同时执行，也可以先后执行，实施例对此并不限定。
S205、获取激光装置和摄像装置在采集数据时的相对位置关系。
由于激光装置和摄像装置无法安装在同一位置中，因此，在采集数据时，激光数据和图像数据之间是存在一定偏差的。例如，图5为机器人中激光装置与摄像装置的安装位置示意图。参考图5，该机器人中，激光装置26位于摄像装置25的正下方。此时，激光装置26在水平线27所在的平面上发送激光数据。摄像装置25的拍摄范围为区域28。此时，从机器人的采集视角而言，激光数据的采集视角是在图像数据的采集视角正下方。因此，在数据融合时，需要考虑图像数据的采集视角和激光数据的采集视角不同。
具体的，根据激光装置和摄像装置的外参确定表示激光装置和摄像装置的相对位置关系，根据相对位置关系可以确定激光装置和摄像装置间采集视角的差异。其中，外参包括但不限定于：安装位置与地面的距离、采集数据时对应的采集区域等。进一步的，根据外参确定相对位置关系的具体实施方式本实施例不作限定。
S206、根据相对位置关系融合激光数据与图像数据。
具体的，融合激光数据和图像数据时，根据相对位置关系将两个数据的采集视角对齐，以保证数据融合的准确性。具体的，在数据融合时，可以对激光数据和/或图像数据进行缩放、移动等操作，举例而言，激光装置位于摄像装置的正下方N个单位距离，机器人根据该相对位置关系确定激光装置的采集视角位于摄像装置的采集视角的正下方M个单位距离，进而在激光数据与摄像数据融合时，将激光数据的视角中心点正上方M个单位距离的数据点与摄像数据的视角中心点对齐，以实现激光数据与摄像数据的准确融合。
S207、根据融合结果，在至少一簇点云聚类数据中确定与物体图像对应的点云数据。
具体的，图6为融合结果第一示意图。参考图6，激光数据与图像数据融合后，每个激光点均能在图像数据中找到相对应的像素点。据此，将融合后物体图像对应的点云聚类数据作为对应的点云数据。
S208、计算物体图像和物体图像对应的点云数据在采集时的角度相似度和距离相似度。
其中，角度相似度表示点云数据的采集角度与物体图像的采集角度之间的重合度。进一步的，距离相似度表示基于点云数据确定的物体与激光装置的距离和基于物体图像确定的物体与摄像装置的距离之间的相似度。具体的，角度相似度和距离相似度越高，表明点云数据与物体图像的融合度越准确，点云数据代表物体图像中物体的概率越大。
具体的，利用公式
Figure BDA0001670799630000141
计算物体图像和物体图像对应的点云数据在采集时的角度相似度，其中，h为角度相似度，d为第一采集角度和第二采集角度的差值，第一采集角度为采集图像数据时物体检测框中心点对应的采集角度，物体检测框在识别物体图像时生成且用于标定物体图像中物体，第二采集角度为采集激光数据时点云数据的中心点对应的采集角度，σ为物体检测框的宽度，e为自然常数。
其中，物体检测框一般为矩形或者正方形，物体检测框中心点为矩形或者正方形的中心，确定物体检测框中心后，机器人可以确定利用摄像装置采集当前图像数据时，该物体检测框中心对应的拍摄角度，记为第一采集角度。进一步的，确定点云数据对应的几何图形，取该几何图形的中心点作为点云数据的中心点，即点云数据的中心点为点云数据的物理位置中心点。确定点云数据的中心点后，机器人可以确定利用激光装置采集当前激光数据时，该点云数据的中心点对应的采集角度，记为第二采集角度。而后，将第一采集角度与第二采集角度做差，便可以得到d。
利用公式
Figure BDA0001670799630000151
计算图像数据和点云数据在采集时的距离相似度，其中，l为距离相似度，rc为点云数据的中心点的采集距离，rmax为激光装置的最大采集距离。
可选的，为了保证rc的准确性，可以先确定rc是否大于rmax。如果rc大于rmax，则说明点云数据的中心点的采集距离超过了激光装置的最大采集距离，这类情况可能是因为激光数据在物体上发生了漫反射，因此，当rc大于rmax时，可以将rc与rmax的差值作为点云数据的中心点的采集距离，以防止由于漫反射造成的计算误差。
S209、根据角度相似度、距离相似度以及第一概率值计算点云数据的名称为物体名称的第二概率值。
具体的，图像数据和激光数据在融合时，可能会存在融合误差，这会导致点云数据对应的物体的名称与图像数据中物体对应的物体名称不同。因此，为了保证结果准确性，需要计算物体名称为点云数据名称的第二概率值。
具体的，利用公式prob＝(wh*h+wl*l)*prob_obj计算点云数据为物体名称的第二概率值，其中，prob为第二概率值，h为角度相似度，wh为h的归一化权值，l为距离相似度，wl为l的归一化权值，prob_obj为第一概率值。
其中，wh和wl的具体值可以根据实际情况设定。从上述公式可以看出第二概率值结合了物体名称的第一概率值以及数据融合时物体图像与点云数据的距离相似度和角度相似度，保证了物体标签的准确性。
S210、将第二概率值和物体名称投影到激光数据，以实现为点云数据添加物体标签。
具体的，物体标签包括第二概率值和物体名称。其中，投影的具体方式实施例中不作限定，只要满足用户在观看激光数据时，可以确定点云数据的物体名称和第二概率值即可。进一步的，物体标签的显示位置和显示参数可以根据实际情况设定，其中，显示参数包括但不限定于：字体、字号以及颜色等。可选的，物体标签中也可以仅包括物体名称，此时，用户在观看激光数据时，仅可以确定点云数据的物体名称。
下面对本实施例提供的方案进行示例性描述：
本示例中，机器人为智能移动小车，摄像装置为摄像头，激光装置为2D激光雷达。其中，图5为智能移动小车的结构示意图，参考图5，摄像头位于2D激光雷达的正上方，其采集空间均为智能移动小车的前进方向。智能移动小车中存有摄像头和2D激光雷达的外参。
具体的，智能移动小车位于室内。进一步的，2D激光雷达和摄像头同时采集数据。其中，图7为2D激光雷达采集的激光数据示意图。图8为摄像头采集的图像数据示意图。
进一步的，利用YOLO V2版本的目标检测算法对图8的图像数据进行图像识别，此时，识别结果如图9所示。参考图9，在图像识别时，同步输出了物体检测框29以及物体名称：potted plant0(盆栽植物0)。需要说明的是图9中并未写明物体名称对应的第一概率值。实际应用中，可以同步显示第一概率值。
具体的，当利用填充聚类方法对图7的激光数据进行聚类时，识别结果如图10所示。参考图10，经过填充聚类方法，将激光数据中距离相近的激光点归类为一簇点云数据。当利用动态算法对图7的激光数据进行聚类时，识别结果如图11所示。参考图11，经过动态算法，将激光数据中距离相近且运动轨迹相似的激光点归类为一簇点云数据。
进一步的，集合2D激光雷达和摄像头的外参对激光数据和图像数据进行融合。其中，融合结果如图6所示。参考图6，将激光数据中各激光点映射到图像数据中，以此可以确定图像数据中物体图像对应的点云数据。为了便于理解，可以将对图像数据识别后得到的数据与激光数据继续融合，其参考图12，此时，在融合得到的数据中同步显示识别结果。
之后，利用公式
Figure BDA0001670799630000171
和
Figure BDA0001670799630000172
计算角度相似度和距离相似度，进而利用公式prob＝(wh*h+wl*l)*prob_obj计算第二相似度，以得到点云数据的物体标签。进一步的，在激光数据中为该点云数据添加物体标签。其中，图13为添加物体标签后的激光数据示意图。参考图13，点云数据2010的第一标线2011表示2D激光雷达所在的方向，即第二采集角度。点云数据2010的第二标线2012表示摄像头所在的方向，即第二采集角度。进一步的，在第二标线2012上显示物体标签2013。其中，图13中仅示例性的显示了物体名称，实际应用中，可以同步显示第二标签概率。
本实施例提供的技术方案，通过获取摄像装置采集的图像数据，得到图像数据中物体图像的待选识别结果，并将第一概率值最大的待选识别结果作为物体图像的识别结果，并且，获取激光装置采集的激光数据，对激光数据进行聚类处理，以得到至少一簇点云聚类数据，之后，根据激光装置和摄像装置的相对位置关系将激光数据和图像数据进行融合，以确定物体图像对应的点云数据，而后，利用物体图像与点云数据的角度相似度和距离相似度、以及目标物体的第一概率值确定点云数据名称为物体名称的第二概率值，并在激光数据中显示物体标签的技术手段，解决了激光装置采集的激光数据过于稀疏，使得机器人得到过少信息量的技术问题，通过增加摄像装置，增强了机器人对外界环境的理解能力，为激光数据增加了具有语义的物体标签，同时，利用图像识别技术、激光聚类算法分别针对图像数据和激光数据进行处理，而后，通过设定计算保证了激光数据和图像数据的融合准确性，保证了物体标签的准确度，丰富了激光数据所包含的信息内容，提高了机器人后续利用激光数据进行导航、定位时的准确性。
实施例三
图14为本发明实施例三提供的一种激光数据识别装置的结构示意图。参考图14，本实施例提供的激光数据识别装置具体包括：数据获取模块301、图像识别模块302以及标签添加模块303。
其中，数据获取模块301，用于获取激光装置采集的激光数据以及摄像装置采集的图像数据；图像识别模块302，用于确定图像数据中物体图像的识别结果；标签添加模块303，用于根据识别结果为激光数据中与物体图像对应的点云数据添加物体标签。
本实施例提供的技术方案，通过确定摄像装置采集的图像数据中物体图像的识别结果，并根据该识别结果为激光数据中与物体图像对应的点云数据添加物体标签的技术手段，解决了激光装置采集的激光数据过于稀疏，使得机器人得到过少信息量的技术问题，通过增加摄像装置，增强了机器人对外界环境的理解能力，为激光数据增加了具有语义的物体标签，丰富了激光数据所包含的信息内容，提高了机器人后续利用激光数据进行导航、定位时的准确性。
在上述实施例的基础上，识别结果包括：物体图像的物体名称及表示名称准确度的第一概率值。相应的，标签添加模块303包括：数据计算单元，用于计算物体图像和物体图像对应的点云数据在采集时的角度相似度和距离相似度，点云数据在激光数据中；概率计算单元，用于根据角度相似度、距离相似度以及第一概率值计算点云数据的名称为物体名称的第二概率值；标签投影单元，用于将第二概率值和物体名称投影到激光数据，以实现为点云数据添加物体标签。
在上述实施例的基础上，数据计算单元包括：角度计算子单元，用于利用公式
Figure BDA0001670799630000191
计算物体图像和物体图像对应的点云数据在采集时的角度相似度，其中，h为角度相似度，d为第一采集角度和第二采集角度的差值，第一采集角度为采集图像数据时物体检测框中心点对应的采集角度，物体检测框在识别物体图像时生成且用于标定物体图像中物体，第二采集角度为采集激光数据时点云数据的中心点对应的采集角度，σ为物体检测框的宽度，e为自然常数；距离计算子单元，用于利用公式
Figure BDA0001670799630000192
计算图像数据和点云数据在采集时的距离相似度，其中，l为距离相似度，rc为点云数据中心点的采集距离，rmax为激光装置的最大采集距离。
在上述实施例的基础上，概率计算单元具体用于：利用公式prob＝(wh*h+wl*l)*prob_obj计算点云数据为物体名称的第二概率值，其中，prob为第二概率值，h为角度相似度，wh为h的归一化权值，l为距离相似度，wl为l的归一化权值，prob_obj为第一概率值。
在上述实施例的基础上，图像识别模块302具体包括：待选结果确定单元，用于识别图像数据，以确定物体图像，并得到用于标定物体图像中物体的物体检测框以及物体图像对应的至少两个待选识别结果；结果选择单元，用于选择第一概率值最大的待选识别结果作为识别结果。
在上述实施例的基础上，还包括：聚类处理模块，用于根据识别结果为激光数据中与物体图像对应的点云数据添加物体标签之前，对激光数据中各激光点进行聚类处理，以得到至少一簇点云聚类数据，每簇点云聚类数据代表采集空间中的一个物体；相对关系获取模块，用于根据相对位置关系融合激光数据与图像数据；点云确定模块，用于根据融合结果，在至少一簇点云聚类数据中确定与物体图像对应的点云数据。
在上述实施例的基础上，聚类处理模块包括：差值计算单元，用于在激光数据中，计算第K个激光点对应的距离变化率以及第K个激光点与第K-1个激光点的距离差值，第K个激光点为激光数据中的任一激光点；归类单元，用于如果距离变化率大于变化率阈值且距离差值大于距离阈值，则将第K个激光点归类为新一簇点云聚类数据。
在上述实施例的基础上，还包括：聚类预测模块，用于如果距离变化率大于变化率阈值且距离差值大于距离阈值，则将第K个激光点归类为新一簇点云聚类数据之后，基于前一帧激光数据得到的历史点云聚类数据确定激光数据的聚类结果预测值；聚类修正模块，用于根据聚类结果预测值修正激光数据的聚类处理结果，以得到修正后的至少一簇点云聚类数据。
本实施例提供的激光数据识别装置可用于执行上述任意实施例提供的激光数据识别方法，具备相应的功能和有益效果。
实施例四
图15为本发明实施例四提供的一种机器人的结构示意图。如图15所示，该机器人包括处理器40、存储器41、输入装置42、输出装置43、激光装置44以及摄像装置45；机器人中处理器40的数量可以是一个或多个，图15中以一个处理器40为例；智能设备中的处理器40、存储器41、输入装置42、输出装置43、激光装置44以及摄像装置45可以通过总线或其他方式连接，图15中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例所述的激光数据识别方法对应的程序指令/模块(例如，激光数据识别装置中的数据获取模块301、图像识别模块302以及标签添加模块303。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行机器人的各种功能应用以及数据处理，即实现上述的激光数据识别装置。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据智能设备的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至机器人。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息，以及产生与机器人的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备、扬声器以及蜂鸣器等音频设备。激光装置44，用于采集激光数据，其具体型号可以根据实际情况设定。摄像装置45，用于采集图像数据，其具体型号可以根据实际情况设定。在上述实施例的基础上，机器人还可以包括；移动装置(图未示)，其可用于控制机器人进行移动。
本实施例提供的机器人可以用于执行上述任意实施例提供的激光数据识别方法，具备相应的功能和有益效果。
实施例五
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种激光数据识别方法，该激光数据识别方法包括：
获取激光装置采集的激光数据以及摄像装置采集的图像数据，激光装置和摄像装置的采集空间相同；
确定图像数据中物体图像的识别结果；
根据识别结果为激光数据中与物体图像对应的点云数据添加物体标签。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的激光数据识别方法操作,还可以执行本发明任意实施例所提供的激光数据识别方法中的相关操作，且具备相应的功能和有益效果。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的激光数据识别方法。
值得注意的是，上述激光数据识别装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种激光数据识别方法，其特征在于，包括：
获取激光装置采集的激光数据以及摄像装置采集的图像数据，所述激光装置和所述摄像装置的采集空间相同；
确定所述图像数据中物体图像的识别结果，所述识别结果包括：所述物体图像中物体的物体名称及表示所述物体名称准确度的第一概率值；
计算所述物体图像和所述物体图像对应的点云数据在采集时的角度相似度和距离相似度，所述点云数据在所述激光数据中；
根据所述角度相似度、距离相似度以及所述第一概率值的计算结果，为所述激光数据中与所述物体图像对应的点云数据添加物体标签。
2.根据权利要求1所述的激光数据识别方法，其特征在于，所述根据所述角度相似度、距离相似度以及所述第一概率值的计算结果，为所述激光数据中与所述物体图像对应的点云数据添加物体标签包括：
根据所述角度相似度、距离相似度以及所述第一概率值计算所述点云数据的名称为所述物体名称的第二概率值；
将所述第二概率值和所述物体名称投影到所述激光数据，以实现为所述点云数据添加物体标签。
3.根据权利要求2所述的激光数据识别方法，其特征在于，所述计算所述物体图像和所述物体图像对应的点云数据在采集时的角度相似度和距离相似度包括：
利用公式
Figure FDA0003363783170000011
计算所述物体图像和所述物体图像对应的点云数据在采集时的角度相似度，其中，h为角度相似度，d为第一采集角度和第二采集角度的差值，所述第一采集角度为采集图像数据时物体检测框中心点对应的采集角度，所述物体检测框在识别所述物体图像时生成且用于标定所述物体图像中物体，所述第二采集角度为采集激光数据时所述点云数据的中心点对应的采集角度，σ为物体检测框的宽度，e为自然常数；
利用公式l＝1-rc/rmax计算所述物体图像和所述点云数据在采集时的距离相似度，其中，l为距离相似度，rc为所述点云数据的中心点的采集距离，rmax为所述激光装置的最大采集距离。
4.根据权利要求2所述的激光数据识别方法，其特征在于，所述根据所述角度相似度、距离相似度以及所述第一概率值计算所述点云数据的名称为所述物体名称的第二概率值包括：
利用公式prob＝(wh*h+wl*l)*prob_obj计算所述点云数据为所述物体名称的第二概率值，其中，prob为第二概率值，h为角度相似度，wh为h的归一化权值，l为距离相似度，wl为l的归一化权值，prob_obj为第一概率值。
5.根据权利要求2所述的激光数据识别方法，其特征在于，所述确定图像数据中物体图像的识别结果包括：
识别所述图像数据，以确定物体图像，并得到用于标定物体图像中物体的物体检测框以及所述物体图像对应的至少两个待选识别结果；
选择所述第一概率值最大的待选识别结果作为识别结果。
6.根据权利要求1所述的激光数据识别方法，其特征在于，所述根据所述识别结果为所述激光数据中与所述物体图像对应的点云数据添加物体标签之前，还包括：
对所述激光数据中各激光点进行聚类处理，以得到至少一簇点云聚类数据，每簇点云聚类数据代表所述采集空间中的一个物体；
获取所述激光装置和所述摄像装置在采集数据时的相对位置关系；
根据所述相对位置关系融合所述激光数据与所述图像数据；
根据融合结果，在所述至少一簇点云聚类数据中确定与所述物体图像对应的点云数据。
7.根据权利要求6所述的激光数据识别方法，其特征在于，所述对所述激光数据中各激光点进行聚类处理，以得到至少一簇点云聚类数据包括：
在所述激光数据中，计算第K个激光点对应的距离变化率以及所述第K个激光点与第K-1个激光点的距离差值，所述第K个激光点为所述激光数据中的任一激光点；
如果所述距离变化率大于变化率阈值且所述距离差值大于距离阈值，则将所述第K个激光点归类为新一簇点云聚类数据。
8.根据权利要求7所述的激光数据识别方法，其特征在于，所述如果所述距离变化率大于变化率阈值且所述距离差值大于距离阈值，则将所述第K个激光点归类为新一簇点云聚类数据之后，还包括：
基于前一帧激光数据得到的历史点云聚类数据确定所述激光数据的聚类结果预测值；
根据所述聚类结果预测值修正所述激光数据的聚类处理结果，以得到修正后的至少一簇点云聚类数据。
9.一种激光数据识别装置，其特征在于，包括：
数据获取模块，用于获取激光装置采集的激光数据以及摄像装置采集的图像数据；
图像识别模块，用于确定所述图像数据中物体图像的识别结果，所述识别结果包括：所述物体图像中物体的物体名称及表示所述物体名称准确度的第一概率值；
数据计算单元，用于计算所述物体图像和所述物体图像对应的点云数据在采集时的角度相似度和距离相似度，所述点云数据在所述激光数据中；
标签添加模块，用于根据所述角度相似度、距离相似度以及第一概率值的计算结果，为所述激光数据中与所述物体图像对应的点云数据添加物体标签。
10.根据权利要求9所述的激光数据识别装置，其特征在于，所述标签添加模块包括：
概率计算单元，用于根据所述角度相似度、距离相似度以及所述第一概率值计算所述点云数据的名称为所述物体名称的第二概率值；
标签投影单元，用于将所述第二概率值和所述物体名称投影到所述激光数据，以实现为所述点云数据添加物体标签。
11.一种机器人，其特征在于，包括：
用于采集激光数据的激光装置、用于采集图像数据的摄像装置以及一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的激光数据识别方法。
12.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一所述的激光数据识别方法。
CN201810502366.7A 2018-05-23 2018-05-23 激光数据识别方法、装置、机器人及存储介质 Active CN108710367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810502366.7A CN108710367B (zh) 2018-05-23 2018-05-23 激光数据识别方法、装置、机器人及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810502366.7A CN108710367B (zh) 2018-05-23 2018-05-23 激光数据识别方法、装置、机器人及存储介质

Publications (2)

Publication Number Publication Date
CN108710367A CN108710367A (zh) 2018-10-26
CN108710367B true CN108710367B (zh) 2022-02-11

Family

ID=63869339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810502366.7A Active CN108710367B (zh) 2018-05-23 2018-05-23 激光数据识别方法、装置、机器人及存储介质

Country Status (1)

Country Link
CN (1) CN108710367B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766882B (zh) * 2018-12-18 2020-11-20 北京诺亦腾科技有限公司 人体光点的标签识别方法、装置
CN109848988B (zh) * 2019-01-24 2022-12-06 深圳市普森斯科技有限公司 一种基于历史多帧点云信息融合的扫描匹配方法及系统
CN110533923B (zh) * 2019-08-29 2020-10-13 北京精英路通科技有限公司 停车管理方法、装置、计算机设备及存储介质
CN111193865B (zh) * 2019-12-31 2021-08-03 维沃移动通信有限公司 图像处理方法和装置
CN113542646A (zh) * 2020-05-29 2021-10-22 杭州美盛红外光电技术有限公司 检测导航记录装置和检测导航记录方法
CN113075692A (zh) * 2021-03-08 2021-07-06 北京石头世纪科技股份有限公司 目标检测及控制方法、系统、设备及存储介质
CN118279140B (zh) * 2024-06-03 2024-08-13 中汽建工(洛阳)检测有限公司 一种基于激光点云的全景影像生成方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770566A (zh) * 2008-12-30 2010-07-07 复旦大学 快速三维人耳识别方法
CN103308923A (zh) * 2012-03-15 2013-09-18 通用汽车环球科技运作有限责任公司 来自多个激光雷达的距离图像配准方法
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
EP2728376A1 (en) * 2012-11-05 2014-05-07 The Chancellor, Masters and Scholars of the University of Oxford Extrinsic calibration of imaging sensing devices and 2D LIDARs mounted on transportable apparatus
CN103854320A (zh) * 2012-12-05 2014-06-11 上海海事大学 基于激光雷达的车型自动识别装置及其识别方法
CN104036550A (zh) * 2014-06-25 2014-09-10 北京师范大学 基于形状语义的建筑立面激光雷达点云解译与重建的方法
CN105447855A (zh) * 2015-11-13 2016-03-30 中国人民解放军空军装备研究院雷达与电子对抗研究所 一种地面三维激光扫描点云球面目标自动识别方法
CN106054208A (zh) * 2016-08-16 2016-10-26 长春理工大学 多线激光雷达车辆目标识别方法和汽车的防撞装置
CN106529417A (zh) * 2016-10-17 2017-03-22 北海益生源农贸有限责任公司 一种视觉激光数据融合的道路检测方法
CN106707293A (zh) * 2016-12-01 2017-05-24 百度在线网络技术（北京）有限公司 用于车辆的障碍物识别方法和装置
CN106774296A (zh) * 2016-10-24 2017-05-31 中国兵器装备集团自动化研究所 一种基于激光雷达和ccd摄像机信息融合的障碍检测方法
CN107093210A (zh) * 2017-04-20 2017-08-25 北京图森未来科技有限公司 一种激光点云标注方法及装置
WO2017222558A1 (en) * 2016-06-24 2017-12-28 Isee, Inc. Laser-enhanced visual simultaneous localization and mapping (slam) for mobile devices
CN107576960A (zh) * 2017-09-04 2018-01-12 苏州驾驶宝智能科技有限公司 视觉雷达时空信息融合的目标检测方法及系统
CN107945198A (zh) * 2016-10-13 2018-04-20 北京百度网讯科技有限公司 用于标注点云数据的方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593643B (zh) * 2012-08-16 2019-02-12 百度在线网络技术（北京）有限公司 一种图像识别的方法及系统
CN107292291B (zh) * 2017-07-19 2020-04-03 北京智芯原动科技有限公司 一种车辆识别方法和系统
CN107609554A (zh) * 2017-09-12 2018-01-19 海信（山东）冰箱有限公司 一种识别冰箱中食材的方法及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770566A (zh) * 2008-12-30 2010-07-07 复旦大学 快速三维人耳识别方法
CN103308923A (zh) * 2012-03-15 2013-09-18 通用汽车环球科技运作有限责任公司 来自多个激光雷达的距离图像配准方法
EP2728376A1 (en) * 2012-11-05 2014-05-07 The Chancellor, Masters and Scholars of the University of Oxford Extrinsic calibration of imaging sensing devices and 2D LIDARs mounted on transportable apparatus
CN103854320A (zh) * 2012-12-05 2014-06-11 上海海事大学 基于激光雷达的车型自动识别装置及其识别方法
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
CN104036550A (zh) * 2014-06-25 2014-09-10 北京师范大学 基于形状语义的建筑立面激光雷达点云解译与重建的方法
CN105447855A (zh) * 2015-11-13 2016-03-30 中国人民解放军空军装备研究院雷达与电子对抗研究所 一种地面三维激光扫描点云球面目标自动识别方法
WO2017222558A1 (en) * 2016-06-24 2017-12-28 Isee, Inc. Laser-enhanced visual simultaneous localization and mapping (slam) for mobile devices
CN106054208A (zh) * 2016-08-16 2016-10-26 长春理工大学 多线激光雷达车辆目标识别方法和汽车的防撞装置
CN107945198A (zh) * 2016-10-13 2018-04-20 北京百度网讯科技有限公司 用于标注点云数据的方法和装置
CN106529417A (zh) * 2016-10-17 2017-03-22 北海益生源农贸有限责任公司 一种视觉激光数据融合的道路检测方法
CN106774296A (zh) * 2016-10-24 2017-05-31 中国兵器装备集团自动化研究所 一种基于激光雷达和ccd摄像机信息融合的障碍检测方法
CN106707293A (zh) * 2016-12-01 2017-05-24 百度在线网络技术（北京）有限公司 用于车辆的障碍物识别方法和装置
CN107093210A (zh) * 2017-04-20 2017-08-25 北京图森未来科技有限公司 一种激光点云标注方法及装置
CN107576960A (zh) * 2017-09-04 2018-01-12 苏州驾驶宝智能科技有限公司 视觉雷达时空信息融合的目标检测方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《Large-scale urban point cloud labeling and reconstruction》;Liqiang Zhang 等;《ISPRS Journal of Photogrammetry and Remote Sensing》;20180430;第86-99页 *
《一种新的激光灰度图像标记方法研究》;司徒加旻;《激光技术》;20100531;第389-391页 *
《基于三维激光雷达的动态障碍物检测和追踪方法》;邹斌 等;《汽车技术》;20170831;第19-25页 *
《基于语义建图的室内机器人实时场景分类》;张文 等;《传感器与微系统》;20170831;第18-21、28页 *

Also Published As

Publication number Publication date
CN108710367A (zh) 2018-10-26

Similar Documents

Publication Publication Date Title
CN108710367B (zh) 激光数据识别方法、装置、机器人及存储介质
US11816907B2 (en) Systems and methods for extracting information about objects from scene information
CN111461245B (zh) 一种融合点云和图像的轮式机器人语义建图方法及系统
CN109977813B (zh) 一种基于深度学习框架的巡检机器人目标定位方法
US9911340B2 (en) Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
US11328521B2 (en) Map construction method, electronic device and readable storage medium
CN109753948B (zh) 基于微波雷达的空调控制方法和装置、存储介质和处理器
CN113936198B (zh) 低线束激光雷达与相机融合方法、存储介质及装置
WO2020125499A9 (zh) 一种操作提示方法及眼镜
WO2020103110A1 (zh) 一种基于点云地图的图像边界获取方法、设备及飞行器
Bargoti et al. A pipeline for trunk detection in trellis structured apple orchards
WO2020248458A1 (zh) 一种信息处理方法、装置及存储介质
WO2020103108A1 (zh) 一种语义生成方法、设备、飞行器及存储介质
WO2020103109A1 (zh) 一种地图生成方法、设备、飞行器及存储介质
Jebari et al. Multi-sensor semantic mapping and exploration of indoor environments
CN112025729A (zh) 基于ros的多功能智能医疗服务机器人系统
Mendes et al. Localization based on natural features detector for steep slope vineyards
US11734883B2 (en) Generating mappings of physical spaces from point cloud data
CN112684430A (zh) 一种室内老人行走健康检测方法、系统、存储介质、终端
CN115235485A (zh) 作业地图构建方法、装置、割草机器人以及存储介质
CN115082857A (zh) 一种目标对象的检测方法、装置、设备以及存储介质
CN114565916A (zh) 目标检测模型训练方法、目标检测方法以及电子设备
CN112183460A (zh) 一种智能识别环境卫生的方法及装置
CN113932712B (zh) 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法
WO2023115658A1 (zh) 智能避开障碍的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant