CN106932780A - 物体定位方法、装置和系统 - Google Patents

物体定位方法、装置和系统 Download PDF

Info

Publication number
CN106932780A
CN106932780A CN201710149331.5A CN201710149331A CN106932780A CN 106932780 A CN106932780 A CN 106932780A CN 201710149331 A CN201710149331 A CN 201710149331A CN 106932780 A CN106932780 A CN 106932780A
Authority
CN
China
Prior art keywords
testee
cloud data
acquisition device
described image
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710149331.5A
Other languages
English (en)
Inventor
韩林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710149331.5A priority Critical patent/CN106932780A/zh
Publication of CN106932780A publication Critical patent/CN106932780A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Abstract

本发明公开了一种物体定位方法、装置和系统，涉及定位领域。其中的方法包括：通过图像获取装置获取被测物体的粗略位置信息；通过点云数据获取装置获取包含被测物体的点云数据；将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合，确定被测物体的精确位置信息。本发明利用低成本的图像获取装置，与点云数据获取装置结合，进而将点云数据中的被测物体识别出来，提高了被测物体定位的精度。

Description

物体定位方法、装置和系统
技术领域
本发明涉及定位领域，尤其涉及一种物体定位方法、装置和系统。
背景技术
传统的物体定位可以利用双目视觉等原理实现，但双目视觉方法需要设置两个照相机来成像，实现复杂。现有技术中还可以利用单目照相机对物体进行定位，其中，单目照相机可以根据物体近大远小的三角比例测量物体到相机的距离，结构简单、易于标定，但利用单目照相机进行物体定位，精度比较低，定位不准确。
发明内容
本发明要解决的一个技术问题是提供一种能够提高物体定位精度的物体定位方法、装置和系统。
根据本发明的一个实施例，提出一种物体定位方法，包括：通过图像获取装置获取被测物体的粗略位置信息；通过点云数据获取装置获取包含被测物体的点云数据；将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合，确定被测物体的精确位置信息。
进一步地，通过图像获取装置获取被测物体的位置信息包括：确定被测物体的成像在图像获取装置拍摄图像中的比例；根据被测物体的成像在图像获取装置拍摄图像中的比例确定被测物体到图像获取装置的角度和距离信息。
进一步地，将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合，确定被测物体的精确位置信息包括：通过图像获取装置识别被测物体的属性；将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合；基于图像获取装置识别的被测物体的属性确定点云数据中的被测物体的属性，从而确定被测物体的精确位置信息。
进一步地，将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合包括：确定图像获取装置与点云数据获取装置的相对位置信息；根据图像获取装置与点云数据获取装置的相对位置信息，将图像获取装置坐标系下获取的被测物体的粗略位置信息的坐标转换为点云数据获取装置坐标系下的坐标；将被测物体的粗略位置信息在点云数据获取装置坐标系下的坐标与点云数据中的空间坐标进行匹配。
进一步地，将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合之前，还包括：确定图像获取装置的平面视场角；根据图像获取装置的平面视场角筛选点云数据获取装置获取的包含被测物体的点云数据。
进一步地，图像获取装置的镜头中心与点云数据获取装置中心的连线与图像获取装置的基线垂直。
根据本发明的另一个实施例，还提出一种物体定位装置，包括：图像数据获取单元，用于获取图像获取装置采集的被测物体的粗略位置信息；点云数据获取单元，用于获取点云数据获取装置采集的包含被测物体的点云数据；被测物体定位单元，用于将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合，确定被测物体的精确位置信息。
进一步地，图像数据获取单元用于确定被测物体的成像在图像获取装置拍摄图像中的比例，根据被测物体的成像在图像获取装置拍摄图像中的比例确定被测物体到图像获取装置的角度和距离信息。
进一步地，图像数据获取单元还用于通过图像获取装置识别被测物体的属性；被测物体定位单元还用于将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合，基于图像获取装置识别的被测物体的属性确定点云数据中的被测物体的属性，从而确定被测物体的精确位置信息。
进一步地，该装置还包括相对位置确定单元和坐标转换单元；相对位置确定单元用于确定图像获取装置与点云数据获取装置的相对位置信息；坐标转换单元用于根据图像获取装置与点云数据获取装置的相对位置信息，将图像获取装置坐标系下获取的被测物体的粗略位置信息的坐标转换为点云数据获取装置坐标系下的坐标；其中，被测物体定位单元用于将被测物体的粗略位置信息在点云数据获取装置坐标系下的坐标与点云数据中的空间坐标进行匹配，确定被测物体在点云数据获取装置坐标系下的精确坐标。
进一步地，该装置还包括点云数据筛选单元，其中，图像数据获取单元还用于获取图像获取装置的平面视场角；点云数据筛选单元用于根据图像获取装置的平面视场角筛选点云数据获取装置获取的包含被测物体的点云数据。
根据本发明的另一个实施例，还提出一种物体定位系统，包括图像获取装置、点云数据获取装置和上述的物体定位装置。
进一步地，图像获取装置的镜头中心与点云数据获取装置中心的连线与图像获取装置的基线垂直。
根据本发明的另一个实施例，还提出一种物体定位装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上的方法。
根据本发明的另一个实施例，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的方法的步骤。
与现有技术相比，本发明实施例通过图像获取装置获取被测物体的粗略位置信息；通过点云数据获取装置获取包含被测物体的点云数据；将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合，确定被测物体的精确位置信息。本发明实施例利用低成本的图像获取装置，与点云数据获取装置结合，进而将点云数据中的被测物体识别出来，提高了被测物体定位的精度。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本发明物体定位方法的一个实施例的流程示意图。
图2为本发明图像获取装置和点云数据获取装置安装位置示意图。
图3为本发明物体定位方法的另一个实施例的流程示意图。
图4为本发明利用图像获取装置拍摄被测物体的一个实施例的示意图。
图5为本发明物体定位方法的再一个实施例的流程示意图。
图6为本发明图像获取装置平面视场角示意图。
图7为本发明物体定位装置的一个实施例的结构示意图。
图8为本发明物体定位装置的另一个实施例的结构示意图。
图9为本发明物体定位装置的再一个实施例的结构示意图。
图10为本发明物体定位系统的一个实施例的结构示意图。
图11为本发明物体定位系统的一个具体应用示意图。
图12为本发明物体定位装置的又一个实施例的结构示意图。
图13为本发明物体定位装置的又一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
图1为本发明物体定位方法的一个实施例的流程示意图。该方法包括以下步骤：
在步骤110，通过图像获取装置获取被测物体的粗略位置信息。其中，该实施例中的图像获取装置可以为相机，具体可以为单目相机，粗略位置信息指利用图像获取装置进行定位时获取的被测物体的位置信息。被测测物体可以为红绿灯、交通标志牌、标志性建筑等任何拍摄的物体，前提是知道物体的真实长宽高。例如，可以通过单目相机测得红绿灯到相机的大约距离，以及该红绿灯相对于相机的角度信息。
在步骤120，通过点云数据获取装置获取包含被测物体的点云数据。其中，点云数据获取装置可以为激光点云扫描仪，激光点云扫描仪可以利用激光反射的固有物理特征，将激光发射器装在转动装置上，实现面状扫描，将采收集的空间位置信息进行输出，结合处理软件，可以快速的在PC系统上面实现现实环境的电子化还原再现。但激光点云扫描仪输出的所有坐标点都是零散点，坐标之间没有相邻属性关系，因此，通过激光点云扫描仪可以知道哪些地方有物体的轮廓，但不能直接分辨出该物体的属性，例如，该物体是交通灯还是树上的炫光。
在步骤130，将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合，确定被测物体的精确位置信息。其中，精确位置信息指利用点云数据获取装置进行定位时获取的被测物体的位置信息。将图像获取装置的成像结果与点云数据获取装置的成像结果进行空间匹配，可以得到同一目标物体在两套设备结果内的位置关系，之后，使用图像获取装置给此目标物体定性，再通过点云数据获取装置给此目标物体定位置，因此，可以得到被测物体的精确位置信息。
在该实施例中，通过图像获取装置获取被测物体的粗略位置信息；通过点云数据获取装置获取包含被测物体的点云数据；将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合，确定被测物体的精确位置信息。利用低成本的图像获取装置，与点云数据获取装置结合，进而将点云数据获取装置中的被测物体识别出来，提高了被测物体定位的精度。
在一个实施例中，如图2所示，可以将图像获取装置210与点云数据获取装置220同时固定在一个平台230上，其中，图像获取装置镜头中心(坐标系原点)与点云数据获取装置(坐标原点)尽量接近，且两个中心的中心点连线240，最好与图像获取装置基线211呈垂直关系。如图3所示，该物体定位方法包括以下步骤：
在步骤310，确定被测物体的成像在图像获取装置拍摄图像中的比例。其中，图像获取装置的成像中的物体符合近大远小的三角比例。如图4所示，通过多次重复测试，被测物体现实中宽带例如为1米。在不同距离图像获取装置的位置，拍摄成像在照片中的宽度有如表1所示：
表1
在步骤320，根据被测物体的成像在图像获取装置拍摄图像中的比例确定被测物体到图像获取装置的角度和距离信息。根据表1中的关系，可以看出这是一个相似三角形正比例关系，即K＝拍摄距离*成像所占比例，其中，为对应每个型号图像获取装置(相机)的固定系数。例如，当被测物体为红绿灯箱，其宽带为1米，当红绿灯箱占照片基线宽的1/4，那么可计算得到该1米宽的物体(红绿灯)距离图像获取装置大约为10米。另外，根据被测物体的成像在图像获取装置拍摄图像中的比例，还可以确定被测物体到图像获取装置的角度。
在步骤330，通过点云数据获取装置获取包含被测物体的点云数据。
在步骤340，通过图像获取装置识别被测物体的属性。即通过相机拍摄的照片识别出被测物体是什么。
在步骤350，将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合。
在步骤360，基于图像获取装置识别的被测物体的属性确定点云数据中的被测物体的属性，从而确定被测物体的精确位置信息。当灯箱占横向基线的3/16～4/16的宽度时，由于图像获取装置和点云数据获取装置具有固定角度关系，可以知道这张照片的3/16～4/16的角度区间，对应到空间点云里的空间坐标，从而确定点云数据中的被测物体为灯箱，由于通过点云数据获取装置获知各坐标点的精确位置，进而可以确定该灯箱的精确位置信息。
在该实施例中，根据被测物体的成像在图像获取装置拍摄图像中的比例确定被测物体到图像获取装置的角度和距离信息，通过点云数据获取装置获取包含被测物体的点云数据，将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合，利用图像获取装置识别被测物体的属性确定点云数据中的被测物体的属性，从而确定被测物体的精确位置信息，因此，提高了物体定位的准确性。另外，由于图像获取装置的成本很低，还可以减少整个系统的总体成本。
图5为本发明物体定位方法的再一个实施例的流程示意图。该方法包括以下步骤：
在步骤510，确定被测物体的成像在图像获取装置拍摄图像中的比例。
在步骤520，根据被测物体的成像在图像获取装置拍摄图像中的比例确定被测物体到图像获取装置的角度和距离信息。
在步骤530，通过点云数据获取装置获取包含被测物体的点云数据。
在步骤540，通过图像获取装置识别被测物体的属性。
在步骤550，确定图像获取装置与点云数据获取装置的相对位置信息。
在步骤560，根据图像获取装置与点云数据获取装置的相对位置信息，将图像获取装置坐标系下获取的被测物体的粗略位置信息的坐标转换为点云数据获取装置坐标系下的坐标。例如，图像获取装置位于点云数据获取装置前方30cm位置，偏下方30cm位置。那么需要将图像获取装置得到的各坐标点导入到点云数据获取装置系统中的时候，在点云数据获取装置坐标系(这时其实是惯导GPS坐标系)在XYZ方向上做前30CM下30cm的坐标分量补偿。例如平面关系上，点云数据获取装置前方1.3米位置有目标物体，根据上述补偿，软件需要减去图像获取装置与激光的平面前方30cm的位置差，推测出图像获取装置前方1米位置是该目标物体。
在步骤570，将被测物体的粗略位置信息在点云数据获取装置坐标系下的坐标与点云数据中的空间坐标进行匹配。
在步骤580，基于图像获取装置识别被测物体的属性确定点云数据中的被测物体的属性，从而确定被测物体在点云数据获取装置坐标系下的精确坐标。
在该实施例中，将图像获取装置数据与点云数据相融合，虽然图像获取装置的测距和坐标精度不高，但利用图像获取装置识别物体的属性，可以识别出点云数据中的被测物体，进而利用点云数据获取装置输出的空间位置信息对被测物体定位，得到物体在激光点云中高精度的厘米级坐标。
在本发明的另一个实施例中，可以先确定图像获取装置的平面视场角，根据图像获取装置的平面视场角筛选点云数据获取装置获取的包含被测物体的点云数据。如图6所示，可以预先在图像获取装置610前方30米位置摆放100米长的尺子620，其中，尺子620与图像获取装置610中央视线垂直。其中，AB为30米，BC为17.32米，AC为36.64米，该视场角为∠BAC的2倍，即可以确定视场角为60°。本领域的技术人员应当理解，此处视场角仅用于举例，还可以利用其他方法获知视场角的大小。例如，根据图像获取装置出厂配件参数做正算，其中，工业相机的每一款每一台都会提供视场角说明及特有的空间内外参数。
由于点云数据获取装置可以获得360°的点云数据，而在实际应用中，不需要那么多的数据，针对同一被测物体，其位置是固定的，因此，可以利用图像获取装置的平面视场角的范围去限定点云数据获取装置测得点云数据的范围，减少点云数据量，进而减少后续操作的计算量。
图7为本发明物体定位装置的一个实施例的结构示意图。该装置包括图像数据获取单元710、点云数据获取单元720和被测物体定位单元730。
图像数据获取单元710用于获取图像获取装置采集的被测物体的粗略位置信息。其中，该实施例中的图像获取装置可以为相机，具体可以为单目相机，粗略位置信息指利用图像获取装置进行定位时获取的被测物体的位置信息。被测测物体可以为红绿灯、交通标志牌、标志性建筑等任何拍摄的物体，前提是知道物体的真实长宽高。例如，可以通过单目相机测得红绿灯到相机的大约距离，以及该红绿灯相对于相机的角度信息。
点云数据获取单元720用于获取点云数据获取装置采集的包含被测物体的点云数据。其中，点云数据获取装置可以为激光点云扫描仪，其输出的所有坐标点都是零散点，坐标之间没有相邻属性关系，因此，通过点云数据获取装置可以知道哪些地方有物体的轮廓，但不能直接分辨出该物体的属性。
被测物体定位单元730用于将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合，确定被测物体的精确位置信息。其中，精确位置信息指利用点云数据获取装置进行定位时获取的被测物体的位置信息。将图像获取装置的成像结果与点云数据获取装置的成像结果进行空间匹配，可以得到同一目标物体在两套设备结果内的位置关系，之后，使用图像获取装置给此目标物体定性，再通过点云给此目标物体定位置，因此，可以得到被测物体的精确位置信息。
在该实施例中，通过图像获取装置获取被测物体的粗略位置信息；通过点云数据获取装置获取包含被测物体的点云数据；将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合，确定被测物体的精确位置信息。利用低成本的图像获取装置，与点云数据获取装置结合，进而将点云数据获取装置中的被测物体识别出来，提高了被测物体定位的精度。
在本发明的另一个实施例中，图像数据获取单元710还用于确定被测物体的成像在图像获取装置拍摄图像中的比例，根据被测物体的成像在图像获取装置拍摄图像中的比例确定被测物体到图像获取装置的角度和距离信息。其中，图像获取装置的成像中的物体符合近大远小的三角比例。例如，根据表1中的关系，当被测物体为红绿灯箱，其宽带为1米，当红绿灯箱占照片基线宽的1/4，那么可计算得到该1米宽的物体(红绿灯)距离图像获取装置大约为10米。另外，根据被测物体的成像在图像获取装置拍摄图像中的比例，还可以确定被测物体到图像获取装置的角度。图像数据获取单元710还用于通过图像获取装置识别被测物体的属性。即通过图像获取装置拍摄的照片识别出被测物体是什么。
点云数据获取单元720用于获取点云数据获取装置采集的包含被测物体的点云数据。
被测物体定位单元730用于将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合，基于图像获取装置识别的被测物体的属性确定点云数据中的被测物体的属性，从而确定被测物体的精确位置信息。当灯箱占横向基线的3/16～4/16的宽度时，由于图像获取装置和点云数据获取装置具有固定角度关系，可以知道这张照片的3/16～4/16的角度区间，对应到空间点云里的空间坐标，从而确定点云数据中的被测物体为灯箱，由于通过点云数据获取装置获知各坐标点的精确位置，进而可以确定该灯箱的精确位置信息。
在该实施例中，根据被测物体的成像在图像获取装置拍摄图像中的比例确定被测物体到图像获取装置的角度和距离信息，通过点云数据获取装置获取包含被测物体的点云数据，将图像获取装置获取的被测物体的粗略位置信息与点云数据中的空间坐标相融合，利用图像获取装置识别被测物体的属性确定点云数据中的被测物体的属性，从而确定被测物体的精确位置信息，因此，提高了物体定位的准确性。另外，由于图像获取装置的成本很低，还可以减少整个系统的总体成本。
在本发明的另一个实施例中，如图8所示，该装置还可以包括相对位置确定单元740和坐标转换单元750。
其中，相对位置确定单元740用于确定图像获取装置与点云数据获取装置的相对位置信息。
坐标转换单元750用于根据图像获取装置与点云数据获取装置的相对位置信息，将图像获取装置坐标系下获取的被测物体的粗略位置信息的坐标转换为点云数据获取装置坐标系下的坐标。例如，图像获取装置位于点云数据获取装置前方30cm位置，偏下方30cm位置。那么需要将图像获取装置得到的各坐标点导入到点云数据获取装置中的时候，在点云数据获取装置坐标系(这时其实是惯导GPS坐标系)在XYZ方向上做前30CM下30cm的坐标分量补偿。例如平面关系上，点云数据获取装置前方1.3米位置有目标物体，根据上述补偿，软件需要减去图像获取装置与激光的平面前方30cm的位置差，推测出图像获取装置前方1米位置是该目标物体。
被测物体定位单元730用于将被测物体的粗略位置信息在点云数据获取装置坐标系下的坐标与点云数据中的空间坐标进行匹配，基于图像获取装置识别被测物体的属性确定点云数据中的被测物体的属性，从而确定被测物体在点云数据获取装置坐标系下的精确坐标。
在该实施例中，将图像获取装置数据与点云数据相融合，虽然图像获取装置的测距和坐标精度不高，但利用图像获取装置识别物体的属性，可以识别出点云数据中的被测物体，进而利用点云数据获取装置输出的空间位置信息对被测物体定位，得到物体在激光点云中高精度的厘米级坐标。
在本发明的另一个实施例中，如图9所示，该装置还可以包括点云数据筛选单元760，其中，图像数据获取单元710还用于获取图像获取装置的平面视场角，具体如图6所示。点云数据筛选单元760用于根据图像获取装置的平面视场角筛选点云数据获取装置获取的包含被测物体的点云数据。由于点云数据获取装置可以获得360°的点云数据，而在实际应用中，不需要那么多的数据，针对同一被测物体，其位置的固定的，因此，可以利用图像获取装置的平面视场角的范围去限定点云数据获取装置测得点云数据的范围，减少点云数据量，进而减少后续操作的计算量。
图10为本发明物体定位系统的一个实施例的结构示意图。该系统包括图像获取装置1010、点云数据获取装置1020和物体定位装置1030，其中，物体定位装置1030已在上述实施例中进行了详细介绍。图像获取装置1010和点云数据获取装置1020可以同时固定在一个平台上，其中，图像获取装置1010可以为相机，点云数据获取装置1020可以为激光点云扫描仪，如图2所示，相机镜头中心(坐标系原点)与激光扫描仪系统(坐标原点)尽量接近，且两个中心的中心点连线，最好与相机基线呈垂直关系。其中，图像获取装置1010可以为单目相机，该通过图像获取装置拍摄的物体的照片可以识别出物体的属性以及物体相对于图像获取装置的位置。点云数据获取装置1020能够实现面状扫描，将采收集的空间位置信息进行输出，但点云数据获取装置输出的所有坐标点都是零散点，坐标之间没有相邻属性关系，因此，通过点云数据获取装置可以知道哪些地方有物体的轮廓，但不能直接分辨出该物体的属性。物体定位装置1030将图像获取装置1010的成像结果与点云数据获取装置1020的成像结果进行空间匹配，可以得到同一目标物体在在两套设备结果内的位置关系，之后，使用图像获取装置1010给此目标物体定性，再通过点云数据获取装置1020给此目标物体定位置。
在该实例中，将图像获取装置和点云数据获取装置做结合标定，使用图像获取装置的识别物体的属性，即可通过低成本的相机，将激光点云中的物体识别出来，得到物体在激光点云中高精度的厘米级坐标，提高了生产效率，减少人工成本。
本发明的物体定位系统可以置于移动汽车(或者小型移动车辆上)即可实现全自动红绿灯的激光点云数据采集。
在一个具体实施例中，如图11所示，通过单目相机1110拍摄道路上的红绿灯箱，拍摄出的照片如方框1111所示，通过上述实施例中的方法，可以知道红绿灯箱在照片的所占比例，由于已知红绿灯箱的大小，因此，可以知道该红绿灯箱距离单目相机1110的大概位置。通过激光点云扫描仪1120进行面状扫描，根据点云的每个点寻找临近点，记录他们的高度变化趋势，当灯杆部分是由一些柱状点云逐步升高形成的，且在某一高度上，点云开始沿平面方向再次集中的向某个角度拓展(横杆部分)，此时可以判断这些点云是疑似红绿灯，即圆圈1121位置，1122为疑似红绿灯，其中，1123可能为灯杆。然后通过物体定位装置(未示出)进行坐标标定，由于已知单目相机1110与激光点云扫描仪1120的相对位置，即单目相机1110的镜头中心与激光点云扫描仪1120中心的连线与相机的基线垂直。因此，可以将单目相机坐标系下获取的红绿灯箱的粗略位置信息的坐标转换为激光点云扫描仪坐标系下的坐标，进而识别出1122确实为红绿灯，从而获知红绿灯的精确位置信息。
在上述实施例中，单目相机与激光点云的数据融合方法，使用单目相机的识别物体的属性(牌子、人、车、红绿灯)，但测距和坐标精度很差。接下来将照相信息做开发，软件自动化对应到激光点云中，得到物体在激光点云中高精度的厘米级坐标。另外，各设备成本较低，以便应用推广。
图12为本发明物体定位装置的又一个实施例的结构示意图。该装置包括存储器1210和处理器1220。
存储器1210可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储图1、3、5所对应实施例中的指令。
处理器1220耦接至存储器1210，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器1220用于执行存储器中存储的指令，提高了被测物体定位的精度。
在一个实施例中，还可以如图13所示，该物体定位装置1300包括存储器1310和处理器1320。处理器1320通过BUS总线1330耦合至存储器1310。该物体定位装置1300还可以通过存储接口1340连接至外部存储装置1350以便调用外部数据，还可以通过网络接口1360连接至网络或者另外一台计算机系统(未标出)，此处不再进行详细介绍。
在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，提高被测物体定位的精度。
在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图1、3、5所对应实施例中的方法的步骤。本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此，已经详细描述了本发明。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本发明的方法以及装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (15)

1.一种物体定位方法，包括：
通过图像获取装置获取被测物体的粗略位置信息；
通过点云数据获取装置获取包含所述被测物体的点云数据；
将所述图像获取装置获取的所述被测物体的粗略位置信息与所述点云数据中的空间坐标相融合，确定所述被测物体的精确位置信息。
2.根据权利要求1所述的方法，其中，通过图像获取装置获取被测物体的位置信息包括：
确定所述被测物体的成像在所述图像获取装置拍摄图像中的比例；
根据所述被测物体的成像在所述图像获取装置拍摄图像中的比例确定所述被测物体到所述图像获取装置的角度和距离信息。
3.根据权利要求1所述的方法，其中，将所述图像获取装置获取的所述被测物体的粗略位置信息与所述点云数据中的空间坐标相融合，确定所述被测物体的精确位置信息包括：
通过所述图像获取装置识别所述被测物体的属性；
将所述图像获取装置获取的所述被测物体的粗略位置信息与所述点云数据中的空间坐标相融合；
基于所述图像获取装置识别的所述被测物体的属性确定所述点云数据中的被测物体的属性，从而确定所述被测物体的精确位置信息。
4.根据权利要求3所述的方法，其中，将所述图像获取装置获取的所述被测物体的粗略位置信息与所述点云数据中的空间坐标相融合包括：
确定所述图像获取装置与所述点云数据获取装置的相对位置信息；
根据所述图像获取装置与所述点云数据获取装置的相对位置信息，将图像获取装置坐标系下获取的所述被测物体的粗略位置信息的坐标转换为点云数据获取装置坐标系下的坐标；
将所述被测物体的粗略位置信息在点云数据获取装置坐标系下的坐标与所述点云数据中的空间坐标进行匹配。
5.根据权利要求1所述的方法，其中，将所述图像获取装置获取的所述被测物体的粗略位置信息与所述点云数据中的空间坐标相融合之前，还包括：
确定所述图像获取装置的平面视场角；
根据所述图像获取装置的平面视场角筛选所述点云数据获取装置获取的包含所述被测物体的点云数据。
6.根据权利要求1-5任一所述的方法，所述图像获取装置的镜头中心与所述点云数据获取装置中心的连线与所述图像获取装置的基线垂直。
7.一种物体定位装置，包括：
图像数据获取单元，用于获取图像获取装置采集的被测物体的粗略位置信息；
点云数据获取单元，用于获取点云数据获取装置采集的包含所述被测物体的点云数据；
被测物体定位单元，用于将所述图像获取装置获取的所述被测物体的粗略位置信息与所述点云数据中的空间坐标相融合，确定所述被测物体的精确位置信息。
8.根据权利要求7所述的装置，其中，所述图像数据获取单元用于确定所述被测物体的成像在所述图像获取装置拍摄图像中的比例，根据所述被测物体的成像在所述图像获取装置拍摄图像中的比例确定所述被测物体到所述图像获取装置的角度和距离信息。
9.根据权利要求7所述的装置，其中，所述图像数据获取单元还用于通过所述图像获取装置识别所述被测物体的属性；
所述被测物体定位单元还用于将所述图像获取装置获取的所述被测物体的粗略位置信息与所述点云数据中的空间坐标相融合，基于所述图像获取装置识别的所述被测物体的属性确定所述点云数据中的被测物体的属性，从而确定所述被测物体的精确位置信息。
10.根据权利要求9所述的装置，还包括相对位置确定单元和坐标转换单元；
所述相对位置确定单元用于确定所述图像获取装置与所述点云数据获取装置的相对位置信息；
所述坐标转换单元用于根据所述图像获取装置与所述点云数据获取装置的相对位置信息，将图像获取装置坐标系下获取的所述被测物体的粗略位置信息的坐标转换为点云数据获取装置坐标系下的坐标；
其中，所述被测物体定位单元用于将所述被测物体的粗略位置信息在点云数据获取装置坐标系下的坐标与所述点云数据中的空间坐标进行匹配，确定所述被测物体在点云数据获取装置坐标系下的精确坐标。
11.根据权利要求7所述的装置，还包括点云数据筛选单元，其中，所述图像数据获取单元还用于获取所述图像获取装置的平面视场角；
所述点云数据筛选单元用于根据所述图像获取装置的平面视场角筛选所述点云数据获取装置获取的包含所述被测物体的点云数据。
12.一种物体定位系统，包括图像获取装置、点云数据获取装置和权利要求7-11任一所述的物体定位装置。
13.根据权利要求12所述的系统，所述图像获取装置的镜头中心与所述点云数据获取装置中心的连线与所述图像获取装置的基线垂直。
14.一种物体定位装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至6任一项所述的方法。
15.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至6任一项所述的方法的步骤。
CN201710149331.5A 2017-03-14 2017-03-14 物体定位方法、装置和系统 Pending CN106932780A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710149331.5A CN106932780A (zh) 2017-03-14 2017-03-14 物体定位方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710149331.5A CN106932780A (zh) 2017-03-14 2017-03-14 物体定位方法、装置和系统

Publications (1)

Publication Number Publication Date
CN106932780A true CN106932780A (zh) 2017-07-07

Family

ID=59433125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710149331.5A Pending CN106932780A (zh) 2017-03-14 2017-03-14 物体定位方法、装置和系统

Country Status (1)

Country Link
CN (1) CN106932780A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107728621A (zh) * 2017-10-19 2018-02-23 环球车享汽车租赁有限公司 充电接口识别和定位方法及系统
CN107745648A (zh) * 2017-10-19 2018-03-02 环球车享汽车租赁有限公司 充电接口识别和定位方法及系统
CN109099901A (zh) * 2018-06-26 2018-12-28 苏州路特工智能科技有限公司 基于多源数据融合的全自动压路机定位方法
CN109166140A (zh) * 2018-07-27 2019-01-08 长安大学 一种基于多线激光雷达的车辆运动轨迹估计方法及系统
CN109188357A (zh) * 2018-08-28 2019-01-11 上海宽创国际文化科技股份有限公司 一种基于结构光阵列的室内定位系统和方法
CN109410264A (zh) * 2018-09-29 2019-03-01 大连理工大学 一种基于激光点云与图像融合的前方车辆距离测量方法
CN109559341A (zh) * 2017-09-27 2019-04-02 北京猎户星空科技有限公司 一种机械臂抓取方案的生成方法及装置
CN109946703A (zh) * 2019-04-10 2019-06-28 北京小马智行科技有限公司 一种传感器姿态调整方法及装置
CN110164135A (zh) * 2019-01-14 2019-08-23 腾讯科技（深圳）有限公司 一种定位方法、定位装置及定位系统
CN110378360A (zh) * 2018-08-01 2019-10-25 北京京东尚科信息技术有限公司 目标标定方法、装置、电子设备及可读存储介质
CN111079680A (zh) * 2019-12-23 2020-04-28 北京三快在线科技有限公司 临时交通信号灯检测方法、装置和自动驾驶设备
CN111238494A (zh) * 2018-11-29 2020-06-05 财团法人工业技术研究院 载具、载具定位系统及载具定位方法
WO2020135446A1 (zh) * 2018-12-24 2020-07-02 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机
CN113175885A (zh) * 2021-05-07 2021-07-27 广东电网有限责任公司广州供电局 架空输电线与植被距离测量方法、装置、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101208723A (zh) * 2005-02-23 2008-06-25 克雷格·萨默斯 用于3维照相机和3维视频的自动场景建模
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN102713664A (zh) * 2010-01-12 2012-10-03 诺基亚公司 协作式位置/方位估计
CN104280036A (zh) * 2013-07-05 2015-01-14 北京四维图新科技股份有限公司 一种交通信息的检测与定位方法、装置及电子设备
CN105203084A (zh) * 2015-07-02 2015-12-30 汤一平 一种无人机3d全景视觉装置
CN106289104A (zh) * 2016-09-26 2017-01-04 深圳市速腾聚创科技有限公司 彩色三维激光扫描仪
CN106461391A (zh) * 2014-05-05 2017-02-22 赫克斯冈技术中心 测量系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101208723A (zh) * 2005-02-23 2008-06-25 克雷格·萨默斯 用于3维照相机和3维视频的自动场景建模
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN102713664A (zh) * 2010-01-12 2012-10-03 诺基亚公司 协作式位置/方位估计
CN104280036A (zh) * 2013-07-05 2015-01-14 北京四维图新科技股份有限公司 一种交通信息的检测与定位方法、装置及电子设备
CN106461391A (zh) * 2014-05-05 2017-02-22 赫克斯冈技术中心 测量系统
CN105203084A (zh) * 2015-07-02 2015-12-30 汤一平 一种无人机3d全景视觉装置
CN106289104A (zh) * 2016-09-26 2017-01-04 深圳市速腾聚创科技有限公司 彩色三维激光扫描仪

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559341A (zh) * 2017-09-27 2019-04-02 北京猎户星空科技有限公司 一种机械臂抓取方案的生成方法及装置
CN107745648A (zh) * 2017-10-19 2018-03-02 环球车享汽车租赁有限公司 充电接口识别和定位方法及系统
CN107728621A (zh) * 2017-10-19 2018-02-23 环球车享汽车租赁有限公司 充电接口识别和定位方法及系统
CN109099901B (zh) * 2018-06-26 2021-09-24 中科微易(苏州)智能科技有限公司 基于多源数据融合的全自动压路机定位方法
CN109099901A (zh) * 2018-06-26 2018-12-28 苏州路特工智能科技有限公司 基于多源数据融合的全自动压路机定位方法
CN109166140A (zh) * 2018-07-27 2019-01-08 长安大学 一种基于多线激光雷达的车辆运动轨迹估计方法及系统
CN109166140B (zh) * 2018-07-27 2021-10-01 长安大学 一种基于多线激光雷达的车辆运动轨迹估计方法及系统
CN110378360B (zh) * 2018-08-01 2021-10-15 北京京东尚科信息技术有限公司 目标标定方法、装置、电子设备及可读存储介质
CN110378360A (zh) * 2018-08-01 2019-10-25 北京京东尚科信息技术有限公司 目标标定方法、装置、电子设备及可读存储介质
CN109188357A (zh) * 2018-08-28 2019-01-11 上海宽创国际文化科技股份有限公司 一种基于结构光阵列的室内定位系统和方法
CN109188357B (zh) * 2018-08-28 2023-04-14 上海宽创国际文化科技股份有限公司 一种基于结构光阵列的室内定位系统和方法
CN109410264A (zh) * 2018-09-29 2019-03-01 大连理工大学 一种基于激光点云与图像融合的前方车辆距离测量方法
CN109410264B (zh) * 2018-09-29 2020-08-25 大连理工大学 一种基于激光点云与图像融合的前方车辆距离测量方法
CN111238494A (zh) * 2018-11-29 2020-06-05 财团法人工业技术研究院 载具、载具定位系统及载具定位方法
CN111238494B (zh) * 2018-11-29 2022-07-19 财团法人工业技术研究院 载具、载具定位系统及载具定位方法
WO2020135446A1 (zh) * 2018-12-24 2020-07-02 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机
CN110164135A (zh) * 2019-01-14 2019-08-23 腾讯科技（深圳）有限公司 一种定位方法、定位装置及定位系统
CN109946703B (zh) * 2019-04-10 2021-09-28 北京小马智行科技有限公司 一种传感器姿态调整方法及装置
CN109946703A (zh) * 2019-04-10 2019-06-28 北京小马智行科技有限公司 一种传感器姿态调整方法及装置
CN111079680A (zh) * 2019-12-23 2020-04-28 北京三快在线科技有限公司 临时交通信号灯检测方法、装置和自动驾驶设备
CN111079680B (zh) * 2019-12-23 2023-09-19 北京三快在线科技有限公司 临时交通信号灯检测方法、装置和自动驾驶设备
CN113175885A (zh) * 2021-05-07 2021-07-27 广东电网有限责任公司广州供电局 架空输电线与植被距离测量方法、装置、设备和存储介质
CN113175885B (zh) * 2021-05-07 2022-11-29 广东电网有限责任公司广州供电局 架空输电线与植被距离测量方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN106932780A (zh) 物体定位方法、装置和系统
US11704833B2 (en) Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium
US11477374B2 (en) Three dimensional image capture system for imaging building facades using a digital camera, a near-infrared camera, and laser range finder
US10086955B2 (en) Pattern-based camera pose estimation system
US20150116691A1 (en) Indoor surveying apparatus and method
JP5745178B2 (ja) ３次元測定方法、装置及びシステム、並びに画像処理装置
WO2017124901A1 (zh) 一种数据处理方法、装置及终端
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
US10451403B2 (en) Structure-based camera pose estimation system
US20060167648A1 (en) 3-Dimensional measurement device and electronic storage medium
JP2004163292A (ja) 測量装置と電子的記憶媒体
US6993179B1 (en) Strapdown system for three-dimensional reconstruction
ES2762867T3 (es) Procedimiento y aparato para la compensación de distorsiones de imágenes estáticas introducidas por un parabrisas en una cámara ADAS
CN102159917A (zh) 三维计测装置及其方法
US9858669B2 (en) Optimized camera pose estimation system
CN112492292B (zh) 一种自由姿态的智能视觉3d信息采集设备
CN205352391U (zh) 基于地面三维激光扫描的实体测量系统
CN106489062B (zh) 用于测量移动平台的位移的系统和方法
CN105387847A (zh) 非接触式测量方法、测量设备及其测量系统
KR101925289B1 (ko) 단말 위치/각도 식별 방법 및 장치
JP5256464B2 (ja) 画像上地物計測方法および表示法並びに計測装置
CN110132131A (zh) 一种三维场景数据的测量方法
Zhang et al. Freight train gauge-exceeding detection based on three-dimensional stereo vision measurement
US8903163B2 (en) Using gravity measurements within a photogrammetric adjustment
JP6448413B2 (ja) 屋根勾配推定システム及び屋根勾配推定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210301

Address after: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant after: Beijing Jingbangda Trading Co.,Ltd.

Address before: 100195 Beijing Haidian Xingshikou Road 65 West Cedar Creative Garden 4 District 11 Building East 1-4 Floor West 1-4 Floor

Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd.

Effective date of registration: 20210301

Address after: Room a1905, 19 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd.

Address before: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant before: Beijing Jingbangda Trading Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170707