CN101650891A - 创建3维网络地图的方法和控制自动行进设备的方法 - Google Patents

创建3维网络地图的方法和控制自动行进设备的方法 Download PDF

Info

Publication number
CN101650891A
CN101650891A CN200910126871A CN200910126871A CN101650891A CN 101650891 A CN101650891 A CN 101650891A CN 200910126871 A CN200910126871 A CN 200910126871A CN 200910126871 A CN200910126871 A CN 200910126871A CN 101650891 A CN101650891 A CN 101650891A
Authority
CN
China
Prior art keywords
dimension
omnidirectional images
stereoscopic
camera
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910126871A
Other languages
English (en)
Other versions
CN101650891B (zh
Inventor
尹硕浚
卢庆植
权雄
邢乘龙
金贤圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101650891A publication Critical patent/CN101650891A/zh
Application granted granted Critical
Publication of CN101650891B publication Critical patent/CN101650891B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/06—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes for surveying; for geography, e.g. relief models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种创建3维网格地图的方法和控制自动行进设备的方法。在创建3维地图以辨别无人驾驶车辆或者移动式机器人的当前位置和周围环境的过程中，2维定位和3维图像再现被适当地使用，以更快地准确创建3维网格地图。

Description

创建3维网格地图的方法和控制自动行进设备的方法
本申请要求于2008年8月12日提交到韩国知识产权局的第2008-0078692号韩国专利申请的利益，该申请的公开通过引用包含于此。
技术领域
本发明涉及一种用于创建3维网格地图的方法，更具体地讲，涉及一种通过利用立体全方位照相机辨别周围环境来创建3维网格地图的方法。
背景技术
全方位照相机是利用旋转反射镜、聚光透镜和图像拾取装置同时在所有方向上进行拍摄的照相系统，并且全方位照相机被应用到安全性设施、监控摄像机(surveillance camera)和机器人视觉系统等。旋转反射镜可具有双曲线形形状、球形形状、锥形形状或者它们的组合形状。电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)被用作图像拾取装置。被投射在图像拾取装置的拾取表面上的图像(即，全方位图像)通过从旋转反射镜反射而形成，并显示不适于观察的失真图像。因此，为了准确地观察图像，图像拾取装置的输出坐标通过(例如)外部微处理器被转换，以产生新的全景图像。
通过全方位照相机获得的全方位图像提供了关于该照相机的周围的2维信息。如果使用通过多个全方位照相机从不同方向拍摄的多个全方位图像，则可以获得关于全方位照相机的周围的3维信息。包括多个全方位照相机的图像设备被称作立体全方位照相机。通过使用立体全方位照相机来装备无人驾驶车辆或者移动式机器人，由立体全方位照相机拍摄的全方位图像被用于无人驾驶车辆或者移动式机器人的位置识别和地图的产生。
发明内容
因此，本发明的一方面在于提供这样一种方法，该方法能够在3维定位和地图构建中在很短的时间内准确地识别3维位置并创建地图，以识别无人驾驶车辆或者移动式机器人的当前位置和周围环境。
本发明的其它方面和/或优点一部分在以下的描述中进行阐述，一方面将从描述中变得清楚，或者可以通过实施本发明而了解。
根据本发明，上述和/或其它方面可以通过提供一种用于创建3维网格地图的方法被实现，该方法包括以下步骤：利用立体全方位照相机获得周围的全方位图像；利用所述全方位图像来确认当前的2维位置；执行全方位图像的3维再现；通过将2维定位的结果和3维再现的结果结合来创建立体全方位照相机的周围的3维网格地图。
使用全方位图像，通过2维定位和地图构建来执行2维位置的确认。
可使用全方位图像的核线上的特征点来执行2维位置的确认。
可通过提取颜色边界获得特征点。
可使用3维再现的结果来获得3维网格的占据的程度。
如果由3维网格的体素占据的数超过预定数量，则对应的体素可被确定为被占据。
根据本发明的另一方面，提供了一种用于控制自动行进设备的方法，该方法包括以下步骤：利用立体全方位照相机获取周围的全方位图像；利用所述全方位图像来确认当前的2维位置；执行全方位图像的3维再现；通过将2维定位的结果和3维再现的结果结合来创建立体全方位照相机的周围的3维网格地图；基于所述3维再现来确定从当前位置到目标点的行进路径；控制自动行进设备沿着所述行进路径行进到目标点。
使用全方位图像，通过2维定位和地图构建来执行2维位置的确认。
可使用全方位图像的核线上的特征点来执行2维位置的确认。
可通过提取颜色边界来获得特征点。
可使用3维再现的结果来获得3维网格的占据的程度。
如果由3维网格的体素占据的数超过预定数量，则对应的体素可被确定为被占据。
附图说明
通过下面结合附图对实施例进行的描述，本发明的这些和/或其它方面和优点将会变得清楚和更加易于理解，其中：
图1示出了根据本发明示例性实施例的立体全方位照相机的构造；
图2是示出图1中所示的立体全方位照相机的控制系统的框图；
图3示出了由图1中的立体全方位照相机捕捉的图像；
图4示出了在图3中所示的两个全方位图像的全景图和视差图；
图5示出了根据本发明示例性实施例的立体全方位照相机的3维坐标提取概念；
图6是示出根据本发明示例性实施例的定位和地图构建方法的流程图。
具体实施方式
现在，将详细描述本发明的实施例，其示例在附图中被示出，其中，相同的标号始终表示相同的元件。以下，将参照附图描述实施例，以解释本发明。
参照图1至图6描述用于创建3维网格地图的方法和利用该3维网格地图来控制自动行进设备的方法的示例性实施例。当通过辨别无人驾驶车辆和移动式机器人等的当前位置和周围环境来确定行进路径时，可以应用根据本发明示例性实施例的用于创建3维网格地图的方法。该方法还可以被应用到安全装置和监控装置等中。
图1示出了根据本发明示例性实施例的立体全方位照相机的构造。立体全方位照相机100包括按行布置并面向相同方向的第一全方位照相机102和第二全方位照相机104。虽然没有示出，但是第一全方位照相机102和第二全方位照相机104可以通过另外的固定单元被固定。
在第一全方位照相机102中，照相机模块102a面对旋转反射镜102b。旋转反射镜102b反射第一全方位照相机102的外围360°的入射光，以使入射光投射到照相机模块102a。照相机模块102a包括CCD 102c，以形成拾取表面，并且照相机模块102a将在旋转反射镜102b处反射的入射光转换成电能，从而产生图像信号。
第二全方位照相机104包括照相机模块104a和旋转反射镜104b。照相机模块104a包括CCD 104c，以形成拾取表面，并且照相机模块104a将在旋转反射镜104b处反射的入射光转换成电能，从而产生图像信号。
第一全方位照相机102和第二全方位照相机104的每个捕捉360°的视角的图像(即，全方位图像)，以产生图像信号。但是，由于一个全方位图像仅提供物体的2维信息，所以利用在不同位置捕捉的两个全方位图像来获得物体的3维信息。
图2是示出图1中所示的立体全方位照相机的控制系统的框图。立体全方位照相机100的第一全方位照相机102和第二全方位照相机104电连接到控制器202的输入端，以能够与控制器202通信。控制器202将从第一全方位照相机102和第二全方位照相机104产生的电信号转换成图像信号，并从通过图像信号获得的图像中创建立体全方位照相机100的周围的3维地图。创建的3维地图被存储在存储器204中，并当立体全方位照相机100的位置改变时被更新。如果无人驾驶车辆或者移动式机器人装备有立体全方位照相机100，则通过从3维地图中识别无人驾驶车辆或者移动式机器人的当前位置和周围地形来执行位置控制或者移动控制。
图3示出了由图1中的立体全方位照相机捕捉的图像。如图3所示，当使用立体全方位照相机100来拍摄立体全方位照相机100的周围时，第一全方位图像302通过第一全方位照相机102来捕捉，第二全方位图像304通过第二全方位照相机104来捕捉。在本发明的示例性实施例中，获得了通过第一全方位照相机102获得的第一全方位图像302的核线(epipolar line)306，并且提取核线306上的特征点308以获得特征点308的2维坐标。使用特征点308的2维坐标来创建3维网格地图。根据本发明的示例性实施例，使用颜色边界提取方法来提取特征点308。
图4示出了在图3中所示的两个全方位图像的全景图和视差图。参照图4，标号402表示第一全方位图像302的全景图，即，第一全景图，参考标号404表示第二全方位图像304的全景图，即，第二全景图，参考标号406表示第一全景图402和第二全景图404的立体匹配图(stereo matching map)，即，视差图。在视差图406中，靠近立体全方位照相机100的物体表现得相对明亮，远离立体全方位照相机100的物体显得相对暗。可以使用该亮度信息(即，图像的深度)估计立体全方位照相机100和物体之间的距离。
图5示出了根据本发明示例性实施例的立体全方位照相机的3维坐标提取概念。参照图5，b是基线，即，第一全方位照相机102和第二全方位照相机104之间的距离，r′和r分别是旋转反射镜102b和104b的半径，p和p′是各自全方位图像上的特征点，d′和d是第一全方位照相机102和第二全方位照相机104与物体P之间的距离，α是第一全方位照相机102的中心和物体P之间的连线与旋转反射镜102b所在的平面的夹角，β是第二全方位照相机104的中心和物体P之间的连线与旋转反射镜或104b所在的平面的夹角。如图1所示，标号102c和104c分别表示第一全方位照相机102和第二全方位照相机104的拾取表面。
通过下面的等式(1)获得第二全方位照相机104与物体P之间的距离d。可以类似地获得第一全方位照相机102与物体P之间的距离d′。
[等式1]
d = cos ( β ) sin ( α - β ) b . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ( 1 )
如果计算立体第二全方位照相机104与物体P之间的距离d，并且从图4的全景图中计算物体P以立体全方位照相机100为基准的方位角，则可以获得由下面的等式(2)表示的物体P的3维坐标P(X，Y，Z)。
[等式2]
X＝d*cos(α)*cos(azimuth)
Y＝d*cos(α)*sin(azimuth)
Z＝d*sin(α)
图6是示出根据本发明示例性实施例的定位和地图构建方法的流程图。同时执行定位和地图构建被称为同步定位与地图构建(SLAM)。使用2维SLAM 600a和3维SLAM 600b二者来实现根据本发明示例性实施例的SLAM。由于3维SLAM 600b需要大量的操作，所以结合2维SLAM 600a和3维SLAM 600b，从而减少操作的总数量，并提高定位和地图构建的速度。如果在可以仅使用2维SLAM 600a可获得需要数据的情况下，仅执行2维SLAM 600a，并且如果在需要3维SLAM 600b的情况下执行3维SLAM 600b，则与当通过3维SLAM 600b获得全部数据时相比，所述操作的数量大大地减少。用于定位的操作的数量的减少意味着能够更加快速地确认位置，还可以意味着装备有立体全方位照相机100的自动行进设备(例如，无人驾驶车辆或者移动式机器人)可以以更高的速度运动。
在2维SLAM 600a中，在步骤602中，分别使用立体全方位照相机100的第一全方位照相机102和第二全方位照相机104来获得第一全方位图像302和第二全方位图像304。在步骤604中，获取利用第一全方位照相机102获得的第一全方位图像302的核线306，并且提取核线306上的特征点308。在2维SLAM 600a中，获取特征点308的2维坐标。为此，使用3维SLAM 600b的结果。
在3维SLAM 600b中，在步骤606中，通过第一全景图402和第二全景图404的立体匹配产生视差图406。在步骤608中，使用参照图5所述的方法通过视差图406使立体全方位照相机100的周围的3维图像再现。
再参照2维SLAM 600a，在步骤610，通过将下面的等式(3)、等式(4)和等式(5)应用到立体全方位图像而获得被提取的特征点308的2维坐标。
[等式3]
X ^ k = f ( X k - - 1 , U k + Q v )
Z＝h(Xk+Qs)
[等式4]
x = x y φ X 1 Y 1 X 2 Y 2 ·
[等式5]
z = θ 1 θ 2 θ 3 θ 4 · · · · ·
在2维SLAM的等式(3)中，(Xk)是状态向量，Uk是输入向量，Qv是输入误差，Z是测量值，Qq是测量误差。等式(3)的状态向量(Xk)由立体全方位照相机100的位置和特征点308的2维坐标构成，如等式(4)所示。等式(5)的测量值是由立体全方位照相机100测量的特征点的角度(方位角)。使用等式(3)、等式(4)和等式(5)，可以估计核线306上的特征点308的位置和立体全方位照相机100的位置。
如果根据本发明的立体全方位照相机100被安装在无人驾驶车辆、移动式机器人等中，则立体全方位照相机可以运动。因此，在步骤612中，通过估计立体全方位照相机100的运动可以重新更新先前测量的2维坐标。
在步骤614中，通过将在2维SLAM 600a中获得的2维坐标的结果和在3维SLAM 600b中获得的3维定位的结果结合，可以产生立体全方位照相机100的周围的3维网格地图。如果由体素占据的数在指定的水平之上，则体素被确定为被占据并且可以创建3维网格地图。如果在立体全方位照相机100的视角领域内存在多个体素(即，如果可以确认占据或者不占据)，并且如果由3维网格的体素占据的数超过预定数量，则对应的体素被确定为被占据。
虽然已经显示并描述了本发明的几个实施例，但是本领域技术人员应该理解，在不脱离权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行改变。

Claims (14)

1、一种用于创建3维网格地图的方法，包括以下步骤：
利用立体全方位照相机获得周围的全方位图像；
利用所述全方位图像来确认当前的2维位置；
执行全方位图像的3维再现；
通过将2维定位的结果和3维再现的结果结合来创建立体全方位照相机的周围的3维网格地图。
2、如权利要求1所述的方法，其中，使用全方位图像，通过2维定位和地图构建来执行2维位置的确认。
3、如权利要求2所述的方法，其中，使用全方位图像的核线上的特征点来执行2维位置的确认。
4、如权利要求3所述的方法，其中，通过提取颜色边界来获得特征点。
5、如权利要求1所述的方法，其中，使用3维再现的结果来获得3维网格的占据的程度。
6、如权利要求5所述的方法，其中，如果由3维网格的体素占据的数超过预定数量，则对应的体素被确定为被占据。
7、一种用于控制自动行进设备的方法，包括以下步骤：
利用立体全方位照相机获取周围的全方位图像；
利用所述全方位图像来确认当前的2维位置；
执行全方位图像的3维再现；
通过将2维定位的结果和3维再现的结果结合来创建立体全方位照相机的周围的3维网格地图；
基于所述3维再现来确定从当前位置到目标点的行进路径；
控制自动行进设备沿着所述行进路径行进到目标点。
8、如权利要求7所述的方法，其中，使用全方位图像，通过2维定位和地图构建来执行2维位置的确认。
9、如权利要求8所述的方法，其中，使用全方位图像的核线上的特征点来执行2维位置的确认。
10、如权利要求8所述的方法，其中，通过提取颜色边界来获得特征点。
11、如权利要求7所述的方法，其中，使用3维再现的结果来获得3维网格的占据的程度。
12、如权利要求11所述的方法，其中，如果由3维网格的体素占据的数超过预定数量，则对应的体素被确定为被占据。
13、一种沿着路径运动的行进设备，包括：
控制器，用于从立体全方位照相机接收一个或者多个周围的全方位图像，利用所述全方位图像确认当前的2维位置，执行全方位图像的3维再现，并通过将2维定位的结果和3维再现的结果结合来建立立体全方位照相机的周围的3维网格地图；
运动装置，根据相对于3维网格地图的行进路径使行进设备的主体运动。
14、一种创建3维网格地图的方法，包括：
利用一个或者多个全方位图像产生当前的2维位置并进行全方位图像的3维再现；
通过将2维定位的结果和3维再现的结果结合来创建3维网格地图。
CN2009101268717A 2008-08-12 2009-03-24 创建3维网格地图的方法和控制自动行进设备的方法 Expired - Fee Related CN101650891B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020080078692 2008-08-12
KR10-2008-0078692 2008-08-12
KR1020080078692A KR100955483B1 (ko) 2008-08-12 2008-08-12 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법

Publications (2)

Publication Number Publication Date
CN101650891A true CN101650891A (zh) 2010-02-17
CN101650891B CN101650891B (zh) 2013-09-18

Family

ID=41673118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101268717A Expired - Fee Related CN101650891B (zh) 2008-08-12 2009-03-24 创建3维网格地图的方法和控制自动行进设备的方法

Country Status (4)

Country Link
US (1) US8571302B2 (zh)
JP (1) JP5474396B2 (zh)
KR (1) KR100955483B1 (zh)
CN (1) CN101650891B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103383567A (zh) * 2012-05-02 2013-11-06 库卡实验仪器有限公司 无人驾驶运输车辆和运行无人驾驶运输车辆的方法
CN103901884A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 信息处理方法和信息处理设备
CN103926927A (zh) * 2014-05-05 2014-07-16 重庆大学 一种室内移动机器人双目视觉定位与三维建图方法
CN105324729A (zh) * 2013-06-14 2016-02-10 罗伯特·博世有限公司 用于模型化车辆的周围环境的方法
CN105492985A (zh) * 2014-09-05 2016-04-13 深圳市大疆创新科技有限公司 多传感器环境地图构建
CN105928531A (zh) * 2016-04-13 2016-09-07 浙江合众新能源汽车有限公司 一种适用于无人驾驶汽车的行进路线精准生成方法
CN106485198A (zh) * 2015-08-24 2017-03-08 福特全球技术公司 使用全光摄像机自主代客停车的系统和方法
CN106652557A (zh) * 2015-10-28 2017-05-10 现代自动车株式会社 用于预测邻近车辆的驾驶路径的方法和系统
WO2017096548A1 (en) * 2015-12-09 2017-06-15 SZ DJI Technology Co., Ltd. Systems and methods for auto-return
CN107148600A (zh) * 2014-09-10 2017-09-08 环球城市电影有限责任公司 用于控制车辆的运输的系统和方法
CN107478213A (zh) * 2016-06-07 2017-12-15 北京众力积木科技有限公司 移动装置及用于移动装置的数据采集主动控制方法和装置
CN107752910A (zh) * 2017-09-08 2018-03-06 珠海格力电器股份有限公司 区域清扫方法、装置、存储介质、处理器及扫地机器人
US10001778B2 (en) 2014-09-05 2018-06-19 SZ DJI Technology Co., Ltd Velocity control for an unmanned aerial vehicle
US10029789B2 (en) 2014-09-05 2018-07-24 SZ DJI Technology Co., Ltd Context-based flight mode selection
US10240930B2 (en) 2013-12-10 2019-03-26 SZ DJI Technology Co., Ltd. Sensor fusion
CN109643489A (zh) * 2016-08-26 2019-04-16 松下电器（美国）知识产权公司 三维信息处理方法以及三维信息处理装置
CN110495819A (zh) * 2019-07-24 2019-11-26 华为技术有限公司 机器人的控制方法、机器人、终端、服务器及控制系统
CN110909585A (zh) * 2019-08-15 2020-03-24 北京致行慕远科技有限公司 一种路线确定方法、可行进设备、和存储介质
CN112335221A (zh) * 2018-06-14 2021-02-05 伟摩有限责任公司 用于自主运载工具的相机环状结构
TWI725279B (zh) * 2018-01-10 2021-04-21 華晶科技股份有限公司 利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置
CN113008263A (zh) * 2016-11-01 2021-06-22 松下电器（美国）知识产权公司 数据生成方法及数据生成装置

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2619742B1 (en) * 2010-09-24 2018-02-28 iRobot Corporation Systems and methods for vslam optimization
DE102010041490A1 (de) * 2010-09-27 2012-03-29 Carl Zeiss Microimaging Gmbh Optisches Instrument und Verfahren zur optischen Überwachung
KR101739996B1 (ko) * 2010-11-03 2017-05-25 삼성전자주식회사 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법
KR101242253B1 (ko) 2011-02-23 2013-03-11 고려대학교 산학협력단 지형분류 기반 고도 지도 작성 방법
KR101700764B1 (ko) * 2011-06-29 2017-01-31 엘지전자 주식회사 자율 이동 방법 및 그 장치
US8798840B2 (en) * 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US9453737B2 (en) * 2011-10-28 2016-09-27 GM Global Technology Operations LLC Vehicle localization
WO2013126877A1 (en) * 2012-02-25 2013-08-29 Massachusetts Institute Of Technology Personal skin scanner system
US8954853B2 (en) * 2012-09-06 2015-02-10 Robotic Research, Llc Method and system for visualization enhancement for situational awareness
US9953618B2 (en) * 2012-11-02 2018-04-24 Qualcomm Incorporated Using a plurality of sensors for mapping and localization
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
ES2478700B1 (es) * 2013-01-21 2015-06-30 Idneo Technologies, S.L. Sistema y método para la detección de obstáculos
KR102087595B1 (ko) * 2013-02-28 2020-03-12 삼성전자주식회사 내시경 시스템 및 그 제어방법
CN104284172A (zh) * 2013-07-04 2015-01-14 联咏科技股份有限公司 影像匹配方法及立体匹配系统
US20150334299A1 (en) * 2014-05-14 2015-11-19 Panasonic Intellectual Property Management Co., Ltd. Monitoring system
CN104156973A (zh) * 2014-08-26 2014-11-19 清华大学深圳研究生院 基于立体匹配的实时三维视频监控方法
JP5980873B2 (ja) 2014-10-17 2016-08-31 ファナック株式会社 ロボットの干渉領域設定装置
US10142609B2 (en) * 2015-04-29 2018-11-27 Northrop Grumman Systems Corporation Dynamically adjustable situational awareness interface for control of unmanned vehicles
KR101741433B1 (ko) 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
JP6762148B2 (ja) * 2015-07-09 2020-09-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 地図生成方法、移動ロボット及び地図生成システム
US10291845B2 (en) * 2015-08-17 2019-05-14 Nokia Technologies Oy Method, apparatus, and computer program product for personalized depth of field omnidirectional video
GB2541884A (en) 2015-08-28 2017-03-08 Imp College Of Science Tech And Medicine Mapping a space using a multi-directional camera
GB2552648B (en) * 2016-07-22 2020-09-16 Imperial College Sci Tech & Medicine Estimating dimensions for an enclosed space using a multi-directional camera
US10296812B2 (en) * 2017-01-04 2019-05-21 Qualcomm Incorporated Systems and methods for mapping based on multi-journey data
KR102265376B1 (ko) 2017-03-07 2021-06-16 현대자동차주식회사 차량 및 그 제어방법과 이를 이용한 자율 주행 시스템
KR102309833B1 (ko) * 2017-05-29 2021-10-07 현대모비스 주식회사 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법
WO2019008185A1 (en) * 2017-07-07 2019-01-10 Time2Market Sa METHOD AND SYSTEM FOR VECTORIZING NODES
US10762658B2 (en) * 2017-10-24 2020-09-01 Altek Corporation Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images
CN107766859B (zh) * 2017-10-31 2020-12-11 广东美的智能机器人有限公司 移动机器人定位方法、装置及移动机器人
US10789717B2 (en) 2017-11-24 2020-09-29 Electronics And Telecommunications Research Institute Apparatus and method of learning pose of moving object
US11009359B2 (en) 2018-01-05 2021-05-18 Lacuna Technologies Inc. Transportation systems and related methods
CN110021044B (zh) * 2018-01-10 2022-12-20 华晶科技股份有限公司 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置
CN108256574B (zh) * 2018-01-16 2020-08-11 广东省智能制造研究所 机器人定位方法及装置
CN108469826B (zh) * 2018-04-23 2021-06-08 宁波Gqy视讯股份有限公司 一种基于机器人的地图生成方法及系统
CN110044358B (zh) * 2019-04-29 2020-10-02 清华大学 基于现场场线特征的移动机器人定位方法
CN110610520B (zh) * 2019-08-29 2022-03-29 中德（珠海）人工智能研究院有限公司 一种基于双球幕相机的视觉定位方法及系统
CN111028350B (zh) * 2019-11-21 2022-05-20 大连理工大学 一种利用双目立体相机构建栅格地图的方法
KR20210119626A (ko) 2020-03-24 2021-10-06 현대모비스 주식회사 센서 보정을 이용하는 차량의 주차 지원 시스템 및 방법
KR102342945B1 (ko) * 2021-03-31 2021-12-24 (주)뉴빌리티 서라운드 이미지를 이용한 자율주행 이동체의 위치 추정 장치 및 방법
CN114037807B (zh) * 2021-11-24 2023-03-28 深圳市云鼠科技开发有限公司 低内存占用的链式栅格地图构建方法、装置及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1366765A (zh) * 2000-01-31 2002-08-28 三菱电机株式会社 图像收集装置,图像检索装置以及图像收集检索系统
CN1531826A (zh) * 2001-02-09 2004-09-22 带有数据注释的全向图像和3维数据获取的方法和装置以及动态范围扩展方法
US20060025888A1 (en) * 2004-06-25 2006-02-02 Steffen Gutmann Environment map building method, environment map building apparatus and mobile robot apparatus
CN101029831A (zh) * 2005-11-24 2007-09-05 株式会社拓普康 三维数据作成方法和三维数据作成装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6412961B1 (en) * 2000-05-30 2002-07-02 Robert Andrew Hicks Rectifying mirror
US6744569B2 (en) * 2001-06-19 2004-06-01 Genex Technologies, Inc Method and apparatus for omnidirectional three dimensional imaging
JP2005037378A (ja) 2003-06-30 2005-02-10 Sanyo Electric Co Ltd 奥行計測方法と奥行計測装置
JP2007041656A (ja) 2005-07-29 2007-02-15 Sony Corp 移動体制御方法および移動体
KR100757937B1 (ko) * 2006-06-30 2007-09-12 삼성전자주식회사 로봇의 위치 추적 및 지도 작성 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1366765A (zh) * 2000-01-31 2002-08-28 三菱电机株式会社 图像收集装置,图像检索装置以及图像收集检索系统
CN1531826A (zh) * 2001-02-09 2004-09-22 带有数据注释的全向图像和3维数据获取的方法和装置以及动态范围扩展方法
US20060025888A1 (en) * 2004-06-25 2006-02-02 Steffen Gutmann Environment map building method, environment map building apparatus and mobile robot apparatus
CN101029831A (zh) * 2005-11-24 2007-09-05 株式会社拓普康 三维数据作成方法和三维数据作成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIGUEL ANGEL GARCIA ET AL: "3D Simultaneous Localization and Modeling from Stereo Vision", 《PROCEEDINGS OF THE 2004 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS & AUTOMATION》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103383567A (zh) * 2012-05-02 2013-11-06 库卡实验仪器有限公司 无人驾驶运输车辆和运行无人驾驶运输车辆的方法
CN103901884B (zh) * 2012-12-25 2017-09-29 联想(北京)有限公司 信息处理方法和信息处理设备
CN103901884A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 信息处理方法和信息处理设备
CN105324729A (zh) * 2013-06-14 2016-02-10 罗伯特·博世有限公司 用于模型化车辆的周围环境的方法
CN105324729B (zh) * 2013-06-14 2018-10-12 罗伯特·博世有限公司 用于模型化车辆的周围环境的方法
US10240930B2 (en) 2013-12-10 2019-03-26 SZ DJI Technology Co., Ltd. Sensor fusion
CN103926927A (zh) * 2014-05-05 2014-07-16 重庆大学 一种室内移动机器人双目视觉定位与三维建图方法
US11370540B2 (en) 2014-09-05 2022-06-28 SZ DJI Technology Co., Ltd. Context-based flight mode selection
US11914369B2 (en) 2014-09-05 2024-02-27 SZ DJI Technology Co., Ltd. Multi-sensor environmental mapping
US10901419B2 (en) 2014-09-05 2021-01-26 SZ DJI Technology Co., Ltd. Multi-sensor environmental mapping
US10429839B2 (en) 2014-09-05 2019-10-01 SZ DJI Technology Co., Ltd. Multi-sensor environmental mapping
US10421543B2 (en) 2014-09-05 2019-09-24 SZ DJI Technology Co., Ltd. Context-based flight mode selection
US10845805B2 (en) 2014-09-05 2020-11-24 SZ DJI Technology Co., Ltd. Velocity control for an unmanned aerial vehicle
US10001778B2 (en) 2014-09-05 2018-06-19 SZ DJI Technology Co., Ltd Velocity control for an unmanned aerial vehicle
US10029789B2 (en) 2014-09-05 2018-07-24 SZ DJI Technology Co., Ltd Context-based flight mode selection
CN105492985A (zh) * 2014-09-05 2016-04-13 深圳市大疆创新科技有限公司 多传感器环境地图构建
CN107148600A (zh) * 2014-09-10 2017-09-08 环球城市电影有限责任公司 用于控制车辆的运输的系统和方法
CN106485198A (zh) * 2015-08-24 2017-03-08 福特全球技术公司 使用全光摄像机自主代客停车的系统和方法
CN106652557A (zh) * 2015-10-28 2017-05-10 现代自动车株式会社 用于预测邻近车辆的驾驶路径的方法和系统
CN106652557B (zh) * 2015-10-28 2021-03-26 现代自动车株式会社 用于预测邻近车辆的驾驶路径的方法和系统
US10793162B2 (en) 2015-10-28 2020-10-06 Hyundai Motor Company Method and system for predicting driving path of neighboring vehicle
WO2017096548A1 (en) * 2015-12-09 2017-06-15 SZ DJI Technology Co., Ltd. Systems and methods for auto-return
US11300413B2 (en) 2015-12-09 2022-04-12 SZ DJI Technology Co., Ltd. Systems and methods for auto-return
US11879737B2 (en) 2015-12-09 2024-01-23 SZ DJI Technology Co., Ltd. Systems and methods for auto-return
US10670407B2 (en) 2015-12-09 2020-06-02 SZ DJI Technology Co., Ltd. Systems and methods for auto-return
CN105928531B (zh) * 2016-04-13 2019-04-26 浙江合众新能源汽车有限公司 一种适用于无人驾驶汽车的行进路线精准生成方法
CN105928531A (zh) * 2016-04-13 2016-09-07 浙江合众新能源汽车有限公司 一种适用于无人驾驶汽车的行进路线精准生成方法
CN107478213A (zh) * 2016-06-07 2017-12-15 北京众力积木科技有限公司 移动装置及用于移动装置的数据采集主动控制方法和装置
CN109643489B (zh) * 2016-08-26 2022-05-03 松下电器（美国）知识产权公司 三维信息处理方法以及三维信息处理装置
CN109643489A (zh) * 2016-08-26 2019-04-16 松下电器（美国）知识产权公司 三维信息处理方法以及三维信息处理装置
CN113008263A (zh) * 2016-11-01 2021-06-22 松下电器（美国）知识产权公司 数据生成方法及数据生成装置
CN113008263B (zh) * 2016-11-01 2024-04-30 松下电器（美国）知识产权公司 数据生成方法及数据生成装置
CN107752910A (zh) * 2017-09-08 2018-03-06 珠海格力电器股份有限公司 区域清扫方法、装置、存储介质、处理器及扫地机器人
TWI725279B (zh) * 2018-01-10 2021-04-21 華晶科技股份有限公司 利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置
CN112335221A (zh) * 2018-06-14 2021-02-05 伟摩有限责任公司 用于自主运载工具的相机环状结构
CN110495819B (zh) * 2019-07-24 2021-05-18 华为技术有限公司 机器人的控制方法、机器人、终端、服务器及控制系统
CN110495819A (zh) * 2019-07-24 2019-11-26 华为技术有限公司 机器人的控制方法、机器人、终端、服务器及控制系统
WO2021013230A1 (zh) * 2019-07-24 2021-01-28 华为技术有限公司 机器人的控制方法、机器人、终端、服务器及控制系统
CN110909585A (zh) * 2019-08-15 2020-03-24 北京致行慕远科技有限公司 一种路线确定方法、可行进设备、和存储介质

Also Published As

Publication number Publication date
US20100040279A1 (en) 2010-02-18
US8571302B2 (en) 2013-10-29
JP2010044740A (ja) 2010-02-25
JP5474396B2 (ja) 2014-04-16
KR100955483B1 (ko) 2010-04-30
CN101650891B (zh) 2013-09-18
KR20100020054A (ko) 2010-02-22

Similar Documents

Publication Publication Date Title
CN101650891B (zh) 创建3维网格地图的方法和控制自动行进设备的方法
Zhang et al. Intelligent collaborative localization among air-ground robots for industrial environment perception
Se et al. Vision based modeling and localization for planetary exploration rovers
Salman et al. Distance measurement for self-driving cars using stereo camera
CN106993181A (zh) 多vr/ar设备协同系统及协同方法
CN110766785B (zh) 一种地下管道实时定位与三维重建装置及方法
Zhao et al. Reconstruction of textured urban 3D model by fusing ground-based laser range and CCD images
Rodríguez et al. Obstacle avoidance system for assisting visually impaired people
Zhao et al. Minimal case relative pose computation using ray-point-ray features
CN111915680B (zh) 机器人定位方法、系统、电子装置及计算机可读介质
WO2024087962A1 (zh) 车厢姿态识别系统、方法、电子设备及存储介质
Borgmann et al. Data processing and recording using a versatile multi-sensor vehicle
CN114812558B (zh) 一种结合激光测距的单目视觉无人机自主定位方法
CN112634379A (zh) 一种基于混合视域光场的三维定位测量方法
CN103707300A (zh) 机械手装置
Xiang et al. Hybrid bird’s-eye edge based semantic visual SLAM for automated valet parking
Kang et al. RPV-SLAM: Range-augmented panoramic visual SLAM for mobile mapping system with panoramic camera and tilted LiDAR
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
Dutta et al. Real testbed for autonomous anomaly detection in power grid using low-cost unmanned aerial vehicles and aerial imaging
Schönbein et al. Environmental Perception for Intelligent Vehicles Using Catadioptric Stereo Vision Systems.
Yang et al. An ego-motion estimation method using millimeter-wave radar in 3D scene reconstruction
CN115588036A (zh) 图像采集方法及装置、机器人
CN112639864B (zh) 用于测距的方法和装置
CN113487676A (zh) 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置
Li et al. Fisheye image rectification for efficient large-scale stereo

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130918

Termination date: 20210324