CN107067436B - 位姿估计装置及真空清洁器系统 - Google Patents

位姿估计装置及真空清洁器系统 Download PDF

Info

Publication number
CN107067436B
CN107067436B CN201611011555.1A CN201611011555A CN107067436B CN 107067436 B CN107067436 B CN 107067436B CN 201611011555 A CN201611011555 A CN 201611011555A CN 107067436 B CN107067436 B CN 107067436B
Authority
CN
China
Prior art keywords
imager
time
reference image
pose
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611011555.1A
Other languages
English (en)
Other versions
CN107067436A (zh
Inventor
山本琢麿
三岛直
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Corp
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Corp
Publication of CN107067436A publication Critical patent/CN107067436A/zh
Application granted granted Critical
Publication of CN107067436B publication Critical patent/CN107067436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种位姿估计装置及真空清洁器系统。根据实施例，位姿估计装置包括第一和第二成像器以及估计器。第一成像器生成分别在第一和第二时间捕获的第一和第二标准图像。第二成像器生成分别于第一和第二时间关联的第一和第二参考图像。估计器基于第一和第二参考图像以及第一和第二参考图像估计：(a)第一成像器在第一时间的位姿，其中第一成像器在第二时间的位姿被视为标准，以及(b)捕获第一参考图像的第二成像器从第二成像在第一时间的估计位置的位置移位。

Description

位姿估计装置及真空清洁器系统
相关申请的交叉参考
本申请基于2015年11月17日提交的日本专利申请No.2015-225013并请求其优先权的权益，通过参考将所述申请的全部内容并入本文。
技术领域
本文描述的实施例总体上涉及位姿估计。
背景技术
在计算机视觉和机器人学的领域中，对用于基于由摄像机捕获的图像来估计摄像机位姿的技术进行了使用。所述技术例如被应用到对自主式移动机器人、导航系统和AR(增强现实)技术定位。
更具体地，已经对SLAM(同时定位和地图构件)和SfM(运动恢复结构)进行了研究作为用于同时地估计摄像机位姿和要被拍摄的周围对象的三维结构的技术。
可使用单目摄像机或立体摄像机进行位姿估计。特别地，如果使用立体摄像机来执行SLAM，则可估计立体摄像机周围的三维结构的绝对标度。
在使用立体摄像机的SLAM中，基于在某个时间点(t)捕获的立体图像来恢复特征点的三维点，并且立体摄像机在另一时间点(t+1)的位姿以这样的方式来估计——最小化在时间点(t+1)三维点投影在立体摄像机中的情况下的重投影误差。
发明内容
本文描述的实施例旨在估计具有两个摄像机的设备的位姿。
根据实施例，位姿估计装置包括第一成像器、第二成像器和估计器。第一成像器生成在第一时间捕获的第一标准图像和在第二时间捕获的第二标准图像。第二成像器生成与第一时间关联的第一参考图像和与第二时间关联的第二参考图像。估计器基于第一标准图像、第二标准图像、第一参考图像和第二参考图像来估计：(a)第一成像器在第一时间的位姿，其中第一成像器在第二时间的位姿被视为标准，以及(b)捕获第一参考图像的第二成像器从第二成像器在第一时间的估计位置的位置移位。
根据实施例，可估计提供有两个摄像机的设备的位姿。
附图说明
图1是示意根据第一实施例的位姿估计装置的示例的框图。
图2是示意由图1描绘的位姿估计装置执行的操作的示例的流程图。
图3是示意成像时序的示例的时序图，其中在其中第一成像器捕获图像的第一时段和其中第二成像器捕获图像的第二时段彼此同步。
图4是示意成像时序的示例的时序图，其中第一成像器的第一时段和第二成像器的第二时段异步。
图5是示意由图1描绘的位姿估计装置执行的估计过程的示例性图。
图6是示意图1描绘的位姿估计装置的硬件结构的示例的框图。
图7是示意根据第二实施例的真空清洁器的示例的框图。
图8是第二实施例的真空清洁器的示例的透视图。
图9是第二实施例的真空清洁器的示例的底视图。
图10是示意包括第二实施例的真空清洁器的网络的示例的图。
具体实施方式
位姿估计的准确性取决于三维点的恢复和点的重投影的准确性。如果两个摄像机的成像时序不同步，则在摄像机中的一个捕获图像之后并且另一摄像机捕获图像之前，立体摄像机可能移动。在这种情况下，另一摄像机可能在从理想成像位置移位的位置捕获图像。因此，如果使用了其成像时间为异步的立体摄像机，则难以执行准确的对三维点的恢复和点的重投影。换言之，位姿估计的前提是立体摄像机的成像时序之间的同步。
然而，提供有用于使成像时序同步的同步电路的专用立体摄像机是昂贵的。既然如此，存在对用于使用提供有两个通用摄像机(其相对廉价)的立体摄像机来高准确性地估计位姿的技术的需求。
现在将参考附图给出对实施例的描述。此后，与在先描述的元件相同或类似的元件被指派由相同或类似的参考标号或符号，并且在原则上将省略冗余描述。
(第一实施例)
如图1所示，第一实施例的位姿估计装置10包括第一成像器101、第二成像器102和估计器103。出于描述性目的，假设根据第一成像器101的成像时序来执行位姿估计处理(随后将详述位姿估计处理)，并且在适当的情况下，第一成像器101和第二成像器102将分别称为标准摄像机和参考摄像机。
第一成像器101通过成像而生成标准图像。第一成像器101执行成像多次。第一成像器101在第一时段中重复地执行成像。第一成像器101给估计器103提供多个标准图像110。
第一成像器101可通过提供有(i)包括多个透镜的光学系统和(ii)由CMOS(互补金属氧化物半导体)、CCD(电荷耦合器件)或类似物构成的图像传感器的数码摄像机来实现。由第一成像器101成像的第一成像区域是第一成像器101的外部世界的一部分。可由第一成像器101成像的范围根据第一成像器101的视角和成像传感器的尺寸来确定。在第一成像器101通过一般的数码摄像机实现的情况下，第一时段约为30fps(帧每秒)或60fps。
第二成像器102通过成像部分地重叠第一成像区域的第二成像区域而生成参考图像111。第二成像器102执行成像多次。第二成像器102在第二时段中重复地执行成像。第二成像器102给估计器103提供多个参考图像111。可获得第二成像器102相对于用作标准摄像机的第一成像器101的位姿的位姿。第二成像器102相对于第一成像器的位姿的位姿可存储在估计器103(稍后描述)或存储装置中。
如同第一成像器101，第二成像器102可通过数码摄像机来实现。第二成像器102的内部参数(例如，分辨率和透镜的焦距)可以与第一成像器101的内部参数相同或不同。在下面列出的描述中，假设第一成像器101的内部参数和第二成像器102的内部参数相同。第二时段可与第一时段同步，或可与其异步。也就是说，位姿估计装置10不必利用用于使第一成像器101的成像和第二成像器102的成像同步的同步电路。
如果第二时段与第一时段同步，则第一成像器101和第二成像器102以相同间隔操作并且以相同时序开始和结束成像，如图3所示。在这样情况下，可通过使用其成像时序为同步的立体摄像机执行常规SLAM来高准确性度估计第一成像器101(标准摄像机)的位姿。
如果第二时段不与第一时段同步，则第一成像器101和第二成像器102以不同时序执行成像，如图4所示。具体而言，在第一成像器101在某时间(t)执行成像的情况下，第二成像器102在时间(t+δ1)执行成像，时间(t+δ1)是在第一成像器101执行成像之后延迟时间(δ1)。同样地，在第一成像器101在另一时间(t+Δt)执行成像的情况下，第二成像器102在时间(t+Δt+δ2)执行成像，时间(t+Δt+δ2)是在第一成像器101执行成像之后延迟时间(δ2)。延迟时间(δ1)和(δ2)可彼此相同或彼此不同。
如果第二成像器102在延迟时间(δ1或δ2)期间移动，则第二成像器102执行成像的位置从理想成像位置(即，第一成像器102在时间(t)或(t+Δt)应当在的位置)移位。也就是说，第二成像器102捕获参考图像的位置从第二成像器102在时间(t+Δt)应当在的估计位置移位。第二成像器102的估计位置可从第二成像器的预定位姿导出，其相对于第一成像器101的位姿。
然而，如将在下面描述的，即使由于第一成像器101和第二成像器102之间的异步成像时序而发生上面提及的位置移位，估计器103仍然可准确地估计第一成像器101和第二成像器102的位姿。
估计器103从第一成像器101接收标准图像110并从第二成像器102接收参考图像111。估计器103基于与第一时间(t+1)关联的标准图像110-1和参考图像111-1并基于与第二时间(t)关联的标准图像110-2和参考图像111-2来执行估计处理，第二时间(t)在第一时间(t+1)之前。估计器103估计第一成像器101在第一时间(t+1)的相对位姿(其中在第二时间(t)的位姿被视为标准)。估计器103还估计第二成像器102是如何从第二成像器102捕获参考图像111-1和111-2的理想成像位置(即，第二成像器在第一时间(t+1)和第二时间(t)位于的位置)移位的。可同时地估计第一成像器101在第一时间(t+1)的相对位姿以及第二成像器102从第二成像器102捕获参考图像111-1和111-2的理想成像位置的位置移位。估计器103将表示估计的结果的估计的数据输出到外部。
位姿估计装置10例如以图2所示的这样的方式进行操作。图2示出的操作在第一成像器101(标准摄像机)在第一时间(t+1)捕获标准图像110-1时开始(步骤S201)。另一方面，第二成像器102(参考摄像机)捕获参考图像111-1(步骤S202)。尽管在图2所示的示例中步骤S202在步骤S201之后执行，但是可以以相反顺序执行步骤或可以同时地执行步骤。
估计器103基于分别在步骤S201和S202中捕获的标准图像110-1和参考图像111-1以及上次分别在步骤S201和S202中捕获的标准图像110-2和参考图像111-2来估计第一成像器101(标准摄像机)的位姿(步骤S203)。
更具体地，估计器103对标准图像110-1和参考图像111-1执行校正。通过该校正，将标准图像110-1和参考图像111-1转换成一对立体图像，如同由完美地平行的立体摄像机所捕获的一对立体图像。如果校正中包括透镜畸变去除，则可一次执行两种转换。转换参数可基于外部参数和通过校准而确定的第一成像器101和第二成像器102的透镜畸变参数而计算。通过执行校正，在图像之间在其中对特征点进行搜索的搜索范围被限制于图像的一条水平线，并且从而能够进行容易和稳健的搜索。另外，可简化用于利用三角测量来恢复三维点的计算。
然后，估计器103从包括在第一时间(t+1)捕获的一对立体图像和在第二时间(t)捕获的一对立体图像(可在上次执行步骤S203时生成后者图像)的四个图像提取特征点，并对所有的匹配进行搜索。例如基于特征数量来执行对特征点的提取和对匹配的搜索。可使用例如诸如SIFT(尺度不变特征变换)、SURF(加速稳健特征)、ORB(定向FAST和旋转BRIEF)、KAZE(KAZE特征)、AKAZE(加速KAZE)等的技术来计算特征数量。
随后，估计器103同时地估计第一成像器101在第一时间(t+1)的相对位姿以及第二成像器102从第二成像器102捕获参考图像111-1和111-2的理想成像位置的位置移位。
可例如通过根据第一成像器101和第二成像器102之间的位置关系移位第一成像器101在第一时间(t+1)的位置来计算捕获参考图像111-1的理想成像位置。可例如在校准时导出第一成像器101和第二成像器102之间的位置关系。
第二成像器102从理想成像位置的位置移位可分解为由平移运动导致的移位和由旋转导致的移位。让我们假设第二成像器102在垂直于连接第二成像器102的光学中心和给定特征点的直线的方向上平移地移动。在该情况下，与参考图像111-1中的特征点对应的投影点的位置移位与第二成像器102在第一时间(t+1)的光学中心和特征点之间的距离成反比地减少。如果第二成像器102旋转，则与参考图像111-1中的给定特征点对应的投影点的位置移位不取决于第二成像器102在第一时间(t+1)的光学中心和特征点之间的距离。因此，只要第二成像器102远离特征点超过某距离，则与参考图像111中的特征点对应的投影点的位置移位主要取决于旋转。因此，在下面的描述中，第二成像器102从理想成像位置的移位将视为由旋转导致的移位。
估计器103使用三维平移向量t和3行x3列的旋转矩阵R来表达第一成像器101在第一时间(t+1)的相对位姿。估计器103使用3行x3列的旋转矩阵R1和R2来表达第二成像器102如何从第二时间(t)和第一时间(t+1)的理想位置移位。估计器103以这样的方式来估计这些参数t、R、R1和R2的值——最小化由在下面列出的方程(1)表示的评估函数，其中参数被用作变量。
Figure BDA0001155140740000061
在方程(1)中，wi CR和wi CL表示在时间(t+1)在右和左图像(在前述转换之后获得的参考图像111-1和标准图像110-1)中的第i特征点的位置。另外，
Figure BDA0001155140740000062
和项
Figure BDA0001155140740000063
表示重投影点的位置，其通过将恢复的位置(其基于在第二时间(t)在右和左图像中第i特征点而恢复)在第一时间(t+1)投影在第一成像器101和第二成像器102中而获得。特征点和重投影点以齐次坐标来表达。例如，基于在时间(t+Δt)的标准位置，可二维地或三维地表达恢复的位置。
方程(1)评估重投影点的位置相对于特征点的位置的误差(所述误差在下文中将称为重投影误差)，以使得方程(1)可称为重投影误差函数。
可使用下面列出的方程(2)来计算重投影点的位置。
Figure BDA0001155140740000064
在方程(2)中，A为3行x3列的矩阵，其表示第一成像器101(或第二成像器102)的内部参数。如上所述，假设第一成像器101的内部参数与第二成像器102的内部参数相同。在方程(2)中，tB等于[-b 0 0]，其中b是第一成像器101和第二成像器102之间的基线，并且可例如在校准时导出。在方程(2)中，pi表示恢复的三维点，并且可使用下面的方程(3)导出。
Figure BDA0001155140740000071
在方程(3)中，tri(z,z’)是用于基于三角测量的原理恢复三维点的函数。其中，z＝[zx zy 1]T并且z’＝[zx’zy’1]T，tri(z,z’)可由下面的方程(4)表示。
Figure BDA0001155140740000072
在方程(4)中，cx是第一成像器101(或第二成像器102)的光学中心的x坐标，cy是该光学中心的y坐标，并且f是第一成像器101的焦距。如上所述，假设第一成像器101的内部参数(包括cx、cy和f)与第二成像器102的内部参数相同。cx、cy和f可在校准时导出。
在图5中概略地示意了上述的各种点以及向量和矩阵之间的关系。为了最小化重投影误差，估计器103可使用牛顿(Newton)方法、拟牛顿方法、Levenberg-Marquardt方法或类似方法。当对特征点之间的匹配进行搜索时，可包括错误的匹配。因此，估计器103可使用例如RANSAC(随机采样一致性)以使得估计处理可为稳健的。
在上述示例中，估计器103使用三维平移向量t和旋转矩阵R来表达第一成像器101的相对位姿，并使用旋转矩阵R1和R2来表达第二成像器102从理想成像位置的移位。然而，估计器103可将第一成像器101的相对位姿和第二成像器102从理想成像位置的移位表达为不同的参数。
具体而言，如果可假设第一成像器101和第二成像器102在具有三个自由度(x平移分量、y平移分量和旋转分量)的二维平面上移动，则可使用x-平移分量tx、y-平移分量ty和旋转分量(角)θ来表达第一成像器的相对位姿。同样地，可使用转转分量θ1和θ2来表达第一成像器101的相对位姿和第二成像器102从理想成像位置的移位。因此，可以用下面列出的方程(5)取代由上面的方程(1)表示的重投影误差函数。
Figure BDA0001155140740000081
在上面的示例中，估计器103同时地估计平移向量t和旋转矩阵R、R1和R2的参数组或x-平移分量tx、y-平移分量ty和旋转分量θ、θ1和θ2的参数组。然而，估计器103可已经估计了第二成像器102是如何从第二时间(t)的理想成像位置移位的(即，旋转矩阵R1或旋转分量θ1)。在这样的情况下，估计器103可使用过往估计值用于旋转矩阵R1或旋转分量θ1，以使得可最小化方程(1)或方程(5)中的再投影误差函数。然而，根据重复估计处理的次数的数量增加，会积累归因于对旋转矩阵R1或旋转分量θ1的再次使用的误差。因此，为了能够进行高准确性的估计，同时地估计所有参数是优选的。
第一实施例的位姿估计装置可通过例如图6所示的计算机60来实现。计算机60包括CPU(中央处理单元)601、输入设备602、显示设备603、通信设备604和存储设备605。这些元件通过总线606连接在一起。
CPU 601是通过执行各种程序用作计算机60或计算设备的控制设备的电子电路。CPU 601例如从输入设备602、通信设备604或存储设备605接收数据，并执行操作。CPU基于操作结果而向显示设备603、通信设备604和存储设备605提供操作结果或控制信号。
更具体地，CPU 601在除了计算机60的OS(操作系统)之外还执行位姿估计程序(其为使得计算机60用作第一实施例的位姿估计装置的程序并且其还可称为图像处理程序)。通过执行所述程序，CPU 601控制通过总线606连接的设备。
位姿估计程序存储在非暂态、有形、计算机可读的存储介质中。存储介质可为光盘、磁光盘、磁盘、磁带或闪存或半导体存储器，但不限于这些。位姿估计程序可预先存储在存储设备605中，可存储在除存储设备605以外的存储介质中，或可在网络(例如互联网)中上传。在任何情况下，位姿估计程序安装在计算机60中，并且CPU 601执行位姿估计程序。结果，计算机60用作第一实施例的位姿估计装置。
输入设备602接收要提供到计算机60的输入信息。输入设备602可包括用作第一成像器101和第二成像器102的数码摄像机。输入设备602还可包括例如键盘、鼠标和触摸板。
显示设备603显示静态图像或视频。显示设备603例如为LCD(液晶显示器)、CRT(阴极射线管)或PDP(等离子显示板)，但不限于这些。显示设备603可显示例如标准图像110和参考图像111，或可显示包括在标准图像110和参考图像111中的特征点。替代地，显示设备603可显示基于位姿估计程序的执行结果而准备的地图图像。另外，显示设备603可显示第一成像器101(标准摄像机)的当前位姿叠加在上面的地图图像，或第一成像器101(标准摄像机)的位姿的变更追踪叠加在上面的地图图像。
通信设备604执行与外部装置的有线通信或无线通信。通信设备604为例如调制解调器、集线器或路由器，但不限于这些。第一成像器101和第二成像器102可提供用于外部装置，而不是提供它们用于计算机60。在这种情况下，CPU 601基于通过通信设备604接收的标准图像110和参考图像111来执行位姿估计处理。
存储装置605存储各种程序(例如，计算机60的OS和位姿估计程序)、程序的执行所需的数据、由程序的执行生成的数据等。
存储装置605包括主存储器和外部存储设备。主存储器为RAM，例如DRAM(动态随机存取存储器)或SRAM(静态随机存取存储器)，但不限于这些。外部存储设备为例如硬盘、光盘、闪存或磁带，但不限于这些。
CPU 601、输入设备602、显示设备603、通信设备604和存储设备605中的每一个可结合多个设备。未在图6中示出的外围设备(例如，打印机和扫描仪)可连接到计算机60。
可以不是通过单个计算机60而是通过多个相互连接的计算机60(即，计算机系统)来实现第一实施方式的位姿估计装置。
如上所述，第一实施例的位置估计装置同时地估计第一成像器在第一时间(t+1)的相对位置(其中第二时间被作为标准)以及第二成像器从第二成像器102捕获第一和第二参考图像的理想成像位置的位置移位。因此，即使第一成像器和第二成像器的成像时序彼此不同步，位姿估计装置仍可估计第一成像器(标准摄像机)的位姿。也就是说，可通过利用两个通用摄像机(其为廉价的)的立体摄像机来实现位姿估计装置。
即使第一时间或第二时间以及第二成像器捕获第一参考图像或第二参考图像的时间之间的时间差未知，位姿估计装置仍可估计第二成像器是如何从与第一或第二时间关联的理想成像位置移位的。因此，即使用于测量时间差的时间戳不可用，仍可使用位姿估计装置。
另外，位姿估计装置不简化从第一或第二时间到捕获第一参考图像或第二参考图像的时间第二成像器如何移动。例如，位姿估计装置不假设第二成像器的运动是均匀的线性运动。即使第二成像器的运动包括旋转运动或加速运动，位姿估计装置仍可准确地估计第二成像器是如何从第一时间或第二时间的理想成像位置移位的。
当应用本实施例的位姿估计装置时，移动对象可采集关于当前位置或目标位置的数据并且可高效地从当前位置移动到目标位置。移动对象可提供有位姿估计装置；替代地，移动对象可接收从位姿估计装置远程地传输的移动指令。
(第二实施例)
第一实施例的位姿估计装置可结合在真空清洁器(真空清洁器系统)11中，如图7-9所示。真空清洁器11是所谓的自驱使式机器人清洁器(也称为清洁机器人)并且在自主地移动的同时清扫目标清扫区域(例如，建筑物的地板)。
真空清洁器11可执行一系列清扫操作，以图10示出的充电器作为基地。也就是说，真空清洁器11离开充电器12，在移动的同时清扫地板，并且返回到充电器12，在充电器12处真空清洁器等待下次的清扫操作指令。在充电器机械地并且电气地连接到真空清洁器11的状态下，充电器12对结合在真空清洁器11中的蓄电池28充电。
如图7和10所示，真空清洁器11可与作为中继的家庭网关14执行有线通信或无线通信(例如，Wi-Fi[注册商标名]或蓝牙[注册商标名])。家庭网关14可用路由器、接入点或类似物替代。家庭网关14例如通过导线连接而连接到网络15(例如互联网)，并可通过网络15与外部通信设备(包括服务器16、智能电话17和PC 18(其可为平板类型))通信。也就是说，真空清洁器11可通过家庭网关14和网络15与服务器16、智能电话17、PC 18或类似物进行通信。
服务器16为连接到网络的计算机(云服务器)并可存储关于真空清洁器11的各种不同的数据(例如，从真空清洁器11传输的图像)。服务器16可响应于智能电话17或PC 18做出的请求来传输存储在其中的数据。
在家庭网关14安装在其中的建筑的内部，智能电话17或PC 18可借助于家庭网关14执行与真空清洁器11的有线通信或无线通信。当位于建筑外部时，智能电话17或PC 18可借助于网络15执行与真空清洁器11的有线通信或无线通信。智能电话17或PC 18中的每一个包括用于显示图像的显示设备。
由于上述的网络，真空清洁器11的用户可通过操作智能电话17或PC 18向真空清洁器11发送操作指令，并可通过查看显示在智能电话17或PC 18的显示设备上的图像来检查真空清洁器11的清扫操作的结果(例如，关于真空清洁器11如何移动的数据)。图像例如从服务器16下载。
真空清洁器11包括主体外壳20。主体外壳20为由合成树脂或类似物制成的基本上圆柱形的外壳(厚盘)。更具体地，主体外壳20包括基本上圆形的上表面部分20b、下表面部分20c和连接这些部分的侧表面部分20a。主体外壳20是中空的并且包括各种部件，包括控制单元21、蓄电池28、电动鼓风机41和灰尘收集部分46。
在下面的描述中，基本平行于通过其使真空清洁器11移动的驱动轮34的旋转轴的方向将称为左右方向(宽度方向)，并且基本垂直于宽度方向的真空清洁器11的行进方向将称为前后方向(由图8和9中的FR和RR指示)。为了便于理解，在图8和9中绘出与前后方向平行的中心线L。
如图8所示，成像单元25(包括右摄像机51-R和左摄像机51-L)附接到主体外壳20的侧表面部分20a的前部。右摄像机51-R和左摄像机51-L设置成使得连接它们的直线基本平行于宽度方向(即，驱动轮34的旋转轴的方向)。右摄像机51-R和左摄像机51-L捕获例如可见光范围的图像。由于可见光范围的图像具有比红外范围的图像更好的质量，所以可将其在视觉上呈现给用户，而不经过复杂的图像处理。
灯(未示出)(例如，发光二极管(LED))可附接在右摄像机51-R和左摄像机51-L周围。灯由控制单元27(稍后将详细地描述)控制成使得在环境亮度低于预定值时被点亮，否则不点亮。当灯被点亮时，其发射包括可见光范围的光并且因此充当用于右摄像机51-R和左摄像机51-L的照明器。由于该灯，甚至在阴影(黑暗地点)中和在夜晚仍可捕获适当的图像。
右摄像机51-R和左摄像机51-L可为捕获红外范围的图像的红外摄像机。在该情况下，从灯(未示出)发射包括红外范围的光，并且在无关环境亮度的情况下稳定地捕获合适的图像。如果由灯发射的光不包括可见光范围，即使当灯在阴影(黑暗地点)中或在夜晚点亮时，灯周围的人不会感知光亮眼，并且可继续图像捕获操作。
当真空清洁器11移动时，下表面部分20c面对清扫目标区域。如图9所示，露出了允许真空清洁器11移动的驱动轮34和回转轮36。吸入口31(充当灰尘收集口)和排出口32在下表面部分20c中打开。旋转刷(充当将灰尘铲取到吸入口31中的旋转清洁构件)可旋转地提供在吸入口31附近。侧刷44(充当铲取灰尘的辅助清洁构件)可旋转地附接在下表面部分20c的前部的相应侧上。充电端子71提供在下表面20c的后部的相应侧上。充电端子71允许包含在主体外壳20中的蓄电池28与充电器12进行电气和机械接触，并且可对蓄电池28充电。
如图7所示，真空清洁器11包括行进单元21、清洁单元22、通信单元23、成像单元25、传感器单元26、控制单元27和蓄电池28。
蓄电池28是真空清洁器11的电源，将向行进单元21、清洁单元22、通信单元23、成像单元25、传感器单元26和控制单元27供电。蓄电池28电气地连接到上述的充电端子，并且可在充电器12借助于充电端子71与蓄电池28电气和机械接触时被充电。
行进单元21使得真空清洁器11的主体外壳20能够在清扫目标区域上行进。具体而言，行进单元21包括一对驱动轮、一对电机35和回转轮36。
借助于从对应的电机35传递的动力使驱动轮34旋转并且驱动轮34使真空清洁器11在清扫目标区域上前后移动。驱动轮34的旋转轴基本平行于主体外壳20的宽度方向，并且参考主体外壳20的前后方向基本对称地布置。驱动轮34中的每一个通过对应的电机35单独地被驱动。
电机35中的每一个在行进控制器66的控制下向对应的驱动轮34提供动力，稍后会描述行进控制器66。回转轮36是能够在清扫目标区域上回转的受驱轮，并且布置在主体外壳20的前部的中心，如图9所示。
清洁单元22清扫清扫目标区域上的灰尘。具体而言，清洁单元22包括电动鼓风机41、旋转刷42、刷电机43、一对侧刷44、一对侧刷电机45和灰尘收集部分46。即使省略在此描述的部分元件，也仍可清洁清扫目标区域。
电动鼓风机41包含在主体外壳20中并且在清洁控制器67的控制下操作，稍后会描述清洁控制器67。电动鼓风机41从吸入口31将灰尘连同空气一起吸入，并从排出口32排出吸入的空气。由电动鼓风机41吸入的灰尘被引导到灰尘收集部分46。
刷电机43在清洁控制器67的控制下使旋转刷42旋转。侧刷电机45在清洁控制器67的控制下使侧刷44旋转。灰尘收集部分46连接到吸入口31并且收集从吸入口31吸入的灰尘。
通信单元23与外部装置(例如充电器12和家庭网关14)通信。更具体地，通信单元23包括无线LAN设备47。通信单元23对应于图6所示的通信设备604。
借助于家庭网关14和网络15，无线LAN设备47将各种信息传输到外部装置(例如，服务器16、智能电话17和PC 18)并从外部装置接收各种信息。无线LAN设备47可包含在主体外壳20中。
通信单元23可包括发射器和接收器(都未示出)。发射器可为例如将红外信号(无线电信号)传输到充电器12的红外光发射元件。接收器可为例如接收从充电器12或从远程控制器(未示出)传输的红外信号(无线电信号)的光三极管。
成像单元25捕获真空清洁器11周围区域的图像。如上面提及的，成像单元25包括右摄像机51-R和左摄像机51-L，并且可包括灯(未示出)。右摄像机51-R和左摄像机51-L分别对应于第二成像器102和第一成像器101。右摄像机51-R和左摄像机51-L在成像控制器68的控制下以各自单独的时序捕获图像，稍后会描述成像控制器68。由右摄像机51-R和左摄像机51-L捕获的图像可通过图像处理电路(未示出)压缩成预定数据格式。
传感器单元26包括例如测量每个驱动轮34或每个电机35的旋转的数量的旋转传感器55。旋转传感器55可例如为光学编码器。如果需要，则可省略旋转传感器55。
控制单元27控制行进单元21、清洁单元22、通信单元23、成像单元25等。具体地，控制单元27包括存储器61、位姿估计器62、行进控制器66、清洁控制器67、成像控制器68和地图产生器70。控制单元27可例如为微控制器。控制单元27对应于图6所示的CPU 601和存储设备605。
图7所示的功能划分仅为示例。例如，位姿估计器62、行进控制器66、清洁控制器67、成像控制器68和地图产生器70中的部分或全部可独立于控制单元27提供，并且这些中的两个或更多个可以以期望的方式进行组合。
存储器61存储用于控制或用于执行操作的各种数据，例如由右摄像机51-R和左摄像机51-L捕获的图像。优选地，存储器61中的数据可无关于真空清洁器11的电力状态而被保持。因此，存储器61由非易失性存储介质(例如闪存)制成。
位姿估计器62对应于图1所示的估计器103。换言之，位姿估计器62从存储器61读取由右摄像机51-R和左摄像机51-L捕获的图像(对应于参考图像111和标准图像110的图像)，并且执行上述的估计处理。位姿估计器62生成表示左摄像机51-L(标准摄像机)的位姿的估计数据。位姿估计器62可将左摄像机51-L的估计的位姿转换成主体外壳20的中心的位姿。该估计数据例如由行进控制器66使用以控制自主移动(例如，确定移动速度和方向)，或由地图产生器使用以准备地图。
行进控制器66通过控制流经电机35的电流的强度和方向使得电机35在正常方向上或在相反方向上旋转。每个驱动轮34与对应的电机35的旋转互锁，并且使真空清洁器11在期望的方向上移动。
清洁控制器67对于电动鼓风机41、刷电机43和侧刷电机45单独地执行传导角控制。对于电动鼓风机41、刷电机43和侧刷电机45中的每一个可提供清洁控制器67。成像控制器68单独地控制右摄像机51-R和左摄像机51-L的图像捕获的开始和结束。
地图产生器70基于位姿估计器62生成的估计数据生成地图图像。代替仅真空清洁器11的外部世界的地图图像，地图产生器70可准备真空清洁器11的当前位姿叠加在上面的地图图像或真空清洁器11的位姿的变更追踪叠加在上面的地图图像。
宽泛地说，控制单元27具有下列三种模式：在其中真空清洁器11在自主地移动的同时进行清扫的清扫模式；在其中对蓄电池28充电的充电模式，其中真空清洁器11与充电器12电气和机械接触；以及在其中在真空清洁器11连接到例如充电器12的状态下其等待下次的清扫模式指令的待机模式。在充电模式中，可利用已知技术，其中使用结合在充电器12中的充电电路(例如恒电流电路)。控制单元27可使得右摄像机51-R和左摄像机51-L中的至少一个根据从智能电话17、PC 18或远程控制器(未示出)提供的指令捕获预定对象的图像。
当到达预定清扫开始时间或当接收到从智能电话17、PC 18或远程控制器(未示出)传输的清扫开始指令时，控制单元27的操作状态从待机模式或充电模式改变到清扫模式。当开始清扫模式时，控制单元27的行进控制器66驱动每个电机35，并使真空清洁器11从充电器远离预定距离。
然后，真空清洁器11在自主地移动的同时开始清扫清扫目标区域。当真空清洁器11移动时，控制单元27的成像控制器68使得右摄像机51-R和左摄像机51-L周期性地捕获图像，从而采集主体外壳20的前部前方区域的立体图像(即，标准图像110和参考图像111)。采集的立体图像存储在存储器61中。
控制单元27的位姿估计器62从存储器61读取立体图像并执行上述的估计处理。位姿估计器62生成估计数据112，其表示左摄像机51-L(标准摄像机)的位姿，(或其表示主体外壳20的中心的位姿)。基于估计数据112，控制单元27的行进控制器66控制真空清洁器11的自主移动。
可借助于家庭网关14和网络15以预定时序将存储在存储器61中的图像传输(上传)到服务器16。具体地，当真空清洁器11返回到充电器12时可上传图像，可在清扫过程中以定期或不定期地上传图像，或可响应于外部装置(例如智能电话或PC 18)做出的请求上传数据。在传输之后，可从存储器61擦除图像，或可使用在其中存储图像的存储区域用于写入新数据。以这种方式，可高效地使用存储器61的存储容量。代替服务器16，数据可积累在存储器61、智能电话17或PC 18中。
当真空清洁器11移动时，控制单元27的清洁控制器67驱动电动鼓风机41、刷电机43和侧刷电机45。结果，从吸入口31吸入清扫目标区域上的灰尘并且将其收集在灰尘收集部分46中。
在对于清扫目标区域的清扫操作结束后，控制单元27的行进控制器66使真空清洁器11返回到充电器12。如果蓄电池没有存储足以完成安排的清扫操作的能量，则真空清洁器11可能用完蓄电池28的能量。在这样的情况下，真空清洁器11可能不能够返回到充电器12。如果蓄电池28的能量水平低于预定值(例如，蓄电池28的电压下降到接近放电截止电压)，则甚至是在清扫操作的过程中，控制单元27的行进控制器66也可使真空清洁器11返回到充电器12。当充电端子71电气地并且机械地连接到充电器12，控制单元27从清扫模式切换到充电模式。在充电模式结束之后，控制单元27可再次切换到待机模式或清扫模式。
如上所述，如联系于第一实施例所述，第二实施例的真空清洁器估计其位姿，并基于估计结果自主地移动。由于真空清洁器考虑了其自身位姿和真空清洁器周围的区域的地图而行进，因此可以以高效率完成清扫操作。另外，真空清洁器可基于由在成像时序上异步的立体摄像机捕获的图像来估计其自身位姿，从而相应地降低了制造成本。
控制单元27可处理由外部装置(例如智能电话17和PC 18)显示的图像以使得其可正确地由外部装置显示。替代地，图像可通过安装在外部装置中的专用程序(应用)来处理以使得图像可正确地由外部装置显示。替代地，控制单元27或服务器16可执行对图像的预处理以使得外部装置可通过使用通用程序(例如浏览器)显示图像。也就是说，可通过安装在控制单元27、服务器16或外部装置中的任一个中的程序来实现图像显示控制。
可通过提供在真空清洁器11上的显示器(该显示器对应于图6所示的显示设备)来直接显示右摄像机51-R和左摄像机51-L捕获的图像。在这种情况下，即使真空清洁器11不能借助于家庭网关12或网络15传输图像，用户也可查看图像。换言之，甚至是在在其中可用的网络资源质量不佳的环境中，也可查看图像，因此真空清洁器11的结构和控制可为简单。
传感器(例如，用于感测位于右摄像机51-R和左摄像机51-L的视场外部的障碍的接触传感器)可提供在主体外壳20的后部上。另外，用于感测清扫目标区中的台阶的台阶传感器(例如红外传感器)可提供在主体外壳20的下表面部分20c上。
真空清洁器(真空清洁器系统)11的位姿估计器62可提供在包含成像单元25的主体外壳20的外部。换言之，可独立于成像单元25和清洁单元22提供控制单元27并且控制单元27可通过有线或无线方式与它们通信。
尽管已经描述了某些实施例，但是这些实施例仅以举例的方式来呈现，而没有限制发明的范围的意图。实际上，可以以各种不同的其他形式来实现本文描述的新颖方法和系统；另外，在不背离发明的精神的情况下，可对本文描述的方法和系统在形式上进行各种省略、替换或改变。随附的权利要求及其等价物应当覆盖这样的形式或修改，因为它们落于发明的范围和精神内。

Claims (7)

1.一种位姿估计装置，用于估计具有第一成像器和第二成像器的立体摄像机的第一成像器的位姿，所述第一成像器和所述第二成像器的成像时序彼此不同步，所述位姿估计装置包括：
所述第一成像器，其生成在第一时间捕获的第一标准图像和在第二时间捕获的第二标准图像；
所述第二成像器，其生成与所述第一时间关联的第一参考图像和与所述第二时间关联的第二参考图像；以及
估计器，其基于所述第一标准图像、所述第二标准图像、所述第一参考图像和所述第二参考图像来估计：(a)所述第一成像器在所述第一时间的位姿，其中所述第一成像器在所述第二时间的位姿被视为标准，以及(b)当捕获所述第一参考图像时的所述第二成像器的位置从所述第二成像器在所述第一时间的估计理想位置的位置移位，其中所述第二成像器在所述第一时间的所述估计理想位置通过根据所述第一成像器和所述第二成像器之间的位置关系使所述第一成像器在所述第一时间的位置移位来计算，
其中，所述估计器对所述第一标准图像、所述第二标准图像、所述第一参考图像和所述第二参考图像中的对应的特征点进行搜索，基于所述第二标准图像和所述第二参考图像恢复所述特征点的位置，并估计(a)以及(b)，以使得通过在所述第一时间将所述特征点的恢复的位置投影在所述第一成像器和所述第二成像器上获得的重投影点和包括在所述第一标准图像和所述第一参考图像中的所述特征点之间的误差最小化。
2.根据权利要求1所述的装置，其中，所述估计器将捕获所述第一参考图像的所述第二成像器从所述第二成像器在所述第一时间的所述估计位置的所述位置移位视为是由旋转运动所导致的。
3.根据权利要求1所述的装置，其中，所述估计器估计：当捕获所述第二参考图像时的所述第二成像器的位置从所述第二成像器在所述第二时间的估计理想位置的位置移位，其中所述第二成像器在所述第二时间的所述估计理想位置通过根据所述第一成像器和所述第二成像器之间的位置关系使所述第一成像器在所述第二时间的位置移位来计算。
4.根据权利要求1所述的装置，其中，所述估计器：(a)将所述第一成像器在所述第一时间的所述位姿估计为两个自由度的平移分量和一个自由度的旋转分量，其中所述第一成像器在所述第二时间的所述位姿被视为标准，以及(b)将捕获所述第一参考图像的所述第二成像器从所述第二成像器在所述第一时间的估计位置的所述位置移位估计为一个自由度的旋转分量。
5.一种真空清洁器系统，其包括根据权利要求1所述的装置。
6.根据权利要求5所述的系统，进一步包括允许真空清洁器行进的驱动轮，并且其中
所述驱动轮的旋转轴基本平行于连接所述第一成像器和所述第二成像器的直线。
7.一种存储计算机程序指令的非暂态计算机可读存储介质，当计算机执行所述计算机程序指令时，使得计算机进行具有第一成像器和第二成像器的立体摄像机的第一成像器的位姿估计，所述第一成像器和所述第二成像器的成像时序彼此不同步，使得计算机进行下列步骤：
控制生成在第一时间捕获的第一标准图像和在第二时间捕获的第二标准图像的所述第一成像器；
控制生成与所述第一时间关联的第一参考图像和与所述第二时间关联的第二参考图像的所述第二成像器；以及
基于所述第一标准图像、所述第二标准图像、所述第一参考图像和所述第二参考图像来估计：(a)所述第一成像器在所述第一时间的位姿，其中所述第一成像器在所述第二时间的位姿被视为标准，以及(b)当捕获所述第一参考图像时的所述第二成像器的位置从所述第二成像器在所述第一时间的估计理想位置的位置移位，其中所述第二成像器在所述第一时间的所述估计理想位置通过根据所述第一成像器和所述第二成像器之间的位置关系使所述第一成像器在所述第一时间的位置移位来计算，估计步骤包括：对所述第一标准图像、所述第二标准图像、所述第一参考图像和所述第二参考图像中的对应的特征点进行搜索，基于所述第二标准图像和所述第二参考图像恢复所述特征点的位置，并估计(a)以及(b)，以使得通过在所述第一时间将所述特征点的恢复的位置投影在所述第一成像器和所述第二成像器上获得的重投影点和包括在所述第一标准图像和所述第一参考图像中的所述特征点之间的误差最小化。
CN201611011555.1A 2015-11-17 2016-11-17 位姿估计装置及真空清洁器系统 Active CN107067436B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-225013 2015-11-17
JP2015225013A JP6659317B2 (ja) 2015-11-17 2015-11-17 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム

Publications (2)

Publication Number Publication Date
CN107067436A CN107067436A (zh) 2017-08-18
CN107067436B true CN107067436B (zh) 2021-01-05

Family

ID=57286312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611011555.1A Active CN107067436B (zh) 2015-11-17 2016-11-17 位姿估计装置及真空清洁器系统

Country Status (7)

Country Link
US (1) US10375376B2 (zh)
EP (1) EP3171334B1 (zh)
JP (1) JP6659317B2 (zh)
KR (1) KR101950558B1 (zh)
CN (1) CN107067436B (zh)
MY (1) MY179154A (zh)
TW (1) TWI617277B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546385B2 (en) 2016-02-25 2020-01-28 Technion Research & Development Foundation Limited System and method for image capture device pose estimation
JP6831210B2 (ja) * 2016-11-02 2021-02-17 東芝ライフスタイル株式会社 電気掃除機
KR101938668B1 (ko) 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법
CN109254579B (zh) * 2017-07-14 2022-02-25 上海汽车集团股份有限公司 一种双目视觉相机硬件系统、三维场景重建系统及方法
CN107168343B (zh) * 2017-07-14 2020-09-15 灵动科技（北京）有限公司 一种行李箱的控制方法及行李箱
KR101984516B1 (ko) * 2017-07-21 2019-05-31 엘지전자 주식회사 청소기 및 그 제어방법
KR102277650B1 (ko) * 2017-07-21 2021-07-16 엘지전자 주식회사 청소기 및 그 제어방법
US10671075B1 (en) * 2017-12-15 2020-06-02 Zoox, Inc. Trajectory generation using curvature segments
JP2019148926A (ja) * 2018-02-26 2019-09-05 株式会社リコー 情報処理装置、移動体システム、撮像システム及び情報処理方法
US11198340B2 (en) * 2018-05-01 2021-12-14 Continental Automotive Systems, Inc. Coupler and tow-bar detection for automated trailer hitching via cloud points
CN112004696B (zh) * 2018-05-01 2024-04-12 大陆汽车系统公司 牵引车辆和拖车的对准
US10984553B2 (en) 2018-05-01 2021-04-20 Continental Automotive Systems, Inc. Real-time trailer coupler localization and tracking
US10733761B2 (en) 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
WO2020006378A1 (en) * 2018-06-29 2020-01-02 Zoox, Inc. Sensor calibration
US11288842B2 (en) 2019-02-15 2022-03-29 Interaptix Inc. Method and system for re-projecting and combining sensor data for visualization
CN110069593B (zh) * 2019-04-24 2021-11-12 百度在线网络技术（北京）有限公司 图像处理方法及系统、服务器、计算机可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419055A (zh) * 2008-10-30 2009-04-29 北京航空航天大学 基于视觉的空间目标位姿测量装置和方法
CN101581569A (zh) * 2009-06-17 2009-11-18 北京信息科技大学 双目视觉传感系统结构参数的标定方法
CN101865656A (zh) * 2010-06-18 2010-10-20 浙江大学 一种使用少数共面点精确定位多摄像头系统位姿的方法
CN103150728A (zh) * 2013-03-04 2013-06-12 北京邮电大学 一种动态环境中的视觉定位方法
CN103988226A (zh) * 2011-08-31 2014-08-13 Metaio有限公司 用于估计摄像机运动以及用于确定实境三维模型的方法
CN103994755A (zh) * 2014-05-29 2014-08-20 清华大学深圳研究生院 一种基于模型的空间非合作目标位姿测量方法
CN104685868A (zh) * 2012-10-05 2015-06-03 高通股份有限公司 用于校准成像装置的方法及设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7135992B2 (en) * 2002-12-17 2006-11-14 Evolution Robotics, Inc. Systems and methods for using multiple hypotheses in a visual simultaneous localization and mapping system
JP4160572B2 (ja) * 2005-03-31 2008-10-01 株式会社東芝 画像処理装置及び画像処理方法
US7925049B2 (en) * 2006-08-15 2011-04-12 Sri International Stereo-based visual odometry method and system
JP4748082B2 (ja) 2007-02-23 2011-08-17 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法
AU2011305154B2 (en) * 2010-09-24 2015-02-05 Irobot Corporation Systems and methods for VSLAM optimization
CN102012706B (zh) * 2010-10-01 2015-06-24 苏州佳世达电通有限公司 能自动定位移动的电子装置及让其移动件自动归位的方法
CN202956117U (zh) * 2012-12-04 2013-05-29 金宝电子（中国）有限公司 定位检测系统以及装置
ES2613138T3 (es) * 2013-08-23 2017-05-22 Lg Electronics Inc. Robot limpiador y método para controlar el mismo
TWM477595U (zh) * 2013-11-18 2014-05-01 Weistech Technology Co Ltd 具有路線記憶功能之移動裝置
JP6266331B2 (ja) * 2013-12-13 2018-01-24 東芝ライフスタイル株式会社 走行体装置
JP6412819B2 (ja) * 2015-03-30 2018-10-24 株式会社東芝 画像処理装置、画像処理方法、および画像処理プログラム
JP2017027417A (ja) 2015-07-23 2017-02-02 株式会社東芝 画像処理装置及び電気掃除器
JP6705636B2 (ja) * 2015-10-14 2020-06-03 東芝ライフスタイル株式会社 電気掃除機

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419055A (zh) * 2008-10-30 2009-04-29 北京航空航天大学 基于视觉的空间目标位姿测量装置和方法
CN101581569A (zh) * 2009-06-17 2009-11-18 北京信息科技大学 双目视觉传感系统结构参数的标定方法
CN101865656A (zh) * 2010-06-18 2010-10-20 浙江大学 一种使用少数共面点精确定位多摄像头系统位姿的方法
CN103988226A (zh) * 2011-08-31 2014-08-13 Metaio有限公司 用于估计摄像机运动以及用于确定实境三维模型的方法
CN104685868A (zh) * 2012-10-05 2015-06-03 高通股份有限公司 用于校准成像装置的方法及设备
CN103150728A (zh) * 2013-03-04 2013-06-12 北京邮电大学 一种动态环境中的视觉定位方法
CN103994755A (zh) * 2014-05-29 2014-08-20 清华大学深圳研究生院 一种基于模型的空间非合作目标位姿测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Rapid free-space mapping from a single omnidirectional camera》;ROBERT LUKIERSKI等;《2015 EUROPEAN CONFERENCE ON MOBILE ROBOTS》;20150930;第3节第B部分以及图1 *

Also Published As

Publication number Publication date
JP2017090416A (ja) 2017-05-25
KR101950558B1 (ko) 2019-02-20
US20170140540A1 (en) 2017-05-18
TWI617277B (zh) 2018-03-11
KR20170057840A (ko) 2017-05-25
MY179154A (en) 2020-10-29
JP6659317B2 (ja) 2020-03-04
EP3171334B1 (en) 2018-09-19
CN107067436A (zh) 2017-08-18
EP3171334A1 (en) 2017-05-24
TW201720357A (zh) 2017-06-16
US10375376B2 (en) 2019-08-06

Similar Documents

Publication Publication Date Title
CN107067436B (zh) 位姿估计装置及真空清洁器系统
US10427304B2 (en) Robotic charger alignment
US10242454B2 (en) System for depth data filtering based on amplitude energy values
KR102457222B1 (ko) 이동 로봇 및 그 제어 방법
EP2962062B1 (en) Context-based depth sensor control
US20170150021A1 (en) Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor
WO2018159168A1 (en) System and method for virtually-augmented visual simultaneous localization and mapping
US20140240469A1 (en) Electronic Device with Multiview Image Capture and Depth Sensing
EP2962279A1 (en) System for 2d/3d spatial feature processing
JP2011123071A (ja) 撮像装置、オクルージョン領域の探索方法、及びプログラム
GB2569926A (en) Electric vacuum cleaner
TW202115366A (zh) 機率性多機器人slam的系統及方法
JP2016177640A (ja) 映像監視システム
CN108519102A (zh) 一种基于二次投影的双目视觉里程计算方法
EP3918437A1 (en) Systems and methods for laser and imaging odometry for autonomous robots
JP2017027417A (ja) 画像処理装置及び電気掃除器
JP2018155664A (ja) 撮像システム、撮像制御方法、画像処理装置および画像処理プログラム
CN113701750A (zh) 一种井下多传感器的融合定位系统
CN110919644B (zh) 一种利用摄像头设备和机器人进行定位交互的方法及系统
JP7354528B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
WO2018114581A1 (en) Method and apparatus for constructing lighting environment representations of 3d scenes
JP7266128B2 (ja) ３次元マップ生成方法及びシステム
JP7327596B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
Benton VR Quadcopter Telepresence Proposal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant