CN111417836A - 环境取得系统 - Google Patents

环境取得系统 Download PDF

Info

Publication number
CN111417836A
CN111417836A CN201880072365.1A CN201880072365A CN111417836A CN 111417836 A CN111417836 A CN 111417836A CN 201880072365 A CN201880072365 A CN 201880072365A CN 111417836 A CN111417836 A CN 111417836A
Authority
CN
China
Prior art keywords
housing
environment
acquisition system
environmental information
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880072365.1A
Other languages
English (en)
Inventor
莲沼仁志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Publication of CN111417836A publication Critical patent/CN111417836A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H04N23/531—Constructional details of electronic viewfinders, e.g. rotatable or detachable being rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

环境取得系统(1)具备外壳(11)、视觉传感器(12)及数据处理部(14)。所述视觉传感器(12)被容纳在所述外壳(11)内，且可反复取得与所述外壳(11)外部的环境相关的环境信息。所述数据处理部(14)，根据以所述视觉传感器(12)取得的环境信息、或自该环境信息获取的信息，进行所述视觉传感器(12)的位置及姿势的估计处理及外部环境三维数据的生成处理。所述视觉传感器(12)，可在所述外壳(11)的姿势未被控制、且所述外壳(11)远离地面而不受外部的机械约束的状态下，取得所述环境信息。

Description

环境取得系统
技术领域
本发明主要涉及一种环境取得系统的结构。
背景技术
过往，已知一种结构，其在机器人上安装摄影机或传感器，且利用摄影机或传感器取得机器人的位置信息等。专利文献1至专利文献3公开了此种结构。
专利文献1公开了一种机器人系统，其具备：机器人臂；摄影机，其安装于机器人臂的前端或其近旁；及机器人控制器，其根据从拍摄的图象数据中获取的操作对象等的位置信息，进行机器人臂的位置校正。在该结构中，机器人控制器，根据位置信息进行机器人臂的位置校正。由此，可提高机器人臂的保持等的动作精度。
专利文献2公开了一种移动体装置的位置识别系统，其具备：移动台车；摄影机，其安装于移动台车侧；及多个发光型目标标誌，其配置于既定位置，且仅于从移动台车传送特定的发光请求信号的情况下才反应且发光。在该结构中，预先将所有目标标誌的设置位置与移动台车的发光请求信号建立关联，且以摄影机确定区域内的至少两个目标标誌位置。然后，根据摄影机的方向及拍摄图象中的标誌的坐标位置，计算自身位置。
专利文献3公开了一种自主移动机器人，其具备：三维量测传感器，其能够立体量测与物体间隔的距离；同时定位传感器(Simultaneous Localization sensor)，其能量测自身位置；及运算装置，其包含地图生成部。在该结构中，使机器人在移动环境内运动，且利用三维量测传感器量测机器人至周围物体的距离，并利用同时定位传感器扫描移动环境。然后，自扫描的数据中生成环境地图的数据。
[现有技术文献]
[专利文献]
专利文献1：日本特开2017-132002号公报
专利文献2：日本特开2005-3445号公报
专利文献3：日本特开2016-149090号公报
发明内容
发明所要解决的技术问题
然而，在专利文献1的结构中，在机器人臂的前端或其近旁等需要用以安装摄影机的空间。因此，当安装空间不足时，不能使用该结构。
在专利文献2的结构中，为了获取移动台车的位置，需要预先准备多个标誌且将这些标誌配置于既定位置。因此，可能在使用的准备上会费时费力，难谓便利性高。
在专利文献3的结构中，使用有多个摄影机及传感器。因此，其制造成本增高。
本发明鉴于以上的情状而完成者，其目的在于能使准备操作变得简单，并且能够自由且灵活地取得外部环境的三维数据。
解决问题所使用的技术方案
本发明所要解决的问题，诚如上面的说明，下面对用以解决此问题的手段及其功效进行说明。
根据本发明的第一观点，提供以下结构的环境取得系统。亦即，该环境取得系统具备外壳、视觉传感器及数据处理部。所述视觉传感器被容纳在所述外壳内，且可反复取得与所述外壳外部的环境相关的环境信息。所述数据处理部，根据以所述视觉传感器取得的环境信息、或自该环境信息获取的信息，进行所述视觉传感器的位置及姿势的估计处理及外部环境三维数据的生成处理。所述视觉传感器，可在所述外壳的姿势未被控制、且所述外壳远离地面而不受外部的机械约束的状态下，取得所述环境信息。
根据本发明的第二观点，提供以下的环境取得方法。亦即，该环境取得方法，包含环境信息取得工序及数据处理工序。在所述环境信息取得工序中，使用具备外壳及视觉传感器的传感装置，且在所述外壳的姿势未被控制且所述外壳远离地面而不受外部的机械约束的状态下，使所述视觉传感器取得所述环境信息。所述视觉传感器被容纳在所述外壳内，并且可以反复取得与所述外壳外部的环境相关的环境信息。在所述数据处理工序中，根据在所述环境信息取得工序中取得的环境信息或自该环境信息获取的信息，进行所述视觉传感器的位置及姿势的估计及外部环境三维数据的生成。
由此，无须复杂的准备操作，可容易取得外部环境三维数据。另外，由于可以高度灵活的视点取得环境信息，因此能够抑制因死角导致的外部环境三维数据的损失。
发明效果
根据本发明的环境取得系统及环境取得方法，不仅准备操作简单，且能够灵活自由地取得外部环境的三维数据。
附图说明
图1是显示本发明的一实施方式的环境取得系统的整体结构的外观图；
图2是环境取得系统具备的传感装置的剖视图；
图3是显示环境取得系统的电结构的框图；
图4是显示环境取得系统的使用例的图；和
图5是显示环境取得系统的其他使用例的图。
附图标记说明
1 环境取得系统
10 传感装置
11 外壳
12 立体摄影机(视觉传感器)
14 SLAM处理装置(数据处理装置)
具体实施方式
下面，参照附图说明本发明的实施方式。图1是显示环境取得系统1的整体结构的外观图。图2是环境取得系统1具备的传感装置10的剖视图。图3是显示环境取得系统1的电结构的框图。
如图1所示，环境取得系统1具备传感装置10。该传感装置10具备容纳各装置的外壳11。并且，如图2所示，传感装置10具备立体摄影机(视觉传感器)12、距离图象数据生成装置13、SLAM处理装置(数据处理部)14、存储部20及通信部21。
外壳11形成为中空球形。在外壳11的内部空间的中央部配置有支撑壳体25。该支撑壳体25借助多个杆状的支撑轴26被固定于外壳11的内壁。在支撑壳体25的内部配置有立体摄影机12、距离图象数据生成装置13、SLAM处理装置14、存储部20及通信部21。另外，在支撑壳体25的内部设置有用以对所述各部分供给电力的未图示的充电式蓄电池。
在外壳11形成具有适宜大小的开口11a。容纳于内部的立体摄影机12，可经由该开口11a对外部进行拍摄。
尽管未图示，但优选在外壳11的表面安装有能吸收撞击的部件(例如，橡胶等)。由此，即使在如后述因投掷传感装置10而导致与外部物体碰撞的情况下，仍可减少对内部装置的撞击，并且可防止外部环境的损害。也可由能够吸收振动的材料构成整个外壳11。
立体摄影机12，具备一对相互间隔适当的距离而配置的摄影元件(图象传感器)。每个摄影元件，例如可作为CCD(Charge coupled Device：电荷耦合元件)而构成。2个摄影元件相互同步动作，由此，生成同时拍摄了外部环境的一对图象数据。在本实施方式中，该一对图象数据(立体图象数据)相当于环境信息。另外，在立体摄影机12中，将CCD取得的图象数据直接写入且保存于RAM，以谋求实现高速化，由此，立体摄影机12每秒能够生成500帧以上、优选1000帧以上的图象数据。
距离图象数据生成装置13，是由能进行图象处理的计算机构成，且具备CPU、ROM、RAM等。距离图象数据生成装置13，通过对由立体摄影机12获取的一对图象数据进行公知的立体匹配处理，求得与每个图象对应的位置的偏差(视差)。视差与距离成反比例，与拍摄物的距离越近则视差越大。距离图象数据生成装置13，根据该视差生成使距离信息与图象数据的各像素建立对应的距离图象数据。
每当立体摄影机12生成图象数据时，及时执行距离图象数据的生成。因此，能以与立体摄影机12相同的频率获取距离图象数据。距离图象数据生成装置13，将生成的距离图象数据输出至SLAM处理装置14。
与距离图象数据生成装置13相同，SLAM处理装置14，作为具有CPU、ROM及RAM等的计算机而构成。SLAM处理装置14，对自距离图象数据生成装置13输入的距离图象数据进行SLAM(Simultaneous Localization and Mapping：同时定位与地图构建)处理。由此，能够同时取得立体摄影机12的位置及姿势的估计信息、及环境地图即外部环境三维数据。依此方式使用摄影机图象进行的SLAM处理，被称为Visual-SLAM。立体摄影机12的位置及姿势，与传感装置10的位置及姿势对应。
如图3所示，SLAM处理装置14，具备特征点处理部15、环境地图生成部16及同时定位部17。
特征点处理部15，通过对依序输入至SLAM处理装置14的距离图象数据的图象进行解析，设定适宜的特征点，进而取得其运动。特征点处理部15，将特征点及其运动的信息输出至环境地图生成部16及同时定位部17。
特征点处理部15，具备特征点选取部18及特征点追踪部19。
特征点选取部18，通过公知方法自距离图象数据内包含的图象中选取多个特征点。已提出各种各样的特征点的选取方法，例如可使用诸如Harris、FAST、SIFT、SURF等的各种运算法。特征点选取部18，将获取的特征点的坐标等信息输出至特征点追踪部19。也可在输出至特征点追踪部19的信息内含有描述该特征点的特征量。
特征点追踪部19，通过公知方法，在连续获取的多个距离图象数据之间追踪出现于图象中的特征点。已提出各种追踪特征点的方法，例如，可使用Horn-Schunk方法、Lucas-Kanade方法等。通过该处理，能够求得以矢量表现特征点的移动的光流，该特征点是在相当于图象的平面内。
环境地图生成部16，根据自特征点处理部15输入的特征点的数据，依序生成环境地图即三维地图(外部环境三维数据)。同时定位部17，根据特征点的追踪结果，依序取得立体摄影机12的位置及姿势。
下面，具体进行说明。确定用以制作地图的三维地图坐标系(世界坐标系)，且在以该坐标系表示的三维空间中，以某种方法提供初始的立体摄影机12的位置及姿势。然后，自特征点处理部15朝环境地图生成部16输入根据最初的距离图象数据的特征点的信息。该特征点的信息内含有表示图象上的特征点的位置的坐标、及至该特征点的距离(在距离图象数据中与坐标建立关联的距离)。环境地图生成部16，使用立体摄影机12的位置及姿势、特征点在图象上的坐标、及与该坐标建立关联的距离，计算该特征点在三维地图坐标系中的位置。环境地图生成部16，将获得的特征点的位置信息输出且存储于存储部20。该处理相当于将特征点作为三维地图的一部分绘制于三维空间中。
然后，假定已获取新的距离图象数据，且自特征点处理部15输入有之前设定的特征点的追踪结果及本次新设定的特征点。同时定位部17，根据输入的特征点的追踪结果(位置及距离的变化)、及三维地图坐标系中的该特征点的位置，估计立体摄影机12的位置及姿势的变化。由此，能够获取立体摄影机12在三维地图坐标系中的新位置及姿势。
接着，环境地图生成部16，以更新后的立体摄影机12的位置及姿势为基准，计算新设定的特征点在三维地图坐标系中的位置，并将计算结果输出至存储部20。由此，能够在三维空间中追加绘制新的特征点。
如此，每次输入有距离图象数据时，则及时且交替地反复通过环境地图生成部16进行三维地图数据的更新处理、及通过同时定位部17进行立体摄影机12的位置及姿势的更新处理。由此，能够生成作为被绘制的点组的三维地图数据。
存储部20存储通过环境地图生成部16生成的三维地图数据。再者，存储部20还可一併存储通过同时定位部17计算的立体摄影机12的位置及姿势的变化履历。
通信部21例如可利用无线与配置在外壳11外部的外部装置50之间进行通信。因此，能根据来自外部的指令控制传感装置10的动作。另外，传感装置10可将存储于存储部20的三维地图数据等的传感装置10收集的信息输出至外部。
接着，参照图4，对环境取得系统1的使用例进行说明。在图4的示例中，环境取得系统1被利用于使用机器人臂31对工件32进行操作时的动作支援。
为了获取显示机器人臂31的周围已变得如何等的数据，使用者手握环境取得系统1的传感装置10，适当地朝机器人臂31及工件32的周边投掷。
传感装置10未特别具备用于行驶的轮胎或用于飞行的螺旋桨等移动手段。因此，能以低成本实现环境取得系统1。另外，由于投掷传感装置10时的动作与球类游戏等中使用的球基本相同，因此使用者容易掌握。由于外壳11为球形，因此能够成为不易损坏的结构，在这层意义上对使用者而言亦能轻松操纵。
在投掷的传感装置10掉落到地板等上乃至达到静止的过程中，进行立体摄影机12的摄影、距离图象数据生成装置13的距离图象数据的生成、及SLAM处理装置14的三维地图数据的制作。
所述处理在传感装置10进行抛物线运动乃至自由落体运动的状态下、换句话说、在外壳11的姿势未被控制且外壳11远离地面而不受外部的机械约束的状态下进行。因此，可实现非常灵活自由的视点，例如，若朝上方抛掷传感装置10，可在三维地图数据中包含根据高处的视点的特征点的位置。因此，容易避免在以定点摄影机获取的情况下容易产生的死角的问题等，从而能够丰富三维地图数据的信息量。由于立体摄影机12以每秒生成500帧以上优选每秒生成1000帧以上的图象数据的方式构成，因此，即使在传感装置10伴随投掷而高速移动或旋转的情况下，对特征点的追踪仍几乎不会失败。
使用者例如还可一面有意图地使传感装置10旋转一面投掷。由此，立体摄影机12一面改变各种方向一面呈抛物线移动，因此可对传感装置10周围的宽阔范围取得三维地图数据。换句话说，可以一个立体摄影机12实质上获取犹如具备多个立体摄影机12那样的宽阔视野。因此，能够简化传感装置10的结构并可降低成本。
也可反复进行将传感装置10投掷之后拾起并再次投掷的操作。通过以各种的轨道投掷于各种地方，能够获取范围宽且高精度的三维地图数据。
由传感装置10生成并存储于存储部20的三维地图数据，通过通信部21被传送至图3所示的外部装置50。
外部装置50取得的三维地图数据，被适当地利用于机器人臂31的动作指令。例如，使用三维地图数据，求得工件32的相对于机器人臂31的前端的终端效应器的相对位置及姿势，并根据该信息对机器人臂31发出指令。因此，即使机器人臂31本身具备的传感器的精度因某种原因而不佳，机器人臂31仍可适宜地对工件32进行操作。或者，通过根据三维地图数据生成机器人臂31周围的障碍物的信息，能够防止机器人臂31在动作时与周围环境发生干扰。
外部装置50将取得的三维地图数据作为对象进行三维物体识别。更具体地说明，外部装置50具备三维数据搜索部51，该三维数据搜索部51，将预先提供的三维模型的形状与该三维模型的名称建立对应关系后，例如，以数据库的形式加以存储。三维数据搜索部51，利用诸如三维匹配等公知方法从取得的三维地图数据中搜索三维模型，并将相应的名称例如作为标签提供给寻获的三维形状。因此，例如，在从三维地图数据中寻获工件32的三维形状的情况下，可赋予称为「工件」的标签。
当使用者指示机器人臂31进行动作时使用所获取的标签，可有效地避免指示的复杂化。另外，关于机器人臂31的动作，例如也可以「握持」、「搬送」的方式抽像地进行指示。通过所述说明，可使机器人臂31以诸如指示「握持工件」的简单的使用者界面进行使用者期望的操作，而无须依赖数值等的指示。
如以上说明，本实施方式的环境取得系统1，其具备外壳11、立体摄影机12、及SLAM处理装置14。立体摄影机12被容纳于外壳11，且能够反复取得与外壳11外部的环境相关的立体图象数据。SLAM处理装置14，根据自利用立体摄影机12取得的立体图象数据中获取的距离图象数据，进行立体摄影机12的位置及姿势的估计处理及三维地图数据的生成处理。立体摄影机12可在外壳11的姿势未被控制且外壳11远离地面而不受外部机械约束的状态下取得立体图象数据。
由此，不需要预先确保固定的设置空间或预先进行装置的固定操作，可容易取得三维地图数据。另外，由于能够一面投掷外壳11且使其落下一面取得环境信息，因此可以抑制因死角而导致的三维地图数据的损失。
在本实施方式的环境取得系统1中，立体摄影机12可在外壳11的自由落体状态下取得立体图象数据。
由此，例如，通过单纯地朝任意的场所投掷而能够简单地使用。
另外，在本实施方式的环境取得系统1中，外壳11的外形为球形。
由此，容易以人的手等进行投掷。另外，由于为球形，因此可确保其强度，并且容易旋转，因此能够取得范围宽的三维地图数据。
在本实施方式的环境取得系统1中，通过摄影机取得所述立体图象数据。
与例如后述的LIDAR相比，摄影机更廉价。因此，能有效地降低成本。
另外，在本实施方式的环境取得系统1中，SLAM处理装置14被容纳于外壳11。并且，可及时进行立体摄影机12的立体图象数据的取得、及SLAM处理装置14的处理。
由此，由于及时取得外部环境三维数据，因此适合于要求及时性的情况。
另外，本实施方式的环境取得系统1，具备三维数据搜索部51，其从三维地图数据中搜索预先登录的三维数据。
因此，例如，通过自外部环境三维数据中检测机器人的操作对象物，可以简化与机器人的动作的示教相关的使用者界面。另外，例如，可自动检测出现于外部环境三维数据的异常状况。
另外，在本实施方式中，通过包含以下的环境信息取得工序及数据处理工序的方法，进行外部环境的取得。在所述环境信息取得工序中，使用所述传感装置10，在外壳11的姿势未被控制且外壳11远离地面而不受外部的机械约束的状态下，使立体摄影机12取得立体图象数据。在所述数据处理工序中，根据自在所述环境信息取得工序中取得的立体图象数据中获取的距离图象数据，进行立体摄影机12的位置及姿势的估计及三维地图数据的生成。
因此，不需要预先确保固定的设置空间、或预先进行装置的固定操作，而可容易取得三维地图数据。另外，由于可一面投掷外壳11且使其落下一面取得环境信息，因此能够抑制因死角而导致的三维地图数据的损失。
以上尽管对本发明的较佳实施方式进行了说明，但所述结构例如可依如下方式进行变更。再者，有时亦可省略相同的说明。
也能在外部装置50设置SLAM处理装置14而不是在传感装置10上，且利用无线通信使外部装置50自传感装置10取得距离图象数据而进行Visual-SLAM处理的方式进行变更。并且，也能够将距离图象数据生成装置13设于外部装置50，且利用无线通信使外部装置50从传感装置10取得立体图象数据而进行距离图象数据的生成处理及Visual-SLAM处理的方式变更。
在外部装置50具备距离图象数据生成装置13及SLAM处理装置14等的情况，由于能够减轻传感装置10的重量，因此能使操作变得更容易。另外，传感装置10相对于外部的撞击不易被损坏。
另一方面，如所述实施方式，若将立体摄影机12、距离图象数据生成装置13、及SLAM处理装置14皆设于传感装置10侧，可以高速输入/输出立体图象数据、距离图象数据等，因此更容易及时处理。换句话说，即使在如所述使用高速型的摄影机作为立体摄影机12的情况下，仍能够及时使距离图象数据生成装置13及SLAM处理装置14动作，进而可以实际时间处理生成三维地图数据。
环境取得系统1，也可具备旋转驱动部，其使立体摄影机12相对于外壳11进行旋转。例如，该旋转驱动部能够作为使支撑壳体25相对于支撑轴26旋转的电动机而构成。在外壳11上以一面能使立体摄影机12旋转一面对外部进行拍摄的方式、例如以与立体摄影机12的透镜的旋转轨迹对向的方式预先设置环形透明部件。
在该情况下，可一面强制性地使立体摄影机12旋转一面取得立体图象数据。因此，即使从投掷传感装置10至着落于地板乃至达到静止为止的移动轨迹较短，仍能获取范围宽的三维地图数据。
在所述实施方式中，虽然环境取得系统1，在与机器人臂31等分离的状态下被使用，但该环境取得系统1，也能够直接将外壳11安装在机器人臂31等上以供使用。
例如，外壳11也可构成为立方体形状或长方体形状，而不是球形。另外，对开口11a的形状无特别限制，例如可设为长孔形状。另外，开口11a也可变更为透明窗。整个外壳11可为透明部件。
作为视觉传感器可使用单眼摄影机，以取代立体摄影机12。在该情况下，SLAM处理装置14，只要进行公知的单眼Visual-SLAM处理即可。另外，也可取代立体摄影机12，而使用组合单眼摄影机及陀螺仪传感器而成的公知构成，取得视差信息并将其利用于SLAM技术。
也可通过所述旋转驱动部强制性地使单眼摄影机旋转，且通过适宜的量测传感器(例如，编码器)依序量测该单眼摄影机的旋转方向及角速度，由此取得视差信息而利用于SLAM技术。
也可使用能进行三维量测的三维LIDAR(激光扫描器)作为视觉传感器，以取代立体摄影机12。在该情况下，与使用立体摄影机12的情况相比，能够更精确地量测对象物的三维位置。另外，通过使用激光，可进行抑制亮度等的外部影响的扫描。
在使用三维LIDAR的情况下，该三维LIDAR输出的三维点组数据，相当于环境信息。省略距离图象数据生成装置13，且将三维点组数据输入SLAM处理装置14。在SLAM处理装置14中，省略特征点处理部15，且将该三维点组数据作为三维地图数据的一部分输出至环境地图生成部16。然后当输入了三维点组数据时，通过ICP等公知运算法对该点组进行追踪处理，且将点组的运动信息输出至同时定位部17。同时定位部17根据三维点组的运动，估计三维LIDAR的位置及姿势。由此，可实现SLAM处理。
为了提高同时定位部17的自身位置的估计精度，传感装置10也可具备能量测加速度及角速度的IMU(惯性量测单元)。
也可取代外部装置50而于传感装置10设置三维数据搜索部51。通过在传感装置10侧进行三维物体识别，能够迅速(几乎实时地)且容易地利用识别结果。
传感装置10还可经由适宜的固定夹具安装于在工地上进行操作的操作人员的佩戴物(例如，安全帽等)上进行使用。因此，操作人员不仅能利用自己的眼睛，而且还能够利用在SLAM处理中取得的目前位置的信息或三维地图数据等进行操作。另外，还可容易确保操作人员为了操作而移动的路径的可追踪性。还可考虑将操作人员的目前位置及三维地图数据及时地传送至监控者的显示装置，监控者可观察该显示装置来指示操作人员。优选与所述实施方式相同，对取得的三维地图数据进行三维物体识别。由此，容易发现与预先登录的对象物不同的异物、或发现对象物的异常状态(例如，损坏等)，并能容易掌握维护对象的位置。由此，可提高操作效率。
如图5所示，还能够在无人机等飞行物体40上使用多组传感装置10。飞行物体40自空中将传感装置10一齐朝欲取得三维地图数据的区域投掷。由此，每个传感装置10取得三维地图数据。安装在飞行物体40的外部装置50，将利用无线通信而自各传感装置10收集的三维地图数据整合为一个。由此，能够在短时间内获取范围宽的三维地图数据。

Claims (9)

1.一种环境取得系统，其特征在于具备：
外壳；
视觉传感器，其被容纳在所述外壳内，且可反复取得与所述外壳外部的环境相关的环境信息；及
数据处理部，其根据以所述视觉传感器取得的环境信息、或自该环境信息获取的信息，进行所述视觉传感器的位置及姿势的估计处理及外部环境三维数据的生成处理，
所述视觉传感器，可在所述外壳的姿势未被控制、且所述外壳远离地面而不受外部的机械约束的状态下，取得所述环境信息。
2.根据权利要求1所述的环境取得系统，其中，所述视觉传感器，可在所述外壳的自由落体状态下取得所述环境信息。
3.根据权利要求1或2所述的环境取得系统，其中，所述外壳的外形为球形。
4.根据权利要求1至3中任一项所述的环境取得系统，其中，所述视觉传感器为摄影机。
5.根据权利要求1至4中任一项所述的环境取得系统，其中，所述数据处理部被容纳在所述外壳内，且
及时进行所述视觉传感器的所述环境信息的取得、及所述数据处理部的处理。
6.根据权利要求1至4中任一项所述的环境取得系统，其中，所述数据处理部被配置在所述外壳的外部，且
所述数据处理部利用通信取得所述视觉传感器获取的所述环境信息，且对该环境信息进行处理。
7.根据权利要求1至6中任一项所述的环境取得系统，其中，具备旋转驱动部，其使所述视觉传感器相对于所述外壳进行旋转。
8.根据权利要求1至7中任一项所述的环境取得系统，其中，具备三维数据搜索部，其自所述外部环境三维数据中搜索预先登录的三维数据。
9.一种环境取得方法，其特征在于包含：
环境信息取得工序，在所述环境信息取得工序中，使用具备外壳及视觉传感器的传感装置，在所述外壳的姿势未被控制且所述外壳远离地面而不受外部的机械约束的状态下，使所述视觉传感器取得所述环境信息，其中该视觉传感器被容纳在所述外壳内，并且可以反复取得与所述外壳外部的环境相关的环境信息，及
数据处理工序，在所述数据处理工序中，根据在所述环境信息取得工序中取得的环境信息或自该环境信息获取的信息，进行所述视觉传感器的位置及姿势的估计及外部环境三维数据的生成。
CN201880072365.1A 2017-11-08 2018-11-05 环境取得系统 Pending CN111417836A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017215253A JP2019086419A (ja) 2017-11-08 2017-11-08 環境取得システム
JP2017-215253 2017-11-08
PCT/JP2018/041059 WO2019093282A1 (ja) 2017-11-08 2018-11-05 環境取得システム

Publications (1)

Publication Number Publication Date
CN111417836A true CN111417836A (zh) 2020-07-14

Family

ID=66438839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880072365.1A Pending CN111417836A (zh) 2017-11-08 2018-11-05 环境取得系统

Country Status (5)

Country Link
US (1) US20200366815A1 (zh)
JP (1) JP2019086419A (zh)
CN (1) CN111417836A (zh)
TW (1) TWI687870B (zh)
WO (1) WO2019093282A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11429113B2 (en) * 2019-08-08 2022-08-30 Lg Electronics Inc. Serving system using robot and operation method thereof
JP7446320B2 (ja) 2019-09-12 2024-03-08 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法
JP7263630B2 (ja) * 2020-02-13 2023-04-24 スカイディオ，インコーポレイテッド 無人航空機による３次元再構成の実行
CN111268127A (zh) * 2020-02-26 2020-06-12 西安交通大学 一种飞行侦察机器人和多球形移动侦察机器人的复合侦查系统
WO2023234384A1 (ja) * 2022-06-03 2023-12-07 Ｎｅｃソリューションイノベータ株式会社 地図生成装置、地図生成方法、及びコンピュータ読み取り可能な記録媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001042420A (ja) * 1999-07-29 2001-02-16 Fuji Photo Film Co Ltd デジタルカメラ
CN103135549A (zh) * 2012-12-21 2013-06-05 北京邮电大学 一种具有视觉反馈的球形机器人运动控制系统及运动控制方法
CN104935896A (zh) * 2015-06-29 2015-09-23 广州杰赛科技股份有限公司 自适应运动环境侦测装置以及系统
CN105354875A (zh) * 2015-09-25 2016-02-24 厦门大学 一种室内环境二维与三维联合模型的构建方法和系统
CN105931283A (zh) * 2016-04-22 2016-09-07 南京梦宇三维技术有限公司 一种基于动作捕捉大数据的三维数字内容智能制作云平台
CN106652028A (zh) * 2016-12-28 2017-05-10 深圳乐行天下科技有限公司 一种环境三维建图方法及装置
JP2017134617A (ja) * 2016-01-27 2017-08-03 株式会社リコー 位置推定装置、プログラム、位置推定方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104254A (ja) * 2005-10-04 2007-04-19 Konica Minolta Holdings Inc カメラユニット
JP5158223B2 (ja) * 2011-04-06 2013-03-06 カシオ計算機株式会社 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP5866913B2 (ja) * 2011-09-19 2016-02-24 株式会社リコー 撮像装置
JPWO2016006588A1 (ja) * 2014-07-09 2017-04-27 パイオニア株式会社 移動体制御装置、移動体制御方法、移動体制御プログラム及び記録媒体
CN104079918A (zh) * 2014-07-22 2014-10-01 北京蚁视科技有限公司 全景三维摄像装置
US20170029103A1 (en) * 2015-07-28 2017-02-02 Inventec Appliances (Pudong) Corporation Unmanned vehicle
WO2017027290A1 (en) * 2015-08-12 2017-02-16 Drones Latam S.R.L. Apparatus for capturing aerial view images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001042420A (ja) * 1999-07-29 2001-02-16 Fuji Photo Film Co Ltd デジタルカメラ
CN103135549A (zh) * 2012-12-21 2013-06-05 北京邮电大学 一种具有视觉反馈的球形机器人运动控制系统及运动控制方法
CN104935896A (zh) * 2015-06-29 2015-09-23 广州杰赛科技股份有限公司 自适应运动环境侦测装置以及系统
CN105354875A (zh) * 2015-09-25 2016-02-24 厦门大学 一种室内环境二维与三维联合模型的构建方法和系统
JP2017134617A (ja) * 2016-01-27 2017-08-03 株式会社リコー 位置推定装置、プログラム、位置推定方法
CN105931283A (zh) * 2016-04-22 2016-09-07 南京梦宇三维技术有限公司 一种基于动作捕捉大数据的三维数字内容智能制作云平台
CN106652028A (zh) * 2016-12-28 2017-05-10 深圳乐行天下科技有限公司 一种环境三维建图方法及装置

Also Published As

Publication number Publication date
TWI687870B (zh) 2020-03-11
JP2019086419A (ja) 2019-06-06
WO2019093282A1 (ja) 2019-05-16
TW201926139A (zh) 2019-07-01
US20200366815A1 (en) 2020-11-19

Similar Documents

Publication Publication Date Title
TWI687870B (zh) 環境取得系統以及環境取得方法
CN108453738B (zh) 一种基于Opencv图像处理的四旋翼飞行器空中自主抓取作业的控制方法
JP5618840B2 (ja) 飛行体の飛行制御システム
EP3783454B1 (en) Systems and methods for adjusting uav trajectory
US9030149B1 (en) Systems and methods for payload stabilization
JP5775632B2 (ja) 飛行体の飛行制御システム
CN108226938A (zh) 一种agv小车的定位系统和方法
JP2017065467A (ja) 無人機およびその制御方法
JP6280147B2 (ja) 無人走行作業車
JP2012235712A (ja) 芝刈り状況監視機能を有する自動芝刈り機
JP6243944B2 (ja) 無人走行作業車
CN105045293B (zh) 云台控制方法、外部载体控制方法及云台
CN107205111B (zh) 摄像装置、移动装置、摄像系统、摄像方法和记录介质
CN110716549A (zh) 用于无地图区域巡逻的自主导航机器人系统及其导航方法
WO2018150917A1 (ja) 被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム
JP7391053B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6642502B2 (ja) 飛行装置、方法、及びプログラム
JP6482856B2 (ja) 監視システム
JP2017168055A (ja) 無人走行作業車
US10922154B1 (en) Systems and methods for inter-process communication within a robot
Saleem An economic simultaneous localization and mapping system for remote mobile robot using SONAR and an innovative AI algorithm
CN116867611A (zh) 融合静态大视场和高保真度可移动传感器用于机器人平台
CN109974700B (zh) 中央控制器、移动导航系统及方法
CN112703748B (zh) 信息处理装置、信息处理方法以及程序记录介质
CN116499456B (zh) 移动机器人自动定位装置、方法及无人割草机定位系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200714