CN110178157B - 自身位置估计装置、自身位置估计方法、程序及图像处理装置 - Google Patents

自身位置估计装置、自身位置估计方法、程序及图像处理装置 Download PDF

Info

Publication number
CN110178157B
CN110178157B CN201780061890.9A CN201780061890A CN110178157B CN 110178157 B CN110178157 B CN 110178157B CN 201780061890 A CN201780061890 A CN 201780061890A CN 110178157 B CN110178157 B CN 110178157B
Authority
CN
China
Prior art keywords
image
coordinate
self
camera
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780061890.9A
Other languages
English (en)
Other versions
CN110178157A (zh
Inventor
堀田修平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN110178157A publication Critical patent/CN110178157A/zh
Application granted granted Critical
Publication of CN110178157B publication Critical patent/CN110178157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种可抑制机器人所进行的工作目的以外的拍摄及移动且不需要地标，并且不需要用于机器人所进行的工作目的以外的用途的特殊的摄影装备的自身位置估计装置、自身位置估计方法、程序及图像处理装置。自身位置估计装置(400)具备：第1结构物图像获取部(401)，获取包含第1结构物图像和第2结构物图像的多个结构物图像；全景合成部(403)，生成全景合成图像，所述全景合成图像是对包含第1结构物图像和第2结构物图像的多个结构物图像进行全景合成而得到；第1图像坐标获取部(405)，获取第2结构物图像的特定位置的坐标即第2图像坐标；及第1相对位置坐标计算部(407)，使用从图像坐标系转换为现实坐标系的转换系数，计算第2位置的相对的现实坐标即相对位置坐标作为相对的自身位置。

Description

自身位置估计装置、自身位置估计方法、程序及图像处理装置
技术领域
本发明涉及一种自身位置估计装置、自身位置估计方法、程序及图像处理装置，尤其涉及一种利用所拍摄的图像来估计自身的位置的自身位置估计装置、自身位置估计方法、程序及图像处理装置。
背景技术
一直以来，提出有利用在移动体中拍摄的图像来估计移动体的位置(自身位置)的技术。
例如，专利文献1中记载有如下技术：根据多个地标的三维坐标预先生成地标地图，并利用机器人的立体相机拍摄包含地标的图像，通过比较该拍摄图像与地标地图来估计机器人的自身位置。
并且，例如专利文献2中记载有如下技术：根据机器人在初始位置上获取的全方位图像制作设想机器人从初始位置移动的情况而合成的全方位的预测图像，对照该预测图像与机器人实际移动而新获取的全方位的图像来检测机器人的自身位置。另外，机器人上安装有视角为120°以上的超广角透镜。
以往技术文献
专利文献
专利文献1：日本特开2013-025401号公报
专利文献2：日本特开2006-220521号公报
发明内容
发明要解决的技术课题
然而，专利文献1中所记载的技术中，需要预先制作地标地图，并且机器人必须拍摄包含地标的图像。因此，专利文献1中所记载的技术中，需要始终跟踪地标，若看不到地标，则无法进行自身位置的估计。并且，专利文献1中所记载的技术中，需要进行用于制作地标地图的拍摄，从而存在需要进行与机器人所进行的工作的目的(例如结构物的检查)不同的拍摄的情况。
并且，专利文献2中所记载的技术中，机器人必须在初始位置上拍摄全方位图像，而且机器人上需要安装超广角透镜，需要以机器人所进行的工作目的使用的其以外的摄影及装备。
本发明是鉴于这种情况而完成的，其目的在于提供一种可抑制机器人所进行的工作目的以外的拍摄及移动且不需要地标，并且不需要用于机器人所进行的工作目的以外的用途的特殊的摄影装备的自身位置估计装置、自身位置估计方法、程序及图像处理装置。
用于解决技术课题的手段
为了实现上述目的，本发明的一方式的自身位置估计装置为估计通过分割拍摄结构物来进行结构物的检查的附带相机的移动式机器人的自身位置的自身位置估计装置，其具备：第1结构物图像获取部，获取至少包含第1结构物图像和第2结构物图像的多个结构物图像，所述第1结构物图像是由附带相机的移动式机器人在第1位置上分割拍摄结构物而得到，所述第2结构物图像是附带相机的移动式机器人从第1位置移动而在第2位置上分割拍摄结构物而得到；全景合成部，生成全景合成图像，所述全景图像是对包含第1结构物图像和第2结构物图像的多个结构物图像进行全景合成而得到；第1图像坐标获取部，将全景合成图像中的与第1位置相对应的第1图像坐标作为全景合成图像的坐标系的原点而获取第2结构物图像的特定位置的坐标即第2图像坐标；及第1相对位置坐标计算部，使用将第2图像坐标从图像坐标系转换为现实坐标系的转换系数，计算第2位置的相对的现实坐标即相对位置坐标作为相对的自身位置。
根据本方式，在附带相机的移动式机器人的工作目的即结构物的检查中，利用由附带相机的移动式机器人拍摄的第1结构物图像、第2结构物图像及包含第1结构物图像和第2结构物图像的全景图像来估计出自身位置。由此，本方式可抑制附带相机的移动式机器人的工作目的即结构物的检查以外的拍摄及移动且不需要地标，并且不需要用于结构物的检查目的以外的摄影装备，便能够进行自身位置估计。
优选地，自身位置估计装置还具备：第2结构物图像获取部，获取第3结构物图像，所述第3结构物图像是使附带相机的移动式机器人移动到能够拍摄全景合成图像中的结构物图像的任意位置即第3位置并在第3位置上分割拍摄结构物而得到；第2图像坐标获取部，通过对照第3结构物图像与全景合成图像，将第1图像坐标作为全景合成图像的坐标系的原点而获取第3结构物图像的特定位置的坐标即第3图像坐标；及第2相对位置坐标计算部，利用从图像坐标系向现实坐标系的转换系数对第3图像坐标进行转换来计算第3位置的相对的位置坐标即相对位置坐标作为相对的自身位置。
根据本方式，根据由分割拍摄的多个结构物图像构成的全景合成图像和全景合成图像中所包含的结构物图像即第3结构物图像来估计附带相机的移动式机器人的自身位置。由此，本方式中，在生成全景合成图像之后，附带相机的移动式机器人移动到全景合成图像的范围中的任意位置时，能够进行自身位置的估计。
优选地，自身位置估计装置还具备：初始绝对位置坐标获取部，利用从第1位置至设定于结构物上的绝对位置坐标的原点为止的X轴方向的距离信息及从第1位置至绝对位置坐标的原点为止的Y轴方向的距离信息来获取第1位置的绝对的位置坐标即第1绝对位置坐标；及第1绝对位置坐标计算部，根据相对位置坐标及第1绝对位置坐标来计算第2位置的绝对的位置坐标即第2绝对位置坐标作为绝对的自身位置。
根据本方式，通过初始绝对位置坐标获取部，根据从第1位置至设定于结构物上的绝对位置坐标的原点为止的X轴方向的距离信息及从第1位置至绝对位置坐标的原点为止的Y轴方向的距离信息来获取第1位置的绝对的位置坐标即第1绝对位置坐标。并且，通过第1绝对位置坐标计算部，根据相对位置坐标及第1绝对位置坐标计算作为绝对的自身位置的第2绝对位置坐标。由此，本方式能够计算附带相机的移动式机器人的绝对的自身位置。
优选地，自身位置估计装置还具备：初始绝对位置坐标获取部，利用从第1位置至设定于结构物上的绝对位置坐标的原点为止的X轴方向的距离信息及从第1位置至绝对位置坐标的原点为止的Y轴方向的距离信息来获取第1位置的绝对的位置坐标即第1绝对位置坐标；及第2绝对位置坐标计算部，根据相对位置坐标及第1绝对位置坐标计算第3位置的绝对的位置坐标即第3绝对位置坐标作为绝对的自身位置。
根据本方式，通过初始绝对位置坐标获取部，根据从第1位置至设定于结构物上的绝对位置坐标的原点为止的X轴方向的距离信息及从第1位置至绝对位置坐标的原点为止的Y轴方向的距离信息来获取第1位置的绝对的位置坐标即第1绝对位置坐标。并且，通过第2绝对位置坐标计算部，根据相对位置坐标及第1绝对位置坐标计算作为绝对的自身位置的第3绝对位置坐标。由此，本方式能够计算附带相机的移动式机器人的绝对的自身位置。
优选地，初始绝对位置坐标获取部利用附带相机的移动式机器人所具有的距离测定装置获取从第1位置至X轴为止的距离、从第1位置至Y轴为止的距离及至结构物为止的距离，从而获取第1绝对位置坐标。
根据本方式，利用附带相机的移动式机器人所具有的距离测定装置获取从第1位置至X轴为止的距离、从第1位置至Y轴为止的距离及至结构物为止的距离。由此，本方式利用附带相机的移动式机器人所配备的距离测定装置获取准确的第1绝对位置坐标。
优选地，初始绝对位置坐标获取部由附带相机的移动式机器人所拍摄的图像获取从第1位置至X轴为止的距离及从第1位置至Y轴为止的距离，并利用附带相机的移动式机器人所具有的距离测定装置获取从第1位置至结构物为止的距离，从而获取第1绝对位置坐标。
根据本方式，根据附带相机的移动式机器人所拍摄的图像获取从第1位置至X轴为止的距离、从第1位置至Y轴为止的距离及至结构物为止的距离。由此，本方式能够由附带相机的移动式机器人所拍摄的图像获取准确的第1绝对位置坐标。
优选地，转换系数根据从附带相机的移动式机器人的相机至结构物为止的距离、相机所具有的焦距、相机的摄像元件的尺寸及由相机拍摄的图像的像素数来计算。
根据本方式，转换系数根据从附带相机的移动式机器人的相机至结构物为止的距离、相机所具有的焦距、相机的摄像元件的尺寸及由相机拍摄的图像的像素数来计算，因此更准确地进行从图像坐标系向现实坐标系的转换。
优选地，自身位置估计装置还具备：平面计算部，利用附带相机的移动式机器人所拍摄的立体图像计算结构物的平面；及图像坐标校正部，根据计算出的平面校正第2图像坐标。
根据本方式，通过平面计算部，根据附带相机的移动式机器人所拍摄的立体图像计算结构物的平面，并根据计算出的平面，通过图像坐标校正部校正第2图像坐标。由此，本方式中，即使在获取了未正对结构物而拍摄的结构物图像的情况下，也能够进行准确的自身位置的估计。
优选地，自身位置估计装置还具备：平面计算部，利用附带相机的移动式机器人所拍摄的立体图像计算结构物的平面；及图像坐标校正部，根据计算出的平面校正第3图像坐标。
根据本方式，通过平面计算部，根据附带相机的移动式机器人所拍摄的立体图像计算结构物的平面，并根据计算出的平面，通过图像坐标校正部校正第2图像坐标。由此，本方式中，即使在获取了未正对结构物拍摄的结构物图像的情况下，也能够进行准确的自身位置的估计。
优选地，自身位置估计装置还具备：合成精确度评价部，在全景合成图像中的重叠区域中，使用从一个图像中提取的图像在另一个图像中进行模板匹配，由此评价重叠区域中的合成精确度，并根据评价进行是否使第1图像坐标获取部获取第2图像坐标的判定。
根据本方式，通过合成精确度评价部进行全景合成图像的重叠区域中的合成精确度的评价，因此利用精确度良好地合成的全景合成图像来进行附带相机的移动式机器人的自身位置的估计，从而进行准确的自身位置的估计。
优选地，自身位置估计装置还具备：图像模糊判定部，对由第1结构物图像获取部获取的多个结构物图像进行空间频率分析，并根据空间频率分析的结果进行是否使第1结构物图像获取部再次进行结构物图像的获取的判定。
根据本方式，通过图像模糊判定部，对结构物图像进行空间频率分析，并根据空间频率分析的结果进行是否使第1结构物图像获取部再次进行结构物图像的获取的判定。由此，本方式中，使用空间频率分析的结果良好的结构物图像来进行准确的自身位置的估计。
本发明的另一方式的图像处理装置具有上述自身位置估计装置。
本发明的另一方式的自身位置估计方法为估计通过分割拍摄结构物来进行结构物的检查的附带相机的移动式机器人的自身位置的自身位置估计方法，其包括：第1结构物图像获取步骤，获取至少包含第1结构物图像和第2结构物图像的多个结构物图像，所述第1结构物图像是由附带相机的移动式机器人在第1位置上分割拍摄结构物而得到，所述第2结构物图像是附带相机的移动式机器人从第1位置移动而在第2位置上分割拍摄结构物而得到；全景合成步骤，生成全景合成图像，所述全景合成图像是对包含第1结构物图像和第2结构物图像的多个结构物图像进行全景合成而得到；第1图像坐标获取步骤，将全景合成图像中的与第1位置相对应的第1图像坐标作为全景合成图像的坐标系的原点而获取第2结构物图像的特定位置的坐标即第2图像坐标；及第1相对位置坐标计算步骤，使用将第2图像坐标从图像坐标系转换为现实坐标系的转换系数，计算第2位置的相对的现实坐标即相对位置坐标作为相对的自身位置。
本发明的另一方式的程序为使计算机执行自身位置估计方法的程序，所述自身位置估计方法估计通过分割拍摄结构物来进行结构物的检查的附带相机的移动式机器人的自身位置，所述程序使计算机执行如下步骤：第1结构物图像获取步骤，获取至少包含第1结构物图像和第2结构物图像的多个结构物图像，所述第1结构物图像是由附带相机的移动式机器人在第1位置上分割拍摄结构物而得到，所述第2结构物图像是附带相机的移动式机器人从第1位置移动而在第2位置上分割拍摄结构物而得到；全景合成步骤，生成全景合成图像，所述全景合成图像是对包含第1结构物图像和第2结构物图像的多个结构物图像进行全景合成而得到；第1图像坐标获取步骤，将全景合成图像中的与第1位置相对应的第1图像坐标作为全景合成图像的坐标系的原点而获取第2结构物图像的特定位置的坐标即第2图像坐标；及第1相对位置坐标计算步骤，使用将第2图像坐标从图像坐标系转换为现实坐标系的转换系数，计算第2位置的相对的现实坐标即相对位置坐标作为相对的自身位置。
发明效果
根据本发明，在附带相机的移动式机器人的工作目的即结构物的检查中，利用由附带相机的移动式机器人拍摄的第1结构物图像、第2结构物图像及包含第1结构物图像和第2结构物图像的全景图像来估计自身位置，因此可抑制附带相机的移动式机器人的工作目的即结构物的检查以外的拍摄及移动且不需要地标，并且不需要用于结构物的检查目的以外的摄影装备，便能够进行自身位置估计。
附图说明
图1是表示结构物的一例的桥梁的结构的立体图。
图2是表示机器人装置的外观的立体图。
图3是机器人装置的主要部分剖视图。
图4是双眼相机及云台机构的外观立体图。
图5是表示检查系统的功能结构例的框图。
图6是表示自身位置估计装置的功能结构例的框图。
图7是示意性表示分割拍摄而得到的桥面板图像的图。
图8是表示全景合成图像的图。
图9是关于转换系数的计算进行说明的图。
图10是表示自身位置估计装置的动作流程的图。
图11是表示自身位置估计装置的功能结构例的框图。
图12是表示第1绝对位置坐标的获取的例子的图。
图13是表示第1绝对位置坐标的获取的例子的图。
图14是表示自身位置估计装置的功能结构例的框图。
图15是关于第3绝对位置坐标的获取进行说明的图。
图16是表示自身位置估计装置的功能结构例的框图。
图17是说明平面估计的示意图。
图18是关于与拍摄角度相应的位置偏移计算进行说明的图。
图19是关于与拍摄角度相应的位置偏移计算进行说明的图。
图20是表示自身位置估计装置的功能结构例的框图。
具体实施方式
以下，根据附图对本发明所涉及的自身位置估计装置、自身位置估计方法、程序及图像处理装置的优选实施方式进行说明。
图1是表示作为检查对象物的结构物的一例的桥梁1的结构的立体图，是从下方观察桥梁1的立体图。另外，适用本发明的结构物并不限定于桥梁。例如，在隧道、箱涵、水坝、道路、水路、防波堤、建筑物、大桶、船舶、堤防、护岸、斜面、下水道、共同沟、停车场、仓库及水槽中适用本发明。并且，在桥梁1中，在桥面板、梁、桥墩及桥台等各部位的结构物图像中适用本发明。
图1所示的桥梁1具有主桁梁2、横梁3、横联(sway bracing)4、侧向平联(1ateralbracing)5，这些通过螺栓、铆钉或焊接连结而构成。并且，在主桁梁2等的上部铺设有用于车辆等行驶的桥面板6。桥面板6一般由钢筋混凝土制成。
主桁梁2横跨在桥台或桥墩之间，是支撑桥面板6上的车辆等荷载的部件。横梁3是为了由多个主桁梁2支撑荷载而连结主桁梁2的部件。横联4及侧向平联5分别是为了抵抗风及地震的横向荷载而将主桁梁2相互连结的部件。另外，藻井(coffer)是指桥面板6被对置的2个主桁梁2及对置的2个横梁3或横联4定界而成的空间，在进行桥梁1的检查时存在以藻井单位实施检查的情况。
图2是表示包含摄像装置200的一实施方式的双眼相机202的机器人装置100的外观的立体图，示出关于设置于桥梁1的主桁梁2之间的状态。并且，图3是图2所示的机器人装置100的主要部分剖视图。另外，机器人装置100是附带相机的移动式机器人，是以桥梁1的检查工作为目的的机器人。
如图2及图3所示，机器人装置100具备摄像装置200，控制摄像装置200在三维空间内的位置(拍摄位置)，并且控制基于摄像装置200的拍摄方向而在检查桥梁1时拍摄由多个部件构成的桥梁1的任意的检查部件等。
关于机器人装置100，将在后面进行详细说明，具备主框架102、垂直延伸臂104、配设有垂直延伸臂104的驱动部及各种控制部等的框体106、使框体106在主框架102的长度方向(与主桁梁2的长度方向正交的方向)(X方向)上移动的X方向驱动部108(图5)、使机器人装置100整体在主桁梁2的长度方向(Y方向)上移动的Y方向驱动部110(图5)及使垂直延伸臂104在垂直方向(Z方向)上伸缩的Z方向驱动部112(图5)。
X方向驱动部108由在主框架102的长度方向(X方向)上配设的滚珠丝杠108A、配设于框体106的滚珠螺母108B及使滚珠丝杠108A旋转的马达108C构成，通过利用马达108C使滚珠丝杠108A转或反转而使框体106在X方向上移动。
Y方向驱动部110由分别配设于主框架102的两端的轮胎110A、110B和配设于轮胎110A、110B内的马达(未图示)构成，通过对轮胎110A、110B进行马达驱动而使机器人装置100整体在Y方向上移动。
另外，关于机器人装置100，主框架102的两端的轮胎110A、110B载置于两处的主桁梁2的下凸缘上，且以夹住主桁梁2的方式设置。由此，机器人装置100能够悬垂于主桁梁2的下凸缘而沿着主桁梁2移动(自行)。并且，主框架102虽未图示，但构成为能够根据主桁梁2的间隔来调整长度。
垂直延伸臂104配设于机器人装置100的框体106，与框体106一同在X方向及Y方向上移动。并且，垂直延伸臂104通过设置于框体106内的Z方向驱动部112(图5)在Z方向上伸缩。
图4是双眼相机及云台机构120的外观立体图。如图4所示，在垂直延伸臂104的前端设置有相机设置部104A，在相机设置部104A设置有通过云台机构120能够在平摇方向及俯仰方向上旋转的双眼相机202。
双眼相机202具有拍摄视差不同的2张视差图像(立体图像)的第1摄像部202A和第2摄像部202B，获取与基于双眼相机202的拍摄范围相对应的结构物(桥梁1)的、以双眼相机202为基准的局部坐标系(相机坐标系)中的桥梁1的空间信息，并且获取所拍摄的2个图像中的至少一个图像作为检查记录表所附的“检查图像”。
并且，双眼相机202通过从平摇/俯仰驱动部206(图5)被施加驱动力的云台机构120以与垂直延伸臂104同轴的平摇轴Pa为中心进行旋转，或者以水平方向的俯仰轴T为中心进行旋转。由此，双眼相机202能够以任意的姿势进行拍摄(任意的拍摄方向的拍摄)。
本例的双眼相机202的第1摄像部202A的光轴L1与第2摄像部202B的光轴L2分别平行。并且，平摇轴Pa与俯仰轴T正交。另外，双眼相机202的基线长度(即，第1摄像部202A与第2摄像部202B的设置间隔)为已知。
并且，以双眼相机202为基准的相机坐标系例如将平摇轴Pa与俯仰轴T的交点作为原点Or，将俯仰轴T的方向作为x轴方向，将平摇轴Pa的方向作为z轴方向，将与x轴及y轴分别正交的方向作为y轴方向。
作为双眼相机202的位置(相机坐标系的原点Or的位置)的、世界坐标系(桥梁坐标系)中的位置(以下，称为“拍摄位置”)能够通过全球定位系统(GPS：Global PositioningSystem)(以下，称为“GPS装置”)来检测，或者能够根据相对于桥梁坐标系的原点的机器人装置100的X方向及Y方向的移动量、垂直延伸臂104的Z方向的移动量来检测。并且，基于双眼相机202的拍摄方向能够根据云台机构120的平摇角度α、俯仰角度β来检测，或者能够利用搭载于双眼相机202的方位传感器(未图示)来检测。
图5是表示检查系统10的功能结构例的框图。
如图5所示，检查系统10由机器人装置100侧的机器人控制部130、X方向驱动部108、Y方向驱动部110及Z方向驱动部112；摄像装置200侧的双眼相机202、拍摄控制部204、平摇/俯仰控制部210及平摇/俯仰驱动部206；机器人侧通信部230、终端装置300构成。
机器人侧通信部230在与终端侧通信部310之间进行双向的无线通信，接收从终端侧通信部310发送的控制机器人装置100的移动的移动指令、控制平摇/俯仰机构120的平摇/俯仰指令、控制双眼相机202的拍摄指令等各种指令，并将接收到的指令分别输出至相对应的控制部。
机器人控制部130根据从机器人侧通信部230输入的移动指令控制X方向驱动部108、Y方向驱动部110及Z方向驱动部112，使其在机器人装置100的X方向及Y方向上移动，并且使垂直延伸臂104在Z方向上伸缩(参考图2)。
平摇/俯仰控制部210根据从机器人侧通信部230输入的平摇/俯仰指令，经由平摇/俯仰驱动部206使云台机构120在平摇方向及俯仰方向上动作，并使双眼相机202在所期望的方向上平摇/俯仰(参考图4)。
拍摄控制部204根据从机器人侧通信部230输入的拍摄指令使双眼相机202的第1摄像部202A及第2摄像部202B进行即时显示图像或检查图像的拍摄。
表示在检查桥梁1时由双眼相机202的第1摄像部202A及第2摄像部202B拍摄的视差不同的第1图像IL及第2图像IR的图像数据和表示双眼相机202的拍摄位置(桥梁坐标系中的相机坐标系的原点Or的位置)及拍摄方向(本例中为平摇角度α及俯仰角度β)的信息分别经由机器人侧通信部230发送至终端侧通信部310。
终端装置300由操作检查系统10的检查者操作，主要由终端侧通信部310、终端控制部320、作为操作部发挥功能的输入部330、显示部340及记录部350构成，例如能够适用计算机或平板电脑终端。并且，终端装置300具有计算机或平板电脑终端通常所具备的各种功能，例如还作为图像处理装置发挥功能。
终端侧通信部310在与机器人侧通信部230之间进行双向的无线通信，接收机器人侧通信部230所输入的各种信息(表示由第1摄像部202A及第2摄像部202B拍摄的即时显示图像、第1图像IL及第2图像IR的图像数据、表示双眼相机202的拍摄位置及拍摄方向的信息)，并且将与经由终端控制部320输入的输入部330中的操作相应的各种指令发送至机器人侧通信部230。
终端控制部320将经由终端侧通信部310接收到的表示即时显示图像的图像数据输出至显示部340，并在显示部340的画面上显示即时显示图像。输入部330具有机器人操作输入部、平摇/俯仰操作输入部及摄影操作输入部，机器人操作输入部输出使机器人装置100(双眼相机202)在X方向、Y方向及Z方向上移动的移动指令，平摇/俯仰操作输入部输出使云台机构120(双眼相机202)在平摇方向及俯仰方向上旋转的平摇/俯仰指令，摄影操作输入部输出指示双眼相机202拍摄检查图像的拍摄指令。检查者一边观察显示于显示部340的即时显示图像一边手动操作输入部330，输入部330根据由检查者进行的操作将双眼相机202的X方向、Y方向及Z方向的移动指令、平摇/俯仰指令及拍摄指令等各种指令输出至终端控制部320。终端控制部320将从输入部330输入的各种指令经由终端侧通信部310发送至机器人侧通信部230。
并且，终端控制部320具有自身位置估计装置400。关于自身位置估计装置400，以下进行详细叙述。
<第1实施方式>
接着，关于本发明的第1实施方式的自身位置估计装置400进行说明。
图6是表示本实施方式的自身位置估计装置400的功能结构例的框图。自身位置估计装置400主要具有第1结构物图像获取部401、全景合成部403、第1图像坐标获取部405、第1相对位置坐标计算部407及结构物距离获取部408。另外，在以下说明中，作为结构物图像的一例，对获取桥面板图像的例子进行说明。因此，第1结构物图像为第1桥面板图像，第2结构物图像为第2桥面板图像，第3结构物图像为第3桥面板图像。
第1结构物图像获取部401获取由双眼相机202分割拍摄作为检查对象的桥梁1的桥面板6而得到的桥面板图像。具体而言，第1结构物图像获取部401获取至少包含第1桥面板图像和第2桥面板图像的多个桥面板图像，所述第1桥面板图像是由附带相机的移动式机器人在基准位置(第1位置)上分割拍摄桥面板6而得到，所述第2桥面板图像是附带相机的移动式机器人从基准位置移动而在自身位置估计位置(第2位置)上分割拍摄桥面板6而得到。在此，基准位置是指进行自身位置估计时成为基准的位置，例如为机器人装置100的移动的初始位置。并且，自身位置估计位置是指进行机器人装置100的自身位置的估计的位置，本发明中，通过计算该自身位置估计位置的坐标来进行机器人装置100的自身位置的估计。
全景合成部403生成全景合成图像，所述全景合成图像是对包含第1桥面板图像和第2桥面板图像的多个桥面板图像进行全景合成而得到。全景合成部403能够通过公知的技术对第1结构物图像获取部401所获取的桥面板图像进行全景合成。另外，全景合成部403从机器人装置100获取与全景合成时所需要的各桥面板图像的顺序或位置等有关的信息。
第1图像坐标获取部405将由全景合成部403生成的全景合成图像中的与基准位置相对应的第1图像坐标作为全景合成图像的坐标系的原点而获取与自身位置估计位置相对应的第2桥面板图像的特定位置的坐标即第2图像坐标。与基准位置相对应的第1图像坐标是指与机器人装置100的基准位置有关联的图像上的坐标，例如为第1桥面板图像的中心点(图像上的双眼相机202的光轴)或第1桥面板图像的矩形的4个顶点中的任意一个坐标。并且，第2桥面板图像的特定位置的坐标是指与机器人装置100的自身位置估计位置有关联的图像上的坐标，例如为第2桥面板图像的中心点或第2桥面板图像的矩形的4个顶点中的任意一个坐标。
第1相对位置坐标计算部407使用将第2图像坐标从图像坐标系转换为现实坐标系的转换系数，计算第2位置的相对的现实坐标即相对位置坐标作为相对的自身位置。在此，图像坐标系是指全景图像中的坐标，现实坐标系(桥梁坐标系)是指表示机器人装置100所在的现实位置的坐标。
结构物距离获取部408获取摄像装置200与桥面板6的距离。即，结构物距离获取部408例如利用由摄像装置200获取的立体图像获取摄像装置200的桥面板6的拍摄距离。在此，测定距离的点在立体图像(左图像或右图像)上手动确定或通过图像识别自动确定。另外，当在摄影图像中拍摄有同一平面时，无需指定测定距离的点。并且，结构物距离获取部408的距离的获取方法并不限定于基于立体图像的方法。例如，结构物距离获取部408可以通过用户输入来获取距离，也可以利用机器人装置100所具备的距离传感器来获取距离。
接着，根据图7及图8，关于由第1图像坐标获取部405进行的图像坐标的获取进行说明。
图7是示意性表示机器人装置100依次反复移动、停止及拍摄并分割拍摄桥面板6而获取的桥面板图像的图。在图7所示的情况下，机器人装置100从初始位置S沿着图示的路径移动至自身位置估计位置Q，由机器人装置100拍摄桥面板图像A至F。另外，如上所述，机器人装置100具有第1摄像部202A和第2摄像部202B，通过其中任意一个摄像部或两个摄像部拍摄桥面板图像。并且，为了利用多个桥面板图像生成全景合成图像，机器人装置100可以以能够确保合成用的涂胶用部分的方式拍摄各桥面板图像。例如，当生成全景合成图像时，桥面板图像彼此的合成用的涂胶用部分在一侧为桥面板图像的30％。
在此，在初始位置S上拍摄的桥面板图像A为第1桥面板图像，在自身位置估计位置Q上拍摄的桥面板图像F为第2桥面板图像。并且，全景合成部403对被框W围住的桥面板图像A至F进行全景合成而获取全景合成图像。
图8是表示全景合成部403所合成的全景合成图像的图。全景合成图像P通过全景合成部403并根据图7所示的桥面板图像A至F而生成。若将原点O设为桥面板图像A的4个顶点中的一个(朝图左上角的顶点)，则初始位置S的坐标能够表示为(xi，yi)。并且，从初始位置S至自身位置估计位置Q为止的移动量为X及Y，因此自身位置估计位置Q的坐标(xn，yn)表示为(xi+X，yi+Y)。另外，在图8所示的情况下，第1图像坐标为作为原点O的桥面板图像A的一个顶点(朝图左上角的顶点)。
在此，第1图像坐标获取部405能够在全景合成图像P中以初始位置S与自身位置估计位置Q的距离求出移动量。例如，第1图像坐标获取部405能够通过对全景合成图像P中的像素数进行计数而求出自身位置估计位置Q的坐标。
接着，关于相对位置坐标的获取进行说明。
相对位置坐标通过第1相对位置坐标计算部407来计算。第1相对位置坐标计算部407通过对第1图像坐标获取部405所获取的自身位置估计位置Q的图像坐标使用转换系数从图像坐标系转换为现实坐标系来获取自身位置估计位置(当前位置)Q的相对位置坐标。
转换系数能够以如下说明的方式进行计算。图9是关于转换系数的计算进行说明的图。
转换系数根据从机器人装置100的摄像装置200至桥面板6为止的距离、摄像装置200的焦距、摄像装置200的摄像元件250的尺寸及由摄像装置200拍摄的图像的像素数来计算。
将从摄像装置200至桥面板6为止的距离设为D，将第1摄像部202A的透镜的焦距设为F，将摄像装置200的摄像元件250的尺寸设为Sx×Sy，将摄影图像像素数(桥面板图像)设为Px×Py。在该情况下，与桥面板图像相对应的桥面板6的拍摄范围能够以如下方式进行计算。另外，从摄像装置200至桥面板6为止的距离D通过结构物距离获取部408获取。
X轴上的桥面板的拍摄范围(Ax)＝D×Sx/F
Y轴上的桥面板的拍摄范围(Ay)＝D×Sy/F
并且，从图像坐标系向现实坐标系的转换系数(Tx，Ty)以如下方式进行计算。
Tx＝Ax/Px
Ty＝Ay/Py
以下，使用具体例进行说明。
如下进行设定：从摄像装置200至桥面板6为止的距离：D＝2100mm，焦距：F＝27mm，摄像元件250(图像传感器(APS(Advanced Photo System)-C))：Sx＝23.6mm、Sy＝15.6mm，摄影图像像素数：Px＝4836像素、Py＝3264像素。
在上述条件下，桥面板图像的拍摄范围如下。
X轴的桥面板的拍摄范围(Ax)＝1835.6mm
Y轴的桥面板的拍摄范围(Ay)＝1213.3mm
并且，在该情况下，转换系数(Tx，Ty)以如下方式求出。
Tx＝0.375、Ty＝0.372
接着，关于使用以上述方式计算出的转换系数并通过第1相对位置坐标计算部407计算出的相对位置坐标进行说明。
例如，当通过第1图像坐标获取部405获取了自身位置估计位置Q的图像坐标(Xp，Yp)及移动量(Lpx，Lpy)时，现实坐标系中的相对位置坐标(Xr，Xr)及现实移动量(Lrx，Lry)以如下方式进行计算。
Xr＝Xp×Tx、Yr＝Yp×Ty
Lrx＝Lpx×Tx、Lry＝Lpy×Ty
在此，相对位置坐标(Xr，Xr)表示与自身位置估计位置Q相对应的现实坐标系中的位置，现实移动量表示从初始位置S至自身位置估计位置Q为止的现实坐标系中的移动量。
自身位置估计装置400将通过第1相对位置坐标计算部407计算出的相对位置坐标估计为相对的自身位置。
图10是表示自身位置估计装置400的动作流程的图。
首先，利用机器人装置100的摄像装置200拍摄桥面板图像(步骤S10)。然后，使机器人装置100移动至下一个拍摄位置(步骤S11)。并且，在机器人装置100移动之后，在移动的位置(拍摄位置)上拍摄桥面板6(步骤S12)。然后，机器人装置100的机器人控制部130判定是否进行自身位置估计(步骤S13)。当机器人控制部130判定为在移动目的地的位置上不进行自身位置估计时，机器人装置100按照拍摄计划移动到下一个移动地点。另外，机器人装置100按照由预先设定的移动路径及拍摄位置构成的拍摄计划进行移动及桥面板图像的拍摄。基于自身位置估计装置400的自身位置的估计，例如是为了确认机器人装置100是否按照拍摄计划移动而进行的。
另一方面，当机器人装置100的机器人控制部130判定为进行自身位置估计时，启动自身位置估计装置400。
首先，通过自身位置估计装置400的第1结构物图像获取部401获取由摄像装置200拍摄的桥面板图像(第1结构物图像获取步骤：步骤S14)。然后，全景合成部403利用由第1结构物图像获取部401获取的多个桥面板图像对全景合成图像进行合成(全景合成步骤：步骤S15)。然后，第1图像坐标获取部405获取进行自身位置估计的自身位置估计位置Q(当前位置)的图像坐标(第1图像坐标获取步骤：步骤S16)。并且，第1相对位置坐标计算部407计算相对的自身位置即相对位置坐标(第1相对位置坐标计算步骤：步骤S17)。然后，自身位置估计装置400将相对位置坐标估计为相对的自身位置。
上述各结构及功能能够通过任意的硬件、软件、或两者的组合来适当实现。例如，对使计算机执行上述处理步骤(处理顺序)的程序、记录有这种程序的计算机可读取的记录介质(非暂时性记录介质)或能够安装这种程序的计算机，也能够适用本发明。
<第2实施方式>
接着，关于本发明的第2实施方式进行说明。
图11是表示本实施方式的自身位置估计装置400的功能结构例的框图。自身位置估计装置400主要具有第1结构物图像获取部401、全景合成部403、第1图像坐标获取部405、第1相对位置坐标计算部407、结构物距离获取部408、第1绝对位置坐标计算部419及初始绝对位置坐标获取部417。另外，在图6中已进行了说明的部位标注相同的序号，并省略说明。
初始绝对位置坐标获取部417获取初始位置S的绝对位置坐标。在此，初始位置S的绝对位置坐标是指被主桁梁2和横梁3围住的藻井或被主桁梁2和横联4围住的藻井中的坐标系。初始绝对位置坐标获取部417利用从第1位置至桥梁1的主桁梁2为止的距离信息及从第1位置至桥梁1的横梁3或横联4为止的距离信息来获取第1位置的绝对的位置坐标即第1绝对位置坐标。在该情况下，第1位置为初始位置S。
第1绝对位置坐标计算部419根据相对位置坐标及第1绝对位置坐标计算自身位置估计位置Q的绝对的位置坐标即第2绝对位置坐标作为绝对的自身位置。第1绝对位置坐标计算部419例如通过将第1绝对位置坐标与由第1相对位置坐标计算部407计算出的相对位置坐标进行加法运算而计算第2绝对位置坐标。在此，第2绝对位置坐标属于例如将原点O设为藻井中的主桁梁2与横梁3相交的部位或主桁梁2与横联4相交的部位而在藻井中将主桁梁作为X轴、将横梁(横联)作为Y轴时的坐标系。
接着，关于初始绝对位置坐标获取部417的初始绝对位置坐标的获取进行说明。图12是表示初始绝对位置坐标获取部417的第1绝对位置坐标的获取的例子的图。
在图12所示的情况下，机器人装置100的双眼相机202被用作距离测定装置，获取从初始位置S至主桁梁2为止的距离、从初始位置S至横梁3或横联4为止的距离及至桥面板6为止的距离。即，机器人装置100在初始位置S上平摇驱动和/或俯仰驱动双眼相机202而获取从初始位置S至主桁梁2为止的距离、从初始位置S至横梁3或横联4为止的距离及至桥面板6为止的距离，从而获取第1绝对位置坐标。另外，图4所示的机器人装置100中，将双眼相机202用作距离传感器，但并不限定于此，机器人装置100中也可以具备激光距离传感器等。并且，从双眼相机202至桥面板6为止的距离为由结构物距离获取部408获取的距离。
图13是表示初始绝对位置坐标获取部417的第1绝对位置坐标的获取的例子的图。图13示出在初始位置S上拍摄的桥面板图像A。桥面板图像A中照有主桁梁2及横梁3，并且还照有主桁梁2与横梁3的连接部分。初始绝对位置坐标获取部4117通过进行图像处理而在桥面板图像A中获取将主桁梁2与横梁3的连接部分作为原点O并将桥面板图像A的图像中心作为初始位置S时的初始绝对位置坐标。并且，从机器人装置100至桥面板6为止的距离利用双眼相机202或机器人装置100所具备的激光距离传感器等来测量。
另外，对于以上说明的初始绝对位置坐标获取部417，关于机器人装置100的初始位置S的绝对坐标的获取进行了说明，但初始绝对位置坐标获取部417的在上述中说明的方法并不限定于初始位置S的绝对坐标的获取。即，例如也可以使用与初始绝对位置坐标获取部417相同的方法获取任意位置上的绝对坐标，并以该绝对坐标为基准使自身位置估计装置400进行自身位置的估计。如此，通过以任意位置的绝对坐标为基准进行自身位置估计，能够校正自身位置估计装置400的累积误差。
并且，上述例子是将桥梁1的主桁梁2作为X轴，将桥梁1的横梁3或横联4作为Y轴，将主桁梁2与横梁3相交的部位作为绝对位置坐标的原点O而计算第1绝对位置坐标的例子。本发明并不限定于该例子。例如，在桥面板以外的结构物的情况下，能够应用将结构物上的任意点作为绝对坐标的原点O，如桥梁1的主桁梁2与横梁3的关系那样成为在绝对坐标的原点O上正交的箭头的结构物的物体。并且，例如将结构物上的任意点定义为绝对坐标的原点0，同时定义X轴及Y轴，预先获取从第1位置(初始位置)至X轴方向及Y轴方向为止的距离，由此也能够获取第1绝对位置坐标(初始绝对位置坐标)。
<第3实施方式>
接着，关于本发明的第3实施方式进行说明。
图14是表示本实施方式的自身位置估计装置400的功能结构例的框图。自身位置估计装置400具有第1结构物图像获取部401、全景合成部403、第1图像坐标获取部405、第1相对位置坐标计算部407、结构物距离获取部408、第1绝对位置坐标计算部419、初始绝对位置坐标获取部417、存储部415、第2结构物图像获取部421、第2图像坐标获取部423、第2相对位置坐标计算部425及第2绝对位置坐标计算部427。另外，在图6及图11中已进行了说明的部位标注相同的序号，并省略说明。
存储部415存储由全景合成部403进行了全景合成的全景合成图像。如上述中所说明，在全景合成部403中生成的全景合成图像一旦被生成，就如本实施方式中所说明，能够用作地图(map)。因此，存储部415存储由全景合成部403合成的全景合成图像，以便根据需要将其读出。
第2结构物图像获取部421获取桥面板图像(第3桥面板图像)，该桥面板图像(第3桥面板图像)是使机器人装置100移动到能够拍摄全景合成图像中的桥面板图像的任意位置即自身位置估计位置Q(第3位置)并在自身位置估计位置Q上分割拍摄桥面板6而得到。即，一旦合成全景合成图像之后，机器人装置100再次移动到构成全景合成图像的桥面板图像被拍摄的范围内，拍摄全景合成图像中所包含的桥面板图像，并且第2结构物图像获取部421获取该桥面板图像。例如，机器人装置100在检查桥梁1时，在去路上进行桥面板6的分割拍摄而生成全景合成图像，在归路上拍摄任意部位的桥面板图像而估计该拍摄位置(自身位置估计位置Q)。
第2图像坐标获取部423通过对照被第2结构物图像获取部421获取的桥面板图像与全景合成图像，将第1图像坐标作为全景合成图像的坐标系的原点0而获取第3桥面板图像的特定位置的坐标即第3图像坐标。即，第2图像坐标获取部423从存储部415读出已合成的全景合成图像，并对照该读出的全景合成图像与被第2结构物图像获取部421获取的桥面板图像来获取第3图像坐标。另外，第2图像坐标获取部423所进行的对照中适用公知的技术。
第2相对位置坐标计算部425通过利用从图像坐标系向现实坐标系的转换系数对第3图像坐标进行转换而计算自身位置估计位置Q的相对的位置坐标即相对位置坐标作为相对的自身位置。在此，所使用的转换系数如已进行了说明那样进行计算。
第2绝对位置坐标计算部427根据相对位置坐标及第1绝对位置坐标计算第3位置的绝对的位置坐标即第3绝对位置坐标作为绝对的自身位置。即，与上述第1绝对位置坐标计算部419同样地，第2绝对位置坐标计算部427从初始绝对位置坐标获取部417获取第1绝对位置坐标来计算第3位置的绝对位置坐标。
图15是关于本实施方式的第2绝对位置坐标计算部427的第3绝对位置座标的获取进行说明的图。
在图15中示出全景合成图像P和全景合成图像P的范围内的桥面板图像Z。桥面板图像Z的图像中心Q是与自身位置估计位置Q相对应的点，桥面板图像Z是第3桥面板图像。第2绝对位置坐标计算部427获取从存储部415获取的全景合成图像P中的桥面板图像Z的图像中心Q的绝对位置坐标。另外，图15所示的全景合成图像P中，将主桁梁2与横梁3的连接部作为原点O而设定，沿着主桁梁2设定有X轴，且沿着横梁3设定有Y轴。根据全景合成图像P中的图像中心Q的图像坐标l计算与图像中心Q相对应的机器人装置100的绝对位置坐标。
在以上说明中，对由一台机器人装置100进行桥梁1的检查的情况进行了说明，但也可以考虑使用两台机器人装置100进行检查的方法。在该情况下，可以如下进行：第1机器人装置100利用分割的桥面板图像制作全景合成图像，随后的第2机器人装置100一边依据第1机器人装置100所制作的全景合成图像(地图)并利用本实施方式的方法来估计自身位置一边拍摄钢部件。
<第4实施方式>
接着，关于本发明的第4实施方式进行说明。
图16是表示本实施方式的自身位置估计装置400的功能结构例的框图。自身位置估计装置400主要具有第1结构物图像获取部401、全景合成部403、第1图像坐标获取部405、第1相对位置坐标计算部407、结构物距离获取部408、平面计算部429及图像坐标校正部431。另外，在图6中已进行了说明的部位标注相同的序号，并省略说明。
平面计算部429利用机器人装置100所拍摄的立体图像432计算桥面板6的平面。即，根据利用机器人装置100的双眼相机202拍摄的立体图像432，平面计算部429估计桥面板6的平面方程式(法线矢量)。
图像坐标校正部431根据由平面计算部429计算出的平面校正第2图像坐标。即，图像坐标校正部431根据由平面计算部429计算出的桥面板6的平面，对由第1图像坐标获取部405获取的第2图像坐标进行校正。另外，图16中，对图像坐标校正部431校正由第1图像坐标获取部405获取的第2图像坐标的情况进行说明，但图像坐标校正部431也可以校正由第2图像坐标获取部423获取的第3图像坐标。
接着，关于由平面计算部429及图像坐标校正部431进行的与拍摄角度相应的估计位置的校正，根据图17至图19进行具体说明。
图17是说明平面计算部429所进行的平面估计的示意图。图17中的x、y、z表示相机坐标系，z轴表示摄像装置200的光轴。
平面计算部429在由摄像装置200获取的立体图像432中进行左图像与右图像的平行化并计算左图像与右图像的视差，估计三维坐标来计算如下平面方程式。
平面方程式：ax+by+cz+d＝0
图18及图19是关于与拍摄角度相应的位置偏移计算进行说明的图。
图18是从侧面观察桥梁1的图，图19是从上面观察桥梁1的水平面的桥面的图。若将平面(桥面板6)的法线矢量设为(a，b，c)，将相机光轴矢量设为(e，f，g)＝(0，0，1)，则平面与相机光轴所成的角θ可利用以下式求出。
[数式1]
Figure GDA0002018280770000201
若将至桥面板6为止的距离设为D，则位置偏移量δ可利用δ＝D×sinθ求出。
接着，若图19所示，分解为向绝对坐标(藻井坐标)X方向的位置偏移量δX及向绝对坐标(藻井坐标)Y方向的位置偏移量δY。在此，若将桥梁坐标的X轴与相机光轴所成的角设为d，则如以下那样能够分解为δX及δY。
tanα＝b/a
δX＝δ×cosα
δY＝δ×sinα
图像坐标校正部431使用位置偏移量(δX，δY)对所获取的图像坐标(摄影图像的中心估计为相机位置的位置)(X，Y)进行校正。
<第5实施方式>
接着，关于本发明的第5实施方式进行说明。
图20是表示本实施方式的自身位置估计装置400的功能结构例的框图。自身位置估计装置400主要具有第1结构物图像获取部401、全景合成部403、第1图像坐标获取部405、第1相对位置坐标计算部407、结构物距离获取部408、合成精确度评价部433及图像模糊判定部435。另外，在图6中已进行了说明的部位标注相同的序号，并省略说明。
合成精确度评价部433在全景合成图像中的重叠区域中，使用从一个图像中提取的图像在另一个图像中进行模板匹配，由此评价重叠区域中的合成精确度，并根据该评价进行是否使第1图像坐标获取部405获取第2图像坐标的判定。即，合成精确度评价部433评价全景合成图像的重叠区域中的合成精确度，当合成精确度为良好时，直接使第1图像坐标获取部开始图像坐标的获取，当合成精确度为不良时，使图像模糊判定部435开始所获取的桥面板图像的模糊判定。以下，关于合成精确度评价部433所进行的合成精确度评价的方法进行说明。
首先，合成精确度评价部433从图像i、j的重叠区域中所包含的图像i中提取几个一定大小的模板图像。接着，合成精确度评价部433使用从图像i中提取的模板图像对图像j的重叠区域执行模板匹配。然后，计算从图像i的提取位置与图像j上的模板匹配结果的像素偏移量。并且，合成精确度评价部433计算精确度评价值(多个模板匹配的结果的像素偏移量的平均值/最大值/标准偏差等)。另外，合成精确度评价部433所进行的精确度高或精确度低的判定以利用位置估计精确度等预先规定的阈值来进行。并且，优选在确定阈值时还考虑误差累积。
作为具体例，当在藻井内将自身位置的估计误差设定在100mm以内(包含误差累积)时，在藻井长边方向上进行5次合成。在该情况下，每一次合成中的允许最大误差能够计算为100(mm)/5(次)/0.375(每一个像素的距离(mm/pixel))＝53.3pixel。实际进行设计时，可以稍微保持余量而将每一次的允许最大误差设为50个像素。
当合成精确度评价部433所进行的合成精确度评价的结果为不良时，图像模糊判定部435进行所获取的桥面板图像的模糊判定。图像模糊判定部435对由第1结构物图像获取部401获取的多个桥面板图像进行空间频率分析，并根据空间频率分析的结果进行是否使第1结构物图像获取部401再次进行桥面板图像的获取的判定。具体而言，图像模糊判定部435对第1结构物图像获取部401所获取的桥面板图像进行空间频率分析(FFT)并判定有无高频分量。当具有高频分量时，图像模糊判定部435判定为无模糊图像，当没有高频分量时，判定为模糊图像。另外，高频分量的有无以阈值来判定，该阈值能够通过分析过去的桥面板摄影图像来预先确定。当图像模糊判定部435的判定结果中桥面板图像为模糊图像时，机器人装置100再次拍摄桥面板图像。在该情况下，适当调节摄像装置200的拍摄条件等。另一方面，当图像模糊判定部435的判定结果中桥面板图像不是模糊图像时，也有可能是全景合成时的各桥面板图像的合成用的涂胶用部分不足，因此使机器人装置100移动(后退或前进)而再次进行拍摄。
以上，关于本发明的例子进行了说明，但本发明并不限定于上述实施方式，当然能够在不脱离本发明的精神的范围内进行各种变形。
符号说明
1-桥梁，2-主桁梁，3-横梁，4-横联，5-侧向平联，6-桥面板，10-检查系统，100-机器人装置，102-主框架，104-垂直延伸臂，104A-相机设置部，106-框体，108-X方向驱动部，108A-滚珠丝杠，108B-滚珠螺母，108C-马达，110-Y方向驱动部，110A-轮胎，11OB-轮胎，112-Z方向驱动部，120-云台机构，130-机器人控制部，200-摄像装置，202-双眼相机，202A-第1摄像部，202B-第2摄像部，204-拍摄控制部，206-平摇/俯仰驱动部，210-平摇/俯仰控制部，230-机器人侧通信部，250-摄像元件，300-终端装置，310-终端侧通信部，320-终端控制部，330-输入部，340-显示部，350-记录部，400-自身位置估计装置，401-第1结构物图像获取部，403-全景合成部，405-第1图像坐标获取部，407-第1相对位置坐标计算部，408-结构物距离获取部，415-存储部，417-初始绝对位置坐标获取部，419-第1绝对位置坐标计算部，421-第2结构物图像获取部，423-第2图像坐标获取部，425-第2相对位置坐标计算部，427-第2绝对位置坐标计算部，429-平面计算部，431-图像坐标校正部，432-立体图像，433-合成精确度评价部，435-图像模糊判定部，A～F、Z-桥面板图像，P-全景合成图像，步骤S10～步骤S17-自身位置估计工序。

Claims (14)

1.一种自身位置估计装置，其估计通过分割拍摄结构物来进行结构物的检查的附带相机的移动式机器人的自身位置，所述附带相机的移动式机器人依次反复移动及拍摄，通过相机进行所述结构物的分割拍摄，所述自身位置估计装置具备：
第1结构物图像获取部，获取多个结构物图像，所述多个结构物图像至少包含第1结构物图像和第2结构物图像，所述第1结构物图像是由所述附带相机的移动式机器人在第1位置上分割拍摄所述结构物而得到，所述第2结构物图像是所述附带相机的移动式机器人从所述第1位置移动而在第2位置上分割拍摄所述结构物而得到；
全景合成部，生成全景合成图像，所述全景合成图像是对包含所述第1结构物图像和所述第2结构物图像的所述多个结构物图像进行全景合成而得到，所述多个结构物图像中的相邻的结构物图像之间具有重叠区域；
第1图像坐标获取部，将所述全景合成图像中的与所述第1位置相对应的第1图像坐标作为所述全景合成图像的坐标系的原点而获取第2图像坐标，所述第2图像坐标是所述第2结构物图像中的特定位置的坐标；及
第1相对位置坐标计算部，使用将所述第2图像坐标从图像坐标系转换为现实坐标系的转换系数，计算第2位置的相对的现实坐标即相对位置坐标作为相对的自身位置，
所述图像坐标系是所述全景合成图像中的坐标，
所述现实坐标系是表示所述附带相机的移动式机器人所在的现实位置的坐标，
所述转换系数根据从所述附带相机的移动式机器人的相机至所述结构物为止的距离、所述相机所具有的焦距、所述相机的摄像元件的尺寸及由所述相机拍摄的图像的像素数来计算。
2.根据权利要求1所述的自身位置估计装置，其中，
该自身位置估计装置还具备：
第2结构物图像获取部，获取第3结构物图像，所述第3结构物图像是使所述附带相机的移动式机器人移动到能够拍摄所述全景合成图像中的结构物图像的任意位置即第3位置并在所述第3位置上分割拍摄所述结构物而得到；
第2图像坐标获取部，通过对照所述第3结构物图像与所述全景合成图像，将所述第1图像坐标作为所述全景合成图像的坐标系的原点而获取第3图像坐标，所述第3图像坐标是所述第3结构物图像中的特定位置的坐标；及
第2相对位置坐标计算部，利用从图像坐标系向现实坐标系的所述转换系数对所述第3图像坐标进行转换来计算所述第3位置的相对的位置坐标即相对位置坐标作为相对的自身位置。
3.根据权利要求1所述的自身位置估计装置，其中，
该自身位置估计装置还具备：
初始绝对位置坐标获取部，利用从所述第1位置至设定于所述结构物上的绝对位置坐标的原点为止的X轴方向的距离信息及从所述第1位置至所述绝对位置坐标的原点为止的Y轴方向的距离信息来获取所述第1位置的绝对的位置坐标即第1绝对位置坐标；及
第1绝对位置坐标计算部，根据所述相对位置坐标及所述第1绝对位置坐标计算所述第2位置的绝对的位置坐标即第2绝对位置坐标作为绝对的自身位置。
4.根据权利要求2所述的自身位置估计装置，其中，
该自身位置估计装置还具备：
初始绝对位置坐标获取部，利用从所述第1位置至设定于所述结构物上的绝对位置坐标的原点为止的X轴方向的距离信息及从所述第1位置至所述绝对位置坐标的原点为止的Y轴方向的距离信息来获取所述第1位置的绝对的位置坐标即第1绝对位置坐标；及
第1绝对位置坐标计算部，根据所述相对位置坐标及所述第1绝对位置坐标计算所述第2位置的绝对的位置坐标即第2绝对位置坐标作为绝对的自身位置。
5.根据权利要求2所述的自身位置估计装置，其中，
该自身位置估计装置还具备：
初始绝对位置坐标获取部，利用从所述第1位置至设定于所述结构物上的绝对位置坐标的原点为止的X轴方向的距离信息及从所述第1位置至所述绝对位置坐标的原点为止的Y轴方向的距离信息来获取所述第1位置的绝对的位置坐标即第1绝对位置坐标；及
第2绝对位置坐标计算部，根据所述相对位置坐标及所述第1绝对位置坐标计算所述第3位置的绝对的位置坐标即第3绝对位置坐标作为绝对的自身位置。
6.根据权利要求3至5中任一项所述的自身位置估计装置，其中，
所述初始绝对位置坐标获取部利用所述附带相机的移动式机器人所具有的距离测定装置获取从所述第1位置至所述X轴为止的距离、从所述第1位置至所述Y轴为止的距离及至所述结构物为止的距离，从而获取所述第1绝对位置坐标。
7.根据权利要求3至5中任一项所述的自身位置估计装置，其中，
所述初始绝对位置坐标获取部由所述附带相机的移动式机器人所拍摄的图像获取从所述第1位置至所述X轴为止的距离及从所述第1位置至所述Y轴为止的距离，并利用所述附带相机的移动式机器人所具有的距离测定装置获取从所述第1位置至所述结构物为止的距离，从而获取所述第1绝对位置坐标。
8.根据权利要求1所述的自身位置估计装置，其中，
该自身位置估计装置还具备：
平面计算部，利用所述附带相机的移动式机器人所拍摄的立体图像计算所述结构物的平面；及
图像坐标校正部，根据所述计算出的所述平面校正所述第2图像坐标。
9.根据权利要求2所述的自身位置估计装置，其中，
该自身位置估计装置还具备：
平面计算部，利用所述附带相机的移动式机器人所拍摄的立体图像计算所述结构物的平面；及
图像坐标校正部，根据所述计算出的所述平面校正所述第3图像坐标。
10.根据权利要求1至5中任一项所述的自身位置估计装置，其中，
该自身位置估计装置还具备：
合成精确度评价部，在所述全景合成图像中的重叠区域中，使用从一个图像中提取的图像在另一个图像中进行模板匹配，由此评价所述重叠区域中的合成精确度，并根据所述评价进行是否使所述第1图像坐标获取部获取所述第2图像坐标的判定。
11.根据权利要求1至5中任一项所述的自身位置估计装置，其中，
该自身位置估计装置还具备：
图像模糊判定部，对由所述第1结构物图像获取部获取的所述多个结构物图像进行空间频率分析，并根据所述空间频率分析的结果进行是否使所述第1结构物图像获取部再次进行所述结构物图像的获取的判定。
12.一种图像处理装置，其具有权利要求1至11中任一项所述的自身位置估计装置。
13.一种自身位置估计方法，其估计通过分割拍摄结构物来进行结构物的检查的附带相机的移动式机器人的自身位置，所述附带相机的移动式机器人依次反复移动及拍摄，通过相机进行所述结构物的分割拍摄，所述自身位置估计方法包括：
第1结构物图像获取步骤，获取多个结构物图像，所述多个结构物图像至少包含第1结构物图像和第2结构物图像，所述第1结构物图像是由所述附带相机的移动式机器人在第1位置上分割拍摄所述结构物而得到，所述第2结构物图像是所述附带相机的移动式机器人从所述第1位置移动而在第2位置上分割拍摄所述结构物而得到；
全景合成步骤，生成全景合成图像，所述全景合成图像是对包含所述第1结构物图像和所述第2结构物图像的所述多个结构物图像进行全景合成而得到，所述多个结构物图像中的相邻的结构物图像之间具有重叠区域；
第1图像坐标获取步骤，将所述全景合成图像中的与所述第1位置相对应的第1图像坐标作为所述全景合成图像的坐标系的原点而获取第2图像坐标，所述第2图像坐标是所述第2结构物图像中的特定位置的坐标；及
第1相对位置坐标计算步骤，使用将所述第2图像坐标从图像坐标系转换为现实坐标系的转换系数，计算第2位置的相对的现实坐标即相对位置坐标作为相对的自身位置，
所述图像坐标系是所述全景合成图像中的坐标，
所述现实坐标系是表示所述附带相机的移动式机器人所在的现实位置的坐标，
所述转换系数根据从所述附带相机的移动式机器人的相机至所述结构物为止的距离、所述相机所具有的焦距、所述相机的摄像元件的尺寸及由所述相机拍摄的图像的像素数来计算。
14.一种记录介质，存储有使计算机执行估计通过分割拍摄结构物来进行结构物的检查的附带相机的移动式机器人的自身位置的自身位置估计方法的程序，所述附带相机的移动式机器人依次反复移动及拍摄，通过相机进行所述结构物的分割拍摄，所述程序使计算机执行如下步骤：
第1结构物图像获取步骤，获取多个结构物图像，所述多个结构物图像至少包含第1结构物图像和第2结构物图像，所述第1结构物图像是由所述附带相机的移动式机器人在第1位置上分割拍摄所述结构物而得到，所述第2结构物图像是所述附带相机的移动式机器人从所述第1位置移动而在第2位置上分割拍摄所述结构物而得到；
全景合成步骤，生成全景合成图像，所述全景合成图像是对包含所述第1结构物图像和所述第2结构物图像的所述多个结构物图像进行全景合成而得到，所述多个结构物图像中的相邻的结构物图像之间具有重叠区域；
第1图像坐标获取步骤，将所述全景合成图像中的与所述第1位置相对应的第1图像坐标作为所述全景合成图像的坐标系的原点而获取第2图像坐标，所述第2图像坐标是所述第2结构物图像中的特定位置的坐标；及
第1相对位置坐标计算步骤，使用将所述第2图像坐标从图像坐标系转换为现实坐标系的转换系数，计算第2位置的相对的现实坐标即相对位置坐标作为相对的自身位置，
所述图像坐标系是所述全景合成图像中的坐标，
所述现实坐标系是表示所述附带相机的移动式机器人所在的现实位置的坐标，
所述转换系数根据从所述附带相机的移动式机器人的相机至所述结构物为止的距离、所述相机所具有的焦距、所述相机的摄像元件的尺寸及由所述相机拍摄的图像的像素数来计算。
CN201780061890.9A 2016-10-07 2017-09-27 自身位置估计装置、自身位置估计方法、程序及图像处理装置 Active CN110178157B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016-199239 2016-10-07
JP2016199239 2016-10-07
JP2017-173283 2017-09-08
JP2017173283 2017-09-08
PCT/JP2017/035014 WO2018066435A1 (ja) 2016-10-07 2017-09-27 自己位置推定装置、自己位置推定方法、プログラム、および画像処理装置

Publications (2)

Publication Number Publication Date
CN110178157A CN110178157A (zh) 2019-08-27
CN110178157B true CN110178157B (zh) 2023-07-14

Family

ID=61831951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780061890.9A Active CN110178157B (zh) 2016-10-07 2017-09-27 自身位置估计装置、自身位置估计方法、程序及图像处理装置

Country Status (5)

Country Link
US (1) US11107240B2 (zh)
EP (1) EP3525169A4 (zh)
JP (1) JP6725675B2 (zh)
CN (1) CN110178157B (zh)
WO (1) WO2018066435A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021060669A (ja) * 2019-10-03 2021-04-15 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
CN115401689B (zh) * 2022-08-01 2024-03-29 北京市商汤科技开发有限公司 基于单目相机的距离测量方法、装置以及计算机存储介质
CN116051540B (zh) * 2023-03-06 2023-07-14 武汉科技大学 基于点云模型的互感器接线端子定位位姿获取方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338203A (ja) * 2005-05-31 2006-12-14 Toshiba Corp 画像処理装置及び画像処理方法
WO2016060139A1 (ja) * 2014-10-14 2016-04-21 富士フイルム株式会社 橋梁検査ロボットシステム
WO2016060140A1 (ja) * 2014-10-14 2016-04-21 富士フイルム株式会社 橋梁検査ロボットシステム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
JP2006220521A (ja) 2005-02-10 2006-08-24 Hitachi Ltd 自己位置計測装置及び自己位置計測方法を実行するためのプログラム
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
KR100926783B1 (ko) * 2008-02-15 2009-11-13 한국과학기술연구원 물체인식 및 인식된 물체를 포함하는 주변 환경 정보를바탕으로 한 로봇의 자기 위치 추정 방법
JP5316118B2 (ja) * 2009-03-12 2013-10-16 オムロン株式会社 ３次元視覚センサ
US8908054B1 (en) * 2011-04-28 2014-12-09 Rockwell Collins, Inc. Optics apparatus for hands-free focus
JP5803367B2 (ja) * 2011-07-15 2015-11-04 富士通株式会社 自己位置推定装置、自己位置推定方法およびプログラム
US9177384B2 (en) * 2013-07-31 2015-11-03 Trimble Navigation Limited Sequential rolling bundle adjustment
US9686479B2 (en) * 2013-09-16 2017-06-20 Duke University Method for combining multiple image fields
CN103927739B (zh) * 2014-01-10 2016-11-23 北京航天飞行控制中心 一种基于拼接图像的巡视器定位方法
JP6132981B2 (ja) * 2014-03-24 2017-05-24 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行機の状態をリアルタイムに修正する方法および装置
CN105865419A (zh) * 2015-01-22 2016-08-17 青岛通产软件科技有限公司 基于地面特征的移动机器人的自主精确定位系统及方法
EP3062066A1 (en) * 2015-02-26 2016-08-31 Hexagon Technology Center GmbH Determination of object data by template-based UAV control
JP6394462B2 (ja) * 2015-03-30 2018-09-26 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6556015B2 (ja) * 2015-10-09 2019-08-07 ソニー株式会社 情報処理装置、位置および／または姿勢の推定方法、およびコンピュータプログラム
JP6514125B2 (ja) * 2016-01-27 2019-05-15 京セラ株式会社 電子機器、電子機器の制御方法、制御プログラム並びに制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338203A (ja) * 2005-05-31 2006-12-14 Toshiba Corp 画像処理装置及び画像処理方法
WO2016060139A1 (ja) * 2014-10-14 2016-04-21 富士フイルム株式会社 橋梁検査ロボットシステム
WO2016060140A1 (ja) * 2014-10-14 2016-04-21 富士フイルム株式会社 橋梁検査ロボットシステム

Also Published As

Publication number Publication date
JPWO2018066435A1 (ja) 2019-07-18
US11107240B2 (en) 2021-08-31
WO2018066435A1 (ja) 2018-04-12
JP6725675B2 (ja) 2020-07-22
CN110178157A (zh) 2019-08-27
EP3525169A1 (en) 2019-08-14
US20190220998A1 (en) 2019-07-18
EP3525169A4 (en) 2019-10-23

Similar Documents

Publication Publication Date Title
US10748269B2 (en) Structure member specification device and structure member specification method
JP6507268B2 (ja) 撮影支援装置及び撮影支援方法
US10365090B2 (en) Imaging device and imaging method
CN108432227B (zh) 摄影辅助装置及摄影辅助方法
CA2526105C (en) Image display method and image display apparatus
US10212354B2 (en) Movable imaging device and movable imaging method
US20150168136A1 (en) Estimating three-dimensional position and orientation of articulated machine using one or more image-capturing devices and one or more markers
CN110178157B (zh) 自身位置估计装置、自身位置估计方法、程序及图像处理装置
JP6070206B2 (ja) 位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラム
EP3382335B1 (en) System, method and computer program product for determining a position and/or attitude of an offshore construction
CN102798456B (zh) 一种工程机械臂架系统工作幅度的测量方法、装置及系统
JP2007218705A (ja) 白線モデル計測システム、計測台車および白線モデル計測装置
JP2002156229A (ja) 構造物の移動式変位計測方法及び装置
CN111707668A (zh) 基于序列图像的隧道检测及图像处理方法
JP2011169658A (ja) 撮影位置特定装置および撮影位置特定方法
JP2011243076A (ja) 対象管理画像生成装置及び対象管理画像生成プログラム
US10742874B2 (en) Imaging plan generation device, imaging plan generation method, and program
KR102044639B1 (ko) 스테레오 카메라 정렬 방법 및 장치
Trusheim et al. Cooperative localisation using image sensors in a dynamic traffic scenario
JP2009121945A (ja) 地物位置測定方法
JP7291103B2 (ja) 施工支援システム
JP7517775B2 (ja) ３ｄ設計データ作成方法、建設工事方法、３ｄ設計データ作成システムおよび３ｄ設計データ作成プログラム
JP2018004435A (ja) 移動量算出装置および移動量算出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant