JP2020112497A - 三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラム - Google Patents

三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラム Download PDF

Info

Publication number
JP2020112497A
JP2020112497A JP2019004819A JP2019004819A JP2020112497A JP 2020112497 A JP2020112497 A JP 2020112497A JP 2019004819 A JP2019004819 A JP 2019004819A JP 2019004819 A JP2019004819 A JP 2019004819A JP 2020112497 A JP2020112497 A JP 2020112497A
Authority
JP
Japan
Prior art keywords
sensor
information
dimensional
orientation
dimensional reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019004819A
Other languages
English (en)
Other versions
JP7241546B2 (ja
Inventor
賢人 山▲崎▼
Kento Yamazaki
賢人 山▲崎▼
浩平 岡原
Kohei Okahara
浩平 岡原
純 皆川
Jun Minagawa
純 皆川
慎士 水野
Shinji Mizuno
慎士 水野
真太郎 坂田
Shintaro SAKATA
真太郎 坂田
拓実 榊原
Takumi SAKAKIBARA
拓実 榊原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Nagoya Denki Educational Foundation
Original Assignee
Mitsubishi Electric Corp
Nagoya Denki Educational Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2019004819A priority Critical patent/JP7241546B2/ja
Application filed by Mitsubishi Electric Corp, Nagoya Denki Educational Foundation filed Critical Mitsubishi Electric Corp
Priority to PCT/JP2019/018759 priority patent/WO2020148926A1/ja
Priority to CN201980082069.4A priority patent/CN113260831A/zh
Priority to KR1020217021090A priority patent/KR102564594B1/ko
Priority to EP19910611.3A priority patent/EP3896388B1/en
Priority to TW108130799A priority patent/TWI748234B/zh
Publication of JP2020112497A publication Critical patent/JP2020112497A/ja
Priority to US17/371,374 priority patent/US20210333384A1/en
Application granted granted Critical
Publication of JP7241546B2 publication Critical patent/JP7241546B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/047—Accessories, e.g. for positioning, for tool-setting, for measuring probes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/20—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

【課題】注目箇所を示す三次元情報を低コストで再構成すること。【解決手段】三次元再構成装置６０は、対象物を検出する第１のセンサから第１の三次元情報を取得し、移動可能に備えられ、注目箇所を検出する第２のセンサから、第２の三次元情報を取得する三次元情報取得部６３と、第１のセンサ情報Ｉ１０及び第２のセンサ情報Ｉ５０を取得するセンサ情報取得部６２と、第１の位置姿勢情報Ｅ１０を取得し、第２の位置姿勢情報Ｅ５０を取得する位置姿勢情報取得部６１と、第１のセンサ情報、第２のセンサ情報、第１の位置姿勢情報、及び第２の位置姿勢情報を用いて、第１の三次元情報Ｄ１０及び第２の三次元情報Ｄ５０から、注目箇所を示す三次元情報を再構成する三次元再構成部６４とを備える。【選択図】図５

Description

本発明は、三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラムに関する。
複数台のセンサによって取得された複数の現実空間情報を用いて、現実空間内に存在する対象物の三次元情報を再構成するシステムの提案がある（例えば、非特許文献１参照）。複数台のセンサは、例えば、複数台のキネクトである。キネクトは、マクロソフト社の登録商標である。キネクトは、モーションキャプチャの一例である。センサによって取得された現実空間情報は、例えば、センサから対象物までの距離を示す深度情報である。再構成された三次元情報は、センサによって取得された複数の現実空間情報を統合することによって生成された統合空間情報である。
しかしながら、現実空間内の状況を正確に把握するには、全体を大まかに、注目箇所を詳細に把握する必要がある。しかし注目箇所は移動する可能性もあるため、たとえ複数台のセンサを設置したとしても、注目箇所が検出可能範囲から外れて、もしくは分解能不足によって、把握に必要な情報が欠落するおそれがある。このような状況の発生を減らすために、注目箇所の移動経路に沿ってセンサを増設することが考えられるが、センサの増設によってシステムのコストが増加するという問題がある。
本発明は、上記従来技術の課題を解決するためになされたものであり、注目箇所を示す三次元情報を低コストで再構成することができる三次元再構成装置及び三次元再構成システム、並びに、注目箇所を示す三次元情報を低コストで再構成するために使用される三次元再構成方法及び三次元再構成プログラムを提供することを目的とする。
本発明の一態様に係る三次元再構成装置は、予め決められた位置に配置され、対象物を検出することで前記対象物を示す第１の三次元情報を生成する第１のセンサから、前記第１の三次元情報を取得し、移動可能に備えられ、前記対象物の注目箇所を検出することで前記注目箇所を示す第２の三次元情報を生成する第２のセンサから、前記第２の三次元情報を取得する三次元情報取得部と、前記第１のセンサに固有の特性を示す第１のセンサ情報及び前記第２のセンサに固有の特性を示す第２のセンサ情報を取得するセンサ情報取得部と、前記第１のセンサの位置及び姿勢を示す第１の位置姿勢情報を取得し、前記第２のセンサの位置及び姿勢を示す第２の位置姿勢情報を取得する位置姿勢情報取得部と、前記第１のセンサ情報、前記第２のセンサ情報、前記第１の位置姿勢情報、及び前記第２の位置姿勢情報を用いて、前記第１の三次元情報及び前記第２の三次元情報から、前記注目箇所を示す三次元情報を再構成する三次元再構成部と、を備えたことを特徴とする。
本発明の他の態様に係る三次元再構成方法は、予め決められた位置に配置され、対象物を検出することで前記対象物を示す第１の三次元情報を生成する第１のセンサから、前記第１の三次元情報を取得するステップと、移動可能に備えられ、前記対象物の注目箇所を検出することで前記注目箇所を示す第２の三次元情報を生成する第２のセンサから、前記第２の三次元情報を取得するステップと、前記第１のセンサに固有の特性を示す第１のセンサ情報を取得するステップと、前記第２のセンサに固有の特性を示す第２のセンサ情報を取得するステップと、前記第１のセンサの位置及び姿勢を示す第１の位置姿勢情報を取得するステップと、前記第２のセンサの位置及び姿勢を示す第２の位置姿勢情報を取得するステップと、前記第１のセンサ情報、前記第２のセンサ情報、前記第１の位置姿勢情報、及び前記第２の位置姿勢情報を用いて、前記第１の三次元情報及び前記第２の三次元情報から、前記注目箇所を示す三次元情報を再構成するステップと、を有することを特徴とする。
本発明によれば、空間の状況把握に必要な三次元情報を低コストで再構成することができるという効果が得られる。
本発明の実施の形態１に係る三次元再構成装置に現実空間情報である三次元情報を提供する複数台のセンサと現実空間内に存在する対象物との配置の例を概略的に示す図である。 実施の形態１に係る三次元再構成装置に三次元情報を提供する複数台のセンサと現実空間内に存在する対象物との配置の他の例を概略的に示す図である。 実施の形態１に係る三次元再構成装置に三次元情報を提供する複数台のセンサと現実空間内に存在する対象物との配置の他の例を概略的に示す図である。 実施の形態１に係る三次元再構成装置に三次元情報を提供する複数台のセンサと現実空間内に存在する対象物との配置の他の例を概略的に示す図である。 実施の形態１に係る三次元再構成装置の構成を概略的に示す機能ブロック図である。 実施の形態１に係る三次元再構成装置のハードウェア構成の例を示す図である。 実施の形態１に係る三次元再構成装置の動作を示すフローチャートである。 図８における三次元情報の再構成の動作を示すフローチャートである。 本発明の実施の形態２に係る三次元再構成装置に現実空間情報である三次元情報を提供する複数台のセンサと現実空間内に存在する対象物との配置の例を概略的に示す図である。 無人移動装置の構成例を示す概略図である。 図１０に示される無人移動装置の構成を概略的に示す機能ブロック図である。 実施の形態２に係る三次元再構成装置の構成を概略的に示す機能ブロック図である。 実施の形態２に係る三次元再構成装置の動作を示すフローチャートである。 図１３における三次元情報の再構成の動作を示すフローチャートである。 無人移動装置の他の構成例を示す概略図である。 図１５に示される無人移動装置の構成を概略的に示す機能ブロック図である。
以下に、本発明の実施の形態に係る三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。また、以下の実施の形態の構成を適宜組み合わせることが可能である。
実施の形態１．
図１は、実施の形態１に係る三次元再構成装置６０に現実空間情報である三次元情報を提供する複数台のセンサ１０，２０，３０，４０，５０と現実空間内に存在する対象物Ａ１との配置の例を概略的に示す図である。三次元再構成装置６０は、センサ１０，２０，３０，４０，５０によって取得された複数の現実空間情報を統合することによって統合空間情報を生成する。すなわち、三次元再構成装置６０は、センサ１０，２０，３０，４０，５０によって取得された複数の三次元情報を統合することによって統合された三次元情報を再構成する。また、三次元再構成装置６０とセンサ１０，２０，３０，４０，５０とは、三次元再構成システム１を構成する。
センサ１０，２０，３０，４０，５０は、現実空間の情報を取得する装置である。センサ１０，２０，３０，４０，５０は、センサ１０，２０，３０，４０，５０から対象物Ａ０までの距離を示す深度情報を取得することができる。センサ１０，２０，３０，４０，５０は、例えば、デプスカメラである。センサ１０，２０，３０，４０，５０は、モーションキャプチャとも称される。センサ１０，２０，３０，４０，５０が使用する測定原理は、例えば、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式である。ただし、センサ１０，２０，３０，４０，５０が使用する測定原理は、現実空間情報を示す三次元情報を生成することができるものであれば、何であってもよい。
センサ１０，２０，３０，４０は、予め決められた位置に配置されている。センサ１０，２０，３０，４０は、「第１のセンサ」とも称される。センサ１０，２０，３０，４０は、例えば、天井、壁、他の構造物、などに固定されたセンサである。センサ１０，２０，３０，４０は、検出範囲Ｒ１０，Ｒ２０，Ｒ３０，Ｒ４０内にある物体の表面までの距離をそれぞれ計測する。センサ１０，２０，３０，４０は、例えば、対象物Ａ０を検出することで対象物Ａ０を示す現実空間情報である三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０を生成する。三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０は、「第１の三次元情報」とも称される。図１では、対象物Ａ０は、作業員である。ただし、対象物Ａ０は、動く機械、移動する製品、加工途中の物品、などであってもよい。また、予め決められた位置に配置されているセンサの台数は、４台に限定されず、４台以外の台数であってもよい。
センサ５０は、移動可能に備えられている。センサ５０は、「第２のセンサ」とも称される。センサ５０は、自身の位置を変えることが可能なセンサ、自身の姿勢を変えることが可能なセンサ、又は自身の位置及び姿勢の両方を変えることが可能なセンサである。センサ５０の位置及び姿勢は、センサの取扱者がセンサ５０を保持し、センサ５０を動かすことによって変更することができる。センサ５０は、センサ５０の位置及び姿勢を変更可能に支持する支持装置に設置され、取扱者がセンサ５０の位置及び姿勢を変更してもよい。
また、センサ５０の位置又は姿勢は、センサの取扱者ではなく、センサ５０の位置及び姿勢を変更する移動装置によって変更されてもよい。例えば、センサ５０は、注目箇所Ａ１を検出し続けるように、自身の位置及び姿勢を制御する自動トラッキング機能を備えた移動装置に搭載されてもよい。この移動装置は、例えば、無人走行車、「ドローン」と称される無人航空機、無人航行船舶、などであってもよい。自動トラッキング機能を備えた移動装置については、後述の実施の形態２及び３で説明される。
センサ５０は、検出範囲Ｒ５０内にある物体の表面までの距離を計測する。センサ５０は、例えば、対象物Ａ０の注目箇所Ａ１を検出することで注目箇所Ａ１を示す現実空間情報である三次元情報Ｄ５０を生成する。三次元情報Ｄ５０は、「第２の三次元情報」とも称される。注目箇所Ａ１は、センサ５０によって検出され続けることが望まれている領域である。例えば、対象物Ａ０が作業員であるとき、注目箇所Ａ１は作業員の手によって組み立てられている製造中の物品である。図１では、注目箇所Ａ１は、対象物Ａ０である作業員の前方の胸付近の予め決められた大きさの範囲として描かれている。ただし、注目箇所Ａ１は、他の位置及び他の大きさの範囲であってもよい。
図２は、実施の形態１に係る三次元再構成装置に現実空間情報である三次元情報を提供する複数台のセンサ１０，２０，３０，４０，５０と現実空間内に存在する対象物Ａ０との配置の他の例を概略的に示す図である。図２において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付されている。図１では、対象物Ａ０がセンサ１０，２０，３０，４０の中間位置付近に存在しているが、図２では、対象物Ａ０がセンサ３０に近付き、その結果、注目箇所Ａ１がセンサ３０に近付いている。このとき、センサ５０は、注目箇所Ａ１の移動に伴って移動して、注目箇所Ａ１の検出を継続している。注目箇所Ａ１の検出を継続するためには、センサ５０の検出範囲Ｒ１０内に注目箇所Ａ１が存在し続けるように、センサ５０の位置、姿勢、又は位置及び姿勢の両方が変更される。
図３は、実施の形態１に係る三次元再構成装置に現実空間情報である三次元情報を提供する複数台のセンサ１０，２０，３０，４０，５０と現実空間内に存在する対象物Ａ０との配置の他の例を概略的に示す図である。図３において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付されている。図１では、対象物Ａ０である作業員がセンサ４０に顔を向けているが、図３では、対象物Ａ０である作業員がセンサ３０に顔を向けている。その結果、図３では、注目箇所Ａ１がセンサ３０を向いた状態である。このとき、センサ５０は、注目箇所Ａ１の移動に伴って移動して、注目箇所Ａ１の検出を継続している。つまり、センサ５０の検出範囲Ｒ１０内に注目箇所Ａ１が存在し続けるように、センサ５０の位置、姿勢、又は位置及び姿勢の両方が変更されている。
図４は、実施の形態１に係る三次元再構成装置に現実空間情報である三次元情報を提供する複数台のセンサ１０，２０，３０，４０，５０と現実空間内に存在する対象物Ａ０との配置の他の例を概略的に示す図である。図４において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付されている。図１では、対象物Ａ０の注目箇所Ａ１とセンサ５０との間に障害物は存在しないが、図３では、対象物Ａ０の注目箇所Ａ１とセンサ５０との間に障害物Ｂ０が入った状態を示している。このとき、センサ５０は、障害物Ｂ０の位置に応じて移動して、注目箇所Ａ１の検出を継続している。センサ５０の検出範囲Ｒ１０内に注目箇所Ａ１が存在し続けるように、センサ５０の位置、姿勢、又は位置及び姿勢の両方が変更されている。
図５は、実施の形態１に係る三次元再構成装置６０の構成を概略的に示す機能ブロック図である。三次元再構成装置６０は、実施の形態１に係る三次元再構成方法を実施することができる装置である。三次元再構成装置６０は、例えば、コンピュータである。
図５に示されるように、三次元再構成装置６０は、位置姿勢情報取得部６１と、センサ情報取得部６２と、三次元情報取得部６３と、三次元再構成部６４とを備えている。三次元再構成装置６０は、三次元情報を記憶する記憶装置である記憶部６５を備えてもよい。記憶部６５は、三次元再構成装置６０に接続された外部の記憶装置であってもよい。
三次元情報取得部６３は、センサ１０，２０，３０，４０から、現実空間情報である三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０を取得する。また、三次元情報取得部６３は、センサ５０から、注目箇所Ａ１を示す現実空間情報である三次元情報Ｄ５０を取得する。三次元情報取得部６３は、注目箇所Ａ１を示す現実空間情報である三次元情報Ｄ５０を実時間で取得することが望ましい。実時間で取得するとは、三次元情報を一時的に保存する処理を行わずに、三次元情報を取得することである。
センサ情報取得部６２は、センサ１０，２０，３０，４０の各々に固有の特性を示すセンサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０を取得する。センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０は、「第１のセンサ情報」とも称される。センサ情報取得部６２は、センサ５０に固有の特性を示すセンサ情報Ｉ５０を取得する。センサ情報Ｉ５０は、「第２のセンサ情報」とも称される。センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０は、事前に取得される。センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０は、ユーザ操作などによって事前に入力される。ただし、センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０は、センサ１０，２０，３０，４０から取得されてもよい。センサ情報Ｉ５０は、ユーザ操作などによって事前に入力される。ただし、センサ情報Ｉ５０は、センサ５０から取得されてもよい。
センサ１０，２０，３０，４０，５０が、カメラである場合には、センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０，Ｉ５０は、カメラの焦点距離などの内部パラメータを含むことができる。
位置姿勢情報取得部６１は、センサ１０，２０，３０，４０の各々の位置及び姿勢を示す位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０を取得する。位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０は、「第１の位置姿勢情報」とも称される。位置姿勢情報取得部６１は、センサ５０の位置及び姿勢を示す位置姿勢情報Ｅ５０を取得する。位置姿勢情報取得部６１は、センサ５０によって取得される三次元情報が示す注目箇所の移動情報（例えば、移動方向、移動量など）に基づいて、センサ５０の位置及び姿勢を推定してもよい。位置姿勢情報Ｅ５０は、「第２の位置姿勢情報」とも称される。位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０，Ｅ５０は、世界座標系で示される情報である。位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０は、事前に取得される。位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０は、ユーザ操作などによって事前に入力される。ただし、位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０は、センサ１０，２０，３０，４０から取得されてもよい。位置姿勢情報Ｅ５０は、センサ５０から取得される。位置姿勢情報取得部６１は、注目箇所Ａ１を示す現実空間情報である三次元情報Ｄ５０を実時間で取得することが望ましい。
センサ１０，２０，３０，４０，５０の位置は世界座標系で表されることが望ましい。センサ１０，２０，３０，４０，５０の姿勢は、検出方向で表される。位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０，Ｅ５０とセンサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０，Ｉ５０とから、センサ１０，２０，３０，４０，５０の検出範囲（すなわち、検出レンジ）Ｒ１０，Ｒ２０，Ｒ３０，Ｒ４０，Ｒ５０が決定される。
三次元再構成部６４は、センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０、センサ情報Ｉ５０、位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０、及び位置姿勢情報Ｅ５０を用いて、三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０及び三次元情報Ｄ５０から、注目箇所Ａ１を示す三次元情報を再構成する。記憶部６５は、三次元再構成部６４で再構成された三次元情報を記憶する。なお、再構成された三次元情報は、表示装置に出力されてもよい。
図６は、実施の形態１に係る三次元再構成装置６０のハードウェア構成の例を示す図である。三次元再構成装置６０は、例えば、ソフトウェアとしてのプログラム、すなわち、実施の形態１に係る三次元再構成プログラムを格納する記憶装置としてのメモリ１０２と、メモリ１０２に格納されたプログラムを実行する情報処理部としてのプロセッサ１０１とを備える。三次元再構成装置６０は、汎用のコンピュータであってもよい。プロセッサ１０１は、演算装置である。演算装置は、ＣＰＵ（Ｃｅｎｔａｒａｌ Ｐｒｏｃｅｓｓｉｏｎｇ Ｕｎｉｔ）である。演算装置は、ＣＰＵに加えてＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有してもよい。演算装置は、時刻情報を提供する時刻提供機能を備えてもよい。
実施の形態１に係る三次元再構成プログラムは、情報を記憶する記憶媒体から媒体読取装置（図示せず）を介して又はインターネットなどに接続可能な通信インタフェース（図示せず）を介してメモリ１０２に格納される。また、三次元再構成装置６０は、データベースなどの各種情報を格納する記憶装置であるストレージ１０３を有してもよい。ストレージ１０３は、通信インタフェース（図示せず）を介して接続可能なクラウド上に存在する記憶装置であってもよい。また、三次元再構成装置６０には、マウス及びキーボードなどのようなユーザ操作部である入力装置１０４が接続されてもよい。さらに、三次元再構成装置６０には、画像を表示するディスプレイである表示装置１０５が接続されてもよい。入力装置１０４及び表示装置１０５は、三次元再構成装置６０の一部であってもよい。
図６に示される位置姿勢情報取得部６１、センサ情報取得部６２、三次元情報取得部６３、及び三次元再構成部６４は、メモリ１０２に格納されているプログラムを実行するプロセッサ１０１によって実現されることができる。また、図５に示される記憶部６５は、ストレージ１０３の一部であってもよい。
図７は、実施の形態１に係る三次元再構成装置６０の動作を示すフローチャートである。ただし、三次元再構成装置６０の動作は、図７の例に限定されず、種々の変更が可能である。
ステップＳ１１において、センサ情報取得部６２は、センサ１０，２０，３０，４０のセンサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０を取得する。センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０は、例えば、三次元計測可能なセンサにおける内部パラメータである。
ステップＳ１２において、位置姿勢情報取得部６１は、センサ１０，２０，３０，４０の位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０を取得する。このときのセンサ１０，２０，３０，４０の位置及び姿勢は、世界座標系によって表わされる。
ステップＳ１３において、三次元情報取得部６３は、センサ１０，２０，３０，４０，５０から現実空間の三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０，Ｄ５０を取得する。
ステップＳ１４において、三次元再構成部６４は、センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０、センサ情報Ｉ５０、位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０、及び位置姿勢情報Ｅ５０を用いて、現実空間の三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０，Ｄ５０を統合することによって、三次元情報を再構成する。統合される三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０，Ｄ５０は、同時刻にサンプリングされたものであることが望ましい。
ステップＳ１５において、再構成された三次元情報は、記憶部６５に記憶される。記憶部６５に記憶された、再構成された三次元情報には時刻を示す付加情報であるタイムスタンプが付与される。タイムスタンプが付与された三次元情報は、動画像又は静止画像として、図６に示される表示装置１０５に表示されることができる。
ステップＳ１３からＳ１５の処理は、例えば、一定の時間間隔で、終了命令が入力されるまで繰り返される。
図８は、図７における三次元情報の再構成の処理であるステップＳ１４の動作を示すフローチャートである。ただし、三次元情報の再構成の処理は、図８の例に限定されず、種々の変更が可能である。
ステップＳ１４１において、位置姿勢情報取得部６１は、移動可能なセンサ５０の位置姿勢情報Ｅ５０を取得する。
ステップＳ１４２において、センサ情報取得部６２は、移動可能なセンサ５０のセンサ情報Ｉ５０を取得する。
ステップＳ１４３において、三次元再構成部６４は、センサ１０，２０，３０，４０，５０の時刻同期を行う。時刻同期により、センサ１０，２０，３０，４０，５０における時刻が、三次元再構成装置６０の時刻に同期する。
ステップＳ１４４において、三次元再構成部６４は、センサ１０，２０，３０，４０，５０の各々の座標系における点群（Ｐｏｉｎｔ Ｃｌｏｕｄ）で表された三次元情報を、共通の座標系である世界座標系における点群で表された三次元情報に変換するための座標変換を行う。
ステップＳ１４５において、三次元再構成部６４は、座標変換された三次元情報を統合するための処理を行う。このときに、互いに重複する三次元情報の部分で、一方の三次元情報を削除するなどの処理が行われる。この三次元情報の削除は、公知の方法で行うことができる。公知の方法の一例は、ボクセルフィルタを用いる方法である。
以上に説明したように、実施の形態１に係る三次元再構成装置６０、三次元再構成システム１、三次元再構成方法、又は三次元再構成プログラムを用いれば、注目箇所Ａ１の情報を欠落させることなく、三次元情報を再構成して、記憶部６５に格納することができる。また、注目箇所Ａ１が検出範囲内にある場合であっても、センサから注目箇所Ａ１までの距離が長い場合には、現実空間情報の情報量が低下する（例えば、解像度などが低下する）おそれがある。しかし、実施の形態１に係る三次元再構成装置６０、三次元再構成システム１、三次元再構成方法、又は三次元再構成プログラムを用いれば、注目箇所Ａ１の情報の欠落を生じさせないだけでなく、注目箇所Ａ１を詳細に示す三次元情報及び注目箇所Ａ１を含む広い空間を示す三次元情報を、継続して取得し続けることができる。
また、実施の形態１では、対象物Ａ０の移動経路に沿って多数のセンサを追加する必要がないので、システムのコストの増加を抑制することができる。また、注目箇所Ａ１をより詳細に示す三次元情報、又は注目箇所Ａ１の全体を含む空間を示す三次元情報を低コストで再構成することができる。
実施の形態２．
上記実施の形態１では、センサ１０，２０，３０，４０，５０が三次元再構成装置６０に直接接続されている例を説明した。しかし、センサ１０，２０，３０，４０，５０と三次元再構成装置とは、無線通信機能を有するセンサ制御装置を介して通信を行ってもよい。
図９は、実施の形態２に係る三次元再構成装置７０に現実空間情報である三次元情報を提供する複数台のセンサ１０，２０，３０，４０，５０と現実空間内に存在する対象物Ａ０との配置の例を概略的に示す図である。図９において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付されている。三次元再構成装置７０は、実施の形態２に係る三次元再構成方法を実施することができる装置である。実施の形態２においては、センサ１０，２０，３０，４０，５０は、それぞれセンサ制御装置１１，２１，３１，４１，５１を介して、三次元再構成装置７０と通信を行う。三次元再構成装置７０、センサ１０，２０，３０，４０，５０、及びセンサ制御装置１１，２１，３１，４１，５１は、三次元再構成システム２を構成する。
センサ制御装置１１，２１，３１，４１，５１は、センサ１０，２０，３０，４０，５０によって検出された三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０，Ｄ５０を三次元再構成装置７０に送信する。また、センサ制御装置１１，２１，３１，４１，５１は、センサ１０，２０，３０，４０，５０のセンサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０，Ｉ５０及び位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０，Ｅ５０を、三次元再構成装置７０に、送信してもよい。
また、実施の形態２においては、センサ５０及びセンサ制御装置５１は、移動装置としての無人移動装置２００に搭載されている。無人移動装置２００は、例えば、無人走行車両、無人航空機、無人運転船、無人潜水船などを含むことができる。また、無人移動装置２００は、センサ５０の姿勢を変更する機構を備えてもよい。無人移動装置２００は、センサ５０による検出情報に基づいて、センサ５０が注目箇所Ａ１を検出し続けるように、センサ５０の位置及び姿勢を制御する自動トラッキング機能を備えてもよい。
図１０は、無人移動装置２００の構成例を示す概略図である。図１１は、無人移動装置２００の構成を概略的に示す機能ブロック図である。無人移動装置２００は、センサ５０から現実空間の三次元情報Ｄ５０を取得する検出情報取得部２１０と、三次元情報Ｄ５０に基づいて、センサ５０の位置及び姿勢の変更指示情報を生成する位置姿勢変更指示部２２０と、駆動制御部２３０と、位置変更部２４０と、姿勢変更部２５０とを備えている。検出情報取得部２１０は、三次元情報Ｄ５０を実時間で取得することが望ましい。検出情報取得部２１０は、位置姿勢情報Ｅ５０を取得してもよい。この場合、検出情報取得部２１０は、位置姿勢情報Ｅ５０を実時間で取得することが望ましい。
無人移動装置２００の位置変更部２４０は、床面を、互いに直行するｘ方向及びｙ方向に走行する走行機構であるｘ方向駆動部２４１及びｙ方向駆動部２４２を有している。ｘ方向駆動部２４１及びｙ方向駆動部２４２は、車輪、車輪を駆動するための駆動力を発生するモータ、モータで発生した駆動力を車輪に伝えるギヤなどの動力伝達機構、などを備える。
また、位置変更部２４０は、センサ５０をｚ方向に上下移動させる昇降機構であるｚ方向駆動部２４３を有している。ｚ方向駆動部２４３は、センサ５０などを指示する支持台、支持台を上下移動させるための駆動力を発生するモータ、モータで発生した駆動力を支持台に伝えるギヤなどの動力伝達機構、などを備える。
また、無人移動装置２００の姿勢変更部２５０は、センサ５０の方位角θａを変更する方位角変更機構を含むθａ方向駆動部２５１と、センサ５０の仰角θｅを変更する仰角変更機構を含むθｅ方向駆動部２５２とを有している。θａ方向駆動部２５１及びθｅ方向駆動部２５２は、センサ５０又はその支持台を水平軸線又は垂直軸線を中心にして回転動作させるための駆動力を発生するモータ、モータで発生した駆動力をセンサ５０又はその支持台に伝えるギヤなどの動力伝達機構、などを備える。
例えば、位置姿勢変更指示部２２０は、三次元情報Ｄ５０における注目箇所Ａ１内の特徴点を抽出し、特徴点が予め決められた検出範囲から外れないようにセンサ５０の位置及び姿勢を制御するための、位置及び姿勢の変更指示情報を駆動制御部２３０に与える。ただし、位置姿勢変更指示部２２０は、センサ１０，２０，３０，４０の位置を考慮して、変更指示情報を生成してもよい。例えば、注目箇所Ａ１が、センサ１０，２０，３０，４０の検出範囲Ｒ１０，Ｒ２０，Ｒ３０，Ｒ４０のいずれかの範囲内である場合には、位置姿勢変更指示部２２０は、センサ５０の検出範囲Ｒ５０から注目箇所Ａ１が一時的に外れることを許容してもよい。この場合には、無人移動装置２００は、センサ１０，２０，３０，４０の検出範囲Ｒ１０，Ｒ２０，Ｒ３０，Ｒ４０に関する情報を、事前の入力操作で取得している。また、無人移動装置２００は、センサ１０，２０，３０，４０の検出範囲Ｒ１０，Ｒ２０，Ｒ３０，Ｒ４０に関する情報を取得するための、センサ１０，２０，３０，４０との間の通信を行う通信装置を備えてもよい。
駆動制御部２３０は、受け取った変更指示情報にしたがって、位置変更部２４０及び姿勢変更部２５０を制御する。
また、図１０及び図１１に示される構成は、実施の形態１にも適用可能である。また、図１１に示される無人移動装置２００の構成を、図６の構成と同様に、プログラムを記憶するメモリと、プログラムを実行するプロセッサとによって実現することが可能である。
また、センサ５０の位置及び姿勢の制御は、インサイドアウト方式に限定されず、アウトサイドイン方式で行われてもよい。例えば、無人移動装置２００は、センサ５０の位置及び姿勢を検出する外部の検出器を備え、位置姿勢変更指示部２２０は、この外部の検出器の検出信号に基づいて位置姿勢変更指示を出力してもよい。
図１２は、実施の形態２に係る三次元再構成装置７０の構成を概略的に示す機能ブロック図である。図１２において、図５に示される構成要素と同一又は対応する構成要素には、図５に示される符号と同じ符号が付される。三次元再構成装置７０は、受信部７１を備えている点において、実施の形態１に係る三次元再構成装置６０と異なる。受信部７１は、センサ制御装置１１，２１，３１，４１，５１を介してセンサ１０，２０，３０，４０，５０から送信された情報を受信する。
センサ制御装置１１，２１，３１，４１，５１の各々は、センサによる検出情報を取得する検出情報取得部１２と、情報を受信部７１に無線で送信する送信部１３とを備えている。
図１３は、実施の形態２に係る三次元再構成装置７０の動作を示すフローチャートである。ステップＳ２１，Ｓ２２，Ｓ２５における処理は、図６におけるステップＳ１１，Ｓ１２，Ｓ１５における処理と同じである。ステップＳ２３，Ｓ２４における処理は、図６におけるステップＳ１３，Ｓ１４における処理と同様である。ただし、実施の形態２では、三次元再構成装置７０は、受信部７１を介して各種の情報を取得する。
ステップＳ２３においては、受信部７１は、センサ１０，２０，３０，４０，５０からセンサ制御装置１１，２１，３１，４１，５１を介して、現実空間の三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０，Ｄ５０を受信する。三次元情報取得部６３は、受信部７１から現実空間の三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０，Ｄ５０を取得する。
図１４は、図１１における三次元情報の再構成の処理であるステップＳ２４の動作を示すフローチャートである。ステップＳ２４１において、受信部７１は、移動可能なセンサ５０の位置姿勢情報Ｅ５０を受信し、位置姿勢情報取得部６１は、位置姿勢情報Ｅ５０を受信部７１から取得する。
ステップＳ２４２において、受信部７１は、移動可能なセンサ５０のセンサ情報Ｉ５０を受信し、センサ情報取得部６２は、センサ情報Ｉ５０を受信部７１から取得する。
ステップＳ２４３からＳ２４５の処理は、図７におけるステップＳ１４３からＳ１４５の処理と同じである。
以上に説明したように、実施の形態２に係る三次元再構成装置７０、三次元再構成システム２、三次元再構成方法、又は三次元再構成プログラムを用いれば、注目箇所Ａ１の情報を欠落させることなく、三次元情報を再構成することができる。
また、対象物Ａ０の移動経路に沿って多数のセンサを追加する必要がないので、システムのコストの増加を抑制することができる。
上記以外の点について、実施の形態２は、実施の形態１と同じである。
実施の形態２の変形例．
図１５は、無人移動装置３００の構成例を示す概略図である。図１５は、無人移動装置３００の構成を概略的に示す機能ブロック図である。無人移動装置３００は、センサ５０から現実空間の三次元情報Ｄ５０を実時間で取得する検出情報取得部３１０と、三次元情報Ｄ５０に基づいて、センサ５０の位置及び姿勢の変更指示情報を生成する位置姿勢変更指示部３２０と、駆動制御部３３０と、位置変更部３４０と、姿勢変更部３５０とを備えている。
無人移動装置３００は、無人航空機を含む。無人移動装置３００の位置変更部３４０は、空中を、互いに直行するｘ方向、ｙ方向、ｚ方向に移動するため飛行駆動部３４１を有している。飛行駆動部３４１は、プロペラ、プロペラを回転させる駆動力を発生するモータ、などを備える。
また、無人移動装置３００の姿勢変更部３５０は、センサ５０の方位角θａを変更する方位角変更機構を含むθａ方向駆動部３５１と、センサ５０の仰角θｅを変更する仰角変更機構を含むθｅ方向駆動部３５２とを有している。θａ方向駆動部３５１及びθｅ方向駆動部３５２は、センサ５０又はその支持台を水平軸線又は垂直軸線を中心にして回転動作させるための駆動力を発生するモータ、モータで発生した駆動力をセンサ５０又はその支持台に伝えるギヤなどの動力伝達機構、などを備える。
例えば、位置姿勢変更指示部３２０は、三次元情報Ｄ５０における注目箇所Ａ０内の特徴点を抽出し、特徴点が予め決められた検出範囲から外れないようにセンサ５０の位置及び姿勢を制御するための、位置及び姿勢の変更指示情報を駆動制御部３３０に与える。駆動制御部３３０は、受け取った変更指示情報にしたがって、位置変更部３４０及び姿勢変更部３５０を制御する。
また、図１５及び図１６に示される構成は、実施の形態１にも適用可能である。また、図１５に示される無人移動装置３００の構成を、プログラムを記憶するメモリと、プログラムを実行するプロセッサとによって実現することが可能である。上記以外に関し、図１５及び図１６の例は、図１０及び図１１の例と同じである。
さらに、無人移動装置３００は、水上を移動する無人航行船、水中を移動する無人潜水船、予め敷設されたレール上を走行する無人走行車、などであってもよい。
上記各実施の形態で説明した三次元再構成装置及び三次元再構成システムは、工場における作業員の作業の監視、製造途中の製品の監視、などに適用可能である。
１，２ 三次元再構成システム、 １０，２０，３０，４０ センサ、 ５０ センサ、 １１，２１，３１，４１，５１ センサ制御装置、 １２ 検出情報取得部、 １３ 送信部、 ６０，７０ 三次元再構成装置、 ６１ 位置姿勢情報取得部、 ６２ センサ情報取得部、 ６３ 三次元情報取得部、 ６４ 三次元再構成部、 ６５ 記憶部、 ７１ 受信部、 ２００，３００ 無人移動装置、 ２１０，３１０ 検出情報取得部、 ２２０，３２０ 位置姿勢変更指示部、 ２３０，３３０ 駆動制御部、 ２４０，３４０ 位置変更部、 ２５０，３５０ 姿勢変更部、 Ａ０ 対象物、 Ａ１ 注目箇所、 Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０ 三次元情報、 Ｄ５０ 三次元情報、 Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０ 位置姿勢情報、 Ｅ５０ 位置姿勢情報、 Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０ センサ情報、 Ｉ５０ センサ情報、 Ｒ１０，Ｒ２０，Ｒ３０，Ｒ４０ 検出範囲、 Ｒ５０ 検出範囲。

Claims (17)

  1. 予め決められた位置に配置され、対象物を検出することで前記対象物を示す第１の三次元情報を生成する第１のセンサから、前記第１の三次元情報を取得し、移動可能に備えられ、前記対象物の注目箇所を検出することで前記注目箇所を示す第２の三次元情報を生成する第２のセンサから、前記第２の三次元情報を取得する三次元情報取得部と、
    前記第１のセンサに固有の特性を示す第１のセンサ情報及び前記第２のセンサに固有の特性を示す第２のセンサ情報を取得するセンサ情報取得部と、
    前記第１のセンサの位置及び姿勢を示す第１の位置姿勢情報を取得し、前記第２のセンサの位置及び姿勢を示す第２の位置姿勢情報を取得する位置姿勢情報取得部と、
    前記第１のセンサ情報、前記第２のセンサ情報、前記第１の位置姿勢情報、及び前記第２の位置姿勢情報を用いて、前記第１の三次元情報及び前記第２の三次元情報から、前記注目箇所を示す三次元情報を再構成する三次元再構成部と、
    を備えたことを特徴とする三次元再構成装置。
  2. 前記三次元情報取得部は、前記第２のセンサから前記第２の三次元情報を実時間で取得することを特徴とする請求項１に記載の三次元再構成装置。
  3. 前記位置姿勢情報取得部は、前記第２のセンサから前記第２の位置姿勢情報を実時間で取得することを特徴とする請求項１又は２に記載の三次元再構成装置。
  4. 無線信号を受信する受信部をさらに備え、
    前記三次元情報取得部は、前記受信部を介して、前記第２のセンサから前記第２の三次元情報を実時間で取得し、
    前記位置姿勢情報取得部は、前記受信部を介して、前記第２のセンサから前記第２の位置姿勢情報を実時間で取得する
    ことを特徴とする請求項１に記載の三次元再構成装置。
  5. 前記位置姿勢情報取得部は、前記第２の三次元情報が示す前記注目箇所の移動情報に基づいて、前記第２のセンサの位置及び姿勢を推定することを特徴とする請求項１から４のいずれか１項に記載の三次元再構成装置。
  6. 前記三次元再構成部によって再構成された前記三次元情報を記憶する記憶部をさらに有することを特徴とする請求項１から５のいずれか１項に記載の三次元再構成装置。
  7. 予め決められた位置に配置され、対象物を検出することで前記対象物を示す第１の三次元情報を生成する第１のセンサと、
    移動可能に備えられ、前記対象物の注目箇所を検出することで前記注目箇所を示す第２の三次元情報を生成する第２のセンサと、
    前記第１の三次元情報及び前記第２の三次元情報を取得する三次元情報取得部と、
    前記第１のセンサに固有の特性を示す第１のセンサ情報及び前記第２のセンサに固有の特性を示す第２のセンサ情報を取得するセンサ情報取得部と、
    前記第１のセンサの位置及び姿勢を示す第１の位置姿勢情報を取得し、前記第２のセンサの位置及び姿勢を示す第２の位置姿勢情報を取得する位置姿勢情報取得部と、
    前記第１のセンサ情報、前記第２のセンサ情報、前記第１の位置姿勢情報、及び前記第２の位置姿勢情報を用いて、前記第１の三次元情報及び前記第２の三次元情報から、前記注目箇所を示す三次元情報を再構成する三次元再構成部と、
    を備えたことを特徴とする三次元再構成システム。
  8. 前記第２のセンサの位置及び姿勢を変更する移動装置をさらに備え、
    前記移動装置は、前記第２の三次元情報に基づいて、前記注目箇所が前記第２のセンサの検出範囲から外れないように前記第２のセンサの位置及び姿勢を制御する
    ことを特徴とする請求項７に記載の三次元再構成システム。
  9. 前記移動装置は、前記第２のセンサから前記第２の三次元情報を実時間で取得することを特徴とする請求項８に記載の三次元再構成システム。
  10. 前記移動装置は、前記第２のセンサから前記第２の位置姿勢情報を実時間で取得することを特徴とする請求項８又は９に記載の三次元再構成システム。
  11. 前記移動装置は、前記第１のセンサの位置を考慮して前記第２のセンサの移動を制御することを特徴とする請求項８から１０のいずれか１項に記載の三次元再構成システム。
  12. 前記移動装置は、前記注目箇所が前記第１のセンサの検出範囲にある場合には、前記注目箇所が前記第１のセンサの検出範囲から一時的に外れることを許容する制御を行うことを特徴とする請求項８から１１のいずれか１項に記載の三次元再構成システム。
  13. 前記位置姿勢情報取得部は、前記第２の三次元情報における前記注目箇所の移動に基づいて、前記第２のセンサの位置及び姿勢を推定することを特徴とする請求項７から１２のいずれか１項に記載の三次元再構成システム。
  14. 前記三次元情報取得部は、複数の前記第１のセンサから、複数の前記第１の三次元情報を取得し、
    前記センサ情報取得部は、複数の前記第１のセンサ情報を取得し、
    前記位置姿勢情報取得部は、複数の前記第１の位置姿勢情報を取得し、
    前記三次元再構成部は、複数の前記第１のセンサ情報、前記第２のセンサ情報、複数の前記第１の位置姿勢情報、及び前記第２の位置姿勢情報を用いて、複数の前記第１の三次元情報及び前記第２の三次元情報から、前記三次元情報を再構成する
    ことを特徴とする請求項７から１３のいずれか１項に記載の三次元再構成システム。
  15. 前記三次元再構成部によって再構成された前記三次元情報を記憶する記憶部をさらに有することを特徴とする請求項７から１４のいずれか１項に記載の三次元再構成システム。
  16. 予め決められた位置に配置され、対象物を検出することで前記対象物を示す第１の三次元情報を生成する第１のセンサから、前記第１の三次元情報を取得するステップと、
    移動可能に備えられ、前記対象物の注目箇所を検出することで前記注目箇所を示す第２の三次元情報を生成する第２のセンサから、前記第２の三次元情報を取得するステップと、
    前記第１のセンサに固有の特性を示す第１のセンサ情報を取得するステップと、
    前記第２のセンサに固有の特性を示す第２のセンサ情報を取得するステップと、
    前記第１のセンサの位置及び姿勢を示す第１の位置姿勢情報を取得するステップと、
    前記第２のセンサの位置及び姿勢を示す第２の位置姿勢情報を取得するステップと、
    前記第１のセンサ情報、前記第２のセンサ情報、前記第１の位置姿勢情報、及び前記第２の位置姿勢情報を用いて、前記第１の三次元情報及び前記第２の三次元情報から、前記注目箇所を示す三次元情報を再構成するステップと、
    を有することを特徴とする三次元再構成方法。
  17. 予め決められた位置に配置され、対象物を検出することで前記対象物を示す第１の三次元情報を生成する第１のセンサから、前記第１の三次元情報を取得する処理と、
    移動可能に備えられ、前記対象物の注目箇所を検出することで前記注目箇所を示す第２の三次元情報を生成する第２のセンサから、前記第２の三次元情報を取得する処理と、
    前記第１のセンサに固有の特性を示す第１のセンサ情報を取得する処理と、
    前記第２のセンサに固有の特性を示す第２のセンサ情報を取得する処理と、
    前記第１のセンサの位置及び姿勢を示す第１の位置姿勢情報を取得する処理と、
    前記第２のセンサの位置及び姿勢を示す第２の位置姿勢情報を取得する処理と、
    前記第１のセンサ情報、前記第２のセンサ情報、前記第１の位置姿勢情報、及び前記第２の位置姿勢情報を用いて、前記第１の三次元情報及び前記第２の三次元情報から、前記注目箇所を示す三次元情報を再構成する処理と、
    をコンピュータに実行させることを特徴とする三次元再構成プログラム。
JP2019004819A 2019-01-16 2019-01-16 三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラム Active JP7241546B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2019004819A JP7241546B2 (ja) 2019-01-16 2019-01-16 三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラム
CN201980082069.4A CN113260831A (zh) 2019-01-16 2019-05-10 三维重建装置、三维重建系统、三维重建方法和三维重建程序
KR1020217021090A KR102564594B1 (ko) 2019-01-16 2019-05-10 삼차원 재구성 장치, 삼차원 재구성 시스템, 삼차원 재구성 방법, 및 삼차원 재구성 프로그램
EP19910611.3A EP3896388B1 (en) 2019-01-16 2019-05-10 Three-dimensional reconstruction system, three-dimensional reconstruction method, and three-dimensional reconstruction program
PCT/JP2019/018759 WO2020148926A1 (ja) 2019-01-16 2019-05-10 三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラム
TW108130799A TWI748234B (zh) 2019-01-16 2019-08-28 三維重建裝置、三維重建系統、三維重建方法、以及記錄三維重建程式的記錄媒體
US17/371,374 US20210333384A1 (en) 2019-01-16 2021-07-09 Three-dimensional reconstruction device, three-dimensional reconstruction system, three-dimensional reconstruction method, and storage medium storing three-dimensional reconstruction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019004819A JP7241546B2 (ja) 2019-01-16 2019-01-16 三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラム

Publications (2)

Publication Number Publication Date
JP2020112497A true JP2020112497A (ja) 2020-07-27
JP7241546B2 JP7241546B2 (ja) 2023-03-17

Family

ID=71614460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019004819A Active JP7241546B2 (ja) 2019-01-16 2019-01-16 三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラム

Country Status (7)

Country Link
US (1) US20210333384A1 (ja)
EP (1) EP3896388B1 (ja)
JP (1) JP7241546B2 (ja)
KR (1) KR102564594B1 (ja)
CN (1) CN113260831A (ja)
TW (1) TWI748234B (ja)
WO (1) WO2020148926A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018129143B4 (de) * 2018-11-20 2021-06-17 Carl Zeiss Industrielle Messtechnik Gmbh Variabler messobjektabhängiger Kameraaufbau und Kalibrierung davon

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07306012A (ja) * 1994-05-13 1995-11-21 Oyo Keisoku Kenkyusho:Kk 移動物体の計測装置
JP2003014435A (ja) * 2001-07-04 2003-01-15 Minolta Co Ltd 測定装置及び測定方法
WO2005080914A1 (ja) * 2004-02-25 2005-09-01 The University Of Tokyo 形状測定装置及びその方法
JP2008168372A (ja) * 2007-01-10 2008-07-24 Toyota Motor Corp ロボット装置及び形状認識方法
JP2015204512A (ja) * 2014-04-14 2015-11-16 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
WO2016111066A1 (ja) * 2015-01-07 2016-07-14 ソニー株式会社 情報処理装置、情報処理方法、および情報処理システム
JP2018028535A (ja) * 2016-07-28 2018-02-22 リバティ リーチ インコーポレイテッド 検査ステーションに配置された車両の最外寸法を測定するための方法及びシステム
JP2018195241A (ja) * 2017-05-22 2018-12-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019211970A1 (ja) * 2018-05-02 2019-11-07 パナソニックＩｐマネジメント株式会社 三次元再構成方法及び三次元再構成装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010121999A (ja) * 2008-11-18 2010-06-03 Omron Corp ３次元モデルの作成方法および物体認識装置
US8264486B2 (en) * 2009-07-24 2012-09-11 The United States Of America As Represented By The Secretary Of The Navy Real-time high-speed three dimensional modeling system
US8848201B1 (en) * 2012-10-20 2014-09-30 Google Inc. Multi-modal three-dimensional scanning of objects
US10304203B2 (en) * 2015-05-14 2019-05-28 Qualcomm Incorporated Three-dimensional model generation
WO2017079278A1 (en) * 2015-11-04 2017-05-11 Intel Corporation Hybrid foreground-background technique for 3d model reconstruction of dynamic scenes
EP3509296B1 (en) * 2016-09-01 2021-06-23 Panasonic Intellectual Property Management Co., Ltd. Multiple viewpoint image capturing system, three-dimensional space reconstructing system, and three-dimensional space recognition system
KR20180067908A (ko) * 2016-12-13 2018-06-21 한국전자통신연구원 3차원 모델 복원 장치 및 방법
US10789726B2 (en) * 2017-03-15 2020-09-29 Rubber Match Productions, Inc. Methods and systems for film previsualization

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07306012A (ja) * 1994-05-13 1995-11-21 Oyo Keisoku Kenkyusho:Kk 移動物体の計測装置
JP2003014435A (ja) * 2001-07-04 2003-01-15 Minolta Co Ltd 測定装置及び測定方法
WO2005080914A1 (ja) * 2004-02-25 2005-09-01 The University Of Tokyo 形状測定装置及びその方法
JP2008168372A (ja) * 2007-01-10 2008-07-24 Toyota Motor Corp ロボット装置及び形状認識方法
JP2015204512A (ja) * 2014-04-14 2015-11-16 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
WO2016111066A1 (ja) * 2015-01-07 2016-07-14 ソニー株式会社 情報処理装置、情報処理方法、および情報処理システム
JP2018028535A (ja) * 2016-07-28 2018-02-22 リバティ リーチ インコーポレイテッド 検査ステーションに配置された車両の最外寸法を測定するための方法及びシステム
JP2018195241A (ja) * 2017-05-22 2018-12-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019211970A1 (ja) * 2018-05-02 2019-11-07 パナソニックＩｐマネジメント株式会社 三次元再構成方法及び三次元再構成装置

Also Published As

Publication number Publication date
EP3896388A1 (en) 2021-10-20
EP3896388A4 (en) 2022-01-26
CN113260831A (zh) 2021-08-13
TWI748234B (zh) 2021-12-01
US20210333384A1 (en) 2021-10-28
JP7241546B2 (ja) 2023-03-17
EP3896388B1 (en) 2023-07-26
KR102564594B1 (ko) 2023-08-07
WO2020148926A1 (ja) 2020-07-23
TW202029133A (zh) 2020-08-01
KR20210098526A (ko) 2021-08-10

Similar Documents

Publication Publication Date Title
KR100590549B1 (ko) 3차원 포인팅 방법을 이용한 로봇의 원격 제어 방법 및이를 구현한 로봇 제어 시스템
JP6594686B2 (ja) 三次元形状計測装置、三次元形状計測方法、及びプログラム
CN108475059A (zh) 自主视觉导航
CN109313417A (zh) 帮助机器人定位
CN106597470B (zh) 一种基于三维点云数据获取装置的三维点云数据坐标转化方法
US9183638B2 (en) Image based position determination
Whitty et al. Autonomous navigation using a real-time 3d point cloud
JP2015087307A (ja) ３次元測定方法及び測量システム
JP6709055B2 (ja) 移動体、及びサーバ
CN109974742A (zh) 一种激光里程计算方法和地图构建方法
JP2011157187A (ja) 原料ヤードの原料山計測システム、原料ヤードの原料山計測方法、及びコンピュータプログラム
JP5728564B2 (ja) ロボットシステム及び地図更新方法
CN115932882A (zh) 通过自主机器人载具提供环境的3d探测的系统
JP6557055B2 (ja) 電波計測システムおよび基地局
WO2020148926A1 (ja) 三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラム
Zhang et al. Slam-based multi-sensor backpack lidar systems in gnss-denied environments
KR101417431B1 (ko) Ｌｉｄａｒ센서를 이용한 3차원 공간정보 생성시스템
Allotta et al. Thesaurus project: Design of new autonomous underwater vehicles for documentation and protection of underwater archaeological sites
JP2017150977A (ja) 計測装置
Norazman et al. Landmark scanning by using infrared sensor for simultaneous localization and mapping application
CN112578363B (zh) 激光雷达运动轨迹获取方法及装置、介质
JP2019049888A (ja) 遠隔操縦用表示装置と遠隔操縦用表示方法
Zhang et al. A Three-dimensional (3-D) Reconstruction Approach Using Single Layer Lidar and an Inertial Measurement Unit.
Li et al. Localization of leader-follower formations using kinect and RTK-GPS
Nakamura et al. Developing a support system for loading planning

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20190116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230307

R150 Certificate of patent or registration of utility model

Ref document number: 7241546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150