JP2022099764A - 移動体、移動体の制御方法、及びプログラム - Google Patents

移動体、移動体の制御方法、及びプログラム Download PDF

Info

Publication number
JP2022099764A
JP2022099764A JP2020213750A JP2020213750A JP2022099764A JP 2022099764 A JP2022099764 A JP 2022099764A JP 2020213750 A JP2020213750 A JP 2020213750A JP 2020213750 A JP2020213750 A JP 2020213750A JP 2022099764 A JP2022099764 A JP 2022099764A
Authority
JP
Japan
Prior art keywords
imaging
unit
moving body
baseline length
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020213750A
Other languages
English (en)
Inventor
裕崇 田中
Hirotaka Tanaka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2020213750A priority Critical patent/JP2022099764A/ja
Priority to US18/257,604 priority patent/US20240114121A1/en
Priority to PCT/JP2021/041683 priority patent/WO2022137876A1/ja
Publication of JP2022099764A publication Critical patent/JP2022099764A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

Figure 2022099764000001
【課題】状況に応じて、近距離に位置する対象及び遠距離に位置する対象の両者をステレオカメラによって適切に撮像することを可能にする。
【解決手段】移動体は、第1撮像部及び第2撮像部を含むステレオカメラと、第1撮像部と第2撮像部との間の基線長を変えるように、第1撮像部及び第2撮像部のうちの少なくともいずれか一方を移動させる基線長変更部と、第1撮像部及び第2撮像部の可変的な撮像状態の情報を示す状態変数に応じた目標基線長に、基線長が調整されるよう、基線長変更部を制御する移動体制御部と、を備える。
【選択図】図7

Description

本開示は、移動体、移動体の制御方法、及びプログラムに関する。
ステレオカメラシステムは、ステレオカメラにより複数の方向から対象を撮像することで、対象の画像に加え、対象の奥行き方向の情報も取得することができる。そのため、対象の立体視や測距が必要とされる様々な分野で、ステレオカメラが使用されるようになってきている(特許文献1~3参照)
国際公開第2019/244668号 特開2001-305681号公報 特開2004-93457号公報
三角測量原理に基づくステレオマッチング技術を利用したステレオカメラシステムにおいて、ステレオカメラによる適切な撮像が可能な奥行き方向の最大距離及び最小距離は、撮像部間の基線長に応じて定まる。
撮像部間の基線長が短い場合、近距離に位置する対象(近距離対象)に対する測距は精度良く行うことができるが、遠距離に位置する対象(遠距離対象)に対する測距では大きな測定誤差が生じやすい。一方、撮像部間の基線長が長い場合、遠距離対象に対する測距を精度良く行うことはできるが、近距離対象については撮像範囲から外れてしまって撮像自体ができないことがある。
このようにステレオカメラでは、近距離対象の撮像可能性と、遠距離対象の測距精度とがトレードオフの関係にあり、単一のステレオカメラによって両者を同時に高いレベルで実現することは、構造原理上困難であり、ソフトウェア処理でも対応が難しい。そのため車両や飛行体などの移動体では、例えば近距離撮影用のステレオカメラと遠距離撮影用のステレオカメラとの両方を具備するようなハードウェア設計が必要とされていた。
そこで本開示は、状況に応じて、近距離に位置する対象及び遠距離に位置する対象の両者をステレオカメラによって適切に撮像することを可能にするための技術を提供する。
本開示の一態様は、第1撮像部及び第2撮像部を含むステレオカメラと、第1撮像部と第2撮像部との間の基線長を変えるように、第1撮像部及び第2撮像部のうちの少なくともいずれか一方を移動させる基線長変更部と、第1撮像部及び第2撮像部の可変的な撮像状態の情報を示す状態変数に応じた目標基線長に、基線長が調整されるよう、基線長変更部を制御する移動体制御部と、を備える移動体に関する。
状態変数は、移動体の移動速度、第1撮像部及び第2撮像部の撮像方向の傾き、及び移動体の高度のうちの少なくとも1以上に関する情報を含んでもよい。
移動体は、状態変数を測定する撮像状態測定部を備え、移動体制御部は、撮像状態測定部から取得される状態変数に応じた目標基線長に、基線長が調整されるよう、基線長変更部を制御してもよい。
移動体は、移動体を駆動する移動体駆動部を備え、移動体制御部は、駆動指示情報を受信し、当該駆動指示情報に基づいて移動体駆動部を制御し、駆動指示情報は、状態変数に関する情報を含み、移動体制御部は、駆動指示情報に基づいて取得される状態変数に応じた目標基線長に、基線長が調整されるよう、基線長変更部を制御してもよい。
移動体制御部は、第1撮像部により取得される撮像データ及び第2撮像部により取得される撮像データに基づいて、目標対象物までの距離を導出してもよい。
移動体制御部は、第1撮像部により取得される撮像データ及び第2撮像部により取得される撮像データに基づいて、自己位置の推定及び周辺環境の地図の作成を行ってもよい。
移動体制御部は、状態変数に基づいて目標基線長を決定してもよい。
移動体制御部は、状態変数に基づいて目標撮像範囲を決定し、目標撮像範囲に基づいて目標基線長を決定してもよい。
移動体制御部は、現在の基線長に基づく、第1撮像部の撮像範囲及び第2撮像部の撮像範囲の両方に含まれるステレオカメラ撮像範囲を取得し、目標撮像範囲及びステレオカメラ撮像範囲の比較に基づいて、目標基線長を決定してもよい。
移動体制御部は、状態変数に基づいて、目標撮像範囲の最大距離を示す目標最大距離と、目標撮像範囲の最小距離を示す目標最小距離と、を取得し、現在の基線長に基づくステレオカメラ撮像範囲の最大距離を示す撮像最大距離と、ステレオカメラ撮像範囲の最小距離を示す撮像最小距離と、を取得し、目標最大距離、目標最小距離、撮像最大距離、及び撮像最小距離に基づいて、目標基線長を決定してもよい。
移動体は、車両として設けられてもよい。
移動体は、飛行体として設けられてもよい。
本開示の他の態様は、移動体が備える第1撮像部及び第2撮像部の可変的な撮像状態についての情報を示す状態変数に応じた目標基線長に、第1撮像部と第2撮像部との間の基線長が調整されるよう、第1撮像部及び第2撮像部のうちの少なくともいずれか一方を移動させる移動体の制御方法に関する。
図1は、移動体に搭載されたステレオカメラの撮像範囲を説明するための概略図である。 図2は、ステレオカメラの撮影距離と測距誤差との関係例を示す図である。 図3は、基線長を変更可能なステレオカメラが搭載される移動体の一例の概略構成を示す平面図である。 図4は、図3に示す第1撮像部、第2撮像部及び基線長変更部を拡大して示す平面図である。 図5は、近距離撮影における第1撮像部及び第2撮像部の撮像方向の一例を概略的に示す図である。 図6は、遠距離撮影における第1撮像部及び第2撮像部の撮像方向の一例を概略的に示す図である。 図7は、移動体の機能構成の一例を示すブロック図である。 図8は、オペレータにより操作される操作装置の機能構成の一例を示すブロック図である。 図9は、移動体(特に移動体制御部)の機能構成の具体例を示すブロック図である。 図10は、移動体の制御方法の処理フローの一例を示すフローチャートである。 図11は、移動体の制御方法の処理フローの他の例を示すフローチャートである。 図12は、移動体の制御方法の処理フローの他の例を示すフローチャートである。
以下、ステレオカメラの基線長を変更することで撮像及び測距の奥行き方向の範囲(すなわちデプスレンジ)を変えることが可能な基線長可変ロボットに関連する技術を、例示的に説明する。
以下で説明する技術の適用対象は限定されず、移動体全般に対して下述の技術を適用可能である。
例えば、車両や飛行体(例えばドローンや無人航空機)として設けられる移動体に対し、以下の技術を適用することが可能である。特に、オペレータの操作に応じて移動する移動体に対してだけではなく、オペレータの操作が介入することなく自律的に移動可能な移動体に対しても、以下の技術を適用することが可能である。このようにステレオカメラをパッシブセンサとして利用し、外界を測距したり、周辺環境の3D構造を認識したり、自律移動を行ったりする自律移動ロボットや無人航空機に対しても、以下の技術を適用することが可能である。
そのような移動体として、例えば、荷物を運ぶ移動体(例えばAGV:Automated Guided Vehicle)、対象を追跡しつつ撮影を行う移動体、SLAM(Simultaneous Localization and Mapping)処理を行う移動体が挙げられる。SLAM処理を行う移動体は、ステレオカメラの撮影画像に基づいて自己位置の推定及び周辺環境の地図の作成が可能であり、ロボット掃除機やエリア点検ロボットなど、様々な分野で使用可能である。SLAMは、ロボットの空間認識技術として広く普及している技術分野及び動作そのものであり、以下で説明する技術が貢献する分野の1つとして挙げられる。
図1は、移動体10に搭載されたステレオカメラの撮像範囲を説明するための概略図である。
図1に示す移動体10では、ステレオカメラとして設けられる第1撮像部11及び第2撮像部12が移動体本体13に搭載される。
第1撮像部11及び第2撮像部12の撮像方向(すなわち撮像範囲の奥行き方向)は移動体10の前方に向けられており、第1撮像部11及び第2撮像部12は前方に位置する対象を撮像する。
図1において第1撮像部11から上方に延びる三角形の領域は、第1撮像部11の撮像範囲(すなわち第1撮像範囲R1)を概略的に示す。同様に、第2撮像部12から上方に延びる三角形の領域は、第2撮像部12の撮像範囲(すなわち第2撮像範囲R2)を概略的に示す。
第1撮像範囲R1及び第2撮像範囲R2の両方に含まれる範囲(すなわちオーバーラップ範囲)が、ステレオカメラの撮像範囲(すなわちステレオカメラ撮像範囲R0)となる。
ステレオカメラ撮像範囲R0に含まれる対象については、第1撮像部11及び第2撮像部12により取得される画像から測距(すなわち奥行き方向距離の測定)が可能である。一方、ステレオカメラ撮像範囲R0外に位置する対象については、原理的に、第1撮像部11及び第2撮像部12により取得される画像からは奥行き方向距離を導き出すことができない。
ステレオカメラ撮像範囲R0は、第1撮像部11と第2撮像部12との間の距離(例えば第1撮像部11の対物レンズと第2撮像部12の対物レンズとの間の距離)を示す基線長Lbに応じて変わる。図1からも明らかなように、基線長Lbが大きく(長く)なるに従って、ステレオカメラ撮像範囲R0は移動体10から遠ざかる。一方、基線長Lbが小さく(短く)なるに従って、ステレオカメラ撮像範囲R0は移動体10に近づく。
したがって、移動体10の近くに位置する対象を撮像する場合には、基線長Lbを十分に小さくする必要がある。
図2は、ステレオカメラの撮影距離と測距誤差との関係例を示す図である。図2において、横軸はステレオカメラからの距離(m:メートル)を示し、縦軸は測距誤差の大きさ(m)を示す。
図2において、「G1」は基線長が相対的に小さいケースを示し、「G2」は基線長が中程度のケースを示し、「G3」は基線長が相対的に大きいケースを示す(すなわち「G1の基線長<G2の基線長<G3の基線長」)。図2に示す関係例は実験結果に基づいており、基線長以外の条件を同じに維持しつつ基線長を変えることによって、図2に示されている「G1」、「G2」及び「G3」の関係例が得られている。
図2からも明らかなように、遠距離撮影に関しては、ステレオカメラの基線長Lbが大きくなるに従って測距誤差が小さくなり、基線長Lbが小さくなるに従って測距誤差が大きくなる傾向がある。したがって、移動体10から遠くに位置する対象を撮像する場合には、基線長Lbが大きい方が有利であり、基線長Lbが小さいと測距精度が必ずしも良くない。
そのため、実際のステレオカメラ撮像範囲R0は、測距誤差が許容値(すなわち「許容誤差」)以下を示す範囲に定められる。
なお測距誤差の許容値は、移動体10の用途や使用状況に応じて変わりうる。そのため移動体10の用途や使用状況に応じて、測距誤差の許容値は可変であってもよい。
上述のように、ステレオカメラを用いた撮像において、近距離対象の撮影(すなわち近距離撮影)では基線長Lbが小さい方が有利であり、遠距離対象の撮影(すなわち遠距離撮影)では基線長Lbが長い方が有利である。そのため、近距離撮影の際には基線長Lbを小さくし、遠距離撮影の際には基線長Lbを大きくすることで、単一のステレオカメラによって、近距離対象及び遠距離対象の両方を適切に撮像することが可能である。
図3は、基線長Lbを変更可能なステレオカメラが搭載される移動体10の一例の概略構成を示す平面図である。図4は、図3に示す第1撮像部11、第2撮像部12及び基線長変更部20を拡大して示す平面図である。
図3及び図4に示す移動体10は、第1撮像部11及び第2撮像部12を含むステレオカメラと、ステレオカメラの基線長Lbを変える基線長変更部20と、ステレオカメラ及び基線長変更部20が固定的に載せられる移動体本体13と、を備える。
図示は省略するが、移動体本体13には、移動体10の移動のための移動駆動装置が取り付けられている。移動駆動装置は限定されず、例えば、エンジンやモーターなどの原動機、車輪及びプロペラが移動駆動装置に含まれうる。
基線長変更部20は、第1撮像部11と第2撮像部12との間の基線長Lbを変えるように、第1撮像部11及び第2撮像部12のうちの少なくともいずれか一方を移動させることが可能な任意の装置によって構成可能である。
図3及び図4に示す基線長変更部20は、スライドガイド21と、スライドガイド21に沿って移動可能な可動ステージ22、23と、を具備する。スライドガイド21は、例えばボールベアリングやLMガイド(Linear Motion Guide)によって構成可能である。
可動ステージ22、23は、それぞれ第1撮像部11及び第2撮像部12が固定されており、第1撮像部11及び第2撮像部12とともにスライドガイド21に案内されて移動する。可動ステージ22、23の各々は、例えばモーターが搭載され、当該モーターから出力される動力によってスライドガイド21と平行な方向へ対称的に移動され、所望位置で停止されることが可能である。
なお基線長変更部20は、図3及び図4に示す装置構成には限定されない。
例えば、単一の駆動源からの動力によって、第1撮像部11及び第2撮像部12の両者を移動させてもよい。一例として、図示は省略するが、モーターの回転軸にピニオンが取り付けられ、当該ピニオンに係合する2つの棒状ラックのそれぞれに第1撮像部11及び第2撮像部12が取り付けられてもよい。この場合、モーター回転軸の回転に応じて、第1撮像部11及び第2撮像部12は対称的に同時に移動され、基線長Lbを調整することができる。
本実施形態の基線長変更部20は、後述の移動体制御部(図7等参照)の制御下で、第1撮像部11及び第2撮像部12の基線長Lbを目標基線長に調整する。
目標基線長は、ステレオカメラ撮像範囲R0の奥行き方向範囲を所望範囲に設定するための基線長Lbである。
本実施形態の目標基線長は、状態変数に応じて定められる。
ここで言う「状態変数」は、第1撮像部11及び第2撮像部12の状態を表し、例えば、第1撮像部11及び第2撮像部12の移動速度、傾き及び高度のうちのいずれかを含んでもよい。
したがって本実施形態の移動体10は、撮像状態に応じて基線長Lbを最適化して、ステレオカメラ撮像範囲R0の奥行き方向の範囲を撮像状態に応じて適応的に変えることができる。その結果、状況に応じて、近距離対象及び遠距離対象の両者を単一のステレオカメラによって適切に撮像して測距することが可能である。なお、ここで言う「ステレオカメラ撮像範囲R0の奥行き方向の範囲を撮像状態に応じて適応的に変える」には、奥行き方向の範囲を段階的に変える場合及び無段階に変える場合の両方が含まれる。
上述の状態変数は、所望の撮影距離範囲の決定に影響を及ぼしうる任意の情報を含みうる。典型的には、移動体10の移動速度に関する情報、第1撮像部11及び第2撮像部12の撮像方向の傾きに関する情報、及び移動体10の高度に関する情報のうちの少なくとも1以上に関する情報が、状態変数に含まれうる。ここで言う移動体10の移動速度は、移動体10に搭載される第1撮像部11及び第2撮像部12の移動速度と基本的に一致する。同様に、移動体10の高度も、移動体10に搭載される第1撮像部11及び第2撮像部12の高度と基本的に一致する。
一般に、移動体10の移動速度が遅い場合、移動体10に搭載されるステレオカメラは近距離撮影が望まれることが多く、移動体10の移動速度が速い場合、移動体10に搭載されるステレオカメラは遠距離撮影が望まれることが多い。
一例として、移動体10が車両として設けられるケースにおいて、通常は、ゆっくり走行することが求められる駐車場では近距離に位置する対象の情報が必要とされるのに対し、高速走行が求められる道路では遠距離に位置する対象の情報が必要とされる。そのため、通常は、移動体10の移動速度が遅い場合には、ステレオカメラの基線長Lbは相対的に小さく設定されることが好ましく、移動体10の移動速度が速い場合には、ステレオカメラの基線長Lbは相対的に大きく設定されることが好ましい。
なお、移動体10の移動速度に関する情報は、移動体10の移動速度を直接的に示す情報であってもよいし、移動体10の移動速度を間接的に示す情報であってもよい。
例えば移動体10の加速度情報を、移動体10の移動速度に関する情報として用いてもよい。移動体10のプラスの加速度が大きい場合、通常は、移動体10を速く移動させることが求められており、ステレオカメラの基線長Lbは相対的に大きく設定されることが好ましい。一方、移動体10のマイナスの加速度(すなわち減速度)が大きい場合、通常は、移動体10を遅く移動させることが求められており、ステレオカメラの基線長Lbは相対的に小さく設定されることが好ましい。
図5は、近距離撮影における第1撮像部11及び第2撮像部12の撮像方向Dsの一例を概略的に示す図である。図6は、遠距離撮影における第1撮像部11及び第2撮像部12の撮像方向Dsの一例を概略的に示す図である。
一般に、ステレオカメラ(第1撮像部11及び第2撮像部12)の近くに位置する目標対象物Tを撮影する場合(すなわち対象までの距離Dtが短い場合)には、図5に示すように、撮像方向Dsは鉛直方向(すなわち下方向)に近い。一方、ステレオカメラから遠くに位置する目標対象物Tを撮影する場合(すなわち対象までの距離Dtが長い場合)には、図6に示すように、撮像方向Dsは水平方向(すなわち横方向)に近い。
したがって、通常、撮像方向Dsが鉛直方向に近い場合には、ステレオカメラの基線長Lbは相対的に小さく設定されることが好ましく、撮像方向Dsが水平方向に近い場合には、ステレオカメラの基線長Lbは相対的に大きく設定されることが好ましい。
なお、撮像方向Dsと最適なステレオカメラ撮像範囲R0との間の対応関係は、必ずしも一意には定まらず、第1撮像部11及び第2撮像部12の画角等の撮像性能によっても変わりうる。
例えば、ステレオカメラから5m以内に位置する目標対象物Tの撮影は近距離撮影に該当し、ステレオカメラから10m以上離れて位置する目標対象物Tの撮影は遠距離撮影に該当するケースが考えられる。その一方で、移動体10の種類によっては、ステレオカメラから5m以上離れて位置する目標対象物Tの撮影も近距離撮影に該当しうるし、ステレオカメラから10m以内に位置する目標対象物Tの撮影も遠距離撮影に該当しうる。
また移動体10が飛行体として設けられる場合、一般に、移動体10の高度が低い場合には近距離撮影が望まれることが多く、移動体10の高度が高い場合には遠距離撮影が望まれることが多い。
したがって、通常、移動体10の高度が低い場合には、ステレオカメラの基線長Lbは相対的に小さく設定されることが好ましく、移動体10の高度が高い場合には、ステレオカメラの基線長Lbは相対的に大きく設定されることが好ましい。
なお、移動体10の高度と最適なステレオカメラ撮像範囲R0との間の対応関係は、必ずしも一意には定まらず、第1撮像部11及び第2撮像部12の画角等の撮像性能によっても変わりうる。例えば、移動体10の高度が地上から1m未満の場合には近距離撮影が好ましく、移動体10の高度が地上から1m以上の場合には遠距離撮影が好ましいケースが考えられる。その一方で、移動体10の種類によっては、移動体10の高度が1m以上であっても近距離撮影が好ましく、移動体10の高度が1m未満であっても遠距離撮影が好ましいケースも考えられる。
なお、複数種類の状態変数が目標基線長の決定に用いられる場合には、それらの状態変数の優先度や複合的組み合わせに応じて、目標基線長を決定することが好ましい。
例えば、移動体10の移動速度に関する情報と撮像方向Dsの傾きに関する情報とに基づいて目標基線長が決定される場合、撮像方向Dsの傾きに関する情報の比重を、移動体10の移動速度に関する情報の比重よりも大きくしてもよい。また、移動体10の高度に関する情報と撮像方向Dsの傾きに関する情報とに基づいて目標基線長が決定される場合、移動体10の高度に関する情報の比重を、撮像方向Dsの傾きに関する情報の比重よりも大きくしてもよい。
移動体10の制御を行う移動体制御部(後述の図7等参照)は、任意の方法によって、上述の状態変数から目標基線長を決定することが可能である。
移動体制御部は、例えば、予め準備された「状態変数に対して目標基線長が対応付けられているデータ群(参照テーブル)」を参照することによって、状態変数から目標基線長を決定してもよい。そのような参照テーブルは、実験結果やシミュレーション結果に基づいて取得されてもよいし、理論値として取得されてもよい。2種類以上の状態変数を用いて目標基線長を決定する場合、移動体制御部は、多次元の参照テーブルを用いてもよい。また移動体制御部は、状態変数をパラメータとする所定の演算式に従って演算を行うことで、目標基線長を決定してもよい。
移動体制御部は、ステレオカメラの基線長Lbが、上述のようにして導出される目標基線長に適宜調整されるように、基線長変更部20を制御する。これにより移動体制御部は、ステレオカメラから目標対象物Tまでの距離にかかわらず、第1撮像部11により取得される撮像データ及び第2撮像部12により取得される撮像データに基づいて、目標対象物Tまでの距離を精度良く導出することが可能である。
このように、本実施形態の移動体10は、状況に応じて、近距離対象及び遠距離対象の両者を1台のステレオカメラによって適切に撮像することが可能である。
したがって、近距離撮影及び遠距離撮影のそれぞれのために別個のステレオカメラを設ける必要がなく、移動体10に搭載されるステレオカメラ(具体的には撮像部)の数を抑えることができる。そのため、製造コストの低減、消費駆動電力の低減、移動体10の構成の簡素化、及び移動体10の軽量化等、の様々な利益がもたらされうる。
また上述の基線長変更部20はステレオカメラの基線長Lbを連続可変的に変えることができるため、ステレオカメラ撮像範囲R0も連続可変的に変えることができる。これにより、実際に使用するステレオカメラを切り替えることによって撮像レンジ(測距レンジ)を離散的(不連続的)に切り替える場合に比べ、ステレオカメラの基線長Lbを、より緻密に所望の撮像レンジ(測距レンジ)に対応させることができる。
また移動体制御部は、上述のステレオカメラ画像(すなわち第1撮像部11及び第2撮像部12のそれぞれの撮像画像)を用いて、高い認識度を持つ立体視画像や視点変換画像を生成することが可能である。
また移動体制御部は、第1撮像部11により取得される撮像データ及び第2撮像部12により取得される撮像データに基づいて、自己位置の推定及び周辺環境の地図の作成を精度良く行うことが可能である。
次に、移動体10の機能構成例について説明する。
図7は、移動体10の機能構成の一例を示すブロック図である。図8は、オペレータにより操作される操作装置70の機能構成の一例を示すブロック図である。
図7に示す移動体10は、上述の第1撮像部11、第2撮像部12及び移動体制御部31に加え、移動体送受信機30、撮像状態測定部32及び移動体駆動部33を備える。
移動体送受信機30は、操作装置70(特に後述の操作送受信機71)との間で、無線又は有線により信号の送受信を行う。
撮像状態測定部32は、状態変数を測定し、測定結果(すなわち状態変数)を移動体制御部31に送信する。したがって撮像状態測定部32は、例えば、移動体10の移動速度に関する情報を測定するセンサ、第1撮像部11及び第2撮像部12の撮像方向Dsの傾きに関する情報を測定するセンサ、及び移動体10の高度に関する情報を測定するセンサを含みうる。
移動体10の移動速度に関する情報を測定するセンサには、例えば移動体10の速度を計測するセンサ、移動体10の加速度を計測するセンサ(例えばIMU:Inertia Measurement Unit)及び移動体10の位置情報を経時的に取得するセンサが含まれうる。
したがって速度センサにより計測される移動体10の速度、加速度センサにより計測される移動体10の加速度、及びGPS(全地球測位システム)により経時的に得られる移動体10の位置情報が、移動体10の移動速度に関する情報に含まれうる。
また、モーターから出力される動力を使って移動体10が移動される場合には、当該モーターに取り付けられるエンコーダーの出力も、移動体10の移動速度に関する情報に含まれうる。当該エンコーダーの出力は、例えばモーターの回転軸の回転数(回転速度)、角度、及び角速度を示しうる。
第1撮像部11及び第2撮像部12の撮像方向Dsの傾きに関する情報を測定するセンサには、移動体10全体の姿勢(傾斜)を計測するセンサや第1撮像部11及び第2撮像部12の姿勢(傾斜)を計測するセンサが含まれうる。
移動体10の高度に関する情報を測定するセンサには、移動体10全体の高度を計測するセンサや移動体10の個々の要素(例えば第1撮像部11及び第2撮像部12)の高度を計測するセンサが含まれうる。
移動体駆動部33は、移動体制御部31の制御下で、移動体10を構成する個々の要素を駆動する。特に、本実施形態の移動体駆動部33は基線長変更部20を含み(後述の図9参照)、ステレオカメラ(第1撮像部11及び第2撮像部12)の基線長Lbを調整する。移動体制御部31は、移動体送受信機30を介して受信する操作装置70からの駆動指示情報に基づいて、移動体駆動部33を制御する。
移動体駆動部33の駆動対象は限定されず、移動体10を構成する他の要素を駆動してもよい。例えば、移動体駆動部33は、第1撮像部11及び第2撮像部12に含まれる要素を駆動して、第1撮像部11及び第2撮像部12の撮像状態を適応的に調整してもよい。
また移動体制御部31は、装置の駆動制御に加え、演算処理及びその他の任意の処理を行ってもよい。例えば移動体制御部31は、第1撮像部11及び第2撮像部12により取得された撮影画像を解析し、当該画像解析結果に基づいて移動体駆動部33を制御してもよい。
したがってSLAM処理を行う移動体10の場合、移動体制御部31は、第1撮像部11及び第2撮像部12により取得された撮影画像の解析結果に基づいて、移動体10の自己位置を推定したり、移動体10の周辺環境の地図を作成したりしてもよい。なお、SLAMの具体的処理方法(自己位置の推定方法及び周辺環境の地図の作成方法)は限定されず、任意の処理によって実行可能である。
移動体制御部31は、ハードウェア及びソフトウェアが適宜組み合わされることによって構成可能であり、単一ユニットとして設けられてもよいし、複数のユニットが組み合わされて構成されてもよい。
一方、図8に示す操作装置70は、操作送受信機71、操作制御部72及び操作インターフェース73を備える。
操作送受信機71は、移動体10(特に移動体送受信機30)との間で、無線又は有線により信号の送受信を行う。
操作制御部72は、操作インターフェース73を介したオペレータからの入力に応じて、任意の処理を行うことができる。例えば、操作制御部72は、操作送受信機71を介して駆動指示情報などの情報を送信したり、操作送受信機71を介して様々な情報を受信したり、操作装置70で必要とされる様々な演算を行ったりする。
操作インターフェース73は、オペレータによって操作され、オペレータからの入力を受け付けて、当該入力を操作制御部72に送信する。操作インターフェース73の具体的な形態は限定されず、例えばボタン、スイッチ、タッチパネル及び音声認識装置が操作インターフェース73に含まれうる。
上述の操作装置70の具体的な形態は限定されない。操作装置70は、移動体10と一体的に設けられていてもよいし、移動体10から分離して設けられていてもよく、移動体10とは無関係に移動可能に設けられてもよい。
上述のように目標基線長は状態変数に応じて定められるが、当該状態変数は任意の方法で取得可能である。
例えば、駆動指示情報が状態変数に関する情報を含む場合には、当該駆動指示情報に基づいて取得される状態変数に応じて、目標基線長が決められてもよい。この場合、移動体制御部31は、駆動指示情報に基づいて取得される状態変数に応じた目標基線長に、ステレオカメラの基線長Lbが調整されるよう、基線長変更部20を制御する。
また撮像状態測定部32から取得される状態変数に応じて、目標基線長が決められてもよい。この場合、移動体制御部31は、撮像状態測定部32から取得される状態変数に応じた目標基線長に、ステレオカメラの基線長Lbが調整されるよう、基線長変更部20を制御する。
移動体10が自律制御下で移動する場合には、撮像状態測定部32から取得される状態変数に応じて、目標基線長が決められることが好ましい。
またオペレータの目視可能範囲外で移動体10を移動させる場合には、状況に応じた適切な駆動指示情報を操作装置70から移動体10に適時送信することが難しい。したがって、この場合にも、撮像状態測定部32から取得される状態変数に応じて、目標基線長が決められることが好ましい。
また駆動指示情報に含まれる状態変数が、外因等により、移動体10の現在の撮像状態とは必ずしも厳密には一致しない場合も想定される。そのため、確度の高い状態変数を用いる観点からは、撮像状態測定部32から取得される状態変数に応じて、目標基線長が決められることが好ましい。
図9は、移動体10(特に移動体制御部31)の機能構成の具体例を示すブロック図である。
図9に示す移動体制御部31は、デバイス駆動コントローラ36、基線長データ記憶部37、センサ情報取得部38、基線長決定部39及び基線長コントローラ40を含む。
デバイス駆動コントローラ36は、移動体10の様々な動きを制御するコントローラであり、例えば移動体10の移動を制御する。具体的には、デバイス駆動コントローラ36は、移動体駆動部33に含まれるデバイス駆動部45に、当該デバイス駆動部45の駆動制御のための制御指示を送る。デバイス駆動部45は、デバイス駆動コントローラ36からの制御指示に基づいて、移動体10が有する様々な要素を駆動する。
デバイス駆動コントローラ36は、移動体10の各種要素の駆動に関する制御情報を、基線長決定部39及び基線長コントローラ40に送ることができる。デバイス駆動コントローラ36は記憶部(図示せず)を有していてもよく、移動体10が有する様々な要素の駆動に関する情報(制御情報を含む)を当該記憶部に記憶してもよい。
基線長データ記憶部37は、上述の「状態変数に対して目標基線長が対応付けられている参照テーブル」を記憶する。
センサ情報取得部38は、撮像状態測定部32により取得された状態変数を受信して、基線長決定部39に送る。
基線長決定部39は、基線長データ記憶部37から参照テーブルを読み出す。そして基線長決定部39は、当該参照テーブルを参照することで、センサ情報取得部38を介して撮像状態測定部32から送られてくる状態変数に対応付けられる目標基線長を取得する。このように図9に示す基線長決定部39は、撮像状態測定部32の測定により得られた状態変数と、参照テーブルとの間の比較を行う演算処理部である。
基線長コントローラ40は、基線長決定部39から送られてくる目標基線長に基づいて、移動体駆動部33に含まれる基線長変更部20を制御し、ステレオカメラの基線長Lbを目標基線長に調整する。
この際、基線長コントローラ40は、ステレオカメラの現在の基線長Lbと、基線長決定部39が決定した目標基線長との差(すなわち基線長調整量)に基づいて、基線長変更部20を制御してもよい。
基線長調整量は、基線長決定部39により算出されてもよいし、基線長コントローラ40により算出されてもよい。すなわち基線長決定部39が、ステレオカメラの現在の基線長Lbをデバイス駆動コントローラ36から取得し、当該基線長Lbと目標基線長との差を算出してもよい。また基線長コントローラ40が、ステレオカメラの現在の基線長Lbをデバイス駆動コントローラ36から取得し、当該基線長Lbと、基線長決定部39から送られてくる目標基線長との差を算出してもよい。
なおデバイス駆動コントローラ36、基線長決定部39及び基線長コントローラ40は、図9では別々のブロックで表されているが、実際には、共通の装置により構成されてもよいし、別々の装置により構成されてもよい。
次に、移動体10の制御方法(特に、ステレオカメラの基線長Lbの変更についての制御方法)の処理フローの一例について説明する。
図10は、移動体10の制御方法の処理フローの一例を示すフローチャートである。
移動体制御部31の基線長決定部39(図9参照)は、操作装置70から送られてくる駆動指示情報及び/又は撮像状態測定部32から、状態変数を取得する(図10のS1)。
そして基線長決定部39は、取得した状態変数に基づいて、目標基線長を決定する。具体的には、基線長決定部39は、状態変数に基づいて目標撮像範囲を決定する(S2)。
目標撮像範囲は、状態変数に応じた適切なステレオカメラ撮像範囲R0の奥行き方向に関する最大距離及び最小距離(すなわち目標最大距離及び目標最小距離)によって表される。基線長決定部39は、取得した状態変数に基づいて、目標最大距離及び目標最小距離を推定する。
目標最大距離及び目標最小距離は、任意の方法で推定可能である。
例えば、状態変数と閾値との間の比較に基づいて目標最大距離及び目標最小距離が決められてもよい。また、状態変数と目標最大距離及び目標最小距離とが相互に対応付けられたテーブルに対し、状態変数を照らし合わせることによって、目標最大距離及び目標最小距離が決められてもよい。ここで用いられるテーブルは、基線長決定部39によって保有されていてもよいし、基線長決定部39によって移動体制御部31の記憶部(図示せず)から適宜読み出されてもよい。
そして基線長決定部39は、目標撮像範囲に基づいて目標基線長を決定する(S3)。
上述のようにステレオカメラ撮像範囲R0は、ステレオカメラの基線長Lbに応じて定まる。したがって、目標基線長に応じて定まるステレオカメラ撮像範囲R0に目標撮像範囲(すなわち目標最大距離及び目標最小距離)の全体が含まれるように、目標基線長が決められる。
目標撮像範囲に基づいて目標基線長を決定する具体的な方法は、限定されない。例えば目標撮像範囲と目標基線長とが相互に対応付けられたテーブルに対し、目標撮像範囲を照らし合わせることによって、目標基線長が決められてもよい。ここで用いられるテーブルは、基線長決定部39によって保有されていてもよいし、基線長決定部39によって移動体制御部31の記憶部(図示せず)から適宜読み出されてもよい。
そして移動体制御部31の基線長コントローラ40(図9参照)は、第1撮像部11及び第2撮像部12の現在の基線長Lbを取得する(S4)。基線長コントローラ40は、例えばデバイス駆動コントローラ36から、現在の基線長Lbを取得してもよい。
そして基線長コントローラ40は、基線長決定部39により決定された目標基線長と、現在の基線長Lbとに基づいて、基線長調整量を決定する(S5)。
そして基線長コントローラ40は、決定した基線長調整量に基づいて基線長変更部20を制御する(S6)。これにより第1撮像部11及び第2撮像部12は、現在の位置から基線長調整量に相当する距離だけ移動し、基線長Lbが目標基線長に調整される。
次に、移動体10の制御方法(特に、ステレオカメラの基線長Lbの変更についての制御方法例)の処理フローの他の例について説明する。
図11及び図12は、移動体10の制御方法の処理フローの他の例を示すフローチャートである。図11及び図12は、一例として、移動体10が飛行体(例えばドローン)の場合を想定しているが、移動体10が飛行体以外の場合にも、以下の処理フローは同様に適用可能である。
本例では、まず、移動体10に搭載されるステレオカメラ(第1撮像部11及び第2撮像部12)によって、オブジェクト(すなわち撮影対象)をトラッキングしつつ撮像するか否かが決められる(図11のS11)。
例えば、移動する特定の対象を継続的に撮影する必要がある場合には、オブジェクト(すなわち撮影対象)をトラッキングしつつ撮像する必要がある(S11のY)。一例として、ステージ上を動き回るアーティストを撮影する場合や、移動する人や物の後を移動体10が追う場合には、このトラッキング撮影が必要である。
一方、場所自体を監視する場合等、動き回る特定の対象を継続的に撮影する必要がない場合には、オブジェクトのトラッキングは不要である(S11のN)。
上述のステップS11の判断はオペレータによって行われる。すなわち、オペレータが操作装置70(直接的には操作インターフェース73(図8参照))を操作して、ステップS11の判断の情報を移動体10(特に移動体制御部31(図7及び図9参照))に送信する。
オブジェクトをトラッキングしつつステレオカメラによって撮像する必要がある場合(S11のY)、移動体制御部31の基線長決定部39は、第1撮像部11及び第2撮像部12の撮像方向Dsの角度θ(状態変数)を取得する(S12)。
基線長決定部39は、センサ情報取得部38を介して撮像状態測定部32から撮像方向角度θを取得してもよいし、操作装置70からの駆動指示情報に基づいて撮像方向角度θを取得してもよい。本例の撮像方向角度θは、例えば、図5及び図6に示すように、鉛直方向に延びる線に対して撮像方向Dsが成す角度(すなわち鉛直角に対する補角)によって表されうる。
そして基線長決定部39は、撮像方向角度θ及び閾値Tθの大小関係を判定する(S13)。
撮像方向角度θが閾値Tθよりも大きい場合(「θ>Tθ」;S13のY)、基線長決定部39は、遠距離撮影が可能となるよう、目標最大距離Lmaxを基準値よりも大きい値に設定する(S14)。この場合、目標最小距離Lminは基準値に設定されてもよいし、目標最大距離Lmaxに応じた値に設定されてもよい。
一方、撮像方向角度θが閾値Tθ以下の場合(「θ≦Tθ」;S13のN)、基線長決定部39は、近距離撮影が可能となるよう、目標最小距離Lminを基準値よりも小さい値に設定する(S15)。この場合、目標最大距離Lmaxは基準値に設定されてもよいし、目標最小距離Lminに応じた値に設定されてもよい。
なお閾値Tθは、ステレオカメラの撮像性能に応じて適宜決められ、予め決められていてもよいし、オペレータによって決められてもよい。また目標最大距離Lmaxの決定のために使用する閾値Tθと、目標最小距離Lminの決定のために使用する閾値Tθとは、お互いに同じでも、異なっていてもよい。
一方、オブジェクトのトラッキングが不要の場合(S11のN)、基線長決定部39は、移動体10の移動速度Vを取得する(S16)。
基線長決定部39は、センサ情報取得部38を介して撮像状態測定部32から移動速度Vを取得してもよいし、操作装置70からの駆動指示情報に基づいて移動速度Vを取得してもよい。
そして基線長決定部39は、移動体10の移動速度Vが閾値Tよりも大きいか否かを判定する(S17)。
移動速度Vが閾値Tよりも大きい場合(「V>T」;S17のY)、基線長決定部39は、遠距離撮影が可能となるよう、目標最大距離Lmaxを基準値よりも大きい値に設定する(S18)。この場合、目標最小距離Lminは基準値に設定されてもよいし、目標最大距離Lmaxに応じた値に設定されてもよい。
一方、移動速度Vが閾値T以下の場合(「V≦T」;S17のN)、基線長決定部39は、近距離撮影が可能となるよう、目標最小距離Lminを基準値よりも小さい値に設定する(S19)。この場合、目標最大距離Lmaxは基準値に設定されてもよいし、目標最小距離Lminに応じた値に設定されてもよい。
なお閾値Tは、ステレオカメラの撮像性能に応じて適宜決められ、予め決められていてもよいし、オペレータによって決められてもよい。また目標最大距離Lmaxの決定のために使用する閾値Tと、目標最小距離Lminの決定のために使用する閾値Tとは、お互いに同じでも、異なっていてもよい。
そして基線長決定部39は、現在の基線長Lbに基づく、ステレオカメラ撮像範囲R0を取得する(図12のS20)。
本例では、基線長決定部39は、現在の基線長Lbに基づくステレオカメラ撮像範囲R0の最大距離を示す撮像最大距離Dmaxと、当該ステレオカメラ撮像範囲R0の最小距離を示す撮像最小距離Dminとを取得する。基線長決定部39は、デバイス駆動コントローラ36からステレオカメラ撮像範囲R0の情報を取得してもよいし、図示しない記憶部からステレオカメラ撮像範囲R0の情報を読み出してもよい。
なお撮像最大距離Dmaxは、理論上は無限大であるが、実際には、上述の図2に示すように、撮像距離の増大とともに測距誤差が大きくなる。そのため、測距誤差が許容値(図2に示す例では±7.5m)以下となるような撮像最大距離Dmax及び目標最大距離Lmaxを取得及び決定してもよい。
そして基線長決定部39は、「Lmax≦Dmax」且つ「Lmin≧Dmin」が満たされるか否かを判定する(S21)。
目標最大距離Lmaxが撮像最大距離Dmax以下であり、且つ、目標最小距離Lminが撮像最小距離Dmin以上の場合(S21のY)、目標撮像範囲が現在のステレオカメラ撮像範囲R0に含まれるので、基線長Lbは変更されない(S22)。
一方、「Lmax≦Dmax」且つ「Lmin≧Dmin」が満たされない場合(S21のN)、基線長決定部39は、目標最大距離Lmaxが撮像最大距離Dmaxよりも大きいか否かを判定する(S23)。
「Lmax>Dmax」が満たされない場合(S23のN)、近距離側のみ撮像レンジが不足している(すなわち「Lmax≦Dmax」且つ「Lmin<Dmin」)と考えられる。したがって基線長コントローラ40は基線長変更部20を制御することで、ステレオカメラの基線長Lbを短くして、基線長決定部39が決定した目標基線長に調整する(S27)。これにより、「Lmax≦Dmax」且つ「Lmin≧Dmin」が満たされる。
一方、「Lmax>Dmax」が満たされる場合(S23のY)、基線長決定部39は、目標最小距離Lminが撮像最小距離Dminよりも大きいか否かを判定する(S24)。
「Lmin>Dmin」が満たされる場合(S24のY)、遠距離側のみ撮像レンジが不足している(すなわち「Lmax>Dmax」且つ「Lmin≧Dmin」)と考えられる。したがって基線長コントローラ40は基線長変更部20を制御することで、ステレオカメラの基線長Lbを長くして、基線長決定部39が決定した目標基線長に調整する(S25)。これにより、「Lmax≦Dmax」且つ「Lmin≧Dmin」が満たされる。
一方、「Lmin>Dmin」が満たされない場合(S24のN)、近距離側及び遠距離側の両方において撮像レンジが不足していると考えられる(すなわち「Lmax>Dmax」且つ「Lmin<Dmin」)。この場合、ステレオカメラの基線長Lbを調整しても、ステレオカメラ撮像範囲R0を目標撮像範囲に適合させることができない。したがって移動体制御部31(例えば基線長コントローラ40)は、図示しない他の手段(例えば別のステレオカメラやLIDARなどの他の測距装置)を使用したり、オペレータに報知したりする(S26)。
このように、図11及び図12に示す処理フローによれば、目標撮像範囲及びステレオカメラ撮像範囲R0の比較に基づいて、目標基線長を決定することができる。
すなわち移動体制御部31(特に基線長決定部39)は、状態変数に基づいて目標撮像範囲(目標最大距離及び目標最小距離)を取得し、現在の基線長に基づくステレオカメラ撮像範囲R0(撮像最大距離及び撮像最小距離)を取得する。そして移動体制御部31は、目標最大距離、目標最小距離、撮像最大距離、及び撮像最小距離に基づいて目標基線長を決定し、当該目標基線長に基づいてステレオカメラの基線長Lbを状況に応じた最適な基線長に調整することができる。
なお、上述の図11及び図12に示す処理フローは一例に過ぎず、各処理ステップの内容は、上述の処理には必ずしも限定されない。
例えば、上述のステップS12~S15(図11参照)では、状態変数として撮像方向Dsの角度θが用いられるが、他の状態変数(例えば移動体10の高度)が用いられてもよい。同様に、上述のステップS16~S19では、状態変数として移動体10の移動速度Vが用いられるが、他の状態変数(例えば移動体10の高度)が用いられてもよい。
また2種類以上の状態変数(例えば、移動体10の移動速度V、撮像方向Dsの角度θ、及び移動体10の高度)の複合情報に基づいて、目標撮像範囲(すなわち目標最大距離Lmax及び目標最小距離Lmin)が決められてもよい。
[変形例]
目標基線長は、上述の実施形態では移動体10(特に移動体制御部31の基線長決定部39)において決定されているが、移動体10とは別体の装置(例えば操作装置70)において決定された目標基線長が、移動体10に送られてもよい。例えば、操作装置70の操作制御部72が、駆動指示情報から取得される状態変数に基づいて目標基線長を導出し、このようにして導出された目標基線長が操作送受信機71及び移動体送受信機30を介して移動体制御部31に送られてもよい。
また上述の実施形態のステレオカメラは第1撮像部11及び第2撮像部12を具備するが、ステレオカメラには2以上の任意の数の撮像部が含まれていてもよく、移動体10は3以上の撮像部を具備してもよい。
本明細書で開示されている実施形態及び変形例はすべての点で例示に過ぎず限定的には解釈されないことに留意されるべきである。上述の実施形態及び変形例は、添付の特許請求の範囲及びその趣旨を逸脱することなく、様々な形態での省略、置換及び変更が可能である。例えば上述の実施形態及び変形例が全体的に又は部分的に組み合わされてもよく、また上述以外の実施形態が上述の実施形態又は変形例と組み合わされてもよい。また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果がもたらされてもよい。
上述の技術的思想を具現化する技術的カテゴリーは限定されない。例えば上述の装置を製造する方法或いは使用する方法に含まれる1又は複数の手順(ステップ)をコンピュータに実行させるためのコンピュータプログラムによって、上述の技術的思想が具現化されてもよい。またそのようなコンピュータプログラムが記録されたコンピュータが読み取り可能な非一時的(non-transitory)な記録媒体によって、上述の技術的思想が具現化されてもよい。
本開示は以下の構成を取ることもできる。
[項目1]
第1撮像部及び第2撮像部を含むステレオカメラと、
前記第1撮像部と前記第2撮像部との間の基線長を変えるように、前記第1撮像部及び前記第2撮像部のうちの少なくともいずれか一方を移動させる基線長変更部と、
前記第1撮像部及び前記第2撮像部の可変的な撮像状態の情報を示す状態変数に応じた目標基線長に、前記基線長が調整されるよう、前記基線長変更部を制御する移動体制御部と、
を備える移動体。
[項目2]
前記状態変数は、前記移動体の移動速度、前記第1撮像部及び前記第2撮像部の撮像方向の傾き、及び前記移動体の高度のうちの少なくとも1以上に関する情報を含む
項目1に記載の移動体。
[項目3]
前記状態変数を測定する撮像状態測定部を備え、
前記移動体制御部は、前記撮像状態測定部から取得される前記状態変数に応じた前記目標基線長に、前記基線長が調整されるよう、前記基線長変更部を制御する
項目1又は2に記載の移動体。
[項目4]
前記移動体を駆動する移動体駆動部を備え、
前記移動体制御部は、駆動指示情報を受信し、当該駆動指示情報に基づいて前記移動体駆動部を制御し、
前記駆動指示情報は、前記状態変数に関する情報を含み、
前記移動体制御部は、前記駆動指示情報に基づいて取得される前記状態変数に応じた前記目標基線長に、前記基線長が調整されるよう、前記基線長変更部を制御する
項目1又は2に記載の移動体。
[項目5]
前記移動体制御部は、前記第1撮像部により取得される撮像データ及び前記第2撮像部により取得される撮像データに基づいて、目標対象物までの距離を導出する
項目1~4のいずれかに記載の移動体。
[項目6]
前記移動体制御部は、前記第1撮像部により取得される撮像データ及び前記第2撮像部により取得される撮像データに基づいて、自己位置の推定及び周辺環境の地図の作成を行う
項目1~5のいずれかに記載の移動体。
[項目7]
前記移動体制御部は、前記状態変数に基づいて前記目標基線長を決定する
項目1~6のいずれかに記載の移動体。
[項目8]
前記移動体制御部は、
前記状態変数に基づいて目標撮像範囲を決定し、
前記目標撮像範囲に基づいて前記目標基線長を決定する
項目7に記載の移動体。
[項目9]
前記移動体制御部は、
現在の前記基線長に基づく、前記第1撮像部の撮像範囲及び前記第2撮像部の撮像範囲の両方に含まれるステレオカメラ撮像範囲を取得し、
前記目標撮像範囲及び前記ステレオカメラ撮像範囲の比較に基づいて、前記目標基線長を決定する
項目8に記載の移動体。
[項目10]
前記移動体制御部は、
前記状態変数に基づいて、前記目標撮像範囲の最大距離を示す目標最大距離と、前記目標撮像範囲の最小距離を示す目標最小距離と、を取得し、
現在の前記基線長に基づく前記ステレオカメラ撮像範囲の最大距離を示す撮像最大距離と、前記ステレオカメラ撮像範囲の最小距離を示す撮像最小距離と、を取得し、
前記目標最大距離、前記目標最小距離、前記撮像最大距離、及び前記撮像最小距離に基づいて、前記目標基線長を決定する
項目9に記載の移動体。
[項目11]
車両として設けられる項目1~10のいずれかに記載の移動体。
[項目12]
飛行体として設けられる項目1~10のいずれかに記載の移動体。
[項目13]
移動体が備える第1撮像部及び第2撮像部の可変的な撮像状態についての情報を示す状態変数に応じた目標基線長に、前記第1撮像部と前記第2撮像部との間の基線長が調整されるよう、前記第1撮像部及び前記第2撮像部のうちの少なくともいずれか一方を移動させる
移動体の制御方法。
[項目14]
コンピュータに、
移動体が備える第1撮像部及び第2撮像部の可変的な撮像状態についての情報を示す状態変数に応じた目標基線長に、前記第1撮像部と前記第2撮像部との間の基線長が調整されるよう、前記第1撮像部及び前記第2撮像部のうちの少なくともいずれか一方を移動させる手順を実行させるための、
プログラム。
10 移動体
11 第1撮像部
12 第2撮像部
13 移動体本体
20 基線長変更部
21 スライドガイド
22 可動ステージ
23 可動ステージ
30 移動体送受信機
31 移動体制御部
32 撮像状態測定部
33 移動体駆動部
36 デバイス駆動コントローラ
37 基線長データ記憶部
38 センサ情報取得部
39 基線長決定部
40 基線長コントローラ
45 デバイス駆動部
70 操作装置
71 操作送受信機
72 操作制御部
73 操作インターフェース
Ds 撮像方向
Lb 基線長
R0 ステレオカメラ撮像範囲
R1 第1撮像範囲
R2 第2撮像範囲
T 目標対象物

Claims (14)

  1. 第1撮像部及び第2撮像部を含むステレオカメラと、
    前記第1撮像部と前記第2撮像部との間の基線長を変えるように、前記第1撮像部及び前記第2撮像部のうちの少なくともいずれか一方を移動させる基線長変更部と、
    前記第1撮像部及び前記第2撮像部の可変的な撮像状態の情報を示す状態変数に応じた目標基線長に、前記基線長が調整されるよう、前記基線長変更部を制御する移動体制御部と、
    を備える移動体。
  2. 前記状態変数は、前記移動体の移動速度、前記第1撮像部及び前記第2撮像部の撮像方向の傾き、及び前記移動体の高度のうちの少なくとも1以上に関する情報を含む
    請求項1に記載の移動体。
  3. 前記状態変数を測定する撮像状態測定部を備え、
    前記移動体制御部は、前記撮像状態測定部から取得される前記状態変数に応じた前記目標基線長に、前記基線長が調整されるよう、前記基線長変更部を制御する
    請求項1に記載の移動体。
  4. 前記移動体を駆動する移動体駆動部を備え、
    前記移動体制御部は、駆動指示情報を受信し、当該駆動指示情報に基づいて前記移動体駆動部を制御し、
    前記駆動指示情報は、前記状態変数に関する情報を含み、
    前記移動体制御部は、前記駆動指示情報に基づいて取得される前記状態変数に応じた前記目標基線長に、前記基線長が調整されるよう、前記基線長変更部を制御する
    請求項1に記載の移動体。
  5. 前記移動体制御部は、前記第1撮像部により取得される撮像データ及び前記第2撮像部により取得される撮像データに基づいて、目標対象物までの距離を導出する
    請求項1に記載の移動体。
  6. 前記移動体制御部は、前記第1撮像部により取得される撮像データ及び前記第2撮像部により取得される撮像データに基づいて、自己位置の推定及び周辺環境の地図の作成を行う
    請求項1に記載の移動体。
  7. 前記移動体制御部は、前記状態変数に基づいて前記目標基線長を決定する
    請求項1に記載の移動体。
  8. 前記移動体制御部は、
    前記状態変数に基づいて目標撮像範囲を決定し、
    前記目標撮像範囲に基づいて前記目標基線長を決定する
    請求項7に記載の移動体。
  9. 前記移動体制御部は、
    現在の前記基線長に基づく、前記第1撮像部の撮像範囲及び前記第2撮像部の撮像範囲の両方に含まれるステレオカメラ撮像範囲を取得し、
    前記目標撮像範囲及び前記ステレオカメラ撮像範囲の比較に基づいて、前記目標基線長を決定する
    請求項8に記載の移動体。
  10. 前記移動体制御部は、
    前記状態変数に基づいて、前記目標撮像範囲の最大距離を示す目標最大距離と、前記目標撮像範囲の最小距離を示す目標最小距離と、を取得し、
    現在の前記基線長に基づく前記ステレオカメラ撮像範囲の最大距離を示す撮像最大距離と、前記ステレオカメラ撮像範囲の最小距離を示す撮像最小距離と、を取得し、
    前記目標最大距離、前記目標最小距離、前記撮像最大距離、及び前記撮像最小距離に基づいて、前記目標基線長を決定する
    請求項9に記載の移動体。
  11. 車両として設けられる請求項1に記載の移動体。
  12. 飛行体として設けられる請求項1に記載の移動体。
  13. 移動体が備える第1撮像部及び第2撮像部の可変的な撮像状態についての情報を示す状態変数に応じた目標基線長に、前記第1撮像部と前記第2撮像部との間の基線長が調整されるよう、前記第1撮像部及び前記第2撮像部のうちの少なくともいずれか一方を移動させる
    移動体の制御方法。
  14. コンピュータに、
    移動体が備える第1撮像部及び第2撮像部の可変的な撮像状態についての情報を示す状態変数に応じた目標基線長に、前記第1撮像部と前記第2撮像部との間の基線長が調整されるよう、前記第1撮像部及び前記第2撮像部のうちの少なくともいずれか一方を移動させる手順を実行させるための、
    プログラム。
JP2020213750A 2020-12-23 2020-12-23 移動体、移動体の制御方法、及びプログラム Pending JP2022099764A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020213750A JP2022099764A (ja) 2020-12-23 2020-12-23 移動体、移動体の制御方法、及びプログラム
US18/257,604 US20240114121A1 (en) 2020-12-23 2021-11-12 Moving body, moving body control method, and program
PCT/JP2021/041683 WO2022137876A1 (ja) 2020-12-23 2021-11-12 移動体、移動体の制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020213750A JP2022099764A (ja) 2020-12-23 2020-12-23 移動体、移動体の制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2022099764A true JP2022099764A (ja) 2022-07-05

Family

ID=82158997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020213750A Pending JP2022099764A (ja) 2020-12-23 2020-12-23 移動体、移動体の制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US20240114121A1 (ja)
JP (1) JP2022099764A (ja)
WO (1) WO2022137876A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004093457A (ja) * 2002-09-02 2004-03-25 Toyota Motor Corp 画像処理装置、及び画像処理方法
JP5068782B2 (ja) * 2009-03-25 2012-11-07 富士フイルム株式会社 距離測定方法および装置
EP2334089A1 (en) * 2009-12-04 2011-06-15 Alcatel Lucent A method and systems for obtaining an improved stereo image of an object
JP5553202B2 (ja) * 2010-01-14 2014-07-16 株式会社リコー 距離測定装置及び距離測定方法
WO2016086379A1 (en) * 2014-12-04 2016-06-09 SZ DJI Technology Co., Ltd. Imaging system and method
US10607310B1 (en) * 2017-10-17 2020-03-31 Amazon Technologies, Inc. Determining ranges by imaging devices with dynamic baseline reconfiguration

Also Published As

Publication number Publication date
WO2022137876A1 (ja) 2022-06-30
US20240114121A1 (en) 2024-04-04

Similar Documents

Publication Publication Date Title
US11787543B2 (en) Image space motion planning of an autonomous vehicle
KR101539270B1 (ko) 충돌회피 및 자율주행을 위한 센서융합 기반 하이브리드 반응 경로 계획 방법, 이를 수행하기 위한 기록 매체 및 이동로봇
CN109470158B (zh) 影像处理装置及测距装置
JP5618840B2 (ja) 飛行体の飛行制御システム
WO2020258721A1 (zh) 智能巡航车导航方法及系统
US10240930B2 (en) Sensor fusion
JP5775632B2 (ja) 飛行体の飛行制御システム
US6704619B1 (en) Method and system for universal guidance and control of automated machines
JP5310285B2 (ja) 自己位置推定装置及び自己位置推定方法
US11310412B2 (en) Autofocusing camera and systems
CN103394199A (zh) 一种用于通过具有最小化干扰移动的机载摄像机来曝光的领航旋转翼无人机的方法
KR102219843B1 (ko) 자율주행을 위한 위치 추정 장치 및 방법
US20120212623A1 (en) System and method of controlling vision device for tracking target based on motion commands
CN113467500B (zh) 一种基于双目视觉的无人机非合作目标追踪系统
JP2008142841A (ja) 移動ロボット
WO2022238189A1 (en) Method of acquiring sensor data on a construction site, construction robot system, computer program product, and training method
KR101319526B1 (ko) 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 방법
WO2022137876A1 (ja) 移動体、移動体の制御方法、及びプログラム
WO2019127192A1 (zh) 图像处理方法和设备
WO2021049227A1 (ja) 情報処理システム、情報処理装置及び情報処理プログラム
Bugayong et al. Obstacle Detection using Binocular Stereo Vision in Trajectory Planning for Quadcopter Navigation
KR20230092801A (ko) 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 방법 및 장치
Hattori et al. A self-localization estimation method with cooperating small robots Using camera positioning and movable landmarks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231027