JP2020127102A - 移動体制御システム、移動体、表示方法およびプログラム - Google Patents

Abstract

【課題】移動体と目標物体との距離をユーザが直感的に把握できる移動体制御システム等を提供する。【解決手段】移動体制御システムは、撮像部と、制御部と、表示部とを有している。撮像部は移動体に保持され、第１視点から目標物体を撮像した第１目標画像を含む第１画像を生成（取得）するとともに、第１視点とは異なる第２視点から上記目標物体を撮像した第２目標画像を含む第２画像を生成する。制御部は、移動体と上記目標物体との距離が目標距離に近付くほど第１目標画像と第２目標画像とが近付くように第１画像と前記第２画像とを組み合わせて複合画像を出力する。表示部は、ユーザに対して複合画像を表示する。【選択図】図１

Description

本発明は移動体制御システム、移動体、表示方法およびプログラムに関する。

ユーザがロボットを遠隔操作するための技術が開発されている。例えば所定の移動手段を有する移動体をユーザが操作する場合に、当該移動体に設置されたカメラが撮像した画像をユーザが観察しながら移動手段を操作する場合がある。このような場合に、移動体と、移動体が有するカメラが撮像した画像により検出される目標物体との距離をユーザに認識させる技術は、ユーザが的確な操作を行うための重要な要素となる。

移動体と目標物体との距離をユーザに認識させる技術として、例えばデジタルスチルカメラに搭載される二重像合致式のレンジファインダの技術を採用することが考えられる（特許文献１）。

また立体視像と対象物とが関連性を持っているように視認させる表示を行う技術として、立体視像を生成可能な表示装置と、対象物までの距離を測定する深度センサと、を含む入出力装置が提案されている（特許文献２）。

さらに、作業機の姿勢および位置の少なくとも一方を検出する位置検出部と、作業機械から作業対象までの距離の情報を求める距離検出装置と、処理装置とを有する画像表示システムが提案されている（特許文献３）。この処理装置は、位置検出部と距離検出装置から得られた作業対象の位置の情報を用いて作業具と対向する作業対象上において、作業具の一部に対応する部分を含み、かつ旋回体が旋回する方向に沿って延びる画像を生成して、表示装置に表示させる。

特開２００２−３０３９１７号公報 国際公開２０１４／１２８７５０号公報 特開２０１８−０３５６４５号公報

しかしながら、特許文献１に記載の技術は単に光学的な処理のみにより二重像を生成するものであって、生成される二重像がユーザにとって認識困難となるおそれがある。特許文献２に記載の技術はデプスマップの作成やポリゴンの生成が必要となるため煩雑なシステムを必要とする。特許文献３に記載の技術は作業対象の距離を検出するために作業対象の環境に依存する必要があり、地面が認識できない環境には適用できない。

本発明はこのような課題を解決するためになされたものであり、移動体と目標物体との距離をユーザが直感的に把握できる移動体制御システム等を提供するものである。

本発明にかかる移動体制御システムでは、ユーザが目標物体と移動体との距離が目標距離になるように移動体を移動させる。移動体は、ユーザの操作により移動する。移動体制御システムは、撮像部と、制御部と、表示部とを有している。撮像部は移動体に保持され、第１視点から目標物体を撮像した第１目標画像を含む第１画像を生成（取得）するとともに、第１視点とは異なる第２視点から上記目標物体を撮像した第２目標画像を含む第２画像を生成する。制御部は、移動体と上記目標物体との距離が目標距離に近付くほど第１目標画像と第２目標画像とが近付くように第１画像と前記第２画像とを組み合わせて複合画像を出力する。表示部は、ユーザに対して複合画像を表示する。

このような構成により、ユーザは表示部に表示されている第１目標画像と第２目標画像とが近付いているか否かを観察しながら移動体を操作することができる。

本発明にかかる移動体は、目標物体との距離が予め設定された目標距離であることを表示可能な複合画像を取得する。この移動体は、駆動部と、撮像部と、制御部と、を有する。駆動部は、ユーザの操作情報を用いて移動体を移動させる。撮像部は、第１視点から目標物体を撮像した第１目標画像を含む第１画像を生成するとともに、第１視点とは異なる第２視点から目標物体を撮像した第２目標画像を含む第２画像を生成する。制御部は、目標物体との距離が目標距離に近付くほど前記第１目標画像と前記第２目標画像とが近付くように第１画像と第２画像とを組み合わせて複合画像を出力する。

このような構成により、移動体は、移動体と目標物体との距離が目標距離に近付いているか否かを直感的に把握しやすい画像を出力する。これにより例えばユーザは移動体から出力された複合画像としての合成画像データに含まれる合成画像を見ながら直感的に移動体を操作することができる。

本発明にかかる距離表示方法は、目標物体と移動体との距離、とくに目標距離との乖離をユーザに認識させる。距離表示方法は、距離設定ステップと、画像取得ステップと、複合画像出力ステップと、表示ステップとを有する。距離設定ステップでは、目標距離を設定する。画像取得ステップでは、移動体に保持され、第１視点から前記目標物体を撮像した第１目標画像を含む第１画像を生成するとともに、第１視点とは異なる第２視点から目標物体を撮像した第２目標画像を含む第２画像を生成する撮像部から、第１画像および第２画像を取得する。複合画像出力ステップでは、移動体と目標物体との距離が目標距離に近付くほど第１目標画像と第２目標画像とが近付くように第１画像と第２画像とを組み合わせて複合画像を出力する。表示ステップは、複合画像を表示する。

このような構成により、距離表示方法は、移動体と目標物体との距離が目標距離に近付いているか否かを直感的に把握しやすい画像を表示部に表示する。

本発明にかかるプログラムは、コンピュータに目標物体と移動体との距離、とくに目標距離との乖離をユーザに認識させる距離表示方法を実行させる。この距離表示方法は、距離設定ステップと、画像取得ステップと、複合画像生成ステップと、表示ステップとを有する。距離設定ステップでは、予め設定された距離である目標距離を設定する。画像取得ステップでは、移動体に保持され、第１視点から目標物体を撮像した第１目標画像を含む第１画像を生成するとともに、第１視点とは異なる第２視点から目標物体を撮像した第２目標画像を含む第２画像を生成する撮像部から第１画像および第２画像を取得する。複合画像出力ステップでは、移動体と目標物体との距離が目標距離に近付くほど第１目標画像と第２目標画像とが近付くように第１画像と第２画像とを組み合わせて複合画像を出力する。表示ステップでは、複合画像を表示する。

このような構成により、プログラムは、移動体と目標物体との距離が目標距離に近付いているか否かを直感的に把握しやすい画像を表示部に表示する。

本発明によれば、移動体と目標物体との距離をユーザが直感的に把握できる移動体制御システム等を提供することができる。

実施の形態１にかかる移動体制御システムの概略構成図である。 実施の形態１にかかる移動体制御システムの機能ブロック図である。 実施の形態１にかかる移動体の上面図である。 実施の形態１にかかる移動体制御システムが行う処理のフローチャートである。 移動体制御システムが行う画像処理の一例を示すフローチャートである。 移動体制御システムが行う画像処理の一例を示すフローチャートである。 移動体と目標物体との位置関係の例を示す図である。 合成画像の例を示す第１の図である。 合成画像の例を示す第２の図である。 合成画像の例を示す第３の図である。 移動体制御システムが行う画像処理の第２の例を示す図である。 移動体制御システムが行う画像処理の第３の例を示す図である。 移動体と目標物体との位置関係を示す斜視図である。 移動体制御システムが行う画像処理の第４の例を示す図である。 実施の形態１の変形例にかかる移動体の斜視図である。 実施の形態１の変形例による画像処理の例を示す図である。 実施の形態２にかかる移動体および合成画像の例を示す第１の図である。 実施の形態２にかかる移動体および合成画像の例を示す第２の図である。 実施の形態３にかかる移動体の上面図である。 実施の形態４にかかる移動体の上面図である。 実施の形態４にかかる移動体制御システムの画像処理の例を示す図である。 実施の形態５にかかる移動体の斜視図である。 実施の形態６にかかる移動体の側面図である。 実施の形態６の変形例にかかる移動体の側面図である。

説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態１＞
以下、図面を参照しながら実施の形態１について説明する。実施の形態１にかかる移動体制御システムを用いて、ユーザは、目標物体と移動体との距離が予め設定された目標距離になるように移動体を移動させる。

まず図１および図２を参照しながら実施の形態１にかかる移動体制御システム１００の構成について説明する。図１は、実施の形態１にかかる移動体制御システムの概略構成図である。図２は、実施の形態１にかかる移動体制御システムの機能ブロック図である。図に示す移動体制御システム１００は、ユーザの操作により移動体１１０を所望の位置に移動させるためのシステムである。なお、構成要素の位置関係を説明するための便宜的なものとして、図１には、右手系の直交座標系が付されている。また、図２以降において、直交座標系が付されている場合、図１のＸ軸、Ｙ軸、およびＺ軸方向と、これらの直交座標系のＸ軸、Ｙ軸、およびＺ軸方向はそれぞれ一致している。

移動体制御システム１００は、移動体１１０および操作装置１２０を有する。移動体１１０は物体（目標物体）９００を搬送することを目的としたフォークリフトであり、操作装置１２０から受ける遠隔操作により動作が制御される。図１は、移動体１１０が目標物体である物体９００を搬送するために、物体９００に接近している状況を示している。このような状況下、ユーザＵは、移動体制御システム１００を利用して移動体１１０を物体９００から予め設定された距離に移動させる。

移動体１１０は主な構成として、第１通信部１１１、移動体制御部１１２、第１撮像部１１３、第２撮像部１１４および駆動部１１５を有している。また移動体１１０はその他に、物体を搬送する手段として物体保持部１１６を有している。

第１通信部１１１は、移動体１１０が生成したデータを操作装置１２０に送信するとともに、操作装置１２０から種々の信号を受ける通信装置である。本実施の形態における第１通信部１１１は無線通信により操作装置１２０と信号の送受信を行う構成となっており、移動体１１０の天板の上に設けられている。なお、有線通信によっても本発明は実施できる。

図２に示すように、第１通信部１１１は、移動体制御部１１２に接続し、移動体制御部１１２からの指示を受けるとともに移動体制御部１１２から受け取った所定の信号を操作装置１２０操作装置１２０の有する第２通信部１２１に送信する。また第１通信部１１１は第２通信部１２１から所定の信号を受け取り、受け取った信号を移動体制御部１１２に供給する。

移動体制御部１１２は、ＣＰＵ（Central Processing Unit）等の情報処理装置やメモリ等を有し、移動体１１０の各構成を制御する。図１に示す移動体１１０において、移動体制御部１１２は天板の下に設置されているが、移動体制御部１１２は各構成要素を制御可能であれば任意の場所に設置されていてもよい。

移動体制御部１１２は、第１撮像部１１３および第２撮像部１１４から画像データを受け取り、受け取った画像データに対して所定の処理を施し、第１通信部１１１を介して所定の処理を施したデータを操作装置１２０に供給する。また移動体制御部１１２は、第１通信部１１１を介して操作装置１２０から所定の信号を受け取り、受け取った信号に応じた処理を行う。例えば、操作装置１２０から駆動部１１５を駆動させるための指示信号が供給された場合には、移動体制御部１１２は、この指示信号に応じて駆動部１１５を駆動させる。

第１撮像部１１３および第２撮像部１１４は、移動体１１０の天板の上に移動体１１０の前方が撮像できるように保持されている撮像装置である。これらは移動体１１０の天板から着脱可能であってもよい。第１撮像部１１３の撮像範囲と第２撮像部１１４の撮像範囲とは、少なくとも一部が重なるように配置されている。これにより、第１撮像部１１３および第２撮像部１１４は物体９００をそれぞれ撮像できる。第１撮像部１１３および第２撮像部１１４は、それぞれが撮像した画像のデータである画像データを移動体制御部１１２に供給する。

駆動部１１５は移動体１１０の移動手段であり、駆動輪を回転させる駆動モータ、移動面に設置され駆動モータにより回転する駆動輪等を有している。駆動部１１５は移動体制御部１１２からの指示信号を受け取り、受け取った指示信号に応じて駆動モータを駆動させる。駆動モータが回転することにより移動体１１０は前進、後退、右旋回および左旋回を行う。

次に操作装置１２０について説明する。操作装置１２０は、移動体１１０から離れた位置で、ユーザＵが移動体１１０を遠隔操作するための装置である。図に示す操作装置１２０はタブレット型の装置であり、ユーザＵが所定の位置で操作を行う。操作装置１２０は主な構成として、第２通信部１２１、操作装置制御部１２２、表示部１２３および操作受付部１２４を有している。

第２通信部１２１は、操作装置制御部１２２から所定の信号を受け取り、受け取った信号を移動体１１０に送信する。また第２通信部１２１は、移動体１１０から所定の信号を受け取り、受け取った信号を操作装置制御部１２２に供給する。

操作装置制御部１２２は、ＣＰＵ等の情報処理装置やメモリ等を有し、操作装置１２０の各構成を制御する。また操作装置制御部１２２は、第２通信部１２１を介して受け取った画像データに所定の処理を施し、これを表示部１２３に供給する。さらに操作装置制御部１２２は操作受付部１２４から操作信号を受け取り、受け取った操作信号を、第２通信部１２１を介して移動体１１０に供給する。

表示部１２３は操作装置制御部１２２から供給される画像データ等を表示する表示装置である。表示部１２３に表示される画像は、第１撮像部１１３および第２撮像部１１４がそれぞれ生成した画像データの少なくとも一方が予め設定された画像処理され、１つの画像として生成されたものである。なお、予め設定された画像処理の詳細については後述する。また表示部１２３はユーザＵからの操作を受け付けるための操作ボタン等も併せて表示する。

操作受付部１２４はユーザＵからの操作を受け付け、受け付けた操作により生成される操作信号を操作装置制御部１２２に供給する。操作受付部１２４は、例えば、表示部１２３に表示される操作ボタンと、表示された操作ボタンに対応してユーザＵからの入力を受け付けるタッチパネルとを有する。

なお、図２に示すように、第１通信部１１１、移動体制御部１１２、第２通信部１２１および操作装置制御部１２２をまとめて制御部１３０と称する。換言すると、制御部１３０は、第１通信部１１１、移動体制御部１１２、第２通信部１２１および操作装置制御部１２２を含む。制御部１３０が有する２つの制御部である移動体制御部１１２および操作装置制御部１２２は、第１通信部１１１および第２通信部１２１により通信可能に接続されている。そのため、制御部１３０は移動体制御部１１２および操作装置制御部１２２を協働させて任意の処理を実行してもよい。より具体的には、制御部１３０は、移動体制御部１１２および操作装置制御部１２２のうち少なくともいずれか一方により、第１撮像部１１３および第２撮像部１１４から受け取った画像データの処理を行うことができる。制御部１３０は、ハードウェアもしくはソフトウェアまたはこれらの組合せにより上述の機能を実現する。ソフトウェアは、メモリにロードされたプログラムなどによって実現される。

また第１撮像部１１３と第２撮像部１１４とをまとめて撮像部１４０と称する。換言すると、撮像部１４０は、第１撮像部１１３および第２撮像部１１４を含む。撮像部１４０は、上述のように、別個の撮像装置である第１撮像部１１３および第２撮像部１１４により構成されてもよいし、１個の撮像装置に２つの異なる視点から目標物体を含む画像を撮像できる構成のものであってもよい。

次に図３を参照しながら撮像部１４０の配置について説明する。図３は実施の形態１にかかる移動体１１０の上面図である。図に示すように、撮像部１４０は第１撮像部１１３および第２撮像部１１４を有している。第１撮像部１１３は移動体１１０の前方（Ｘ軸マイナス方向）に向かって左側（Ｙ軸マイナス側）に配置されており、第２撮像部１１４は移動体１１０の進行方向に向かって右側（Ｙ軸プラス側）に配置されている。第１撮像部１１３（の有する光学素子（レンズ）の主点）の位置は第１視点である。また、第２撮像部１１４（の有する光学素子の主点）の位置は第２視点である。第１視点と第２視点は、互いに異なる位置に配置された異なる視点である。ここで、第１撮像部１１３および第２撮像部１１４は、それぞれが有している撮像素子（イメージセンサ）の水平方向の走査線（撮像素子の画素の配列の方向のうち、水平方向のもの）の方向が移動体１１０の移動面であるＸＹ平面に実質的に平行になるように設定されている。なお、本明細書において実質的とは、取付誤差、製造誤差等の要因によって発生の避けられない誤差を含む概念である。これらの設定により、各撮像素子から取得される画像の姿勢が揃い、良好な合成画像を生成できる。しかし、後述する制御部１３０により画像の向きを補正する処理を加え、より精度良く画像の姿勢を揃えることもできる。また、後述の実施の形態のように、撮像素子の画素の配列の方向のうち垂直方向のものが、ＹＺ平面に実質的に平行になるようにしても、格子状の撮像素子の画素の配列の方向のうちいずれか一方の方向が、任意の同一平面と平行となるようにしてもよい。

第１撮像部１１３は移動体１１０の前方のやや右側を中心に撮像するように配置されており、第２撮像部１１４は移動体１１０の前方のやや左側を中心に撮像するように配置されている。そのため第１撮像部１１３の光軸１１３Ｘと第２撮像部１１４の光軸１１４Ｘとは、移動体１１０から距離ＤＳＴ＝ｄ０の位置で交差するように構成されている。距離ＤＳＴ＝ｄ０は、移動体制御システムにおいて予め設定された目標距離である。つまり、撮像部１４０が有する第１撮像部１１３および第２撮像部１１４は、目標距離（距離ＤＳＴ＝ｄ０）において光軸が交差するように設置されている。換言すると、撮像部１４０は、第１撮像部１１３の光軸１１３Ｘと第２撮像部１１４の光軸１１４Ｘとが交差する点から移動体１１０までの距離が目標距離になるように移動体１１０に固定されている。なお、目標距離は予め設定されたものでも、操作中に変更可能なものとしても本発明は実施できる。

また、図に示すように、第１撮像部１１３は撮像範囲１１３Ａを有している。第２撮像部１１４は撮像範囲１１４Ａを有している。そして、第１撮像部１１３の撮像範囲１１３Ａの一部と、第２撮像部１１４の撮像範囲１１４Ａの一部とは互いに重複しており、重複範囲に物体９００が存在している。そのため第１撮像部１１３および第２撮像部１１４はそれぞれ物体９００を撮像することができる。物体９００のＹ軸プラス方向を光軸１１３Ｘが通過しており、Ｙ軸マイナス方向を光軸１１４Ｘが通過する。すなわち撮像部１４０は、少なくとも移動体１１０と物体９００との距離が目標距離の場合に、第１目標画像Ｃ１の少なくとも一部と第２目標画像Ｃ２の少なくとも一部とが重なり合うように移動体１１０に設置される。

ここで、光軸１１３Ｘと光軸１１４Ｘとは角度θで交差する。角度θは、１８０度未満であり、より好ましくは９０度未満である。上述のように構成することにより、第１目標画像Ｃ１として取得する画像に含まれる要素と第２目標画像Ｃ２として取得する画像に含まれる要素とが、互いに共通する要素を含む。そのため、移動体制御システム１００は、共通する要素を利用してユーザの操作により移動体１１０を所望の位置に移動させることができる。

次に図４および図５を参照しながら移動体制御システム１００の有する制御部１３０が画像処理を行う、制御方法としての処理について説明する。図４は、実施の形態１にかかる移動体制御システムが行う処理のフローチャートである。図４に示すフローチャートは、制御部１３０が行う処理を示したものである。制御部１３０は、コンピュータ・プログラムとしての制御プログラムに従って、本処理を実行する。

まず、制御部１３０は、第１撮像部１１３が撮像して生成した画像データである第１画像データを取得する（ステップＳ１１）。またこれと並行して、制御部１３０は、第２撮像部１１４が撮像して生成した画像データである第２画像データを取得する（ステップＳ１２）。

図５は、移動体制御システム１００の有する制御部１３０が行う、制御方法としての画像処理の具体例を示す図である。図の左側上段に示す第１画像Ｐ１は、第１撮像部１１３が撮像した画像である。第１画像Ｐ１には第１撮像部が撮像した物体９００の画像である第１目標画像Ｃ１が含まれる。図の右側上段に示す第２画像Ｐ２Ａは、第２撮像部１１４が撮像した画像である。第２画像Ｐ２Ａには第１撮像部が撮像した物体９００の画像である第２目標画像Ｃ２が含まれる。

図４に戻る。次に制御部１３０は、第２画像データに対して予め設定された画像処理を施す（ステップＳ１３）。ここで制御部１３０は、図５の第２画像Ｐ２Ａに対してエッジ検出を行い、検出したエッジの画像（の色数）を二値化した画像のデータを生成する。換言すれば、第２画像Ｐ２Ａに対して、その表現（描画表現、ビジュアルエフェクト）が、第１画像Ｐ１の表現と異なるように、画像処理を施す。

図５の右側中段に示した処理画像Ｐ２Ｂは、制御部１３０により生成された処理画像の例である。処理画像Ｐ２Ｂは第２画像Ｐ２Ａに含まれている第２目標画像Ｃ２のエッジを二値化処理して生成されたものである。なお、以降の説明において、第２画像に所定の処理を施した画像を処理画像と称するが、処理画像は第２画像に処理を施したものであり、第２画像自体を処理画像と称してもよいものとする。

図４に戻る。次に制御部１３０は、第１画像データと処理画像データを組み合わせて複合画像を生成する。本実施例では、制御部１３０は第１画像データと処理画像データを合成して複合画像としての合成画像データを生成する（ステップＳ１４）。各データの合成の比率が所定の比率となるように、各データは重み付けされる。図５の中央下段に示した合成画像Ｐ３は、第１画像Ｐ１と処理画像Ｐ２Ｂとを重ね合わせるように（例えば合成の比率が１：１となるように）合成して生成された画像である。図５に示すように、合成画像Ｐ３には、第１撮像部１１３が撮像した物体９００の画像である第１目標画像Ｃ１と、第２撮像部１１４が撮像した物体９００の画像である第２目標画像Ｃ２とが含まれている。

続いて制御部１３０は、生成した合成画像データを表示部１２３に供給して合成画像を表示させる（ステップＳ１５）。したがって、例えば表示部１２３には、図５の合成画像Ｐ３が表示される。

次に制御部１３０は、処理が終了か否かを検出する（ステップＳ１６）。例えばユーザの操作により制御部１３０の処理を終了する指示があった場合（ステップＳ１６：Ｙｅｓ）、制御部１３０は一連の処理を終了させる。一方、一連の処理を終了させる指示がない場合、制御部１３０は、一連の処理を終了させず（ステップＳ１６：Ｎｏ）、再びステップＳ１１およびステップＳ１２に戻り処理を繰り返す。

このように、移動体制御システム１００において、制御部１３０は、第２画像のデータである第２画像データに対して予め設定された画像処理を施す。上述の処理により、制御部１３０は第１撮像部１１３および第２撮像部１１４から取得した画像データを合成して合成画像を生成し、生成した合成画像を表示部１２３に表示する。ユーザＵは、合成画像に含まれる第１目標画像および第２目標画像の位置の差を、第１目標画像Ｃ１と第２目標画像Ｃ２とを用いて局所的に比較することにより、直観的に移動体１１０と物体９００との距離を把握できる。

例えば制御部１３０は第１画像Ｐ１と、第２画像ないし処理画像をそれぞれ出力し、複数の画像を表示部１２３に表示してもよい。この場合、例えば、表示部１２３は、ユーザＵの一方の眼である左目に第１画像を結像させる第１表示部と、ユーザＵの他方の眼である右目に第２画像ないし処理画像を結像させる第２表示部とを有していてもよい。すなわち、制御部１３０は、ユーザＵの一方の眼に結像させる第１画像と、ユーザＵの他方の眼に結像させる第２画像または処理画像とを組み合わせて出力する。この場合ユーザＵは、両眼立体視の原理に基づいて、それぞれの眼でそれぞれの画像を認識することにより、各々の画像をこれらが重なり合った状態で認識する。この場合、表示部としては、頭部装着型のヘッドマウントディスプレイや、投射型のディスプレイを用いることがより好ましい。つまり、移動体制御システム１００は複数の画像を組み合わせた複合画像をユーザＵに提示して、最終的にユーザＵに複合画像を複数の画像の重なり合った画像として認識させればよい。すなわち複合画像が、制御部１３０により合成画像として出力されたものであっても、制御部１３０が処理画像を含む各画像を出力した後に光学的に合成されたものであっても、あるいはユーザＵの左右の目にそれぞれ提示される複数の画像であってもよい。

次に、図６および図７を参照しながら制御部１３０が第２画像に対して行うエッジ検出の処理について説明する。制御部１３０は、コンピュータ・プログラムとしての制御プログラムに従って、本処理を実行する。図６および図７は、移動体制御システムが行う画像処理の一例を示すフローチャートである。図６および図７に示す画像処理は図３のステップＳ１３０をより詳しく示したものである。なお、図６および図７に示すエッジ検出の画像処理の例は、当業者に広く知られている技術である。そのためここでは、各処理の詳細は適宜省略しながら説明する。

まず制御部１３０は、第２撮像部１１４から画像データを取得する（ステップＳ１００）。次に制御部１３０は、取得した画像データに対してノイズ削減処理を行う（ステップＳ１０１）。

次に制御部１３０は、エッジ検出を行うための行列値であるカーネルおよび第一閾値ＴＨ１および第２閾値ＴＨ２を取得する。ここで制御部１３０が取得したカーネルおよび第一閾値ＴＨ１および第２閾値ＴＨ２は、移動体制御システム１００が有している不揮発性のメモリ装置に予め格納されていたものである。

次に制御部１３０は、ノイズ削減処理をした画像データの全ての画素に対して畳み込み演算を行い、画素の勾配を取得する（ステップＳ１０２）。

制御部１３０は、注目画素に対して勾配取得を完了すると、注目画素が最後の画素であったか否かを検出する（ステップＳ１０４）。注目画素が最後の画素でない場合（ステップＳ１０４：Ｎｏ）、制御部１３０は、ステップＳ１０３に戻り、次の画素を注目画素として畳み込み演算を継続する。一方、注目画素が最後の画素である場合（ステップＳ１０４：Ｙｅｓ）、制御部１３０は、次のステップへ移行する。

次に制御部１３０は、演算結果から極大値の候補を抽出する（ステップＳ１０５）。次に、制御部１３０は、抽出した極大値の候補が極大値か否かを判定する（ステップＳ１０６）。ここで抽出した極大値の候補が極大値ではない場合（ステップＳ１０６：Ｎｏ）、制御部１３０は対象画素を抑制処理する（ステップＳ１１１）。ここで示す例において抑制処理とは、対象画素を白にする処理を行うことを意味している。抽出した極大値の候補が極大値の場合（ステップＳ１０６：Ｙｅｓ）、制御部１３０は次のステップへ進む。

次に制御部１３０は、対象画素の極大値が第１閾値ＴＨ１以上か否かを判定する（ステップＳ１０７）。対象画素の極大値が第１閾値ＴＨ１以上であると判定しない場合（ステップＳ１０７：Ｎｏ）、制御部１３０は、対象画素を抑制する（ステップＳ１１１）。対象画素の極大値が第１閾値ＴＨ１以上であると判定した場合（ステップＳ１０７：Ｙｅｓ）、制御部１３０は、次のステップへ進む。

次に制御部１３０は、対象画素の極大値が第２閾値ＴＨ２以上か否かを判定する（ステップＳ１０８）。対象画素の極大値が第２閾値ＴＨ２以上であると判定しない場合（ステップＳ１０８：Ｎｏ）、制御部１３０は、対象画素が第２閾値ＴＨ２以上の画素に隣接しているか否かを判定する（ステップＳ１０９）。

対象画素が第２閾値ＴＨ２以上の画素に隣接していると判定しない場合（ステップＳ１０９：Ｎｏ）、制御部１３０は、対象画素を抑制する（ステップＳ１１１）。対象画素が第２閾値ＴＨ２以上の画素に隣接していると判定した場合（ステップＳ１０９：Ｙｅｓ）、制御部１３０は、対象画素を活性化する（ステップＳ１１０）。ここで示した例において対象画素を活性化するとは、対象画素を黒にする処理を行うことを意味している。

ステップＳ１０８に戻る。ステップＳ１０８において、対象画素の極大値が第２閾値ＴＨ２以上であると判定した場合（ステップＳ１０８：Ｙｅｓ）、制御部１３０は、対象画素を活性化する（ステップＳ１１０）。

次に、制御部１３０は、処理をした対象画素が最後の画素であったか否かを検出する（ステップＳ１１２）。処理をした対象画素が最後の画素ではなかった場合（ステップＳ１１２：Ｎｏ）、制御部１３０は、ステップＳ１０５に戻り処理を繰り返す。処理をした対象画素が最後の画素であった場合（ステップＳ１１２：Ｙｅｓ）、制御部１３０は、次のステップへ進む。

次に制御部１３０は、処理画像データを出力する（ステップＳ１１３）。より具体的には、制御部１３０は、処理画像データと第１画像データとを合成するために、処理画像データを所定の一時記憶部に出力する。

次に制御部１３０は、処理すべき次の画像があるか否かを検出する（ステップＳ１１４）。次の画像データがある場合（ステップＳ１１４：Ｙｅｓ）、制御部１３０はステップＳ１００に戻り再び画像データの取得を行う。一方、次の画像データがない場合（ステップＳ１１４：Ｎｏ）、制御部１３０はエッジ検出処理を終了する。制御部１３０は、このような処理により、第２画像Ｐ２Ａに対して第２目標画像Ｃ２の輪郭を検出するとともに、所定の閾値に基づいて、輪郭を二値化して出力し、表示するエッジ検出の処理を施す。輪郭の画像は、合成による第１画像の視認性の低下を抑制する。すなわち上述の処理により、ユーザＵは、合成された２つの画像から容易に第１目標画像Ｃ１と第２目標画像Ｃ２とを弁別できる。

次に、図８〜図１０を参照しながら、移動体１１０と物体９００との距離に応じて変化する合成画像の状態について説明する。

図８は、合成画像の例を示す第１の図である。図８の上段は、移動体１１０および物体９００の位置関係を示した上面図である。図８に示す移動体１１０と物体９００との距離は距離ＤＳＴ＝ｄ２である。距離ＤＳＴ＝ｄ２において第１撮像部１１３が撮像する物体９００は、光軸１１３Ｘの左側（Ｙ軸マイナス方向）に存在している。一方、距離ＤＳＴ＝ｄ２において第２撮像部１１４が撮像する物体９００は光軸１１４Ｘの右側（Ｙ軸プラス方向）に存在している。

図８の下段は、移動体１１０と物体９００とが距離ＤＳＴ＝ｄ２である場合の合成画像Ｐ３を示している。図８に示すように、合成画像Ｐ３には、第１撮像部１１３が撮像した物体９００の画像である第１目標画像Ｃ１と、第２撮像部１１４が撮像した物体９００の画像であって、エッジ検出処理が施された第２目標画像Ｃ２とが含まれている。第１目標画像Ｃ１は、合成画像Ｐ３の中央部（合成画像の中央の画素近傍の領域）よりも左側に表示されている。また第２目標画像Ｃ２は、合成画像Ｐ３の中央部よりも右側であって、第１目標画像Ｃ１とは離間して表示されている。

図９は、合成画像の例を示す第２の図である。図９の上段に示した移動体１１０と物体９００との距離は、図８で示した距離ＤＳＴ＝ｄ２より近い距離ＤＳＴ＝ｄ１である。距離ＤＳＴ＝ｄ１において、第１撮像部１１３が撮像する物体９００は光軸１１３Ｘのやや左側に存在している。一方、距離ＤＳＴ＝ｄ１において第２撮像部１１４が撮像する物体９００は光軸１１４Ｘのやや右側に存在している。

図９の下段は、移動体１１０と物体９００とが距離ＤＳＴ＝ｄ１である場合の合成画像Ｐ３を示している。図９に示すように、距離ＤＳＴ＝ｄ１における合成画像Ｐ３に表示される第１目標画像Ｃ１と第２目標画像Ｃ２とは、図８で示した場合よりも互いに近付いており、一部が重なり合った状態で表示されている。

図１０は、合成画像の例を示す第３の図である。図１０の上段に示した移動体１１０と物体９００との距離は、図９で示した距離ＤＳＴ＝ｄ１よりさらに近い距離ＤＳＴ＝ｄ０である。距離ＤＳＴ＝ｄ０は移動体制御システム１００において予め設定された目標距離である。距離ＤＳＴ＝ｄ０において、第１撮像部１１３が撮像する物体９００の中央部は光軸１１３Ｘに一致している。同様に、距離ＤＳＴ＝ｄ０において第２撮像部１１４が撮像する物体９００の中央部は光軸１１４Ｘに一致している。

図１０の下段は、移動体１１０と物体９００とが距離ＤＳＴ＝ｄ０である場合の合成画像Ｐ３を示している。図１０に示すように、距離ＤＳＴ＝ｄ０における合成画像Ｐ３に表示される第１目標画像Ｃ１と第２目標画像Ｃ２とは、図９で示した場合よりもさらに近付き、互いに重なり合った状態で表示されている。

上述のように、合成画像Ｐ３に表示される第１目標画像Ｃ１および第２目標画像Ｃ２は、移動体１１０と物体９００との距離が目標距離に近付くほど重なり合う（重なり合う面積が増加する）ように構成されている。より具体的には、移動体制御システム１００において、制御部１３０は、移動体１１０と目標物体（例えば物体９００）との距離が目標距離に近付くほど第１目標画像Ｃ１と第２目標画像Ｃ２とが近付くように第１画像Ｐ１と前記第２画像Ｐ２Ａとを合成して合成画像Ｐ３を生成する。本例では、各撮像部の配置により、上述の構成が実現されている。なお、制御部１３０が第１目標画像Ｃ１と第２目標画像Ｃ２との移動（変位）の速度を、目標物体と移動体１１０との距離の情報を用いて変えるように制御（処理）を加えてもよい。距離の情報は、第１および第２撮像部から取得可能である。例えば、移動体１１０と目標物体との距離が目標距離に近付くほど第１目標画像Ｃ１と第２目標画像Ｃ２との移動の速度が低減するように制御すれば、精密な位置合わせが容易になる。

移動体１１０と物体９００との距離が目標距離（ｄ０）よりもさらに近付く場合には、移動体１１０と物体９００との合成画像Ｐ３上での距離が再び目標距離から離れる。したがって、移動体１１０と物体９００の距離が近付くことにより目標距離から離れる程、第１目標画像Ｃ１および第２目標画像Ｃ２は互いに離れていく。このように、物体９００に対する移動体１１０の相対位置によって第１目標画像Ｃ１および第２目標画像Ｃ２の変位の向きが非対称であるから、ユーザＵは、これらの変位により移動体１１０の相対位置を直感的に把握することもできる。

実施の形態１における移動体制御システム１００において、第１撮像部１１３と第２撮像部１１４とがそれぞれが有している撮像素子の水平方向の走査線の方向が移動体１１０の移動面であるＸＹ平面に実質的に平行になるように設定されている。そのため、合成画像Ｐ３に表示される第１目標画像Ｃ１および第２目標画像Ｃ２は、移動体１１０の位置変化に対応して、合成画像Ｐ３の水平方向の走査線に実質的に平行に位置を変化させる。

以上に説明したように、移動体制御システム１００は撮像部１４０、制御部１３０、表示部１２３を少なくとも有している。上述の構成により、ユーザＵは、操作装置１２０に表示されている画像を観察することにより移動体１１０と物体９００との距離を直感的に把握できる。また、移動体制御システム１００は、操作受付部１２４および駆動部１１５を有している。そのため、ユーザＵは表示部１２３の画像を観察しながら移動体１１０を物体９００に近付ける操作を行える。

なお、上述の例では、第２画像は白と黒の二値画像であって（二値により表現され）、エッジを黒色で出力する例で説明したが、エッジの出力形式はこれに限られない。処理画像として黒色でエッジを出力する場合、移動体制御システム１００は、例えば光の強い屋外においても視認しやすい画像を出力できる。一方、処理画像として白色でエッジを出力する場合、移動体制御システム１００は、光の少ない屋内において視認しやすい画像を出力できる。

また、制御部１３０は、エッジ化された映像の色や明暗を変更する等の処理を実行してもよい。例えば制御部１３０は、第１撮像部１１３が取得した第１画像Ｐ１の色の傾向を検出し、最も強い傾向を有する色の補色を出力してもよい。制御部１３０は、第１画像Ｐ１の画素毎の色を検出してもよい。これにより、移動体制御システム１００は、さらに良好に視認可能な処理画像を生成できる。

また、制御部１３０は、検出したエッジを破線により描画してもよいし、検出したエッジからディスプレイに垂直方向（各カメラの並ぶ方向に直交する方向）に延伸する線のみを抽出して描画してもよい。本例では第１目標画像Ｃ１および第２目標画像Ｃ２が水平方向に変位するから、目標物体９００に関する垂直方向の情報が重要となるためである。これにより、位置の調整に用いる参照画像からの情報を最小限にできるので、タスクに主として用いる第１画像をさらに良好に視認できる。

また、制御部１３０は、処理画像を生成する処理において、エッジ検出に代えて、あるいはエッジ処理に加えて、取得した画像を淡くぼかす処理を施してもよい。換言すれば、制御部１３０は、第２画像の表現をぼかし表現（ぼかした画像）としてもよい。これにより、移動体制御システム１００は合成画像において、第１画像との弁別が可能でありながら、処理画像の視覚的な際立ちを抑えることができる。淡くぼかす処理は、制御部１３０が行う画像処理によるものも、撮像装置に設けられた光学素子の特性によるものも含む。

＜画像処理の第２の例＞
次に図１１を参照しながら制御部１３０が行う画像処理（画像表現）の第２の例について説明する。図１１は、移動体制御システムが行う画像処理の第２の例を示す図である。図１１の上段左側に示す第１画像Ｐ２１には第１目標画像Ｃ１に加えて、背景に他の物体が無造作に配置されている。このように、目標物体以外の物体が多く存在する場合に、第１画像Ｐ２１と処理画像Ｐ２２Ｂとを合成すると、画像が煩雑になり、ユーザＵにとって見辛いものとなる。そこで、図１１に示す例において制御部１３０は、第２撮像部１１４が撮像した第２画像の中央部に近い画素よりも、第２画像の外縁部（中央部よりも外側の領域）に近い画素の透過率（合成の比率）を高くする処理を施している。このように、制御部１３０は、第２画像の各画素の位置（座標）に応じて異なる処理を行う。

図１１の上段右側に示すに示す処理画像Ｐ２２Ｂは、画像の中央部に領域Ｂ１を設けている。領域Ｂ１は、画面中央から所定の領域を画定（トリミング）するためのものであり、画面中央を中心とした所定の円状の領域である。領域Ｂ１より外縁部に近い画素は、領域Ｂ１内の画素より透過率が高く設定されている。より好ましくは、領域Ｂ１の面積は、それ以外の領域の面積よりも小さいことが望ましい。これによりユーザＵは、第２画像から目標物体に関する補助的な情報に絞った情報を効率的に得られる。

図１１の下段に示す合成画像Ｐ２３は、図１１の上段に示した第１画像Ｐ２１と処理画像Ｐ２２Ｂとを合成した画像である。図に示すように、合成画像Ｐ２３は画像の外縁部はエッジ処理の画像が薄く表示されている。そのため合成画像Ｐ２３は煩雑さが抑制されている。

なお、上述の例において、処理画像Ｐ２２Ｂは領域Ｂ１内と領域Ｂ１外との２段階での処理を示したが、画像処理の階調は３段階以上であってもよい。また、画像処理の階調は連続的であってもよい。また、制御部１３０は、透過率に加え、または透過率に代えて、各画素の位置に応じてエッジ検出の閾値を変化させる（異なる）処理を施してもよい。この場合制御部１３０の取得する閾値は、第２画像の外縁部に近い画素ほど表示が抑制されるように設定される。

上述の例では、第２撮像部１１４が取得した画像に円形トリミングの画像処理を加える例を説明したが、これ以外の構成でも本発明の効果を得ることができる。トリミングの形状は、各カメラが並ぶ方向（本変形例では水平方向）に長いほうが、移動体１１０を移動させる場合の粗調が容易になる。このため、例えば各カメラの並ぶ方向に長径を有する楕円形状や、その他の形状でトリミングすることで、さらなる効果を得られる。また、第２画像の処理方法もトリミングに限られない。例えば、外縁部を画像処理で、あるいは光学的にしぼり機構等で、ぼかす処理を加えても構わない。

＜画像処理の第３の例＞
次に、図１２を参照しながら制御部１３０が行う画像処理の第３の例について説明する。図１２は、移動体制御システムが行う画像処理の第３の例を示す図である。図１１と同様に、図１２の上段左側に示す第１画像Ｐ３１には第１目標画像Ｃ１に加えて、背景に他の物体が無造作に配置されている。図１２に示す例において制御部１３０は、処理画像Ｐ３２Ｂにおける中央部の領域の画素を合成画像Ｐ３３に使用し、処理画像Ｐ３２Ｂにおける外縁部の領域の画素を合成画像Ｐ３３に使用しない（比率０で合成する）処理を施している。このように、制御部１３０は、各画素の位置に応じて異なる処理を行う。

図１２の上段右側に示す処理画像Ｐ３２Ｂは、画像の中央部に領域Ｂ２を設けている。領域Ｂ２は、画面中央を中心として所定の幅を有する矩形の領域である。図に示す例では、領域Ｂ２は画面の横方向について幅Ｂ３で画定されている。

図１２の下段に示す合成画像Ｐ３３は、図１２の上段に示した第１画像Ｐ３１と処理画像Ｐ３２Ｂ（の中央部）とを合成した画像である。図に示すように、合成画像Ｐ３３は、画像の左右方向の外縁部に近い画素は、第２撮像部１１４が撮像した画像が合成されていない。換言すれば、合成画像Ｐ３３における第１画像Ｐ３１と処理画像Ｐ３２Ｂとは、中央部に近い領域において所定の比率（重みづけ）で合成され、外縁部に近い領域ではそれよりも低い比率で合成されている。そのため、合成画像Ｐ３３は煩雑さが抑制されている。本例では、外縁部に近い領域での合成にかかる所定の比率は０である。例えば、所定の比率を８とし、外縁部に近い領域での比率は２としてもよい。

なお、図１１に示した領域Ｂ１および図１２に示した領域Ｂ２は上述した形状に限られず、上下方向について画面の中央部から所定の領域を画定するものであってもよいし、その他任意の形状であってもよい。

＜画像処理の第４の例＞
次に、図１３および図１４を参照しながら制御部１３０が行う画像処理の第４の例について説明する。図１３は、移動体と目標物体との位置関係を示す斜視図である。ここで示す例では、移動体１１０は直方体である物体９０１を目標物体として矢印方向に移動している。図において、目標物体である物体９０１は、底面が長方形の直方体であり、底面の短辺Ｌ１の長さと長辺Ｌ２の長さの差が大きい。また、第１撮像部１１３の光軸と長辺Ｌ２の延伸方向とがほぼ一致している。

図１４は、移動体制御システムが行う画像処理の第４の例を示す図である。図１４の上段左側は、第１撮像部１１３が撮像した第１画像Ｐ４１である。図１４の上段右側は、第２撮像部１１４が撮像した第２画像に所定の処理を施した処理画像Ｐ４２Ｂである。図に示すように、第１撮像部１１３は、長辺Ｌ２に接続する面よりも短辺Ｌ１に接続する面を大きく撮像する。一方、第２撮像部１１４は、長辺Ｌ２に接続する面をより大きく撮像する。そのため、第１撮像部１１３が撮像する画像である第１画像に含まれる物体９０１の画像（第１目標画像）と、第２撮像部１１４が撮像する画像である第２画像に含まれる物体９０１の画像（第２目標画像）とは、大きさが異なる。本例では、このような場合において、第１画像と第２画像を一致させる場合の明確な基準を提供する。

制御部１３０は、画像処理において、所定の基準線を設定し、設定した基準線を強調して表示する画像処理を行う。より具体的には、制御部１３０は、水平方向の輝度値の差を、垂直方向の輝度値の差よりも強調して表示する。これにより、制御部１３０は、エッジ検出した線分の内、ユーザが一致させるために参照し易い垂直方向に延伸する線が強調されて表示される。また、制御部１３０は、垂直方向に延伸する線のうち、所定の線を選択し、選択した線を他の要素より強調して表示してもよい。

図１４に示す処理画像Ｐ４２Ｂは、基準線Ｌ２２が強調して表示されている。基準線Ｌ２２は第１画像Ｐ４１に含まれる線Ｌ２１に対応している。したがって、ユーザＵは、合成画像Ｐ４３において、線Ｌ２１と基準線Ｌ２２とが一致するように移動体１１０を移動できる。

上述した画像処理により、移動体制御システムは、ユーザＵが容易に第１目標画像を視認することができるように合成画像を出力することができる。一方、移動体制御システムは、第１目標画像の視認性を損なわず、且つ、ユーザが直観的に目標物体と移動体との距離を把握することができる画像を表示することができる。

＜実施の形態１の変形例＞
次に、図１５および図１６を参照しながら実施の形態１の変形例について説明する。実施の形態１の変形例は、移動体が光照射部をさらに有する点において、実施の形態１と異なる。

図１５は、実施の形態１の変形例にかかる移動体の斜視図である。図に示す移動体１１０は、第１撮像部１１３と第２撮像部１１４の間に、参照光照射部１１７を有している。参照光照射部１１７は、第１撮像部１１３の光軸１１３Ｘと第２撮像部１１４の光軸１１４Ｘとが交差する位置Ｔ１（目標距離）に向けて各画像に表示可能な参照光を照射する。参照光照射部１１７が照射する参照光の投影形状は、コヒーレントなレーザ光のように、スポット径が小さい形状であることが好ましい。なお、参照光照射部１１７の位置、参照光の投影形状は本例に限られない。

図１６は、実施の形態１の変形例による画像処理の例を示す図である。図１６の上段左側は第１撮像部１１３が撮像した第１画像Ｐ５１である。図１６の上段右側は第２撮像部１１４が撮像した第２画像に所定の画像処理を施した処理画像Ｐ５２Ｂである。また図の下段は第１画像Ｐ５１と処理画像Ｐ５２Ｂが合成された画像である合成画像Ｐ５３である。

第１画像Ｐ５１には第１目標画像Ｃ５１が含まれているとともに、第１目標画像Ｃ５１には、参照光が照射された点Ｎ５１が含まれている。処理画像Ｐ５２には第２目標画像Ｃ５２が含まれているとともに、第２目標画像Ｃ５２には、参照光が照射された点Ｎ５２が含まれている。

合成画像Ｐ５３には、第１目標画像Ｃ５１に含まれる点Ｎ５１と、第２目標画像Ｃ５２に含まれる点Ｎ５２とが表示される。したがって、ユーザＵは、合成画像Ｐ５３に表示される点Ｎ５１と点Ｎ５２とが一致するように移動体１１０を操作できる。このような構成により、ユーザＵは、移動体１１０の位置を直感的に把握するとともに、点Ｎ５１および点Ｎ５２により移動体１１０の位置の微調整を容易に且つ高精度に行うことができる。

以上、実施の形態１およびその変形例について説明したが、実施の形態１にかかる移動体制御システム１００の構成は上述したものに限られない。例えば、移動体制御システムは移動体１１０と操作装置１２０とのそれぞれに通信可能に接続し、移動体１１０と操作装置１２０との間に介在するサーバを有していてもよい。この場合、サーバは移動体１１０から送信された画像データを処理する制御部１３０の機能を有していてもよい。移動体は、車輪により移動する装置でなく、モータ、キャタピラ、クローラ、プロペラ、タービンあるいはスクリューなどにより移動するものであってもよい。また移動体は手動ないし任意の動力による外力を受けることにより移動するのもであってもよい。

また、制御部１３０が行う画像処理は上述の処理の他に、あるいは上述の処理に加えて、種々の処理を採用できる。例えば、制御部１３０は、第２画像を平滑化フィルタにより処理してもよい。また制御部１３０は、第２画像が第１画像より少ない色数により表示部に表示されるように第２画像データに対して画像処理を施すことが好ましい。例えば、制御部１３０は、第２画像が第１画像より少ない輝度階調数により表示部に表示されるように第２画像データに対して画像処理を施してもよい。また、撮像部の一方に他方とは異なる光学性能を有するレンズ（光学素子）を構成してもよい。例えば、撮像部の一方には単焦点レンズ（被写界深度の浅いレンズ）、他方にはパンフォーカスレンズ（被写界深度の深いレンズ）を構成することで、映像の一方に光学的な処理を施せる。この場合、撮像部は、目標距離近傍に（制御部１３０により）合焦している単焦点レンズを通して第２画像を生成する。

以上、実施の形態１およびその変形例によれば、移動体と目標物体との距離をユーザが直感的に把握できる移動体制御システム等を提供することができる。かかる移動体制御システム１００を利用することにより、ユーザＵは、移動体ないし目標物体を視認することができない遠隔地から、移動体を目標物体に対して所望の距離に移動させることができる。

＜実施の形態２＞
次に図１７および図１８を参照しながら実施の形態２について説明する。実施の形態２にかかる移動体１１０は、第１撮像部の光軸が移動体の進行方向に実質的に平行に配置されている点において実施の形態１にかかる移動体１１０と異なる。

図１７は、実施の形態２にかかる移動体および合成画像の例を示す第１の図である。図１７の上段で示すように、移動体１１０は物体９００に向かってＸ軸マイナス方向に沿って移動している。移動体１１０が有する第１撮像部１１３は、移動体１１０の略中央で撮像範囲が前方を向くように配置されている。移動体１１０が有する第１撮像部１１３の光軸１１３Ｘは、移動体１１０の進行方向であるＸ軸マイナス方向に平行である。また移動体１１０が有する第２撮像部１１４は、移動体１１０の前方に向かって、第１撮像部１１３よりも相対的に右側で、且つ、撮像範囲が前方左側に傾くように設置されている。そのため、第２撮像部１１４の光軸１１４Ｘは、移動体１１０からの距離ＤＳＴ＝ｄｇ（目標距離）において光軸１１３Ｘと交差する。このとき光軸１１３Ｘと光軸１１４Ｘとが成す角度は角度θである。角度θは、１８０度未満であり、より好ましくは９０度未満である。

図１７の上段に示した移動体１１０と物体９００との距離は、距離ＤＳＴ＝ｄ２１である。距離ＤＳＴ＝ｄ２１において、第１撮像部１１３が撮像する物体９００の中央部は光軸１１３Ｘに一致している。一方、距離ＤＳＴ＝ｄ２１において第２撮像部１１４が撮像する物体９００は光軸１１４Ｘの右側に存在している。

図１７の下段は、移動体１１０と物体９００とが距離ＤＳＴ＝ｄ２１である場合の合成画像Ｐ３を示している。図に示すように、合成画像Ｐ３には、第１撮像部１１３が撮像した物体９００の画像である第１目標画像Ｃ１と、第２撮像部１１４が撮像した物体９００の画像であって、エッジ検出処理が施された第２目標画像Ｃ２とが含まれている。第１目標画像Ｃ１は合成画像Ｐ３の中央部に表示されている。また第２目標画像Ｃ２は合成画像Ｐ３の中央部よりも右側であって、第１目標画像Ｃ１とは離間して表示されている。

図１８は、実施の形態２にかかる移動体および合成画像の例を示す第２の図である。図１８の上段に示した移動体１１０と物体９００との距離は、図１７で示した距離ＤＳＴ＝ｄ２１より近い距離ＤＳＴ＝ｄ２２である。距離ＤＳＴ＝ｄ２２において、第１撮像部１１３が撮像する物体９００の中央部は光軸１１３Ｘに一致した状態が保たれている。一方、距離ＤＳＴ＝ｄ２２において第２撮像部１１４が撮像する物体９００は光軸１１４Ｘのやや右側に存在している。

図１８の下段は、移動体１１０と物体９００とが距離ＤＳＴ＝ｄ２２である場合の合成画像Ｐ３を示している。図１８に示すように、第１目標画像Ｃ１は、距離ＤＳＴ＝ｄ２１の場合と同様に、合成画像Ｐ３の中央部に表示されている。一方、第２目標画像Ｃ２は、距離ＤＳＴ＝ｄ２１の場合よりも左側に移動している。そのため、第１目標画像Ｃ１と第２目標画像Ｃ２とは互いに一部が重なり合った状態で表示されている。移動体１１０が目標距離ｄｇに達する、すなわち距離ＤＳＴ＝ｄｇとなれば、第１目標画像Ｃ１と第２目標画像Ｃ２とは互いに重なり合った状態で表示される。

このように、実施の形態２によれば、ユーザＵが物体９００に向けて移動体１１０を直進させるに際し、第１撮像部１１３が撮像する第１目標画像Ｃ１は合成画像Ｐ３の中央近傍に維持される。また、ユーザＵが移動体１１０を物体９００に向かって直進させることにより、第２目標画像Ｃ２は、合成画像Ｐ３において徐々に第１目標画像Ｃ１に近付くことになる。すなわち、第２目標画像Ｃ２を第１目標画像Ｃ１に重ねるように操作するに際し、第１目標画像Ｃ１が視野から外れることを抑制できる。よって、ユーザＵは、中央に向かって移動してくる第２目標画像Ｃ２の移動にのみ着目し、第１目標画像Ｃ１の移動に格別の注意を払わずに、第２目標画像Ｃ２と第１目標画像Ｃ１と一致する位置まで移動体１１０を操作できる。したがって、実施の形態２によれば、操作が容易かつ任意の目標距離をユーザが直観的に把握できる移動体制御システム等を提供することができる。

＜実施の形態３＞
次に図１９を参照しながら実施の形態３について説明する。図１９は、実施の形態３にかかる移動体の上面図である。実施の形態３にかかる移動体２１０は、撮像部がＺ軸周りに（第１および第２撮像部の光軸を含む面に直交する直交軸周りに）回転可能な点において実施の形態１にかかる移動体１１０と異なる。

実施の形態３にかかる移動体２１０は、撮像部として第１撮像部２１３および第２撮像部２１４を有している。第１撮像部２１３および第２撮像部２１４は、それぞれＺ軸周りに回動する機構を有している。第１撮像部２１３は、図１９に示す方向から観察した場合に、時計回り方向Ｗ１１および反時計回り方向Ｗ１２に回動する。同様に、第２撮像部２１４は、図１９に示す方向から観察した場合に、時計回り方向Ｗ２１および反時計回り方向Ｗ２２に回動する。

第１撮像部２１３および第２撮像部２１４は、それぞれ逆方向に同期して回転するように設定されている。例えば、第１撮像部２１３および第２撮像部２１４は、回転の支点部にそれぞれ同じ仕様のギアを有し、互いのギアが噛み合うギア機構を有する構成とできる。したがって、例えば第１撮像部２１３が時計回り方向Ｗ１１に１０度回動した場合には、第２撮像部２１４は反時計回り方向Ｗ２２に１０度回動する。したがって、第１撮像部２１３の光軸２１３Ｘと第２撮像部２１４の光軸２１４Ｘとが交差する位置は中心線ＣＬ１に沿って変化する。すなわち目標距離ＤＳＴ＝ｄｔは方向ｄｔ−に変化する。また例えば第１撮像部２１３が反時計回り方向Ｗ１２に１０度回動した場合には、第２撮像部２１４は時計回り方向Ｗ２１に１０度回動する。したがって、光軸２１３Ｘと光軸２１４Ｘとが交差する位置は中心線ＣＬ１に沿って変化する。すなわち目標距離ＤＳＴ＝ｄｔは方向ｄｔ＋に変化する。

なお、移動体２１０の撮像部は、上述のように同期して回動する構成でなく、いずれか一方が回動する構成を採用することもできる。

上述の構成により、実施の形態３にかかる移動体制御システム１００は、目標物体との距離である目標距離に応じて撮像部の撮像範囲を任意に設定し、移動体２１０と目標物体とが設定した目標距離に近付いているか否かを表示部に表示する。よって、実施の形態２によれば、任意の目標距離をユーザが直観的に把握できる移動体制御システム等を提供することができる。

＜実施の形態４＞
次に、図２０および図２１を参照しながら実施の形態４について説明する。図２０は、実施の形態４にかかる移動体の上面図である。実施の形態４にかかる移動体３１０の撮像部は、第１撮像部３１３の光軸３１３Ｘと第２撮像部３１４の光軸３１４Ｘとが平行に設置されている点が、実施の形態１と異なる。

図に示すように、第１撮像部３１３は光軸３１３Ｘが移動体３１０の直進方向（Ｘ軸方向）に平行になるように設置されている。同様に、第２撮像部３１４は光軸３１４Ｘが移動体３１０の直進方向に平行になるように設置されている。したがって、光軸３１３Ｘおよび光軸３１４Ｘは平行である。そのため、移動体３１０に設定されている目標距離ＤＳＴ＝ｄ０で光軸は交差しない。目標距離ＤＳＴ＝ｄ０において、目標物体９０２は、第１撮像部３１３の撮像範囲および第２撮像部３１４の撮像範囲のいずれにも含まれるように構成されている。

図２１は、実施の形態３にかかる移動体制御システムにおける画像処理の例を示す図である。図２１の上段左側は第１撮像部３１３が撮像した第１画像Ｐ３０１である。図２１の上段右側は第２撮像部３１４が撮像した第２画像にエッジ検出処理を施した処理画像Ｐ３０２Ｂである。また図２１の下段は、第１画像Ｐ３０１および処理画像Ｐ３０２Ｂを合成した合成画像Ｐ３０３である。

合成画像Ｐ３０３は、第１画像Ｐ３０１が左側にシフトした状態で合成されている。また合成画像３０３は処理画像Ｐ３０２Ｂが右側にシフトした状態で合成されている。図に示すように、合成画像Ｐ３０３に合成される第１画像の幅方向の中央線ＣＰ３０１と処理画像Ｐ３０２Ｂの幅方向の中央線ＣＰ３０２とは距離Ｂ３０３離れている。このような構成にすることにより、本実施の形態にかかる合成画像Ｐ３０３は、目標距離において第１目標画像Ｃ３１と第２目標画像Ｃ３２とが一致するように設定されている。

このような構成により、実施の形態４にかかる移動体制御システムは、光軸が平行に設置された撮像部であっても、目標物体が目標距離で一致するように合成画像を生成することができる。

またこのような構成によれば、実施の形態４にかかる移動体制御システムは、合成する際の第１撮像部の画像と第２撮像部の画像との距離を任意に設定することにより、設定する目標距離に応じた合成画像を生成できる。例えば、図に示す距離Ｂ３０３が相対的に小さくなるように設定することにより、相対的に大きく設定した場合よりも目標距離ＤＳＴ＝ｄ０を大きく設定することができる。より具体的には、図２０に点線で示した目標物体９０２Ｂの位置を目標距離ＤＳＴ＝ｄ１に設定する場合、図２１に示した距離Ｂ３０３を相対的に小さく設定すればよい。

このような構成により、実施の形態４によれば、任意の目標距離を設定することができる。なお、本実施の形態の構成は、２台の撮像部に代えて、１台の撮像部を用いて構成できる。以上、実施の形態３によれば、任意の目標距離をユーザが直観的に把握できる移動体制御システム等を提供できる。

＜実施の形態５＞
図２２を参照しながら実施の形態５について説明する。図２２は、実施の形態５にかかる移動体の斜視図である。実施の形態５にかかる移動体４１０は、撮像部が第１撮像部４１３および第２撮像部４１４を有している。第１撮像部４１３および第２撮像部４１４は、垂直方向（各撮像部の撮像素子の画素の配列の方向のうち、垂直方向のものが互い同一の平面に平行）に配置されている点において、上述の構成と異なる。このように構成される場合、合成画像に表示される第１目標画像および第２目標画像は、目標物体と移動体４１０との距離に応じて、画面の上下方向に移動することになる。

このような構成により、実施の形態５は、移動体と目標物体との距離をユーザが直感的に把握できる移動体制御システム等を提供できる。なお、実施の形態５の構成に、実施の形態１の変形例で説明した参照光照射部を追加したり、実施の形態２、３または４の構成を適用したりすることも可能である。

＜実施の形態６＞
次に図２３を参照しながら実施の形態６について説明する。図２３は、実施の形態６にかかる移動体の側面図である。実施の形態６にかかる移動体５１０は、ユーザＵが操作装置を使って遠隔操作可能に構成されたショベルカーである。移動体５１０は、主な構成として、本体部５１１、アーム機構部５１２、補助第１撮像部５１３、補助第２撮像部５１４、第１撮像部５１５および第２撮像部５１６を有している。

本体部５１１は移動面に設置するキャタピラを含む駆動部やエンジンを有している。また本体部５１１はアーム機構部５１２が接続している。さらに本体部５１１は、補助第１撮像部５１３および補助第２撮像部５１４が設置されている。

アーム機構部５１２は油圧により駆動する複数のリンクを含み、先端にはショベルを有している。またアーム機構部５１２には第１撮像部５１５および第２撮像部５１６が設置されている。ユーザＵは、遠隔操作により、アーム機構部５１２を伸縮させることができる。

補助第１撮像部５１３および補助第２撮像部５１４は、本体部５１１に設置されており、本体部５１１の進行方向が撮像範囲となるように設定されている。すなわち、補助第１撮像部５１３および補助第２撮像部５１４は、本体部が移動する際に目標物体との距離である目標距離を把握するために設けられている。したがって、ユーザは補助第１撮像部５１３および補助第２撮像部５１４が撮像する画像から生成される合成画像を表示部で視認することにより、移動体５１０を移動させることができる。

例えば、移動体制御システムは、図２３に示すように、本体部５１１の前方に存在する物体９０４との距離ｄ４を目標距離に調整可能なように構成されている。したがって、ユーザＵは表示部に表示される合成画像により本体部５１１と物体９０４との距離を把握しながら本体部５１１を移動させる。これによりユーザＵは、例えば、アーム機構部５１２の可動範囲内に目標物体９０６を収めるような粗調を行える。より好ましくは、距離ｄ４は目標物体９０６に対して設定されるとともに、アーム機構部５１２の可動範囲の中央（最大到達位置と最小到達位置との間の位置）近傍までの距離とすることが望ましい。

第１撮像部５１５および第２撮像部５１６は、アーム機構部５１２の先端付近に設置されている。アーム機構部５１２は本体部５１１に設けられた移動体ということができる。すなわち、第１撮像部５１５および第２撮像部５１６は、移動体であるアーム機構部５１２と目標物体９０６との距離ｄ５を目標距離に調整するために利用される。

例えば、移動体制御システムは、アーム機構部５１２先端の前方に存在する物体９０６との距離ｄ５を調整可能に設定されている。したがってユーザＵは表示部に表示される合成画像によりアーム機構部５１２の先端と物体９０６との距離を把握しながらアーム機構部５１２を移動させる。

さらにこの状態において、ユーザＵは、アーム機構部５１２の先端に設けられたショベルを折り曲げるように操作する。そうすると、ショベルの歯先は予め設定された（点線により示した）接触経路Ｔに沿って駆動する。これにより、アーム機構部５１２が有するショベルは、接触経路Ｔに沿って目標物体９０６をすくい取ることができる。このように、先端部の作用範囲（接触範囲Ｔ）を加味して所定の距離Ｌを予め設定しておくことで、先端部を確実に目標物体に作用させることができる。

次に、図２４を参照しながら実施の形態６の変形例について説明する。図２４は、実施の形態６の変形例にかかる移動体の側面図である。図に示した実施の形態６の変形例は、アーム機構部５１２に設けられた第１撮像部５１５および第２撮像部５１６がジンバル（スタビライザ、保持機構）５１７を介して設置されている点が、実施の形態６と異なる。

ジンバル５１７はアーム機構部５１２の先端部に設置され、第１撮像部５１５および第２撮像部５１６の光軸が水平を維持するように設定されている。これにより、アーム機構部５１２の先端に設けられている第１撮像部５１５および第２撮像部５１６は、アーム機構の角度に関わらず、目標物体に対して水平方向から撮像することができる。

例えば、移動体制御システムは、アーム機構部５１２先端の前方に存在する物体９０６との水平方向の距離ｄ６を目標距離に調整可能に設定されている。したがってユーザＵは表示部に表示される合成画像によりアーム機構部５１２の先端と物体９０６との水平方向の距離を把握しながらアーム機構部５１２を移動させることができる。

上述のように、実施の形態６にかかる移動体制御システムは、アーム機構などの移動体において、移動体と目標物体との距離をユーザが直感的に把握できる移動体制御システム等を提供することができる。また、実施の形態６の変形例にかかる移動体制御システムは、移動体の姿勢に関わらず、移動体と目標物体との所定の方向の距離をユーザが直観的に把握できる移動体制御システム等を提供することができる。

なお、本実施の形態において、例えば本体部５１１に設置した補助第１撮像部５１３および補助第２撮像部５１４が、実施の形態３において説明した構成（撮像部を回動させる機構）を有していてもよい。その場合、補助第１撮像部５１３および補助第２撮像部５１４に設定される所定の目標距離が、アームの先端の位置と連動するように、回転機構を制御することが好ましい。この場合、アームの近辺の対象物の映像にのみエッジが重なることになり、アームの操作が容易になる。

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１００ 移動体制御システム
１１０、２１０、３１０、４１０、５１０ 移動体
１２３ 表示部
１３０ 制御部
１４０ 撮像部
５１２ アーム機構部
９００、９０１、９０４、９０６ 物体
Ｐ３、Ｐ２３、Ｐ３３、Ｐ４３、Ｐ５３、Ｐ３０３ 合成画像
ＤＳＴ、ｄ４、ｄ５、ｄ６ 距離
ｄ０、ｄｇ、ｄｔ、ｄ１ 目標距離

Claims (30)

1. 目標物体と移動体との距離が目標距離になるように前記移動体を移動させる移動体制御システムであって、
   前記移動体に保持され、第１視点から前記目標物体を撮像した第１目標画像を含む第１画像を取得するとともに、第１視点とは異なる第２視点から前記目標物体を撮像した第２目標画像を含む第２画像を取得する撮像部と、
   前記移動体と前記目標物体との距離が前記目標距離に近付くほど前記第１目標画像と前記第２目標画像とが近付くように前記第１画像と前記第２画像とを組み合わせて複合画像を出力する制御部と、
   前記複合画像を表示する表示部と、を備える
   移動体制御システム。
2. 前記移動体と前記目標物体との距離が前記目標距離の場合に、前記第１目標画像の少なくとも一部と前記第２目標画像の少なくとも一部とが重なり合うように構成される
   請求項１に記載の移動体制御システム。
3. 前記複合画像は、前記移動体と前記目標物体との距離が前記目標距離の場合に、前記第１目標画像の少なくとも一部と前記第２目標画像の少なくとも一部とが重なり合うように前記第１画像と前記第２画像とを所定の比率で合成される合成画像を含む
   請求項１または２に記載の移動体制御システム。
4. 前記撮像部は、
   前記第１画像を撮像する第１撮像部と、
   前記第２画像を撮像する第２撮像部と、を有する
   請求項１〜３のいずれか一項に記載の移動体制御システム。
5. 前記第１撮像部と前記第２撮像部との撮像素子における水平あるいは垂直の画素の配列の方向が、互いに同一の平面と実質的に平行になるように設定されている
   請求項４に記載の移動体制御システム。
6. 前記第１および第２撮像部は、互いの光軸が交差するとともに、該交差する点から前記移動体までの距離が前記目標距離になるように、前記移動体に保持されている
   請求項４または５に記載の移動体制御システム。
7. 前記第１撮像部の光軸は、前記移動体の進行方向と実質的に平行に構成されている
   請求項４〜６のいずれか一項に記載の移動体制御システム。
8. 前記第１および第２撮像部の少なくともいずれか一方は、該第１および第２撮像部の光軸を含む面に直交する直交軸周りに回転可能に保持されており、前記目標距離に応じて前記直交軸周りに回転する
   請求項４〜７のいずれか一項に記載の移動体制御システム。
9. 前記第２撮像部の光学素子は、前記目標距離に合焦し、かつ前記第１撮像部の光学素子よりも被写界深度が浅い
   請求項４〜８のいずれか一項に記載の移動体制御システム。
10. 前記第１および第２撮像部は、互いの光軸が平行になるように保持されている
    請求項４〜９のいずれか一項に記載の移動体制御システム。
11. 前記目標距離に向けて前記第１および第２画像に表示可能な光を照射する光照射部を有する
    請求項１〜１０のいずれか一項に記載の移動体制御システム。
12. 前記制御部は、前記第１および第２画像の表現が互いに異なるように、少なくとも前記第２画像に画像処理を施す
    請求項１〜１１のいずれか一項に記載の移動体制御システム。
13. 前記制御部は、前記第１画像を該第１画像に含まれる物体の画像にし、前記第２画像を該第２画像に含まれる物体の輪郭の画像にする
    請求項１２に記載の移動体制御システム。
14. 前記制御部は、前記第２画像を前記第１画像より少ない色数の画像にする
    請求項１２または１３に記載の移動体制御システム。
15. 前記制御部は、前記第２画像を二値化する
    請求項１４に記載の移動体制御システム。
16. 前記制御部は、前記第２画像を前記第１画像より少ない輝度階調数の画像にする
    請求項１２〜１５のいずれか一項に記載の移動体制御システム。
17. 前記制御部は、前記第２画像を前記第１画像よりぼかした画像にする
    請求項１２〜１６のいずれか一項に記載の移動体制御システム。
18. 前記制御部は、平滑化フィルタにより前記第２画像をぼかす
    請求項１７に記載の移動体制御システム。
19. 前記制御部は、前記第２画像の画素の位置に応じて異なる画像処理を施す
    請求項１２〜１８のいずれか一項に記載の移動体制御システム。
20. 前記制御部は、前記第２画像の透過率を、該第２画像の外縁部に近い画素ほど高くする
    請求項１２〜１９のいずれか一項に記載の移動体制御システム。
21. 前記制御部は、前記第２画像の中央部の画素と、前記第１画像における対応する画素と、を所定の比率で合成し、前記第２画像の外縁部の画素と、前記第１画像における対応する画素と、を前記所定の比率よりも低い比率で合成し、前記複合画像とする
    請求項１２〜２０のいずれか一項に記載の移動体制御システム。
22. 前記中央部の領域の面積は、前記外縁部の領域の面積よりも小さい
    請求項２１に記載の移動体制御システム。
23. 前記移動体は、前記表示部と通信する第１通信部を有し、
    前記表示部は、前記第１通信部を介して前記移動体と通信する第２通信部を有する
    請求項１〜２２のいずれか一項に記載の移動体制御システム。
24. 前記制御部は、前記第１目標画像と前記第２目標画像との変化の速度を、前記移動体と前記目標物体との距離の情報を用いて変える
    請求項１〜２３のいずれか一項に記載の移動体制御システム。
25. 前記複合画像は、前記第１画像をユーザのいずれか一方の眼で結像させ、前記第２画像を前記ユーザのいずれか他方の眼で結像させることにより、前記ユーザに認識される
    請求項１〜２４のいずれか一項に記載の移動体制御システム。
26. 前記撮像部は、前記目標距離に応じて前記第１画像および前記第２画像のうち少なくともいずれか一方に関する撮像範囲を変更するように設定されている
    請求項１〜２５のいずれか一項に記載の移動体制御システム。
27. 目標物体と移動体との距離が目標距離になるように前記移動体を移動させる移動体制御システムであって、
    ユーザの操作により移動する前記移動体と、
    前記移動体に保持され、第１視点から前記目標物体を撮像した第１目標画像を含む第１画像を取得するとともに、第１視点とは異なる第２視点から前記目標物体を撮像した第２目標画像を含む第２画像を取得する撮像部と、
    前記移動体と前記目標物体との距離が前記目標距離に近付くほど前記第１目標画像と前記第２目標画像とが近付くように前記第１画像と前記第２画像とを組み合わせて複合画像を出力する制御部と、
    前記ユーザに対して前記複合画像を表示する表示部と、を備える
    移動体制御システム。
28. 目標物体との距離が目標距離であることを表示可能な複合画像を取得する移動体であって、
    該移動体を移動させる駆動部と、
    第１視点から前記目標物体を撮像した第１目標画像を含む第１画像を取得するとともに、前記第１視点とは異なる第２視点から前記目標物体を撮像した第２目標画像を含む第２画像を取得する撮像部と、
    前記目標物体との距離が前記目標距離に近付くほど前記第１目標画像と前記第２目標画像とが近付くように前記第１画像と前記第２画像とを組み合わせて前記複合画像を出力する制御部と、を備える
    移動体。
29. 目標物体と移動体との距離をユーザに認識させる距離表示方法であって、
    目標距離を設定する距離設定ステップと、
    第１視点から前記目標物体を撮像した第１目標画像を含む第１画像を取得するとともに、前記第１視点とは異なる第２視点から前記目標物体を撮像した第２目標画像を含む第２画像を取得する画像取得ステップと、
    前記移動体と前記目標物体との距離が前記目標距離に近付くほど前記第１目標画像と前記第２目標画像とが近付くように前記第１画像と前記第２画像とを組み合わせて複合画像を出力する複合画像出力ステップと、
    前記複合画像を表示する表示ステップと、を備える
    距離表示方法。
30. 目標物体と移動体との距離をユーザに認識させる距離表示方法をコンピュータに実行させるプログラムであって、
    前記距離表示方法は、
    目標距離を設定する距離設定ステップと、
    第１視点から前記目標物体を撮像した第１目標画像を含む第１画像を取得するとともに、前記第１視点とは異なる第２視点から前記目標物体を撮像した第２目標画像を含む第２画像を取得する画像取得ステップと、
    前記移動体と前記目標物体との距離が前記目標距離に近付くほど前記第１目標画像と前記第２目標画像とが近付くように前記第１画像と前記第２画像とを組み合わせて複合画像を出力する複合画像出力ステップと、
    前記複合画像を表示する表示ステップと、を備える
    プログラム。

Images