JP2023154265A - 画像処理装置、移動体、画像処理方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】例えば移動体が動いている場合などにおいても、適切な俯瞰画像を生成できる画像処理装置を提供する。【解決手段】画像処理装置において、移動体の周囲を撮影した撮影画像を取得する画像取得手段と、前記移動体の周囲の物体までの距離情報を取得する距離情報取得手段と、前記距離情報を用いて、複数の前記撮影画像から第１俯瞰画像を生成する第１の俯瞰画像生成手段と、前記距離情報を用いずに、複数の前記撮影画像から第２俯瞰画像を生成する第２の俯瞰画像生成手段と、前記移動体又は前記物体の移動状態を検知する移動状態検知手段と、前記移動状態に応じて、前記第１の俯瞰画像生成手段又は前記第２の俯瞰画像生成手段により、前記第１俯瞰画像又は前記第２俯瞰画像の一方を生成する制御手段と、を有する。【選択図】 図３

Description

本発明は、画像処理装置、移動体、画像処理方法、及びコンピュータプログラム等に関する。

近年、車両に搭載されている複数のカメラで撮影した画像を合成し、俯瞰画像を生成する画像処理装置が知られている。例えば特許文献１には、カメラで撮影した画像と、距離センサで計測された周辺物体までの距離データを使って、歪みのない俯瞰画像を表示する画像処理装置が記載されている。

特開２０１５－７５９６６号公報

上述の画像処理装置では、カメラで撮影した画像と、距離センサで計測された周辺物体までの距離データが一致していることが求められる。しかしながら、通常、カメラで画像を撮影するタイミングと、距離センサで距離データを取得するタイミングは一致しない。例えばカメラは１秒間に６０フレームの画像を撮影するのに対して、距離センサは１秒間に車両周辺の距離を例えば１０周分しか取得できないなど、画像と距離情報を取得する間隔が違っており、完全にタイミングを一致させるのは困難である。

そのため車両が動いているときや、周囲に動いている物体があるときには、カメラで撮影した画像に記録されている物体の位置と、距離センサで取得した距離データの位置とが一致せず、物体が正しい位置に表示されないという問題がある。

そこで本発明は、例えば移動体が動いている場合などにおいても、適切な俯瞰画像を生成できる画像処理装置を提供することを１つの目的とする。

本発明の１側面の画像処理装置は、
移動体の周囲を撮影した撮影画像を取得する画像取得手段と、
前記移動体の周囲の物体までの距離情報を取得する距離情報取得手段と、
前記距離情報を用いて、複数の前記撮影画像から第１俯瞰画像を生成する第１の俯瞰画像生成手段と、
前記距離情報を用いずに、複数の前記撮影画像から第２俯瞰画像を生成する第２の俯瞰画像生成手段と、
前記移動体又は前記物体の移動状態を検知する移動状態検知手段と、
前記移動状態に応じて、前記第１の俯瞰画像生成手段又は前記第２の俯瞰画像生成手段により、前記第１俯瞰画像又は前記第２俯瞰画像の一方を生成する制御手段と、を有することを特徴とする。

本発明によれば、例えば移動体が動いている場合などにおいても、適切な俯瞰画像を生成できる画像処理装置を提供することができる。

実施形態１の撮像部と車両の位置関係を説明する図である。 実施形態１における画像処理装置等の構成を説明するための機能ブロック図である。 実施形態１の統合処理部５０の一連の動作を説明するためのフローチャートである。 （Ａ）、（Ｂ）は車両１の上部から見下ろした俯瞰画像の表示例を示す図である。 撮像部２１～２４の撮影タイミングと測距部４１から車両１の周囲の距離データを取得するタイミングを表す図である。 車両１が走行しているときの車両１の位置と、物体６０１の位置の例を表す図である。 実施形態２における画像処理装置の構成を説明するための機能ブロック図である。 実施形態２の統合処理部５０の一連の動作を説明するためのフローチャートである。 自身の車両１が交通量の多い道路の路肩に停車中であるときの状況を表す図である。 実施形態３の統合処理部５０の一連の動作を説明するためのフローチャートである。 実施形態４の統合処理部５０の一連の動作を説明するためのフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

［実施形態１］
図１は、実施形態１の撮像部と車両の位置関係を説明する図である。
本実施形態では、図１に示すように、移動体（移動体本体）としての例えば自動車の車両１の前方、右側方、後方、左側方に夫々カメラユニット１１、１２、１３、１４が設置されている。又、車両の上部に測距ユニット１５が設置されている。尚、本実施形態では４つのカメラユニットと１つの測距センサを有するが、カメラユニットの数は４に限定されず、少なくとも１つ以上のカメラユニットがあれば良い。また測距ユニットの数も同様に１に限定されず、少なくとも１つの測距ユニットがあれば良い。

尚、カメラユニット１１～１４は、移動体としての車両１の夫々前方、右側方、左側方、後方を夫々所定の撮像範囲として撮像するために、夫々光学像を撮像する撮像素子と、撮像素子の受光面に光学像を形成する光学系とを有する。尚、本実施形態では、カメラユニット１１～１４の夫々光学系は共通の光学特性を有し、夫々の撮像素子は同じ画素数とする。しかし、一部のカメラユニットの光学系の光学特性や撮像素子の画素数が、他のカメラユニットの光学系や撮像素子の画素数と異なっていても良い。

尚、本実施形態では、例えばカメラユニット１１、１３の光学系の光軸は車両１が水平な平面上にあるときに略水平となるように設置し、カメラユニット１２、１４の光学系の光軸は水平よりも若干下方を向くか、或いは真下を向くように設置されている。
又、本実施形態で使用するカメラユニット１１～１４の光学系は周囲を広く撮影することが可能な魚眼レンズや広角レンズを備えている。

測距ユニット１５は対象物までの距離を計測するための測距手段として機能しており、例えば照明した対象物からの反射光を受光するまでの時間や反射光の位相から距離を算出するＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）方式や、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式の測距ユニットである。即ち、距離情報取得部５１ｂは、ＬｉＤＡＲ方式又はＴＯＦ方式で測定された周囲の物体までの距離情報を取得するように構成されている。

図２は実施形態１における画像処理装置等の構成を説明するための機能ブロック図である。尚、図２に示される機能ブロックの一部は、統合処理部５０に含まれるコンピュータとしてのＣＰＵ５３に、記憶媒体としてのメモリ５４に記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。
又、図２に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

図２における画像処理装置１００は、移動体としての車両１に搭載されており、少なくとも統合処理部５０を含む。カメラユニット１１～１４の筐体内には夫々撮像部２１～２４が配置されている。
撮像部２１～２４は夫々光学系としてのレンズ２１ｃ～２４ｃと、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの撮像素子２１ｄ～２４ｄを有する。

光学系としてのレンズ２１ｃ～２４ｃは、夫々１枚以上の光学レンズから構成されており、光学像を夫々撮像素子２１ｄ～２４ｄの受光面に形成する。撮像素子２１ｄ～２４ｄは撮像手段として機能しており、光学像を光電変換して撮像信号を出力する。撮像素子２１ｄ～２４ｄの受光面には例えばＲＧＢの色フィルタが画素毎に配列されている。ＲＧＢの配列は例えばベイヤー配列となっている。

従って、撮像素子からは、ベイヤー配列に従って例えば所定の行からはＲ，Ｇ，Ｒ、Ｇの信号が順次出力され、隣の行からはＧ，Ｂ，Ｇ，Ｂ、の信号が順次出力されるように構成されている。

３１～３４はカメラ処理部であり、撮像部２１～２４と共に夫々同じカメラユニット１１～１４の筐体に収納されており、撮像部２１～２４から出力された撮像信号を夫々処理する。尚、図２では撮像部２４、カメラ処理部３４の詳細及びその配線は便宜上省略されている。

カメラ処理部３１～３４は夫々画像処理部３１ａ～３４ａを有する。画像処理部３１ａ～３４ａは撮像部２１～２４から出力された撮像信号を夫々画像処理する。尚、カメラ処理部３１の一部又は全部を撮像素子２１ｄ～２４ｄ内の積層された信号処理部で行っても良い。

具体的には、画像処理部３１ａ～３４ａは、撮像部２１～２４からベイヤー配列に従って入力された画像データを夫々デベイヤ処理し、ＲＧＢのラスタ形式の画像データへ変換する。更に、ホワイトバランスの調整やゲイン・オフセット調整、ガンマ処理、カラーマトリックス処理や可逆圧縮処理など種々の補正処理を行う。但し、本実施形態では、非可逆圧縮処理などは行わず、いわゆるＲＡＷ画像信号を形成する。

尚、カメラ処理部３１～３４の内部にはコンピュータとしてのＣＰＵや記憶媒体としてのコンピュータプログラムを記憶したメモリが内蔵されている。又、ＣＰＵはメモリ内のコンピュータプログラムを実行することにより、カメラ処理部３１～３４内の各部を制御するように構成されている。

尚、本実施形態では、画像処理部３１ａ～３４ａは例えば専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などのハードウェアを用いる。それによって、高解像度領域の画像認識の高速化が実現でき、事故を回避できる可能性を高めることができる。尚、画像処理部３１ａ～３４ａは、夫々レンズ２１ｃ～２４ｃの歪曲を補正するための歪曲補正機能を持っていても良い。

尚、カメラ処理部３１～３４の内部の機能ブロックの一部又は全部を、ＣＰＵに、メモリに記憶されたコンピュータプログラムを実行させることによって実現しても良いが、その場合には、ＣＰＵの処理速度を高めることが望ましい。

４１は測距部であり、測距ユニット１５の筐体に収納されており、ＬｉＤＡＲ方式又はＴＯＦ方式の距離センサなどから構成されている。この測距部４１は、例えば１秒に１０回転する回転機構に搭載されており、車両１から車両１の周囲３６０°に存在する物体までの距離情報を周期的に取得することができる。

５０は統合処理部であり、ＳＯＣ（Ｓｙｔｅｍ Ｏｎ Ｃｈｉｐ）／ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）５１、バッファメモリ５２、コンピュータとしてのＣＰＵ５３、記憶媒体としてのメモリ５４を有する。又、統合処理部５０は、ＧＰＵなどの画像処理に特化したプロセッサを有してもよい。ＣＰＵ５３はメモリ５４に記憶されたコンピュータプログラムを実行することによって、画像処理装置１００全体の各種制御を行う。

尚、本実施形態では統合処理部５０はカメラユニットとは別の筐体で収納されている。尚、本実施形態では、統合処理部５０や表示部６０は移動体としての車両１に搭載されているが、移動体から離れた場所に配置しても良く、その場合には通信手段を介して複数のカメラユニット１１～１４や、測距部４１と接続する。そして、カメラユニット１１～１４からの画像や、測距部４１からの距離データを、通信手段を介して取得して俯瞰画像を生成して表示する。又、通信手段を介して移動制御手段としての走行制御ＥＣＵと双方向通信を行う。

ＳＯＣ／ＦＰＧＡ５１は、画像取得部５１ａ、距離情報取得部５１ｂ、第１の俯瞰画像生成部５１ｃ、第２の俯瞰画像生成部５１ｄを有する。第１の俯瞰画像生成部５１ｃは距離情報を用いた第１俯瞰画像を生成し、第２の俯瞰画像生成部は距離情報を用いない第２俯瞰画像を生成する。

画像取得部５１ａはカメラ処理部３１～３４からのＲＡＷ画像信号を夫々取得してバッファメモリ５２に格納する。画像取得部５１ａはＲＡＷ画像信号を１秒間に例えば６０フレーム読み込む。尚、画像取得部５１ａは、移動体に配置された複数のカメラユニットから移動体の周囲を撮影した撮影画像を取得する画像取得ステップを実行する画像取得手段として機能している。

画像取得部５１ａがＲＡＷ画像信号を読み込む周期は、撮像素子２１ｄ～２４ｄの仕様によって決まる。本実施例では撮像素子２１ｄ～２４ｄから１秒間に最大６０フレーム読み込みが可能なものとし、１６．６ｍｓｅｃ（＝１秒／６０フレーム）毎にカメラ処理部３１～３４から４つの画像を同時に読み込むものとする。

距離情報取得部５１ｂは、測距部４１からの距離データを取得してバッファメモリ５２に格納する。距離情報取得部５１ｂは、車両１の周囲３６０°の距離データを、１秒間に１０周分読み込む。ここで、距離情報取得部５１ｂは、移動体の周囲の物体までの距離情報を取得する距離情報取得ステップを実行する距離情報取得手段として機能している。距離情報取得部５１ｂが距離データを読み込む周期は、測距部４１の仕様によって決まり、本実施形態では１秒間に１０周分の読み込みが可能なものとする。つまり１周分のデータを取得するのに１００ｍｓｅｃかかる。

また測距データは車両１の１周分（３６０°）毎にデータが一気に送られてくるのではなく、１周の測距データを例えば２１７０１回に分けて送ってくる。そのため、距離情報取得部５１ｂは４６．０８μ秒（＝１秒÷１０周÷２１７０１回）毎に０．１６６°（＝３６０÷２１７０１）分のデータをバッファメモリ５２に保存する。バッファメモリ５２の保存する距離データは車両１の１周分＋α（例えば１．２周分など）であり、リングバッファなどを用いて古いデータを上書きしていく。

第１の俯瞰画像生成部５１ｃは、バッファメモリ５２から画像取得部５１ａが取得した画像データと、距離情報取得部５１ｂが取得した距離データとを読み出して、距離情報を用いて歪みのない第１俯瞰画像を生成する。ここで、第１の俯瞰画像生成部５１ｃは、距離情報を用いて、複数の前記撮影画像から第１俯瞰画像を生成する第１の俯瞰画像生成手段として機能している。俯瞰画像は、画像取得部５１ａによりカメラ処理部３１～３４から１フレーム期間の画像データの読み込みが完了したタイミング毎に行う。

その際に、カメラ処理部３１～３４から取得した４枚の画像データと、最新の１周分の測距データ（距離情報）を用いて第１俯瞰画像を生成する。またカメラ処理部３１～３４から１フレーム期間の画像データの読み込みが完了するたびに俯瞰画像を作ることから、第１の俯瞰画像生成部５１ｃは１６．６ｍｓｅｃ毎に１枚の、距離情報を用いた第１俯瞰画像を生成する。

第２の俯瞰画像生成部５１ｄは、バッファメモリ５２から画像取得部５１ａが取得した画像データのみを読み出して、距離情報を用いずに第２の俯瞰画像を生成する。ここで、第２の俯瞰画像生成部５１ｄは、距離情報を用いずに、複数の前記撮影画像から第２俯瞰画像を生成する第２の俯瞰画像生成手段として機能している。このとき距離データを使用しないため、歪みの大きな俯瞰画像が生成される。又、第１の俯瞰画像生成部５１ｃと同様に、１６．６ｍｓｅｃ毎に１枚の、距離情報を用いない第２の俯瞰画像を生成する。

６０は例えば液晶ディスプレイなどの表示部であり、例えば車両１の運転席の前方の車幅方向の中央付近の操作パネル周辺に設置される。第１の俯瞰画像生成部５１ｃ、及び第２の俯瞰画像生成部５１ｄで生成した俯瞰画像は、表示部６０に表示される。尚、表示部６０は前述のように移動体とは離れた場所に設けても良い。
７０は車両１に搭載された、移動制御手段としての走行制御ＥＣＵであり、車両１の駆動制御、方向制御などを総合的に行うためのコンピュータやメモリを内蔵したユニットである。

統合処理部５０は、走行制御ＥＣＵ７０から、車両制御信号として例えば走行速度、走行方向、シフトレバー、シフトギア、ウインカーの状態、地磁気センサなどによる車両の向きなどの車両の走行（移動状態）に関する情報などを取得する。尚、走行制御ＥＣＵ７０は、統合処理部５０からの情報などに基づき移動体としての車両１の移動制御を行う移動体制御手段として機能している。尚、統合処理部５０は、移動体の移動速度などの移動状態を、走行制御ＥＣＵ７０から取得する移動状態検知ステップを実行する移動状態検知手段として機能している。

図３は実施形態１の統合処理部５０の一連の動作を説明するためのフローチャートである。図３のフローは、統合処理部５０のＣＰＵ５３がメモリ５４内のコンピュータプログラムを実行することにより順次行われる。

ステップＳ３０１において、ＣＰＵ５３は、車両１の現在の走行速度が所定速度以下であるかを判定する。走行速度は、走行制御ＥＣＵ７０から受け取る。又、走行制御ＥＣＵ７０とはＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＦｌｅｘＲａｙ、Ｅｔｈｅｒｎｅｔ（登録商標）などのプロトコルを用いて内部に設けられた不図示の通信手段を介して通信を行う。

ステップＳ３０１で車両１の車速が所定速度以下と判定した場合は、ステップＳ３０２に遷移し、ＣＰＵ５３は、第１の俯瞰画像生成部５１ｃにより距離情報を用いた第１俯瞰画像を生成する。それにより歪みのない俯瞰画像を生成することができる。ここで、ステップＳ３０２は、距離情報を用いて、複数の撮影画像から第１俯瞰画像を生成する第１の俯瞰画像生成ステップとして機能している。

図４（Ａ）、（Ｂ）は車両１の上部から見下ろした俯瞰画像の表示例を示す図である。図４（Ａ）は、距離情報を用いて第１俯瞰画像を生成したときの表示例を示す図で、図４（Ｂ）は、距離情報を用いずに第２俯瞰画像を生成したときの表示例を示す図である。

４０１は自身の車両１を表すアイコンであり、４０２は自身の車両１の横に停車している他車両、４０３は他車両４０２の後部タイヤある。図４（Ａ）に示される、距離情報を用いて生成された第１俯瞰画像においては、他車両４０２や後部タイヤ４０３が歪みのない（少ない）形状で表示される。それに対して、図４（Ｂ）に示される、距離情報を用いずに生成された第２俯瞰画像では、他車両４０２や後部タイヤが大きな歪を持って表示される。

ステップＳ３０１で車両１の車速が所定速度よりも大きいと判定した場合は、ステップＳ３０３に遷移し、ＣＰＵ５３は、図２の第２の俯瞰画像生成部５１ｄにより第２俯瞰画像を生成する。そのため、図４（Ｂ）に示されるように、近くの被写体については、歪みの大きな俯瞰画像が生成される。尚、ステップＳ３０２は、距離情報を用いずに、複数の撮影画像から第２俯瞰画像を生成する第２の俯瞰画像生成ステップとして機能している。

このように、ステップＳ３０１～ステップＳ３０３においては、移動体の移動速度が所定速度以下の場合は、第１の俯瞰画像生成部により第１俯瞰画像を生成し、移動速度が所定速度より大きい場合は第２の俯瞰画像生成部により第２俯瞰画像を生成している。ここで、ステップＳ３０１～ステップＳ３０３は、移動体の移動状態に応じて、第１の俯瞰画像生成ステップ又は第２の俯瞰画像生成ステップにより、第１俯瞰画像又は第２俯瞰画像の一方を生成する制御ステップ（制御手段）として機能している。

尚、ステップＳ３０１で車速を判定する際の所定速度は例えば１０ｋｍ／ｈなどとしているが、これに限定されない。ただし車両１が比較的高速で走行しているときに、距離情報を用いて第１の俯瞰画像を生成した場合には、正しい位置に周囲の物体が表示されなくなるため、ステップＳ３０１における所定速度は、比較的低速（例えば、徐行とみなせる速度）に設定するのが望ましい。

距離情報を用いて第１俯瞰画像を生成する場合に用いられる距離情報は、撮影した時刻より０～１００ｍｓｅｃ前に取得された距離情報なので、車速が高速になるほど俯瞰画像が大きく歪んだり、俯瞰画像の一部が欠落したりししまうからである。尚、車両の速度が比較的高速の場合には、車両の近くの被写体の歪みは相対的に無視できる。

図５は撮像部２１～２４の撮影タイミングと測距部４１から車両１の周囲の距離データを取得するタイミングを表す図である。図２で前述したように、距離情報取得部５１ｂは車両１の周囲３６０°の距離情報を取得するのに１００ｍｓｅｃかかるため、撮影した時刻より０～１００ｍｓｅｃ前に取得した距離データ（距離情報）を使って第１俯瞰画像を生成する。

このように、撮影画像の取得周期と、距離情報の取得周期は異なっている。従って、例えば５０１で示す時刻ｔで撮影した画像から第１俯瞰画像を生成する場合、時刻ｔ－１００ｍｓｅｃから時刻ｔの間に取得した距離データを参照して俯瞰画像を生成する。つまり画像を撮影した時刻と距離データを取得した時刻は完全には一致しない。

図６は車両１が走行しているときの車両１の位置と、物体６０１の位置の例を表す図である。撮像部２１～２４が時刻ｔで撮影したときには車両１は６０２の位置を走行しているのに対して、第１俯瞰画像生成時に参照する距離データの取得を開始する時刻ｔ－１００ｍｓｅｃ時には車両１は６０３の位置を走行している。

６０４は車両１が６０２を走行している時刻ｔ時点での車両１から物体６０１までの距離と方向を示す線であり、６０５は車両１が６０３の位置を走行している時刻ｔ－１００ｍｓｅｃ時点での車両１から物体６０１までの距離と方向を示す線である。６０３と６０４は長さに違いがあり、角度６０６があることから、車両１から物体６０１までの距離と方向が違っていることが分かる。

また車両１の車速が速いほど１００ｍｓｅｃの間に車両１の移動する距離が長くなるため、撮影したときと測距したときとで物体までの位置と距離の違いが大きくなり、第１俯瞰画像表示時に正しい位置に物体６０１が表示されなくなる。そのため、ステップＳ３０１で判定する所定速度は例えば１０ｋｍ／ｈなどの低速にすることが望ましい。車両１が低速で走行しているときや停車しているときは、撮影時と測距時とで物体６０１までの距離と位置が大きく変化しないため、距離情報を用いた第１俯瞰画像表示時に物体が正しい位置に表示される。

実施形態１によれば、カメラと距離センサの同期ずれが大きく影響するような高速で車両が走行しているときは、距離データを使わずに第２俯瞰画像を生成する。従って、物体が比較的正しい位置に表示された俯瞰画像を生成することができる。一方、カメラと距離センサの同期ずれの影響が比較的小さい低速で車両が走行しているときは、距離情報を使用して第１俯瞰画像を生成することにより、車両近傍の被写体の歪みが少なく、物体までの距離を把握しやすい俯瞰画像を表示することが可能となる。

［実施形態２］
次に図７、８を用いて実施形態２を説明する。
図７は実施形態２における画像処理装置の構成を説明するための機能ブロック図である。

実施形態２の機能ブロック図は、実施形態１で説明した図２に対して、５１ｅ認識部と５１ｆ追跡部が追加になっている点が異なる。認識部５１ｅは、撮像部２１～２４で撮影した画像の認識を行って、画像中の物体の検出を行う。尚、ここで認識部５１ｅは、移動体の周囲の物体の移動状態を検知する移動状態検知手段として機能していると共に、物体の移動体に対する相対的な移動速度を取得する画像認識手段としても機能している。追跡部５１ｆは認識された物体を追跡し、その位置の特定を行う。

図８は実施形態２の統合処理部５０の一連の動作を説明するためのフローチャートである。図８のフローは、統合処理部５０のＣＰＵ５３がメモリ５４内のコンピュータプログラムを実行することにより順次行われる。

ステップＳ８０１において、ＣＰＵ５３は、撮像部２１～２４で撮影した画像をもとに、認識部５１ｅによって物体の検出を行う。即ち、認識部５１ｅは、車／バイク／人／信号／標識／道路の白線／ライトの光線などを画像認識によって検出する。このとき、検出した物体の種類とともに、画像上の物体の大きさと位置情報をピクセル単位で検出し、検出結果をメモリ５４に保存する。

次に、ステップＳ８０２に進み、ＣＰＵ５３は、ステップＳ８０１で検出した物体の追跡を追跡部５１ｆによって行う。追跡部５１ｆは、撮像部２１～２４で撮影した画像に基づきステップＳ８０１で検出した物体の位置を特定する。そして、特定した物体の位置情報を、１フレーム分の画像を撮影するたびにメモリ５４に保存し、前フレーム撮影時の物体の位置と比較することにより、ステップＳ８０１で検出した物体が所定量以上動いているか否かを判定する。尚、ステップＳ８０１の物体検出、及びステップＳ８０２の物体追跡は、例えばインテル社のオープンソースのライブラリである「Ｏｐｅｎ ＣＶ」を用いても良い。

そして移動体と判定した場合、物体が画像上で所定量以上動いていない場合はステップＳ３０２に遷移し、ＣＰＵ５３は、第１の俯瞰画像生成部５１ｃにより、距離情報を用いた第１俯瞰画像を生成する。一方、ステップＳ８０２で物体が動いていない場合はステップＳ３０３に遷移し、ＣＰＵ５３は、第２の俯瞰画像生成部５１ｄにより、距離情報を使わずに第２俯瞰画像を生成する。

以上のように、実施形態２では、車両１の周辺にカメラと距離センサの同期ずれによる影響が大きい、相対的に高速で動く移動体があることを画像認識によって検出したときは、距離情報を使わずに第２の俯瞰画像生成部５１ｄにより第１俯瞰画像を生成する。従って、移動体が正しい位置に表示されない俯瞰画像を生成することを防ぐことができる。

図９は、自身の車両１が交通量の多い道路の路肩に停車中であるときの状況を表す図である。例えば図９のように、自身の車両１が交通量の多い道路の路肩に停車中で、そのすぐ横を他車両９０１、９０２などの移動体が高速で走行しているときは、距離情報を使わずに第２の俯瞰画像生成部５１ｄにより第２俯瞰画像を生成する。

またステップＳ８０１で検出する物体を、例えば標識や信号などの固定物とした場合、ステップＳ８０２で物体の移動量を判定すれば、自身の車両１が固定物に対して相対的に高速で移動しているか否かを判別することが可能となる。例えば道路に固定されていて動くことのない信号や標識の位置が画像を取り込む毎に所定量以上動いている場合は、自身の車両１が相対的に走行していることを意味する。

実施形態１では車両１の車速を判定するために、図２の走行制御ＥＣＵ７０から車速を取得していたが、実施形態２では画像から自身の車両１の走行状態を判定するため、走行制御ＥＣＵ７０から車速を取得する必要がない。従って、実施形態１よりも簡単な構成で、車両が動いているときでも、画像上の正しい位置に物体を配置する俯瞰画像処理装置を提供することが可能となる。

［実施形態３］
図１０は実施形態３の統合処理部５０の一連の動作を説明するためのフローチャートである。図１０のフローは、統合処理部５０のＣＰＵ５３がメモリ５４内のコンピュータプログラムを実行することにより順次行われる。

ステップＳ１００１において、ＣＰＵ５３は、車両１のシフトレバーのポジションがＲ（リバース）かどうかを判定する。シフトレバーのポジションは、走行制御ＥＣＵ７０から受け取る。

ステップＳ１００１で車両１のシフトレバーのポジションがＲと判定した場合は、ステップＳ３０２に遷移し、ＣＰＵ５３は、第１の俯瞰画像生成部５１ｃにより第１俯瞰画像を生成する。つまり移動体としての車両１の移動方向が後退方向であることを検知した場合には、高速に走行することはないため、物体の形状が歪むことがなく、また物体までの距離を把握しやすい第１俯瞰画像を生成する。一方、ステップＳ１００１で車両１のシフトレバーのポジションがＲでないと判定した場合は、ステップＳ３０３に遷移し、ＣＰＵ５３は、第２の俯瞰画像生成部５１ｄにより第２俯瞰画像を生成する。

尚、ステップＳ１１０１で、シフトレバーがＲのポジションの場合であっても、車両１の車速が所定値より大きいときは、ステップＳ３０３で、ＣＰＵ５３は、第２の俯瞰画像生成部５１ｄにより第２俯瞰画像を生成するように構成しても良い。

［実施形態４］
実施形態４は実施形態１～３を組み合わせた実施形態である。
図１１は実施形態４の統合処理部５０の一連の動作を説明するためのフローチャートである。図１１のフローは、統合処理部５０のＣＰＵ５３がメモリ５４内のコンピュータプログラムを実行することにより順次行われる。

ステップＳ１１０１で、ＣＰＵ５３は、車両１のシフトレバーのポジションがＲ（リバース）か否かを判定する。ステップＳ１１０１でＹｅｓの場合は、ステップＳ１１０２に遷移し、ＣＰＵ５３は、第１の俯瞰画像生成部５１ｃにより第１俯瞰画像を生成する。
一方、ステップＳ１１０１で車両１のシフトレバーのポジションがＲでないと判定した場合は、ステップＳ１１０３に遷移し、ＣＰＵ５３は、車両１の車速が所定速度以下であるかを判定する。

ステップＳ１１０３でＹｅｓであればステップＳ１１０４に遷移し、ＮｏであればステップＳ１１０５に遷移し、ＣＰＵ５３は、第２の俯瞰画像生成部５１ｄにより第２俯瞰画像を生成する。ステップＳ１１０４では、ＣＰＵ５３は、物体が所定量以上動いているか否かを判定し、ＹｅｓであればステップＳ１１０５に遷移し、ＮｏであればステップＳ１１０２に遷移し、ＣＰＵ５３は、第１俯瞰画像を生成する。
以上説明したように、実施形態４では、実施形態１～３を組み合わせて制御しているが、このような組み合わせに限定されない。

尚、上述の実施形態においては車両などの移動体に画像処理装置を接続した例について説明した。しかし、これらの実施形態の移動体は、自動車などの車両に限らず、列車、船舶、飛行機、ロボット、ドローンなどの移動をする移動体であれば、どのようなものであっても良い。又、実施形態の画像処理装置はそれらの移動体に接続されていれば良く、移動体に搭載されていても良いし、搭載されていなくても良い。又、例えば表示部６０に表示された画像等に基づき移動体をリモートでコントロールする場合にもこれらの実施形態の構成を適用することができる。

［実施形態５］
上述した実施形態１～４において説明された様々な機能、処理及び方法の少なくとも１つは、プログラムを用いて実現することができる。以下、実施形態５では、上述した実施形態１おいて説明された様々な機能、処理及び方法の少なくとも１つを実現するためのプログラムを「プログラムＸ」と呼ぶ。更に、実施形態５では、プログラムＸを実行するためのコンピュータを「コンピュータＹ」と呼ぶ。パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などは、コンピュータＹの１例である。上述した実施形態における画像処理装置などのコンピュータも、コンピュータＹの１例である。

上述した実施形態１～４において説明された様々な機能、処理及び方法の少なくとも１つは、コンピュータＹがプログラムＸを実行することによって実現することができる。この場合において、プログラムＸは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＹに供給される。実施形態５におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、ＲＯＭ、ＲＡＭなどの少なくとも１つを含む。更に、実施形態５におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ（非一時的）な記憶媒体である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。又、上記の実施形態１～５を適宜組み合わせても良い。

尚、本実施形態の開示は、以下の構成および方法を含む。
（構成１）
移動体の周囲を撮影した撮影画像を取得する画像取得手段と、
前記移動体の周囲の物体までの距離情報を取得する距離情報取得手段と、
前記距離情報を用いて、複数の前記撮影画像から第１俯瞰画像を生成する第１の俯瞰画像生成手段と、
前記距離情報を用いずに、複数の前記撮影画像から第２俯瞰画像を生成する第２の俯瞰画像生成手段と、
前記移動体又は前記物体の移動状態を検知する移動状態検知手段と、
前記移動状態に応じて、前記第１の俯瞰画像生成手段又は前記第２の俯瞰画像生成手段により、前記第１俯瞰画像又は前記第２俯瞰画像の一方を生成する制御手段と、を有することを特徴とする画像処理装置。
（構成２）
前記制御手段は、前記移動体又は前記物体の移動速度が所定速度以下の場合は、前記第１の俯瞰画像生成手段により前記第１俯瞰画像を生成し、前記移動速度が前記所定速度より大きい場合は前記第２の俯瞰画像生成手段により前記第２俯瞰画像を生成することを特徴とする構成１に記載の画像処理装置。
（構成３）
前記移動状態検知手段は、前記移動体の移動制御を行う移動体制御手段から前記移動体の移動速度を取得することを特徴とする構成１または２に記載の画像処理装置。
（構成４）
前記移動状態検知手段は、前記物体の前記移動体に対する相対的な移動速度を取得する画像認識手段を備えることを特徴とする構成１から３に記載の画像処理装置。
（構成５）
前記制御手段は、前記移動状態検知手段により、前記移動体の移動方向が後退方向であることを検知した場合は、前記第１の俯瞰画像生成手段により前記第１俯瞰画像を生成することを特徴とする構成１から４のいずれか１項に記載の画像処理装置。
（構成６）
前記画像取得手段は、前記移動体に配置された複数のカメラユニットからの前記撮影画像を取得することを特徴とする構成１から５のいずれか１項に記載の画像処理装置。
（構成７）
前記距離情報取得手段は、ＬｉＤＡＲ方式又はＴＯＦ方式で測定された前記物体までの前記距離情報を取得することを特徴とする構成１から６のいずれか１項に記載の画像処理装置。
（構成８）
前記撮影画像の取得周期と、前記距離情報の取得周期が異なることを特徴とする構成１から７のいずれか１項に記載の画像処理装置。
（構成９）
構成１から８のいずれか１項に記載の画像処理装置と接続され、
前記撮影画像を取得するための複数のカメラユニットと、
前記移動体の周囲の前記物体までの前記距離情報を取得するための測距手段と、
前記移動体の移動を制御するための移動制御手段と、を搭載した移動体。
（方法１）
移動体の周囲を撮影した撮影画像を取得する画像取得ステップと、
前記移動体の周囲の物体までの距離情報を取得する距離情報取得ステップと、
前記距離情報を用いて、複数の前記撮影画像から第１俯瞰画像を生成する第１の俯瞰画像生成ステップと、
前記距離情報を用いずに、複数の前記撮影画像から第２俯瞰画像を生成する第２の俯瞰画像生成ステップと、
前記移動体又は前記物体の移動状態を検知する移動状態検知ステップと、
前記移動状態に応じて、前記第１の俯瞰画像生成ステップ又は前記第２の俯瞰画像生成ステップにより、前記第１俯瞰画像又は前記第２俯瞰画像の一方を生成する制御ステップと、を有することを特徴とする画像処理方法。

１：車両
１１～１４：カメラユニット
１５：測距ユニット
２１～２４：撮像部
３１～３４：カメラ処理部
４１：測距部
５０：統合処理部
５１ａ：画像取得部
５１ｂ：距離情報取得部
５１ｃ：第１の俯瞰画像生成部
５１ｄ：第２の俯瞰画像生成部
６０：表示部
７０：走行制御ＥＣＵ
１００：画像処理装置

Claims (11)

1. 移動体の周囲を撮影した撮影画像を取得する画像取得手段と、
   前記移動体の周囲の物体までの距離情報を取得する距離情報取得手段と、
   前記距離情報を用いて、複数の前記撮影画像から第１俯瞰画像を生成する第１の俯瞰画像生成手段と、
   前記距離情報を用いずに、複数の前記撮影画像から第２俯瞰画像を生成する第２の俯瞰画像生成手段と、
   前記移動体又は前記物体の移動状態を検知する移動状態検知手段と、
   前記移動状態に応じて、前記第１の俯瞰画像生成手段又は前記第２の俯瞰画像生成手段により、前記第１俯瞰画像又は前記第２俯瞰画像の一方を生成する制御手段と、を有することを特徴とする画像処理装置。
2. 前記制御手段は、前記移動体又は前記物体の移動速度が所定速度以下の場合は、前記第１の俯瞰画像生成手段により前記第１俯瞰画像を生成し、前記移動速度が前記所定速度より大きい場合は前記第２の俯瞰画像生成手段により前記第２俯瞰画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記移動状態検知手段は、前記移動体の移動制御を行う移動体制御手段から前記移動体の移動速度を取得することを特徴とする請求項１に記載の画像処理装置。
4. 前記移動状態検知手段は、前記物体の前記移動体に対する相対的な移動速度を取得する画像認識手段を備えることを特徴とする請求項１に記載の画像処理装置。
5. 前記制御手段は、前記移動状態検知手段により、前記移動体の移動方向が後退方向であることを検知した場合は、前記第１の俯瞰画像生成手段により前記第１俯瞰画像を生成することを特徴とする請求項１に記載の画像処理装置。
6. 前記画像取得手段は、前記移動体に配置された複数のカメラユニットからの前記撮影画像を取得することを特徴とする請求項１に記載の画像処理装置。
7. 前記距離情報取得手段は、ＬｉＤＡＲ方式又はＴＯＦ方式で測定された前記物体までの前記距離情報を取得することを特徴とする請求項１に記載の画像処理装置。
8. 前記撮影画像の取得周期と、前記距離情報の取得周期が異なることを特徴とする請求項１に記載の画像処理装置。
9. 請求項１に記載の画像処理装置と接続され、
   前記撮影画像を取得するための複数のカメラユニットと、
   前記移動体の周囲の前記物体までの前記距離情報を取得するための測距手段と、
   前記移動体の移動を制御するための移動制御手段と、を搭載した移動体。
10. 移動体の周囲を撮影した撮影画像を取得する画像取得ステップと、
    前記移動体の周囲の物体までの距離情報を取得する距離情報取得ステップと、
    前記距離情報を用いて、複数の前記撮影画像から第１俯瞰画像を生成する第１の俯瞰画像生成ステップと、
    前記距離情報を用いずに、複数の前記撮影画像から第２俯瞰画像を生成する第２の俯瞰画像生成ステップと、
    前記移動体又は前記物体の移動状態を検知する移動状態検知ステップと、
    前記移動状態に応じて、前記第１の俯瞰画像生成ステップ又は前記第２の俯瞰画像生成ステップにより、前記第１俯瞰画像又は前記第２俯瞰画像の一方を生成する制御ステップと、を有することを特徴とする画像処理方法。
11. 移動体の周囲を撮影した撮影画像を取得する画像取得ステップと、
    前記移動体の周囲の物体までの距離情報を取得する距離情報取得ステップと、
    前記距離情報を用いて、複数の前記撮影画像から第１俯瞰画像を生成する第１の俯瞰画像生成ステップと、
    前記距離情報を用いずに、複数の前記撮影画像から第２俯瞰画像を生成する第２の俯瞰画像生成ステップと、
    前記移動体又は前記物体の移動状態を検知する移動状態検知ステップと、
    前記移動状態に応じて、前記第１の俯瞰画像生成ステップ又は前記第２の俯瞰画像生成ステップにより、前記第１俯瞰画像又は前記第２俯瞰画像の一方を生成する制御ステップと、を有する制御方法をコンピュータに実行させるためのコンピュータプログラム。