JP2023144981A - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】移動体の前部と後部のなす角度が変化しても適切な合成画像を生成可能な画像処理装置を提供する。【解決手段】画像処理装置において、移動体の前部と前記移動体の後部のなす角度を検出する角度検出手段と、前記前部に設けた前部撮像手段により撮像した画像と前記後部に設けた後部撮像手段により撮像した画像を合成する合成手段と、前記合成手段において合成する前記画像の境界を、前記角度に基づき算出する境界算出手段と、を有することを特徴とする。【選択図】 図３

Description

本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関する。

近年、トレーラやホイールローダーのように、関節部により車両が屈曲するいわゆるアーティキュレート車両にカメラを設置し周辺の映像を表示する運転支援装置がある。

特許文献１には、連結車両の周囲を監視する運転支援装置が開示されている。又、トラクタに設けた複数のカメラで撮影した画像を視点変換して生成した俯瞰画像と、トラクタに連結されたトレーラに設けた複数のカメラで撮影した画像を視点変換して生成した俯瞰画像とを合成する構成が記載されている。

特開２０１９－２１６３８０号公報

しかしながら、上述の運転支援装置では、トラクタとトレーラの屈曲角度が変化した場合、俯瞰画像のつなぎ目に表示できない領域が生じるという問題がある。

そこで、本発明では、上記の課題を鑑みて、移動体の前部と後部のなす角度が変化しても適切な合成画像を生成可能な画像処理装置を提供することを１つの目的とする。

上記課題を解決するために、本発明の１つの側面の画像処理装置は、
移動体の前部と前記移動体の後部のなす角度を検出する角度検出手段と、
前記前部に設けた前部撮像手段により撮像した画像と前記後部に設けた後部撮像手段により撮像した画像を合成する合成手段と、
前記合成手段において合成する前記画像の境界を、前記角度に基づき算出する境界算出手段と、
を有することを特徴とする。

本発明によれば、移動体の前部と後部のなす角度が変化しても適切な合成画像を生成可能な画像処理装置を提供することが可能となる。

実施形態１の撮像部と車両の位置関係を説明する図である。 実施形態１における画像処理装置の構成を説明するための機能ブロック図である。 制御部４０の一連の動作を説明するためのフローチャートである。 （Ａ）、（Ｂ）はステップＳ３０３で決定した６画像の合成境界の１例を示す図である。 （Ａ）、（Ｂ）は車両前部１と車両後部２の屈曲角度がαのときの、左側方の合成境界４１１の算出方法を示す図である。 （Ａ）、（Ｂ）はカメラ１３、カメラ１４の位置を中心に座標変換した図である。 （Ａ）、（Ｂ）は車両前部１と車両後部２の屈曲角度がαのときの、右側方の合成境界４１２の算出方法を示す図である。 （Ａ）、（Ｂ）は夫々カメラ１１、カメラ１６の位置を中心に座標を変換した図である。 表示部５０に表示する俯瞰画像の１例を示す図である。 実施形態２における、俯瞰画像作成時の車両前部１と車両後部２の屈曲角度の決定処理例を示すフローチャートである。 実施形態３における、俯瞰画像作成時の車両前部１と車両後部２の屈曲角度の決定処理例を示すフローチャートである。 実施形態４における、表示部５０に表示する俯瞰画像と合成境界例を表した図である。

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

［実施形態１］
図１～図９を用いて第１の実施形態を説明する。
図１は実施形態１の撮像部と車両の位置関係を説明する図である。
図１において、１は車両前部、２は車両後部であって、車両前部１と車両後部２との間は連結部３により連結されている。この連結部３を中心として、車両前部１と車両後部２とが回転可能となっている。

４は運転室であり、車両後部２に設置されており、運転室４には運転席と各種の操作手段が備えられている。操作手段にはステアリングホイールが含まれており、運転者がステアリングホイールを操作することにより、連結部３を中心として車両前部１と車両後部２との間が屈曲する。

車両前部１の右側方、前方、左側方にカメラ１１、１２，１３が設置されており、車両後部２の左側方、後方、右側方にカメラ１４，１５，１６が設置されている。カメラ１１～１３は、夫々車両前部１の右側方、前方、左側方を撮影範囲とするように設置されている。同様にカメラ１４～１６は、夫々車両後部２の左側方、後方、右側方を撮影範囲とするように設置されている。尚カメラ１１～１６が有する光学系の光軸は、車両が水平面上に配置されている場合に略水平となるように設置されている。

本実施形態では、カメラ１１～１６は略同様の構成を有し、夫々撮像素子と、撮像素子の受光面に光学像を形成する光学系とを有する。又、本実施形態で使用するカメラ１１～１６が有する光学系は周囲を広く撮影することが可能な魚眼レンズや広角レンズとしている。
次に本実施形態における画像処理装置の構成について図２を用いて説明する。

図２は実施形態１における画像処理装置の構成を説明するための機能ブロック図である。尚、図２に示される機能ブロックの一部は、画像処理装置に含まれる不図示のコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。
又、図２に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

図２において画像処理装置１００は、移動体としての車両に搭載されており、カメラ１１～１６の筐体内には夫々撮像部２１～２６が配置されている。ここで、撮像部２１～２３が前部撮像部にあたり、２４～２６が後部撮像部にあたる。

撮像部２１～２６は夫々レンズ２１ｃ～２６ｃと例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの撮像素子２１ｄ～２６ｄを有する。光学系としてのレンズ２１ｃ～２６ｃは、１枚以上の光学レンズから構成されており、光学像を夫々撮像素子２１ｄ～２６ｄの受光面に形成する。撮像素子２１ｄ～２６ｄは撮像手段として機能しており、光学像を光電変換して撮像信号を出力する。

３０は屈曲角度検出部であり、車両前部１と車両後部２との屈曲角度を検出する。屈曲角度検出部３０は、車両前部１と車両後部２とを接続する連結部３に設けられたエンコーダなどのセンサにより構成されている。ここで、屈曲角度検出部３０は、移動体の前部と移動体の後部のなす角度を検出する角度検出手段として機能している。

４０は制御部であり、不図示のＳＯＣ（Ｓｙｔｅｍ Ｏｎ Ｃｈｉｐ）／ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、バッファメモリ、コンピュータとしてのＣＰＵ、記憶媒体としてのメモリ等により構成される。又、制御部４０は、ＧＰＵなどの画像処理に特化したプロセッサを有してもよい。又、制御部４０は、メモリに記憶されたコンピュータプログラムに基づき装置全体の各部の動作を制御する制御手段として機能する。尚、本実施形態では制御部４０はカメラとは別の筐体に収納されている。尚、画像処理装置１００の内の制御部４０や表示部５０は移動体から離れた位置に設けても良く、その場合には通信手段によって撮像部からの画像を取得して画像処理すれば良い。

画像取得部４０ａは撮像部２１～２６から夫々の画像信号を取得する。画像取得部４０ａは、画像信号を例えば１秒間に６０フレーム読み込む。
歪み補正部４０ｂは画像取得部４０ａで取得した画像の歪みを補正する。歪みはレンズ２１ｃ～２６ｃの歪みを補正する処理である。歪みを補正することにより、歪みの大きな魚眼・広角レンズで撮影した複数の画像を合成することが可能になる。

視点変換部４０ｃは画像取得部４０ａで取得した画像の視点を変換する視点変換手段として機能しており、撮像した画像の視点を変換して俯瞰画像を生成する。本実施形態では、カメラ１１～１６の光軸は略水平であるから、画像取得部４０ａで取得した画像の視点も略水平となる。そこで視点変換部４０ｃでは、例えば車両前部１、車両後部２の真上から真下を見下ろす仮想的な視点の画像に変換する。

合成部４０ｄは、視点変換部４０ｃで車両前部１、車両後部２の真上から真下を見下ろす視点の画像に変換した６つの視点変換画像を、合成境界決定部４０ｅが決定した合成境界に基づいて合成して、俯瞰画像を生成する。ここで、合成部４０ｄは、前部に設けた前部撮像手段により撮像した画像と後部に設けた後部撮像手段により撮像した画像を合成する合成手段として機能している。

合成境界決定部４０ｅは合成部４０ｄで６つの画像を合成する際の、合成する境界（つなぎ目）を決める境界算出手段として機能しており、合成手段において合成する画像の境界を、屈曲角度に基づき算出する。この合成境界の決定方法については、図４～図８を用いて詳述する。
５０は液晶ディスプレイ等の表示素子を含み、合成画像等を表示するための表示手段としての表示部である。

図３は制御部４０の一連の動作を説明するためのフローチャートである。尚、制御部４０内のコンピュータとしてのＣＰＵがメモリに記憶されたコンピュータプログラムを実行することによって図３のフローチャートの各ステップの動作が行われる。

ステップＳ３０１において、制御部４０のＣＰＵは、カメラ１１～１６の位置と、連結部３の位置を取得する。これらの値は車両に対する座標値であり固定値であり、予めメモリに記憶しておき、メモリから位置情報を読み出すことで取得する。
次にステップＳ３０２に進み、制御部４０のＣＰＵは、屈曲角度検出部３０から車両前部１と車両後部２の屈曲角度を取得する。屈曲角度は屈曲角度検出部３０に備えられているエンコーダなどのセンサの値を読み出すことにより取得する。ここで、ステップＳ３０２は、移動体の前部と移動体の後部のなす角度を検出する角度検出ステップとして機能している。

次にステップＳ３０３（境界算出ステップ）に進み、制御部４０のＣＰＵは、ステップＳ３０１で取得したカメラ１１～１６と連結部３の位置（車両に対する座標）と、ステップＳ３０２で取得した屈曲角度から合成境界を決定する。このステップＳ３０３合成境界決定処理の詳細は図４～図８を用いて後述する。

次にステップＳ３０４に進み、制御部４０のＣＰＵは、撮像部２１～２６から取得した６つの画像信号を不図示のバッファメモリに格納する。次にステップＳ３０５において、制御部４０のＣＰＵは、取得した６つの画像信号のすべてに対してレンズの歪みを補正する。歪み補正は、撮像部に備え付けられているレンズ２１ｃ～２６ｃの特性に応じて補正する。

次にステップＳ３０６に進み、制御部４０のＣＰＵは、ステップＳ３０５で歪み補正した６つの画像信号の視点を変換し、車両前部１、車両後部２の上から下に見下ろした画像に変換する。次にステップＳ３０７に進み、制御部４０のＣＰＵは、ステップＳ３０５で視点を変換した６画像を合成して、俯瞰画像作成処理を終了する。ここで、ステップＳ３０７は、前部に設けた撮像手段により撮像した画像と後部に設けた後部撮像手段により撮像した画像を合成する合成ステップとして機能している。

図４（Ａ）、（Ｂ）はステップＳ３０３で決定した６画像の合成境界の１例を示す図であり、図４（Ａ）は、車両前部１と車両後部２の屈曲角度が０のときの俯瞰画像作成時の合成境界の１例を示した図である。４０１は俯瞰画像の合成時に使用する車両前部１の前方カメラ１２で撮影した領域であり、４０２は俯瞰画像の合成時に使用する車両前部１の左側方カメラ１３で撮影した領域である。

４０３は俯瞰画像の合成時に使用する車両後部２の左側方カメラ１４で撮影した領域であり、４０４は俯瞰画像の合成時に使用する車両後部２の後方カメラ１５で撮影した領域である。４０５は俯瞰画像の合成時に使用する車両後部２の右側方カメラ１６で撮影した領域であり、４０６は俯瞰画像の合成時に使用する車両前部１の右側方カメラ１１で撮影した領域である。

４１１は車両前部１の左側方カメラ１３で撮影した画像と、車両後部２の左側方カメラ１４で撮影した画像との合成境界であり、４１２は車両前部１の右側方カメラ１１で撮影した画像と、車両後部２の右側方カメラ１６で撮影した画像との合成境界である。

４１３、４１４は、夫々車両前部１の前方カメラ１２と左側方カメラ１３で撮影した画像との合成境界、車両後部２の左側方カメラ１４と後方カメラ１５で撮影した画像との合成境界である。４１５、４１６は、車両後部２の後方カメラ１５と右側方カメラ１６で撮影した画像との合成境界、車両前部１の右側方カメラ１１と前方カメラ１２で撮影した画像との合成境界である。

図４（Ａ）に示すように、車両前部１と車両後部２の屈曲角度が０のときは、車両前部１と車両後部２の左側方カメラ１３、１４で撮影した画像の合成境界４１１は進行方向に対して例えば垂直である。そして、合成境界４１１を右方向に伸ばした線４１３は、連結部３の中心点を通る。同様に、車両前部１と車両後部２の右側方カメラ１１、１６で撮影した画像の合成境界４１２も同様に、進行方向に対して垂直であり、合成境界４１２を右方向に伸ばした線４１３は、連結部３の中心点を通る。

図４（Ｂ）は、車両前部１と車両後部２の屈曲角度が０以外のときの俯瞰画像作成時の合成境界の１例を示した図である。図４（Ｂ）に示すように、車両前部１と車両後部２の屈曲角度に応じて、合成境界４１１、及び合成境界４１２の進行方向に対する角度を変更している。

図５（Ａ）、（Ｂ）は車両前部１と車両後部２の屈曲角度がαのときの、左側方の合成境界４１１の算出方法を示す図である。又、図５（Ａ）は車両前部１の左側方カメラ１３で撮影した画像の、俯瞰画像を作成する際に使用する範囲４０２の算出方法を説明する図である。

５０１は車両前部１と連結部３の中心を結ぶ線、５０２は車両後部２と連結部３の中心を結ぶ線であり、車両前部１と車両後部２の屈曲角度をαとする。５０３は５０１と垂直で、連結部３の中心を通る線である。

先ず５０３と合成境界４１１の角度βを決定する。尚βの角度は、例えばβをαの半分の角度（α／２）とする。
Ｗ１は車両前部１の左側方カメラ１３と連結部３の中心までの車両前部１の横幅方向の長さである。Ｗ１値はカメラ１３を車両前部１に取り付けた時に決まっており、図３のステップＳ３０１でその位置に関する値（座標）を取得する。

βの角度が決まると、図５（Ａ）に示すＬ１の値は以下の式１で求められる。
Ｌ１＝Ｗ１×ｔａｎβ・・・・・（式１）
又、βの角度とＬ１の値が決まれば、合成境界４１１が決まる。

図６（Ａ）、（Ｂ）はカメラ１３、カメラ１４の位置を中心に座標変換した図であり、図６（Ａ）はカメラ１３の位置を中心に座標変換した図である。
６０１はカメラ１３から連結部３の中心までの、車両前部１の進行方向の長さである。この６０１の長さはカメラ１３の取り付け時に決まっている。

つまりカメラ１３から合成境界４１１までの長さ（６０１の長さ＋Ｌ１）と、合成境界４１１のカメラ１３の光軸方向に対する傾き角度（β）の２つの値が決まることから、合成境界４１１の座標を得ることが可能となる。
合成境界４１１の座標を得ることができれば、カメラ１３で撮影した画像のうち、俯瞰画像の合成に使用する範囲を確定することができる。

図５（Ｂ）は車両後部２の左側方カメラ１４で撮影した画像の、俯瞰画像を作成する際に使用する範囲４０３を算出する方法を説明するための図である。
５０４は連結部３の中心を通り車両後部２の進行方向に対して垂直な線である。この線５０４と合成境界４１１の角度をΘとすると、Θの値は屈曲角度αと図５（Ａ）で確定した角度βの値から式２により求められる。
Θ＝α－β・・・・（式２）

Ｗ２は車両後部２の左側方カメラ１４と連結部３の中心までの車両後部２の横幅方向の長さである。Ｗ２の値はカメラ１４の取り付け時に決まっており、図３のステップＳ３０１で値を取得する。

Θの角度が決まれば、図５（Ｂ）におけるＬ２の値は以下の式３で求められる。
Ｌ２＝Ｗ２×ｔａｎΘ・・・・（式３）
Θの角度とＬ２の値が決まれば、カメラ１４にとっての合成境界４１１の線を数式で求めることができる。
又、前述のように、βの角度とＬ１の値が決まれば、カメラ１３にとっての合成境界４１１が決まる。

図６（Ｂ）はカメラ１４の位置を中心に座標変換した図である。
６０２はカメラ１４から連結部３の中心までの、車両前部１の進行方向の長さである。この６０２の長さはカメラ１４の取り付け時に決まっている。

つまりカメラ１４から合成境界４１１までの長さ（６０２の長さ＋Ｌ２）と、カメラ１３に対する傾き角度（Θ）の２つの値が決まることから、カメラ１４にとっての合成境界４１１の座標を得ることが可能となる。
合成境界４１１の座標を得ることができれば、カメラ１４で撮影した画像のうち、俯瞰画像の合成に使用する範囲を確定することができる。

図７（Ａ）、（Ｂ）は車両前部１と車両後部２の屈曲角度がαのときの、右側方の合成境界４１２の算出方法を示す図である。
図７（Ａ）は車両前部１の右側方カメラ１１で撮影した画像の、俯瞰画像を作成する際に使用する範囲４０６の算出方法を説明する図である。

図５（Ａ）と同様に、先ず５０３と４１２の角度をβに設定すると、図５（Ａ）中のＬ３の値を式４で算出することができる。
Ｌ３＝Ｗ１×ｔａｎβ・・・・（式４）
上記の式４は図５（Ａ）で算出したＬ１を算出するための式１と同じであり、Ｌ３＝Ｌ１が成り立つ。

図８（Ａ）、（Ｂ）は夫々カメラ１１、カメラ１６の位置を中心に座標を変換した図であり、図８（Ａ）はカメラ１１の位置を中心に座標を変換した図である。
８０１はカメラ１１から連結部３の中心までの、車両前部１の進行方向の長さである。この８０１の長さはカメラ１４の取り付け時に決まっている。

つまりカメラ１１から合成境界４１２までの長さ（８０１の長さーＬ３）と、カメラ１３に対する傾き角度（β）の２つの値が決まることで、カメラ１１にとっての合成境界４１２の座標を得ることが可能となる。
合成境界４１２の座標を得ることができれば、カメラ１１で撮影した画像のうち、俯瞰画像の合成に使用する範囲を確定することができる。

図７（Ｂ）は車両後部２の右側方カメラ１６で撮影した画像の、俯瞰画像を作成する際に使用する範囲４０５の算出方法を説明する図である。
図５（Ｂ）と同様に、先ず線５０４と合成境界４１２の角度がΘの場合、図５（Ｂ）に示すＬ４の値を式５で算出することができる。
Ｌ４＝Ｗ２×ｔａｎΘ・・・・・（式５）
上記の式５は図５（Ｂ）で算出した、Ｌ２を算出するための式２と同じであり、Ｌ４＝Ｌ２が成り立つ。

図８（Ｂ）はカメラ１６の位置を中心に座標を変換した図である。
８０２はカメラ１６から連結部３の中心までの、車両前部１の進行方向の長さである。この８０２の長さはカメラ１６の取り付け時に決まっている。

つまりカメラ１６から合成境界４１２までの長さ（８０２の長さーＬ４）と、合成境界４１２のカメラ１３に対する傾き角度（Θ）の２つの値が決まることで、カメラ１６にとっての合成境界４１２の座標を得ることが可能となる。
合成境界４１２の座標を得ることができれば、カメラ１６で撮影した画像のうち、俯瞰画像の合成に使用する範囲を確定することができる。

図９は表示部５０に表示する俯瞰画像の１例を示す図である。
左側方の合成境界４１１、右側方の合成境界４１２は図４～図８を用いて前述したように、車両前部１、車両後部２の屈曲角度に応じて変わる。一方、合成境界４１３～４１６は屈曲角度にかかわらずカメラの位置関係が変わらないため、常に同じ角度で合成境界を設定すれば良い。

１ｃは車両前部を、２ｃは車両後部を表す車体のイメージ画像である。カメラ１１～１６は車両前部１と車両後部２の外側に備えられているため、撮影した画像には車両前部１と車両後部２が映らない。そのため車体のイメージ画像を俯瞰画像に重畳して表示する。

尚、本実施形態では、合成部４０ｄが合成境界に基づいて、視点変換画像を夫々切り出してつなぎ合わせて合成することで俯瞰画像を生成する例を説明したが、合成境界に基づく合成処理であればこれに限定しない。例えば、合成境界から所定の距離範囲（境界の近傍）の画像を重み付け加算（アルファブレンディング）することにより徐々に一方から他方に画像を切り替えて俯瞰画像を生成しても良い。即ち、前部撮像手段で撮影した画像と、後部撮像手段で撮影した画像を、合成境界の近傍で重み付け加算して合成するようにしても良い。

その場合に、合成境界からの所定の距離範囲をＤとすると、合成境界からの任意の距離ｄｉにおけるアルファブレンディング比率（重み付け加算係数）αｉは、次の式６により算出しても良い。
αｉ＝（Ｄ＋ｄｉ）／２Ｄ・・・・・（式６）
但し、ｄｉは合成境界より光軸に近い側を正、合成境界より外側を負とする。又、ｄｉ＞Ｄのときαｉ＝１、ｄｉ＜０のときαｉ＝０とする。

以上説明したように、本実施形態では、車両前部１と車両後部２の屈曲角度に応じて、合成境界を変えるので、つなぎ目に隙間のないアーティキュレート車両の画像処理装置を提供することが可能となる。又、２つのカメラで撮影した画像を合成する際に、屈曲角度に応じて、合成に用いる前記前部撮像手段で撮影した画像の範囲と、前記後部撮像手段で撮影した画像の範囲を変更しているので、つなぎ目に隙間の無い俯瞰画像を表示することが可能となる。

実施形態１では、車両前部１と車両後部２の屈曲角度を連結部３に設置されたエンコーダなどのセンサで検知している。しかし、移動体の運転室４内に備え付けられている、移動方向を操作するためのステアリングホイールなどの操作部の操作量から屈曲角度を検出するようにしても良い。即ち、移動体の方向を操作するための操作部の操作量から角度を検出するようにしても良い。

またカメラ１１～１６で撮影した画像を解析することにより、車両前部１と車両後部２の屈曲角度を検知しても良い。例えばＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）と呼ばれる方法を用いて、複数の視点で撮影した画像からカメラの位置姿勢を推定する方法で、屈曲角度を推定しても良い。

或いは車両前部１と車両後部２の左側方カメラ１３、１４で撮影した画像から白線などの特徴点などを抽出し、抽出した白線等の特徴点の角度に基づき、車両前部１と車両後部２の屈曲角度を検出（推定）するように構成しても良い。もちろん右側方カメラ１１、１６で撮影した画像を解析して、屈曲角度を推定するようにしてもかまわない。

このように、画像認識で屈曲角度を推定するように構成すれば、エンコーダなどのセンサ類が不要となるため、単純な構成で安価な画像処理装置を提供することが可能となる。
尚、ＳｆＭや画像解析の方法については、公知の方法を用いれば良く、ここでは説明を省略する。

［実施形態２］
図１０は実施形態２における、俯瞰画像作成時の車両前部１と車両後部２の屈曲角度の決定処理例を示すフローチャートである。尚、制御部４０内のコンピュータがメモリに記憶されたコンピュータプログラムを実行することによって図１０のフローチャートの各ステップの動作が行われる。

先ず制御部４０のＣＰＵは、ステップＳ１００１で屈曲角度検出部３０に備えられているエンコーダなどのセンサから周期的に屈曲角度α１を取得する。取得したα１の値は、メモリに保存する。次にステップＳ１００２で、制御部４０のＣＰＵは、前回、屈曲角度検出部３０から取得した屈曲角度α２の値をメモリから読み出す。

次にステップＳ１００３に進み、制御部４０のＣＰＵは、ステップＳ１００１で取得した屈曲角度α１とステップＳ１００２で取得した前回の屈曲角度α２とを比較し、α１とα２の差が所定値以上であればステップＳ１００４に進む。ステップＳ１００４では、制御部４０のＣＰＵは、現在表示中の俯瞰画像と同じ屈曲角度α３に基づき俯瞰画像を作成する。尚、ステップＳ１００３における所定値は例えば５°などとするが、これに限定されない。

一方、ステップＳ１００３でα１とα２の差が所定値未満の場合は、ステップＳ１００５に進み、制御部４０のＣＰＵは、ステップＳ１００１で屈曲角度検出部３０から取得した屈曲角度α１で俯瞰画像を作成する。そして、ステップＳ１００６で、現在表示中の俯瞰画像の屈曲角度α３の値を屈曲角度α１に書き換えてメモリに保存する。
このように、屈曲角度の変化が所定値以上の場合には、合成境界を変更しないように制御しているので、屈曲角度が急に変わっても、表示される俯瞰画像の屈曲角度が急激に変わることがなく、違和感を生じない。

［実施形態３］
図１１は実施形態３における、俯瞰画像作成時の車両前部１と車両後部２の屈曲角度の決定処理例を示すフローチャートである。尚、制御部４０内のコンピュータがメモリに記憶されたコンピュータプログラムを実行することによって図１１のフローチャートの各ステップの動作が行われる。

先ず制御部４０のＣＰＵは、ステップＳ１１０１で屈曲角度検出部３０に備えられているエンコーダなどのセンサから屈曲角度α１を取得し、メモリに保存する。この屈曲角度α１の値は、過去Ｘ回分の値をメモリに保存しておく。そしてステップＳ１１０２において、制御部４０のＣＰＵは、過去Ｘ回分の屈曲角度から移動平均αａｖｅを算出する。尚、Ｘの値は例えば１０などとするが、これに限定されない。

次にステップＳ１１０１に進み、制御部４０のＣＰＵは、車両前部１と車両後部２の屈曲角度をαａｖｅとして合成境界を決定し、俯瞰画像を作成する。
このように、複数回検出された屈曲角度の平均値に基づき境界を算出することで、俯瞰画像の屈曲部を滑らかに表示することができる。

［実施形態４］
図１２は実施形態４における、表示部５０に表示する俯瞰画像と合成境界例を表した図である。
４１１は、車両前部１の左側方カメラ１３で撮影した画像の範囲４０２と、車両後部２の左側方カメラ１４で撮影した画像の範囲４０３との合成境界を示している。実施形態１で説明した、図９に示した俯瞰画像と比較して、車両後部２の左側方カメラ１４で撮影した画像の範囲４０３の方が、俯瞰画像を作成する際に広い領域を利用している。

実施形態１では、すべてのカメラ１１～１６が同じものであると説明した。しかし、車両前部１の左側方カメラ１３のレンズよりも、車両後部２の左側方カメラ１４のレンズの方が高解像度の場合は、図１２に示すように、高解像度なレンズで撮影した画像を優先して、俯瞰画像を作成する際に広い領域を使用する。即ち、高解像度のレンズで撮影した画像の画角の方が、低解像度のレンズで撮影した画像の画角よりも広くなるようにする。

逆に、車両前部１の左側方カメラ１３に備えられているレンズの方が、車両後部２の左側方カメラ１４に備えられているレンズよりも高解像度である場合は、車両前部１の左側方カメラ１３で撮影した領域を広く使うように合成境界４１１を決定する。

又、レンズの解像度で合成境界４１１を判定するのではなく、カメラに備えられている撮像素子の解像度の違いによって合成境界４１１を判定するように構成しても良い。例えば、車両後部２の左側方カメラ１４の方が、車両前部１の左側方カメラ１３よりも、撮像素子の解像度が高い場合は、図１２に示すように車両後部２の左側方カメラ１４で撮影した画像の範囲４０３の画角の方が広くなるようにして俯瞰画像を作成しても良い。

このように、前部撮像手段の解像度と、後部撮像手段の解像度を比較し、解像度の高い方の撮像手段で撮影した画像の画角が解像度の低い方の撮像手段で撮影した画像の画角より大きくなるように合成境界を算出している。従って、より高解像度な俯瞰画像を表示することができる。

尚、上述の実施形態においては車両などの移動体に画像処理装置を搭載した例について説明した。しかし、本実施形態の移動体は、自動車などの車両に限らず、列車、船舶、飛行機、ロボット、ドローンなどの移動をする移動体であればどのようなものであってもよい。また、本実施形態の画像処理装置はそれらの移動体に搭載されるものを含む。
尚、本実施形態の画像処理装置は移動体とは離れた位置に配置されて移動体をリモートでコントロールするものも含む。

［実施形態５］
上述した実施形態１～４において説明された様々な機能、処理及び方法の少なくとも１つは、プログラムを用いて実現することができる。以下、実施形態５では、上述した実施形態１おいて説明された様々な機能、処理及び方法の少なくとも１つを実現するためのプログラムを「プログラムＸ」と呼ぶ。更に、実施形態５では、プログラムＸを実行するためのコンピュータを「コンピュータＹ」と呼ぶ。パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などは、コンピュータＹの１例である。上述した実施形態における画像処理装置などのコンピュータも、コンピュータＹの１例である。

上述した実施形態１～４において説明された様々な機能、処理及び方法の少なくとも１つは、コンピュータＹがプログラムＸを実行することによって実現することができる。この場合において、プログラムＸは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＹに供給される。実施形態６におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、ＲＯＭ、ＲＡＭなどの少なくとも１つを含む。更に、実施形態４におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ（非一時的）な記憶媒体である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。又、上記の実施形態１～５を適宜組み合わせても良い。

１：前部車両
２：後部車両
３：連結部
４：運転室
１１～１６：カメラ
２１～２６：撮像部
３０：屈曲角度検出部
４０：制御部
４０ａ：画像取得部
４０ｂ：歪み補正部
４０ｃ：視点変換部
４０ｄ：合成部
４０ｅ：合成境界決定部

Claims (14)

1. 移動体の前部と前記移動体の後部のなす角度を検出する角度検出手段と、
   前記前部に設けた前部撮像手段により撮像した画像と前記後部に設けた後部撮像手段により撮像した画像を合成する合成手段と、
   前記合成手段において合成する前記画像の境界を、前記角度に基づき算出する境界算出手段と、
   を有することを特徴とする画像処理装置。
2. 前記画像の視点を変換する視点変換手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記角度検出手段は、前記前部と前記後部を接続する連結部に備えられたセンサを含むことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記角度検出手段は、前記移動体の方向を操作するための操作部の操作量から前記角度を検出することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記角度検出手段は、前記前部撮像手段と前記前部撮像手段により撮影した前記画像から特徴点を抽出し、抽出した前記特徴点に基づき前記角度を検出することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記角度検出手段は、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）を用いて前記角度を検出することを特徴とする請求項５に記載の画像処理装置。
7. 前記合成手段は、前記角度に応じて、前記合成に用いる前記前部撮像手段で撮影した画像の範囲と、前記後部撮像手段で撮影した画像の範囲を変更することを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。
8. 前記境界算出手段は、前記角度の変化が所定値以上の場合には、前記境界を変更しないことを特徴とする請求項１～７のいずれか１項に記載の画像処理装置。
9. 前記境界算出手段は、複数回検出された前記角度の平均値に基づき前記境界を算出することを特徴とする請求項１～８のいずれか１項に記載の画像処理装置。
10. 前記境界算出手段は、前記前部撮像手段の解像度と、前記後部撮像手段の解像度を比較し、解像度の高い方の撮像手段で撮影した画像の画角が解像度の低い方の撮像手段で撮影した画像の画角より大きくなるように前記境界を算出することを特徴とする請求項１～９のいずれか１項に記載の画像処理装置。
11. 前記合成手段は、前記前部撮像手段で撮影した画像と、前記後部撮像手段で撮影した画像を、前記境界の近傍で重み付け加算して合成することを特徴とする請求項１～１０のいずれか１項に記載の画像処理装置。
12. 前記合成手段によって合成された画像を表示する表示手段をさらに有することを特徴とする請求項１～１１のいずれか１項に記載の画像処理装置。
13. 移動体の前部と前記移動体の後部のなす角度を検出する角度検出ステップと、
    前記前部に設けた前部撮像手段により撮像した画像と前記後部に設けた後部撮像手段により撮像した画像を合成する合成ステップと、
    前記合成ステップにおいて合成する前記画像の境界を、前記角度に基づき算出する境界算出ステップと、
    を有することを特徴とする画像処理方法。
14. 移動体の前部と前記移動体の後部のなす角度を検出する角度検出ステップと、
    前記前部に設けた前部撮像手段により撮像した画像と前記後部に設けた後部撮像手段により撮像した画像を合成する合成ステップと、
    前記合成ステップにおいて合成する前記画像の境界を、前記角度に基づき算出する境界算出ステップと、をコンピュータにより制御するためのコンピュータプログラム。
    
    

Images