JP2015070280A - 画像処理装置、カメラシステム、および画像処理方法 - Google Patents

Abstract

【課題】移動体周辺の結合画像の視認性を向上する。【解決手段】画像処理装置１５は、移動体１０の周辺を一部重複して撮像した複数の画像を取得する画像取得部１９と、移動体１０の制御情報を取得する制御情報取得部２１と、制御情報に応じた異なる結合位置で、複数の画像を結合し結合画像を生成する画像結合部２２とを備える。【選択図】図１

Description

本発明は、移動体の周辺の撮像画像を結合する画像処理装置、カメラシステム、および画像処理方法に関する。

従来、自動車等の移動体に複数の車載カメラを設置して移動体周辺を撮像し、生成した複数の撮像画像を用いて移動体周辺を俯瞰する結合画像を表示するアラウンドビューモニタシステムが知られている。このようなシステムにおいて、各撮像画像間のつなぎ目に視覚的な連続性を持たせる技術が知られている（例えば、特許文献１）。

特開２０１０−１１６１９６号公報

しかしながら、移動体周辺の環境や移動体の状態によっては、結合画像の視認性が低下することがあった。例えば、運転者の結合画像に対する要求は必ずしも一様でなく、結合画像は、移動体の多様な状態に対して運転者の要求を必ずしも満足するものでなかった。

かかる事情に鑑みてなされた本発明の目的は、移動体周辺の結合画像の視認性を向上する画像処理装置、カメラシステム、および画像処理方法を提供することにある。

上記課題を解決するために本発明に係る画像処理装置は、
移動体の周辺を一部重複して撮像した複数の画像を取得する画像取得部と、
前記移動体の制御情報を取得する制御情報取得部と、
前記制御情報に応じた異なる結合位置で、前記複数の画像を結合し結合画像を生成する画像結合部とを備える
ことを特徴とする。

また、本発明に係る画像処理装置は、
前記画像結合部は、前記制御情報に前記移動体の照明の点灯を示す情報が含まれるときに、前記結合画像上の暗部領域の面積を低減する結合位置で前記複数の画像を結合することが好ましい。

また、本発明に係る画像処理装置は、
前記画像結合部は、前記結合位置を、前記照明による光の照射領域と非照射領域との境界に略一致させることが好ましい。

また、本発明に係る画像処理装置は、
前記制御情報には、前記移動体の進行方向情報および速度情報の少なくとも一方が含まれることが好ましい。

また、本発明に係るカメラシステムは、
移動体の周辺を一部重複して撮像した複数の画像を生成する複数の撮像部と、
前記複数の撮像部が生成する前記複数の画像を取得する画像取得部と、
前記移動体の制御情報を取得する制御情報取得部と、
前記制御情報に応じた異なる結合位置で、前記複数の画像を結合し結合画像を生成する画像結合部とを備える
ことを特徴とする。

また、本発明に係るカメラシステムは、
前記画像結合部は、前記制御情報に前記移動体の照明の点灯を示す情報が含まれるときに、前記結合画像上の暗部領域の面積を低減する結合位置で前記複数の画像を結合することが好ましい。

また、本発明に係るカメラシステムは、
前記画像結合部は、前記結合位置を、前記照明による光の照射領域と非照射領域との境界に略一致させることが好ましい。

また、本発明に係るカメラシステムは、
前記複数の撮像部は、それぞれ独立の露出制御により前記複数の画像をそれぞれ生成することが好ましい。

また、本発明に係るカメラシステムは、
前記複数の撮像部は、前記移動体の周辺の明るさに応じた露出制御により前記複数の画像を生成することが好ましい。

また、本発明に係るカメラシステムは、
前記制御情報には、前記移動体の進行方向情報および速度情報の少なくとも一方が含まれることが好ましい。

また、本発明に係る画像処理方法は、
移動体の周辺を一部重複して撮像した複数の画像を取得するステップと、
前記移動体の制御情報を取得するステップと、
前記制御情報に応じた異なる結合位置で、前記複数の画像を結合し結合画像を生成するステップとを含む
ことを特徴とする。

本発明に係る画像処理装置、カメラシステム、および画像処理方法によれば、移動体周辺の結合画像の視認性を向上可能となる。

本発明の第１の実施形態に係るカメラシステムの概略構成を示す機能ブロック図である。 本発明の第１の実施形態に係るカメラシステムの構成要素の配置を示す概略図である。 本発明の第１の実施形態に係る撮像装置の撮像範囲を示す概略図である。 本発明の第１の実施形態に係る撮像装置の露出制御を説明する図である。 本発明の第１の実施形態に係る結合画像の例を示す図である。 本発明の第１の実施形態に係る撮像装置の動作を説明するフローチャートである。 本発明の第１の実施形態に係る画像処理装置の動作を説明するフローチャートである。 本発明の第２の実施形態に係る結合画像の例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。

（第１の実施形態）
はじめに、本発明の第１の実施形態に係るカメラシステムについて説明する。図１は、本発明の第１の実施形態に係るカメラシステムの概略構成を示す機能ブロック図である。

図１に示すように、カメラシステム１００は、複数の撮像部（フロントカメラ１１、リアカメラ１２、サイドカメラ１３）を含む撮像装置１４と、画像処理装置１５と、表示装置１６と、を備える。

図２に示すように、フロントカメラ１１は、移動体１０の前方の周辺領域を撮像可能となるように配置される。リアカメラ１２は、移動体１０の後方の周辺領域を撮像可能となるように配置される。サイドカメラ１３は、例えば左右のドアミラー１７において下向きに、移動体１０の側方の周辺領域をそれぞれ撮像可能となるように配置される。また、サイドカメラ１３は、移動体１０の左右両側にそれぞれ対称に配置される。画像処理装置１５は、移動体１０の任意の位置に配置される。表示装置１６は、運転席から視認可能な位置に配置される。

撮像装置１４は（図１参照）、フロントカメラ１１と、リアカメラ１２と、サイドカメラ１３（１３Ｌ，１３Ｒ）と、カメラ制御部１８と、を備える。

フロントカメラ１１、リアカメラ１２、およびサイドカメラ１３は、例えば魚眼レンズ等の画角の広いレンズを備えており、移動体１０の周辺領域を広角撮影可能である。図３に示すように、フロントカメラ１１の撮像範囲は、移動体１０の前方周辺領域ＦＡを含む。リアカメラ１２の撮像範囲は、移動体１０の後方周辺領域ＲｅＡを含む。左サイドカメラ１３Ｌの撮像範囲および右サイドカメラ１３Ｒの撮像範囲は、移動体１０の左側方周辺領域ＬＡおよび右側方周辺領域ＲＡをそれぞれ含む。

各カメラの撮像範囲は、移動体１０の四隅周辺において互いに重複する。詳細には、フロントカメラ１１の撮像範囲とサイドカメラ１３（１３Ｌ，１３Ｒ）の撮像範囲は、移動体１０の左前方の領域ＦＬＡおよび右前方の領域ＦＲＡにおいて互いに重複する。また、リアカメラ１２の撮像範囲とサイドカメラ１３（１３Ｌ，１３Ｒ）の撮像範囲は、移動体１０の左後方の領域ＲｅＬＡおよび右後方の領域ＲｅＲＡにおいて互いに重複する。以下、各カメラの撮像範囲が互いに重複する移動体１０周辺の領域を重複領域（ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡ）という。

カメラ制御部１８は（図１参照）、撮像装置１４の各部位の動作を制御する。例えば、カメラ制御部１８は、フロントカメラ１１、リアカメラ１２、およびサイドカメラ１３に移動体１０の周辺を同時に撮像させ、周期的に、例えば３０ｆｐｓで画像を生成させる。また、カメラ制御部１８は、車載ネットワーク１０１を介して情報の送受信を行う。例えば、カメラ制御部１８は、フロントカメラ１１、リアカメラ１２、およびサイドカメラ１３による画像を、撮像装置１４の外部機器に、車載ネットワーク１０１を介して出力する。

また、カメラ制御部１８は、移動体１０の周辺領域（ＦＡ，ＲｅＡ，ＬＡ，ＲＡ）の明るさに応じて、フロントカメラ１１、リアカメラ１２、左サイドカメラ１３Ｌ、および右サイドカメラ１３Ｒの露出制御をそれぞれ独立して行う。

例えば、カメラ制御部１８は（図４参照）、移動体１０の前方周辺領域ＦＡの中央付近に測光領域ＰＦＡを設定してフロントカメラ１１の露出制御を行う。ここで、移動体１０の照明（ヘッドランプ）を点灯すると、照明による光の照射領域ＢＡおよび非照射領域ＮＢＡの境界は、重複領域ＦＬＡ，ＦＲＡに含まれる。また、測光領域ＰＦＡは、照射領域ＢＡに含まれる。このため、照明点灯時にフロントカメラ１１が生成する画像は、光の照射領域ＢＡにおいて適切な露出となる。一方、照明の境界を境に非照射領域ＮＢＡにおいて輝度が低下し、視認性が低下する。

また、カメラ制御部１８は、移動体１０の後方周辺領域ＲｅＡの中央付近に測光領域ＰＲｅＡを設定してリアカメラ１２の露出制御を行う。移動体１０の照明（バックランプ）による光の照明領域ＢＡおよび非照射領域ＮＢＡの境界は、重複領域ＲｅＬＡ，ＲｅＲＡに含まれ、測光領域ＰＲｅＡは、光の照射領域ＢＡに含まれる。このため、照明点灯時にリアカメラ１２が生成する画像は、光の照射領域ＢＡにおいて適切な露出となる。一方、照明の境界を境に非照射領域ＮＢＡにおいて輝度が低下し、視認性が低下する。

また、カメラ制御部１８は、移動体１０の側方周辺領域ＬＡ，ＲＡの中央付近に測光領域ＰＬＡ，ＰＲＡをそれぞれ設定してサイドカメラ１３Ｌ，１３Ｒの露出制御を行う。このとき、測光領域ＰＬＡ，ＰＲＡは、照明による光の非照射領域ＮＢＡに含まれる。このため、サイドカメラ１３Ｌ，１３Ｒが生成する画像は、画像上の大部分の領域を占める光の非照射領域ＮＢＡにおいて適切な露出となる。一方、照明の境界を境に画像上の端部に含まれる光の照射領域ＢＡにおいて輝度が増加し、視認性が低下する。

画像処理装置１５は（図１参照）、画像取得部１９と、画像変換部２０と、制御情報取得部２１と、画像結合部２２と、制御部２３と、を備える。

画像取得部１９は、撮像装置１４が出力する複数の画像を取得する。

画像変換部２０は、画像取得部１９が取得する複数の画像を変換する。複数の画像は、前述のように、撮像部１４が広角撮影により生成した画像である。一般に、広角撮影においては広範囲の被写体を撮像可能であり、画像周辺部における被写体は湾曲して撮像される。画像変換部２０は、複数の画像に対して視点変換処理を行ない、それぞれ俯瞰画像に変換する。俯瞰画像とは、移動体１０の周辺領域を移動体１０の上方から鉛直下向きにみた画像である。

詳細には、図３に示すように、画像変換部２０は、フロントカメラ１１の画像を移動体１０の前方周辺領域ＦＡおよび重複領域ＦＬＡ，ＦＲＡにおける俯瞰画像に変換する。また、画像変換部２０は、リアカメラ１２の画像を後方周辺領域ＲｅＡおよび重複領域ＲｅＬＡ，ＲｅＲＡにおける俯瞰画像に変換する。また、画像変換部２０は、左サイドカメラ１３Ｌの画像を左側方周辺領域ＬＡおよび重複領域ＦＬＡ，ＲｅＬＡにおける俯瞰画像に変換する。また、画像変換部２０は、右サイドカメラ１３の画像を右側方周辺領域ＲＡおよび重複領域ＦＲＡ，ＲｅＲＡにおける俯瞰画像に変換する。

制御情報取得部２１は（図１参照）、移動体１０の制御情報を取得する。制御情報は、移動体１０の状態に関する種々の情報、例えば、移動体１０の照明（ヘッドランプおよびバックランプ）の点灯又は消灯を示す情報である。制御情報取得部２１は、任意の方法により制御情報を取得可能であり、例えば車載ネットワーク１０１を介して取得してもよく、あるいは移動体１０の他の構成要素が出力する制御情報を有線／無線により取得してもよい。

画像結合部２２は、制御情報取得部２１が取得する制御情報に基づいて、画像変換部２０が変換した複数の画像を結合して、結合画像を生成する。結合画像は、例えば移動体１０の全周囲の俯瞰画像である。全周囲の俯瞰画像においては、移動体の前方周辺領域ＦＡにはフロントカメラ１１の画像、後方周辺領域ＲｅＡにはリアカメラ１２の画像、左右側方周辺領域ＬＡ，ＲＡにはサイドカメラ１３の画像がそれぞれ用いられる。隣接する２画像の重複領域（ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡ）においては、境界を境に用いる画像が切替えられる。画像結合部２２は、制御情報に基づいて重複領域内の境界の位置（結合位置）を決め、境界に基づいて元の画像を切抜き、互いに結合させる。

例えば、画像結合部２２は、照明の点灯を示す情報の有無に応じて、フロントカメラ１１の画像およびサイドカメラ１３の画像の重複領域ＦＬＡ，ＦＲＡにおける境界の位置を決定する。照明の消灯時、すなわち点灯を示す情報を取得していないときには、画像結合部２２は、図５（ａ）に示すように、フロントカメラ１１の画像をすべて用いるように、境界の位置を定める（符号Ａ参照）。すなわち、移動体１０前方の重複領域ＦＬＡ，ＦＲＡにおいてフロントカメラ１１の画像が優先的に用いられる。

一方、照明の点灯時、すなわち点灯を示す情報を取得しているときには、画像結合部２２は、図５（ｂ）に示すように、フロントカメラ１１の画像において照明による光の照射領域ＢＡと非照射領域ＮＢＡとの境界（照射境界）を、画像の結合の境界に定める（符号Ｂ参照）。ここで、点灯時における画像の結合の境界は、必ずしも照明の境界に限定されない。図５（ｃ）に示すように、例えば移動体１０前方の重複領域ＦＬＡ，ＦＲＡにおいて、照明の境界およびフロントカメラ１１の画像をすべて用いるときの境界の間に画像の結合の境界を定めてもよい（符号Ｃ参照）。

同様に、画像結合部２２は、照明の点灯を示す情報の有無に応じて、リアカメラ１２の画像およびサイドカメラ１３の画像の重複領域ＲｅＬＡ，ＲｅＲＡにおける境界の位置を決定する。

以下に、結合画像の視認性について説明する。前述のように、広角撮影においては広範囲の被写体を撮像可能であり、カメラの光軸とカメラから被写体に向かう軸とがなす角度が大きい程、被写体の画像上の歪みが大きくなる。ここで、サイドカメラ１３よりもフロントカメラ１１およびリアカメラ１２のほうが、カメラの光軸とカメラから重複領域内に存在する被写体に向かう軸とがなす角度は小さいことが一般的である。すなわち、サイドカメラ１３による画像よりもフロントカメラ１１による画像およびリアカメラ１２による画像の方が、重複領域内に存在する被写体の画像上の歪みが小さい。移動体１０の照明が消灯しているときには、前述のように、重複領域において被写体の画像上の歪みが小さいフロントカメラ１１による画像およびリアカメラ１２による画像が優先的に用いられる。

一方、移動体１０の照明が点灯しているとき、前述のように、フロントカメラ１１の露出制御は、照射領域ＢＡの明るさに基づくため、フロントカメラ１１の画像において非照射領域ＮＢＡの輝度は低く、視認性が低い。一方で、撮影視野の広範囲が非照射領域ＮＢＡであるサイドカメラ１３における露出制御は、非照射領域ＮＢＡの明るさに基づくため、撮像された画像は比較的明るく、特にフロントカメラ１１の画像の非照射領域ＮＢＡより明るい。

それゆえ、図５（ｄ）に示すように、照明の点灯時に、重複領域ＦＬＡ，ＦＲＡにおいてフロントカメラ１１の画像を優先的に用いると、重複領域ＦＬＡ，ＦＲＡ内の照明の光の非照射領域ＮＢＡに対応する結合画像上の領域（暗部領域ＤＡ）は他の領域に比べて輝度が低い。

一方、照明の光の照射領域ＢＡと非照射領域ＮＢＡとの境界を画像の結合の境界として用いると、重複領域ＦＬＡ，ＦＲＡ内の非照射領域ＮＢＡにおいてサイドカメラ１３の画像が優先的に用いられるので、結合画像上の輝度が低い暗部領域ＤＡの面積が低減される。

制御部２３は（図１参照）、画像処理装置１５の各部位の動作を制御する。例えば、制御部２３は、画像取得部１９および制御情報取得部２１に撮像装置１４が出力する画像および移動体１０の制御情報を周期的に取得させる。また、制御部２３は、画像変換部２０および画像結合部２２を周期的に動作させ、結合画像を生成させる。また、制御部２３は、車載ネットワーク１０１を介して情報の送受信を行う。例えば、制御部２３は、画像結合部２２が生成する結合画像を出力する。

表示装置１６は、例えばＬＣＤであり、リアルタイムの動画像を表示可能である。表示装置１６は、画像処理装置１５が出力する結合画像を取得して表示する。また、表示装置１６は、例えばタッチパネルで構成され、ユーザ操作を受け付けるインターフェースとして機能してもよい。また、表示装置１６は、車載ネットワーク１０１を介して情報を送受信可能である。

次に、第１の実施形態に係る撮像装置１４が実行する処理について、図６のフローチャートを用いて説明する。本処理は、例えば、撮像装置１４が稼働したときに実行される。

はじめに、カメラ制御部１８は、フロントカメラ１１、リアカメラ１２、およびサイドカメラ１３に、移動体１０の周辺領域を撮像した画像をそれぞれ生成させる（ステップＳ１００）。

続いて、カメラ制御部１８は、ステップＳ１００で生成させた複数の画像を出力する（ステップＳ１０１）。

続いて、カメラ制御部１８は、処理の終了指示の有無を判定する（ステップＳ１０２）。終了指示は、例えば撮像装置１４の動作を停止させるためのユーザ操作に基づいて生成される信号である。終了指示があるとき（ステップＳ１０２−Ｙｅｓ）、処理を終了する。一方、終了指示がないとき（ステップＳ１０２−Ｎｏ）、ステップＳ１００に戻り、撮像装置１４は周期的に画像を出力する。

次に、第１の実施形態に係る画像処理装置１５が実行する処理について、図７のフローチャートを用いて説明する。本処理は、例えば、画像処理装置１５が稼働したときに実行される。

はじめに、画像取得部１９は、撮像装置１４が出力する複数の画像を取得する（ステップＳ２００）。

次に、画像変換部２０は、ステップＳ２００の複数の画像をそれぞれ俯瞰画像に変換する（ステップＳ２０１）。

次に、制御情報取得部２１は、移動体１０の制御情報を取得する（ステップＳ２０２）。

次に、画像結合部２２は、ステップＳ２０２の制御情報に移動体１０の照明の点灯を示す情報が含まれているか否かを判定する（ステップＳ２０３）。照明の点灯を示す情報が含まれているとき（ステップＳ２０３−Ｙｓｅ）、ステップＳ２０４に進む。一方、照明の点灯を示す情報が含まれていないとき（ステップＳ２０３−Ｎｏ）、ステップＳ２０５に進む。

ステップＳ２０３において制御情報に照明の点灯を示す情報が含まれているとき（ステップＳ２０３−Ｙｓｅ）、画像結合部２２は、移動体１０の照明による光の照射領域と非照射領域との境界を画像の結合の境界に定めて（図５（ｂ）符号Ｂ参照）、ステップＳ２０１の複数の俯瞰画像を結合し、結合画像を生成する（図７ステップＳ２０４）。

一方、ステップＳ２０３において制御情報に照明の点灯を示す情報が含まれていないとき（ステップＳ２０３−Ｎｏ）、画像結合部２２は、フロントカメラ１１およびリアカメラ１２の画像をすべて用いるように境界の位置を定めて（図５（ａ）符号Ａ参照）、ステップＳ２０１の複数の俯瞰画像を結合し、結合画像を生成する（ステップＳ２０５）。

ステップＳ２０４又はステップＳ２０５の後、制御部２３は、ステップＳ２０４又はステップＳ２０５の結合画像を出力する（ステップＳ２０６）。

続いて、制御部２３は、処理の終了指示の有無を判定する（ステップＳ２０７）。終了指示は、例えば画像処理装置１５の動作を停止させるためのユーザ操作に基づいて生成される信号である。終了指示があるとき（ステップＳ２０７−Ｙｅｓ）、処理を終了する。一方、終了指示がないとき（ステップＳ２０７−Ｎｏ）、ステップＳ２００に戻り、画像処理装置１５は周期的に結合画像を出力する。

このように、第１の実施形態のカメラシステムによれば、移動体１０の制御情報に応じた異なる結合位置で、複数の画像を結合する。このため、以下に説明するように、移動体１０の状態に適応する結合画像を生成して、結合画像の視認性を向上可能である。

第１の実施形態では、制御情報に移動体１０の照明の点灯を示す情報が含まれるときに、結合画像上の暗部領域ＤＡの面積を低減するように複数の画像を結合する（図５（ｃ）符号Ｃ参照）。このため、結合画像上において視認性の良好な領域の面積が増大し、結合画像の視認性を向上可能である。

更には、第１の実施形態では、制御情報に移動体１０の照明の点灯を示す情報が含まれるときに、照明による光の照射領域ＢＡと非照射領域ＮＢＡとの境界を結合位置に定めて複数の画像を結合する（図５（ｂ）符号Ｂ参照）。このため、照明の点灯状況では結合画像上において輝度の低い暗部領域ＤＡが実質的に排除され、結合画像の視認性を更に向上可能である。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態に係るカメラシステム１００の構成は第１の実施形態と同様であるが、画像処理装置１５の行う処理が異なる。

第２の実施形態に係る画像処理装置１５は、第１の実施形態と同様に、画像取得部１９と、画像変換部２０と、制御情報取得部２１と、画像結合部２２と、制御部２３とを備える（図１参照）。ただし、画像結合部２２は、結合画像の生成に用いる制御情報の種類が、第１の実施形態と異なる。

例えば、画像結合部２２は、制御情報に移動体１０の後進を示す情報が含まれるか否かに応じて、リアカメラ１２の画像およびサイドカメラ１３の画像の重複領域ＲｅＬＡ，ＲｅＲＡにおける境界の位置を決定する。移動体１０の後進時、すなわち後進を示す情報を取得しているときには、画像結合部２２は、図８（ａ）に示すように、リアカメラ１２の画像をすべて用いるように、境界の位置を定める（符号Ｃ参照）。すなわち、移動体１０後方の重複領域ＲｅＬＡ，ＲｅＲＡにおいてリアカメラ１２の画像が優先的に用いられる。

一方、移動体１０の高速前進時、すなわち前進を示す情報および所定速度以上を示す速度情報を取得しているときには、画像結合部２２は、図８（ｂ）に示すように、移動体１０後方の重複領域ＲｅＬＡ，ＲｅＲＡにおいてサイドカメラ１３の画像を用いるように、境界の位置を定める（符号Ｄ参照）。すなわち、移動体１０後方の重複領域ＲｅＬＡ，ＲｅＲＡにおいてサイドカメラ１３の画像が優先的に用いられる。

以下に、結合画像の視認性について説明する。撮像装置１４による複数の画像を結合して生成する結合画像は、画像を結合する境界において画像上の被写体を完全に連続させることは難しく、被写体像が完全には連続しないことが一般的である。このため、移動体１０の運転者が結合画像上で注目する領域内に境界が存在すると、運転者にとって結合画像の視認性が低下する。このような、運転者が結合画像上で注目する領域は、運転状況、即ち移動体１０の状態によって様々に変化する。例えば、移動体１０が後進するとき、運転者は移動体１０の後方の進路を確認するために移動体１０の後方の広い範囲に注目することが考えられる。また、例えば移動体１０が高速で前進するとき、運転者は左右の車線を走行する他の移動体の存在を確認するため、移動体１０の側方周辺から左右後方周辺にかかる領域に注目することが考えられる。

それゆえ、移動体１０の後進時に、移動体１０後方の重複領域ＲｅＬＡ，ＲｅＲＡにおいてリアカメラ１２の画像を優先的に用いると、結合画像上の運転者の注目する領域に境界が含まれる蓋然性が低下する。一方、移動体１０の高速前進時に、移動体１０後方の重複領域ＲｅＬＡ，ＲｅＲＡにおいてサイドカメラ１３の画像を優先的に用いると、結合画像上の運転者の注目する領域に境界が含まれる蓋然性が低下する。

このように、第２の実施形態のカメラシステムによれば、移動体１０の状態に応じた結合画像を生成し、運転者が注目する結合画像上の領域内に画像を結合する境界が存在する蓋然性が低下し、結合画像の視認性を向上可能である。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、上述の実施形態において、撮像装置１４は、フロントカメラ１１、リアカメラ１２、サイドカメラ１３を備えるが、更に多くのカメラを備えてもよい。例えば、移動体１０の全周囲を撮像可能な遠景カメラを更に備え、画像処理装置１５が各カメラによる画像を結合して結合画像を生成する構成であってもよい。

また、第１の実施形態において、画像結合部２２は、制御情報に含まれる他の情報に基づいて、結合位置を決定してもよい。例えば、制御情報に移動体１０の照明の点灯を示す情報および照明（ヘッドランプ）がハイビームであることを示す情報が含まれるとき、画像結合部２２は、ハイビームによる光の照射境界に結合位置を略一致させてもよい。

また、第２の実施形態において、制御情報取得部２１が取得する制御情報の内容に対応する結合位置は適宜に決定することができる。例えば、第２の実施形態において、画像結合部２２は、移動体１０の後進時に、移動体１０の後方周辺領域ＲｅＡにおいてリアカメラ１２の画像を優先的に用いるが、移動体１０後方の重複領域ＲｅＬＡ，ＲｅＲＡ内において任意の位置に結合位置を定めてもよい。

１０ 移動体
１１ フロントカメラ
１２ リアカメラ
１３，１３Ｌ，１３Ｒ サイドカメラ
１４ 撮像装置
１５ 画像処理装置
１６ 表示装置
１７ ドアミラー
１８ カメラ制御部
１９ 画像取得部
２０ 画像変換部
２１ 制御情報取得部
２２ 画像結合部
２３ 制御部
１００ カメラシステム
１０１ 車載ネットワーク

Claims (11)

1. 移動体の周辺を一部重複して撮像した複数の画像を取得する画像取得部と、
   前記移動体の制御情報を取得する制御情報取得部と、
   前記制御情報に応じた異なる結合位置で、前記複数の画像を結合し結合画像を生成する画像結合部とを備える
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、前記画像結合部は、前記制御情報に前記移動体の照明の点灯を示す情報が含まれるときに、前記結合画像上の暗部領域の面積を低減する結合位置で前記複数の画像を結合することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、前記画像結合部は、前記結合位置を、前記照明による光の照射領域と非照射領域との境界に略一致させることを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置であって、前記制御情報には、前記移動体の進行方向情報および速度情報の少なくとも一方が含まれることを特徴とする画像処理装置。
5. 移動体の周辺を一部重複して撮像した複数の画像を生成する複数の撮像部と、
   前記複数の撮像部が生成する前記複数の画像を取得する画像取得部と、
   前記移動体の制御情報を取得する制御情報取得部と、
   前記制御情報に応じた異なる結合位置で、前記複数の画像を結合し結合画像を生成する画像結合部とを備える
   ことを特徴とするカメラシステム。
6. 請求項５に記載のカメラシステムであって、前記画像結合部は、前記制御情報に前記移動体の照明の点灯を示す情報が含まれるときに、前記結合画像上の暗部領域の面積を低減する結合位置で前記複数の画像を結合することを特徴とするカメラシステム。
7. 請求項６に記載のカメラシステムであって、前記画像結合部は、前記結合位置を、前記照明による光の照射領域と非照射領域との境界に略一致させることを特徴とするカメラシステム。
8. 請求項５乃至７の何れか一項に記載のカメラシステムであって、前記複数の撮像部は、それぞれ独立の露出制御により前記複数の画像をそれぞれ生成することを特徴とするカメラシステム。
9. 請求項７又は８に記載のカメラシステムであって、前記複数の撮像部は、前記移動体の周辺の明るさに応じた露出制御により前記複数の画像を生成することを特徴とするカメラシステム。
10. 請求項５に記載のカメラシステムであって、前記制御情報には、前記移動体の進行方向情報および速度情報の少なくとも一方が含まれることを特徴とするカメラシステム。
11. 移動体の周辺を一部重複して撮像した複数の画像を取得するステップと、
    前記移動体の制御情報を取得するステップと、
    前記制御情報に応じた異なる結合位置で、前記複数の画像を結合し結合画像を生成するステップとを含む
    ことを特徴とする画像処理方法。

Images