JP2019153237A - 画像処理装置、画像表示システムおよび画像処理方法 - Google Patents

Abstract

【課題】車両に配置された撮像装置の姿勢に応じて、適切な画像を得ることができる画像処理装置、画像表示システムおよび画像処理方法を提供する。【解決手段】三軸加速度センサ１２１を有し、かつ、車両１に配置される撮像装置１２により撮像された第１画像を画像処理する画像処理装置１０であって、第１画像、および、三軸加速度センサ１２１の検出値を撮像装置１２から取得する取得部１０１と、車両の挙動を推定する挙動推定部１０２と、車両１が停止していると推定されているときに三軸加速度センサ１２１において得られた検出値と、車両１が直進走行していると推定されているときに三軸加速度センサ１２１において得られた検出値とを用いて、撮像装置１２の現在の姿勢を算出し、算出した現在の姿勢に基づいて第１画像を画像処理し、画像処理後の画像を出力する画像処理部１０３と、を備える。【選択図】図３

Description

本開示は、車両に配置された撮像装置から得られた画像を画像処理する画像処理装置、画像表示システムおよび画像処理方法に関する。

特許文献１には、傾きの異なる路面に車両が駐車中における、車両に配設された３軸加速度センサの出力と車載撮像装置に配設された３軸加速度センサの出力とに基づいて、車載撮像装置の取り付け角度を算出し、車載撮像装置のキャリブレーションを行う撮像装置キャリブレーション装置が開示されている。

特開２０１７−１８８７４３号公報

しかしながら、実際の車両使用時において、傾きの異なる路面に停車することは多くはなく、車載撮像装置のキャリブレーション（つまり、校正）を行う頻度が少ない。このため、適切な画像を得ることが難しい。

そこで、本発明は、車両に配置された撮像装置の車両との取付状態、すなわち、姿勢に応じて、適切な画像を得ることができる画像処理装置、画像表示システムおよび画像処理方法を提供する。

本発明の一態様に係る画像処理装置は、第１三軸加速度センサを有し、かつ、車両に配置される第１撮像装置により撮像された第１画像を画像処理する画像処理装置であって、前記第１画像、および、前記第１三軸加速度センサの検出値を前記第１撮像装置から取得する取得部と、前記車両の挙動を推定する挙動推定部と、（１）前記挙動推定部により前記車両が停止していると推定されているときに前記第１三軸加速度センサにおいて得られた第１検出値と、前記挙動推定部により前記車両が直進走行していると推定されているときに前記第１三軸加速度センサにおいて得られた第２検出値とを用いて、前記第１撮像装置の現在の姿勢を算出し、（２）算出した前記現在の姿勢に基づいて前記第１画像を画像処理し、（３）画像処理後の第２画像を出力する画像処理部と、を備える。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の画像処理装置などは、車両に配置された撮像装置の姿勢に応じて、適切な画像を得ることができる。

図１は、実施の形態１に係る車両の一例を示す模式図である。 図２は、実施の形態１に係る画像処理装置による合成前の画像と合成後の画像とを示す説明図である。 図３は、実施の形態１に係る画像表示システムの機能構成の一例を示すブロック図である。 図４は、重力加速度が働く方向を基準とする第１座標系と、撮像装置の姿勢を基準とする第２座標系との関係について説明するための図である。 図５は、実施の形態１に係る画像表示システムの動作の一例を示すシーケンス図である。 図６は、画像処理装置における姿勢を算出する処理の一例を示すフローチャートである。 図７は、画像処理装置における画像処理の一例を示すフローチャートである。 図８は、実施の形態２に係る画像表示システムの機能構成の一例を示すブロック図である。 図９は、実施の形態２に係る画像表示システムの動作の一例を示すシーケンス図である。

本発明の一態様に係る画像処理装置は、第１三軸加速度センサを有し、かつ、車両に配置される第１撮像装置により撮像された第１画像を画像処理する画像処理装置であって、前記第１画像、および、前記第１三軸加速度センサの検出値を前記第１撮像装置から取得する取得部と、前記車両の挙動を推定する挙動推定部と、（１）前記挙動推定部により前記車両が停止していると推定されているときに前記第１三軸加速度センサにおいて得られた第１検出値と、前記挙動推定部により前記車両が直進走行していると推定されているときに前記第１三軸加速度センサにおいて得られた第２検出値とを用いて、前記第１撮像装置の現在の姿勢を算出し、（２）算出した前記現在の姿勢に基づいて前記第１画像を画像処理し、（３）画像処理後の第２画像を出力する画像処理部と、を備える。

一般に、ユーザが車両を運転しているときには、車両は、発進と停止とを繰り返す。また、車両は、走行中の多くの場合、直進走行をする。つまり、車両は、ユーザに運転されると、多くの場合、直進走行と停止とを繰り返し行う。画像処理装置では、停止している時と直進走行している時とのそれぞれにおける第１三軸加速度センサの検出値に基づいて、画像処理を実行する。つまり、画像処理装置は、ユーザが車両を運転したときに１回以上の頻度で第１撮像装置の姿勢を算出でき、算出した第１撮像装置の姿勢に応じて画像処理を実行することができる。このように、画像処理装置は、高頻度で算出された第１撮像装置の姿勢に応じて画像処理を実行することができるため、第１画像を適切な第２画像に変換することができる。これにより、画像処理装置は、第１撮像装置の姿勢が変化した後であっても、第１撮像装置の姿勢が変化する前と同様の画像を出力することができる。

また、前記画像処理部は、前記第１検出値を用いて前記第１撮像装置の姿勢における第１ロール角および第１ピッチ角を算出し、算出した前記第１ロール角および前記第１ピッチ角と、前記第２検出値とを用いて前記第１撮像装置の姿勢における第１ヨー角を算出し、算出した前記第１ロール角、前記第１ピッチ角および前記第１ヨー角と、予め記憶している前記第１撮像装置の初期姿勢における第２ロール角、第２ピッチ角および第２ヨー角とのそれぞれの差分に基づいて、前記第１画像を補正し、補正後の前記第２画像を出力してもよい。

このため、第１撮像装置の現在の姿勢における第１ロール角、第１ピッチ角および第１ヨー角を算出することができる。これにより、第１ロール角、第１ピッチ角および第１ヨー角と、第１撮像装置の初期姿勢における第２ロール角、第２ピッチ角および第２ヨー角とのそれぞれの差分、つまり、初期姿勢からの変化量を算出することができる。よって、第１画像を、第１撮像装置の現在の姿勢に応じた適切な第２画像に変換することができる。

また、前記画像処理部は、重力加速度が働く方向を基準とする第１座標系から、前記第１撮像装置の姿勢を基準とする第２座標系に変換する関係式に、前記重力加速度および前記第１検出値を適用することで、前記第１ロール角および前記第１ピッチ角を算出し、前記関係式に、算出した前記第１ロール角および前記第１ピッチ角と、前記車両が直進走行しているときの加速度と、前記第２検出値とを適用することで、前記第１ヨー角を算出してもよい。

このため、第１撮像装置の現在の姿勢における第１ロール角、第１ピッチ角および第１ヨー角を容易に算出することができる。

また、さらに、算出した前記第１ロール角、前記第１ピッチ角および前記第１ヨー角を記憶する記憶部を備え、前記画像処理部は、前記挙動推定部が、前記車両が急減速している、または、前記車両が凹凸道を走行していると推定した場合、前記第１ロール角、前記第１ピッチ角および前記第１ヨー角の算出を行わず、前記記憶部に記憶されている前記第１ロール角、前記第１ピッチ角および前記第１ヨー角を用いて前記第１画像を画像処理してもよい。

これによれば、車両の挙動が不安定のときに第１三軸加速度センサにおいて検出された検出値から第１撮像装置の姿勢を算出せずに、前回算出した第１撮像装置の姿勢に基づいて画像処理を行う。つまり、不安定な挙動による第１三軸加速度センサの異常な検出値を用いないため、誤って算出した第１撮像装置の姿勢に基づく画像処理を実行することを低減することができる。

また、前記取得部は、さらに、第２三軸加速度センサを有する第２撮像装置であって、前記車両に配置される第２撮像装置から、撮像された第３画像、および、前記第２三軸加速度センサの検出値を取得し、前記画像処理部は、さらに、前記第１検出値および前記第２検出値と、前記挙動推定部により前記車両が停止していると推定されているときに得られた前記第２三軸加速度センサの第３検出値と、前記挙動推定部により前記車両が直進走行していると推定されているときに得られた前記第２三軸加速度センサの第４検出値とを用いて、前記第１画像、および、前記第２撮像装置により得られた第３画像を合成処理し、合成した画像を前記第２画像として出力してもよい。

このため、第１撮像装置および第２撮像装置から得られた２枚の画像を合成する場合であっても、高頻度で算出された第１撮像装置および第２撮像装置それぞれの姿勢に応じて合成処理を実行することができる。これにより、画像処理装置は、第１撮像装置または第２撮像装置の姿勢が変化した後であっても、第１撮像装置または第２撮像装置の姿勢が変化する前と同様に合成した画像を出力することができる。

また、前記画像処理部は、前記第１検出値を用いて前記第１撮像装置の姿勢における第１ロール角および第１ピッチ角を算出し、算出した前記第１ロール角および前記第１ピッチ角と前記第２検出値とを用いて前記第１撮像装置の姿勢における第１ヨー角を算出し、前記第３検出値を用いて前記第２撮像装置の姿勢における第３ロール角および第３ピッチ角を算出し、算出した前記第３ロール角および前記第３ピッチ角と前記第４検出値とを用いて前記第２撮像装置の姿勢における第３ヨー角を算出し、算出した前記第１ロール角、前記第１ピッチ角および前記第１ヨー角と、予め記憶している前記第１撮像装置の初期姿勢における第２ロール角、第２ピッチ角および第２ヨー角とのそれぞれの差分である第１の差分と、算出した前記第３ロール角、前記第３ピッチ角および前記第３ヨー角と、予め記憶している前記第２撮像装置の初期姿勢における第４ロール角、第４ピッチ角および第４ヨー角とのそれぞれの差分である第２の差分と、に基づいて前記第１画像および前記第３画像を合成し、合成後の前記第２画像を出力してもよい。

このため、第１撮像装置の現在の姿勢における第１ロール角、第１ピッチ角および第１ヨー角と、第２撮像装置の現在の姿勢における第３ロール角、第３ピッチ角および第３ヨー角とを算出することができる。これにより、第１ロール角、第１ピッチ角および第１ヨー角と、第１撮像装置の初期姿勢における第２ロール角、第２ピッチ角および第２ヨー角とのそれぞれの差分、つまり、第１撮像装置の初期姿勢からの変化量を算出することができる。同様に、第３ロール角、第３ピッチ角および第３ヨー角と、第２撮像装置の初期姿勢における第４ロール角、第４ピッチ角および第４ヨー角とのそれぞれの差分、つまり、第２撮像装置の初期姿勢からの変化量を算出することができる。よって、第１画像および第３画像を、第１撮像装置および第２撮像装置の現在の姿勢に応じて、適切に合成した第２画像を出力することができる。

また、前記画像処理部は、重力加速度が働く方向を基準とする第１座標系から、前記第１撮像装置の姿勢を基準とする第２座標系に変換する関係式に、前記重力加速度および前記第１検出値を適用することで、前記第１ロール角および前記第１ピッチ角を算出し、前記関係式に、算出した前記第１ロール角および前記第１ピッチ角と、前記車両が直進走行しているときの加速度と、前記第２検出値とを適用することで、前記第１ヨー角を算出し、前記関係式に、前記重力加速度および前記第３検出値を適用することで、前記第３ロール角および前記第３ピッチ角を算出し、前記関係式に、算出した前記第３ロール角および前記第３ピッチ角と、前記車両が直進走行しているときの加速度と、前記第４検出値とを適用することで、前記第３ヨー角を算出してもよい。

このため、第１撮像装置の現在の姿勢における第１ロール角、第１ピッチ角および第１ヨー角と、第２撮像装置の現在の姿勢における第３ロール角、第３ピッチ角および第３ヨー角とを容易に算出することができる。

また、前記第１撮像装置および前記第２撮像装置は、前記車両の後方を撮像する向きに配置されていてもよい。

このため、画像処理装置は、第１画像および第３画像を適切に合成することで、車両の後方の１つの撮像装置ではまかなえないほどの広い範囲を撮像した第２画像を得ることができる。

また、前記挙動推定部は、前記第１三軸加速度センサの検出値、前記第１撮像装置により撮像された画像、前記車両の操舵角、前記車両の傾斜角、および、前記車両のヨー角のいずれか１つを含む挙動情報を取得し、取得した前記挙動情報に基づいて、前記車両の挙動を推定してもよい。

このため、画像処理装置は、車両が停止しているか、直進走行しているかを適切に推定することができる。

本発明の一態様に係る画像表示システムは、上記の画像処理装置と、前記第１撮像装置と、前記画像処理装置により出力された前記第２画像を表示する表示装置と、を備える。

このため、画像処理装置において適切に画像処理された後の第２画像を表示させることができる。

なお、これらの全般的または具体的な態様は、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の一態様に係る画像処理装置、画像表示システムおよび画像処理方法について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
実施の形態１に係る画像表示システムについて説明する。

［１．構成］
図１は、実施の形態１に係る車両の一例を示す模式図である。図２は、実施の形態１に係る画像処理装置による合成前の画像と合成後の画像とを示す説明図である。

図１に示されるように、車両１は、画像表示システム１００を備える。画像表示システム１００は、画像処理装置１０と、撮像装置１２、１３及び１４と、表示装置４０とを備える。なお、以降の説明において特に断らない場合には、前後左右の方向は、車両１の進行方向を前方とした場合の方向とし、これは車両１のユーザにとっての前後左右の方向ともいえる。

撮像装置１２は、車両１の左側ドア付近に固定され、車両１の左側後方を撮影するカメラである。撮像装置１２は、車両１の左側後方を撮影して画像を生成する。撮像装置１２が生成した画像を左側後方画像ともいう。

撮像装置１３は、車両１の右側ドア付近に固定され、車両１の右側後方を撮影するカメラである。撮像装置１３は、車両１の右側後方を撮影して画像を生成する。撮像装置１３が生成した画像を右側後方画像ともいう。

撮像装置１４は、車両１のリアバンパー又はトランクフード付近に固定され、車両１の中央後方を撮影するカメラである。撮像装置１４は、車両１の中央後方を撮影して画像を生成する。撮像装置１４が生成した画像を中央後方画像ともいう。

このように、撮像装置１２〜１４のそれぞれは、車両１の後方を撮像する向きで車両１に配置されている。

撮像装置１２及び１４の撮影範囲の一部が重なっており、撮像装置１３及び１４の撮影範囲の一部が重なっている。そのため、左側後方画像と中央後方画像との一部には共通の対象が映っている。また、右側後方画像と中央後方画像との一部には共通の対象が映っている。

撮像装置１２、１３及び１４のそれぞれは、互いに異なる撮影条件の下で撮像することで画像を生成する。具体的には、撮像装置１２、１３及び１４のそれぞれは、互いに異なる位置に配置され、また、互いに異なる方向を向いて配置されており、例えば６０ｆｐｓで画像を取得する。また、撮像装置１２、１３及び１４のそれぞれの光学系の光学特性は異なっていてもよい。

表示装置４０は、車両１の後方が映った画像である合成画像５０を表示する表示装置である。表示装置４０は、画像処理装置１０が出力する映像信号に基づいて画像を表示する。表示装置４０は、車両１の後方を、光の反射を利用して映す従来のルームミラーの代用として用いられ得る。

画像処理装置１０は、撮像装置１２〜１４のそれぞれが生成した画像を合成して、表示装置４０に表示させる合成画像を出力する。撮像装置１２〜１４のそれぞれが生成する画像の一例を、図２に画像５１、５２及び５３として示す。

以降において、画像処理装置１０を備える画像表示システム１００の機能及び処理を説明する。

図３は、実施の形態１に係る画像表示システムの機能構成の一例を示すブロック図である。

画像表示システム１００は、図３に示されるように、撮像装置１２〜１４と、画像処理装置１０と、表示装置４０とを備える。

撮像装置１２は、三軸加速度センサ１２１と、撮像素子１２２とを有する。三軸加速度センサ１２１は、撮像装置１２の互いに異なる３つの方向のそれぞれにおける加速度を検出するセンサである。三軸加速度センサ１２１は、例えば、撮像装置１２の撮像方向と、撮像素子１２２の画素の垂直方向と、撮像素子１２２の画素の水平方向との、互いに略直交する３つの方向のそれぞれにおける加速度を検出する。

撮像素子１２２は、例えば、垂直方向および水平方向にマトリックス状に配列される複数の画素により構成される矩形の撮像素子である。撮像方向は、例えば、撮像素子１２２に略垂直な方向であってもよい。

なお、撮像装置１３は、三軸加速度センサ１３１と、撮像素子１３２とを有する。撮像装置１４は、三軸加速度センサ１４１と、撮像素子１４２とを有する。三軸加速度センサ１３１、１４１は、三軸加速度センサ１２１と同様の構成であり、また、撮像素子１３２、１４２は、撮像素子１２２と同様の構成であるので、これらの説明を省略する。

画像処理装置１０は、取得部１０１と、挙動推定部１０２と、画像処理部１０３と、記憶部１０４とを備える。

取得部１０１は、撮像装置１２により撮像された画像５１、および、撮像装置１２が有する三軸加速度センサ１２１により検出された検出値を撮像装置１２から取得する。取得部１０１は、同様に、撮像装置１３、１４により撮像された画像５２、５３、および、撮像装置１３、１４が有する三軸加速度センサにより検出された検出値を撮像装置１３、１４からそれぞれ取得する。取得部１０１は、異なる複数のタイミング（例えば６０ｆｐｓ）で撮像装置１２〜１４のそれぞれにおいて撮像された画像を取得する。また、取得部１０１は、異なる複数のタイミング（例えば３０ｍｓ毎のタイミング）で三軸加速度センサ１２１、１３１、１４１において検出された検出値を取得する。

挙動推定部１０２は、車両１の挙動を推定する。具体的には、挙動推定部１０２は、三軸加速度センサ１２１、１３１、１４１の検出値、および、撮像装置１２〜１４により撮像された画像５１〜５３のいずれか１つを取得し、取得した三軸加速度センサ１２１、１３１、１４１の検出値、および、画像５１〜５３に基づいて、車両１の挙動を推定する。挙動推定部１０２は、例えば、車両１が停止しているか、または、直進走行しているかを推定する。

挙動推定部１０２は、例えば、三軸加速度センサ１２１、１３１、１４１の検出値の時系列の変化が第１の範囲よりも小さい場合、車両１が停止していると推定してもよい。また、挙動推定部１０２は、複数のタイミングで撮像装置１２〜１４の少なくとも１つから取得した複数の画像に基づいて、画像処理を行うことにより、時系列における変化が所定値よりも小さい場合、車両１が停止していると推定してもよい。挙動推定部１０２は、例えば、画素値の時系列における変化が第２の範囲よりも小さい画素の数が、所定の割合以下の場合に、車両１が停止していると推定してもよい。

また、挙動推定部１０２は、三軸加速度センサ１２１、１３１、１４１の検出値の時系列の変化の割合における、三軸のそれぞれの間の関係が一定（つまり、三軸のそれぞれの間の関係が互いに略同じ）である場合に、車両１が直進走行していると推定してもよい。また、挙動推定部１０２は、複数のタイミングで撮像装置１２〜１４の少なくとも１つから取得した複数の画像に基づいて、画像処理を行うことにより、当該複数の画像に所定の角度範囲のオプティカルフローを算出し、その時間的変化から車両１が直進走行していると推定してもよい。なお、挙動推定部１０２は、さらに、車両１が直進走行において加減速しているかを推定してもよい。

画像処理部１０３は、挙動推定部１０２により車両１が停止していると推定されているときに三軸加速度センサ１２１において得られた検出値と、挙動推定部１０２により車両１が直進走行していると推定されているときに三軸加速度センサ１２１において得られた検出値とを用いて、撮像装置１２の現在の姿勢を検出する。同様に、画像処理部１０３は、挙動推定部１０２により車両１が停止していると推定されているときに三軸加速度センサ１３１、１４１のそれぞれにおいて得られた検出値と、挙動推定部１０２により車両１が直進走行していると推定されているときに三軸加速度センサ１３１、１４１のそれぞれにおいて得られた検出値とを用いて、撮像装置１３、１４のそれぞれの現在の姿勢を検出する。そして、画像処理部１０３は、検出した撮像装置１２の現在の姿勢に基づいて、撮像装置１２〜１４から得られた３枚の画像５１〜５３を合成処理し、合成後の合成画像５０を出力する。

記憶部１０４は、各撮像装置１２〜１４から取得された画像、各三軸加速度センサ１２１、１３１、１４１において検出された検出値、画像処理部１０３において算出された各撮像装置１２〜１４の姿勢などを一時的に記憶してもよい。また、記憶部１０４は、各撮像装置１２〜１４が車両１に設置された当初の姿勢、つまり、初期姿勢を記憶している。ここで、記憶部１０４が記憶する各撮像装置１２〜１４の姿勢（初期姿勢も含む）とは、各撮像装置１２〜１４のワールド座標系に対するロール角、ピッチ角およびヨー角である（後述参照）。また、記憶部１０４は、画像処理部１０３における各処理の処理結果を一時的に記憶してもよい。

表示装置４０は、画像処理装置１０により出力された合成画像５０を表示する。

次に、画像処理部１０３における撮像装置１２〜１４の姿勢を検出する処理の具体例について説明する。

まず、重力加速度が働く方向を基準とする第１座標系と、撮像装置の姿勢を基準とする第２座標系との関係について説明する。

図４は、重力加速度が働く方向を基準とする第１座標系と、撮像装置の姿勢を基準とする第２座標系との関係について説明するための図である。図４の（ａ）は、第１座標系を示す図である。図４の（ｂ）は、第２座標系を示す図である。なお、図４では、撮像装置１２〜１４について同様に適用できるため、撮像装置１２のみについて図示し、撮像装置１３、１４の図示は省略する。同様に、以下では、撮像装置１３、１４の座標系の説明については省略する。

第１座標系は、例えば、地球を基準とし、地球における重力加速度が働く方向をＺ軸方向とし、地球における経線の方向をＸ軸方向とし、地球における緯線の方向をＹ軸方向とする座標系である。第１座標系は、いわゆる、ワールド座標系である。

第２座標系は、撮像装置１２の姿勢を基準とする座標系である。第２座標系は、例えば、撮像装置１２の撮像方向をｘ軸方向とし、撮像素子１２２の垂直方向をｚ軸方向とし、撮像素子１２２の水平方向をｙ軸方向とする座標系である。なお、第２座標系は、上記の方向に限定されるものではない。また、第１座標系は、第２座標系を、ｘ軸方向周りにロール角α回転させ、かつ、ｙ軸方向周りにピッチ角β回転させ、かつ、ｚ軸方向周りにヨー角γ回転させた座標系である。

このことから、第１座標系と第２座標系との間には、式１に示す関係式が成り立つ。

式１に基づいて、第２座標系を第１座標系から算出する、式２に示す関係式を求めることができる。

式２の関係式を用いて、画像処理部１０３は、撮像装置１２〜１４の姿勢を検出する。

画像処理部１０３は、挙動推定部１０２により車両１が停止していると推定されているときに三軸加速度センサ１２１において得られた検出値（ｘ１、ｙ１、ｚ１）を用いて、撮像装置１２の姿勢におけるロール角α１およびピッチ角β１を算出する。具体的には、画像処理部１０３は、式２に、重力加速度および検出値（ｘ１、ｙ１、ｚ１）を適用することで、ロール角α１およびピッチ角β１を算出する。つまり、画像処理部１０３は、式２における（Ｘ、Ｙ、Ｚ）に重力加速度として（０、０、Ｇ）を代入し、かつ、式２における（ｘ、ｙ、ｚ）に検出値（ｘ１、ｙ１、ｚ１）を代入する。なお、Ｇは、重力加速度を示す。これにより、下記の式３が得られる。

ここで、検出値（ｘ１、ｙ１、ｚ１）は、三軸加速度センサ１２１において得られた数値であるため、式３からロール角α１およびピッチ角β１を求めることができる。

また、画像処理部１０３は、算出したロール角α１およびピッチ角β１と、挙動推定部１０２により車両１が直進走行していると推定されているときに三軸加速度センサ１２１において得られた検出値（ｘ２、ｙ２、ｚ２）を用いて、撮像装置１２の姿勢におけるヨー角γ１を算出する。具体的には、画像処理部１０３は、式２に、車両１が直進走行しているときの加速度と、検出値（ｘ２、ｙ２、ｚ２）とを適用することで、ヨー角γ１を算出する。つまり、画像処理部１０３は、式２における（Ｘ、Ｙ、Ｚ）に車両１が直進走行しているときの加速度として（Ｍ、０、Ｇ）を代入し、かつ、式２における（ｘ、ｙ、ｚ）に検出値（ｘ２、ｙ２、ｚ２）を代入する。なお、Ｍは、車両１が直進走行している時の直進方向における加速度を示す。これにより、式２における未知数は、ヨー角γ１のみとなるため、画像処理部１０３は、ヨー角γ１を求めることができる。

なお、画像処理部１０３は、加速度Ｍを、三軸加速度センサ１２１における検出値（ｘ２、ｙ２、ｚ２）を用いて、式４から算出してもよい。

ここで、挙動推定部１０２により直進走行中であると推定される場合であっても、加速度Ｍが０（あるいは０に近い値）である場合、つまり車両１が等速で直線走行している場合、車両１が停止しているときと同じ条件となってしまう。このため、０よりも絶対値が大きい加速度Ｍを得るためには、車両１が直進走行中に加減速していることを挙動推定部１０２が推定していてもよい。この場合には、挙動推定部１０２が、車両１が直進走行中に加減速していることを推定しているときに三軸加速度センサ１２１において得られた検出値を利用することで０よりも絶対値が大きい加速度Ｍを得ることができる。

画像処理部１０３は、撮像装置１３、１４についても同様に上記の撮像装置１２の姿勢を算出する処理と同様の処理を行うことで、撮像装置１３、１４のそれぞれの姿勢を算出する。これにより、画像処理部１０３は、撮像装置１３の姿勢としてロール角α３、ピッチ角β３およびヨー角γ３を算出し、撮像装置１４の姿勢としてロール角α５、ピッチ角β５およびヨー角γ５を算出する。

次に、画像処理部１０３は、算出したロール角α１、ピッチ角β１およびヨー角γ１と、記憶部１０４が予め記憶している撮像装置１２の初期姿勢におけるロール角α２、ピッチ角β２およびヨー角γ２とのそれぞれの差分である第１の差分を算出する。第１の差分は、具体的には、（α２−α１）、（β２−β１）および（γ２−γ１）である。同様に、画像処理部１０３は、算出したロール角α３、ピッチ角β３およびヨー角γ３と、記憶部１０４が予め記憶している撮像装置１３の初期姿勢におけるロール角α４、ピッチ角β４およびヨー角γ４とのそれぞれの差分である第２の差分を算出する。第２の差分は、具体的には、（α４−α３）、（β４−β３）および（γ４−γ３）である。同様に、画像処理部１０３は、算出したロール角α５、ピッチ角β５およびヨー角γ５と、記憶部１０４が予め記憶している撮像装置１４の初期姿勢におけるロール角α６、ピッチ角β６およびヨー角γ６とのそれぞれの差分である第３の差分を算出する。第３の差分は、具体的には、（α６−α５）、（β６−β５）および（γ６−γ５）である。

このように、画像処理部１０３は、第１の差分、第２の差分および第３の差分を求めることで、各撮像装置１２〜１４の初期姿勢から現在の姿勢への変化量を算出することができる。これにより、画像処理部１０３は、各撮像装置１２〜１４において撮像された画像を、各撮像装置１２〜１４が初期姿勢において撮像した画像と同様の画像に補正することができる。つまり、画像処理部１０３は、第１の差分、第２の差分および第３の差分に基づいて、各撮像装置１２〜１４の姿勢に関する外部パラメータを校正することで、各撮像装置１２〜１４が初期姿勢において撮像した画像と同様の画像に補正することができる。例えば、画像処理部１０３は、第１の差分に基づいて画像５１を補正し、第２の差分に基づいて画像５２を補正し、第３の差分に基づいて画像５３を補正し、それぞれの補正後の３枚の画像を合成し、合成後の合成画像５０を出力する。

［２．動作］
次に、画像表示システム１００の動作について説明する。

図５は、実施の形態１に係る画像表示システムの動作の一例を示すシーケンス図である。図６は、画像処理装置における姿勢を算出する処理の一例を示すフローチャートである。図７は、画像処理装置における画像処理の一例を示すフローチャートである。

画像表示システム１００では、図５に示すように、撮像装置１２〜１４のそれぞれは、撮像により得られた画像、および、三軸加速度センサ１２１、１３１、１４１のそれぞれにおける検出値を出力する（Ｓ１〜Ｓ３）。

画像処理装置１０は、撮像装置１２〜１４のそれぞれにより出力された画像、および、検出値を取得し、取得した検出値に基づいて各撮像装置１２〜１４の姿勢を算出し（Ｓ４）、算出した各撮像装置１２〜１４の姿勢と取得した画像とに基づいて画像処理を実行し（Ｓ５）、合成画像を生成する。画像処理装置１０は、生成した合成画像を表示装置４０に出力する。なお、画像処理装置１０の各撮像装置１２〜１４の姿勢を算出する処理と、画像処理とのそれぞれの処理の詳細は後述する。

表示装置４０は、画像処理装置１０から出力された合成画像を取得して、当該合成画像を表示する（Ｓ６）。

画像表示システム１００では、ステップＳ１〜Ｓ６の処理を繰り返し実行することで、リアルタイムに、同じタイミングで撮像装置１２〜１４で撮像された３枚の画像を合成し、合成後の合成画像を表示装置４０に表示する。

次に、画像処理装置１０における姿勢を算出する処理について図６を用いて説明する。

姿勢を算出する処理において、画像処理装置１０では、取得部１０１は、各撮像装置１２〜１４の三軸加速度センサ１２１、１３１、１４１のそれぞれにおいて検出された検出値、つまり、三軸の加速度を取得する（Ｓ１１）。

次に、挙動推定部１０２は、車両１が停車中であるか否かを判定する（Ｓ１２）。挙動推定部１０２による車両１が停車中であるか否かの判定の例は、上述したとおりであるため省略する。

画像処理部１０３は、車両１が停車中であると挙動推定部１０２が判定した場合（Ｓ１２でＹｅｓ）、取得部１０１により取得された三軸の加速度を停車中の検出値として記憶部１０４に記憶させる（Ｓ１３）。

次に、画像処理部１０３は、停車中の検出値と、重力加速度と、式２とを用いて、各撮像装置１２〜１４のロール角α１、α３、α５およびピッチ角β１、β３、β５を算出する（Ｓ１４）。

画像処理部１０３は、算出したロール角α１、α３、α５およびピッチ角β１、β３、β５を記憶部１０４に記憶させる（Ｓ１５）。

そして、画像処理部１０３は、車両１が直進走行中における三軸加速度センサ１２１、１３１、１４１のそれぞれの検出値を記憶部１０４が記憶しているか否かを判定する（Ｓ１６）。

画像処理部１０３は、直進走行中における検出値を記憶部１０４が記憶していると判定した場合（Ｓ１６でＹｅｓ）、ステップＳ２０に進み、直進走行中における検出値を記憶部１０４が記憶していないと判定した場合（Ｓ１６でＮｏ）、ステップＳ１１に戻る。

ステップＳ１２に戻り、挙動推定部１０２は、車両１が停車中でないと判定した場合（Ｓ１２でＮｏ）、車両１が直進走行中であるか否かを判定する（Ｓ１７）。

画像処理部１０３は、車両１が直進走行中であると挙動推定部１０２が判定した場合（Ｓ１７でＹｅｓ）、取得部１０１により取得された三軸の加速度を直進走行中の検出値として記憶部１０４に記憶させる（Ｓ１８）。

そして、画像処理部１０３は、ロール角α１、α３、α５およびピッチ角β１、β３、β５を算出済み、つまり、ロール角α１、α３、α５およびピッチ角β１、β３、β５を記憶部１０４が記憶しているか否かを判定する（Ｓ１９）。

画像処理部１０３は、ロール角α１、α３、α５およびピッチ角β１、β３、β５を記憶部１０４が記憶していると判定した場合（Ｓ１９でＹｅｓ）、または、ステップＳ１６でＹｅｓと判定された場合、直進走行中の検出値と、直進走行中の車両１の加速度と、ロール角α１、α３、α５およびピッチ角β１、β３、β５と、式２とを用いて、各撮像装置１２〜１４のヨー角γ１、γ３、γ５を算出する（Ｓ２０）。

画像処理部１０３は、算出したロール角α１、α３、α５、ピッチ角β１、β３、β５およびヨー角γ１、γ３、γ５と、記憶部１０４が記憶している初期値であるロール角α２、α４、α６、ピッチ角β２、β４、β６およびヨー角γ２、γ４、γ６とのそれぞれの差分（α２−α１）、（α４−α３）、（α６−α５）、（β２−β１）、（β４−β３）、（β６−β５）、（γ２−γ１）、（γ４−γ３）および（γ６−γ５）を算出する（Ｓ２１）。

画像処理部１０３は、（α２−α１）、（α４−α３）、（α６−α５）、（β２−β１）、（β４−β３）、（β６−β５）、（γ２−γ１）、（γ４−γ３）および（γ６−γ５）を記憶部１０４に記憶させ（Ｓ２２）、姿勢を算出する処理を終了する。

なお、ステップＳ１３またはステップＳ１８において、画像処理部１０３は、取得部１０１により取得された検出値が三軸加速度センサ１２１、１３１、１４１において検出されたタイミングと、挙動推定部１０２において車両１の挙動が推定されたタイミングとにほとんどタイムラグがないと見なして、挙動推定部１０２におけるステップＳ１２の結果に応じて、取得部１０１において取得された検出値を停車中または直進走行中の検出値として記憶部１０４に記憶させてもよい。

また、三軸加速度センサ１２１、１３１、１４１のそれぞれは、検出値と、当該検出値を検出したタイミングを示す時刻情報とを、画像処理装置１０に出力していてもよい。この場合には、画像処理部１０３は、挙動推定部１０２において車両１の挙動が推定されたタイミングと、三軸加速度センサ１２１、１３１、１４１のそれぞれからの検出値の時刻情報とを比較することで、当該検出値が検出されたタイミングでの挙動推定部１０２におけるステップＳ１２またはステップＳ１７の結果に応じて、取得部１０１において取得された検出値を停車中または直進走行中の検出値として記憶部１０４に記憶させてもよい。

次に、画像処理装置１０における画像処理について図７を用いて説明する。

画像処理において、画像処理装置１０では、取得部１０１は、撮像装置１２〜１４により撮像された３枚の画像５１〜５３を取得する（Ｓ３１）。

次に、画像処理部１０３は、記憶部１０４に記憶されている第１の差分、第２の差分および第３の差分に基づいて、撮像装置１２〜１４から得られた３枚の画像５１〜５３を合成する（Ｓ３２）。

そして、画像処理部１０３は、合成後の合成画像５０を表示装置４０に出力する（Ｓ３３）。

このように、画像処理装置１０は、記憶部１０４に記憶されている各撮像装置１２〜１４の初期姿勢から最新（つまり現在）の姿勢への変化量に基づいて、各撮像装置１２〜１４から得られた３枚の画像を合成している。

なお、図５のシーケンス図においては、画像処理装置１０における姿勢を算出する処理の後に、画像処理が実行されるとしたが、これらの処理は並列に行われてもよいし、画像処理が姿勢を算出する処理よりも先に行われてもよい。これは、画像表示システム１００では、ステップＳ１〜Ｓ６が繰り返し実行されるためであり、画像処理は、既に算出された各撮像装置１２〜１４の初期姿勢から最新の姿勢への変化量を用いて実行されればよいためである。なお、画像処理部１０３は、各撮像装置１２〜１４の最新の姿勢が算出されていない場合には、記憶部１０４に記憶されている初期姿勢に基づいて画像処理を実行する。

また、画像処理装置１０は、姿勢を算出する処理と、画像処理とを並列に行う場合、画像を各撮像装置１２〜１４から取得するタイミングと、検出値を各撮像装置１２〜１４から取得するタイミングとは一致していなくてもよい。

［３．効果など］
本実施の形態に係る画像処理装置１０は、撮像装置１２〜１４のそれぞれにより撮像された画像を画像処理する装置である。撮像装置１２〜１４は、それぞれ、三軸加速度センサ１２１、１３１、１４１を有し、かつ、車両１に配置されている。画像処理装置１０は、取得部１０１と、挙動推定部１０２と、画像処理部１０３とを備える。取得部１０１は、撮像装置１２〜１４において撮像された画像、および、三軸加速度センサ１２１、１３１、１４１の検出値を、各撮像装置１２〜１４から取得する。挙動推定部１０２は、車両１の挙動を推定する。画像処理部１０３は、挙動推定部１０２により車両１が停止していると推定されているときに三軸加速度センサ１２１、１３１、１４１において得られた検出値と、挙動推定部１０２により車両１が直進走行していると推定されているときに三軸加速度センサ１２１、１３１、１４１において得られた検出値とを用いて、各撮像装置１２〜１４の現在の姿勢を算出する。画像処理部１０３は、算出した各撮像装置１２〜１４の現在の姿勢に基づいて各撮像装置１２〜１４から得られた画像を合成処理し、合成処理後の合成画像を出力する。

一般に、ユーザが車両１を運転しているときには、車両１は、発進と停止とを繰り返す。また、車両１は、走行中の多くの場合、直進走行をする。つまり、車両１は、ユーザに運転されると、多くの場合、直進走行と停止とを繰り返し行う。画像処理装置１０では、停止している時と直進走行している時とのそれぞれにおける各三軸加速度センサ１２１、１３１、１４１の検出値に基づいて、各撮像装置１２〜１４から得られた画像を合成する画像処理を実行する。つまり、画像処理装置１０は、ユーザが車両１を運転したときに１回以上の頻度で各撮像装置１２〜１４の姿勢を算出でき、算出した各撮像装置１２〜１４の姿勢に応じて画像処理を実行することができる。このように、画像処理装置１０は、高頻度で算出された各撮像装置１２〜１４の姿勢に応じて画像処理を実行することができるため、各撮像装置１２〜１４から得られた画像を適切に合成することができる。よって、画像処理装置１０は、撮像装置１２〜１４の少なくとも１つの姿勢が変化した後であっても、撮像装置１２〜１４の少なくとも１つの姿勢が変化する前と同様の合成画像を出力することができる。

また、本実施の形態に係る画像処理装置１０において、撮像装置１２〜１４は、車両１の後方を撮像する向きに配置されている。このため、画像処理装置１０は、撮像装置１２〜１４から得られた画像を適切に合成することで、車両１の後方の、１つの撮像装置ではまかなえないほどの広い範囲を撮像した合成画像を得ることができる。

また、本実施の形態に係る画像処理装置１０において、撮像装置１２、１３は、それぞれ車両１の左側ドア付近、右側ドア付近に固定されている。このため、撮像装置１２、１３は、ドアの開閉に伴う振動を受けてロール角α１、α３、ピッチ角β１、β３、およびヨー角γ１、γ３が、各々の初期値に対して変動しやすい。これに対し、本実施の形態では、画像処理装置１０が、高頻度で算出された各撮像装置１２〜１４の姿勢に応じて画像処理を実行することができるため、振動に起因した変動も即時的に校正することができる。

（実施の形態２）
実施の形態２に係る画像表示システムについて説明する。

図８は、実施の形態２に係る画像表示システムの機能構成の一例を示すブロック図である。

実施の形態２に係る画像表示システム１００Ａは、実施の形態１に係る画像表示システム１００と比較して、さらに、三軸加速度センサ１５、ヨーレイトセンサ１６および舵角センサ１７を備える点と、挙動推定部１０２Ａの機能とが異なる。実施の形態２に係る画像表示システム１００Ａのその他の構成は、実施の形態１に係る画像表示システム１００と同様であるので詳細な説明を省略する。

三軸加速度センサ１５は、車両１に配置され、車両１の前後方向、左右方向および鉛直方向のそれぞれにおける加速度を検出するセンサである。

ヨーレイトセンサ１６は、車両１に配置され、車両１の鉛直方向における軸周りの回転角速度を検出するセンサである。

舵角センサ１７は、車両１の図示しないステアリングホイールの操舵角を検出するセンサである。

挙動推定部１０２Ａは、三軸加速度センサ１５の検出値、ヨーレイトセンサ１６の検出値、および、舵角センサ１７の検出値のいずれか１つを取得し、取得した各検出値に基づいて、車両１の挙動を推定する。

挙動推定部１０２Ａは、例えば、三軸加速度センサ１５の検出値の時系列の変化が第１の範囲よりも小さい場合、車両１が停止していると推定してもよい。挙動推定部１０２Ａは、三軸加速度センサ１５の検出値の時系列の変化の割合が三軸のそれぞれにおいて互いに略同じである場合に、車両１が直進走行していると推定してもよい。

挙動推定部１０２Ａは、例えば、ヨーレイトセンサ１６の検出値が第１の閾値より小さい場合、車両１が直進走行していると推定してもよい。また、挙動推定部１０２は、舵角センサ１７が検出した操舵角が第２の閾値より小さい場合、車両１が直進走行していると推定してもよい。

なお、挙動推定部１０２Ａは、実施の形態１の挙動推定部１０２と同様に、各撮像装置１２〜１４から得られた、画像、および、三軸加速度センサ１２１、１３１、１４１の検出値に基づいて、車両１の挙動を推定してもよい。また、挙動推定部１０２Ａは、三軸加速度センサ１２１、１３１、１４１の検出値と、各撮像装置１２〜１４により撮像された画像と、舵角センサ１７により検出された車両１の操舵角と、ヨーレイトセンサ１６により検出された車両１の鉛直方向における軸周りの回転角速度との２以上を組み合わせることにより、車両１の挙動を推定してもよい。

図９は、実施の形態２に係る画像表示システムの動作の一例を示すシーケンス図である。

画像表示システム１００Ａでは、図９に示すように、図５で説明した実施の形態１に係る画像表示システム１００と比較して、三軸加速度センサ１５、ヨーレイトセンサ１６および舵角センサ１７のそれぞれが、検出値を画像処理装置１０Ａに出力するステップＳ１ａが追加されている点が異なる。なお、図９では、ステップＳ１ａは、ステップＳ１〜Ｓ３の後に行われるが、ステップＳ１〜Ｓ３との間での順番が限定されるものではない。ステップＳ１〜Ｓ３およびステップＳ１ａは、それぞれが、同じタイミングで行われてもよいし、別々のタイミングで行われてもよい。

また、実施の形態２に係る画像表示システム１００Ａの動作は、実施の形態１に係る画像表示システム１００の動作と比較して、ステップＳ１ａが追加されている点以外では、姿勢を更新するステップＳ４ａの処理において、挙動推定部１０２Ａが各センサ１５〜１７の検出値に基づいて車両１の挙動を推定する点が異なる。なお、ステップＳ４ａ以降の処理は、実施の形態１に係る画像表示システム１００の動作と処理の流れが同様であるため、詳細な説明を省略する。

（変形例）
［１．変形例１］
変形例１では、上記実施の形態１、２に係る挙動推定部１０２、１０２Ａが、さらに、車両１が急減速している、または、車両１が凹凸道を走行していると推定してもよい。そして、挙動推定部１０２、１０２Ａが、さらに、車両１が急減速している、または、車両１が凹凸道を走行していると推定した場合、画像処理部１０３は、ロール角α１、α３、α５、ピッチ角β１、β３、β５およびヨー角γ１、γ３、γ５の算出を行わず、記憶部１０４に既に記憶されているロール角α１、α３、α５、ピッチ角β１、β３、β５およびヨー角γ１、γ３、γ５とを用いて各撮像装置１２〜１４から得られた画像を合成する画像処理を行ってもよい。例えば、挙動推定部１０２、１０２Ａは、三軸加速度センサ１２１、１３１、１４１による検出値の変化量が第３の閾値を超えている場合に、車両１が急減速している、または、車両１が凹凸道を走行していると推定してもよい。また、挙動推定部１０２、１０２Ａは、各撮像装置１２〜１４により得られた画像のうち、ブレが含まれる領域の割合が第４の閾値を超えている場合に、車両１が急減速している、または、車両１が凹凸道を走行していると推定してもよい。

これによれば、車両１の挙動が不安定のときに三軸加速度センサ１２１、１３１、１４１において検出された検出値から各撮像装置１２〜１４の姿勢を算出せずに、前回算出した各撮像装置１２〜１４の姿勢に基づいて画像処理を行う。つまり、不安定な挙動による三軸加速度センサ１２１、１３１、１４１の異常な検出値を用いないため、誤って算出した撮像装置１２〜１４の姿勢に基づく画像処理を実行することを低減することができる。

［２．変形例２］
上記実施の形態１、２およびその変形例１に係る画像表示システム１００、１００Ａは、複数の撮像装置１２〜１４を備える構成としたが、これに限らずに、１つの撮像装置を備える構成としてもよい。

例えば、画像表示システム１００、１００Ａの３つの撮像装置１２〜１４のうちの撮像装置１２のみを備える構成を例にして説明する。画像処理装置１０、１０Ａでは、画像処理部１０３は、挙動推定部１０２、１０２Ａにより車両１が停止していると推定されているときに三軸加速度センサ１２１において得られた検出値と、挙動推定部１０２、１０２Ａにより車両１が直進走行していると推定されているときに三軸加速度センサ１２１において得られた検出値とを用いて、撮像装置１２の現在の姿勢を算出する。そして、画像処理部１０３は、算出した現在の姿勢に基づいて撮像装置１２から得られた画像を画像処理し、画像処理後の画像を出力する。

このように、画像表示システム１００、１００Ａを１つの撮像装置１２を備える構成とした場合であっても、画像処理装置１０、１０Ａは、高頻度で算出された撮像装置１２の姿勢に応じて画像処理を実行することができる。このため、撮像装置１２から得られた画像を適切な画像に変換することができる。これにより、画像処理装置１０、１０Ａは、撮像装置１２の姿勢が変化した後であっても、撮像装置１２の姿勢が変化する前と同様の画像を出力することができる。よって、画像処理装置１０、１０Ａは、撮像装置１２の姿勢が変化した場合であっても、姿勢の変化の前後でユーザに与える違和感が少ない画像を出力することができる。

［３．変形例３］
上記実施の形態１では、車両１が直進走行している時の加速度Ｍを各撮像装置１２〜１４の三軸加速度センサ１２１、１３１、１４１の検出値を用いて算出するとしたが、これに限らない。加速度Ｍは、挙動推定部１０２、１０２Ａによる車両１の直進走行推定時において、実施の形態２で示したような車両１に配置される三軸加速度センサ１５による検出値を用いて算出されてもよいし、車両１のスピードメータの検出値を用いて算出されてもよい。

なお、上記各実施の形態において、画像処理装置１０の各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、第１三軸加速度センサを有し、かつ、車両に配置される第１撮像装置により得られた第１画像を画像処理する画像処理装置による画像処理方法であって、前記車両が停止しているか直進走行しているかを推定し、前記車両が停止していると推定しているときの前記第１三軸加速度センサの第１出力値を取得し、前記車両が直進走行していると推定しているときの前記第１三軸加速度センサの第２出力値を取得し、前記第１撮像装置から前記第１画像を取得し、前記第１出力値および前記第２出力値を用いて、前記第１画像を画像処理し、画像処理後の前記第２画像を出力する画像処理方法。を実行させる。

なお、実施の形態１、２における画像合成装置１０は、車両の後方画像を合成するものとして説明したが、それに限定されるものではなく、車両の前方や周囲の画像を合成するものであってもよい。

以上、本発明の一つまたは複数の態様に係る画像処理装置、画像表示システムおよび画像処理方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

本発明は、車両に配置された撮像装置の姿勢に応じて、適切な画像を得ることができる画像処理装置、画像表示システムおよび画像処理方法などとして有用である。

１ 車両
１０、１０Ａ 画像処理装置
１２〜１４ 撮像装置
１５ 三軸加速度センサ
１６ ヨーレイトセンサ
１７ 舵角センサ
４０ 表示装置
５０ 合成画像
５１〜５３ 画像
１００、１００Ａ 画像表示システム
１０１ 取得部
１０２、１０２Ａ 挙動推定部
１０３ 画像処理部
１０４ 記憶部
１２１、１３１、１４１ 三軸加速度センサ
１２２、１３２、１４２ 撮像素子

Claims (11)

1. 第１三軸加速度センサを有し、かつ、車両に配置される第１撮像装置により撮像された第１画像を画像処理する画像処理装置であって、
   前記第１画像、および、前記第１三軸加速度センサの検出値を前記第１撮像装置から取得する取得部と、
   前記車両の挙動を推定する挙動推定部と、
   （１）前記挙動推定部により前記車両が停止していると推定されているときに前記第１三軸加速度センサにおいて得られた第１検出値と、前記挙動推定部により前記車両が直進走行していると推定されているときに前記第１三軸加速度センサにおいて得られた第２検出値とを用いて、前記第１撮像装置の現在の姿勢を算出し、（２）算出した前記現在の姿勢に基づいて前記第１画像を画像処理し、（３）画像処理後の第２画像を出力する画像処理部と、を備える
   画像処理装置。
2. 前記画像処理部は、
   前記第１検出値を用いて前記第１撮像装置の姿勢における第１ロール角および第１ピッチ角を算出し、
   算出した前記第１ロール角および前記第１ピッチ角と、前記第２検出値とを用いて前記第１撮像装置の姿勢における第１ヨー角を算出し、
   算出した前記第１ロール角、前記第１ピッチ角および前記第１ヨー角と、予め記憶している前記第１撮像装置の初期姿勢における第２ロール角、第２ピッチ角および第２ヨー角とのそれぞれの差分に基づいて、前記第１画像を補正し、補正後の前記第２画像を出力する
   請求項１に記載の画像処理装置。
3. 前記画像処理部は、
   重力加速度が働く方向を基準とする第１座標系から、前記第１撮像装置の姿勢を基準とする第２座標系に変換する関係式に、前記重力加速度および前記第１検出値を適用することで、前記第１ロール角および前記第１ピッチ角を算出し、
   前記関係式に、算出した前記第１ロール角および前記第１ピッチ角と、前記車両が直進走行しているときの加速度と、前記第２検出値とを適用することで、前記第１ヨー角を算出する
   請求項２に記載の画像処理装置。
4. さらに、
   算出した前記第１ロール角、前記第１ピッチ角および前記第１ヨー角を記憶する記憶部を備え、
   前記画像処理部は、前記挙動推定部が、前記車両が急減速している、または、前記車両が凹凸道を走行していると推定した場合、前記第１ロール角、前記第１ピッチ角および前記第１ヨー角の算出を行わず、前記記憶部に記憶されている前記第１ロール角、前記第１ピッチ角および前記第１ヨー角を用いて前記第１画像を画像処理する
   請求項２または３に記載の画像処理装置。
5. 前記取得部は、さらに、第２三軸加速度センサを有する第２撮像装置であって、前記車両に配置される第２撮像装置から、撮像された第３画像、および、前記第２三軸加速度センサの検出値を取得し、
   前記画像処理部は、さらに、前記第１検出値および前記第２検出値と、前記挙動推定部により前記車両が停止していると推定されているときに得られた前記第２三軸加速度センサの第３検出値と、前記挙動推定部により前記車両が直進走行していると推定されているときに得られた前記第２三軸加速度センサの第４検出値とを用いて、前記第１画像、および、前記第２撮像装置により得られた第３画像を合成処理し、合成した画像を前記第２画像として出力する
   請求項１に記載の画像処理装置。
6. 前記画像処理部は、
   前記第１検出値を用いて前記第１撮像装置の姿勢における第１ロール角および第１ピッチ角を算出し、
   算出した前記第１ロール角および前記第１ピッチ角と前記第２検出値とを用いて前記第１撮像装置の姿勢における第１ヨー角を算出し、
   前記第３検出値を用いて前記第２撮像装置の姿勢における第３ロール角および第３ピッチ角を算出し、
   算出した前記第３ロール角および前記第３ピッチ角と前記第４検出値とを用いて前記第２撮像装置の姿勢における第３ヨー角を算出し、
   算出した前記第１ロール角、前記第１ピッチ角および前記第１ヨー角と、予め記憶している前記第１撮像装置の初期姿勢における第２ロール角、第２ピッチ角および第２ヨー角とのそれぞれの差分である第１の差分と、
   算出した前記第３ロール角、前記第３ピッチ角および前記第３ヨー角と、予め記憶している前記第２撮像装置の初期姿勢における第４ロール角、第４ピッチ角および第４ヨー角とのそれぞれの差分である第２の差分と、に基づいて前記第１画像および前記第３画像を合成し、合成後の前記第２画像を出力する
   請求項５に記載の画像処理装置。
7. 前記画像処理部は、
   重力加速度が働く方向を基準とする第１座標系から、前記第１撮像装置の姿勢を基準とする第２座標系に変換する関係式に、前記重力加速度および前記第１検出値を適用することで、前記第１ロール角および前記第１ピッチ角を算出し、
   前記関係式に、算出した前記第１ロール角および前記第１ピッチ角と、前記車両が直進走行しているときの加速度と、前記第２検出値とを適用することで、前記第１ヨー角を算出し、
   前記関係式に、前記重力加速度および前記第３検出値を適用することで、前記第３ロール角および前記第３ピッチ角を算出し、
   前記関係式に、算出した前記第３ロール角および前記第３ピッチ角と、前記車両が直進走行しているときの加速度と、前記第４検出値とを適用することで、前記第３ヨー角を算出する
   請求項６に記載の画像処理装置。
8. 前記第１撮像装置および前記第２撮像装置は、前記車両の後方を撮像する向きに配置されている
   請求項５から７のいずれか１項に記載の画像処理装置。
9. 前記挙動推定部は、前記第１三軸加速度センサの検出値、前記第１撮像装置により撮像された画像、前記車両の操舵角、前記車両の傾斜角、および、前記車両のヨー角のいずれか１つを含む挙動情報を取得し、取得した前記挙動情報に基づいて、前記車両の挙動を推定する
   請求項１から８のいずれか１項に記載の画像処理装置。
10. 請求項１から９のいずれか１項に記載の画像処理装置と、
    前記第１撮像装置と、
    前記画像処理装置により出力された前記第２画像を表示する表示装置と、を備える
    画像表示システム。
11. 第１三軸加速度センサを有し、かつ、車両に配置される第１撮像装置により得られた第１画像を画像処理する画像処理装置による画像処理方法であって、
    前記車両が停止しているか直進走行しているかを推定し、
    前記車両が停止していると推定しているときの前記第１三軸加速度センサの第１出力値を取得し、
    前記車両が直進走行していると推定しているときの前記第１三軸加速度センサの第２出力値を取得し、
    前記第１撮像装置から前記第１画像を取得し、
    前記第１出力値および前記第２出力値を用いて、前記第１画像を画像処理し、
    画像処理後の前記第２画像を出力する
    画像処理方法。

Images