JP2010263500A - 映像処理システム、撮影装置及び映像処理方法 - Google Patents

Abstract

【課題】 撮影装置から送信されるデータ量の削減と、高品質な生成映像の生成とを両立する映像処理システムを提供する。
【解決手段】 複数の撮影部１１０〜１４０は、生成映像データを生成するための映像データを撮影するカメラ１１１、１２１、１３１、１４１と、映像データの分割した複数の領域を識別する領域情報と、生成映像データの生成の際に映像データの各領域に要求される解像度に基づいて各領域ごとに算出された重要度とを記憶した部分重要度パターン記憶部１１５、１２５、１３５、１４５と、重要度を参照して、撮影された映像データの各領域を重要度に応じた圧縮率で圧縮する送信映像圧縮部１１２、１２２、１３２、１４２と、圧縮された映像データを車内伝送路経由で映像処理装置２００に送信するネットワークＩ／Ｆ部１１３，１２３，１３３，１４３とを備えている。
【選択図】 図３

Description

本発明は、複数の撮影装置（例えば、カメラ）で周辺の映像を撮影し、撮影した映像を合成処理して表示装置に表示させる映像処理システムに関する。

近年、車両に搭載された複数台のカメラによって、運転者の死角となる車両の周辺部を映し出し、車室内に搭載された表示装置（モニタ）に表示することで運転者の安全運転を支援する装置が提案されている。

しかしながら、より高精細な映像を表示するため、カメラの解像度を上げると、カメラの映像を処理する映像処理装置に送信するデータ量が大幅に増加する。また、車両に搭載するカメラの台数を増やしても同様のことが言える。このため、各カメラと映像処理装置とをつなぐ伝送路の帯域幅によって送信可能なデータ量が制限される場合がある。

特許文献１及び２には、画像取込み装置又はカメラ制御装置から、画像受信装置へ送信されるデータ量を削減する技術が開示されている。特許文献１では、画像受信装置側で、生成する画像のレイアウト情報を作成して画像取込み装置に送信する。画像取込み装置は、取得したレイアウト情報に従って、取り込んだ画像データの切り出しを行い、切り出した画像を画像受信装置に送信している。また、特許文献２では、カメラ制御装置が、カメラの撮影方向とズーム倍率を検出して、カメラによって撮影された映像を所望の解像度およびフレームレートの映像に変換している。変換した映像は、カメラ制御装置から端末に送信される。端末は、各カメラ制御装置から送信された映像を合成してモニタに表示している。

特開２０００−８３１９３号公報 特開平１０−１３６３４５号公報

右左折、車線変更、車庫入れ等、運転者の運転状況に応じて生成する生成映像のパターンを切り替えることで運転者の利便性が向上するが、生成映像のパターンに応じて、各カメラ映像の使用部分や、必要な映像の解像度が異なってくる。例えば、図１に示すようにカメラに近い側では、映像の画素当たりの地面の面積が狭いが、カメラから離れるに従って、映像の画素当たりの地面の面積が広くなってくる。従って、例えば、俯瞰映像を生成すると、カメラから遠くなるに従い、少ない画素から広い映像を生成する必要があり、映像が粗くなる。
このため、カメラ等の撮影装置から映像処理装置へのデータ量を削減しつつ、複数種類の生成映像を高精細に生成するためには、生成映像に使用される部分ごとに解像度を調整したカメラ映像を映像処理装置に送信する必要がある。

本発明は上記事情に鑑みてなされたものであり、撮影装置から送信されるデータ量の削減と、高品質な生成映像の生成とを両立する映像処理システム、撮影装置及び映像処理方法を提供することを目的とする。

本明細書に開示の映像処理システムは、映像データを表示可能な表示装置と、車両周辺を撮影可能な複数の撮影装置と、車内伝送路経由で前記複数の撮影装置と連携し、撮影された複数の映像データから複数種類の生成映像データを生成する映像処理装置とを備えた映像処理システムであって、前記複数の撮影装置は、それぞれ、映像データの分割した複数の領域を識別する領域情報と、生成映像データの生成の際に前記映像データの各領域に要求される解像度に基づいて前記各領域ごとに算出された重要度とを記憶した記憶部と、前記重要度を参照して、撮影された映像データの各領域を重要度に応じた圧縮率で圧縮する映像圧縮部と、前記圧縮された映像データを前記車内伝送路経由で前記映像処理装置に送信する送信部とを備え、前記映像処理装置は、前記複数の撮影装置から送信される、前記圧縮された映像データを入力する入力部と、入力した複数の圧縮された映像データに基づいて、前記表示装置に表示する映像データを生成する映像生成部と、生成した映像データを前記表示装置に送信する送信部とを備え、前記表示装置は、前記映像処理装置から送信された前記生成映像データを受信する受信部と、受信した生成映像データを表示する表示部とを備えている。

本明細書に開示の映像処理システムによれば、撮影装置から送信されるデータ量の削減と、高品質な生成映像の生成とを両立する映像処理システムを提供することができる。

撮影範囲と映像の解像度との関係を示す図である。 映像処理システムの構成の一例を示す図である。 第１撮影部〜第４撮影部の構成の一例を示す図である。 カメラの車両搭載位置の一例を示す図である。 部分重要度パターンデータの一例を示す図である。 圧縮率制御部のハードウェア構成の一例を示す図である。 圧縮率制御部及び送信映像圧縮部の処理を説明するための図である。 圧縮率制御部及び送信映像圧縮部の処理を説明するための図である。 映像処理装置の制御部のハードウェア構成の一例を示す図である。 １０Ａ及び１０Ｂは、表示部に表示される表示の例を示す図である。 １１Ａ及び１１Ｂは、表示部に表示される表示の例を示す図である。 １２Ａ及び１２Ｂは、表示部に表示される表示の例を示す図である。 制御部による生成映像変換パターンデータと部分重要度パターンデータの生成手順を示すフローチャートである。 制御部による部分重要度パターンデータの生成手順を示すフローチャートである。 １５Ａは、車両を鉛直方向（Ｚ軸方向）から見た座標系を示し、１５Ｂは、車両を幅方向（Ｘ軸方向）から見た座標系を示す図である。 カメラの取り付け角度を説明するための図である。 生成映像構成パターンデータを説明するための図である。 １８Ａ及び１８Ｂは生成映像変換パターンデータの一例を示す図である。 １９Ａ及び１９Ｂは、映像データの重要度分布の補正範囲の例を説明する図である。 ２０Ａ〜２０Ｄは、カメラで撮影された映像データの重要度分布を示す図である。 第１撮影部〜第４撮影部ごとに生成された部分重要度パターンデータの一例を示す図である。 撮影部の処理手順を示すフローチャートである。 映像処理装置の処理手順を示すフローチャートである。

以下、添付図面を参照しながら本発明の好適な実施例を説明する。

本実施例の映像処理システム１は、図２に示すように撮影装置１００と、映像処理装置２００と、操作部３１０と、表示装置３２０とを備えている。撮影装置１００は、第１撮影部１１０と、第２撮影部１２０と、第３撮影部１３０と、第４撮影部１４０とを備えている。また、映像処理装置２００は、ネットワークインターフェース部（以下、インターフェースをＩ／Ｆと略記する）２１０と、映像生成部２２０と、制御部２３０と、記憶部２４０と、送信部２５０とを備えている。表示装置３２０は、受信部３２１と、表示部３２２とを備えている。また、撮影装置１００と、映像処理装置２００とはＬＡＮ等のネットワーク１５０で接続されている。

図３を参照しながら撮影装置１００の詳細について説明する。なお、第１撮影部１１０〜第４撮影部１４０は、ほぼ同一の構成を備えているため、以下では代表して第１撮影部１１０について説明する。第１撮影部１１０は、カメラ１１１と、送信映像圧縮部１１２と、ネットワークＩ／Ｆ部１１３と、圧縮率制御部１１４と、部分重要度パターン記憶部１１５とを備えている。

カメラ１１１は、車両周辺の映像を撮影し、撮影した映像データを送信映像圧縮部１１２に出力する。図４に第１撮影部１１０のカメラ１１１、第２撮影部１２０のカメラ１２１、第３撮影部１３０のカメラ１３１、第４撮影部１４０のカメラ１４１の車両の設置位置の一例を示す。カメラ１１１は、車両の前方に配置され、車両前方の映像を撮影する。カメラ１２１は、車両の左側方に配置され、車両左側方の映像を撮影する。カメラ１３１は、車両の右側方に配置され、車両右側方の映像を撮影する。カメラ１４１は、車両の後方に配置され、車両後方の映像を撮影する。なお、本実施例では、車両に４つのカメラを搭載しているが、カメラの数は４つに限定されるものではなく、３つでも５つや６つであってもよい。例えば、カメラのレンズを広角レンズとすることで、カメラの設置数を削減することもできる。また、カメラは、最初から車両に搭載されているものであっても連係動作可能であれば問題ない。

送信映像圧縮部１１２は、圧縮率制御部１１４から指示された圧縮率で、カメラ１１１によって撮影された映像データを圧縮する。送信映像圧縮部１１２は、圧縮処理した映像データをネットワークＩ／Ｆ部１１３に出力する。

部分重要度パターン記憶部１１５は、映像データの分割した複数の領域ごとの重要度を表す部分重要度パターンデータを記憶している。図５に部分重要度パターンデータの一例を示す。図５に示すように部分重要度パターンデータは、映像データの分割した領域の位置を示す位置座標と、当該位置座標の映像データの重要度（部分重要度）とを含む。なお、位置座標の例として、例えば、領域の左上座標と、右下座標とを用いることができる。また、重要度とは、生成映像の生成の際に要求される映像データの部分ごとの解像度を反映した情報である。詳細については後述する。

圧縮率制御部１１４は、図６に示すようにＣＰＵ１１４Ａ、ＲＯＭ１１４Ｂ、ＲＡＭ１１４Ｃ、入出力部１１４Ｄ等のハードウェアを備えている。ＣＰＵ１１４Ａは、ＲＯＭ１１４Ｂに記録されたプログラムに従って動作する。ＲＡＭ１１４Ｃには、ＣＰＵ１１４Ａが演算に使用するデータ等が格納される。入出力部１１４Ｄは、ネットワークを介して制御部２３０から映像処理装置２００の制御部２３０から送信された指示信号等を入力する。また、ＣＰＵ１１４Ａから送信映像圧縮部１１２への圧縮率制御信号を出力する。

圧縮率制御部１１４は、ネットワークＩ／Ｆ部１１３を介して映像処理装置２００の制御部２３０から生成映像データの生成パターンの指示を受け付ける。制御部２３０からの指示を受け付けた圧縮率制御部１１４は、指示された生成パターンに該当する部分重要度パターンデータを部分重要度パターン記憶部１１５から読み出す。圧縮率制御部１１４は、読み出した部分重要度パターンデータに従って、カメラ１１１で撮影された映像データの圧縮率を制御する。なお、生成映像データとは、カメラ１１１〜１４１で撮影された映像データに、座標変換等の処理を行って生成される映像データである。生成映像データは、カメラ１１１〜１４１で撮影された映像データの使用部分や、座標変換を変更することで複数種類（パターン）生成される。生成映像データの詳細については後述する。

圧縮率制御部１１４の処理について具体的に説明する。
映像データの部分ごとの重要度が、部分重要度パターンデータによって、例えば図７Ａに示すように規定されていたとする。なお、図７Ａに示す重要度１の部分は、重要度が低い映像データであることを示している。重要度２の部分は、重要度が中位程度の映像データであることを示している。重要度３の部分は、重要度が高い映像データであることを示している。また、重要度０の部分は、重要ではない映像データ、すなわち、生成映像データには使用されない映像データであることを示している。なお、部分重要度パターン記憶部１１５、１２５、１３５、１４５に記憶している部分重要度パターンデータには、重要度０の映像データの位置座標を示しておかなくてもよい。すなわち、重要度１〜３の映像データの位置座標を規定しておけば、映像データのそれ以外の部分は、すべて重要度０の映像データであると判断できるからである。
圧縮率制御部１１４は、図７Ｂに示すように重要度３に設定された重要度の高い部分の映像データに対しては、圧縮率が低くなるように映像データに割り当てる圧縮符号量を制御する。逆に、重要度１に設定された重要度の低い部分の映像データに対しては、圧縮率が高くなるように映像データに割り当てる圧縮符号量を制御する。各カメラ１１１〜１４１で撮影された映像データを圧縮して映像処理装置２００に送信することで、図７Ａと図７Ｂに示すようにネットワーク１５０上を送信されるデータ量を削減することができる。

圧縮率制御部１１４の処理について、より具体的に説明する。まず、以下の説明で使用する伝送データ量管理単位、圧縮データ量管理単位、圧縮単位について最初に説明しておく。
伝送データ量管理単位とは、伝送路に送信するパケットデータのデータ量を調整する管理単位である。例えば、１フレーム、８フレーム等のフレームを単位に伝送データ量管理単位が設定される。例えば、伝送データ量管理単位当たりの圧縮率が固定の伝送方式の場合、伝送データ量管理単位である１フレーム当たりに使用できる圧縮符号量が一定量に固定されている伝送方式となる。
また、圧縮データ量管理単位とは、圧縮符号量の調整を行う管理単位である。例えば、圧縮率を固定とした場合、この圧縮データ量管理単位で、発生させる圧縮符号の符号量が一定となるように調整を行う。圧縮データ量管理単位は、例えば、８ライン等のラインを単位に設定される。
また、圧縮単位とは、圧縮符号の割り当てを行う単位である。パケットの受信側では、この圧縮単位でデータの復元を行う。

伝送データ量管理単位（例えば、１フレーム。以下では、伝送データ量管理単位を１フレームとして説明する）当たりの圧縮率が固定の伝送方式であった場合について説明する。
１フレーム当たりの圧縮率が固定の場合、圧縮率制御部１１４は、圧縮データ量管理単位（例えば、８ライン。以下、圧縮データ量管理単位を８ラインとして説明する）毎に符号割り当て量を決定する。
まず、圧縮率制御部１１４は、1フレームに含まれる画素のうち、需要度が０の部分の画素を不要部分として最大圧縮（最小符号量）となるように圧縮符号を割り当てる。
次に、圧縮率制御部１１４は、伝送データ量管理単位の割り当て可能符号量から不要部分の画素に割り当てた圧縮符号の符号量を除いた残りの符号量を求める。そして、圧縮率制御部１１４は、求めた残りの圧縮符号の符号量を各圧縮データ量管理単位内の画素ごとの部分重要度の総和の比率に応じて割り当てる。すなわち、重要度１〜３の画素の重要度別の画素数総和を求め、求めた重要度別の画素数総和と、重要度（１〜３）の比率で残符号量を分割し、各画素に割り当てる圧縮符号量を決定する。
なお、各画素に割り当てる符号量を、映像内容の複雑さと映像データの重要度とに基づいて決定することもできる。例えば、圧縮率制御部１１４は、圧縮データ量管理単位ごとに、この管理単位の映像データの複雑さをまず求める。例えば、映像データに含まれる高周波成分量に応じて映像データの複雑さを判定することができる。ここでは、例えば、５段階で映像データの複雑さを判定するものとする。そして、圧縮率制御部１１４は、判定した映像データの複雑さを、映像データ自体の重要度により補正して、各画素に割り当てる圧縮符号量を決定する。例えば、映像データの複雑さが複雑であることを示す「５」であっても、映像データの重要度が低ければ、複雑さを表す評価値を低い値に補正する。逆に、映像データの複雑さが複雑ではないことを示す「１」であっても、映像データ自体の重要度が高ければ、複雑さを表す評価値を高い値に補正する。圧縮率制御部１１４は、補正した複雑さの評価値に基づいて、各画素に割り当てる符号量を決定する。

また、映像データを圧縮する前に、重要度０の映像データの部分は、図８に示すように予め黒画像などの固定値に置換しておくこともできる。黒画像などの固定値に置換しておくことで、置換された部分の映像データが映像データの複雑さの判定によって高圧縮率で処理される。

ネットワークＩ／Ｆ部１１３は、内部にバッファを備えている。ネットワークＩ／Ｆ部１１３は、送信映像圧縮部１１２から出力された圧縮された映像データをバッファに一旦蓄積する。ネットワークＩ／Ｆ部１１３は、蓄積した映像データを分割してパケットデータに変換し、変換したパケットデータを、送信速度を調整しながらネットワーク１５０を介して映像処理装置２００に送信する。なお、ネットワークＩ／Ｆ部１１３からネットワーク１５０に出力されるパケット数は、一定時間内に一定数と規定されている。従って、送信映像圧縮部１１２による圧縮によって映像データのデータサイズが小さくなると、１パケットデータのデータサイズもそれに応じて小さくなる。ネットワークＩ／Ｆ部１１３で生成されたパケットデータは、ネットワーク１５０により伝送され、映像処理装置２００に送られる。

図２に戻って、映像処理装置２００について説明する。
ネットワークＩ／Ｆ部２１０は、第１撮影部１１０〜第４撮影部１４０から送信されたパケットデータを受信する。ネットワークＩ／Ｆ部２１０もバッファを備え、受信したパケットデータを一旦蓄積する。ネットワークＩ／Ｆ部２１０は、受信したパケットデータを復号処理して映像データに戻し、映像データにブランキングデータを付加して映像生成部２２０に出力する。また、ネットワークＩ／Ｆ部２１０は、第１撮影部１１０〜第４撮影部１４０からパケットデータを受信すると、受信したパケットデータを映像データに戻すことなく、データ列のまま映像生成部２２０に出力してもよい。この場合、映像生成部２２０でデータ列から映像データに変換することになる。
なお、撮影装置１００側で高圧縮率の圧縮符号を割り当てた重要度０の映像データは、映像処理装置２００側には特定色ないしは特定のパターンデータとして受信されるが、生成映像データの生成には使用されない部分なので、生成映像データに影響を及ぼすことはない。

映像生成部２２０は、第１撮影部１１０〜第４撮影部１４０から送信された映像データを座標変換して、生成映像データを生成する。記憶部２４０には、後述する生成映像変換パターンデータが記憶されている。映像生成部２２０は、制御部２３０から指示された生成映像データを生成するための生成映像変換パターンデータを記憶部２４０から取得する。映像生成部２２０は取得した生成映像変換パターンデータに従って、第１撮影部１１０〜第４撮影部１４０から送信された映像データを座標変換し、生成映像データを生成する。

送信部２５０は、映像生成部２２０で生成された生成映像データを表示装置３２０に送信する。

次に、制御部２３０について説明する。図９には、制御部２３０のハードウェア構成の一例を示す。制御部２３０は、ハードウェアとしてＣＰＵ（Central Processing Unit）２３１、ＲＯＭ（Read Only Memory）２３２、ＲＡＭ（Random Access Memory）２３３、入出力部２３４を備えている。
ＲＯＭ２３２には、ＣＰＵ２３１が制御に使用するプログラムが記録されている。ＣＰＵ２３１は、ＲＯＭ２３２に記録されたプログラムを読み込んで、読み込んだプログラムに従った処理を行う。また、ＲＡＭ２３３には、ＣＰＵ２３１が演算に使用するデータや、演算結果のデータが記憶される。入出力部２３４は、ユーザによって操作部３１０から入力された操作入力を受け付け、ＣＰＵ２３１に出力する。また、入出力部２３４は、ＣＰＵ２３１から出力される指示信号をネットワークＩ／Ｆ部２１０に出力する。ネットワークＩ／Ｆ部２１０は、入出力部２３４から出力された指示信号をネットワーク１５０を介して第１撮影部１１０〜第４撮影部１４０に送信する。

制御部２３０は、部分重要度パターンデータを生成映像データのパターンごとに複数生成する。部分重要度パターンデータは、第１撮影部１１０〜第４撮影部１４０ごとに生成される。制御部２３０は、生成した部分重要度パターンデータをネットワーク１５０を介して、撮影装置１００に送信する。第１撮影部１１０〜第４撮影部１４０は、制御部２３０から送信された、該当する部分重要度パターンデータを部分重要度パターン記憶部１１５、１２５、１３５、１４５に記憶する。なお、部分重要度パターンデータは、生成映像データのパターン毎のデータを全て部分重要度パターン記憶部に記憶させておいても良いし、生成映像データのパターンの切り替えの際に対応する部分重要度パターンデータを送信して部分重要度パターン記憶部に記憶するようにしても良い。
また、制御部２３０は、後述する生成映像変換パターンデータを生成し、生成した生成映像変換パターンデータを記憶部２４０に記憶する。この生成映像変換パターンデータも生成映像データのパターンごとに複数生成される。

操作部３１０は、操作者からの操作入力を受け付ける。表示装置３２０は、映像処理装置２００から送信された生成映像データを受信する受信部３２１と、受信した生成映像データを表示する表示部３２２とを備えている。映像処理装置２００で生成された生成映像データは送信部２５０によって表示装置３２０に送信される。表示装置３２０は、送信部２５０から送信された生成映像を受信部３２１で受信して、表示部３２２に表示させる。操作者は、表示部３２２に表示させる生成映像のパターンを切り替える操作を操作部３１０から行う。表示部３２２に表示される生成映像の例（パターン）を図１０Ａ、図１０Ｂ、図１１Ａ、図１１Ｂ、図１２Ａ、図１２Ｂに示す。

次に、図１３、図１４に示すフローチャートを参照しながら制御部２３０が部分重要度パターンデータと、生成映像変換パターンデータとを生成する手順を説明する。
まず、事前の準備として、カメラ１１１、１２１、１３１、１４１を車両に設置し、各カメラ１１１、１２１、１３１、１４１の位置座標と取り付け角度とを算出する。位置座標と取り付け角度との算出は、作業員が機器を使用して行う。図１５Ａ、１５Ｂに示すように車両の中心を原点として、車両の幅方向をＸ軸、車両の前後軸方向をＹ軸、鉛直方向をＺ軸とする。図１５Ａには、車両を鉛直方向（Ｚ軸方向）から見た座標系を示し、図１５Ｂには、車両を幅方向（Ｘ軸方向）から見た座標系を示す。また、カメラの取付角度には、ヨー角、俯角、ロール角が含まれる。ヨー角とは、図１６に示すように鉛直軸周りの回転角度をいう。また、カメラの光軸周りの回転角度をロール角といい、カメラの上下方向の傾きをピッチ角という。なお、以下では、カメラの位置座標と取り付け角度とを総称してカメラの設置条件情報と呼ぶ。カメラの設置条件情報は、操作部３１０から入力され、制御部２３０の制御に従って、記憶部２４０に記憶される。

事前に記憶部２４０に記憶させるデータには、カメラの設置条件情報の他に、カメラ１１１、１２１、１３１、１４１の特性データと、生成映像構成パターンデータとが含まれる。特性データとは、各カメラ１１１、１２１、１３１、１４１の水平、垂直方向の画素数及び画角（各カメラ１１１、１２１、１３１、１４１の視野角）とレンズディストーションデータ（レンズの歪曲収差データ）である。また、生成映像構成パターンデータには、映像投影面の形状データと、視点ベクトルのデータと、映像の表示範囲を示すデータ等が含まれる。映像投影面の形状データは、図１７に示すように、各カメラ１１１、１２１、１３１、１４１で撮影された複数の映像データから生成映像データを生成するために、複数の映像データを投影させる投影面の形状データである。また、視点ベクトルのデータとは、映像データを投影させた映像投影面をどこから見た生成映像データとするかを規定するデータである。この映像投影面の形状データと、視点ベクトルとにより各カメラ１１１〜１４１によって撮影された映像の部分ごとの倍率が変化する。また、映像の表示範囲を示すデータは、図１７に示すように生成映像データとして表示させる範囲を示すデータである。

制御部２３０は、記憶部２４０に記憶されたカメラの設置条件情報と、カメラの特性データと、生成映像構成パターンデータとを使用して生成映像変換パターンデータを生成する（ステップＳ１）。生成映像変換パターンデータは、各カメラ１１１、１２１、１３１、１４１の映像データを生成映像データに変換するための座標変換データである。生成映像変換パターンデータは、例えば、図１８Ａに示すようにポリゴン番号と、ポリゴン番号が示すポリゴンの各頂点の番号と、頂点番号が示す各頂点の座標変換前の座標値情報と、頂点番号が示す各頂点の座標変換後の生成映像データ上での座標値データとを含む。なお、ポリゴンとは、カメラの映像データから生成映像データに座標変換するときの座標変換の処理単位となる区画であり、ポリゴン番号は、各ポリゴンを識別する識別番号である。また、生成映像変換パターンデータは、図１８Ｂに示すデータ形式であってもよい。図１８Ｂに示す生成映像変換パターンデータは、ポリゴン番号と、ポリゴン番号が示すポリゴンの頂点番号と、頂点番号が示す頂点の座標変換前の映像データ上の座標値のデータと、映像投影面上での座標値のデータと、視点ベクトルデータとを含む。制御部２３０は、生成した生成映像変換パターンデータを記憶部２４０に記憶する（ステップＳ２）

次に、制御部２３０は、生成映像変換パターンデータを用いて部分重要度パターンデータを生成する（ステップＳ３）。生成映像変換パターンデータから部分重要度パターンデータを生成する手順については、図１４に示すフローチャートを参照しながら後述する。

次に、制御部２３０は、生成した各部分重要度パターンデータを、対応する撮影部（第１撮影部１１０〜第４撮影部１４０）に送信する（ステップＳ４）。第１撮影部１１０〜第４撮影部１４０は、制御部２３０から送信された部分重要度パターンデータを各部分重要度パターン記憶部１１５、１２５、１３５、１４５に記憶する。

次に、図１４に示すフローチャートを参照しながら制御部２３０が生成映像変換パターンデータから部分重要度パターンデータを生成する手順について説明する。
まず、制御部２３０は、生成映像変換パターンデータを参照して、各カメラ１１１、１２１、１３１、１４１の映像データから生成映像データに使用される使用範囲を算出する。さらに、制御部２３０は、使用範囲の映像データの各画素の座標変換による拡大率（縮小を含む：以下、画素拡大率という）を算出する（ステップＳ１１）。さらに、制御部２３０は、算出した各画素の画素拡大率に基づいて画素拡大率の分布を算出する。制御部２３０は、使用範囲の映像データの各画素が座標変換に伴って拡大（又は縮小される）画素拡大率を算出する。画素拡大率の算出は、Ｘ軸方向、Ｙ軸方向でそれぞれ算出してもよいし、各画素の座標変換前と変換後の面積比で求めてもよい。

次に、制御部２３０は、車両からの距離に基づいて画素拡大率を補正する範囲を求め、画素拡大率を補正する（ステップＳ１２）。例えば、運転支援に効果のない遠方や空の部分は、運転支援のための生成映像データには必要のない部分と判定し、制御部２３０は対象外のデータ、又は重要度を下げる対象のデータに設定する。図１９Ａに示す例では、Ｚ軸（鉛直）方向の座標値が一定値Ｚ１よりも大きい生成映像データの画素の画素拡大率を所定値に修正したり、画素拡大率を所定値下げる補正を行う。また、図１９Ｂに示す例では、Ｘ軸方向、Ｙ軸方向について、自車両の近傍の一定範囲内だけが運転支援に重要な範囲と判定する。例えば、制御部２３０は、図１９Ｂに示すように車両の全幅、全長（Ｘ２、Ｙ４）に一定値を加算した範囲（Ｘ２＋Ｘ３、Ｙ４＋Ｙ５）よりも外側の画素の画素拡大率を所定値に修正したり、画素拡大率を所定値下げる補正を行う。

次に、制御部２３０は、ステップＳ１２で補正した各画素の画素拡大率に対してクラスタリング（又は正規化）等の処理を行い、画素拡大率をクラス分けする。制御部２３０は、クラス分けした画素拡大率に基づいて重要度分布を求める（ステップＳ１３）。例えば、画素拡大率が５以上の画素の分布、画素拡大率が２以上５未満の画素の分布、画素拡大率が０よりも大きく２未満の画素の分布、画素拡大率が０の画素の分布をそれぞれ求める。そして、画素拡大率が５以上の画素の分布を重要度高の画素分布とする。また、画素拡大率が２以上５未満の画素の分布を重要度中の画素分布とする。また、画素拡大率が０よりも大きく２未満の画素の分布を重要度低の画素分布とする。また、画素拡大率が０の画素の分布を重要度０（生成映像に使用しない）の画素分布とする。画素拡大率の大きい画素は、生成映像データに変換したときの表示面積が広いため、重要度の高いデータであると判断できる。また、画素拡大率の低い画素は、生成映像データに変換したときの表示面積が狭いため、重要度の低いデータであると判断できる。
図２０Ａにカメラ１１１で撮影された車両前方の映像データの重要度分布を示す。同様に、図２０Ｂに、カメラ１２１で撮影された車両左側方の映像データの重要度分布を示す。図２０Ｃに、カメラ１３１で撮影された車両右方の映像データの重要度分布を示す。図２０Ｄに、カメラ１４１で撮影された車両後方の映像データの重要度分布を示す。図２１に、生成された第１撮影部１１０〜第４撮影部１４０の部分重要度パターンデータの一例を示す。

制御部２３０は、以上の処理を行い、部分重要度パターンデータと、生成映像変換パターンデータとを生成する。制御部２３０は、各カメラの映像データごとに生成した部分重要度パターンデータを、第１撮影部１１０〜第４撮影部１４０にそれぞれ送信する。第１撮影部１１０〜第４撮影部１４０の部分重要度パターン記憶部１１５、１２５、１３５、１４５には、生成映像データのパターンごとに部分重要度パターンデータが記憶される。

次に、図２２、図２３に示すフローチャートを参照しながら、映像処理システム１の動作手順を説明する。
まず、制御部２３０は、操作部３１０から生成映像の変更指示が入力されたか否かを判定する（ステップＳ２１）。生成映像の変更指示が入力された場合には（ステップＳ２１／ＹＥＳ）、制御部２３０は、変更指示を撮影装置１００に通知する。通知を受けた第１撮影部１１０〜第４撮影部１４０は、生成映像の変更指示をメモリに記録する（ステップＳ２２）。

次に、カメラ１１１〜１４１で映像を撮影し、映像データを入力すると（ステップＳ２３／ＹＥＳ）、圧縮率制御部１１４〜１４４は、制御部２３０から指示された生成映像を生成するための部分重要度パターンデータを取得する。圧縮率制御部１１４〜１４４は、取得した部分重要度パターンデータを参照して、カメラ１１１〜１４１で撮影された映像データの圧縮率を制御する（ステップＳ２４）。この際、圧縮率制御部１１４〜１４１は、部分重要度パターンデータとして記録された重要度に応じて映像データの部分ごとの圧縮率を変更する。送信映像圧縮部１１２〜１４２で圧縮された映像データは、ネットワークＩ／Ｆ部１１３〜１４３にそれぞれ出力される。ネットワークＩ／Ｆ部１１３〜１４３は、圧縮された１フレームの映像データのデータ量に応じたサイズのパケットデータを生成し、映像処理装置２００に送信する（ステップＳ２５）。

次に、図２３に示すフローチャートを参照しながら映像処理装置２００の処理手順を説明する。
映像処理装置２００は、ネットワーク１５０を介して第１撮影部１１０〜第４撮影部１４０から送信されたパケットデータをネットワークＩ／Ｆ部２１０で受信する。ネットワークＩ／Ｆ部２１０は、パケットデータを入力すると（ステップＳ３１／ＹＥＳ）、入力したパケットデータを復号して映像データに変換する（ステップＳ３２）。ネットワークＩ／Ｆ部２１０は、復号した映像データにブランキングデータを付加して映像生成部２２０に出力する。映像生成部２２０は、ネットワークＩ／Ｆ部２１０から映像データを入力すると、記憶部２４０に記憶した生成映像変換パターンデータを参照して、複数の映像データから生成映像データに変換する（ステップＳ３３）。

このように本実施例は、部分重要度パターンデータとして記録された重要度に応じて映像データの部分ごとの圧縮率を変更し、圧縮したデータを映像処理装置２００に送信している。従って、撮影装置から送信されるデータ量の削減と、高品質な生成映像の生成とを両立させることができる。

上述した実施例は、本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

１ 映像処理システム
１００ 撮影装置
１１０ 第１撮影部
１１１、１２１、１３１、１４１ カメラ
１１２、１２２、１３２、１４２ 送信映像圧縮部
１１３、１２３、１３３、１４３ ネットワークＩ／Ｆ部
１１４、１２４、１３４、１４４ 圧縮率制御部
１１５、１２５、１３５、１４５ 部分重要度パターン記憶部
１２０ 第２撮影部
１３０ 第３撮影部
１４０ 第４撮影部
２００ 映像処理装置
２１０ ネットワークＩ／Ｆ部
２２０ 映像生成部
２３０ 制御部
２４０ 記憶部
２５０ 送信部
３１０ 操作部
３２０ 表示装置

Claims (7)

1. 映像データを表示可能な表示装置と、車両周辺を撮影可能な複数の撮影装置と、車内伝送路経由で前記複数の撮影装置と連携し、撮影された複数の映像データから複数種類の生成映像データを生成する映像処理装置とを備えた映像処理システムであって、
   前記複数の撮影装置は、それぞれ、映像データの分割した複数の領域を識別する領域情報と、生成映像データの生成の際に前記映像データの各領域に要求される解像度に基づいて前記各領域ごとに算出された重要度とを記憶した記憶部と、
   前記重要度を参照して、撮影された映像データの各領域を重要度に応じた圧縮率で圧縮する映像圧縮部と、
   前記圧縮された映像データを前記車内伝送路経由で前記映像処理装置に送信する送信部とを備え、
   前記映像処理装置は、
   前記複数の撮影装置から送信される、前記圧縮された映像データを入力する入力部と、
   入力した複数の圧縮された映像データに基づいて、前記表示装置に表示する映像データを生成する映像生成部と、
   生成した映像データを前記表示装置に送信する送信部とを備え、
   前記表示装置は、
   前記映像処理装置から送信された前記生成映像データを受信する受信部と、
   受信した生成映像データを表示する表示部とを備えた、
   ことを特徴とする映像処理システム。
2. 前記記憶部に記憶した前記重要度は、生成映像データを生成する際の、映像データの処理単位となる該映像データの各画素が、前記生成映像データに変換される際の画素拡大率に基づいて算出された情報であることを特徴とする請求項１記載の映像処理システム。
3. 前記記憶部に記憶した前記重要度は、映像データの映像範囲の車両からの距離に応じて補正した情報であることを特徴とする請求項１又は２記載の映像処理システム。
4. 前記複数の撮影装置にそれぞれ設けられた前記送信部は、前記映像圧縮部によって圧縮された映像データのデータ量に応じて、前記映像データを分割して前記映像処理装置に送信するパケットデータのデータサイズを変更することを特徴とする請求項１から３のいずれか一項記載の映像処理システム。
5. 映像データを表示可能な表示装置と、車両周辺を撮影可能な撮影装置と、車内伝送路経由で撮影装置と連携し、撮影された複数の映像データから複数種類の生成映像データを生成する映像処理装置とを備える映像処理システムに使用可能な撮影装置であって、
   生成映像データを生成するための映像データを撮影する撮影部と、
   映像データの分割した複数の領域を識別する領域情報と、生成映像データの生成の際に前記映像データの各領域に要求される解像度に基づいて前記各領域ごとに算出された重要度とを記憶した記憶部と、
   前記重要度を参照して、撮影された映像データの各領域を重要度に応じた圧縮率で圧縮する映像圧縮部と、
   前記圧縮された映像データを前記車内伝送路経由で前記映像処理装置に送信する送信部とを備えた、
   ことを特徴とする撮影装置。
6. 前記送信部は、前記映像圧縮部によって圧縮された映像データのデータ量に応じて、前記映像データを分割して生成するパケットデータのデータサイズを変更することを特徴とする請求項５記載の撮影装置。
7. 映像データを表示可能な表示装置と、車両周辺を撮影可能な複数の撮影装置と、車内伝送路経由で前記複数の撮影装置と連携し、撮影された複数の映像データから複数種類の生成映像データを生成する映像処理装置とを備えた映像処理システムで実行される映像処理方法であって、
   前記複数の撮影装置において、
   記憶部に記憶された、映像データの分割した複数の領域を識別する領域情報と、生成映像データの生成の際に前記映像データの各領域に要求される解像度に基づいて前記各領域ごとに算出された重要度とを参照して、撮影された映像データの各領域を重要度に応じた圧縮率で圧縮するステップと、
   前記圧縮された映像データを前記車内伝送路経由で前記映像処理装置に送信するステップとを実行し、
   前記映像処理装置において、
   前記複数の撮影装置から送信される、前記圧縮された映像データを入力するステップと、
   入力した複数の圧縮された映像データに基づいて、前記表示装置に表示する映像データを生成するステップと、
   生成した映像データを前記表示装置に送信するステップとを実行し、
   前記表示装置において、
   前記映像処理装置から送信された前記生成映像データを受信するステップと、
   受信した生成映像データを表示部に表示するステップとを実行することを特徴とする映像処理方法。

Images