JP2008312102A - 撮像データの伝送方法、撮像データの伝送システム、および車載用表示システム - Google Patents

Abstract

【課題】 より解像度の高い撮像データを伝送する「撮像データの伝送方法」を提供する。
【解決手段】 本発明に係る撮像データの伝送方法は、抽出手段により領域Ｓに対応する撮像データを抽出し、分割／合成手段により抽出された領域Ｓに対応する撮像データを２つのブロックＡ、Ｂに分割する。分割されたブロックＡとブロックＢは、分割／合成手段により伝送フレーム６２のアスペクト比４：３に基づき、縦方向に合成される。これにより、領域Ｓに対応する撮像データを効率よく伝送することができ、撮像データが必要以上に圧縮されないため、より解像度の高い撮像データを伝送することができる。
【選択図】 図３

Description

本発明は、撮像データをフレーム伝送する撮像データの伝送システムに関し、特に、より解像度の高い撮像データを伝送することができる撮像データの伝送方法に関する。

自動車への撮像カメラの搭載率の向上に伴い、撮像データを用いたアプリケーションが急拡大している。このようなアプリケーションの多くは、運転者の運転を支援し、走行時や駐車時の車両の安全性を向上させるものである。例えば、車両周辺の障害物を撮影し、表示するようなシステムであれば、複数の超広角の撮像カメラを用いて、撮像された画像データを合成し、自車周辺の３６０°を映し出す。また、合成された撮像データを視点変換することにより、車両を上部から見下した撮像データ（以下、トップビュー）を作成し、ディスプレイに表示することもできる。

特許文献１は、駐車操作時に車両の後方をカメラにより撮像し、カメラから映像を後方画像として車内に設けられたディスプレイに表示して、後方画像にステアリング舵角の状態により変化する走行予想奇跡を重ねて表示する駐車補助装置において、ステアリング蛇角を最大としたときの車両奇跡を示す固定軌跡を後方画像に重ねて表示することにより、駐車操作時の補助を行うものである。

特開２０００−０７８５６６号

近年、車載用表示システム等において、車両周辺の映像情報をユーザに提供するため、撮像カメラが利用されている。撮像カメラの出力には、主にＮＴＳＣ方式が使われており、その伝送フレームのアスペクト比は、４：３である。これにより、車両周辺を映し出す撮像データは、アスペクト比４：３の伝送フレームに制限され、ディスプレイ側に伝送される。

図１０は、従来の撮像データの伝送方法を説明する図である。図１０（ａ）は、自車とディスプレイに表示する領域との関係を示す図である。自車１００の後方部に取り付けられた撮像カメラ１０２は、ディスプレイ１０４に表示する領域Ｓ（ハッチングで表示）を含む範囲を撮像する。このとき、撮像された撮像データは、アスペクト比４：３の伝送フレーム１０６に従い、撮像カメラ１０２からディスプレイ１０４に伝送される。ここで、領域Ｓが伝送フレーム１０６のアスペクト比４：３とほぼ同一であれば、撮像データが必要以上に圧縮され、解像度が低下することはない。

しかしながら、図１０（ｂ）に示すように、領域Ｓが、伝送フレーム１０６のアスペクト比４：３と著しく異なり、極端に細長いとき、伝送フレーム１０６には、有効に利用されない領域Ｔに対応する撮像データが含まれてしまい、ユーザに提供したい領域Ｓに対応する撮像データを効率よく伝送することができなかった。その結果、ディスプレイ１０４に表示される画像の解像度が低下してしまうという問題があった。

本発明は、上記の課題を解決するために成されたものであり、予め決められた領域に基づき抽出された撮像データを複数のブロックに分割し、これら複数のブロックを伝送フレームのアスペクト比に基づき合成することで、より解像度の高い撮像データを伝送することができる撮像データの伝送方法と提供することを目的とする。

本発明に係る撮像データの伝送方法は、撮像フレームから予め決められた撮像範囲を示す撮像データを抽出するステップと、抽出された撮像データを複数のブロックに分割し、複数に分割されたブロックを伝送フレームのアスペクト比に基づき合成するステップと、合成されたブロックの撮像データをフレーム伝送するステップとを有する。

好ましくは、前記予め決められた撮像範囲が撮像フレームと比較して横長であるとき、前記合成するステップは、分割されたブロックを縦方向に合成する。また、前記予め決められた撮像範囲が撮像フレームと比較して縦長であるとき、前記合成するステップは、分割されたブロックを横方向に合成する。

好ましくは、撮像データの伝送方法はさらに、合成されたブロックの撮像データを元の撮像データに復元するステップを含む。また、撮像データの伝送方法はさらに、復元された撮像データを表示するステップを含む。

本発明に係る撮像データの伝送システムは、撮像フレームから予め決められた撮像範囲を示す撮像データを抽出する抽出手段と、抽出された撮像データを複数のブロックに分割し、複数に分割されたブロックを伝送フレームのアスペクト比に基づき合成する合成手段と、合成されたブロックの撮像データをフレーム伝送する伝送手段とを有する。

好ましくは、前記抽出手段により抽出された撮像範囲が撮像フレームと比較して横長であるとき、前記合成手段は、分割されたブロックを縦方向に合成する。また、前記抽出手段により抽出された撮像範囲が撮像フレームと比較して縦長であるとき、前記合成手段は、分割されたブロックを横方向に合成する。

好ましくは、撮像データの伝送方法はさらに、合成されたブロックの撮像データを元の撮像データに復元する復元手段を含む。また、撮像データの伝送方法はさらに、復元された撮像データを表示する表示手段を含む。

本発明に係る車載用表示システムは、前記撮像データの伝送システムを含み、車両周辺の少なくとも１部を表示する。

前記予め決められた撮像範囲は、車両に取り付けられた撮像カメラの位置に応じて決定される。また、前記車載用表示システムはさらに、伝送された撮像データを視点変換する視点変換手段を含み、前記表示手段は、視点変換された撮像データを表示する。また、前記予め決められた撮像範囲は、前記視点変換手段による視点変換方向に基づき決定される。

本発明に係る撮像データの伝送方法によれば、抽出された撮像データを複数のブロックに分割し、これら複数のブロックを伝送フレームのアスペクト比に基づき合成することで、有効に利用される撮像データをより解像度の高い状態でフレーム伝送することができる。

以下、本発明の最良の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施例に係る画像データ伝送システム１０の構成例を示すブロック図である。撮像データの伝送システム１０は、自車周辺を撮像し、撮像データを出力する撮像カメラ２０と、撮像カメラ２０から出力される撮像データを伝送する伝送ケーブル３０と、伝送ケーブル３０を介して、受信した撮像データに基づき、画像を表示する表示装置４０とを含んでいる。

撮像カメラ２０は、撮像フレームから予め決められた撮像範囲を示す撮像データを抽出する抽出手段２２と、抽出手段２２により抽出された撮像データを複数のブロックに分割し、分割された複数のブロックを伝送フレームのアスペクト比に基づき合成する分割／合成手段２４と、分割／合成手段２４により合成された撮像データを圧縮し、フレーム伝送する伝送手段２６とを含んでいる。

撮像カメラ２０は、例えば、ＣＭＯＳイメージセンサとレンズを含む光学系により構成される。撮像カメラ２０は、図２に示すように、例えば車両後部のバンパーに取り付けられ、車両の後方を視野角θで撮像する。撮像カメラ２０は、図２に示す構成に限られず、より多くの撮像カメラを用いて、車両周辺を撮像してもよいし、その取り付け位置は、必ずしもバンパーに限るものではない。

表示装置４０は、伝送手段２６によりフレーム伝送された撮像データに基づき、撮像データを分割／合成される前の状態に復元する復元手段４２と、復元手段４２により復元された撮像データに基づき、ディスプレイ４６に画像を表示する表示制御手段４４とを含んでいる。

表示制御手段４４は、復元された撮像データに基づき、画像を生成しディスプレイ４６に表示する。このとき、表示制御手段４４は、ディスプレイ４６のフレームサイズに応じて、画像を拡大・縮小したり、ディスプレイ４６のフレームと画像の間に生じる余白部分に、文字情報等を含む、その他の表示画像を合成することができる。

図３は、撮像データの伝送方法を説明する図である。撮像カメラ２０により撮像された、撮像フレーム６０に対応する撮像データは、例えば、ＮＴＳＣ方式による伝送制限により、アスペクト比４：３の伝送フレーム６２に応じて圧縮される。また、伝送フレーム６２は、例えば、撮像フレーム６０に対応する撮像データを６４０×４８０ピクセルに制限する。

従来の伝送方法では、図３（ａ）に示すように、ディスプレイに表示する予め決められた領域Ｓ（ハッチングで表示）が、撮像フレーム６０と比較して横長であったとしても、伝送フレーム６２のアスペクト比４：３に応じて圧縮されるため、伝送フレーム６２には、領域Ｓに対応する撮像データ以外に、有効に利用されない領域Ｔに対応する撮像データが含まれてしまう。このため、フレーム伝送の際、領域Ｓに対応する撮像データは、必要以上に圧縮され、解像度が低下してしまう。

一方、本実施例による伝送方法は、図３（ｂ）に示すように、抽出手段２２は、領域Ｓに対応する撮像データを抽出し、分割／合成手段２４は、抽出された領域Ｓに対応する撮像データを２つのブロックＡ、Ｂに分割する。分割されたブロックＡとブロックＢは、分割／合成手段２４により伝送フレーム６２のアスペクト比４：３に基づき、縦方向に合成される。これにより、領域Ｓに対応する撮像データを効率よく伝送することができ、撮像データが必要以上に圧縮されることがなく、より解像度の高い撮像データを伝送することができる。

図４は、伝送された撮像データの復元方法を説明する図である。伝送された撮像データは、伝送フレーム６２のアスペクト比４：３に基づき、ディスプレイ４６に表示する領域Ｓに対応する撮像データが、２つのブロックＡ、Ｂに分割され縦方向に合成されている。復元手段４２は、分割／合成手段２４と同様の処理機能を有し、合成された２つのブロックＡ、Ｂを再度分割し、抽出された際の状態に戻るよう２つのブロックＡ、Ｂを横方向に合成する。これにより、撮像データは、抽出手段２２により抽出された領域Ｓに応じたブロック配置６４、すなわち、分割／合成手段２４により処理される前の撮像データに復元される。

次に、本実施例における撮像カメラによる撮像データの伝送動作について図５のフローチャートを参照して説明する。

まず、撮像カメラ２０は、設置された位置や撮像方向に基づき、周辺映像を撮像し、撮像フレーム６０に対応する撮像データを生成する（ステップＳ１０１）。撮像データが生成されると、抽出手段２２は、図３（ｂ）に示すように、撮像フレーム６０から予め決められた領域Ｓに対応する撮像データを抽出する（ステップＳ１０２）。

抽出された撮像データは、分割／合成手段２４により、複数のブロック、例えば、ブロックＡとブロックＢに分割される（ステップＳ１０３）。分割されたブロックＡとブロックＢは、さらに分割／合成手段２４により、伝送フレーム６２のアスペクト比４：３に基づき、縦方向に合成される（ステップＳ１０４）。

最後に、伝送手段２６は、アスペクト比４：３に基づき合成された撮像データを伝送フレームのサイズ（６４０×４８０ピクセル）に圧縮し、表示装置４０へフレーム伝送する（ステップＳ１０５）。上記動作フローでは、抽出手段２２により抽出される撮像データの領域、および分割／合成手段２４による分割／合成形式は、予め設定されている。

撮像データの伝送システム１０は、例えば、駐車動作時における自車の移動方向に応じて、抽出される撮像データの領域、および分割／合成形式が予め設定されている。

図６は、自車の移動方向に対する抽出領域と分割／合成形式を格納するデータベースを示すテーブルである。抽出領域は、抽出手段２２により撮像フレーム６０から抽出される撮像データの領域を示している。また、分割／合成形式は、抽出された撮像データの分割／合成処理に関する形式を示し、例えば、撮像データを複数のブロックに分割する分割数や分割位置、および分割されたブロックを合成するブロック配置等の情報を含んでいる。

図７は、自車の移動方向に応じた撮像データの分割／合成例を示す図である。図７（ａ）に示すように、例えば、自車が後方に移動するとき、抽出手段２２は、自車後方を撮像した撮像フレーム６０から領域Ｓ００１に対応する撮像データを抽出し、分割／合成手段２４は、分割／合成形式タイプ１に従い、撮像データをブロックＡとブロックＢに分割し、縦方向に合成する。

また、図７（ｂ）に示すように、自車が左後方に移動するとき、抽出手段２２は、撮像フレーム６０から領域Ｓ００２に対応する撮像データを抽出する。一方、自車が右後方に移動するとき、抽出手段２２は、撮像フレーム６０から領域Ｓ００３に対応する撮像データを抽出する。ここで、領域Ｓ００２と領域Ｓ００３は、同一の形状をしている。このため、分割／合成手段２４は、分割／合成形式タイプ２に従い、抽出された撮像データをブロックＡとブロックＢに分割し、横方向に合成する。

次に、本実施例における表示装置による撮像データの表示動作について図８のフローチャートを参照して説明する。

まず、表示装置４０は、伝送ケーブル３０を介して、撮像カメラ２０から出力された撮像データを受信する（ステップＳ２０１）。撮像データを受信すると、復元手段４２は、図４に示すように、伝送フレーム６２に基づき合成された撮像データをブロックＡとブロックＢに分割し、横方向に合成する。これにより、撮像データは、撮像カメラ２０において撮像フレーム６０から抽出されたときの状態に復元される（ステップＳ２０２）。

次に、表示制御手段４４は、復元された撮像データに基づき、画像を生成する（ステップＳ２０３）。また、表示制御部４４は、ディスプレイ４６のサイズやアスペクト比に基づき、生成された画像のアスペクト比を変換したり、画像を拡大することができ、適宜、処理された画像をディスプレイ４６に表示する（ステップＳ２０４）。

図９は、本実施例に係る撮像データの伝送システムをトップビュー画像作成に利用した適応例を示す図である。車載用表示システムは、例えば、車両前方を撮像する撮像カメラ８０と、車両後方を撮像する撮像カメラ８２と、車両左側方を撮像する撮像カメラ８４と、車両右側方を撮像する撮像カメラ８４が設置されている。

各方向を映し出す撮像カメラ８０〜８６は、撮像された撮像データに基づき、予め設定された領域Ｓ０１０〜Ｓ０１６に対応する撮像データを抽出し、図１０に示すように、抽出された撮像データをブロックＡとブロックＢに分割し、伝送フレームのアスペクト比４：３に基づき縦方向に合成する。

これにより、各撮像カメラ８０〜８６は、車両の前後左右方向を映し出す４つの撮像データをフレーム伝送することができ、より解像度が高い撮像データを表示装置に伝送する。また、これらの撮像データを受信した表示装置は、当該撮像データを復元し、視点変換することでトップビュー画像を作成することができる。

上記実施例では、伝送フレームは、ＮＴＳＣ伝送方式で採用されているアスペクト比４：３であったが、これに限らず、ＨＤＴＶ（ハイビジョン）伝送方式で採用されているアスペクト比１６：９やその他のアスペクト比であってもよい。また、撮像データを複数のブロックに分割する分割数や分割位置、および分割されたブロックを合成するブロック配置は、適宜、設定することができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

本発明に係る撮像データの伝送方法は、車両駐車時の駐車支援システムとして利用することができる。利用態様として、ナビゲーション装置や他のコンピュータ等の電子装置と機能的に結合することが可能である。

本発明の実施例に係る撮像データの伝送システムの構成例を示すブロック図である。 車両に取り付けられた撮像カメラの配置を示す平面図である。 撮像データの伝送方法を説明する図である。図３（ａ）は、従来の伝送方法を示す図である。図３（ｂ）は、本実施例による伝送方法を示す図である。 伝送された撮像データの復元方法を説明する図である。 本実施例の撮像カメラによる撮像データの伝送動作を説明するフローチャートである。 抽出領域と分割／合成形式を格納するデータベースを示すテーブルである。 自車の移動方向に応じた撮像データの分割／合成例を示す図である。 本実施例の表示装置による撮像データの表示動作を説明するフローチャートである。 トップビュー画像への適応例を示す図である。 図１０（ａ）は、自車とディスプレイに表示する領域の関係を示す図である。図１０（ｂ）は、従来の撮像データの伝送方法を説明する図である。

符号の説明

１０：撮像データの伝送システム ２０：撮像カメラ
２２：抽出手段 ２４：分割／合成手段
２４：伝送手段 ３０：伝送ケーブル
４０：表示装置 ４２：復元手段
４４：表示制御手段 ４６：ディスプレイ
６０：撮像フレーム ６２：伝送フレーム
８０〜８６：撮像カメラ
Ｓ、Ｔ：領域 Ａ、Ｂ：ブロック

Claims (14)

1. 撮像装置によって撮像された撮像データをフレーム伝送する撮像データの伝送方法であって、
   撮像フレームから予め決められた撮像範囲を示す撮像データを抽出するステップと、
   抽出された撮像データを複数のブロックに分割し、複数に分割されたブロックを伝送フレームのアスペクト比に基づき合成するステップと、
   合成されたブロックの撮像データをフレーム伝送するステップと、
   を有する撮像データの伝送方法。
2. 前記予め決められた撮像範囲が撮像フレームと比較して横長であるとき、前記合成するステップは、分割されたブロックを縦方向に合成する、請求項１に記載の撮像データの伝送方法。
3. 前記予め決められた撮像範囲が撮像フレームと比較して縦長であるとき、前記合成するステップは、分割されたブロックを横方向に合成する、請求項１に記載の撮像データの伝送方法。
4. 撮像データの伝送方法はさらに、合成されたブロックの撮像データを元の撮像データに復元するステップを含む、請求項１に記載の撮像データの伝送方法。
5. 撮像データの伝送方法はさらに、復元された撮像データを表示するステップを含む、請求項１に記載の撮像データの伝送方法。
6. 撮像データをフレーム伝送する撮像データの伝送システムであって、
   撮像フレームから予め決められた撮像範囲を示す撮像データを抽出する抽出手段と、
   抽出された撮像データを複数のブロックに分割し、複数に分割されたブロックを伝送フレームのアスペクト比に基づき合成する合成手段と、
   合成されたブロックの撮像データをフレーム伝送する伝送手段と、
   を有する撮像データの伝送システム。
7. 前記抽出手段により抽出された撮像範囲が撮像フレームと比較して横長であるとき、前記合成手段は、分割されたブロックを縦方向に合成する、請求項６に記載の撮像データの伝送システム。
8. 前記抽出手段により抽出された撮像範囲が撮像フレームと比較して縦長であるとき、前記合成手段は、分割されたブロックを横方向に合成する、請求項６に記載の撮像データの伝送システム。
9. 撮像データの伝送方法はさらに、合成されたブロックの撮像データを元の撮像データに復元する復元手段を含む、請求項６に記載の撮像データの伝送システム。
10. 撮像データの伝送方法はさらに、復元された撮像データを表示する表示手段を含む、請求項６に記載の撮像データの伝送システム。
11. 請求項６ないし１０いずれか１つに記載の撮像データの伝送システムを含み、車両周辺の少なくとも１部を表示する車載用表示システム。
12. 前記予め決められた撮像範囲は、車両に取り付けられた撮像カメラの位置に応じて決定される、請求項１１に記載の車載用表示システム。
13. 車載用表示システムはさらに、伝送された撮像データを視点変換する視点変換手段を含み、前記表示手段は、視点変換された撮像データを表示する、請求項１１に記載の車載用表示システム。
14. 前記予め決められた撮像範囲は、前記視点変換手段による視点変換方向に基づき決定される、請求項１３に記載の車載用表示システム。

Images