JP2006245998A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 変換画像の滑らかさ及び解像度の低下を抑制しつつ、低コストで変換画像を作成して表示させる。
【解決手段】 入力バッファ１２に格納されたカメラ画像データを変換して出力バッファ１６に格納させる時に、画像変換部１４により、入力バッファに格納されているカメラ画像データと、アドレス変換テーブルで指定された入力アドレスと出力アドレスとの対応関係とに基づいて、当該入力アドレス付近の複数のカメラ画像データを用いて生成した中間色の画像データを作成して、出力アドレスに格納させるか否かを判定する。そして、画像変換部１４は、中間色の画像データを出力アドレスに格納させると判定された場合には、アドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データを用いて中間色の画像データを生成して、出力アドレスに格納して変換画像を作成する。
【選択図】 図１

Description

本発明は、例えば車両周囲を撮像して、当該画像を変換し、車両周囲の状況を運転者等に提示する画像処理装置及び画像処理方法に関する。

従来より、カメラ画像に対して画像処理を行うことにより、例えば車両周囲の状況を運転者等に提示する技術としては、下記の特許文献１に記載された画像処理装置が知られている。

この画像処理装置は、カメラ画像と合成画像との対応関係を用いて、フレーム単位でカメラ画像を変換して合成画像を作成する処理と、フィールド単位でカメラ画像を変換して合成画像を作成する処理との双方が行えるようになっている。また、この画像処理装置では、フィールド単位で合成画像を作成する時に使用する、カメラ画像と合成画像との対応関係を記したアドレス変換テーブルと、フレーム単位で合成画像を作成する時に使用する、カメラ画像と合成画像との対応関係を記したアドレス変換テーブルとの２枚のアドレス変換テーブルを用意している。

そして、この画像処理装置では、自車両の車速を検出し、当該現在の車速に応じて、フレーム単位で合成画像を作成する処理とフィールド単位で合成画像を作成する処理とを切り替えている。すなわち、フレーム単位で作成した合成画像では解像度が高いが動画像としての滑らかさがなく、フィールド単位で作成した合成画像では動画像としての滑らかさがあるが解像度が低いことに対して、車速が高い場合にはフィールド単位で合成画像を作成する一方で、車速が低い場合にはフレーム単位で合成画像を作成している。

更に詳しくは、合成画像を作成する画像変換を行わずに、インターレースディスプレイにカメラ画像を表示させた場合には１フレーム単位でカメラ画像の表示を行っても違和感が生じないが、フレーム単位で画像変換を行って合成画像を表示させた場合には、フィールド単位で前後する２つの画像を用いて作成した合成画像を表示させることになってしまう。これにより、カメラの撮像対象が動いている場合、又は、自車両が動いていてカメラと撮像対象との相対位置に動きがあった場合には、撮像対象の撮像タイミングと変換処理後の表示タイミングとがずれるために、実際に運転者に視認される撮像対象位置と表示画面内に現れる撮像対象位置とがずれる、画面のちらつきが発生することによって違和感を与えるという問題があった。

一方、変換処理後の合成画像を１フィールドごとに表示させる場合には、撮像タイミングと表示タイミングとのずれは発生せずに滑らかな映像の表示が可能となるが、各フィールド画像には奇数ライン又は偶数ラインの一方の画像が存在しないために、合成画像が粗くなるという問題があった。

これに対し、特許文献１に係る技術を採用すれば、車両走行時における動画像としての不自然さを低減すると共に、車両停止時における解像度の低下を防止できるとしていた。
特開２００２−２７４４８号公報

しかしながら、上述の特許文献１に記載された画像処理装置では、フィールド単位で合成画像を作成する時のアドレス変換テーブルと、フレーム単位で合成画像を作成する時のアドレス変換テーブルとの２枚のアドレス変換テーブルを用意しているために、２枚分のアドレス変換テーブルを記憶するメモリ容量を備える必要があり、メモリ容量に係わるコストアップ要因となっていた。

また、特許文献１に記載の画像処理装置では、フィールド単位で合成画像を作成する時のアドレス変換テーブルによって偶数ラインの画素を合成画像に変換することが規定されていて、奇数フィールド画像が処理対象となっている時には合成画像に使用する画素が存在せず、逆に、奇数ラインの画素を合成画像に変換することが規定されていて、偶数フィールド画像が処理対象となっている時には、合成画像に使用するカメラ画像が存在しないという問題がある。このように、合成画像を作成するために使用するカメラ画像が存在しない場合、一般的には、アドレス変換テーブルで規定されている画素の近傍の画素を代用して、合成画像を作成する必要があった。

したがって、従来では、フィールド単位で変換処理を行うと、フレーム単位で変換処理を行うときに使用するカメラ画像データと比較して、解像度が１／２となることと同義であり、カメラと撮像対象との相対位置が停止している場合には特に、変換画像の解像度が低下してしまうという問題点があった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、変換画像の滑らかさ及び解像度の低下を抑制しつつ、低コストで変換画像を作成して表示させることができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明は、カメラ画像データを生成するカメラモジュールと接続され、当該カメラ画像データを変換して、変換画像を表示手段に表示させるために、カメラモジュールで撮像されたカメラ画像データを格納する入力バッファを備える入力手段と、入力バッファから取り出されたカメラ画像データが変換された変換画像を格納する出力バッファを備え、当該変換画像を表示手段に出力する出力手段と、変換画像を作成するためのカメラ画像データを入力バッファの指定された入力アドレスから取り出させ、当該取り出されたカメラ画像データを出力バッファに格納させて、変換画像を出力バッファの指定された出力アドレスに格納させるアドレス変換テーブルを記憶する記憶手段とを備える。

このような本発明は、入力バッファに格納されたカメラ画像データを変換して出力バッファに格納させる時に、入力バッファに格納されているカメラ画像データと、アドレス変換テーブルで指定された入力アドレスと出力アドレスとの対応関係とに基づいて、当該入力アドレス付近の複数のカメラ画像データを用いて生成した中間色の画像データを作成して、出力アドレスに格納させるか否かを判定する。そして、中間色の画像データを出力アドレスに格納させないと判定された場合には、画像処理手段により、アドレス変換テーブルで指定された入力アドレスのカメラ画像データを対応する出力アドレスに格納する。

一方、中間色の画像データを出力アドレスに格納させると判定された場合には、画像処理手段により、アドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データを用いて中間色の画像データを生成して、当該中間色の画像データを対応する出力アドレスに格納して、変換画像を作成することにより、上述の課題を解決する。

本発明によれば、入力バッファに格納されているカメラ画像データと、アドレス変換テーブルで指定された入力アドレスと出力アドレスとの対応関係とに基づいて、当該入力アドレス付近の複数のカメラ画像データを用いて生成した中間色の画像データを作成して出力アドレスに格納させるか否かを判定し、中間色の画像データを出力アドレスに格納させると判定した場合には、アドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データを用いて中間色の画像データを生成して、当該中間色の画像データを対応する出力アドレスに格納して変換画像を作成するので、読み出す入力アドレスにカメラ画像データが存在しない場合であっても、出力アドレスにカメラ画像データを格納することができる。したがって、本発明によれば、カメラモジュールが動いている場合や変換画像内に動きがある撮像対象を含む場合であっても、変換画像としての滑らかさの低下を抑制できると共に、カメラモジュール及び撮像対象が停止している場合であっても、変換画像の解像度の低下を抑制することができる。

以下、本発明の実施の形態について図面を参照して説明する。

本発明は、例えば図１に示すように構成され、例えば、車両周囲の映像を取得して、当該取得した映像を変換して表示させる画像処理装置１に適用される。この画像処理装置１は、カメラモジュール２で撮像した車両周囲のカメラ画像データを、カメラモジュール２に接続された入力バッファ１２で入力し、ＣＰＵ１３及び画像変換部１４によって、テーブル記憶部１５に記憶されたアドレス変換テーブルを使用して変換処理を行って車両周囲の変換画像を作成し、出力バッファ１６に変換画像データを記憶させてモニタ３に出力するものである。ここで、変換画像とは、例えばカメラモジュール２で撮像したカメラ画像データがサイズ変換された縮小又は拡大画像や、カメラ画像データが視点変換された視点変換画像などが挙げられる。そして、この画像処理装置１では、当該変換画像を作成するための情報として、テーブル記憶部１５に、入力バッファ１２と出力バッファ１６との対応関係を記述したアドレス変換テーブルを格納している。

この画像処理装置１では、アドレス変換テーブルを参照して、カメラ画像データの入力アドレスと出力バッファ１６に格納する出力アドレスとの対応関係から、入力アドレスから取り出すカメラ画像データ（画素）付近の画素データを使用して、入力アドレスの画素データに近似した中間色を作成するか否かを判定して、作成する必要がある場合には中間色を使用して変換画像を作成することを特徴とするものである。

このように、カメラ画像データから、変換画像データを作成するための第１実施形態に係る画像処理装置１について、以下に説明する。

［第１実施形態の画像処理装置１］
この画像処理装置１は、カメラモジュール２で撮像したカメラ画像データを入力とし、カメラ画像データを変換して、変換画像を作成するものである。本例では、車体の前方を撮像方向としたカメラモジュール２が設けられているおり、自車両の前方に存在する人物や他車両を撮像対象として変換画像を作成する場合について説明する。

カメラモジュール２は、車体に固定された撮像方向となっている。カメラモジュール２は、撮像用レンズ２１及びＣＣＤ（電荷結合素子）２２から構成される。このカメラモジュール２は、例えばＮＴＳＣ（National Television System Committee）カメラからなり、それぞれ、ＮＴＳＣ方式に従ってフィールド単位のカメラ画像データを画像処理装置１に出力する。すなわち、カメラモジュール２は、１フレームの期間（１／３０秒）内に、フィールド期間（１／６０秒）ごとに奇数フィールドのカメラ画像データ、偶数フィールドのカメラ画像データの順で画像処理装置１に出力する。

画像処理装置１は、内部バス１１に、カメラモジュール２に接続された入力バッファ１２と、ＣＰＵ（Central Processing Unit）１３と、画像変換部１４と、テーブル記憶部１５と、及びモニタ３と接続された出力バッファ１６とが接続されて構成されている。

入力バッファ１２は、ＮＴＳＣ方式のカメラ画像データを一旦格納し、ＣＰＵ１３の制御に従って、画像変換部１４による画像変換タイミングでカメラ画像データが読み出される。この入力バッファ１２は、１フレーム分のメモリ容量を有し、奇数フィールドバッファ１２ａと偶数フィールドバッファ１２ｂとを有している。そして、カメラモジュール２から奇数フィールドのカメラ画像データが出力されると、奇数フィールドバッファ１２ａに格納し、偶数フィールドのカメラ画像データのカメラ画像データが出力されると偶数フィールドバッファ１２ｂに格納する。

なお、この説明では、奇数フィールドバッファ１２ａと偶数フィールドバッファ１２ｂとを区分して図示しているが、実際には１フレーム分の単一のメモリ領域である。すなわち、奇数ラインデータから構成される奇数フィールドのカメラ画像データと、偶数ラインデータから構成される偶数フィールドのカメラ画像データが同じメモリ領域に記憶されることになる。

テーブル記憶部１５は、ドライバーに提示する画像レイアウトごとのアドレス変換テーブル１５ａ、１５ｂ、１５ｃ、・・・を記憶している。すなわち、例えば、カメラ画像データの一部を取り出して表示させる場合には、当該取り出す入力バッファ１２の入力アドレスと、当該入力アドレスから取り出したカメラ画像データを格納する出力バッファ１６の出力アドレスとの対応関係がテーブルとして記憶されている。

このテーブル記憶部１５に記憶されるアドレス変換テーブルは、入力バッファ１２のメモリアドレス（入力アドレス情報）、及び、モニタ３の解像度分の表示用の変換画像データの出力バッファ１６のメモリアドレス（出力アドレス情報）とを記述したテーブルである。すなわち、アドレス変換テーブルは、出力バッファ１６のメモリアドレス、すなわちモニタ３の表示座標と、入力バッファ１２の座標（入力アドレス）との対応関係を記述している。このようなアドレス変換テーブルは、カメラモジュール２のスペック、取付位置及び撮像方向の向き（光軸）等に基づいて予め作成されている。

画像変換部１４は、ＣＰＵ１３の制御に従って画像変換処理を行うＡＳＩＣ（Application Specific Integrated Circuit）、ＬＳＩ（Large Scale Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）等のデバイスなどからなる。この画像変換部１４は、テーブル記憶部１５からアドレス変換テーブルを読み出し、当該アドレス変換テーブルを参照して、アドレス変換テーブルで指定された入力アドレスから読み出したカメラ画像データを、アドレス変換テーブルで指定された出力アドレスに記憶させる。ここで、アドレス変換テーブルは、画像レイアウトに従って出力バッファ１６のメモリアドレスを記述しているので、画像変換部１４によって出力バッファ１６に置き換えられた変換画像データは、使用したアドレス変換テーブルと同じ画像に画像変換されている。

また、画像変換部１４は、図２に示すように、アドレス変換テーブルを参照して、入力バッファ１２の入力アドレスと出力バッファ１６の出力アドレスとの対応関係から、中間色を生成して、入力バッファ１２の出力アドレスに画素データを記憶させるか否かを判定する判定部３１と、当該判定部３１の判定によって中間色を生成すると判定した場合には、入力バッファ１２に記憶させる中間色の画素データを作成する中間色作成部３２とを備える。なお、この判定部３１及び中間色作成部３２の動作については後述する。

出力バッファ１６は、画像変換部１４によって変換された変換画像データを格納し、当該変換画像データをＣＰＵ１３の制御に従ってモニタ３に出力する。

ＣＰＵ１３は、図示しない操作入力部がドライバーに操作されて決定された画像レイアウト指示や画像切り換え指示を認識して画像変換部１４での画像変換処理に使用するアドレス変換テーブルを決定する。また、ＣＰＵ１３は、画像変換部１４の画像変換タイミング及び出力バッファ１６のモニタ３へのデータ出力タイミングを制御することによって、連続的に変換画像を出力バッファ１６に格納させると共に、連続的にモニタ３に表示させる変換画像を切り換える。

このＣＰＵ１３は、カメラモジュール２から入力バッファ１２にフィールド単位でカメラ画像データが格納されると、当該フィールド単位のカメラ画像データを読み出して、画像変換部１４でアドレス変換テーブルを参照した画像変換を開始させる。すなわち、ＣＰＵ１３は、画像変換部１４の画像変換の対象となるカメラ画像データとして、奇数フィールドのカメラ画像データ又は偶数フィールドのカメラ画像データを画像変換部１４に供給する。そして、ＣＰＵ１３は、画像変換部１４によって、一枚のフィールド単位のカメラ画像データを使用した画像変換が完了すると、入力バッファ１２に記憶された変換画像データをモニタ３に出力させる。

すなわち、ＣＰＵ１３は、フィールド単位でカメラ画像データが入力バッファ１２に供給され、フィールド単位で画像変換部１４による画像変換を行わせ、フィールド単位で入力バッファ１２に記憶された変換画像データをモニタ３に出力させる。これにより、時刻ｎでフィールド単位のカメラ画像データが入力バッファ１２に格納開始されると、当該時刻ｎから１フィールド期間後に画像変換を開始させ、時刻ｎから２フィールド期間後に変換画像データをモニタ３に表示させる。

［画像変換処理］
つぎに、上述したように構成された画像処理装置１による画像変換処理について説明する。なお、以下の説明では、主として画像変換部１４により画像変換処理を行う場合について説明するが、これに限らずＣＰＵ１３で行っても良い。

画像処理装置１の入力バッファ１２にフィールド単位のカメラ画像データが格納されると、画像変換部１４は、アドレス変換対象として当該カメラ画像データが供給される。そして、画像変換部１４は、テーブル記憶部１５からアドレス変換テーブルを読み出して、アドレス変換処理を開始する。

ここで、画像変換部１４には、図３に示すように、時刻Ｔ１で奇数フィールドのカメラ画像データＯｄｄ１ａが供給され、次いで、時刻Ｔ２で偶数フィールドのカメラ画像データＥｖｅｎ１ｂが供給される。この奇数フィールドのカメラ画像データＯｄｄ１ａは、入力アドレスＯ＿００、入力アドレスＯ＿０１、入力アドレスＯ＿０２、入力アドレスＯ＿０３にそれぞれ画素データが格納された奇数ラインデータと、入力アドレスＯ＿１０、入力アドレスＯ＿１１、入力アドレスＯ＿１２、入力アドレスＯ＿１３にそれぞれ画素データが格納された奇数ラインデータとからなる。また、偶数フィールドのカメラ画像データＥｖｅｎ１ｂは、入力アドレスＥ＿００、入力アドレスＥ＿０１、入力アドレスＥ＿０２、入力アドレスＥ＿０３にそれぞれ画素データが格納された偶数ラインデータと、入力アドレスＥ＿１０、入力アドレスＥ＿１１、入力アドレスＥ＿１２、入力アドレスＥ＿１３にそれぞれ画素データが格納された偶数ラインデータとからなる。

これに対し、出力バッファ１６の出力アドレスＯ＿１２に、入力アドレスＥ＿０１の画素データを格納することを指定する入力アドレスと出力アドレスとの対応関係がアドレス変換テーブルに記述されていた場合、画像変換部１４は、判定部３１によって、現在入力バッファ１２の入力アドレスＥ＿０１に画素データが格納されているか否かを判定する。そして、奇数フィールドのカメラ画像データが変換対象となっている場合には、入力バッファ１２には奇数ラインデータＯｄｄ１ａしか格納されていないために、出力アドレスＯ＿１２に格納する画素データが入力バッファ１２には格納されていないと判定する。この場合、判定部３１は、アドレス変換テーブルに規定されている入力アドレスＥ＿０１付近の画素データを使用して、出力アドレスＯ＿１２に格納する中間色の画素データを作成すると判定する。

これに応じ、中間色作成部３２は、中間色を作成するために必要な入力アドレスＥ＿０１付近の画素データであって、現在入力バッファ１２に格納されている奇数ラインデータＯｄｄ１ａの画素データを取得する。例えば、中間色作成部３２は、入力アドレスＥ＿０１の１ライン上の入力アドレスＯ＿０１、入力アドレスＥ＿０１の１ライン下の入力アドレスＯ＿１１の画素データを取得する。そして、中間色作成部３２は、２つの画素データＩ（Ｏ＿０１）、画素データＩ（Ｏ＿１１）を使用して、
｛Ｉ（Ｏ＿０１）＋Ｉ（Ｏ＿１１）｝／２ （式１）
という画素値の平均を求める演算を行って、中間色である、出力アドレスＯ＿１２に格納する画素データＩ（Ｏ＿１２）を作成する。

また、中間色作成部３２は、入力アドレスＥ＿０１の上下に位置する入力アドレスＯ＿０１，Ｏ＿１１のみならず、入力アドレスＯ＿００，Ｏ＿０１，Ｏ＿０２，Ｏ＿１０，Ｏ＿１１，Ｏ＿１２の画素データＩ（Ｏ＿００），Ｉ（Ｏ＿０１），Ｉ（Ｏ＿０２），Ｉ（Ｏ＿１０），Ｉ（Ｏ＿１１），Ｉ（Ｏ＿１２）の平均値を求めて、出力アドレスＯ＿１２に格納する画素データＩ（Ｏ＿１２）を作成しても良い。すなわち、中間色作成部３２は、
｛Ｉ（Ｏ＿００）＋Ｉ（Ｏ＿０１）＋Ｉ（Ｏ＿０２）＋Ｉ（Ｏ＿１０）＋Ｉ（Ｏ＿１１）＋Ｉ（Ｏ＿１２）｝／６ （式２）
という演算を行って出力アドレスＯ＿１２に格納する中間色の画素を作成する。

なお、一般の自然画像を変換する場合には、カメラ画像の隣接する画素同士で輝度や色味等の画素情報が大きく変化することがないので、中間色作成部３２で平均値をとって中間色を作成するための処理対象を取り出す範囲は、注目画素（上記例では入力アドレスＯ＿０１）の１画素レベルで隣接する画素データを使用するのみでよい。逆に、中間色を作成する処理対象を取り出す範囲を大きくすると、変換画像がぼやけてエッジ等が消失する可能性もある。

このように構成された画像処理装置１は、その処理手順を図４に示すように、先ずカメラモジュール２から奇数フィールドのカメラ画像データが入力されると、当該奇数フィールドのカメラ画像データをアドレス変換処理理の対象として、ステップＳ１以降の処理を進める。

ステップＳ１において、画像変換部１４は、アドレス変換テーブルを参照して、現在読み出し対象となっている入力バッファ１２の入力アドレスが、カメラ画像データの偶数フィールドの画素データを指しているか否かを判定する。そして、アドレス変換テーブルに従って偶数フィールドの画素データを取り出す場合にはステップＳ２に処理を進める。一方、現在読み出し対象となっている入力アドレスが、偶数フィールドではなく奇数フィールドのカメラ画像データを指している場合には、該当する入力アドレスから画素データを取り出して、ステップＳ３に処理を進める。

ステップＳ２において、画像変換部１４は、現在アドレス変換処理の対象となっているのが、入力バッファ１２に記憶されている奇数フィールドのカメラ画像データであり、入力バッファ１２から取り出す画素データが存在しないので、現在読み出し対象となっている偶数フィールドの入力アドレスに１画素単位で隣接する画素データを複数個読み出して、中間色の画像データを作成する。このとき、式１に従って中間色の画像データを作成することが設定されている場合には、現在読み出し対象となっている入力アドレスに隣接する上下２個の画素データを読み出して、中間色の画像データを作成する。一方、式２に従って中間色の画像データを作成することが設定されている場合には、現在読み出し対象となっている入力アドレスに隣接する上下６個の画素データを読み出して、中間色の画像データを作成する。

ステップＳ３において、画像変換部１４は、ステップＳ１で取り出した奇数フィールドのカメラ画像データ、又は、ステップＳ２で作成した中間色の画像データを、現在読み出し対象となっている入力アドレスに対応した出力アドレスに格納する。

次のステップＳ４において、画像変換部１４は、奇数フィールドのカメラ画像データ（例えば６４０画素×２４０画素）についてのアドレス変換処理が完了したか否かを判定する。このとき、画像変換部１４は、アドレス変換テーブルが指している全ての入力アドレスに応じて画素データ又は中間色の画像データを取得して、出力アドレスに格納したか否かを判定する。そして、完了していないと判定した場合には、ステップＳ１に処理を戻して次の入力アドレスについてステップＳ１〜ステップＳ３の処理を繰り返し、完了したと判定した場合は、次のフィールドのカメラ画像データについてのアドレス変換処理に移行するためにステップＳ５に処理を進める。

次に、画像変換部１４は、ステップＳ４からステップＳ５に移行すると、ステップＳ１〜ステップＳ４で行っていたカメラ画像データよりも１フィールドだけ次のカメラ画像データ、すなわち偶数フィールドのカメラ画像データをアドレス変換処理理の対象とする。

ステップＳ５において、画像変換部１４は、アドレス変換テーブルを参照して、現在読み出し対象となっている入力バッファ１２の入力アドレスが、カメラ画像データの奇数フィールドの画素データを指しているか否かを判定する。そして、アドレス変換テーブルに従って奇数フィールドの画素データを取り出す場合にはステップＳ６に処理を進める。一方、現在読み出し対象となっている入力アドレスが、奇数フィールドではなく偶数フィールドのカメラ画像データを指している場合には、該当する入力アドレスから画素データを取り出して、ステップＳ７に処理を進める。

ステップＳ６において、画像変換部１４は、現在アドレス変換処理の対象となっているのが、入力バッファ１２に記憶されている偶数フィールドのカメラ画像データであり、入力バッファ１２から取り出す画素データが存在しないので、現在読み出し対象となっている偶数フィールドの入力アドレスに１画素単位で隣接する画素データを複数個読み出して、中間色の画像データを作成する。このとき、式１に従って中間色の画像データを作成することが設定されている場合には、現在読み出し対象となっている入力アドレスに隣接する上下２個の画素データを読み出して、中間色の画像データを作成する。一方、式２に従って中間色の画像データを作成することが設定されている場合には、現在読み出し対象となっている入力アドレスに隣接する上下６個の画素データを読み出して、中間色の画像データを作成する。

ステップＳ７において、画像変換部１４は、ステップＳ５で取り出した偶数フィールドのカメラ画像データ、又は、ステップＳ６で作成した中間色の画像データを、現在読み出し対象となっている入力アドレスに対応した出力アドレスに格納する。

次のステップＳ８において、画像変換部１４は、偶数フィールドのカメラ画像データ（例えば６４０画素×２４０画素）についてのアドレス変換処理が完了したか否かを判定する。このとき、画像変換部１４は、アドレス変換テーブルが指している全ての入力アドレスから画素データ又は中間色の画像データを取得して出力アドレスに格納したか否かを判定する。そして、完了していないと判定した場合には、ステップＳ５に処理を戻して次の入力アドレスについてステップＳ５〜ステップＳ７の処理を繰り返し、完了したと判定した場合には処理を終了して、次フレームのカメラ画像データについてのアドレス変換処理に移行するために待機状態となる。

このように、アドレス変換テーブルで指定されている入力アドレスと、現在アドレス変換処理の対象となっていて入力バッファ１２に記憶されているフィールド単位のカメラ画像データとを比較して、読み出すべき画素データが存在しない場合には、隣接する画素データを使用して中間色の画像データを出力アドレスに格納することができる。

具体例として、図５（ａ），７（ａ）のような絵柄のカメラ画像データ（６画素×６画素；入力アドレス「１」〜「３６」）に対し、縮小する画像変換を行って、変換画像（４画素×４画素；入力アドレス「１」〜「１６」）を作成するアドレス変換処理について説明する。

図５（ａ）に示すように、奇数ラインと偶数ラインとからなる入力アドレス「１」〜「３６」が設定されていて、図６に示すようなアドレス変換テーブルがテーブル記憶部１５に記憶されていた場合に、現在読み出し対象となっているカメラ画像データが偶数フィールドのカメラ画像データである時には、出力アドレス「５」、「６」、「７」、「８」に格納するための入力アドレス「１３」、「１５」、「１６」、「１８」に画素データが格納されていない状態である。したがって、画像変換部１４では、入力アドレス「１３」、「１５」、「１６」、「１８」に隣接する入力アドレスに格納されている偶数フィールドのカメラ画像データを使用して中間色の画像データを作成して、入力アドレス「１３」、「１５」、「１６」、「１８」に対応する出力アドレス「５」、「６」、「７」、「８」に格納する。これにより、図５（ｂ）に示すように、入力アドレス「１３」に隣接する入力アドレス「７」と「１９」に格納された画素データの中間色を出力アドレス「５」に格納でき、入力アドレス「１５」に隣接する入力アドレス「９」と「２１」に格納された画素データの中間色を出力アドレス「６」に格納でき、入力アドレス「１６」に隣接する入力アドレス「１０」と「２２」に格納された画素データの中間色を出力アドレス「７」に格納でき、入力アドレス「１８」に隣接する入力アドレス「１２」と「２４」に格納された画素データの中間色を出力アドレス「８」に格納できる。

なお、図５（ｂ）では、出力アドレスに格納済の画素データの入力アドレスを示しており、出力アドレスは左上画素から右下画素まで順次出力アドレス「１」〜「１６」が設定されているものとする。

これに対し、図７に示すように、現在入力バッファ１２に格納されていない奇数ラインの入力アドレス「１３」、「１５」、「１６」、「１８」の画素データを使用する設定とした場合には、出力アドレス「５」、「６」、「７」、「８」に格納できる画素データが無く、図７（ｂ）のような絵柄となってしまう。このように、図７（ｂ）の絵柄は、中間色の画像データを格納した結果の図５（ｂ）の絵柄と比較して、図５，７（ａ）に示す絵柄を縮小した絵柄を縮小した結果としての再現性が良好では無くなってしまう。

また、一律に入力アドレス「１３」、「１５」、「１６」、「１８」よりも１画素上の画素データを使用するとした場合、出力アドレス「５」、「６」、「７」、「８」に格納される画素データは、入力アドレス「７」、「９」、「１０」、「１２」に格納されていた画素データとなる。この結果、絵柄は、図７（ｃ）に示すようになる。この場合であっても、中間色の画像データを格納した結果の図５（ｂ）の絵柄と比較して、図５（ａ），７（ａ）に示す絵柄を縮小した絵柄を縮小した結果としての再現性が良好では無くなってしまう。

［第１実施形態の効果］
以上詳細に説明したように、本発明を適用した第１実施形態に係る画像処理装置１によれば、入力バッファ１２に格納されているカメラ画像データと、アドレス変換テーブルで指定された入力アドレスと出力アドレスとの対応関係とに基づいて、当該入力アドレス付近の複数のカメラ画像データを用いて生成した中間色の画像データを作成して、出力アドレスに格納させるか否かを判定して、中間色の画像データを出力アドレスに格納させると判定した場合には、アドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データを用いて中間色の画像データを生成して、当該中間色の画像データを対応する出力アドレスに格納して、変換画像を作成するので、読み出す入力アドレスにカメラ画像データが存在しない場合であっても、出力アドレスにカメラ画像データを格納することができる。したがって、この画像処理装置１によれば、カメラモジュール２が動いている場合や変換画像内に動きがある撮像対象を含む場合であっても、変換画像としての滑らかさの低下を抑制できると共に、カメラモジュール２及び撮像対象が停止している場合であっても、変換画像の解像度の低下を抑制することができる。すなわち図８に示すように、フィールド単位でアドレス変換処理を行って変換画像を表示させる場合であっても、変換画像の解像度の低下を抑制して、車両の挙動に係わらず滑らか且つ高解像度な映像を表示させることができる。

したがって、この画像処理装置１によれば、例えばカメラモジュール２を搭載した車両の車速に応じて、アドレス変換テーブルを切り替える必要なく、テーブル記憶部１５のメモリ容量を少なくして低コストで変換画像を作成して表示させることができる。

また、この画像処理装置１によれば、入力バッファ１２に格納されたカメラ画像データが奇数フィールドのカメラ画像データである場合であって、アドレス変換テーブルで指定された入力アドレスが偶数フィールドのカメラ画像データである場合には、当該偶数フィールドのカメラ画像データ付近の奇数フィールドのカメラ画像データを用いて中間色の画像データを作成することができ、入力バッファ１２に格納されたカメラ画像データが偶数フィールドのカメラ画像データである場合であって、アドレス変換テーブルで指定された入力アドレスが奇数フィールドのカメラ画像データである場合には、当該奇数フィールドのカメラ画像データ付近の偶数フィールドのカメラ画像データを用いて中間色の画像データを作成することができる。これにより、カメラモジュール２の動きに係わらず、確実に解像度の低下を抑制した変換画像の表示を実現できる。

更に、この画像処理装置１によれば、中間色の画像データを生成する時に、アドレス変換テーブルで指定された入力アドレスに上下方向で隣接する画像ラインの複数の画像データを用いるので、自然画のように１画素単位では急激な輝度や色の変化がないことを利用して中間色の画像データを作成することができ、確実に解像度の低下を抑制した変換画像の表示を実現できる。

［第２実施形態］
つぎに、第２実施形態に係る画像処理装置１について説明する。なお、上述の第１実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。

第２実施形態に係る画像処理装置１は、中間色の画像データを作成すると判定した場合に、現在アドレス変換処理の対象となっているフィールド単位のカメラ画像データよりも１フィールド前のカメラ画像データを用いて、中間色の画像データを作成することを特徴とするものである。このような画像処理装置１は、上述の第１実施形態と比較して、１フィールド分多い入力バッファ１２のメモリ容量を有する点のみで異なる。

すなわち、この第２実施形態に係る画像処理装置１は、図９に示すように、時刻Ｔ１，Ｔ２，Ｔ３，Ｔ４において、奇数フィールドのカメラ画像データＯｄｄ１ａ、偶数フィールドのカメラ画像データＥｖｅｎ１ｂ、奇数フィールドのカメラ画像データＯｄｄ１ｃ、偶数フィールドのカメラ画像データＥｖｅｎ１ｄを入力バッファ１２で入力した場合に、奇数フィールドのカメラ画像データＯｄｄ１ａから奇数フィールドの変換画像データ（出力画像データ）ＤａｔａＯａを作成し、偶数フィールドのカメラ画像データＥｖｅｎ１ｂから偶数フィールドの変換画像データＤａｔａＥｂを作成するが、例えば変換画像データＤａｔａＯｃを作成する時には、時刻Ｔ３で入力した奇数フィールドのカメラ画像データＯｄｄ１ｃのみならず、時刻Ｔ２で入力して保存しておいた偶数フィールドのカメラ画像データＥｖｅｎ１ｂも使用することができる。

このような画像処理装置１において、図１０に示すように、現在アドレス変換処理の対象となっているカメラ画像データが、図１０（ｂ）に示す奇数フィールドのカメラ画像データである場合、図１０（ｃ）に示す出力バッファ１６の出力アドレスＯ＿１２に、入力アドレスＥ＿０１の画素データを格納することを指定する入力アドレスと出力アドレスとの対応関係がアドレス変換テーブルに記述されていたとする。

このとき、画像変換部１４は、第１実施形態と同様に、判定部３１によって、現在入力バッファ１２の入力アドレスＥ＿０１に画素データが格納されているか否かを判定する。そして、奇数フィールドのカメラ画像データが変換対象となっているので、入力バッファ１２には奇数ラインの画素データＯｄｄ１ａしか格納されていないために、出力アドレスＯ＿１２に格納する画素データが入力バッファ１２には格納されていないと判定する。この場合、判定部３１は、アドレス変換テーブルに規定されている入力アドレスＥ＿０１付近の画素データのみならず、図１０（ａ）に示す１フィールド前の偶数フィールドのカメラ画像データＥ’＿０１を使用して、出力アドレスＯ＿１２に格納する中間色の画素データを作成すると判定する。

すなわち、中間色作成部３２は、中間色を作成するために必要な入力アドレスＥ＿０１付近の画素データであって、現在入力バッファ１２に格納されている奇数ラインデータＯｄｄ１ａの画素データと、１フィールド前の偶数フィールドの入力アドレスＥ’＿０１の画素データとを取得する。例えば、中間色作成部３２は、入力アドレスＥ＿０１の１ライン隣接した上下の入力アドレスＯ＿０１、Ｏ＿１１と、入力アドレスＥ’＿０１の画素データを取得する。また、そして、中間色作成部３２は、画素データＩ（Ｅ’＿０１）、Ｉ（Ｏ＿０１）、Ｉ（Ｏ＿１１）を使用して、
｛Ｉ（Ｏ＿０１）＋Ｉ（Ｏ＿１１）＋Ｉ（Ｅ’＿０１）｝／３
という画素値の平均を求める演算を行って、中間色である、出力アドレスＯ＿１２に格納する画素データＩ（Ｏ＿１２）を作成する。

また、中間色作成部３２は、１フィールド前の偶数フィールドの入力アドレスＥ’＿０１、入力アドレスＯ＿０１，Ｏ＿１１のみならず、入力アドレスＯ＿００，Ｏ＿０１，Ｏ＿０２，Ｏ＿１０，Ｏ＿１１，Ｏ＿１２の画素データＩ（Ｏ＿００），Ｉ（Ｏ＿０１），Ｉ（Ｏ＿０２），Ｉ（Ｏ＿１０），Ｉ（Ｏ＿１１），Ｉ（Ｏ＿１２）の平均値を求めて、出力アドレスＯ＿１２に格納する画素データＩ（Ｏ＿１２）を作成しても良い。すなわち、中間色作成部３２は、
｛Ｉ（Ｏ＿００）＋Ｉ（Ｏ＿０１）＋Ｉ（Ｏ＿０２）＋Ｉ（Ｏ＿１０）＋Ｉ（Ｏ＿１１）＋Ｉ（Ｏ＿１２）＋Ｉ（Ｅ’＿０１）｝／７
という演算を行って出力アドレスＯ＿１２に格納する中間色の画素を作成する。

更に、中間色作成部３２は、１フィールド前の偶数フィールドの入力アドレスＥ’＿０１の横方向に隣接する入力アドレスＥ’＿００，Ｅ’＿０２の画素データＩ（Ｅ’＿００）、Ｉ（Ｅ’＿０２）も使用して、
｛Ｉ（Ｏ＿００）＋Ｉ（Ｏ＿０１）＋Ｉ（Ｏ＿０２）＋Ｉ（Ｏ＿１０）＋Ｉ（Ｏ＿１１）＋Ｉ（Ｏ＿１２）＋Ｉ（Ｅ’＿００）＋Ｉ（Ｅ’＿０１）＋Ｉ（Ｅ’＿０２）｝／９
という演算を行って、出力アドレスＯ＿１２に格納する中間色の画素を作成しても良い。

逆に、現在処理対象となっているカメラ画像データが偶数フィールドのカメラ画像データであって、入力バッファ１２の奇数フィールドのカメラ画像データを出力アドレスに格納することがアドレス変換テーブルで規定されている場合には、１フィールド前のカメラ画像データである奇数フィールドのカメラ画像データを用いて中間色の画像データを作成することになる。

［第２実施形態の効果］
以上詳細に説明したように、本発明を適用した第２実施形態に係る画像処理装置１によれば、入力バッファ１２に時間的に隣接する複数のフィールド単位のカメラ画像データを格納しておき、中間色の画像データを出力アドレスに格納させると判定した場合に、現在処理対象となっているフィールド単位のカメラ画像データのアドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データと、１フィールド前のカメラ画像データのうちアドレス変換テーブルで指定された入力アドレスのカメラ画像データとを用いて、中間色の画像データを作成するので、１フィールド前のカメラ画像データであっても、入力アドレスに該当する画素データを使用して、出力アドレスに格納する画素データで変換画像を作成することができ、変換画像の解像度を高くすることができる。

ここで、カメラモジュール２の撮像対象が動いた場合や、カメラモジュール２自体が動いた場合には、撮像タイミングと表示タイミングの不一致が起きてしまうが、１フィールド前のカメラ画像データのみならず、現在処理対象となっているカメラ画像データも使用して中間色の画素データを作成することができるので、より実際に近い画素データを作成して、出力アドレスに格納することができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

すなわち、上述した実施形態では、単一のカメラモジュール２からのカメラ画像データを変換して変換画像をモニタ３に表示させる場合について説明したが、これに限らず、複数のカメラモジュール２を使用しても、上述した効果を発揮できる。

具体的には、カメラモジュール２が複数台画像処理装置１に接続されており、複数のカメラ画像データを合成した変換画像を作成する画像処理装置１である場合には、カメラモジュール２の個数に対応して入力バッファ１２が設けられることになる。そして、カメラモジュール２及び入力バッファ１２が複数からなり、例えば右側方画像と左側方画像とをモニタ３に一画面で表示させる場合には、当該画像レイアウトに従ったアドレス変換テーブルが使用され、右側方画像と左側方画像と下方画像とを一画面で表示させる場合には、当該画像レイアウトに従ったアドレス変換テーブルが使用される。このような複数のアドレス変換テーブルは、ユーザの操作によって選択された画像レイアウトに応じて、ＣＰＵ１３で選択される。更に、アドレス変換テーブルは、カメラモジュール２（任意のカメラ番号）ごとに入力バッファ１２の入力アドレスと出力バッファ１６の出力アドレスとの対応関係を記述していて、カメラモジュール２の台数と同じ数が用意されているものとする。

本発明を適用した画像処理装置の構成を示すブロック図である。 アドレス変換テーブルの入力アドレスと出力アドレスとの対応関係に応じて、中間色の画像データを作成する機能的な構成を示すブロック図である。 本発明を適用した第１実施形態に係る画像処理装置において、中間色の画像データを作成する場合のアドレス変換処理について説明するための図である。 本発明を適用した画像処理装置によるアドレス変換処理の処理手順を示すフローチャートである。 本発明を適用した画像処理装置によるアドレス変換処理によって中間色の画像データを出力アドレスに格納する処理の具体例を説明するための図である。 アドレス変換テーブルの一例を示す図である。 本発明を適用した画像処理装置によるアドレス変換処理との比較例について説明するための図である。 本発明を適用した画像処理装置の効果を説明するための図である。 本発明を適用した第２実施形態に係る画像処理装置において、１フィールド前のカメラ画像データを使用することを説明するための図である。 本発明を適用した第１実施形態に係る画像処理装置において、中間色の画像データを作成する場合のアドレス変換処理について説明するための図である。

符号の説明

１ 画像処理装置
２ カメラモジュール
３ モニタ
１２ 入力バッファ
１２ａ 奇数フィールドバッファ
１２ｂ 偶数フィールドバッファ
１３ ＣＰＵ
１４ 画像変換部
１５ テーブル記憶部
１６ 出力バッファ
３１ 判定部
３２ 中間色作成部

Claims (8)

1. カメラ画像データを生成するカメラモジュールと接続され、当該カメラ画像データを変換して、変換画像を表示手段に表示させる画像処理装置であって、
   前記カメラモジュールで撮像されたカメラ画像データを格納する入力バッファを備える入力手段と、
   前記入力バッファから取り出されたカメラ画像データが変換された変換画像を格納する出力バッファを備え、当該変換画像を前記表示手段に出力する出力手段と、
   前記変換画像を作成するためのカメラ画像データを前記入力バッファの指定された入力アドレスから取り出させ、当該取り出されたカメラ画像データを前記出力バッファに格納させて、前記変換画像を前記出力バッファの指定された出力アドレスに格納させるアドレス変換テーブルを記憶する記憶手段と、
   前記入力バッファに格納されているカメラ画像データと、前記アドレス変換テーブルで指定された入力アドレスと出力アドレスとの対応関係とに基づいて、当該入力アドレス付近の複数のカメラ画像データを用いて生成した中間色の画像データを作成して、出力アドレスに格納させるか否かを判定する判定手段と、
   前記入力バッファに格納されたカメラ画像データを変換して前記出力バッファに格納させる時に、前記中間色の画像データを出力アドレスに格納させないと前記判定手段により判定された場合には、前記アドレス変換テーブルで指定された入力アドレスのカメラ画像データを対応する出力アドレスに格納し、前記中間色の画像データを出力アドレスに格納させると前記判定手段により判定された場合には、前記アドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データを用いて中間色の画像データを生成して、当該中間色の画像データを対応する出力アドレスに格納して、前記変換画像を作成する画像処理手段と
   を備えることを特徴とする画像処理装置。
2. 前記入力手段の入力バッファには、前記カメラモジュールからフィールド単位のカメラ画像データが格納され、
   前記画像処理手段は、前記入力バッファにフィールド単位のカメラ画像データが格納される度に、前記アドレス変換テーブルを参照して変換画像を作成する処理を開始し、
   前記判定手段は、前記入力バッファに格納されたカメラ画像データが奇数フィールドのカメラ画像データである場合であって、前記アドレス変換テーブルで指定された入力アドレスが偶数フィールドのカメラ画像データである場合には、当該偶数フィールドのカメラ画像データ付近の奇数フィールドのカメラ画像データを用いて中間色の画像データを作成すると判定し、前記入力バッファに格納されたカメラ画像データが偶数フィールドのカメラ画像データである場合であって、前記アドレス変換テーブルで指定された入力アドレスが奇数フィールドのカメラ画像データである場合には、当該奇数フィールドのカメラ画像データ付近の偶数フィールドのカメラ画像データを用いて中間色の画像データを作成すると判定すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、前記中間色の画像データを生成する時に、前記アドレス変換テーブルで指定された入力アドレスに上下方向で隣接する画像ラインの複数の画像データを用いることを特徴とする請求項１に記載の画像処理装置。
4. 前記入力手段の入力バッファは、時間的に隣接する複数のフィールド単位のカメラ画像データが格納され、
   前記画像処理手段は、前記中間色の画像データを出力アドレスに格納させると前記判定手段により判定された場合に、現在処理対象となっているフィールド単位のカメラ画像データの前記アドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データと、１フィールド前のカメラ画像データのうち前記アドレス変換テーブルで指定された入力アドレスのカメラ画像データとを用いて、中間色の画像データを作成すること
   を特徴とする請求項１に記載の画像処理装置。
5. カメラ画像データを生成するカメラモジュールと接続され、当該カメラ画像データを変換して、変換画像を表示手段に表示させる画像処理方法であって、
   前記変換画像を作成するためのカメラ画像データを入力バッファの指定された入力アドレスから取り出させ、当該取り出されたカメラ画像データを出力バッファに格納させて、前記変換画像を前記出力バッファの指定された出力アドレスに格納させるアドレス変換テーブルを記憶手段に記憶させるステップと、
   前記カメラモジュールで撮像されたカメラ画像データを、前記入力バッファに格納するステップと、
   前記入力バッファに格納されているカメラ画像データと、前記アドレス変換テーブルで指定された入力アドレスと出力アドレスとの対応関係とに基づいて、当該入力アドレス付近の複数のカメラ画像データを用いて生成した中間色の画像データを作成して、出力アドレスに格納させるか否かを判定するステップと、
   前記入力バッファに格納されたカメラ画像データを変換して前記出力バッファに格納させる時に、前記中間色の画像データを出力アドレスに格納させないと判定した場合には、前記アドレス変換テーブルで指定された入力アドレスのカメラ画像データを対応する出力アドレスに格納し、前記中間色の画像データを出力アドレスに格納させると判定した場合には、前記アドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データを用いて中間色の画像データを生成して、当該中間色の画像データを対応する出力アドレスに格納して、前記変換画像を作成するステップと
   を有することを特徴とする画像処理方法。
6. 前記入力バッファにカメラ画像データを格納するステップは、前記カメラモジュールからフィールド単位のカメラ画像データを格納し、
   前記変換画像を作成するステップは、前記入力バッファにフィールド単位のカメラ画像データが格納される度に、前記アドレス変換テーブルを参照して変換画像を作成する処理を開始し、
   前記判定するステップは、前記入力バッファに格納されたカメラ画像データが奇数フィールドのカメラ画像データである場合であって、前記アドレス変換テーブルで指定された入力アドレスが偶数フィールドのカメラ画像データである場合には、当該偶数フィールドのカメラ画像データ付近の奇数フィールドのカメラ画像データを用いて中間色の画像データを作成すると判定し、前記入力バッファに格納されたカメラ画像データが偶数フィールドのカメラ画像データである場合であって、前記アドレス変換テーブルで指定された入力アドレスが奇数フィールドのカメラ画像データである場合には、当該奇数フィールドのカメラ画像データ付近の偶数フィールドのカメラ画像データを用いて中間色の画像データを作成すると判定すること
   を特徴とする請求項５に記載の画像処理方法。
7. 前記変換画像を作成するステップは、前記中間色の画像データを生成する時に、前記アドレス変換テーブルで指定された入力アドレスに上下方向で隣接する画像ラインの複数の画像データを用いることを特徴とする請求項５に記載の画像処理方法。
8. 前記入力バッファにカメラ画像データを格納するステップは、時間的に隣接する複数のフィールド単位のカメラ画像データを格納し、
   前記変換画像を作成するステップは、前記中間色の画像データを出力アドレスに格納させると判定した場合に、現在処理対象となっているフィールド単位のカメラ画像データの前記アドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データと、１フィールド前のカメラ画像データのうち前記アドレス変換テーブルで指定された入力アドレスのカメラ画像データとを用いて、中間色の画像データを作成すること
   を特徴とする請求項５に記載の画像処理方法。