JP2005223605A - 画像処理方法、画像処理システムおよび画像処理装置 - Google Patents

Abstract

【課題】 昼夜を問わず車両および歩行者などの画像を確実に表示することができるとともに、昼夜それぞれにおいて違和感のない画像を表示することができる画像処理方法、画像処理システムおよび画像処理装置を提供する。
【解決手段】 画像処理装置１０は、光センサ３０およびＥＣＵ４０が出力するそれぞれの信号に基づいて、車両１の周辺の明るさの状況を判定し、その判定に応じて、可視カメラ２１が撮像した第１画像データと、遠赤外カメラ２２が撮像した第２画像データとを加重平均して第３画像データに変換する。そして、画像処理装置１０は、変換された第３画像データに係る画像を表示装置５０に表示する。明るさの状況に応じて加重平均の処理内容を切り替えることができるため、車両１に乗車している人間に違和感を与えないとともに、車両および歩行者などの画像を確実に表示することが可能となる。
【選択図】 図１

Description

本発明は、画像処理方法、画像処理システムおよび画像処理装置に関する。より具体的には、撮像対象を撮像して出力された２つの画像データを合成処理する画像処理方法、画像処理システムおよび画像処理装置に関する。

見通しの悪い交差点において、左右から接近する車両および歩行者などを監視するために、車両のフロントグリルにＣＣＤ、ＣＭＯＳなどの撮像素子を備える監視カメラ（可視カメラ）を配置し、監視カメラが撮像した画像を表示装置に表示することにより、運転者の死角をサポートする監視システムが開発されている。

しかしながら、夜間などの暗状況下では、他の車両（他車）のヘッドライト光が監視カメラへ直接的に入射するため、撮像した画像のヘッドライトの周囲が白くぼやける現象（ハレーションという）が生じ、歩行者などを認識することが不可能になってしまうという問題があった。図１０はハレーションを示す模式図であり、車両（自車）に設けた監視カメラが暗状況下で撮像した画像の一例である。同図においては、他車８０のヘッドライト８１から入射した光によって、監視カメラにハレーション８２が生じた状況を示している。このように、ハレーション８２によって、他車８０の周辺を歩行する歩行者１００の存在が認識されない虞がある。

そこで、上述した通常の監視カメラに加えて、撮像対象を赤外帯域で撮像することができる赤外カメラなどの暗視カメラを車両に搭載し、暗状況下では、暗視カメラが撮像した画像を表示装置に表示することにより、死角監視と暗視との両方が行える監視システムが提案されている（例えば、特許文献１参照。）。特に、特許文献１に開示されている車両周辺監視装置は、死角監視用の画像と暗視用の画像とを同時に撮像でき、撮像素子の単一化によるコストを削減することができる。
特開２００３−１８６０８５号公報

しかしながら、監視カメラが撮像して出力する画像データと暗視カメラが撮像して出力する画像データとは、各カメラの光学特性が相違するため、利用者に違和感を与えるという問題があった。また、一般的に、第１画像データはカラー画像として表示されるが、第２画像データは、例えば近赤外線（波長：０．９〜２μｍ）を用いて撮像対象を撮像したものであるため、モノクロ画像として表示される。よって、表示する画像が、第１画像データまたは第２画像データのいずれであるかによって、その表示形態が異なるため、利用者に違和感を与えていた。

本発明は斯かる事情に鑑みてなされたものであり、明るさに係る情報に基づいて、撮像対象を可視光帯域で撮像して出力された画像データ（以下、第１画像データ）と、撮像対象を赤外帯域で撮像して出力された画像データ（以下、第２画像データ）とを合成することにより、昼夜を問わず車両および歩行者などの画像を確実に表示することができるとともに、昼夜それぞれにおいて違和感のない画像を表示することができる画像処理方法、画像処理システムおよび画像処理装置の提供を目的とする。

また本発明は、撮像対象を可視光帯域で撮像して出力された第１画像データを構成する画素の輝度値分布を算出し、算出した輝度値分布に基づいて、第１画像データと撮像対象を赤外帯域で撮像して出力された第２画像データとを合成することにより、昼夜を問わず車両および歩行者などの画像を確実に表示することができるとともに、昼夜それぞれにおいて違和感のない画像を表示することができる画像処理方法、画像処理システムおよび画像処理装置の提供を目的とする。

第１発明に係る画像処理方法は、車両に搭載された一または複数の撮像装置から出力された撮像対象を撮像した第１画像データおよび第２画像データを処理する画像処理方法において、前記車両の周囲の明るさに係る情報に基づいて、前記第１画像データおよび前記第２画像データに重み係数を設定し、設定した重み係数に基づいて、前記第１画像データおよび前記第２画像データを加重平均して第３画像データに変換することを特徴とする。

第２発明に係る画像処理方法は、車両に搭載された一または複数の撮像装置から出力された撮像対象を撮像した第１画像データおよび第２画像データを処理する画像処理方法において、前記第１画像データを構成する画素の輝度値分布を算出し、算出した輝度値分布に基づいて、前記第１画像データおよび前記第２画像データに重み係数を設定し、設定した重み係数に基づいて、前記第１画像データおよび前記第２画像データを加重平均して第３画像データに変換することを特徴とする。

第３発明に係る画像処理システムは、撮像対象を撮像して該撮像対象の可視光帯域の第１画像データを出力する第１撮像装置と、前記撮像対象を撮像して該撮像対象の赤外帯域の第２画像データを出力する第２撮像装置と、画像データに係る画像を表示する表示装置と、前記第１画像データおよび前記第２画像データを処理する処理装置とが車両に搭載された画像処理システムにおいて、前記画像処理装置は、前記車両の周囲の明るさに係る情報を受付ける手段と、該手段にて受付けた明るさに係る情報に基づいて、前記第１画像データおよび前記第２画像データに重み係数を設定する手段と、該手段が設定した重み係数に基づいて、前記第１画像データおよび前記第２画像データを加重平均して第３画像データに変換する手段と、変換した第３画像データを前記表示装置へ出力する手段とを備えることを特徴とする。

第４発明に係る画像処理システムは、第３発明において、前記車両の周囲の明るさに係る情報を計測する計測手段を備え、該計測手段は、計測した情報を前記画像処理装置へ与えるべくなしてあることを特徴とする。

第５発明に係る画像処理システムは、撮像対象を撮像して該撮像対象の可視光帯域の第１画像データを出力する第１撮像装置と、前記撮像対象を撮像して該撮像対象の赤外帯域の第２画像データを出力する第２撮像装置と、画像データに係る画像を表示する表示装置と、前記第１画像データおよび前記第２画像データを処理する処理装置とが車両に搭載された画像処理システムにおいて、前記画像処理装置は、前記第１画像データを構成する画素の輝度値分布を算出する手段と、該手段が算出した輝度値分布に基づいて、前記第１画像データおよび前記第２画像データに重み係数を設定する手段と、該手段が設定した重み係数に基づいて、前記第１画像データおよび前記第２画像データを加重平均して第３画像データに変換する手段と、変換した第３画像データを前記表示装置へ出力する手段とを備えることを特徴とする。

第６発明に係る画像処理システムは、第３発明乃至第５発明のいずれかにおいて、前記画像処理装置は、前記第１画像データまたは前記第２画像データの一方の画像データを構成する画素の座標を、他方の画像データを構成する画素の座標に略一致させる補正手段をさらに備えることを特徴とする。

第７発明に係る画像処理システムは、第３発明乃至第６発明のいずれかにおいて、前記第１画像データおよび前記第２画像データは、前記車両の左側方向および右側方向の画像データであることを特徴とする。

第８発明に係る画像処理システムは、第３発明乃至第７発明のいずれかにおいて、前記第２撮像装置は、前記撮像対象の遠赤外帯域を撮像することを特徴とする。

第９発明に係る画像処理装置は、外部から入力された第１画像データと第２画像データとを処理する画像処理装置において、外部から明るさに係る情報を受付ける手段と、該手段にて受付けた明るさに係る情報に基づいて、前記第１画像データおよび前記第２画像データに重み係数を設定する手段と、該手段が設定した重み係数に基づいて、前記第１画像データおよび前記第２画像データを加重平均して第３画像データに変換する手段と、変換した第３画像データを外部へ出力する手段とを備えることを特徴とする。

第１０発明に係る画像処理装置は、外部から入力された第１画像データと第２画像データとを処理する画像処理装置において、入力された第１画像データを構成する画素の輝度値分布を算出する手段と、該手段が算出した輝度値分布に基づいて、前記第１画像データおよび前記第２画像データに重み係数を設定する手段と、該手段が設定した重み係数に基づいて、前記第１画像データおよび前記第２画像データを加重平均して第３画像データに変換する手段と、変換した第３画像データを外部へ出力する手段とを備えることを特徴とする。

第１発明、第３発明および第９発明にあっては、車両の周囲の明るさに係る情報に基づいて、撮像対象の第１画像データおよび第２画像データに重み係数を設定し、設定した重み係数に基づいて、第１画像データと第２画像データとを加重平均して第３画像データに変換する。そして、変換した第３画像データを表示装置へ出力して第３画像データに係る画像を表示する。これにより、２種類の画像データを、車両の周囲の明るさに適した画像データへ変換することができる。

特に、第１画像データが可視光線を用いて撮像対象を撮像したものであり、第２画像データが赤外線を用いて撮像対象を撮像したものである場合、第１画像データおよび第２画像データに対して加重平均を行う際に、明るさに係る情報に応じて加重平均の重み係数を設定することにより、昼夜を問わず車両および歩行者などの画像を確実に表示することができるとともに、昼夜それぞれにおいて違和感のない画像を表示することができる。

第４発明にあっては、車両の周囲の明るさに係る情報（例えば照度など）を計測し、計測した情報を画像処理装置へ与えることより、撮像装置から出力された２種類の画像データを、計測した情報に適した画像データへ自動的に変換することができる。

第２発明、第５発明および第１０発明にあっては、撮像対象の第１画像データを構成する画素の輝度値分布を算出する。そして、算出した輝度値分布に基づいて、第１画像データおよび撮像対象の第２画像データに重み係数を設定し、設定した重み係数に基づいて、第１画像データと第２画像データとを加重平均して第３画像データに変換する。そして、変換した第３画像データを表示装置へ出力して第３画像データに係る画像を表示する。これにより、２種類の画像データを、一方の画像データ（第１画像データ）の輝度値分布に適した画像データへ変換することができる。

特に、第１画像データが可視光線を用いて撮像対象を撮像したものである場合、車両の周辺が暗い（例えば夜間）ときの輝度値分布は、車両の周辺が明るい（例えば昼間）ときの輝度値分布に比べて、輝度値分布の中央値および分散値が小さくなる。よって、第１画像データの輝度値分布によって車両の周辺の明るさを判定できる。また、第２画像データが赤外線を用いて撮像対象を撮像したものである場合、第１画像データおよび第２画像データに対して加重平均を行う際に、第１画像データの輝度値分布に応じて加重平均の重み係数を設定することにより、昼夜を問わず車両および歩行者などの画像を確実に表示することができるとともに、昼夜それぞれにおいて違和感のない画像を表示することができる。

第６発明にあっては、第１画像データまたは第２画像データの一方の画像データを構成する画素の座標を補正して、他方の画像データを構成する画素の座標に略一致させる。第１画像データおよび第２画像データを構成する画素の座標が略一致していない場合、２つの画像データを合成すると輪郭が２重になって解像度が低下するため、一方の画像データを構成する画素の座標を補正することにより、加重平均した第３画像データの解像度の低下を抑制することができる。

第７発明にあっては、第１画像データおよび第２画像データが、車両の左側方向および右側方向の画像データであることにより、死角となる左右の画像を表示装置に表示して死角をなくすことができる。

第８発明にあっては、第２撮像装置が赤外線のうちの遠赤外線を用いて撮像することにより第２画像データが出力される。よって、第２撮像装置は、人体から放射される遠赤外線を用いて撮像することで、夜間においても確実に歩行者などの人間を撮像することができる。

本発明によれば、明るさに係る情報に基づいて、撮像対象を可視光帯域で撮像して出力された第１画像データと、撮像対象を赤外帯域で撮像して出力された第２画像データとを合成することにより、昼夜を問わず車両および歩行者などの画像を確実に表示することができるとともに、昼夜それぞれにおいて違和感のない画像を表示することができる。また、第１画像データを構成する画素の輝度値分布を算出して明るさを判定することにより、自動的に明るさに適した画像データに合成して違和感のない画像を表示することができる。特に、人体から放射される遠赤外線を用いて撮像することで、歩行者などの人間を確実に撮像するとともに、車両のヘッドライトなどによるハレーションの影響を排除した画像を表示することができる等、優れた効果を奏する。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。

（実施の形態１）
図１は本発明の実施の形態１に係る画像処理システムの構成を示すブロック図である。図中１は自動車などの車両であり、車両１の内部に、本発明の実施の形態１に係る画像処理装置１０を備えており、画像処理装置１０に、撮像装置２０、光センサ３０、電子制御部（ＥＣＵ）４０、表示装置５０などを接続することによって本発明に係る画像処理システムを構築している。

撮像装置２０は、撮像対象を撮像して可視光帯域（波長：３８０〜７７０ｎｍ）の第１画像データを出力する可視カメラ２１と、撮像対象を撮像して遠赤外帯域（波長：８〜１２μｍ）の第２画像データを出力する遠赤外カメラ２２とを備えている。なお、詳細は後述するが、各カメラ２１，２２は、車両１の左側領域ＬＲおよび右側領域ＲＲの画像をそれぞれ撮像するように構成されており、撮像した画像に係る第１画像データ，第２画像データを画像処理装置１０へ出力する。

可視カメラ２１は、その詳細は後述するが、撮像対象から出射された可視光線、または撮像対象にて反射された可視光線を電気信号に変換する機能を有する。一方、遠赤外カメラ２２は、撮像対象を遠赤外線で撮像することが相違する。遠赤外カメラ２２は、人体から放射される遠赤外線で撮影するため、歩行者などの人間を確実に撮像することができる。従って、遠赤外カメラ２２は、主として歩行者の画像を撮像するために用い、可視カメラ２１は、人体以外（主として他の車両）の画像を撮像するために用いる。もちろん、遠赤外カメラ２２ではなく、近赤外帯域（波長：０．８〜２μｍ）、中赤外帯域（波長：３〜５μｍ）で撮影するカメラであってもよい。

光センサ３０は、具体的には照度計であり、例えば、車両１の車室内のダッシュボード上に設置されていて、車両１の周囲の明るさに係る情報の一つである照度を計測する計測手段として機能する。光センサ３０にて計測された照度は、照度信号に変換されて画像処理装置１０へ出力される。

ＥＣＵ４０は、具体的にはボディ系ＥＣＵであり、運転者がヘッドライトの操作スイッチをオン／オフすることにより、制御信号を生成してヘッドライトの点灯／消灯を制御する機能を有しており、このヘッドライトの制御信号を画像処理装置１０へ出力すべく構成されている。

画像処理装置１０は、光センサ３０およびＥＣＵ４０が出力するそれぞれの信号に基づいて、車両１の周辺の明るさの状況を判定する機能を有する。すなわち、光センサ３０は、照度に応じて予め規定されたレベルの信号を出力するため、画像処理装置１０は、光センサ３０が出力する信号レベルに基づいて周辺の明るさを判定することが可能である。

また、ＥＣＵ４０は、例えば車両１の運転者によって操作スイッチのオン／オフの操作が行われるため、画像処理装置１０は、ＥＣＵ４０が出力する点灯／消灯を制御する制御信号に基づいて、車両１の運転者がヘッドライトの点灯を行ったか否かを判定することが可能である。すなわち、ヘッドライトは、一般的に夜間走行、トンネル走行などのような周辺が暗いときに点灯されるため、上述した制御信号によって周辺の明るさを判定することが可能となる。ただし、ヘッドライトを常時点灯しているような車両も存在するため、本実施形態においては制御信号を補助的に利用する。そして、画像処理装置１０は、可視カメラ２１が撮像した第１画像データと遠赤外カメラ２２が撮像した第２画像データとを合成処理して第３画像データに変換する。

表示装置５０は、液晶ディスプレイ、ヘッドアップディスプレイ（ＨＵＤ）などであり、ダッシュボードの近傍に設置される。表示装置５０は、画像処理装置１０に接続されており、画像処理装置１０から送出される第３画像データに係る画像の表示を行う。

次に、可視カメラ２１の構成について、図２に示す模式的断面図に基づいて具体的に説明する。なお、遠赤外カメラ２２の構成は、可視カメラ２１の構成と同様であるため説明を省略する。

可視カメラ２１は、遮光性の筐体２１ａ内に、ＣＣＤ，ＣＭＯＳなどの撮像素子２１ｂと、撮像素子２１ｂの正面に設けられた撮像レンズ２１ｃと、左右の窓部２１ｄ，２１ｅから入射した光線Ｌ１，Ｌ２を撮像レンズ２１ｃを介して撮像素子２１ｂへ結像するように配置されたミラー２１ｆ，２１ｇと、撮像素子２１ｂが出力する電気信号を画像信号に変換する信号処理部２１ｈとを備えている。なお、より正確には撮像素子２１ｂは、カラー画像を成すように、赤色用、緑色用および青色用撮像素子から構成されている。

ここで、撮像レンズ２１ｃとミラー２１ｆ，２１ｇとにより光学系が構成されており、左右の撮像対象を１つの可視カメラで撮像できるようになしてある。なお、ミラー２１ｆ，２１ｇの代わりに、プリズムを用いて光学系を構成し、光線Ｌ１，Ｌ２の進行方向を制御するようにした形態であってもよい。

このような構成を有する可視カメラ２１では、左右の窓部２１ｄ，２１ｅに入射した光線Ｌ１，Ｌ２は、左右に設けたミラー２１ｆ，２１ｇによって表面反射して撮像レンズ２１ｃ側に導光される。そして、光線Ｌ１は、撮像レンズ２１ｃによって、撮像素子２１ｂの撮像面の左領域に結像され、光線Ｌ２は、撮像レンズ２１ｃによって、撮像素子２１ｂの撮像面の右領域に結像される。これにより、可視カメラ２１が撮像した画像は、その左側が光線Ｌ１に係る画像、その右側が光線Ｌ２に係る画像となり、左右の撮像対象を１つの可視カメラで撮像することができる。

図３は本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本発明の実施の形態１に係る画像処理装置１０は、ＣＰＵなどの制御中枢である制御部１１を備えており、制御部１１は、バスを介して第１画像信号入力部１２、第２画像信号入力部１３、状態信号入力部１４、判定部１５、画像処理部１６、画像信号出力部１７に接続され、これら各部を制御して種々の機能を実行する。

第１画像信号入力部１２は、可視カメラ２１に接続されており、可視カメラ２１が撮像した第１画像データに係る画像信号を入力するためのインタフェイスとして機能する。第１画像信号入力部１２には、アナログ・デジタル・コンバータ（ＡＤＣ）１２ａが内蔵されており、可視カメラ２１が撮像したアナログ形式の画像信号を、所定のサンプリング周波数にて量子化（例えば、８ビット）を行い、デジタル形式（デジタルＲＧＢまたはＹＵＶ形式）の画像信号に変換する。サンプリング周波数はナイキストのサンプリング定理により、必要とする周波数の２倍以上の周波数で行うことが好ましい。ここで、Ｙ、Ｕ、Ｖは、輝度成分Ｙ、色差成分Ｒ−Ｙ、色差成分Ｂ−Ｙのことである。

第２画像信号入力部１３は、遠赤外カメラ２２に接続されており、遠赤外カメラ２２が撮像した第２画像データに係る画像信号を入力するためのインタフェイスとして機能する。第２画像信号入力部１３には、第１画像信号入力部１２と同様に、ＡＤＣ１３ａが内蔵されており、遠赤外カメラ２２が撮像した画像信号を、アナログ形式からデジタル形式に変換する。もちろん、可視カメラ２１，遠赤外カメラ２２がデジタル形式の画像信号を出力する形態においては、ＡＤＣ１２ａ，１３ａは不要であることは言うまでもない。

状態信号入力部１４は、光センサ３０およびＥＣＵ４０に接続されており、光センサ３０からは照度信号を、ＥＣＵ４０からはヘッドライトの制御信号を、それぞれ取得して照度情報および点灯情報とする。

判定部１５は、図４に示すような照度データベース１５ａを有しており、所定の時間（例えばシステムのクロック時間）毎に、状態信号入力部１４に入力された照度情報および点灯情報に基づいて車両１の周辺の明るさの状況を判定し、画像処理部１６にて行う処理を決定する。照度データベース１５ａには、処理を識別するためのＩＤ番号、当該処理を行う条件として照度の最低値を規定した第１所定値、照度の最高値を規定した第２所定値、ヘッドライトの点灯情報が点灯または消灯のいずれであるかを規定したヘッドライト情報、および、後述する画像処理部１６における処理を決定するパラメータ（重み係数）Ｗ１，Ｗ２が互いに関連付けられて登録されている。

例えば、光センサ３０から出力された照度情報（Ｍ）がＭ１≦Ｍ＜Ｍ２であり、かつ点灯情報がヘッドライトの点灯を示す場合、判定部１５は、照度データベース１５ａを検索して、条件の一致するＩＤ番号が”１”であり、可視カメラ２１が撮像した第１画像データと、遠赤外カメラ２２が撮像した第２画像データとを、Ａ１：Ｂ１の割合で合成すべく判定する。

同様に、照度情報がＭ２≦Ｍ＜Ｍ３であり、かつ点灯情報がヘッドライトの消灯を示す場合、判定部１５は、条件の一致するＩＤ番号が”１２”であり、第１画像データと第２画像データとを、Ａ１２：Ｂ１２の割合で合成すべく判定する。なお、すでに上述したように、ヘッドライトを常時点灯しているような車両も存在するため、点灯情報はあくまで補助的に利用することが好ましいが、点灯情報を判定部１５の判定に利用する形態であってもよいことは言うまでもない。

画像処理部１６は、制御部１１に制御され、第１画像データまたは第２画像データの一方の画像データ（例えば第１画像データ）を構成する画素の座標を補正する画像補正処理１６ａと、判定部１５にて決定した処理に基づいて、画像補正処理を行った画像データと、他方の画像データ（例えば第２画像データ）とを合成する画像合成処理１６ｂとを行う機能を有する。また、画像処理部１６には、画像メモリ１８が接続されており、画像処理部１６による処理の実行中に生成されるデータを一時的に記憶する。もちろん、画像メモリ１８としては、一般的なＤＲＡＭであってもよいが、バスクロックに同期させ、１クロックにつき１データを読み出すことができるＳＤＲＡＭなどを用いて処理を高速化することが好ましい。

可視カメラ２１および遠赤外カメラ２２の画角（視野角）が一致している場合であっても、カメラ毎に予め規定されたカメラパラメータ（レンズの光学特性、撮像素子の特性）などにより、各カメラが撮像した第１画像データと第２画像データとが対応する画素は、一般的に一致していないため、画像補正処理１６ａは、カメラパラメータに基づいて、両方の画像データの画素が略一致するように補正を行う。

画像合成処理１６ｂは、可視カメラ２１が撮像した第１画像データと遠赤外カメラ２２が撮像した第２画像データとを加重平均して第３画像データに変換する。より具体的には、画像合成処理１６ｂ後の第３画像データＤ（ｘ，ｙ）は、例えば式（１）の合成変換式に示した如く、第１画像データＳ１（ｘ，ｙ）と、第２データＳ２（ｘ，ｙ）とを、それぞれの重み係数Ｗ１（ｘ，ｙ），Ｗ２（ｘ，ｙ）で加重平均を行ったものである。

画像信号出力部１７は、画像処理部１６にて処理した第３画像データを画像信号として外部へ出力するためのインタフェイスであり、表示装置５０に接続されている。画像信号出力部１７には、デジタル・アナログ・コンバータ（ＤＡＣ）１７ａが内蔵されており、第３画像データを、表示装置５０の規格に応じたアナログ形式の画像信号に変換する。これにより、表示装置５０は、画像処理装置１０から出力された画像信号に係る画像を表示装置５０の画面に表示する。

これにより、画像合成処理１６ｂを行う際に用いる合成変換式を、判定部１５にて判定した車両１の周辺の明るさの状況に応じて、合成変換式の重み係数Ｗ１（ｘ，ｙ），Ｗ２（ｘ，ｙ）を自動的に切り替えることができる。従って、車両１の周辺の明るさの状況が変化した場合であっても、その状況変化の前後における合成処理後の画像データの相違を減少させることができる。すなわち、画像データに係る画像が、車両１に乗車している人間に違和感を与えないようにすることができる。

また、第１画像データに対しては重み係数Ｗ１で加重されるため、第３画像データはカラー画像としての特徴を有するため、従来のようなカラー表示とモノクロ表示とが混在するようなことはなく、常時、カラー表示を行うことができる。

（実施の形態２）
実施の形態１では、光センサ３０およびＥＣＵ４０から照度情報（照度信号）および点灯情報（制御信号）を入力することにより、車両１の周辺の明るさの状況を判定する形態について説明したが、可視カメラ２１が撮像した第１画像データを構成する画素の輝度値分布（ヒストグラム）により、車両１の周辺の明るさの状況を判定してもよく、このようにしたものが実施の形態２である。

図５は本発明の実施の形態２に係る画像処理システムの構成を示すブロック図である。図中１は自動車などの車両であり、車両１の内部に、本発明の実施の形態２に係る画像処理装置６０を備えており、画像処理装置６０に、撮像装置２０、表示装置５０などを接続することによって本発明に係る画像処理システムを構築している。つまり、上述した実施の形態１と比較して、光センサ３０とＥＣＵ４０とが不要であり、システムの構成を簡略化することができる利点を有する。

図６は本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。本発明の実施の形態２に係る画像処理装置６０は、ＣＰＵなどの制御中枢である制御部６１を備えており、制御部６１は、バスを介して第１画像信号入力部１２、第２画像信号入力部１３、ヒストグラム算出部６４、判定部６５、画像処理部１６、画像信号出力部１７に接続され、これら各部を制御して種々の機能を実行する。

ヒストグラム算出部６４は、図７に示すように、第１画像信号入力部１２に入力された可視カメラ２１が撮像した第１画像データ（同図（ａ））に対して、第１画像データを構成する赤、緑および青のすべての画素７０の輝度値を累積したヒストグラム（同図（ｂ））を算出する機能を有する。また、ヒストグラム算出部６４は、ヒストグラムの中央値（メジアン）Ｈ、分散値Ｓなどのヒストグラムを特徴づける要素を算出する機能を有している。なお、本例では赤、緑および青のすべての画素の輝度値を累積してヒストグラムを算出するようにしたが、特定の１色または２色以上の画素の輝度値を累積してヒストグラムを算出するようにしてもよい。また、第１画像データの左側の画像に係るデータと、右側の画像に係るデータとに対して算出するようにしてもよい。

図８は、第１画像データとヒストグラムとを示すグラフであり、同図（ａ）は昼間の画像を、同図（ｂ）は夜間の画像をそれぞれ示す。昼間の画像は輝度値の分布幅が広いが、夜間の画像は、昼間の画像に比べて輝度値の分布幅が狭く、ヒストグラムの中央値および分散値が小さくなる。よって、ヒストグラムの中央値、分散値などから車両の周囲の明るさを判定することが可能になる。

判定部６５は、図９に示すようなヒストデータベース６５ａを有しており、所定の時間毎に、ヒストグラム算出部６４にて算出されたヒストグラムの中央値、分散値などに基づいて車両１の周辺の明るさの状況を判定し、画像処理部１６にて行う処理を決定する。

ヒストデータベース６５ａには、処理を識別するためのＩＤ番号、当該処理を行う条件としてヒストグラムの中央値の最低値を規定した第１所定値、ヒストグラムの中央値の最高値を規定した第２所定値、ヒストグラムの分散値の最低値を規定した第３所定値、ヒストグラムの分散値の最高値を規定した第４所定値、および、重み係数Ｗ１，Ｗ２が互いに関連付けられて登録されている。

例えば、ヒストグラム算出部６４にて算出されたヒストグラムの中央値（Ｈ）がＨ１≦Ｈ＜Ｈ２であり、分散値（Ｓ）がＳ１≦Ｓ＜Ｓ２である場合、判定部６５は、ヒストデータベース６５ａを検索して、条件の一致するＩＤ番号が”１”であり、可視カメラ２１が撮像した第１画像データと、遠赤外カメラ２２が撮像した第２画像データとを、Ｃ１：Ｄ１の割合で合成すべく判定する。

同様に、ヒストグラム算出部６４にて算出されたヒストグラムの中央値（Ｈ）がＨ３≦Ｈ＜Ｈ４であり、分散値（Ｓ）がＳ３≦Ｓ＜Ｓ４である場合、判定部６５は、条件の一致するＩＤ番号が”１２”であり、第１画像データと、第２画像データとを、Ｃ１２：Ｄ１２の割合で合成すべく判定する。

そして、画像処理部１６は、判定部６５にて決定した処理に基づいて画像合成処理１６ｂを行う。なお、その他の構成は実施の形態１と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。

これにより、可視カメラ２１が撮像した第１画像データを構成する画素のヒストグラムにより、車両１の周辺の明るさを判定して、画像合成処理１６ｂの処理内容を切り替えることができる。従って、車両１の周辺の明るさの状況が変化した場合であっても、その状況変化の前後における合成処理後の第３画像データの相違を減少させることができる。

なお、ヒストグラムの中央値、分散値によって明るさを判定する場合について説明したが、ヒストグラムの、又は、平均値、中央値、分散値のうちの２つ以上を組み合わせたものによって明るさを判定してもよい。つまり、ヒストグラムを特徴づける要素によって明るさを判定することが実施の形態２の主旨である。

また、重み係数Ｗ１，Ｗ２のいずれか一方を”１”とし、他方を”０”とするようにして、第１画像データまたは第２画像データのいずれか一方の画像データを表示装置５０へ出力して、その画像データに係る画像を表示するような形態であってもよい。つまり、昼間のような明るい場合には、Ｗ１＝”１”、Ｗ２＝”０”として、第１画像データに係る画像を表示する。一方、夜間のような暗い場合には、Ｗ１＝”０”、Ｗ２＝”１”として、第２画像データに係る画像を表示する。このようにして、自動的に画像データの表示を切り替えることができる。

本発明の実施の形態１に係る画像処理システムの構成を示すブロック図である。 本発明に係る可視カメラの構成を示す模式的断面図である。 本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 照度データベースの一例を示すテーブル図である。 本発明の実施の形態２に係る画像処理システムの構成を示すブロック図である。 本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 ヒストグラム算出部が行う内容を示す説明図である。 昼間および夜間の第１画像データとヒストグラムとを示すグラフである。 ヒストデータベースの一例を示すテーブル図である。 ハレーションを示す模式図である。

符号の説明

１ 車両
１０ 画像処理装置
１１ 制御部
１２ 第１画像信号入力部
１３ 第２画像信号入力部
１４ 状態信号入力部
１５ 判定部
１６ 画像処理部
１６ａ 画像補正処理
１６ｂ 画像合成処理
２１ 可視カメラ
２２ 遠赤外カメラ
３０ 光センサ
４０ 電子制御部（ＥＣＵ）
５０ 表示装置
６０ 画像処理装置
６４ ヒストグラム算出部
６５ 判定部

Claims (10)

1. 車両に搭載された一または複数の撮像装置から出力された撮像対象を撮像した第１画像データおよび第２画像データを処理する画像処理方法において、
   前記車両の周囲の明るさに係る情報に基づいて、前記第１画像データおよび前記第２画像データに重み係数を設定し、設定した重み係数に基づいて、前記第１画像データおよび前記第２画像データを加重平均して第３画像データに変換すること
   を特徴とする画像処理方法。
2. 車両に搭載された一または複数の撮像装置から出力された撮像対象を撮像した第１画像データおよび第２画像データを処理する画像処理方法において、
   前記第１画像データを構成する画素の輝度値分布を算出し、算出した輝度値分布に基づいて、前記第１画像データおよび前記第２画像データに重み係数を設定し、設定した重み係数に基づいて、前記第１画像データおよび前記第２画像データを加重平均して第３画像データに変換すること
   を特徴とする画像処理方法。
3. 撮像対象を撮像して該撮像対象の可視光帯域の第１画像データを出力する第１撮像装置と、前記撮像対象を撮像して該撮像対象の赤外帯域の第２画像データを出力する第２撮像装置と、画像データに係る画像を表示する表示装置と、前記第１画像データおよび前記第２画像データを処理する処理装置とが車両に搭載された画像処理システムにおいて、
   前記画像処理装置は、
   前記車両の周囲の明るさに係る情報を受付ける手段と、
   該手段にて受付けた明るさに係る情報に基づいて、前記第１画像データおよび前記第２画像データに重み係数を設定する手段と、
   該手段が設定した重み係数に基づいて、前記第１画像データおよび前記第２画像データを加重平均して第３画像データに変換する手段と、
   変換した第３画像データを前記表示装置へ出力する手段と
   を備えることを特徴とする画像処理システム。
4. 前記車両の周囲の明るさに係る情報を計測する計測手段を備え、
   該計測手段は、計測した情報を前記画像処理装置へ与えるべくなしてあること
   を特徴とする請求項３に記載の画像処理システム。
5. 撮像対象を撮像して該撮像対象の可視光帯域の第１画像データを出力する第１撮像装置と、前記撮像対象を撮像して該撮像対象の赤外帯域の第２画像データを出力する第２撮像装置と、画像データに係る画像を表示する表示装置と、前記第１画像データおよび前記第２画像データを処理する処理装置とが車両に搭載された画像処理システムにおいて、
   前記画像処理装置は、
   前記第１画像データを構成する画素の輝度値分布を算出する手段と、
   該手段が算出した輝度値分布に基づいて、前記第１画像データおよび前記第２画像データに重み係数を設定する手段と、
   該手段が設定した重み係数に基づいて、前記第１画像データおよび前記第２画像データを加重平均して第３画像データに変換する手段と、
   変換した第３画像データを前記表示装置へ出力する手段と
   を備えることを特徴とする画像処理システム。
6. 前記画像処理装置は、前記第１画像データまたは前記第２画像データの一方の画像データを構成する画素の座標を、他方の画像データを構成する画素の座標に略一致させる補正手段をさらに備えること
   を特徴とする請求項３乃至請求項５のいずれかに記載の画像処理システム。
7. 前記第１画像データおよび前記第２画像データは、前記車両の左側方向および右側方向の画像データであること
   を特徴とする請求項３乃至請求項６のいずれかに記載の画像処理システム。
8. 前記第２撮像装置は、前記撮像対象の遠赤外帯域を撮像すること
   を特徴とする請求項３乃至請求項７のいずれかに記載の画像処理システム。
9. 外部から入力された第１画像データと第２画像データとを処理する画像処理装置において、
   外部から明るさに係る情報を受付ける手段と、
   該手段にて受付けた明るさに係る情報に基づいて、前記第１画像データおよび前記第２画像データに重み係数を設定する手段と、
   該手段が設定した重み係数に基づいて、前記第１画像データおよび前記第２画像データを加重平均して第３画像データに変換する手段と、
   変換した第３画像データを外部へ出力する手段と
   を備えることを特徴とする画像処理装置。
10. 外部から入力された第１画像データと第２画像データとを処理する画像処理装置において、
    入力された第１画像データを構成する画素の輝度値分布を算出する手段と、
    該手段が算出した輝度値分布に基づいて、前記第１画像データおよび前記第２画像データに重み係数を設定する手段と、
    該手段が設定した重み係数に基づいて、前記第１画像データおよび前記第２画像データを加重平均して第３画像データに変換する手段と、
    変換した第３画像データを外部へ出力する手段と
    を備えることを特徴とする画像処理装置。

Images