JP2017158217A - 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム - Google Patents

Abstract

【課題】昼夜問わず視界不良時の視界補助を適切に行うことができる、撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラムを提供することを目的とする。【解決手段】撮影画像表示装置１０は、可視光範囲の画像を取得する第１の撮影部５１、１０２、赤外光範囲の画像を取得する第２の撮影部５２，１０２、第１の撮影部５１、１０２が撮影した画像における白画像比率の多い区画毎のコントラスト情報を取得するとともに、区画毎のコントラスト比が所定閾値未満であることを判断するコントラスト情報取得部１０５、コントラスト比が所定閾値未満である区画の画像に対して、第２の撮影部５２，１０２が撮影した画像を合成する合成部１０６、合成部１０６が合成した画像を表示させる表示部１０８、６０を備える。【選択図】図１

Description

本発明は、カメラ等で撮影した画像を表示させる、撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラムに関する。

自動車などの移動体において、カメラ等で撮影した周辺画像を車内のモニタに表示させ、運転者の目視による認識を補助する技術がある。

特許文献１には、運転者の前方認識を補助する目的で、可視光カメラの映像において、所定の輝度以上または所定の輝度未満である部位に、赤外カメラの映像を合成する技術が開示されている。

特開平１１−３０８６０９号公報

所定の輝度に応じて可視光カメラの映像に赤外カメラの映像を合成する場合、運転者が前方を認識できない程度に暗い範囲や、対向車のヘッドライトによる眩惑などが対象となる。運転者による車外の目視および可視光カメラの映像による車外の認識が困難となる状況は、上記に限らず、例えば霧、雨、雪など昼間でも困難となる場合がある。

霧、雨、雪などで車外の認識が困難となる場合、輝度による判断では、車外を明瞭に認識している場合との区別ができない。

本発明は、このような問題を解決するためになされたものであり、昼夜問わず視界不良時の視界補助を適切に行うことができる、撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る撮影画像表示装置（１０）は、可視光範囲の画像を取得する第１の撮影部（５１、１０２）、赤外光範囲の画像を取得する第２の撮影部（５２、１０２）、前記第１の撮影部（５１、１０２）が撮影した画像から、前記画像における白画像比率の多い区画毎のコントラスト情報を取得するとともに、前記区画毎のコントラスト比が所定閾値未満であることを判断するコントラスト情報取得部（１０５）、コントラスト比が所定閾値未満である前記区画の画像に対して、前記第２の撮影部（５２、１０２）が撮影した画像を合成する合成部（１０６）、前記合成部（１０６）が合成した画像を表示させる表示部（１０８、６０）、を備える。

また、本発明に係る撮影画像表示方法は、可視光範囲の画像を取得する第１の撮影部（５１、１０２）が撮影した画像から、前記画像における白画像比率の多い区画毎のコントラスト情報を取得するステップ、前記区画毎のコントラスト比が所定閾値未満であることを判断するステップ、コントラスト比が所定閾値未満である区画の画像に対して、赤外光範囲の画像を取得する第２の撮影部（５２、１０２）が撮影した画像を合成するステップ、合成された画像を表示させるステップ、を備える。

また、本発明に係るプログラムは、撮影画像表示装置（１０）が備えるコンピュータ（１００）に、可視光範囲の画像を取得する第１の撮影部（５１、１０２）が撮影した画像から、前記画像における白画像比率の多い区画毎のコントラスト情報を取得するステップ、前記区画毎のコントラスト比が所定閾値未満であることを判断するステップ、コントラスト比が所定閾値未満である区画の画像に対して、赤外光範囲の画像を取得する第２の撮影部（５２、１０２）が撮影した画像を合成するステップ、合成された画像を表示させるステップ、を実行させる。

本発明によれば、昼夜問わず視界不良時の視界補助を適切に行うことができる。

本発明に係る撮影画像表示装置の構成ブロック図である。 本発明に係る撮影画像表示方法の動作例を示したフローチャートである。 撮影画像の分割例を示す概念図である。

以下、本発明の実施形態について説明する。図１は、本発明の実施形態に係る撮影画像表示装置１０の構成ブロック図の例である。撮影画像表示装置１０は、各種移動体に適用可能であり、自動車、鉄道、航空機、船舶、自転車などの各種移動体に用いることができる。本実施形態においては、自動車に搭載された例として説明する。

撮影画像表示装置１０は、図１に示すように、可視光カメラ５１、赤外カメラ５２、制御部１００、表示パネル６０から構成される。撮影画像表示装置１０は、予め自動車の機能として内蔵されていてもよく、後付けの装置、または、自動車に持ち込んで利用するタブレット端末等で構成されてもよい。

可視光カメラ５１は、車両の外部における可視光波長の映像を撮影し、撮影した画像データを撮影制御部１０２に送信する。可視光波長とは、一般的に３８０ｎｍから７５０ｎｍの範囲であり、人間の目で認識可能な範囲である。可視光カメラ５１は、車外の映像を撮影可能な位置に配置され、自動車の進行方向前方を撮影可能な位置に配置されることが適切である。可視光カメラ５１の配置向きは、自動車の進行方向前方に限らず、必要な向きを撮影可能であってもよく、撮影向きは可動式であってもよい。

赤外カメラ５２は、車両の外部における遠赤外光波長の映像を撮影し、撮影した画像データを撮影制御部１０２に送信する。赤外カメラ５２が撮影する波長は、遠赤外光波長のみに限らず、必要に応じて他の赤外領域の波長であってもよく、遠赤外光波長に他の赤外領域の波長が含まれてもよい。他の赤外領域とは、中赤外光や近赤外光である。遠赤外光波長とは、一般的に４μｍから１０００μｍの範囲であり、人間の目による認識はできないが、熱源となる物体から放射される遠赤外線を撮影するため、夜間の人検出などに利用される。赤外カメラ５２は、車外の映像を撮影可能な位置に配置され、可視光カメラ５１と重複する範囲を撮影可能な位置に配置されることが適切である。赤外カメラ５２の配置向きも、可視光カメラ５１同様に自動車の進行方向前方に限らず、必要な向きを撮影可能であってもよく、撮影向きは可動式であってもよい。

制御部１００は、各種データ処理を行うＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）、メモリ等によって構成される。制御部１００は、車載されている専用の制御装置、ナビゲーション装置に搭載される制御装置、外部端末などの制御装置を用いてもよい。

制御部１００は、その機能に基づいて、撮影制御部１０２、画像処理部１０４、表示制御部１０８を備える。各々の機能は、単一の制御装置または単一のプロセッサで実現されてもよく、分散された複数の制御装置や複数のプロセッサより実現されてもよい。

撮影制御部１０２は、可視光カメラ５１および赤外カメラ５２の撮影動作を制御する。具体的には、撮影の開始および停止、撮影画角や絞り等の制御、撮影された画像データの取得等である。

可視光カメラ５１および撮影制御部１０２により、第１の撮影部を構成する。また、赤外カメラ５２および撮影制御部１０２により、第２の撮影部を構成する。

画像処理部１０４は、撮影制御部１０２が取得した可視光カメラ５１および赤外カメラ５２の画像データを処理して表示制御部１０８に送出する。画像処理部１０４は機能別の構成要素として、コントラスト情報取得部１０５および合成部１０６を備える。

コントラスト情報取得部１０５は、可視光カメラ５１が撮影した画像データを所定の範囲毎にコントラスト情報を取得する。また、コントラスト情報取得部１０５は、取得したコントラスト情報を、所定の閾値と対比し、閾値未満であるか否かを判断する。所定の閾値とは、制御部１００を構成するメモリや、図示しない他の記憶媒体に記憶されている。

合成部１０６は、可視光カメラ５１が撮影した画像データと赤外カメラ５２が撮影した画像データとを合成する処理を行う。具体的には、コントラスト情報処理部１０５が所定の閾値以下のコントラストと判断した可視光カメラ５１の画像データに基づく範囲に対して、赤外カメラ５２が撮影した同一範囲の画像データを合成し、表示制御部１０８に送出する。

画像処理部１０４は、コントラスト情報取得部１０５の判断または求められる表示形態に基づいて、可視光カメラ５１が撮影した画像データに赤外カメラ５２の映像データの合成が不要である場合は、赤外カメラ５２の映像を合成せずに表示制御部１０８に送出する。

表示制御部１０８は、画像処理部１０４から送出された画像データを表示パネル６０に表示させる処理を行う。また、表示制御部１０８は、画像処理部１０４から送出された画像データに対して、輝度や色調の調整制御も行う。

表示パネル６０は、液晶パネルや有機ＥＬ（Electro Luminescence）パネル、ヘッドアップディスプレイ装置など、ユーザである運転者に映像を提示する各種装置が適用される。表示制御部１０８および表示パネル６０により、表示部を構成する。

次に、図２を用いて本発明に係る撮影画像表示装置１０の動作例である撮影画像表示方法を説明する。

図２の動作の前提としては、撮影画像表示装置１０の動作中は、撮影制御部１０２は、可視光カメラ５１および赤外カメラ５２に、同一範囲を含む車外の映像を継続して撮影させる制御を行っている状態である。可視光カメラ５１および赤外カメラ５２が撮影する映像は、一例としては、毎秒３０フレームの静止画が連続した動画像である。

上述した状態において、コントラスト情報取得部１０５は、可視光カメラ５１が撮影した任意のフレーム画像をｎ分割し（ステップＳ１００）、ｎ分割された区画毎のコントラスト情報を取得する（ステップＳ１０１）。ここでのｎは予め設定された整数である。

図３に、ステップＳ１００の処理における分割例を示す。図３は、可視光カメラ５１が撮影した画像の任意の１フレーム画像２００を４０分割した例を示す。分割数や分割形状は問わないが、例えば４８０分割など、制御部１００の処理能力に合わせて細かい分割であることが望ましい。図３においては、１フレーム画像２００を４０分割して、分割された各々の区画に、２００＿１、２００＿２と番号を付与しているが、番号の付与は一部省略している。

ステップ１０１において、コントラスト情報取得部１０５は、１フレーム画像２００を分割した区画を示す２００＿１から２００＿４０までの区画毎に、コントラスト情報を取得する。

ステップＳ１０１において取得するコントラスト情報とは、１フレーム画像２００を分割した区画毎に、輝度の最大値Ｌmaxおよび輝度の最小値Ｌminを取得する。輝度の最大値Ｌmaxおよび最小値Ｌminは、分割した区画に含まれる各画素毎のＲ（赤）とＧ（緑）、青（Ｂ）の各々の輝度を積算したＹ信号により算出される。

さらに、ステップＳ１０１においては、取得した輝度の最大値Ｌmaxおよび輝度の最小値Ｌminに基づき、コントラスト比を算出する。コントラスト比は、一般的にＬmax／Ｌminで表される。

次に、コントラスト情報取得部１０５は各区画毎のコントラスト比が予め設定された閾値未満である区画があるか否かを判断する（ステップＳ１０２）。ここで設定されている閾値とは、１フレーム画像２００を分割した区画内において輝度値によらず輝度の差に殆ど変化が無い状態が閾値未満とできる値であればよい。コントラスト比をＬmax／Ｌminで表す場合、一例として閾値＝１．１などである。

また、コントラスト情報取得部１０５がコントラスト比を算出する区画において、物体の輪郭（エッジ）が含まれている場合、Ｙ信号の高周波成分が含まれる。ステップＳ１０２の処理は、閾値に対応するコントラスト比の高低の判断に加えて、Ｙ信号の高周波成分のレベルの高低も判断基準に含んでもよい。この場合においても、Ｙ信号の高周波成分のレベル高低を規定する閾値を設定して対比してもよい。

コントラスト情報取得部１０５によるステップＳ１０２の処理は、１フレーム画像２００を分割した区画毎に判断するが、隣接した区画のコントラスト比が閾値未満である場合、隣接した区画を含む範囲で再度同様の判断を行ってもよい。例えば、図３において１フレーム画像２００を分割した区画を示す２００＿１、２００＿２、２００＿９、２００＿１０の各々におけるコントラスト比がいずれも閾値未満である場合、これらの区画を合計した範囲において、再度コントラスト比が閾値未満であるか判断してもよい。

ステップＳ１０２において、コントラスト比が閾値未満の区画が無いと判断された場合（ステップＳ１０２：Ｎｏ）、画像処理部１０４は可視光カメラ５１が撮影した映像に対して赤外カメラ５２が撮影した映像を合成することなく、表示制御部１０８に送出する。このため、表示制御部１０８は、表示パネル６０に可視光カメラ５１が撮影した映像を表示させる（ステップＳ１０３）。

ステップＳ１０２において、コントラスト比が閾値未満の区画があると判断された場合（ステップＳ１０２：Ｙｅｓ）、画像処理部１０４は、赤外カメラ５２が撮影した画像から同一の区画に対応する画像を取得する（ステップＳ１０４）。ステップＳ１０４で取得する赤外カメラ５２の画像は、ステップＳ１０２の判断対象となった可視光カメラ５１の画像と同時に撮影された画像である。

ステップＳ１０４において、赤外カメラ５２が撮影した画像から同一の区画に対応する画像を取得した後、合成部１０６は、ステップＳ１０２においてコントラスト比が閾値未満とされた区画の画像に対して、ステップＳ１０４で取得した同一の区画に対応する画像を合成する（ステップＳ１０５）。ステップＳ１０５における合成部１０６による合成処理は、既存のアルファブレンディングなどの手法を用いる。

次に、画像処理部１０４は、合成部１０６が合成した画像を表示制御部１０８に送出し、表示制御部１０８は、可視光カメラ５１の画像に赤外カメラ５２の映像が合成された映像を表示パネル６０に表示させる（ステップ１０６）。

このような処理により、輝度によらず車外の認識が困難となる様々な状態に対応して、可視光カメラ５１が撮影した画像に赤外カメラ５２が撮影した画像が合成されて表示される。このため、ユーザである運転者は、適切に車外の状況を確認することができる。

本発明は、具体例として以下の状況において効果的である。

状況例１：夜間の非照明範囲の認識
自動車の周辺を可視光カメラ５１および赤外カメラ５２を用いて撮影している場合、自動車のヘッドライトや外部の街灯などで光が照射されていない範囲は、可視光カメラ５１の映像および運転者の目視による認識が困難となる。可視光カメラ５１が撮影した範囲において、自動車のヘッドライトや外部の街灯などで光が照射されていない範囲はコントラスト比が閾値未満となるため、赤外カメラ５２の映像が合成されて表示される。

状況例１において合成され表示される映像は、自動車のヘッドライトや外部の街灯などで光が照射されていない範囲に存在する人や物体を適切に認識することができる。このような状況において、コントラスト情報取得部１０５は、ステップＳ１０２の処理を行う対象の区画を、黒画像比率の多い区画に限定して行ってもよい。

状況例２：夜間の眩惑範囲の認識
自動車の周辺を可視光カメラ５１および赤外カメラ５２を用いて撮影している場合、対向車のヘッドライトが当たり眩惑されている範囲は、可視光カメラ５１の映像および運転者の目視による認識が困難となる。可視光カメラ５１が撮影した範囲において、対向車のヘッドライトが当たり眩惑されている範囲はコントラスト比が閾値未満となるため、赤外カメラ５２の映像が合成されて表示される。

状況例２において合成され表示される映像は、対向車のヘッドライトが当たり眩惑されている範囲に存在する人や物体を適切に認識することができる。このような状況において、コントラスト情報取得部１０５は、ステップＳ１０２の処理を行う対象の区画を、白画像比率の多い区画に限定して行ってもよい。また、コントラスト情報取得部１０５は、ステップＳ１０２の処理を行う対象の区画を、輝度の高い区画に限定して行ってもよい。

状況例３：昼間の悪天候による視界不良範囲の認識
自動車の周辺を可視光カメラ５１および赤外カメラ５２を用いて撮影している場合、霧や雨、雪などの天候状況により、部分的または全体において可視光カメラ５１の映像および運転者の目視による認識が困難となる。霧や雨、雪などの天候状況により認識困難となる範囲はコントラスト比が閾値未満となるため、赤外カメラ５２の映像が合成されて表示される。

状況例３において合成され表示される映像は、霧や雨、雪などの天候状況によって認識困難な範囲に存在する人や物体を適切に認識することができる。このような状況において、コントラスト情報取得部１０５は、ステップＳ１０２の処理を行う対象の区画を、白画像比率の多い区画に限定して行ってもよい。

本発明の実施の形態は、その要旨を逸脱しない限り様々に変更可能である。例えば、本実施形態においては、コントラスト比の高低を判断する基準となる閾値を固定の閾値としたが、状況に応じて閾値を変動させてもよい。また、閾値を複数設定し、コントラスト値が該当する閾値の設定範囲に対応して、合成部１０６による合成処理のアルファブレンディングによる合成処理のα値を変化させてもよい。

１０ 撮影画像表示装置
５１ 可視光カメラ
５２ 赤外カメラ
６０ 表示パネル
１００ 制御部
１０２ 撮影制御部
１０４ 画像処理部
１０５ コントラスト情報取得部
１０６ 合成部
１０８ 表示制御部
２００ １フレーム画像

Claims (5)

1. 可視光範囲の画像を取得する第１の撮影部、
   赤外光範囲の画像を取得する第２の撮影部、
   前記第１の撮影部が撮影した画像から、前記画像における白画像比率の多い区画毎のコントラスト情報を取得するとともに、前記区画毎のコントラスト比が所定閾値未満であることを判断するコントラスト情報取得部、
   コントラスト比が所定閾値未満である前記区画の画像に対して、前記第２の撮影部が撮影した画像を合成する合成部、
   前記合成部が合成した画像を表示させる表示部、
   を備える、撮影画像表示装置。
2. 前記合成部は、前記画像におけるコントラスト比が所定閾値未満である区画の画像に対して、前記第２の撮影部が撮影した同一の区画に対応する画像を合成する、
   請求項１に記載の撮影画像表示装置。
3. 前記コントラスト情報取得部は、コントラスト比が所定閾値未満である前記区画が隣接して複数存在する場合、隣接した複数の区画を包含した区画のコントラスト値が所定閾値未満であることを判断する、
   請求項１または請求項２に記載の撮影画像表示装置。
4. 可視光範囲の画像を取得する第１の撮影部が撮影した画像から、前記画像における白画像比率の多い区画毎のコントラスト情報を取得するステップ、
   前記区画毎のコントラスト比が所定閾値未満であることを判断するステップ、
   コントラスト比が所定閾値未満である区画の画像に対して、赤外光範囲の画像を取得する第２の撮影部が撮影した画像を合成するステップ、
   合成された画像を表示させるステップ、
   を備える、撮影画像表示方法。
5. 撮影画像表示装置が備えるコンピュータに、
   可視光範囲の画像を取得する第１の撮影部が撮影した画像から、前記画像における白画像比率の多い区画毎所定区画毎のコントラスト情報を取得するステップ、
   前記区画毎のコントラスト比が所定閾値未満であることを判断するステップ、
   コントラスト比が所定閾値未満である区画の画像に対して、赤外光範囲の画像を取得する第２の撮影部が撮影した画像を合成するステップ、
   合成された画像を表示させるステップ、
   を実行させる、プログラム。