JP2013211837A - カメラ装置及び画像処理方法 - Google Patents

Abstract

【課題】解像度の高いカラー画像及び検波画像を生成できるカメラ装置を提供する。
【解決手段】光の三原色の内、いずれか１色の波長領域の特定光を照射する特定光投光部１０３と、光の三原色それぞれの波長領域の光に対して、それぞれ感度を有する受光部（１０１１〜１０１３）に露光することにより画像を撮像する撮像部１０１と、参照信号に基づいて、撮像部１０１の露光のタイミングパルス及び特定光投光部１０３の照射のタイミングパルスを生成する同期パルス生成部１０４と、撮像部が撮像した画像からカラー画像を生成するカラー画像生成部１１０と、撮像部１０１が撮像した画像に対して、参照信号を用いて同期検波処理を行うことにより検波画像を生成する同期検波処理部１０８とを備える。
【選択図】図１

Description

本発明は、カラー画像と照射した光に基づく検波画像とを生成するカメラ装置及び画像処理方法に関する。

１つの撮像部を用いて、カラー画像と、照射した赤外光に基づく距離画像とを出力する撮像装置が特許文献１に提案されている。特許文献１において、撮像部は、画素毎に、赤色（Ｒ）フィルタ、緑色（Ｇ）フィルタ、青色（Ｂ）フィルタの他、更に、互いに異なる赤外領域の周波数のフィルタＩＲ１、フィルタＩＲ２を備える。特許文献１は、投光部がフィルタＩＲ２を透過する波長域の光を照射し、フィルタＩＲ２の画素の受光量からフィルタＩＲ１の画素の受光量を比較し、照射した光の成分を抽出することにより距離画像を生成するものである。三原色に感度を持つそれぞれの画素は、カラー画像を生成するために使用される。

特開２００８−１４５３８６号公報

上述のように、特許文献１に記載の技術では、三原色にそれぞれ感度を有する画素は、カラー画像を生成するためだけに用いられ、赤外光に感度を有する画素は、それぞれ距離画像の生成のみに用いられている。よって、距離画像は、カラー画像に比べて低解像度の画像となってしまう。
本発明は、上記問題点を鑑み、解像度の高いカラー画像及び検波画像を生成できるカメラ装置及び画像処理方法を提供することを目的とする。

特定光投光部は、光の三原色の内、いずれか１色の波長領域の特定光を照射する。受光部は、光の三原色それぞれの波長領域の光に対して、それぞれ感度を有する。撮像部は、受光部に露光することにより画像を撮像する。同期パルス生成部は、参照信号に基づいて、前記撮像部の露光のタイミングパルス及び前記特定光投光部の照射のタイミングパルスを生成する。カラー画像生成部は、前記撮像部が撮像した画像からカラー画像を生成する。同期検波処理部は、前記撮像部が撮像した画像に対して、前記参照信号を用いて同期検波処理を行うことにより検波画像を生成する。

本発明によれば、解像度の高いカラー画像及び検波画像を生成できるカメラ装置及び画像処理方法を提供することができる。

本発明の実施の形態に係るカメラ装置の基本的な構成を説明するブロック図である。 本発明の実施の形態に係るカメラ装置が備える撮像部を説明するブロック図である。 本発明の実施の形態に係るカメラ装置が備える撮像部の受光部毎の感度を説明する図である。 本発明の実施の形態に係るカメラ装置が備える撮像部のカラーフィルタを説明する図である。 本発明の実施の形態に係るカメラ装置において、撮像部の撮像範囲と投光部の照射範囲とを説明する図である。 本発明の実施の形態に係るカメラ装置において、撮像部の露光タイミングと投光部の照射タイミングを説明するタイミングチャートである。 本発明の実施の形態に係るカメラ装置において、撮像部の露光タイミングと投光部の照射タイミングを説明するタイミングチャートである。 （ａ）は、本発明の実施の形態に係るカメラ装置の撮像部が撮像する画像を図示した一例である。（ｂ）は、本発明の実施の形態に係るカメラ装置が生成するカラー画像を図示した一例である。 本発明の実施の形態に係るカメラ装置が生成する同期検波画像を図示した一例である。 本発明の実施の形態に係るカメラ装置の画像処理方法を説明するフローチャートである。

次に、図面を参照して、本発明の実施の形態を説明する。以下に示す実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、下記の実施の形態に例示した装置や方法に特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。

（カメラ装置）
本発明の実施の形態に係るカメラ装置は、図１に示すように、画像を撮像する撮像部１０１と、撮像部１０１の露光を制御する露光制御部１０２と、光の三原色の内、いずれか１色の波長領域の特定光（Ｇ光）を照射する特定投光部（Ｇ光投光部）１０３と、同期パルス生成部１０４と、参照信号生成部１０５と、画像情報記憶部１０７と、同期検波処理部１０８と、検波画像出力部１０９と、特定光分離部（Ｇ分離部）１０６を有するカラー画像生成部１１０と、カラー画像出力部１１１とを備える。

撮像部１０１は、図２に示すように、Ｒ＋Ｇ受光部１０１１と、Ｇ受光部１０１２と、Ｂ＋Ｇ受光部１０１３とを備える。撮像部１０１は、ＣＣＤ、ＣＭＯＳ等のイメージセンサからなる。図３に示すように、Ｒ＋Ｇ受光部１０１１は、赤色光（Ｒ光）と特定光（Ｇ光）の波長領域に感度を有する。Ｇ受光部（特定受光部）１０１２は、特定光投光部１０３が照射する光（Ｇ光）の波長領域の光のみ感度を有する。Ｂ＋Ｇ受光部１０１３は、青色光（Ｂ光）と特定光（Ｇ光）の波長領域に感度を有する。

Ｒ＋Ｇ受光部１０１１、Ｇ受光部１０１２、Ｂ＋Ｇ受光部１０１３は、イメージセンサの複数の受光素子にそれぞれ対応して配置されたカラーフィルタを備える。図４に示すように、Ｒ＋Ｇ受光部１０１１は、Ｒ光及びＧ光を透過するカラーフィルタ、Ｇ受光部１０１２は、Ｇ光を透過するカラーフィルタ、Ｂ＋Ｇ受光部１０１３は、Ｂ光及びＧ光を透過するカラーフィルタをそれぞれ備える。カラーフィルタは、例えばベイヤ方式に対応して配列されることにより、見かけ上の解像度を向上させることができる。

Ｒ＋Ｇ受光部１０１１、Ｂ＋Ｇ受光部１０１３は、特定光（Ｇ光）の波長領域の光、及び光の三原色の内、前記特定光の波長領域を除く２色それぞれの波長領域の光（Ｒ光、Ｂ光）に対してそれぞれ感度を有する。撮像部１０１は、露光制御部１０２により制御されたタイミングで電子シャッタを駆動し、Ｒ＋Ｇ受光部１０１１、Ｇ受光部１０１２及びＢ＋Ｇ受光部１０１３に露光することにより画像を撮像する。

特定光投光部１０３は、例えば発光ダイオード（ＬＥＤ）等からなる。特定光投光部１０３は、図５に示すように、特定光投光部１０３による照射範囲Ａ２が、撮像部１０１による撮像範囲Ａ１に含まれるように設置される。

参照信号生成部１０５は、周期関数で表される、同期検波の参照信号を生成する。参照信号は、例えばｓｉｎωＦのように表される。ωは特定光投光部１０３が１周期に照射するのに必要なフレーム数、Ｆはフレーム数を示す。

同期パルス生成部１０４は、参照信号生成部１０５が生成した参照信号に基づいて、パルス幅変調（ＰＷＭ）等により、撮像部１０１の露光のタイミングパルス及び特定光投光部１０３の照射のタイミングパルスを生成する。特定光投光部１０３は、同期パルス生成部１０４が生成したタイミングパルスにより、図６に示すように、照射開始時刻ｔ２から照射終了時刻ｔ３まで照射時間が、撮像部１０１の露光開始時刻ｔ１から露光終了時刻ｔ４までの露光時間に含まれるように光を照射する。

同期パルス生成部１０４は、特定光投光部１０３の照射時間が、撮像部１０１の露光時間に含まれるように、特定光投光部１０３の照射のタイミングパルスを、撮像部１０１の露光のタイミングパルスに同期させて生成する。図７に示す例では、撮像部１０１の撮像開始から奇数番目のフレームの露光時間において、特定光投光部１０３が照射を行っているが、同期パルス生成部１０４は、参照信号生成部１０５が生成した参照信号に基づいて、特定光投光部１０３が照射すべきフレームかを判定し、照射のタイミング、強度を設定して照射のタイミングパルスを生成する。

特定光分離部（Ｇ分離部）１０６は、撮像部１０１が撮像した画像のうち、Ｒ＋Ｇ受光部１０１１、Ｂ＋Ｇ受光部１０１３に対応する画素の輝度情報から、特定光投光部１０３が照射する特定光と同じ領域の波長成分を分離する。特定光と同じ領域の波長とは、厳密に等しい波長である必要はなく、実質的に同様であればよい。

ここで、光の三原色の輝度成分をそれぞれＲ、Ｇ、Ｂとし、特定光投光部１０３が照射した光の輝度成分をＧｒとする。Ｇは、太陽光等の外部からの特定光（Ｇ光）の輝度成分となる。このとき、Ｒ＋Ｇ受光部１０１１、Ｇ受光部１０１２、Ｂ＋Ｇ受光部１０１３のそれぞれの出力は、（Ｒ＋Ｇ＋Ｇｒ）、（Ｇ＋Ｇｒ）、（Ｂ＋Ｇ＋Ｇｒ）と表すことができる。

特定光分離部１０６は、式（１）〜（３）のように、Ｒ＋Ｇ受光部１０１１、Ｂ＋Ｇ受光部１０１３のそれぞれの出力から、特定受光部であるＧ受光部１０１４の出力を減算する。これにより、特定光分離部１０６は、撮像部１０１が撮像した画像のうち、Ｒ＋Ｇ受光部１０１１、Ｂ＋Ｇ受光部１０１３に対応する画素の輝度情報から、特定光投光部１０３が照射する特定光の波長成分を分離することができる。

（Ｒ＋Ｇ＋Ｇｒ）−（Ｇ＋Ｇｒ）＝Ｒ …（１）
（Ｇ＋Ｇｒ） ＝Ｇ＋Ｇｒ …（２）
（Ｂ＋Ｇ＋Ｇｒ）−（Ｇ＋Ｇｒ）＝Ｂ …（３）

なお、特定光投光部１０３は、照射したＧ光の輝度成分Ｇｒが、外部からのＧ光の輝度成分Ｇに比べて非常に小さくなるように設定されている。よって、Ｇ受光部１０１２の出力に含まれる輝度成分Ｇｒは無視することができる。

カラー画像生成部１１０は、撮像部１０１が撮像した画像のうち、Ｒ＋Ｇ受光部１０１１、Ｂ＋Ｇ受光部１０１３に対応する画素から、特定光分離部１０６が分離した特定光の波長成分を除去することにより、Ｒ＋Ｇ受光部１０１１、Ｇ受光部１０１２、Ｂ＋Ｇ受光部１０１３がそれぞれ受光した３原色の輝度成分Ｒ，Ｇ，Ｂを取得し、取得した輝度成分Ｒ，Ｇ，Ｂをマッピングしてカラー画像を生成する。

カラー画像出力部１１１は、カラー画像生成部１１０が生成したカラー画像を、例えばＮＴＳＣ（National Television System Committee）規格やＰＡＬ（Phase Alternation by Line）規格等の所定のフォーマットに変換して外部に出力する。

画像情報記憶部１０７は、フレームが、特定光投光部１０３が照射した時に撮像されたフレームであるか否かを示す照射フラグと、参照信号生成部１０５が生成した参照信号の、フレーム撮影時の周期情報とを、同期パルス生成部１０４から入力する。画像情報記憶部１０７は、撮像部１０１が撮像した画像（フレーム）と、照射フラグと、周期情報とを、画像情報としてフレーム毎に順次記憶する。

同期検波処理部１０８は、撮像部１０１が撮像し、画像情報記憶部１０７が記憶した画像を読み出し、読み出した画像に対して、参照信号生成部１０５が生成した参照信号を用いて、同期検波処理を行い、検波画像を生成する。同期検波処理部１０８は、画像情報記憶部１０７が参照信号１周期分の画像を記憶すると、１周期分の画像を画像情報記憶部１０７から読み出し、読み出した各画像の全画素について、各画像撮像時の参照信号を掛け合わせることで、同期検波処理を行う。同期検波処理部１０８は、参照信号をｓｉｎωｔとすると、式（４）〜（７）のように、同期検波処理を行うことにより、特定光分離部１０６が照射した光の輝度成分Ｇｒを抽出する。同期検波処理部１０８は、抽出した特定光分離部１０６が照射した特定光の成分をマッピングして検波画像を生成する。

（Ｒ＋Ｇ＋Ｇｒ）×ｓｉｎωｔ＝Ｇｒ …（４）
（Ｇ＋Ｇｒ） ×ｓｉｎωｔ＝Ｇｒ …（５）
（Ｂ＋Ｇ＋Ｇｒ）×ｓｉｎωｔ＝Ｇｒ …（６）

検波画像出力部１０９は、同期検波処理部１０８が生成した検波画像を、例えばＮＴＳＣ規格やＰＡＬ規格等の所定のフォーマットに変換して出力する。

図８（ａ）に示すように、撮像部１０１が、特定光投光部１０３が照射を行った時に撮像した画像は、外部の光及び特定光から構成される。図８（ｂ）に示すように、撮像部１０１が、特定光投光部１０３が照射を行わない時に撮像した画像は、外部の光から構成される。よって、車両の前方を撮像する場合、図８（ａ）は、図８（ｂ）と同様に、特定光投光部１０３の照射範囲Ａ２であっても太陽光等による先行車Ｐの影Ｑが表示される。

検波画像出力部１０９が出力する画像は、図９に示すように、図８（ａ）の画像と図８（ｂ）の画像との差分となり、特定光投光部１０３が照射した特定光から構成される。よって、画像は照射範囲Ａ２のみとなり、太陽光による先行車Ｐの影Ｑは消失する。

（画像処理方法）
以下、図１０のフローチャートを用いて、本発明の実施の形態に係るカメラ装置の動作
の一例を説明する。

先ず、ステップＳ１０１において、同期パルス生成部１０４は、参照信号生成部１０５が生成した参照信号に基づいて、撮像部１０１の露光のタイミングパルスを生成し、露光制御部１０２に出力する。撮像部１０１は、露光制御部１０２の制御により、Ｒ＋Ｇ受光部１０１１、Ｇ受光部１０１２、Ｂ＋Ｇ受光部１０１３に露光する。

次に、ステップＳ１０２において、同期パルス生成部１０４は、参照信号生成部１０５が生成した参照信号に基づいて、特定光投光部１０３が特定光を照射するフレームか否かを判定する。同期パルス生成部１０４が、特定光投光部１０３が特定光を照射するフレームでないと判定する場合、処理はステップＳ１０４に進む。

ステップＳ１０２において特定光投光部１０３が特定光を照射するフレームであると判定する場合、ステップＳ１０３において、同期パルス生成部１０４は、参照信号生成部１０５が生成した参照信号に基づいて、特定光投光部１０３の投光のタイミングパルスを生成する。特定光投光部１０３は、同期パルス生成部１０４が生成した投光のタイミングパルスに応じて、特定光を照射する。

ステップＳ１０４において、露光制御部１０２は、同期パルス生成部１０４が生成した露光のタイミングパルスに基づいて、設定した露光時間を経過したか否かを判定する。露光時間を経過していない時、露光制御部１０２は、撮像部１０１の露光を続ける。露光時間を経過した時、ステップＳ１０５において、露光制御部１０２は、撮像部１０１の露光を終了させる。

ステップＳ１０６において、同期パルス生成部１０４は、特定光投光部１０３が照射した時に撮像されたフレームであるか否かを示す照射フラグと、参照信号生成部１０５が生成した参照信号の周期情報とを画像情報記憶部１０７に出力する。例えば、同期パルス生成部１０４は、ステップＳ１０１〜Ｓ１０５において撮像されたフレームが、ステップＳ１０３の処理を経ている場合は、照射フラグ「ＯＮ」、ステップＳ１０３の処理を経ていない場合は、照射フラグ「ＯＦＦ」とする。

ステップＳ１０７において、画像情報記憶部１０７は、ステップＳ１０１〜Ｓ１０５において撮像されたフレームと、ステップＳ１０６において同期パルス生成部１０４から出力された照射フラグ及び周期情報とを、関連付けて記憶する。

ステップＳ１０８において、特定光分離部１０６は、ステップＳ１０１〜Ｓ１０５において撮像されたフレームのうち、Ｒ＋Ｇ受光部１０１１、Ｂ＋Ｇ受光部１０１３に対応する画素の輝度情報から、特定光投光部１０３が照射する特定光と同じ領域の波長成分を分離する。

ステップＳ１０９において、カラー画像生成部１１０は、ステップＳ１０８において特定光の波長成分を分離されたフレームの輝度情報から、３原色の輝度成分を取得してマッピングすることによりカラー画像を生成する。ステップＳ１１０において、カラー画像出力部１１１は、カラー画像生成部１１０が生成したカラー画像を、所定のフォーマットに変換して外部に出力する。

ステップＳ１１１において、同期検波処理部１０８は、画像情報記憶部１０７が参照信号１周期分のフレーム毎の画像情報を記憶したか否かを判定する。画像情報記憶部１０７が１周期分の画像情報を記憶していない場合、ステップＳ１０１に戻る。画像情報記憶部１０７が１周期分の画像情報を記憶している場合、ステップＳ１１２において、同期検波処理部は、参照信号１周期分の画像情報を画像情報記憶部１０７から読み出す。

ステップＳ１１３において、同期検波処理部１０８は、読み出した画像情報と、参照信号生成部１０５が生成した参照信号とを用いて同期検波処理を行い、検波画像を生成する。同期検波処理部１０８は、読み出した各画像の全画素について、各画像撮像時の参照信号を掛け合わせることで、同期検波処理を行い、特定光分離部１０６が照射した光の輝度成分Ｇｒを抽出する。同期検波処理部１０８は、抽出した特定光分離部１０６が照射した特定光の成分をマッピングして検波画像を生成する。

ステップＳ１１４において、検波画像出力部１０９は、同期検波処理部１０８が生成した検波画像を所定のフォーマットに変換して出力する。

ステップＳ１１５において、電源または駆動スイッチがオフとなる場合は処理を終了し、駆動が継続する場合はステップＳ１０１に戻る。

本発明の実施の形態に係るカメラ装置１０によれば、撮像部１０１のすべての受光部（１０１１〜１０１３）が、特定光投光部１０３が照射する特定光の波長領域の光に対して感度を有し、すべての受光部の出力に対して同期検波処理を行うことにより、高解像度の検波画像及びカラー画像を生成することができる。

また、本発明の実施の形態に係るカメラ装置１０によれば、Ｒ＋Ｇ受光部１０１１、Ｂ＋Ｇ受光部１０１３の出力から、特定受光部１０１２の出力を減算することにより、特定光の波長成分が除外されたカラー画像を生成することができる。

また、本発明の実施の形態に係るカメラ装置１０によれば、特定光として、光の三原色の内、中間の波長領域に位置する緑色光を採用することにより、カラーフィルタの構成が簡単になる。
（その他の実施の形態）
上記のように、本発明は上記の実施の形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

既に述べた実施の形態においては、同期検波処理部１０８が生成した検波画像の輝度から、撮像対象までの距離を算出する手段を備えるようにしてもよい。これにより、ユーザは、撮像されたカラー画像から、撮像対象までの距離、画像上での位置を確認することができる。

また、既に述べた実施の形態においては、特定光投光部１０３が照射する光としてＧ光を例として説明したが、特定光投光部１０３は、Ｒ光またはＢ光を照射するようにしてもよい。この場合、特定受光部１０１２は、特定光投光部１０３が照射する光に対して感度を有するようにし、他の受光部が残りの２色の光に対して感度を有するようにすればよい。

また、既に述べた実施の形態においては、特定光分離部１０６は、式（２）に示す輝度成分Ｇの算出において、特定光投光部１０３が光を照射しない間のＧ受光部１０１２の出力（図７における時間ｔ_９〜ｔ₁₀に相当）を採用するようにしてもよい。これにより、カラー画像生成部１１０は、精度の高い輝度成分Ｇを取得することができ、カラー画像の画質低下を低減することができる。

このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１０ カメラ装置
１０１ 撮像部
１０３ 特定光投光部
１０４ 同期パルス生成部
１０８ 同期検波処理部
１０９ 検波画像出力部
１１０ カラー画像生成部
１１１ カラー画像出力部
１０１１ Ｒ＋Ｇ受光部
１０１２ Ｇ受光部（特定受光部）
１０１３ Ｂ＋Ｇ受光部

Claims (5)

1. 光の三原色の内、いずれか１色の波長領域の特定光を照射する特定光投光部と、
   光の三原色それぞれの波長領域の光に対して、それぞれ感度を有する受光部と、
   前記受光部に露光することにより画像を撮像する撮像部と、
   参照信号に基づいて、前記撮像部の露光のタイミングパルス及び前記特定光投光部の照射のタイミングパルスを生成する同期パルス生成部と、
   前記撮像部が撮像した画像からカラー画像を生成するカラー画像生成部と、
   前記撮像部が撮像した画像に対して、前記参照信号を用いて同期検波処理を行うことにより検波画像を生成する同期検波処理部と、
   を備えることを特徴とするカメラ装置。
2. 前記３つの受光部は、前記特定光の波長領域の光及び光の三原色の内、前記特定光の波長領域を除く２色それぞれの波長領域の光に対してそれぞれ感度を有する２つの受光部と、前記特定光の波長領域の光に対して感度を有する特定受光部とからなり、
   前記カラー画像生成部は、前記２つの受光部の出力から、前記特定受光部の出力を減算することにより、前記カラー画像を生成することを特徴とする請求項１に記載のカメラ装置。
3. 前記特定光投光部は、緑色光を照射し、
   前記特定受光部は、緑色光に対して感度を有することを特徴とする請求項２に記載のカメラ装置。
4. 前記カラー画像生成部が生成したカラー画像を出力するカラー画像出力部と、
   前記同期検波処理部が生成した検波画像を出力する検波画像出力部と
   を更に備えることを特徴とする請求項１〜３のいずれか１項に記載のカメラ装置。
5. 特定光投光部が、光の三原色の内、いずれか１色の波長領域の特定光を照射するステップと、
   撮像部が、光の三原色それぞれの波長領域の光に対して、それぞれ感度を有する受光部に露光することにより画像を撮像するステップと、
   参照信号に基づいて、前記撮像部の露光のタイミングパルス及び前記特定光投光部の照射のタイミングパルスを生成するステップと、
   前記撮像部が撮像した画像からカラー画像を生成するステップと、
   前記撮像部が撮像した画像に対して、前記参照信号を用いて同期検波処理を行うことにより検波画像を生成するステップと、
   を含むことを特徴とする画像処理方法。

Images