JP2009017474A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】コストをかけず、いかなる周囲の環境にもより柔軟に対応して鮮明な撮像画像を取得可能とする。
【解決手段】本発明の画像処理装置１０は、フレームレート変更制御部１１ｅが、露光時間判定部１１ｄによって、露光時間がフレームレートに基づくフレーム継続時間を越えると判定された場合に、よりレートの低いフレームレートに変更する。これによって、より低いフレームレートに基づいたより長いフレーム継続時間にわたって画像更新周期の先頭フレームが画像取り込みされることとなり、露光時間をより長く設定することが可能になり、露光時間の延長を先頭フレームに作用させることが可能になる。もって、昼や逆光など撮像対象の周囲の環境が明るい場合に対応するためにＦ値が大きいレンズを使用しても、夜やトンネルなど撮像対象の周囲の環境が暗い状況に対応して、撮像対象を正確に認識することが可能になる。
【選択図】 図２

Description

本発明は、フレームレートを変更することによって撮像素子への露光時間の調整可能範囲を拡大し、撮像対象が存在する外部周辺環境に左右されることなく鮮明な撮像画像を取得することが可能な画像処理装置および画像処理方法に関する。

ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子を利用して撮像対象の画像を電気信号に変換することによって動画を撮影するビデオカメラなどの撮像装置が搭載する画像処理装置では、１秒間に取得されるフレーム（画像）の数をあらわすフレームレート［fps］に従って、一定の画像更新周期（例えば、100ミリ秒）の１周期において取得されるフレーム数および１フレームが継続するフレーム継続時間が定まる。なお、フレーム継続時間［s］は、フレームレート［fps］の逆数である。

そして、かかる画像処理装置は、画像更新周期の１周期内に含まれるフレームのうち先頭フレームのみを画像表示用のフレームとして取得し、該画像更新周期内の先頭フレームより他のフレームのフレーム継続時間において、先頭フレームの画像処理をおこなうことが一般的である。

ところで、かかる画像処理装置を使用して撮像対象を撮像する場合に、該撮像対象が置かれている周囲の明暗が、取得される撮像画像の鮮明さを左右する。すなわち、撮像装置が有するレンズ特性や撮像素子の露光時間が一定である場合には、撮像対象の周囲が明るい環境であれば鮮明な撮像画像が取得され、撮像対象の周囲が暗い環境であれば不鮮明な撮像画像が取得される。

このように、撮像対象の周囲の明暗にかかわらず鮮明な撮像画像を取得するために、例えば、特許文献１には、撮像対象が明るい環境に置かれていれば、撮像素子の露光時間を短くし、該撮像対象が暗い環境に置かれていれば、撮像素子の露光時間を長くすることによって、適切な露光時間にて撮像対象の鮮明な撮像画像を取得することを可能にする従来技術が開示されている。

また、撮像対象の周囲の明暗にかかわらず鮮明な撮像画像を取得するために、例えば、特許文献１には、撮像対象が明るい環境に置かれていれば、撮像素子の電荷蓄積時間を短くし、該撮像対象が暗い環境に置かれていれば、撮像素子の電荷蓄積時間を長くすることによって、適切な電荷蓄積時間にて撮像対象の鮮明な撮像画像を取得することを可能にする従来技術が開示されている。

国際公開第０５／０２７５１０パンフレット 特開２００３−２０９７５０号公報

しかしながら、上記特許文献１に代表される従来技術では、次の問題点があった。すなわち、フレームレートは、通常、固定値であるため、画像処理される先頭フレームのフレーム継続時間も固定となる。そのため、撮像素子の露光時間を最大限引き延ばしたとしても、画像処理対象の先頭フレームが影響を受ける露光時間は、先頭フレームのフレーム継続時間までであるという制約がある。よって、露光時間を最大限引き延ばしたとしてもなお、撮像素子が十分な露光を得ることができず、不鮮明な撮像画像が取得されてしまうおそれがあった。

また、上記特許文献２に代表される従来技術では、次の問題点があった。すなわち、撮像対象の周囲の明暗を検知するために、撮像素子に測光用のモニタセンサを付加して音チップとする必要があるため、従来からある撮像素子をハードウェア的に変更しなければならず、製造コスト的な問題があった。さらに、撮像素子の電荷蓄積時間を長くしたとしても、撮像素子の電荷蓄積容量の制限を受けるため、効果に自ずと限界があった。

そして、たとえ特許文献１および２に代表される従来技術を組み合わせたとしても、露光時間に限界があり、かつ撮像素子の電荷蓄積容量に制限があるため、周囲の環境の変化に柔軟に対応して鮮明な撮像画像を取得することに限界がある。特に、撮像装置が車載用の撮像装置である場合には、車両の走行に伴って、撮像対象の周囲の明暗などの環境が刻々と変化していくにもかかわらず、車載用という用途の特殊性から、レンズを換装してレンズ特性を変化させることができないため、レンズ特性の変化以外の方法によって、いかなる周囲の環境にもより柔軟に対応して鮮明な撮像画像が取得できるようにしなければならない。

本発明は、上記問題点（課題）を解消するためになされたものであって、コストをかけず、いかなる周囲の環境の変化にもより柔軟に対応して鮮明な撮像画像が取得可能な画像処理装置および画像処理方法を提供することを目的とする。

上述した問題を解決し、目的を達成するため、本発明の画像処理装置は、撮像素子から所定のフレームレートで取得した撮像画像の明暗を判定する撮像画像明暗判定手段と、前記撮像画像明暗判定手段によって判定された前記撮像画像の明暗に基づいて前記撮像素子の露光時間を調整する露光時間調整手段と、前記露光時間調整手段によって調整された前記露光時間が第１のフレームレートに基づくフレーム継続時間を越えるか否かを判定する露光時間判定手段と、前記露光時間判定手段によって前記露光時間が前記第１のフレームレートに基づくフレーム継続時間を越えると判定され、かつ前記所定のフレームレートが該第１のフレームレートである場合に、前記撮像素子から前記撮像画像を取得するフレームレートを該第１のフレームレートから該第１のフレームレートより低い第２のフレームレートへと変更するフレームレート変更手段とを有することを特徴とする。

また、本発明は、上記発明において、前記フレームレート変更手段は、前記露光時間判定手段によって前記露光時間が前記第１のフレームレートに基づくフレーム継続時間を越えると判定されず、かつ前記所定のフレームレートが前記第２のフレームレートである場合に、前記撮像素子から前記撮像画像を取得するフレームレートを該第２のフレームレートから該第１のフレームレートへと変更することを特徴とする。

また、本発明は、上記発明において、前記撮像画像明暗判定手段は、前記撮像画像の濃淡値に基づいて該撮像画像の明暗を判定することを特徴とする。

また、本発明は、上記発明において、前記画像処理装置は、車両に搭載される撮像装置が有する車載用画像処理装置であることを特徴とする。

また、本発明は、上記発明において、前記撮像画像明暗判定手段は、前記車両に搭載されるカーナビゲーション装置から取得される現在地情報に基づいて前記撮像画像の明暗を判定することを特徴とする。

また、本発明は、上記発明において、前記撮像画像明暗判定手段は、前記車両に搭載される前照灯または車幅灯の点灯・消灯に基づいて前記撮像画像の明暗を判定することを特徴とする。

また、本発明は、上記発明において、前記撮像画像明暗判定手段は、前記車両に搭載される該車両の外部周辺の照度を検知する照度検知装置による照度検知結果に基づいて前記撮像画像の明暗を判定することを特徴とする。

また、本発明の画像処理方法は、撮像素子から所定のフレームレートで取得した撮像画像の明暗を判定する撮像画像明暗判定ステップと、前記撮像画像明暗判定ステップによって判定された前記撮像画像の明暗に基づいて前記撮像素子の露光時間を調整する露光時間調整ステップと、前記露光時間調整ステップによって調整された前記露光時間が第１のフレームレートに基づくフレーム継続時間を越えるか否かを判定する露光時間判定ステップと、前記露光時間判定ステップによって前記露光時間が前記第１のフレームレートに基づくフレーム継続時間を越えると判定され、かつ前記所定のフレームレートが該第１のフレームレートである場合に、前記撮像素子から前記撮像画像を取得するフレームレートを該第１のフレームレートから該第１のフレームレートより低い第２のフレームレートへと変更し、前記露光時間判定ステップによって前記露光時間が前記第１のフレームレートに基づくフレーム継続時間を越えると判定されず、かつ前記所定のフレームレートが前記第２のフレームレートである場合に、前記撮像素子から前記撮像画像を取得するフレームレートを該第２のフレームレートから該第１のフレームレートへと変更するフレームレート変更ステップとを含むことを特徴とする。

本発明によれば、撮像素子の露光時間が不足する場合に、第１のフレームレートに基づくフレーム継続時間を越える露光時間で撮像素子を露光することが可能になり、レンズの特性や撮像画像のゲイン増幅にともなうノイズやコストを気にすることなく、撮像対象の周囲の明暗に応じて露光時間の調整のみで簡単に鮮明な画像を得ることが可能になるという効果を奏する。

また、本発明によれば、フレームレートが第２のフレームレートであって、露光時間が第１のフレームレートに基づくフレーム継続時間を越えない場合に、フレームレートを高くすることが可能になるという効果を奏する。

また、本発明によれば、撮像画像自体の明暗に基づいて、必要とされる露光時間へと露光時間を正確に調整することが可能になるという効果を奏する。

また、本発明によれば、自動車の走行に伴って撮像対象の周囲の明暗が絶えず変化する場合であっても、必要な露光時間を正確に調整することが可能になるという効果を奏する。

また、本発明によれば、カーナビゲーション装置から取得される現在地情報に基づいて、簡易な構成で既存の情報を利用して、必要とされる露光時間へと露光時間を調整することが可能になるという効果を奏する。

また、本発明によれば、前照灯または車幅灯の点灯・消灯に基づいて、簡易な構成で、必要とされる露光時間へと露光時間を調整することが可能になるという効果を奏する。

また、本発明によれば、照度検知装置による照度検知結果に基づいて、簡易な構成で、必要とされる露光時間へと露光時間を正確に調整することが可能になるという効果を奏する。

以下に添付図面を参照し、本発明の画像処理装置および画像処理方法に係る実施例を詳細に説明する。以下の実施例では、本発明の画像処理装置および画像処理方法は、車両に搭載される撮像装置が有する画像処理装置に関するものであるとするが、これに限定されるものではない。

先ず、従来の画像処理装置のフレームレートに基づく画像更新周期における画像取り込み期間、画像処理期間について説明する。図１−１は、従来の画像処理装置のフレームレートに基づく画像更新周期における画像取り込み期間、画像処理期間を説明するための図である。同図に示すように、従来の画像処理装置では、フレームレートはＡ［fps］で固定であった。

フレームレートがＡ［fps］のとき、固定の画像更新周期（例えば、100［ms］）の１周期には（Ｎ＋１）個のフレームが含まれるとする。このとき、（Ｎ＋１）個の各フレームのフレーム継続時間は、１／Ａ［s］である。（Ｎ＋１）個のフレームのうちの先頭フレームである第０フレームのみが画像処理装置における画像処理対象であり、第１フレームから第Ｎフレームまでは、画像処理対象とはならず無視される。よって画像更新周期の先頭の第０フレームに想到するフレーム継続時間１／Ａ［s］が画像取り込み期間ａ［s］であり、残りの{（１／Ａ）×Ｎ}＝ｂ［s］が画像処理期間となる。この処理が画像更新周期ａ＋ｂ［s］として周期的に繰り返されることとなる。

画像取り込み対象（画像処理対象）のフレームが第０フレームのみであるので、画像処理装置が備える撮像装置が有する撮像素子の露光時間を調整することによって、第０フレームのより鮮明な画像を取得することが可能になる。

ここで、実施例にかかる画像処理装置が備える撮像装置が有する撮像素子の露光時間を調整する場合に、第０フレームのみが画像処理対象であるが、第０フレームの画像を取り込む時間が最大ａ＝１／Ａ［s］であることから、露光時間の作用は、最大を受けるのはａ＝１／Ａ［s］までの時間だけである。よって、フレームレートがＡ[fps]である限りは、露光時間を０[s]からａ＝１／Ａ［s］までの間で調整することによって、露光が適切な鮮明な第０フレームの画像を取り込むことが可能になる。

しかし、撮像対象の周囲の明暗の状況によっては、露光時間を最大ａ＝１／Ａ［s］まで延長したとしてもなお、十分な露光を得ることができない場合がある。このような場合であっても、従来の画像処理装置のように、フレームレートがＡ［fps］で固定的であると、露光時間をａ＝１／Ａ［s］を越える時間まで延長しても、第０フレームがその作用を受けることはできなかった。

そこで、実施例にかかる画像処理装置は、図１−２に示すように、フレームレートをＡ［fps］よりもレートが低いＢ［fps］へと変更可能することによって、第０フレームの画像取り込み期間をａ´＝１／Ｂ［s］へと延長することによって、露光時間をａ´＝１／Ｂ［s］まで延長したとしても、第０フレームが露光作用を受けることを可能とした。

具体的には、フレームレートＡ［fps］よりもレートが低いフレームレートＢ［fps］とした場合に、Ａ＞Ｂであることから１／Ａ＜１／Ｂとなるため、実施例にかかる画像処理装置の第０フレームの画像取り込み期間ａ´＝１／Ｂ［s］は、従来の画像処理装置の第０フレーム取り込み時間ａ＝１／Ａ［s］よりも長くなる。よって、実施例の画像処理装置は、露光時間を０[s]からａ´＝１／Ｂ［s］までの間で調整することによって、露光が適切な鮮明な第０フレームの画像を取り込むことが可能になる。

なお、フレームレートがＢ［fps］の場合、固定の画像更新周期（例えば、100［ms］）の１周期には（Ｍ＋１）個のフレームが含まれるとする。このとき、（Ｍ＋１）個の各フレームのフレーム継続時間は、１／Ｂ［s］である。また、画像更新周期は、フレームレートにかかわらず、ａ＋ｂ［s］＝ａ´＋ｂ´［s］である。

次に、実施例にかかる画像処理装置の構成について説明する。図２は、実施例にかかる画像処理装置の構成を示す機能ブロック図である。同図に示すように、実施例にかかる画像処理装置１０は、車両１に搭載され、ＣＡＮ（Controller Area Network）１００を介して、カーナビゲーション装置２０と、照度検知装置３０と、車幅灯・ヘッドライト装置４０と相互通信可能に接続されている。

画像処理装置１０は、制御部１１と、記憶部１２と、表示部１３とを有する。そして、画像処理装置１０には、ＣＭＯＳセンサ１４が接続されている。ＣＭＯＳセンサ１４は、撮像対象の画像を取り込む撮像素子であるが、ＣＭＯＳセンサに限らず、ＣＣＤセンサであってもよい。

制御部１１は、画像処理装置１０全体の制御をつかさどる制御手段であり、特に実施例にかかる構成としてフレーム取得処理部１１ａと、画像明暗判定部１１ｂと、露光時間変更制御部１１ｃと、露光時間判定部１１ｄと、フレームレート変更制御部１１ｅとをさらに有する。

フレーム取得処理部１１ａは、ＣＭＯＳセンサ１４によって取得される画像を、フレームレートに基づいて決まるフレーム継続時間ごとに確定させて取得する処理をおこなう。そして、画像更新周期の１周期に含まれる複数のフレームのうちの先頭フレームの画像を画像処理対象として取り込み、画像認識処理（車両や歩行者、障害物などの認識処理）や画像認識対象物までの距離推定をおこなう。なお、フレーム取得処理部１１ａは、ＣＭＯＳセンサ１４に対して、画像処理装置１０の電源オフ時にリセット信号を送信し、さらに、フレームレート、フレーム継続時間、画像更新周期、露光時間、シャッター操作指示などの制御信号を送信する。

そして、ＣＭＯＳセンサ１４は、フレーム取得処理部１１ａから受信したフレームレート、フレーム継続時間、画像更新周期、露光時間などの情報に基づく同期信号を画像処理装置１０へと送信する。この同期信号を受信した画像処理装置１０は、該同期信号に基づき、ＣＭＯＳセンサ１４から取得される第０フレームの画像取り込みの開始および終了、画像処理の開始および終了をおこなう。

画像明暗判定部１１ｂは、ＣＭＯＳセンサ１４から取得された第０フレームの画像の明暗を判定する。画像の明暗の判定方法は、画像自体の輝度の濃淡値が第２の所定閾値を超えることとなる場合に該画像の明暗は「明」であると判定し、画像自体の輝度の濃淡値が第１の所定閾値未満となる場合に該画像の明暗は「暗」であると判定する。なお、第１の所定閾値＜第２の所定閾値である。なお、ＣＭＯＳセンサ１４から取得された第０フレームの画像の明暗は、前述の方法に限らず、コントラスト比が所定閾値以上か否かによって判定することとしてもよい。

露光時間変更制御部１１ｃは、画像明暗判定部１１ｂによって判定された画像の明暗に応じて、該画像の明暗を示す値が第２の所定閾値以上、第１の所定閾値以内の範囲に収まるように、ＣＭＯＳセンサ１４の露光時間を１段階ずつ調整する。ここで、露光時間を１段階上げるとは露光時間を例えば（√２）倍することであり、露光時間を１段階下げるとは露光時間を例えば（√２）^-１倍することである。露光時間変更制御部１１ｃによって設定された露光時間は、後述の露光時間記憶テーブル１２ｂに記憶される。

また、露光時間判定部１１ｄは、露光時間記憶テーブル１２ｂに現在記憶されている露光時間が、後述のフレームレート記憶テーブル１２ａで“選択”とされているフレームレートに基づくフレーム継続時間を越えるか否かを判定する。

なお、露光時間は、フレームレートの変更の必要性の有無を判定する根拠となる情報であるが、カーナビゲーション装置２０から取得される地図情報（トンネルや森林地帯の暗い場所であるか否かなど）、時刻情報（夕方や夜などの暗い時間帯であるか否かなど）、月日情報（日の入りが早い冬季であるか否かなど）などに基づいてフレームレートの変更の必要性の有無を判定することとしてもよい。また、照度検知装置３０から取得される車両１の外部周辺の照度が所定閾値以上であるか否かに応じてフレームレートの変更の必要性の有無を判定することとしてもよい。また、車幅灯・ヘッドライト装置４０の点灯・消灯に応じてフレームレートの変更の必要性の有無を判定することとしてもよい。

フレームレート変更制御部１１ｅは、露光時間判定部１１ｄによって、露光時間記憶テーブル１２ｂに現在記憶されている露光時間がフレームレート記憶テーブル１２ａで“選択”とされているフレームレートに基づくフレーム継続時間を越えると判定された場合に、よりレートの低いフレームレートを“選択”とするように変更する。これによって、より低いフレームレートに基づいたより長いフレーム継続時間にわたって第０フレームが画像取り込みされることとなり、露光時間をより長く設定することが可能になり、露光時間の延長を第０フレームに作用させることが可能になる。

記憶部１２は、フレームレート記憶テーブル１２ａと、露光時間記憶テーブル１２ｂとを格納する。フレームレート記憶テーブル１２ａは、図３に示すように、相対的にレートの高いフレームレートＡ［fps］と、相対的にレートの低いフレームレートＢ［fps］の２種類のフレームレートを記憶している。そして、フレームレートごとに、選択を示す選択フラグが対応付けられて管理されている。選択フラグが“１”であるフレームレートが選択されているフレームレートであるが、選択フラグが“１”であるフレームレートは１つのみであり、その他のフレームレートの選択フラグは“０”である。なお、フレームレートＡ［fps］が従来からの画像処理装置のフレームレートである。

なお、フレームレート記憶テーブル１２ａには、複数種類のフレームレートが記憶されていてもよい。この場合には、フレームレートを段階的に変更することが可能になる。例えば、フレームレートＡ［fps］、フレームレートＢ［fps］、フレームレートＣ［fps］の３種類のフレームレートが記憶されているとする（ただし、Ａ＞Ｂ＞Ｃ）。このとき、それぞれのフレーム継続時間は、１／Ａ［s］、１／Ｂ［s］、１／Ｃ［s］（ただし、（１／Ａ）＜（１／Ｂ）＜（１／Ｃ））である。

このとき、第０フレームによる画像の明暗を示す値と比較するための閾値を、第１の所定閾値、第２の所定閾値、第３の所定閾値の３つ定める（ただし、第１の所定閾値＜第２の所定閾値＜第３の所定閾値）。そして、第０フレームによる画像の明暗を示す値が第１の所定閾値未満の場合にフレームレートをＡ［fps］に設定し、第２の所定閾値以上第３の所定閾値未満の場合にフレームレートをＢ［fps］に設定し、第３の所定閾値以上の場合にフレームレートをＣ［fps］に設定する。このようにすると、露光時間に応じて適切なフレームレートを設定することが可能になる。

露光時間記憶テーブル１２ｂは、図４に示すように、露光時間［s］を記憶する。この露光時間［s］は、露光時間変更制御部１１ｃによって変更されたＣＭＯＳセンサ１４の露光時間が記憶される。

次に、実施例の画像処理装置１０で実行される露光時間調整処理について説明する。図５は、露光時間調整処理手順を示すフローチャートである。同図に示すように、先ず、フレーム取得処理部１１ａは、画像を取得する（ステップＳ１０１）。続いて、画像明暗判定部１１ｂは、画像の明るさが第２の所定閾値を超えるか否かを判定する（ステップＳ１０２）。画像の明るさが第２の所定閾値を超えると判定された場合に（ステップＳ１０２肯定）、ステップＳ１０３へ移り、画像の明るさが第２の所定閾値を超えると判定されなかった場合に（ステップＳ１０２否定）、ステップＳ１０４へ移る。

ステップＳ１０３では、露光時間変更制御部１１ｃは、ＣＭＯＳセンサ１４の露光時間を１段階下げる。この処理が終了すると、ステップＳ１０２へ戻る。ステップＳ１０２およびステップＳ１０３の処理を繰り返すことによって、画像の明るさを第２の所定閾値以下へと調整することができる。

一方、ステップＳ１０４では、画像明暗判定部１１ｂは、画像の明るさが第１の所定閾値未満か否かを判定する。画像の明るさが第１の所定閾値未満であると判定された場合に（ステップＳ１０４肯定）、ステップＳ１０５へ移り、画像の明るさが第１の所定閾値未満であると判定されなかった場合に（ステップＳ１０４否定）、露光時間調整処理は終了する。

ステップＳ１０５では、露光時間変更制御部１１ｃは、ＣＭＯＳセンサ１４の露光時間を１段階上げる。この処理が終了すると、ステップＳ１０４へ戻る。ステップＳ１０４およびステップＳ１０５の処理を繰り返すことによって、画像の明るさを第１の所定閾値以上へと調整することができる。

次に、実施例の画像処理装置１０で実行されるフレームレート変更処理について説明する。図６は、フレームレート変更処理手順を示すフローチャートである。同図に示すように、先ず、フレームレート変更制御部１１ｅは、フレームレート記憶テーブル１２ａを参照して、現在選択されているフレームレートがＡ［fps］であるか否かを判定する（ステップＳ１１１）。現在選択されているフレームレートがＡ［fps］であると判定された場合に（ステップＳ１１１肯定）、ステップＳ１１２へ移り、現在選択されているフレームレートがＡ［fps］であると判定されなかった場合に（ステップＳ１１１否定）、ステップＳ１１４へ移る。

ステップＳ１１２では、露光時間判定部１１ｄは、露光時間記憶テーブル１２ｂを参照して、現在設定されている露光時間が１／Ａ［s］を超えるか否かを判定する。現在設定されている露光時間が１／Ａ［s］を超えると判定される場合に（ステップＳ１１２肯定）、ステップＳ１１３へ移り、現在設定されている露光時間が１／Ａ［s］を超えると判定されなかった場合に（ステップＳ１１２否定）、フレームレート変更処理は終了する。ステップＳ１１３では、フレームレート変更制御部１１ｅは、フレームレートをＢ［fps］へ変更する。ステップＳ１１３の処理が終了すると、フレームレート変更処理は終了する。

一方、ステップＳ１１４では、露光時間判定部１１ｄは、露光時間記憶テーブル１２ｂを参照して、現在設定されている露光時間が１／Ａ［s］以下であるか否かを判定する。現在設定されている露光時間が１／Ａ［s］以下であると判定される場合に（ステップＳ１１４肯定）、ステップＳ１１５へ移り、現在設定されている露光時間が１／Ａ［s］以下であると判定されなかった場合に（ステップＳ１１４否定）、フレームレート変更処理は終了する。ステップＳ１１５では、フレームレート変更制御部１１ｅは、フレームレートをＡ［fps］へ変更する。ステップＳ１１５の処理が終了すると、フレームレート変更処理は終了する。

なお、カーナビゲーション装置２０から取得される各種情報に基づいてフレームレートの変更の必要性の有無を判定する場合の他の実施例（その１）のフレームレート変更処理は、図７に示すようになる。すなわち、先ず、フレームレート変更制御部１１ｅは、フレームレート記憶テーブル１２ａを参照して、現在選択されているフレームレートがＡ［fps］であるか否かを判定する（ステップＳ１２１）。現在選択されているフレームレートがＡ［fps］であると判定された場合に（ステップＳ１２１肯定）、ステップＳ１２２へ移り、現在選択されているフレームレートがＡ［fps］であると判定されなかった場合に（ステップＳ１２１否定）、ステップＳ１２４へ移る。

ステップＳ１２２では、露光時間判定部１１ｄは、カーナビゲーション装置２０からの情報に基づき、暗所と判定されるか否かを判定する。暗所と判定される場合に（ステップＳ１２２肯定）、ステップＳ１２３へ移り、暗所と判定されなかった場合に（ステップＳ１２２否定）、他の実施例（その１）のフレームレート変更処理は終了する。ステップＳ１２３では、フレームレート変更制御部１１ｅは、フレームレートをＢ［fps］へ変更する。ステップＳ１２３の処理が終了すると、他の実施例（その１）のフレームレート変更処理は終了する。

一方、ステップＳ１２４では、露光時間判定部１１ｄは、カーナビゲーション装置２０からの情報に基づき、暗所と判定されるか否かを判定する。暗所と判定される場合に（ステップＳ１２４肯定）、他の実施例（その１）のフレームレート変更処理は終了し、暗所と判定されなかった場合に（ステップＳ１２４否定）、ステップＳ１２５へ移る。ステップＳ１２５では、フレームレート変更制御部１１ｅは、フレームレートをＡ［fps］へ変更する。ステップＳ１２５の処理が終了すると、他の実施例（その１）のフレームレート変更処理は終了する。

なお、「車幅灯・ヘッドライト装置４０の点灯・消灯」または「照度検知装置３０から取得される車両１の外部周辺の照度が所定閾値以上であるか否か」に応じてフレームレートの変更の必要性の有無を判定する場合の他の実施例（その２）のフレームレート変更処理は、図８に示すようになる。すなわち、図７に示したフローチャートのステップＳ１２２およびステップＳ１２４をステップＳ１２２ａおよびステップＳ１２４ａへ変更したものが、他の実施例（その２）のフレームレート変更処理手順を示すフローチャートである。ステップＳ１２２ａおよびステップＳ１２４ａ以外は、図７に示した同一のステップ番号のステップと同じ処理をおこなう。

すなわち、ステップＳ１２２ａでは、露光時間判定部１１ｄは、「車幅灯またはヘッドライトが点灯している」または「外部の照度が所定閾値未満」であるか否かを判定する。「車幅灯またはヘッドライトが点灯している」または「外部の照度が所定閾値未満」であると判定された場合に（ステップＳ１２２ａ肯定）、ステップＳ１２３へ移り、「車幅灯またはヘッドライトが点灯している」または「外部の照度が所定閾値未満」であると判定されなかった場合に（ステップＳ１２２ａ否定）、他の実施例（その２）のフレームレート変更処理は終了する。

また、ステップＳ１２４ａでは、露光時間判定部１１ｄは、「車幅灯またはヘッドライトが点灯している」または「外部の照度が所定閾値未満」であるか否かを判定する。「車幅灯またはヘッドライトが点灯している」または「外部の照度が所定閾値未満」であると判定された場合に（ステップＳ１２４ａ肯定）、他の実施例（その２）のフレームレート変更処理は終了し、「車幅灯またはヘッドライトが点灯している」または「外部の照度が所定閾値未満」であると判定されなかった場合に（ステップＳ１２４ａ否定）、ステップＳ１２５へ移る。

次に、図９−１、図９−２、図１０−１、図１０−２を参照して、実施例による作用・効果について説明する。図９−１、図９−２は、従来の画像処理装置による撮像画像の問題点を説明するための図である。

従来、ＣＭＯＳセンサ１４の露光時間は、フレームレートＡ［fps］に基づくフレーム継続時間１／Ａ［s］に制限されていた。このため、ＣＭＯＳセンサ１４の感度を最大にするためには、露光時間を１／Ａ［s］としたときである。特に、車載用画像処理装置は、昼、夜、トンネル、逆光など撮像対象の周囲の環境がめまぐるしく変化するが、撮像対象を正確に認識する必要がある。しかし、昼や逆光など撮像対象の周囲の環境が明るい場合に対応するためにＦ値が大きいレンズを使用する（図９−１の左側の図を参照）と、露光時間を最大値（１／Ａ［s］）にしたとしても感度不足となり、夜やトンネルなど撮像対象の周囲の環境が暗い状況へ至った場合に撮像対象を認識できず、いわゆる“黒つぶれ”という現象が発生する（図９−１の右側の図を参照）。

また、逆に、夜やトンネルなど撮像対象の周囲の環境が暗い場合に対応するためにＦ値が小さいレンズを使用する（図９−２の左側の図を参照）と、露光時間を最小値にしたとしても感度が過剰となり、昼や逆光など撮像対象の周囲の環境が明るい状況へ至った場合に撮像対象を認識できず、いわゆる“白とび”という現象が発生する（図９−２の右側の図を参照）。

そこで、実施例では、撮像対象の周囲の環境の明暗に応じてフレームレートを可変として露光時間の最大値をより大きく取ることを可能とした。すなわち、昼や逆光など撮像対象の周囲の環境が明るい場合に対応するためにＦ値が大きいレンズを使用する場合（図１０−１の左側の図を参照）に、夜やトンネルなど撮像対象の周囲の環境が暗い状況へ至ったときも、フレームレートを可変として、露光時間の最大値をより大きく取ることを可能とされた露光時間の最大値までのいずれかの値まで露光時間を変更することによって感度が適切となり、撮像対象を正確に認識でき、いわゆる“黒つぶれ”という現象の発生を回避することが可能になる（図１０−１の右側の図を参照）。

また、逆に、夜やトンネルなど撮像対象の周囲の環境が暗い場合に対応するためにＦ値が小さいレンズを使用する場合（図１０−２の左側の図を参照）に、昼や逆光など撮像対象の周囲の環境が明るい状況に至ったとき、フレームレートを上げてフレーム継続時間を短くし、露光時間を小さくすることによって感度を適切とすることができ、撮像対象を正確に認識でき、いわゆる“白とび”という現象の発生を回避することが可能になる（図１０−２の右側の図を参照）。

このように、実施例によれば、フレームレートの制御という比較的簡単な構成変更のみによって、コストをあまりかけず、昼や逆光など撮像対象の周囲の環境が明るい場合に対応するためにＦ値が大きいレンズを使用しても、夜やトンネルなど撮像対象の周囲の環境が暗い状況に対応して、撮像対象を正確に認識することが可能になる。また、Ｆ値が大きいレンズを使用することが可能であるため、被写体深度が大きくなり、ピント調整が容易になる。また、画像ノイズの問題があるゲイン増幅によって撮像対象を認識する必要がなくなり、画像ノイズの問題から開放される。

以上、本発明の実施例を説明したが、本発明は、これに限られるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例に記載した効果は、これに限定されるものではない。

また、上記実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記実施例で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵ（Central Processing Unit）（またはＭＰＵ（Micro Processing Unit）、ＭＣＵ（Micro Controller Unit）などのマイクロ・コンピュータ）および当該ＣＰＵ（またはＭＰＵ、ＭＣＵなどのマイクロ・コンピュータ）にて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されてもよい。

本発明は、画像処理装置において、コストをかけず、いかなる周囲の環境の変化にもより柔軟に対応して鮮明な撮像画像を取得したい場合に有用であり、特に、車載用の画像処理装置のように、撮像対象の周囲の撮影条件が刻々と変化する場合にも柔軟に対応して鮮明な撮像画像を取得したい場合に効果的である。

従来の画像処理装置のフレームレートに基づく画像更新周期における画像取り込み期間、画像処理期間を説明するための図である。 実施例にかかる画像処理装置のフレームレートに基づく画像更新周期における画像取り込み期間、画像処理期間を説明するための図である。 実施例にかかる画像処理装置の構成を示す機能ブロック図である。 フレームレート記憶テーブルの例を示す図である。 露光時間記憶テーブルの例を示す図である。 露光時間調整処理手順を示すフローチャートである。 フレームレート変更処理手順を示すフローチャートである。 他の実施例（その１）のフレームレート変更処理手順を示すフローチャートである。 他の実施例（その２）のフレームレート変更処理手順を示すフローチャートである。 従来の画像処理装置による撮像画像の問題点を説明するための図である。 従来の画像処理装置による撮像画像の問題点を説明するための図である。 実施例にかかる画像処理装置による撮像画像の特長を説明するための図である。 実施例にかかる画像処理装置による撮像画像の特長を説明するための図である。

符号の説明

１ 車両
１０ 画像処理装置
１１ 制御部
１１ａ フレーム取得処理部
１１ｂ 画像明暗判定部
１１ｃ 露光時間変更制御部
１１ｄ 露光時間判定部
１１ｅ フレームレート変更制御部
１２ 記憶部
１２ａ フレームレート記憶テーブル
１２ｂ 露光時間記憶テーブル
１３ 表示部
１４ ＣＭＯＳセンサ
２０ カーナビゲーション装置
３０ 照度検知装置
４０ 車幅灯・ヘッドライト装置
１００ ＣＡＮ

Claims (8)

1. 撮像素子から所定のフレームレートで取得した撮像画像の明暗を判定する撮像画像明暗判定手段と、
   前記撮像画像明暗判定手段によって判定された前記撮像画像の明暗に基づいて前記撮像素子の露光時間を調整する露光時間調整手段と、
   前記露光時間調整手段によって調整された前記露光時間が第１のフレームレートに基づくフレーム継続時間を越えるか否かを判定する露光時間判定手段と、
   前記露光時間判定手段によって前記露光時間が前記第１のフレームレートに基づくフレーム継続時間を越えると判定され、かつ前記所定のフレームレートが該第１のフレームレートである場合に、前記撮像素子から前記撮像画像を取得するフレームレートを該第１のフレームレートから該第１のフレームレートより低い第２のフレームレートへと変更するフレームレート変更手段と
   を有することを特徴とする画像処理装置。
2. 前記フレームレート変更手段は、前記露光時間判定手段によって前記露光時間が前記第１のフレームレートに基づくフレーム継続時間を越えると判定されず、かつ前記所定のフレームレートが前記第２のフレームレートである場合に、前記撮像素子から前記撮像画像を取得するフレームレートを該第２のフレームレートから該第１のフレームレートへと変更することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像画像明暗判定手段は、前記撮像画像の濃淡値に基づいて該撮像画像の明暗を判定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像処理装置は、車両に搭載される撮像装置が有する車載用画像処理装置であることを特徴とする請求項１、２または３に記載の画像処理装置。
5. 前記撮像画像明暗判定手段は、前記車両に搭載されるカーナビゲーション装置から取得される現在地情報に基づいて前記撮像画像の明暗を判定することを特徴とする請求項４に記載の画像処理装置。
6. 前記撮像画像明暗判定手段は、前記車両に搭載される前照灯または車幅灯の点灯・消灯に基づいて前記撮像画像の明暗を判定することを特徴とする請求項４または５に記載の画像処理装置。
7. 前記撮像画像明暗判定手段は、前記車両に搭載される該車両の外部周辺の照度を検知する照度検知装置による照度検知結果に基づいて前記撮像画像の明暗を判定することを特徴とする請求項４、５または６に記載の画像処理装置。
8. 撮像素子から所定のフレームレートで取得した撮像画像の明暗を判定する撮像画像明暗判定ステップと、
   前記撮像画像明暗判定ステップによって判定された前記撮像画像の明暗に基づいて前記撮像素子の露光時間を調整する露光時間調整ステップと、
   前記露光時間調整ステップによって調整された前記露光時間が第１のフレームレートに基づくフレーム継続時間を越えるか否かを判定する露光時間判定ステップと、
   前記露光時間判定ステップによって前記露光時間が前記第１のフレームレートに基づくフレーム継続時間を越えると判定され、かつ前記所定のフレームレートが該第１のフレームレートである場合に、前記撮像素子から前記撮像画像を取得するフレームレートを該第１のフレームレートから該第１のフレームレートより低い第２のフレームレートへと変更し、前記露光時間判定ステップによって前記露光時間が前記第１のフレームレートに基づくフレーム継続時間を越えると判定されず、かつ前記所定のフレームレートが前記第２のフレームレートである場合に、前記撮像素子から前記撮像画像を取得するフレームレートを該第２のフレームレートから該第１のフレームレートへと変更するフレームレート変更ステップと
   を含むことを特徴とする画像処理方法。

Images