JP2015142201A - 撮像装置 - Google Patents

Abstract

【課題】露光時間が異なる複数の画像を使用してダイナミックレンジを拡大する撮像装置において、フリッカの抑制のために複雑な信号処理を伴わない撮像装置を提供する。【解決手段】本発明の撮像装置は、フレーム毎に露光時間の長い長時間露光画像と露光時間が短い短時間露光画像とを撮像する撮像部と、撮像部で撮像された長時間露光画像と短時間露光画像とを一時記憶する画像メモリ部と、短時間露光画像の画素毎にフリッカの有無を判定するフリッカ判定部と、フレーム毎の前記画素毎に前記長時間露光画像の画素または短時間露光画像の画素のいずれかを選択的に採用し、合成画像を生成する画像合成処理部と、それらを制御する制御部とを備え、画像合成処理部は、画素の輝度が所定レベル以上でかつフリッカ判定部がフリッカ無と判定した場合、短時間露光画像の画素を採用し、それ以外の画素については長時間露光画像の画素を採用し、合成画像を生成する。【選択図】図３

Description

本発明は、撮像可能な被写体の輝度の範囲（ダイナミックレンジ）を拡大する撮像装置に関する。

近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）に代表される撮像素子を用いた撮像装置が広く利用されるようになった。また、ダイナミックレンジを拡大した撮像素子が開発されており、この撮像素子によれば、輝度の低い領域および輝度の高い領域を同時に撮像することが可能である。

ダイナミックレンジ拡大のために、撮像装置は、通常、露光時間が異なる複数の画像を撮像する撮像部と、撮像部の露光時間や制御タイミングを決定する制御部と、撮像した複数の画像を合成する画像合成処理部とを備える。この構成において、撮像部は、制御部の指示にしたがい、例えば、露光時間の長い長時間露光画像により低輝度領域の画像を取得し、露光時間の短い短時間露光画像により高輝度領域の画像を取得する。そして、制御部は、被写体の輝度に応じて撮像部の露光時間を調整し、適正な露光時間に制御する。また、制御部は、画像合成処理部に対して画像合成のための画像読み出しタイミングを制御し、これにより、画像合成処理部は、撮像部から出力される長時間露光画像と短時間露光画像とを合成して、低輝度と高輝度領域の両方が撮像された画像を出力することができる。

しかしながら、上記した撮像装置によれば、高輝度領域を撮像するために短時間露画像を取得する必要があるため、例えば、蛍光灯やタングステン電球等、電源周波数に対応して輝度が変動する照明環境下で撮像する場合、撮像画像に周期的な明暗が現れるフリッカが発生しやすいという問題がある。

フリッカを補正するために、例えば、特許文献１に、画像の垂直及び水平方向に複数のフリッカ検出枠を設け、このフリッカ検出枠に含まれる輝度や色の変化を画像ゲインの可変等により補正することによりフリッカ成分を抑制する技術が開示されている。しかしながら、上記したダイナミックレンジを拡大する撮像装置においては、露光時間が異なる複数の画像を使用するために信号処理が複雑になる。

特開２００９−１３０８４５号公報

本発明は、上記した課題を解決するためになされたものであり、露光時間が異なる複数の画像を使用してダイナミックレンジを拡大する撮像装置において、フリッカの抑制のために複雑な信号処理を伴わない撮像装置を提供することを目的とする。

上記した課題を解決するために本発明は、フレーム毎に露光時間の長い長時間露光画像と露光時間が短い短時間露光画像とを撮像する撮像部と、前記撮像部で撮像された前記長時間露光画像と前記短時間露光画像とを一時記憶する画像メモリ部と、画素毎にフリッカの有無を判定するフリッカ判定部と、前記フレーム毎の前記画素毎に前記長時間露光画像の画素または短時間露光画像の画素のいずれかを選択的に採用し、合成画像を生成する画像合成処理部と、それらを制御する制御部とを備えた撮像装置において、前記画像合成処理部は、前記画素の輝度が所定レベル以上でかつ前記フリッカ判定部がフリッカ無と判定した場合、前記短時間露光画像の画素を採用し、それ以外の画素については前記長時間露光画像の画素を採用し、前記合成画像を生成する。

本発明によれば、露光時間が異なる複数の画像を使用してダイナミックレンジを拡大する撮像装置において、フリッカの抑制のために複雑な信号処理を伴わない撮像装置を提供することができる。

撮像装置の垂直周波数と商用電源周波数との関係を示す図である。 撮像素子の出力−輝度特性を示す図である。 本発明の実施の形態に係る撮像装置の構成を示すブロック図である。 本発明の実施の形態に係る撮像装置のフリッカ検出処理及び画像合成処理動作を示すフローチャートである。 連続撮像により得られる撮像フレームの構成、ならびにフレーム画像の各構成画素を簡略化して示した図である。

本実施形態に係る撮像装置は、例えば車載用途への適用を考えている。
車載用途の撮像装置は、撮像された画像から物体や車線を認識する用途にも応用されており、画像の輝度成分から画像認識を行うことが多い。
このような画像処理を行う上で、撮像可能な被写体の輝度の範囲（ダイナミックレンジ）が広い画像を利用し、より詳細な画像認識を実現するためには、撮像の段階において、ダイナミックレンジを拡大した画像を取得する必要がある。

このようなダイナミックレンジを拡大した画像を取得するために、前述したように、長時間露光画像と短時間露光画像とを合成して１つの画像（１フレーム）を構成するようにすることが行われている。
短時間露光画像は露光時間が短いため、輝度の変化（輝度の変化）が正確に反映されやすい。

したがって、輝度が周期的に変化しているような場合、順次撮像される各フレーム内の短時間露光画像は、その輝度の変化を反映した画像を撮像してしまうため、その短時間露光画像のデータを基に長時間露光画像との合成を行い作成したダイナミックレンジを拡大した画像も、各フレーム間で輝度の変化を反映した輝度のちらつきがあるような状態となってしまう。

上述の通り、画像認識は輝度成分に基づいて行われることが多いため、複数の連続するフレームにちらつきが含まれていると、頻繁に輝度変化が起きていると認識することが起き、例えばそこに移動物体があると誤認識する可能性がある。
したがって、このような輝度のちらつき成分が含まれる複数の連続するフレームを用いて、画像認識のような処理を行うと、その画像認識の精度が低下する可能性がある。
このことから、車載用途の撮像装置では、画像合成等が終了した後の出力画像に輝度のちらつき成分が含まれることは好ましくない。

ここで、車載用途への適用を考えた場合、このようなことが起こるのは、照明の影響を受ける夜間にのみ発生し、かつ発生箇所は照明周囲の一部分に限られる。
そして、このような輝度が高いちらつき発生箇所は、画像認識で認識する必要性がない場合が多く、このため、このような部分についての被写体の詳細を撮像画像が有している必要性が低い。

したがって、車載用途の撮像装置において、特に画像認識に応用される場合、このような輝度のちらつきが発生している箇所について詳細な画像情報を得る必要はなく、輝度のちらつきを含まない、もしくは、その輝度のちらつきが少ない画像を得ることの方が重要である。

以下、本発明の実施の形態（以下、本実施形態という）に係る撮像装置について詳細に説明するが、最初に、この輝度のちらつきの発生要因、および長時間露光画像と短時間露光画像を使用することによるダイナミックレンジ拡大のための技術について補足説明を行う。

輝度のちらつきの発生原理について、図１を使用して簡単に説明する。蛍光灯やタングステン電球等、電源周波数に対応して輝度が変動する照明環境下で撮像を行う場合、撮像した複数の連続したフレームに周期的な明暗（輝度のちらつき）が現れることがある。この現象をフリッカと言う（以降は、この輝度のちらつきのことを「フリッカ」とも呼ぶ。）。
このフリッカは、以下に説明するように一般に長い露光時間で撮像された画像で構成された複数の連続したフレームには現れず、短い露光時間で撮像された画像で構成された複数の連続したフレームに現れる。

まず、正確さを無視してイメージとしてわかり易いように説明すると、露光時間が長い場合にフリッカが現れず（発生せず）、短い場合にフリッカが現れる（発生する）ことは、以下のようにとらえることができる（なお、後ほど、より正しい説明は行う。）。
撮像装置の露光時間が長いということは、シャッター速度が遅いことを意味するので、電源周波数の周期に伴うような露光時間に比べて高速な明暗の変化は、平均されて画像に記録されるためフリッカとして現れない。このため、この高速な変化は、複数の連続するフレームにおいて現れないので、被写体の同じ位置は同じような輝度を有した画像となり、フリッカが現れない（発生しない）。

一方で、短い露光時間で撮像された画像は、シャッター速度が速いことを意味するので、この高速な明暗の変化を記録してしまう。
つまり、短い露光時間で撮像された画像による複数の連続するフレームの画像を見ると、被写体の同じ位置を同じような状況で撮像しているにも関わらず、その時々の明暗の変化が現れるので、フリッカが現れる（発生する）。

但し、これから詳細に説明するが、露光時間が短い撮像でフリッカが撮像した画像中に現れるか否かは、電源周波数と撮像装置の垂直同期周波数との関係にもよる。
通常、日本で使用されている撮像装置の垂直同期周波数は約６０Ｈｚ（１フレーム＝１／６０ｓ）であり、電源周波数は、西日本では６０Ｈｚ，東日本では５０Ｈｚである。

図１（ａ）に西日本、図１（ｂ）に東日本における垂直周波数と電源周波数である商用電源周波数との関係が示されている。
図１（ａ）に示すように、西日本の場合、撮像装置の垂直同期周波数と商用電源周波数は一致しており、したがって、撮像装置の露光周期と照明装置の発光周期とが一致するため、常に一定の照明装置の輝度の下に露光が行われる。
例えば、撮像装置の露光時間を１／６００ｓとした場合、撮像装置の各フレームの露光タイミングは記号Ａ〜Ｄで示す時点になる。図１（ａ）から理解できるように、西日本の場合、撮像装置の露光周期と照明装置の発光周期とが一致しているため、撮像装置の各フレーム間に輝度の差が生じることはなく、したがって、複数の連続したフレームにフリッカは発生しない。

一方、図１（ｂ）に示すように、東日本の場合、撮像装置の垂直周波数と商用電源周波数が一致しないため、照明装置の点灯周期と撮像装置の露光時間のタイミングに差が生じる。
図１（ａ）と同様、撮像装置の露光時間を１／６００ｓとした場合、撮像装置の各フレームの露光タイミングは記号Ｅ〜Ｈで示す時点になる。

図１（ｂ）から理解できるように、撮像装置の露光周期と照明装置の発光周期とが一致せず、連続した複数のフレームで輝度が変化してしまうことが分かる。この結果、連続した複数のフレームにフリッカが発生する。

ちなみに、図１（ｂ）の状況であっても、露光時間が１／１００ｓとされている場合には、露光時間が照明装置の発光周期（１／１００ｓ）と一致するため、積算されるトータルの露光量が各フレームで同じになるのでフリッカは発生しない。
また、露光時間が１／１００ｓ以上と長い場合には、露光量自体が多いといえるので、多少の露光量の変化は、トータルの露光量からすれば微々たるものであり、したがって、露光量の変化が現れたものであるフリッカも目立たない（フリッカが少なくなる）。

つまり、より正しく言えば、露光時間が長い撮像では、トータルの露光量が多いので照明装置の周期的な輝度の変化による露光量の多少の変化は、画像の明暗の変化としては、ほとんど反映されず、そのため、その周期的な輝度の変化による明暗の変化であるフリッカも認識されるほどに現れることはない。
一方、露光時間が短い撮像では、そもそもトータルの露光量が少ないので少しの露光量の差、つまり、撮像装置の垂直同期周波数と商用電源周波数とが不一致であるために、露光量が変化する程度の露光量の差であったとしても、その露光量の差は画像の明暗の変化として認識できるほどに反映されてしまうのでフリッカが現れる。

上記では、１フレームの時間を１／６０ｓとして説明しているが、１フレームをどれぐらいの時間にするのかに特段定めがあるわけではなく、当然、被写体の状況に応じて、別のフレーム時間を採用してもよく、このため、撮像が西日本で行われていればフリッカが発生しないというわけではない。

次に、画像合成によるダイナミックレンジの拡大のための方法について図２（ａ）（ｂ）を参照しながら説明する。
ここで言うダイナミックレンジとは暗い被写体と明るい被写体が同時に同じ撮像画面上にあった場合、暗い被写体が黒つぶれしない最低信号レベルと、また明るい被写体が白飛びしない最高信号レベルとの比を指す。ダイナミックレンジが拡大すると暗い被写体と明るい被写体が黒つぶれや白飛びすることなく、双方認識することができる様になる。
図２（ａ）（ｂ）ともに、縦軸に出力レベル、横軸に輝度を目盛った撮像素子の出力−照度特性図を示す。
通常、撮像素子の出力レベルは、撮像素子の感度や露光時間により決定され、一定の出力レベルに達すると出力レベルは飽和し、それ以上照度が高くなっても一定の値を維持する。飽和し一定の値となった部分は白飛び画像として表示される。
このため、画像認識に適した画像を得るには、被写体の輝度に応じて露光時間を調整する必要がある。

具体的に、図２を参照しながら説明を行うが、例えば、図２（ａ）の暗い被写体を撮像する場合、その被写体が黒つぶれすることがない出力信号を取得するためには、露光時間を長くする必要がある（図２（ａ）のＡ参照。）。
一方で、図２（ａ）の明るい被写体を撮像する場合、露光時間を長くすると、出力信号は飽和レベルに到達し（図２（ａ）のＡ参照。）、出力信号が飽和して白飛び状態になる場合があるので、その被写体が白飛びすることがない出力信号を取得するためには、露光時間を短くする必要がある（図２（ａ）のＢ参照。）。
なお、以下では、長い露光時間による撮像で得られる画像を長時間露光画像といい、短い露光時間による撮像で得られる画像を短時間露光画像という。

このように、一般的な撮像素子は、被写体の条件によって露光時間を調整する必要があり、明暗の差が大きい被写体の場合、撮像素子が持つダイナミックレンジの制約から明るい領域と暗い領域の両方の領域を、一回の撮像で画像中に収めることができない。
このため、撮像できる被写体のダイナミックレンジを拡大するために、露光時間の異なる複数の画像を撮像し、それらの画像を合成することで、明暗の差が大きい被写体の全体を同じ画像中に収めたような画像を合成することが行われている（図２（ｂ）参照）。

この画像合成のために、まず、被写体の暗い部分の画像を撮像するための長時間露光画像、および被写体の明るい部分の画像を撮像するための短時間露光画像を、それぞれ取得する。
このとき、短時間露光画像は長時間露光画像の飽和している被写体の明るい領域を適切に撮像できるように露光時間を調整する必要がある。
このようにして、被写体の輝度の異なる領域に対応した２枚の画像が取得される。

次に、２枚の画像の合成処理において、単純に２枚の画像を足しあわせ合成すると、出力信号が飽和レベルを超えてしまう箇所が出て来る。
このため、各画像は撮像装置の出力信号が一定範囲内（飽和レベル以下）に収まるように、出力信号の圧縮処理を行う必要がある。

通常、被写体の低輝度から中輝度までの被写体の全体像が撮像されている長時間露光画像を基準画像とし、高輝度部分に短時間画像を合成して、暗い被写体と明るい被写体の双方が認識できる画像が得られるような処理を行う。このように長時間露光画像と短時間露光画像の２枚の画像を合成することにより、撮像素子自体が持つ限られたダイナミックレンジを拡大することができる。

以下、添付図面を参照して、本実施形態に係る撮像装置について詳細に説明する。なお、本実施形態の説明の全体を通して同じ要素には同じ番号を付している。

（実施形態の構成）
図３は、本実施形態に係る撮像装置の構成を示すブロック図である。
図３に示すように、本実施形態に係る撮像装置１は、各フレーム毎に少なくとも長時間露光画像と短時間露光画像とを撮像する撮像部１０を含む。

撮像部１０は、被写体を結像するレンズ１１と、結像された像を光電変換する撮像素子１２と、撮像素子１２が変換した画像信号をＡ／Ｄ（Analog-Digital）変換や欠陥画素補正などの信号処理を行い、加工前の画像データ（ＲＡＷデータ）を生成する前置信号処理部１３とから構成される。
撮像素子１２の撮像タイミングは、後述する制御部１６によりコントロールされる。

また、撮像装置１は、前置信号処理部１３が出力するＲＡＷデータを一時記憶する画像メモリ部１４と、記憶した画像のフリッカの有無を判定するフリッカ判定部１７と、フリッカ判定部１７の情報をもとに長時間露光画像と短時間露光画像とを合成する画像合成処理部１５と、画像合成処理部１５で合成された合成画像を出力形式に合わせたビデオフォーマットに変換するエンコーダ部１８とを含む。
さらに、撮像装置１は、上記した撮像素子１２の撮像タイミングの他に、フリッカ判定部１７や画像合成処理部１５の動作等を制御する制御部１６を含む。

制御部１６は、フリッカ判定部１７が、フリッカの有無の判定を行なう第１のフレーム画像についてフリッカ判定を行なう判定画素領域の設定を実行するように制御する（画素領域設定処理）。
そして、制御部１６は、フリッカ判定部１７が、判定画素領域内の各画素について、その画素位置の短時間露光画像の輝度を、第１のフレーム画像および第１のフレーム画像に近い幾つかのフレーム画像（第２のフレーム画像と呼ぶこともある）からなる複数のフレーム画像から取得し、取得した輝度を少なくとも用いて判定画素領域内の各画素のフリッカの有無の判定を実行するように制御する（フリッカ判定処理）。この部分の処理（画素領域設定処理およびフリッカ判定処理）については、後ほどより詳細に説明する。
なお、上記した「画素領域設定処理」とは、第１のフレーム画像の長時間露光画像の各画素の輝度に基づき、高輝度の画素領域を判定画素領域として設定する処理をいう。

次に、制御部１６は、画像合成処理部１５が、上記でフリッカ無と判定された画素部分については、短時間露光画像の画素を採用し、それ以外の画素については長時間露光画像の画素を採用して画像合成を実行するように制御する（画像合成処理）。

（第１実施形態の動作）
図４は、第１実施形態に係る撮像装置１のフリッカ検出処理及び画像合成処理の動作を示すフローチャートであり、図５は、連続撮像により得られる撮像フレームの構成、ならびにフレーム画像の各構成画素を簡略化して示した図である。以下、図４、図５を参照しながら図３に示した第１実施形態に係る撮像装置１の動作について詳細に説明する。

まず、撮像部１０（撮像素子１２）は、レンズ１１により集光された被写体像から、制御部１６により予め長時間（例えば９／６００ｓｅｃ）に設定された露光時間に基いて長時間露光画像を撮像し、その長時間露光画像を前置信号処理部１３経由で画像メモリ部１４に一時記憶する。
続いて、撮像素子１２は、制御部１６により予め短時間（例えば１／６００ｓｅｃ）に設定された露光時間に基いて短時間露光画像を撮像し、その短時間露光画像を前置信号処理部１３経由で画像メモリ部１４に一時記憶する（ステップＳ１００）。
つまり、撮像部１０は、１フレームを構成する最終的な１枚の合成画像を作るために、１フレーム目の画像として長時間露光画像と短時間露光画像とを撮像する。
なお、ここでは、少なくともフリッカの有無を判定するのに必要なフレーム数のフレーム画像（例えば３フレーム）が、画像メモリ部１４に一時記憶されている。

図５（ａ）には、撮像部１０で撮像され、画像メモリ部１４に一時記憶される複数フレームの画像データが示されている。
図５（ａ）に示すように、１フレーム中に露光時間が長い長時間露光画像と露光時間が短い短時間露光画像との２種類の画像を連続で、１フレーム目（第１のフレーム画像）、２フレーム目（第２のフレーム画像）、３フレーム目・・・として撮像し、記憶している。
なお、長時間露光画像は全て露光時間が同じＴとし、短時間露光画像は全て露光時間が同じｔとする。露光時間Ｔとｔの関係は、Ｔ＞ｔである。
また、以降では、説明を簡略化するために、長時間露光画像と短時間露光画像が、図５（ｂ）に示すように、横４列，縦３列の４×３画素で構成された画像であるものとして説明する。ここでは、それぞれの画素をＡ〜Ｌとする。

説明の主体を図４のフローチャートに戻す。
長時間露光画像と短時間露光画像を含むフレーム画像を記憶後、フリッカ判定部１７は、今から処理しようとするフレームの短時間露光画像のどの画素領域をフリッカ判定するのかを決める画素領域設定処理を実行する。
この画素領域設定処理は、長時間露光画像のデータを参照し、長時間露光画像を構成する各画素の輝度を見て、高輝度の画素領域を判定画素領域として定める処理である（ステップＳ１０１）。
具体的には、前置信号処理部１３によるＡ／Ｄ変換後の上位ビットを参照し、１となっていることにより、高輝度である画素領域を判定画素領域として定める。

本例では、画素Ｃ、Ｇ、Ｈ、Ｄが高輝度であり、画素Ｃ、Ｇ、Ｈ、Ｄからなる領域が判別画素領域として定められたものとして以降の説明を行う。
また、画素Ｄは、白飛びしている輝度飽和状態であり、残る画素Ｃ、Ｇ、Ｈは白飛びしていない輝度未飽和状態であるとする。
なお、輝度が飽和状態にあるか未飽和状態であるかは、前置信号処理部１３によるＡ／Ｄ変換後の上位ビットを参照し、１となっていることにより、判別できる。

この判定画素領域を定めるために短時間露光画像のデータではなく、長時間露光画像のデータを参照しているのは、長時間露光画像がフリッカの影響をほとんど受けない画像であることから、たまたまフリッカの影響で高輝度になっている所を高輝度領域と判定してしまう可能性が低いためである。

次に、フリッカ判定部１７は、上記した画素領域設定処理で設定した判定画素領域（画素Ｃ、Ｇ、Ｈ、Ｄ）の輝度が未飽和である各画素（画素Ｃ、Ｇ、Ｈ）について輝度比を算出する（ステップＳ１０２）。
また、このとき、例えば、画素Ｃを代表して説明すると、フリッカ判定を行おうとしているフレーム（例えば１フレーム目）に近い幾つかのフレーム（例えば、２フレーム目、３フレーム目）についても画素Ｃでの輝度比を求めるようにする。
以降の説明では、フリッカ判定を行おうとしているフレームが１フレーム目であるものとして説明を行う。
なお、画素Ｄについて輝度比を求めないのは、画素Ｄについては長時間露光画像のデータが輝度飽和状態になっているため輝度比を求めても、正しい輝度比が算出されないためである。

より具体的に輝度比について説明すると、例えば、画素Ｃの輝度比は、１フレーム目の輝度比Ｅ１＝１フレーム目の長時間露光画像における画素Ｃの輝度／１フレーム目の短時間露光画像における画素Ｃの輝度、２フレーム目の輝度比Ｅ２＝２フレーム目の長時間露光画像における画素Ｃの輝度／２フレーム目の短時間露光画像における画素Ｃの輝度、３フレーム目の輝度比Ｅ３＝３フレーム目の長時間露光画像における画素Ｃの輝度／３フレーム目の短時間露光画像における画素Ｃの輝度、のようにして求められる。
画素Ｇ、Ｈについても上記画素Ｃについて説明したのと同様に輝度比を求める。

上記では１フレーム目から３フレーム目について輝度比を求める例を示しているが、いくつのフレームについて輝度比を算出するかは、撮像装置１の要求仕様に基づき決定される。この輝度比を求めるフレーム数が少なすぎるとフリッカの判定誤りが発生しやすくなり、多すぎると判定は正確になるが計算リソースが増すため処理時間が遅くなる。したがって、これらのことを考慮し、適切なフレーム数を決定する。
また、上記では、輝度比の計算を分子に長時間露光画像の輝度、分母に短時間露光画像の輝度として計算を行っているが、例えば、分子と分母が逆であってもよい。

次に、フリッカ判定部１７は、求めた輝度比Ｅ１、Ｅ２、Ｅ３が全て露光時間比を基準に所定の範囲（露光時間比±α）内に含まれているか否かを判定する（ステップＳ１０３）。
なお、露光時間比は、上記の場合、輝度比が分子に長時間露光画像の輝度を取り、分母に短時間露光画像の輝度を取っているので、それに合わせて「露光時間比＝長時間露光画像の露光時間／短時間露光画像の露光時間」として求める。
また、輝度比を求めるときに、分子と分母を逆にした場合は、露光時間比も分子と分母を逆にする。

ここで、露光時間が長ければ露光量が増えるので輝度が高くなり、露光時間が短ければ露光量が減るので輝度は低くなる。
したがって、露光時間比は、露光量の比、つまり、輝度比と等価であるので、フリッカが発生しておらず、短時間露光画像が露光時間に応じた輝度を有していたとすれば、露光時間比と輝度比とは同じ値となる。

このことから、フリッカ判定部１７は、各画素（画素Ｃ、Ｇ、Ｈ）について、露光時間比±αの範囲内に、その画素（例えば、画素Ｃ）の輝度比Ｅ１、Ｅ２、Ｅ３が全て含まれている場合（ステップＳ１０３“ＹＥＳ”）は、ステップＳ１０４へ進み、その画素（例えば、画素Ｃ）は、フリッカ無と判定する。
一方、その画素（例えば、画素Ｃ）の輝度比に、露光時間比±αの範囲内に含まれていない輝度比が一つでもある場合（ステップＳ１０３“ＮＯ”）には、ステップＳ１０５へ進み、フリッカ判定部１７は、その画素（例えば、画素Ｃ）は、フリッカ有と判定する。

そして、判定画素領域の輝度飽和状態の画素（画素Ｄ）を除く、判定画素領域の全ての画素（画素Ｃ、Ｇ、Ｈ）のフリッカの有無の判定が終了したら（ステップＳ１０６“ＹＥＳ”）、ステップＳ１０７へ進み、フリッカの有無の判定が終了していない画素がある場合（ステップＳ１０６“ＮＯ”）は、そのフリッカの有無の判定が終了していない画素についてステップＳ１０３以降の処理を実行し、フリッカの有無の判定を行う。
なお、上記したαは、誤差による輝度比の変動を許容するための値であるが、この値が大きくなればその分だけフリッカも許容されるようになるため、撮像装置１の要求仕様に基づき、適切なαの値を決定する。

図４では記載を省略したが、輝度飽和状態の画素（画素Ｄ）がある場合には、上記の輝度比による輝度未飽和の画素のフリッカの有無の判定が終了したら、その輝度飽和状態の画素（画素Ｄ）に近接する画素（画素Ｃ、Ｇ、Ｈ）のフリッカ判定の結果を基に、その輝度飽和状態の画素（画素Ｄ）について、フリッカの有無が判定される。
例えば、画素Ｃ、Ｇ、Ｈがいずれもフリッカ有りの場合、画素Ｄもフリッカが発生している可能性が高く、このため画素Ｄについてもフリッカ有と判定し、画素Ｃ、Ｇ、Ｈにフリッカが発生していなければ画素Ｄについてもフリッカ無と判定する。このようにして、判定画素領域の全ての画素（画素Ｃ、Ｇ、Ｈ、Ｄ）のそれぞれについて、フリッカの有無の判定が行われる。なお、輝度飽和領域の画素（画素Ｄ）の判定は、隣接する画素（画素Ｃ、Ｇ、Ｈ）のいずれかの画素がフリッカ有のときに、フリッカ有とされてもよく、２つ以上の画素（例えば、画素Ｃ、Ｇ）がフリッカ有のときにフリッカ有とされてもよい。

次に、画像合成処理部１５は、対象画素の輝度が所定レベル以上（長時間露光だと白飛びしてしまうレベル以上）で、かつ上記でフリッカ無と判定され、た画素（ステップＳ１０７“ＹＥＳ”）については、ステップＳ１０８の処理に進み、短時間露光画像の画素を採用するようする。
一方、上記でフリッカ有と判定された画素（ステップＳ１０７“ＮＯ”）については、ステップＳ１０９へ進み、短時間露光画像の画素を採用しない、つまり、長時間露光画像の画素を採用する。

そして、判定画素領域の全ての画素について処理を終えたら（ステップＳ１１０“ＹＥＳ”）、画像合成処理を終了し、合成した画像をエンコーダ部１８に出力する。一方、まだ、処理を終えていない画素がある場合（ステップＳ１１０“ＮＯ”）は、その処理を終えていない画素について、ステップＳ１０７以降の処理を実行する。

以上が輝度の高い部分でかつフリッカ無しと判定された部分においては短時間露光画像の画素を採用し、輝度が低い部分または輝度が高い部分でもフリッカ有りと判定された部分においては長時間露光画像の画素を採用することによる画像合成を行い、フリッカを抑制したダイナミックレンジの広い画像を合成する手順である。
そして、１フレーム目の画像合成が終われば、次に、２フレーム目、３フレーム目・・・と順次、次のフレームについても上記と同じ手順でフリッカを抑制したフレーム画像の合成が行われていく。

（第２実施形態の動作）
第２実施形態では、第１実施形態で行っていたステップＳ１０２の輝度比を求めるステップを省略し、輝度比を求めないようにする。
そして、第１実施形態のステップＳ１０３の輝度比の全てが露光時間比±αの範囲内にあるか否かを比較するのではなく、代わりに、短時間露光画像の判定画素領域の各画素（画素Ｃ、Ｄ、Ｇ、Ｈ）について、１フレーム目から３フレーム目までの輝度差が所定範囲内になっているか否かを基に、輝度差が所定範囲内になっている場合には、その画素はフリッカ無と判定し、そうでない場合には、その画素はフリッカ有と判定するようにした点だけが異なる。

第１実施形態では、長時間露光画像の画素が輝度飽和状態になっている画素部分については、正しい輝度比が算出できないため、その近傍の画素部分のフリッカの有無の状態からフリッカの有無を判断しなければならなかったが、第２実施形態では、フリッカの有無の判定に、長時間露光画像のデータを用いていないので、その近傍の画素部分の状態からフリッカの有無を推定する必要がなくなる。

但し、第２実施形態では、輝度比のように、被写体に対する背景の輝度が変ると、フリッカのような輝度の変化でない場合にもフリッカが発生していると判定されてしまう場合があるので、精度よくフリッカの判定を行うという面では、第１実施形態の方が良好である。

（実施形態の効果）
以上説明のように、本実施形態に係る撮像装置１は、ダイナミックレンジを拡大する画像合成処理において、短時間露光画像の画素を使用する長時間露光画像の高輝度の画素領域（輝度が所定レベル以上の画素領域）の各画素毎に、フリッカ判定部１７がフリッカの有無を判定し、フリッカが発生している場合には、その画素を採用せず、フリッカが発生していない場合には、その画素を採用するように画像合成を行うので、最終的に出力される合成画像にはフリッカが現れない。

より具体的には、フリッカの有無の判定に際して、フレーム間での輝度を比較する（第２実施形態）だけ、若しくは、さらに、フリッカの判定精度を高めた場合でも、複数のフレームの輝度比と露光時間比とを比較する（第１実施形態）というシンプルな処理でフリッカの判定ができ、その後の画像合成にあっても、フリッカが含まれている場合には、その画素を使用しないようにするという至ってシンプルな処理でフリッカ成分を含まない画像を構築しているので、従来技術のような複雑な信号処理を伴わない撮像装置が実現されている。

なお、車載用の撮像装置では、車両走行中に撮像場所が逐次変化するが、１フレームの時間は非常に短いため、フリッカ判定に使用するフレーム数程度ではほとんど同じ場所を撮像しているものとみなせる。
また、より高い精度が求められる場合は、画像上の同じ画素位置同士の輝度を比較するのではなく、その輝度が比較される第１のフレーム画像の画素と第２のフレーム画像の画素が、被写体の部分で見たときに、同じ部分に対する画素同士になっているように画素を選択するようにすればよい。

以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１…撮像装置、１０…撮像部（１１…レンズ、１２…撮像素子、１３…前置信号処理部）、１４…画像メモリ部、１５…画像合成処理部、１６…制御部、１７…フリッカ判定部、１８…エンコーダ部、

Claims (1)

1. フレーム毎に露光時間の長い長時間露光画像と露光時間が短い短時間露光画像とを撮像する撮像部と、
   前記撮像部で撮像された前記長時間露光画像と前記短時間露光画像とを一時記憶する画像メモリ部と、
   画素毎にフリッカの有無を判定するフリッカ判定部と、
   前記フレーム毎の前記画素毎に前記長時間露光画像の画素または短時間露光画像の画素のいずれかを選択的に採用し、合成画像を生成する画像合成処理部と、
   それらを制御する制御部とを備えた撮像装置において、
   前記画像合成処理部は、
   前記画素の輝度が所定レベル以上でかつ前記フリッカ判定部がフリッカ無と判定した場合、前記短時間露光画像の画素を採用し、それ以外の画素については前記長時間露光画像の画素を採用し、前記合成画像を生成することを特徴とする撮像装置。

Images