JP2018007210A - 信号処理装置および方法、並びに撮像装置 - Google Patents

信号処理装置および方法、並びに撮像装置 Download PDF

Info

Publication number
JP2018007210A
JP2018007210A JP2016136211A JP2016136211A JP2018007210A JP 2018007210 A JP2018007210 A JP 2018007210A JP 2016136211 A JP2016136211 A JP 2016136211A JP 2016136211 A JP2016136211 A JP 2016136211A JP 2018007210 A JP2018007210 A JP 2018007210A
Authority
JP
Japan
Prior art keywords
brightness
correction
value
captured image
brightness information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016136211A
Other languages
English (en)
Inventor
智裕 山崎
Tomohiro Yamazaki
智裕 山崎
村松 良徳
Yoshitoku Muramatsu
良徳 村松
博誠 片山
Hiromasa Katayama
博誠 片山
修二 上原
Shuji Uehara
修二 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2016136211A priority Critical patent/JP2018007210A/ja
Priority to PCT/JP2017/023146 priority patent/WO2018008426A1/ja
Publication of JP2018007210A publication Critical patent/JP2018007210A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】より少ない演算量で十分高精度にフリッカ補正を行うことができるようにする。
【解決手段】信号処理装置は、撮像画像の明るさ情報を算出する明るさ情報算出部と、複数の時刻における明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出する明るさ基準算出部と、明るさ情報と明るさ基準値とに基づいて、撮像画像の明るさを補正するための補正パラメータを算出する補正パラメータ算出部とを有している。本技術は積層型のイメージセンサに適用することができる。
【選択図】図5

Description

本技術は信号処理装置および方法、並びに撮像装置に関し、特に、より少ない演算量で十分高精度にフリッカ補正を行うことができるようにした信号処理装置および方法、並びに撮像装置に関する。
例えば蛍光灯等が光源となっている場合など、明るさが時間とともに変化する被写体を、イメージセンサを含む撮像システムで撮像すると、撮像により得られた動画像には明るさの揺れがフリッカとして現れることになる。
具体的には、例えば画素ラインごとに異なる露光タイミングで撮像を行うときには、1フレームの画像内で画素ラインが並ぶ方向に明るさが変化するラインフリッカが発生する。また、画素ラインごとに露光を行う場合でも、全画素一斉に露光を行う場合でも、複数のフレーム間において、画像全体の明るさが時間方向で、つまりフレーム間で変化する面フリッカが発生する。なお、以下では、これらのラインフリッカや面フリッカを特に区別する必要のない場合、単にフリッカとも称することとする。
従来、このようなフリッカを補正する技術が提案されている。
例えば周期的に明暗を繰り返す光源を撮像した場合に発生するラインフリッカを含む画像に対してフーリエ変換を行ってラインフリッカの周波数を推定し、その推定結果として得られたラインフリッカの周期に合わせて画像を補正する技術が提案されている(例えば、特許文献1参照)。
また、例えば周期的に明暗を繰り返す光源を高フレームレートで撮像した際に生じる面フリッカの明暗の周期を、各フレームの画像の輝度平均値から推定し、その推定結果として得られた周期に合わせて面フリッカ補正を行う技術も提案されている(例えば、特許文献2参照)。この技術では、周波数が60Hzや50Hzである光源に対して480fps、240fps、および120fpsのフレームレートで撮像を行い、面フリッカを周期的な波形でモデル化することでフリッカの周期が推定される。
特開2007−158964号公報 特開2015−115922号公報
しかしながら、上述した技術では、少ない演算量で十分高精度にフリッカ補正を行うことができなかった。
例えばフーリエ変換によりフリッカの周期を推定する方法では、複雑な波形のフリッカでもフリッカの波形モデルを推定することができるが、演算量が多くなってしまう。具体的には例えば、フーリエ変換自体の演算量が多いだけでなく、フリッカの波形が複雑になると、フーリエ変換により検出される周波数のピーク値が多くなるので、そのピークの数の分だけその後の演算量が多くなってしまう。
また、例えば面フリッカを周期的な波形でモデル化する方法では、周期性はあるが複雑な波形のフリッカについては、単純な周期性の波形モデルでは対応することができず、正しくフリッカ補正を行うことができなくなってしまう。
本技術は、このような状況に鑑みてなされたものであり、より少ない演算量で十分高精度にフリッカ補正を行うことができるようにするものである。
本技術の第1の側面の信号処理装置は、撮像画像の明るさ情報を算出する明るさ情報算出部と、複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出する明るさ基準算出部と、前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する補正パラメータ算出部とを備える。
前記補正パラメータを、各時刻の前記撮像画像の明るさを補正することにより、フリッカ補正を行うためのものとすることができる。
前記明るさ基準算出部には、前記明るさ情報に基づくフィルタ処理により前記明るさ情報を平滑化させて前記明るさ基準値を算出させることができる。
前記明るさ情報算出部には、前記撮像画像の各画素の輝度値の平均値を前記明るさ情報として算出させることができる。
前記補正パラメータを、前記撮像画像のゲインに関する情報とすることができる。
信号処理装置には、複数の時刻の前記明るさ情報に基づいて、前記明るさ情報の予測値を算出するとともに、前記予測値と前記明るさ基準値とに基づいて、前記撮像画像の明るさの補正度合いを示す補正値を算出する補正値算出部をさらに設け、前記補正パラメータ算出部には、前記補正値に基づいてゲイン調整を行うための前記補正パラメータを算出させることができる。
前記補正値算出部には、前記明るさ情報の変化量に基づいて前記予測値を算出させることができる。
前記補正値算出部には、前記明るさ基準値と前記予測値との比を前記補正値として算出させることができる。
前記補正値算出部には、処理対象の時刻の前記明るさ情報の前記予測値と、前記処理対象の時刻よりも前の時刻までの前記明るさ情報から算出された前記明るさ基準値とに基づいて前記補正値を算出させ、前記処理対象の時刻におけるアナログの前記撮像画像に対して、前記補正パラメータにより定まるゲインによりゲイン調整を行うアナログゲイン適用部をさらに設けることができる。
処理対象の時刻の前記明るさ情報と、前記処理対象の時刻までの前記明るさ情報が用いられて算出された前記明るさ基準値とに基づいて、前記撮像画像の明るさの補正度合いを示す補正値を算出する補正値算出部をさらに設け、前記補正パラメータ算出部には、前記補正値に基づいてゲイン調整を行うための前記補正パラメータを算出させることができる。
前記補正値算出部には、前記明るさ基準値と前記明るさ情報との比を前記補正値として算出させることができる。
信号処理装置には、前記処理対象の時刻におけるデジタルの前記撮像画像に対して、前記補正パラメータにより定まるゲインによりゲイン調整を行うデジタルゲイン適用部をさらに設けることができる。
前記補正パラメータを、前記撮像画像のシャッタスピードに関する情報とすることができる。
前記補正パラメータを、前記撮像画像を2値化するための閾値に関する情報とすることができる。
前記補正パラメータを、前記撮像画像のホワイトバランスに関する情報とすることができる。
前記補正パラメータ算出部には、前記撮像画像の領域ごとに前記補正パラメータを算出させることができる。
本技術の第1の側面の信号処理方法は、撮像画像の明るさ情報を算出し、複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出し、前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出するステップを含む。
本技術の第1の側面においては、撮像画像の明るさ情報が算出され、複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値が算出され、前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータが算出される。
本技術の第2の側面の撮像装置は、撮像画像を撮像する撮像部と、前記撮像画像の明るさ情報を算出する明るさ情報算出部と、複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出する明るさ基準算出部と、前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する補正パラメータ算出部とを備える。
本技術の第2の側面においては、撮像画像が撮像され、前記撮像画像の明るさ情報が算出され、複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値が算出され、前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータが算出される。
本技術の第1の側面および第2の側面によれば、より少ない演算量で十分高精度にフリッカ補正を行うことができる。
一般的なフリッカ補正について説明する図である。 本技術について説明する図である。 信号処理装置の構成例を示す図である。 積層型のイメージセンサについて説明する図である。 フリッカ補正部の構成例を示す図である。 明るさ基準値について説明する図である。 フリッカ補正について説明する図である。 フリッカ補正処理について説明するフローチャートである。 デジタルゲインによるフリッカ補正について説明する図である。 2値化の閾値の補正について説明する図である。 領域ごとのフリッカ補正について説明する図である。 領域ごとのフリッカ補正について説明する図である。 撮像装置の構成例を示す図である。 固体撮像素子を使用する使用例を示す図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
〈フリッカ補正について〉
本技術は、主に被写体の明暗周期に対して十分に短い周期で撮像を行い、撮像された画像に面フリッカが発生することと、フレーム間の明るさの変化は微小であることを利用して、次フレームでの輝度変化を推定することで、画像の明るさを補正するものである。
すなわち、例えば光源の明暗の変化の周波数が50Hzである光源に対して、1000fpsのフレームレートで画像を撮像すれば、光源、すなわち被写体の明暗の周期に対して十分に短い周期で撮像が行われることになる。
この場合、高フレームレートで画像を撮像するので、画素ラインごとに露光を行っても全画素一斉に露光を行っても、1フレーム期間内では光源による被写体の明暗の変化は殆どないのでラインフリッカは生じない。また、互いに隣接するフレーム間では画像全体の明るさの変化は微小であるが、複数のフレームの期間で各フレームの画像を比較した場合には画像全体の明るさは時間とともに変化することになる。すなわち、面フリッカが発生する。
そこで、本技術では各フレームの画像について、画像全体の明るさを示す明るさ情報を算出するとともに、処理対象のフレーム近傍の所定期間における明るさ情報から、基準となる平均的な明るさ、より詳細には平滑化された明るさを示す明るさ基準値を求める。そして、この明るさ基準値と明るさ情報とからフリッカを補正するためのフリッカ補正値を算出するようにした。
これにより、周期的であるが複雑に明るさが変化する場合や、周期性がなく複雑に明るさが変化する場合など、どのような場合であっても、より少ない演算量で十分高精度にフリッカ補正を行うことができる。
具体的には、一般的なフリッカ補正では、例えば図1の矢印Q11に示すように1または複数の周期的な波形モデルが用いられて時間方向に変化するフリッカ、つまり輝度の波形が推定される。なお、図1において横方向は時間を示しており、縦方向は画像全体の輝度を示している。
この例では、矢印Q11に示すように波形モデルMD1や、波形モデルMD2、波形モデルMD3などの複数の波形モデルが用いられてフリッカの波形が推定される。ここで、波形モデルMD1乃至波形モデルMD3は、何れも時間方向に周期的に輝度が変化する一定振幅の正弦波のモデルとなっている。なお、以下、波形モデルMD1乃至波形モデルMD3を特に区別する必要のない場合、単に波形モデルMDとも称することとする。
いま、例えば動画像を撮像したところ、各フレームの画像の明るさ、すなわち輝度が矢印Q12に示すように変化したとする。なお、図1では各円は撮像された動画像の各フレームにおける画像全体の輝度を表している。
矢印Q12に示す例では、画像の輝度が周期的に変化しているため、波形モデルMDを用いれば正しくフリッカの波形、つまり画像の輝度変化の波形を推定することができる。この例では、矢印Q12に示す波形は、矢印Q13に示すように波形モデルMD1と合致するため、この波形モデルMD1を用いて正しくフリッカ補正を行うことができる。
これに対して、例えば矢印Q14に示す例では、撮像により得られた画像の輝度が周期的に変化しているものの複数の波形を合成して得られる複雑な波形となっている。このような複雑な明るさの変化は、例えば複数の光源が撮像対象の領域内にあるときなどに生じることが多い。
このような矢印Q14に示す輝度が複雑に変化する波形は、単純な周期性の波形モデルMDを用いても推定することが困難である。例えば矢印Q15に示すように波形モデルMD1を当てはめた場合、波形モデルMD1と、実際の各フレームの画像の輝度とには大きな誤差が生じており、正しくフリッカを補正することができない。すなわち、十分な精度でフリッカを補正することができない。
この場合、複数の波形モデルMDを合成するなど、複雑な波形モデルを用いてフリッカの波形を推定すれば、動画像の輝度の変化の波形を推定することが可能であるが、複雑な波形モデルを用いると、波形の推定とフリッカ補正に必要となる演算量が増加してしまう。
そこで、本技術では、光源の明暗周期に対して十分に短い周期で画像を撮像した場合に面フリッカが生じることと、フレーム間の明るさの変化は微小であることとから、各フレームの画像の明るさを示す明るさ情報と、一定期間内の明るさ情報から得られる明るさ基準値とからフリッカを補正するようにした。
具体的には、例えば図2の曲線L11に示すように被写体の明るさが変化したとする。なお、図2において横方向は時間を示しており、縦方向は輝度、すなわち明るさを示している。
このような曲線L11に示すように時間とともに明るさが変化する被写体を撮像した場合、撮像により得られる動画像の各フレームの画像の明るさは、点線で描かれた曲線L12のように変化する。なお、曲線L12を構成する各円(点)は、動画像の各フレームにおける明るさを示している。また、矢印Q21に示す部分に描かれている各時刻における縦線は、動画像の各フレームの撮像タイミングを示している。
このような動画像が撮像により得られた場合、曲線L12における領域R11の部分を拡大すると、例えば矢印Q22に示すようになる。同様に、曲線L12における領域R12の部分を拡大すると、例えば矢印Q23に示すようになる。なお、矢印Q22および矢印Q23に示す部分において、各円は各フレームにおける画像全体の明るさを示しており、各円同士の間に描かれた矢印は隣接するフレーム間の明るさの変化を示している。
例えば領域R11の部分では、時間とともに画像全体の明るさが増加していき、その後は時間とともに画像全体の明るさが減少している。このように時間とともに画像全体の明るさが変化する場合、例えば矢印Q24に示すように明るさの変化と逆方向に変化するように動画像の明るさを補正すれば、十分な精度で正しくフリッカ補正を行うことができる。
すなわち、例えば画像全体の明るさが増加している場合には、その明るさの増加分だけ画像全体の明るさが減少するように、明るさを補正するためのフリッカ補正値が算出され、そのフリッカ補正値に応じた明るさ補正が画像に対して行われる。例えばフリッカ補正値に応じた明るさ補正として、画像のゲイン補正や、シャッタスピードの制御による明るさの補正、2値画像を出力するときの閾値の補正などが行われる。
同様に例えば領域R12の部分では、時間とともに画像全体の明るさが減少している。このように時間とともに画像全体の明るさが変化する場合、例えば矢印Q25に示すように、明るさの変化と逆方向に変化するように動画像の明るさを補正すれば、十分な精度で正しくフリッカ補正を行うことができる。
特に、本技術ではフリッカ補正値を求める際に、処理対象のフレーム近傍の一定期間の明るさ情報から得られる明るさ基準値と、明るさ情報とを用いることで、少ない演算量でも十分高精度なフリッカ補正を実現することが可能である。
すなわち、本技術では、処理対象のフレーム近傍の一定期間の明るさ情報を用いて、その一定期間における基準となる平滑化された明るさを、処理対象のフレームの補正後の目標とすべき明るさを示す明るさ基準値として算出している。このようにすれば、面フリッカを考慮した適切な明るさ基準値を少ない演算量で得ることができる。
また、本技術では高フレームレートで動画像を撮像しているため、フレーム間での明るさ情報の変化は微小である。そのため、例えばフリッカ補正値を処理対象のフレームの次のフレームに適用する場合でも、処理対象のフレームの明るさ情報から、その次のフレームの明るさ情報を高精度に推定することができるだけでなく、明るさ基準値のフレーム間の変化も微小である。
したがって、このような明るさ基準値と明るさ情報とを用いてフリッカ補正を行なえば、フリッカによる明るさの変化を適度に平滑化して高精度にフリッカを補正することができる。しかも、一定期間における平滑化された明るさを明るさ基準値としているので、少ない演算量でフリッカ補正を行うことができる。
〈信号処理装置の構成例〉
続いて、以上において説明したフリッカ補正を行う本技術のより具体的な実施の形態について説明する。図3は、本技術を適用した信号処理装置の一実施の形態の構成例を示す図である。
図3に示す信号処理装置11は、画素部21、アナログゲイン適用部22、AD(Analog Digital)変換部23、デジタル信号処理部24、フリッカ補正部25、およびシステムコントローラ26を有している。
例えば信号処理装置11は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子(固体撮像素子)や、そのような撮像素子が搭載された撮像装置などからなる。
画素部21は、システムコントローラ26の制御に従って被写体を撮像し、その結果得られた動画像である撮像画像をアナログゲイン適用部22に供給する。
画素部21は、行列状に配置された複数の画素を有しており、各画素には例えばフォトダイオードや転送トランジスタ、浮遊拡散領域、選択トランジスタ、増幅トランジスタなどが設けられている。撮像画像の撮像時には、各画素が被写体から入射した光を受光して光電変換することで得られた画素信号を出力し、それらの画素信号が撮像画像の画素の画素値を示す信号となる。すなわち、各画素から出力された画素信号からなるデータが撮像画像の画像データとされる。
上述したように画素部21では被写体、すなわち光源の明暗の変化の周期に対して十分に短い周期で撮像画像の撮像が行われる。具体的には、例えば1000fps以上のフレームレートで撮像画像が撮像される。
なお、以下では撮像画像が動画像である例について説明するが、撮像画像は、時間的に連続して撮像される静止画像であってもよい。
アナログゲイン適用部22は、システムコントローラ26の制御に従って画素部21から供給された撮像画像、より詳細にはアナログ信号である撮像画像の画像データに対して、所定のゲインであるアナログゲインを乗算することで撮像画像のゲイン調整を行う。アナログゲイン適用部22は、ゲイン調整された撮像画像をAD変換部23に供給する。
AD変換部23は、アナログゲイン適用部22から供給されたアナログ信号である撮像画像をデジタル信号へと変換するAD変換を行い、その結果得られたデジタル信号である撮像画像をデジタル信号処理部24およびフリッカ補正部25に供給する。
なお、ここでは撮像画像のAD変換前にアナログゲインによるゲイン調整が行われる例について説明するが、アナログゲインによるゲイン調整はAD変換時に行われるようにしてもよい。
デジタル信号処理部24は、システムコントローラ26の制御に従って、AD変換部23から供給された撮像画像に対して、例えばゲイン調整やホワイトバランス調整、ガンマ補正などの各種の処理を施して、その結果得られた出力画像を出力する。
特にデジタル信号処理部24はデジタルゲイン適用部31を有しており、デジタルゲイン適用部31は、システムコントローラ26の制御に従って撮像画像に対して、所定のゲインであるデジタルゲインを乗算することで撮像画像のゲイン調整を行う。
なお、出力画像が2値画像とされる場合には、例えばデジタル信号処理部24は、撮像画像の各画素の輝度値と閾値とを比較することで各画素の画素値を2値化し、2値画像を出力画像として生成する。また、出力画像として2値画像を生成する場合、2値化処理はデジタル信号処理部24で行われるようにしてもよいし、AD変換部23とデジタル信号処理部24との間に設けたブロックで行われるようにしてもよい。この実施の形態では、説明を簡単にするため、撮像画像の2値化は行われないものとする。
フリッカ補正部25は、AD変換部23から供給された撮像画像に基づいて、撮像画像の明るさを補正するための、すなわち撮像画像で発生するフリッカを補正するためのフリッカ補正値を算出し、システムコントローラ26に供給する。
このフリッカ補正値は、撮像画像の明るさの補正度合い、つまり撮像画像に対するフリッカの補正度合いを示す値である。
システムコントローラ26は、信号処理装置11の各部の動作を制御する。例えばシステムコントローラ26は、フリッカ補正部25から供給されたフリッカ補正値に基づいて、信号処理装置11の各部で撮像画像の明るさの補正、つまりフリッカ補正を行うための補正パラメータを算出し、各部に供給する。
システムコントローラ26は、フリッカ補正値に基づいて補正パラメータを算出する補正パラメータ算出部として機能する。
補正パラメータは、各時刻、つまり各フレームの撮像画像の明るさを補正することによりフリッカ補正を行うためのものである。より詳細には、補正パラメータはフリッカの補正度合いを示すフリッカ補正値に基づいて算出される、実際にフリッカ補正が行われるブロックにおける動作を制御するための情報であり、フリッカ補正を行うブロックごとに算出される。
例えば補正パラメータは、撮像画像のゲインに関する情報や、撮像画像のシャッタスピードに関する情報、撮像画像を2値化するための閾値に関する情報などとされる。
具体的には、例えば画素部21でフリッカ補正が行われる場合、システムコントローラ26は、補正パラメータとしてシャッタスピードの補正値を算出し、補正値により補正されたシャッタスピードで各画素の露光が行われるように画素部21による撮像動作を制御する。具体的には、例えば撮像画像全体をより明るくするようなフリッカ補正を実現したい場合には、シャッタスピードの補正値は、各画素の露光時間がより長くなるような補正値、つまりシャッタスピードがより遅くなるような補正値とされる。
また、例えばアナログゲイン適用部22でフリッカ補正が行われる場合、システムコントローラ26は、アナログゲインを補正する補正値を算出し、得られた補正値を補正パラメータとしてアナログゲイン適用部22に供給する。
この場合、アナログゲイン適用部22は、例えば補正パラメータをアナログゲインに乗算する等してアナログゲインの補正を行い、補正後のアナログゲインを用いて撮像画像のゲイン調整を行う。具体的には、例えば撮像画像全体をより明るくするようなフリッカ補正を実現したい場合には、アナログゲインがより大きくなるような補正値が補正パラメータとして算出される。
なお、補正パラメータによる補正前のアナログゲインは、例えば1などの予め定められた値とされる。また、補正前のアナログゲインは1より大きい値であってもよいし、1より小さい値であってもよい。
アナログゲインの補正パラメータが算出された場合、その補正パラメータはフリッカ補正部25にも供給され、フリッカ補正部25において撮像画像の明るさを示す明るさ情報の算出に用いられる。
さらに、例えばデジタルゲイン適用部31でフリッカ補正が行われる場合、システムコントローラ26は、デジタルゲインを補正する補正値を算出し、得られた補正値を補正パラメータとしてデジタルゲイン適用部31に供給する。
この場合、デジタルゲイン適用部31は、例えば補正パラメータをデジタルゲインに乗算する等してデジタルゲインの補正を行い、補正後のデジタルゲインを用いて撮像画像のゲイン調整を行う。具体的には、例えば撮像画像全体をより明るくするようなフリッカ補正を実現したい場合には、デジタルゲインがより大きくなるような補正値が補正パラメータとして算出される。
なお、補正パラメータによる補正前のデジタルゲインは、例えば1などの予め定められた値とされる。また、補正前のデジタルゲインは1より大きい値であってもよいし、1より小さい値であってもよい。
また、フリッカ補正時には、上述したシャッタスピードの補正、アナログゲインの補正、およびデジタルゲインの補正のうちの何れか1つを行うことでフリッカ補正を実現するようにしてもよいし、それらの3つの補正のうちの任意の2以上の補正を組み合わせてフリッカ補正を実現するようにしてもよい。
〈本技術のイメージセンサへの適用について〉
また、信号処理装置11がイメージセンサからなる場合、そのようなイメージセンサは例えば図4に示すように積層型のイメージセンサとすることができる。
図4に示す例では、センサ部61と回路部62とを積層することで積層型のイメージセンサが形成される。センサ部61は、図3に示した画素部21が設けられる画素領域71を有しており、回路部62は、図3に示したアナログゲイン適用部22乃至システムコントローラ26が設けられる信号処理回路領域72を有している。
なお、これらのセンサ部61と回路部62との間にメモリが設けられたメモリ領域を有する層が形成されるようにしてもよい。
〈フリッカ補正部の構成例〉
次に、図3に示したフリッカ補正部25のより詳細な構成例について説明する。図5は、フリッカ補正部25のより詳細な構成例を示す図である。なお、図5において図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図5に示すフリッカ補正部25には、撮像部101から各フレームの撮像画像が順次、供給される。ここで、撮像部101は、例えば図3の画素部21乃至デジタル信号処理部24から構成され、フリッカ補正部25には、撮像部101を構成するAD変換部23からアナログ信号である撮像画像が供給される。
例えば撮像画像は、単色のモノクロ画像でもよいし、RGBの各色の画像からなるカラー画像など、複数の色成分を有するカラー画像でもよい。例えば撮像画像がカラー画像である場合には、カラー画像を構成する色成分ごとにフリッカ補正部25が設けられ、それらの色成分ごとにフリッカ補正が行われる。以下では、説明を簡単にするため、撮像画像はモノクロ画像であるものとする。
フリッカ補正部25は、明るさ情報算出部111、明るさ情報遅延部112、明るさ基準算出部113、差分算出部114、およびフリッカ補正値算出部115を有している。
明るさ情報算出部111は、適宜、システムコントローラ26から供給されたアナログゲインの補正値を示す補正パラメータを用いて、撮像部101から供給された各フレームの撮像画像に基づいて、その撮像画像全体の明るさを示す明るさ情報を算出する。
例えば明るさ情報算出部111は、撮像画像の各画素の輝度値を求めるとともに、求められた各画素の輝度値の平均値を算出し、得られた輝度値の平均値を明るさ情報とする。
このとき、供給された撮像画像が、補正パラメータにより補正されたアナログゲインでゲイン調整されたものである場合には、明るさ情報算出部111は、撮像画像の各画素の画素値に対して、システムコントローラ26から供給されたアナログゲインの補正パラメータの逆数等を乗算したものを用いて明るさ情報を算出する。すなわち、明るさ情報算出部111はアナログゲインによるフリッカ補正前の撮像画像について明るさ情報を算出する。
信号処理装置11では、高フレームレートで撮像画像を撮像するため、撮像画像に現れるフリッカは面フリッカとなる。したがって、信号処理装置11では、例えば撮像画像の各画素の輝度値の平均値など、比較的演算量の少ない特徴量を明るさ情報として用いてフリッカ補正を行うことが可能である。
なお、明るさ情報は、撮像画像全体の明るさを示すものであれば、撮像画像の画素の輝度値の平均値に限らず、撮像画像の各画素の輝度値の積算値(加算値)や、撮像画像の画素の輝度値の代表値など、どのようなものであってもよい。また、以下では時刻tにおけるフレームをフレームtとも称することとし、フレームtにおける撮像画像の明るさ情報を明るさ情報I(t)とも記すこととする。
明るさ情報算出部111は、撮像画像から求めた明るさ情報を、差分算出部114、明るさ情報遅延部112、明るさ基準算出部113、およびフリッカ補正値算出部115に供給する。
明るさ情報遅延部112は、明るさ情報算出部111から供給された明るさ情報を、撮像画像の1フレーム分の時間だけ遅延させて差分算出部114に供給する。なお、ここでは明るさ情報遅延部112による明るさ情報の遅延時間は1フレーム分の時間としたが、1フレーム分の時間に限らず任意のフレーム数分の時間だけ遅延させるようにしてもよい。
明るさ基準算出部113は、明るさ情報算出部111から供給された明るさ情報に基づいて一定期間における、明るさ補正、すなわちフリッカ補正の基準となる平滑化された撮像画像の明るさを示す明るさ基準値を算出し、フリッカ補正値算出部115に供給する。この明るさ基準値は、フリッカ補正時に補正後の目標とすべき明るさを示す値とされる。
具体的には、例えば明るさ基準算出部113は、一定期間、すなわち連続する複数のフレームの明るさ情報を、フィルタ処理等の任意の方法により平滑化することで明るさ基準値を算出する。
すなわち、例えば明るさ基準算出部113は、ローパスフィルタ等のIIR(Infinite Impulse Response)型の平滑化フィルタを用いて、連続する所定数のフレームの明るさ情報に対してフィルタ処理を施すことで明るさ情報を時間方向に平滑化し、明るさ基準値とする。換言すれば、明るさ基準算出部113は、複数の各時刻の明るさ情報と、平滑化フィルタのフィルタ係数とを畳み込むことで明るさ基準値を算出する。
例えば図6の曲線L41に示すように撮像画像の輝度値、すなわち明るさ情報が変化したとする。なお、図6において横方向は時間を示しており、縦方向は輝度を示している。
この例では、曲線L41は各時刻(フレーム)における撮像画像の明るさ情報、つまりフリッカ補正前の撮像画像の輝度を示しており、曲線L41は大局的に見て明るさが変化していることが分かる。このように大局的に見て時間とともに撮像画像の明るさが変化するのは、例えば被写体としての車両がライトを発光した状態で近づいてくるのを撮像したときなどに生じる。
一方で、曲線L41を比較的短い期間で見た場合でも、撮像画像の明るさは周期的に変化しており、この短期間での周期的な明るさの変化がフリッカ成分となっている。すなわち、フリッカの発生により、短い周期で撮像画像の明るさが変化している。
このように短期間で大きく明るさ情報が変化する場合、その明るさ情報を平滑化したものを明るさ基準値とすると、例えば各フレームの明るさ基準値として曲線L42に示すものが得られる。ここでは、曲線L42は点線で描かれており、各点がそれらの点が描かれた時刻(フレーム)における明るさ基準値を表している。
このような明るさ基準値を示す曲線L42はゆっくりと変化しており、曲線L42の時間的な変化は、曲線L41の大局的な変化と略等しくなっている。すなわち、曲線L42は、大局的に見ると曲線L41と略等しい。そのため、このような曲線L42により示される明るさ基準値を、フリッカ補正後の目標となる撮像画像の明るさとしてフリッカ補正を行なえば、フリッカ補正により撮像画像から高精度にフリッカ成分を除去できることが分かる。換言すれば、十分高精度にフリッカ補正を行うことができる。
図5の説明に戻り、明るさ基準算出部113は、撮像画像のフレームごとに明るさ基準値を算出し、フリッカ補正値算出部115に供給する。なお、以下、フレームtまでの撮像画像を用いて求めた明るさ基準値を明るさ基準値Is(t)とも記すこととする。
差分算出部114は、明るさ情報算出部111から供給された明るさ情報と、明るさ情報遅延部112から供給された明るさ情報との差分値を算出し、フリッカ補正値算出部115に供給する。この差分値は、互いに異なる時刻の明るさ情報の差分であるから、明るさ情報の変化量であるということができる。
以下では、フレームtについて求めた差分値を差分値ΔI(t)とも記すこととする。
例えば差分値ΔI(t)は、フレームtの明るさ情報I(t)と、フレーム(t−1)の明るさ情報I(t−1)の差を計算することにより求められる。すなわち差分値ΔI(t)=I(t)−I(t−1)とされる。このような差分値ΔI(t)は、時間的に隣接するフレーム間における明るさ情報の変化量を示している。
フリッカ補正値算出部115は、差分算出部114から供給された差分値、明るさ基準算出部113から供給された明るさ基準値、および明るさ情報算出部111から供給された明るさ情報に基づいてフリッカ補正値を算出し、システムコントローラ26に供給する。
なお、フリッカ補正値の算出には、少なくとも明るさ基準値が用いられるようにすればよく、差分値および明るさ情報については、それらの何れか一方のみが用いられてもよいし、それらの両方が用いられるようにしてもよい。以下、フレームtにおけるフリッカ補正値をV(t)とも記すこととする。
〈フリッカ補正について〉
ここで、信号処理装置11でのフリッカ補正の具体例について説明する。
例えば図7に示すように各フレームの撮像画像の明るさ情報が得られたとする。なお、図7において横方向は時間を示しており、縦方向は明るさ、すなわち輝度値を示している。
図7の例では、フレームt、すなわち時刻t=0乃至5の各時刻における明るさ情報として、明るさ情報I(0)乃至明るさ情報I(5)が得られている。また、直線L61は各時刻における明るさ基準値Is(t)を示している。この例では、明るさ基準値Is(t)は各時刻(フレーム)で同じ値となっている。さらに、図7において、I’(1)乃至I’(5)は、時刻t=1乃至5の各時刻における、フリッカ補正後の撮像画像の明るさ情報、つまり出力画像について求まる明るさ情報を示している。
例えば実際に撮像を開始するのが時刻t=1であるとして時刻t=1に注目すると、このフレームでは明るさ情報I(0)と明るさ情報I(1)との差分が差分値ΔI(1)として算出される。ここでは矢印AR1が差分値ΔI(1)を表しており、明るさ情報I(0)=0であるので、差分値ΔI(1)=I(1)とされる。
また、この差分値ΔI(1)=I(1)と、予め定められた明るさ基準値Is(0)とから、フレームt=1における補正パラメータとしてのデジタルゲインDG(1)が求められる。より詳細には、明るさ基準値Is(0)を差分値ΔI(1)=I(1)で除算して得られる値がフレームt=1におけるフリッカ補正値V(1)とされ、そのフリッカ補正値V(1)がフレームt=1における補正パラメータにより補正されたデジタルゲインであるデジタルゲインDG(1)とされる。特に、フレームt=1のフレームではそれよりも前のフレームの撮像画像の情報がないため、デジタルゲインによりフリッカ補正が行われる。また、ここでは補正パラメータによる補正前のデジタルゲインは1とされている。
なお、以下では、フレームtにおける補正パラメータをP(t)とも記すこととする。また、ここではフリッカ補正値V(1)をそのまま補正パラメータP(1)により補正されたデジタルゲインDG(1)として用いる例について説明したが、一般化すると、例えばフリッカ補正値V(1)を所定の関数に代入して得られる値が補正パラメータP(1)とされる。そして、その補正パラメータP(1)を補正値として補正されたデジタルゲインが、デジタルゲインDG(1)とされる。
フリッカ補正のためのデジタルゲインDG(1)が得られると、デジタル信号処理部24では、このデジタルゲインDG(1)により、フレームt=1のデジタルの撮像画像に対するゲイン調整がフリッカ補正として行われる。そして、その結果得られた出力画像についての明るさ情報が、目標とすべき明るさ基準値Is(0)と略等しい明るさ情報I’(1)となる。
また、フレームt=1よりも後のフレームにおいては、アナログゲインを用いたゲイン調整によりフリッカ補正が行われる。
例えばフレームt=2では、そのフレームt=2の撮像画像が撮像される前に補正パラメータP(2)が算出される。具体的には、矢印PAR1に示すように、フレームt=1で得られた差分値ΔI(1)と明るさ情報I(1)とから、フレームt=2の明るさ情報I(2)の予測値Ie(2)が算出される。
予測値Ie(2)の算出では、撮像画像が高フレームレートであることから、直前のフレームt=1における差分値ΔI(1)と、矢印AR2により示される、フレームt=1に隣接するフレームt=2における差分値ΔI(2)との誤差は微小であると仮定される。そして、その仮定に従って、明るさ情報I(1)と差分値ΔI(1)との和が、フレームt=2の明るさ情報I(2)の予測値である予測値Ie(2)として算出される。
さらに、このようにして得られた予測値Ie(2)と、フレームt=1で得られた明るさ基準値Is(1)とからフレームt=2における補正パラメータとしてのアナログゲインAG(2)が求められる。より詳細には、明るさ基準値Is(1)を予測値Ie(2)で除算して得られる値がフレームt=2におけるフリッカ補正値V(2)とされ、そのフリッカ補正値V(2)がフレームt=2における補正パラメータP(2)により補正されたアナログゲインであるアナログゲインAG(2)とされる。ここでは補正パラメータによる補正前のアナログゲインは1とされている。
フレームt=2以降では、それまでのフレームの撮像画像の情報があるため、それらの情報を用いて実際に撮像画像を撮像する前に補正パラメータP(t)を算出することができる。なお、以下、フレームtの明るさ情報I(t)の予測値をIe(t)とも記すこととする。また、ここではフリッカ補正値V(2)をそのまま補正パラメータP(2)により補正されたアナログゲインAG(2)として用いる例について説明したが、一般化すると、例えばフリッカ補正値V(2)を所定の関数に代入して得られる値が補正パラメータP(2)とされる。そして、その補正パラメータP(2)を補正値として補正されたアナログゲインが、アナログゲインAG(2)とされる。
このようにしてフリッカ補正のためのアナログゲインAG(2)が得られると、アナログゲイン適用部22では、アナログゲインAG(2)により、フレームt=2の撮像画像に対するゲイン調整がフリッカ補正として行われる。これにより、最終的に得られたフレームt=2の出力画像についての明るさ情報が、目標とすべき明るさ基準値Is(1)と略等しい明るさ情報I’(2)となる。
フレームt=3以降では、フレームt=2における場合と同様の処理が繰り返し行われる。すなわち、フレームtにおいて、差分値ΔI(t−1)と明るさ情報I(t−1)とから予測値Ie(t)=I(t−1)+ΔI(t−1)が算出される。
さらに予測値Ie(t)と明るさ基準値Is(t−1)とからフリッカ補正値V(t)が算出されて、そのまま補正パラメータP(t)とされ、その補正パラメータP(t)からアナログゲインAG(t)が求められる。そして、このアナログゲインAG(t)により、フレームtの撮像画像のゲイン調整がフリッカ補正として行われる。
なお、フリッカ補正値の算出には、フレーム間の明るさ情報の変化量である差分値と、現在のフレームの明るさ情報との何れか一方を用いるようにしてもよいし、それらの両方を用いるようにしてもよい。
例えば図7に示した例では、デジタルゲインでフリッカ補正を行うフレームt=1では、現在のフレームの明るさ情報I(1)がフリッカ補正値の算出に用いられる。これに対して、フレームt=2以降のフレームのように、アナログゲインでフリッカ補正を行うフレームではフレーム間の明るさ情報の変化量である差分値ΔI(t)がフリッカ補正値の算出に用いられる。
特に、フリッカ補正値の算出に差分値ΔI(t)を用いる場合、信号処理装置11では高フレームレートの撮像を行うことからフレーム間の明るさの変化は微小であると仮定できるため、現フレームの明るさ情報を、その直前までのフレームの明るさ情報のフレーム間の変化量から推定することができる。
このとき、明るさ情報の予測値と実測値、つまり予測値Ie(t)と明るさ情報I(t)とには誤差が生じるが、撮像画像を高速に撮像するほど、つまり撮像画像のフレームレートが高くなるほど誤差が少なくなり、より高精度にフリッカ補正を行うことができる。アナログゲインでゲイン調整を行う場合には、デジタルゲインでゲイン調整を行う場合よりも、より低ノイズの補正が可能となる。
さらに、信号処理装置11では、撮像画像に現れるフリッカは主に面フリッカとなることから、例えば撮像画像の各画素の輝度値の平均値など、比較的演算量の少ない情報を明るさ情報として用いることができる。また、明るさ情報が用いられて算出される差分値ΔI(t)や予測値Ie(t)、明るさ基準値Is(t)も比較的少ない演算量で求めることができる。
したがって、このような演算量の少ない明るさ情報や差分値を用いてフリッカ補正を行なえば、現フレームまでに得られた情報を次フレームでのフリッカ補正に反映させることができる。その結果、より簡単に、つまりより少ない演算量で、より高精度にフリッカ補正を行うことができる。
〈フリッカ補正処理の説明〉
次に、信号処理装置11が図7を参照して説明したフリッカ補正を行う場合における処理の流れについて説明する。すなわち、以下、図8のフローチャートを参照して、信号処理装置11によるフリッカ補正処理について説明する。
ステップS11において撮像部101は、フレームt=1の撮像画像を撮像する。
すなわち、画素部21は被写体から入射した光を受光して光電変換することにより撮像画像を撮像し、得られた撮像画像をアナログゲイン適用部22に供給する。アナログゲイン適用部22は、例えば予め定められたアナログゲインにより撮像画像のゲイン調整を行い、AD変換部23に供給する。
また、AD変換部23は、アナログゲイン適用部22から供給された撮像画像に対してAD変換を行い、その結果得られたデジタルの撮像画像をフリッカ補正部25の明るさ情報算出部111およびデジタル信号処理部24に供給する。
なお、システムコントローラ26では、撮像画像のフレームの番号、つまりフレームの時刻を示すパラメータtが保持されており、撮像画像の最初のフレームはフレームt=1とされる。
ステップS12において、明るさ情報算出部111は、AD変換部23から供給されたフレームt=1の撮像画像に基づいて、その撮像画像の各画素の輝度値の平均値を明るさ情報I(1)として算出する。
明るさ情報算出部111は、このようにして得られた明るさ情報I(1)を、差分算出部114、明るさ情報遅延部112、明るさ基準算出部113、およびフリッカ補正値算出部115に供給する。
ステップS13において、差分算出部114は明るさ情報算出部111から供給された明るさ情報I(1)に基づいて、差分値ΔI(1)を算出し、フリッカ補正値算出部115に供給する。ここでは、明るさ情報I(1)がそのまま差分値ΔI(1)とされる。
ステップS14において、フリッカ補正値算出部115は、予め定められた明るさ基準値Is(0)と、差分算出部114から供給された差分値ΔI(1)とに基づいてフリッカ補正値V(1)を算出し、システムコントローラ26に供給する。
例えばフリッカ補正値算出部115は、V(1)=Is(0)/ΔI(1)を計算することで、フリッカ補正値V(1)を算出する。なお、この例に限らず、フリッカ補正値V(1)は、明るさ基準値Is(0)と差分値ΔI(1)を所定の関数に代入して得られる値などとされてもよい。
ステップS15において、システムコントローラ26は、フリッカ補正値算出部115から供給されたフリッカ補正値V(1)に基づいて、補正パラメータP(1)を算出する。
例えば、ここではフリッカ補正値V(1)が、そのまま補正パラメータP(1)としてのデジタルゲインの補正値とされる。なお、その他、フリッカ補正値V(1)を所定の関数に代入して得られる値が補正パラメータP(1)とされるようにするなどしてもよい。
システムコントローラ26は、このようにして得られた補正パラメータP(1)をデジタル信号処理部24に供給する。
ステップS16において、デジタル信号処理部24のデジタルゲイン適用部31は、システムコントローラ26から供給された補正パラメータP(1)から定まるデジタルゲインを、ステップS11の処理で得られ、AD変換部23から供給されたフレームt=1の撮像画像に適用する。
すなわち、デジタルゲイン適用部31は、予め定められたデジタルゲインを補正パラメータP(1)で補正することで、図7に示したデジタルゲインDG(1)を求める。そして、デジタルゲイン適用部31は、デジタルゲインDG(1)をフレームt=1の撮像画像の各画素の画素値に乗算することでゲイン調整を行う。さらに、デジタル信号処理部24は、ゲイン調整された撮像画像に対して、ガンマ補正等の各種の処理を施して出力画像を生成し、出力する。このようなデジタルのゲイン調整によりフレームt=1でのフリッカ補正が実現される。
ステップS17において、明るさ基準算出部113は、明るさ情報算出部111から供給された明るさ情報I(1)に基づいて、明るさ基準値Is(1)を算出し、フリッカ補正値算出部115に供給する。
例えば明るさ基準算出部113は、明るさ情報I(0)と明るさ情報I(1)に対して平滑化フィルタを用いたフィルタ処理を施すことにより、明るさ基準値Is(1)を算出する。
ステップS18において、システムコントローラ26は、保持しているフレーム番号を示すパラメータtを1だけインクリメントする。
例えばステップS17の処理が行われた直後に行われるステップS18の処理では、パラメータtが2へとインクリメントされる。
ステップS19において、フリッカ補正値算出部115は、明るさ情報算出部111から供給された明るさ情報I(t−1)と、差分算出部114から供給された差分値ΔI(t−1)とに基づいて、予測値Ie(t)=I(t−1)+ΔI(t−1)を算出する。
例えばパラメータt=2である場合には、ステップS12で得られた明るさ情報I(1)と、ステップS13で得られた差分値ΔI(1)から予測値Ie(2)が算出される。
これに対して、パラメータt≧3である場合には、このステップS19の直前に行われたステップS24およびステップS25で得られた明るさ情報I(t−1)と差分値ΔI(t−1)とから予測値Ie(t)が算出される。
このようにして算出される予測値Ie(t)は、時刻tより前の複数の時刻、つまりフレームtより前の複数のフレームの明るさ情報が用いられて、明るさ情報の変化量に基づいて算出された、フレームtの明るさ情報の予測値(推定値)である。
ステップS20において、フリッカ補正値算出部115は、明るさ基準算出部113から供給された明るさ基準値Is(t−1)と、ステップS19で算出した予測値Ie(t)とに基づいて、フリッカ補正値V(t)=Is(t−1)/Ie(t)を算出する。
すなわち、ここでは処理対象のフレームtよりも前のフレーム(t−1)までの複数のフレームの明るさ情報から算出された明るさ基準値Is(t−1)と、処理対象のフレームtの明るさ情報の予測値Ie(t)との比がフリッカ補正値V(t)として算出される。
例えばパラメータt=2である場合には、ステップS17で得られた明るさ基準値Is(1)が用いられてフリッカ補正値V(2)が算出される。これに対して、パラメータt≧3である場合には、このステップS20の直前に行われたステップS26で得られた明るさ基準値Is(t−1)が用いられてフリッカ補正値V(t)が算出される。
なお、フリッカ補正値V(t)は、この例に限らず、明るさ基準値Is(t−1)と予測値Ie(t)を所定の関数に代入して得られる値などとされてもよい。
フリッカ補正値算出部115は、このようにして得られたフリッカ補正値V(t)をシステムコントローラ26に供給する。
ステップS21において、システムコントローラ26は、フリッカ補正値算出部115から供給されたフリッカ補正値V(t)に基づいて、補正パラメータP(t)を算出する。
例えば、ここではフリッカ補正値V(t)が、そのまま補正パラメータP(t)としてのアナログゲインの補正値とされる。なお、その他、フリッカ補正値V(t)を所定の関数に代入して得られる値が補正パラメータP(t)とされるなどしてもよい。
システムコントローラ26は、このようにして得られた補正パラメータP(t)をアナログゲイン適用部22および明るさ情報算出部111に供給する。
ステップS22において、撮像部101はフレームtの撮像画像を撮像する。
すなわち、画素部21は被写体から入射した光を受光して光電変換することにより撮像画像を撮像し、得られた撮像画像をアナログゲイン適用部22に供給する。
なお、例えばステップS21で補正パラメータP(t)として、アナログゲインの補正値だけでなくシャッタスピードの補正値も算出された場合には、その補正値によりシャッタスピードが補正され、補正後のシャッタスピードでフレームtの撮像画像が撮像される。
ステップS23において、アナログゲイン適用部22は、ステップS21でシステムコントローラ26から供給された補正パラメータP(t)から定まるアナログゲインを、画素部21から供給されたフレームtのアナログの撮像画像に適用する。
すなわち、アナログゲイン適用部22は、予め定められたアナログゲインを補正パラメータP(t)で補正することで、図7を参照して説明したアナログゲインAG(t)を求める。そして、アナログゲイン適用部22は、アナログゲインAG(t)をフレームtの撮像画像の各画素の画素値に乗算することでゲイン調整を行い、ゲイン調整された撮像画像をAD変換部23に供給する。このようなアナログのゲイン調整によりフレームtでのフリッカ補正が実現される。
また、AD変換部23は、アナログゲイン適用部22から供給された撮像画像に対してAD変換を行い、その結果得られたデジタルの撮像画像をフリッカ補正部25の明るさ情報算出部111およびデジタル信号処理部24に供給する。デジタル信号処理部24は、AD変換部23から供給された撮像画像に対して、ガンマ補正やゲイン調整等の各種の処理を施して出力画像を生成し、出力する。
ステップS24において、明るさ情報算出部111は、AD変換部23から供給されたフレームtの撮像画像に基づいて明るさ情報I(t)を算出する。
より詳細には、明るさ情報算出部111は、システムコントローラ26から供給されたフレームtの補正パラメータP(t)からアナログゲインAG(t)を求め、さらにそのアナログゲインAG(t)で、補正パラメータP(t)による補正前のアナログゲインを除算し、ゲイン比を求める。そして明るさ情報算出部111は、そのゲイン比をフレームtの撮像画像の各画素の画素値に乗算することで、フリッカ補正前の撮像画像、より詳細にはフリッカ補正されないときの撮像画像を求め、フリッカ補正前の撮像画像の各画素の輝度値の平均値を明るさ情報I(t)として算出する。この場合、補正前のアナログゲインが1であるときには、ゲイン比はアナログゲインAG(t)の逆数となる。
明るさ情報算出部111は、得られた明るさ情報I(t)を、差分算出部114、明るさ情報遅延部112、明るさ基準算出部113、およびフリッカ補正値算出部115に供給する。このステップS24で算出された明るさ情報I(t)は、次のフレーム(t+1)について行われるステップS19の処理で用いられる。
ステップS25において、差分算出部114は明るさ情報算出部111から供給された明るさ情報I(t)と、明るさ情報遅延部112から供給された明るさ情報I(t−1)とに基づいて差分値ΔI(t)=I(t)−I(t−1)を算出する。
差分算出部114は、得られた差分値ΔI(t)をフリッカ補正値算出部115に供給する。この差分値ΔI(t)は、次のフレーム(t+1)について行われるステップS19の処理で用いられる。
ステップS26において、明るさ基準算出部113は、明るさ情報算出部111から供給された明るさ情報I(t)に基づいて明るさ基準値Is(t)を算出し、フリッカ補正値算出部115に供給する。
例えば明るさ基準算出部113は、フレームtを含む一定期間、すなわち所定のフレームからフレームtまでの期間の各フレームの明るさ情報I(t)と、平滑化フィルタのフィルタ係数とを畳み込むことで、明るさ情報に対してフィルタ処理を施し、明るさ基準値Is(t)を算出する。すなわち、平滑化フィルタを用いたフィルタ処理により明るさ情報I(t)を平滑化することによって明るさ基準値Is(t)が算出される。
このようにして求めた明るさ基準値Is(t)は、次のフレーム(t+1)について行われるステップS20の処理で用いられる。
ステップS27において、システムコントローラ26は処理を終了するか否かを判定する。例えば撮像画像の撮像を終了する場合、処理を終了すると判定される。
ステップS27において処理を終了しないと判定された場合、処理はステップS18に戻り、上述した処理が繰り返し行われる。
これに対してステップS27において処理を終了すると判定された場合、システムコントローラ26は各部の動作を終了させ、フリッカ補正処理は終了する。
以上のようにして信号処理装置11は、撮像画像から明るさ情報や明るさ基準値を求め、フリッカ補正値を算出する。
これにより、少ない演算量で十分高精度にフリッカ補正を行うことができる。特に、信号処理装置11では、光源をモデル化せずに演算量の少ない明るさ情報や明るさ基準値を用いてフリッカ補正を行うので、光源モデルの複雑化に伴う演算量の増加も発生することがない。そのため、撮像画像を取得してから次の撮像画像の取得、すなわち読み出しまでに補正パラメータの演算を行うことができれば、その補正パラメータを次フレームに適用することができ、直近の情報を用いてより高精度にフリッカ補正を行うことができる。
また、過去のフレームの明るさ情報を平滑化して、補正の目標とすべき明るさを示す明るさ基準値を求めるので、例えばLED(Light Emitting Diode)フリッカや複数の光源が存在する場合など、周期性の有無によらず、複雑に明暗が変化する被写体に対しても高精度なフリッカ補正を簡単に行うことができる。さらに、例えば動画像のような被写体が動的に切り替わる場合でも高速に明るさ補正を行うことができる。特にLEDフリッカなどは色によってフリッカの位相や大きさが異なる場合があるが、信号処理装置11では、色ごとにフリッカ補正部25を設ければ、撮像画像の色成分ごとにフリッカ補正、つまり明るさの補正を行うことができる。
さらに、信号処理装置11は、少ない演算量、かつ簡単な構成でフリッカ補正が可能であるので、このようなフリッカ補正を行うための構成をイメージセンサ内に実装することができ、より高機能なイメージセンサを提供することができる。
〈第1の実施の形態の変形例1〉
〈フリッカ補正について〉
また、以上においてはフレームt=1のみデジタルゲインでのフリッカ補正を行い、その後はアナログゲインでのフリッカ補正を行う例について説明した。しかし、そのような例に限らず、デジタルゲインでのフリッカ補正、アナログゲインでのフリッカ補正、およびシャッタスピードでのフリッカ補正を任意に組み合わせるようにしてもよい。
例えば信号処理装置11では、撮像画像に現れるフリッカは面フリッカであるため、全フレームでデジタルゲインでのフリッカ補正を行う場合、フレームバッファを設ければ、現フレームの情報を用いてフリッカ補正を行うことができる。但し、この場合、ノイズの増加時や白飛び発生時、黒潰れ発生時にはフリッカ補正を行うことは困難である。
例えば図9に示すように各フレームの撮像画像の明るさ情報が得られたとする。なお、図9において横方向は時間を示しており、縦方向は明るさ、すなわち輝度値を示している。
図9の例では、フレームt乃至t+2の各フレームにおける明るさ情報として、明るさ情報I(t)乃至明るさ情報I(t+2)が得られている。また、直線L71は各時刻における明るさ基準値を示している。この例では、明るさ基準値は各フレームで同じ値となっている。さらに、図9において、I’(t)乃至I’(t+2)は、フレームt乃至t+2における、フリッカ補正後の撮像画像の明るさ情報、つまり出力画像について求まる明るさ情報を示している。
デジタルゲインでのフリッカ補正を行う場合、例えばフレームtに注目すると、フレームtの撮像画像が得られた後、明るさ情報算出部111において、そのフレームtの撮像画像から明るさ情報I(t)が算出される。
また、明るさ基準算出部113では、明るさ情報I(t)と、過去のフレームの明るさ情報とから平滑化フィルタを用いたフィルタ処理により、明るさ基準値Is(t)が算出される。すなわち、明るさ基準値Is(t)は、注目する現フレームtまでの複数のフレームの明るさ情報が用いられて算出される。
このようにして、注目するフレームtの明るさ情報I(t)と明るさ基準値Is(t)とが得られると、フリッカ補正値算出部115は、それらの明るさ情報I(t)と明るさ基準値Is(t)に基づいてフリッカ補正値V(t)を算出する。
例えば、フリッカ補正値V(t)はV(t)=Is(t)/I(t)を計算することにより算出される。すなわち、ここでは明るさ基準値Is(t)と、明るさ情報I(t)との比がフリッカ補正値V(t)として算出される。
そして、システムコントローラ26ではフリッカ補正値V(t)が、そのままフレームtにおける補正パラメータP(t)とされる。
さらに、デジタルゲイン適用部31では、補正パラメータP(t)により定まるデジタルゲイン、すなわち補正パラメータP(t)により補正されたデジタルゲインが、フレームtのデジタルゲインDG(t)とされる。
また、デジタルゲイン適用部31では、デジタルゲインDG(t)によりフレームtのデジタルの撮像画像がゲイン調整され、これによりフリッカが補正される。その結果、フレームtの出力画像について得られる明るさ情報が、目標とすべき明るさ基準値Is(t)と略等しい明るさ情報I’(t)となる。
このように全フレームの撮像画像をデジタルゲインでフリッカ補正する場合、現フレームについて得られた明るさ情報と明るさ基準値とを用いて、現フレームの撮像画像のフリッカ補正を行うことができる。これにより、より誤差の少ないフリッカ補正値を求めることができ、より高精度なフリッカ補正を実現することができる。
また、本技術では補正パラメータを、色ごとに明るさの変化が異なる被写体に対するホワイトバランス調整にも用いることができる。すなわち、システムコントローラ26において、補正パラメータとして撮像画像のホワイトバランスに関する情報が算出されるようにしてもよい。そのような場合、デジタル信号処理部24では、補正パラメータに基づいて撮像画像に対するホワイトバランス調整が行われる。
信号処理装置11では、高フレームレートで撮像された撮像画像のフレームごとに補正パラメータが算出されるので、そのような補正パラメータを用いてホワイトバランス調整を行なえば、高速なホワイトバランス調整を実現することができる。
〈第1の実施の形態の変形例2〉
〈撮像画像の2値化について〉
ところで、一般に高速フレームレートで撮像を行うビジョンチップシステムが知られている。このようなビジョンチップシステムについては、例えば特開平07−086936号公報や特開平01−173269号公報等に記載されている。
ビジョンチップシステムでは、撮像画像からターゲットとなる被写体の抽出を行う際に輝度値の閾値を設定し、撮像画像の2値化処理が行われる。例えば輝度値の閾値は上限値と下限値の何れか一方、または両方が用いられる。
通常、このような閾値は固定値とされるため、撮像画像上の被写体の明るさに変化が生じると、正しくターゲットとなる被写体を抽出することができなくなってしまうことがある。そこで、本技術をビジョンチップシステムに適用すれば、被写体の明るさの変化がある状況においても、高フレームレートで撮像された撮像画像に対してフリッカ補正を行うことで、2値化前の撮像画像の明るさの変化を抑止し、ターゲット抽出の安定性を向上させることができる。
また、他のアプローチとして、信号処理装置11で算出される補正パラメータP(t)に基づいて、フリッカに合わせて撮像画像の2値化に用いる閾値を調整(補正)するようにしてもよい。
そのような場合、例えばシステムコントローラ26は、フリッカ補正値に基づいて、2値化処理に用いる閾値を補正する補正値を補正パラメータ(t)として算出する。また、この場合、例えば撮像画像の2値化処理は、デジタル信号処理部24で行われるようにしてもよいし、AD変換部23とデジタル信号処理部24との間に設けたブロックで行われるようにしてもよい。
例えば図10に示すように各フレームの明るさ情報I(t)が変化した場合、その変化に合わせて2値化に用いる閾値である上限閾値と下限閾値とを補正すればよい。なお、図10において縦軸は輝度、すなわち明るさ情報の値を示しており、横軸は時間を示している。
図10では、曲線L81は各フレームにおける明るさ情報I(t)を示している。このような明るさ情報I(t)が得られた場合、例えば矢印Q41に示すように明るさ情報I(t)の値が比較的大きいとき、つまり撮像画像全体が明るいときには、補正パラメータP(t)による補正の結果、大きい上限閾値UTH1と下限閾値LTH1が得られる。
例えば撮像画像の2値化処理時には、撮像画像の画素の輝度値が下限閾値以上かつ上限閾値以下であるときには、その画素の画素値は1とされ、撮像画像の画素の輝度値が下限閾値未満または上限閾値より大きいときには、その画素の画素値は0とされる。
また、例えば矢印Q42に示すように明るさ情報I(t)の値が小さくなると、つまり撮像画像全体が暗くなると、補正パラメータP(t)による補正の結果、明るさ情報I(t)の変化に応じて小さく補正された上限閾値UTH2と下限閾値LTH2が得られる。
さらに、矢印Q43に示すように明るさ情報I(t)の値が変化すると、補正パラメータP(t)による補正の結果、明るさ情報I(t)の変化に応じて補正された上限閾値UTH3と下限閾値LTH3が得られる。
このように補正パラメータP(t)によって2値化に用いる上限閾値と下限閾値を補正する場合、撮像画像の明るさのレベル、つまり例えば明るさ情報が大きい場合には上限閾値と下限閾値が大きくなるように補正が行われる。これに対して、例えば明るさ情報が小さい場合には上限閾値と下限閾値が小さくなるように補正が行われる。
このようにして2値化処理に用いる閾値を補正することで、フリッカにより撮像画像全体の明るさが変化するときでも適切な閾値を用いて撮像画像の2値化を行うことができる。
〈第1の実施の形態の変形例3〉
〈フリッカ補正について〉
さらに、以上においては撮像画像全体に対して1つの明るさ情報を算出し、その明るさ情報を用いて撮像画像全体の明るさを補正する、つまりフリッカ補正を行う例について説明した。しかし、撮像画像に対するフリッカ補正は撮像画像の領域ごとに行われるようにしてもよい。撮像画像の領域ごとにフリッカ補正を行う例は、領域ごとにフリッカの性質が大きく異なる場合などに特に有効である。
例えば図11に示すように図中、左上部分にフリッカの要因となる光源LS11がある撮像画像PC11が得られるとする。そのような場合、例えば撮像画像の領域ごとに補正パラメータP(t)が異なる補正値マップAM11が得られる。
ここで、補正値マップAM11は、撮像画像PC11の各領域の補正パラメータを示すマップであり、補正値マップAM11の各位置における濃淡は、その位置に対応する撮像画像PC11の位置の補正パラメータの値を示している。
この例では、補正値マップAM11は、撮像画像PC11の4×3の合計12個の各領域における補正パラメータを示している。
特に、撮像画像PC11の光源LS11がある領域に対応する領域R31内の各位置の補正パラメータの値は、撮像画像の明るさを低く抑えるような値となっている。
また、例えば領域R31と、その領域R31に隣接する領域R32との境界位置など、互いに隣接する領域の境界位置にある補正パラメータについては、空間方向への急激な補正パラメータの変化を抑制するため、平滑化等が行われるようにしてもよい。
さらに図11に示した例と同様に、例えば図12に示すようにフリッカの要因となる光源が複数ある場合には、それらの光源の位置に応じた補正値マップが得られる。
図12に示す例では、撮像画像PC21上にはフリッカの要因となる4つの光源LS21乃至光源LS24が存在している。このような場合、これらの光源の位置に応じた補正値マップAM21が得られる。
この補正値マップAM21では、例えば光源LS21乃至光源LS23のある領域に対応する領域や、光源LS24のある領域に対応する領域において、補正パラメータは撮像画像の明るさを低く抑えるような値とされていることが分かる。
以上のように撮像画像の領域ごとにフリッカ補正を行う場合、明るさ情報算出部111では撮像画像の領域ごとに明るさ情報が算出され、フリッカ補正値算出部115では撮像画像の領域ごとにフリッカ補正値が算出される。同様に、システムコントローラ26では、撮像画像の領域ごとに補正パラメータが算出される。
また、撮像画像の領域ごとにフリッカ補正を行う場合、それらの領域ごとに、アナログゲインやデジタルゲインによるゲイン調整、シャッタスピードの補正を行うことができる必要がある。
例えば信号処理装置11がイメージセンサからなる場合、複数の画素からなる領域ごとにAD変換部23が設けられた面並列AD変換構成や、画素列ごとにAD変換部23が設けられた画素並列AD変換構成のイメージセンサであれば、領域ごとのフリッカ補正を実現することができる。そのような場合、アナログゲインによるフリッカ補正、デジタルゲインによるフリッカ補正、およびシャッタスピードの補正によるフリッカ補正のうちの任意のものを組み合わせることが可能であり、撮像画像の領域ごとに算出された補正パラメータに基づいて各領域のフリッカ補正が行われる。
〈撮像装置の構成例〉
さらに、本技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に固体撮像素子を用いる複写機など、光電変換部に固体撮像素子(イメージセンサ)を用いる電子機器全般に対して適用可能である。
図13は、本技術を適用した電子機器としての、撮像装置の構成例を示す図である。
図13の撮像装置501は、レンズ群などからなる光学部511、固体撮像素子(撮像デバイス)512、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路513を備える。また、撮像装置501は、フレームメモリ514、表示部515、記録部516、操作部517、および電源部518も備える。DSP回路513、フレームメモリ514、表示部515、記録部516、操作部517および電源部518は、バスライン519を介して相互に接続されている。
光学部511は、被写体からの入射光(像光)を取り込んで固体撮像素子512の撮像面上に結像する。固体撮像素子512は、光学部511によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像素子512は、図3に示した信号処理装置11に対応する。
表示部515は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像素子512で撮像された動画像または静止画像を表示する。記録部516は、固体撮像素子512で撮像された動画像または静止画像を、ビデオテープやDVD(Digital Versatile Disk)等の記録媒体に記録する。
操作部517は、ユーザによる操作の下に、撮像装置501が持つ様々な機能について操作指令を発する。電源部518は、DSP回路513、フレームメモリ514、表示部515、記録部516および操作部517の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
なお、上述した実施形態においては、可視光の光量に応じた信号電荷を物理量として検知する画素が行列状に配置されてなるCMOSイメージセンサに適用した場合を例に挙げて説明した。しかしながら、本技術はCMOSイメージセンサへの適用に限られるものではなく、固体撮像素子全般に対して適用可能である。
<固体撮像素子の使用例>
図14は、上述の固体撮像素子(イメージセンサ)を使用する使用例を示す図である。
上述した固体撮像素子は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮像する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮像する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮像して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮像する肌測定器や、頭皮を撮像するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
<移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図15は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図15に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図15の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図16は、撮像部12031の設置位置の例を示す図である。
図16では、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図16には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。撮像部12031に本開示に係る技術を適用することにより、より少ない演算量で十分高精度にフリッカ補正を行うことができる。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、本技術は、以下の構成とすることも可能である。
(1)
撮像画像の明るさ情報を算出する明るさ情報算出部と、
複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出する明るさ基準算出部と、
前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する補正パラメータ算出部と
を備える信号処理装置。
(2)
前記補正パラメータは、各時刻の前記撮像画像の明るさを補正することにより、フリッカ補正を行うためのものである
(1)に記載の信号処理装置。
(3)
前記明るさ基準算出部は、前記明るさ情報に基づくフィルタ処理により前記明るさ情報を平滑化して前記明るさ基準値を算出する
(1)または(2)に記載の信号処理装置。
(4)
前記明るさ情報算出部は、前記撮像画像の各画素の輝度値の平均値を前記明るさ情報として算出する
(1)乃至(3)の何れか一項に記載の信号処理装置。
(5)
前記補正パラメータは、前記撮像画像のゲインに関する情報である
(1)乃至(4)の何れか一項に記載の信号処理装置。
(6)
複数の時刻の前記明るさ情報に基づいて、前記明るさ情報の予測値を算出するとともに、前記予測値と前記明るさ基準値とに基づいて、前記撮像画像の明るさの補正度合いを示す補正値を算出する補正値算出部をさらに備え、
前記補正パラメータ算出部は、前記補正値に基づいてゲイン調整を行うための前記補正パラメータを算出する
(5)に記載の信号処理装置。
(7)
前記補正値算出部は、前記明るさ情報の変化量に基づいて前記予測値を算出する
(6)に記載の信号処理装置。
(8)
前記補正値算出部は、前記明るさ基準値と前記予測値との比を前記補正値として算出する
(6)または(7)に記載の信号処理装置。
(9)
前記補正値算出部は、処理対象の時刻の前記明るさ情報の前記予測値と、前記処理対象の時刻よりも前の時刻までの前記明るさ情報から算出された前記明るさ基準値とに基づいて前記補正値を算出し、
前記処理対象の時刻におけるアナログの前記撮像画像に対して、前記補正パラメータにより定まるゲインによりゲイン調整を行うアナログゲイン適用部をさらに備える
(6)乃至(8)の何れか一項に記載の信号処理装置。
(10)
処理対象の時刻の前記明るさ情報と、前記処理対象の時刻までの前記明るさ情報が用いられて算出された前記明るさ基準値とに基づいて、前記撮像画像の明るさの補正度合いを示す補正値を算出する補正値算出部をさらに備え、
前記補正パラメータ算出部は、前記補正値に基づいてゲイン調整を行うための前記補正パラメータを算出する
(5)に記載の信号処理装置。
(11)
前記補正値算出部は、前記明るさ基準値と前記明るさ情報との比を前記補正値として算出する
(10)に記載の信号処理装置。
(12)
前記処理対象の時刻におけるデジタルの前記撮像画像に対して、前記補正パラメータにより定まるゲインによりゲイン調整を行うデジタルゲイン適用部をさらに備える
(10)または(11)に記載の信号処理装置。
(13)
前記補正パラメータは、前記撮像画像のシャッタスピードに関する情報である
(1)乃至(4)の何れか一項に記載の信号処理装置。
(14)
前記補正パラメータは、前記撮像画像を2値化するための閾値に関する情報である
(1)乃至(4)の何れか一項に記載の信号処理装置。
(15)
前記補正パラメータは、前記撮像画像のホワイトバランスに関する情報である
(1)乃至(4)の何れか一項に記載の信号処理装置。
(16)
前記補正パラメータ算出部は、前記撮像画像の領域ごとに前記補正パラメータを算出する
(1)乃至(15)の何れか一項に記載の信号処理装置。
(17)
撮像画像の明るさ情報を算出し、
複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出し、
前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する
ステップを含む信号処理方法。
(18)
撮像画像を撮像する撮像部と、
前記撮像画像の明るさ情報を算出する明るさ情報算出部と、
複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出する明るさ基準算出部と、
前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する補正パラメータ算出部と
を備える撮像装置。
11 信号処理装置, 21 画素部, 22 アナログゲイン適用部, 23 AD変換部, 24 デジタル信号処理部, 25 フリッカ補正部, 26 システムコントローラ, 31 デジタルゲイン適用部, 111 明るさ情報算出部, 113 明るさ基準算出部, 114 差分算出部, 115 フリッカ補正値算出部

Claims (18)

  1. 撮像画像の明るさ情報を算出する明るさ情報算出部と、
    複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出する明るさ基準算出部と、
    前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する補正パラメータ算出部と
    を備える信号処理装置。
  2. 前記補正パラメータは、各時刻の前記撮像画像の明るさを補正することにより、フリッカ補正を行うためのものである
    請求項1に記載の信号処理装置。
  3. 前記明るさ基準算出部は、前記明るさ情報に基づくフィルタ処理により前記明るさ情報を平滑化して前記明るさ基準値を算出する
    請求項1に記載の信号処理装置。
  4. 前記明るさ情報算出部は、前記撮像画像の各画素の輝度値の平均値を前記明るさ情報として算出する
    請求項1に記載の信号処理装置。
  5. 前記補正パラメータは、前記撮像画像のゲインに関する情報である
    請求項1に記載の信号処理装置。
  6. 複数の時刻の前記明るさ情報に基づいて、前記明るさ情報の予測値を算出するとともに、前記予測値と前記明るさ基準値とに基づいて、前記撮像画像の明るさの補正度合いを示す補正値を算出する補正値算出部をさらに備え、
    前記補正パラメータ算出部は、前記補正値に基づいてゲイン調整を行うための前記補正パラメータを算出する
    請求項5に記載の信号処理装置。
  7. 前記補正値算出部は、前記明るさ情報の変化量に基づいて前記予測値を算出する
    請求項6に記載の信号処理装置。
  8. 前記補正値算出部は、前記明るさ基準値と前記予測値との比を前記補正値として算出する
    請求項6に記載の信号処理装置。
  9. 前記補正値算出部は、処理対象の時刻の前記明るさ情報の前記予測値と、前記処理対象の時刻よりも前の時刻までの前記明るさ情報から算出された前記明るさ基準値とに基づいて前記補正値を算出し、
    前記処理対象の時刻におけるアナログの前記撮像画像に対して、前記補正パラメータにより定まるゲインによりゲイン調整を行うアナログゲイン適用部をさらに備える
    請求項6に記載の信号処理装置。
  10. 処理対象の時刻の前記明るさ情報と、前記処理対象の時刻までの前記明るさ情報が用いられて算出された前記明るさ基準値とに基づいて、前記撮像画像の明るさの補正度合いを示す補正値を算出する補正値算出部をさらに備え、
    前記補正パラメータ算出部は、前記補正値に基づいてゲイン調整を行うための前記補正パラメータを算出する
    請求項5に記載の信号処理装置。
  11. 前記補正値算出部は、前記明るさ基準値と前記明るさ情報との比を前記補正値として算出する
    請求項10に記載の信号処理装置。
  12. 前記処理対象の時刻におけるデジタルの前記撮像画像に対して、前記補正パラメータにより定まるゲインによりゲイン調整を行うデジタルゲイン適用部をさらに備える
    請求項10に記載の信号処理装置。
  13. 前記補正パラメータは、前記撮像画像のシャッタスピードに関する情報である
    請求項1に記載の信号処理装置。
  14. 前記補正パラメータは、前記撮像画像を2値化するための閾値に関する情報である
    請求項1に記載の信号処理装置。
  15. 前記補正パラメータは、前記撮像画像のホワイトバランスに関する情報である
    請求項1に記載の信号処理装置。
  16. 前記補正パラメータ算出部は、前記撮像画像の領域ごとに前記補正パラメータを算出する
    請求項1に記載の信号処理装置。
  17. 撮像画像の明るさ情報を算出し、
    複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出し、
    前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する
    ステップを含む信号処理方法。
  18. 撮像画像を撮像する撮像部と、
    前記撮像画像の明るさ情報を算出する明るさ情報算出部と、
    複数の時刻における前記明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出する明るさ基準算出部と、
    前記明るさ情報と前記明るさ基準値とに基づいて、前記撮像画像の明るさを補正するための補正パラメータを算出する補正パラメータ算出部と
    を備える撮像装置。
JP2016136211A 2016-07-08 2016-07-08 信号処理装置および方法、並びに撮像装置 Pending JP2018007210A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016136211A JP2018007210A (ja) 2016-07-08 2016-07-08 信号処理装置および方法、並びに撮像装置
PCT/JP2017/023146 WO2018008426A1 (ja) 2016-07-08 2017-06-23 信号処理装置および方法、並びに撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016136211A JP2018007210A (ja) 2016-07-08 2016-07-08 信号処理装置および方法、並びに撮像装置

Publications (1)

Publication Number Publication Date
JP2018007210A true JP2018007210A (ja) 2018-01-11

Family

ID=60901653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016136211A Pending JP2018007210A (ja) 2016-07-08 2016-07-08 信号処理装置および方法、並びに撮像装置

Country Status (2)

Country Link
JP (1) JP2018007210A (ja)
WO (1) WO2018008426A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798626A (zh) * 2019-12-02 2020-02-14 重庆紫光华山智安科技有限公司 一种自动曝光调节方法、系统及设备
KR20200017189A (ko) * 2018-08-08 2020-02-18 (주)로닉스 고휘도 광원 작동에 대한 빠른 응답을 위한 전자식 셔터속도 사전설정 기능을 구비한 카메라 장치 및 제어 방법
US11277570B2 (en) 2018-09-27 2022-03-15 Fujifilm Corporation Imaging element, imaging apparatus, image data processing method, and program
US11533437B2 (en) 2018-08-31 2022-12-20 Fujifilm Corporation Imaging element, imaging apparatus, image data processing method, and program that performs imaging in a first frame rate and outputs data in a second frame rate

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112516590A (zh) * 2019-09-19 2021-03-19 华为技术有限公司 一种帧率识别方法及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347817B2 (ja) * 1993-06-22 2002-11-20 株式会社ビュープラス 画像認識装置
JP3989615B2 (ja) * 1997-06-27 2007-10-10 松下電器産業株式会社 固体撮像装置
JPH11164192A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 撮像方法及び装置
JP2004048616A (ja) * 2002-07-16 2004-02-12 Renesas Technology Corp センサモジュール
JP6041593B2 (ja) * 2012-09-14 2016-12-14 キヤノン株式会社 固体撮像装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017189A (ko) * 2018-08-08 2020-02-18 (주)로닉스 고휘도 광원 작동에 대한 빠른 응답을 위한 전자식 셔터속도 사전설정 기능을 구비한 카메라 장치 및 제어 방법
KR102111670B1 (ko) * 2018-08-08 2020-05-15 (주)로닉스 고휘도 광원 작동에 대한 빠른 응답을 위한 전자식 셔터속도 사전설정 기능을 구비한 카메라 장치 및 제어 방법
US11533437B2 (en) 2018-08-31 2022-12-20 Fujifilm Corporation Imaging element, imaging apparatus, image data processing method, and program that performs imaging in a first frame rate and outputs data in a second frame rate
US11792519B2 (en) 2018-08-31 2023-10-17 Fujifilm Corporation Imaging element, imaging apparatus, image data processing method, and program that performs imaging in a first frame rate and outputs data in a second frame rate
US11277570B2 (en) 2018-09-27 2022-03-15 Fujifilm Corporation Imaging element, imaging apparatus, image data processing method, and program
CN110798626A (zh) * 2019-12-02 2020-02-14 重庆紫光华山智安科技有限公司 一种自动曝光调节方法、系统及设备
CN110798626B (zh) * 2019-12-02 2020-07-28 重庆紫光华山智安科技有限公司 一种自动曝光调节方法、系统及设备

Also Published As

Publication number Publication date
WO2018008426A1 (ja) 2018-01-11

Similar Documents

Publication Publication Date Title
TWI814804B (zh) 距離測量處理設備,距離測量模組,距離測量處理方法及程式
US20200191565A1 (en) Distance measuring device and method of controlling distance measuring device
WO2018008426A1 (ja) 信号処理装置および方法、並びに撮像装置
US11082626B2 (en) Image processing device, imaging device, and image processing method
US11297268B2 (en) Solid-state imaging element, imaging apparatus, and method of controlling solid-state imaging element
JP2020136958A (ja) イベント信号検出センサ及び制御方法
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US10771711B2 (en) Imaging apparatus and imaging method for control of exposure amounts of images to calculate a characteristic amount of a subject
WO2018207666A1 (ja) 撮像素子及びその駆動方法、並びに、電子機器
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021079789A1 (ja) 測距装置
JP2018098613A (ja) 撮像装置、および、撮像装置の制御方法
JP7030607B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2021177045A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2021246194A1 (ja) 信号処理装置、信号処理方法、および検出センサ
WO2020209079A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021010174A1 (ja) 受光装置、および、受光装置の駆動方法
WO2020153272A1 (ja) 測定装置、測距装置および測定方法
WO2022004441A1 (ja) 測距装置および測距方法
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US20210217146A1 (en) Image processing apparatus and image processing method
WO2020203331A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム