JP2017220879A - 信号処理装置、信号処理方法、及び、撮像装置 - Google Patents

信号処理装置、信号処理方法、及び、撮像装置 Download PDF

Info

Publication number
JP2017220879A
JP2017220879A JP2016115986A JP2016115986A JP2017220879A JP 2017220879 A JP2017220879 A JP 2017220879A JP 2016115986 A JP2016115986 A JP 2016115986A JP 2016115986 A JP2016115986 A JP 2016115986A JP 2017220879 A JP2017220879 A JP 2017220879A
Authority
JP
Japan
Prior art keywords
detection
flicker
unit
frame
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016115986A
Other languages
English (en)
Inventor
堀江　陽介
Yosuke Horie
陽介 堀江
亮 広野
Akira Hirono
亮 広野
幹道 渡壁
Masamichi WATAKABE
幹道 渡壁
大吾 柳
Daigo Yanagi
大吾 柳
健 赤羽
Takeshi Akabane
健 赤羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2016115986A priority Critical patent/JP2017220879A/ja
Priority to PCT/JP2017/018078 priority patent/WO2017212870A1/ja
Publication of JP2017220879A publication Critical patent/JP2017220879A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Picture Signal Circuits (AREA)

Abstract

【課題】１画面内のフリッカ縞が発生しない場合であっても、フリッカの発生を検出することができるようにする。
【解決手段】本開示の信号処理装置は、撮像画面を垂直走査向に分割して設定した複数の検波枠について、撮像信号に基づいて検波枠毎に各画素の輝度を検波する輝度検波部、輝度検波部で得られる輝度検波値を複数フレーム分用いてフリッカ成分について各検波枠のフレーム周期性を検出する周期検出部、及び、周期検出部によるフレーム周期性の検出結果に基づいて、フリッカの有無を判定する判定部、を備える。
【選択図】 図５

Description

本開示は、信号処理装置、信号処理方法、及び、撮像装置に関する。
イメージセンサと呼称される撮像素子を備える撮像装置では、明るさが周期的に変動する光源環境下で撮影を行うと、その撮像信号に基づく表示画面上に、垂直走査方向に周期的な輝度の変動が現れる。この周期的な輝度の変動は、表示画面上において、所謂、横縞（フリッカ縞）として視認されることになるため、撮影した画像の画質劣化を引き起こす一因となる。
このフリッカ（フリッカ縞）に起因する画質劣化を抑えるためには、フリッカの発生を検出することが必要になる。従来は、撮像素子における撮像信号の読み出し時間と、明るさが周期的に変動する光源の明滅周期によって生じる１画面内（１撮像フレーム内）のフリッカ縞の周期を検出することによってフリッカの発生を検出するようにしていた（例えば、特許文献１参照）。
特開２００３−１８９１２９号公報
上述したように、特許文献１に記載の従来技術に係るフリッカ検出は、１画面内（１撮像フレーム内）のフリッカ縞の周期を検出するものであった。そのため、１画面内のフリッカ縞が発生しない場合には、特許文献１に記載の従来技術では、フリッカの発生を検出することはできない。
そこで、本開示は、１画面内のフリッカ縞が発生しない場合であっても、フリッカの発生を検出することができる信号処理装置、信号処理方法、及び、撮像装置を提供することを目的とする。
上記の目的を達成するための本開示の信号処理装置は、
撮像画面を垂直走査向に分割して設定した複数の検波枠について、撮像信号に基づいて検波枠毎に各画素の輝度を検波する輝度検波部、
輝度検波部で得られる輝度検波値を複数フレーム分用いてフリッカ成分について各検波枠のフレーム周期性を検出する周期検出部、及び、
周期検出部によるフレーム周期性の検出結果に基づいて、フリッカの有無を判定する判定部、
を備える。
上記の目的を達成するための本開示の信号処理方法は、
撮像画面を垂直走査向に分割して設定した複数の検波枠について、撮像信号に基づいて検波枠毎に各画素の輝度を検波し、
その輝度検波値を複数フレーム分用いてフリッカ成分について各検波枠のフレーム周期性を検出し、
フレーム周期性の検出結果に基づいて、フリッカの有無を判定する。
上記の目的を達成するための本開示の撮像装置は、
撮像画素部、及び、
撮像画素部から出力される撮像信号を処理する信号処理回路、
を備えており、
信号処理回路は、
撮像画面を垂直走査向に分割して設定した複数の検波枠について、撮像信号に基づいて検波枠毎に各画素の輝度を検波する輝度検波部、
輝度検波部で得られる輝度検波値を複数フレーム分用いてフリッカ成分について各検波枠のフレーム周期性を検出する周期検出部、及び、
周期検出部によるフレーム周期性の検出結果に基づいて、フリッカの有無を判定する判定部を有する。
上記の構成の信号処理装置、信号処理方法、あるいは、撮像装置において、複数の検波枠について、検波枠毎に各画素の輝度を検波して得た輝度検波値を複数フレーム分用いることで、フリッカ成分について各検波枠のフレーム周期性を検出することができる。そして、フレーム周期性の検出結果から、フリッカ成分の有無を判定することができる。
本開示によれば、フリッカ成分について各検波枠のフレーム周期性を検出し、その検出結果からフリッカ成分の有無を判定することで、１画面内のフリッカ縞が発生しない場合であっても、フリッカの発生を検出することができる。
尚、ここに記載された効果に必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。また、本明細書に記載された効果はあくまで例示であって、これに限定されるものではなく、また付加的な効果があってもよい。
図１Ａは、ローリングシャッタ方式の動作の概念図であり、図１Ｂは、画素駆動のフレームレート、光源周波数、及び、フリッカ周期の関係についての説明図である。 図２は、積層構造の撮像素子の構成の概略を分解斜視図である。 図３は、撮像画素部の構成の一例を示す回路図である。 図４Ａは、疑似グローバルシャッタ方式の動作の概念図であり、図４Ｂは、グローバルシャッタ方式の動作の概念図である。 図５は、本開示の第１実施形態に係る信号処理装置の構成の一例を示すブロック図である。 図６は、周期検出部を構成するＮフレーム周期フリッカ検出器の構成の一例を示すブロック図である。 図７は、正規化処理についての説明図である。 図８は、Ｎフレーム高周波検出処理部におけるＮフレーム周期性検出の処理の流れを示すフローチャートである。 図９は、画面比率判定部における画面比率判定の処理の流れを示すフローチャートである。 図１０は、Ｍ＝８、バラつき除去判定閾値＝５の場合のバラつき除去の処理例を示す図である。 図１１は、本開示の第２実施形態に係る信号処理装置の構成の一例を示すブロック図である。 図１２は、本開示の撮像装置のシステム構成の一例を示すブロック図である。
以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の信号処理装置、信号処理方法、及び、撮像装置、全般に関する説明
２．フリッカについて
３．積層構造の撮像素子について
４．疑似グローバルシャッタ方式について
５．第１実施形態
５−１．システム構成
５−２．Ｎフレーム周期フリッカ検出器
５−２−１．正規化処理
５−２−２．Ｎフレーム高周波検出
５−２−３．Ｎフレーム周期性検出
５−２−４．画面比率判定
５−２−５．バラつき除去（チャタリング除去）
６．第２実施形態
７．本開示の撮像装置
８．変形例
９．本開示の構成
＜本開示の信号処理装置、信号処理方法、及び、撮像装置、全般に関する説明＞
本開示の信号処理装置、信号処理方法、及び、撮像装置にあっては、輝度検波値について、検波枠毎に各画素の輝度情報を積算した輝度積分値、又は、当該輝度積分値を１画素単位で平均化した輝度平均値である構成とすることができる。
上述した好ましい構成を含む本開示の信号処理装置、信号処理方法、及び、撮像装置にあっては、複数フレームを、注目フレームを含む過去Ｎフレーム（Ｎは、撮像素子の駆動周波数及び光源の明滅周波数で決まる値）とすることができる。そして、周期検出部について、Ｎフレームの輝度検波値における最大値及び最小値を求め、最大値及び最小値の差分により正規化処理を行い、フリッカ成分について各検波枠のフレーム周期性を評価する構成とすることができる。その際に、Ｎフレームの輝度検波値における最大値及び最小値の差分が所定の最小振幅閾値を下回る場合、フレーム周期性の評価値を０とすることが好ましい。
更に、上述した好ましい構成を含む本開示の信号処理装置、信号処理方法、及び、撮像装置にあっては、周期検出部について、高周波検出処理部及び周期性検出処理部を有する構成とすることができる。高周波検出処理部は、Ｎフレーム中に高周波成分が存在するか否かを検出する。周期性検出処理部は、Ｎフレーム間の輝度検波値の差分に基づいて、Ｎフレーム中のフリッカ成分のフレーム単位での周期性を検出する。
更に、上述した好ましい構成を含む本開示の信号処理装置、信号処理方法、及び、撮像装置にあっては、周期検出部について、高周波検出処理部及び周期性検出処理部の各検出結果を基に、Ｎフレーム中に高周波成分が存在し、かつフリッカ成分がフレーム単位で周期性を持つとき、Ｎフレーム周期のフリッカ成分を検出する構成とすることができる。
更に、上述した好ましい構成を含む本開示の信号処理装置、信号処理方法、及び、撮像装置にあっては、高周波検出処理部について、輝度検波値を離散フーリエ変換し、得られた周波数情報から撮像信号に高周波成分が存在するか否かによってフリッカ成分の有無を判断する構成とすることができる。また、周期性検出処理部について、Ｎフレーム間の輝度検波値の差分が所定の周期性判定閾値よりも小さい場合に、Ｎフレーム中のフリッカ成分のフレーム単位での周期性有りと判定する構成とすることができる。
更に、上述した好ましい構成を含む本開示の信号処理装置、信号処理方法、及び、撮像装置にあっては、判定部について、周期検出部による各検波枠のフレーム周期性の検出結果を基に、画面全体としてのフリッカの有無を判定する構成とすることができる。また、判定部について、周期検出部による各検波枠のフレーム周期性の検出結果をカウントし、そのカウント合計を総検波枠数で除算してフリッカ検出比率を算出し、当該フリッカ検出比率を所定の面積比率判定閾値と比較することによってフリッカの有無を判定する構成とすることができる。
更に、上述した好ましい構成を含む本開示の信号処理装置、信号処理方法、及び、撮像装置にあっては、判定部による各フレームにおけるフリッカの有無の判定結果を蓄積し、判定結果のバラつきを除去して最終判定結果とするバラつき除去部を備える構成とすることができる。そして、バラつき除去部について、判定部による過去Ｍフレーム分の判定結果を蓄積し、フリッカ有りの判定回数が所定のバラつき除去判定閾値以上の場合に最終判定結果をフリッカ有りとする構成とすることができる。
更に、上述した好ましい構成を含む本開示の信号処理装置、信号処理方法、及び、撮像装置にあっては、１つの画素について、信号電荷を長時間蓄積して得られる長時間蓄積撮像信号と、信号電荷を短時間蓄積して得られる短時間蓄積撮像信号とが輝度検波部に入力される構成とすることができる。このとき、輝度検波部について、長時間蓄積撮像信号及び短時間蓄積撮像信号のそれぞれについて検波枠毎に各画素の輝度を検波し、その輝度検波値を周期検出部に与える構成とすることができる。
あるいは又、本開示の撮像装置にあっては、撮像画素部について、ＣＭＯＳセンサから成る構成とすることができる。また、撮像画素部が形成された画素基板、及び、信号処理回路が形成された回路基板が積層されており、画素基板と回路基板との間には、撮像画素部から出力される撮像信号を一旦格納するメモリ部が形成された基板が設けられている構成とすることができる。
更に、上述した好ましい構成を含む本開示の撮像装置にあっては、明るさが周期的に変動する光源環境下において、ローリングシャッタ方式での読み出し時間よりも短い読み出し時間で撮像画素部からメモリ部へ撮像信号を読み出す構成とすることができる。このとき、光源の明滅周期よりも短い読み出し時間で撮像画素部からメモリ部へ撮像信号を読み出すことが好ましい。また、撮像画素部からは、１つの画素について、信号電荷を長時間蓄積して得られる長時間蓄積撮像信号と、信号電荷を短時間蓄積して得られる短時間蓄積撮像信号とを信号処理回路に供給する構成とすることができる。
＜フリッカについて＞
先ず、撮影した画像の画質劣化を引き起こす一因となるフリッカについて説明する。ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサに代表されるＸ−Ｙアドレス型撮像素子では、シャッタ方式として、一般的に、１ライン（水平ライン）から数ラインを１つのブロックにして、このブロック毎に撮像信号を取得するローリングシャッタ方式が採用されている。ローリングシャッタ方式の動作の概念図を図１Ａに示す。図１Ａにおいて、実線が露光開始時刻を示し、破線が撮像信号の読み出し開始時刻を示し、網掛け領域が露光時間を示している。
ローリングシャッタ方式の撮像素子では、明るさが周期的に変動する光源環境下で撮影を行うと、その撮像信号に基づく表示画面上に、垂直走査方向（画素行の配列方向）に周期的な輝度の変動が横縞（フリッカ縞）として視認されるフリッカが発生する。例えば、周波数が５０Ｈｚの商用電源で蛍光灯等の光源を点灯させた場合、電源周波数の２倍の周波数、即ち、１００Ｈｚで明るさが周期的に変動する（明滅する）。
上記の光源環境下において、例えば撮影フレームの周期が１／３０秒（３０ｆｐｓ）の場合、３フレーム周期で光源の明るさの位相が揃うため、３フレーム周期毎に各フレームの輝度が変動する。また、ローリングシャッタ方式の撮像素子では、図１に示すように、ライン単位で露光開始時刻（信号電荷の蓄積開始時刻）が異なるため、表示画面上に、垂直走査方向に周期的な輝度の変動として現れ、フリッカ縞として視認される。
フレームレート、光源周波数、及び、フリッカ周期の関係を図１Ｂに示す。具体的には、５０Ｈｚの光源環境下では、フレームレートが１５ｆｐｓ、３０ｆｐｓ、６０ｆｐｓの場合に、フリッカ周期が３フレーム周期となる。また、６０Ｈｚの光源環境下では、フレームレートが１２．５ｆｐｓ、２５ｆｐｓ、５０ｆｐｓの場合に、フリッカ周期が５フレーム周期となる。
上述したように、ローリングシャッタ方式の撮像素子では、撮像信号の読み出し時間と光源の明滅周期によって、１画面内（１撮像フレーム内）に水平ライン単位でフリッカ縞（以下、「面内ラインフリッカ」と記述する場合がある）が発生する。従って、面内ラインフリッカの周期を検出することによってフリッカの発生を検出することができる。しかし、このフリッカ検出の技術では、面内ラインフリッカが発生しない撮像素子の場合は、フリッカの発生を検出することはできない。
＜積層構造の撮像素子について＞
面内ラインフリッカが発生しない撮像素子として、積層構造の撮像素子を例示することができる。但し、積層構造の撮像素子に限定するものではない。積層構造の撮像素子の構成の概略を図２に示す。
本例に係る積層構造の撮像素子１０は、少なくとも３枚の半導体基板（半導体チップ）１１，１２，１３が積層される構成となっている。１層目の半導体基板１１は、撮像画素部２１が形成された画素基板となっている。具体的には、半導体基板１１には、光電変換素子や種々の画素トランジスタを含む画素が行列状に配列されて成る撮像画素部２１が構成されている。撮像画素部２１の構成の詳細については後述する。
２層目の半導体基板１２は、１層目の半導体基板１１の撮像画素部２１から出力されるアナログの撮像信号を一旦格納するメモリ部２２が形成されたメモリ基板となっている。撮像信号を一旦格納するメモリ部２２としては、例えば、高速、低パワーの大容量メモリを用いることが好ましい。
３層目の半導体基板１３は、Ａ（アナログ）／Ｄ（デジタル）変換部２３やロジック回路２４等の信号処理部が形成された回路基板となっている。Ａ／Ｄ変換部２３は、２層目の半導体基板１２のメモリ部２２から読み出されるアナログの撮像信号をデジタルの撮像信号に変換する。ロジック回路２４は、デジタルの撮像信号に対して種々の信号処理を行う。
Ａ／Ｄ変換部２３は、周知のＡ／Ｄ変換部とすることができる。具体的には、Ａ／Ｄ変換部２３として、シングルスロープ型Ａ／Ｄ変換部、逐次比較型Ａ／Ｄ変換部、又は、デルタ−シグマ変調型（ΔΣ変調型）Ａ／Ｄ変換部を例示することができる。但し、Ａ／Ｄ変換部２３は、これらに限定されるものではない。
上述したように、少なくとも３枚の半導体基板１１，１２，１３が積層されて成る積層構造の撮像素子１０は、１層目の半導体基板１１として撮像画素部２１を形成できるだけの大きさ（面積）のもので済む。従って、１層目の半導体基板１１のサイズ（面積）、ひいては、チップ全体のサイズを小さくできる。更に、１層目の半導体基板１１には画素の作成に適したプロセスを、２層目、３層目の半導体基板１２，１３には回路の作成に適したプロセスをそれぞれ適用できるため、撮像素子１０の製造に当たって、プロセスの最適化を図ることができるメリットもある。
また、上記の撮像素子１０において、撮像画素部２１から読み出された撮像信号は、Ａ／Ｄ変換部２３でデジタルデータに変換された後、メモリコントローラ（図示せず）による制御の下に、高速にメモリ部２２に書き込まれる。そして、メモリ部２２に書き込まれデジタルデータは、メモリコントローラによる制御の下に、低速にロジック回路２４等の信号処理部へ読み出される。これにより、撮像画素部２１からメモリ部２２へ撮像信号を一瞬で読み出し、メモリ部２２からゆっくり読み出して信号処理を行うことで、歪みの少ない高画質の画像を得ることができる。
ここで、撮像画素部２１の構成について、具体例を挙げて説明する。撮像画素部２１の構成の一例を図３に示す。本例に係る撮像画素部２１は、光電変換素子や種々の画素トランジスタを含む画素３０が、行方向及び列方向に２次元マトリクス状に配列されて成るＣＭＯＳセンサとして構成されている。
画素３０は、光電変換素子として、例えばフォトダイオード３１を有し、画素トランジスタとして、例えば、転送トランジスタ３２、リセットトランジスタ３３、増幅トランジスタ３４、及び、選択トランジスタ３５の４つのトランジスタを有している。
ここでは、４つの画素トランジスタ３２〜３５として、例えばＮチャネルのトランジスタを用いている。但し、ここで例示した転送トランジスタ３２、リセットトランジスタ３３、増幅トランジスタ３４、及び、選択トランジスタ３５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。すなわち、必要に応じて、Ｐチャネルのトランジスタを用いる組み合わせとすることができる。
画素３０に対して、当該画素３０を駆動する駆動信号である転送信号ＴＲＧ、リセット信号ＲＳＴ、及び、選択信号ＳＥＬが行選択部（図示せず）から適宜与えられる。すなわち、転送信号ＴＲＧが転送トランジスタ３２のゲート電極に、リセット信号ＲＳＴがリセットトランジスタ３３のゲート電極に、選択信号ＳＥＬが選択トランジスタ３５のゲート電極にそれぞれ印加される。
フォトダイオード３１は、アノード電極が低電位側電源(例えば、グランド)に接続されており、受光した光（入射光）をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード３１のカソード電極は、転送トランジスタ３２を介して増幅トランジスタ３４のゲート電極と電気的に接続されている。増幅トランジスタ３４のゲート電極と電気的に繋がったノードがフローティングディフュージョン（浮遊拡散領域）３６である。
転送トランジスタ３２は、フォトダイオード３１のカソード電極とフローティングディフュージョン３６との間に接続されている。転送トランジスタ３２のゲート電極には、高レベル（例えば、ＶDDレベル）の転送信号ＴＲＧが与えられる。この転送信号ＴＲＧに応答して、転送トランジスタ３２が導通状態となり、フォトダイオード３１で光電変換された光電荷をフローティングディフュージョン３６に転送する。
リセットトランジスタ３３は、ドレイン電極が画素電源ＶDDに、ソース電極がフローティングディフュージョン３６にそれぞれ接続されている。リセットトランジスタ３３のゲート電極には、高レベルのリセット信号ＲＳＴが与えられる。このリセット信号ＲＳＴに応答して、リセットトランジスタ３３が導通状態となり、フローティングディフュージョン３６をリセットする。
増幅トランジスタ３４は、ゲート電極がフローティングディフュージョン３６に、ドレイン電極が画素電源ＶDDにそれぞれ接続されている。そして、増幅トランジスタ３４は、リセットトランジスタ３３によってリセットされた後のフローティングディフュージョン３６の電位をリセット信号（リセットレベル）として出力する。増幅トランジスタ３４は更に、転送トランジスタ３２によって信号電荷が転送された後のフローティングディフュージョン３６の電位を光蓄積信号（信号レベル）として出力する。
選択トランジスタ３５は、例えば、ドレイン電極が増幅トランジスタ３４のソース電極に、ソース電極が信号線２５にそれぞれ接続されている。選択トランジスタ３５のゲート電極には、高レベルの選択信号ＳＥＬが与えられる。この選択信号ＳＥＬに応答して、選択トランジスタ３５が導通状態となり、画素３０を選択状態として増幅トランジスタ３４から出力される信号を信号線２５に読み出す。
尚、ここでは、選択トランジスタ３５について、増幅トランジスタ３４のソース電極と信号線２５との間に接続する回路構成を例示したが、画素電源ＶDDと増幅トランジスタ３４のドレイン電極との間に接続する回路構成を採ることも可能である。
また、画素３０としては、上記の４つのトランジスタ３２〜３５から成る画素構成のものに限られるものではない。例えば、増幅トランジスタ３４に選択トランジスタ３５の機能を持たせた３つのトランジスタから成る画素構成や、複数の光電変換素子間（画素間）で、フローティングディフュージョン３６以降のトランジスタを共用する画素構成などであっても良く、その画素回路の構成は問わない。
＜疑似グローバルシャッタ方式について＞
上述した積層構造の撮像素子１０において、撮像画素部２１からメモリ部２２への撮像信号の高速読み出しは、先述したローリングシャッタ方式での読み出し時間よりも短い読み出し時間、例えば、明るさが周期的に変動する光源環境下において、光源の明滅周期よりも短い時間で行うことになる。そして、ローリングシャッタを高速に行うことにより、疑似的にグローバルシャッタの特性に近づける。従って、本明細書においては、ローリングシャッタ方式での読み出し時間よりも短い読み出し時間、即ち、ローリングシャッタ方式よりも高速で撮像信号を読み出すシャッタ方式を、疑似グローバルシャッタ方式と呼ぶこととする。
疑似グローバルシャッタ方式の動作の概念図を図４Ａに示す。この疑似グローバルシャッタ方式にて撮像画素部２１からメモリ部２２へ撮像信号を高速で読み出す撮像素子１０の場合、面内ラインフリッカは発生せず、１画面（１撮像フレーム）単位で明滅するフリッカ（以下、「面フリッカ」と記述する場合がある）が発生する。この面フリッカが発生する疑似グローバルシャッタ方式の場合、面内ラインフリッカが発生するローリングシャッタ方式を対象としたフリッカの検出方式ではフリッカの検出が困難である。
因みに、一般的に、ＣＣＤ(Charge Coupled Device)イメージセンサに代表される電荷転送型撮像素子で採用されるグローバルシャッタ方式の動作の概念図を図４Ｂに示す。このグローバルシャッタ方式の場合にも、面内ラインフリッカは発生せず、１画面単位で明滅する面フリッカが発生する。具体的には、グローバルシャッタ方式では、撮像素子の駆動周波数と光源の明滅周波数の組み合わせにより、高周波で明滅するフリッカ画像が得られる。
一例として、撮像素子の駆動周波数が６０Ｈｚ、光源の明滅周波数が５０Ｈｚのとき、３フレーム周期のフリッカ画像が得られる。この性質を利用し、グローバルシャッタ方式では、撮像画面を垂直走査向に分割して複数の検波枠を設定し、各検波枠の輝度検波値を用いて、波の数及び間隔を理論計算値と比較することにより、フリッカの検出を行っていた。
疑似グローバルシャッタ方式では、グローバルシャッタ方式と同様に、１画面単位で明滅する面フリッカが発生するものの、画面上にある程度の輝度差が生じる。よって、撮像画面全体で見た場合、規則的な明滅が発生しないため、グローバルシャッタ方式を対象とした検出方式を用いて、疑似グローバルシャッタ方式で発生するフリッカの周期性を精度よく検出することは困難である。
そこで、本開示では、ＣＭＯＳイメージセンサに代表されるＸ−Ｙアドレス型撮像素子、例えば積層構造の撮像素子において、面内ラインフリッカが発生せず、面フリッカが発生する場合であっても、フリッカの周期性を精度よく検出することができる技術を提案する。但し、本開示の技術は、積層構造の撮像素子への適用に限るものではなく、また、ＣＣＤイメージセンサに代表される電荷転送型撮像素子への適用を排除するものではない。以下に、本開示の技術の具体的な実施形態について説明する。
＜第１実施形態＞
図５は、本開示の第１実施形態に係る信号処理装置（信号処理回路）の構成の一例を示すブロック図である。本実施形態では、撮像画素部２１の撮像領域（画素領域）に対応する撮像画面４０を、垂直走査向（画素行／水平ラインに直交する方向）に分割して複数の検波枠４１1〜４１6を設定することとする。設定する検波枠数は任意であるが、ここでは、図面の簡略化のために６個としている。実際には、１６個や３２個など、多くの検波枠数を設定することが好ましい。
［システム構成］
図５に示すように、本実施形態に係る信号処理装置５０は、輝度検波部５１、周期検出部５２、画面比率判定部５３、及び、バラつき除去部５４から構成されており、撮像画面４０の各検出枠の輝度検波値を複数フレーム分用いてフリッカのフレーム周期の検出を行う。そして、各検波枠４１1〜４１6より得られた検出結果を基に画面全体としてフリッカが発生しているか否かの判定を行う。好ましくは、その判定結果をフレーム単位で蓄積を行い、判定結果のバラつきを除去し、最終の判定結果とする。
輝度検波部５１は、撮像画面４０の例えば６個の検波枠４１1〜４１6に対応して６個の輝度検波器５１1〜５１6から成り、６個の輝度検波器５１1〜５１6について、撮像信号に基づいて検波枠毎に各画素３０の輝度を検波する。より具体的には、輝度検波部５１は、検波枠４１1〜４１6毎の輝度検波値の変化が、グローバルシャッタ方式と同等の周期変化となるように各画素３０の輝度を検波する。輝度検波値は、検波枠４１1〜４１6毎に各画素３０の輝度情報を積算した輝度積分値であってもよいし、当該輝度積分値を１画素単位で平均化した輝度平均値であってもよい。
周期検出部５２は、６個の輝度検波器５１1〜５１6に対応した６個のＮフレーム周期フリッカ検出器５２1〜５２6から成り、複数フレーム分用いてフリッカ成分について各検波枠４１1〜４１6のフレーム単位での周期性（もしくは、高周波）の検出処理を行う。この検出処理を行うことにより、フリッカの発生を検出することができる。ここで、複数フレームは、注目フレームを含む過去Ｎフレームである。Ｎは、撮像素子の駆動周波数及び光源の明滅周波数で決まる値である。周期検出部５２の詳細については後述する。
画面比率判定部５３は、周期検出部５２によるフレーム単位での周期性（もしくは、高周波）の検出結果に基づいて、撮像画面４０全体としてのフリッカの有無を判定する。バラつき除去部５４は、画面比率判定部５３による各フレームにおけるフリッカ成分の有無の判定結果を蓄積し、判定結果のバラつきを除去して最終判定結果とする。画面比率判定部５３及びバラつき除去部５４の詳細については後述する。
［Ｎフレーム周期フリッカ検出器］
周期検出部５２を構成するＮフレーム周期フリッカ検出器５２1〜５２6の構成の一例を図６に示す。明るさが周期的に変動する光源環境下において、グローバルシャッタ方式の撮像素子で被写体を撮像すると、撮像画像（出力画像）としては、高周波で、かつフレーム単位で周期性を持つ輝度変化が見られる。
Ｎフレーム周期フリッカ検出器５２1〜５２6は、高周波で、かつフレーム単位で周期性を持つという特性を利用し、高周波検出及びフレーム単位での周期性検出を行い、Ｎフレーム周期のフリッカ成分の有無を判定する。具体的には、Ｎフレーム周期フリッカ検出器５２1〜５２6は、正規化処理部５１１、Ｎフレーム高周波検出処理部５１２、Ｎフレーム周期性検出処理部５１３、及び、論理積部５１４から構成されている。ここでは、輝度検波値として、輝度平均値を用いる場合を例に挙げて説明するが、輝度積分値を用いる場合も同様である。
（正規化処理）
正規化処理部５１１は、図７に示すように、注目フレームを含む過去Ｎフレームの輝度検波値における最大値Ｍａｘ及び最小値Ｍｉｎを求める。ここでは、Ｎ＝３の場合、即ち、撮像素子の駆動周波数が６０Ｈｚ、光源の明滅周波数が５０Ｈｚの場合を例示している。正規化処理部５１１は、最大値Ｍａｘ及び最小値Ｍｉｎを求めたら、最大値Ｍａｘ及び最小値Ｍｉｎの差分（Ｍａｘ−Ｍｉｎ）により正規化処理を行い、フリッカ成分について各検波枠４１1〜４１6のフレーム周期性を評価する。この正規化処理により、例えば露光時間が長い場合など、フリッカによる明滅が微少な場合であっても、フリッカの周期性を精度よく検出することができる。
但し、正規化処理部５１１は、Ｎフレームの輝度検波値における最大値Ｍａｘ及び最小値Ｍｉｎの差分（Ｍａｘ−Ｍｉｎ）が所定の最小振幅閾値を下回る場合、フリッカによる輝度の明滅ではないと判断し、フレーム周期性の評価値を０とする。これにより、フリッカ起因ではない輝度の明滅を除外することができるため、フリッカの周期性をより精度よく検出することができる。
正規化処理部５１１による正規化処理における注目フレームｉの評価式を次式（１）に示す。
Figure 2017220879
式（１）において、Ｘは注目フレームｉの輝度検波値を表し、Ｍａｘは過去Ｎフレームにおける輝度検波値の最大値を表している。また、Ｍｉｎは過去Ｎフレームにおける輝度検波値の最小値を表し、ａは基準振幅係数を表している。
（Ｎフレーム高周波検出）
Ｎフレーム高周波検出処理部５１２は、輝度検波部５１から取得した輝度平均値（又は、輝度積分値）を、Ｎポイント離散フーリエ変換（Discrete Fourier Transform；ＤＦＴ）し、得られた周波数情報からＮフレーム中に高周波成分が存在するか否かによって、フリッカ成分の有無を判断する。
離散フーリエ変換の一般式を次式（２）に示す。
Figure 2017220879
式（２）をｍ＝１の場合について展開し、フレーム数Ｎで正規化したものに対して、絶対値の自乗をとると、次式（３）となる。
Figure 2017220879
Ｎフレーム高周波検出処理部５１２は、（３）式の結果を、Ｎフレーム中に高周波成分が存在するか否かの評価値とする。そして、Ｎフレーム高周波検出処理部５１２は、（３）式の結果（評価値）が所定の高周波判定閾値よりも大きい場合に、Ｎフレーム中に高周波成分が存在し、その検波枠内でフリッカ成分有りと判断する。
（Ｎフレーム周期性検出）
Ｎフレーム高周波検出処理部５１２では、離散フーリエ変換によって高周波の明滅を検出できるものの、フリッカ成分のフレーム単位での周期性については考慮していない。そのため、被写体の変化をフリッカであると誤検出する懸念がある。そこで、Ｎフレーム周期性検出処理部５１３が設けられている。Ｎフレーム周期性検出処理部５１３は、Ｎフレーム間の輝度検波値の差分が所定の周期性判定閾値よりも小さい場合に、Ｎフレーム中のフリッカ成分のフレーム単位での周期性有りと判定する。
Ｎフレーム周期性検出処理部５１３におけるＮフレーム周期性検出の処理の流れを図８に示す。Ｎフレーム周期性検出処理部５１３は、Ｎフレーム間の輝度検波値の差分を検出し（ステップＳ１１）、次いで、そのＮフレーム間差分が所定の周期性判定閾値よりも小さいか否かを判定する（ステップＳ１２）。
そして、Ｎフレーム周期性検出処理部５１３は、Ｎフレーム間差分が所定の周期性判定閾値よりも小さい場合には（Ｓ１２ＹＥＳ）、周期性判定結果を周期性有り（ｔｒｕｅ）とする（ステップＳ１３）。また、Ｎフレーム高周波検出処理部５１２は、Ｎフレーム間差分が所定の周期性判定閾値以上の場合には（Ｓ１２のＮＯ）、周期性判定結果を周期性無し（ｆａｌｓｅ）とする（ステップＳ１４）。
論理積部５１４は、Ｎフレーム高周波検出処理部５１２及びＮフレーム周期性検出処理部５１３の各検出結果の論理積をとる。これにより、周期検出部５２は、Ｎフレーム高周波検出処理部５１２及びＮフレーム周期性検出処理部５１３の各検出結果を基に、Ｎフレーム中に高周波成分が存在し、かつフリッカ成分がフレーム単位で周期性を持つとき、Ｎフレーム周期のフリッカ成分を検出することになる。
（画面比率判定）
画面比率判定部５３は、周期検出部５２による各検波枠４１1〜４１6のフレーム周期性の検出結果を基に、撮像画面４０全体としてのフリッカの有無を判定する。より具体的には、画面比率判定部５３は、周期検出部５２による各検波枠４１1〜４１6のフレーム周期性の検出結果をカウントし、そのカウント合計を総検波枠数で除算してフリッカ検出比率を算出し、当該フリッカ検出比率を所定の面積比率判定閾値と比較することによってフリッカの有無を判定する。
画面比率判定部５３における画面比率判定の処理の流れを図９に示す。画面比率判定部５３は、先ず、フリッカ検出枠数を算出する（ステップＳ２１）。フリッカ検出枠数は、（フリッカ検出枠数）＝Σ（各検波枠４１1〜４１6の検出結果）として算出することができる。次に、画面比率判定部５３は、フリッカ検出比率を算出する（ステップＳ２２）。フリッカ検出比率は、（フリッカ検出比率）＝（フリッカ検出枠数）／（総検出枠数）として算出することができる。
次に、画面比率判定部５３は、フリッカ検出比率が所定の面積比率判定閾値を超えるか否かを判定し（ステップＳ２３）、フリッカ検出比率＞面積比率判定閾値の場合には（Ｓ２３のＹＥＳ）、フリッカ検出結果をフリッカ有り（ｔｒｕｅ）とする（ステップＳ２４）。また、画面比率判定部５３は、フリッカ検出比率≦面積比率判定閾値の場合には（Ｓ２３のＮＯ）、フリッカ検出結果をフリッカ無し（ｆａｌｓｅ）とする（ステップＳ２５）。
［バラつき除去］
バラつき除去部５４は、画面比率判定部５３によるフリッカ成分の有無の判定結果のバラつき除去（チャタリング除去）を行う。具体的には、バラつき除去部５４は、過去Ｍフレーム分（Ｍは任意に設定可能）の画面比率判定部５３の判定結果を蓄積し、フリッカ有りの判定回数が所定のバラつき除去判定閾値以上の場合に最終判定結果をフリッカ有りとする。これにより、被写体の変化等によるフリッカの誤検出を防止することができる。
Ｍ＝８、バラつき除去判定閾値＝５の場合のバラつき除去の処理例を図１０に示す。ｃａｓｅ１は、光源の明滅周波数が５０Ｈｚのときのフリッカ有りの判定回数が４回、光源の明滅周波数が６０Ｈｚのときのフリッカ有りの判定回数が０回、フリッカ無しの判定回数が４回の場合の例である。ｃａｓｅ１の例では、光源の明滅周波数が５０Ｈｚ及び６０Ｈｚのときのフリッカ有りの判定回数が共にバラつき除去判定閾値を下回るため、最終判定結果をフリッカ検出無しとする。
ｃａｓｅ２は、光源の明滅周波数が５０Ｈｚのときのフリッカ有りの判定回数が５回、光源の明滅周波数が６０Ｈｚのときのフリッカ有りの判定回数が０回、フリッカ無しの判定回数が３回の場合の例である。ｃａｓｅ２の例では、光源の明滅周波数が５０Ｈｚのときのフリッカ有りの判定回数がバラつき除去判定閾値以上であるため、最終判定結果を光源の明滅周波数が５０Ｈｚのときにフリッカ検出有りとする。
ｃａｓｅ３は、光源の明滅周波数が５０Ｈｚのときのフリッカ有りの判定回数が３回、光源の明滅周波数が６０Ｈｚのときのフリッカ有りの判定回数が３回、フリッカ無しの判定回数が２回の場合の例である。ｃａｓｅ３の例では、光源の明滅周波数が５０Ｈｚ及び６０Ｈｚのときのフリッカ有りの判定回数が共にバラつき除去判定閾値を下回るため、最終判定結果をフリッカ検出無しとする。
ｃａｓｅ４は、光源の明滅周波数が５０Ｈｚのときのフリッカ有りの判定回数が３回、光源の明滅周波数が６０Ｈｚのときのフリッカ有りの判定回数が５回、フリッカ無しの判定回数が０回の場合の例である。ｃａｓｅ４の例では、光源の明滅周波数が６０Ｈｚのときのフリッカ有りの判定回数がバラつき除去判定閾値以上であるため、最終判定結果を光源の明滅周波数が６０Ｈｚのときにフリッカ検出有りとする。
以上説明したように、第１実施形態に係る信号処理装置５０では、複数の検波枠４１1〜４１6について、検波枠毎に各画素の輝度を検波して得た輝度検波値を複数フレーム分用いることで、フリッカ成分について各検波枠のフレーム周期性を検出するようにしている。そして、フレーム周期性の検出結果から、フリッカ発生の有無を判定するようにしている。これにより、１画面内のフリッカ縞、即ち面内ラインフリッカが発生しない場合であっても、フリッカの発生を精度よく検出することができる。
特に、注目フレームを含む過去Ｎフレームの輝度検波値における最大値Ｍａｘ及び最小値Ｍｉｎを求め、差分（Ｍａｘ−Ｍｉｎ）により正規化処理を行い、フリッカ成分について各検波枠４１1〜４１6のフレーム周期性を評価するようにしている。この正規化処理により、例えば露光時間が長い場合など、フリッカによる明滅が微少な場合であっても、フリッカの周期性を精度よく検出することができる。
また、差分（Ｍａｘ−Ｍｉｎ）が所定の最小振幅閾値を下回る場合、フリッカによる輝度の明滅ではないと判断し、フレーム周期性の評価値を０にするようにしている。これにより、フリッカ起因ではない輝度の明滅を除外することができるため、フリッカの周期性をより精度よく検出することができる。更に、過去Ｍフレーム分の画面比率の判定結果を蓄積し、フリッカ有りの判定回数が所定のバラつき除去判定閾値以上の場合に最終判定結果をフリッカ有りとするようにしている。これにより、被写体の変化等によるフリッカの誤検出を防止することができる。
＜第２実施形態＞
第２実施形態は、広ダイナミックレンジ（High Dynamic Range；ＨＤＲ）の撮像画素部（撮像素子）に適用する場合の例である。第２実施形態に係る信号処理装置（信号処理回路）の構成の一例を図１１に示す。
撮像画素部２１（図３参照）からは、広ダイナミックレンジ化を図るために、１つの画素について、信号電荷を長時間蓄積して得られる長時間蓄積撮像信号と、信号電荷を短時間蓄積して得られる短時間蓄積撮像信号とが出力される。そして、この長時間蓄積撮像信号と短時間蓄積撮像信号とを用いて所定の処理を行うことで、広い範囲の入射光量に対してコントラストのある撮像信号を得ることができる。
第２実施形態に係る信号処理装置５０において、輝度検波部５１は、撮像画素部２１から入力される長時間蓄積撮像信号及び短時間蓄積撮像信号のそれぞれについて検波枠４１1〜４１6毎に各画素の輝度を検波し、その輝度検波値を周期検出部５２に与える。すなわち、輝度検波部５１は、長時間蓄積撮像信号を処理する長時間蓄積用輝度検波器５１Lと、短時間蓄積撮像信号を処理する短時間蓄積用輝度検波器５１Sとを有する。長時間蓄積用輝度検波器５１L及び短時間蓄積用輝度検波器５１Sの機能については、第１実施形態の輝度検波器５１1〜５１6と同じである。
周期検出部５２も輝度検波部５１に対応して、長時間蓄積用フリッカ検出器５２Lと短時間蓄積用フリッカ検出器５２Sとを有する。長時間蓄積用フリッカ検出器５２L及び短時間蓄積用フリッカ検出器５２Sの機能については、第１実施形態のＮフレーム周期フリッカ検出器５２1〜５２6と同じである。図１１では、第１実施形態の画面比率判定部５３及びバラつき除去部５４の図示を省略している。
長時間蓄積用フリッカ検出器５２Lによる長時間蓄積フリッカ検出結果、及び、短時間蓄積用フリッカ検出器５２Sによる短時間蓄積用フリッカ検出結果に対する処理については種々考えられる。一例として、短時間蓄積用フリッカ検出器５２Sからのみフリッカ検出結果が出力されたときは、短時間蓄積側についてのみフリッカが発生しないように制御を行う処理などを例示することができる。
上述した第２実施形態に係る信号処理装置５０にあっても、第１実施形態に係る信号処理装置５０と同様の作用、効果を得ることができる。すなわち、１画面内のフリッカ縞、即ち面内ラインフリッカが発生しない場合であっても、フリッカの発生を精度よく検出することができる。また、フリッカによる明滅が微少な場合であっても、フリッカの周期性を精度よく検出することができるとともに、被写体の変化等によるフリッカの誤検出を防止することができる。
＜本開示の撮像装置＞
本開示の撮像装置のシステム構成の一例を図１２に示す。本開示の撮像装置１は、センサ部６０、アナログ信号処理回路７０、及び、デジタル信号処理回路８０を備える構成となっている。センサ部６０は、図３の撮像画素部２１に相当する。アナログ信号処理回路７０は、信号増幅部７１及びＡ／Ｄ変換部７２を有する。信号増幅部７１は、撮像画素部２１で得られるアナログの撮像信号を増幅する処理を行う。Ａ／Ｄ変換部７２は、図２のＡ／Ｄ変換部２３に相当し、信号増幅部７１から出力されるアナログの撮像信号をデジタルの撮像信号に変換する処理を行う。
デジタル信号処理回路８０は、第１実施形態又は第２実施形態に係る信号処理装置（回路）５０の機能、即ち、フリッカを検出する機能と、その検出結果に基づいて撮像画素部２１、信号増幅部７１、及び、Ａ／Ｄ変換部７２を制御する機能とを備えている。具体的には、デジタル信号処理回路８０は、輝度検波部８１、フリッカ検出部８２、露光制御部８３、駆動回路制御部８４、及び、駆動回路部８５を有している。
このデジタル信号処理回路８０において、輝度検波部８１は、第１実施形態又は第２実施形態の輝度検波部５１から成り、撮像画面４０（図５参照）の複数の検波枠４１1〜４１6について、撮像信号に基づいて検波枠毎に各画素の輝度を検波し、その輝度検波値をフリッカ検出部８２に与える。フリッカ検出部８２は、第１実施形態又は第２実施形態の周期検出部５２、画面比率判定部５３、及び、バラつき除去部５４から成り、輝度検波部８１から与えられる輝度検波値を基にフリッカの有／無を検出し、その検出結果を露光制御部８３に与える。
露光制御部８３は、フリッカ検出部８２の検出結果を基に、撮像画素部２１の信号電荷の蓄積時間及び信号増幅部７１のゲイン値を設定する。具体的には、露光制御部８３は、例えば、フリッカ検出部８２の検出結果がフリッカ有りのとき、５０Ｈｚ光源の場合、ｎ／１００秒の蓄積時間に設定し、６０Ｈｚ光源の場合、ｎ／１２０秒の蓄積時間に設定する。駆動回路制御部８４は、露光制御部８３で設定された蓄積時間及びゲイン値を基に、駆動回路部８５を介して撮像画素部２１、信号増幅部７１、及び、Ａ／Ｄ変換部７２を駆動する。
先述したように、第１実施形態又は第２実施形態に係る信号処理装置５０によれば、１画面内のフリッカ縞、即ち面内ラインフリッカが発生しない場合であっても、フリッカの発生を精度よく検出することができる。従って、第１実施形態又は第２実施形態に係る信号処理装置５０の機能を有するデジタル信号処理回路８０を備える本開示の撮像装置１によれば、フリッカ発生の精度のよい検出の下に、フリッカの無い、高画質の画像を得ることができる。
尚、図１２に示すシステム構成では、センサ部６０を含む撮像素子の内部に、アナログ信号処理回路７０と共にデジタル信号処理回路８０を内蔵するシステム構成を想定しているが、このシステム構成に限られるものではない。すなわち、センサ部６０及びアナログ信号処理回路７０を含む撮像素子の外部に、デジタル信号処理回路８０を設けるシステム構成を採ることもできる。
本開示の撮像装置１は、デジタルスチルカメラやビデオカメラ等の撮像装置として用いることができる。更に、本開示の撮像装置１は、カメラ以外にも、携帯電話機やスマートフォンなどの撮像機能を有する種々の電子機器において、その撮像部として用いることができる。
＜変形例＞
以上、本開示を好ましい実施形態に基づき説明したが、本開示はこれらの実施形態に限定されるものではない。上記の各実施形態において説明した撮像素子の構成、構造は例示であり、適宜、変更することができる。例えば、疑似グローバルシャッタ方式の撮像素子（撮像画素部）に適用した場合を例に挙げて説明したが、グローバルシャッタ方式の撮像素子に対しても適用可能である。また、検出枠の分割数を、疑似グローバルシャッタ方式の場合よりも多く設定すれば、ローリングシャッタ方式の撮像素子に対しても適用可能である。
また、上記の各実施形態では、撮像画素部が形成された画素基板、メモリ部が形成されたメモリ基板、及び、信号処理回路が形成された回路基板が積層された３層の積層構造の撮像素子に適用した場合を例に挙げて説明したが、３層の積層構造への適用に限られるものではない。例えば、メモリ基板を省略し、メモリ部を回路基板に形成する２層構造に適用することも可能である。更には、積層構造に限らず、画素基板上に撮像画素部と共にメモリ部及び信号処理回路を形成した、所謂、平置構造に適用することも可能である。
また、本開示の技術は、白黒の撮像素子やベイヤー配列の撮像素子など、撮像素子のフォーマットによらず適用可能である。さらに、上記の各実施形態では、輝度を検波する場合を例示したが、カラー対応の撮像素子において、構成の簡略化のために、例えば緑色の画素の情報のみを検波する構成を採ることも可能である。
＜本開示の構成＞
尚、本開示は、以下のような構成をとることもできる。
［１］撮像画面を垂直走査向に分割して設定した複数の検波枠について、撮像信号に基づいて検波枠毎に各画素の輝度を検波する輝度検波部、
輝度検波部で得られる輝度検波値を複数フレーム分用いてフリッカ成分について各検波枠のフレーム周期性を検出する周期検出部、及び、
周期検出部によるフレーム周期性の検出結果に基づいて、フリッカの有無を判定する判定部、
を備える信号処理装置。
［２］輝度検波値は、検波枠毎に各画素の輝度情報を積算した輝度積分値、又は、当該輝度積分値を１画素単位で平均化した輝度平均値である、
上記［１］に記載の信号処理装置。
［３］複数フレームは、注目フレームを含む過去Ｎフレーム（Ｎは、撮像素子の駆動周波数及び光源の明滅周波数で決まる値）であり、
周期検出部は、Ｎフレームの輝度検波値における最大値及び最小値を求め、最大値及び最小値の差分により正規化処理を行い、フリッカ成分について各検波枠のフレーム周期性を評価する、
上記［１］又は［２］に記載の信号処理装置。
［４］周期検出部は、Ｎフレームの輝度検波値における最大値及び最小値の差分が所定の最小振幅閾値を下回る場合、フレーム周期性の評価値を０とする、
上記［３］に記載の信号処理装置。
［５］周期検出部は、
Ｎフレーム中に高周波成分が存在するか否かを検出する高周波検出処理部、及び、
Ｎフレーム間の輝度検波値の差分に基づいて、Ｎフレーム中のフリッカ成分のフレーム単位での周期性を検出する周期性検出処理部を有する、
上記［１］乃至［４］のいずれかに記載の信号処理装置。
［６］周期検出部は、高周波検出処理部及び周期性検出処理部の各検出結果を基に、Ｎフレーム中に高周波成分が存在し、かつフリッカ成分がフレーム単位で周期性を持つとき、Ｎフレーム周期のフリッカ成分を検出する、
上記［５］に記載の信号処理装置。
［７］高周波検出処理部は、輝度検波値を離散フーリエ変換し、得られた周波数情報から撮像信号に高周波成分が存在するか否かによってフリッカ成分の有無を判断する、
上記［５］又は［６］に記載の信号処理装置。
［８］周期性検出処理部は、Ｎフレーム間の輝度検波値の差分が所定の周期性判定閾値よりも小さい場合に、Ｎフレーム中のフリッカ成分のフレーム単位での周期性有りと判定する、
上記［５］又は［６］に記載の信号処理装置。
［９］判定部は、周期検出部による各検波枠のフレーム周期性の検出結果を基に、画面全体としてのフリッカ成分の有無を判定する、
上記［１］乃至［８］のいずれかに記載の信号処理装置。
［１０］判定部は、周期検出部による各検波枠のフレーム周期性の検出結果をカウントし、そのカウント合計を総検波枠数で除算してフリッカ検出比率を算出し、当該フリッカ検出比率を所定の面積比率判定閾値と比較することによってフリッカの有無を判定する、
上記［９］に記載の信号処理装置。
［１１］判定部による各フレームにおけるフリッカの有無の判定結果を蓄積し、判定結果のバラつきを除去して最終判定結果とするバラつき除去部を備える、
上記［１］乃至［１０］のいずれかに記載の信号処理装置。
［１２］バラつき除去部は、判定部による過去Ｍフレーム分の判定結果を蓄積し、フリッカ有りの判定回数が所定のバラつき除去判定閾値以上の場合に最終判定結果をフリッカ有りとする、
上記［１１］に記載の信号処理装置。
［１３］１つの画素について、信号電荷を長時間蓄積して得られる長時間蓄積撮像信号と、信号電荷を短時間蓄積して得られる短時間蓄積撮像信号とが輝度検波部に入力されるとき、
輝度検波部は、長時間蓄積撮像信号及び短時間蓄積撮像信号のそれぞれについて検波枠毎に各画素の輝度を検波し、その輝度検波値を周期検出部に与える、
上記［１］乃至［１２］のいずれかに記載の信号処理装置。
［１４］撮像画面を垂直走査向に分割して設定した複数の検波枠について、撮像信号に基づいて検波枠毎に各画素の輝度を検波し、
その輝度検波値を複数フレーム分用いてフリッカ成分について各検波枠のフレーム周期性を検出し、
フレーム周期性の検出結果に基づいて、フリッカの有無を判定する、
信号処理方法。
［１５］撮像画素部、及び、
撮像画素部から出力される撮像信号を処理する信号処理回路、
を備えており、
信号処理回路は、
撮像画面を垂直走査向に分割して設定した複数の検波枠について、撮像信号に基づいて検波枠毎に各画素の輝度を検波する輝度検波部、
輝度検波部で得られる輝度検波値を複数フレーム分用いてフリッカ成分について各検波枠のフレーム周期性を検出する周期検出部、及び、
周期検出部によるフレーム周期性の検出結果に基づいて、フリッカの有無を判定する判定部を有する、
撮像装置。
［１６］撮像画素部は、ＣＭＯＳセンサから成る、
上記［１５］に記載の撮像装置。
［１７］撮像画素部が形成された画素基板、及び、
信号処理回路が形成された回路基板が積層されており、
画素基板と回路基板との間には、撮像画素部から出力される撮像信号を一旦格納するメモリ部が形成されたメモリ基板が設けられている、
上記［１６］に記載の撮像装置。
［１８］明るさが周期的に変動する光源環境下において、ローリングシャッタ方式での読み出し時間よりも短い読み出し時間で撮像画素部からメモリ部へ撮像信号を読み出す、
上記［１７］に記載の撮像装置。
［１９］光源の明滅周期よりも短い読み出し時間で撮像画素部からメモリ部へ撮像信号を読み出す、
上記［１８］に記載の撮像装置。
［２０］撮像画素部は、１つの画素について、信号電荷の蓄積時間が長い長時間蓄積撮像信号と、信号電荷の蓄積時間が短い短時間蓄積撮像信号とを信号処理回路に供給する、
上記［１５］乃至［１９］のいずれかに記載の撮像装置。
１・・・撮像装置、１０・・・撮像素子、１１，１２，１３・・・半導体基板、２１・・・撮像画素部、２２・・・メモリ部、２３・・・Ａ／Ｄ変換部、２４・・・ロジック回路、２５・・・信号線、３０・・・画素、３１・・・フォトダイオード（光電変換素子）、３２・・・転送トランジスタ、３３・・・リセットトランジスタ、３４・・・増幅トランジスタ、３５・・・選択トランジスタ、４０・・・撮像画面、４１1〜４１6・・・検波枠、５０・・・信号処理装置（信号処理回路）、５１・・・輝度検波部、５２・・・周期検出部、５３・・・画面比率判定部、５４・・・バラつき除去部、６０・・・センサ部、７０・・・アナログ信号処理回路、８０・・・デジタル信号処理回路、５１１・・・正規化処理部、５１２・・・Ｎフレーム高周波検出処理部、５１３・・・Ｎフレーム周期性検出処理部、５１４・・・論理積部

Claims (20)

  1. 撮像画面を垂直走査向に分割して設定した複数の検波枠について、撮像信号に基づいて検波枠毎に各画素の輝度を検波する輝度検波部、
    輝度検波部で得られる輝度検波値を複数フレーム分用いてフリッカ成分について各検波枠のフレーム周期性を検出する周期検出部、及び、
    周期検出部によるフレーム周期性の検出結果に基づいて、フリッカの有無を判定する判定部、
    を備える信号処理装置。
  2. 輝度検波値は、検波枠毎に各画素の輝度情報を積算した輝度積分値、又は、当該輝度積分値を１画素単位で平均化した輝度平均値である、
    請求項１に記載の信号処理装置。
  3. 複数フレームは、注目フレームを含む過去Ｎフレーム（Ｎは、撮像素子の駆動周波数及び光源の明滅周波数で決まる値）であり、
    周期検出部は、Ｎフレームの輝度検波値における最大値及び最小値を求め、最大値及び最小値の差分により正規化処理を行い、フリッカ成分について各検波枠のフレーム周期性を評価する、
    請求項１に記載の信号処理装置。
  4. 周期検出部は、Ｎフレームの輝度検波値における最大値及び最小値の差分が所定の最小振幅閾値を下回る場合、フレーム周期性の評価値を０とする、
    請求項３に記載の信号処理装置。
  5. 周期検出部は、
    Ｎフレーム中に高周波成分が存在するか否かを検出する高周波検出処理部、及び、
    Ｎフレーム間の輝度検波値の差分に基づいて、Ｎフレーム中のフリッカ成分のフレーム単位での周期性を検出する周期性検出処理部を有する、
    請求項１に記載の信号処理装置。
  6. 周期検出部は、高周波検出処理部及び周期性検出処理部の各検出結果を基に、Ｎフレーム中に高周波成分が存在し、かつフリッカ成分がフレーム単位で周期性を持つとき、Ｎフレーム周期のフリッカ成分を検出する、
    請求項５に記載の信号処理装置。
  7. 高周波検出処理部は、輝度検波値を離散フーリエ変換し、得られた周波数情報から撮像信号に高周波成分が存在するか否かによってフリッカ成分の有無を判断する、
    請求項５に記載の信号処理装置。
  8. 周期性検出処理部は、Ｎフレーム間の輝度検波値の差分が所定の周期性判定閾値よりも小さい場合に、Ｎフレーム中のフリッカ成分のフレーム単位での周期性有りと判定する、
    請求項５に記載の信号処理装置。
  9. 判定部は、周期検出部による各検波枠のフレーム周期性の検出結果を基に、画面全体としてのフリッカ成分の有無を判定する、
    請求項１に記載の信号処理装置。
  10. 判定部は、周期検出部による各検波枠のフレーム周期性の検出結果をカウントし、そのカウント合計を総検波枠数で除算してフリッカ検出比率を算出し、当該フリッカ検出比率を所定の面積比率判定閾値と比較することによってフリッカの有無を判定する、
    請求項９に記載の信号処理装置。
  11. 判定部による各フレームにおけるフリッカの有無の判定結果を蓄積し、判定結果のバラつきを除去して最終判定結果とするバラつき除去部を備える、
    請求項１に記載の信号処理装置。
  12. バラつき除去部は、判定部による過去Ｍフレーム分の判定結果を蓄積し、フリッカ有りの判定回数が所定のバラつき除去判定閾値以上の場合に最終判定結果をフリッカ有りとする、
    請求項１１に記載の信号処理装置。
  13. １つの画素について、信号電荷を長時間蓄積して得られる長時間蓄積撮像信号と、信号電荷を短時間蓄積して得られる短時間蓄積撮像信号とが輝度検波部に入力されるとき、
    輝度検波部は、長時間蓄積撮像信号及び短時間蓄積撮像信号のそれぞれについて検波枠毎に各画素の輝度を検波し、その輝度検波値を周期検出部に与える、
    請求項１に記載の信号処理装置。
  14. 撮像画面を垂直走査向に分割して設定した複数の検波枠について、撮像信号に基づいて検波枠毎に各画素の輝度を検波し、
    その輝度検波値を複数フレーム分用いてフリッカ成分について各検波枠のフレーム周期性を検出し、
    フレーム周期性の検出結果に基づいて、フリッカの有無を判定する、
    信号処理方法。
  15. 撮像画素部、及び、
    撮像画素部から出力される撮像信号を処理する信号処理回路、
    を備えており、
    信号処理回路は、
    撮像画面を垂直走査向に分割して設定した複数の検波枠について、撮像信号に基づいて検波枠毎に各画素の輝度を検波する輝度検波部、
    輝度検波部で得られる輝度検波値を複数フレーム分用いてフリッカ成分について各検波枠のフレーム周期性を検出する周期検出部、及び、
    周期検出部によるフレーム周期性の検出結果に基づいて、フリッカの有無を判定する判定部を有する、
    撮像装置。
  16. 撮像画素部は、ＣＭＯＳセンサから成る、
    請求項１５に記載の撮像装置。
  17. 撮像画素部が形成された画素基板、及び、
    信号処理回路が形成された回路基板が積層されており、
    画素基板と回路基板との間には、撮像画素部から出力される撮像信号を一旦格納するメモリ部が形成されたメモリ基板が設けられている、
    請求項１６に記載の撮像装置。
  18. 明るさが周期的に変動する光源環境下において、ローリングシャッタ方式での読み出し時間よりも短い読み出し時間で撮像画素部からメモリ部へ撮像信号を読み出す、
    請求項１７に記載の撮像装置。
  19. 光源の明滅周期よりも短い読み出し時間で撮像画素部からメモリ部へ撮像信号を読み出す、
    請求項１８に記載の撮像装置。
  20. 撮像画素部は、１つの画素について、信号電荷を長時間蓄積して得られる長時間蓄積撮像信号と、信号電荷を短時間蓄積して得られる短時間蓄積撮像信号とを信号処理回路に供給する、
    請求項１５に記載の撮像装置。
JP2016115986A 2016-06-10 2016-06-10 信号処理装置、信号処理方法、及び、撮像装置 Pending JP2017220879A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016115986A JP2017220879A (ja) 2016-06-10 2016-06-10 信号処理装置、信号処理方法、及び、撮像装置
PCT/JP2017/018078 WO2017212870A1 (ja) 2016-06-10 2017-05-12 信号処理装置、信号処理方法、及び、撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016115986A JP2017220879A (ja) 2016-06-10 2016-06-10 信号処理装置、信号処理方法、及び、撮像装置

Publications (1)

Publication Number Publication Date
JP2017220879A true JP2017220879A (ja) 2017-12-14

Family

ID=60578514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016115986A Pending JP2017220879A (ja) 2016-06-10 2016-06-10 信号処理装置、信号処理方法、及び、撮像装置

Country Status (2)

Country Link
JP (1) JP2017220879A (ja)
WO (1) WO2017212870A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019235230A1 (ja) * 2018-06-06 2019-12-12 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
US11800240B2 (en) 2021-04-13 2023-10-24 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11039082B2 (en) * 2018-11-27 2021-06-15 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof, and storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3989615B2 (ja) * 1997-06-27 2007-10-10 松下電器産業株式会社 固体撮像装置
KR100721664B1 (ko) * 2005-12-22 2007-05-23 매그나칩 반도체 유한회사 이미지 센서의 플리커 검출 회로 및 방법
JP5331766B2 (ja) * 2010-09-03 2013-10-30 株式会社日立製作所 撮像装置
JP6299406B2 (ja) * 2013-12-19 2018-03-28 ソニー株式会社 半導体装置、半導体装置の製造方法、及び電子機器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019235230A1 (ja) * 2018-06-06 2019-12-12 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
JPWO2019235230A1 (ja) * 2018-06-06 2021-06-17 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
JP7275125B2 (ja) 2018-06-06 2023-05-17 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
US11800240B2 (en) 2021-04-13 2023-10-24 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Also Published As

Publication number Publication date
WO2017212870A1 (ja) 2017-12-14

Similar Documents

Publication Publication Date Title
US10021358B2 (en) Imaging apparatus, imaging system, and signal processing method
US8908065B2 (en) Solid state imaging processing systems and method for providing signal correction of pixel saturation errors
US8442345B2 (en) Method and apparatus for image noise reduction using noise models
US10638072B2 (en) Control apparatus, image pickup apparatus, and control method for performing noise correction of imaging signal
US20080179490A1 (en) Solid-state image pickup device
US20150078725A1 (en) Image capturing apparatus, image capturing system, and control method for the image capturing apparatus
US20130033622A1 (en) Method and apparatus for motion artifact correction in hdr video
WO2017212870A1 (ja) 信号処理装置、信号処理方法、及び、撮像装置
US7768556B2 (en) Physical quantity detection system, method for driving physical quantity detection system, solid-state image pickup device, method for driving solid-state image pickup device, and image pickup apparatus
WO2016175036A1 (ja) 固体撮像素子およびその駆動方法、並びに電子機器
US10182186B2 (en) Image capturing apparatus and control method thereof
JP2016058877A (ja) 撮像装置及びその制御方法
US20230109506A1 (en) Photoelectric conversion device having photoelectric conversion circuit responsive to incidence of photon, image capturing device, control method, and storage medium
US10205870B2 (en) Image capturing apparatus and control method thereof
JP2020025171A (ja) 撮像素子及びその制御方法、及び撮像装置
US9894288B2 (en) Image forming method for forming a high-resolution image, and a related image forming apparatus and image forming program
JP7339780B2 (ja) 撮像装置及びその制御方法
US8400534B2 (en) Noise reduction methods and systems for imaging devices
US20200304745A1 (en) Image capturing device
CN114982223A (zh) 摄像装置及图像处理方法
JP2009290795A (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、および電子情報機器
JP2009290653A (ja) 欠陥画素補正装置、撮像装置、欠陥画素補正方法、およびプログラム
US20230095243A1 (en) Photoelectric conversion device, imaging device, control method, and storage medium
US11843890B2 (en) Photoelectric conversion device, image pickup apparatus, control method, and storage medium
JP5737924B2 (ja) 撮像装置