JP2018037741A - イメージセンサを有する撮像装置及びその制御プログラム - Google Patents

Abstract

【課題】移動する物体等の動画撮影にも対応でき、且つ高輝度被写体の色バランスを損なわずにダイナミックレンジの広い画を撮影可能な撮像装置を得ることを実現する。【解決手段】撮像装置において、受光素子１０８と、前記受光素子の電荷蓄積部の容量を変更する変更部１０４、１０５とを含む画素がマトリクス状に配置される撮像素子４０２と、前記画素の受光強度から閾値に達し飽和状態となった前記画素を高輝度画素として検出する検出部４０４と、前記検出部の情報から高輝度領域を設定する設定部４０６と、を備え、前記変更部１０４、１０５は、前記高輝度領域に設定された前記撮像素子の前記受光素子の電荷蓄積部の容量を変更し、前記設定部４０６は、前記検出部４０４により検出された前記高輝度画素と、その周囲の画素を高輝度領域とみなす、ことを特徴とする。【選択図】 図２

Description

本発明は、イメージセンサを有する撮像装置及びその制御プログラムに関する。

ダイナミックレンジの幅が狭いイメージセンサを有する撮像装置においては、黒潰れ現象や白飛び現象を防ぐため、ハイダイナミックレンジ合成（ＨＤＲ合成）する技術や高輝度判定された画素に対し静電容量を大きくする技術が普及している。

例えば、特許文献１には、露光時間の異なる映像を時間差で撮影し、２枚の画像を合成する方法が記載されている。また、特許文献２には、閾値を超えた高輝度の光を受光した画素を検出した場合に、フォトダイオード（ＰＤ）が出力する電荷を蓄積するフローティングディフュージョン（ＦＤ）の静電容量を大きくする方法が記載されている。

特開２００３−１６３８３１号公報 特開２０１３−１９２０５８号公報

しかしながら、例えば、特許文献１で移動する物体等の動画を撮影する場合には、合成される２枚の画像において高輝度部と低輝度部の位置がずれ、自然な画にならず、見栄えが悪くなる。また、特許文献２では、撮像装置において高輝度判定用の測光センサとイメージセンサの搭載位置が実際には異なるため、高輝度判定された画素の位置と、イメージセンサ上の高輝度画素の位置がずれて、厳密に対応できない。

また、特許文献２等の高輝度判定は、センサ出力レベルが予め設定された閾値を超えた際にその画素を高輝度画素と判定している。ここで、図６を参照して、カラーイメージセンサのベイヤー配列における一般的な高輝度判定について説明する。ここでは、縦軸に画素の出力レベル、横軸に露光時間を示している。

ベイヤー配列では、緑を示すＧ画素６０１は、赤を示すＲ画素６０２の２倍多く存在する。そのため、白い被写体を撮影し、被写体の輝度が上がっていくと、Ｇ画素６０１は、Ｒ画素６０２よりも先に飽和する。結果、Ｇ画素６０１だけが高輝度画素と判定され、Ｇ画素６０１のみ白飛びを抑圧すると、Ｒ画素６０２やＢ画素との色バランスが崩れ、高輝度領域の色が斑になってしまう。

本発明は、上記課題に鑑みてなされ、その目的は、移動する物体等の動画撮影にも対応でき、且つ高輝度被写体の色バランスを損なわずにダイナミックレンジの広い画を撮影可能な撮像装置、及びその制御プログラムを提供することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、受光素子と、前記受光素子の電荷蓄積部の容量を変更する変更部とを含む画素がマトリクス状に配置される撮像素子と、前記画素の受光強度から閾値に達し飽和状態となった前記画素を高輝度画素として検出する検出部と、前記検出部の情報から高輝度領域を設定する設定部と、を備え、前記変更部は、前記高輝度領域に設定された前記撮像素子の前記受光素子の電荷蓄積部の容量を変更し、前記設定部は、前記検出部により検出された前記高輝度画素と、その周囲の画素を高輝度領域とみなす、ことを特徴とする。

本発明によれば、移動する物体等の動画撮影にも対応でき、且つ高輝度被写体の色バランスを損なわずにダイナミックレンジの広い画を撮影可能な撮像装置を得ることができる。

実施形態の画素の等価回路図。 実施形態の高輝度領域の設定方法を説明する図。 実施形態における高輝度領域設定部が高輝度領域を設定する様子。 実施形態における撮像装置全体のブロック図。 高感度モードのＯＮ状態とＯＦＦ状態の感度差を説明する図。 Ｇ画素、Ｒ画素の感度を説明する図。 ベイヤー配列の説明図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

（実施形態）
まず、図４を参照して、実施形態１の構成を説明する。実施形態１における撮像装置は、光学系４０１、イメージセンサ４０２、ＡＤ変換器４０３、画像処理部４０４、映像出力部４０５、高輝度領域の設定部４０６、タイミングジェネレータ（ＴＧ）４０７から構成される。上記構成の一部は撮像装置が備えるコンピュータの制御プログラムによって実行される。また、イメージセンサ４０２は、カラーイメージセンサであり、ＣＭＯＳイメージセンサであるが、以下では単にイメージセンサと呼ぶ。

更に、光学系４０１は、不図示のズーム機構部、フォーカス機構部を備える。光学系４０１から入射した光は、撮像素子であるイメージセンサ４０２の受光面で結像する。

ここで、図７を参照して、このイメージセンサ４０２における画素配列を説明する。イメージセンサ４０２には、緑（Ｇ）画素、赤（Ｒ）画素、青（Ｂ）画素がベイヤー配列と呼ばれる配列でマトリクス状に配置されている。露光期間内にイメージセンサ４０２の受光面で結像した光は各画素でＲＧＢの色信号として輝度レベルに応じた電圧の強弱によるＲＧＢアナログ信号に変換される。

ＲＧＢアナログ信号はＡＤ変換部４０３においてＲＧＢデジタル信号へ変換され、画像処理部４０４へ送られる。画像処理部４０４では、ＲＧＢデジタル信号に対しオプティカルブラック（ＯＢ）クランプ処理やノイズリダクション処理等の補正処理を行った後、ホワイトバランスやガンマ処理等の色調整や輝度調整を行い、ＹＰｂＰｒ信号の映像信号を生成する。

画像処理部４０４は、各画素の出力レベルを確認し、露光期間における受光強度から一定の閾値に達し、飽和状態となった画素を飽和画素、すなわち高輝度画素として常時検出する検出部である。飽和画素を検出した場合、イメージセンサ上の座標を高輝度領域の設定部４０６へ送信する。高輝度領域の設定部４０６では、飽和画素の座標情報をもとに、高輝度領域を設定すべき範囲を演算により設定する。高輝度領域の設定については後の段落にて詳述する。

また、ＴＧ４０７は高輝度領域の設定部４０６で設定されたイメージセンサの高輝度領域の画素に対し、高飽和モードへ移行するように制御し、イメージセンサの画素が飽和状態となるのを抑制する。高飽和モードについては後の段落にて詳述する。

一方、画像処理４０４で処理された映像信号は映像出力部４０５へ送られ、ハイディフィニション−シリアルデジタルインターフェイス（ＨＤ−ＳＤＩ）信号に変換され外部へ出力される。

次に、図１を参照して、イメージセンサ４０２における一画素の等価回路を説明する。イメージセンサ４０２の等価回路は、モード（ＭＯＤＥ）端子１０１、リセット端子１０２、モス・エフイーティー（ＭＯＳＦＥＴ）１０３、１０６、１０７、１１１、１１２、１１３、フローティングディフュージョン（ＦＤ）１０４、拡張ＦＤ１０５、フォトダイオード（ＰＤ）１０８、端子１０９、ラインセレクト端子１１０、出力アンプ１１４等から構成される。

モス・エフイーティー（ＭＯＳＦＥＴ）１０３、１０６、１０７、１１１、１１２、１１３は電界効果トランジスタの一種である。ＰＤ１０８は露光期間の光を電気に変換する光電変換を行い、電荷をＰＤ１０８に蓄積する受光素子である。端子１０９がＨＩＧＨになると、ＭＯＳＦＥＴ１１１がＯＮ状態となり、ＰＤ１０８に蓄積された電荷がＦＤ１０４へ出力される。ＦＤ１０４は標準ＦＤである。ＰＤ１０８から出力された電荷は、標準ＦＤ１０４で電圧に変換され、ＭＯＳＦＥＴ１０７を介して画素の電圧信号として出力される。

リセット端子１０２は標準ＦＤ１０４及び拡張ＦＤ１０５をリセットする。リセット端子１０２がＨＩＧＨになるとＭＯＳＦＥＴ１０３、１０６がＯＮ状態となり、標準ＦＤ１０４及び拡張ＦＤ１０５に蓄積された電荷がリセットされる。

ラインセレクト端子１１０は、ラインの本数だけ配置されている。ラインセレクト端子１１０がＨＩＧＨになるとＭＯＳＦＥＴ１１２がＯＮ状態となり、ＭＯＳＦＥＴ１０７からの電圧信号が出力され、出力アンプ１１４で増幅されたのち出力される。ＭＯＤＥ端子１０１はラインセレクト端子１１０とＡＮＤ回路で接続され、両方がＨＩＧＨになるとＭＯＳＦＥＴ１０６がＯＮ状態となり、拡張ＦＤ１０５が標準ＦＤ１０４とパラレルに接続された状態となる。この様にして、電荷蓄積部の容量を変更する変更部が形成される。

（高飽和モード）
ＦＤ容量（静電容量）が増大すると、
Ｑ＝ＣＶ （Ｑ：電荷［Ｃ］、Ｃ：静電容量［Ｆ］、Ｖ：電圧［Ｖ］）
より、フォトダイオードから出力される電荷Ｑが一定でも、電圧出力Ｖは低くなる。本件ではこのＦＤ容量が増大したモードを高飽和モードと名付ける。

図５を参照して、高飽和モードがＯＮ状態の場合とＯＦＦ状態の場合の出力レベルについて説明する。横軸が受光強度、縦軸が出力レベルである。グラフ５０１は高飽和モードがＯＦＦ状態の場合、グラフ５０２は高飽和モードがＯＮ状態の場合である。

本実施形態では、高飽和モードをＯＮ状態とすることにより、ＦＤの静電容量成分が倍になるように設定してあるため、高飽和モードがＯＮ状態のグラフの傾きは、ＯＦＦ状態のグラフの傾きに比べ１／２になっている。つまり、高飽和モードがＯＮ状態では、出力レベルが下がる。

図５に示す通り、高飽和モードをＯＮ状態とすることにより、標準ＦＤ１０４，拡張ＦＤ１０５での飽和及び後段の出力アンプ１１４の飽和を抑圧することが可能になる。

ＭＯＤＥ端子１０１は列毎に配置されており、ラインセレクト端子１１０とともに使用することで、ＣＭＯＳイメージセンサ内のすべての画素の拡張ＦＤ１０５を個別にコントロールすることができる。

（高輝度領域の設定）
図２を参照して、高輝度領域の設定部４０６における高輝度領域の設定方法について説明する。２０１は、ユーザが室内の人と窓外の車のナンバープレートを撮影する場面である。室内の人に輝度レベルを合わせた場合、窓外は非常に明るいため、窓外に対応するイメージセンサの画素は殆ど全て飽和する。但し、窓外の撮影対象のうち、被写体の色が黒等の暗色を有する部分は、反射率が低いため、窓外に対応するイメージセンサのうちの一部は飽和しないことがある。

２０２は、そのときのイメージセンサの様子を表したものである。画素２０３等の背景が白い画素は飽和画素、画素２０４等の背景がグレーの画素は未飽和画素を示す。被写体が高輝度で、所定の光量に達した場合、被写体の背景の画素はすべて飽和し、ナンバーの文字部分もＧ（緑）画素だけが飽和する。これは、図６を用いて上述した様に、Ｇ画素、Ｒ（赤）画素、Ｂ（青）画素のうちＧ画素の感度は他の画素と比較して高いので、他の画素より先に飽和するためである。

仮にこの状態で飽和画素だけを高飽和モードにすると、背景と文字のＧ画素だけ出力レベルが下がる。文字部分のＲ画素とＢ画素は出力がそのままの出力となるため、色バランスが崩れたナンバーの文字になってしまう。その結果、高飽和モードによりナンバーに階調が戻るが、ナンバーの文字色がマゼンタ色になってしまう。

そこで、高輝度領域の設定部４０６においては、高輝度と判定された画素とその周りの８画素をすべて高輝度領域と擬制し、その領域すべてを飽和モードに変更するように、タイミングジェネレータ（ＴＧ）４０７へ情報を送る。

図３を参照して、高輝度領域の設定部４０６が高輝度領域を設定する様子について説明する。画像処理部４０４が検出した飽和画素３０１の周囲は全て未飽和の画素であるとする。この時、高輝度領域の設定部４０６は太枠３０２内の９つの画素をすべて高輝度領域とみなす。図２に示した通り、飽和したＧ画素が１つおきに配置されている場合、周りにあるＲ画素とＢ画素はすべて高輝度領域とみなすことができる。すなわち、飽和画素３０１と、Ｇ画素（緑画素）４つ、Ｒ画素（赤画素）２つ、Ｂ画素（青画素）２つが選択される。

したがって図２に示したイメージセンサ２０２の領域は、すべて高飽和モードになるため、背景やナンバーにおいて階調が戻るとともに文字色は黒を保持することが可能となる。

尚、高輝度領域の設定部４０６が高輝度領域と擬制する領域については、画像処理部４０４が検出した飽和画素３０１を含む領域３０３の４つの画素を高輝度領域とみなしてもよい。すなわち、飽和画素３０１とその周囲のＧ画素１つ、Ｒ画素１つ、Ｂ画素１つが選択される。

尚、本実施形態ではユーザが室内の人と窓外の車のナンバープレートを撮影する場面を例示したが、特許文献１のように露光時間の異なる映像を時間差で撮影する必要がないため、移動する物体等の動画撮影に対応できることは言うまでもない。

以上のように、本実施形態によれば、移動する物体等の動画撮影にも対応でき、且つ高輝度被写体の色バランスを損なわずにダイナミックレンジの広い画を撮影できる。

２０２ イメージセンサ
２０３ 飽和画素
２０４ 未飽和画素

Claims (4)

1. 撮像装置であって、
   受光素子と、前記受光素子の電荷蓄積部の容量を変更する変更部とを含む画素がマトリクス状に配置される撮像素子と、
   前記画素の受光強度から閾値に達し飽和状態となった前記画素を高輝度画素として検出する検出部と、
   前記検出部の情報から高輝度領域を設定する設定部と、
   を備え、
   前記変更部は、前記高輝度領域に設定された前記撮像素子の前記受光素子の電荷蓄積部の容量を変更し、
   前記設定部は、前記検出部により検出された前記高輝度画素と、その周囲の画素を高輝度領域とみなす、
   撮像装置。
2. 前記高輝度領域の画素は、前記高輝度画素と、その周囲の緑画素が４つ、赤画素が２つ、青画素が２つである、請求項１に記載の撮像装置。
3. 前記高輝度領域の画素は、前記高輝度画素と、その周囲の緑画素が１つ、赤画素が１つ、青画素が１つである、請求項１又は２に記載の撮像装置。
4. 撮像装置が備えるコンピュータに、
   撮像素子にマトリクス状に配置される画素において、受光素子の電荷蓄積部の容量を変更し、
   前記画素の受光強度から閾値に達し飽和状態となった前記画素を高輝度画素として検出し、検出された情報から、前記高輝度画素と、その周囲の画素を高輝度領域とみなして設定し、
   前記高輝度領域に設定された前記受光素子の電荷蓄積部の容量を変更する、
   ことを実行させることを特徴とする、撮像装置の制御プログラム。

Images