JP2012095142A - 撮像装置 - Google Patents

Abstract

【課題】撮像装置において、実際のノイズの発生状況に応じて、イメージセンサの感度の上限を決定できるようにする。
【解決手段】撮像装置であるビデオカメラは、イメージセンサにより光を受光して電気信号に変換することにより画像を撮像する。連続して画像を撮像しているときに、それら連続して撮像している複数フレームの画像２１〜２６のうちの１つのフレームの画像２４を検査用画像とし、画像２４（検査用画像）を撮像するときには、露光時間を最小にすると共に、感度を最大にする。そして、画像２４に現れるノイズのレベルを測定し、その測定したノイズのレベルに基いて、感度の上限を決定する。この決定された感度の上限を超えない範囲で、感度を制御する。画像２１〜２３を表示出力画像３１〜３３として表示し、画像２４を画像２３に置き換えて表示出力画像３４として表示し、画像２５、２６を表示出力画像３５、３６として表示する。
【選択図】図２

Description

本発明は、イメージセンサにより光を受光して電気信号に変換することにより画像を撮像する撮像装置に関するものである。

従来から、イメージセンサにより画像を撮像する撮像装置がある。このような撮像装置は、イメージセンサにより光を受光して電気信号に変換することにより画像を撮像するようになっており、暗い環境下において画像を撮像する場合には、イメージセンサの感度を上げる必要がある。一方、このような撮像装置は、イメージセンサの感度を上げると、撮像した画像にパターンノイズ（撮像装置のハードウェア（イメージセンサ、温度センサ、ノイズ検出回路等）が原因のノイズ）が現れる。このパターンノイズは、一般的に、温度が高いほど多く現れる。

そこで、従来の撮像装置では、温度センサを設けて、撮像装置内部の温度を測定し、撮像装置内部の温度が高いときには、イメージセンサの感度の上限を下げることにより、パターンノイズが現れ難い（目立たない）ようにしている。

一方、被写体を撮像する前に固定パターンノイズを検出し、被写体を撮像した画像から、被写体を撮像する前に検出した固定パターンノイズを除去するようにしたカメラが知られている（例えば特許文献１及び特許文献２参照）。また、１つの被写体を異なる露光時間又は異なる絞りで撮像して複数の画像を取得し、ある画像の受光レベル外となっている部分を、他の画像の同じ部分で置換するようにしたカメラが知られている（例えば特許文献３参照）。

特開平４−８８７５７号公報 特開２００９−２７２４１号公報 特開２００７−３００４６３号公報

しかしながら、上述した従来の撮像装置では、予め設計段階で、ハードウェアのバラつき（イメージセンサ、温度センサ、ノイズ検出回路等のバラつき）を試験によって確認して、各温度におけるイメージセンサの感度の上限（パターンノイズが目立たない感度の上限）を決定している。このとき、ハードウェアのバラつきによるマージンを確保しておく必要があり、また、ハードウェアのバラつき要素も多いため、確保しておくべきマージン量も多くなる。このため、各温度におけるイメージセンサの感度の上限が、ノイズが実際には目立たないにもかかわらず、必要以上に低く決定されてしまう。その結果、ノイズが実際には目立たないにもかかわらず、イメージセンサの感度を上げることができず、撮像装置としては、物足りない仕様となってしまう。

本発明は、上記課題を解決するためになされたものであり、実際のノイズの発生状況に応じて、イメージセンサの感度の上限を決定することができる撮像装置を提供することを目的とする。

上記目的を達成するために請求項１の発明は、イメージセンサにより光を受光して電気信号に変換することにより画像を撮像する撮像装置において、イメージセンサによる画像の撮像を制御する撮像制御手段と、イメージセンサにより撮像した画像に現れるノイズのレベルを測定し、その測定したノイズのレベルに基いて、イメージセンサの感度の上限を決定する上限感度決定手段とを備え、撮像制御手段は、イメージセンサにより画像を撮像するときに、イメージセンサの感度を上限感度決定手段により決定された感度の上限を超えない範囲で制御するものである。

請求項２の発明は、請求項１に記載の撮像装置において、撮像制御手段は、イメージセンサにより連続して画像を撮像しているときに、それら連続して撮像している複数フレームの画像のうちの一部のフレームの画像を検査用画像とし、イメージセンサにより検査用画像を撮像するときには、イメージセンサの露光時間を最小にすると共に、イメージセンサの感度を最大にし、上限感度決定手段は、検査用画像に現れるノイズのレベルを測定し、その測定したノイズのレベルに基いて、イメージセンサの感度の上限を決定するものである。

請求項３の発明は、請求項２に記載の撮像装置において、イメージセンサにより撮像した画像を表示する表示手段と、表示手段による画像の表示を制御する表示制御手段とをさらに備え、表示制御手段は、イメージセンサにより撮像した画像を表示手段に表示するとき、検査用画像を該検査用画像の直前の画像に置き換えるものである。

請求項１の発明によれば、イメージセンサにより撮像した画像に現れるノイズのレベルに基いて、イメージセンサの感度の上限が決定される。すなわち、実際のノイズの発生状況に応じて、イメージセンサの感度の上限を決定することができる。従って、ノイズが目立たない範囲の上限までイメージセンサの感度を上げて撮像することが可能となる。これにより、撮像装置の能力を高めることができ、ユーザに良質な画質の画像を提供することができる。しかも、イメージセンサの感度の上限を決定するのに、温度センサを使用しないので、コストの削減にもつながる。

請求項２の発明によれば、画像を撮像しているときに、ノイズのレベルが測定されて、イメージセンサの感度の上限が決定されるため、ノイズのレベルを測定するための操作やイメージセンサの感度の上限を決定するための操作を別途行う必要がなく、使い勝手が良い。また、ノイズのレベルを測定するための検査用画像は、露光時間を最小かつ感度を最大にして撮像されるため、ノイズのレベルをより精度良く測定することができ、イメージセンサの感度の上限をより適切に決定することができる。

請求項３の発明によれば、露光時間を最小かつ感度を最大にして撮像された検査用画像は表示されずに、検査用画像の代わりに、検査用画像の直前の画像が表示される。従って、表示されている画像を見ていても、違和感を受けることがない。

本発明の一実施形態に係る撮像装置の構成を示す電気的ブロック構成図。 同撮像装置のセンサ出力画像と表示出力画像との関係を示す図。 同撮像装置のイメージセンサの感度の上限を決定する動作を含む撮像動作を示すフローチャート。

以下、本発明を具体化した実施形態による撮像装置について図面を参照して説明する。図１は、本実施形態による撮像装置であるビデオカメラの構成を示す。ビデオカメラ１は、動画像を撮像する装置である。ビデオカメラ１は、イメージセンサ２と、液晶表示部（表示手段）３と、メモリ４と、キー操作部５と、ビデオカメラ１の動作を制御する制御部（撮像制御手段、上限感度決定手段、表示制御手段）６等を備える。

イメージセンサ２は、光を受光して電気信号に変換することにより画像を撮像するセンサであり、例えばＣＣＤセンサやＣＭＯＳセンサである。イメージセンサ２は、多数の受光素子が縦横に配列された構成になっており、制御部６による制御のもと、それら多数の受光素子によって光を受光して電気信号に変換することにより、画像を撮像するようになっている。また、イメージセンサ２は、多数の受光素子により光を受光して変換した電気信号を、撮像した画像の画像信号として出力するようになっている。

液晶表示部３は、制御部６による制御のもと、イメージセンサ２により撮像した画像を表示する。メモリ４は、制御部６による制御のもと、イメージセンサ２により撮像した画像の画像データを保存する。キー操作部５は、画像の撮像、画像を撮像するときの感度の調整等、ビデオカメラ１の各種動作を指示するためにユーザに操作される。

制御部６は、イメージセンサ２による画像の撮像、液晶表示部３による画像の表示等、ビデオカメラ１の各種動作を制御する。また、制御部６は、イメージセンサ２の露光時間（１フレームの画像を撮像するときの受光時間）、及びイメージセンサ２の受光感度（受光した光を電気信号に変換するときのゲイン）を制御する。また、制御部６は、イメージセンサ２により撮像した画像に現れるパターンノイズのレベルを測定し、その測定したパターンノイズのレベルに基いて、イメージセンサ２の感度の上限を決定する。

制御部６は、撮像開始指示が与えられると、撮像動作を開始して、イメージセンサ２により動画像の撮像を開始し、撮像終了指示が与えられると、撮像動作を終了して、イメージセンサ２による動画像の撮像を終了する。制御部６は、イメージセンサ２により毎秒所定フレームの画像（例えば、毎秒３０フレームの画像）を連続して撮像するように、イメージセンサ２による画像の撮像を制御することにより、イメージセンサ２により動画像を撮像する。撮像開始指示及び撮像終了指示は、キー操作部５において所定の操作がなされることにより与えられる。

また、制御部６は、撮像動作を行っているとき、イメージセンサ２により撮像した動画像を液晶表示部３に表示する。制御部６は、イメージセンサ２から出力された画像信号を処理して、イメージセンサ２により撮像した画像の画像データを生成し、そして、その生成した画像データによる画像を液晶表示部３で表示するように、液晶表示部３による画像の表示を制御することにより、イメージセンサ２により撮像した動画像を液晶表示部３で表示する。

また、制御部６は、撮像動作を行っているときに録画指示が与えられると、イメージセンサ２により撮像した動画像をメモリ４に録画する。制御部６は、イメージセンサ２から出力された画像信号を処理して生成した画像データをメモリ４に保存するように、メモリ４を制御することにより、イメージセンサ２により撮像した動画像をメモリ４に録画する。録画開始指示は、キー操作部５において所定の操作がなされることにより与えられる。

また、制御部６は、撮像動作を行っているとき、イメージセンサ２により撮像した画像に現れるパターンノイズのレベルを測定し、その測定したパターンノイズのレベルに基いて、イメージセンサ２の感度の上限を決定する。

すなわち、制御部６は、イメージセンサ２により毎秒所定フレームの画像（例えば、毎秒３０フレームの画像）を連続して撮像（動画像を撮像）しているとき、所定のタイミングで（動画像の撮像開始直後、及びその後の所定時間経過毎に）、連続して撮像している複数フレームの画像のうちの１つのフレームの画像を検査用画像とする。そして、制御部６は、その検査用画像に現れるパターンノイズのレベルを測定し、その測定したパターンノイズのレベルに基いて、パターンノイズが目立たない範囲で最も大きくできる感度（パターンノイズが目立たないぎりぎりの感度であって、パターンノイズが目立たない感度の上限）を、イメージセンサ２の感度の上限として決定する。

このとき、制御部６は、イメージセンサ２により検査用画像を撮像するときには、イメージセンサ２の露光時間を最小にすると共に、イメージセンサ２の感度を最大にする。すなわち、制御部６は、露光時間を最小かつ感度を最大にして検査用画像を撮像する。そして、制御部６は、その露光時間を最小かつ感度を最大にして撮像した検査用画像に現れるパターンノイズのレベルを測定して、その測定したパターンノイズのレベルに基いて、イメージセンサ２の感度の上限を決定する。パターンノイズのレベルは、検査用画像の画像データから、ヒストグラムや標準偏差などに基いて測定される。パターンノイズのレベルの測定方法は、周知であり、その説明については省略する。

撮像動作を行って、イメージセンサ２により動画像を撮像するとき（検査用画像以外の画像を撮像するとき）、制御部６は、イメージセンサ２の感度を、この決定された感度の上限を超えない範囲で制御する。但し、検査用画像を撮像するときには、制御部６は、イメージセンサ２の感度を、この決定された感度の上限を超えて、最大の感度にする。

撮像動作の撮像モードには、上限感度モードと固定感度モードがある。上限感度モードは、上記決定された上限の感度で撮像するモードである。固定感度モードは、ユーザによる感度設定指示を受けて設定した感度で撮像するモードである。固定感度モードにおける感度の設定において、制御部６は、上記決定された感度の上限を超えない範囲で、ユーザによる感度設定指示に応じて、イメージセンサ２の感度を設定する。撮像モードが上限感度モードの場合には、制御部６は、イメージセンサ２の感度を、常に、上記決定された上限の感度にして（但し、検査用画像の画像を撮像するとき以外）、イメージセンサ２により動画像を撮像する。また、撮像モードが固定感度モードの場合には、制御部６は、イメージセンサ２の感度を、上記決定された感度の上限を超えない範囲で、ユーザによる感度設定指示に応じて設定した感度にして（但し、検査用画像の画像を撮像するとき以外）、イメージセンサ２により動画像を撮像する。撮像モードの選択、及び固定感度モードにおける感度設定指示は、キー操作部５において所定の操作がなされることにより行われる。

また、イメージセンサ２により撮像した動画像を液晶表示部３に表示するとき、制御部６は、検査用画像については、検査用画像の直前の画像に置き換えて表示する。また、イメージセンサ２により撮像した動画像をメモリ４に録画するとき、制御部６は、検査用画像については、検査用画像の直前の画像に置き換えて録画する。

図２は、イメージセンサ２により撮像した画像であるセンサ出力画像と液晶表示部３に表示する画像である表示出力画像との関係を示す。

制御部６は、上述のように、撮像動作を行って、イメージセンサ２により動画像を撮像しているとき、所定のタイミングで、ある１つのフレームの画像を検査用画像とし、その検査用画像を撮像するときには、イメージセンサ２の露光時間を最小にすると共に、イメージセンサ２の感度を最大にする。また、制御部６は、上述のように、撮像動作を行って、イメージセンサ２により動画像を撮像しているとき、イメージセンサ２により撮像した動画像を液晶表示部３に表示し、検査用画像については、検査用画像の直前の画像に置き換えて表示する。

従って、イメージセンサ２により撮像したセンサ出力画像及び液晶表示部３に表示される表示出力画像は、例えば、図２に示すようになる。すなわち、図２に示す例では、センサ出力画像２１、２２、２３、２４、２５、２６の順に画像が撮像されており、センサ出力画像２４が検査用画像（検査用フレーム）とされ、センサ出力画像２４は、露光時間を最小にすると共に感度を最大にして撮像した画像となっている。そして、センサ出力画像２１、２２、２３が表示出力画像３１、３２、３３として表示され、センサ出力画像２４がセンサ出力画像２３に置き換えられて表示出力画像３４として表示され（表示出力画像３３と同じ画像が表示出力画像３４として表示され）、センサ出力画像２５、２６が表示出力画像３５、３６として表示される。

図３は、上記ビデオカメラ１のイメージセンサ２の感度の上限を決定する動作を含む撮像動作のフローチャートを示す。

撮像開始指示が与えられると（＃１でＹＥＳ）、制御部６は、撮像動作を開始して、イメージセンサ２により動画像の撮像を開始する（＃２）。

動画像の撮像を開始すると、制御部６は、イメージセンサ２により撮像した画像に現れるパターンノイズのレベルを測定する（＃３）。すなわち、制御部６は、動画像の撮像開始直後に（例えば、最初の１つめに）撮像する１つのフレームの画像を検査用画像として、その検査用画像に現れるパターンノイズのレベルを測定する。そして、制御部６は、その測定したパターンノイズのレベルに基いて、イメージセンサ２の感度の上限を決定する（＃４）。

その後、撮像終了指示が与えられずに（＃５でＮＯ）、所定時間（例えば１分）経過すると（＃６でＹＥＳ）、制御部６は、イメージセンサ２により撮像した画像に現れるパターンノイズのレベルを測定する（＃７）。すなわち、制御部６は、そのときに（所定時間経過したタイミングで）撮像する１つのフレームの画像を検査用画像として、その検査用画像に現れるパターンノイズのレベルを測定する。そして、制御部６は、その測定したパターンノイズのレベルに基いて、イメージセンサ２の感度の上限を決定する（＃８）。

その後、制御部６は、上記＃５以降の処理を繰り返す。従って、制御部６は、＃５でＮＯ及び＃６でＹＥＳを経由して＃７、＃８の処理を繰り返すことにより、イメージセンサ２により動画像を撮像しているとき、所定時間経過毎に、そのときにイメージセンサ２により撮像した画像に現れるパターンノイズのレベルを測定して、その測定したパターンノイズのレベルに基いて、イメージセンサ２の感度の上限を決定することになる。

そして、撮像終了指示が与えられると（＃５でＹＥＳ）、制御部６は、撮像動作を終了して、イメージセンサ２による動画像の撮像を終了する（＃９）。

このような動作により、イメージセンサ２の感度の上限は、動画像の撮像開始直後、及び動画像の撮像中の所定時間経過毎に、そのときにイメージセンサ２により撮像した画像に現れるパターンノイズのレベルに基いて、すなわち、そのときの実際のパターンノイズの発生状況に応じて、決定されることになる。

なお、＃３、＃７において、イメージセンサ２により撮像した画像に現れるパターンノイズのレベルを測定するとき、制御部６は、イメージセンサ２の露光時間を最小にすると共に、イメージセンサ２の感度を最大にして、検査用画像を撮像する。また、＃２〜＃９の間、制御部６は、イメージセンサ２により撮像した動画像を液晶表示部３に表示し、＃３、＃７においてパターンノイズのレベルを測定するために撮像した検査用画像については、検査用画像の直前の画像に置き換えて表示する。

また、撮像動作の撮像モードが上限感度モードの場合には、制御部６は、＃２〜＃９において動画像を撮像している間（但し、検査用画像を撮像するとき以外）、常に、イメージセンサ２の感度を、＃４、＃８において決定された上限の感度となるように制御する。すなわち、＃４、＃８において感度の上限が決定される都度、制御部６は、イメージセンサ２の感度を、その決定された上限の感度にする。

また、撮像動作の撮像モードが固定感度モードの場合には、制御部６は、＃２〜＃９において動画像を撮像している間（但し、検査用画像を撮像するとき以外）、イメージセンサ２の感度を、＃４、＃８において決定された感度の上限を超えない範囲で、ユーザによる感度設定指示に応じて設定された感度となるように制御する。すなわち、ユーザによる感度設定指示に応じて既に設定されている感度が、＃４、＃８において決定された感度の上限を超えることにならなければ、制御部６は、イメージセンサ２の感度を、ユーザによる感度設定指示に応じて既に設定されている感度で一定に保つ。一方、ユーザによる感度設定指示に応じて既に設定されている感度が、＃４、＃８において決定された感度の上限を超えることになれば、制御部６は、イメージセンサ２の感度を、＃４、＃８において決定された上限の感度にする。また、途中でユーザによる感度設定指示を受けたときには、制御部６は、そのときに＃４、＃８において決定されている感度の上限を超えない範囲で、ユーザによる感度設定指示に応じて、イメージセンサ２の感度を設定（設定を変更）する。

このような構成のビデオカメラ１によれば、イメージセンサ２により撮像した画像に現れるパターンノイズのレベルに基いて、イメージセンサ２の感度の上限が決定される。すなわち、実際のパターンノイズの発生状況に応じて、イメージセンサ２の感度の上限を決定することができる。従って、パターンノイズが目立たない範囲の上限までイメージセンサ２の感度を上げて撮像することが可能となる。これにより、ビデオカメラ１の能力を高めることができ、ユーザに良質な画質の画像を提供することができる。しかも、イメージセンサ２の感度の上限を決定するのに、温度センサを使用しないので、コストの削減にもつながる。

また、撮像動作において動画像を撮像しているときに、パターンノイズのレベルが測定されて、イメージセンサ２の感度の上限が決定されるため、パターンノイズのレベルを測定するための操作やイメージセンサ２の感度の上限を決定するための操作を別途行う必要がなく、使い勝手が良い。また、パターンノイズのレベルを測定するための検査用画像は、露光時間を最小かつ感度を最大にして撮像されるため、パターンノイズのレベルをより精度良く測定することができ、イメージセンサ２の感度の上限をより適切に決定することができる。

また、撮像動作における動画像の撮像開始直後、及び動画像の撮像中の所定時間経過毎に、そのときにイメージセンサ２により撮像している画像に現れるパターンノイズのレベルに基いて、すなわち、そのときの実際のパターンノイズの発生状況に応じて、イメージセンサ２の感度の上限が決定される。従って、ビデオカメラ１の使用環境（温度環境）が変化して、パターンノイズのレベル（パターンノイズの発生状況）に変化があっても、常に、イメージセンサ２の感度の上限をより適切に決定することができる。

また、液晶表示部３には、露光時間を最小かつ感度を最大にして撮像された検査用画像は表示されずに、検査用画像の代わりに、検査用画像の直前の画像が表示される。従って、液晶表示部３に表示されている画像を見ていても、違和感を受けることがない。

なお、本発明は、上記実施形態の構成に限られず、種々の変形が可能である。例えば、連続する複数のフレームの画像を検査用画像として、それらの検査用画像に現れるパターンノイズのレベルを測定して、そのパターンノイズのレベルに基いて、イメージセンサの感度の上限を決定するようにしてもよい。また、検査用画像は、検査用画像以外の画像を撮像するときと同じ露光時間及び感度で撮像してもよい。また、ユーザにより感度の上限を決定する操作がなされたときに、パターンノイズのレベルを測定して、そのパターンノイズのレベルに基いて、イメージセンサの感度の上限を決定するようにしてもよい。また、本発明は、動画像を撮像するビデオカメラに限られず、静止画像を撮像するデジタルカメラにも適用可能である。

１ ビデオカメラ（撮像装置）
２ イメージセンサ
３ 液晶表示部（表示手段）
４ メモリ
５ キー操作部
６ 制御部（撮像制御手段、上限感度決定手段、表示制御手段）
２１〜２６ センサ出力画像
３１〜３６ 表示出力画像

Claims (3)

1. イメージセンサにより光を受光して電気信号に変換することにより画像を撮像する撮像装置において、
   前記イメージセンサによる画像の撮像を制御する撮像制御手段と、
   前記イメージセンサにより撮像した画像に現れるノイズのレベルを測定し、その測定したノイズのレベルに基いて、前記イメージセンサの感度の上限を決定する上限感度決定手段とを備え、
   前記撮像制御手段は、前記イメージセンサにより画像を撮像するときに、前記イメージセンサの感度を前記上限感度決定手段により決定された感度の上限を超えない範囲で制御する、
   ことを特徴とする撮像装置。
2. 前記撮像制御手段は、前記イメージセンサにより連続して画像を撮像しているときに、それら連続して撮像している複数フレームの画像のうちの一部のフレームの画像を検査用画像とし、前記イメージセンサにより前記検査用画像を撮像するときには、前記イメージセンサの露光時間を最小にすると共に、前記イメージセンサの感度を最大にし、
   前記上限感度決定手段は、前記検査用画像に現れるノイズのレベルを測定し、その測定したノイズのレベルに基いて、前記イメージセンサの感度の上限を決定する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記イメージセンサにより撮像した画像を表示する表示手段と、
   前記表示手段による画像の表示を制御する表示制御手段とをさらに備え、
   前記表示制御手段は、前記イメージセンサにより撮像した画像を前記表示手段に表示するとき、前記検査用画像を該検査用画像の直前の画像に置き換える、
   ことを特徴とする請求項２に記載の撮像装置。

Images