JP2008017176A - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2008017176A
JP2008017176A JP2006186539A JP2006186539A JP2008017176A JP 2008017176 A JP2008017176 A JP 2008017176A JP 2006186539 A JP2006186539 A JP 2006186539A JP 2006186539 A JP2006186539 A JP 2006186539A JP 2008017176 A JP2008017176 A JP 2008017176A
Authority
JP
Japan
Prior art keywords
charge amount
pixel
charge
threshold
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006186539A
Other languages
English (en)
Inventor
Takuya Yamaguchi
卓也 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006186539A priority Critical patent/JP2008017176A/ja
Priority to US11/768,414 priority patent/US7932927B2/en
Priority to CNB2007101279888A priority patent/CN100542226C/zh
Publication of JP2008017176A publication Critical patent/JP2008017176A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times

Abstract

【課題】高輝度部分と低輝度部分を含む被写体を適切に撮像することができるようにする。
【解決手段】被写体に高輝度の部分があると、その高輝度の部分に対応する撮像素子の画素に、シャッタ時間で蓄積される電荷量は、画素が蓄積できる限界の電荷量（以下、限界電荷量と称する）に達することがあり、その場合、画素の電荷が飽和し、その画素には、それ以上の電荷が蓄積されない。飽和に到るまでの電荷の蓄積は、図２の直線Ｌ１に示すように直線的になされる。そこで限界電荷量Ｑ0、電荷量が閾値電荷量Ｑtに到した時間Ｔqt、およびシャッタ時間Ｔsに基づいて、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを推定する。この電荷量Ｑtsを用いて撮像信号が生成される。本発明は、ビデオカメラに適用される。
【選択図】図２

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、高輝度部分と低輝度部分がある被写体を適切に撮像することができるようにした画像処理装置および方法、並びにプログラムに関する。
ビデオカメラやデジタルカメラでは、撮像素子に入力される光量が多ければ多いほど、撮像素子の各画素に蓄積される電荷が多くなり、その分多くの情報量を取り込むことができるが、被写体に高輝度の部分があると、その高輝度の部分に相当する画素の電荷が飽和してしまう。
そのため一般的には、絞りを小さくしたり、シャッタスピードを速くしたりして、画素の電荷が飽和しない範囲で露光量が決められている。
しかしながら、このように入射される光量を制限すると、被写体に低輝度部分もある場合、その低輝度の部分に相当する画素の露光量も相対的に小さくなるため、画像の高輝度の部分では情報は失われないが、低輝度の部分の情報量が乏しくなってしまう。
低輝度の部分の情報量を補うために、光電変換後の画像処理で、ゲインアップすることは可能だが、もともとの情報量が乏しい場合は、信号と同時にノイズ成分もゲインアップされＳ／Ｎが悪化してしまう。またゲインアップの量を少なくとどめてＳ／Ｎを維持すると、結局この場合は低輝度部分に階調がなく、情報量の乏しい、黒つぶれした、ダイナミックレンジの狭い画像が得られることになる。
また被写体の低輝度部分の階調を維持するために、絞りを大きくしたり、シャッタスピードを遅くして、露光量を確保すると、画像の低輝度の部分では情報量が確保できるが、当然画像の高輝度部分の露光量が相対的に大きくなるため、高輝度部の電荷が飽和してしまう。
ところで電荷が飽和した場合は高輝度部分に階調がなく、情報量の乏しい、白とびしたダイナミックレンジの狭い画像となる。
ダイナミックレンジを確保するためには、さまざまな手法が考案されている。
短時間の露光で得られる被写体の高輝度の部分の画像信号と、長時間の露光で得られる被写体の低輝度の部分の画像信号とを合成することにより、高輝度の部分の白飛びや低輝度の部分の黒つぶれを軽減する手法（以下、第１の手法と称する）がある（特許文献１参照）。
また可変感度イメージセンサとして寄生容量と追加容量の２種類の容量を備えた可変感度画素構造を持ち、被写体が低輝度の場合は１種類の容量を用い、被写体が高輝度の場合は２種類の容量を用いて、高感度時に電荷の飽和を防ぐ手法（以下、第２の手法と称する）がある（非特許文献１参照）。この手法の感度選択は画素ごとに可能とされている。
特開平６−１４１２２９に示される手法は 「容量選択型可変感度イメージセンサによる広ダイナミックレンジ撮像の基礎検討（映像情報メディア学会誌Vol.59,No.1(2005)）」
しかしながら、第１の手法では、複数の時系列でシャッタ期間を設けて短時間露光と長時間露光を行うので、画像の低輝度部分と高輝度部分の時間的なずれが大きくなる可能性がある。また、短時間露光と長時間露光を排他的に行うので、短時間露光を行う期間は長時間露光を使用することができず、低輝度部分の情報量が不足する可能性がある。さらに、長時間露光を行う時間に蓄積される電荷の量が、画素の電荷容量いっぱいを使用できずに、高輝度部分の情報量が不足する可能性もある。
また第２の手法では、蓄積電荷が２種類の容量を加算した容量より大きくなった場合は、電荷が飽和してしまうことには変わりなく、飽和を防ぐために入射光が撮像素子に入る前段の光学系で光量を調整しても、被写体の低感度部分の階調情報を保つことは困難である。
本発明はこのような状況に鑑みてなされたものであり、高輝度部分と低輝度部分がある被写体を適切に撮像することができるようにするものである。
本発明の第１の側面の画像処理装置は、入射光を電荷に変換する撮像素子と、前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定手段と、前記電荷量が前記閾値電荷量に達するまでの閾値到達時間を計測する計測手段と、前記判定手段により電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間を記憶する記憶手段と、前記記憶手段に記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算手段と、前記演算手段により演算された前記電荷量に対応する画素値を、前記判定手段により電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号を生成する生成手段とを備える。
前記記憶手段は、前記判定手段により電荷量が前記閾値電荷量に達しなかったと判定された前記画素について、その画素にシャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた値を記憶し、前記生成手段は、前記記憶手段に記憶された前記値に対応する画素値を、前記判定手段により電荷量が前記閾値電荷量に達しなかったと判定された前記画素の画素値として、撮像信号を生成することができる。
前記閾値電荷量は前記撮像素子の画素の電荷容量であるようにすることができる。
前記閾値電荷量は、前記シャッタ時間内に、前記撮像素子の画素の電荷量が前記閾値電荷量に達するように推移するようにすることができる。
前記記憶手段は、前記判定手段により電荷量が前記閾値電荷量に達したと判定されたときの画素に蓄積された電荷がデジタル変換された結果得られた電荷量を、前記閾値到達時間と対応付けて記憶し、前記演算手段は、前記記憶手段に対応付けて記憶された前記電荷量と前記閾値到達時間に基づいて、前記シャッタ時間に入射する光によって蓄積され得る電荷量を演算することができる。
前記閾値電荷量が、前記シャッタ時間の間に画素の電荷容量から０に段階的に減少する場合、前記記憶手段に記憶された前記閾値到達時間、前記推移における前記閾値到達時間に対応する前記閾値電荷量に基づいて、シャッタ時間に入射する光によって蓄積され得た電荷量を演算することができる。
前記判定手段、前記計測手段、前記記憶手段は、前記撮像素子の画素毎に設けられているようにすることができる。
本発明の第１の側面の画像処理方法、またはプログラムは、撮像素子に蓄積された電荷から撮像信号を生成する画像処理方法において、または撮像素子に蓄積された電荷から撮像信号を生成する画像処理をコンピュータに実行させるプログラムにおいて、前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップと、前記電荷量が前記閾値電荷量に達するまでの閾値到達時間を計測する計測ステップと、前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間を記憶する記憶ステップと、前記記憶ステップの処理で記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップと、前記演算ステップの処理で演算された前記電荷量に対応する画素値を、前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号を生成する生成ステップとを含む。
本発明の第１の側面の画像処理装置、画像処理方法、またはプログラムにおいては、前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かが判定され、前記電荷量が前記閾値電荷量に達するまでの閾値到達時間が計測され、電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間が記憶され、記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量が演算され、演算された前記電荷量に対応する画素値を、前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号が生成される。
本発明の第２の側面の画像処理装置は、入射光を電荷に変換する撮像素子と、前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定手段と、前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷を消失させる画素制御手段と、画素毎に、前記シャッタ時間内に、前記画素制御手段により電荷が消失された回数を計測する計測手段と、画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数手段により計測された前記回数を記憶する記憶手段と、前記記憶手段に記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算手段と、前記演算手段により演算された前記電荷量に対応する画素値を用いて、撮像信号を生成する生成手段とを備える。
本発明の第２の側面の画像処理方法、またはプログラムは、撮像素子に蓄積された電荷から撮像信号を生成する画像処理方法において、または撮像素子に蓄積された電荷から撮像信号を生成する画像処理をコンピュータに実行させるプログラムにおいて、前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップと、前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷を消失させる画素制御ステップと、画素毎に、前記シャッタ時間内に、前記画素制御ステップにより電荷が消失された回数を計測する計測ステップと、画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数ステップの処理で計測された前記回数を記憶する記憶ステップと、前記記憶ステップの処理で記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップと、前記演算ステップの処理で演算された前記電荷量に対応する画素値を用いて、撮像信号を生成する生成ステップとを含む。
本発明の第２の側面の画像処理装置、画像処理方法、またはプログラムにおいては、前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かが判定され、前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷が消失され、画素毎に、前記シャッタ時間内に、電荷が消失された回数が計測され、画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数ステップの処理で計測された前記回数が記憶され、記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量が演算され、演算された前記電荷量に対応する画素値を用いて、撮像信号が生成される。
本発明の第１または第２の側面によれば、高輝度部分と低輝度部分を含む被写体を適切に撮像することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第１の側面の画像処理装置は、
入射光を電荷に変換する撮像素子（例えば、図１の撮像素子１１）と、
前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量（例えば、図２の電荷量Ｑt）に達したか否かを判定する判定手段（例えば、図１の比較部２３）と、
前記電荷量が前記閾値電荷量に達するまでの閾値到達時間（例えば、図２の時間Ｔqt）を計測する計測手段（例えば、図１のカメラコントローラ１５）と、
前記判定手段により電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間を記憶する記憶手段（例えば、図１の記憶部２５）と、
前記記憶手段に記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間（例えば、図２の時間Ｔs）に入射する光によって蓄積され得た電荷量（例えば、図２の電荷量Ｑts）を演算する演算手段（例えば、図１の演算部２６）（例えば、式（１））と、
前記演算手段により演算された前記電荷量に対応する画素値を、前記判定手段により電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号を生成する生成手段（例えば、図１の演算部２６）と
を備える。
前記記憶手段は、前記判定手段により電荷量が前記閾値電荷量に達しなかったと判定された前記画素について、その画素にシャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた値（例えば、図２の電荷量Ｑe）を記憶し、
前記生成手段は、前記記憶手段に記憶された前記値に対応する画素値を、前記判定手段により電荷量が前記閾値電荷量に達しなかったと判定された前記画素の画素値として、撮像信号を生成することができる。
前記閾値電荷量は前記撮像素子の画素の電荷容量（例えば、図２の電荷量Ｑ0）であるようにすることができる。
前記閾値電荷量は、前記シャッタ時間内に、前記撮像素子の画素の電荷量が前記閾値電荷量に達するように推移する（例えば、図４の閾値電荷量Ｑt）ようにすることができる。
前記記憶手段は、前記判定手段により電荷量が前記閾値電荷量に達したと判定されたときの画素に蓄積された電荷がデジタル変換された結果得られた電荷量（例えば、図２の閾値電荷量Ｑt）を、前記閾値到達時間と対応付けて記憶し、
前記演算手段は、前記記憶手段に対応付けて記憶された前記電荷量と前記閾値到達時間に基づいて、前記シャッタ時間に入射する光によって蓄積され得る電荷量を演算することができる。
前記閾値電荷量が、前記シャッタ時間の間に画素の電荷容量から０に段階的に減少する場合、前記記憶手段に記憶された前記閾値到達時間と前記シャッタ時間に基づいて、シャッタ時間に入射する光によって蓄積され得た電荷量を演算することができる（例えば、式（３））。
前記判定手段（例えば、図６の比較部５３）、前記計測手段（例えば、図６の制御部５５）、前記記憶手段（例えば、図６の記憶部５４）は、前記撮像素子の画素毎に設けられているようにすることができる。
本発明の第１の側面の画像処理方法、または第１の側面のプログラムは、
撮像素子に蓄積された電荷から撮像信号を生成する画像処理方法、またはプログラムにおいて、または撮像素子に蓄積された電荷から撮像信号を生成する画像処理をコンピュータに実行させるプログラムにおいて、
前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップ（例えば、図３のステップＳ３）と、
前記電荷量が前記閾値電荷量に達するまでの閾値到達時間を計測する計測ステップ（例えば、図３のステップＳ４）と、
前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間を記憶する記憶ステップ（例えば、図３のステップＳ４）と、
前記記憶ステップの処理で記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップ（例えば、図３のステップＳ８）と、
前記演算ステップの処理で演算された前記電荷量に対応する画素値を、前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号を生成する生成ステップ（例えば、図３のステップＳ８）と
を含む。
本発明の第２の画像処理装置は、
入射光を電荷に変換する撮像素子（例えば、図１４の撮像素子１１）と、
前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定手段（例えば、図１４の比較部７３）と、
前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷を消失させる画素制御手段（例えば、図１４のカメラコントローラ６２とＡ／Ｄ変換部７２）と、
画素毎に、前記シャッタ時間内に、前記画素制御手段により電荷が消失された回数を計測する計測手段（例えば、図１４のカメラコントローラ６２）と、
画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数手段により計測された前記回数を記憶する記憶手段（例えば、図１４の記憶部７５）と、
前記記憶手段に記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算手段（例えば、図１４の演算部７６）と、
前記演算手段により演算された前記電荷量に対応する画素値を用いて、撮像信号を生成する生成手段（例えば、図１４の演算部７６）と
を備える。
本発明の第２の画像処理方法、またはプログラムは、
撮像素子に蓄積された電荷から撮像信号を生成する画像処理方法、または撮像素子に蓄積された電荷から撮像信号を生成する画像処理をコンピュータに実行させるプログラムにおいて、
前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップ（例えば、図１６のステップＳ１５３）と、
前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷を消失させる画素制御ステップ（例えば、図１６のステップＳ１５４）と、
画素毎に、前記シャッタ時間内に、前記画素制御ステップにより電荷が消失された回数を計測する計測ステップ（例えば、図１６のステップＳ１５４）と、
画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数ステップの処理で計測された前記回数を記憶する記憶ステップ（例えば、図１６のステップＳ１５６）と、
前記記憶ステップの処理で記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップ（例えば、図１６のステップＳ１５７）と、
前記演算ステップの処理で演算された前記電荷量に対応する画素値を用いて、撮像信号を生成する生成ステップ（例えば、図１６のステップＳ１５７）と
を含む。
図１は、本発明を適用したビデオカメラ１の構成例を示している。
撮像素子１１は、被写体像の画素に相当する単位セル毎に電子信号の読み出しが可能な例えばCMOS（Complementary Metal Oxide Semiconductor）イメージセンサより構成されており、図示せぬレンズブロックから入射された光像（被写体の映像）を、画素毎に光電変換し、その結果得られた信号（電荷）を、撮像信号生成部１２に出力する。
撮像信号生成部１２は、後述するように、カメラコントローラ１５の制御に従って、撮像素子１１から入力された信号から、撮像信号を生成し、生成した撮像信号をカメラ信号処理部１３に出力する。
カメラ信号処理部１３は、撮像信号生成部１２から入力された撮像信号に対して、サンプリング処理やＹＣ分離処理などを行い、その結果得られた輝度信号や色信号などを出力する。カメラ信号処理部１３から出力された信号は、ディスプレイ（図示せず）に出力されて映像として表示されたり、リムーバブルメディア（図示せず）に出力されて、そこに記録される。
入力部１４は、ビデオカメラ１を操作するための各種ボタンに対するユーザによる操作結果に応じた指令信号をカメラコントローラ１５に出力する。
カメラコントローラ１５は、入力部１４からの指令信号に応じて、各部を制御する。
次に、撮像信号生成部１２の詳細について説明するが、はじめにこの撮像信号生成部１２で行われる撮像信号生成処理の原理について説明する。
被写体に高輝度の部分があると、その高輝度の部分に対応する撮像素子１１の画素の、シャッタ期間が開始されて撮像素子１１に光が入射し始めてからシャッタ期間が終了し光が入射されなくなるまでの時間（以下、シャッタ時間と称する）に蓄積される電荷の量（電荷量）は、画素の電荷容量、すなわち電荷が蓄積できる限界の電荷量（以下、限界電荷量と称する）に達することがあり、その場合、画素の電荷が飽和し、その画素には、それ以上の電荷が蓄積されない。
しかしながら飽和に到るまでの電荷の蓄積は、図２の直線Ｌ１に示すように直線的になされる。そこで撮像信号生成部１２は、限界電荷量Ｑ0と同じ値を閾値電荷量Ｑtとし、シャッタ時間（例えば、１／６０秒）Ｔs内に撮像素子１１の画素の電荷量が閾値電荷量Ｑtに達したか否かを判定し、達した場合、限界電荷量Ｑ0を超える電荷容量を有していたとしたときのシャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを、式（１）を用いて演算する。
Figure 2008017176
式（１）中、Ｑtは、閾値電荷量であり、この場合限界電荷量Ｑ0と同じ値であり、Ｔqtは、電荷量が閾値電荷量Ｑtに到した時間（以下、閾値到達時間と称する）であり、およびＴsは、シャッタ時間である。
図２の直線Ｌ２に示すように、シャッタ時間Ｔs内に電荷量が閾値電荷量Ｑt（＝限界電荷量Ｑ0）に達しなかった画素については、実際のシャッタ期間終了時の電荷量Ｑeが、シャッタ時間Ｔsに蓄積された電荷量Ｑtsとされる。
このように決定された電荷量Ｑtsに対応する画素値で１フレームが構成され、１フレーム分の撮像信号が生成される。
すなわち本発明によれば、画像（動画または静止画）の撮影において、シャッタ時間内に限界電荷量を超える電荷が蓄積される場合であっても、シャッタ時間に蓄積され得た電荷量を推定するようにしたので、画素の限界電荷量Ｑ0に係らず、撮像素子１１の感度、あるいはダイナミックレンジを維持することができ、被写体の低輝度部分から高輝度部分までの広い輝度帯域で画像の階調情報を失わないようにすることができる。
図１に戻り撮像信号生成部１２の構成例について説明する。
選択部２１は、撮像素子１１の各画素を１個ずつ順番に選択し、選択した画素に蓄積された電荷の大きさに応じた信号（例えば、電圧信号）を比較器２３に供給する。
選択部２１はまた、カメラコントローラ１５から指令があったとき、いま選択している画素に蓄積されている電荷を、Ａ／Ｄ変換部２２に出力する。電荷を出力した画素の蓄積電荷は０となる。
Ａ／Ｄ変換部２２は、選択部２１から取得された電荷を、Ａ／Ｄ変換するとともに、Ａ／Ｄ変換の結果得られた電荷量を示す値（以下、適宜、単に、電荷量と称する）を記憶部２５に供給する。
比較部２３は、選択部２１から供給された信号に基づいて、選択されている画素の電荷が飽和したか否かを判定し、例えば飽和したと判定したときその旨を示す信号をカメラコントローラ１５に供給する。
具体的には、比較部２３は、限界電荷量Ｑ0と同じ値の閾値電荷量Ｑtを保持しており、その閾値電荷量Ｑtと、選択部２１からの信号から検知した電荷量を比較して、例えば電荷量が閾値電荷量Ｑt以上になったとき、その旨を示す信号をカメラコントローラ１５に供給する。
なお選択部２１への閾値電荷量Ｑtの設定は、この例の場合カメラコントローラ１５により行われるものとする。
カウンタ２４は、画像の諧調を表現するために必要な量子化段数を十分に満たす精度のカウント数で時間を計測する。カウンタ２４は、カメラコントローラ１５の制御に従ってカウントを開始し、カウント値を、例えばカメラコントローラ１５に供給する。
記憶部２５は、それぞれ対応する、Ａ／Ｄ変換部２２からの電荷量と、カメラコントローラ１５からのカウント値を対応付けて記憶する。なお記憶部２５に対応付けられて記憶される電荷量とカウント値を、以下において、適宜、それらが得られたときに選択されている画素の撮像情報と称する。
演算部２６は、カメラコントローラ１５の制御に従って、記憶部２５に記憶されている各画素の撮像情報を参照し、シャッタ時間Ｔs内に電荷量が閾値電荷量Ｑtに達した画素については、式（１）に基づいて、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを演算し、またシャッタ時間Ｔs内に電荷量が閾値電荷量Ｑtに達しなかった画素については、シャッタ期間終了時の電荷量Ｑeを、シャッタ時間Ｔsに蓄積された電荷量Ｑtsとし、それらの電荷量Ｑtsに対応する画素値で１フレームを構成し、１フレーム分の撮像信号を生成する。演算部２６は、生成した撮像信号をカメラ信号処理部１３に供給する。
次に、撮像信号生成処理を、図３のフローチャートを参照して説明する。
ステップＳ１において、シャッタ時間Ｔsの計測が開始される。具体的にはカメラコントローラ１５は、カウント開始の指令を撮像信号生成部１２のカウンタ２４に出力する。カウンタ２４は、カウントを開始し、カウント値のカメラコントローラ１５への出力を開始する。
ステップＳ２において、カメラコントローラ１５は、撮像信号生成部１２の選択部２１を制御して、後述するステップＳ４で撮像情報が記憶されていない画素を１つ選択させる。選択部２１は、カメラコントローラ１５により指定された画素（撮像情報が記憶されていない画素）を１つ選択して、その画素に蓄積されている電荷の大きさを示す信号（電圧信号）の比較器２３への供給を開始する。
比較部２３は、選択部２１から供給された信号からいま選択されている画素の電荷量を検知し、電荷量が閾値電荷量Ｑtに達したか否かを判定し、閾値電荷量Ｑtに達したと判定したとき、その旨を示す信号を、カメラコントローラ１５に供給する処理を開始する。
ステップＳ３において、カメラコントローラ１５は、いま選択されている画素の電荷量が閾値電荷量Ｑtに達したか否かを判定する。この例の場合カメラコントローラ１５は、比較部２３から、画素の電荷量が閾値電荷量Ｑtに達した旨を示す信号が入力されたか否かを判定する。
ステップＳ３で、いま選択されている画素の電荷量が閾値電荷量Ｑtに達したと判定された場合、ステップＳ４に進み、このときの電荷量（すなわち閾値電荷量Ｑt（＝限界電荷量Ｑ0））と、シャッタ期間が開始されてから電荷量が閾値電荷量Ｑtに達するまでの閾値到達時間Ｔqtが、いま選択されている画素の撮像情報として記憶される。
具体的には、カメラコントローラ１５はこのとき、電荷出力を指令する信号を選択部２１に出力する。これにより選択部２１は、いま選択している画素の電荷をＡ／Ｄ変換部２２に出力し、Ａ／Ｄ変換部２２は、そのＡ／Ｄ変換の結果得られた値、すなわち閾値電荷量Ｑt（＝限界電荷量Ｑ0）に相当する値を、記憶部２５に出力する。カメラコントローラ１５はこのときまた、カウンタ２４のカウント値、すなわち閾値到達時間Ｔqtに対応するカウント値を記憶部２５に供給する。
記憶部２５は、Ａ／Ｄ変換部２２から供給された閾値電荷量Ｑt（＝限界電荷量Ｑ0）と、カメラコントローラ１５から供給された閾値到達時間Ｔqtを対応付けて記憶する。
ステップＳ３で、電荷量が閾値電荷量Ｑtに達していないと判定された場合、ステップＳ５に進み、シャッタ期間が終了したか否かが判定される。具体的にはカメラコントローラ１５は、カウンタ２４からのカウント値が、シャッタ時間Ｔsをカウントした場合のカウント値と同じ値になったか否かを判定する。
ステップＳ４で、撮像情報が記憶部２５に記憶されたとき、またはステップＳ５で、シャッタ期間が終了していないと判定されたとき、ステップＳ６に進む。
ステップＳ６において、カメラコントローラ１５は、ステップＳ４で撮像情報が記憶されていない画素が存在するか否かを判定し、まだ存在すると判定した場合、ステップＳ２に戻る。すなわちステップＳ２で、ステップＳ４で撮像情報が記憶されていない画素が新たに選択され、選択されたその画素についてステップＳ３乃至ステップＳ６の処理が同様に行われる。
ステップＳ５で、シャッタ期間が終了したと判定された場合、ステップＳ７に進み、ステップＳ４で撮像情報が記憶されていないすべての画素のそれぞれの、いまの時点（すなわち、シャッタ期間終了時）の電荷量Ｑeとシャッタ時間Ｔsがその画素の撮像情報として記憶部２５に記憶される。
具体的には、カメラコントローラ１５の制御に従って、選択部２１によりステップＳ４で撮像情報が記憶されていない画素が順次選択され、選択された画素にいま蓄積されている電荷がＡ／Ｄ変換部２２でＡ／Ｄ変換されるとともに、そのＡ／Ｄ変換の結果が記憶部２５に供給される。そしてシャッタ時間Ｔsをカウントしたときのカウント値がカメラコントローラ１５から記憶部２５に供給される。記憶部２５は、Ａ／Ｄ変換部２２から供給された各画素の電荷量Ｑeと、カメラコントローラ１５から供給されたシャッタ時間Ｔsを対応付けて記憶する。
ステップＳ６で、ステップＳ４で撮像情報が記憶されていない画素が存在しないと判定された場合、またはステップＳ７で撮像情報が記憶部２５に記憶されたとき、すなわち撮像素子１１のすべての画素の撮像情報が記憶部２５に記憶されたとき、ステップＳ８に進み、カメラコントローラ１５は、撮像信号生成部１２の演算部２６を制御して、記憶部２５に記憶された各画素の撮像情報に基づいて、１フレーム分の撮像信号を生成させる。
具体的には、演算部２６は、記憶部２５に、撮像情報として、シャッタ時間Ｔsを示すカウント値に対応付けられて電荷量（すなわち電荷量Ｑe）が記憶されている場合、その電荷量Ｑeを、その画素の、シャッタ時間Ｔsに蓄積された電荷量Ｑtsとする。
また撮像情報として、閾値到達時間Ｔqtを示すカウント値（すなわちシャッタ時間Ｔsを示すカウント値より小さいカウント値）に対応付けられて電荷量（すなわち閾値電荷量Ｑt（＝限界電荷量Ｑ0））が記憶されている場合、演算部２６は、その閾値電荷量Ｑt（＝限界電荷量Ｑ0）と閾値到達時間Ｔqtを用いて式（１）を演算し、その画素の、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出する。なお演算部２６は、シャッタ時間Ｔsを予め記憶しているものとする。
演算部２６は、このようにして決定した電荷量Ｑtsに対応する画素値で１フレームを構成し、１フレーム分の撮像信号を生成する。演算部２６は、生成した撮像信号をカメラ信号処理部１３に供給する。
以上のように、シャッタ時間Ｔs内に電荷が飽和する画素については、その時間Ｔsに蓄積され得た電荷量を推定するようにしたので、画素の限界電荷量Ｑ0に係らず、撮像素子１１の感度、あるいはダイナミックレンジを維持することができ、被写体の低輝度部分から高輝度部分までの広い輝度帯域で画像の階調情報を失わないようにすることができる。
なお以上においては、閾値電荷量Ｑtが、撮像情報として、記憶部２５に記憶されたが、閾値電荷量Ｑtは、この例の場合、既知の限界電荷量Ｑ0であるので、撮像情報として記憶せずに、演算部２６が保持して式（１）を演算するようにすることもできる。またシャッタ時間Ｔsについても、撮像情報として記憶せずに、式（１）を演算するために演算部２６が記憶している時間Ｔsを利用することもできる。
また以上においては、閾値電荷量Ｑtを限界電荷量Ｑ0に固定したが（図２）、閾値電荷量Ｑtを、図４に示すように段階的に変化させることができる。
図４の例では、閾値電荷量Ｑtは、シャッタ時間Ｔsの間に限界電荷量Ｑ0から０に段階的に減少するようになされている。この場合、すべての画素の電荷量は、シャッタ時間Ｔs内に必ず閾値電荷量Ｑtに到達するので、すべての画素について、そのときの閾値電荷量Ｑtと閾値到達時間Ｔqtを用いて式（１）を演算することで、シャッタ時間Ｔsで蓄積され得た電荷量Ｑtsを推定することができる。
閾値電荷量Ｑtが図４に示すように段階的に変化する場合の撮像信号生成処理を、図５のフローチャートを参照して説明する。
ステップＳ１１において、図３のステップＳ１の場合と同様に、シャッタ時間の計測が開始される。
ステップＳ１２において、ステップＳ２の場合と同様に、後述するステップＳ１４で撮像情報が記憶されていない画素が１つ選択される。
ステップＳ１３において、ステップＳ３の場合と同様に、いま選択されている画素の電荷量が現時点の閾値電荷量Ｑtに達したか否かが判定される。
ステップＳ１３で、いま選択された画素の電荷量が現時点の閾値電荷量Ｑtに達したと判定された場合、ステップＳ１４に進み、ステップＳ４の場合と同様にそのときの電荷量（すなわち閾値電荷量Ｑt）と閾値到達時間Ｔqtが、いま選択されている画素の撮像情報として記憶部２５に記憶される。
ステップＳ１３で、電荷量が現時点での閾値電荷量Ｑtに達していないと判定された場合、またはステップＳ１４で、いま選択されている画素の撮像情報が記憶された場合、ステップＳ１５に進み、カメラコントローラ１５は、比較部２３にいま設定されている閾値電荷量Ｑtを、１段階小さい値に設定する。なおここでの閾値電荷量Ｑtの変更の大きさおよびタイミングは、図４に示したように、シャッタ時間Ｔs内に限界電荷量Ｑ0から０に直線的に減少するように制御される。
次にステップＳ１６において、カメラコントローラ１５は、ステップＳ１４で撮像情報が記憶されていない画素が存在するか否かを判定し、存在すると判定した場合、ステップＳ１２に戻る。すなわちステップＳ１２で撮像情報が記憶されていない画素が新たに選択され、選択された画素についてステップＳ１３乃至ステップＳ１６の処理が同様に行われる。
ステップＳ１６で、撮像情報が記憶されていない画素が存在しないと判定された場合、すなわちすべての画素の撮像情報が記憶された場合、ステップＳ１７に進み、カメラコントローラ１５は、撮像信号生成部１２の演算部２６を制御して記憶部２５に記憶された各画素の撮像情報に基づいて撮像信号を生成させる。
演算部２６は、記憶部２５に記憶されている各画素の撮像情報を用いて式（１）を演算し、各画素のシャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出する。
演算部２６は、このように算出した電荷量Ｑtsに対応する画素値で１フレームを構成し、１フレーム分の撮像信号を生成する。演算部２６は、生成した撮像信号をカメラ信号処理部１３に供給する。
以上のようにして図１の例において閾値電荷量Ｑtが、図４に示すように段階的に変化する場合の撮像信号生成処理が行われる。
図６は、本発明を適用した他のビデオカメラ１の構成例を示している。このビデオカメラ１には、図１のビデオカメラ１の撮像信号生成部１２に代えて撮像信号生成部３１が設けられている。
撮像信号生成部３１の構成について説明する。
記憶制御部４１−１，４１−２，・・・は、撮像素子１１の画素毎に設けられている。各記憶制御部４１は、閾値電荷量Ｑtを限界電荷量Ｑ0とし、対応する画素の電荷量が、シャッタ時間Ｔs内に閾値電荷量Ｑtに達したか否かを判定し、達した場合、その画素の撮像情報として、閾値電荷量Ｑt（＝限界電荷量Ｑ0）と閾値到達時間Ｔqtを記憶し、またシャッタ時間Ｔs内に閾値電荷量Ｑtに達しなかった場合、その画素の撮像情報として、シャッタ期間終了時の電荷量Ｑeとシャッタ時間Ｔsを記憶する。
カウンタ４２は、図１のカウンタ２４と同様に、画像の諧調を表現するために必要な量子化段数を十分に満たす精度のカウント数で時間を計測することができる。カウンタ４２は、カメラコントローラ１５の制御に従ってカウントを開始し、カウント値を、各記憶制御部４１（の制御部５５）に供給する。
演算部４３は、カメラコントローラ１５の制御に従って、各記憶制御部４１（の記憶部５４）に記憶された各画素の撮像情報を参照し、シャッタ時間Ｔs内に電荷量が閾値電荷量Ｑtに達した画素については式（１）を演算して、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出し、シャッタ時間Ｔs内に電荷量が閾値電荷量Ｑtに達しなかった画素については、シャッタ期間終了時の電荷量Ｑeを、シャッタ時間Ｔsに蓄積された電荷量Ｑtsとする。演算部２６は、このようにして決定した電荷量Ｑtsに対応する画素値で１フレームを構成して１フレーム分の撮像信号を生成し、カメラ信号処理部１３に供給する。
次に、撮像信号生成部３１の記憶制御部４１の構成について説明する。
入力部５１は、記憶制御部４１が対応する画素の電荷量の大きさに応じた信号（電圧信号）を比較部５３に供給する。入力部５１はまた、制御部５５から指令があったとき、対応する画素の電荷をＡ／Ｄ変換部５２に供給する。なおこのように電荷を出力すると、画素の蓄積電荷は０となる。
Ａ／Ｄ変換部５２は、入力部５１から供給された電荷をＡ／Ｄ変換するとともに、そのＡ／Ｄ変換の結果得られた電荷量を示す値を記憶部５４に供給する。
比較部５３は、入力部５１から供給された信号に基づいて、記憶制御部４１に対応する画素の電荷が飽和したか否かを判定し、例えば飽和したと判定したときその旨を示す信号を制御部５５に供給する。
具体的には、比較部５３は、限界電荷量Ｑ0と同じ値の閾値電荷量Ｑtを保持しており、その閾値電荷量Ｑtと、入力部５１からの信号から検知した電荷量を比較して、例えば電荷量が閾値電荷量Ｑt以上になったとき、その旨を示す信号を制御部５５に供給する。
記憶部５４は、それぞれ対応する、Ａ／Ｄ変換部５２からの電荷量と制御部５５からのカウント値を、記憶制御部４１に対応する画素の撮像情報として記憶する。
制御部５５は、記憶制御部４１の各部を制御する。
次に撮像信号生成部４１の撮像信号生成処理を、図７のフローチャートを参照して説明する。
ステップＳ５１において、図３のステップＳ１の場合と同様に、シャッタ時間の計測が開始される。
ステップＳ５２において、各記憶制御部４１において記憶制御処理が行われる。各記憶制御部４１で行われるこの記憶制御処理について、図８のフローチャートを参照して説明する。
ステップＳ６１において、対応する画素の電荷量が閾値電荷量Ｑtに達したか否かが判定される。いまの場合制御部５５は、比較部５３から、画素の電荷量が閾値電荷量Ｑtに達した旨を示す信号が入力されたか否かを判定する。
ステップＳ６１で、対応する画素の電荷量が閾値電荷量Ｑtに達したと判定された場合、ステップＳ６２に進み、このときの電荷量（すなわち閾値電荷量Ｑt（＝限界電荷量Ｑ0））と閾値到達時間Ｔqtが、撮像情報として記憶される。
具体的には、制御部５５はこのとき、電荷出力を指令する信号を入力部５１に出力する。これにより入力部５１は、記憶制御部４１に対応する画素の電荷をＡ／Ｄ変換部５２に供給し、Ａ／Ｄ変換部５２は、Ａ／Ｄ変換の結果得られた値、すなわち閾値電荷量Ｑt（＝限界電荷量Ｑ0）を、記憶部５４に出力する。制御部５５はこのときまた、カウンタ４２のカウント値、すなわち、閾値到達時間Ｔqtに対応するカウント値を記憶部５４に供給する。
記憶部５４は、Ａ／Ｄ変換部５２から供給された閾値電荷量Ｑt（＝限界電荷量Ｑ0）と、制御部５５から供給された閾値到達時間Ｔqtを対応させて記憶する。
ステップＳ６１で、電荷量が閾値電荷量Ｑtに達していないと判定された場合、ステップＳ６３に進み、シャッタ期間が終了したか否かが判定される。具体的には制御部５５は、カウンタ４２からのカウント値が、シャッタ時間Ｔsをカウントした場合のカウント値と同じ値になったか否かを判定する。
ステップＳ６３で、シャッタ期間が終了していないと判定された場合、処理はステップＳ６１に戻り、それ以降の処理が同様に行われる。
ステップＳ６３で、シャッタ期間が終了したと判定された場合、ステップＳ６４に進み、対応する画素の現時点、すなわちシャッタ期間終了時の電荷量Ｑeとシャッタ時間Ｔsが、撮像情報として記憶部５４に記憶される。
具体的には、制御部５５の制御に従って、対応する画素のいま蓄積されている電荷が入力部５１からＡ／Ｄ変換部５２に供給されて、Ａ／Ｄ変換されるとともに、その結果得られた電荷量Ｑeが記憶部５４に供給される。そしてシャッタ期間Ｔsをカウントしたときのカウント値が制御部５５から記憶部５４に供給される。記憶部５４は、Ａ／Ｄ変換部５２から供給された電荷量Ｑeと、制御部５５から供給されたシャッタ時間Ｔsを対応付けて記憶する。
各記憶制御部４１において、ステップＳ６２またはステップＳ６４の処理が行われ、各画素の撮像情報が記憶されたとき、図７のステップＳ５３に進み、カメラコントローラ１５は、撮像信号生成部３１の演算部４３を制御して各記憶制御部４１（の記憶部５４）に記憶された撮像情報に基づいて撮像信号を生成させる。
演算部４３は、各記憶制御部４１（の記憶部５４）に、撮像情報として、シャッタ時間Ｔsを示すカウント値に対応付けられて電荷量（すなわち電荷量Ｑe）が記憶されている場合、その電荷量Ｑeを、その画素の、シャッタ時間Ｔsに蓄積された電荷量Ｑtsとする。
また撮像情報として、閾値到達時間Ｔqtを示すカウント値（すなわちシャッタ時間Ｔsを示すカウント値より小さいカウント値）に対応付けられて電荷量（すなわち閾値電荷量Ｑt（＝限界電荷量Ｑ0））が記憶されている場合、演算部４３は、その閾値電荷量Ｑt（＝限界電荷量Ｑ0）と閾値到達時間Ｔqtを用いて式（１）を演算し、その画素の、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出する。
演算部４３は、このようにして決定した電荷量Ｑtsに対応する画素値で１フレームを構成して１フレーム分の撮像信号を生成し、生成した撮像信号をカメラ信号処理部１３に供給する。
以上のように撮像素子１１の各画素に対応する記憶制御部４１を設けた場合の撮像信号生成処理が行われる。
なお上述した図６の例では、閾値電荷量Ｑtを限界電荷量Ｑ0に固定したが（図２）、図４に示したように、閾値電荷量Ｑtを段階的に変化させることもできる。
図４に示すように閾値電荷量Ｑtが段階的に変化する場合の撮像信号生成部３１の撮像信号生成処理を、図９のフローチャートを参照して説明する。
ステップＳ７１において、図７のステップＳ５１の場合と同様に、シャッタ時間の計測が開始される。
ステップＳ７２において、各記憶制御部４１において記憶制御処理が行われる。各記憶制御部４１で行われるこの記憶制御処理について、図１０のフローチャートを参照して説明する。
ステップＳ８１において、図８のステップＳ６１の場合と同様に、対応する画素の電荷量が閾値電荷量Ｑtに達したか否かが判定される。
ステップＳ８１で、対応する画素の電荷量が閾値電荷量Ｑtに達していないと判定された場合、ステップＳ８２に進み、記憶制御部４１の制御部５５は、比較部５３にいま設定されている閾値電荷量Ｑtを、１段階小さい値に設定する。なおここでの閾値電荷量Ｑtの変更は、図４に示したように段階的に変化するように制御される。
その後、ステップＳ８１に戻りそれ以降の処理が同様に行われる。
ステップＳ８１で、対応する画素の電荷量が閾値電荷量Ｑtに達したと判定された場合、ステップＳ８３に進み、図８のステップＳ６２の場合と同様に、対応する画素のそのときの電荷量（すなわち閾値電荷量Ｑt）と閾値到達時間Ｔqtが、対応する画素の撮像情報として記憶部５４に記憶される。
なお閾値電荷量Ｑtは、図４に示すように、シャッタ時間Ｔs内に限界電荷量Ｑ0から０に段階的に変化するので、記憶制御部４１に対応する電荷の電荷量は、シャッタ時間Ｔs内に必ず閾値電荷量Ｑtに到達する。
各記憶制御部４１においてステップＳ８３の処理が行われ、各画素の撮像情報が記憶されたとき、図９のステップＳ７３に進み、カメラコントローラ１５は、撮像信号生成部３１の演算部４３を制御して、各記憶制御部４１（の記憶部５４）に記憶された各画素の撮像情報に基づいて、１フレーム分の撮像信号を生成させる。
この場合、演算部４３は、撮像情報として記憶されている閾値電荷量Ｑtと閾値到達時間Ｔqtを用いて式（１）を演算し、各画素の、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出する。
演算部４３は、このようにして算出した電荷量Ｑtsに対応する画素値で１フレームを構成して１フレーム分の撮像信号を生成し、生成した撮像信号をカメラ信号処理部１３に供給する。
以上のようにして図６の例において閾値電荷量Ｑtが図４に示すように段階的に変化する場合の撮像信号生成処理が行われる。
なお図４に示すように閾値電荷量Ｑtが段階的に変化する場合、上述したように式（１）を演算して、シャッタ時間Ｔsに蓄積され得る電荷量Ｑtsを算出するようにしたが、閾値電荷量Ｑtの推移は、図４の例の場合、式（２）で表すことができることから、シャッタ時間Ｔsに蓄積され得る電荷量を、式（３）で演算することができる。
Figure 2008017176
Figure 2008017176
すなわちこの場合、限界電荷量Ｑ0とシャッタ時間Ｔsが既知であるので、閾値到達時間Ｔqtを記憶しておくだけで、電荷量Ｑtsを推定することができ、式（１）を用いる場合と異なり、閾値電荷量Ｑtを撮像情報として記憶する必要がないので、図１１に示すように、例えば図６に示す撮像信号生成部３１の各記憶制御部４１からＡ／Ｄ変換部５２を省くことができる。なおその図示は省略するが、図１に示す撮像信号生成部１２からＡ／Ｄ変換部２２を省くこともできる。
この場合各記憶制御部４１の記憶部５４は、制御部５５から供給されたカウント値を、記憶制御部４１に対応する画素の撮像情報として記憶する。そして演算部４３は、式（３）を演算して、各画素のシャッタ時間Ｔsで蓄積され得た電荷量Ｑtsを算出する。
図１１の撮像信号生成部３１における撮像信号生成処理を、図１２のフローチャートを参照して説明する。
ステップＳ１０１において、図９のステップＳ７１の場合と同様に、シャッタ時間の計測が開始される。
ステップＳ１０２において、各記憶制御部４１において記憶制御処理が行われる。各記憶制御部４１で行われるこの記憶制御処理について、図１３のフローチャートを参照して説明する。
ステップＳ１１１およびステップＳ１１２においては、図１０のステップＳ８１およびステップＳ８２における場合と同様の処理が行われるので、その説明は省略する。
ステップＳ１１１で、対応する画素の電荷量が閾値電荷量Ｑtに達したと判定された場合、ステップＳ１１３に進み、閾値到達時間Ｔqtのみが、対応する画素の撮像情報として記憶部５４に記憶される。
各記憶制御部４１においてステップＳ１１３の処理が行われ、各画素の撮像情報が記憶されたとき、図１２のステップＳ１０３に進み、カメラコントローラ１５は、撮像信号生成部３１の演算部４３を制御して、各記憶制御部４１（の記憶部５４）に記憶された撮像情報に基づいて各画素の電荷量を演算させる。
演算部４３は、撮像情報として記憶されている閾値到達時間Ｔqtを用いて式（３）を演算し、各画素の、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出する。なお演算部４３は、限界電荷量Ｑ0とシャッタ時間Ｔsを予め記憶しているものとする。
演算部４３は、このようにして算出した電荷量Ｑtsに対応する画素値で１フレームを構成して１フレーム分の撮像信号を生成し、生成した撮像信号をカメラ信号処理部１３に供給する。
図１４は、本発明を適用したビデオカメラ１の他の構成例を示している。このビデオカメラ１には、図１の撮像信号生成部１２に代えて撮像信号生成部６１が設けられ、カメラコントローラ１５に代えてカメラコントローラ６２が設けられている。他の部分は、図１における場合と同じ符号を付し、適宜説明を省略する。
撮像信号生成部６１は、図１５に示すように、限界電荷量Ｑ0を閾値電荷量Ｑtとし、シャッタ時間Ｔs内に電荷量が閾値電荷量Ｑtに達したとき、その電荷を消失させて再び電荷の蓄積を開始させるとともに、その回数をカウントし、その回数（図１５の例の場合、３回）と、シャッタ期間終了時の電荷量Ｑeを用いて式（４）を演算して、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出する。
Figure 2008017176
式（４）中、Ｑtは、閾値電荷量、ｎは、電荷が消失された回数、Ｑeは、シャッタ期間終了時の電荷量である。またＴsは、シャッタ時間であり、Ｔrは、電荷が消失されてから、電荷の蓄積が再開されるまでのタイムラグに相当する時間である。
なおシャッタ時間Ｔs内に電荷量が閾値電荷量Ｑtに達しない場合は、ｎ＝０とされて、式（４）が演算されるので、シャッタ期間終了時の電荷量Ｑeが、電荷量Ｑtsとなる。
図１４に戻りカメラコントローラ６２は、撮像信号生成部６１を制御して、撮像素子１１の各画素について、電荷を消失した回数ｎ、シャッタ期間終了時の電荷量Ｑeを、各画素の撮像情報として記憶させ、その撮像情報に基づいて式（４）を演算させ、そして各電荷のシャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出させる。
撮像信号生成部６１の構成例について説明する。
選択部７１は、撮像素子１１の各画素を１個ずつ順番に選択し、選択した画素の電荷の大きさに応じた信号（例えば、電圧信号）を比較器７３に供給する。
選択部７１はまた、カメラコントローラ６２から指令があったとき（この例の場合、画素の電荷量が閾値電荷量Ｑtに達したときまたはシャッタ期間が終了したとき）、いま選択している画素に蓄積されている電荷を、Ａ／Ｄ変換部７２に出力する。電荷が出力されると、画素の蓄積電荷は０となるが（消失するが）、シャッタ期間中ではその後電荷の蓄積が開始される。
Ａ／Ｄ変換部７２は、選択部７１から供給された電荷を、Ａ／Ｄ変換するとともに、カメラコントローラ６２から指令があったとき（この例の場合、シャッタ期間が終了したとき）、そのときのＡ／Ｄ変換の結果得られた電荷量を示す値（すなわち、電荷量Ｑe）を記憶部７５に供給する。
比較部７３は、選択部７１から供給された信号に基づいて、選択されている画素の電荷が飽和したか否かを判定し、例えば飽和したと判定した場合、その旨を示す信号をカメラコントローラ６２に供給する。
具体的には、比較部７３は、限界電荷量Ｑ0と同じ値の閾値電荷量Ｑtを保持しており、その閾値電荷量Ｑtと、選択部７１からの信号から検知した電荷量を比較して、例えば電荷量が閾値電荷量Ｑt以上になったとき、その旨を示す信号をカメラコントローラ６２に供給する。
なお比較部７３への閾値電荷量Ｑtの設定は、この例の場合カメラコントローラ６２により行われるものとする。
カウンタ７４は、画像の諧調を表現するために必要な量子化段数を十分に満たす精度のカウント数で時間を計測する。カウンタ７４は、カメラコントローラ６２の制御に従ってカウントを開始し、カウント値を、例えばカメラコントローラ６２に供給する。
記憶部７５は、それぞれ対応する、Ａ／Ｄ変換部７２からの電荷量（この例の場合、シャッタ期間終了時の電荷量Ｑe）と、カメラコントローラ６２からの消失回数ｎを対応付けて、それらが得られた画素の撮像情報として記憶する。
演算部７６は、カメラコントローラ６２の制御に応じて、記憶部７５に記憶されている各画素の撮像情報を用いて式（４）を演算し、シャッタ時間Ｔsに蓄積される電荷量Ｑtsを算出する。なお演算部７６は、式（４）を演算する上で必要な撮像情報以外の時間Ｔs、Ｔrを、予め保持しているものとする。演算部４３は、決定した電荷量Ｑtsに対応する画素値で１フレームを構成して１フレーム分の撮像信号を生成し、生成した撮像信号をカメラ信号処理部１３に供給する。
次に、撮像信号生成部６１の撮像信号生成処理を、図１６のフローチャートを参照して説明する。
ステップＳ１５１において、図３のステップＳ１における場合と同様に、シャッタ時間の計測が開始される。
ステップＳ１５２において、撮像素子１１の画素が所定の順番で１つ選択される。
ステップＳ１５３において、図３のステップＳ３における場合と同様に、いま選択されている画素の電荷量が閾値電荷量Ｑtに達したか否かが判定され、いま選択されている画素の電荷量が閾値電荷量Ｑtに達したと判定された場合、ステップＳ１５４に進む。
ステップＳ１５４において、いま選択されている電荷が消失され、その回数がカウントされる。
具体的にはカメラコントローラ６２は、選択部７１およびＡ／Ｄ変換部７２に対して、出力指令を出力する。これにより選択部７１は、いま選択している電荷をＡ／Ｄ変換部７２に出力し、Ａ／Ｄ変換部７２は、そのＡ／Ｄ変換の結果得られた値（すなわち、電荷量Ｑe）を記憶部７５に出力する。このときいま選択されている画素の電荷が消失する。カメラコントローラ６２はまた、内蔵するカウンタの値を１だけインクリメントし、いま選択されている画素について、電荷が消失した回数ｎをカウントする。なおこのカウンタの値は、処理開始時に０に初期化されている。
次にステップＳ１５５において、図３のステップＳ５における場合と同様にシャッタ期間が終了したか否かが判定され、終了していないと判定された場合、ステップＳ１５１に戻る。すなわち次の画素が選択され、その画素についてステップＳ１５３乃至ステップＳ１５５の処理が同様に行われる。なおシャッタ期間が終了するまではステップＳ１５２乃至ステップＳ１５５の処理が繰り返し行われるので、１度選択された画素も、シャッタ期間が終了するまでは繰り返し選択され得る。
ステップＳ１５５で、シャッタ期間が終了したと判定された場合、ステップＳ１５６に進み、すべての画素のそれぞれの、いまの時点（すなわち、シャッタ期間終了時）の電荷量Ｑeと消失回数ｎが各画素の撮像情報として記憶部７５に記憶される。
具体的には、カメラコントローラ６２の制御に従って、選択部７１により画素が順次選択され、選択された画素のいま蓄積されている電荷がＡ／Ｄ変換部７２でＡ／Ｄ変換されるとともに、記憶部７５に供給される。そして順次選択された画素の消失回数ｎがカメラコントローラ６２から記憶部７５に供給される。記憶部７５は、それぞれ対応する、Ａ／Ｄ変換部７２から供給された各画素の電荷量Ｑeと、カメラコントローラ６２から供給された消失回数ｎを対応付けて各画素の撮像情報として記憶する。
次にステップＳ１５７に進み、カメラコントローラ６２は、撮像信号生成部６１の演算部７６を制御して、記憶部７５に記憶された各画素の撮像情報に基づいて１フレーム分の撮像信号を生成させる。
具体的には、演算部７６は、記憶部７５に記憶されている各画素の撮像情報を用いて式（４）を演算し、各画素のシャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを演算する。
演算部７６は、このように算出した電荷量Ｑtsに対応する画素値で１フレームを構成し、１フレーム分の撮像信号を生成する。演算部７６は、生成した撮像信号をカメラ信号処理部１３に供給する。
なお式（４）においては、電荷が消失されてから電荷の蓄積が再開されるまでのタイムラグ時間Ｔrを考慮したが、その時間Ｔrは、シャッタ時間Ｔsと比較して、無視できるほど小さい場合は、式（４）においてＴr＝０とした式（５）を演算して電荷量Ｑtsを算出するようにすることもできる。
Figure 2008017176
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
ここで、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用したビデオカメラ１の構成例を示すブロック図である。 撮像信号生成処理の原理を説明する図である。 撮像信号生成処理を説明するフローチャートである。 他の撮像信号生成処理の原理を説明する図である。 他の撮像信号生成処理を説明するフローチャートである。 本発明を適用したビデオカメラ１の他の構成例を示すブロック図である。 他の撮像信号生成処理を説明するフローチャートである。 記憶制御処理を説明するフローチャートである。 他の撮像信号生成処理を説明するフローチャートである。 他の記憶制御処理を説明するフローチャートである。 本発明を適用したビデオカメラ１の他の構成例を示すブロック図である。 他の撮像信号生成処理を説明するフローチャートである。 他の記憶制御処理を説明するフローチャートである。 本発明を適用したビデオカメラ１の他の構成例を示すブロック図である。 他の撮像信号生成処理の原理を説明する図である。 他の撮像信号生成処理を説明するフローチャートである。 パーソナルコンピュータの構成例を示す図である。
符号の説明
１ ビデオカメラ， １１ 撮像素子， １２ 撮像信号生成部， １３ カメラ信号処理部， １４ 入力部， １５ カメラコントローラ， ２１ 選択部， ２２ Ａ／Ｄ変換部， ２３ 比較部， ２４ カウンタ， ２５ 記憶部， ２６ 演算部， ３１ 撮像信号生成部， ４１ 記憶制御部， ４２ カウンタ， ４３ 演算部， ５１ 入力部， ５２ Ａ／Ｄ変換部， ５３ 比較部， ５４ 記憶部， ５５ 制御部， ６１ 撮像信号生成部， ６２ カメラコントローラ， ７１ 選択部， ７２ Ａ／Ｄ変換部， ７３ 比較部， ７４ カウンタ， ７５ 記憶部， ７６ 演算部

Claims (12)

  1. 入射光を電荷に変換する撮像素子と、
    前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定手段と、
    前記電荷量が前記閾値電荷量に達するまでの閾値到達時間を計測する計測手段と、
    前記判定手段により電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間を記憶する記憶手段と、
    前記記憶手段に記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算手段と、
    前記演算手段により演算された前記電荷量に対応する画素値を、前記判定手段により電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号を生成する生成手段と
    を備える画像処理装置。
  2. 前記記憶手段は、前記判定手段により電荷量が前記閾値電荷量に達しなかったと判定された前記画素について、その画素にシャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた値を記憶し、
    前記生成手段は、前記記憶手段に記憶された前記値に対応する画素値を、前記判定手段により電荷量が前記閾値電荷量に達しなかったと判定された前記画素の画素値として、撮像信号を生成する
    請求項１に記載の画像処理装置。
  3. 前記閾値電荷量は前記撮像素子の画素の電荷容量である
    請求項１に記載の画像処理装置。
  4. 前記閾値電荷量は、前記シャッタ時間内に、前記撮像素子の画素の電荷量が前記閾値電荷量に達するように推移する
    請求項１に記載の画像処理装置。
  5. 前記記憶手段は、前記判定手段により電荷量が前記閾値電荷量に達したと判定されたときの画素に蓄積された電荷がデジタル変換された結果得られた電荷量を、前記閾値到達時間と対応付けて記憶し、
    前記演算手段は、前記記憶手段に対応付けて記憶された前記電荷量と前記閾値到達時間に基づいて、前記シャッタ時間に入射する光によって蓄積され得る電荷量を演算する
    請求項１に記載の画像処理装置。
  6. 前記閾値電荷量が、前記シャッタ時間の間に画素の電荷容量から０に段階的に減少する場合、前記記憶手段に記憶された前記閾値到達時間、前記推移における前記閾値到達時間に対応する前記閾値電荷量に基づいて、シャッタ時間に入射する光によって蓄積され得た電荷量を演算する
    請求項４に記載の画像処理装置。
  7. 前記判定手段、前記計測手段、前記記憶手段は、前記撮像素子の画素毎に設けられている
    請求項１に記載の画像処理装置。
  8. 撮像素子に蓄積された電荷から撮像信号を生成する画像処理方法において、
    前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップと、
    前記電荷量が前記閾値電荷量に達するまでの閾値到達時間を計測する計測ステップと、
    前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間を記憶する記憶ステップと、
    前記記憶ステップの処理で記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップと、
    前記演算ステップの処理で演算された前記電荷量に対応する画素値を、前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号を生成する生成ステップと
    を含む画像処理方法。
  9. 撮像素子に蓄積された電荷から撮像信号を生成する画像処理をコンピュータに実行させるプログラムにおいて、
    前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップと、
    前記電荷量が前記閾値電荷量に達するまでの閾値到達時間を計測する計測ステップと、
    前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間を記憶する記憶ステップと、
    前記記憶ステップの処理で記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップと、
    前記演算ステップの処理で演算された前記電荷量に対応する画素値を、前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号を生成する生成ステップと
    を含むプログラム。
  10. 入射光を電荷に変換する撮像素子と、
    前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定手段と、
    前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷を消失させる画素制御手段と、
    画素毎に、前記シャッタ時間内に、前記画素制御手段により電荷が消失された回数を計測する計測手段と、
    画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数手段により計測された前記回数を記憶する記憶手段と、
    前記記憶手段に記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算手段と、
    前記演算手段により演算された前記電荷量に対応する画素値を用いて、撮像信号を生成する生成手段と
    を備える画像処理装置。
  11. 撮像素子に蓄積された電荷から撮像信号を生成する画像処理方法において、
    前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップと、
    前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷を消失させる画素制御ステップと、
    画素毎に、前記シャッタ時間内に、前記画素制御ステップにより電荷が消失された回数を計測する計測ステップと、
    画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数ステップの処理で計測された前記回数を記憶する記憶ステップと、
    前記記憶ステップの処理で記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップと、
    前記演算ステップの処理で演算された前記電荷量に対応する画素値を用いて、撮像信号を生成する生成ステップと
    を含む画像処理方法。
  12. 撮像素子に蓄積された電荷から撮像信号を生成する画像処理をコンピュータに実行させるプログラムにおいて、
    前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップと、
    前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷を消失させる画素制御ステップと、
    画素毎に、前記シャッタ時間内に、前記画素制御ステップにより電荷が消失された回数を計測する計測ステップと、
    画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数ステップの処理で計測された前記回数を記憶する記憶ステップと、
    前記記憶ステップの処理で記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップと、
    前記演算ステップの処理で演算された前記電荷量に対応する画素値を用いて、撮像信号を生成する生成ステップと
    を含むプログラム。
JP2006186539A 2006-07-06 2006-07-06 画像処理装置および方法、並びにプログラム Pending JP2008017176A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006186539A JP2008017176A (ja) 2006-07-06 2006-07-06 画像処理装置および方法、並びにプログラム
US11/768,414 US7932927B2 (en) 2006-07-06 2007-06-26 Apparatus and associated methodology of widening dynamic range in image processing
CNB2007101279888A CN100542226C (zh) 2006-07-06 2007-07-06 图像处理设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006186539A JP2008017176A (ja) 2006-07-06 2006-07-06 画像処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2008017176A true JP2008017176A (ja) 2008-01-24

Family

ID=38918776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006186539A Pending JP2008017176A (ja) 2006-07-06 2006-07-06 画像処理装置および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US7932927B2 (ja)
JP (1) JP2008017176A (ja)
CN (1) CN100542226C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283525A (ja) * 2009-06-03 2010-12-16 Toshiba Corp 撮像装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5263023B2 (ja) * 2009-06-17 2013-08-14 ペンタックスリコーイメージング株式会社 撮像装置
TWI540899B (zh) * 2014-08-28 2016-07-01 原相科技股份有限公司 影像感測器及其運作方法
CN108881906B (zh) * 2017-05-15 2021-03-19 北京大学 一种图像重构方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2772080B2 (ja) 1989-03-03 1998-07-02 オリンパス光学工業株式会社 自動合焦装置および合焦位置検出方法
US5872596A (en) * 1992-09-28 1999-02-16 Canon Kabushiki Kaisha Device for widening the dynamic range of solid-state image pickup elements
JP3074967B2 (ja) 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
US6977685B1 (en) * 1999-02-26 2005-12-20 Massachusetts Institute Of Technology Single-chip imager system with programmable dynamic range
JP3903361B2 (ja) 1999-08-13 2007-04-11 日本放送協会 固体撮像装置
JP4550957B2 (ja) 1999-11-15 2010-09-22 浜松ホトニクス株式会社 光検出装置
JP2002158928A (ja) 2000-11-22 2002-05-31 Victor Co Of Japan Ltd 固体撮像装置
US7079178B2 (en) 2001-02-20 2006-07-18 Jaroslav Hynecek High dynamic range active pixel CMOS image sensor and data processing system incorporating adaptive pixel reset
CN1823336A (zh) * 2003-05-07 2006-08-23 Dvip多媒体股份有限公司 消除传感器电平图像失真的方法和装置
US20050212936A1 (en) * 2004-03-25 2005-09-29 Eastman Kodak Company Extended dynamic range image sensor with fixed pattern noise reduction
KR100646867B1 (ko) * 2004-12-21 2006-11-23 삼성전자주식회사 비선형 영상을 보정하는 촬상장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283525A (ja) * 2009-06-03 2010-12-16 Toshiba Corp 撮像装置
US8520106B2 (en) 2009-06-03 2013-08-27 Kabushiki Kaisha Toshiba Solid-state imaging device with improved dynamic range

Also Published As

Publication number Publication date
CN100542226C (zh) 2009-09-16
US7932927B2 (en) 2011-04-26
US20080007642A1 (en) 2008-01-10
CN101102422A (zh) 2008-01-09

Similar Documents

Publication Publication Date Title
US9160934B2 (en) Image capturing apparatus obtaining high-exposure and low-exposure images, and method for controlling the same
US7856174B2 (en) Apparatus and method for image pickup
CN101489037B (zh) 摄像设备及其控制方法
US20020085112A1 (en) Image input apparatus
US20140253792A1 (en) Image capture apparatus and control method thereof
US7627237B2 (en) Image processing apparatus and method and program
US10284796B2 (en) Image capture apparatus and control method thereof
JP2009099119A (ja) 累積および平均化を用いる適応バッファ値のためのバッファ管理
JP2006345368A (ja) 画像処理装置および撮像装置
CN103888667B (zh) 摄像设备及其控制方法
US9706131B2 (en) Image combining apparatus for generating a combined image from a plurality of images, image combining system, and image combining method
WO2015009848A1 (en) System and method for automatic exposure and dynamic range compression
JP2008135824A (ja) 位相調整装置、デジタルカメラおよび位相調整方法
CN104380710A (zh) 闪烁减少装置、拍摄装置以及闪烁减少方法
US8681235B2 (en) Apparatus for processing digital image signal that obtains still image at desired point in time and method of controlling the apparatus
JP2008017176A (ja) 画像処理装置および方法、並びにプログラム
US9986163B2 (en) Digital photographing apparatus and digital photographing method
US20130250146A1 (en) Image processing apparatus, image processing method, and recording device storing image processing program
JP2012120152A5 (ja)
US10491840B2 (en) Image pickup apparatus, signal processing method, and signal processing program
JP5213604B2 (ja) 撮像装置
US10212357B2 (en) Imaging apparatus and control method to realize accurate exposure
JP2018005161A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2006180015A (ja) ヒストグラム生成装置及びヒストグラム生成方法
JP5868163B2 (ja) 撮像装置、撮像装置の制御方法、プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080428

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080902