JP2002185867A

JP2002185867A - 撮像装置、撮像装置の制御装置及び光量制御方法

Info

Publication number: JP2002185867A
Application number: JP2000379120A
Authority: JP
Inventors: Kosuke Nobuoka; 幸助信岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-12-13
Filing date: 2000-12-13
Publication date: 2002-06-28

Abstract

(57)【要約】【課題】逆光下や明暗の差が激しい条件下等で撮影を
行う場合であっても、白飛びや黒潰れを削減し、より適
切な露光状態で撮影を行うこと。【解決手段】画素毎に電荷蓄積時間を制御可能なＣＭ
ＯＳセンサ（１）と、前記ＣＭＯＳセンサから所定期間
毎に得られる任意の画像に基づいて、前記ＣＭＯＳセン
サの各画素の電荷蓄積時間を決定する決定手段（１２〜
１５）と、前記画像を得た次の所定期間における撮像を
行うために、前記決定手段により決定された各画素の電
荷蓄積時間を用いて、前記ＣＭＯＳセンサを制御する各
画素蓄積時間設定部（１６）とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置、撮像装
置の制御方法及び光量制御方法に関するものである。

【０００２】

【従来の技術】ビデオカメラ等の固体撮像素子を撮像デ
バイスとして用いた撮像装置では、光学レンズにより固
体撮像素子上に投影された光学像を、光電変換し、電気
的な画像信号に変換している。その後、画像信号は種々
の処理を施されてビデオ信号として生成されるが、前記
固体撮像素子は人間の視覚に比べて狭いダイナミックレ
ンジの輝度変化しか検出することができない。そのため
従来は固体撮像素子の前面の光学系に、入射光量を調節
する絞りを配置し、これを手動で調節するか、または、
輝度信号のレベルが常時適正なレンジにあるように自動
的に調節している。あるいは、固体撮像素子上で光電変
換する際の電荷蓄積時間を調節することにより、同じ入
射光量に対する出力信号レベルを変えている。このよう
に、絞り調整、電荷蓄積時間を組み合わせることによ
り、適正な画質のビデオ信号を出力している。

【０００３】

【発明が解決しようとする課題】上記従来の技術では、
一般的な撮影条件下では適切な動作が行えるが、例えば
逆光条件下で被写体を撮影する場合に、通常、高い輝度
の背景はほとんど白一色で被写体は非常に暗く写ってし
まう。このように、特殊な撮影条件に対して上記従来の
技術で対応しようとすると、以下のような問題が生じて
いた。

【０００４】上記絞り調整による輝度レベルの調整で
は、入射光量を変化させる方法であるため、全体的な輝
度レベル調整は可能であるが、画角内の部分的な輝度の
調整はできない。そのため暗い被写体か明るい背景かい
ずれか一方に合わせた輝度調整しかできない。

【０００５】上記電荷蓄積時間を調節する場合でも、従
来のＣＣＤ撮像素子は全画素を同一の蓄積時間とした調
節しかできない構造であるため、これも全体的な輝度レ
ベル調整は可能であるが、画角内での部分的な輝度調整
は不可能であった。

【０００６】こうした問題に対し、例えば特開平６−２
５３１７６では、固体撮像素子の後段の信号処理部にお
いて、輝度信号レベルに応じて輝度階調補正を適応的に
行うことにより、適正なコントラストを保つようにして
いる。また、特開平６−３０３６３３では、同様に信号
処理部において、輝度レベルがどのような範囲に分布す
るかを見て、ガンマ補正特性を変えることにより、適正
コントラスト画を実現するものとしている。

【０００７】しかしながら、典型的な逆光や白とびが生
じる状態では、そもそも、固体撮像素子上での電荷が蝕
和しているか、電荷がほとんど発生しない画素が数多く
存在してしまうため、後段の信号処理における補正だけ
では、効果が不十分であった。

【０００８】本発明は上記問題点を鑑みて為されたもの
であり、例えば逆光下や明暗の差が激しい条件下で撮影
を行う場合であっても、白飛びや黒潰れを削減し、より
適切な露光状態で撮影を行うことを目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、本発明の撮像装置は、画素毎に電荷蓄積時間を制御
可能な固体撮像素子と、前記固体撮像素子から所定期間
毎に得られる任意の画像に基づいて、前記固体撮像素子
の各画素の電荷蓄積時間を決定する決定手段と、前記画
像を得た次の所定期間における撮像を行うために、前記
決定手段により決定された各画素の電荷蓄積時間を用い
て、前記固体撮像素子を制御する制御手段とを有する。

【００１０】また、画素毎に電荷蓄積時間を制御可能な
固体撮像素子と、前記固体撮像素子を画素毎に制御する
撮像素子制御手段とを有する撮像装置の本発明における
制御装置は、前記固体撮像素子から所定期間毎に得られ
る任意の画像に基づいて、前記固体撮像素子の各画素の
電荷蓄積時間を決定する決定手段と、前記決定手段によ
り決定された各画素の電荷蓄積時間で前記画像を得た次
の所定時間における撮像を行うように、前記撮像素子制
御手段を制御する制御手段とを有する。

【００１１】また、画素毎に電荷蓄積時間を制御可能な
固体撮像素子の本発明における光量制御方法は、前記固
体撮像素子から所定期間毎に得られる任意の画像に基づ
いて、前記固体撮像素子の各画素の電荷蓄積時間を決定
する決定工程と、前記画像を得た次の所定期間における
撮像を行うために、前記決定工程により決定された各画
素の電荷蓄積時間を用いて、前記固体撮像素子を制御す
る制御工程とを有する。

【００１２】上記構成によれば、固体撮像素子の部分的
な輝度調整が可能となり、逆光下や明暗の差が激しい条
件下で撮影を行う場合であっても、白飛び・黒潰れを削
減し、より適切な露光状態で撮影を行うことができる。

【００１３】本発明の好適な一様態によれば、前記決定
手段は、前記画像の輝度信号を求める輝度信号分離手段
と、前記輝度信号のヒストグラムを生成するヒストグラ
ム生成手段と、前記ヒストグラムに基づいて閾値を決定
する閾値決定手段と、前記閾値と前記輝度信号とを各画
素毎に比較する比較手段とを有し、前記比較手段による
比較結果に基づいて、各画素の電荷蓄積時間を決定す
る。また、前記決定工程は、前記画像の輝度信号を求め
る輝度信号分離工程と、前記輝度信号のヒストグラムを
生成するヒストグラム生成工程と、前記ヒストグラムに
基づいて閾値を決定する閾値決定工程と、前記閾値と前
記輝度信号とを各画素毎に比較する比較工程とを有し、
前記比較工程による比較結果に基づいて、各画素の電荷
蓄積時間を決定する。

【００１４】また、本発明の好適な別の一様態によれ
ば、前記決定手段は、前記画像の輝度信号を求める輝度
信号分離手段と、前記輝度信号のヒストグラムを生成す
るヒストグラム生成手段と、前記ヒストグラムを表示す
る表示手段と、閾値を入力する入力手段と、前記閾値
と、前記輝度信号を各画素毎に比較する比較手段とを有
し、前記比較手段による比較結果に基づいて、各画素の
電荷蓄積時間を決定する。また、前記決定工程は、前記
画像の輝度信号を求める輝度信号分離工程と、前記輝度
信号のヒストグラムを生成するヒストグラム生成工程
と、前記ヒストグラムを表示する表示工程と、閾値を入
力する入力工程と、前記閾値と、前記輝度信号を各画素
毎に比較する比較工程とを有し、前記比較工程による比
較結果に基づいて、各画素の電荷蓄積時間を決定する。

【００１５】また、本発明の好適な別の一様態によれ
ば、本発明の装置は、画像を記憶媒体に記憶させる記憶
手段と、前記記憶媒体から画像を読み出し、再生する再
生手段とを更に有し、前記決定手段は、前記再生された
画像の輝度信号を求める輝度信号分離手段と、前記輝度
信号のヒストグラムを生成するヒストグラム生成手段
と、前記ヒストグラムを表示する表示手段と、閾値を入
力する入力手段と、前記閾値と、前記輝度信号を各画素
毎に比較する比較手段とを有し、前記比較手段による比
較結果に基づいて、各画素の電荷蓄積時間を決定する。
また、本発明の光量制御方法は、画像を記憶媒体に記憶
させる記憶工程と、前記記憶媒体から画像を読み出し、
再生する再生工程とを更に有し、前記決定工程は、前記
再生された画像の輝度信号を求める輝度信号分離工程
と、前記輝度信号のヒストグラムを生成するヒストグラ
ム生成工程と、前記ヒストグラムを表示する表示工程
と、閾値を入力する入力工程と、前記閾値と、前記輝度
信号を各画素毎に比較する比較工程とを有し、前記比較
工程による比較結果に基づいて、各画素の電荷蓄積時間
を決定する。

【００１６】本発明の好適な一様態によれば、前記任意
の画像は、前記固体撮像素子の全画素に共通の電荷蓄積
時間で撮影された画像である。

【００１７】また、本発明の好適な一様態によれば、前
記決定手段は、輝度信号が閾値よりも低い場合には電荷
蓄積時間を長くし、閾値よりも高い場合には電荷蓄積時
間が短くなるように決定し、前記決定工程では、輝度信
号が閾値よりも低い場合には電荷蓄積時間を長くし、閾
値よりも高い場合には電荷蓄積時間が短くなるように決
定する。

【００１８】また、本発明の好適な一様態によれば、前
記決定手段は、１所定期間おきに前記固体撮像素子の各
画素の電荷蓄積時間を決定し、前記決定工程では、１所
定期間おきに前記固体撮像素子の各画素の電荷蓄積時間
を決定する。

【００１９】また、本発明の好適な別の一様態によれ
ば、前記装置は前記決定手段の動作をトリガするトリガ
手段を更に有し、前記トリガ手段により動作がトリガさ
れた時に、前記決定手段は決定を行う。また、前記光量
制御方法は、前記決定工程の動作をトリガするトリガ工
程を更に有し、前記トリガ工程により動作がトリガされ
た時に、前記決定工程は決定を行う。

【００２０】また、本発明の好適な一様態によれば、前
記決定手段は、前記画像のガンマ補正前の画像信号に基
づいて、電荷蓄積時間を決定し、前記決定工程では、前
記画像のガンマ補正前の画像信号に基づいて、電荷蓄積
時間を決定する。

【００２１】また、好ましくは、前記装置は前記決定手
段により決定された各画素の電荷蓄積時間を用いて撮像
された画像と、前記固体撮像素子の全画素に共通の電荷
蓄積時間を用いて撮像された画像とを切り替えて表示可
能な表示手段を更に有し、前記光量制御方法は、前記決
定工程により決定された各画素の電荷蓄積時間を用いて
撮像された画像と、前記固体撮像素子の全画素に共通の
電荷蓄積時間を用いて撮像された画像とを切り替えて表
示可能な表示工程を更に有する。

【００２２】また、本発明の好適な一様態によれば、前
記装置は前記決定手段により決定された各画素の電荷蓄
積時間を、前記固体撮像素子の全画素に共通の電荷蓄積
時間にリセットするリセット手段を更に有し、前記光量
制御方法は、前記決定工程により決定された各画素の電
荷蓄積時間を、前記固体撮像素子の全画素に共通の電荷
蓄積時間にリセットするリセット工程を更に有する。

【００２３】本発明の好適な一様態によれば、前記リセ
ット手段は、前記ヒストグラムが複数のピークを有さな
い場合にリセットを行い、前記リセット工程では、前記
ヒストグラムが複数のピークを有さない場合に、リセッ
トを行う。

【００２４】

【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。

【００２５】（第１の実施形態）図１は本発明の第１の
実施形態における固体撮像素子を用いた撮像装置の構成
を示す図である。

【００２６】図１において、１は画素毎に蓄積時間を調
節可能なＣＭＯＳセンサ、２はＡ／Ｄコンバータ、３は
輝度信号生成部、４は色信号生成部、５は第１のスイッ
チ、６は第２のスイッチ、７は第１のガンマ補正部、８
は第２のガンマ補正部、９はビデオ信号生成部、１０は
ビデオ信号出力部、１１は第３のスイッチ、１２は輝度
ヒストグラム検出部、１３は輝度分布分離部、１４は閾
値検出部、１５は輝度レベル判定部、１６は画素毎に蓄
積時間を設定する各画素蓄積時間設定部、１７は全画素
の蓄積時間を同一の蓄積時間に設定する標準蓄積時間設
定部、１８は第４のスイッチ、１９はリセット部であ
る。

【００２７】次に、上記構成を有する本第１の実施形態
における撮像装置の動作について図３のフローチャート
に従って説明する。

【００２８】まず、ステップＳ１０１において、次に撮
影するフレームが奇数フレームであるか、偶数フレーム
であるかを判断する。奇数フレームである場合、ステッ
プＳ１０２に進み、後述するステップＳ１０８またはＳ
１１０で設定された蓄積時間を用いて、撮影を行う。

【００２９】ステップＳ１０２で、ＣＭＯＳセンサ１に
より光電変換された画像信号は、Ａ／Ｄコンバータ２に
よりディジタル信号に変換され、輝度信号生成部３及び
色信号生成部４で、輝度及び色信号に分離して所定の処
理を行う。生成された輝度信号、色信号は第１、第２の
スイッチ５、６に入力する。

【００３０】第１及び第２のスイッチ５、６は、奇数フ
レームの時に端子１、すなわち、輝度信号生成部３及び
色信号生成部４からの出力を選択する。なお、偶数フレ
ームの時には端子０を選択して信号の入力を行わない。
これにより、ステップＳ１０３において、奇数フレーム
の輝度、色信号のみが、第１、第２のガンマ補正部７、
８に入力し、ガンマ補正される。

【００３１】ガンマ補正後、ステップＳ１０４におい
て、ビデオ信号生成部９でＮＴＳＣ等の所定のビデオフ
ォーマットの信号に変換されて、ビデオ信号出力部１０
から出力される。つまり、ビデオ信号としてはＣＭＯＳ
センサ１で捉えられた画像のうちの奇数フレームのみが
出力される。例えば、ＣＭＯＳセンサ１の読み出し速度
が６０frame/secの場合、３０frame/secのフレーム動画
が出力されることになる。

【００３２】一方、ステップＳ１０１において、次に撮
影するフレームが偶数である場合、ステップＳ１０５に
進み、予め標準蓄積時間設定部１７に設定された標準蓄
積時間で撮影を行う。ＣＭＯＳセンサ１により光電変換
された画像信号は、Ａ／Ｄコンバータ２によりディジタ
ル信号に変換され、輝度信号生成部３及び色信号生成部
４で、輝度及び色信号に分離して所定の処理が行われ
る。第３のスイッチ１１では、偶数フレームの時に端子
１、すなわち、輝度信号生成部３の出力を選択する。な
お、奇数フレームの時には端子０を選択して信号の入力
を行わない。これにより、偶数フレームの輝度信号が、
輝度ヒストグラム検出部１２及び輝度レベル判定部１５
に送られる。

【００３３】ステップＳ１０６において、輝度ヒストグ
ラム検出部１２では、図２に示すように、入力する各偶
数フレームの１フレーム分の輝度レベルのヒストグラム
を作成し、輝度分布分離部１３はその分布を分析する。
図２においては、輝度の中間レベルの分布に対し、例え
ばガウス関数を当てはめ、最小二乗法等により最も分布
にフィットする関数パラメータを求める。ステップＳ１
０７では、閾値検出部１４で、求めたガウス関数のピー
クの度数軸の値を求め、これを閾値とする。

【００３４】求めた閾値は輝度レベル判定部１５に送ら
れる。ステップＳ１０８において、輝度レベル判定部１
５は、第３のスイッチ１１から入力する偶数フレームの
輝度信号のレベルを画素毎に閾値と比較し、比較結果が
各画素蓄積時間設定部１６に送られる。各画素蓄積時間
設定部１６は、比較結果に基づき、画素の輝度レベルが
閾値以下の場合は、その画素について、当該偶数フレー
ムを撮像したときよりも長い蓄積時間で次の奇数フレー
ムを撮影するように設定し、また、画素の輝度レベルが
閾値より大きい場合には、その画素について、当該偶数
フレームを撮像したときよりも短い蓄積時間で次の奇数
フレームを撮影するように設定する。このようにして各
画素毎に蓄積時間を設定し、当該偶数フレームの次の奇
数フレームの撮像に用いる画素毎の蓄積時間とする。

【００３５】ステップＳ１０９において、輝度分布分離
部１３は、輝度ヒストグラムが図２の例に示すような２
つのピークをもつ分布であるかどうか、判別を行う。

【００３６】第４のスイッチ１８は、基本的にフレーム
毎に切り替え動作を行い、奇数フレームでは各画素蓄積
時間設定部１６に設定された画素毎の蓄積時間をＣＭＯ
Ｓセンサ１に送り、偶数フレームでは全画素の標準蓄積
時間設定部１７に設定された蓄積時間をＣＭＯＳセンサ
１に送り、蓄積時間を制御する。しかし、ステップＳ１
０９で輝度分布分離部１３において、輝度のヒストグラ
ムが２つのピークをもたない（つまり、逆光や白とび状
態にない）と判断した場合、ステップＳ１１０において
リセット部１９は、全画素の標準蓄積時間設定部１７に
設定された蓄積時間でＣＭＯＳセンサ１を駆動するよう
に第４のスイッチ１８を制御する。

【００３７】以上説明したように第１の実施形態によれ
ば、偶数フレームにおいて標準の蓄積時間で撮影を行っ
て得た画像信号に基づいて各画素毎に蓄積時間を求め、
次の奇数フレームでは求めた蓄積時間を用いて画素毎に
それぞれ制御を行うため、奇数フレームにおいては、例
えば逆光下や明暗の差が激しい条件下で撮影を行う場合
であっても、白飛びや黒潰れを削減し、より適切な露光
状態で撮影を行うことができる。

【００３８】なお、上記第１の実施形態では、偶数フレ
ームで得られた画像について各画素毎の輝度レベルの判
定及び蓄積時間の決定を常に行う場合について説明した
が、２つのピークの存在の有無を先に判断し、２つのピ
ークが存在する場合にはこれらの動作を行わないように
制御することも可能である。

【００３９】（第２の実施形態）図４は本発明の第２の
実施形態における固体撮像素子を用いた撮像装置の構成
を示す図である。なお、図４において、図１と同様の構
成要素には同じ参照番号を付し、説明を省略する。

【００４０】同図において、２０はヒストグラム検出ト
リガー信号を入力する入力端子、２１は第５のスイッ
チ、２２はメモリ、２３は撮像画像表示部、２４は閾値
情報表示部、２５はヒストグラム表示部、２７は第６の
スイッチ、２８は画像表示切り替え信号を入力する入力
端子、２９は閾値を入力する入力端子、３０はリセット
信号を入力する入力端子である。撮像画像表示部２３で
は、入力端子２８からの画像表示切り替え信号に基づい
て、奇数フレームの画像又は偶数フレームの画像のいず
れかが選択されて表示される。

【００４１】次に、上記構成を有する本第２の実施形態
における撮像装置の動作について図６及び図７のフロー
チャートに従って説明する。

【００４２】図６において、ステップＳ１０１〜Ｓ１０
５の動作は図３のステップＳ１０１〜Ｓ１０５の動作と
同様であるため、説明を省略する。

【００４３】ステップＳ２０１で、入力端子２０から任
意のタイミングでヒストグラム検出トリガ信号が入力さ
れると第５のスイッチ２１が閉じ、ステップＳ１０５
で、予め標準蓄積時間設定部１７に設定された標準蓄積
時間で撮影された偶数フレームの輝度信号がメモリ２２
に記憶される。ステップＳ２０２において、メモリ２２
に記憶された偶数フレームの輝度信号は輝度ヒストグラ
ム検出部１２に送られ、図５に示すような偶数フレーム
の１フレーム分の輝度レベルの分布が求められる。輝度
ヒストグラムは、閾値情報表示部２４を介してヒストグ
ラム表示部２５に送られ、表示される（ステップＳ２０
４）。

【００４４】ステップＳ２０４におけるヒストグラムの
表示について、図７を参照して詳しく説明する。ステッ
プＳ２１０でヒストグラム表示部２５に表示されたヒス
トグラム情報に基づき、入力端子２９から閾値が設定さ
れると（ステップＳ２１１でＹＥＳ）、まず閾値情報表
示部２４ではこの閾値を輝度ヒストグラムと合成し（ス
テップＳ２１２）、得られた表示データをヒストグラム
表示部２５に送り、図５に示すように、ヒストグラムに
重ねて閾値レベル２６を表示する。新たな閾値が入力端
子２９から入力されるたびに、輝度ヒストグラムにしき
い値を示す表示を合成して表示する。

【００４５】図７のステップＳ２１１で入力された閾値
と偶数フレームの輝度信号は、輝度レベル判定部１５に
も送られ、偶数フレームの輝度信号のレベルは、画素毎
に閾値と比較され、比較結果が各画素蓄積時間設定部１
６に送られる。各画素蓄積時間設定部１６では、比較結
果に基づき、画素の輝度レベルが閾値以下の場合は、そ
の画素について、当該偶数フレームを撮像したときより
も長い蓄積時間で次の奇数フレームを撮影するように設
定し、また、画素の輝度レベルが閾値より大きい場合に
は、その画素について、当該偶数フレームを撮像したと
きよりも短い蓄積時間で次の奇数フレームを撮影するよ
うに設定する（ステップＳ２０５）。このようにして各
画素毎に蓄積時間を設定し、当該偶数フレームの次の奇
数フレームの撮像に用いる画素毎の蓄積時間とする。

【００４６】一方、ステップＳ２０１でヒストグラム作
成トリガ信号が入力されていない場合、１つ前の偶数フ
レームで用いられた閾値を用いるように設定し、ステッ
プＳ２０５で当該閾値と、輝度レベルとの比較を行い、
画素毎の蓄積時間を設定する。

【００４７】第４のスイッチ１８は、基本的にフレーム
毎に切り替え動作を行い、奇数フレームでは各画素蓄積
時間設定部１６に設定された画素毎の蓄積時間をＣＭＯ
Ｓセンサ１に送り、偶数フレームでは全画素の標準蓄積
時間設定部１７に設定された蓄積時間をＣＭＯＳセンサ
１に送り、蓄積時間を制御する。しかし、ステップＳ２
０７で入力端子３０よりリセット信号が入力した場合、
第４のスイッチ１８は全画素の標準蓄積時間設定部１７
を選択し、次の奇数フレームでは、予め決められた蓄積
時間での蓄積が行われることになる。

【００４８】以上説明したように第２の実施形態によれ
ば、第１の実施形態の効果に加え、より柔軟に、任意の
タイミングで奇数フレームで用いる閾値を設定すること
ができる。

【００４９】（第３の実施形態）図８は本発明の第３の
実施形態における固体撮像素子を用いた撮像装置の構成
を示す図である。なお、図８において、図４と同様の構
成要素には同じ参照番号を付し、説明を省略する。

【００５０】同図において、３１は記録再生部、３２は
記録メディア、３３は再生輝度信号生成部、３４は逆ガ
ンマ補正部、３５は表示部である。記録再生部３１で
は、ビデオ信号生成部９で生成されたビデオ信号を記録
メディア３２に所定のフォーマットで記録し、再生す
る。

【００５１】次に、上記構成を有する本第３の実施形態
における撮像装置の動作について図９及び図１０のフロ
ーチャートに従って説明する。

【００５２】図９は、撮像時に用いる閾値を設定する動
作を示すフローチャートである。まず、ステップＳ３１
０において、記録メディア３２に記録されている撮像画
像を記録再生部３１で読み出し、再生する。ここで、撮
像画像が例えば逆光または白とび・黒潰れ状態のもので
あれば、記録、再生される画像も、この段階においては
逆光または白とび・黒潰れ状態のままである。

【００５３】次に、記録再生部３１で再生されたビデオ
信号は、表示部３５に表示されると共に、再生輝度信号
生成部３３にて輝度信号が生成され、逆ガンマ補正部３
４において、ガンマ補正前の撮像輝度信号と同じ状態に
戻される（ステップＳ３１１）。逆ガンマ補正後の再生
輝度信号は輝度ヒストグラム検出部１２に送られ、１フ
レーム分の画像信号の輝度レベルの分布が求められる
（ステップＳ３１２）。輝度ヒストグラムは、閾値情報
表示部２４を介してヒストグラム表示部２５に送られて
表示され、閾値が入力される（ステップＳ３１３）。

【００５４】ステップＳ３１３における動作は、第２の
実施形態で図７を参照して説明したものと同様であるた
め、ここでは説明を省略する。

【００５５】ステップＳ２１１で閾値が入力された状態
で、改めて撮像を開始すると、図１０のフローチャート
に示す動作が開始される。

【００５６】まず、ステップＳ３０１において、次に撮
影するフレームが奇数フレームであるか、偶数フレーム
であるかを判断する。奇数フレームである場合、ステッ
プＳ３０２に進み、後述するステップＳ３０６またはＳ
３０８で設定された蓄積時間を用いて、撮影を行う。ス
テップＳ３０３では、上記第１の実施形態のステップＳ
１０３で行ったものと同様の信号処理を行い、得られた
ビデオ信号をステップＳ３０４で記録再生部３１により
記録メディア３２に記録する。これにより、例えば、Ｃ
ＭＯＳセンサ１の読み出し速度が６０frame/secの場
合、３０frame/secのフレーム動画が記録されることに
なる。

【００５７】一方、ステップＳ３０１において、次に撮
影するフレームが偶数である場合、ステップＳ３０５に
進み、予め標準蓄積時間設定部１７に設定された標準蓄
積時間で撮影を行う。ＣＭＯＳセンサ１により光電変換
された画像信号は、Ａ／Ｄコンバータ２によりディジタ
ル信号に変換され、輝度信号生成部３及び色信号生成部
４で、輝度及び色信号に分離して所定の処理が行われ
る。第３のスイッチ１１では、偶数フレームの時に端子
１、すなわち、輝度信号生成部３の出力を選択する。な
お、奇数フレームの時には端子０を選択して信号の入力
を行わない。これにより、偶数フレームの輝度信号が、
輝度レベル判定部１５に送られる。

【００５８】輝度レベル判定部１４には、図９に示す動
作により入力された閾値も入力されており、ステップＳ
３０６では、偶数フレームの輝度信号のレベルは、画素
毎にこの閾値と比較され、比較結果が各画素蓄積時間設
定部１６に送られる。各画素蓄積時間設定部１６は、比
較結果に基づき、画素の輝度レベルが閾値以下の場合
は、その画素について、当該偶数フレームを撮像したと
きよりも長い蓄積時間で次の奇数フレームを撮影するよ
うに設定し、また、画素の輝度レベルが閾値より大きい
場合には、その画素について、当該偶数フレームを撮像
したときよりも短い蓄積時間で次の奇数フレームを撮影
するように設定する。このようにして各画素毎に蓄積時
間を設定し、当該偶数フレームの次の奇数フレームの撮
像に用いる画素毎の蓄積時間とする。

【００５９】第４のスイッチ１８は、基本的にフレーム
毎に切り替え動作を行い、奇数フレームでは各画素蓄積
時間設定部１６に設定された画素毎の蓄積時間をＣＭＯ
Ｓセンサ１に送り、偶数フレームでは全画素の標準蓄積
時間設定部１７に設定された蓄積時間をＣＭＯＳセンサ
１に送り、蓄積時間を制御する。しかし、ステップＳ３
０７で入力端子３０よりリセット信号が入力した場合、
第４のスイッチ１８は全画素の標準蓄積時間設定部１７
を選択し、次の奇数フレームでは、予め決められた蓄積
時間での蓄積が行われることになる。

【００６０】以上説明したように第３の実施形態によれ
ば、第１の実施形態と同様の効果に加え、記録された画
像信号に基づいて撮影開始前により柔軟に閾値を設定す
ることができる。

【００６１】なお、本実施の形態においては、偶数フレ
ームの画像信号を用いて次の奇数フレームで用いる蓄積
時間を求めたが、１フレームおきに蓄積時間を求め、求
めた蓄積時間を用いて次のフレームの撮像を行うように
制御すればよい。従って、奇数フレームの画像信号を用
いて、次の偶数フレームで用いる各画素毎の蓄積時間を
求めても良いことは言うまでもない。

【００６２】また、本実施の形態では、フレーム単位で
動作の切り替えを行ったが、フィールド単位で行うよう
にしても良い。

【００６３】また、標準蓄積時間は固定値ではなく、公
知の露出決定方法を用いて求めた蓄積時間を用いても構
わない。

【００６４】また、本実施の形態においては、１つの閾
値に基づいて輝度レベルの判定を行ったが、複数であっ
てもよく、たとえば、比較的高輝度を示す第１の閾値
と、比較的低輝度を示す第２の閾値とを用い、第１の閾
値よりも輝度が高い場合に蓄積時間を短くし、第２の閾
値よりも輝度が低い場合に、蓄積時間を長くするなど、
様々な制御が可能である。

【００６５】

【他の実施形態】また、本発明は、複数の機器（例えば
ホストコンピュータ、インタフェイス機器、カメラヘッ
ドなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、ビデオカメラ、デジタルス
チルカメラなど）に適用してもよい。

【００６６】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納された
プログラムコードを読み出し実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が前述した実施
形態の機能を実現することになり、そのプログラムコー
ドを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実
行することにより、前述した実施形態の機能が実現され
るだけでなく、そのプログラムコードの指示に基づき、
コンピュータ上で稼働しているオペレーティングシステ
ム（ＯＳ）などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【００６７】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるＣＰＵなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【００６８】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した図３、図６及び図７、ま
たは図９及び図１０に示すフローチャートに対応するプ
ログラムコードが格納されることになる。

【００６９】

【発明の効果】以上説明したように、本発明によれば、
例えば逆光下や明暗の差が激しい条件下で撮影を行う場
合であっても、白飛びや黒潰れを削減し、より適切な露
光状態で撮影を行うことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における撮像装置の構
成を示すブロック図である。

【図２】本発明の第１の実施形態の輝度ヒストグラムの
例を示す図である。

【図３】本発明の第１の実施形態における撮像装置の動
作を説明するフローチャートである。

【図４】本発明の第２の実施形態における撮像装置の構
成を示すブロック図である。

【図５】本発明の第２の実施形態の輝度ヒストグラムの
例を示す図である。

【図６】本発明の第２の実施形態における撮像装置の動
作を説明するフローチャートである。

【図７】本発明の第２の実施形態における撮像装置の動
作を説明するフローチャートである。

【図８】本発明の第３の実施形態における撮像装置の構
成を示すブロック図である。

【図９】本発明の第３の実施形態における撮像装置の動
作を説明するフローチャートである。

【図１０】本発明の第３の実施形態における撮像装置の
動作を説明するフローチャートである。

【符号の説明】

１ＣＭＯＳセンサ２Ａ／Ｄコンバータ３輝度信号生成部４色信号生成部５第１のスイッチ６第２のスイッチ７第１のガンマ補正部８第２のガンマ補正部９ビデオ信号生成部１０ビデオ信号出力部１１第３のスイッチ１２輝度ヒストグラム検出部１３輝度分布分離部１４閾値検出部１５輝度レベル判定部１６各画素蓄積時間設定部１７標準蓄積時間設定部１８第４のスイッチ１９リセット部２０入力端子２１第５のスイッチ２２メモリ２３撮像画像表示部２４閾値情報表示部２５ヒストグラム表示部２７第６のスイッチ２８、２９入力端子３１記録再生部３２記録メディア３３再生輝度信号生成部３４逆ガンマ補正部３５表示部

Claims

【特許請求の範囲】

【請求項１】画素毎に電荷蓄積時間を制御可能な固体
撮像素子と、前記固体撮像素子から所定期間毎に得られる任意の画像
に基づいて、前記固体撮像素子の各画素の電荷蓄積時間
を決定する決定手段と、前記画像を得た次の所定期間における撮像を行うため
に、前記決定手段により決定された各画素の電荷蓄積時
間を用いて、前記固体撮像素子を制御する制御手段とを
有することを特徴とする撮像装置。
【請求項２】画素毎に電荷蓄積時間を制御可能な固体
撮像素子と、前記固体撮像素子を画素毎に制御する撮像
素子制御手段とを有する撮像装置の制御装置であって、前記固体撮像素子から所定期間毎に得られる任意の画像
に基づいて、前記固体撮像素子の各画素の電荷蓄積時間
を決定する決定手段と、前記決定手段により決定された各画素の電荷蓄積時間で
前記画像を得た次の所定時間における撮像を行うよう
に、前記撮像素子制御手段を制御する制御手段とを有す
ることを特徴とする制御装置。
【請求項３】前記決定手段は、前記画像の輝度信号を求める輝度信号分離手段と、前記輝度信号のヒストグラムを生成するヒストグラム生
成手段と、前記ヒストグラムに基づいて閾値を決定する閾値決定手
段と、前記閾値と前記輝度信号とを各画素毎に比較する比較手
段とを有し、前記比較手段による比較結果に基づいて、各画素の電荷
蓄積時間を決定することを特徴とする請求項１又は２に
記載の装置。
【請求項４】前記決定手段は、前記画像の輝度信号を求める輝度信号分離手段と、前記輝度信号のヒストグラムを生成するヒストグラム生
成手段と、前記ヒストグラムを表示する表示手段と、閾値を入力する入力手段と、前記閾値と、前記輝度信号を各画素毎に比較する比較手
段とを有し、前記比較手段による比較結果に基づいて、各画素の電荷
蓄積時間を決定することを特徴とする請求項１または２
に記載の装置。
【請求項５】画像を記憶媒体に記憶させる記憶手段
と、前記記憶媒体から画像を読み出し、再生する再生手段と
を更に有し、前記決定手段は、前記再生された画像の輝度信号を求める輝度信号分離手
段と、前記輝度信号のヒストグラムを生成するヒストグラム生
成手段と、前記ヒストグラムを表示する表示手段と、閾値を入力する入力手段と、前記閾値と、前記輝度信号を各画素毎に比較する比較手
段とを有し、前記比較手段による比較結果に基づいて、各画素の電荷
蓄積時間を決定することを特徴とする請求項１または２
に記載の装置。
【請求項６】前記任意の画像は、前記固体撮像素子の
全画素に共通の電荷蓄積時間で撮影された画像であるこ
とを特徴とする請求項１乃至５のいずれかに記載の装
置。
【請求項７】前記決定手段は、輝度信号が閾値よりも
低い場合には電荷蓄積時間を長くし、閾値よりも高い場
合には電荷蓄積時間が短くなるように決定することを特
徴とする請求項１乃至６のいずれかに記載の装置。
【請求項８】前記決定手段は、１所定期間おきに前記
固体撮像素子の各画素の電荷蓄積時間を決定することを
特徴とする請求項１乃至７のいずれかに記載の装置。
【請求項９】前記決定手段の動作をトリガするトリガ
手段を更に有し、前記トリガ手段により動作がトリガされた時に、前記決
定手段は決定を行うことを特徴とする請求項１乃至７の
いずれかに記載の装置。
【請求項１０】前記決定手段は、前記画像のガンマ補
正前の画像信号に基づいて、電荷蓄積時間を決定するこ
とを特徴とする請求項１乃至９のいずれかに記載の装
置。
【請求項１１】前記決定手段により決定された各画素
の電荷蓄積時間を用いて撮像された画像と、前記固体撮
像素子の全画素に共通の電荷蓄積時間を用いて撮像され
た画像とを切り替えて表示可能な表示手段を更に有する
ことを特徴とする請求項１乃至１０のいずれかに記載の
装置。
【請求項１２】前記決定手段により決定された各画素
の電荷蓄積時間を、前記固体撮像素子の全画素に共通の
電荷蓄積時間にリセットするリセット手段を更に有する
ことを特徴とする請求項１乃至１１のいずれかに記載の
装置。
【請求項１３】前記リセット手段は、前記ヒストグラ
ムが複数のピークを有さない場合に、リセットを行うこ
とを特徴とする請求項１２に記載の装置。
【請求項１４】画素毎に電荷蓄積時間を制御可能な固
体撮像素子の光量制御方法であって、前記固体撮像素子から所定期間毎に得られる任意の画像
に基づいて、前記固体撮像素子の各画素の電荷蓄積時間
を決定する決定工程と、前記画像を得た次の所定期間における撮像を行うため
に、前記決定工程により決定された各画素の電荷蓄積時
間を用いて、前記固体撮像素子を制御する制御工程とを
有することを特徴とする光量制御方法。
【請求項１５】前記決定工程は、前記画像の輝度信号を求める輝度信号分離工程と、前記輝度信号のヒストグラムを生成するヒストグラム生
成工程と、前記ヒストグラムに基づいて閾値を決定する閾値決定工
程と、前記閾値と前記輝度信号とを各画素毎に比較する比較工
程とを有し、前記比較工程による比較結果に基づいて、各画素の電荷
蓄積時間を決定することを特徴とする請求項１４に記載
の光量制御方法。
【請求項１６】前記決定工程は、前記画像の輝度信号を求める輝度信号分離工程と、前記輝度信号のヒストグラムを生成するヒストグラム生
成工程と、前記ヒストグラムを表示する表示工程と、閾値を入力する入力工程と、前記閾値と、前記輝度信号を各画素毎に比較する比較工
程とを有し、前記比較工程による比較結果に基づいて、各画素の電荷
蓄積時間を決定することを特徴とする請求項１４に記載
の光量制御方法。
【請求項１７】画像を記憶媒体に記憶させる記憶工程
と、前記記憶媒体から画像を読み出し、再生する再生工程と
を更に有し、前記決定工程は、前記再生された画像の輝度信号を求める輝度信号分離工
程と、前記輝度信号のヒストグラムを生成するヒストグラム生
成工程と、前記ヒストグラムを表示する表示工程と、閾値を入力する入力工程と、前記閾値と、前記輝度信号を各画素毎に比較する比較工
程とを有し、前記比較工程による比較結果に基づいて、各画素の電荷
蓄積時間を決定することを特徴とする請求項１４に記載
の光量制御方法。
【請求項１８】前記任意の画像は、前記固体撮像素子
の全画素に共通の電荷蓄積時間で撮影された画像である
ことを特徴とする請求項１４乃至１７のいずれかに記載
の光量制御方法。
【請求項１９】前記決定工程では、輝度信号が閾値よ
りも低い場合には電荷蓄積時間を長くし、閾値よりも高
い場合には電荷蓄積時間が短くなるように決定すること
を特徴とする請求項１４乃至１８のいずれかに記載の装
置。
【請求項２０】前記決定工程では、１所定期間おきに
前記固体撮像素子の各画素の電荷蓄積時間を決定するこ
とを特徴とする請求項１４乃至１９のいずれかに記載の
光量制御方法。
【請求項２１】前記決定工程の動作をトリガするトリ
ガ工程を更に有し、前記トリガ工程により動作がトリガ
された時に、前記決定工程は決定を行うことを特徴とす
る請求項１４乃至１９のいずれかに記載の光量制御方
法。
【請求項２２】前記決定工程では、前記画像のガンマ
補正前の画像信号に基づいて、電荷蓄積時間を決定する
ことを特徴とする請求項１４乃至２１のいずれかに記載
の光量制御方法。
【請求項２３】前記決定工程により決定された各画素
の電荷蓄積時間を用いて撮像された画像と、前記固体撮
像素子の全画素に共通の電荷蓄積時間を用いて撮像され
た画像とを切り替えて表示可能な表示工程を更に有する
ことを特徴とする請求項１４乃至２２のいずれかに記載
の光量制御方法。
【請求項２４】前記決定工程により決定された各画素
の電荷蓄積時間を、前記固体撮像素子の全画素に共通の
電荷蓄積時間にリセットするリセット工程を更に有する
ことを特徴とする請求項１４乃至２３のいずれかに記載
の光量制御方法。
【請求項２５】前記リセット工程では、前記ヒストグ
ラムが複数のピークを有さない場合に、リセットを行う
ことを特徴とする請求項２４に記載の光量制御方法。
【請求項２６】請求項１４乃至２５のいずれかに記載
の光量制御方法を実現するためのプログラムコードを有
する情報処理装置が実行可能なプログラム。