JP2009017056A - 撮像装置及びその制御方法並びに撮像システム - Google Patents

Abstract

【課題】画像記録用の撮像における解像度の低下を抑えるとともに、露出が適切に制御された画像記録用の画像を得る。
【解決手段】撮像装置は、ＡＥ用画素領域及び表示／動画記録用画素領域を有する撮像素子２００と、ＡＥ用画素領域では、第１の蓄積時間及び前記第１の蓄積時間よりも短い第２の蓄積時間で露出制御用の撮像を行う。マイクロコンピュータ２７０は、ＡＥ用画素領域において前記第１の蓄積時間で撮像された第１の画像内に、予め定められた設定値以上の輝度値を持つ第１の画素がある場合には、ＡＥ用画素領域において前記第２の蓄積時間で撮像された第２の画像内の対応する第２の画素の輝度値を用いて、前記第１の画素の輝度値を補間し、補間した前記第１の画素の輝度値に基づいて、表示／動画記録用画素領域で撮像される画像の露光量を制御する。
【選択図】図１

Description

本発明は、ＣＭＯＳイメージセンサ等の撮像素子を用いた撮像装置及びその制御方法並びに撮像システムに関し、特に、ＡＥのダイナミックレンジ拡大のために長短２つの露光時間による露光を実行する撮像装置及びその制御方法並びに撮像システムに関する。

露光量の異なる２枚の画像を合成することによって広ダイナミックレンジの撮像画像を得る試みは種々提案されている。

特許文献１は、２枚の画像を合成したときの露出が最適となるように、合成前の２枚の画像の露出制御を行う技術について開示している。このような長短２つの露光時間を利用してダイナミックレンジを拡大した静止画を得るときの露出制御は、最終的に得られる合成画像を生成するために重要な技術である。このように、ダイナミックレンジを拡大した静止画像を得るための技術は種々提案されている。
特開２００２−１６５１３８号公報

従来では、２枚の画像を合成する場合、長短２つの露出時間の画像を取り込んだ後、撮像装置内の信号処理により各画素や各エリアで画像合成処理を行っている。これは、最終画像を最適な露出で得るための技術であり、最終画像を得る前のモニタリングされている動画像はダイナミックレンジが拡大された画像からの情報がフィードバックされておらず、動画像の露出としては最適になっているとはいえない。また、長短２つの露出画像を合成した情報をモニタリングしている動画像にフィードバックさせようとすると、長秒の時間によっては１秒あたり６０枚の画像が得られず、動画像として動きがぎこちなくなってしまう。

本発明は、上記の課題に鑑みてなされたものであり、画像記録用の撮像における解像度の低下を抑えるとともに、露出が適切に制御された画像記録用の画像を得ることを目的とする。

本発明の第１の側面は、撮像装置に係り、第１の画素領域及び第２の画素領域を有する撮像素子と、前記第１の画素領域では、第１の蓄積時間及び前記第１の蓄積時間よりも短い第２の蓄積時間で露出制御用の撮像を行うとともに、前記第２の画素領域では、画像記録用の撮像を行うように制御する制御手段と、を備え、前記制御手段は、前記第１の画素領域において前記第１の蓄積時間で撮像された第１の画像内に、予め定められた設定値以上の輝度値を持つ第１の画素がある場合には、前記第１の画素領域において前記第２の蓄積時間で撮像された第２の画像内の対応する第２の画素の輝度値を用いて、前記第１の画素の輝度値を補間し、補間した前記第１の画素の輝度値に基づいて、前記第２の画素領域で撮像される画像の露光量を制御することを特徴とする。

本発明の第２の側面は、撮像システムに係り、光学系と、上記の撮像装置と、を備えることを特徴とする。

本発明の第３の側面は、第１の画素領域及び第２の画素領域を有する撮像素子を備える撮像装置の制御方法に係り、前記第１の画素領域において第１の蓄積時間で露出制御用の撮像を行う工程と、前記第１の画素領域において前記第１の蓄積時間よりも短い第２の蓄積時間で露出制御用の撮像を行う工程と、前記第１の画素領域において、前記第１の蓄積時間で撮像された第１の画像内に、予め定められた設定値以上の輝度値を持つ画素があるか否かを判定する工程と、前記設定値以上の輝度値を持つ画素があると判定した場合には、前記第１の画素領域において、前記第２の蓄積時間で撮像された第２の画像内の対応する画素の輝度値を用いて、前記第１の画素の輝度値を補間する工程と、前記第２の画素領域において画像記録用の撮像を行う工程と、を含むことを特徴とする。

本発明によれば、画像記録用の撮像における解像度の低下を抑えるとともに、露出が適切に制御された画像記録用の画像を得ることができる。

以下、本発明の好適な実施の形態について、添付図面を参照しながら説明する。図１は、本発明の好適な実施の形態に係る撮像装置の構成を示すブロック図である。１２０は入射光量を制御する絞り機構、１３０は絞り機構１２０を駆動する絞り駆動モーターである。１４０は絞り駆動モーター１３０を駆動する絞り機構駆動装置、１５０は絞り機構１２０の状態を検出する絞り状態検出装置であり、２００は入射した光を光電変換するＣＭＯＳイメージセンサ等の撮像素子である。２１０は撮像素子２００を制御し光電変換された信号を読み出すとともに、信号の蓄積時間を制御するいわゆる電子シャッター機能を制御する撮像素子駆動装置である。２２０は撮像素子２００で光電変換された信号をサンプリングするサンプルホールド装置である。２３０はサンプルホールド装置２２０の出力であるアナログ信号をディジタル信号に変換するアナログ−ディジタル変換器（以下「Ａ／Ｄ変換器と」いう。）である。２４０はガンマ補正後、色分離や色差マトリクス等の処理を施した後に、同期信号を加え標準テレビジョン信号を生成したりする制御機能を有する信号処理装置（以下「ＤＳＰ」という。）である。２５０はＤＳＰ２４０で処理された画像を記憶するメモリ、２６０は静止画やその画像情報を記録可能な記録媒体である。２７０はＤＳＰ２４０に処理命令を出す制御手段としてのマイクロコンピュータである。２８０は画像を表示する液晶パネル等の表示装置である。上記の撮像装置は、被写体の結像用レンズ（光学系）１１０を搭載した撮像システムとして構成されうる。

更に、ＤＳＰ２４０とマイクロコンピュータ２７０には、本発明の特徴となるブロックが含まれている。２４０ａはＡ／Ｄ変換器２３０からのデジタルデータを受けて各画素の輝度値を算出する輝度値取得装置である。また、２７０ａは輝度値取得装置２４０ａから出力された輝度値を画素単位で部分的に補間することのできる輝度値補間装置である。２７０ｂは輝度値補間装置にて補間すべき画素の有無を判定する輝度値判定装置である。２７０ｃは輝度値補間装置２７０ａからの出力されるデータに重み付けを行い、撮像素子２００の撮像領域全体の明るさの評価値を算出する評価値算出装置である。２７０ｄは評価値算出装置２７０ｃにより得られた評価値と予め定められた適正値とを比較する評価値比較装置である。２７０ｅは評価値比較装置２７０ｄからの評価値に基づいて蓄積時間を設定する蓄積時間設定装置である。

ここで、本発明の好適な実施の形態に係る撮像素子の駆動方法を図２を用いて説明する。

撮像素子２００の画素領域は、第１の画素領域と第２の画素領域とが交互にエリア分割されている。第１の画素領域は、露出制御用の画素が配置された領域（以下「ＡＥ用画素領域」という。）２０１に対応する。第２の画素領域は、表示／動画記録用（画像記録用）の画素が配置された画素領域（以下「表示／動画記録用画素領域」という。）２０２に対応する。このエリア分割された撮像素子２００に結像用レンズ１００に入射した光が結像する。結像した光は撮像素子２００内のフォトダイオード等の光電変換素子に蓄積される。そして、蓄積された電荷は垂直シフトレジスタ２０３、２０４で指定された行のみ電気信号として読み出され、列アンプ２０５、２０６により増幅されてサンプルホールド装置２２０へ出力される。２０３はＡＥ用垂直シフトレジスタであり、２０４は表示／動画記録用垂直シフトレジスタである。また、この列アンプは表示／動画記録用列アンプ２０６とＡＥ用列アンプ２０５と２種類備えている。表示／動画記録用列アンプ２０６は、表示／動画記録用画素領域２０２から読み出された信号を増幅するものであり。ＡＥ用列アンプ２０５は、ＡＥ用画素領域２０１から読み出された信号を増幅するものである。従って、撮像素子２００から読み出された信号は、２系統で伝送され、図１のサンプルホールド装置２２０に伝えられる。このように２系統の伝送経路を設けたのは、後述するが、表示／動画記録用画素とＡＥ用画素とで、蓄積及び読出しのタイミングを非同期で行うためである。ここで、垂直シフトレジスタにより、例えば、Ｎ＋１行目を行指定すると、Ｎ＋１行目のＡＥ用画素領域２０１内の全画素の信号が列アンプへと読み出される。しかしながら、水平シフトレジスタを更に設けて、Ｎ＋１行目の一部の画素を指定して読み出してもよい。本実施形態では、垂直レジスタで行のみを指定する方法を一例として説明する。また、画素領域の上部から順次列を指定し、信号の読出しを行うため、画素領域の上部と下部とでは、読出し時間に差が生じる。そのため、動きの速いものを撮影すると撮影された被写体に歪が出ることが良く知られている。

次に、上述した表示／動画記録用とＡＥ用とで、蓄積及び読出しのタイミングを非同期で行う方法を図３を用いて説明する。

図３の上部のパルス波形は垂直同期信号（ＶＤ）３０１であり、この信号に同期して表示／動画記録用の画像が撮像素子２００から読み出される。垂直同期信号３０１の周期は１／６０秒であり、ＮＴＳＣの垂直同期と同等であるため、ＮＴＳＣのテレビモニタに表示可能であり、動解像度が十分保たれている。このときに撮像素子２００に蓄積される蓄積量は、３０２に示す領域で表されている。領域３０２では、横方向が時間を示し、縦方向は画素領域の行方向を示している。領域３０２が平行四辺形になっているのは、上述したように、画素領域の上部から順次読出しを行うため、画素領域の上部と下部とで時間差ができるためである。図３の中央のパルス波形は、ＡＥ用画素からの信号読出しパルス３０３であり、表示／動画記録用の垂直同期信号３０１とは非同期で制御されている。信号読出しパルス３０３では、第１の蓄積時間（例えば、１／２５０秒）と第２の蓄積時間（例えば、１／３０秒）が交互に繰り返されている。ここでも、画素領域の上部から読出しを順次行うため、蓄積量を示す領域３０４及び領域３０５は平行四辺形になっている。

以上のように、撮像素子２００から読み出された表示／動画記録用の信号と、ＡＥ用の信号とは、それぞれ別の信号線で読み出される。図１では、Ａが表示／動画記録用画素の信号、ＢがＡＥ用画素の信号をそれぞれ示している。そして、これらの信号は、サンプルホールド装置２２０でサンプルホールドされ、Ａ／Ｄ変換器２３０でＡ／Ｄ変換され、ＤＳＰ２４０に入力される。ＤＳＰ２４０に入力された表示／動画記録用信号は、ガンマ処理やエッジ処理などの画像信号処理が行われ、表示装置２８０に表示されたり、記録媒体２６０に記録されたりする。

次に、ＡＥ用画素領域２０１からＡＥ用に読み出された信号の処理について説明する。まず、１／２５０秒間蓄積されたＡＥ用信号は、ＤＳＰ２４０内の輝度値取得装置２４０ａに入力され、各画素の輝度値が取得される。その輝度値は、輝度値メモリ２９０に蓄えられ、画素のアドレス情報とともに保管される。輝度値メモリ２９０は、ＤＳＰ２４０やマイクロコンピュータ２７０の外に配置されているが、ＤＳＰ２４０やマイクロコンピュータ２７０の中に配置されてもよい。一方、１／３０秒間蓄積されたＡＥ用信号は、ＤＳＰ２４０内の輝度値取得装置２４０ａに入力され、各画素の輝度値が取得される。この輝度値はマイクロコンピュータ２７０内に備えられた輝度値補間装置２７０ａに入力される。輝度値補間装置２７０ａは、輝度値判定装置２７０ｂにより予め設定された設定値以上の輝度値を持つ画素を検知する。そして、輝度値補間装置２７０ａは、その画素の輝度値を、輝度値メモリ２９０により蓄えられている１／２５０秒の信号の輝度値を用いて補間処理する。

この補間処理について図４を用いて説明する。図４において、蓄積時間１／３０秒で撮影された第１の画像が４０１であり、蓄積時間１／２５０秒で撮影された第２の画像が４０２である。また、図４では、主被写体となる人物が夜景を背景として撮影された様子を示しており、人物内の数値は輝度値を示している。第１の画像内の人物画像の輝度値は各画素２５５となっており、８ｂｉｔデータで飽和値を示す。従って、４０１の人物画像は白飛びしており、その正確な輝度値は不明である。ここで、輝度値判定装置２７０ｂには、輝度値２５５が設定されており、それ以上の値を示す画素がある場合には、その画素の輝度値補間を行うように設定されている。一方、４０２の第２の画像内の人物画像は１／２５０秒のシャッタースピードで撮影されているため、その白飛びが抑えられている。その輝度値は各画素５０と示されている。ここで、人物の輝度値は各画素で同じであると仮定する。従って、シャッタースピードが１／２５０秒で輝度値５０と示された画素は、シャッタースピード１／３０秒に換算すると、輝度値が約４００の画素となる。その計算式は以下の数式１及び数式２に示される。

（１／３０）÷（１／２５０）≒ ８（３段） … （数式１）
５０ × ８ ＝ ４００ … （数式２）

すなわち、白飛びした人物画像の輝度値は、約４００であることが分かる。このように、シャッタースピード１／３０秒で白飛びした画素の輝度情報を、シャッタースピード１／２５０秒で白飛びしていない対応する画素の輝度情報で補間する。これにより、正確な輝度情報を得ることができる。

このようにして得られた画素領域の全ての輝度情報は、評価値算出装置２７０ｃに入力され、画素領域全体のＡＥ状態の評価を行うための評価値を得る。これは、図５のように画素領域がメッシュ状に分割され、各エリアには重み付けが予めなされている。そして、その重み付け値と各画素の輝度値とを掛け合わせ、その結果を積分して平均値を取ることにより画素領域のＡＥ評価値が得られる。本実施形態では、得られたＡＥ評価値が６０（最小０／最大２５５）であったとする。評価値比較装置２７０ｄは、評価値算出装置２７０ｃにより得られたＡＥ評価値を適正値と比較し、ＡＥ評価値がどれだけ離れているかを予め用意した、表１に示すようなテーブルデータに基づいて適正値からのずれを評価する。

… （表１）
表１によれば、評価値が６０のときには、適正値からは０.５段分明るいと評価されている。従って、シャッタースピード１／３０秒で露光したときは、０.５段だけ適正より明るく撮影されていることになる。すなわち、適正画像にするためには、−０.５段だけ露光量を小さくして画像を暗くしなければならない。これは以下の数式３のように表される。

適正画像＝１／３０秒の画像−０.５段 … （数式３）

この結果を上述した表示／動画記録用画素領域２０２から表示／動画記録用に読み出された画像にフィードバックする。その方法を以下に説明する。

表示／動画記録用画素領域２０２から表示／動画記録用に読み出された画像は、上述したように１／６０秒のシャッタースピードで露光されている。そのため、シャッタースピード１／３０秒で撮影された画像よりも１段分暗い画像が撮影される。これは以下の数式４のように表される。

１／６０秒の画像＝１／３０秒の画像−１.０段 … （数式４）

従って、表示／動画記録用に読み出された画像が適正露光になるためには、以下の関係を満たす必要がある。まず、数式３より、

１／３０秒の画像 ＝ 適正画像 ＋０.５段 … （数式５）

が得られる。これを数式４に代入して

１／６０秒の画像 ＝ 適正画像 ＋０.５段 −１.０段 … （数式６）

が得られる。従って、

適正画像 ＝ １／６０秒の画像 ＋０.５段 … （数式７）

という関係が得られる。すなわち、表示／動画記録用に読み出された画像が適正露光になるためには、１／６０秒の画像を＋０.５段だけ露光量を大きくして画像を明るくしなくてはならない。

この場合、画像を明るくするためにシャッターをより低速にすると、１／６０秒よりも低速のシャッターとなり、画像の読出し周期を１／３０秒まで落とさなければならない。この場合、動解像度が低下し、被写体の動きが滑らかでなくなる。そのため、絞りを開けたり、ゲインを増幅させたりして、明るさの制御を行うことが望ましい。

以上のように、画素領域を複数のエリアに分け、それぞれのエリアで蓄積時間及び読出し時間を変更できるようにし、かつ、少なくとも１つのエリアから長短２つの蓄積時間の画像を読み出す構成にする。これによって、ダイナミックレンジ拡大された画像を利用した露出制御をすることが可能となり、画像記録用の撮像における解像度の低下を抑えるとともに、露出が最適に制御された動画像を得ることができる。

本発明の好適な実施の形態に係る撮像装置の構成を示すブロック図である。 本発明の好適な実施の形態係る撮像素子の駆動方法を示す図である。 本発明の好適な実施の形態に係る撮像素子からの信号読出し方法を説明する図である。 本発明の好適な実施の形態に係る輝度値の補間処理の方法を説明する図である。 本発明の好適な実施の形態に係る評価値を算出するときの重み付けの分布を示す図である。

符号の説明

２００ 撮像素子
２０１ ＡＥ用画素領域（第１の画素領域）
２０２ 表示／動画記録用画素領域（第２の画素領域）
２７０ マイクロコンピュータ（制御手段）
４０１ 第１の画像
４０２ 第２の画像

Claims (6)

1. 第１の画素領域及び第２の画素領域を有する撮像素子と、
   前記第１の画素領域では、第１の蓄積時間及び前記第１の蓄積時間よりも短い第２の蓄積時間で露出制御用の撮像を行うとともに、前記第２の画素領域では、画像記録用の撮像を行うように制御する制御手段と、
   を備え、
   前記制御手段は、前記第１の画素領域において前記第１の蓄積時間で撮像された第１の画像内に、予め定められた設定値以上の輝度値を持つ第１の画素がある場合には、前記第１の画素領域において前記第２の蓄積時間で撮像された第２の画像内の対応する第２の画素の輝度値を用いて、前記第１の画素の輝度値を補間し、補間した前記第１の画素の輝度値に基づいて、前記第２の画素領域で撮像される画像の露光量を制御することを特徴とする撮像装置。
2. 前記制御手段は、補間された前記第１の画素の輝度値に基づいて、前記第１の画像の明るさの評価値を算出し、算出した評価値が予め定められた適正値よりも小さい場合には、前記第２の画素領域で撮像される画像の露光量を大きくすることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、補間された前記第１の画素の輝度値に基づいて、前記第１の画像の明るさの評価値を算出し、算出した評価値が予め定められた適正値よりも大きい場合には、前記第２の画素領域で撮像される画像の露光量を小さくすることを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記第１の画素領域における撮像と、前記第２の画素領域における撮像と、を非同期で行うことを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
5. 光学系と、
   請求項１乃至請求項４のいずれか１項に記載の撮像装置と、
   を備えることを特徴とする撮像システム。
6. 第１の画素領域及び第２の画素領域を有する撮像素子を備える撮像装置の制御方法であって、
   前記第１の画素領域において第１の蓄積時間で露出制御用の撮像を行う工程と、
   前記第１の画素領域において前記第１の蓄積時間よりも短い第２の蓄積時間で露出制御用の撮像を行う工程と、
   前記第１の画素領域において前記第１の蓄積時間で撮像された第１の画像内に、予め定められた設定値以上の輝度値を持つ画素があるか否かを判定する工程と、
   前記設定値以上の輝度値を持つ画素があると判定した場合には、前記第１の画素領域において前記第２の蓄積時間で撮像された第２の画像内の対応する画素の輝度値を用いて、前記第１の画素の輝度値を補間する工程と、
   前記第２の画素領域において画像記録用の撮像を行う工程と、
   を含むことを特徴とする撮像装置の制御方法。

Images