JP2003324656A - 撮像装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

(57)【要約】 【課題】 解像度を優先して補間処理を行う解像度優先
モードと、ダイナミックレンジの拡大を優先して補間処
理を行うダイナミックレンジ優先モードを切り替えて使
用することができるディジタルスチルカメラを実現す
る。 【解決手段】 撮像部２１は、隣り合う画素の撮影時の
感度が異なり、また、隣り合う画素の有する色成分が異
なる画像を撮像し、画像処理部２５に供給する。画像処
理部２５は、設定される撮影モードに対応し、撮像部２
１が生成した感度モザイク画像を元にして、広ダイナミ
ックレンジ画像または高解像度画像を生成する。自動露
出制御部２６は、撮像部２１が生成したモニタ画像に基
づき、設定される撮影モードに対応して撮像部２１の露
出を制御する。本発明は、例えば、ディジタルスチルカ
メラに適用することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置および方
法、記録媒体、並びにプログラムに関し、例えば、広ダ
イナミックレンジの画像信号を取得するダイナミックレ
ンジ優先撮影モードと、高解像度の画像信号を取得する
解像度優先撮影モードを適応的に切り替える場合に用い
て好適な撮像装置および方法、記録媒体、並びにプログ
ラムに関する。

【０００２】

【背景の技術】従来、CCD(Charge Coupled Device)、CM
OS(Complementary Mental-Oxide Semiconductor)などの
固体撮像素子を用いたディジタルスチルカメラによって
取得する画像信号のダイナミックレンジを広域化する技
術がある。

【０００３】この技術は、例えば、シャッタ速度および
絞りを調整することによって露出を変化させて連続的に
撮影する方法、感度が異なる複数の撮像素子を用いる方
法、感度モザイク画像（後述）を用いる方法などがあ
る。

【０００４】感度モザイク画像を用いる方法は、例え
ば、文献「S. K. Nayar and T. Mitsunaga, “High Dyn
amic Range Imaging: Spatially Varying Pixel Exposu
res”,Proc. of Computer Vision and Pattern Recogni
tion 2000, Vol. 1, pp. 472-479, June, 2000」（以
下、文献１と記述する）には、開示されている。

【０００５】文献１に開示されている感度モザイク画像
を用いる方法の概要について、図１を参照して説明す
る。撮像部１は、被写体の光学像を集光するレンズ、光
の入射量を制限する絞り、および複数の受光素子からな
る撮像素子など（いずれも不図示）から構成される。

【０００６】図２は、撮像素子の一例を示している。１
個の矩形が１個の受光素子に相当する。撮像素子を構成
する受光素子のうち、例えば図示するように市松模様状
に位置する受光素子３ａは、光の透過を制限するＮＤ(N
eutral Density)フィルタ等で覆われている。それに対
して、受光素子３ｂは、光の透過を制限するＮＤフィル
タ等で覆われていない。

【０００７】これにより、受光素子３ａは、被写体のダ
イナミックレンジに対して、主に明るい方の帯域に感度
を有することとなり、受光素子３ｂは、被写体のダイナ
ミックレンジに対して、主に暗い方の帯域に感度を有す
ることとなる。

【０００８】したがって、このような撮像素子からなる
撮像部１が出力する画像は、隣接する画素の撮影時の感
度が異なるものとなる。以下、このような画像を、感度
モザイク画像を記述する。

【０００９】画像処理部２は、撮像部１によって撮影さ
れた感度モザイク画像を、全ての画素の撮影時の感度が
均一になるように空間的に補間して広ダイナミックレン
ジ画像を生成する。

【００１０】上述した感度モザイク画像を撮影する方法
によれば、連続的に露出することなく、１回の露出で広
ダイナミックレンジ画像を取得することができる。ま
た、複数の撮像素子を必要とせず、１つの撮像素子を用
いるので、装置規模の大型化と製造コストの増加を抑え
ることが可能である。

【００１１】

【発明が解決しようとしている課題】しかしながら、上
述した感度モザイク画像を撮影する方法では、各受光素
子が被写体の異なる輝度帯域を撮像しているので、撮影
された感度モザイク画像のうち、日向や照明が当たる明
るい方の領域では、高感度の受光素子３ｂに蓄積される
電荷が飽和したものとなってしまい、反対に、日陰や照
明の当たらない暗い方の領域では、低感度の受光素子３
ａに蓄積される電荷はノイズに埋もれたものとなってし
まう。

【００１２】したがって、撮影された感度モザイク画像
のうち、明るすぎる領域や暗すぎる領域では、信頼でき
る信号のサンプリング周波数が低下してしまい、このよ
うな感度モザイク画像を補間して得られる広ダイナミッ
クレンジ画像の解像度が劣化してしまうという課題があ
った。

【００１３】さらに、上述した感度モザイク画像を撮影
する方法では、ダイナミックレンジの拡大を目的として
いるため、被写体の実際のダイナミックレンジが狭い場
合においても、ダイナミックレンジを拡大するように処
理してしまうので、それに起因して、最終的に得られる
画像の解像度が劣化してしまうことがあった。

【００１４】ところで、特開２０００−７８４６３号公
報には、露出時間が異なる２つの撮像素子を備え、広ダ
イナミックレンジ優先モード、画質優先モード、および
中間モードを手動で切り替えることができる画像取り込
み装置が開示されているが、このような２つの撮像素子
を備える装置は、単板式撮像素子を用いる装置に比較し
て、装置の小型化や製造コストの削減が不利である課題
があった。

【００１５】本発明はこのような状況に鑑みてなされた
ものであり、解像度を優先して補間処理を行う解像度優
先モードと、ダイナミックレンジの拡大を優先して補間
処理を行うダイナミックレンジ優先モードを設け、被写
体のダイナミックレンジに応じてこれらのモードを切り
替えて使用することにより、解像度の劣化を引き起こさ
ずに撮影することができるディジタルスチルカメラを実
現することを目的とする。

【００１６】

【課題を解決するための手段】本発明の撮像装置は、被
写体を撮像して、対応する感度モザイク画像を生成する
撮像手段と、少なくともダイナミックレンジ優先撮影モ
ードおよび解像度優先撮影モードを含む撮影モードのう
ちの１つの撮影モードを指定する指定手段と、撮影モー
ドに従い、撮像手段の露出を制御する露出制御手段と、
撮影モードに従い、撮像手段によって撮像された感度モ
ザイク画像を元にして、広ダイナミックレンジ画像また
は高解像度画像を生成する画像処理手段とを含むことを
特徴とする。

【００１７】本発明の撮像装置は、被写体のダイナミッ
クレンジを測定する測定手段をさらに含むことができ
る。

【００１８】本発明の撮像装置は、測定手段によって測
定された被写体のダイナミックレンジに基づいて、撮影
モードを、ダイナミックレンジ優先撮影モードまたは解
像度優先撮影モードに決定する決定手段をさらに含むこ
とができる。

【００１９】前記露出制御手段は、ダイナミックレンジ
優先撮影モードにおいて、低感度の受光素子によって撮
像された低感度画素の飽和レベルが被写体のダイナミッ
クレンジの上限値に一致するように露出を制御し、像度
優先撮影モードにおいて、高感度の受光素子によって撮
像された高感度画素の飽和レベルが被写体のダイナミッ
クレンジの上限値に一致するように露出を制御するよう
にすることができる。

【００２０】前記決定手段は、被写体のダイナミックレ
ンジが受光素子のダイナミクレンジよりも広い場合、撮
影モードをダイナミックレンジ優先撮影モードに決定
し、被写体のダイナミックレンジが受光素子のダイナミ
クレンジよりも狭い場合、撮影モードを解像度優先撮影
モードに決定するようにすることができる。

【００２１】前記画像処理手段は、ダイナミックレンジ
優先撮影モードにおいて欠落画素を補間し、解像度優先
撮影モードにおいて欠落画素を補間しない欠落画素補間
手段を含むようにすることができる。

【００２２】本発明の撮像方法は、被写体を撮像して、
対応する感度モザイク画像を生成する撮像ステップと、
少なくともダイナミックレンジ優先撮影モードおよび解
像度優先撮影モードを含む撮影モードのうちの１つの撮
影モードを指定する指定ステップと、撮影モードに従
い、撮像ステップの処理での露出を制御する露出制御ス
テップと、撮影モードに従い、撮像ステップの処理で撮
像された感度モザイク画像を元にして、広ダイナミック
レンジ画像または高解像度画像を生成する画像処理ステ
ップとを含むことを特徴とする。

【００２３】本発明の記録媒体のプログラムは、少なく
ともダイナミックレンジ優先撮影モードおよび解像度優
先撮影モードを含む撮影モードのうちの１つの撮影モー
ドを指定する指定ステップと、撮影モードに従い、露出
を制御する露出制御ステップと、撮影モードに従い、撮
像された感度モザイク画像を元にして、広ダイナミック
レンジ画像または高解像度画像を生成する画像処理ステ
ップとを含むことを特徴とする。

【００２４】本発明のプログラムは、少なくともダイナ
ミックレンジ優先撮影モードおよび解像度優先撮影モー
ドを含む撮影モードのうちの１つの撮影モードを指定す
る指定ステップと、撮影モードに従い、露出を制御する
露出制御ステップと、撮影モードに従い、撮像された感
度モザイク画像を元にして、広ダイナミックレンジ画像
または高解像度画像を生成する画像処理ステップとをコ
ンピュータに実行させることを特徴とする。

【００２５】本発明の撮像装置および方法、並びにプロ
グラムにおいては、少なくともダイナミックレンジ優先
撮影モードおよび解像度優先撮影モードを含む撮影モー
ドのうちの１つの撮影モードが指定され、撮影モードに
従って露出が制御され、撮影モードに従って、撮像され
た感度モザイク画像を元にして、広ダイナミックレンジ
画像または高解像度画像が生成される。

【００２６】

【発明の実施の形態】以下、本発明を適用したディジタ
ルスチルカメラの構成例について、図を参照して説明す
る。図３は、本発明を適用したディジタルスチルカメラ
の外観を示す斜視図である。このディジタルスチルカメ
ラ１１の正面には、レンズ１２が設けられている。ディ
ジタルスチルカメラ１１の上面には、撮影タイミングを
指示するためのレリーズボタン１３、撮影モードを設定
するための撮影モードスイッチ１４、および露出モード
を設定するための露出モードダイヤル１５が設けられて
いる。

【００２７】図４は、ディジタルスチルカメラ１１の上
面図である。レリーズボタン１３は、ユーザが露出制御
の開始を指示するときに半押しすることができ、撮影タ
イミングを指示するときに全押しすることができるよう
になされている。

【００２８】撮影モードスイッチ１４は、通常のダイナ
ミックレンジであって解像度劣化が少ない高解像画像を
取得できる解像度優先（ＨＲ）撮影モード、通常のダイ
ナミックレンジよりも広いダイナミックレンジの画像信
号を取得できるダイナミックレンジ優先（ＷＤＲ）撮影
モード、および解像度優先撮影モードまたはダイナミッ
クレンジ優先撮影モードを自動的に選択する自動選択
（ＡＵＴＯ）撮影モードのいずれかの撮影モードをユー
ザが選択できるようになされている。

【００２９】露出モードダイヤル１５は、予め設定され
たシャッタ速度と絞りで露出量が決定されるプログラム
（Ｐ）自動露出モード、絞りを優先して露出量が決定さ
れる絞り優先（Ａ）自動露出モード、シャッタ速度を優
先して露出量が決定されるシャッタ優先（Ｓ）自動露出
モード、または撮影度にユーザがシャッタ速度と絞りを
決定するマニュアル（Ｍ）露出のいずれかの露出をユー
ザが選択できるようになされている。

【００３０】図５は、ディジタルカメラ１１の内部構成
例を示している。撮像部２１は、被写体の光学像を集光
するレンズ１２、光の入射量を制限する絞り２２、入射
光の透過を制限するＮＤフィルタ２３、および複数の受
光素子からなる単板式固体撮像素子２４から構成され
る。なお、ＮＤフィルタ２３の代わりに、光の透過を制
限する他のフィルタ等を用いてもよい。

【００３１】図６は、単板式固体撮像素子２４の構成を
示している。１個の矩形が１個の受光素子に相当する。
単板式固体撮像素子２４を構成する受光素子のうち、例
えば図示するように市松模様状に配置された受光素子４
１ａだけが、光の透過を制限するＮＤフィルタ２３で覆
われている。それに対して、受光素子４１ｂは、光の透
過を制限するＮＤフィルタ２３で覆われていない。

【００３２】これにより、受光素子４１ａは、被写体の
ダイナミックレンジに対して、主に明るい方の帯域に感
度を有することとなり、受光素子４１ｂは、被写体のダ
イナミックレンジに対して、主に暗い方の帯域に感度を
有することとなる。以下、受光素子４１ａを低感度受光
素子４１ａ、受光素子４１ｂを高感度受光素子４１ｂと
も記述する。

【００３３】さらに、単板式固体撮像素子２４の各受光
素子は、ＲＧＢ等の各色成分が例えばベイヤ配列をなし
ている色フィルタ（不図示）に覆われている。

【００３４】このように構成される撮像部２１は、隣り
合う画素の撮影時の感度が異なり、また、隣り合う画素
の有する色成分が異なる画像を撮像し、画像処理部２５
に供給する。以下、撮像部２１によって画像処理部２５
に供給される画像を、感度モザイク画像と記述する。

【００３５】また、撮像部２１は、例えば、感度モザイ
ク画像の画素を行単位で間引くことにより、逐次、モニ
タ画像を生成して自動露出制御部２６に出力する。な
お、モニタ画像は、高感度で撮影された画素と低感度で
撮影された画素の配置や割合、各色成分を有する画素の
配置や割合が、感度モザイク画像のそれと同一となるよ
うになされている。

【００３６】画像処理部２５は、設定される撮影モード
に対応し、撮像部２１が生成した感度モザイク画像を元
にして、広ダイナミックレンジ画像または高解像度画像
を生成する。自動露出制御部２６は、撮像部２１が生成
したモニタ画像に基づき、設定される撮影モードに対応
して撮像部２１の露出を制御する。

【００３７】制御部２７は、記録媒体２８に記憶されて
いる制御用プログラムと操作部２９から入力される操作
信号に基づいて自動露出制御部２６および画像処理部２
５を制御する。

【００３８】レリーズボタン１３乃至露出モードダイヤ
ル１５に相当する操作部２９は、レリーズボタン１３乃
至露出モードダイヤル１５に対するユーザの操作に対応
する操作信号を制御部２７に出力する。

【００３９】図７は、単板式固体撮像素子２４を構成す
る低感度受光素子４１ａおよび高感度受光素子４１ｂそ
れぞれの輝度に対する感度帯域を模式的に示している。
図示するように、低感度受光素子４１ａと高感度受光素
子４１ｂのダイナミックレンジ（すなわち、感度帯域の
幅）は同一であり、それぞれの感度帯域の一部が重なる
ようになされている。この重なり具合は、撮像部２１に
設けられるＮＤフィルタ２３の透過率によって決定され
る。したがって、低感度受光素子４１ａの感度帯域と高
感度受光素子４１ｂの感度帯域との相対的な位置関係
は、ＮＤフィルタ２３の透過率を変えない限り固定とさ
れている。

【００４０】なお、低感度受光素子４１ａの感度帯域と
高感度受光素子４１ｂの感度帯域は、その相対的な位置
関係を崩すことなく、設定される撮影モードに対応して
制御される撮像部２１の露出（シャッタ速度および絞
り）に応じて、任意の方向にシフトされる。

【００４１】ここで、撮影モードに対応して制御される
低感度受光素子４１ａおよび高感度受光素子４１ｂそれ
ぞれの感度帯域の関係について、図８乃至図１１に示す
ヒストグラムを参照して説明する。なお、図８乃至図１
１において、各横軸は、輝度レベルの対数を示してお
り、縦軸は、分布の度数を示している。

【００４２】始めに、ダイナミックレンジ優先撮影モー
ドに対応する低感度受光素子４１ａおよび高感度受光素
子４１ｂそれぞれの感度帯域の制御について説明する。
ダイナミックレンジ優先撮影モードにおいては、被写体
のダイナミックレンジのうち、明るい方の領域を低感度
受光素子４１ａが受け持ち、暗い方の領域を高感度受光
素子４１ｂが受け持つように自動露出を制御する。具体
的には、被写体の輝度ヒストグラムの上限値に、低感度
受光素子４１ａの飽和レベルが一致するように撮像素子
２１の露出が制御される。

【００４３】なお、ダイナミックレンジ優先撮影モード
において、低感度受光素子４１ａおよび高感度受光素子
４１ｂのノイズレベルよりも低い輝度の画素はノイズ成
分が支配的であってその値の信頼性が低いので、切り捨
てるようになされている。また、それぞれの飽和レベル
よりも高い輝度の画素は、その値が被写体の実際の輝度
に対応していないので、切り捨てるようになされてい
る。なお、切り捨てられた画素（欠落画素）は、周囲の
画素を用いた補間によって復元される。その詳細は後述
する。

【００４４】図８は、被写体の輝度ダイナミックレンジ
が、低感度受光素子４１ａのダイナミックレンジ（また
は高感度受光素子４１ｂのダイナミックレンジ）よりも
広い場合の例を示している。

【００４５】図８Ａは、被写体の輝度ヒストグラムを示
している。以下、被写体の輝度ヒストグラムを３つに領
域に分割して領域ａ乃至ｃと記述する。

【００４６】図８Ｂは、低感度受光素子４１ａのダイナ
ミックレンジ（両矢印で示す）と低感度受光素子４１ａ
に対応する画素（以下、低感度画素と記述する）の輝度
ヒストグラムを示している。図示するように、低感度受
光素子４１ａでは、被写体の輝度ヒストグラムの暗い方
の領域ａの情報が欠落したものとなる。なお、低感度受
光素子４１ａのダイナミックレンジの下限側の分布は、
被写体の輝度ヒストグラムの暗い方の領域ａの存在に起
因して、被写体の輝度ヒストグラムよりも度数が高くな
る。

【００４７】図８Ｃは、高感度受光素子４１ｂのダイナ
ミックレンジ（両矢印で示す）と高感度受光素子４１ｂ
に対応する画素（以下、高感度画素と記述する）の輝度
ヒストグラムを示している。図示するように、高感度受
光素子４１ｂでは、被写体の輝度ヒストグラムの明るい
方の領域ｃの情報が欠落したものとなる。なお、高感度
受光素子４１ｂのダイナミックレンジの上限側の分布
は、被写体の輝度ヒストグラムの明るい方の領域ｃの存
在に起因して、被写体の輝度ヒストグラムよりも度数が
高くなる。

【００４８】図８の場合、明るい方の領域ｃは、低感度
受光素子４１ａによって情報が取得され、暗い方の領域
ａは、高感度受光素子４１ｂによって情報が取得される
ので、これらの情報を空間的に補間することにより、広
ダイナミックレンジ画像を生成することができる。この
とき、中間の領域ｂでは、高感度画素および低感度画素
の情報があるので解像度の劣化は生じないが、暗い方の
領域ａおよび明るい方の領域ｃでは、高感度画素または
低感度画素の一方しか情報がないので、解像度の劣化が
生じる。

【００４９】また、図８のように、被写体のダイナミッ
クレンジが受光素子のダイナミックレンジよりも広い場
合、通常の撮像素子で発生するような白とび（飽和）や
黒つぶれ（ノイズ）を引き起こさない広ダイナミックレ
ンジ画像を出力することができる。

【００５０】図９は、被写体の輝度ダイナミックレンジ
が、低感度受光素子４１ａのダイナミックレンジ（また
は高感度受光素子４１ｂのダイナミックレンジ）よりも
狭い場合の例を示している。

【００５１】図９Ａは、被写体の輝度ヒストグラムを示
している。以下、被写体の輝度ヒストグラムを２つの領
域に分割して領域ｄ，ｅと記述する。

【００５２】図９Ｂは、低感度受光素子４１ａのダイナ
ミックレンジ（両矢印で示す）と低感度画素の輝度ヒス
トグラムを示している。図示するように、低感度受光素
子４１ａは、被写体の輝度ヒストグラムの全ての領域
ｄ，ｅの情報を取得できることになる。

【００５３】図９Ｃは、高感度受光素子４１ｂのダイナ
ミックレンジ（両矢印で示す）と高感度画素の輝度ヒス
トグラムを示している。図示するように、高感度受光素
子４１ｂでは、被写体の輝度ヒストグラムの明るい方の
領域ｅの情報が欠落したものとなる。なお、高感度受光
素子４１ｂのダイナミックレンジの上限側の分布は、被
写体の輝度ヒストグラムの明るい方の領域ｅの存在に起
因して、被写体の輝度ヒストグラムよりも度数が高くな
る。

【００５４】図９の場合、輝度ヒストグラムの全ての領
域ｄ，ｅは、低感度受光素子４１ａによって情報が取得
され、暗い方の領域ｄは、高感度受光素子４１ｂによっ
て情報が取得されるので、これらの情報を空間的に補間
することにより、広ダイナミックレンジ画像を生成する
ことができる。このとき、暗い方の領域ｄでは、高感度
画素および低感度画素の情報があるので解像度の劣化は
生じないが、明るい方の領域ｅでは、低感度画素の一方
しか情報がないので、解像度の劣化が生じる。また、暗
い領域ｄでは、高感度画素は信号対雑音比（ＳＮＲ）が
大きいため、低感度画素のみで撮像する場合（通常のCC
Dカメラの露出設定）に比べてＳＮＲが向上する。

【００５５】次に、解像度優先撮影モードに対応する低
感度受光素子４１ａおよび高感度受光素子４１ｂそれぞ
れの感度帯域の制御について説明する。解像度優先撮影
モードは、被写体のダイナミックレンジが、図１０に示
すように、低感度受光素子４１ａのダイナミックレンジ
（または高感度受光素子４１ｂのダイナミックレンジ）
よりも狭い場合に適した撮影モードである。

【００５６】解像度優先撮影モードにおいては、飽和す
る画素が発生しないように、具体的には、被写体の輝度
ヒストグラムの上限値に、高感度受光素子４１ｂの飽和
レベルが一致するように撮像素子２１の露出が制御され
る。

【００５７】なお、解像度優先撮影モードにおいて、低
感度受光素子４１ａおよび高感度受光素子４１ｂのノイ
ズレベルよりも低い輝度の画素はノイズ成分が支配的で
はあるが、欠落画素の補間を行わないので、そのまま保
持するようになされている。

【００５８】図１０Ａは、被写体の輝度ヒストグラムを
示している。以下、被写体の輝度ヒストグラムを２つに
領域に分割して領域ｆ，ｇと記述する。

【００５９】図１０Ｂは、低感度受光素子４１ａのダイ
ナミックレンジ（両矢印で示す）と低感度画素の輝度ヒ
ストグラムを示している。図示するように、低感度受光
素子４１ａでは、被写体の輝度ヒストグラムの全ての領
域ｆ，ｇの情報を取得することができる。しかしなが
ら、ノイズレベルを下回る領域ｆはノイズ成分が支配的
になるために被写体のヒストグラムを正しく保存できて
いない。

【００６０】図１０Ｃは、高感度受光素子４１ｂのダイ
ナミックレンジ（両矢印で示す）と高感度画素の輝度ヒ
ストグラムを示している。図示するように、高感度受光
素子４１ｂでは、被写体の輝度ヒストグラムの全ての領
域ｆ，ｇの情報を取得することができる。

【００６１】図１０の場合、被写体の輝度ヒストグラム
の明るい方の領域ｇでは、画素欠落が発生せず解像度が
維持される。一方、暗い方の領域ｆでは、ノイズレベル
を下回る輝度の画素ではノイズ成分が支配的になってい
るが、高感度画素を用いてある程度のノイズ除去を行う
ことが可能である。また、暗い方の領域ｆでは視覚的に
も感受性が低いために輝度の増幅を行わない限りノイズ
が目立つことはない。

【００６２】図１１は、被写体のダイナミックレンジ
が、低感度受光素子４１ａのダイナミックレンジ（また
は高感度受光素子４１ｂのダイナミックレンジ）よりも
広い場合の例を示している。

【００６３】図１１Ａは、被写体の輝度ヒストグラムを
示している。以下、被写体の輝度ヒストグラムを５つに
領域に分割して領域ｈ乃至ｌと記述する。

【００６４】図１１Ｂは、低感度受光素子４１ａのダイ
ナミックレンジ（両矢印で示す）と低感度画素の輝度ヒ
ストグラムを示している。図示するように、低感度受光
素子４１ａでは、被写体の輝度ヒストグラムのうち、領
域ｋ，ｌの情報を取得することができる。ただし、ノイ
ズレベルを下回る領域ｋはノイズ成分が支配的となる。
また、低感度受光素子４１ａでは、領域ｈ乃至ｊの情報
を取得することができない。

【００６５】図１１Ｃは、高感度受光素子４１ｂのダイ
ナミックレンジ（両矢印で示す）と高感度画素の輝度ヒ
ストグラムを示している。図示するように、高感度受光
素子４１ｂでは、被写体の輝度ヒストグラムのうち、領
域ｉ乃至ｌの情報を取得することができる。

【００６６】図１１の場合、明るい方の領域ｌでは低解
像度画素と高解像度画素が存在するので解像度が維持さ
れているが、低感度受光素子４１ａのノイズレベル以下
の領域ｋではノイズが目立ち、さらに低感度受光素子４
１ａのダイナミックレンジよりも暗い領域ｉ，ｊでは解
像度劣化が発生する。さらに、高感度受光素子４１ｂの
ダイナミックレンジよりも暗い領域ｈでは全ての画素の
情報が欠落してしまう。したがって、解像度優先モード
では、受光素子のダイナミックレンジよりも広いダイナ
ミックレンジを撮像することはできない。

【００６７】次に、図１２は、画像処理部２５の構成例
を示している。画像処理部２５は、撮影モード選択部６
３によって決定される撮影モードに従って動作する。図
中において、実線はダイナミックレンジ優先撮影モード
における画像信号の流れを示し、破線は解像度優先撮影
モードにおける画像信号の流れを示している。

【００６８】ダイナミックレンジ優先撮影モードにおい
て、第１クリッピング部５１は、撮像部２１からの感度
モザイク画像のうち、低感度受光素子４１ａと高感度受
光素子４１ｂのそれぞれの飽和レベルを上回る画素を飽
和レベルで置換（クリッピング）し、それぞれのノイズ
レベルを下回る画素をノイズレベルで置換（クリッピン
グ）する。

【００６９】ダイナミックレンジ優先撮影モードにおい
て、感度均一化部５２は、第１クリッピング部５１から
入力されるクリッピングされた感度モザイク画像の各画
素に所定のゲインを乗算して、全ての画素の撮影時にお
ける感度を均一化する。以下、感度が均一化された画像
を、感度均一化画像と記述する。

【００７０】ダイナミックレンジ優先撮影モードにおい
て、欠落画素補間部５４は、感度均一化部５２からの感
度均一化画像のうち、第１クリッピング部５１によって
クリッピングされた画素（すなわち、正しい値を有して
いない欠落画素）を、周囲の画素を用いて補間する。

【００７１】ダイナミックレンジ優先撮影モードにおい
て、カラーデモザイク部５５は、欠落画素補間部５４か
らの各画素が単一の色成分だけを有する画像に色補間処
理を施すことにより、各画素が全ての色成分を有してい
る画像、すなわち、広ダイナミック画像を生成する。

【００７２】解像度優先撮影モードにおいて、感度均一
化部５２は、撮像部２１から入力される感度モザイク画
像の各画素に所定のゲインを乗算して、全ての画素の撮
影時における感度を均一化する。

【００７３】解像度優先撮影モードにおいて、第２クリ
ッピング部５３は、感度均一化部５２からの感度均一化
画像のうち、予め設定された飽和レベルを上回る画素を
飽和レベルで置換する。なお、第２クリッピング部５３
では、ノイズレベルを下回る画素のクリッピングは行わ
れない。

【００７４】解像度優先撮影モードにおいて、カラーデ
モザイク部５５は、第２クリッピング部５３からの各画
素が単一の色成分だけを有する画像に色補間処理を施す
ことにより、各画素が全ての色成分を有している画像、
すなわち高解像度画像を生成する。

【００７５】図１３は、自動露出制御部２６の構成例を
示している。感度均一化部６１は、撮像部２１からの高
感度画素と低感度画素からなるモニタ画像の各画素に所
定のゲインを乗算することによって、全ての画素の撮影
時における感度を均一化する。

【００７６】ヒストグラム検波部６２は、図１４に示す
ような感度が均一化されたモニタ画像の輝度のヒストグ
ラムを生成し、さらに、図１５に示すような累積ヒスト
グラムを生成して、被写体のダイナミックレンジの上限
値と下限値を検出する。

【００７７】なお、図１４および図１５において、横軸
は、感度が均一化されたモニタ画像の輝度を１で正規化
した値を示しており、縦軸は、度数を１で正規化した値
を示している。被写体のダイナミックレンジの上限値と
しては、累積ヒストグラムにおいて予め設定されている
上限閾値に対応する輝度を検出する。被写体のダイナミ
ックレンジの下限値としては、累積ヒストグラムにおい
て予め設定されている下限閾値に対応する輝度を検出す
る。

【００７８】撮影モード選択部６３は、撮影モード選択
スイッチ１４が自動選択撮影モードのスイッチングされ
ている場合、ヒストグラム検波部６２によって検出され
た被写体のダイナミックレンジに基づき、撮影モードを
解像度優先撮影モードまたはダイナミックレンジ優先撮
影モードに決定する。撮影モード選択部６３によって選
択された撮影モード（解像度優先撮影モード、またはダ
イナミックレンジ優先撮影モード）は、制御部２７を介
して画像処理部２５に通知される。

【００７９】露出量算出部６４は、ユーザまたは撮影モ
ード選択部６３によって決定された撮影モードおよびヒ
ストグラム検波部６２で検出されるダイナミックレンジ
の上限値に基づき、絞り２２の設定値とシャッタ速度の
設定値を決定して、対応する制御信号を撮像部２１に出
力する。

【００８０】なお、自動露出制御部２６を構成する感度
均一化部６１乃至露出量算出部６４は、露出制御が目標
値になるまで繰り返し動作するようになされている。

【００８１】次に、自動露出制御部２６による露出制御
処理について、図１６のフローチャートを参照して説明
する。この露出制御処理は、レリーズボタン１３が半押
しされたときに開始される。

【００８２】ステップＳ１において、感度均一化部６１
は、撮像部２１によって逐次生成されるモニタ画像の画
素の感度を均一化する。ヒストグラム検波部６２は、感
度が均一化されたモニタ画像の輝度のヒストグラムを生
成し、さらに累積ヒストグラムを生成して、被写体のダ
イナミックレンジの上限値と下限値を検出する。

【００８３】ステップＳ２において、撮影モード選択部
６３は、撮影モード選択スイッチ１４が解像度優先撮影
モードにスイッチングされているか、あるいは撮影モー
ド選択スイッチ１４が自動選択撮影モードにスイッチン
グされていて、かつ、後述するステップＳ１０の処理に
おいて撮影モードを解像度優先撮影モードに決定したか
否かを判定する。撮影モード選択スイッチ１４が解像度
優先撮影モードにスイッチングされている、あるいは撮
影モード選択スイッチ１４が自動選択撮影モードにスイ
ッチングされていて、かつ、自己が撮影モードを解像度
優先撮影モードに決定したと判定された場合、処理はス
テップＳ３に進む。

【００８４】ステップＳ３において、露出量算出部６４
は、ヒストグラム検波部６２で検出される被写体のダイ
ナミックレンジの上限値に基づき、現在の露出が解像度
優先撮影モードの目標とする状態（被写体のダイナミッ
クレンジの上限値と、高感度受光素子４１ｂの飽和レベ
ルが一致した状態）であるか否かを判定する。現在の露
出が解像度優先撮影モードの目標とする状態ではないと
判定された場合、処理はステップＳ４に進む。

【００８５】ステップＳ４において、露出量算出部６４
は、被写体のダイナミックレンジの上限値と、高感度受
光素子４１ｂの飽和レベルが一致するように、絞り２２
の設定値とシャッタ速度の設定値を決定して、対応する
制御信号を撮像部２１に出力する。処理はステップＳ１
に戻り、それ以降の処理が繰り返され、ステップＳ３に
おいて、現在の露出が解像度優先撮影モードの目標とす
る状態であると判定された場合、露出制御処理は終了さ
れる。この後、レリーズボタン１３が全押しされれば、
適切な露出の高感度画像が生成されることになる。

【００８６】ステップＳ２において、撮影モード選択ス
イッチ１４が解像度優先撮影モードにスイッチングされ
ていない、あるいは撮影モード選択スイッチ１４が自動
選択撮影モードにスイッチングされていて、かつ、後述
するステップ１０の処理において撮影モードが解像度優
先撮影モードに決定していないと判定された場合、処理
はステップＳ５に進む。

【００８７】ステップＳ５において、露出量算出部６４
は、ヒストグラム検波部６２で検出される被写体のダイ
ナミックレンジの上限値に基づき、現在の露出がダイナ
ミックレンジ優先撮影モードの目標とする状態（被写体
のダイナミックレンジの上限値と、低感度受光素子４１
ａの飽和レベルが一致した状態）であるか否かを判定す
る。現在の露出がダイナミックレンジ優先撮影モードの
目標とする状態ではない判定された場合、処理はステッ
プＳ６に進む。

【００８８】ステップＳ６において、露出量算出部６４
は、被写体のダイナミックレンジの上限値と、低感度受
光素子４１ａの飽和レベルが一致するように、絞り２２
の設定値とシャッタ速度の設定値を決定して、対応する
制御信号を撮像部２１に出力する。処理はステップＳ１
に戻り、それ以降の処理が繰り返され、ステップＳ５に
おいて、現在の露出がダイナミックレンジ優先撮影モー
ドの目標とする状態であると判定された場合、処理はス
テップＳ７に進む。

【００８９】ステップＳ７において、撮影モード選択部
６３は、撮影モード選択スイッチ１４がダイナミックレ
ンジ優先撮影モードにスイッチングされているか否かを
判定する。撮影モード選択スイッチ１４がダイナミック
レンジ優先撮影モードにスイッチングされていると判定
された場合、露出制御処理は終了される。この後、レリ
ーズボタン１３が全押しされれば、適切な露出の高感度
画像が生成されることになる。

【００９０】ステップＳ７において、撮影モード選択部
６３は、撮影モード選択スイッチ１４がダイナミックレ
ンジ優先撮影モードにスイッチングされていないと判定
された場合、すなわち、撮影モード選択スイッチ１４が
自動選択露出モードにスイッチングされていると判定さ
れた場合、処理はステップＳ８に進む。ステップＳ８に
おいて、ヒストグラム検波部６２は、被写体の累積ヒス
トグラムに基づき、被写体のダイナミックレンジを算出
する。

【００９１】ステップＳ９において、撮影モード選択部
６３は、被写体のダイナミックレンジが、低感度受光素
子４１ａ（または高感度受光素子４１ｂ）のダイナミッ
クレンジよりも広いか否かを判定する。被写体のダイナ
ミックレンジが、低感度受光素子４１ａ（または高感度
受光素子４１ｂ）のダイナミックレンジよりも広くない
と判定された場合、処理はステップＳ１０に進む。ステ
ップＳ１０において、撮影モード選択部６３は、撮影モ
ードをダイナミックレンジ優先撮影モードに決定し、制
御部２７を介して画像処理部２５に通知する。露出制御
処理は終了される。この後、レリーズボタン１３が全押
しされれば、適切な露出の高感度画像が生成されること
になる。

【００９２】ステップＳ９において、被写体のダイナミ
ックレンジが、低感度受光素子４１ａ（または高感度受
光素子４１ｂ）のダイナミックレンジよりも広いと判定
された場合、処理はステップＳ１１に進む。ステップＳ
１１において、撮影モード選択部６３は、撮影モードを
解像度優先撮影モードに決定し、制御部２７を介して画
像処理部２５に通知する。処理はステップＳ２に戻り、
それ以降の処理が繰り返される。以上、自動露出制御部
２６による露出制御処理の説明を終了する。

【００９３】次に、自動露出制御部２６による露出制御
処理の一例について、図１７乃至図２０を参照して説明
する。なお、図１７乃至図２０は、同一の被写体に対応
するモニタ画像であり、横軸は感度が均一化されたモニ
タ画像の輝度を１で正規化した値を示しており、縦軸は
度数を１で正規化した値を示している。

【００９４】図１７は、自動露出制御処理の過程におけ
るモニタ画像の累積ヒストグラムのであり、過露出の状
態を示している。このような場合、モニタ画像の画素は
飽和してしまうものが多いので、累積ヒストグラムの上
限値は、輝度の最大値（すなわち、１）に近い値になっ
ている。

【００９５】図１８は、自動露出制御処理の過程におけ
る累積ヒストグラムの他の一例であり、露出不足の状態
を示している。このような場合、モニタ画像の画素の輝
度は飽和レベルに達しておらず、累積ヒストグラムの上
限値は飽和レベルよりも低い値になっている。

【００９６】図１９は、ダイナミックレンジ優先撮影モ
ードとして露出制御が終了された状態のモニタ画像の累
積ヒストグラムを示している。

【００９７】図１７のような過露出の状態を、図１９の
ような状態とするためには、露出量をＣＤ０（図１７）
だけ減少させて、図１７の上限値が図１９に示す低感度
画素４１ａの飽和レベルに一致するように制御する。反
対に、図１８のような露出不足の状態を、図１９のよう
な状態とするためには、露出量をＣＤ１（図１８）だけ
増加させて、図１８の上限値が図１９に示す低感度画素
４１ａの飽和レベルに一致するように制御する。これに
より、ダイナミックレンジ優先撮影モードでは、低感度
受光素子４１ａおよび高感度受光素子４１ｂからなる単
板式固体撮像素子２４が有するダイナミックレンジを最
大限に活用することが可能となる。

【００９８】図２０は、解像度優先撮影モードとして露
出制御が終了された状態のモニタ画像の累積ヒストグラ
ムを示している。

【００９９】図１７のような過露出の状態を、図２０の
ような状態とするためには、露出量をＣｒ０（図１７）
だけ減少させて、図１７の上限値が図２０に示す高感度
画素４１ｂの飽和レベルに一致するように制御する。反
対に、図１８のような露出不足の状態を、図２０のよう
な状態とするためには、露出量をＣＲ１（図１８）だけ
減少させて、図１８の上限値が図２０に示す高感度画素
４１ｂの飽和レベルに一致するように制御する。これに
より、解像度優先撮影モードでは、低感度受光素子４１
ａ（または高感度受光素子４１ｂ）のダイナミックレン
ジで画像取得することが可能である。

【０１００】なお、図２０に示した例では、被写体のダ
イナミックレンジが低感度受光素子４１ａ（または高感
度受光素子４１ｂ）のダイナミックレンジよりも広いの
で、暗い部分はつぶれてしまっている。

【０１０１】ただし、撮影モード選択スイッチ１４が自
動選択撮影モードにスイッチングされていれば、このよ
うに被写体のダイナミックレンジが低感度受光素子４１
ａ（または高感度受光素子４１ｂ）のダイナミックレン
ジよりも広い場合には、ダイナミックレンジ優先撮影モ
ードに決定されるので、図１９に示すような結果を得る
ことができる。

【０１０２】なお、本発明は、本実施の形態のようなデ
ィジタルスチルカメラの他、画像処理を実施するあらゆ
る機器に適用することが可能である。

【０１０３】ところで、上述した一連の処理は、ハード
ウェアにより実行させることもできるが、ソフトウェア
により実行させることもできる。一連の処理をソフトウ
ェアにより実行させる場合には、そのソフトウェアを構
成するプログラムが、専用のハードウェアに組み込まれ
ているコンピュータ、または、各種のプログラムをイン
ストールすることで、各種の機能を実行することが可能
な、例えば汎用のパーソナルコンピュータなどに、例え
ば図５の記録媒体２８からインストールされる。

【０１０４】この記録媒体２５は、磁気ディスク（フレ
キシブルディスクを含む）、光ディスク（CD-ROM(Compa
ct Disc-Read Only Memory)、DVD(Digital Versatile D
isc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含
む）、もしくは半導体メモリなどよりなるパッケージメ
ディアにより構成されるだけでなく、コンピュータに予
め組み込まれた状態でユーザに提供される、プログラム
が記録されているROMやハードディスクなどで構成され
る。

【０１０５】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。

【０１０６】

【発明の効果】以上のように、本発明によれば、解像度
を優先して補間処理を行う解像度優先モードと、ダイナ
ミックレンジの拡大を優先して補間処理を行うダイナミ
ックレンジ優先モードを、被写体のダイナミックレンジ
に応じて切り替えて使用することができ、さらに、画像
の解像度の劣化を引き起こすことがないディジタルスチ
ルカメラを実現することが可能となる。

【図面の簡単な説明】

【図１】文献１に開示されている感度モザイク画像を用
いる方法の概要を説明するためのブロック図である。

【図２】図１の撮像部１に含まれる撮像素子の一例を示
している。

【図３】本発明を適用したディジタルスチルカメラ１１
の外観を示す斜視図である。

【図４】ディジタルスチルカメラ１１の上面図である。

【図５】ディジタルカメラ１１の内部構成例を示すブロ
ック図である。

【図６】図５の単板式固体撮像素子２４を構成する低感
度受光素子４１ａおよび高感度受光素子４１ｂの配置を
示す図である。

【図７】単板式固体撮像素子２４を構成する低感度受光
素子４１ａおよび高感度受光素子４１ｂそれぞれの輝度
に対する感度帯域を模式的に示す図である。

【図８】撮影モードに対応して制御される低感度受光素
子４１ａおよび高感度受光素子４１ｂそれぞれの感度帯
域の関係を説明するための図である。

【図９】撮影モードに対応して制御される低感度受光素
子４１ａおよび高感度受光素子４１ｂそれぞれの感度帯
域の関係を説明するための図である。

【図１０】撮影モードに対応して制御される低感度受光
素子４１ａおよび高感度受光素子４１ｂそれぞれの感度
帯域の関係を説明するための図である。

【図１１】撮影モードに対応して制御される低感度受光
素子４１ａおよび高感度受光素子４１ｂそれぞれの感度
帯域の関係を説明するための図である。

【図１２】図５の画像処理部２５の構成例を示すブロッ
ク図である。

【図１３】図５の自動露出制御部２６の構成例を示すブ
ロック図である。

【図１４】ヒストグラム検波部６２が生成する、感度が
均一化されたモニタ画像の輝度のヒストグラムの一例を
示す図である。

【図１５】ヒストグラム検波部６２が生成する、感度が
均一化されたモニタ画像の輝度の累積ヒストグラムの一
例を示す図である。

【図１６】自動露出制御部２６による露出制御処理を説
明するフローチャートである。

【図１７】自動露出制御部２６による露出制御処理の一
例を説明するための図である。

【図１８】自動露出制御部２６による露出制御処理の一
例を説明するための図である。

【図１９】自動露出制御部２６による露出制御処理の一
例を説明するための図である。

【図２０】自動露出制御部２６による露出制御処理の一
例を説明するための図である。

【符号の説明】

１１ ディジタルスチルカメラ， １２ レンズ， １
３ レリーズボタン，１４ 撮影モード選択スイッチ，
１５ 露出モードダイヤル， ２１ 撮像部， ２２
絞り， ２３ ＮＤフィルタ， ２４ 単板式固体撮
像素子， ２５ 画像処理部， ２６ 自動露出制御
部， ２７ 制御部， ２８ 記録媒体， ２９ 操作
部， ４１ａ 低感度受光素子， ４１ｂ 高感度受光
素子，５１ 第１クリッピング部， ５２ 感度均一化
部， ５３ 第２クリッピング部， ５４ 欠落画素補
間部， ５５ カラーデモザイク部， ６１ 感度均一
化部， ６２ ヒストグラム検波部， ６３ 撮影モー
ド選択部， ６４ 露出量算出部

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 101:00 Ｈ０４Ｎ 101:00 (72)発明者 小野 博明 東京都品川区東五反田１丁目14番10号 株 式会社ソニー木原研究所内 Ｆターム(参考） 5C022 AA13 AB02 AC42 AC69 5C024 BX01 CX37 CX43 CX51 DX01 DX04 EX52 GX22 HX50 5C065 AA03 BB11 CC01 CC08 DD02 DD17 EE03 EE17 GG13

Claims (9)

【特許請求の範囲】
1. 【請求項１】 低感度と高感度の受光素子が所定のパタ
   ーンで配置されている単板式固体撮像素子を備える撮像
   装置において、 被写体を撮像して、対応する感度モザイク画像を生成す
   る撮像手段と、 少なくともダイナミックレンジ優先撮影モードおよび解
   像度優先撮影モードを含む撮影モードのうちの１つの前
   記撮影モードを指定する指定手段と、 前記撮影モードに従い、前記撮像手段の露出を制御する
   露出制御手段と、 前記撮影モードに従い、前記撮像手段によって撮像され
   た前記感度モザイク画像を元にして、広ダイナミックレ
   ンジ画像または高解像度画像を生成する画像処理手段と
   を含むことを特徴とする撮像装置。
2. 【請求項２】 前記被写体のダイナミックレンジを測定
   する測定手段をさらに含むことを特徴とする請求項１に
   記載の撮像装置。
3. 【請求項３】 前記測定手段によって測定された前記被
   写体のダイナミックレンジに基づいて、前記撮影モード
   を、前記ダイナミックレンジ優先撮影モードまたは前記
   解像度優先撮影モードに決定する決定手段をさらに含む
   ことを特徴とする請求項２に記載の撮像装置。
4. 【請求項４】 前記露出制御手段は、前記ダイナミック
   レンジ優先撮影モードにおいて、前記低感度の受光素子
   によって撮像された低感度画素の飽和レベルが前記被写
   体のダイナミックレンジの上限値に一致するように前記
   露出を制御し、前記解像度優先撮影モードにおいて、前
   記高感度の受光素子によって撮像された高感度画素の飽
   和レベルが前記被写体のダイナミックレンジの上限値に
   一致するように前記露出を制御することを特徴とする請
   求項２に記載の撮像装置。
5. 【請求項５】 前記決定手段は、前記被写体のダイナミ
   ックレンジが前記受光素子のダイナミクレンジよりも広
   い場合、前記撮影モードを前記ダイナミックレンジ優先
   撮影モードに決定し、前記被写体のダイナミックレンジ
   が前記受光素子のダイナミクレンジよりも狭い場合、前
   記撮影モードを前記解像度優先撮影モードに決定するこ
   とを特徴とする請求項３に記載の撮像装置。
6. 【請求項６】 前記画像処理手段は、 前記ダイナミックレンジ優先撮影モードにおいて欠落画
   素を補間し、前記解像度優先撮影モードにおいて前記欠
   落画素を補間しない欠落画素補間手段を含むことを特徴
   とする請求項１に記載の撮像装置。
7. 【請求項７】 低感度と高感度の受光素子が所定のパタ
   ーンで配置されている単板式固体撮像素子を備える撮像
   装置の撮像方法において、 被写体を撮像して、対応する感度モザイク画像を生成す
   る撮像ステップと、 少なくともダイナミックレンジ優先撮影モードおよび解
   像度優先撮影モードを含む撮影モードのうちの１つの前
   記撮影モードを指定する指定ステップと、 前記撮影モードに従い、前記撮像ステップの処理での露
   出を制御する露出制御ステップと、 前記撮影モードに従い、前記撮像ステップの処理で撮像
   された前記感度モザイク画像を元にして、広ダイナミッ
   クレンジ画像または高解像度画像を生成する画像処理ス
   テップとを含むことを特徴とする撮像方法。
8. 【請求項８】 低感度と高感度の受光素子が所定のパタ
   ーンで配置されている単板式固体撮像素子を備える撮像
   装置を制御するためのプログラムであって、 少なくともダイナミックレンジ優先撮影モードおよび解
   像度優先撮影モードを含む撮影モードのうちの１つの前
   記撮影モードを指定する指定ステップと、 前記撮影モードに従い、露出を制御する露出制御ステッ
   プと、 前記撮影モードに従い、撮像された感度モザイク画像を
   元にして、広ダイナミックレンジ画像または高解像度画
   像を生成する画像処理ステップとを含むことを特徴とす
   るコンピュータが読み取り可能なプログラムが記録され
   ている記録媒体。
9. 【請求項９】 低感度と高感度の受光素子が所定のパタ
   ーンで配置されている単板式固体撮像素子を備える撮像
   装置を制御するコンピュータに、 少なくともダイナミックレンジ優先撮影モードおよび解
   像度優先撮影モードを含む撮影モードのうちの１つの前
   記撮影モードを指定する指定ステップと、 前記撮影モードに従い、露出を制御する露出制御ステッ
   プと、 前記撮影モードに従い、撮像された感度モザイク画像を
   元にして、広ダイナミックレンジ画像または高解像度画
   像を生成する画像処理ステップとを実行させるプログラ
   ム。