JP2001238126A

JP2001238126A - 撮像装置及び画像処理方法

Info

Publication number: JP2001238126A
Application number: JP2000044344A
Authority: JP
Inventors: Shinichi Fujii; 真一藤井
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2000-02-22
Filing date: 2000-02-22
Publication date: 2001-08-31

Abstract

(57)【要約】【課題】コスト上昇や撮像装置の大型化を招くことな
く、ダイナミックレンジの拡大された撮像画像を生成す
ること。【解決手段】撮像素子となるＣＣＤ１０の撮像面１１
には、複数の画素が２次元配列されるとともに、高感度
領域および低感度領域が設定される。ＣＣＤ１０から画
素ごとの輝度信号を順次に読み出す際、高感度領域とし
て設定された画素の輝度信号に対しては高ゲインを設定
する一方、低感度領域として設定された画素の輝度信号
に対しては低ゲインを設定することで、高感度画像と低
感度画像とを生成する。そして、垂直２ライン画素補間
処理部２４は画像サイズをＣＣＤ１０で得られる画像サ
イズと同等のサイズに拡大し、ダイナミックレンジ拡大
処理部２５は所定の混合比特性に基づいて高感度画像と
低感度画像との混合比を決定し、その混合比に基づいて
画像合成を行って、被写体に関する画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、一の撮像素子を
用いて被写体を撮像して当該被写体に関する画像データ
を生成するデジタルカメラ等の撮像装置、及び、その画
像データを生成するための画像処理方法に関する。

【０００２】

【従来の技術】従来、デジタルカメラ等の撮像装置にお
いては、２次元の画素配列を有するＣＣＤ（Charge Cou
pled Device）等の撮像素子を用いて被写体を撮影する
と、被写体像の明るい部分が白くなりすぎる（いわゆる
白とび）という現象が生じる一方、被写体像の暗い部分
が黒くなりすぎる（いわゆる黒つぶれ）という現象が生
じることがある。この現象は、一般的な撮像素子のダイ
ナミックレンジが狭いことに起因するものであり、画質
低下の要因とっている。

【０００３】このような現象を解消するために、２個以
上の撮像素子を用いて同一被写体を同時に撮影し、１個
の撮像素子のダイナミックレンジが狭いことによる影響
を他の撮像素子で補うように構成することが考えられ
る。

【０００４】

【発明が解決しようとする課題】しかしながら、一般に
撮像素子は他の部品に比べて高価であるため、撮像装置
に２個以上の撮像素子を設けると、撮像装置のコスト上
昇を招くという問題がある。また、２個以上の撮像素子
を設けるために、撮像装置自体が大型化するという問題
もある。

【０００５】そこで、この発明は、上記課題に鑑みてな
されたものであって、コスト上昇や撮像装置の大型化を
招くことなく、ダイナミックレンジの拡大された撮像画
像を生成することの可能な撮像装置および画像処理方法
を提供することを目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、請求項１に記載の発明は、被写体を撮像して前記被
写体に関する画像データを生成する撮像装置であって、
複数の画素が２次元的に配列されて構成された撮像面を
有し、当該撮像面に対して高感度領域と低感度領域とが
交互に設定された一の撮像素子と、前記高感度領域に含
まれる画素群から高感度画像を生成するとともに、前記
低感度領域に含まれる画素群から低感度画像を生成し、
前記高感度画像と前記低感度画像との合成処理を行っ
て、前記被写体に関する画像の画像データを生成する画
像処理手段とを備えている。

【０００７】請求項２に記載の発明は、請求項１に記載
の撮像装置において、前記合成処理は、前記高感度画像
または前記低感度画像の画像状況に応じて決定される混
合比に基づいて、前記高感度画像と前記低感度画像とを
合成する処理であることを特徴としている。

【０００８】請求項３に記載の発明は、請求項１または
請求項２に記載の撮像装置において、前記画像処理手段
が、前記高感度画像と前記低感度画像とのそれぞれに対
して補間処理を施すことによって前記高感度画像と前記
低感度画像との画像サイズの拡大を行った後に前記合成
処理を行う。

【０００９】請求項４に記載の発明は、請求項１ないし
請求項３のいずれかに記載の撮像装置において、前記撮
像素子は、前記撮像面に分布する画素ごとのデータをラ
イン単位で読み出しを行うように構成され、前記高感度
領域と前記低感度領域とが所定ラインごとに交互に繰り
返して設定された素子であり、前記画像処理手段は、前
記撮像素子からライン単位で複数の画素のデータを取得
する際に、前記高感度領域として設定されたラインに含
まれる画素に対しては高ゲインを設定し、前記低感度領
域として設定されたラインに含まれる画素に対しては低
ゲインを設定することによって、前記高感度画像と前記
低感度画像とを前記所定ラインごとに順次に生成してい
くことを特徴としている。

【００１０】請求項５に記載の発明は、請求項４に記載
の撮像装置において、前記撮像素子は、前記撮像面に分
布する前記複数の画素がベイヤー配列で各色成分に対応
づけられた素子であり、前記画像処理手段は、前記撮像
素子からライン単位で複数の画素のデータを取得する際
に、２ラインごとに前記高ゲインと前記低ゲインとの設
定切り替えを行うことで、前記高感度画像と前記低感度
画像とを生成することを特徴としている。

【００１１】請求項６に記載の発明は、被写体を撮像し
て得られる画像を処理する画像処理方法であって、(a)
複数の画素が２次元的に配列されて構成された撮像面を
有し、当該撮像面に対して高感度領域と低感度領域とが
交互に設定された一の撮像素子を用いて前記被写体の撮
影を行う工程と、(b) 前記高感度領域に含まれる画素群
から高感度画像を生成するとともに、前記低感度領域に
含まれる画素群から低感度画像を生成する工程と、(c)
前記高感度画像と前記低感度画像との合成処理を行っ
て、前記被写体に関する画像の画像データを生成する工
程とを有している。

【００１２】請求項７に記載の発明は、請求項６に記載
の画像処理方法において、前記工程(c)は、前記高感度
画像または前記低感度画像の画像状況に応じて決定され
る混合比に基づいて、前記合成処理を行うことを特徴と
している。

【００１３】請求項８に記載の発明は、請求項６または
請求項７に記載の画像処理方法において、前記工程(b)
は、前記高感度画像と前記低感度画像とのそれぞれに対
して補間処理を施すことによって前記高感度画像と前記
低感度画像との画像サイズの拡大を行う工程を含むこと
を特徴としている。

【００１４】請求項９に記載の発明は、請求項６ないし
請求項８のいずれかに記載の画像処理方法において、前
記工程(b)は、前記撮像素子からライン単位で複数の画
素のデータを取得する際に、前記高感度領域として設定
されたラインに含まれる画素に対しては高ゲインを設定
し、前記低感度領域として設定されたラインに含まれる
画素に対しては低ゲインを設定することによって、前記
高感度画像と前記低感度画像とを前記所定ラインごとに
順次に生成していく工程を含むことを特徴としている。

【００１５】請求項１０に記載の発明は、請求項９に記
載の画像処理方法において、前記工程(b)は、前記撮像
面に分布する前記複数の画素がベイヤー配列で各色成分
に対応づけられた前記撮像素子からライン単位で複数の
画素のデータを取得する際に、２ラインごとに前記高ゲ
インと前記低ゲインとの設定切り替えを行うことで、前
記高感度画像と前記低感度画像とを生成する工程を含む
ことを特徴としている。

【００１６】

【発明の実施の形態】以下、この発明の実施の形態につ
いて図面を参照しつつ説明する。

【００１７】図１は、この発明の実施の形態における撮
像装置１の概略構成を示すブロック図である。なお、図
１において、斜線の施された矢印は画像データの流れを
示しており、細線矢印は制御用データの流れを示してい
る。

【００１８】この撮像装置１は、被写体から光をＣＣＤ
１０に導くためのレンズ７と、撮像素子となるＣＣＤ１
０と、ＣＣＤ１０で得られたデータから被写体に関する
カラー画像データを生成する画像処理部２０と、撮影タ
イミングを指示するためのシャッタボタン３０とを備え
ている。

【００１９】ＣＣＤ１０の撮像面１１には、複数の画素
が２次元配列されている。そして、撮像面１１には被写
体からの光が導かれ、各画素ごとに被写体の対応する部
分からの光を検出し、その光量に応じた電気信号（輝度
信号）を生成する。

【００２０】図２は、ＣＣＤ１０の撮像面１１を模式的
に表した図である。図２に示すようにＣＣＤ１０の撮像
面１１に分布する各画素は、カラーコーディングによっ
てベイヤー配列をしたＲ（レッド），Ｇ（グリーン），
Ｂ（ブルー）の各色成分に対応づけられている。すなわ
ち、最上段の水平方向に沿った１ライン目は、Ｒ，Ｇ，
Ｒ，Ｇ，…というようにＲ成分に対応づけられた画素と
Ｇ成分に対応づけられた画素とが繰り返すようにＧ−Ｒ
ラインが形成されており、最上段から２段目の２ライン
目は、Ｇ，Ｂ，Ｇ，Ｂ，…というようにＧ成分に対応づ
けられた画素とＢ成分に対応づけられた画素とが繰り返
すようにＢ−Ｇラインが形成されている。そして、３ラ
イン目以降は上記と同様の配列が繰り返されている。

【００２１】したがって、このようなベイヤー配列のＣ
ＣＤ１０を使用して各画素ごとにＲ，Ｇ，Ｂの３成分を
有するカラー画像を生成する場合、少なくとも２ライン
分の情報がなければ、適切にカラー画像を生成すること
ができなくなる。

【００２２】また、ＣＣＤ１０の撮像面１１には、高感
度撮影用領域と低感度撮影用領域とが設定される。図３
は、撮像面１１における高感度撮影用領域と低感度撮影
用領域との設定例を示す図である。この実施形態では、
撮像面１１における各色成分がベイヤー配列されている
ことから、図３に示すように、高感度撮影用領域ＲＨと
低感度撮影用領域ＲＬとがそれぞれ水平方向Ｈに沿った
２ラインごとに交互に設定されている。

【００２３】次に、画像処理部２０は、データ読出部２
１、高／低感度画像並び替え部２２、画素補間処理部２
３、垂直２ライン画素補間処理部２４、ダイナミックレ
ンジ拡大処理部２５、メモリ２６、出力部２７、タイミ
ングジェネレータ２８、およびＣＰＵ（Central Proces
sing Unit）２９を備えて構成される。

【００２４】データ読出部２１は、ＣＣＤ１０から各画
素の輝度信号をタイミングジェネレータ２８からの指示
タイミングに基づいて順次に読み出す。このときの読み
出し順序は、図３の撮像面１１において上段側１ライン
目から水平方向Ｈに沿った１ラインごとに順次に行われ
る。

【００２５】また、データ読出部２１にはオートゲイン
コントロール部（以下、ＡＧＣと呼ぶ）２１１が設けら
れており、ＡＧＣ２１１は、１ラインごとに順次に各画
素の輝度信号を読み出していく際に、現在読み出し対象
となっているラインが高感度撮影用領域ＲＨと低感度撮
影用領域ＲＬとのいずれであるかを判断し、高感度撮影
用領域ＲＨである場合には比較的大きな値である所定の
ゲインＧＨが設定されるのに対し、低感度撮影用領域Ｒ
Ｌである場合には比較的小さな値である所定のゲインＧ
Ｌが設定される。つまり、ゲインＧＨとＧＬとの関係は
ＧＨ＞ＧＬとなっている。この結果、高感度撮影用領域
ＲＨに含まれる画素群から得られる画像は輝度変化を高
感度に表した高感度画像となる一方、低感度撮影用領域
ＲＬに含まれる画素群から得られる画像は輝度変化に対
する感度の低い低感度画像となる。

【００２６】さらに、データ読出部２１には図示しない
Ａ／Ｄ変換器が設けられており、上記のようなゲイン制
御が行われた画素ごとの輝度信号は、例えば８ビットの
デジタルデータに変換され、０〜２５５の階調値を有す
る画像データとなる。

【００２７】図４は、データ読出部２１において高感度
撮影用領域ＲＨおよび低感度撮影用領域ＲＬにおける画
像データを生成する際の変換特性を示す図である。

【００２８】データ読出部２１が高感度撮影用領域ＲＨ
に含まれる画素の輝度信号を読み出すと、図４に示す高
感度特性４１に応じたデータ変換を行うこととなり、低
輝度域においては輝度変化が敏感に画像データに反映さ
れることになる。しかしながら、高輝度域においては設
定されるゲインＧＨが大きな値であることから画像デー
タが飽和状態となって、いわゆる白とびした画像とな
る。

【００２９】一方、データ読出部２１が低感度撮影用領
域ＲＬに含まれる画素の輝度信号を読み出すと、図４に
示す低感度特性４２に応じたデータ変換を行うこととな
り、輝度変化に鈍感な画像データとなる。このため、低
輝度域ではいわゆる黒つぶれした画像となる。しかしな
がら、高輝度域においては低感度ながら輝度信号の変化
に対応した画像データを出力することが可能となってい
る。

【００３０】そして、データ読出部２１は読み出し順序
に従って、画素ごとに輝度信号から画像データを生成
し、その画像データを順次に高／低感度画像並び替え部
２２に送出する。

【００３１】高／低感度画像並び替え部２２は、高感度
画像および低感度画像を生成する。データ読出部２１で
得られる画像データはＣＣＤ１０における画素の配列に
応じてラインごとに順次に読み出されるため、画像とし
ては、図３に示すように２ラインごとに高感度部分と低
感度部分とが垂直方向Ｖに沿って混在した画像となって
いる。そこで、高／低感度画像並び替え部２２は、その
混在した画像から高感度部分のみからなる高感度画像と
低感度部分のみからなる低感度画像との２つの画像に分
割する。具体的には、図３に示すような高感度部分と低
感度部分とが混在した画像から、２ラインごとの画像デ
ータの抽出を行い、高感度画像と低感度画像との２画像
を生成するのである。

【００３２】図５は、高／低感度画像並び替え部２２で
生成される２画像を示す図である。高／低感度画像並び
替え部２２は上記のような処理を行うことによって、図
５（ａ）に示すような高感度撮影用領域ＲＨに含まれる
画素群から抽出された画像データで形成される高感度画
像と、図５（ｂ）に示すような低感度撮影用領域ＲＬに
含まれる画素群から抽出された画像データで形成される
低感度画像とを生成する。このように高感度画像と低感
度画像との２画像に分離することによって、後述する補
間処理を画像ごとに容易に行うことが可能になる。そし
て、このようして生成された高感度画像と低感度画像と
の２画像は、画素補間処理部２３に送出される。

【００３３】画素補間処理部２３は、高感度画像および
低感度画像のそれぞれをカラー化するための画素補間を
行う。高感度画像および低感度画像のそれぞれは、ベイ
ヤー配列によって画素ごとに一の色成分が対応づけられ
たものである。このため、画素補間処理部２３は、各画
素が全ての色成分についての情報（画像データ）を保持
するように隣接する他の色成分の画素から色成分を補間
処理することで、全ての画素が全ての色成分を有するよ
うにカラー化を行うのである。そして、このカラー化を
高感度画像と低感度画像との双方について行うことによ
り、高感度画像と低感度画像とのそれぞれは、全ての画
素についてＲ，Ｇ，Ｂの色成分を有するカラー画像とし
て構成されることになる。なお、ここでは各画素がＲ，
Ｇ，Ｂの色成分を有するカラー化を行う例について示し
たが、例えばＹＣｒＣｂのようなカラー化を行うように
構成してもよい。そして、カラー化が行われた高感度画
像と低感度画像とのそれぞれは、垂直２ライン画素補間
処理部２４に送出される。

【００３４】垂直２ライン画素補間処理部２４は、画素
補間の１つであり、高感度画像および低感度画像のそれ
ぞれをフルサイズの画像に拡大する処理を行う。例え
ば、ＣＣＤ１０がその撮像面１１にＭ個（ただし、Ｍは
任意の整数）の画素を有しているとすると、高感度画像
および低感度画像は、Ｍ個の画素から得られた画像を２
分割して得られた画像であるため、それぞれの画像を構
成する画素数はＭ／２個となっている。より具体的に
は、高感度画像および低感度画像は、垂直方向Ｖに２ラ
インごとの欠損部分が生じていることから、垂直方向Ｖ
に１／２圧縮された画像となっている。そこで、垂直２
ライン画素補間処理部２４では、この垂直方向Ｖに沿っ
ての欠損部分となっている２ラインごとの画像データを
画素補間によって再現し、Ｍ個の画素を有するフルサイ
ズの画像を生成するのである。

【００３５】図６は、垂直２ライン画素補間処理の一例
を示す図である。図６（ｂ）に示すように、垂直方向に
画素Ｇ１，Ｇ２，Ｇ５，Ｇ６がある場合、画素Ｇ２とＧ
５との間には画素Ｇ３，Ｇ４とが存在するはずであり、
これらの画素Ｇ３，Ｇ４は低感度部分若しくは高感度部
分として分離されているので、データ欠損した部分とな
る。そこで、有効に存在する画素Ｇ１，Ｇ２，Ｇ５，Ｇ
６の画像データを用いてデータ欠損している画素Ｇ３，
Ｇ４の画像データを補間するのである。

【００３６】補間方法としては、例えば直線補間を適用
することができる。図６（ｂ）に示す画素Ｇ３，Ｇ４を
補間する際に、垂直方向に隣接する画素Ｇ２，Ｇ５を用
いて直線補間を行うと、画素Ｇ３およびＧ４は、Ｇ３＝｛Ｇ２＋（Ｇ５−Ｇ２）｝／３Ｇ４＝｛Ｇ２＋２・（Ｇ５−Ｇ２）｝／３として導くことができ、図６（ａ）に波線で示す画素Ｇ
３，Ｇ４の画像データを補間することができる。このよ
うな処理を垂直方向の２ラインごとに行っていくととも
に、水平方向についての全ての画素位置で行うことで、
垂直方向の画像サイズを２倍に拡大することができる。
そして、このような処理をＲ，Ｇ，Ｂの全ての色成分に
ついて行うことで、高感度画像と低感度画像との双方を
フルサイズの画像に拡大することが可能になる。また、
ＹＣｒＣｂの表色系の場合にも各成分について同様の補
間処理を行えばよい。

【００３７】そして、１個のＣＣＤ１０で得られた画像
を高感度画像と低感度画像とに２分割したことによる画
像サイズの縮小という弊害を、この垂直２ライン画素補
間処理によって解消することが可能になるのである。

【００３８】なお、上記では直線補間を例に挙げて説明
したが、垂直方向に欠損する２ラインごとの画像データ
を適切に補間することができればよいため、直線補間に
限定されるものではなく、他の補間方法を用いてもよ
い。例えば、キュービックコンボリューションを用いた
補間処理を行ってもよい。

【００３９】次に、ダイナミックレンジ拡大処理部２５
による処理が行われる。ダイナミックレンジ拡大処理部
２５は、ＣＣＤ１０によって得られた画像データのダイ
ナミックレンジを拡大するための処理を行う。つまり、
このダイナミックレンジ拡大処理部２５において、高輝
度部分での白とびや低輝度部分での黒つぶれといった現
象を解消するような処理が行われるのである。

【００４０】ダイナミックレンジ拡大処理部２５には、
図１に示すように混合比決定部２５１と合成処理部２５
２とが設けられており、まず、混合比決定部２５１が高
感度画像と低感度画像との混合比α，（１−α）を決定
する。ただし、αは、０≦α≦１を満たす数である。

【００４１】図７は、混合比決定部２５１において決定
される混合比α，（１−α）の画像データとの関係を示
す図である。混合比決定部２５１は、高感度画像の画像
データを取得し、その高感度画像の各画素における画像
データの状況に応じて高感度画像の混合比（１−α）と
低感度画像の混合比αとを画素ごとに決定する。この実
施形態では、図７に示すように、低輝度部分に対応する
画像データの小さい部分では、高感度画像についての混
合比（１−α）が大きく、かつ、低感度画像についての
混合比αが小さくなるように混合比特性５１が設定され
ている。一方、高輝度部分に対応する画像データの大き
い部分では、高感度画像についての混合比（１−α）が
小さく、かつ、低感度画像についての混合比αが大きく
なるように混合比特性５１が設定されている。そして、
混合比決定部２５１は、高感度画像の画素ごとの画像デ
ータを取得すると、図７に示す混合比特性５１に基づい
て混合比α，（１−α）を求め、決定された混合比α，
（１−α）を合成処理部２５２に与える。なお、混合比
の決定は、画素ごとに行われるものでなく、一定の画像
部分ごとに行われる形態であってもよい。

【００４２】合成処理部２５２では、混合比α，（１−
α）に基づいて高感度画像と低感度画像とを画素ごとに
合成し、一つの合成画像を生成する。高感度画像と低感
度画像とは、同一画素数を有するフルサイズ化された画
像となっている。したがって、高感度画像において１個
の画素が特定されると、低感度画像においてもそれに対
応する位置の１個の画素が特定される。そして、合成処
理部２５２は、高感度画像と低感度画像との対応する画
素の画像データを上記混合比に基づいて合成するのであ
る。

【００４３】例えば、高感度画像における画素の画像デ
ータがＤ１であるとし、その画素に対応する低感度画像
の画像データがＤ２であるとすると、合成処理によって
生成される合成画像の画像データＤは、Ｄ＝（１−α）
・Ｄ１＋α・Ｄ２となる。合成画像の画像データＤは、図
７に示す混合比特性５１によって、高輝度部分では低感
度の画像データをその成分として多く含むこととなるた
め、高輝度部分において画像データが飽和状態となるこ
とを防止することができ、いわゆる白とびという現象が
低減された画像データとなる。一方、低輝度部分では高
感度の画像データをその成分として多く含むこととなる
ため、低輝度部分において画像がいわゆる黒つぶれとな
ってしまう現象が低減された画像データとなる。

【００４４】したがって、高輝度部分における白とびや
低輝度部分における黒つぶれが解消されるということに
鑑みれば、この合成処理は、ＣＣＤ１０におけるダイナ
ミックレンジの拡大処理を行ったことに相当するのであ
る。この実施形態においては、ＣＣＤ１０自体のダイナ
ミックレンジを拡大するというものではなく、画像処理
においてＣＣＤ１０のダイナミックレンジを拡大するよ
うに処理するものであるため、ＣＣＤ１０を高価なもの
に置き換えることなく、白とびや黒つぶれを解消するこ
とが可能になっている。このため、撮像装置１における
コスト上昇を招くことなく、白とびや黒つぶれを解消す
ることが可能になっている。

【００４５】そして、ダイナミックレンジ拡大処理部２
５における上記のような処理をＲＧＢやＹＣｒＣｂの各
色成分について画素ごとに行うことにより、カラー画像
全体についてダイナミックレンジの拡大された画像を得
ることが可能になる。

【００４６】そして、このようにして白とびや黒つぶれ
の解消された画像は、メモリ２６に一時的に格納され
る。そして、出力部２７に転送され、出力部２７は例え
ばＮＴＳＣ信号のような表示出力形式で他の器機に対し
て画像出力を行うものであってもよいし、また、撮像装
置１に装着された磁気ディスクカードやメモリカード等
の図示しない記録メディアに対して記録出力するもので
あってもよい。

【００４７】また、図１において、タイミングジェネレ
ータ２８は、ＣＣＤ１０およびデータ読出部２１に所定
のタイミング信号を送出するものである。

【００４８】ＣＰＵ２９は、上記各部における動作を制
御するための制御手段であり、ユーザによってシャッタ
ボタン３０が押されたことを検出すると、ＣＣＤ１０に
よる撮像動作および画像処理部２０による上述した画像
処理を統括的に制御し、ダイナミックレンジの拡大され
た画像を出力部２７より出力させるように機能する。

【００４９】次に、上記のような構成の撮像装置１にお
いて、実際に被写体を撮影し、被写体に関する画像であ
ってダイナミックレンジの拡大された画像を生成するた
めの一連の処理について説明する。

【００５０】図８は、撮像装置１の動作手順を示すフロ
ーチャートである。

【００５１】まず、ＣＰＵ２９は、ユーザによってシャ
ッタボタン３０が操作されたか否か、すなわち撮影指示
があったか否かを判断する（ステップＳ１）。そして、
撮影指示があった場合には「ＹＥＳ」と判断され、撮影
指示がない場合には「ＮＯ」と判断されて撮影指示の待
機状態となる。

【００５２】撮影指示があった場合、ＣＰＵ２９はタイ
ミングジェネレータ２８に撮影指示を行う。これに伴
い、ＣＣＤ１０はタイミングジェネレータ２８からのタ
イミング信号に基づいて、レンズ７を通して撮像面１１
上に結像される被写体像の積分を開始する（ステップＳ
１１）。そして、所定の積分時間が経過すると、ＣＣＤ
１０の各画素に蓄積された輝度信号のダンプを開始させ
る（ステップＳ１２）。

【００５３】そして、データ読出部２１は、高感度撮影
用領域に含まれる画素の輝度信号に対しては所定の高ゲ
イン値を設定して高感度の画像データを生成し、低感度
撮影用領域に含まれる画素の輝度信号に対しては所定の
低ゲイン値を設定して低感度の画像データを生成する
（ステップＳ１３）。このゲイン値の切り替え制御は２
ラインごとに行われる。

【００５４】次に、ＣＰＵ２９は高／低感度画像並び替
え部２２に対して画像データの並び替えを指示する。こ
れによって、高／低感度画像並び替え部２２が機能し、
高感度部分と低感度部分とが２ラインごとに混合した画
像から、２ラインごとの画像データの並び替えが行わ
れ、高感度画像と低感度画像との２つの画像が生成され
る（ステップＳ１４）。

【００５５】そして、ＣＰＵ２９は画素補間処理部２３
に対して高感度画像と低感度画像とのそれぞれをカラー
化するための指示を与える。これによって、画素補間処
理部２３が機能し、高感度画像と低感度画像とのそれぞ
れについて、各画素ごとにＲＧＢまたはＹＣｒＣｂの各
成分を有するカラー画像が生成される（ステップＳ１
５）。

【００５６】そして、ＣＰＵ２９は垂直２ライン画素補
間処理部２４に対して垂直方向への画像拡大を指示す
る。これによって、垂直２ライン画素補間処理部２４が
機能し、高感度画像と低感度画像とのそれぞれについ
て、２ラインごとのデータ欠損箇所を補間したフルサイ
ズ画像が生成される。

【００５７】そして次に、ＣＰＵ２９はダイナミックレ
ンジ拡大処理部２５を機能させるべく指示を与える。こ
れに伴い、ダイナミックレンジ拡大処理部２５は、ま
ず、混合比決定部２５１として機能し、高感度画像の画
像データを取得してその画像データに基づいて混合比
α，（１−α）を決定する（ステップＳ１７）。

【００５８】次にダイナミックレンジ拡大処理部２５
は、合成処理部２５２として機能し、ステップＳ１７で
決定された混合比α，（１−α）に基づいて高感度画像
と低感度画像とを画像合成し、被写体に関する画像であ
って白とびや黒つぶれの解消された一の合成画像を生成
し、それをメモリ２６に一時的に格納する（ステップＳ
１８）。

【００５９】そして、ＣＰＵ２９は出力部２７に対して
メモリ２６に格納されている画像の出力を行うように指
示する。これによって出力部２７が機能し、メモリ２６
に格納されている画像が出力部２７側に転送され、所定
のデータ形式で、出力対象となる部材に画像データが出
力される（ステップＳ１９）。

【００６０】以上で、被写体の撮影から被写体に関する
画像の出力までの一連の処理が終了することなる。そし
て、ステップＳ１９において出力される画像データにお
いては、被写体の明るい部分に対応する画素であっても
白とびという現象が生じず、また、被写体の暗い部分に
対応する画素であっても黒つぶれという現象が生じない
ものとなる。したがって、画質低下の生じず、高品質な
画像を出力するこが可能となる。

【００６１】そして、以上説明した撮像装置１によれ
ば、１個のＣＣＤ１０を用いて被写体の撮影を行って被
写体に関する画像データを生成するように構成されてい
るが、１個のＣＣＤ１０の撮像面１１に高感度撮影用領
域ＲＨと低感度撮影用領域ＲＬとが設定されており、各
領域ＲＨ，ＲＬからそれぞれ高感度画像と低感度画像と
を生成し、それらを合成することで被写体に関する画像
を生成する。したがって、１個の撮像素子（ＣＣＤ１
０）で被写体を撮影してダイナミックレンジの拡大され
た撮像画像を生成することが可能となっているため、コ
スト上昇や撮像装置の大型化を招くことなく、白とびや
黒つぶれといった現象を解消することの可能な構成とな
っている。

【００６２】以上、この発明の実施の形態について説明
したが、この発明は上記に説明した内容に限定されるも
のではない。

【００６３】先ず、この実施の形態においては、撮像素
子そのものの感度は一定でゲインの設定により領域を分
けたが、撮像素子そのものの感度を分けてもかまわな
い。

【００６４】さらに、上記実施の形態では、ＣＣＤ１０
の撮像面１１がベイヤー配列された構成である場合につ
いて説明したが、これに限定されるものではなく補色タ
イプのＣＣＤにも適用可能である。

【００６５】また、上記実施の形態では、撮像面１１が
所定ラインごと（具体的には２ラインごと）に高感度撮
影用領域ＲＨと低感度撮影用領域ＲＬとが設定されてい
る例について説明したが、これに限定されるものではな
い。

【００６６】例えば、ベイヤー配列の場合、２×２の４
画素ごとに交互に高感度撮影用領域および低感度撮影用
領域を設定してもよい。ただし、この場合は画像拡大を
行うための画素補間処理を水平方向Ｈと垂直方向Ｖとの
双方について行っていくことが必要であるため、処理形
態が複雑化することになる。

【００６７】これに対し、所定ラインごとに高感度撮影
用領域ＲＨと低感度撮影用領域ＲＬとを設定する場合に
は、画像拡大の行うための画素補間処理を上記と同様に
垂直方向Ｖのみについて行えばよいので、効率的に行う
ことが可能である。そして、ベイヤー配列の場合には、
２ラインごとに高感度撮影用領域ＲＨと低感度撮影用領
域ＲＬとを設定することで、高感度画像と低感度画像と
のカラー化を良好に行うことができるという特有の作用
効果を奏することになる。

【００６８】さらに、撮像素子としてＣＣＤ１０を用い
る場合には、水平方向Ｈに沿ったラインに沿って画素ご
との輝度信号が順次に読み出されていくため、ラインご
とに高感度撮影用領域ＲＨと低感度撮影用領域ＲＬとを
設定すれば、読み出しの際のゲイン制御をラインごとに
行えばよいことになるので、比較的容易に高感度画像と
低感度画像とを生成することが可能になる。

【００６９】また、上記実施の形態において図７に示し
た混合比特性は、他の特性であってもよい。ただし、そ
の場合であっても、低輝度部分に対応する部分では、高
感度画像についての混合比が大きくかつ低感度画像につ
いての混合比が小さくなるとともに、高輝度部分に対応
する部分では、高感度画像についての混合比が小さくか
つ低感度画像についての混合比が大きくなるような特性
であることが望ましい。

【００７０】また、上記実施の形態においては高感度画
像における画像データに基づいて混合比を決定する構成
例について説明したが、これに限定されるものでもな
く、低感度画像における画像データに基づいて混合比を
決定するようにしてもよい。

【００７１】

【発明の効果】以上説明したように、請求項１に記載の
発明によれば、一の撮像素子の撮像面に対して高感度領
域と低感度領域とが交互に設定されており、高感度領域
に含まれる画素群から高感度画像を生成するとともに、
低感度領域に含まれる画素群から低感度画像を生成し、
高感度画像と低感度画像との合成処理を行って、被写体
に関する画像の画像データを生成するように構成されて
いるため、コスト上昇や撮像装置の大型化を招くことな
く、被写体に関する画像であってダイナミックレンジの
拡大された画像を生成することができる。

【００７２】請求項２に記載の発明によれば、合成処理
が、高感度画像または低感度画像の画像状況に応じて決
定される混合比に基づいて、高感度画像と低感度画像と
を合成する処理であるため、画質低下を低下させること
なく良好にダイナミックレンジの拡大された画像を生成
することが可能になる。

【００７３】請求項３に記載の発明によれば、高感度画
像と低感度画像とのそれぞれに対して補間処理を施すこ
とによって高感度画像と低感度画像との画像サイズの拡
大を行った後に合成処理を行うように構成されているた
め、一の撮像素子で得られた画像サイズを低下させるこ
とがなく、被写体に関する画像を生成することができ
る。

【００７４】請求項４に記載の発明によれば、撮像素子
において高感度領域と低感度領域とが所定ラインごとに
交互に繰り返して設定されており、その撮像素子からラ
イン単位で複数の画素のデータを取得する際に、高感度
領域として設定されたラインに含まれる画素に対しては
高ゲインを設定し、低感度領域として設定されたライン
に含まれる画素に対しては低ゲインを設定することによ
って、高感度画像と低感度画像とを所定ラインごとに順
次に生成していくため、効率的に高感度画像および低感
度画像を生成することができる。

【００７５】請求項５に記載の発明によれば、撮像素子
の撮像面に分布する複数の画素がベイヤー配列で各色成
分に対応づけられており、その撮像素子からライン単位
で複数の画素のデータを取得する際に、２ラインごとに
高ゲインと低ゲインとの設定切り替えを行うことで、高
感度画像と低感度画像とを生成するため、ベイヤー配列
の撮像素子を使用する構成において、効率的に高感度画
像および低感度画像を生成することができる。

【００７６】請求項６に記載の発明によれば、撮像面に
対して高感度領域と低感度領域とが交互に設定された一
の撮像素子を用いて被写体の撮影を行い、高感度領域に
含まれる画素群から高感度画像を生成するとともに、低
感度領域に含まれる画素群から低感度画像を生成して、
高感度画像と低感度画像との合成処理を行うことで被写
体に関する画像の画像データを生成するため、コスト上
昇や撮像装置の大型化を招くことなく、被写体に関する
画像であってダイナミックレンジの拡大された画像を生
成することができる。

【００７７】請求項７に記載の発明によれば、高感度画
像または低感度画像の画像状況に応じて決定される混合
比に基づいて、合成処理が行われるため、画質低下を低
下させることなく良好にダイナミックレンジの拡大され
た画像を生成することが可能になる。

【００７８】請求項８に記載の発明によれば、高感度画
像と低感度画像とのそれぞれに対して補間処理を施すこ
とによって高感度画像と低感度画像との画像サイズの拡
大が行われるため、一の撮像素子で得られた画像サイズ
を低下させることがなく、被写体に関する画像を生成す
ることができる。

【００７９】請求項９に記載の発明によれば、撮像素子
からライン単位で複数の画素のデータを取得する際に、
高感度領域として設定されたラインに含まれる画素に対
しては高ゲインを設定し、低感度領域として設定された
ラインに含まれる画素に対しては低ゲインを設定するこ
とによって、高感度画像と低感度画像とが所定ラインご
とに順次に生成されていくため、効率的に高感度画像お
よび低感度画像を生成することができる。

【００８０】請求項１０に記載の発明によれば、ベイヤ
ー配列で各色成分が対応づけられた撮像素子からライン
単位で複数の画素のデータを取得する際に、２ラインご
とに高ゲインと低ゲインとの設定切り替えを行うこと
で、高感度画像と低感度画像とを生成するため、ベイヤ
ー配列の撮像素子を使用して被写体を撮影する場合にお
いて、効率的に高感度画像および低感度画像を生成する
ことができる。

【図面の簡単な説明】

【図１】この発明の実施の形態における撮像装置の概略
構成を示すブロック図である。

【図２】ＣＣＤの撮像面を模式的に表した図である。

【図３】撮像面における高感度領域と低感度領域との設
定例を示す図である。

【図４】高感度画像および低感度画像を生成する際の変
換特性を示す図である。

【図５】高感度画像と低感度画像とを示す図である。

【図６】垂直２ライン画素補間処理の一例を示す図であ
る。

【図７】混合比の画像データとの関係を示す図である。

【図８】撮像装置における動作手順を示すフローチャー
トである。

【符号の説明】

１撮像装置１０ＣＣＤ（撮像素子）１１撮像面２０画像処理部（画像処理手段）２１データ読出部２２高／低感度画像並び替え部２３画素補間処理部２４垂直２ライン画素補間処理部２５ダイナミックレンジ拡大処理部２９ＣＰＵ３０シャッタボタン α，（１−α）混合比Ｈ水平方向Ｖ垂直方向ＲＨ高感度領域ＲＬ低感度領域

Claims

【特許請求の範囲】

【請求項１】被写体を撮像して前記被写体に関する画
像データを生成する撮像装置であって、複数の画素が２次元的に配列されて構成された撮像面を
有し、当該撮像面に対して高感度領域と低感度領域とが
交互に設定された一の撮像素子と、前記高感度領域に含まれる画素群から高感度画像を生成
するとともに、前記低感度領域に含まれる画素群から低
感度画像を生成し、前記高感度画像と前記低感度画像と
の合成処理を行って、前記被写体に関する画像の画像デ
ータを生成する画像処理手段と、を備えることを特徴と
する撮像装置。
【請求項２】請求項１に記載の撮像装置において、前記合成処理は、前記高感度画像または前記低感度画像
の画像状況に応じて決定される混合比に基づいて、前記
高感度画像と前記低感度画像とを合成する処理であるこ
とを特徴とする撮像装置。
【請求項３】請求項１または請求項２に記載の撮像装
置において、前記画像処理手段は、前記高感度画像と前記低感度画像
とのそれぞれに対して補間処理を施すことによって前記
高感度画像と前記低感度画像との画像サイズの拡大を行
った後に前記合成処理を行うことを特徴とする撮像装
置。
【請求項４】請求項１ないし請求項３のいずれかに記
載の撮像装置において、前記撮像素子は、前記撮像面に分布する画素ごとのデー
タをライン単位で読み出しを行うように構成され、前記
高感度領域と前記低感度領域とが所定ラインごとに交互
に繰り返して設定された素子であり、前記画像処理手段は、前記撮像素子からライン単位で複
数の画素のデータを取得する際に、前記高感度領域とし
て設定されたラインに含まれる画素に対しては高ゲイン
を設定し、前記低感度領域として設定されたラインに含
まれる画素に対しては低ゲインを設定することによっ
て、前記高感度画像と前記低感度画像とを前記所定ライ
ンごとに順次に生成していくことを特徴とする撮像装
置。
【請求項５】請求項４に記載の撮像装置において、前記撮像素子は、前記撮像面に分布する前記複数の画素
がベイヤー配列で各色成分に対応づけられた素子であ
り、前記画像処理手段は、前記撮像素子からライン単位で複
数の画素のデータを取得する際に、２ラインごとに前記
高ゲインと前記低ゲインとの設定切り替えを行うこと
で、前記高感度画像と前記低感度画像とを生成すること
を特徴とする撮像装置。
【請求項６】被写体を撮像して得られる画像を処理す
る画像処理方法であって、 (a) 複数の画素が２次元的に配列されて構成された撮像
面を有し、当該撮像面に対して高感度領域と低感度領域
とが交互に設定された一の撮像素子を用いて前記被写体
の撮影を行う工程と、 (b) 前記高感度領域に含まれる画素群から高感度画像を
生成するとともに、前記低感度領域に含まれる画素群か
ら低感度画像を生成する工程と、 (c) 前記高感度画像と前記低感度画像との合成処理を行
って、前記被写体に関する画像の画像データを生成する
工程と、を有することを特徴とする画像処理方法。
【請求項７】請求項６に記載の画像処理方法におい
て、前記工程(c)は、前記高感度画像または前記低感度画像の画像状況に応じ
て決定される混合比に基づいて、前記合成処理を行うこ
とを特徴とする画像処理方法。
【請求項８】請求項６または請求項７に記載の画像処
理方法において、前記工程(b)は、前記高感度画像と前記低感度画像とのそれぞれに対して
補間処理を施すことによって前記高感度画像と前記低感
度画像との画像サイズの拡大を行う工程、を含むことを
特徴とする画像処理方法。
【請求項９】請求項６ないし請求項８のいずれかに記
載の画像処理方法において、前記工程(b)は、前記撮像素子からライン単位で複数の画素のデータを取
得する際に、前記高感度領域として設定されたラインに
含まれる画素に対しては高ゲインを設定し、前記低感度
領域として設定されたラインに含まれる画素に対しては
低ゲインを設定することによって、前記高感度画像と前
記低感度画像とを前記所定ラインごとに順次に生成して
いく工程を含むことを特徴とする画像処理方法。
【請求項１０】請求項９に記載の画像処理方法におい
て、前記工程(b)は、前記撮像面に分布する前記複数の画素がベイヤー配列で
各色成分に対応づけられた前記撮像素子からライン単位
で複数の画素のデータを取得する際に、２ラインごとに
前記高ゲインと前記低ゲインとの設定切り替えを行うこ
とで、前記高感度画像と前記低感度画像とを生成する工
程を含むことを特徴とする画像処理方法。