JP2002262059A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

画像処理装置および方法、記録媒体、並びにプログラム

Info

Publication number
JP2002262059A
JP2002262059A JP2001057695A JP2001057695A JP2002262059A JP 2002262059 A JP2002262059 A JP 2002262059A JP 2001057695 A JP2001057695 A JP 2001057695A JP 2001057695 A JP2001057695 A JP 2001057695A JP 2002262059 A JP2002262059 A JP 2002262059A
Authority
JP
Japan
Prior art keywords
image data
pixels
dynamic range
original image
sensitivity mosaic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001057695A
Other languages
English (en)
Inventor
Seiji Kobayashi
誠司 小林
Tomoo Mitsunaga
知生 光永
Hiroaki Ono
博明 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001057695A priority Critical patent/JP2002262059A/ja
Publication of JP2002262059A publication Critical patent/JP2002262059A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

(57)【要約】 【課題】 移動被写体を含む構図の広ダイナミックレン
ジ画像データを元の感度モザイク画像データと同等の解
像度で生成する。 【解決手段】 ステップS1で、感度モザイク画像デー
タP1,P2を正規化し、ステップS2で、正規化され
た感度モザイク画像データP1,P2からノイズを除去
し、ステップS3で、ノイズ除去された感度モザイク画
像データP1,P2の差分に基づいて動領域を判定す
る。一方、正規化された感度画像データP1,P2を加
算して広ダイナミックレンジ画像データを生成する。ス
テップS4乃至S6で、静止領域に対応する広ダイナミ
ックレンジ画像データと、動領域に対応する正規化され
た感度モザイク画像データP1が抽出される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理装置およ
び方法、記録媒体、並びにプログラムに関し、例えば、
複数の画像データを合成して、元の画像データよりも広
いダイナミックレンジを有する画像データを生成する場
合に用いて好適な画像処理装置および方法、記録媒体、
並びにプログラムに関する。
【0002】
【従来の技術】CCD(Charge Coupled Device)などの個体
撮像素子を備えるディジタルスチルカメラによって生成
された画像データは、フィルムを用いる従来のカメラに
よって撮影された写真に比較して、ダイナミックレンジ
が狭いという問題がある。
【0003】そのような問題を解決する方法として、被
写体を異なる露出で連続的に撮影し、得られる複数の画
像データを合成して元の画像データよりも広いダイナミ
ックレンジを有する画像データ(以下、広ダイナミック
レンジ画像データと記述する)を生成する方法(以下、
第1の従来方法と記述する)と、個体撮像素子を構成す
るフォトディテクタのような受光素子(画像データの1
画素に相当する)の受光面に光の透過率が異なるフィル
タを設ける等してその感度に複数の種類を持たせて撮影
し、得られる画像データを用いて広ダイナミックレンジ
画像データを生成する方法(以下、第2の従来方法と記
述する)が知られている。
【0004】しかしながら、第1の従来方法では、動き
のある被写体を撮影した場合、良好な広ダイナミックレ
ンジ画像データを生成することができない問題があっ
た。
【0005】第1の従来方法の問題について、図1乃至
図3を参照して説明する。例えば、飛行中の飛行機のよ
うに移動する物体(以下、移動被写体と記述する)を含
む構図を異なる露出で連続的に2回撮影し、得られる図
1(A),(B)に示すような画像データを合成して、
図1(C)に示すような広ダイナミックレンジ画像デー
タを生成する場合を考える。
【0006】ここで、図1(A)の画像データは、1回
目、すなわち、図1(B)の画像データよりも以前に、
かつ、長い露出時間(明るい露出)で撮影されたもので
ある。なお、本来、異なる露出で撮影した2枚の画像
は、画像全体の明るさが異なるが、説明の便宜上、図1
(A),(B)には、画像データを同一の輝度に正規化
した状態を示している。
【0007】例えば、1回目の撮影が移動被写体の明る
さに対して露出過多の状態であり、2回目の撮影が構図
中の移動被写体の明るさに対して適切な露出の状態であ
った場合、1回目の撮影では移動被写体の領域が飽和し
てしまい正確な情報が得られない。その場合、合成され
る広ダイナミックレンジ画像データは、1回目に撮影し
た移動被写体の領域の画像が欠落した図2に示すような
画像データになってしまう問題があった。
【0008】反対に、1回目の撮影が構図中の移動被写
体の明るさに対して適切な露出であり、2回目の撮影が
構図中の移動被写体の明るさに対して露出不足の状態で
あった場合、2回目の撮影では移動被写体の領域がノイ
ズに埋もれてしまい正確な情報が得られない。その場
合、合成される広ダイナミックレンジ画像データは、2
回目に撮影した移動被写体の領域の画像が欠落した図3
に示すような画像データになってしまう問題があった。
【0009】また、1回目および2回の撮影の露出が構
図中の移動被写体の明るさに対して適切であったとして
も、1回目の撮影終了タイミングと2回目の撮影開始タ
イミングに時間差があった場合、合成される広ダイナミ
ックレンジ画像データの移動被写体の領域が途切れてし
まう問題があった。
【0010】第2の従来方法では、第1の従来方法とは
異なり、撮影は1回だけで済むので、移動被写体の移動
する領域を全て画像データに納めることができる。しか
しながら、第2の従来方法では、感度が異なる複数の受
光素子より成る固体撮像素子によって生成された元とな
る画像データの複数の画素が合成されて、広ダイナミッ
クレンジ画像データの1つの画素が生成されるので、生
成される広ダイナミックレンジ画像データの解像度が、
元の画像データの解像度よりも低下してしまう課題があ
った。
【0011】例えば、感度が異なり、かつ、上下左右に
隣接する4つ受光素子によって生成される隣接する4画
素を合成して広ダイナミックレンジ画像データの1つの
画素を生成する場合、生成される広ダイナミックレンジ
画像データの解像度は、元の画像データの解像度の4分
の1となってしまう課題があった。
【0012】そこで、本出願人は、第2の従来方法の問
題を解決する方法として、感度が異なる複数の受光素子
より成る固体撮像素子によって生成された画像データを
用い、元の画像データと同等の解像度を有する広ダイナ
ミックレンジ画像データを生成する方法(以下、第3の
従来方法と記述する)を、例えば、特願2001−00
0979号として提案済である。
【0013】図4は、第3の従来方法の概念を示してい
る。すなわち、第3の従来方法においては、レンズ1、
絞り2、感度変更フィルタ3、およびCCD4より構成さ
れる撮像系によって被写体の光学像に対応する画像デー
タが生成される。
【0014】CCD4の受光面に設けられた感度変更フィ
ルタ3は、図5に示すように、CCD4を構成する各受光
素子への入射光の光量を制限する4種類のフィルタより
成る。したがって、CCD4から出力される画像データの
隣接する4画素は、感度が異なる受光素子によって生成
されたものとなる。以下、感度が異なる受光素子からな
るCCDによって生成された画像データを、感度モザイク
画像データと記述する。
【0015】CCD4が出力した感度モザイク画像データ
には、ダイナミックレンジ拡大処理が施され、感度モザ
イク画像データと同等の解像度を有する広ダイナミック
レンジ画像データが生成される。
【0016】
【発明が解決しようとする課題】ところで、第3の従来
方法では、感度モザイク画像データと、それを用いて生
成される広ダイナミックレンジ画像データの解像度が等
しいので、感度モザイク画像データに、撮影時の露出過
多による飽和や露出不足によるノイズ等に起因する画素
欠落が生じていた場合、その影響が広ダイナミックレン
ジ画像データに大きく生じてしまう課題があった。
【0017】例えば、感度モザイク画像データの全ての
画素のうち、高感度側の2種類の受光素子によって生成
された横方向に隣接する画素が飽和によって欠落してし
まった場合、感度モザイク画像データの縦方向のサンプ
リング周波数が半分になってしまっていると考えること
ができる。この場合、入射される被写体の光学像に縦方
向のサンプリング周波数の1/4以上の空間周波数成分
が存在すれば、折り返しノイズ(いわゆる、モアレ)が
生じてしまう課題があった。
【0018】また、そのような場合において、折り返し
ノイズの発生を抑止するために、CCD4の前に光学ロー
パスフィルタ等を設けて、入射光から高周波成分を除去
することも考えられるが、そのようにした場合、得られ
る画像データの全領域の解像度が劣化してしまう課題が
あった。
【0019】本発明はこのような状況に鑑みてなされた
ものであり、異なる露出時間で連続的に撮影された複数
の感度モザイク画像データを用い、その移動被写体以外
に対応する静止領域については複数の感度モザイク画像
データを合成し、移動被写体に対応する動領域について
は、1枚の感度モザイク画像データを用いることによ
り、移動被写体を含む構図の広ダイナミックレンジ画像
データを元の感度モザイク画像データと同等の解像度で
生成できるようにすることを目的とする。
【0020】
【課題を解決するための手段】本発明の画像処理装置
は、被写体の移動に対応する動領域を検出する検出手段
と、複数の元画像データの同一の座標の画素を加算して
加算画像データを生成する加算手段と、複数の元画像デ
ータのうちの第1の元画像データの動領域に対応する画
素と、加算画像データの動領域以外の静止領域に対応す
る画素を合成して合成画像データを生成する合成手段
と、合成画像データの欠落画素を補間して広ダイナミッ
クレンジ画像データを生成する補間手段とを含むことを
特徴とする。
【0021】前記検出手段には、複数の画像データを入
力する入力手段と、入力された複数の画像データのノイ
ズ成分を除去する除去手段と、除去手段によってノイズ
成分が除去された複数の画像データの同一の座標の画素
の差分を算出する算出手段と、算出手段が算出した差分
を所定の閾値と比較することによって動領域を判定する
判定手段とを含ませるようにすることができる。
【0022】前記入力手段には、複数の元画像データを
入力させるようにすることができる。
【0023】前記入力手段には、複数の元画像データの
うちの第1の画像データと、加算手段が生成した加算画
像データを入力させるようにすることができる。
【0024】前記元画像データは、感度モザイク画像デ
ータとすることができる。
【0025】本発明の画像処理装置は、同一の被写体を
異なる露出で連続的に撮影して複数の元画像データを生
成する撮影手段をさらに含むことができる。
【0026】前記撮影手段には、第1回目の撮影によっ
て画素群Aおよび画素群Bからなる第1の感度モザイク
画像データを生成させ、第2回目の撮影によって画素群
Cおよび画素群Dからなる第2の感度モザイク画像デー
タを生成させるようにすることができる。
【0027】前記撮影手段には、画素群Bの撮影条件と
画素群Cの撮影条件が等価となるように、第1および第
2の感度モザイク画像データを生成させるようにするこ
とができる。
【0028】本発明の画像処理方法は、被写体の移動に
対応する動領域を検出する検出ステップと、複数の元画
像データの同一の座標の画素を加算して加算画像データ
を生成する加算ステップと、複数の元画像データのうち
の第1の元画像データの動領域に対応する画素と、加算
画像データの動領域以外の静止領域に対応する画素を合
成して合成画像データを生成する合成ステップと、合成
画像データの欠落画素を補間して広ダイナミックレンジ
画像データを生成する補間ステップとを含むことを特徴
とする。
【0029】本発明の記録媒体のプログラムは、被写体
の移動に対応する動領域を検出する検出ステップと、複
数の元画像データの同一の座標の画素を加算して加算画
像データを生成する加算ステップと、複数の元画像デー
タのうちの第1の元画像データの動領域に対応する画素
と、加算画像データの動領域以外の静止領域に対応する
画素を合成して合成画像データを生成する合成ステップ
と、合成画像データの欠落画素を補間して広ダイナミッ
クレンジ画像データを生成する補間ステップとを含むこ
とを特徴とする。
【0030】本発明のプログラムは、被写体の移動に対
応する動領域を検出する検出ステップと、複数の元画像
データの同一の座標の画素を加算して加算画像データを
生成する加算ステップと、複数の元画像データのうちの
第1の元画像データの動領域に対応する画素と、加算画
像データの動領域以外の静止領域に対応する画素を合成
して合成画像データを生成する合成ステップと、合成画
像データの欠落画素を補間して広ダイナミックレンジ画
像データを生成する補間ステップをコンピュータに実行
させることを特徴とする。
【0031】本発明の画像処理装置および方法、並びに
プログラムにおいては、被写体の移動に対応する動領域
が検出され、複数の元画像データの同一の座標の画素が
加算されて加算画像データが生成され、複数の元画像デ
ータのうちの第1の元画像データの動領域に対応する画
素と、加算画像データの動領域以外の静止領域に対応す
る画素が合成されて合成画像データが生成され、合成画
像データの欠落画素が補間されて広ダイナミックレンジ
画像データが生成される。
【0032】
【発明の実施の形態】本発明を適用したディジタルスチ
ルカメラの構成例について、図6を参照して説明する。
このディジタルスチルカメラ10は、被写体を異なる露
出時間で連続して2回撮影し、得られる2枚の感度モザ
イク画像データを用いて、広ダイナミックレンジ画像デ
ータを生成するものである。
【0033】ディジタルスチルカメラ10の光学系は、
被写体の光学像を集光するレンズ11、入射光の光量を
調整する絞り12、入射光の露光時間を調整するシャッ
タ13、CCD16が強い感度を有する赤外領域の光を除
去するIRカットフィルタ14、およびCCD16が離散
的にサンプリングすることによって発生する折り返しを
抑止するために入射光の高周波成分を除去する光学ロー
パスフィルタ15から構成される。
【0034】また、ディジタルスチルカメラ10は、光
学系を介して入射される光学像に対応する感度モザイク
画像データを生成するCCD16、CCD16が生成した感度
モザイク画像データをサンプリングすることによってノ
イズを低減させるCDS(Correlated Double Sampling)1
7、入射光の光度に適応して感度モザイク画像データを
電気的に増幅するAGC(Auto Gain Controller)18、感
度モザイク画像データをディジタル信号化するA/Dコ
ンバータ19、感度モザイク画像データにダイナミック
レンジ拡大処理を施して広ダイナミックレンジ画像デー
タを生成するDSP(Digital Signal Processor)等より成
る画像処理部20、および生成される広ダイナミックレ
ンジ画像データを記憶するメモリ21から構成される。
【0035】CCD16を構成する複数の受光素子には感
度制限フィルタ等が設けられており、それによってCCD
16は、市松状に配置された低感度の受光素子C1(図
7)と高感度の受光素子C2(図7)から構成されたよ
うになされている。
【0036】さらに、ディジタルスチルカメラ10は、
シャッタ13の開閉タイミングやCCD16の水平および
垂直走査タイミングを制御するタイミングジェネレータ
(TG)22、並びにドライブ25を制御して磁気ディ
スク26、光ディスク27、光磁気ディスク28、また
は半導体メモリ29に記憶されている制御用プログラム
を読み出して、読み出した制御用プログラム、操作入力
部24が検知するユーザの操作等に基づいて、ディジタ
ルスチルカメラ10の全体を制御する制御部23から構
成される。
【0037】次に、図7は、同一の被写体に対して異な
る露出時間で連続して2回行われる撮影のタイミングを
示している。
【0038】図7(A)は、シャッタ13の開閉タイミ
ングを示している。すなわち、第1回目の撮影では、期
間T1だけシャッタ13が開放され、第2回目の撮影で
は、期間T2だけシャッタ13が開放される。なお、期
間T2は、第1回目の撮影において低感度の受光素子C
1に蓄積される電荷量H11(図7(C))と、第2回
目の撮影において高感度の受光素子C2に蓄積される電
荷量H22(図7(D))が等価となるように決定され
る。
【0039】図7(B)は、受光素子C1,C2のリセ
ットタイミングを示している。すなわち、第1および第
2回目の撮影では、シャッタ13が開放された直後、受
光素子の電荷が掃き出されてリセットされた後、電荷の
蓄積が開始される。
【0040】図7(C)は、CCD16を構成する受光素
子のうち、低感度の受光素子C1に蓄積される電荷量の
変化を示している。第1回目の撮影終了タイミングに
は、電荷量H11が蓄積される。第2回目の撮影終了タ
イミングには、電荷量H12が蓄積される。図7(D)
は、CCD16を構成する受光素子のうち、高感度の受光
素子C2に蓄積される電荷量の変化を示している。第1
回目の撮影終了タイミングには、電荷量H21が蓄積さ
れる。第2回目の撮影終了タイミングには、電荷量H2
2が蓄積される。上述したように、電荷量H11と電荷
量H22は等価となるようになされている。
【0041】図7(E)は、CCD16を構成する受光素
子のうち、偶数行の受光素子から電荷の読み出しを開始
するタイミングを示している。図7(F)は、偶数行の
受光素子から読み出した電荷を垂直、水平転送する期間
を示している。図7(G)は、CCD16を構成する受光
素子のうち、奇数行の受光素子から電荷の読み出しを開
始するタイミングを示している。図7(H)は、奇数行
の受光素子から読み出した電荷を垂直、水平方向に転送
する期間を示している。
【0042】次に、撮影される2枚の感度モザイク画像
データの撮影条件について、図8および図9を参照して
説明する。ここで、「撮影条件」の用語は、画素を生成
した受光素子の感度の種類と、撮影時の露出(シャッタ
開放時間および絞りの開度)の状態を意味する語として
用いている。
【0043】図8は、第1回目の撮影によって得られる
感度モザイク画像データP1の画素の撮影条件を示して
いる。同図において、Aは高感度の受光素子C2によっ
て生成された画素(以下、画素群Aと記述する)を示し
ており、Bは低感度の受光素子C1によって生成された
画素(以下、画素群Bと記述する)を示している。ここ
で、画素群Aの撮影条件(シャッタ時間T1、受光素子
の感度C2)を撮影条件Aとする。また、画素群Bの撮
影条件(シャッタ時間T1、受光素子の感度C1)を撮
影条件Bとする。
【0044】図9は、第2回目の撮影によって得られる
感度モザイク画像データP2の画素の撮影条件を示して
いる。同図において、Cは高感度の受光素子C2によっ
て生成された画素(以下、画素群Cと記述する)を示し
ており、Dは低感度の受光素子C1によって生成された
画素(以下、画素群Dと記述する)を示している。ここ
で、画素群Cの撮影条件(シャッタ時間T2、受光素子
の感度C2)を撮影条件Cとする。また、画素群Dの撮
影条件(シャッタ時間T2、受光素子の感度C1)を撮
影条件Dとする。
【0045】図7を参照して上述したように、撮影条件
Bにおいて蓄積される電荷量H11と、撮影条件Cにお
いて蓄積される電荷量H22は等価となるように調整さ
れる。よって、撮影条件Bと撮影条件Cは、同一の撮影
条件であると考えることができる。
【0046】以上のように、2回の撮影によって得られ
る2枚の感度モザイク画像データには、撮影条件A、撮
影条件B(=C)、および撮影条件Dの3種類の撮影条
件において生成された画素が含まれることになる。特
に、撮影条件B(=C)においては、感度モザイク画像
データに欠落画素が生じないように、シャッタ時間T
1,T2を調整する。それによって仮に、露出過多とな
り電荷が飽和して画素群Aに欠落画素が生じたり、反対
に、露出不足となりノイズに電荷が埋もれて画素群Dに
欠落画素が生じたとしても、2枚の感度モザイク画像デ
ータのいずれかには、撮影条件B(=C)における全て
の画素が存在することになる。
【0047】次に、画像処理部20が実行するダイナミ
ックレンジ拡大処理の概念について説明する。
【0048】一般に、折り返しノイズは、画素欠落が発
生している領域に、静止している被写体の物体の細かい
テクスチャやエッジのような高い空間周波数の画像が存
在している場合に発生する。また、画素欠落が発生して
いる領域に、移動被写体の物体の細かいテクスチャやエ
ッジの画像が存在している場合には、それらの画像はぼ
やけてしまうので、すなわち、高周波数成分ではないの
で、折り返しノイズは発生しない。
【0049】そこで、本発明のダイナミックレンジ拡大
処理では、静止領域においては、2枚の感度モザイク画
像P1,P2を用いて画素欠落を防ぎながら広ダイナミ
ックレンジ画像データを生成することによって、折り返
しノイズの発生を抑止するようにする。一方、動領域に
おいては、画素欠落が発生しているとしても折り返しノ
イズとはならないので、感度モザイク画像P1だけを用
いて広ダイナミックレンジ画像データを生成するように
する。
【0050】図10は、画像処理部20の第1の構成例
を示している。画像処理部20の第1の構成例は、CCD
16によって生成されCDS17乃至A/Dコンバータ1
9を介して画像処理部20に入力される感度モザイク画
像データP1の画素を正規化してローパスフィルタ(LP
F)32、加算処理部36、およびスイッチ37の端子a
に出力する正規化部31、差分検出部35における動領
域判定の誤差を抑制するために、正規化部31から供給
される正規化されている感度モザイク画像データP1か
らノイズを除去するローパスフィルタ32、入力される
感度モザイク画像データP2の画素を正規化する正規化
部33、並びに、正規化部33から供給される正規化さ
れている感度モザイク画像データP2からノイズを除去
するローパスフィルタ34から構成される。
【0051】さらに、画像処理部20の第1の構成例
は、正規化されている感度モザイク画像データP1,P
2の同一の座標の画素を加算して、得られる広ダイナミ
ックレンジ画像データをスイッチ37の端子bに出力す
る加算処理部36、正規化されてノイズ除去された感度
モザイク画像データP1,P2の同一の座標の画素を減
算し、その差が所定の閾値以上であるか否かに基づいて
動領域を判定して判定結果を示す動領域判定信号をスイ
ッチ37に出力する差分検出部35、動領域判定信号に
基づいて端子a,bを切り替えるスイッチ37、および
広ダイナミックレンジ画像データの欠落画素を補間する
補間処理部38から構成される。
【0052】加算処理部36は、図12乃至図14を参
照して後述する処理によって広ダイナミックレンジ画像
データを生成する。スイッチ37は、差分検出部35か
ら入力される動領域判定信号に基づき、動領域について
は、端子aに供給される正規化されている感度モザイク
画像データP1を補間処理部38に出力し、動領域では
ない静止領域については、端子bに供給される広ダイナ
ミックレンジ画像データを補間処理部38に出力する。
【0053】補間処理部38は、主に動領域に発生して
いる画素の欠落を所定の方法(例えば、線形補間等)に
よって補間するとともに、上述した第3の従来方法を適
用して動領域の感度モザイク画像データを広ダイナミッ
クレンジ画像データに変換する。なお、補間処理部38
における補間の方法は任意を用いることができる。
【0054】画像処理部20の第1の構成例によるダイ
ナミックレンジ拡大処理について、図11のフローチャ
ートを参照して説明する。なお、画像処理部20に供給
される感度モザイク画像データP1に対応する画像は図
1(A)であり、感度モザイク画像データP2に対応す
る画像は図1(B)であるとする。
【0055】ステップS1において、正規化部31は、
上段から供給された感度モザイク画像データP1の画素
を正規化してローパスフィルタ32、加算処理部36、
およびスイッチ37の端子aに出力する。正規化部33
は、上段から供給された感度モザイク画像データP2の
画素を正規化してローパスフィルタ34、および加算処
理部36に出力する。
【0056】ステップS2において、ローパスフィルタ
32は、正規化されている感度モザイク画像データP1
からノイズを除去して差分検出部35に出力する。ロー
パスフィルタ34は、正規化されている感度モザイク画
像データP2からノイズを除去して差分検出部35に出
力する。
【0057】ステップS3において、差分検出部35
は、正規化されてノイズ除去された感度モザイク画像デ
ータP1,P2の同一の座標の画素を減算し、その差が
所定の閾値以上であるか否かに基づいて動領域を判定
し、判定結果を示す動領域判定信号をスイッチ37に出
力する。一方、加算処理部36は、正規化されている感
度画像データP1,P2の同一の座標の画素を加算して
広ダイナミックレンジ画像データを生成し、スイッチ3
7の端子bに出力する。
【0058】ここで、加算処理部36の処理について、
図12乃至図14を参照して説明する。
【0059】図12において、直線Aは低感度の受光素
子C1の入出力特性を示しており、直線Bは高感度の受
光素子C2の入出力特性を示している。横軸は入力値
(入射光量)である。縦軸は出力値(正規化されている
電荷量、すわなち、画素の輝度信号)であって8ビット
の値(256階調)であるとする。低感度の受光素子C
1は、入力値i0まで範囲の入力に対し、出力値1.0
までの範囲を256階調で出力する。高感度の受光素子
C2は、入力値i1までの範囲の入力に対し、出力値
1.0までの範囲を256階調で出力する。なお、入力
値i0は入力値i1の2倍である、すなわち、受光素子
C2は受光素子C1の2倍の感度であるとする。
【0060】加算処理部36では、第1回目の撮影によ
る感度モザイク画像P1と、第2回目の撮影による感度
モザイク画像P2との同一の座標の画素が加算される。
したがって、感度モザイク画像P1の撮影条件Aで撮影
された画像群Aと、感度モザイク画像P2の撮影条件C
で撮影された画像群Cとの対応する画素が加算されるこ
とになる。また、感度モザイク画像P1の撮影条件Bで
撮影された画像群Bと感度モザイク画像P2の撮影条件
Dで撮影された画像群Dとの対応する画素が加算される
ことになる。
【0061】ところで、上述したように、撮影条件Bと
撮影条件Cは同一の撮影条件であるので、加算処理部3
6では、感度モザイク画像P1の撮影条件Aで撮影され
た画像群Aと、感度モザイク画像P2の撮影条件Bで撮
影された画像群Cとの対応する画素が加算されると考え
ることができる。同様に、感度モザイク画像P1の撮影
条件Cで撮影された画像群Bと、感度モザイク画像P2
の撮影条件Dで撮影された画像群Dとの対応する画素が
加算されると考えることができる。
【0062】したがって、加算処理部36によって加算
された画素は、受光素子C1の入出力特性を示す直線A
と、受光素子C2の入出力特性を示す直線Bを合成した
図13に示す折線Cのような入出力特性を有することに
なる。なお、直線Aと直線Bは単調増加が保証されてい
るので、それらを合成した折線Cも単調増加が保証され
る。
【0063】この段階における加算された画素の入出力
特性は、入力値i0までの範囲の入力に対し、出力値
2.0までの範囲を出力する。その階調数Qは、次式
(1)のとおりとなる。
【数1】 ただし、qは元の感度モザイク画像データP1,P2の
階調数であり、Kは合成する感度モザイク画像データの
数であり、enは第n回目の撮影条件を示す値であり、
R(X)はXの小数点以下の値を四捨五入する関数であ
る。
【0064】いまの場合、q=256、K=2であり、
n-1/en=1/2とすれば、出力値の階調数Qは38
4となる。
【0065】しかしながら、図13に折線Cで示す入出
力特性は、入力値に対して出力値が線形ではないので、
さらに、加算処理部36では、加算した画素が線形の入
出力特性を有するような処理を施す。具体的には、加算
された画素値を、図14に折線Dで示す関数(折線Cの
逆関数)を用いて変換することにより、入力値i0まで
範囲の入力に対し、出力値1.0までの範囲を線形に出
力する入出力特性に変換する。
【0066】図11に戻る。ステップS4乃至S6にお
いて、スイッチ37は、差分検出部35から入力された
動領域判定信号に基づいて静止領域と動領域を判定し、
後段への出力を端子aまたは端子bに切り替える。
【0067】具体的には、静止領域であると判定された
場合、ステップS5に進み、出力が端子b側にスイッチ
ングされる。したがって、補間処理部38には、図15
に示すような静止領域だけの画像に対応する、加算処理
部36からの広ダイナミックレンジ画像データが供給さ
れる。反対に、動領域であると判定された場合、ステッ
プS6に進み、出力が端子a側にスイッチングされる。
したがって、補間処理部38には、図16に示すような
動領域だけの画像に対応する、正規化部31からの正規
化されている感度モザイク画像データP1が供給され
る。
【0068】ステップS7において、補間処理部38
は、主に動領域において発生し得ている画素欠落を補間
するとともに、動領域の感度モザイク画像データP1に
第3の従来方法を適用して広ダイナミックレンジ画像デ
ータに変換し、得られた図17に示すような画像に対応
する広ダイナミックレンジ画像データを後段に出力す
る。
【0069】以上説明したようにダイナミックレンジ拡
大処理によれば、画像の静止領域において画素欠落が原
因となる折り返しノイズの発生を抑止することができ
る。また、動領域においては1枚の感度モザイク画像P
1だけを用いるが、感度モザイクであるが故に、移動被
写体の明るさに拘わらず移動被写体を撮影することがで
きているので、移動被写体の正確な移動を画像上に復元
することができる。
【0070】ところで、図10に示した画像処理部20
の第1の構成例では、正規化し、ノイズ除去した感度モ
ザイク画像P1,画像P2を用いて動領域を判定してい
るため、被写体のエッジ部分の微妙なズレなどを移動領
域として敏感に検出してしまう傾向がある。
【0071】次に、図18は、画像処理部20の第1の
構成例の上述したような傾向を抑止して、よりロバスト
性が高い処理を実行することができる画像処理部20の
第2の構成例を示している。
【0072】画像処理部20の第2の構成例において、
CCD16によって生成されCDS17乃至A/Dコンバータ
19を介して画像処理部20に入力される感度モザイク
画像データP1,P2は、それぞれ、正規化部41,4
3に供給される。正規化部41は、感度モザイク画像デ
ータP1の画素を正規化してローパスフィルタ42、加
算処理部44、およびスイッチ47の端子aに出力す
る。ローパスフィルタ42は、差分検出部46における
動領域判定の誤差を抑制するために、正規化されている
感度モザイク画像データP1からノイズを除去して差分
検出部46に出力する。
【0073】正規化部43は、感度モザイク画像データ
P2の画素を正規化して加算処理部44に出力する。加
算処理部44は、正規化されている感度モザイク画像デ
ータP1,P2の同一の座標の画素を加算して、得られ
る広ダイナミックレンジ画像データをローパスフィルタ
45、およびスイッチ47の端子bに出力する。なお、
加算処理部44の処理は、上述した加算処理部36の処
理と同様であるので、その詳細は省略する。
【0074】ローパスフィルタ45は、差分検出部35
における動領域判定の誤差を抑制するため、加算処理部
44からの広ダイナミックレンジ画像データからノイズ
を除去して差分検出部46に出力する。
【0075】差分検出部46は、正規化されてノイズ除
去された感度モザイク画像データP1と、ノイズ除去さ
れた広ダイナミックレンジ画像データの同一の座標の画
素を減算し、その差が所定の閾値以上であるか否かに基
づいて動領域を判定し、判定結果を示す動領域判定信号
をスイッチ47に出力する。
【0076】スイッチ47は、差分検出部46から入力
される動領域判定信号に基づき、動領域については、端
子aに供給される正規化されている感度モザイク画像デ
ータP1を補間処理部48に出力し、動領域ではない静
止領域については、端子bに供給される広ダイナミック
レンジ画像データを補間処理部48に出力する。
【0077】補間処理部48は、主に動領域に発生して
いる画素の欠落を所定の方法(例えば、線形補間等)に
よって補間するとともに、上述した第3の従来方法を適
用して動領域の感度モザイク画像データを広ダイナミッ
クレンジ画像データに変換する。なお、補間処理部48
における補間の方法は任意を用いることができる。
【0078】画像処理部20の第2の構成例による処理
と当該第1の構成例の処理の違いは、動領域の判定に用
いる画像データにある。
【0079】当該第1の構成例の差分検出部35では、
動領域の判定に正規化されてノイズ除去された感度モザ
イク画像データP1,P2が用いられることに対し、当
該第2の構成例の差分検出部46では、動領域の判定に
正規化されてノイズ除去された感度モザイク画像データ
P1と、ノイズ除去された広ダイナミックレンジ画像デ
ータが用いられる。
【0080】差分検出部46で用いられる広ダイナミッ
クレンジ画像データは、正規化された感度モザイク画像
データP1,P2が加算処理部44によって加算されて
生成されたものであるので画像中の被写体のエッジ部分
等が既に鈍っている。したがって、エッジ部分等が既に
鈍っている広ダイナミックレンジ画像データをノイズ除
去して動領域の判定に用いる当該第2の構成例の処理で
は、当該第1の構成例の処理のように被写体のエッジ部
分等の微妙なズレなどを移動領域として敏感に検出して
しまうようなことがないので、よりロバスト性が高い処
理を実行することができる。
【0081】以上、画像処理部20の第2の構成例の説
明を終了する。
【0082】なお、画像処理部20の第1および第2の
構成例では、移動被写体の対応する動領域には、第1回
目の撮影した感度モザイク画像P1を用いるようにした
が、第2回目の撮影した感度モザイク画像P2を用いる
ようにしてもかまわない。
【0083】また、CCD16の受光素子を覆う感度制限
フィルタ等を除去するなどして受光素子の感度を統一で
きるようにし、CCD16が出力する感度モザイクではな
い、単に異なる露出で連続的に撮影した2枚の画像デー
タが画像処理部20に供給されるようにしてもよい。そ
のようにした場合、静止領域はダイナミックレンジが拡
大された画素からなり、動領域は元のダイナミックレン
ジと等しい画素からなる広ダイナミックレンジ画像デー
タが生成されることになる。
【0084】ところで、上述した一連の処理は、ハード
ウェアにより実行させることもできるが、ソフトウェア
により実行させることもできる。一連の処理をソフトウ
ェアにより実行させる場合には、そのソフトウェアを構
成するプログラムが、専用のハードウェアに組み込まれ
ているコンピュータ、または、各種のプログラムをイン
ストールすることで、各種の機能を実行することが可能
な、例えば汎用のパーソナルコンピュータなどに、記録
媒体からインストールされる。
【0085】この記録媒体は、図6に示すように、コン
ピュータとは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されている磁気ディス
ク26(フロッピディスクを含む)、光ディスク27
(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digit
al Versatile Disc)を含む)、光磁気ディスク28(M
D(Mini Disc)を含む)、もしくは半導体メモリ29な
どよりなるパッケージメディアにより構成されるだけで
なく、コンピュータに予め組み込まれた状態でユーザに
提供される、プログラムが記録されているROMやハード
ディスクなどで構成される。
【0086】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
【0087】
【発明の効果】以上のように、本発明の画像処理装置お
よび方法、並びにプログラムによれば、被写体の移動に
対応する動領域を検出し、複数の元画像データの同一の
座標の画素を加算して加算画像データを生成し、第1の
元画像データの動領域に対応する画素と、加算画像デー
タの静止領域に対応する画素を合成するようにしたの
で、移動被写体を含む構図の広ダイナミックレンジ画像
データを元の感度モザイク画像データと同等の解像度で
生成することが可能となる。
【図面の簡単な説明】
【図1】第1の従来方法を説明するための図である。
【図2】第1の従来方法を説明するための図である。
【図3】第1の従来方法を説明するための図である。
【図4】第3の従来方法を説明するための図である。
【図5】第3の従来方法の用いられる感度変更フィルタ
3の一例を示す図である。
【図6】本発明を適用したディジタルスチルカメラ10
の構成例を示すブロック図である。
【図7】ディジタルスチルカメラ10の撮影タイミング
を説明するための図である。
【図8】感度モザイク画像データP1の画素の撮影条件
を示す図である。
【図9】感度モザイク画像データP2の画素の撮影条件
を示す図である。
【図10】画像処理部20の第1の構成例を示すブロッ
ク図である。
【図11】画像処理部20の第1の構成例によるダイナ
ミックレンジ拡大処理を説明するフローチャートであ
る。
【図12】加算処理部36の処理を説明するための図で
ある。
【図13】加算処理部36の処理を説明するための図で
ある。
【図14】加算処理部36の処理を説明するための図で
ある。
【図15】補間処理部38に供給される広ダイナミック
レンジ画像データの静止領域に対応する画像の一例であ
る。
【図16】補間処理部38に供給される感度モザイク画
像データP1の動領域に対応する画像の一例である。
【図17】補間処理部38が出力する広ダイナミックレ
ンジ画像データに対応する画像の一例である。
【図18】画像処理部20の第2の構成例を示すブロッ
ク図である。
【符号の説明】
10 ディジタルスチルカメラ, 16 CCD, 20
画像処理部, 23制御部, 26 磁気ディスク,
27 光ディスク, 28 光磁気ディスク, 29
半導体メモリ, 31 正規化部, 32 ローパス
フィルタ,33 正規化部, 34 ローパスフィル
タ, 35 差分検出部, 36 加算処理部, 37
スイッチ, 38 補間処理部, 41 正規化部,
42ローパスフィルタ, 43 正規化部, 44
加算処理部, 45 ローパスフィルタ, 46 差分
検出部, 47 スイッチ, 48 補間処理部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小野 博明 東京都品川区東五反田1丁目14番10号 株 式会社ソニー木原研究所内 Fターム(参考) 5B057 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CE08 CE11 CH08 5C024 AX01 BX01 CX06 CX46 CX53 CY14 DX04 EX51 GY01 HX05 HX18 HX22 HX23 HX28 HX29 5C076 AA03 AA12 AA21 AA27 AA40 BA01 BA06

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 同一の被写体を異なる露出で連続的に撮
    影した複数の元画像データを用いて広ダイナミックレン
    ジ画像データを生成する画像処理装置において、 前記被写体の移動に対応する動領域を検出する検出手段
    と、 前記複数の元画像データの同一の座標の画素を加算して
    加算画像データを生成する加算手段と、 前記複数の元画像データのうちの第1の元画像データの
    前記動領域に対応する画素と、前記加算画像データの前
    記動領域以外の静止領域に対応する画素を合成して合成
    画像データを生成する合成手段と、 前記合成画像データの欠落画素を補間して前記広ダイナ
    ミックレンジ画像データを生成する補間手段とを含むこ
    とを特徴とする画像処理装置。
  2. 【請求項2】 前記検出手段は、 複数の画像データを入力する入力手段と、 入力された前記複数の画像データのノイズ成分を除去す
    る除去手段と、 前記除去手段によってノイズ成分が除去された前記複数
    の画像データの同一の座標の画素の差分を算出する算出
    手段と、 前記算出手段が算出した前記差分を所定の閾値と比較す
    ることによって前記動領域を判定する判定手段とを含む
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 【請求項3】 前記入力手段は、前記複数の元画像デー
    タを入力することを特徴とする請求項2に記載の画像処
    理装置。
  4. 【請求項4】 前記入力手段は、前記複数の元画像デー
    タのうちの前記第1の画像データと、前記加算手段が生
    成した前記加算画像データを入力することを特徴とする
    請求項2に記載の画像処理装置。
  5. 【請求項5】 前記元画像データは、感度モザイク画像
    データであることを特徴とする請求項1に記載の画像処
    理装置。
  6. 【請求項6】 同一の被写体を異なる露出で連続的に撮
    影して複数の前記元画像データを生成する撮影手段をさ
    らに含むことを特徴とする請求項1に記載の画像処理装
    置。
  7. 【請求項7】 前記撮影手段は、第1回目の撮影によっ
    て画素群Aおよび画素群Bからなる第1の感度モザイク
    画像データを生成し、第2回目の撮影によって画素群C
    および画素群Dからなる第2の感度モザイク画像データ
    を生成することを特徴とする請求項6に記載の画像処理
    装置。
  8. 【請求項8】 前記撮影手段は、前記画素群Bの撮影条
    件と前記画素群Cの撮影条件が等価となるように、前記
    第1および第2の感度モザイク画像データを生成するこ
    とを特徴とする請求項7に記載の画像処理装置。
  9. 【請求項9】 同一の被写体を異なる露出で連続的に撮
    影した複数の元画像データを用いて広ダイナミックレン
    ジ画像データを生成する画像処理装置の画像処理方法に
    おいて、 前記被写体の移動に対応する動領域を検出する検出ステ
    ップと、 前記複数の元画像データの同一の座標の画素を加算して
    加算画像データを生成する加算ステップと、 前記複数の元画像データのうちの第1の元画像データの
    前記動領域に対応する画素と、前記加算画像データの前
    記動領域以外の静止領域に対応する画素を合成して合成
    画像データを生成する合成ステップと、 前記合成画像データの欠落画素を補間して前記広ダイナ
    ミックレンジ画像データを生成する補間ステップとを含
    むことを特徴とする画像処理方法。
  10. 【請求項10】 同一の被写体を異なる露出で連続的に
    撮影した複数の元画像データを用いて広ダイナミックレ
    ンジ画像データを生成する画像処理用のプログラムであ
    って、 前記被写体の移動に対応する動領域を検出する検出ステ
    ップと、 前記複数の元画像データの同一の座標の画素を加算して
    加算画像データを生成する加算ステップと、 前記複数の元画像データのうちの第1の元画像データの
    前記動領域に対応する画素と、前記加算画像データの前
    記動領域以外の静止領域に対応する画素を合成して合成
    画像データを生成する合成ステップと、 前記合成画像データの欠落画素を補間して前記広ダイナ
    ミックレンジ画像データを生成する補間ステップとを含
    むことを特徴とするコンピュータが読み取り可能なプロ
    グラムが記録されている記録媒体。
  11. 【請求項11】 同一の被写体を異なる露出で連続的に
    撮影した複数の元画像データを用いて広ダイナミックレ
    ンジ画像データを生成する処理を制御するコンピュータ
    に、 前記被写体の移動に対応する動領域を検出する検出ステ
    ップと、 前記複数の元画像データの同一の座標の画素を加算して
    加算画像データを生成する加算ステップと、 前記複数の元画像データのうちの第1の元画像データの
    前記動領域に対応する画素と、前記加算画像データの前
    記動領域以外の静止領域に対応する画素を合成して合成
    画像データを生成する合成ステップと、 前記合成画像データの欠落画素を補間して前記広ダイナ
    ミックレンジ画像データを生成する補間ステップとを実
    行させるプログラム。
JP2001057695A 2001-03-02 2001-03-02 画像処理装置および方法、記録媒体、並びにプログラム Withdrawn JP2002262059A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001057695A JP2002262059A (ja) 2001-03-02 2001-03-02 画像処理装置および方法、記録媒体、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001057695A JP2002262059A (ja) 2001-03-02 2001-03-02 画像処理装置および方法、記録媒体、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2002262059A true JP2002262059A (ja) 2002-09-13

Family

ID=18917534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001057695A Withdrawn JP2002262059A (ja) 2001-03-02 2001-03-02 画像処理装置および方法、記録媒体、並びにプログラム

Country Status (1)

Country Link
JP (1) JP2002262059A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276482A (ja) * 2007-04-27 2008-11-13 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理用プログラム。
JP2009512038A (ja) * 2005-10-12 2009-03-19 アクティブ オプティクス ピーティーワイ リミテッド 複数の画像フレームに基づいて結合画像を生成する方法
JP2009302828A (ja) * 2008-06-12 2009-12-24 Nippon Telegr & Teleph Corp <Ntt> 監視方法および装置
CN102196185A (zh) * 2010-03-09 2011-09-21 索尼公司 图像处理装置、图像处理方法和程序
US8040432B2 (en) 2005-09-14 2011-10-18 Sony Corporation Information processing equipment, method, provision system and computer program product that synthesizes content by adopting a mean value

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8040432B2 (en) 2005-09-14 2011-10-18 Sony Corporation Information processing equipment, method, provision system and computer program product that synthesizes content by adopting a mean value
JP2009512038A (ja) * 2005-10-12 2009-03-19 アクティブ オプティクス ピーティーワイ リミテッド 複数の画像フレームに基づいて結合画像を生成する方法
JP2008276482A (ja) * 2007-04-27 2008-11-13 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理用プログラム。
JP2009302828A (ja) * 2008-06-12 2009-12-24 Nippon Telegr & Teleph Corp <Ntt> 監視方法および装置
CN102196185A (zh) * 2010-03-09 2011-09-21 索尼公司 图像处理装置、图像处理方法和程序
JP2011188277A (ja) * 2010-03-09 2011-09-22 Sony Corp 画像処理装置、画像処理方法およびプログラム

Similar Documents

Publication Publication Date Title
US8300977B2 (en) Imaging device and image processing program for estimating fixed pattern noise from partial noise output of available pixel area
US9325918B2 (en) Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program
JP4315971B2 (ja) 撮像装置
US8179445B2 (en) Providing improved high resolution image
JP5016715B2 (ja) 画像のダイナミック・レンジを改善するためのマルチ露光パターン
JP4742242B2 (ja) 撮像装置及びそのプログラム
JP3762725B2 (ja) 撮像システムおよび画像処理プログラム
JP4524717B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US8462221B2 (en) Method for producing high dynamic range images
JP5589446B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP4465002B2 (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
US8466976B2 (en) Digital camera providing high dynamic range images
WO2008056565A1 (fr) Système d&#39;analyse d&#39;image et programme de traitement d&#39;image
JP2002064754A (ja) 撮像装置の有効ダイナミックレンジを拡張する方法及び装置
JP5211589B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP2003319407A (ja) 撮像装置
JP2008109482A (ja) 撮像装置、画像記録処理方法及び画像記録処理プログラム
JP2016111568A (ja) 像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラム
JP2002262059A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4573080B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
KR101408359B1 (ko) 촬상장치 및 촬상방법
JP4936816B2 (ja) 撮像装置及び同時表示制御方法
JP2004080380A (ja) 固体撮像装置および受光素子の感度対応出力調整方法
JP4478981B2 (ja) 色雑音低減手法およびカラー撮像装置
JP5012805B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080513