JP2015179968A - 装置、方法、及びプログラム - Google Patents
装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2015179968A JP2015179968A JP2014056494A JP2014056494A JP2015179968A JP 2015179968 A JP2015179968 A JP 2015179968A JP 2014056494 A JP2014056494 A JP 2014056494A JP 2014056494 A JP2014056494 A JP 2014056494A JP 2015179968 A JP2015179968 A JP 2015179968A
- Authority
- JP
- Japan
- Prior art keywords
- exposure time
- pixel
- image data
- calculated
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 95
- 238000012545 processing Methods 0.000 claims abstract description 107
- 238000003384 imaging method Methods 0.000 claims abstract description 49
- 238000009792 diffusion process Methods 0.000 claims abstract description 13
- 230000004044 response Effects 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims 2
- 230000002093 peripheral effect Effects 0.000 abstract 1
- 238000013500 data storage Methods 0.000 description 34
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
Description
まず、実施例1の概要について説明する。本実施例では、画素ごとに複数種類の露光時間を設定可能な撮像センサーを用いて、撮影した画像データに対して画素ごとにゲイン調整を行うことで、HDR画像を取得する方法について述べる。その際、画素ごとにどの露光時間を選択するかについて、予備撮影結果と、撮像センサーの輝度応答特性とに基づき誤差拡散法を用いて決定する。これにより、撮像センサーの輝度応答に非線形応答があったとしても、ダイナミックレンジを維持する。加えて、画素ごとに露光時間が異なる撮影条件で撮影する際に画素ごとの露光時間の切り替えパターンを人の知覚しづらい高周波パターン(ブルーノイズパターン)にすることで、非線形な輝度応答に起因して発生する疑似輪郭の発生を抑える。尚、本実施例では簡単のため、撮像センサーは、長秒の露光時間及び短秒の露光時間という2種類の露光時間を設定可能であり、短秒の露光時間は、長秒の露光時間の半分の時間に設定されるものとする。
図4のステップS403の露光時間データ生成について詳細に説明する。本処理では、予備撮影結果に基づき、設定した閾値以上の出力値を有する画素については、本撮影時に短秒撮影を行うよう設定する。その際、出力値と、閾値との誤差を周囲の画素に拡散させる。これらの処理により、短秒で撮影する画素と、長秒で撮影する画素との切り替えパターンが人の視覚しづらいブルーノイズパターンとなり、その結果、疑似輪郭の発生を抑制できる。
O=i(x,y)+Δ(x,y)・・・式(1)
図5のステップS510の誤差データ更新について、図6を用いて詳細に説明する。本実施例では、ステップS507における閾値処理の後で、出力値と、閾値との誤差Δdを計算し、この誤差Δdを誤差拡散法により処理対象画素位置の周辺に拡散しながら、各画素に対する露光時間を設定していく。本処理ではまず、式(2)を用いて処理対象画素位置における誤差Δdを算出する。
Δd=i(x,y)+Δ(x,y)−d・・・式(2)
Δ(x+2,y)+=7/16*Δd・・・式(3)
Δ(x−1,y+1)+=3/16*Δd・・・式(4)
Δ(x+1,y+1)+=5/16*Δd・・・式(5)
Δ(x,y+2)+=1/16*Δd・・・式(6)
Δ(x+2,y)+=7/16*Δd・・・式(7)
Δ(x−2,y+2)+=3/16*Δd・・・式(8)
Δ(x,y+2)+=5/16*Δd・・・式(9)
Δ(x+2,y+2)+=1/16*Δd・・・式(10)
図4のステップS405のゲイン調整について、図7を用いて詳細に説明する。図7は、ステップS405のゲイン調整処理の詳細フローチャートである。
o(x,y)=i(x,y)/t(x,y)*t0・・・(式11)
ステップS705では、ゲイン調整処理部307は、ステップS704にて算出したゲイン調整後の画素値o(x,y)でRAW画像データ記憶部301に記憶しているRAW画像データのうち処理対象画素位置における画素値を更新する。次いで、ステップS706に進む。
実施例1では、画素ごとに露光時間を制御可能な撮像センサーを用いて、HDR画像データを取得する方法について説明した。これに対し、本実施例では、一般的な撮像センサーを用いて、露光時間を変えて複数回撮影して取得した複数の画像データを合成することにより、HDR画像データを取得する。本実施例に係る撮像装置の構成は実施例1と同じであるので、説明を省略する(図1を参照)。また、本実施例に係る撮像装置の内部構成に関しても実施例1と同じであるので、説明を省略する(図2を参照)。以下、本実施例について、実施例1と相違する点を中心に説明する。
図9のステップS903の撮影回数・露光時間算出について、図10を用いて説明する。図10は、撮影回数・露光時間算出を説明するための図である。図10に示すように、ユーザが指定する最大輝度を取得するためには、ステップS904の本撮影にて、複数回撮影する必要がある。そこで、ユーザが指定する最大輝度を取得するために要する撮影回数及び各撮影の露光時間を算出する。
y=a・t1・x (x≦b/(a・t1))
y=b (x>b/(a・t1))・・・式(12)
同様に、撮影1の次の撮影、即ち撮影2の露光時間をt2とすると、撮影2における、輝度xと、出力画素値yとの関係は、式(13)で示すことができる。
y=a・t2/t1・x (x≦(b・t1)/(a・t2))
y=b (x>(d・t1)/(a・t2))・・・式(13)
ここで、出力画素値の下限の閾値をc、上限の閾値をd(下限の閾値c及び上限の閾値dは、撮像センサーの輝度応答特性の線形性が失われる値である。)とすると、式(12)より式(14)の関係が成立する。
x=d/(a・t1)・・・式(14)
撮影2の直線は(d/(a・t1),c)を通るので、露光時間t2は、式(13)及び式(14)により、式(15)に従って、求めることができる。
t2=c・t1/d・・・式(15)
同様に、撮影nの露光時間tnは、撮影n−1の露光時間tn−1を用いて式(16)に従って求めることができる。
tn=c・tn−1/d・・・式(16)
また、撮影回数nは、式(17)を満足する最小のnとなる。
ユーザ指定の最大輝度<d/(a・tn)・・・式(17)
以上の計算により、撮影回数n及び各撮影の露光時間t1、t2、・・・tnを決定する。
図9のステップS906の合成処理について、図11を用いて説明する。図11は、ステップS906の合成処理の詳細フローチャートである。本説明では簡単のため、ステップS903において算出した撮影回数が3回の場合を例に挙げて説明する。
O=(4*R+3*G+B)/8+Δ(x,y)・・・式(18)
ただし、式(18)において、R,G,Bはそれぞれ、撮影画像1の(x,y)におけるRGB値であり、Δ(x,y)は(x,y)における誤差値である。次いで、ステップS1107に進む。
図11のステップS1112の誤差データの更新について説明する。本処理では、ステップS1106にて算出した出力値Oを用いて実施例1における式(2)に従って誤差Δdを算出する。そして、算出した誤差Δdを式(19)〜式(22)に従い周囲の画素に拡散することで、誤差データの更新を行う。
Δ(x+1,y)+=7/16*Δd・・・式(19)
Δ(x−1,y+1)+=3/16*Δd・・・式(20)
Δ(x,y+1)+=5/16*Δd・・・式(21)
Δ(x+1,y+1)+=1/16*Δd・・・式(22)
本発明の目的は、前述した実施例の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体を、システム又は装置に供給し、システム又は装置(具体的にはCPUやMPU)がプログラムコードを読み出し実行することによっても、達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
Claims (13)
- 撮像センサーを制御する制御装置であって、
画像データを構成する画素毎に、少なくとも2つ以上の異なる露光時間の中から露光時間を選択的に決定し、画素毎の露光時間を示す露光時間データを生成する生成手段を備え、
前記生成手段は、取得した画像データから出力値を算出し、前記算出した出力値に基づき画素毎の露光時間を決定し、前記算出した出力値に関する誤差を算出し、前記算出した誤差を誤差拡散法により処理対象の画素の周辺の画素に拡散させることを特徴とする制御装置。 - 撮像センサーを制御する制御装置であって、
画像データを構成する画素毎に、少なくとも2つ以上の異なる露光時間の中から露光時間を選択的に決定し、画素毎の露光時間を示す露光時間データを生成する生成手段を備え、
前記生成手段は、取得した画像データから出力値を算出し、前記算出した出力値に基づき画素毎の露光時間を決定し、前記算出した出力値に関する誤差を算出し、前記算出した誤差を誤差拡散法により拡散させて画素の切り替えパターンをブルーノイズパターンにすることを特徴とする制御装置。 - 前記生成手段は、本撮影の前に実行する予備撮影により取得した画像データと、前記撮像センサーの特性とに基づき、前記画素毎の露光時間を決定することを特徴とする請求項1又は2に記載の制御装置。
- 前記生成手段は、前記予備撮影により取得した画像データから出力値を算出し、
前記誤差は、前記算出した出力値と、前記撮像センサーの輝度応答特性が線形性を失う値である閾値との差であることを特徴とする請求項3に記載の制御装置。 - 撮像センサーを介して被写体を複数回撮影し、前記被写体に対する複数の画像データを取得することにより、HDR画像を取得する画像処理装置であって、
撮影回数と、各撮影の露光時間とを算出する撮影回数・露光時間算出手段と、
前記複数の画像データを合成する合成処理手段と、
前記算出した各撮影の露光時間に基づき、ゲイン調整を行うゲイン調整処理手段と
を備えることを特徴とする画像処理装置。 - 前記撮影回数・露光時間算出手段は、前記撮像センサーの特性に基づき、撮影回数と、各撮影の露光時間とを算出することを特徴とする請求項5に記載の画像処理装置。
- 前記合成処理手段は、画素位置毎に、前記取得した複数の画像データのうちの何れかの画素値を選択することで、前記複数の画像データを合成することを特徴とする請求項5に記載の画像処理装置。
- 前記合成処理手段は、
前記複数の画像データのうちの一つの画像データに対する出力値を計算することと、
前記計算した出力値と、前記複数の画像データの各々の最大の出力画素値に基づく閾値とを比較することと
により、画素位置毎に、前記取得した複数の画像データのうちの何れかの画素値を選択することを特徴とする請求項7に記載の画像処理装置。 - 前記合成処理手段は、
前記計算した出力値と、前記閾値との誤差を算出し、
前記算出した誤差を、誤差拡散法により、処理対象の画素の周辺の画素に拡散することを特徴とする請求項8に記載の画像処理装置。 - 撮像センサーを制御する制御方法であって、
画像データを構成する画素毎に、少なくとも2つ以上の異なる露光時間の中から露光時間を選択的に決定し、画素毎の露光時間を示す露光時間データを生成するステップを備え、
前記生成するステップでは、取得した画像データから出力値を算出し、前記算出した出力値に基づき画素毎の露光時間を決定し、前記算出した出力値に関する誤差を算出し、前記算出した誤差を誤差拡散法により処理対象の画素の周辺の画素に拡散させることを特徴とする制御方法。 - 撮像センサーを制御する制御方法であって、
画像データを構成する画素毎に、少なくとも2つ以上の異なる露光時間の中から露光時間を選択的に決定し、画素毎の露光時間を示す露光時間データを生成するステップを備え、
前記生成するステップでは、取得した画像データから出力値を算出し、前記算出した出力値に基づき画素毎の露光時間を決定し、前記算出した出力値に関する誤差を算出し、前記算出した誤差を誤差拡散法により拡散させて画素の切り替えパターンをブルーノイズパターンにすることを特徴とする制御方法。 - 撮像センサーを介して被写体を複数回撮影し、前記被写体に対する複数の画像データを取得することにより、HDR画像を取得する画像処理方法であって、
撮影回数と、各撮影の露光時間とを算出するステップと、
前記複数の画像データを合成するステップと、
前記算出した各撮影の露光時間に基づき、ゲイン調整を行うステップと
を備えることを特徴とする画像処理方法。 - コンピュータを、請求項1乃至4の何れか一項に記載の制御装置、又は、請求項5乃至9の何れか一項に記載の画像処理装置として機能させるための、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014056494A JP6316043B2 (ja) | 2014-03-19 | 2014-03-19 | 装置、方法、及びプログラム |
US14/657,089 US9692983B2 (en) | 2014-03-19 | 2015-03-13 | Apparatus, method, and medium for correcting pixel switching pattern |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014056494A JP6316043B2 (ja) | 2014-03-19 | 2014-03-19 | 装置、方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015179968A true JP2015179968A (ja) | 2015-10-08 |
JP2015179968A5 JP2015179968A5 (ja) | 2017-03-02 |
JP6316043B2 JP6316043B2 (ja) | 2018-04-25 |
Family
ID=54143279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014056494A Active JP6316043B2 (ja) | 2014-03-19 | 2014-03-19 | 装置、方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9692983B2 (ja) |
JP (1) | JP6316043B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6390512B2 (ja) * | 2015-05-21 | 2018-09-19 | 株式会社デンソー | 車載カメラ装置 |
JP6935272B2 (ja) * | 2017-08-29 | 2021-09-15 | キヤノン株式会社 | ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム |
JP7297406B2 (ja) * | 2017-12-18 | 2023-06-26 | キヤノン株式会社 | 制御装置、撮像装置、制御方法およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06315126A (ja) * | 1993-04-28 | 1994-11-08 | Casio Comput Co Ltd | 携帯用画像表示装置 |
JPH10136196A (ja) * | 1996-10-28 | 1998-05-22 | Fuji Xerox Co Ltd | 画像読取方法及び画像読取装置及び画像読取プログラムを記録した媒体 |
JP2010136205A (ja) * | 2008-12-05 | 2010-06-17 | Canon Inc | 撮像装置及び撮像方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3495768B2 (ja) | 1993-10-29 | 2004-02-09 | キヤノン株式会社 | 画像合成装置 |
JP4966035B2 (ja) * | 2007-01-26 | 2012-07-04 | 株式会社東芝 | 固体撮像装置 |
US8049797B2 (en) * | 2007-05-08 | 2011-11-01 | Canon Kabushiki Kaisha | Image sensor and color imaging apparatus |
JP5045380B2 (ja) * | 2007-11-13 | 2012-10-10 | ソニー株式会社 | 撮像装置および撮像データ補正方法並びにプログラム |
JP5573451B2 (ja) * | 2010-07-21 | 2014-08-20 | コニカミノルタ株式会社 | 画像処理装置及び画像処理方法 |
JP5482535B2 (ja) * | 2010-07-23 | 2014-05-07 | コニカミノルタ株式会社 | 画像処理装置及び画像処理方法 |
JP5299466B2 (ja) * | 2011-04-07 | 2013-09-25 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2014
- 2014-03-19 JP JP2014056494A patent/JP6316043B2/ja active Active
-
2015
- 2015-03-13 US US14/657,089 patent/US9692983B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06315126A (ja) * | 1993-04-28 | 1994-11-08 | Casio Comput Co Ltd | 携帯用画像表示装置 |
JPH10136196A (ja) * | 1996-10-28 | 1998-05-22 | Fuji Xerox Co Ltd | 画像読取方法及び画像読取装置及び画像読取プログラムを記録した媒体 |
JP2010136205A (ja) * | 2008-12-05 | 2010-06-17 | Canon Inc | 撮像装置及び撮像方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150271382A1 (en) | 2015-09-24 |
US9692983B2 (en) | 2017-06-27 |
JP6316043B2 (ja) | 2018-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10194091B2 (en) | Image capturing apparatus, control method therefor, program, and recording medium | |
US9270888B2 (en) | Image processing apparatus and control method thereof | |
US10992854B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and storage medium | |
JP6720881B2 (ja) | 画像処理装置及び画像処理方法 | |
WO2019124289A1 (ja) | 装置、制御方法および記憶媒体 | |
CN108513062B (zh) | 终端的控制方法及装置、可读存储介质和计算机设备 | |
JP6316043B2 (ja) | 装置、方法、及びプログラム | |
JP5780885B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
US9413974B2 (en) | Information processing apparatus, image sensing apparatus, control method, and recording medium for conversion processing | |
JP2015041901A (ja) | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 | |
US11057598B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP5952573B2 (ja) | 画像処理装置およびその制御方法 | |
JP2016208118A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017183983A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP6762843B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2015126416A (ja) | 画像処理装置、制御方法およびプログラム | |
US11778308B2 (en) | Image processing apparatus, image processing method, and image capturing apparatus | |
JP5338248B2 (ja) | 画像処理装置、電子カメラおよび画像処理プログラム | |
JP2019062369A (ja) | 撮像装置及びその制御方法、電子機器のその制御方法、プログラム | |
JP2016001782A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 | |
JP5574015B2 (ja) | 画像処理装置、電子カメラおよび画像処理プログラム | |
JP2021111887A (ja) | 画像処理装置及びその制御方法及びプログラム | |
JP5734348B2 (ja) | 撮像装置 | |
JP5518150B2 (ja) | 画像処理方法、撮像装置、その制御方法およびプログラム | |
JP2011139159A (ja) | 表示制御装置及び表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170126 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180327 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6316043 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |