JP2013074335A - 画像処理装置及びその方法、撮像装置 - Google Patents
画像処理装置及びその方法、撮像装置 Download PDFInfo
- Publication number
- JP2013074335A JP2013074335A JP2011209785A JP2011209785A JP2013074335A JP 2013074335 A JP2013074335 A JP 2013074335A JP 2011209785 A JP2011209785 A JP 2011209785A JP 2011209785 A JP2011209785 A JP 2011209785A JP 2013074335 A JP2013074335 A JP 2013074335A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- frames
- images
- gradation compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【解決手段】露光量の異なる2つの画像を合成してダイナミックレンジが拡張された画像を生成する撮像装置は、2種類の異なる露光量で撮影した画像を連続して出力する撮像部から出力された、合成対象の2つのフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する。撮像装置は、2つのフレームの1フレーム目の画像とこれを低解像度化した画像とに基づいて階調圧縮特性を生成し、合成画像の階調を圧縮する。撮像措置は、2つのフレームの画像から動きの生じた部分を推定し、その推定の結果に基づいて、合成対象の1フレーム目と2フレーム目の画像の露光量を入れ替える。
【選択図】図1
Description
露光量の異なる2つの画像を合成してダイナミックレンジが拡張された画像を生成する撮像装置であって、
2種類の異なる露光量で撮影した画像を連続して出力する撮像手段と、
前記撮像手段から連続して出力された、合成対象の2つのフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記2つのフレームの1フレーム目の画像を低解像度化した画像と、当該1フレーム目の画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する階調圧縮手段と、
前記2つのフレームの画像から動きの生じた部分を推定する推定手段と、
前記推定手段による推定の結果に基づいて、前記合成対象の2つのフレームにおける1フレーム目と2フレーム目の画像の露光量を入れ替える制御手段と、を備える。
以下の実施形態では、露光量の異なる2つのフレームの画像を合成して、ダイナミックレンジの拡大された1フレーム分の画像を出力する画像処理装置を有する撮像装置について説明する。
・画素毎に、解像度の異なる複数枚の画像の出力を比較し、
・高解像度画像と低解像度画像の差分が小さい場合には、低解像度画像の出力を着目画素における輝度レベルとして出力し、
・高解像度画像と低解像度画像の差分が大きい場合には、低解像度画像と高解像度画像を加重加算して、着目画素における輝度レベルとして出力する、という方法等が挙げられる。このような推定演算を用いることで、ノイズや被写体のエッジ等の影響は排除しつつ、様々な輝度レベルの小領域が混在する画像において、各領域の分離精度を高められる。なお、本実施形態では、2種類の解像度の画像を用いて局所輝度レベルの推定を行ったが、これに限られるものではなく、3種類以上の異なる解像度の画像を用いてもよい。
・着目画素を含む小領域の輝度レベルが適正露光よりも暗い場合には、着目画素の輝度レベルをゲインアップするような階調圧縮特性を生成し、
・着目画素を含む小領域の輝度レベルが、適正露光よりも明るい場合には、着目画素の輝度レベルをゲインダウンするような階調圧縮特性を生成する。
・撮像素子2からの高露光画像H1の読み出しを間引いて2回に分けて(例えば、偶フィールドと奇フィールドに分けて)行い、1回目の読み出しを終えた時点で動き判定を行う、あるいは、
・高露光画像H1の読み出しの途中で動き判定を実施する(すなわち、前画像ではなく一部の画像から動き領域を判定する)、などの対策が講じられている。
また、撮影中の画像において動き部分と静止部分のいずれが支配的であるかの判定結果に基づいて階調圧縮特性の生成に用いる画像を決定することにより、撮影中の画像に適した階調圧縮処理を行うことができる。
また、上記実施形態の撮像装置100では、合成処理のためにフレームメモリ3にバッファリングされた画像を用いて、合成後の画像に対する階調圧縮特性を生成することができ、メモリアクセスによるシステム負荷の増大を回避できる。
Claims (15)
- 露光量の異なる2つの画像を合成してダイナミックレンジが拡張された画像を生成する撮像装置であって、
2種類の異なる露光量で撮影した画像を連続して出力する撮像手段と、
前記撮像手段から連続して出力された、合成対象の2つのフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記2つのフレームの1フレーム目の画像を低解像度化した画像と、当該1フレーム目の画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する階調圧縮手段と、
前記2つのフレームの画像から動きの生じた部分を推定する推定手段と、
前記推定手段による推定の結果に基づいて、前記合成対象の2つのフレームへの前記2種類の露光量の適用順序を入れ替える制御手段と、を備えることを特徴とする撮像装置。 - 前記撮像手段から連続して出力された前記2つのフレームのうちの1フレーム目の画像をフレームメモリに保持する保持手段を更に備え、
前記合成手段は、前記撮像手段から出力される前記2つのフレームのうちの2フレーム目の画像と、前記フレームメモリに保持された画像とを合成する、ことを特徴とする請求項1に記載の撮像装置。 - 前記生成手段は、前記1フレーム目の画像が前記フレームメモリに保持されていく間に前記低解像度化した画像を生成して保持し、前記フレームメモリに保持された当該1フレーム目の画像と前記低解像度化した画像とに基づいて前記階調圧縮特性を生成する、ことを特徴とする請求項2に記載の撮像装置。
- 前記制御手段は、前記撮像手段によって用いられる前記2種類の露光量の順番を入れ替えることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
- 前記制御手段は、前記保持手段が前記フレームメモリに保持させるフレームを1フレームだけずらすことを特徴とする請求項2または3に記載の撮像装置。
- 前記制御手段は、前記推定手段により推定された前記動きの生じた部分の大きさが所定値を超える場合に、露光量の小さい方の画像が前記合成対象の2つのフレームのうちの1フレーム目の画像となるように、1フレーム目と2フレーム目の画像の露光量を入れ替えることを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
- 前記階調圧縮手段は、前記推定手段により推定された前記動きの生じた部分の大きさと移動量に基づいて、前記階調圧縮特性による階調圧縮の度合いを制御することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
- 前記階調圧縮手段は、
前記1フレーム目に前記2種類の露光量のうちの小さい方が割り当てられている場合には、前記動きの生じた部分の大きさと移動量の積が大きいほど前記階調圧縮特性による階調圧縮の度合いを強くし、
前記1フレーム目に前記2種類の露光量のうちの大きい方が割り当てられている場合には、前記動きの生じた部分の大きさと移動量の積が大きいほど前記階調圧縮特性による階調圧縮の度合いを弱くする、ことを特徴とする請求項7に記載の撮像装置。 - 前記合成手段は、
前記2つのフレームの対応する画素の画素値の差に基づいて動き部分の画素であるか静止部分の画素であるかを判定し、
前記2つのフレームの画像の両方を合成に用いることが可能な輝度値の領域において、前記動き部分の画素には前記2種類の露光量の画像のうちの高露光画像を、前記静止部分の画素には前記2種類の露光量の画像のうちの低露光画像を用いて、前記2つのフレームの画像を合成することを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。 - 露光量の異なるn個(nは3以上の自然数)の画像を合成してダイナミックレンジが拡張された画像を生成する撮像装置であって、
n種類の異なる露光量で撮影した画像を連続して出力する撮像手段と、
前記撮像手段から連続して出力された、合成対象のn個のフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記n個のフレームのうちのn−1フレーム目までの合成画像を低解像度化した画像と、当該n−1フレーム目までの合成画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて、nフレーム目までの合成画像の階調を圧縮する階調圧縮手段と、
前記n−1フレーム目までの合成画像とnフレーム目の画像とから動きの生じた部分を推定する推定手段と、
前記推定手段による推定の結果に基づいて、前記合成対象のn個のフレームにおける露光量の適用順序を入れ替える制御手段と、を備えることを特徴とする撮像装置。 - 露光量の異なる2つの画像を合成してダイナミックレンジが拡張された画像を生成する画像処理装置であって、
2種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象の2つのフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記2つのフレームの1フレーム目の画像を低解像度化した画像と、当該1フレーム目の画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する階調圧縮手段と、
前記2つのフレームの画像から動きの生じた部分を推定する推定手段と、
前記推定手段による推定の結果に基づいて、前記合成対象の2つのフレームへの前記2種類の露光量の適用順序を入れ替える制御手段と、を備えることを特徴とする画像処理装置。 - 露光量の異なるn個(nは3以上の自然数)の画像を合成してダイナミックレンジが拡張された画像を生成する画像処理装置であって、
n種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象のn個のフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記n個のフレームのうちのn−1フレーム目までの合成画像を低解像度化した画像と、当該n−1フレーム目までの合成画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて、nフレーム目までの合成画像の階調を圧縮する階調圧縮手段と、
前記n−1フレーム目までの合成画像とnフレーム目の画像とから動きの生じた部分を推定する推定手段と、
前記推定手段による推定の結果に基づいて、前記合成対象のn個のフレームにおける露光量の適用順序を入れ替える制御手段と、を備えることを特徴とする画像処理装置。 - 露光量の異なる2つの画像を合成してダイナミックレンジが拡張された画像を生成するための、画像処理装置による画像処理方法であって、
合成手段が、2種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象の2つのフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する工程と、
生成手段が、前記2つのフレームの1フレーム目の画像を低解像度化した画像と、当該1フレーム目の画像とに基づいて階調圧縮特性を生成する工程と、
階調圧縮手段が、前記生成する工程で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する工程と、
推定手段が、前記2つのフレームの画像から動きの生じた部分を推定する工程と、
制御手段が、前記推定する工程での推定の結果に基づいて、前記合成対象の2つのフレームへの前記2種類の露光量の適用順序を入れ替える工程と、を有することを特徴とする画像処理方法。 - 露光量の異なるn個(nは3以上の自然数)の画像を合成してダイナミックレンジが拡張された画像を生成するための、画像処理装置による画像処理方法であって、
合成手段が、n種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象のn個のフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する工程と、
生成手段が、前記n個のフレームのうちのn−1フレーム目までの合成画像を低解像度化した画像と、当該n−1フレーム目までの合成画像とに基づいて階調圧縮特性を生成する工程と、
階調圧縮手段が、前記生成する工程で生成された前記階調圧縮特性を用いて、nフレーム目までの合成画像の階調を圧縮する工程と、
推定手段が、前記n−1フレーム目までの合成画像とnフレーム目の画像とから動きの生じた部分を推定する工程と、
制御手段が、前記推定する工程での推定の結果に基づいて、前記合成対象のn個のフレームにおける露光量の適用順序を入れ替える工程と、を有することを特徴とする画像処理方法。 - コンピュータに、請求項13または14に記載の画像処理方法の各工程を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011209785A JP5820213B2 (ja) | 2011-09-26 | 2011-09-26 | 画像処理装置及びその方法、撮像装置 |
US13/617,772 US9049380B2 (en) | 2011-09-26 | 2012-09-14 | Image processing apparatus for generating an image having an expanded dynamic range and method thereof, and image capture apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011209785A JP5820213B2 (ja) | 2011-09-26 | 2011-09-26 | 画像処理装置及びその方法、撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013074335A true JP2013074335A (ja) | 2013-04-22 |
JP5820213B2 JP5820213B2 (ja) | 2015-11-24 |
Family
ID=48478510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011209785A Expired - Fee Related JP5820213B2 (ja) | 2011-09-26 | 2011-09-26 | 画像処理装置及びその方法、撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5820213B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016208083A (ja) * | 2015-04-15 | 2016-12-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2017050693A (ja) * | 2015-09-01 | 2017-03-09 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004221644A (ja) * | 2003-01-09 | 2004-08-05 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2011010108A (ja) * | 2009-06-26 | 2011-01-13 | Seiko Epson Corp | 撮像制御装置、撮像装置及び撮像制御方法 |
-
2011
- 2011-09-26 JP JP2011209785A patent/JP5820213B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004221644A (ja) * | 2003-01-09 | 2004-08-05 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2011010108A (ja) * | 2009-06-26 | 2011-01-13 | Seiko Epson Corp | 撮像制御装置、撮像装置及び撮像制御方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016208083A (ja) * | 2015-04-15 | 2016-12-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2017050693A (ja) * | 2015-09-01 | 2017-03-09 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5820213B2 (ja) | 2015-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9049380B2 (en) | Image processing apparatus for generating an image having an expanded dynamic range and method thereof, and image capture apparatus | |
US7956899B2 (en) | Imaging device and image processing apparatus | |
US8009337B2 (en) | Image display apparatus, method, and program | |
US8570334B2 (en) | Image processing device capable of efficiently correcting image data and imaging apparatus capable of performing the same | |
US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
JP5898466B2 (ja) | 撮像装置、その制御方法、及びプログラム | |
CN104980652B (zh) | 图像处理设备和图像处理方法 | |
EP2523452A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and program | |
US20100265353A1 (en) | Image Processing Device, Image Sensing Device And Image Reproduction Device | |
US8542298B2 (en) | Image processing device and image processing method | |
US8861846B2 (en) | Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image | |
JP2007201985A (ja) | 広ダイナミックレンジ撮像装置 | |
US20120169900A1 (en) | Image processing device and image processing method | |
JP5480025B2 (ja) | 撮像装置、撮像システム、撮像方法 | |
JP6087612B2 (ja) | 画像処理装置および画像処理方法 | |
JP2009027604A (ja) | ノイズ低減装置およびノイズ低減方法 | |
JP5820213B2 (ja) | 画像処理装置及びその方法、撮像装置 | |
US11722788B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP6152009B2 (ja) | 撮像装置、撮像方法、プログラム、及び記録媒体 | |
JP5852385B2 (ja) | 撮像装置 | |
WO2014115522A1 (ja) | フレームレート変換装置及びフレームレート変換方法並びにフレームレート変換装置を備えた表示装置及び撮像装置 | |
JP2009177652A (ja) | データ処理装置 | |
JP2015204489A (ja) | 画像処理装置および画像処理方法 | |
JP2012142828A (ja) | 画像処理装置および画像処理方法 | |
JP2011172041A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151002 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5820213 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |