JP2018191243A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2018191243A JP2018191243A JP2017094758A JP2017094758A JP2018191243A JP 2018191243 A JP2018191243 A JP 2018191243A JP 2017094758 A JP2017094758 A JP 2017094758A JP 2017094758 A JP2017094758 A JP 2017094758A JP 2018191243 A JP2018191243 A JP 2018191243A
- Authority
- JP
- Japan
- Prior art keywords
- image
- edge
- peaking
- image processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
【課題】好適なピント確認を可能にする技術を提供する。【解決手段】本発明の画像処理装置は、露出条件が互いに異なる複数の撮像画像の少なくともいずれかからエッジを検出する検出手段と、前記複数の撮像画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示が行われる場合に、前記検出手段によって検出されたエッジを表すエッジ画像が前記拡張画像に重ねられるように、前記検出手段の検出結果に基づく画像処理を行う処理手段と、を備える。【選択図】図1
Description
本発明は、画像処理装置および画像処理方法に関する。
被写体にピント(フォーカス)が合った撮像画像、被写体を意図的にぼかした撮像画像、等を得るために、ピント調整が行われる。また、撮像画像のエッジ(ピントが合っている被写体の輪郭)を検出し、エッジで囲まれた領域、すなわち被写体にピントが合っている領域を強調して撮像画像を表示する技術がある(特許文献1)。このような表示は、「ピーキング表示」などと呼ばれる。ピーキング表示により、ユーザは、ピント状態(ピント合わせの具合)を容易に確認することができ、ひいては好適なピント調整(好適なピント調整のための操作)を容易に行うことができる。
また、撮像画像のダイナミックレンジを拡張する処理として、HDR(High Dynamic Range)合成がある。HDR合成では、例えば、長時間露光画像と短時間露光画像の2枚の撮像画像が、当該2枚の撮像画像の各画像領域における輝度に基づいて合成される。長時間露光画像は、露光時間が長い撮像画像であり、短時間露光画像は、露光時間が短い撮像画像である。HDR合成により、長時間露光画像と短時間露光画像のそれぞれのダイナミックレンジを拡張した画像(HDR合成画像)を生成することができる。例えば、被写体の明暗差が大きくても、白とび(露光時間による受光データのオーバーシュート)、黒つぶれ(露光時間による受光データのアンダーシュート)、等が抑制されたHDR合成画像を生成することができる。
そして近年、撮影工程において撮像画像の出来栄えが大まかに確認され、撮影工程の後工程で撮像画像が詳細に補正されることがある。
しかしながら、HDR合成画像では、長時間露光画像と短時間露光画像の合成によって、長時間露光画像と短時間露光画像のそれぞれの鮮鋭度からの鮮鋭度の低下が生じることがある。例えば、長時間露光画像では被写体ブレが生じやすいため、HDR合成画像において、短時間露光画像の鮮鋭度からの鮮鋭度の低下が生じることがある。そのため、HDR合成画像のピーキング表示を行っても、好適なピント確認(ピント状態の確認)を行えないことがある。
例えば、短時間露光画像で被写体にピントが合っており、画像処理でHDR合成画像の画質を向上できる場合において、HDR合成画像のピーキング表示を行っても、短時間露光画像のエッジが表示されないことがある。そのような場合には、ユーザは、短時間露光画像で被写体にピントが合っていること、画像処理でHDR合成画像の画質を向上できること、等を把握することができない。
そこで、本発明は、好適なピント確認を可能にする技術を提供することを目的とする。
本発明の第1の態様は、
露出条件が互いに異なる複数の撮像画像の少なくともいずれかからエッジを検出する検出手段と、
前記複数の撮像画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示が行われる場合に、前記検出手段によって検出されたエッジを表すエッジ画像が前記拡張画像に重ねられるように、前記検出手段の検出結果に基づく画像処理を行う処理手段と、
を備えることを特徴とする画像処理装置である。
露出条件が互いに異なる複数の撮像画像の少なくともいずれかからエッジを検出する検出手段と、
前記複数の撮像画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示が行われる場合に、前記検出手段によって検出されたエッジを表すエッジ画像が前記拡張画像に重ねられるように、前記検出手段の検出結果に基づく画像処理を行う処理手段と、
を備えることを特徴とする画像処理装置である。
本発明の第2の態様は、
露出条件が互いに異なる複数の撮像画像の少なくともいずれかからエッジを検出する検出ステップと、
前記複数の撮像画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示が行われる場合に、前記検出ステップにおいて検出されたエッジを表すエッジ画像が前記拡張画像に重ねられるように、前記検出ステップの検出結果に基づく画像処理を行う処理ステップと、
を有することを特徴とする画像処理方法である。
露出条件が互いに異なる複数の撮像画像の少なくともいずれかからエッジを検出する検出ステップと、
前記複数の撮像画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示が行われる場合に、前記検出ステップにおいて検出されたエッジを表すエッジ画像が前記拡張画像に重ねられるように、前記検出ステップの検出結果に基づく画像処理を行う処理ステップと、
を有することを特徴とする画像処理方法である。
本発明の第3の態様は、上述した画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。
本発明によれば、好適なピント確認が可能となる。
<実施例1>
以下、本発明の実施例1について説明する。以下では、本実施例に係る画像処理装置を備える表示装置の例を説明する。本実施例に係る表示装置は、画像を表示可能な装置であり、特に限定されない。例えば、表示装置は、液晶表示装置、有機EL表示装置、プラズマ表示装置、MEMS(Micro Electro Mechanical System)シャッター方式表示装置、等である。表示装置は、投影装置(プロジェクタ)、パーソナルコンピュータ、PDA、タブレット端末、携帯電話端末(スマートフォンを含む
)、テレビジョン装置、撮像装置(デジタルカメラ)、デジタルフォトフレーム、ゲーム機、家電装置、車載装置、等でもよい。本実施例に係る画像処理装置は、表示装置とは別体の装置であってもよい。
以下、本発明の実施例1について説明する。以下では、本実施例に係る画像処理装置を備える表示装置の例を説明する。本実施例に係る表示装置は、画像を表示可能な装置であり、特に限定されない。例えば、表示装置は、液晶表示装置、有機EL表示装置、プラズマ表示装置、MEMS(Micro Electro Mechanical System)シャッター方式表示装置、等である。表示装置は、投影装置(プロジェクタ)、パーソナルコンピュータ、PDA、タブレット端末、携帯電話端末(スマートフォンを含む
)、テレビジョン装置、撮像装置(デジタルカメラ)、デジタルフォトフレーム、ゲーム機、家電装置、車載装置、等でもよい。本実施例に係る画像処理装置は、表示装置とは別体の装置であってもよい。
図1は、本実施例に係る表示装置10の構成例を示すブロック図である。表示装置10は、画像記憶部20、HDR合成部30、画像選択部40、露光時間判断部50、ピーキング画像生成部60、画像合成部70、表示部80、及び、制御部90を備える。
画像記憶部20は、画像(画像データ)を記憶する。画像記憶部20として、磁気ディスク、半導体メモリ、光ディスク、等を用いることができる。画像記憶部20は、表示装置10に内蔵されていてもよいし、表示装置10に対して着脱可能であってもよい。
本実施例では、1枚のHDR(High Dynamic Range)合成画像の元となる複数の元画像が、画像記憶部20に予め記録されている。複数の元画像のそれぞれは撮像画像である。撮像画像は、撮像によって生成された画像であり、被写体を表す画像である。複数の元画像の間で、画角(撮像範囲)、構図、等は略等しい(「略」は「完全」を含む)。しかし、複数の元画像の間で、露出条件は互いに異なる。露出条件は露光時間を含む。具体的には、露出条件は、ゲイン(ISO感度)、シャッター速度、及び、絞りの少なくともいずれかを含む。そのため、複数の元画像の間で、輝度、階調性、等は互いに異なる。HDR合成画像は、複数の元画像のそれぞれのダイナミックレンジ(輝度レンジ)を拡張した画像(拡張画像)である。HDR合成画像と複数の元画像との間で、画角、構図、等は略等しい。
具体的には、長時間露光画像と短時間露光画像の2枚の元画像が、画像記憶部20に予め記録されている。長時間露光画像は、露光時間が長い元画像であり、短時間露光画像は、露光時間が短い元画像である。長時間露光画像の露光時間は、短時間露光画像の露光時間よりも長い。
HDR合成部30は、画像記憶部20から複数の元画像を取得し、HDR合成によってHDR合成画像を生成し、HDR合成画像を出力する。HDR合成では、複数の元画像が合成される。例えば、HDR合成では、複数の元画像が、当該複数の元画像の各画像領域における輝度に基づいて合成される。本実施例では、HDR合成部30は、画像記憶部20から短時間露光画像と長時間露光画像を取得し、HDR合成によって短時間露光画像と長時間露光画像からHDR合成画像を生成する。なお、複数の元画像は3枚以上の元画像であってもい。そして、HDR合成によって3枚以上の元画像から1枚のHDR合成画像が生成されてもよい。
画像選択部40は、画像記憶部20から複数の元画像を取得し、露光時間判断部50の判断結果に従って複数の元画像のいずれかを選択し、選択した元画像を出力する。本実施例では、画像選択部40は、複数の元画像のうち、露光時間が最も短い元画像を選択する。具体的には、画像選択部40は、画像記憶部20から短時間露光画像と長時間露光画像を取得し、短時間露光画像を選択する。
露光時間判断部50は、画像記憶部20から複数の元画像を取得し、複数の元画像の露光時間を判断し、判断結果を出力する。例えば、露光時間判断部50は、元画像のEXIFヘッダ情報に記述されているシャッタースピードから、当該元画像の露光時間を判断する。本実施例では、露光時間判断部50は、複数の元画像のうち、露光時間が最も短い元画像を示す情報を、判断結果として出力する。具体的には、露光時間判断部50は、画像記憶部20から短時間露光画像と長時間露光画像を取得し、短時間露光画像を示す情報を判断結果として出力する。なお、露光時間判断部50は、複数の元画像のそれぞれの露光
時間を示す情報を、判断結果として出力してもよい。
時間を示す情報を、判断結果として出力してもよい。
ピーキング画像生成部60は、複数の元画像の少なくともいずれかからエッジ(ピント(フォーカス)が合っている被写体の輪郭)を検出し、検出したエッジを表すピーキング画像(エッジ画像)を生成し、ピーキング画像を出力する。本実施例では、ピーキング画像生成部60は、複数の元画像のうち、露光時間が最も短い元画像からエッジを検出する。具体的には、ピーキング画像生成部60は、画像選択部40から短時間露光画像を取得し、短時間露光画像からエッジを検出する。
なお、画像選択部40は、露光時間が最も短い元画像でない元画像を選択してもよい。そして、ピーキング画像生成部60は、露光時間が最も短い元画像でない元画像からエッジを検出してもよい。画像選択部40は、画像選択部40は、N枚(Nは3以上の整数)の元画像のうちn枚(nは2以上かつN以下の整数)を選択してもよい。そして、ピーキング画像生成部60は、選択されたn枚の元画像のそれぞれからエッジを検出してもよい。
画像合成部70は、HDR合成画像をユーザに知覚させるための表示が行われる場合に、ピーキング画像生成部60で検出されたエッジを表すエッジ画像がHDR合成画像に重ねられるように、ピーキング画像生成部60の検出結果に基づく画像処理を行う。それにより、処理画像が生成される。そして、画像合成部70は、処理画像を出力する。本実施例では、画像合成部70は、HDR合成部30から出力されたHDR合成画像に、ピーキング画像生成部60から出力されたピーキング画像(エッジ画像)を合成する。
なお、ピーキング画像生成部60の検出結果に基づく画像処理は、ピーキング画像を合成する画像処理でなくてもよい。例えば、ピーキング画像が生成されずに、画像合成部70が、HDR合成部30から出力されたHDR合成画像の画素値を、ピーキング画像生成部60の検出結果に基づいて変更してもよい。
本実施例では、HDR合成画像をユーザに知覚させるための表示は、HDR合成部30から出力されたHDR合成画像に基づく表示である。そして、ピーキング画像生成部60の検出結果に基づく画像処理は、HDR合成部30から出力されたHDR合成画像に対する画像処理である。しかし、HDR合成画像をユーザに知覚させるための表示は、HDR合成部30から出力されたHDR合成画像に基づく表示に限られない。そして、ピーキング画像生成部60の検出結果に基づく画像処理は、HDR合成部30から出力されたHDR合成画像に対する画像処理に限られない。例えば、複数の元画像を順番に表示する処理の繰り返しによっても、HDR合成画像をユーザに知覚させることができる。その場合には、ピーキング画像生成部60の検出結果に基づく画像処理として、複数の元画像のそれぞれに対する画像処理が行われてもよい。
表示部80は、画像合成部70から出力された処理画像を画面に表示する。
制御部90は、表示装置10の各機能部の処理を制御する。制御部90は、CPU(中央演算処理装置)、メモリ、等より構成されている。
図2は、表示装置10の処理フロー例を示すフローチャートである。
まず、S10にて、HDR合成部30、画像選択部40、及び、露光時間判断部50のそれぞれは、画像記憶部20から、短時間露光画像と長時間露光画像を取得する。図3(A),3(B)は、短時間露光画像の一例を示し、図4(A),4(B)は、長時間露光画像の一例を示す。図3(B)では、図3(A)の短時間露光画像における合焦領域(被
写体にピントが合っている領域)が、太線で示されている。図4(B)では、図4(A)の長時間露光画像における合焦領域が、太線で示されている。長時間露光画像では被写体ブレ、白とび、等が生じやすく、短時間露光画像では長時間露光画像に比べ被写体ブレ、白とび、等が生じにくい。そのため、図3(B),4(B)に示すように、図3(A)の短時間露光画像における合焦領域は、図4(A)の長時間露光画像における合焦領域よりも多い。具体的には、図3(B)に示すように、図3(A)の短時間露光画像では、家の全領域、木の全領域、及び、人物の全領域が合焦領域である。一方で、図4(B)に示すように、図4(A)の長時間露光画像では、木の一部の領域と人物の全領域とが合焦領域でない。
写体にピントが合っている領域)が、太線で示されている。図4(B)では、図4(A)の長時間露光画像における合焦領域が、太線で示されている。長時間露光画像では被写体ブレ、白とび、等が生じやすく、短時間露光画像では長時間露光画像に比べ被写体ブレ、白とび、等が生じにくい。そのため、図3(B),4(B)に示すように、図3(A)の短時間露光画像における合焦領域は、図4(A)の長時間露光画像における合焦領域よりも多い。具体的には、図3(B)に示すように、図3(A)の短時間露光画像では、家の全領域、木の全領域、及び、人物の全領域が合焦領域である。一方で、図4(B)に示すように、図4(A)の長時間露光画像では、木の一部の領域と人物の全領域とが合焦領域でない。
次に、S20にて、HDR合成部30は、S10で取得した2枚の元画像(短時間露光画像と長時間露光画像)を合成することにより、HDR合成画像を生成する。例えば、HDR合成部30は、図3(A)の短時間露光画像と図4(A)の長時間露光画像を合成する。図5(A)は、図3(A)の短時間露光画像と図4(A)の長時間露光画像を合成したHDR合成画像の一例を示す。
そして、S30にて、露光時間判断部50は、S10で取得した2枚の元画像のそれぞれの露光時間を判断する。そして、露光時間判断部50は、各元画像の露光時間に基づいて、上記2枚の元画像から短時間露光画像を検出する。例えば、露光時間判断部50は、図3(A)の短時間露光画像を検出する。
次に、S40にて、画像選択部40は、S10で取得した2枚の元画像のうち、S30で検出された短時間露光画像を選択する。例えば、画像選択部40は、図3(A)の短時間露光画像を選択する。
そして、S50にて、ピーキング画像生成部60は、S40で選択された短時間露光画像からエッジを検出し、ピーキング画像を生成する。例えば、ピーキング画像生成部60は、図3(A)の短時間露光画像から、図3(B)の太線によって示された領域を表すピーキング画像を生成する。図3(C)は、図3(A)の短時間露光画像から生成されたピーキング画像の一例を示す。
次に、S60にて、画像合成部70は、S20で生成されたHDR合成画像に、S50で生成されたピーキング画像を合成する。それにより、処理画像が生成される。例えば、画像合成部70は、図5(A)のHDR合成画像に図3(C)のピーキング画像を合成する。図5(B)は、図5(A)のHDR合成画像に図3(C)のピーキング画像を合成した処理画像の一例を示す。
そして、S70にて、表示部80は、S60で生成された処理画像を表示する。例えば、表示部80は、図5(B)の処理画像を表示する。
以上述べたように、本実施例によれば、被写体ブレ、白とび、等が生じにくい短時間露光画像のピーキング画像をHDR合成画像に重ねたような表示が行われる。そのため、好適なピント確認が可能となる。例えば、短時間露光画像でのみ被写体にピントが合っており、画像処理でHDR合成画像の画質を向上できる場合において、ユーザは、画像処理でHDR合成画像の画質を向上できることを把握することができる。
なお、上述したように、露光時間が最も短い元画像でない元画像からエッジが検出されてもよい。例えば、長時間露光画像からエッジが検出されてもよい。露光時間が短い元画像では黒つぶれが生じやすい。そのため、長時間露光画像でのみ被写体にピントが合うことがある。長時間露光画像からエッジを検出することにより、長時間露光画像でのみ被写
体にピントが合っており、画像処理でHDR合成画像の画質を向上できる場合において、ユーザは、画像処理でHDR合成画像の画質を向上できることを把握することができる。
体にピントが合っており、画像処理でHDR合成画像の画質を向上できる場合において、ユーザは、画像処理でHDR合成画像の画質を向上できることを把握することができる。
なお、複数の元画像のそれぞれは、静止画であってもよいし、動画の1フレームであってもよい。動画の複数のフレームのそれぞれについて、上述した処理が行われてもよい。
<実施例2>
以下、本発明の実施例2について説明する。なお、以下では、実施例1と異なる点(構成、処理、等)について詳しく説明し、実施例1と同じ点についての説明は省略する。図6は、本実施例に係る表示装置100の構成例を示すブロック図である。表示装置100は、画像記憶部20、HDR合成部30、ピーキング画像生成部60,61、画像合成部70、表示部80、制御部90、及び、ピーキング画像合成部110を備える。
以下、本発明の実施例2について説明する。なお、以下では、実施例1と異なる点(構成、処理、等)について詳しく説明し、実施例1と同じ点についての説明は省略する。図6は、本実施例に係る表示装置100の構成例を示すブロック図である。表示装置100は、画像記憶部20、HDR合成部30、ピーキング画像生成部60,61、画像合成部70、表示部80、制御部90、及び、ピーキング画像合成部110を備える。
ピーキング画像生成部60,61により、複数の元画像のそれぞれからエッジが検出され、複数の元画像にそれぞれ対応する複数のピーキング画像が生成される。本実施例では、ピーキング画像生成部60は、短時間露光画像と長時間露光画像の一方を画像記憶部20から取得し、取得した元画像からエッジを検出し、検出したエッジを表すピーキング画像を生成し、生成したピーキング画像を出力する。ピーキング画像生成部61は、短時間露光画像と長時間露光画像の他方を画像記憶部20から取得し、取得した元画像からエッジを検出し、検出したエッジを表すピーキング画像を生成し、生成したピーキング画像を出力する。
ピーキング画像合成部110は、複数の元画像にそれぞれ対応する複数のピーキング画像のOR合成を行う。OR合成により、複数のピーキング画像の少なくともいずれかで表されているエッジを表す画像(合成ピーキング画像)が生成される。本実施例では、ピーキング画像合成部110は、ピーキング画像生成部60,61から出力された2枚のピーキング画像のOR合成を行う。そして、ピーキング画像合成部110は、合成ピーキング画像を出力する。
画像合成部70は、複数の元画像にそれぞれ対応する複数のピーキング画像がHDR合成画像に重ねられるように、画像処理を行う。本実施例では、画像合成部70は、ピーキング画像合成部110から出力された合成ピーキング画像をピーキング画像として用いて、実施例1の処理と同様の処理を行う。なお、合成ピーキング画像が生成されずに、画像合成部70が、ピーキング画像生成部60,61の検出結果に基づいて処理画像を生成してもよい。
図7は、表示装置100の処理フロー例を示すフローチャートである。
まず、S10にて、HDR合成部30は、画像記憶部20から、短時間露光画像と長時間露光画像を取得する。ピーキング画像生成部60は、画像記憶部20から、短時間露光画像と長時間露光画像の一方を取得する。そして、ピーキング画像生成部61は、画像記憶部20から、短時間露光画像と長時間露光画像の他方を取得する。
図8(A),8(B)は、短時間露光画像の一例を示し、図9(A),9(B)は、長時間露光画像の一例を示す。図8(B)では、図8(A)の短時間露光画像における合焦領域が、太線で示されている。図9(B)では、図9(A)の長時間露光画像における合焦領域が、太線で示されている。図8(B)に示すように、図8(A)の短時間露光画像では、人物の全領域が合焦領域でない。そして、図9(B)に示すように、図9(A)の長時間露光画像では、木の一部の領域が合焦領域でない。
次に、S20にて、HDR合成部30は、S10で取得した2枚の元画像(短時間露光画像と長時間露光画像)を合成することにより、HDR合成画像を生成する。例えば、HDR合成部30は、図8(A)の短時間露光画像と図9(A)の長時間露光画像を合成する。図10(A)は、図8(A)の短時間露光画像と図9(A)の長時間露光画像を合成したHDR合成画像の一例を示す。
そして、S50にて、ピーキング画像生成部60,61は、S10で取得した2枚の元画像のそれぞれからエッジを検出し、2枚の元画像にそれぞれ対応する2枚のピーキング画像を生成する。例えば、ピーキング画像生成部60は、図8(A)の短時間露光画像から、図8(B)の太線によって示された領域を表すピーキング画像を生成する。図8(C)は、図8(A)の短時間露光画像から生成されたピーキング画像の一例を示す。そして、ピーキング画像生成部61は、図9(A)の長時間露光画像から、図9(B)の太線によって示された領域を表すピーキング画像を生成する。図9(C)は、図9(A)の長時間露光画像から生成されたピーキング画像の一例を示す。
次に、S55にて、ピーキング画像合成部110は、S50で生成された2枚のピーキング画像のOR合成を行うことにより、合成ピーキング画像を生成する。例えば、ピーキング画像合成部110は、図8(C)のピーキング画像と図9(C)のピーキング画像のOR合成を行う。図10(B)は、図8(C)のピーキング画像と図9(C)のピーキング画像のOR合成によって生成された合成ピーキング画像の一例を示す。
上述したように、図8(A)の短時間露光画像では、人物の全領域が合焦領域でない。そのため、図8(C)のピーキング画像では、人物の全領域が表されていない。そして、図9(A)の長時間露光画像では、木の一部の領域が合焦領域でない。そのため、図9(C)のピーキング画像では、木の一部の領域が表されていない。一方で、図10(B)の合成ピーキング画像では、人物の全領域も木の全領域も表されている。
そして、S60にて、画像合成部70は、S20で生成されたHDR合成画像に、S55で生成された合成ピーキング画像を合成する。それにより、処理画像が生成される。例えば、画像合成部70は、図10(A)のHDR合成画像に図10(B)の合成ピーキング画像を合成する。図10(C)は、図10(A)のHDR合成画像に図10(B)の合成ピーキング画像を合成した処理画像の一例を示す。
次に、S70にて、表示部80は、S60で生成された処理画像を表示する。例えば、表示部80は、図10(C)の処理画像を表示する。
以上述べたように、本実施例によれば、複数の元画像にそれぞれ対応する複数のピーキング画像をHDR合成画像に重ねたような表示が行われる。そのため、より好適なピント確認が可能となる。例えば、複数の元画像の少なくともいずれかで被写体にピントが合っており、画像処理でHDR合成画像の画質を向上できる場合において、ユーザは、画像処理でHDR合成画像の画質を向上できることを把握することができる。また、ユーザは、複数の元画像の少なくともいずれかで被写体にピントが合っている全ての画像領域を把握することができ、画像処理でHDR合成画像の画質を向上できる全ての画像領域を把握することができる。
なお、実施例1で述べたように、HDR合成によって3枚以上の元画像から1枚のHDR合成画像が生成されてもよい。その場合には、例えば、元画像の数と同じ数のピーキング画像生成部により、3枚以上の元画像のそれぞれからエッジが検出される。そして、3枚以上の元画像にそれぞれ対応する3枚以上のピーキング画像のOR合成により、合成ピーキング画像が生成される。複数の元画像のそれぞれからエッジを検出する処理は、1つ
の機能部で行われてもよい。
の機能部で行われてもよい。
図11は、3枚の元画像O1〜O3から1枚のHDR合成画像を生成する表示装置150の構成例を示すブロック図である。表示装置150は、図6の表示装置100が備える複数の機能部と、ピーキング画像生成部62とを備える。ピーキング画像生成部60は元画像O1からピーキング画像を生成し、ピーキング画像生成部61は元画像O2からピーキング画像を生成し、ピーキング画像生成部62は元画像O3からピーキング画像を生成する。ピーキング画像合成部110は、3つのピーキング画像のOR合成を行うことにより、合成ピーキング画像を生成する。
<実施例3>
以下、本発明の実施例3について説明する。なお、以下では、実施例2と異なる点について詳しく説明し、実施例2と同じ点についての説明は省略する。図12は、本実施例に係る表示装置200の構成例を示すブロック図である。表示装置200は、画像記憶部20、HDR合成部30、ピーキング画像生成部60,61、画像合成部70、表示部80、制御部90、ピーキング画像合成部110、及び、画像処理部210,211を備える。
以下、本発明の実施例3について説明する。なお、以下では、実施例2と異なる点について詳しく説明し、実施例2と同じ点についての説明は省略する。図12は、本実施例に係る表示装置200の構成例を示すブロック図である。表示装置200は、画像記憶部20、HDR合成部30、ピーキング画像生成部60,61、画像合成部70、表示部80、制御部90、ピーキング画像合成部110、及び、画像処理部210,211を備える。
画像処理部210,211により、複数の元画像にそれぞれ対応する複数のピーキング画像のそれぞれに異なる画像処理が施される。本実施例では、画像処理部210は、ピーキング画像生成部60から出力されたピーキング画像に画像処理を施すことにより処理ピーキング画像を生成し、当該ピーキング画像を出力する。画像処理部211は、ピーキング画像生成部61から出力されたピーキング画像に画像処理を施すことにより処理ピーキング画像を生成し、当該ピーキング画像を出力する。
ピーキング画像合成部110は、複数の元画像にそれぞれ対応する複数の処理ピーキング画像のOR合成を行うことにより、合成ピーキング画像を生成する。本実施例では、ピーキング画像合成部110は、画像処理部210,211から出力された2枚の処理ピーキング画像のOR合成を行う。そして、ピーキング画像合成部110は、合成ピーキング画像を出力する。
画像合成部70は、複数の元画像にそれぞれ対応する複数のピーキング画像が互いに異なる態様でHDR合成画像に重ねられるように、画像処理を行う。本実施例では、画像合成部70の処理は、実施例2の処理と同じである。但し、本実施例では、複数の元画像にそれぞれ対応する複数のピーキング画像のそれぞれに異なる画像処理を施すことにより、複数の処理ピーキング画像が生成される。そして、複数の処理ピーキング画像のOR合成によって、合成ピーキング画像が生成される。そのため、処理画像として、複数のピーキング画像が互いに異なる態様でHDR合成画像に重ねられた画像が生成される。例えば、複数のピーキング画像の間で、エッジの線種、エッジの色、エッジで囲まれた領域の色、及び、エッジで囲まれた領域のパターン(ゼブラパターンなど)の少なくともいずれかが異なる処理画像が生成される。
図13は、表示装置200の処理フロー例を示すフローチャートである。S10からS50までの処理は、実施例2の処理と同じである。
S50の次に、S52にて、画像処理部210,211は、S50で生成された2枚のピーキング画像のそれぞれに異なる画像処理を施すことにより、2枚の処理ピーキング画像を生成する。例えば、画像処理部210は、図8(C)のピーキング画像に画像処理を施すことにより、処理ピーキング画像を生成する。図14(A)は、図8(C)のピーキング画像に画像処理を施した処理ピーキング画像の一例を示す。図14(A)の処理ピー
キング画像では、エッジが実線で示されている。そして、画像処理部211は、図9(C)のピーキング画像に画像処理を施すことにより、処理ピーキング画像を生成する。図14(B)は、図9(C)のピーキング画像に画像処理を施した処理ピーキング画像の一例を示す。図14(B)の処理ピーキング画像では、エッジが破線で示されている。
キング画像では、エッジが実線で示されている。そして、画像処理部211は、図9(C)のピーキング画像に画像処理を施すことにより、処理ピーキング画像を生成する。図14(B)は、図9(C)のピーキング画像に画像処理を施した処理ピーキング画像の一例を示す。図14(B)の処理ピーキング画像では、エッジが破線で示されている。
次に、S55にて、ピーキング画像合成部110は、S52で生成された2枚の処理ピーキング画像のOR合成を行うことにより、合成ピーキング画像を生成する。例えば、ピーキング画像合成部110は、図14(A)の処理ピーキング画像と図14(B)の処理ピーキング画像のOR合成を行う。図14(C)は、図14(A)のピーキング画像と図14(B)のピーキング画像のOR合成によって生成された合成ピーキング画像の一例を示す。
実施例2で述べたように、図8(C)のピーキング画像では、人物の全領域が表されておらず、図9(C)のピーキング画像では、木の一部の領域が表されていない。一方で、図14(C)の合成ピーキング画像では、人物の全領域も木の全領域も表されている。さらに、図14(C)の合成ピーキング画像では、図8(A)の短時間露光画像のみの合焦領域と、図9(A)の長時間露光画像のみの合焦領域とが、異なる態様で表されている。具体的には、図8(A)の短時間露光画像のみの合焦領域が実線で示されており、図9(A)の長時間露光画像のみの合焦領域が破線で示されている。図8(A)の短時間露光画像と図9(A)の長時間露光画像とで共通の合焦領域は、実線で示されている。これは、図9(A)の長時間露光画像の合焦領域を示す破線に、図8(A)の短時間露光画像の合焦領域を示す実線が重なるためである。
そして、S60にて、画像合成部70は、S20で生成されたHDR合成画像に、S55で生成された合成ピーキング画像を合成する。それにより、処理画像が生成される。例えば、画像合成部70は、図10(A)のHDR合成画像に図14(C)の合成ピーキング画像を合成する。図14(D)は、図10(A)のHDR合成画像に図14(C)の合成ピーキング画像を合成した処理画像の一例を示す。
次に、S70にて、表示部80は、S60で生成された処理画像を表示する。例えば、表示部80は、図14(D)の処理画像を表示する。
以上述べたように、本実施例によれば、複数の元画像にそれぞれ対応する複数のピーキング画像を互いに異なる態様でHDR合成画像に重ねたような表示が行われる。それにより、より好適なピント確認が可能となる。例えば、実施例2と同様の効果を得ることができる。さらに、ユーザは、ピーキング画像の態様を確認することにより、複数の元画像のうち、被写体にピントが合っている元画像を容易に把握することができる。その結果、ユーザは、HDR合成画像の画質を向上するための作業をより容易に行うことができる。
<実施例4>
以下、本発明の実施例4について説明する。なお、以下では、実施例2と異なる点について詳しく説明し、実施例2と同じ点についての説明は省略する。図15は、本実施例に係る表示装置300の構成例を示すブロック図である。表示装置300は、ピーキング画像生成部60、画像合成部70、表示部80、ピーキング画像合成部110、画像入力部310、及び、ピーキング画像記憶部320を備える。
以下、本発明の実施例4について説明する。なお、以下では、実施例2と異なる点について詳しく説明し、実施例2と同じ点についての説明は省略する。図15は、本実施例に係る表示装置300の構成例を示すブロック図である。表示装置300は、ピーキング画像生成部60、画像合成部70、表示部80、ピーキング画像合成部110、画像入力部310、及び、ピーキング画像記憶部320を備える。
表示装置300は、露出条件が互いに異なる複数のフレームが繰り返される撮像動画(動画データ)を外部から取得し、取得した撮像動画に基づく動画を表示する。撮像動画は、撮像によって生成された動画であり、被写体を表す動画である。露出条件が互いに異なる複数のフレームは、実施例1〜3の複数の元画像に対応する。そして、上記撮像動画を
ユーザが見た場合において、ユーザは、各フレームがHDR合成画像である動画を知覚する。そのため、上記撮像動画は、「疑似HDR動画」とも言える。
ユーザが見た場合において、ユーザは、各フレームがHDR合成画像である動画を知覚する。そのため、上記撮像動画は、「疑似HDR動画」とも言える。
本実施例では、表示装置300において、疑似HDR動画の複数のフレームにそれぞれ対応する複数の処理が順番に行われる。以後、処理対象のフレームを「対象フレーム」と記載し、対象フレームに対応する処理について説明する。
画像入力部310は、表示装置300の外部から対象フレームを取得し、対象フレームを出力する。画像入力部310は、例えば、SDI(Serial Digital Interface)端子である。
本実施例では、対象フレームについて、対象フレームを含み、且つ、連続する複数のフレームの少なくともいずれかからエッジが検出される。具体的には、ピーキング画像生成部60は、対象フレームからエッジを検出し、検出したエッジを表すピーキング画像を生成し、ピーキング画像を出力する。ピーキング画像記憶部320は、ピーキング画像生成部60から出力されたピーキング画像を、1フレーム期間だけ記憶する。そして、ピーキング画像記憶部320は、対象フレームに対応する処理のために、対象フレームの1つ前のフレームである前フレームから生成されたピーキング画像を出力する。従って、本実施例では、対象フレームについて、対象フレームと前フレームのそれぞれからエッジが検出される。ピーキング画像記憶部320として、磁気ディスク、半導体メモリ、等を用いることができる。
なお、対象フレームについて、3つ以上のフレームのそれぞれからエッジが検出されてもよい。対象フレームについて、3つ以上のフレームにそれぞれ対応する3枚以上のピーキング画像が生成されてもよい。対象フレームについて、1つのフレームのみからエッジが検出されてもよい。例えば、対象フレームについて、対象フレームのみからエッジが検出されてもよい。対象フレームについて、短時間露光画像のフレームのみからエッジが検出されてもよい。対象フレームについて、長時間露光画像のフレームのみからエッジが検出されてもよい。
ピーキング画像合成部110は、対象フレームについて生成された複数のピーキング画像のOR合成を行うことにより、合成ピーキング画像を生成する。そして、ピーキング画像合成部110は、合成ピーキング画像を出力する。本実施例では、ピーキング画像合成部110は、対象フレームに対応するピーキング画像をピーキング画像生成部60から取得し、前フレームに対応するピーキング画像をピーキング画像記憶部320から取得する。そして、ピーキング画像合成部110は、取得した2枚のピーキング画像のOR合成を行う。
画像合成部70は、対象フレームについて検出されたエッジを表すピーキング画像がHDR合成画像に重ねられるように、対象フレームについての検出結果(エッジの検出結果)に基づく画像処理を、対象フレームに対して行う。それにより、対象フレームに対応する処理画像が生成される。そして、画像合成部70は、対象フレームに対応する処理画像を出力する。本実施例では、画像合成部70は、対象フレームに対応するピーキング画像と、前フレームに対応するピーキング画像とがHDR合成画像に重ねられるように、対象フレームについての検出結果に基づく画像処理を、対象フレームに対して行う。具体的には、画像合成部70は、ピーキング画像合成部110から出力された合成ピーキング画像を対象フレームに合成する。
表示部80は、対象フレームに対応する処理画像を表示する。
図16は、表示装置300の処理の具体例を示す模式図である。図16の例では、疑似HDR動画において短時間露光画像と長時間露光画像が交互に繰り返されている。
時刻T1では、画像入力部310は、長時間露光画像cを表示装置300の外部から取得し、長時間露光画像cを出力する。ピーキング画像記憶部320は、時刻T0において表示装置300の外部から取得された短時間露光画像aのピーキング画像bを記憶しており、ピーキング画像bを出力する。ピーキング画像生成部60は、長時間露光画像cからピーキング画像dを生成する。ピーキング画像合成部110は、ピーキング画像bとピーキング画像dを合成することにより、合成ピーキング画像eを生成する。画像合成部70は、合成ピーキング画像eを長時間露光画像cに合成することにより、処理画像fを生成する。そして、表示部80は、処理画像fを表示する。ピーキング画像dは、ピーキング画像記憶部320に記録され、時刻T2においても使用される。
ここで、短時間露光画像aが図8(A)の短時間露光画像であり、且つ、長時間露光画像cが図9(A)の長時間露光画像である場合を考える。この場合には、ピーキング画像bとして図8(C)のピーキング画像が得られ、ピーキング画像dとして図9(C)のピーキング画像が得られ、合成ピーキング画像eとして図10(B)の合成ピーキング画像が得られる。そして、処理画像dとして、図10(C)の処理画像が得られる。その結果、実施例2と同様の効果が得られる。
以上述べたように、本実施例によれば、対象フレームについて検出されたエッジを表すエッジ画像をHDR合成画像に重ねたような表示が行われるため、好適なピント確認が可能となる。例えば、疑似HDR動画に基づく動画を表示する場合において、実施例2と同様の効果が得られる。
実施例1〜4の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。1つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つの機能部の2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
実施例1〜4はあくまで一例であり、本発明の要旨の範囲内で実施例1〜4の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例1〜4の構成を適宜組み合わせて得られる構成も、本発明に含まれる。例えば、実施例4において、実施例2と同様の処理ではなく、実施例1または実施例3と同様の処理が行われてもよい。
<その他の実施例>
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
10,100,150,200,300:表示装置
60,61,62:ピーキング画像生成部 70:画像合成部
60,61,62:ピーキング画像生成部 70:画像合成部
Claims (13)
- 露出条件が互いに異なる複数の撮像画像の少なくともいずれかからエッジを検出する検出手段と、
前記複数の撮像画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示が行われる場合に、前記検出手段によって検出されたエッジを表すエッジ画像が前記拡張画像に重ねられるように、前記検出手段の検出結果に基づく画像処理を行う処理手段と、
を備えることを特徴とする画像処理装置。 - 前記露出条件は露光時間を含む
ことを特徴とする請求項1に記載の画像処理装置。 - 前記検出手段は、前記複数の撮像画像のうち、露光時間が最も短い撮像画像からエッジを検出する
ことを特徴とする請求項2に記載の画像処理装置。 - 前記検出手段は、前記複数の撮像画像のそれぞれからエッジを検出し、
前記処理手段は、前記複数の撮像画像にそれぞれ対応する複数のエッジ画像が前記拡張画像に重ねられるように、前記画像処理を行う
ことを特徴とする請求項1または請求項2に記載の画像処理装置。 - 前記処理手段は、前記複数の撮像画像にそれぞれ対応する複数のエッジ画像が互いに異なる態様で前記拡張画像に重ねられるように、前記画像処理を行う
ことを特徴とする請求項4に記載の画像処理装置。 - 前記複数のエッジ画像の間で、エッジの線種、エッジの色、エッジで囲まれた領域の色、及び、エッジで囲まれた領域のパターンの少なくともいずれかが異なる
ことを特徴とする請求項5に記載の画像処理装置。 - 前記複数の撮像画像を合成することにより前記拡張画像を生成する生成手段、をさらに備え、
前記画像処理は、前記拡張画像に対する画像処理である
ことを特徴とする請求項1乃至請求項6のいずれか1項に記載の画像処理装置。 - 前記検出手段は、前記露出条件が互いに異なる複数のフレームが繰り返される撮像動画の各フレームについて、そのフレームである対象フレームを含み、且つ、連続する複数のフレームの少なくともいずれかからエッジを検出し、
前記処理手段は、前記撮像動画の各フレームについて、前記対象フレームについて検出されたエッジを表すエッジ画像が前記拡張画像に重ねられるように、前記対象フレームについての検出結果に基づく画像処理を、前記対象フレームに対して行う
ことを特徴とする請求項1乃至請求項6のいずれか1項に記載の画像処理装置。 - 前記検出手段は、前記露出条件が互いに異なる複数のフレームが繰り返される撮像動画の各フレームについて、そのフレームである対象フレームと、前記対象フレームの1つ前のフレームである前フレームとのそれぞれからエッジを検出し、
前記処理手段は、前記撮像動画の各フレームについて、前記対象フレームに対応するエッジ画像と、前記前フレームに対応するエッジ画像とが前記拡張画像に重ねられるように、前記対象フレームについての検出結果に基づく画像処理を、前記対象フレームに対して行う
ことを特徴とする請求項1または請求項2に記載の画像処理装置。 - 前記画像処理は、前記エッジ画像を合成する画像処理である
ことを特徴とする請求項1乃至請求項9のいずれか1項に記載の画像処理装置。 - 前記検出手段は、前記エッジ画像を生成する
ことを特徴とする請求項1乃至請求項10のいずれか1項に記載の画像処理装置。 - 露出条件が互いに異なる複数の撮像画像の少なくともいずれかからエッジを検出する検出ステップと、
前記複数の撮像画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示が行われる場合に、前記検出ステップにおいて検出されたエッジを表すエッジ画像が前記拡張画像に重ねられるように、前記検出ステップの検出結果に基づく画像処理を行う処理ステップと、
を有することを特徴とする画像処理方法。 - 請求項12に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017094758A JP2018191243A (ja) | 2017-05-11 | 2017-05-11 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017094758A JP2018191243A (ja) | 2017-05-11 | 2017-05-11 | 画像処理装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018191243A true JP2018191243A (ja) | 2018-11-29 |
Family
ID=64479200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017094758A Pending JP2018191243A (ja) | 2017-05-11 | 2017-05-11 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018191243A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110166680A (zh) * | 2019-06-28 | 2019-08-23 | Oppo广东移动通信有限公司 | 设备成像方法、装置、存储介质及电子设备 |
-
2017
- 2017-05-11 JP JP2017094758A patent/JP2018191243A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110166680A (zh) * | 2019-06-28 | 2019-08-23 | Oppo广东移动通信有限公司 | 设备成像方法、装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5408053B2 (ja) | 画像処理装置、画像処理方法 | |
JP6087612B2 (ja) | 画像処理装置および画像処理方法 | |
JP2015043495A (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
JP2014086956A (ja) | 画像処理装置及び画像処理方法 | |
WO2019124289A1 (ja) | 装置、制御方法および記憶媒体 | |
JP5212046B2 (ja) | デジタルカメラおよび画像処理装置並びに画像処理プログラム | |
JP2017038165A (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
US11032463B2 (en) | Image capture apparatus and control method thereof | |
JP6445831B2 (ja) | 撮像装置及びその制御方法ならびにプログラム | |
US9413974B2 (en) | Information processing apparatus, image sensing apparatus, control method, and recording medium for conversion processing | |
JP2018191243A (ja) | 画像処理装置および画像処理方法 | |
JP2017212550A (ja) | 画像再生装置及びその制御方法、プログラム、記憶媒体 | |
JP2015095890A (ja) | 画像処理装置およびその制御方法 | |
JP7389558B2 (ja) | 情報処理装置およびその制御方法ならびにプログラム | |
JP6075829B2 (ja) | 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体 | |
JP2017163339A (ja) | 映像処理装置、映像処理方法、及びプログラム | |
JP2016208118A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2020149589A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2019208214A (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
US10334161B2 (en) | Image processing apparatus, image processing method, computer program and imaging apparatus | |
JP2015126299A (ja) | 画像処理装置、その制御方法およびプログラム | |
JP2015041869A (ja) | 撮像装置、情報処理方法及びプログラム | |
US11375106B2 (en) | Image capture apparatus and control method therefor | |
JP5663989B2 (ja) | 撮像装置、および画像合成プログラム | |
JP6025555B2 (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |