JP2017157043A - 画像処理装置、撮像装置、及び、画像処理方法 - Google Patents
画像処理装置、撮像装置、及び、画像処理方法 Download PDFInfo
- Publication number
- JP2017157043A JP2017157043A JP2016040442A JP2016040442A JP2017157043A JP 2017157043 A JP2017157043 A JP 2017157043A JP 2016040442 A JP2016040442 A JP 2016040442A JP 2016040442 A JP2016040442 A JP 2016040442A JP 2017157043 A JP2017157043 A JP 2017157043A
- Authority
- JP
- Japan
- Prior art keywords
- specular reflection
- image
- region
- area
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 60
- 238000003384 imaging method Methods 0.000 title claims abstract description 18
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000012937 correction Methods 0.000 claims abstract description 75
- 230000002093 peripheral effect Effects 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims description 48
- 239000013598 vector Substances 0.000 claims description 43
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 6
- 230000002349 favourable effect Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000003467 cheek Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Abstract
【課題】撮影時に被写体上で生じた鏡面反射が補正すべきものか否かを被写体表面の形状に基づき判定し、補正すべきと判定された鏡面反射を補正する技術を提供する。【解決手段】画像処理部画像に含まれる被写体像における鏡面反射領域を検出する検出手段202と、前記被写体像に対応する被写体表面の領域のうち、前記鏡面反射領域とその周辺領域との形状を表す情報を形状情報として取得する取得手段203と、検出された前記鏡面反射領域のうち、前記形状情報に基づき補正対象となる鏡面反射領域を決定する決定手段204と、前記補正対象に決定された鏡面反射領域の画素値を補正する補正手段205とを備える。前記決定手段は、前記鏡面反射領域の形状と前記周辺領域の形状とを比較し、前記比較の結果に基づいて前記被写体表面の平坦領域に発生している鏡面反射領域を前記補正対象に決定する。【選択図】図2
Description
本発明は、画像処理装置、撮像装置、及び、画像処理方法に関する。
カメラで撮影した画像から被写体表面の鏡面反射が生じている領域を検出し、その領域の画像信号を補正することにより、鏡面反射を除去、又は、強度を低減させる補正技術が知られている。この補正技術により、例えば人物の顔を撮影した場合に、肌の一部において鏡面反射による「てかり」が生じている場合に、その領域を補正して好ましい印象を与える画像に補正することができる。
また、画像中に含まれる鏡面反射には、好ましく無い印象を与えるものと、好ましい印象を与えるものとが存在する。特許文献1には、顔の「てかり」のような好ましく無い印象を与えるため補正すべき鏡面反射と、髪のつや、唇のつや、瞳の輝きなど、好ましい印象を与えるため補正すべきでない鏡面反射とを判別し、鏡面反射を補正する領域を制御する技術が開示されている。具体的には、被写体の所定の部位を検出し、部位に応じて鏡面反射を補正するか否かを制御している。
特許文献1の技術では、被写体の所定の部位を検出した結果に基づいて、画像中に含まれる鏡面反射を補正対象とすべきか否かを判定しているため、補正対象の部位が検出できない場合には補正を行えない。また、画像中に含まれる鏡面反射に対する印象は、その鏡面反射が生じている被写体の部位によってのみ決まるわけではない。例えば、被写体表面の形状的特徴に基づいて生じる鏡面反射は、その被写体の質感を表現するものであり、好ましい印象を与えるものであるから補正すべきでない。一方、同じ被写体であっても、形状的特徴とは無関係に撮影時の照明(例えば蛍光灯)が映り込むことによって生じる鏡面反射は、一般に好ましく無い印象を与えるのでから補正すべきである。
そこで本発明は、撮影時に被写体上で生じた鏡面反射が補正すべきものか否かを被写体表面の形状に基づき判定し、補正すべきと判定された鏡面反射を補正する技術を提供する。
上記課題を解決する発明は、画像処理装置であって画像に含まれる被写体像における鏡面反射領域を検出する検出手段と、前記被写体像に対応する被写体表面の領域のうち、前記鏡面反射領域とその周辺領域との形状を表す情報を形状情報として取得する取得手段と、検出された前記鏡面反射領域のうち、前記形状情報に基づき補正対象となる鏡面反射領域を決定する決定手段と、前記補正対象に決定された鏡面反射領域の画素値を補正する補正手段とを備え、前記決定手段は前記鏡面反射領域の形状と前記周辺領域の形状とを比較し、前記比較の結果に基づいて前記被写体表面の平坦領域に発生している鏡面反射領域を前記補正対象に決定する。
本発明によれば、撮影時に被写体上で生じた鏡面反射が補正すべきものか否かを被写体表面の形状に基づき判定し、補正すべきと判定された鏡面反射を補正することができる。
以下、添付図面を参照して、発明の実施形態について詳細に説明する。
[実施形態1]
図1は、発明の第1の実施形態に係る画像処理装置の一例としてのデジタルカメラ100の構成例を示すブロック図である。本実施形態では、画像処理装置としてデジタルカメラを例に説明するが、画像処理装置の実施形態はこれに限られない。デジタルカメラ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、PDA、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置が含まれる。
図1は、発明の第1の実施形態に係る画像処理装置の一例としてのデジタルカメラ100の構成例を示すブロック図である。本実施形態では、画像処理装置としてデジタルカメラを例に説明するが、画像処理装置の実施形態はこれに限られない。デジタルカメラ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、PDA、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置が含まれる。
図1において、レンズ群101は、フォーカスレンズを含むズームレンズである。絞り機能を備えるシャッター102が、レンズ群101と撮像部103との間に設けられている。撮像部103は、レンズ群101によって撮像面に形成される光学像を画素単位の電気信号に変換するCCD/CMOSイメージセンサを代表とする撮像素子を有する。A/D変換器104は、撮像部103が出力するアナログ信号をデジタル信号(画像データ)に変換する。
画像処理部105は、A/D変換器104から出力される画像データに対し、色補間(デモザイク)、ホワイトバランス調整、γ補正などの各種画像処理を行う。画像処理部105はまた、撮影された画像信号に含まれる鏡面反射(ハイライト)を低減するための本実施形態に対応する補正処理を行う。
画像メモリ106は画像データを一時的に記憶する。メモリ制御部107は、画像メモリ106の読み書きを制御する。D/A変換器108は、画像データをアナログ信号に変換する。表示部109はLCDや有機ELディスプレイ等の表示装置を有し、各種GUIやライブビュー画像、記憶媒体112から読み出して再生した画像などを表示する。コーデック部110は、画像メモリ106に記憶されている画像データを記憶媒体112に記録するために予め定められた方法で符号化したり、画像ファイルに含まれる符号化画像データを例えば表示のために復号したりする。インタフェース(I/F)111は、例えば半導体メモリカードやカード型ハードディスクなどの着脱可能な記憶媒体112を、デジタルカメラ100と機械的および電気的に接続する。
システム制御部50は例えばCPUやMPUなどのプログラマブルなプロセッサであってよい。システム制御部50は、例えば不揮発性メモリ121や内蔵する不揮発性メモリに記録されたプログラムを実行して必要なブロックや回路を制御することにより、デジタルカメラ100の機能を実現する。
被写体検出部113は、撮影された画像に含まれる被写体領域を検出し、検出された被写体領域のそれぞれについて、位置、大きさ、信頼度などの顔情報を求める。被写体としては、例えば画像に含まれる人物を検出することができる。また、被写体検出部113は被写体の所定の部位を検出する部位検出部として機能する。例えば、人物であれば、顔、目、口、鼻、備考、顔の輪郭、額、耳、頬などを検出することができる。この場合、被写体検出部113はニューラルネットワークに代表される学習を用いた手法、目、鼻、口などの各特徴部位を、画像領域からテンプレートマッチングを用い探し出し類似度が高ければ顔とみなす手法など、任意の方法を用いて顔領域を検出することができる。被写体検出部113は、画像処理部105に包含されても良い。また、被写体検出部113は、人物以外の任意の被写体像やその部位を検出するように構成されても良い。
測距センサ123は、複数のサンプリング点において、カメラと被写体との間の距離を測定し、撮影画像に対応する距離情報を2次元の距離マップ画像として出力する。操作部120は、ユーザがデジタルカメラ100に各種の指示を入力するためのボタンやスイッチなどの入力デバイスをまとめて記載したものである。表示部109がタッチパネルを有するタッチ感知型のディスプレイである場合、タッチパネルは操作部120に含まれる。また、音声入力や視線入力など、非接触で指示を入力するタイプの入力デバイスが操作部120に含まれてもよい。
不揮発性メモリ121は電気的に消去・記録可能な、例えばEEPROM等であってよい。不揮発性メモリ121は、各種の設定値、GUIデータをはじめ、システム制御部50がMPUやCPUである場合には、システム制御部50が実行するためのプログラムが記録される。システムメモリ122は、システム制御部50の動作用の定数、変数、不揮発性メモリ121から読みだしたプログラム等を展開するために用いる。
上述の図1のデジタルカメラ100において、撮像素子、表示素子、操作ボタンのような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをCPU等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。また、上記ではデジタルカメラ100をレンズ群101、シャッター102、撮像部103を含む構成として説明した。しかし、発明の実施形態は、撮影された画像に適用する画像処理、より具体的には鏡面反射の補正方法に関連する。よって、撮影や記録に関する構成は必須では無く、鏡面反射を処理するための画像編集装置、画像処理装置或いは情報処理装置として、撮像や記録の機能を有しない構成で実現してもよい。
次に、デジタルカメラ100における撮影時の動作について説明する。例えば撮像部103は、シャッター102が開いている際にレンズ群101が撮像面に形成する被写体像を撮像素子によって光電変換し、アナログ画像信号としてA/D変換器104へ出力する。A/D変換器104は撮像部103から出力されるアナログ画像信号をデジタル画像信号(画像データ)に変換し画像処理部105に出力する。
画像処理部105は、A/D変換器104からの画像データ、又は、メモリ制御部107からの画像データに対し、同時化処理(デモザイク処理)、γ補正などの各種画像処理を行う。また、画像処理部105では、撮影で得られた画像データを用いて輝度やコントラストなどに関する所定の演算処理を行い、得られた演算結果に基づいてシステム制御部50が焦点調節や露光制御を行う。焦点検出や露出制御に被写体検出部113の検出結果を考慮してもよい。このように、本実施形態のデジタルカメラ100では、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理を行う。画像処理部105ではさらに、撮影で得られた画像データを用いたオートホワイトバランス(AWB)調整も行う。画像処理部105から出力された画像データは、メモリ制御部107を介して画像メモリ106に書き込まれる。画像メモリ106は、撮像部103から出力された画像データや、表示部109に表示するための画像データを格納する。
また、D/A変換器108は、画像メモリ106に格納されている画像表示用のデータをアナログ信号に変換して表示部109に供給する。表示部109は、LCD等の表示装置に、D/A変換器108からのアナログ信号に応じた表示を行う。コーデック部110は、画像メモリ106に記録された画像データをJPEGやMPEGなどの規格に基づき符号化する。システム制御部50は符号化した画像データに対して予め定められたヘッダなどを付与して画像ファイルを形成し、インタフェース111を介して記憶媒体112に記録する。
デジタルカメラ100は、撮影スタンバイ状態においては動画撮影を行い、撮影された動画を表示部109に表示し続けることにより表示部109を電子ビューファインダ(EVF)として機能させることができる。この場合、シャッター102は開いた状態とし、撮像部103のいわゆる電子シャッターを用いて例えば30フレーム/秒の撮影を行う。操作部120に含まれるシャッターボタンが半押しされると上述のAF,AE制御が行われ、全押しされると本撮影により記録用の静止画撮影が実行され、記憶媒体112に記録される。また、動画撮影ボタンなどにより動画撮影が指示された場合は、記憶媒体112への動画記録を開始する。
図2は、画像処理部105の、リライティング処理に関係する機能構成例を示すブロック図である。なお、図2に示す機能ブロックの1つ以上は、マイクロプロセッサとソフトウェアの組み合わせよって実現されてもよいし、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)のようなハードウェアによって実現されてもよい。PLDにはFPGA(Field-Programmable Gate Array)、PLA(Programmable Logic Array)などが含まれる。本実施形態における鏡面反射を補正する処理において、撮影時の情報が必要な場合は不揮発性メモリ121またはシステムメモリ122から読み出したり、画像ファイルのヘッダなどから取得したりするものとする。
鏡面反射を補正する処理部としての画像処理部105は、信号生成部201、検出部202、形状算出部203、領域制御部204、補正部205を有する。画像処理部105が有する機能ブロックはこれらに限定されるものではなく、例えば被写体検出部113やその他の追加的な機能を更に有することができる。
以下、図2の各機能ブロックの動作を説明する。まず、図1のA/D変換器104から画像処理部105に入力された画像信号は、信号生成部201に入力される。信号生成部201は、画素あたり1色(R,G,Bのいずれか1つ)の情報を有する画像信号に同時化処理(デモザイク処理)を行い、各画素が3色(RGB)の情報を有する画像信号を生成する。信号生成部201は、生成した画像信号を検出部202、及び、補正部205へ出力する。
検出部202は、入力された画像信号R,G,Bに基づき、被写体表面で鏡面反射が生じている領域を検出する。ここで、鏡面反射とは、光源(例えば、太陽や室内の照明)から対象物の表面に入射したときの入射角θiと、表面から反射したときの反射角θrとが等しくなるような反射をいう。鏡面反射の検出方法には、例えば、二色性反射モデルに基づいて、画像信号の分布を主成分分析によって分析し、拡散反射成分のみを含む領域と、拡散反射成分と鏡面反射成分との両方を含む領域とに分離し、鏡面反射を検出する手法がある。また、検出部202は、これ以外の任意の方法を用いて鏡面反射が生じている領域を検出することができる。検出部202は、画像中で鏡面反射を検出した領域の位置を表す情報を位置情報として、形状算出部203へ出力する。また、抽出した鏡面反射成分の強度を算出し、撮影画像に対応する二次元の鏡面反射強度マップを生成して、領域制御部204へ出力する。
形状算出部203は、鏡面反射領域、及び、その周辺の領域における被写体表面の形状的特徴を表す形状情報を算出する。例えば、まず、測距センサ123が生成した距離マップ情報に対して、着目点と着目点に隣接する複数のサンプリング点での距離情報を用いて着目点における平面を定義する。次に、定義した平面の法線方向を表すベクトル(法線ベクトル)を算出して、着目点における法線ベクトルを算出する。形状算出部203は法線ベクトルの算出を入力される距離マップの各サンプリング点に対して順次実行し、その結果である法線マップを形状情報として、領域制御部204へ出力する。本実施形態では、法線ベクトルの方向のみに着目して制御するため、法線ベクトルの大きさは全て1に正規化する。形状算出部203は、上記の法線ベクトルの算出処理を、鏡面反射領域、及び、周辺領域のそれぞれに対して実行し、その結果を形状情報として、領域制御部204へ出力する。
領域制御部204は、検出部202が生成した鏡面反射強度マップの情報と、形状算出部203が生成した形状情報とに基づいて、鏡面反射補正の対象領域を決定する処理を行う。以下、図3及び図4を参照して、鏡面反射補正の対象領域を決定する方法について説明する。
図3(a)、(b)は、被写体表面の断面を模式的に表した図である。参照番号301及び302は、それぞれ異なる被写体の被写体表面を表す。被写体301は表面の曲率が大きく表面が球形状に近い。一方の被写体302の表面はほぼ平坦である。被写体301及び302の表面に示す矢印305から308はそれぞれ当該表面における法線ベクトルを示している。このうち、矢印305及び306を含む領域303及び304において鏡面反射が生じているものとする。
次に、図3(c)は検出部202が検出した鏡面反射の強度マップの一例を示す図である。本実施形態では、説明の簡単のために被写体301及び302について同一の強度マップが検出されたものとする。図3(c)では、鏡面反射が最も強い領域での値によって正規化した例を示している。本実施形態では、この強度マップにおいて予め定められた所定の閾値(th_s)より、鏡面反射強度が強い領域を鏡面反射領域と定義する。また、鏡面反射領域に隣接し、かつ、鏡面反射強度が所定の閾値(th_s)より低い領域を周辺領域と定義する。図3(c)の例では、領域303及び304が鏡面反射領域に該当し、領域309及び310が周辺領域に該当する。また、周辺領域の選択に際しては、画像中に含まれる被写体毎に領域を分割し、鏡面反射領域と周辺領域とが、同一の被写体に属する領域から選ばれるよう制御しても良い。
図3(a)は、鏡面反射領域303での法線ベクトル305の向きと、周辺領域309での法線ベクトル307の向きとが大きく異なる例を示している。この場合、鏡面反射領域303と周辺領域309とを含む領域311は平坦度が低いと判定される。これは例えば金属などの滑らかな表面を持つ円柱形状の被写体で生じる光沢に対応する。このような平坦度の低い領域(平坦領域)に発生した光沢は、被写体の質感や形状を反映した内的要因に基づく鏡面反射であり、見る者に好ましい印象を与えるので保持しておく。
一方、図3(b)は、鏡面反射領域304での法線ベクトルの向きと、周辺領域310での法線ベクトルの向きとがほぼ同じで大きく異なっていない。この場合、鏡面反射領域304と周辺領域310とを含む領域312は平坦度が高いと判定される。このような滑らかで平坦な面において発生した鏡面反射は、例えば蛍光灯などの照明が映り込んだか、ストロボ等の光が人物の顔の一部の領域で反射して「てかり」が生じたものと考えられる。かかる鏡面反射は、被写体の質感や形状とは無関係な光源環境のような外的要因を反映したものであり、一般的に見る者に好ましく無い印象を与えるので除去あるいは低減する。
このように同じ鏡面反射であっても、その成因に応じて見る者に与える印象が異なる。そこで、本実施形態では鏡面反射の成因が、被写体表面の形状等の被写体が有する特徴といった内的な要因に基づくものであるのか、または照明等のような外的な要因に基づくものであるのかを判定することにより補正対象とすべき鏡面反射を決定する。上記の検討に基づき発明の実施形態においては、被写体表面の特徴を分析し、鏡面反射が生じている領域とその周辺領域からなる判定対象領域の平坦度に基づき鏡面反射を補正すべきか否かを決定する。特には、鏡面反射が平坦度の高い領域に発生している場合に、当該鏡面反射を補正対象に決定する。
次に、図4に示したフローチャートを参照して、領域制御部204の処理の流れを詳しく説明する。まずS401では、鏡面反射領域と、その周辺領域との法線ベクトルの情報を取得する。具体的に、形状算出部203から取得した法線マップのサンプリング点の中で、鏡面反射が最も強い領域に位置するサンプリング点での法線ベクトルを抽出する。領域内に含まれる法線ベクトルが複数存在する場合は、その平均値をとっても良い。また、周辺領域内に位置する法線マップのサンプリング点の中で、鏡面反射領域に最も近い位置のサンプリング点における法線ベクトルの情報を抽出する。
続くS402では、抽出した法線ベクトルの方向を比較する。具体的には、鏡面反射領域での法線ベクトルと周辺領域での法線ベクトルとの内積値を算出する。周辺領域での法線ベクトルが複数抽出されている場合は、そのそれぞれに対して、鏡面反射領域での法線ベクトルとの内積値を算出し、その最大値を用いるようにする。例えば、周辺領域が鏡面反射領域を取り囲んでいるような場合、周辺領域は複数の部分領域に分割され、それぞれ法線ベクトルが与えられることになる。また、本実施形態では正規化により全ての法線ベクトルの大きさは等しく1であるため、内積値は対象の法線ベクトルの角度(cosθ)を示す。よって、内積が小さいほど法線ベクトルのなす角度は大きくなり、法線ベクトルが互いに向く方向が違う、或いは、法線ベクトルの交差角度が大きいことを示す。
続くS403では、算出した内積値を、予め定められた所定の閾値(th_p)と比較する。内積値が所定の閾値(th_p)より小さければ(S403で「YES」)S404へ進み、内積値が所定の閾値(th_p)以上であれば(S403で「NO」)S405へ進む。S404では、判定対象の鏡面反射領域は図3(a)に示した平坦領域おける鏡面反射の例に該当するため、当該鏡面反射領域を鏡面反射補正の対象領域から除外する。一方、S405では、判定対象の鏡面反射領域は図3(b)に示した平坦度の高い領域における鏡面反射の例に該当するため、当該鏡面反射領域を鏡面反射補正の対象領域として選択する。
続くS406では、対象領域として選択された領域の位置を表す情報を、補正部205へ出力する。上述のS401から405までの処理は、画像中に複数の鏡面反射領域が検出された場合、各領域に対して実行され、その結果が補正部205へ出力される。
補正部205では、領域制御部204が対象領域として選択した領域に対し、鏡面反射を除去、または、低減させる補正処理を行う。具体的には、鏡面反射の補正対象となる領域における鏡面反射強度の情報を検出部202から取得し、信号生成部201より入力された画像信号(画素値)から、鏡面反射に対応した成分を減算することにより、鏡面反射を除去、又は、低減させる。または、対象領域の色信号や輝度信号(以下、色・輝度信号という)が、その周辺領域の色・輝度信号に近づくよう対象領域の色・輝度信号を補正するようにしても良い。その他、鏡面反射領域を除去又は低減させるための公知の補正処理を実施することができる。
以上、説明したように、本実施形態では、鏡面反射を除去、又は、低減させる補正を行う際に、被写体の形状を表す情報に基づいて、鏡面反射補正の対象領域を選択する。具体的には、鏡面反射領域と、その周辺領域における法線ベクトルの方向が同一または類似した方向である場合、鏡面反射が発生している被写体表面は平坦度が高いとして、鏡面反射補正の対象領域とする。一方、法線ベクトルの方向が互いに異なる方向である場合、或いは、互いに類似していない場合に、鏡面反射が発生している被写体表面は平坦度が低いとして鏡面反射補正の対象領域とせずに、鏡面反射を残すよう制御する。これにより、被写体表面の形状といった内的要因に基づき生じたと見なされる鏡面反射を補正対象から除外することができる。また、照明の映り込みのような外的要因に基づき生じたと見なされる鏡面反射を積極的に除去、又は、低減することが可能となる。
また、上述の実施形態の説明では、入力された画像信号の分布に基づいて鏡面反射が生じている領域を検出する例を説明したが、発明の実施形態は、鏡面反射の検出方法をこれに限定するものではない。例えば、レンズ群101の前段に偏光フィルタを備える構成を用い、撮影時に偏光フィルタの向きを変えて複数枚の画像信号を取得し、その差分に基づいて、鏡面反射の生じている領域を検出する方法を用いても構わない。
また、上述の実施形態の説明では、被写体の形状を表す情報として、法線ベクトルの方向を用いる場合で説明したが、発明の実施形態は、被写体の形状を表す情報をこれに限定するものではない。例えば、測距センサ123の測定結果から生成した距離マップに基づいてカメラと被写体の間の距離を算出し、その距離の微分に基づき被写体の形状情報として用いても良い。例えば、距離マップにおいて隣り合うサンプル点の距離D1、D2につきΔd=D1−D2を算出する。このΔdを鏡面反射領域及びその周辺領域に含まれるサンプル点につき算出し、隣接するΔdの差分から変化率Vdを算出し閾値(th_d)と比較する。このとき変化率Vdが閾値以上の場合は被写体表面は平坦度が低いとして、鏡面反射補正の対象から除外してもよい。一方、変化率Vdが閾値よりも小さい値の場合、被写体表面は平坦度が高いとして、鏡面反射補正の対象とすることができる。
また、上述の実施形態の説明では、距離マップから法線ベクトルを算出する方法を用いる場合で説明したが、発明の実施形態は、法線ベクトルの算出方法をこれに限定するものではない。例えば、人物の顔や体、その他の任意の被写体など、特定の被写体の3次元モデル(3次元形状と法線ベクトル情報を含む)情報を予め取得しておき、画像中の被写体に対して、3次元モデルを当てはめることにより、法線ベクトルの方向を推定するようにしてもよい。
また、上述の実施形態で説明した被写体の形状情報に基づく鏡面反射補正の制御と併せて、被写体検出部113により人物の顔や髪の毛など所定の部位を検出した結果に基づいて鏡面反射補正の制御を行うようにしても良い。例えば、被写体像の所定の部位(例えば、人物の鼻、額)において鏡面反射が検出された場合、原則として当該鏡面反射を除去または低減する補正をすることとしておく。その場合、被写体像において所定の部位が検出され、検出された部位に鏡面反射が生じている場合は、当該部位が補正対象に決定される。一方、被写体像において所定の部位が検出されない場合、或いは、被写体像の所定の部位以外の領域で鏡面反射が生じている場合には、上述の発明の実施形態を適用して、当該鏡面反射が生じている領域を補正対象とするか否かを判定することができる。
また、上述の実施形態の説明では、法線ベクトルの方向の類似度を判定する際の内積値に対する閾値として、予め定められた値を用いる場合を説明したが、上記の方法以外の制御を行っても良い。例えば、内積値に対する閾値を、鏡面反射強度の変化の度合いに応じて定めるようにしても良い。具体的には、図3(d)に示すように、鏡面反射が生じている領域の境界における鏡面反射強度の変化が緩やかである場合には閾値を上げ(th_p(1))、変化が急峻である場合には閾値を下げる(th_p(2))ことができる。鏡面反射強度の変化が緩やかである場合、外部環境の影響よりも被写体表面の形状に基づく鏡面反射の可能性が高いと考えられる。そこで、この場合に閾値を上げることで、補正対象から除外される範囲を広げることができる。これにより、被写体表面の形状の変化がより小さく(内積値が1により近い)平坦に近い(平坦度が比較的高い)ものについても補正対象から除外することで、本来実施しなくても良い補正が行われることを防止できる。一方、鏡面反射強度の変化が急峻である場合、外部の環境による鏡面反射の可能性が高いと考えられる。よって、この場合には、閾値を下げることで、補正対象から除外される範囲を狭めることができる。これにより、被写体表面の形状の変化がより大きく(内積値が0により近い)、平坦度の低いものについても補正対象に含めることで、実施すべき補正処理を確実に行うことができる。これによれば、鏡面反射強度の変化と被写体の形状との関係において補正処理を制御することができる。
また、上述の実施形態の説明では、法線ベクトルの内積値に基づいて、鏡面反射補正の対象領域とするか否かを選択する方法で説明したが、発明の実施形態は、鏡面反射補正の制御の方法をこれに限定するものではない。例えば、法線ベクトルの内積値に応じて、鏡面反射補正の補正強度を制御するようにしてもよい。具体的には、内積値が大きな値を持つほど鏡面反射補正の補正強度を強めて、鏡面反射を完全に除去した状態に近づけるようにし、内積値が小さい値を持つほど鏡面反射補正の補正強度を弱めて、鏡面反射を低減させるように制御することができる。これは、内積値が大きい値になるほど被写体表面の平坦度が上がり、鏡面反射が外部環境の影響によるものと判断できるので、補正強度を強めて鏡面反射を完全に除去することが望ましいためである。その一方、内積値が小さい値になるほど被写体表面の変化が大きくなるため、鏡面反射は外部環境の影響よりも被写体表面の形状に基づくものと判断できる。よって、このような場合は補正強度を弱めて鏡面反射を低減させることが望ましい。
[実施形態2]
次に、図5及び図6を参照して、発明の第2の実施形態について説明する。上述の実施形態1では、被写体の形状情報に基づいて鏡面反射補正の対象とするか否かを制御した。本実施形態では、被写体の形状的特徴に加えて、画像の鏡面反射領域における画像的特徴にも基づいて、鏡面反射補正の対象とするか否かを判定する場合を説明する。
次に、図5及び図6を参照して、発明の第2の実施形態について説明する。上述の実施形態1では、被写体の形状情報に基づいて鏡面反射補正の対象とするか否かを制御した。本実施形態では、被写体の形状的特徴に加えて、画像の鏡面反射領域における画像的特徴にも基づいて、鏡面反射補正の対象とするか否かを判定する場合を説明する。
本実施形態におけるデジタルカメラ100の構成は、図1と同様である。図5(a)は、本実施形態における画像処理部105の構成例を示すブロック図である。実施形態1で図2に示した構成と同一の構成要素については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。実施形態2では、特徴算出部501が追加されている点で実施形態1とは異なる。後述するように特徴算出部501は、鏡面反射領域が有する画像的特徴を、鏡面反射領域における色信号及び輝度信号の変動の度合いに基づき判定する。
以下、本実施形態における鏡面反射補正の対象領域の決定方法を説明する。画像処理部105へ画像信号が入力され、検出部202において鏡面反射が検出されるまでの一連の処理の流れは実施形態1の場合と同様である。検出部202は、検出した鏡面反射を検出した領域の位置を表す一情報を形状算出部203及び特徴算出部501へ出力する。また、抽出した鏡面反射成分の強度を算出し、撮影画像に対応する二次元の鏡面反射強度マップを生成して、領域制御部204へ出力する。
本実施形態では、鏡面反射領域における色・輝度の変動の度合いに基づく画像的特徴を表す情報として、輝度エッジの特徴量を用いることとする。具体的には、信号生成部201が生成した画像信号R,G,Bから輝度信号Yを算出し、算出した輝度信号Yに図5(b)に示す係数を有するラプラシアンフィルタを適用し、出力値の絶対値を取る。その後に、輝度信号Yに対して正規化し、その値を判定の対象とする領域内で平均し、エッジの特徴を表すエッジ特徴量として用いる。輝度信号Yに対して正規化しているのは、鏡面反射領域と周辺領域とで輝度が異なっており、このような輝度の違いをエッジ特徴量の違いとして検出しないようにするためである。この正規化処理により、鏡面反射領域と周辺領域とに共通の模様が施されていた場合であっても、鏡面反射の影響を除外しつつ当該模様に基づくエッジ情報を検出することができる。エッジ特徴量は、領域内に含まれるエッジ成分が多いほど値が大きくなる。
特徴算出部501は、検出部202が検出した鏡面反射領域、及び、周辺領域のそれぞれに対して、エッジ特徴量を算出する。鏡面反射領域、及び、周辺領域の定義は、図3を参照して説明した実施形態1の場合と同様とする。特徴算出部501は、算出したエッジ特徴量を領域制御部204へ出力する。なお、鏡面反射の生じている領域の境界を、エッジとして検出しないようにするため、周辺領域を鏡面反射領域に隣接した領域でなく、所定の距離だけ離れた位置に設定するようにしても良い。
次に、図6に示すフローチャートを用いて、本実施形態における鏡面反射補正の対象領域の決定方法を説明する。図4で示した実施形態1と同様の処理は同一の符号を付し、詳細な説明は省略する。
まず、S401からS403までの一連の処理の内容は、実施形態1の場合と同様である。S403で、法線ベクトルの内積値が所定の閾値より大きい場合には、S601へ進む。このとき、被写体の表面の平坦度が高く、照明等の外的要因により鏡面反射が発生していると推測できる。実施形態1では、このような鏡面反射が発生している領域をS405において補正対象の領域に決定していた。しかし、鏡面反射の状況によってはこれを除去、低減するよりも維持した方がよい場合がある。これ以降の処理では、そのような状況に対応すべく鏡面反射領域における色・輝度信号の情報も用いて、鏡面反射補正の対象とするか否かを判定している。
S601では、鏡面反射領域でのエッジ特徴量から、周辺領域でのエッジ特徴量を減算した差分値を算出する。続くS602では、算出したエッジ特徴量の差分値を所定の差分閾値(th_e)と比較する。差分値が所定の差分閾値(th_e)より大きければS404へ進み、差分閾値以下の場合S405へ進む。
ここで、周辺領域よりも鏡面反射領域でのエッジ特徴量が大きい場合は、鏡面反射領域で生じている鏡面反射が、単純な照明(蛍光灯など)の反射でなく、滑らかで平坦な被写体表面に周囲の景色が映り込んでいる場合であると推定できる。この場合の映り込みはその場の情景を表現するものとなるため、好ましい印象を与える鏡面反射として判定して良い。したがって、S602でエッジ特徴量の差分値が所定の差分閾値を超えている場合はS404へ進み、その領域を鏡面反射補正の対象から除外する。一方、当該差分値が閾値以下の場合、鏡面反射領域で生じている鏡面反射は、単なる照明(蛍光灯など)の反射と推定できる。よって、S405へ進み、その領域を鏡面反射補正の対象から決定する。これ以降のS404からS406までの一連の処理の内容は、実施形態1の場合と同様であるため、詳細な説明は省略する。
以上、説明した通り、本実施形態では、被写体形状の情報に加えて、輝度エッジの特徴量も用いて対象領域の決定を行うようにした。特に、被写体表面の平坦度が高く外部要因による鏡面反射の発生が予想される場合であっても、鏡面反射領域と周辺領域とのエッジ特徴量の比較により被写体が本来有しているエッジ成分の影響を除外しつつ、鏡面反射を補正すべきか否かを判定することができる。例えば、周辺領域と鏡面反射領域とに同じような模様が元々付加されている場合、輝度成分を無視すればエッジ特徴量に閾値以上の差は出ないため、発生している鏡面反射は単なる照明の映り込みとして補正対象とすることができる。その一方、エッジ特徴量に閾値以上の差が出る場合、発生している鏡面反射自体にエッジ情報が含まれていることを意味する。これは景色の映り込みのような、見る者には好ましい印象を与える鏡面反射に該当する。そこで、このような鏡面反射は補正対象とせずに保持することができる。
なお、本実施形態では、色・輝度信号の変動を判定する際に、輝度エッジの特徴量を用いる場合で説明したが、発明の実施形態としては、色・輝度信号から鏡面反射領域の特徴を表す特徴量を用いる方法であれば、どのような方法を用いても構わない。例えば、輝度エッジの代わりに、色相の変動に着目して判定するようにしても良い。具体的には、鏡面反射領域、及び、周辺領域のそれぞれに対して、色相ヒストグラムを算出し、その頻度が所定の閾値を超える色相数を特徴量として用いるようにしても良い。鏡面反射領域での色相数が周辺領域での色相数を上回る場合は、単純な照明の反射でなく、周囲の景色の映り込みであると推定できるため、鏡面反射補正の対象領域から除外するよう制御する。この場合においても、鏡面反射領域と周辺領域とで被写体表面における色相数が同一または類似している場合に、係る被写体表面における色相数の連続性から逸脱するような変化が外的要因によりもたらされた場合に、これを検出し鏡面反射補正の対象から除外することができる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
50 システム制御部、101 レンズ群、103 撮像部、105 画像処理部、106 画像メモリ、107 メモリ制御部、109 表示部、113 被写体検出部、120 操作部、121 不揮発性メモリ、122 システムメモリ、123 測距センサ
Claims (12)
- 画像に含まれる被写体像における鏡面反射領域を検出する検出手段と、
前記被写体像に対応する被写体表面の領域のうち、前記鏡面反射領域とその周辺領域との形状を表す情報を形状情報として取得する取得手段と、
検出された前記鏡面反射領域のうち、前記形状情報に基づき補正対象となる鏡面反射領域を決定する決定手段と、
前記補正対象に決定された鏡面反射領域の画素値を補正する補正手段と
を備え、
前記決定手段は、前記鏡面反射領域の形状と前記周辺領域の形状とを比較し、前記比較の結果に基づいて前記被写体表面の平坦領域に発生している鏡面反射領域を前記補正対象に決定することを特徴とする画像処理装置。 - 前記決定手段は、前記比較により前記鏡面反射領域と前記周辺領域とを含む前記被写体表面の領域の平坦度を判定し、判定された平坦度に基づき前記補正対象となる鏡面反射領域を決定することを特徴とする請求項1に記載の画像処理装置。
- 前記形状情報は、前記被写体表面における法線方向を表す法線ベクトルを含み、
前記決定手段は、前記被写体表面のうち前記鏡面反射領域の法線ベクトルと前記周辺領域の法線ベクトルとの内積値に基づき前記平坦度を判定することを特徴とする請求項2に記載の画像処理装置。 - 前記決定手段は、前記内積値が閾値以上の値を有する場合に、対応する鏡面反射領域を前記補正対象に決定することを特徴とする請求項3に記載の画像処理装置。
- 前記所定の閾値は、前記鏡面反射領域における鏡面反射強度の変化に応じて決定され、前記鏡面反射強度の変化が緩やかなほど値が大きく、前記鏡面反射強度の変化が急峻なほど値が小さいことを特徴とする請求項4に記載の画像処理装置。
- 前記周辺領域が複数の部分領域から構成される場合、
前記決定手段は、前記被写体表面のうち前記複数の部分領域のそれぞれの法線ベクトルと、前記鏡面反射領域の法線ベクトルとの前記内積値を算出し、算出した内積値のうちの最大値に基づき、前記平坦度を判定することを特徴とする請求項3から5のいずれか1項に記載の画像処理装置。 - 前記補正手段は、前記平坦度が高いと判定された鏡面反射領域ほど、前記補正の強度を強めることを特徴とする請求項2から6のいずれか1項に記載の画像処理装置。
- 前記画像に含まれる前記被写体像から、所定の部位を検出する部位検出手段を更に備え、
前記決定手段は、
前記部位検出手段により前記所定の部位として検出された領域における鏡面反射領域を前記補正対象に決定し、
前記部位検出手段により前記所定の部位として検出されなかった領域における鏡面反射領域につき、該鏡面反射領域の形状情報に基づいて前記補正対象とすべきかを決定することを特徴とする、請求項1から7のいずれか1項に記載の画像処理装置。 - 前記画像から画像的特徴を表す特徴量を算出する算出手段を更に備え、
前記決定手段は、前記比較に基づき前記補正対象とすべき第1の鏡面反射領域について、前記算出手段が算出した前記第1の鏡面反射領域の第1の特徴量と前記第1の鏡面反射領域の周辺領域の第2の特徴量との比較に基づき、前記第1の鏡面反射領域を前記補正対象から除外するか否かを更に決定することを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。 - 前記画像的特徴は、前記画像の輝度信号の変動の大きさ、及び、前記画像の色信号の変動の大きさのうちの少なくともいずれかを含み、
前記決定手段は、前記第1の特徴量と前記第2の特徴量との差分が差分閾値よりも大きい場合に、前記第1の鏡面反射領域を前記補正対象から除外すると決定することを特徴とする、請求項9に記載の画像処理装置。 - 撮像手段と、
前記撮像手段が撮像した被写体像を含む画像を処理する請求項1から10のいずれか1項に記載の画像処理装置と
を備えることを特徴とする撮像装置。 - 画像処理装置の検出手段が、画像に含まれる被写体像における鏡面反射領域を検出する検出工程と、
前記画像処理装置の取得手段が、前記被写体像に対応する被写体表面の領域のうち、前記鏡面反射領域とその周辺領域との形状を表す情報を形状情報として取得する取得工程と、
前記画像処理装置の決定手段が、検出された前記鏡面反射領域のうち、前記形状情報に基づき補正対象となる鏡面反射領域を決定する決定工程と、
前記画像処理装置の補正手段が、前記補正対象に決定された鏡面反射領域の画素値を補正する補正工程と
を有し、
前記決定工程では、前記鏡面反射領域の形状と前記周辺領域の形状とを比較し、前記比較の結果に基づいて前記被写体表面の平坦領域に発生している鏡面反射領域を前記補正対象に決定することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016040442A JP2017157043A (ja) | 2016-03-02 | 2016-03-02 | 画像処理装置、撮像装置、及び、画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016040442A JP2017157043A (ja) | 2016-03-02 | 2016-03-02 | 画像処理装置、撮像装置、及び、画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017157043A true JP2017157043A (ja) | 2017-09-07 |
Family
ID=59809844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016040442A Pending JP2017157043A (ja) | 2016-03-02 | 2016-03-02 | 画像処理装置、撮像装置、及び、画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017157043A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110166684A (zh) * | 2018-06-29 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
WO2020066456A1 (ja) * | 2018-09-25 | 2020-04-02 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
WO2023149218A1 (ja) * | 2022-02-03 | 2023-08-10 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置 |
-
2016
- 2016-03-02 JP JP2016040442A patent/JP2017157043A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110166684A (zh) * | 2018-06-29 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
CN110166684B (zh) * | 2018-06-29 | 2021-09-17 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
US11348207B2 (en) | 2018-06-29 | 2022-05-31 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, computer-readable medium, and electronic device |
WO2020066456A1 (ja) * | 2018-09-25 | 2020-04-02 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
WO2023149218A1 (ja) * | 2022-02-03 | 2023-08-10 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200043225A1 (en) | Image processing apparatus and control method thereof | |
US9325899B1 (en) | Image capturing device and digital zooming method thereof | |
JP5704905B2 (ja) | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 | |
JP6833415B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US8988545B2 (en) | Digital photographing apparatus and method of controlling the same | |
JP2015012480A (ja) | 画像処理装置及び画像処理方法 | |
JP6720881B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2019106045A (ja) | 画像処理装置、方法及びプログラム | |
US20140184792A1 (en) | Image processing apparatus and image processing method | |
JP2017038162A (ja) | 撮像装置及び画像処理方法、プログラム、並びに記憶媒体 | |
US10121067B2 (en) | Image processing apparatus that determines processing target area of an image based on degree of saliency, image processing method, and storage medium | |
JP6157165B2 (ja) | 視線検出装置及び撮像装置 | |
JP6149854B2 (ja) | 撮像装置、撮像制御方法及びプログラム | |
US9020269B2 (en) | Image processing device, image processing method, and recording medium | |
JP6412386B2 (ja) | 画像処理装置およびその制御方法、プログラムならびに記録媒体 | |
JP2017157043A (ja) | 画像処理装置、撮像装置、及び、画像処理方法 | |
JP6718253B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6525503B2 (ja) | 画像処理装置および撮像装置 | |
JP5956844B2 (ja) | 画像処理装置およびその制御方法 | |
JP6808482B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US11842570B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
JP2012235257A (ja) | 撮影装置 | |
JP2017147764A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6666735B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム | |
JP6556033B2 (ja) | 画像処理装置、画像処理方法、及びプログラム |