JP2021164059A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2021164059A JP2021164059A JP2020063807A JP2020063807A JP2021164059A JP 2021164059 A JP2021164059 A JP 2021164059A JP 2020063807 A JP2020063807 A JP 2020063807A JP 2020063807 A JP2020063807 A JP 2020063807A JP 2021164059 A JP2021164059 A JP 2021164059A
- Authority
- JP
- Japan
- Prior art keywords
- map
- area
- image
- subject
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 139
- 238000003672 processing method Methods 0.000 title claims 3
- 238000012937 correction Methods 0.000 claims abstract description 153
- 238000011156 evaluation Methods 0.000 claims abstract description 68
- 238000009826 distribution Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims description 64
- 230000003287 optical effect Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 10
- 238000003702 image correction Methods 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】被写体領域の不自然なアーティファクトの発生を低減可能にする。【解決手段】画像処理装置は、画像に対応した画像評価値分布を画像評価値マップとして取得するマップ取得手段(107)と、画像評価値マップを用いて画像から抽出した被写体領域を含む第1の被写体領域マップを生成するマップ生成手段(110)と、第1の被写体領域マップと、画像評価値マップを用いずに生成された第2の被写体領域マップとの、少なくともいずれかを用いて画像に補正処理を行う処理手段(111,112)と、を有し、処理手段(111,112)は、第1の被写体領域マップと第2の被写体領域マップとの乖離度を求め、乖離度が高いほど、第1の被写体領域マップよりも第2の被写体領域マップを優先的に用いて、画像の補正処理を行う。【選択図】図1
Description
本発明は、撮像された画像に対する画像処理技術に関する。
従来、撮像された画像から被写体領域を検出し、その検出した被写体領域に対して、補正処理を施す技術が知られている。例えば、検出した被写体領域に対して、明るさを補正するリライティング処理などの技術が知られている。このリライティング処理により、環境光によって生じた影などの暗部領域を明るくし、好ましい画像を得ることが可能となる。
一方、特許文献1には赤外線画像を用いた被写体領域に対し、RGB画像の肌色領域を用いて補正する画像処理装置が開示されている。
一方、特許文献1には赤外線画像を用いた被写体領域に対し、RGB画像の肌色領域を用いて補正する画像処理装置が開示されている。
しかしながら、特許文献1に記載の技術では、色情報を用いて補正を行うため、背景に被写体と似た色が存在していた場合に、正しく補正することができない。このため、補正された被写体領域は不自然なもの(不自然なアーティファクトが発生したもの)となってしまう。
そこで、本発明は、被写体領域の不自然なアーティファクトの発生を低減可能にすることを目的とする。
本発明の画像処理装置は、画像に対応した画像評価値分布を画像評価値マップとして取得するマップ取得手段と、前記画像評価値マップを用いて前記画像から抽出した被写体領域を含む第1の被写体領域マップを生成するマップ生成手段と、前記第1の被写体領域マップと、前記画像評価値マップを用いずに生成された第2の被写体領域マップとの、少なくともいずれかを用いて前記画像に補正処理を行う処理手段と、を有し、前記処理手段は、前記第1の被写体領域マップと前記第2の被写体領域マップとの乖離度を求め、前記乖離度が高いほど、前記第1の被写体領域マップよりも前記第2の被写体領域マップを優先的に用いて、前記画像の補正処理を行うことを特徴とする。
本発明によれば、被写体領域の不自然なアーティファクトの発生を低減可能になる。
以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。さらに、以下で説明する図面において、同じ機能を有するものには同一の符号を付し、その説明を省略又は簡潔にすることもある。
<第1の実施形態>
図1は、例えば撮像装置(デジタルカメラ)に本実施形態の画像処理装置100が適用された場合の概略的な機能構成例を示したブロック図である。
図1に示すように、本実施形態の画像処理装置100は、システム制御部101、ROM102、及びRAM103を有している。さらに本実施形態の画像処理装置100は、光学系104、撮像部105、A/D変換部106、画像処理部107、記録媒体108、被写体検出部109、領域抽出部110、領域補正部111、領域別画像処理部112、及びバス113を有している。光学系104を除く各ブロックは、それぞれバス113に接続されている。
図1は、例えば撮像装置(デジタルカメラ)に本実施形態の画像処理装置100が適用された場合の概略的な機能構成例を示したブロック図である。
図1に示すように、本実施形態の画像処理装置100は、システム制御部101、ROM102、及びRAM103を有している。さらに本実施形態の画像処理装置100は、光学系104、撮像部105、A/D変換部106、画像処理部107、記録媒体108、被写体検出部109、領域抽出部110、領域補正部111、領域別画像処理部112、及びバス113を有している。光学系104を除く各ブロックは、それぞれバス113に接続されている。
システム制御部101は、画像処理装置100全体を制御するものであり、例えばCPUである。システム制御部101は、本実施形態に係るプログラムをROM102より読み出し、RAM103に展開して実行することにより画像処理装置100が備える各ブロックの動作を制御する。
ROM102は、書き換え可能な不揮発性メモリであり、例えばフラッシュROM等が用いられている。ROM102は、画像処理装置100が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。
RAM103は、書き換え可能な揮発性メモリであり、画像処理装置100が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。システム制御部101及び画像処理部107は、RAM103をワークメモリとして使用する。
光学系104は、被写体等の光学像を撮像部105の撮像面上に結像させる。光学系104には、例えば、固定レンズ、焦点距離を変更する変倍レンズ、焦点調節を行うフォーカスレンズ等が含まれている。光学系104には絞りも含まれており、絞りにより光学系の開口径を調節することで撮影時の光量調節を行う。
撮像部105は、例えばCCDイメージセンサやCMOSイメージセンサ等の撮像素子である。撮像部105は、光学系104により撮像素子に結像された光学像を光電変換し、得られた撮像信号(アナログ信号)をA/D変換部106に出力する。
A/D変換部106は、入力された撮像信号にA/D変換処理を適用し、得られた画像データをRAM103に出力して記憶させる。
A/D変換部106は、入力された撮像信号にA/D変換処理を適用し、得られた画像データをRAM103に出力して記憶させる。
画像処理部107は、RAM103に記憶されている画像データに対して画像処理を行う。具体的には、画像処理部107は、ホワイトバランス調整、色補間、縮小/拡大、フィルタリングなどの様々な処理や、画素毎の距離情報の生成等の様々な画像処理を行う。そして、画像処理部107は、画像処理後の画像データをRAM103や記録媒体108に記録する。
また本実施形態において、画像処理部107は、画素毎の距離情報を基に、撮像された画像に対応した画像評価値分布を表す画像評価値マップを取得するようなマップ取得処理を行う。本実施形態において、画像処理部107は、画素毎の距離情報に基づいて、画像一面におけるピント情報を表すデフォーカス量分布を生成し、そのデフォーカス量分布を、画像評価値分布を表す画像評価値マップとして取得する。本実施形態では、デフォーカス量の算出技術として、例えば、特開2008−15754号公報に記載されている、画像の位相差から画像一面のピント情報を取得する技術を用いるが、これに限定されるものではない。特開2008−15754号公報には、微小ブロックにおける一対の画素データを相対的にずらしながら、二つの画素データ間のずらし量に基づいてデフォーカス量分布を算出している。
記録媒体108は、例えば画像処理装置100に対して着脱可能なメモリカード等である。記録媒体108には、画像処理部107で処理されて一時的にRAM103に記憶されている画像データや、A/D変換部106でA/D変換された画像データ等が、記録画像として記録される。
被写体検出部109は、画像処理部107で処理された画像から特定の被写体の位置や向き等を検出する。例えば、被写体検出部109は、特定の被写体の位置や向きとして、顔や器官の位置や向き等を検出する。
領域抽出部110は、画像処理部107で処理された画像から被写体領域を抽出する。例えば、領域抽出部110は、画像の距離情報等の画像評価値マップと被写体検出部109で検出された顔等の検出位置とを基に、被写体領域を抽出する。そして、領域抽出部110は、それら画像評価値等を用いて抽出した被写体領域に基づいて第1の被写体領域マップを生成するようなマップ生成処理を行う。領域抽出部110における被写体領域の抽出処理、第1の被写体領域マップ生成処理の詳細は後述する。
領域補正部111は、領域抽出部110で抽出された被写体領域に対する補正処理を行う。詳細は後述するが、本実施形態の場合、領域補正部111は、領域抽出部110にて生成された第1の被写体領域マップに対して、後述するようなマップ補正処理を施す。さらに領域補正部111は、そのマップ補正処理後の第1の被写体領域マップと、画像評価値マップを用いずに予め生成した第2の被写体領域マップとの、乖離度を評価する。そして、領域補正部111は、その乖離度が高いほど、第1の被写体領域マップよりも第2の被写体領域マップを優先的に用いた第3の被写体領域マップを生成するような処理を行う。
詳細は後述するが、第2の被写体領域マップは、被写体検出部109が検出した顔や器官の位置や向きに応じて、事前に作成したモデルを当てはめることで生成される被写体領域マップである。また詳細は後述するが、第1の実施形態における乖離度は、マップ補正処理によって補正した第1の被写体領域マップから、第2の被写体領域マップの被写体領域を除いた後の領域の面積値とする。なお、第1の被写体領域マップに対するマップ補正処理、第2の被写体領域マップの詳細については後述する。
領域別画像処理部112は、画像評価値マップを用いて生成された第1の被写体領域マップと、画像評価値マップを用いずに生成された第2の被写体領域マップとの、少なくともいずれかを用いて、領域別の画像補正処理を行う。すなわち本実施形態の場合、領域別画像処理部112は、領域補正部111で生成された第3の被写体領域マップを用いて、領域別の画像処理を行う。領域別の画像補正処理は、例えば、被写体領域のなかの特定の領域についてだけ、明るさを調整するリライティング処理などの領域別画像補正処理を挙げることができる。
バス113は、画像処理装置100の各ブロックを接続し、各ブロックはバス113を介して信号のやり取りを行う。
図2(a)は、画像処理部107が画像処理を行った後の画像201の一例を示した図である。画像201は、室内で人物210を被写体として撮像した画像であるとする。また画像201は、画素毎に距離情報を有する画像であるとする。
図2(b)は、領域抽出部110が、画像201の距離情報をもとに被写体領域を抽出した被写体領域マップ202を示した図である。本実施形態において、被写体領域マップ202は、画像の画素毎の距離情報に基づくデフォーカス量分布による画像評価値マップを用いて生成される第1の被写体領域マップの一例である。被写体領域マップ202は、例えば、白が255で黒が0の8ビットの2値で表されるマップであり、白部分は被写体領域を表す被写体領域ラベルとして用いられ、黒部分は被写体領域外(非被写体領域)を表す非被写体ラベルラベルとして用いられる。このように、被写体領域マップは、白部分で表される被写体ラベルと、黒部分で表される非被写体ラベルとの、少なくとも二つのラベル領域にクラス分けされている。
ここで、人物における、顔の頬や、単色の服といったような、低コントラストの領域は正確に距離が測れないことがある。このため、領域補正部111は、そういった低コントラストの領域を判定するために、第1の被写体領域マップが生成された際の画素毎の距離情報つまり画素毎の画像評価値について、信頼度を算出する。例えば、領域補正部111は、画像の各画素における輝度値の分散を基に、画素毎の画像評価値(距離情報)について信頼度を算出する。そして、領域補正部111は、画素毎の画像評価値の信頼度の分布を表した信頼度マップを生成する。
図2(c)は、領域補正部111で算出された画素毎の画像評価値の信頼度分布を表した信頼度マップ203を示した図である。信頼度マップ203は、被写体領域マップと同様に、例えば白が255で黒が0の8ビットの2値で表されるマップである。信頼度マップ203において、白部分は信頼度が例えば閾値以上の高い信頼度の領域を表す高信頼度ラベルとして用いられ、黒部分は信頼度が閾値未満の低い信頼度の領域を表す低信頼度ラベルとして用いられる。
そして、領域補正部111は、信頼度マップ203で黒色の低信頼度ラベルとなっている領域については被写体領域として判定しないようにする。すなわち領域補正部111は、画像評価値マップに基づいて被写体領域を抽出して生成された第1の被写体領域マップに対し、信頼度マップで低信頼度ラベルになっている領域は被写体領域と判定しないようなマップ補正処理を行う。例えば、図2(c)に示した信頼度マップ203の例の場合、黒部分で表される低信頼度ラベルの領域は被写体領域とは判定されない。このため、第1の被写体領域マップは、信頼度マップ203で黒部分になっている低信頼度ラベルの領域が非被写体ラベルになされるように補正された、図2(b)に示すような被写体領域マップ202となる。つまり、領域補正部111によって補正された第1の被写体領域マップは、図2(b)に示すように、人物の領域内に黒色の領域が所々存在するような(穴が開いたような)被写体領域マップ202として生成される。ただし、領域別画像処理部112の領域別画像処理の際、図2(b)のような人物の領域内に所々穴が開いたような被写体領域マップ202を用いることは好ましくない。
そこで第1の実施形態の領域補正部111は、被写体領域に対する補正処理を行う。
図3は、第1の実施形態の領域補正部111における被写体領域補正処理の流れを示したフローチャートである。
まずステップS301において、領域補正部111は、画像201を、当該画像の色情報と輝度情報との少なくともいずれかに基づいて領域分割する。本実施形態では、特開2014−68279号公報に開示されている手法を用いることで画像の領域分割を行う。図2(d)は、領域補正部111が画像201を領域分割処理した後の領域分割結果204を示した図である。領域分割結果204は、分割領域毎にラベル分けしたものとなされている。なお、図2(d)中の分割領域206は、図2(a)の人物210の顔に相当する分割領域としてラベル分けされた領域である。このように、領域補正部111は、画像を複数の領域に分割する領域分割処理を行って、それら分割領域毎にラベル分けした領域分割結果を取得する。
図3は、第1の実施形態の領域補正部111における被写体領域補正処理の流れを示したフローチャートである。
まずステップS301において、領域補正部111は、画像201を、当該画像の色情報と輝度情報との少なくともいずれかに基づいて領域分割する。本実施形態では、特開2014−68279号公報に開示されている手法を用いることで画像の領域分割を行う。図2(d)は、領域補正部111が画像201を領域分割処理した後の領域分割結果204を示した図である。領域分割結果204は、分割領域毎にラベル分けしたものとなされている。なお、図2(d)中の分割領域206は、図2(a)の人物210の顔に相当する分割領域としてラベル分けされた領域である。このように、領域補正部111は、画像を複数の領域に分割する領域分割処理を行って、それら分割領域毎にラベル分けした領域分割結果を取得する。
このとき、画像201が例えば低彩度と低輝度の少なくともいずれかの画像であった場合、領域分割の分離性能が低下することがある。そのため、画像201が低彩度や低輝度である場合、領域補正部111は、領域分割処理に先立って、画像201に対してトーンカーブ補正処理を施すことで画像の彩度と輝度を調整する。すなわち領域補正部111は、画像の色分布情報と輝度分布情報のうちいずれかを基に、画像が低輝度と低彩度の少なくともいずれであるかを判定し、それらに該当すると判定した場合には、当該画像に対してトーンカーブ補正を行う。
また例えば、画像201を領域分割する場合、画像201の特定の被写体領域が細かく領域分割されてしまうことがある。このように特定の被写体領域が細分化されるのを防ぐために、領域補正部111は、被写体領域の面積もしくは特定の領域の面積に応じてトーンカーブ補正処理を適用するか否かを判定してもよい。例えば画像201において、人物210等の顔領域が領域分割によって細分化されて、顔領域の分割ラベルが細分化されてしまうのを防ぐために、領域補正部111は、人物210の顔領域の面積に応じてトーンカーブ補正処理を適用するか否かを判定する。例えば、領域補正部111は、人物210の顔領域の面積が所定の面積閾値以上である場合にはトーンカーブ補正処理を適用しないといった適用可否判定処理を行う。すなわち領域補正部111は、画像中の被写体領域の面積、もしくは被写体領域内の特定の領域の面積が、所定の面積閾値以上である場合にはトーンカーブ補正を適用しない。これにより、特定の被写体領域が細分化されるのを防ぐことができる。
また例えば、被写体が人物に限定されるような場合、領域補正部111は、領域分割の際に、顔などの肌の色で被写体領域に含まれる分割領域を適切に抽出することができる。この場合、領域補正部111は、被写体の人物の顔の色情報を抽出し、その色情報を有する領域を予め抽出しておくようにする。なお、被写体は人物に限定されるものではなく、例えば車が被写体となされている場合も同様に、例えば車体の色情報を抽出し、その色情報をもつ領域を予め抽出しておいてもよい。すなわち領域補正部111は、特定の被写体の色を抽出し、その被写体の色に応じて領域分割を行い、その後に、残りの領域を分割する。例えば、被写体が人物である場合、領域補正部111は、被写体である人物の肌の色を抽出し、その肌の色に応じて領域分割を行い、その後に残りの領域を分割する。これにより、顔などの肌の色が含まれる被写体領域を適切に分割することができる。
次にステップS302において、領域補正部111は、ステップS301での領域分割処理によって分割された各分割領域の中から一つの分割領域を選択する。なお本実施形態の場合、領域補正部111は、図2(d)の領域分割結果204の中から、被写体の例えば人物210の顔に相当する分割領域206を選択したとする。
次にステップS303において、領域補正部111は、ステップS302で選択した分割領域の中に被写体領域の面積値が所定の面積値以上含まれているかどうかを判定する。領域補正部111は、選択した分割領域内に被写体領域の面積値が所定面積値以上含まれていると判定した場合にはステップS304に処理を進める。一方、被写体領域の面積値が所定面積値以上含まれていない(所定面積値未満である)と判定した場合、領域補正部111は、ステップS305に処理を進める。
ここで、図2(d)に例示した分割領域206の場合、ステップS302で選択した分割領域の中には、被写体領域の面積値が所定面積値以上含まれているので、ステップS304に進むとする。なお本実施形態の場合、所定の面積値は、判定対象になっている分割領域の面積に応じて決められるものとする。すなわち、この時の所定面積値は、分割された領域の面積に応じて変更することができる。
また例えば、分割領域の面積が所定の下限値以下である場合、数ピクセル程度の領域のはみ出しに敏感になる。このため、例えば図4のグラフに示すように、分割領域の面積が所定の下限値以下である場合にのみ、被写体領域の面積値判定に用いる所定面積値を固定値としてもよい。すなわち、被写体領域の面積値判定に用いる所定面積値は、分割された領域の面積が所定の下限値以下の場合には固定値としてもよい。図4のグラフは、横軸が分割領域の面積を示し、縦軸が被写体領域判定に用いる所定面積値を示している。この図4のグラフによれば、分割領域の面積が所定下限値より大きい場合には、被写体領域の判定に用いる所定面積値は、その分割領域の面積が大きくなるほど高い値に設定される。一方、分割領域の面積が所定の下限値以下の場合、被写体領域の判定に用いる所定面積値は固定値に設定される。
ステップS304に進むと、領域補正部111は、ステップS302で選択した分割領域内で所定面積値以上含まれていると判定された領域(補正対象領域とする)を被写体領域に含めるように修正する。すなわち分割領域内で所定面積値以上含まれていると判定された補正対象領域は、前述した信頼度マップにおいて低信頼度となっている領域である。ここで、被写体領域マップで非被写体ラベルになっており、信頼度マップが高信頼度になっている補正対象領域は、被写体とは異なる距離の領域、例えば背景等の領域である可能性が高い。このため、その補正対象領域については被写体領域に修正する必要はない。一方で、信頼度マップ303のうち、領域306に対応する低信頼度の領域については被写体領域である可能性が高いため、その補正対象領域を被写体領域に修正する。
また例えば、ステップS302で選択した分割領域が、画像に対して占める割合が高すぎる場合、修正の必要がない領域を修正してしまうリスクが高くなる。このため、ステップS302で選択した分割領域の面積が所定の上限値以上である場合、補正対象領域を被写体領域に修正するようなことを行わないようにする。すなわち領域補正部111は、分割された領域が所定の上限値以上の面積である場合には、補正対象領域に対する補正を行わないようにする。なお、該所定の上限値は、画像の面積に応じて決めてもよいし、被写体の人物の顔の面積に応じて決めてもよい。
ステップS305に進むと、領域補正部111は、すべての分割領域について処理が終了したか判定し、終了していないと判定した場合にはステップS302に処理を戻して未処理の分割領域を選択する。一方、ステップS305において処理が終了したと判定した場合、領域補正部111は、図3のフローチャートの処理を終了する。
以上説明したような被写体領域マップの補正処理により、図2(e)に示すような補正後被写体領域マップ205が得られる。
しかし、前述した手法は色情報、輝度情報に基づく補正処理であるため、被写体と似た色、輝度を持つ物体が被写体周辺にあると、誤った補正処理を行ってしまう場合がある。
しかし、前述した手法は色情報、輝度情報に基づく補正処理であるため、被写体と似た色、輝度を持つ物体が被写体周辺にあると、誤った補正処理を行ってしまう場合がある。
これについて、図5(a)〜図5(e)を用いて説明する。図5(a)は図2(a)と同様の画像501を表し、図5(b)は図2(b)と同様の第1の被写体領域マップ502を、図5(c)は図2(c)と同様の信頼度マップ503を表している。また、図5(d)は図2(d)と同様の領域分割結果504を、図5(e)は図2(e)と同様の補正後被写体領域マップ505を表している。各々の生成方法は図2(a)〜図2(e)で述べた方法と同様であるためそれらの説明は省略する。
ここで、図5(a)〜図5(e)の例において、前述した図2(a)〜図2(e)の例と異なるのは、被写体周辺に被写体と同色かつ低コントラストのオブジェクト506が存在することである。オブジェクト506は低コントラストであるため、信頼度マップ503においてオブジェクト506に対応した領域511は低信頼の領域となる。また、オブジェクト506は被写体と同色であるため、領域分割結果504では、被写体(顔の領域)とオブジェクト506の領域とが結合した分割領域512が生成されてしまう。そして、補正後被写体領域マップ505は、図5(e)に示すようなマップになってしまう。この場合、後段の領域別画像処理部112において、補正後被写体領域マップ505を基に領域別画像処理を行うと、被写体領域が適切に補正されずに不自然なアーティファクトが発生してしまう。
そこで第1の実施形態において、領域補正部111は、画像評価値マップを用いて生成した第1の被写体領域マップを補正したときに、過補正された領域を、被写体領域マップ補正処理のための補正評価値として算出する。本実施形態では、この補正評価値が、第1の被写体領域マップと第2の被写体領域マップとの乖離度である。そして領域補正部111は、この補正評価値(乖離度)に応じて、前述のように被写体領域が補正された第1の被写体領域マップと、第2の被写体領域マップとの、どちらを領域別画像処理に用いるか選択する。本実施形態の場合、領域補正部111は、第1の被写体領域マップと第2の被写体領域マップとの乖離度が高いほど、第2の被写体領域マップを第1の被写体領域マップよりも優先的に用いるようした第3の被写体領域マップを生成する。これにより、領域別画像処理における画像の不自然なアーティファクト発生を低減することができる。
以下、このようなことを実現する第1の実施形態の画像処理装置100における処理の流れを図6のフローチャートを用いて説明する。
ステップS601において、領域抽出部110は、第1の被写体領域マップを生成する。第1の被写体領域マップは、前述したように、領域抽出部110が画像の距離情報等を基に抽出した被写体領域に基づいて生成される。
ステップS601において、領域抽出部110は、第1の被写体領域マップを生成する。第1の被写体領域マップは、前述したように、領域抽出部110が画像の距離情報等を基に抽出した被写体領域に基づいて生成される。
またステップS602において、領域補正部111は、第2の被写体領域マップを生成する。第1の実施形態の場合、領域補正部111は、被写体検出部109が検出した顔や器官の位置や向きを基に、事前に作成したモデルを当てはめて、第2の被写体領域マップを生成する。本実施形態の場合、事前に作成されたモデルは例えば人型のモデルとするが、これに限定されるものではない。
なお、ステップS601とステップS602の処理順は図6の例に限定されず、ステップS602の処理が先に行われ、その後ステップS601の処理が行われてもよい。
なお、ステップS601とステップS602の処理順は図6の例に限定されず、ステップS602の処理が先に行われ、その後ステップS601の処理が行われてもよい。
次にステップS603に進むと、領域補正部111は、第1の被写体領域マップに対するマップ補正処理を行う。ここでのマップ補正処理は、前述した図3のフローチャートを用いて説明した被写体領域補正処理であるためその説明を省略する。
次にステップS604に進むと、領域補正部111は、マップ補正処理のための補正評価値を算出する。本実施形態では、補正する必要がなかった領域を補正していないかどうかを評価する。第1の実施形態の場合、マップ補正処理のための補正評価値として、第1の被写体領域マップと第2の被写体領域マップとの乖離度を算出する。第1の実施形態において、乖離度は、補正された第1の被写体領域マップから第2の被写体領域マップの被写体領域を除いた後の領域の面積値である。本実施形態の場合、第1の被写体領域マップの信頼度が低い領域で且つ、補正後の第1の被写体領域マップから第2の被写体領域マップにおける被写体領域を除いた領域の面積値が、乖離度として用いられる。
これについて、図7を用いて説明する。
まず、領域補正部111は、補正後の第1の被写体領域マップ701から、補正された領域を算出する。これは、信頼度マップ702の白部分と黒部分とを反転させたマップ703と、補正後の第1の被写体領域マップ701とを論理積演算(and演算)すれば求めることができる。これにより、第1の被写体領域マップ701において補正された領域を表す補正領域マップ704が得られる。
まず、領域補正部111は、補正後の第1の被写体領域マップ701から、補正された領域を算出する。これは、信頼度マップ702の白部分と黒部分とを反転させたマップ703と、補正後の第1の被写体領域マップ701とを論理積演算(and演算)すれば求めることができる。これにより、第1の被写体領域マップ701において補正された領域を表す補正領域マップ704が得られる。
次に、領域補正部111は、補正領域マップ704から、補正する必要がなかった領域を算出する。これは、第2の被写体領域マップ705の白部分と黒部分とを反転させたマップ706と、補正領域マップ704とを論理積演算すれば求めることができる。これにより、過補正された領域を表す過補正領域マップ707が得られる。第1の実施形態の場合、この過補正領域マップにおいて白部分になっている面積値が補正評価値であり、第1の被写体領域マップと第2の被写体領域マップとの乖離度に相当する。
次にステップS605において、領域補正部111は、補正評価値(乖離度)が所定の評価閾値未満かどうかを判定する。第1の実施形態では、該所定の評価閾値は画像の面積に応じて決定する固定値とするがこの限りではない。例えば、所定の評価閾値は、被写体の顔の面積に応じて決められてもよい。
ステップS605において補正評価値が所定の評価閾値未満と判定された場合、第1の被写体領域マップは適切に補正されたと判断できるため、領域補正部111は、ステップS606に処理を進めて、補正後の第1の被写体領域マップを選択する。一方、ステップS605において、補正評価値が所定の評価閾値以上と判定された場合、第1の被写体領域マップは適切に補正されなかったと判断できるため、領域補正部111は、ステップS607に処理を進め、第2の被写体領域マップを選択する。これらステップS606又はステップS607の処理によって得られた被写体領域マップが、第3の被写体領域マップとして、領域補正部111から後段の領域別画像処理部112に送られる。
そして、ステップS608に進むと、領域別画像処理部112では、領域補正部111から送られてきた第3の被写体領域マップを基に、領域別画像処理を行う。なお、第1の実施形態では、領域別画像処理として領域別リライティングを行うものとするが、この限りではない。例えば、領域別画像処理は、領域別再現像処理等であってもよい。
以上説明したように、第1の実施形態の画像処理装置100においては、第1の被写体領域マップが適切の補正されなかった場合は、優先的に第2の被写体領域マップが領域別画像処理に用いられることなる。このため、第1の実施形態の画像処理装置100によれば、領域別画像処理における画像の不自然なアーティファクトの発生を低減することができる。
第1の実施形態では、例えば二つの画素データ間のずらし量に基づいて算出されたデフォーカス量分布を、画像評価値マップとしているが、これ限るものではない。例えば、画像評価値マップは、コントラスト測距方式による被写体距離つまりフォーカス位置を逐次異ならせて得られる画像群から取得されるコントラスト情報分布に基づいて生成されても良い。また例えば、画像評価値マップは、像面側のデフォーカス量を物体面側の距離値に変換した距離情報分布に基づいて生成されても良い。また距離情報分布を取得する際の測距の方式は、位相差測距方式、コントラスト測距方式あるいは画像特徴に基づくパッシブ方式に限定されない。例えば、測距は、TOF(Time Of Flight)方式等の測距センサモジュールから得た距離分布に関連する情報が用いられてもよい。また例えば、ピントや絞り値が異なる2枚の画像の相関からデフォーカス量を取得するDFD(Depth From Defocus)方式を用いたデフォーカス量分布が用いられてもよい。また例えば、赤外光を物体に照射し、その物体で反射した赤外光を受光して得られた赤外線分布情報が距離情報として用いられてもよい。また第1の実施形態では、距離情報に基づく画像評価値マップを用いて第1の被写体領域マップを生成したが、これに限るものではない。例えば、第1の被写体領域マップは、意味的領域分割の確率分布情報を用いて生成されてもよい。また、第1の被写体領域マップは、例えば動きベクトル分布をマップ化したオプティカルフロー分布情報、色情報を基にラベリングした色ラベルマップ、機械学習に基づいた意味的領域分割などに基づいて被写体領域マップが生成されてもよい。すなわち本実施形態において、画像評価値マップは、色分布情報、輝度分布情報、デフォーカス量分布情報、視差分布情報、距離分布情報、意味的領域分割の確率分布情報、赤外線分布情報、オプティカルフロー分布情報のうち、いずれかを含むものでもよい。
第1の実施形態では、色分布情報と輝度分布情報の少なくともいずれかを用いて被写体領域の補正処理を行ったが、これに限るものではない。例えば、被写体領域の補正処理は、意味的領域分割の確率分布情報と赤外線分布情報とのうち、第1の被写体領域マップ生成に用いていない、いずれかの情報を用いて行われてもよい。すなわち第1の実施形態において、被写体領域補正処理での領域分割の際には、色分布情報と、輝度分布情報と、意味的領域分割の確率分布情報と、赤外線分布情報と、のうち画像評価値マップとは異なるいずれかを用いてもよい。
また第1の実施形態では、被写体検出部109が検出した顔や器官の位置や向きから、事前に作成したモデルを当てはめて第2の被写体領域マップを生成したが、これに限るものではない。例えば、第2の被写体領域マップは、意味的領域分割の確率分布情報、赤外線分布情報のうち、いずれかの情報を用いて生成されてもよい。
<第2の実施形態>
以下、本発明に係る第2の実施形態の画像処理装置100について、図面を参照して詳細に説明する。なお、第2の実施形態の構成は前述した図1と同様であるため、その図示及び構成の説明は省略する。
以下、本発明に係る第2の実施形態の画像処理装置100について、図面を参照して詳細に説明する。なお、第2の実施形態の構成は前述した図1と同様であるため、その図示及び構成の説明は省略する。
第2の実施形態の画像処理装置100は、第1の実施形態と同様に、第1の被写体領域マップを補正したときに、過補正となっている領域を補正評価値(乖離度)として算出する。そして、第2の実施形態の画像処理装置100は、この補正評価値(乖離度)に応じて、補正後の第1の被写体領域マップと、画像評価値マップを用いずに生成した第2の被写体領域マップとを加重合成し、この加重合成したマップを第3の被写体領域マップとする。この第3の被写体領域マップを領域別画像処理に用いることにより、第2の実施形態の画像処理装置100においても、領域別画像処理における画像の不自然なアーティファクトの発生を低減することができる。
図8は、第2の実施形態の領域補正部111における処理の流れを示したフローチャートである。ステップS801からステップS804までの各処理は、前述した図6のステップS601からステップS604までの処理と同様であるためそれらの説明は省略する。
ステップS804の後、ステップS805に進むと、領域補正部111は、画像評価値マップを用いて生成されて補正した後の第1の被写体領域マップと、画像評価値マップを用いずに生成した第2の被写体領域マップとを、加重合成する。
これについて図9を用いて説明する。ここで、補正後の第1の被写体領域マップ901は図7で説明した補正後の第1の被写体領域マップ701と同様のものである。また、第2の被写体領域マップ902は前述の第2の被写体領域マップ705と同様のものであり、過補正領域マップ903は過補正領域マップ707と同様のものである。
第2の実施形態の場合、まず、領域補正部111は、過補正領域マップ903を用いて合成比率を算出する。ここで、領域補正部111は、過補正領域マップ903の面積が多いほど、第1の被写体領域マップ902の合成比率を増やす。第2の実施形態では、過補正領域マップ903の面積のみを用いて合成比率を算出するが、この限りではない。例えば合成比率は、過補正領域マップ903の面積と被写体の顔の面積に応じて算出されてもよい。
次に、領域補正部111は、前述の合成比率を基に、補正後の第1の被写体領域マップ901と第2の被写体領域マップ902とを加重合成する。これにより、加重合成後マップ904(第3の被写体領域マップ)が得られる。
ステップS806の処理は、ステップS608と同様であるためその説明は省略する。
ステップS806の処理は、ステップS608と同様であるためその説明は省略する。
以上のように、第2の実施形態の場合、領域補正部111は、第1の被写体領域マップの補正の過剰具合に応じて、補正後の第1の被写体領域マップと第2の被写体領域マップとを加重合成して第3の被写体領域マップを生成する。第2の実施形態によれば、この加重合成したマップ(第3の被写体領域マップ)を領域別画像処理に用いることで、領域別画像処理における画像の不自然なアーティファクトの発生を低減することができる。
<第3の実施形態>
以下、本発明に係る第3の実施形態による画像処理装置100について、図面を参照して詳細に説明する。なお、第3の実施形態の構成は前述した図1と同様であるため、その図示及び構成の説明は省略する。
第3の実施形態では、被写体領域マップの補正処理において補正不足となっている領域が発生した場合について述べる。第3の実施形態の場合、乖離度は、第1の被写体領域マップのなかで信頼度が低い領域で且つ補正しなかった領域で且つ被写体領域となる領域の面積値である。
以下、本発明に係る第3の実施形態による画像処理装置100について、図面を参照して詳細に説明する。なお、第3の実施形態の構成は前述した図1と同様であるため、その図示及び構成の説明は省略する。
第3の実施形態では、被写体領域マップの補正処理において補正不足となっている領域が発生した場合について述べる。第3の実施形態の場合、乖離度は、第1の被写体領域マップのなかで信頼度が低い領域で且つ補正しなかった領域で且つ被写体領域となる領域の面積値である。
これについて、図10(a)〜図10(e)を用いて説明する。図10(a)は図2(a)と同様の画像1001を表し、図10(b)は図2(b)と同様の被写体領域マップ1002を表している。また、図10(c)は図2(c)と同様の信頼度マップ1003を、図10(d)は図2(d)と同様の領域分割結果1004を、図10(e)は図2(e)と同様の補正後被写体領域マップ1005を表している。各々の生成方法は図2(a)〜図2(e)で述べた方法と同様であるためそれらの説明は省略する。
ここで、図10(a)〜図10(e)の例において、前述した図2(a)〜図2(e)の例と異なるのは、被写体内に被写体の主たる色とは異なる色を持つ模様1006が存在することである。模様1006は、領域分割結果1004のように分割されるが、第1の被写体領域マップ1002のように被写体領域は存在しない。そのため、補正処理によっては補正されず、補正後被写体領域マップ1005のような補正不足が生ずる。これにより、後段の領域別画像処理において不自然な画像が生成されてしまうことになる。
第3の実施形態の場合、領域補正部111は、第1の被写体領域マップを補正したときに、補正不足となっている領域を補正評価値(乖離度)として算出する。領域補正部111は、この補正(乖離度)に応じて、補正後の第1の被写体領域マップと第2の被写体領域マップとのどちらを領域別画像処理に用いるかを選択して第3の被写体領域マップを生成する。これにより、第3の実施形態によれば、領域別画像処理における画像の不自然なアーティファクトの発生を低減することができる。
第3の実施形態における処理の流れを、前述した図6のフローチャートを参照しながら説明する。ただし、第3の実施形態の場合、第1の実施形態のステップS604で行われる補正評価値算出の処理のみが異なる。そのため、それ以外の処理の説明は省略する。
第3の実施形態の場合、ステップS604において、領域補正部111は、補正すべきだった領域を補正しているかどうかを評価する。すなわち、第3の実施形態の場合、第1の被写体領域マップ生成時の信頼度が低い領域で且つ補正しなかった領域において、第2の被写体領域マップの被写体領域となる領域の面積値を、マップ補正処理のための補正評価値(乖離度)として用いる。
これについて、図11を用いて説明する。
まず、領域補正部111は、補正後の第1の被写体領域マップ1101から補正された領域を算出する。これは、補正後の第1の被写体領域マップ1101と信頼度マップ1102とを論理和演算(or演算)したマップ1103を反転することで求められる。これにより、未補正領域マップ1104が得られる。
まず、領域補正部111は、補正後の第1の被写体領域マップ1101から補正された領域を算出する。これは、補正後の第1の被写体領域マップ1101と信頼度マップ1102とを論理和演算(or演算)したマップ1103を反転することで求められる。これにより、未補正領域マップ1104が得られる。
次に、領域補正部111は、未補正領域マップ1104から補正すべきだった領域を算出する。これは、第2の被写体領域マップ1105と未補正領域マップ1104とを論理積演算(and演算)すれば求めることができる。これにより、補正不足領域マップ1106が得られる。
第3の実施形態では、この補正不足領域マップの面積が、マップ補正処理のための補正評価値(乖離度)となる。以降の処理は、第1の実施形態と同様であるため説明は省略する。
第3の実施形態では、この補正不足領域マップの面積が、マップ補正処理のための補正評価値(乖離度)となる。以降の処理は、第1の実施形態と同様であるため説明は省略する。
以上のように、第3の実施形態では、第1の被写体領域マップが適切の補正されなかった場合は、第2の被写体領域マップが優先的に領域別画像処理に用いられるため、領域別画像処理における画像の不自然なアーティファクトの発生を低減することができる。
第3の実施形態では、第1の実施形態と同様に、補正評価値(乖離度)に応じて補正後の第1の被写体領域マップと第2の被写体領域マップのどちらを領域別画像処理に用いるか選択する、としたがこの限りではない。例えば第3の実施形態でも第2の実施形態と同様に、補正評価値(乖離度)に応じて、補正後の第1の被写体領域マップと第2の被写体領域マップとを加重合成し、この加重合成したマップを第3の被写体領域マップとして領域別画像処理に用いてもよい。
第3の実施形態では、補正不足領域マップの面積を補正評価値(乖離度)としたが、第1の実施形態および第2の実施形態で用いた過補正領域マップの面積と、補正不足領域マップの面積との和もしくは加重和を乖離度(補正評価値)としてもよい。この場合の乖離度は、補正後の領域から第1の被写体領域マップの被写体領域を除いた領域の面積値と、第1の被写体領域マップ生成時の信頼度が低い領域で且つ補正されなかった領域における第2の被写体領域マップの被写体領域の面積値とを合成した値である。
以上説明した第1〜第3の各実施形態によれば、主被写体領域マップの補正処理に失敗しても被写体領域の不自然さを低減できる画像処理装置を提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの各実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。前述の実施形態では、画像処理装置がデジタルカメラに適用される例を挙げたが、画像処理部107、被写体検出部109、領域抽出部110、領域補正部111および領域別画像処理部112を分離して例えばコンピュータとする構成でも構わない。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
100:画像処理装置、101:システム制御部、105:撮像部、107:画像処理部、109:被写体検出部、110:領域抽出部、111:領域補正部、112:領域別画像処理部
Claims (19)
- 画像に対応した画像評価値分布を画像評価値マップとして取得するマップ取得手段と、
前記画像評価値マップを用いて前記画像から抽出した被写体領域を含む第1の被写体領域マップを生成するマップ生成手段と、
前記第1の被写体領域マップと、前記画像評価値マップを用いずに生成された第2の被写体領域マップとの、少なくともいずれかを用いて、前記画像に補正処理を行う処理手段と、を有し、
前記処理手段は、前記第1の被写体領域マップと前記第2の被写体領域マップとの乖離度を求め、前記乖離度が高いほど、前記第1の被写体領域マップよりも前記第2の被写体領域マップを優先的に用いて、前記画像の補正処理を行うことを特徴とする画像処理装置。 - 前記処理手段は、
前記第1の被写体領域マップと前記第2の被写体領域マップとの乖離度を求め、前記乖離度が高いほど、前記第1の被写体領域マップよりも前記第2の被写体領域マップを優先的に用いた第3の被写体領域マップを生成するマップ補正手段と、
前記第3の被写体領域マップを用いて前記画像の補正処理を行う画像補正手段と、
を有することを特徴とする請求項1に記載の画像処理装置。 - 前記マップ補正手段は、前記画像を基に前記第1の被写体領域マップを補正し、当該補正した第1の被写体領域マップと前記第2の被写体領域マップとの前記乖離度を算出することを特徴とする請求項2に記載の画像処理装置。
- 前記乖離度は、前記第1の被写体領域マップの前記補正された領域から、前記第2の被写体領域マップの被写体領域を除いた後の領域の面積値であることを特徴とする請求項3に記載の画像処理装置。
- 前記乖離度は、前記第1の被写体領域マップの前記補正されていなく且つ信頼度が低い領域で、且つ前記第2の被写体領域マップの被写体領域となる領域の面積値であることを特徴とする請求項3に記載の画像処理装置。
- 前記乖離度は、前記第1の被写体領域マップの前記補正された領域から前記第2の被写体領域マップの被写体領域を除いた領域の面積値と、前記第1の被写体領域マップの前記補正されていなく且つ信頼度が低い領域で、且つ前記第2の被写体領域マップの被写体領域となる領域の面積値とを、合成した値であることを特徴とする請求項3に記載の画像処理装置。
- 前記マップ補正手段は、前記画像を分割した領域を基に、前記第1の被写体領域マップの補正を行うことを特徴とする請求項3から請求項6のいずれか1項に記載の画像処理装置。
- 前記マップ補正手段は、前記画像の色分布情報と、前記画像の輝度分布情報と、前記画像の意味的領域分割の確率分布情報と、被写体に照射して反射された赤外線の分布情報との、少なくともいずれかを用いて、前記画像の分割を行うことを特徴とする請求項7に記載の画像処理装置。
- 前記マップ補正手段は、前記画像の色分布情報と前記画像の輝度分布情報との少なくともいずれかを基に、前記画像が低輝度と低彩度の少なくともいずれかであると判定した場合には、前記画像に対してトーンカーブ補正を行い、前記トーンカーブ補正を行った後の画像を前記分割することを特徴とする請求項7に記載の画像処理装置。
- 前記マップ補正手段は、前記画像の中の被写体領域の面積もしくは被写体領域内の特定の領域の面積が、所定の面積閾値以上である場合には前記トーンカーブ補正を行わないことを特徴とする請求項9に記載の画像処理装置。
- 前記マップ補正手段は、前記画像から特定の被写体の色を抽出して前記抽出した色に応じた領域を前記画像から分割し、その後に残りの領域を分割することを特徴とする請求項7から請求項10のいずれか1項に記載の画像処理装置。
- 前記マップ補正手段は、前記被写体が人物である場合には前記被写体の肌の色を抽出し、前記被写体の肌の色に応じた領域を前記画像から分割し、その後に残りの領域を分割することを特徴とする請求項11に記載の画像処理装置。
- 前記マップ補正手段は、前記分割した領域のうち所定の上限値以上の面積の領域には前記補正を行わないことを特徴とする請求項7から請求項12のいずれか1項に記載の画像処理装置。
- 前記マップ補正手段は、前記分割した領域のなかで、前記第1の被写体領域マップの被写体領域の面積値が所定の面積値以上であるときには、前記第1の被写体領域マップの被写体領域の補正を行うことを特徴とする請求項7から請求項13のいずれか1項に記載の画像処理装置。
- 前記所定の面積値は、前記分割した領域の面積に応じて変更されることを特徴とする請求項14に記載の画像処理装置。
- 前記所定の面積値は、前記分割した領域の面積が所定の下限値以下である場合に固定値とすることを特徴とする請求項15に記載の画像処理装置。
- 前記画像評価値マップは、デフォーカス量分布情報と、色分布情報と、輝度分布情報と、視差分布情報と、距離分布情報と、意味的領域分割の確率分布情報と、赤外線分布情報と、オプティカルフロー分布情報と、のうちのいずれかを含むことを特徴とする請求項1から請求項16のいずれか1項に記載の画像処理装置。
- 画像処理装置が実行する画像処理方法であって、
画像に対応した画像評価値分布を画像評価値マップとして取得するマップ取得工程と、
前記画像評価値マップを用いて前記画像から抽出した被写体領域を含む第1の被写体領域マップを生成するマップ生成工程と、
前記第1の被写体領域マップと、前記画像評価値マップを用いずに生成された第2の被写体領域マップとの、少なくともいずれかを用いて前記画像に補正処理を行う処理工程と、を有し、
前記処理工程では、前記第1の被写体領域マップと前記第2の被写体領域マップとの乖離度を求め、前記乖離度が高いほど、前記第1の被写体領域マップよりも前記第2の被写体領域マップを優先的に用いて、前記画像の補正処理を行うことを特徴とする画像処理方法。 - コンピュータを、請求項1から請求項17のいずれか1項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020063807A JP2021164059A (ja) | 2020-03-31 | 2020-03-31 | 画像処理装置、画像処理方法、及びプログラム |
US17/205,594 US11715185B2 (en) | 2020-03-31 | 2021-03-18 | Image processing apparatus, image processing method, and storage medium for obtaining image evaluation value distribution corresponding to an image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020063807A JP2021164059A (ja) | 2020-03-31 | 2020-03-31 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021164059A true JP2021164059A (ja) | 2021-10-11 |
Family
ID=77856368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020063807A Pending JP2021164059A (ja) | 2020-03-31 | 2020-03-31 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11715185B2 (ja) |
JP (1) | JP2021164059A (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5066851B2 (ja) | 2006-07-05 | 2012-11-07 | 株式会社ニコン | 撮像装置 |
JP2014068279A (ja) | 2012-09-27 | 2014-04-17 | Canon Inc | 撮像装置 |
JP6368593B2 (ja) | 2014-09-02 | 2018-08-01 | 任天堂株式会社 | 画像処理プログラム、情報処理システム、画像処理方法 |
JP2017054337A (ja) * | 2015-09-10 | 2017-03-16 | ソニー株式会社 | 画像処理装置および方法 |
US9761000B2 (en) * | 2015-09-18 | 2017-09-12 | Qualcomm Incorporated | Systems and methods for non-obstacle area detection |
JP6824817B2 (ja) * | 2017-05-17 | 2021-02-03 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP6965132B2 (ja) * | 2017-12-05 | 2021-11-10 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
-
2020
- 2020-03-31 JP JP2020063807A patent/JP2021164059A/ja active Pending
-
2021
- 2021-03-18 US US17/205,594 patent/US11715185B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20210304375A1 (en) | 2021-09-30 |
US11715185B2 (en) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6140935B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 | |
JP4487191B2 (ja) | 画像処理装置および画像処理プログラム | |
JP5398156B2 (ja) | ホワイトバランス制御装置およびその制御方法並びに撮像装置 | |
US8026932B2 (en) | Image processing apparatus, image processing method, image processing program, and image pickup apparatus | |
JP5767485B2 (ja) | 画像処理装置及び制御方法 | |
US20100149210A1 (en) | Image capturing apparatus having subject cut-out function | |
JP6312487B2 (ja) | 画像処理装置及びその制御方法、並びに、プログラム | |
KR20130031574A (ko) | 영상 처리 방법 및 영상 처리 장치 | |
JP5374119B2 (ja) | 距離情報取得装置、撮像装置、及びプログラム | |
JP4818393B2 (ja) | 画像処理方法および画像処理装置 | |
JP6336148B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 | |
US20180047186A1 (en) | Image processing method for correcting dark circle under human eye | |
JP6604908B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2019101996A (ja) | 複数の撮像画像を合成することによりノイズを低減する画像処理装置及び画像処理方法 | |
JP2009088935A (ja) | 画像記録装置、画像補正装置及び撮像装置 | |
JP2010154306A (ja) | 撮像制御装置、撮像制御プログラム及び撮像制御方法 | |
JP6305290B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP2015207090A (ja) | 画像処理装置、及びその制御方法 | |
JP2021164059A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2018160024A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN112565588B (zh) | 图像处理设备、图像处理方法和存储介质 | |
JP6554009B2 (ja) | 画像処理装置、その制御方法、プログラム及び記録媒体 | |
JP5147912B2 (ja) | 画像処理方法、画像処理装置、プログラムおよび記録媒体 | |
JP6979859B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
US20240078650A1 (en) | Image processing apparatus, image processing method and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230327 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240425 |