JP2012094126A - 画像処理装置及び画像処理プログラム - Google Patents

画像処理装置及び画像処理プログラム Download PDF

Info

Publication number
JP2012094126A
JP2012094126A JP2011209032A JP2011209032A JP2012094126A JP 2012094126 A JP2012094126 A JP 2012094126A JP 2011209032 A JP2011209032 A JP 2011209032A JP 2011209032 A JP2011209032 A JP 2011209032A JP 2012094126 A JP2012094126 A JP 2012094126A
Authority
JP
Japan
Prior art keywords
area
image
image processing
region
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011209032A
Other languages
English (en)
Other versions
JP5772446B2 (ja
Inventor
Shinichi Nakajima
伸一 中島
Ikuya Saito
郁哉 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011209032A priority Critical patent/JP5772446B2/ja
Priority to US13/247,437 priority patent/US8792716B2/en
Priority to CN2011103056556A priority patent/CN102436581A/zh
Publication of JP2012094126A publication Critical patent/JP2012094126A/ja
Application granted granted Critical
Publication of JP5772446B2 publication Critical patent/JP5772446B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/162Segmentation; Edge detection involving graph-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 前景領域内に影などの暗部領域が生じる場合であっても、得られた画像を前景領域と背景領域とに適切に領域分割する。
【解決手段】 画像に対して設定される複数の基準領域のうち、所定の条件を満たす基準領域を該当領域として検出する検出手段と、複数の基準領域のうち、該当領域を除いた基準領域における隣接状態を特定する特定手段と、特定手段により特定された該当領域を除いた基準領域における隣接状態に基づいて、画像に含まれる構成要素毎に領域分割する領域分割手段と、を備えたことを特徴とする。
【選択図】 図4

Description

本発明は、デジタル画像を処理する画像処理装置及び画像プログラムに関する。
最近、デジタルカメラなどの撮像装置により取得される画像を、主要被写体などの前景となる領域(以下、前景領域)と背景の領域(以下、背景領域)とに領域分割する技術が提案されている。この領域分割は、例えば対象となる画像を複数の領域からなる画像とし、複数の領域間の関係を示した隣接グラフを生成した後、隣接グラフにおける各エッジを評価することで、隣接する基準領域を統合するか否かの判別を繰り返すことで実行される(特許文献1参照)。
特開2008−059081号公報
上述した撮像装置を用いて逆光条件下や暗い環境下で撮影を行うと、被写体の顔の部分に影が生じた画像が取得されることがある。このような画像に対して、上述した領域分割の手法を用いると、例えば隣接する領域の双方が肌となる領域であっても、そのいずれかの領域が影となる領域であれば、これら領域は統合されずに、分割されてしまう。つまり、被写体の顔の部分に影が生じた画像に対して領域分割を行うと、影に該当する領域が背景領域となり、その他の領域が前景領域として分割されてしまう。
本発明は、前景領域内に影などの暗部領域が生じる場合であっても、得られた画像を前景領域と背景領域とに適切に領域分割できるようにした画像処理装置及び画像処理プログラムを提供することを目的とする。
上述した課題を解決するために、本発明の画像処理装置は、画像に対して設定される複数の基準領域のうち、所定の条件を満たす基準領域を該当領域として検出する検出手段と、前記複数の基準領域のうち、前記該当領域を除いた基準領域における隣接状態を特定する特定手段と、前記特定手段により特定された前記該当領域を除いた基準領域における隣接状態に基づいて、前記画像に含まれる構成要素毎に領域分割する領域分割手段と、を備えたことを特徴とする。
また、前記特定手段は、前記基準領域をノードに設定した各ノード間のエッジ接続及び前記該当領域をエッジの一部とした各ノード間のエッジ接続に基づいて第1の隣接グラフを生成することが好ましい。
また、前記検出手段は、前記画像全体又は対象となる基準領域近傍における色情報を用いて、前記対象となる基準領域の色情報を正規化し、該正規化後の基準領域の輝度値が予め設定された閾値以下となる場合に、該基準領域を前記該当領域として検出することが好ましい。
また、前記特定手段は、前記検出手段による前記該当領域の検出前に前記基準領域をノードに設定した各ノード間のエッジ接続による第2の隣接グラフを生成し、生成された前記第2の隣接グラフと前記検出手段による前記該当領域の検出結果に基づいて、前記第1の隣接グラフを生成することが好ましい。
また、前記画像を分割することで前記複数の基準領域を設定する領域設定手段をさらに備えていることが好ましい。
この場合、前記領域設定手段は、前記画像を構成する画素単位で前記複数の基準領域を設定することが好ましい。
また、本発明の画像処理プログラムは、画像に対して設定される複数の基準領域のうち、所定の条件を満たす基準領域を該当領域として検出する検出工程と、前記該当領域を除いた基準領域における隣接状態を特定する特定工程と、前記特定手段により特定された前記該当領域を除いた基準領域における隣接状態に基づいて、前記画像に含まれる構成要素毎に領域分割する領域分割工程と、を備えたことを特徴とする。
本発明によれば、前景領域内に影などの暗部領域が生じる場合であっても、得られた画像を前景領域と背景領域とに適切に領域分割できる。
本発明の画像処理装置の構成を示す機能ブロック図である。 図2(a)は10個の基準領域が設定された画像を示す図、図2(b)は図2(a)の各基準領域に基づいて生成される隣接グラフを示す図、図2(c)は図2(a)における基準領域のうち、基準領域T4が暗部領域となる場合の隣接グラフを示す図である。 画像データに対して施される領域分割の処理の流れを示すフローチャートである。 画像データに対して施される領域分割の処理の流れを示す説明図である。 デジタルカメラの電気的構成を示す機能ブロック図である。
図1に、本発明の画像処理装置の構成を示す。この画像処理装置10は、領域設定部15、パラメータ設定部16、領域検出部17、状態特定部18、領域分割部19及び画像処理部20を備えている。以下、画像処理装置10に入力される画像データとして、RGB色空間で示される画像データを挙げて説明する。
領域設定部15は、入力される画像データに基づく画像を複数の領域に分割することで、該画像を複数の領域からなる画像として設定する。なお、後述する状態特定部18及び領域分割部19における処理は、領域設定部15にて設定された各領域のそれぞれを基本単位として実行されることから、以下では、領域設定部15により設定される複数の領域をそれぞれ基準領域と称して説明する。
画像を複数の基準領域に分割する方法としては、例えば対象となる画素と、該画素に隣接する画素のうち、対象となる画素と同一の色情報又は近似する色情報を有する画素とを予め設定された画素数毎にまとめた画素群を、それぞれ基準領域として設定する方法が挙げられる他、“Efficient Graph-Based Image Segmentation”P.Felzenszwalb, D.Huttenlocher(2004),International Journal of Computer Vision,59167-181の手法にて基準領域を設定する方法などが挙げられる。また、この他に、画像を構成する各画素をそれぞれ基準領域として設定することも可能である。
この領域設定部15にて設定される基準領域の大きさは、パラメータ設定部16から出力されるパラメータに基づいて設定される。また、基準領域の形状としては、三角形、矩形などの多角形が用いられる。設定された各基準領域のデータ(詳細には各基準領域に含まれる画素のアドレスデータ)は画像データとともに、領域検出部17及び状態特定部18に出力される。なお、各基準領域のデータは、画像データと別個のデータであってもよいし、画像データに付帯されるデータであってもよい。
パラメータ設定部16は、領域設定部15にて使用されるパラメータを設定する。このパラメータは、例えば基準領域を構成する画素数、或いは画素の上限数などが挙げられる。なお、このパラメータは予め設定されたパラメータ、入力される画像データに基づいて設定されるパラメータ、或いはユーザが図示を省略した操作部を操作することで設定されるパラメータである。なお、入力される画像データに基づいたパラメータを設定する場合、例えば画像データから得られる画像情報、言い換えれば、画像データの各画素の画素値、画像データが取得されたときの撮影条件、画像中の構成(被写体の大きさ、被写体の数、被写体と背景とのレイアウトなど)に基づいてパラメータを設定すればよい。
領域検出部17は、設定された複数の基準領域から暗部となる基準領域を検出する。ここで、暗部となる基準領域とは、影となる基準領域や、被写体の色が黒となる基準領域など、輝度値が低い基準領域が挙げられる。以下、暗部となる基準領域を暗部領域と称して説明する。例えば画像処理装置10に入力される画像データがRGB色空間で示される画像データの場合には、RGB色空間で示される画像データから、YCrCb色空間で示される画像データに変換する。この変換の後、領域検出部17は、各基準領域のデータを用いて、対象となる基準領域に近接する複数の基準領域における平均輝度値を算出する。なお、入力される画像データがYCrCb色空間で示される画像データなど、輝度及び色差で示される画像データであれば、色空間を変換する処理は省略される。
領域検出部17は、算出された平均輝度値を用いて対象となる基準領域を正規化(ノーマライズ)処理する。この正規化処理の後、領域検出部17は、対象となる基準領域の輝度値の総和と予め設定された閾値を比較する。この比較で、対象となる基準領域の輝度値の総和が予め設定された閾値より低くなる場合に、該基準領域を暗部領域として検出する。なお、正規化処理においては、対象となる基準領域に近接する基準領域の平均輝度値を用いずに、画像全体の平均輝度値を用いてもよい。この領域検出部17における検出結果を示すデータは、状態特定部18に出力される。
状態特定部18は、基準領域が設定された画像に基づく隣接グラフを生成することにより、各基準領域における隣接状態を特定する。上述したように、状態特定部18には、画像データと、各基準領域のデータが入力される。状態特定部18は、これらデータを用いて隣接グラフを生成する。周知のように、隣接グラフは、複数のノードと、ノード間を結ぶエッジとから構成される。本実施形態では、領域設定部15にて設定された各基準領域をノードとし、各基準領域の辺をエッジとした隣接グラフを生成する。以下、三角形からなる基準領域が10個設定される画像Pの場合について説明する。
図2(a)に示すように、基準領域T1は、基準領域T2及び基準領域T4にそれぞれ接している。また、基準領域T2は、基準領域T1の他に、基準領域T3に接している。また、基準領域T3は、基準領域T2の他に、基準領域T4及び基準領域T5に接している。また、基準領域T4は、基準領域T1、基準領域T3の他に、基準領域T6及び基準領域T7に接している。また、基準領域T5は、基準領域T3の他に、基準領域T7に接している。基準領域T6は、基準領域T4の他に、基準領域T8及び基準領域T9に接している。基準領域T7は、基準領域T4、基準領域T5の他に、基準領域T9及び基準領域T10に接している。また、基準領域T8は基準領域T6に、基準領域T9は基準領域T6及び基準領域T7に、基準領域T10は基準領域T7に、それぞれ接している。ここで、隣接グラフは、隣接する双方の基準領域に属する辺、言い換えればエッジにより、それぞれの基準領域に相当するノード間を結ぶことで生成される。なお、図2(b)は、図2(a)に示す画像Pに基づいて生成された隣接グラフである。このように、画像に設定される各基準領域に基づく隣接グラフを生成することで、各基準領域の隣接状態を特定することができる。
上述したように、この状態特定部18には、領域検出部17から暗部領域の検出結果が入力される。状態特定部18は、設定された基準領域に基づいて生成された隣接グラフを参照して、暗部領域の検出結果に基づいた隣接グラフを生成する。図2(a)に示すように、画像Pに設定される基準領域T1〜T10のうち、基準領域T4が暗部領域となる場合、状態特定部18は、基準領域T4を、該基準領域T4に接する基準領域(この場合、基準領域T1、基準領域T3、基準領域T6及び基準領域T7)に相当するノードのエッジの一部とし、隣接グラフを生成する。基準領域T4を暗部領域とした場合の隣接グラフが図2(c)となる。この暗部領域を考慮して生成された隣接グラフを示すデータは、画像データ及び基準領域を示すデータとともに、領域分割部19に出力される。
領域分割部19は、状態特定部18から出力された隣接グラフを示すデータに対して、例えばグラフカット法などの手法を用いた領域分割を行う。なお、このグラフカット法は、上述したエッジが接続しているノード間の輝度差、ノード間の色空間上の距離等を用いて各エッジに対する重み付けを行った後、予め定義されるエネルギー関数の最小化を行うことにより大域的最小化を求めることで、複数の基準領域を前景領域と背景領域とに領域分割する手法である。このグラフカット法を用いることで、画像に設定された複数の基準領域が前景領域と背景領域とに領域分割される。
画像処理部20は、複数の基準領域が前景領域と背景領域とに領域分割された画像データに対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理、輝度補正処理、彩度強調処理などの画像処理を施す。なお、画像処理部20における画像処理は、画像データの前景領域及び背景領域のそれぞれに対して個別に実行される。なお、この画像処理部20により画像処理が終了した処理済みの画像データは、画像処理装置10から出力される。なお、画像処理装置10から出力されるとは、例えば画像処理装置10に図示を省略した表示部を備えている場合には、上述した各部における処理が終了した画像データに基づく画像を表示部に表示する、記憶媒体が着脱可能な画像処理装置であれば、上記の画像データを画像処理装置に装着された記憶媒体に記録する、或いは、この画像処理装置が他の装置に接続されていれば、上記の画像データを接続された他の装置に出力することが挙げられる。
次に、入力された画像データに対して施される領域分割の処理の流れについて、図3に示すフローチャートを用いて説明する。なお、このフローチャートは、例えば画像データが画像処理装置10に入力されたことを契機に実行される。
ステップS101は、パラメータを設定する処理である。このステップS101の処理が実行されると、パラメータ設定部16は、上述した基準領域の設定時に用いるパラメータを設定する。なお、このパラメータは、ユーザの入力操作に基づいて実行されてもよいし、自動的に実行されてもよい。
ステップS102は、入力された画像データに対する基準領域を設定する処理である。領域設定部15は、入力された画像データ及びステップS101により設定されたパラメータを用いて、入力された画像データに基づく画像を、複数の領域に分割する。そして、領域設定部15は、分割した複数の領域を、それぞれ基準領域として設定する。
ステップS103は、隣接グラフを生成する処理である。ステップS102の処理を行うことで、画像データに基づいて複数の基準領域が設定される。状態特定部18は、これら複数の基準領域をノード、各基準領域の辺をエッジとした隣接グラフを生成する。
ステップS104は、暗部領域を検出する処理である。領域検出部17は、設定された複数の基準領域から暗部領域を検出する。入力される画像データがRGB色空間で示される画像データである場合には、領域検出部17は、該画像データをYCrCb色空間で示される画像データに変換する。この変換の後、領域検出部17は、各基準領域のデータを用いて、対象となる基準領域に近接する複数の基準領域における平均輝度値を算出する。なお、入力される画像データがYCrCb色空間で示される画像データなど、画像データが輝度及び色差で示される画像データであれば、この処理は省略される。
領域検出部17は、算出された平均輝度値を用いて対象となる基準領域を正規化(ノーマライズ)処理する。この正規化処理の後、領域検出部17は、対象となる基準領域の輝度値の総和と予め設定された閾値を比較する。この比較で、対象となる基準領域の輝度値の総和が予め設定された閾値より低くなる場合に、該基準領域を暗部領域として検出する。
ステップS105は、暗部領域を除く基準領域を用いた隣接グラフの生成を行う処理である。状態特定部18は、ステップS104にて検出された暗部領域を隣接する基準領域のエッジとして設定した後、ステップS103にて生成された隣接グラフを参照しながら、新たに隣接グラフを生成する。
ステップS106は、複数の基準領域を前景領域及び背景領域に領域分割する処理である。領域分割部19は、ステップS105にて生成された隣接グラフに対して周知のグラフカット法等を用いて、画像データに対する領域分割を行う。このステップS106の処理が実行されることで、複数の基準領域が前景領域及び背景領域に領域分割された画像データとなる。
ステップS107は、複数の基準領域が前景領域及び背景領域に領域分割された画像データに対する画像処理である。画像処理部20は、ステップS106の処理が施された画像データに対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理、輝度補正処理、彩度強調処理などの画像処理を施す。なお、この画像処理部20における画像処理は、前景領域及び背景領域のそれぞれの領域に対して個別に実行される。このステップS107の処理が終了すると、画像処理された画像データが画像処理装置10から出力される。
以下、山などの景色を背景とした人物撮影を行うことで得られた画像P1に対して領域分割を行う場合について説明する。図4に示すように、上述したステップS102の処理を行うことによって、画像P1が、空の領域A1、地面の領域A2,A3、山の領域A4、木の葉の領域A5、幹の領域A6、被写体の髪の毛の領域A7、顔の領域A8,A9,A10服の領域A11の計11個の領域に分割され、それぞれが基準領域として設定される。このような画像P1に対してステップS103の処理を実行することで、隣接グラフNG1が生成される。これにより、各基準領域A1〜A11のそれぞれの領域における隣接状態が特定される。
この隣接グラフNG1の生成の後、ステップS104の処理を行うことで、画像P1に対して設定される基準領域A1〜A11から、暗部領域が検出される。上述したように、基準領域A7は髪の毛の領域である。また、基準領域A9は影となる領域である。つまり、これら基準領域A7及び基準領域A9は、輝度が低い領域であることから、これら基準領域A7及び基準領域A9が暗部領域として検出される。なお、図4においては、これら基準領域A7及び基準領域A9に対して便宜上ハッチングを付して説明している。
暗部領域の検出の後、ステップS105の処理の処理を行うことで、再度隣接グラフNG2が生成される。なお、この隣接グラフNG2は、生成された隣接グラフNG1と検出された暗部領域とに基づいて生成される。この場合、暗部領域となる基準領域A7及び基準領域A9は、それぞれエッジと見なされることから、隣接グラフNG2においては、これら基準領域は省略している。
この隣接グラフNG2の生成の後、ステップS106の処理を行うことで、画像に設定される複数の基準領域が前景領域と背景領域とに領域分割される。例えば、グラフカット法を用いた場合には、ステップS105の処理により生成された隣接グラフNG2の最小カットを求める。このとき、隣接グラフNG2においては、基準領域A8と基準領域A10とはエッジにより接していると判断されている。また、この基準領域A8と基準領域A10とはそれぞれ肌の領域であることから、上述したグラフカット法を用いた場合には、これら基準領域A8及び基準領域A10は同一の領域(前景領域)となる。つまり、基準領域A1〜A6は背景領域、基準領域A7〜A11は前景領域として分割される。これによれば、前景領域中に暗部となる領域が存在している場合であっても、この暗部領域を背景領域として分類されることを防止でき、結果的に予め設定された複数の基準領域を前景領域及び背景領域に適切に領域分割することが可能となる。
なお、図4においては、被写体となる人物が一人の場合について説明しているが、これに限定される必要はなく、例えば複数の人物を被写体とした場合であっても、本発明を適用することができる。つまり、複数の主要被写体が含まれる画像の場合には、複数の主要被写体のそれぞれの領域と背景となる領域、言い換えれば画像中に含まれる構成要素毎に基準領域を画像分割することが可能となる。この場合、前景領域と背景領域との2つの領域に分割するのであれば、予め被写体毎の距離を求めておき、この被写体の距離に基づいて、それぞれの領域に領域分割することも可能である。
本実施形態では、画像処理装置10に入力される画像データとしてRGB色空間で示されるカラー画像データを挙げているが、これに限定される必要はなく、YCrCb色空間や他の色空間で示されるカラー画像データであってもよい。また、画像データとしては、カラー画像データの他に、RAWデータであっても、本発明を適用することが可能である。
本実施形態では、画像に設定される全ての基準領域をノードとして設定した上で隣接グラフを生成しているが、これに限定される必要はなく、画像を複数の領域に区画し、その区画された各領域のそれぞれで隣接グラフを生成する処理、領域分割する処理を実行することも可能である。
本実施形態では、暗部領域を所定の条件を満たす基準領域としている。しかしながら、所定の条件を満たす基準領域は、暗部領域に限定される必要はない。例えば、他の基準領域に対して極端に明るい基準領域がある場合に、その基準領域を所定の条件を満たす基準領域としてもよい。また、空のシーンに入り込む電線のように、周囲の領域に対して比較的暗めで細長くなる基準領域を所定の条件を満足する基準領域としてもよい。また、窓枠やブラインドのように、直線で細長く、周囲に対して比較的暗い領域で、且つその領域を挟む両端部の領域が類似した特徴を有する基準領域や、明らかに動体である認識される基準領域を、所定の条件を満足する基準領域としてもよい。
本実施形態では、複数の基準領域が前景領域及び背景領域に領域分割された画像データに対して画像処理を行う画像処理装置について説明しているが、これに限定される必要はなく、複数の基準領域が前景領域及び背景領域に領域分割された画像データに対して画像処理を行うか否かは適宜設定してよい。例えば領域分割を行った結果のみを必要とする場合には、画像処理部による画像処理を行わずに出力することも可能である。また、領域分割された前景領域をトリミングする機能や、トリミングされた前景領域を他の画像に合成する機能を備えた画像処理装置であってもよい。
本実施形態では、入力された画像データに対して設定された基準領域に基づいて隣接グラフに生成した後、暗部領域の検出処理を行い、生成された隣接グラフを参照しながら検出された暗部領域をエッジとした隣接グラフを生成しているが、これに限定される必要はなく、入力された画像データに対して設定された基準領域に基づいた隣接グラフを生成する処理を行わずに、画像データに対して設定された基準領域から暗部領域を検出し、検出された暗部領域をエッジとした隣接グラフを生成してもよい。
本実施形態では、画像処理装置を例に取り上げているが、本実施形態の画像処理装置をデジタルカメラなどの撮像装置に組み込むことも可能である。なお、図5は、デジタルカメラの電気的構成を示す機能ブロック図である。このデジタルカメラ30は、撮像光学系31、撮像素子32、A/D変換部33、バッファメモリ34、画像処理回路35、記録用I/F36、表示制御回路37、LCD38、CPU39、内蔵メモリ40、バス41、レリーズボタン42及び設定操作部43を備えている。なお、この画像処理回路35は、本実施形態で説明した画像処理装置10における領域設定部15、パラメータ設定部16、領域検出部17、状態特定部18、領域分割部19及び画像処理部20の機能を有している。なお、この場合、領域分割が実施される画像データは、撮像素子32から出力される画像データであってもよいし、記録用I/F36に接続された記憶媒体44に記憶された画像データであってもよい。
この場合も、本実施形態と同様に、複数の基準領域が前景領域及び背景領域に領域分割された画像データに対して画像処理を施した後、記録する。この場合も、複数の基準領域を前景領域及び背景領域に領域分割する処理のみを行うことができるようにしてもよいし、複数の基準領域が前景領域及び背景領域に領域分割された画像データのうち、前景領域に基づくデータのみを切り出す、また、切り出した前景領域に基づくデータと他の画像データとを合成するなどの処理を施すことも可能である。
本実施形態では、画像処理装置10を例に取り上げて説明しているが、図1に示す画像処理装置10の領域設定部15、パラメータ設定部16、領域検出部17、状態特定部18、領域分割部19及び画像処理部20の機能や、図3に示すフローチャートの処理をコンピュータにて実行させることが可能な画像処理プログラムであってもよい。なお、この画像プログラムは、例えばメモリカード、光学ディスク、磁気ディスクなどコンピュータにて読み取ることが可能な記憶媒体に記憶されていることが好ましい。
10…画像処理装置、15…領域設定部、16…パラメータ設定部、17…状態特定部、18…領域検出部、19…領域分割部、20…画像処理部、30…デジタルカメラ、35…画像処理回路

Claims (7)

  1. 画像に対して設定される複数の基準領域のうち、所定の条件を満たす基準領域を該当領域として検出する検出手段と、
    前記複数の基準領域のうち、前記該当領域を除いた基準領域における隣接状態を特定する特定手段と、
    前記特定手段により特定された前記該当領域を除いた基準領域における隣接状態に基づいて、前記画像に含まれる構成要素毎に領域分割する領域分割手段と、
    を備えたことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記特定手段は、前記基準領域をノードに設定した各ノード間のエッジ接続及び前記該当領域をエッジの一部とした各ノード間のエッジ接続に基づいて第1の隣接グラフを生成することを特徴とする画像処理装置。
  3. 請求項1又は請求項2に記載の画像処理装置において、
    前記検出手段は、前記画像全体又は対象となる基準領域近傍における色情報を用いて、前記対象となる基準領域の色情報を正規化し、該正規化後の基準領域の輝度値が予め設定された閾値以下となる場合に、該基準領域を前記該当領域として検出することを特徴とする画像処理装置。
  4. 請求項1から請求項3のいずれか1項に記載の画像処理装置において、
    前記特定手段は、前記検出手段による前記該当領域の検出前に前記基準領域をノードに設定した各ノード間のエッジ接続による第2の隣接グラフを生成し、生成された前記第2の隣接グラフと前記検出手段による前記該当領域の検出結果に基づいて、前記第1の隣接グラフを生成することを特徴とする画像処理装置。
  5. 請求項1から請求項4のいずれか1項に記載の画像処理装置において、
    前記画像を分割することで前記複数の基準領域を設定する領域設定手段をさらに備えていることを特徴とする画像処理装置。
  6. 請求項5に記載の画像処理装置において、
    前記領域設定手段は、前記画像を構成する画素単位で前記複数の基準領域を設定することを特徴とする画像処理装置。
  7. 画像に対して設定される複数の基準領域のうち、所定の条件を満たす基準領域を該当領域として検出する検出工程と、
    前記該当領域を除いた基準領域における隣接状態を特定する特定工程と、
    前記特定手段により特定された前記該当領域を除いた基準領域における隣接状態に基づいて、前記画像に含まれる構成要素毎に領域分割する領域分割工程と、
    を備えたことを特徴とする画像処理プログラム。
JP2011209032A 2010-09-29 2011-09-26 画像処理装置及び画像処理プログラム Active JP5772446B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011209032A JP5772446B2 (ja) 2010-09-29 2011-09-26 画像処理装置及び画像処理プログラム
US13/247,437 US8792716B2 (en) 2010-09-29 2011-09-28 Image processing apparatus for region segmentation of an obtained image
CN2011103056556A CN102436581A (zh) 2010-09-29 2011-09-29 图像处理装置以及图像处理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010218950 2010-09-29
JP2010218950 2010-09-29
JP2011209032A JP5772446B2 (ja) 2010-09-29 2011-09-26 画像処理装置及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2012094126A true JP2012094126A (ja) 2012-05-17
JP5772446B2 JP5772446B2 (ja) 2015-09-02

Family

ID=45925185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011209032A Active JP5772446B2 (ja) 2010-09-29 2011-09-26 画像処理装置及び画像処理プログラム

Country Status (3)

Country Link
US (1) US8792716B2 (ja)
JP (1) JP5772446B2 (ja)
CN (1) CN102436581A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103493093B (zh) * 2011-11-17 2017-07-18 松下知识产权经营株式会社 图像处理装置、摄像装置及图像处理方法
JP6595161B2 (ja) 2014-07-31 2019-10-23 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び、撮像装置
JP7003558B2 (ja) * 2017-10-12 2022-01-20 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
JP7151742B2 (ja) * 2020-06-11 2022-10-12 トヨタ自動車株式会社 画像変換装置、画像変換方法及び画像変換用コンピュータプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160879A (ja) * 1993-12-07 1995-06-23 Toppan Printing Co Ltd 画像処理方法
JP2001043380A (ja) * 1999-06-24 2001-02-16 Samsung Electronics Co Ltd 映像分割装置及びその方法
JP2008059081A (ja) * 2006-08-29 2008-03-13 Sony Corp 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3302147B2 (ja) * 1993-05-12 2002-07-15 株式会社リコー 文書画像処理方法
US7212201B1 (en) * 1999-09-23 2007-05-01 New York University Method and apparatus for segmenting an image in order to locate a part thereof
JP3513562B2 (ja) * 2000-04-20 2004-03-31 インターナショナル・ビジネス・マシーンズ・コーポレーション 形状解析システム、3次元形状モデルの差分検出システム、類似形状検索システム、形状解析方法及び記憶媒体
US7349922B2 (en) * 2001-11-14 2008-03-25 Yeda Research And Development Co. Ltd. Method and apparatus for data clustering including segmentation and boundary detection
JP3968056B2 (ja) * 2003-06-10 2007-08-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 形状作成装置、コンピュータ装置を形状作成装置として動作させるための制御方法、該制御方法をコンピュータ装置に対して実行させるためのコンピュータ実行可能なプログラム
US20060029275A1 (en) * 2004-08-06 2006-02-09 Microsoft Corporation Systems and methods for image data separation
GB2420669A (en) * 2004-11-26 2006-05-31 Snell & Wilcox Ltd Image segmentation
US7428331B2 (en) * 2004-11-30 2008-09-23 Seiko Epson Corporation Page background estimation using color, texture and edge features
KR20080012954A (ko) * 2005-06-07 2008-02-12 소니 가부시끼 가이샤 정보 처리 장치 및 정보 처리 방법, 화상 처리 장치 및화상 처리 방법, 및 컴퓨터 프로그램
US8358819B2 (en) * 2005-06-24 2013-01-22 University Of Iowa Research Foundation System and methods for image segmentation in N-dimensional space
US7729537B2 (en) * 2005-08-01 2010-06-01 Siemens Medical Solutions Usa, Inc. Editing of presegemented images/volumes with the multilabel random walker or graph cut segmentations
JP2007157063A (ja) * 2005-12-08 2007-06-21 Sony Corp 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
US7532752B2 (en) * 2005-12-30 2009-05-12 Microsoft Corporation Non-photorealistic sketching
US7995058B2 (en) * 2006-01-27 2011-08-09 Tandent Vision Science, Inc. Method and system for identifying illumination fields in an image
JP4905931B2 (ja) * 2006-07-04 2012-03-28 富士フイルム株式会社 人体領域抽出方法および装置並びにプログラム
US8170642B2 (en) * 2007-01-11 2012-05-01 Siemens Aktiengesellschaft Method and system for lymph node detection using multiple MR sequences
US8411952B2 (en) * 2007-04-04 2013-04-02 Siemens Aktiengesellschaft Method for segmenting an image using constrained graph partitioning of watershed adjacency graphs
US8548238B2 (en) * 2007-05-03 2013-10-01 Carnegie Mellon University Method for partitioning combinatorial graphs
US7983487B2 (en) * 2007-11-07 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for locating and picking objects using active illumination
WO2009070449A1 (en) * 2007-11-30 2009-06-04 Mitsubishi Electric Research Laboratories, Inc. Content aware resizing of images and videos
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
JP4964191B2 (ja) * 2008-06-12 2012-06-27 富士フイルム株式会社 画像処理装置および方法ならびにプログラム
US20100008576A1 (en) * 2008-07-11 2010-01-14 Robinson Piramuthu System and method for segmentation of an image into tuned multi-scaled regions
US8823775B2 (en) * 2009-04-30 2014-09-02 Board Of Regents, The University Of Texas System Body surface imaging
US8345974B2 (en) * 2009-07-14 2013-01-01 Hewlett-Packard Development Company, L.P. Hierarchical recursive image segmentation
US8311338B2 (en) * 2009-09-15 2012-11-13 Tandent Vision Science, Inc. Method and system for learning a same-material constraint in an image
US8452109B2 (en) * 2010-01-11 2013-05-28 Tandent Vision Science, Inc. Image segregation system with method for handling textures
US8260539B2 (en) * 2010-05-12 2012-09-04 GM Global Technology Operations LLC Object and vehicle detection and tracking using 3-D laser rangefinder

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160879A (ja) * 1993-12-07 1995-06-23 Toppan Printing Co Ltd 画像処理方法
JP2001043380A (ja) * 1999-06-24 2001-02-16 Samsung Electronics Co Ltd 映像分割装置及びその方法
JP2008059081A (ja) * 2006-08-29 2008-03-13 Sony Corp 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム

Also Published As

Publication number Publication date
US20120087578A1 (en) 2012-04-12
JP5772446B2 (ja) 2015-09-02
US8792716B2 (en) 2014-07-29
CN102436581A (zh) 2012-05-02

Similar Documents

Publication Publication Date Title
WO2018176925A1 (zh) Hdr图像的生成方法及装置
JP6421794B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6485078B2 (ja) 画像処理方法および画像処理装置
US10382671B2 (en) Image processing apparatus, image processing method, and recording medium
KR20150099302A (ko) 전자 장치와, 그의 제어 방법
WO2017154630A1 (ja) 画像処理装置、画像処理方法および記録媒体
US20140267836A1 (en) Image capture apparatus that can display review image, image capture method, and storage medium
JP5772446B2 (ja) 画像処理装置及び画像処理プログラム
JP2018049564A (ja) 検出装置、及び検出方法
US20180150941A1 (en) Image processing apparatus, imaging apparatus, image processing method, image processing program, and recording medium
KR20180138530A (ko) 검출 장치, 이미지 처리 장치, 검출 방법, 및 이미지 처리 방법
JP6897036B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10497103B2 (en) Information processing apparatus, information processing system, information processing method, and recording medium
JP2015233202A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP5146223B2 (ja) プログラム、カメラ、画像処理装置および画像の輪郭抽出方法
JP6795062B2 (ja) 検出装置、検出方法及びプログラム
JP2015041901A (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP6584173B2 (ja) 画像処理装置及び画像処理方法
JP2017182668A (ja) データ処理装置、撮像装置、及びデータ処理方法
JP6326841B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP6248662B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP7279741B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6314281B1 (ja) 画像処理方法及び前景領域取得方法
WO2013125239A1 (ja) 画像処理装置、撮像装置及び画像処理プログラム
US20200077008A1 (en) Image processing apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150615

R150 Certificate of patent or registration of utility model

Ref document number: 5772446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250