JP2015141633A - 画像処理装置、画像処理方法、プログラム、及び記憶媒体 - Google Patents
画像処理装置、画像処理方法、プログラム、及び記憶媒体 Download PDFInfo
- Publication number
- JP2015141633A JP2015141633A JP2014014955A JP2014014955A JP2015141633A JP 2015141633 A JP2015141633 A JP 2015141633A JP 2014014955 A JP2014014955 A JP 2014014955A JP 2014014955 A JP2014014955 A JP 2014014955A JP 2015141633 A JP2015141633 A JP 2015141633A
- Authority
- JP
- Japan
- Prior art keywords
- region
- boundary
- undetermined
- area
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000003860 storage Methods 0.000 title claims description 8
- 238000012545 processing Methods 0.000 claims abstract description 126
- 238000012937 correction Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 65
- 230000008569 process Effects 0.000 description 50
- 230000011218 segmentation Effects 0.000 description 15
- 238000000605 extraction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 239000006185 dispersion Substances 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 241000872198 Serjania polyphylla Species 0.000 description 1
- 238000013476 bayesian approach Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
オブジェクトセグメンテーションは、対象領域を背景領域から切出し、2値の分離画像を生成する技術である。そのための典型的な手法として、映画業界で標準的に用いられているクロマキー法や背景差分法が挙げられる。また、特定の背景を必要としない方法として、ユーザが物体の含まれる範囲を指定し、あるいは、背景と物体の一部を其々ペイントし、そして、色情報に基づき対象領域を抽出する方法が提案されている(非特許文献1、非特許文献2参照)。
図1は、セグメンテーションによって生成された2値の分離画像の一例を示す。図1(A)は入力画像例で、図1(B)は2値分離の結果例である。ここで、抽出された対象領域を白で、背景領域を黒で表し、また、対象領域と背景領域の境界を実線で、実際の物体の輪郭線を点線で表す。
アルファは、画素が前景か背景かの確率を表すもので、前景と背景の色の合成の比率として捕らえることも出来る。例えば、確定前景領域にある画素のアルファを1、確定背景領域にある画素のアルファを0とすると、未確定領域にある画素のアルファは0と1の間の数値になり、当該画素において、前景が背景の一部を遮蔽していることを意味する。アルファ推定方法はいくつか提案されている(非特許文献3、非特許文献4参照)。
図2は、トライマップ画像及びアルファ推定の一例を示す。図2(A)は入力画像例である。図2(B)のトライマップ例では、確定背景領域を黒で、確定前景領域を白で、未確定領域をグレーでそれぞれ表す。参考に、物体の輪郭を点線で表す。図2(C)はアルファ推定によって生成されたアルファ画像例である。ここで、図2(B)にある確定前景領域はアルファが1で、白で表し、図2(B)にある確定背景領域はアルファが0で、黒で表し、図2(B)にある未確定領域のアルファ推定結果は0と1の間の数値で、白と黒の中間色であるグレーで表す。
セグメンテーションによって生成された2値の分離画像に基づく自動生成では、セグメンテーションから抽出された対象領域と背景領域の境界において所定幅の未確定領域を設定する。そして、前景領域に属する画素、背景領域に属する画素、及び、未確定領域に属する画素からなるトライマップ画像を生成する。
また、セグメンテーションの2値分離に基づくトライマップ画像の自動生成では、シルエットの複雑な物体の抽出が高精度に出来なく、それによって等幅に設定された未確定領域及び、そこから派生した確定前景領域、確定背景領域が適切ではない場合がある。未確定領域の幅を一律に狭くすると、本来の物体の輪郭付近は必ずしも未確定領域に入らない。その反面、未確定領域の幅を一律に広くすると、本来の物体の輪郭付近は未確定領域に入れるが、未確定領域の画素の色推定、アルファ推定の誤差は大きく拡散されてしまう。
一方、オブジェクト(処理対象)の外縁部分は必ずしも性質が一律ではない。性質が一律ではない外縁部分に等幅な未確定領域を設定すると、正確なアルファ推定が困難になる。
一方、近年、単眼カメラに距離測定センサの搭載や、複数カメラから取得する多視点画像などを利用した距離、即ち、奥行きの推定が可能になってきている。特にステレオ撮影等では、同じ対象物が含まれる画像を使って距離推定を行い、基準画像を相互に変更して距離推定値を比較し、推定値が近ければ距離の信頼度が高い、そうでなければ、距離の信頼度が低いというような信頼度を計算することもある。これらの距離情報、即ち、距離値、或いは、距離の信頼度は、有用な情報として画像処理に用いられている。
本発明はこのような状況に鑑みてなされたものであり、処理対象領域とそれ以外の領域との境界情報及び距離情報に基づき、画像の特性に応じて不等幅のトライマップを生成し、簡易で、高精度な対象領域の抽出を可能にするものである。
前記境界取得手段により取得される境界の周囲に未確定領域を設定する未確定領域設定手段と、
処理対象領域から未確定領域を除いた領域を前景領域とし、処理対象外領域から未確定領域を除いた領域を背景領域として、前景領域、背景領域、及び未確定領域を特定する領域情報を生成する領域情報生成手段とを備え、
前記未確定領域設定手段は、
前記境界取得手段により取得される境界の周囲画素の特徴量に基づき、境界の周囲の未確定領域の幅を設定することを特徴とする。
本発明の実施形態に係る画像処理装置は、境界取得手段と、未確定領域設定手段と、領域情報生成手段とを備える。
境界取得手段は、処理対象領域とそれ以外の処理対象外領域との境界を取得する。
未確定領域設定手段は、境界取得手段により取得される境界の周囲に未確定領域を設定する。
領域情報生成手段は、処理対象領域から未確定領域を除いた領域を前景領域とし、処理対象外領域から未確定領域を除いた領域を背景領域として、前景領域、背景領域、及び未確定領域を特定する領域情報を生成する。
未確定領域設定手段は、境界取得手段により取得される境界の周囲画素の特徴量に基づき、境界の周囲の未確定領域の幅を設定することを特徴とする。
境界取得手段は、各画素が処理対象領域に存在する画素であるか、それとも処理対象外領域に存在する画素であるかを示す2値情報を取得することにより処理対象領域と処理対象外領域の境界を取得するとしても良い。
未確定領域設定手段は、境界の周囲画素の特徴量のばらつきが小さい範囲は未確定領域を狭く設定し、境界の周囲画素の特徴量のばらつきが大きい範囲は未確定領域を広く設定するとしても良い。
特徴量は、距離情報を含む。距離情報は、距離値(距離の推定値)や距離の信頼度を含む。
[第1実施形態]
図5は、本発明の実施形態に係る画像処理装置の構成を示すブロック図である。
画像処理装置は、トライマップ生成部11、アルファ推定部12を備えている。
トライマップ生成部11は、境界情報及び距離情報を入力とし、確定前景領域、確定背景領域、及び未確定領域からなる3値のトライマップ画像を生成する。
図22(A)に示すように、境界情報は、処理対象領域とそれ以外の領域(処理対象外領域)との境界の情報である。
図22(B)に示すように、前景領域は処理対象領域から未確定領域を除いた領域であり、背景領域は処理対象外領域から未確定領域を除いた領域である。
境界情報は、図22(c)に示すような、処理対象領域に存在する画素であるか処理対象外領域に存在する画素であるかを示す2値情報でも良いし、境界線でも良いし、境界点のリストでも良い。距離情報は、処理対象画像にある各画素の撮影装置までの遠近を表す距離でも良いし、距離の信頼度でも良い。
トライマップ生成部11は、境界取得部1101と未確定領域設定部1102と領域情報生成部1103とを備える。
境界取得部1101は処理対象領域とそれ以外の処理対象外領域との境界を取得する。
未確定領域設定部1102は、境界取得部1101により取得される境界の周囲に未確定領域を設定する。未確定領域設定部1102は、境界取得部1101により取得される境界の周囲画素の特徴量に基づき、境界の周囲の未確定領域の幅を設定する。
領域情報生成部1103は、処理対象領域から未確定領域を除いた領域を前景領域とし、処理対象外領域から未確定領域を除いた領域を背景領域として、前景領域、背景領域、及び未確定領域を特定する領域情報を生成する。
アルファ推定部12は、トライマップ生成部11で生成された3値のトライマップにある未確定領域において、各画素の色情報を利用してアルファを推定し、被写体を抽出する。
図6は、本発明の第1実施形態に係る画像処理装置を実現した一実施形態である撮影装置の主要部構成を示すブロック図である。
中央処理装置CPU101は、以下に述べる各部を統括的に制御する。
撮影部102は、画像距離データを取得する。
バス103は各種データの転送経路となる。例えば、撮影部102によって取得されたデジタルデータはこのバス103を介して所定の処理部に送られる。
表示部104は撮影画像や文字の表示を行う。例えば、液晶ディスプレイが用いられる。表示部104はタッチスクリーン機能を有していても良い。
表示制御部105は、表示部104に表示される撮影画像や文字の表示制御を行う。
操作部106はユーザの指示を受け取る。ボタンや撮影モードダイヤルなどが含まれる。この操作による設定内容はCPUを介して所定の処理を制御する。
本発明での領域の手動指定部は、表示制御部105と操作部106を使うことにより容易に実現できる。
撮影制御部107は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、CPU101からの指示に基づいた撮像系の制御を行う。
デジタル信号処理部108は、バス103を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。
画像処理部109は、撮影部102で取得された画像、或いは、デジタル信号処理部108から出力される画像から出力されるデジタル画像、或いは、操作部106からユーザの指定に応じて画像処理を行う。
圧縮/伸長部110は、デジタルデータ、或いは、画像処理の結果をJPEGやMPEGやベクトル化などのファイルフォーマットへの変換、或いは、符号化制御を行う。
内部メモリ111は、CPU101の主メモリ、ワークエリア等として機能するほか、CPU101で実行される制御プラグラム等を格納する。
外部メモリ制御部112は、PCやその他のメディア(例えば、ハードディスク、メモリカード、CFカード、SDカード、USBメモリ)に繋ぐためのインターフェースである。
図5の画像処理装置は、図6の撮影装置における撮影部102からの撮影画像データ、或いは、内部メモリ111、外部メモリ113に蓄積した画像データを処理対象とし、CPU101による制御で被写体抽出を行う。また、図5の画像処理装置の画像処理結果は、図6の撮影装置における圧縮/伸長部110において符号化する、或いは、内部メモリ111、外部メモリ113に保存する、或いは、他の画像処理に用いる。
図7は、本実施形態に係る図5に示される画像処理装置における、入力画像から被写体の抽出結果を得るための処理を示すフローチャートである。
先ず、ステップS11では、処理対象画像の境界情報及び距離情報を入力する。境界情報は、処理対象領域とそれ以外の領域の境界、即ち、前景領域と背景領域の2値情報の境界である。距離情報は、処理対象画像にある各画素に対応する物体から撮影装置までの距離を表す距離値、或いは、距離の信頼度を表す情報である。
次に、ステップS12では、境界情報及び距離情報を参照し、確定前景領域、確定背景領域、及び未確定領域からなる3値のトライマップを生成する。このトライマップ生成処理は、前景領域と背景領域の間にある各境界画素おいて、周囲にある画素(以下、「周囲画素」とも記載する)の距離情報を参照し、トライマップの未確定領域の幅を決める。このトライマップ生成処理の詳細について、図8を参照して後述する。
次に、ステップS13では、処理対象画像、即ち、色画像、を入力する。
次に、ステップS14では、ステップS12により生成されたトライマップにある未確定領域において、各画素の色情報に基づき、構成する前景色と背景色を推定し、アルファを推定する。このアルファ推定処理の詳細について後述する。
第1実施形態におけるトライマップ生成処理の詳細について、図8を参照して説明する。
先ず、ステップS121では、境界情報を入力する。
次に、ステップS122では、処理対象となる境界点を取得する。
次に、ステップS123では、距離画像を入力する。ここで、距離推定が出来ていない処を黒で表し、距離値は低い値になる。
次に、ステップS124では、処理対象となる境界点において、周囲画素の特徴量(距離情報)を参照して、未確定範囲を同定する。この境界点の未確定範囲の同定処理の詳細について、図9を参照して説明する。
次に、ステップS125では、全ての境界点は処理済みであるかを判断する。まだ未処理の境界点があれば、上記ステップS122からステップS124までの処理を繰り返して行う。未処理の境界点がなければ、ステップS126では、上記のすべての境界点の未確定範囲の情報によってトライマップ画像を生成する。
第1実施形態における境界点の未確定範囲の同定処理の詳細について、図9を参照して説明する。
先ず、ステップS12401では、処理対象となる境界点の座標情報(X、Y)を取得する。
次に、ステップS12402からステップS12410まで、当該境界点の周囲画素の距離値に基づき未確定範囲の幅を制御する。
ステップS12402では、処理対象となる境界点の左隣りにある画素に注目し、当該画素は距離推定が未確定な画素であるかどうかを判断する。画素の距離値が閾値より低ければ、当該画素は距離推定の未確定な画素である(つまり、不安定な画素である)と判断し、ステップS12403に進む。画素の距離値が閾値より低くなければ、ステップS12404に進む。
ステップS12403では、未確定である(つまり、不安定である)と判断した画素の左隣りにある画素に注目し、ステップS12402と同様の判断処理を繰り返す。判断の対象となっている画素の距離値が閾値より低くなければ、当該画素は距離値の未確定な画素でない(つまり、安定な画素である)と判断し、ステップS12404に入る。
ステップS12404では、未確定な画素ではないと判断した画素の座標(XL、Y)を記録する。
ステップS12405では、処理対象となる境界点の右隣りにある画素に注目し、当該画素が距離推定の未確定な画素であるかどうかを判断する。この画素の距離値が低ければ、当該画素は距離推定の未確定な画素であると判断し、ステップS12406に進む。距離値が低くなければ、ステップS12407に進む。
ステップS12406では、未確定であると判断した画素の右隣りにある画素に注目し、ステップS12405と同様の判断処理を繰り返す。判断の対象となっている画素の距離値が低くなければ、当該画素は距離値の未確定な画素でないと判断し、ステップS12407に入る。
ステップS12407では、未確定な画素ではないと判断した画素の座標(XR、Y)を記録する。
そして、ステップS12408では、2つのX座標の差の絶対値(つまり、|XL−XR|)がある閾値T以上であるかどうかを判断する。|XL−XR|がT未満であれば、ステップS12409では、未確定領域の幅をT1として設定するが、|XL−XR|がT以上であれば、ステップS12410では、未確定領域の幅をT2として設定する。ただし、T1<T2である。
図10は、第1実施形態における境界点の未確定範囲の同定処理の一例を示す。
ここで、処理対象となる境界点はO(X,Y)で表す。当該境界点の未確定範囲の決定のため、左右の隣にある画素の距離情報に基づく処理を行う。左にある△で現す画素O1(X1、Y)は、距離推定の困難な画素である。その左にある○で表す画素OL(XL、Y)は、距離推定が出来ている画素である。同様に、その右にある○で表す画素OR(XR、Y)は右にある距離推定が出来ている画素である。|XL−XR|の値により未確定領域の幅を制御する。
図11は、第1実施形態における図3(A)に示す入力画像例のトライマップ生成処理の一例を示すものである。
ここで、確定背景領域を黒で表し、確定前景領域を白で表し、未確定領域をグレーで表し、参考に、実際の物体の輪郭線を点線で表す。この例で示すように、本実施形態のトライマップ生成では、物体の周囲に細かい表現が必要と思われる部分を未確定領域として太く、そうではない部分を未確定領域として狭く決める。それによって、真の境界付近の領域を適切に未確定領域に入れるトライマップの生成が可能になり、アルファ推定の精度向上に繋がる。
アルファ推定処理において、入力画像Iは、前景色Fと背景色Bの線形混合によって生成される結果であるとして、以下の式が仮定される。
I(x)=α(x)F(x)+(1−α(x))B(x)
ここで、xは画像上の画素の座標を示すもので、α(x)は当該画素のアルファを示すものである。このアルファ推定処理は、公知の解法を利用することが可能である。
上記の実施形態では、境界にある各境界点において、左右にある周囲画素の距離推定が出来ていないかを判断し、未確定領域の幅を決定するものとした。左右の代わりに、上下にある周囲画素、或いは、上下左右にある周囲画素、或いは、境界線の法線にある周囲画素に注目し、距離推定が出来ていないかを判断し、未確定領域の幅を制御しても良い。
また、上記の実施形態では、前景領域と背景領域の境界にある各境界点において、周囲画素の距離(例えば、前記の|XL−XR|)が一定の数値以上であるかどうかによって、距離推定の出来具合を判断した。また距離推定が出来ていない画素間の範囲によって、未確定領域の幅を制御して設定するものとした。周囲画素の距離値がある範囲内であるかどうかによって、距離推定出来具合を判断しても良い。
また、上記の実施形態では、前景領域と背景領域の境界にある各境界点において、周囲画素の距離推定が出来ていない画素間の範囲はある閾値以上であるかどうかに基づき、未確定領域の幅を2段階に設定するものとした。周囲画素の距離推定が出来ていない画素間の範囲を数段階に分け、未確定領域の幅を数段階、或いは、連続に、設定しても良い。
第1実施形態では、対象領域とそれ以外の領域の境界にある各境界点において、周囲画素の距離推定が出来ていないかを判断し、未確定領域の幅を決定した。本実施形態は、各境界点において、周囲画素の距離の信頼度に基づき、未確定領域の幅を決定する。
第2実施形態における境界点の未確定範囲の同定処理の詳細について、図12を参照して説明する。
先ず、ステップS124201では、処理対象となる境界点の座標情報(X、Y)を取得する。次に、ステップS124202からステップS124210まで、当該境界点の周囲画素の距離の信頼度に基づき未確定範囲の幅を決定する。
ステップS124202では、処理対象となる境界点の左隣りにある画素に注目し、当該画素が距離推定の信頼度の高い画素であるかどうかを判断する。この画素の距離推定の信頼度が閾値より高くなければ、距離推定は信頼出来ない画素と判断し、ステップS124203に進む。この画素の距離推定の信頼度が閾値より高ければ、ステップS124204に進む。
ステップS124203では、距離推定の信頼度が高くないと判断した画素の左隣りにある画素に注目し、ステップS124202と同様の判断処理を繰り返す。判断の対象となっている画素の距離の信頼度が閾値より高ければ、距離推定は信頼出来る画素と判断し、ステップS124204に入る。
ステップS124204では、上記に境界点の左に取得した画素の座標(XL、Y)を記録する。
ステップS124205では、処理対象となる境界点の右隣りにある画素に注目し、当該画素が距離推定の信頼度の高い画素であるかどうかを判断する。この画素の距離推定の信頼度が高くなければ、距離推定は信頼出来ない画素と判断し、ステップS124206に進む。信頼度が高ければ、ステップS124207に進む。
ステップS124206では、距離推定の信頼度が高くないと判断した画素の右隣りにある画素に注目し、ステップS124205と同様の判断処理を繰り返す。判断の対象となっている画素の距離の信頼度が高ければ、距離推定は信頼出来る画素と判断し、ステップS124207に入る。
ステップS124207では、距離の信頼度が高いと判断した画素の座標(XR、Y)を記録する。
そして、ステップS124208では、2つのX座標の差の絶対値(つまり、|XL−XR|)がある閾値T以上であるかどうかを判断する。|XL−XR|がT未満であれば、ステップS124209では、未確定領域の幅をT1として設定するが、|XL−XR|がT以上であれば、ステップS124210では、未確定領域の幅をT2として設定する。ただし、T1<T2である。
第2実施形態では、各境界点において、近傍にある画素の距離推定の信頼度が高いかどうかを判断し、未確定領域の幅を決定するものである。
第1、第2実施形態では、対象領域とそれ以外の領域の境界にある境界点において、周囲画素の距離情報に基づき未確定領域の幅を決定した。本実施形態では、各境界点において、周囲画素のエッジ方向の分散に基づき未確定領域の幅を決定する。
「エッジ」とは画像の明るさが鋭敏に変化している個所を意味する。エッジ検出は、例えばSobelやPrewittやLaplacianなどのエッジ検出オペレータを用いて行うことができる。各画素について、エッジ検出オペレータを画像の水平方向、垂直方向について適用する。そして、その出力値をもとに、エッジ強度及びエッジ方向を算出する。エッジ検出オペレータの水平方向の出力値をfx、垂直方向の出力値をfyとした場合、エッジ強度I、エッジ方向Φは、例えば下記式によって算出することができる。
I=(fx^2+fy^2)^(1/2)
φ=arctan(fy/fx)
図13は、本発明の実施形態に係る画像処理装置の構成を示すブロック図である。
画像処理装置は、トライマップ生成部31、アルファ推定部32、エッジ計算部33を備えている。
トライマップ生成部31は、境界情報及び処理対象画像を入力とし、確定前景領域、確定背景領域、及び未確定領域からなる3値のトライマップ画像を生成する。境界情報は、処理対象領域とそれ以外の領域の境界の情報であるが、処理対象画像の前景領域と背景領域の2値画像でも良いし、境界線でも良いし、境界点のリストでも良い。
アルファ推定部32は、トリマップ生成部31で生成された3値のトライマップにある未確定領域において、各画素の色情報を利用してアフファを推定し、被写体を抽出する。
エッジ計算部33は、境界上の各点の周囲画素のエッジ方向とエッジ方向の分散を計算する。
先ず、ステップS31では、処理対象画像の境界情報を入力する。
次に、ステップS32では、処理対象画像を入力する。
次に、ステップS33では、境界情報及び処理対象画像を参照し、確定前景領域、確定背景領域、及び未確定領域からなる3値のトライマップを生成する。このトライマップ生成処理は、前景領域と背景領域の間にある各境界画素おいて、周囲画素のエッジ方向を参照し、トライマップの未確定領域の幅を決める。このトライマップ生成処理の詳細について、図15を参照して後述する。
次に、ステップS34では、ステップS33により生成されたトライマップにある未確定領域において、各画素の色情報に基づき、構成する前景色と背景色を推定し、アルファを推定する。
第3実施形態におけるトライマップ生成処理の詳細について、図15を参照して説明する。
先ず、ステップS331では、境界情報を入力する。
次に、ステップS332では、処理対象画像を入力する。
次に、ステップS333では、境界点を取得する。
次に、ステップS334では、処理対象となる境界点において、周囲画素の色情報により取得するエッジ方向を参照して、未確定範囲を同定する。この境界点の未確定範囲の同定処理の詳細について、図16を参照して説明する。
次に、ステップS335では、全ての境界点は処理済みであるかを判断する。まだ未処理の境界点があれば、上記ステップS334の処理を繰り返して行う。未処理の境界点がなければ、ステップS336では、上記のすべての境界点の未確定範囲の情報によってトライマップ画像を生成する。
第3実施形態における境界点の未確定範囲の同定処理の詳細について、図16を参照して説明する。
先ず、ステップS3341では、処理対象となる境界点の座標情報(X、Y)を取得する。
次に、ステップS3342からステップS3345まで、当該境界点の周囲画素のエッジ方向の分散に基づき未確定範囲の幅を決定する。
ステップS3342では、処理対象となる境界点の周囲画素のエッジを取り、エッジ方向を計算し、エッジ方向の分散を求める。
ステップS3343では、エッジ方向の分散が所定値より大きいかどうかを判断する。エッジ方向の分散が所定値以下であれば、ステップS3344では、当該境界点付近をエッジが一定の方向に示す領域とし、未確定領域の幅をT1に設定する。エッジ方向の分散が所定値より大きければ、ステップS3345では、当該境界点付近をエッジがばらける領域とし、未確定領域の幅をT2に設定する。ただし、T2はT1より大である。
図17は、第3実施形態における境界点の未確定範囲の同定処理の一例を示す。
本実施形態では、境界にある各境界点において、周囲画素のエッジ方向の分散に基づき未確定領域の幅を決定したが、エッジの方向性の統計が分かるその他の指標を使っても良い。
また、本実施形態では、境界にある各境界点において、周囲画素のエッジ方向の分散に基づき未確定領域の幅を2段階に制御するものとしたが、分散の重み付けによって未確定領域の幅を制御しても良い。
第1、第2実施形態では、対象領域とそれ以外の領域の境界にある境界点において、周囲画素の距離情報に基づき未確定領域の幅を決定した。第3実施形態では、対象領域とそれ以外の領域の境界にある境界点において、周囲画素のエッジの方向性に基づき未確定領域の幅を決定した。本実施形態は、境界点において、周囲画素の距離情報に基づき未確定領域の幅を仮に決定し、更に、エッジ情報に基づき仮に決定した幅が妥当かを判断し、判断結果に応じて幅を修正して、未確定領域の幅を決定する。
図18は、本発明の実施形態に係る画像処理装置の構成を示すブロック図である。
画像処理装置は、トライマップ生成部41、トライマップ修正部(未確定領域修正手段)42、アルファ推定部43を備えている。
トライマップ生成部41は、境界情報を及び処理対象画像を入力し、確定前景領域、確定背景領域、及び未確定領域からなる3値のトライマップ画像を生成する。
トライマップ修正部(未確定領域修正手段)42は、トライマップ生成部41により生成されたトライマップにノイズ、即ち、設定ミスがあるかどうかを判断し、ノイズがあれば未確定領域の幅を修正する。
アルファ推定部43は、トリマップ生成部42で生成された3値のトライマップにある未確定領域において、各画素の色情報を利用してアルファを推定し、被写体を抽出する。
先ず、ステップS41では、処理対象画像の境界情報、距離情報を入力する。
次に、ステップS42では、境界情報及び処理対象画像を参照し、確定前景領域、確定背景領域、及び未確定領域からなる3値のトライマップを生成する。このトライマップ生成処理は、第1、第2実施形態と同様である。
次に、ステップS43では、処理対象画像を入力する。
次に、ステップS44では、境界点の周囲画素の色情報によってエッジ抽出を行い、エッジ方向およびエッジ方向の分散を計算し、エッジ方向の分散に基づき、未確定領域にノイズがあるかを判断し、トライマップを修正する。このトライマップ生成処理の詳細について、図20を参照して後述する。
次に、ステップS45では、ステップS44により生成されたトライマップにある未確定領域において、各画素の色情報に基づき、構成する前景色と背景色を推定し、アルファを推定する。
第4実施形態におけるトライマップ修正処理の詳細について、図20を参照して説明する。
先ず、ステップS4401では、処理対象となる境界点座標(X、Y)及び、当該境界点の未確定領域の幅(HX)を取得する。
次に、ステップS4402では、当該境界点の未確定領域の幅(HX)と、その前に処理した境界点の未確定領域の幅(ここで、(HX−1)で表す)とを比較する。上記未確定領域の幅の差がある閾値T以上であれば、ステップS4403からステップS4405では、当該未確定領域の幅(HX)はノイズであるかどうかを判断する。
ステップS4403では、当該境界点の周囲にある画素のエッジ方向の分散を計算する。
ステップS4404では、エッジ方向の分散が所定範囲内(閾値以下)であれば、ステップS4405に進む。ステップS4405では、当該未確定領域の幅(HX)はノイズであると判断し、ステップS4406に進む。ステップS4406では、当該未確定領域の幅(HX)を(HX−1)との差が小さくなるように調整する。エッジ方向の分散が所定範囲外であれば、ステップS4407では、当該境界点の未確定領域の幅(HX)をそのままに設定する。
このような場合、境界点Xの周囲画素のエッジ方向の分散は通常、所定範囲を超える(閾値を超える)と考えられる。
つまり、「未確定領域の幅(Hx)と(Hx−1)との差が大きい」にもかかわらず、境界点Xの周囲画素のエッジ方向の分散が小さい場合(閾値以下の場合)、「未確定領域の幅Hx」はノイズである可能性が高い。
「未確定領域の幅(HX)を(HX−1)との差が小さくなるように調整する」とは、例えば「未確定領域の幅(HX)を(HX−1)と等しい値に変更する」ことが含まれる。
ステップS4408では、全ての境界点において処理済みであるかどうかを判断する。まだ未処理の境界点があれば、ステップS4401に入り、上記のステップS4407までの処理を繰り返し行うが、未処理の境界点がなければ、上記の修正処理を終える。
図21は、第4実施形態におけるトライマップ修正処理の一例を示すものである。
図21(A)は髪の毛を表現する画像の一部で、図21(B)は当該画像のトライマップ例である。髪の毛の具合によって本の一部だけ未確定領域の幅が尖っている結果になる。
第4実施形態では、境界情報及び距離情報に基づきトライマップを生成し、更に境界周囲画素のエッジ情報に基づき生成されたトライマップの精度を向上するものである。
本発明の被写体抽出の実施形態の他の応用例として、被写体や背景など任意の部分にピントを合わせ、それ以外をぼかすというリフォーカス処理、などが考えられる。
また、本発明のアルファ推定の実施形態の他の応用例として、多眼撮影装置から取得する複数の画像のセグメンテーションや、深度画像の高精度化、なども考えられる。
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェア(画像処理プログラム)のプログラムコードを記録したコンピュータ読み取り可能な記憶媒体を、システムあるいは装置に供給することによっても、達成されることは言うまでもない。また、システムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、不揮発性のメモリカード、ROMなどを用いることができる。
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。また、プログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態が実現される場合も含まれることは言うまでもない。
12 アルファ推定部
1101 境界取得部
1102 未確定領域設定部
1103 領域情報生成部
Claims (10)
- 処理対象領域とそれ以外の処理対象外領域との境界を取得する境界取得手段と、
前記境界取得手段により取得される境界の周囲に未確定領域を設定する未確定領域設定手段と、
処理対象領域から未確定領域を除いた領域を前景領域とし、処理対象外領域から未確定領域を除いた領域を背景領域として、前景領域、背景領域、及び未確定領域を特定する領域情報を生成する領域情報生成手段とを備え、
前記未確定領域設定手段は、
前記境界取得手段により取得される境界の周囲画素の特徴量に基づき、境界の周囲の未確定領域の幅を設定することを特徴とする画像処理装置。 - 前記境界取得手段は、
各画素が処理対象領域に存在する画素であるか処理対象外領域に存在する画素であるかを示す2値情報を取得することにより処理対象領域と処理対象外領域の境界を取得することを特徴とする請求項1に記載の画像処理装置。 - 前記未確定領域設定手段は、
境界の周囲画素の特徴量が類似する範囲、或いは、特徴量のばらつきが大きい範囲は未確定領域を広く設定することを特徴とする請求項1又は2に記載の画像処理装置。 - 前記未確定領域設定手段は、
前記境界の周囲画素における被写体への距離を特徴量とし、
前記距離が不安定な画素の周囲の未確定領域の幅を広く設定することを特徴とする請求項1又は2に記載の画像処理装置。 - 前記未確定領域設定手段は、
前記境界の周囲画素における被写体への距離の信頼度を特徴量とし、
前記信頼度が低い画素の周囲の未確定領域の幅を広く設定することを特徴とする請求項1又は2に記載の画像処理装置。 - 前記境界上の各点の周囲画素のエッジ方向とエッジ方向の分散を計算するエッジ計算手段をさらに備え、
前記未確定領域設定手段は、前記エッジ方向の分散を特徴量とすることを特徴とする請求項3に記載の画像処理装置。 - エッジ計算手段と未確定領域修正手段とをさらに備え、
前記エッジ計算手段は、
前記境界上の各点の周囲画素のエッジ方向とエッジ方向の分散を計算し、
前記未確定領域修正手段は、
境界点Xの未確定領域の幅Hxと境界点X−1の未確定領域の幅Hx−1との差を算出し、
未確定領域の幅Hxと未確定領域の幅Hx−1との差が第1の閾値以上である場合に、境界点Xの周囲画素のエッジ方向の分散と第2の閾値とを比較し、
境界点Xの周囲画素のエッジ方向の分散が第2の閾値以下である場合に、未確定領域の幅Hxと未確定領域の幅Hx−1との差が小さくなるように、未確定領域の幅Hxを変更し、
未確定領域の幅Hxと未確定領域の幅Hx−1との差が第1の閾値以上でない場合、又は境界点Xの周囲画素のエッジ方向の分散が第2の閾値以下でない場合に、未確定領域の幅Hxをそのままとする
ことを特徴とする請求項4又は5に記載の画像処理装置。 - 処理対象領域とそれ以外の処理対象外領域との境界を取得する境界取得工程と、
前記境界取得工程により取得される境界の周囲画素の特徴量に基づき、境界の周囲に設定される未確定領域の幅を設定する未確定領域設定工程と、
処理対象領域から未確定領域を除いた領域を前景領域とし、処理対象外領域から未確定領域を除いた領域を背景領域として、前景領域、背景領域、及び未確定領域を特定する領域情報を生成する領域情報生成工程と、を備えた、
ことを特徴とする画像処理方法。 - 請求項8に記載の各工程をコンピュータに実行させるための画像処理プログラム。
- 請求項9に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014014955A JP6355346B2 (ja) | 2014-01-29 | 2014-01-29 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
US14/606,717 US9652855B2 (en) | 2014-01-29 | 2015-01-27 | Image processing apparatus that identifies image area, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014014955A JP6355346B2 (ja) | 2014-01-29 | 2014-01-29 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015141633A true JP2015141633A (ja) | 2015-08-03 |
JP6355346B2 JP6355346B2 (ja) | 2018-07-11 |
Family
ID=53679514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014014955A Active JP6355346B2 (ja) | 2014-01-29 | 2014-01-29 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9652855B2 (ja) |
JP (1) | JP6355346B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018036579A (ja) * | 2016-09-02 | 2018-03-08 | オリンパス株式会社 | 顕微鏡画像処理装置、方法およびプログラム |
JP2018136789A (ja) * | 2017-02-22 | 2018-08-30 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2019501472A (ja) * | 2016-01-04 | 2019-01-17 | ラオヴィラン エクスペリアンスLaoviland Experience | 画像のグラフィック処理方法 |
JP2022528294A (ja) * | 2019-07-15 | 2022-06-09 | グーグル エルエルシー | 深度を利用した映像背景減算法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016203282A1 (en) | 2015-06-18 | 2016-12-22 | The Nielsen Company (Us), Llc | Methods and apparatus to capture photographs using mobile devices |
US10607318B2 (en) * | 2016-12-30 | 2020-03-31 | Facebook, Inc. | Systems and methods for image matting |
EP4068203A1 (en) * | 2017-05-09 | 2022-10-05 | HeartFlow, Inc. | Systems and methods for anatomic structure segmentation in image analysis |
CN109697722B (zh) * | 2017-10-23 | 2021-10-15 | 北京京东尚科信息技术有限公司 | 用于生成三分图的方法及装置 |
JP6715289B2 (ja) * | 2018-05-24 | 2020-07-01 | 日本電信電話株式会社 | 映像処理装置、映像処理方法、および映像処理プログラム |
CN109993761B (zh) | 2018-06-29 | 2021-04-09 | 长城汽车股份有限公司 | 一种三值图像获取方法、装置及车辆 |
CN110335277A (zh) * | 2019-05-07 | 2019-10-15 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
US10984558B2 (en) * | 2019-05-09 | 2021-04-20 | Disney Enterprises, Inc. | Learning-based sampling for image matting |
EP3866107A1 (en) * | 2020-02-14 | 2021-08-18 | Koninklijke Philips N.V. | Model-based image segmentation |
CN113570614A (zh) * | 2021-01-18 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009276294A (ja) * | 2008-05-16 | 2009-11-26 | Toshiba Corp | 画像処理方法 |
JP2010066802A (ja) * | 2008-09-08 | 2010-03-25 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US8391594B1 (en) * | 2009-05-28 | 2013-03-05 | Adobe Systems Incorporated | Method and apparatus for generating variable-width border masks |
JP2013140437A (ja) * | 2011-12-28 | 2013-07-18 | Canon Inc | 画像処理装置および画像処理方法 |
US20140002746A1 (en) * | 2012-06-29 | 2014-01-02 | Xue Bai | Temporal Matte Filter for Video Matting |
-
2014
- 2014-01-29 JP JP2014014955A patent/JP6355346B2/ja active Active
-
2015
- 2015-01-27 US US14/606,717 patent/US9652855B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009276294A (ja) * | 2008-05-16 | 2009-11-26 | Toshiba Corp | 画像処理方法 |
JP2010066802A (ja) * | 2008-09-08 | 2010-03-25 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US8391594B1 (en) * | 2009-05-28 | 2013-03-05 | Adobe Systems Incorporated | Method and apparatus for generating variable-width border masks |
JP2013140437A (ja) * | 2011-12-28 | 2013-07-18 | Canon Inc | 画像処理装置および画像処理方法 |
US20140002746A1 (en) * | 2012-06-29 | 2014-01-02 | Xue Bai | Temporal Matte Filter for Video Matting |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019501472A (ja) * | 2016-01-04 | 2019-01-17 | ラオヴィラン エクスペリアンスLaoviland Experience | 画像のグラフィック処理方法 |
JP2018036579A (ja) * | 2016-09-02 | 2018-03-08 | オリンパス株式会社 | 顕微鏡画像処理装置、方法およびプログラム |
JP2018136789A (ja) * | 2017-02-22 | 2018-08-30 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2022528294A (ja) * | 2019-07-15 | 2022-06-09 | グーグル エルエルシー | 深度を利用した映像背景減算法 |
JP7110502B2 (ja) | 2019-07-15 | 2022-08-01 | グーグル エルエルシー | 深度を利用した映像背景減算法 |
US11727577B2 (en) | 2019-07-15 | 2023-08-15 | Google Llc | Video background subtraction using depth |
Also Published As
Publication number | Publication date |
---|---|
US9652855B2 (en) | 2017-05-16 |
US20150213611A1 (en) | 2015-07-30 |
JP6355346B2 (ja) | 2018-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6355346B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 | |
EP3477931B1 (en) | Image processing method and device, readable storage medium and electronic device | |
US10540806B2 (en) | Systems and methods for depth-assisted perspective distortion correction | |
EP3327668B1 (en) | Image-processing device and method for foreground mask correction for object segmentation | |
US9152878B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US8805065B2 (en) | Image processing apparatus and image processing method | |
CN106899781B (zh) | 一种图像处理方法及电子设备 | |
US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
EP3644599B1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
US20110243451A1 (en) | Image processing apparatus and method, and program | |
JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
KR101624801B1 (ko) | 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치 | |
JP5914046B2 (ja) | 画像処理装置および画像処理方法 | |
AU2016273979A1 (en) | System and method for adjusting perceived depth of an image | |
CN108470327B (zh) | 图像增强方法、装置、电子设备及存储介质 | |
US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
JP2018160024A (ja) | 画像処理装置、画像処理方法及びプログラム | |
TWI479455B (zh) | 全對焦影像之建立方法 | |
AU2016273984A1 (en) | Modifying a perceptual attribute of an image using an inaccurate depth map | |
JP2011113177A (ja) | 被写体3次元モデルを構築する方法およびプログラム | |
JP2008147714A (ja) | 画像処理装置およびその方法 | |
Ly et al. | Automatic color correction: region-based approach and performance evaluation using full reference metrics | |
KR102112019B1 (ko) | 중간시점 영상 생성 장치 및 방법 | |
US11257236B2 (en) | Method for estimating a depth for pixels, corresponding device and computer program product | |
US10839540B2 (en) | Apparatus and method for generating intermediate view image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180515 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180612 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6355346 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |