JP2012208913A - ハイブリッドラベルに基づいてオブジェクトを分割する方法とシステム - Google Patents
ハイブリッドラベルに基づいてオブジェクトを分割する方法とシステム Download PDFInfo
- Publication number
- JP2012208913A JP2012208913A JP2011244206A JP2011244206A JP2012208913A JP 2012208913 A JP2012208913 A JP 2012208913A JP 2011244206 A JP2011244206 A JP 2011244206A JP 2011244206 A JP2011244206 A JP 2011244206A JP 2012208913 A JP2012208913 A JP 2012208913A
- Authority
- JP
- Japan
- Prior art keywords
- foreground
- pixels
- background
- pixel
- stroke
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】 ハイブリッドラベルに基づいて対象を分割する方法とシステムを提供する。
【解決手段】 ハイブリッドラベルに基づいて対象を分割する方法は、目標対象を含む画像内のピクセルについてラベル付けストロークを受信するステップと、不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築するステップと、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するステップとを含み。
【選択図】 図１
【解決手段】 ハイブリッドラベルに基づいて対象を分割する方法は、目標対象を含む画像内のピクセルについてラベル付けストロークを受信するステップと、不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築するステップと、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するステップとを含み。
【選択図】 図１
Description
本発明は、画像処理技術に関し、特に、ハイブリッドラベルに基づいてオブジェクトを分割する方法とシステムに関する。
画像分割の目的は、画像から関心のある領域をラベル付けすることである。ラベル付けの結果に基づいて、特定の関心のある領域について画像処理を実行することが可能となる。特定の領域について画像処理を実行するというそのような要求は画像処理アプリケーションにおける一般的な要求である。しかしながら、効率的に関心のある領域をラベル付けする方法はまだ確立していない。領域それ自身が規則的な領域ならば、この操作は、対話型のツール（例えば、マウス）を用いることにより簡単に実行することができる。しかしながら、関心のある領域が不規則ならば、関心のある領域の各エッジピクセルをラベル付けすることは、非常に煩わしくかつ労力を要する作業である。このため、自動又は半自動の方式によって画像から関心のある領域を抽出することが望まれている。この関心のある目標地域は、目標対象、あるいは対象あるいは、前景と略して称される。
半自動式対象ラベル付け法は対話型の対象分割のために用いられる。
ユーザは、対象に関するある情報をコンピュータ・プログラム提供する必要がある。その後、コンピュータ・プログラムが、そのような情報に基づいて対象を自動的に分割する。結果が最終目標を達成しなければ、ユーザはいくつかの追加情報を提供し、コンピュータ・プログラムが再び計算を実行する。この反復の対話分割方法においては、一歩一歩良好な分割結果に近づく。一般に、ユーザが対象情報を提供するのに２つの方法がある。第１の方法は対象のエッジをラベル付けすることである。一旦対象の完全なエッジがラベル付けされれば、対象分割のタスクが完遂する。第２の方法は対象のシードピクセル（seed pixel）の一部をラベル付けすることである。コンピュータ・プログラムは、シードピクセルによって提供される情報に基づいて対象を自動的に分割する。例えば、第２の方法においては、ユーザが、マウスを用いて、いくつかの決定した対象ピクセルと背景ピクセルをラベル付けし、コンピュータ・プログラムが目標対象を分割する。
ユーザは、対象に関するある情報をコンピュータ・プログラム提供する必要がある。その後、コンピュータ・プログラムが、そのような情報に基づいて対象を自動的に分割する。結果が最終目標を達成しなければ、ユーザはいくつかの追加情報を提供し、コンピュータ・プログラムが再び計算を実行する。この反復の対話分割方法においては、一歩一歩良好な分割結果に近づく。一般に、ユーザが対象情報を提供するのに２つの方法がある。第１の方法は対象のエッジをラベル付けすることである。一旦対象の完全なエッジがラベル付けされれば、対象分割のタスクが完遂する。第２の方法は対象のシードピクセル（seed pixel）の一部をラベル付けすることである。コンピュータ・プログラムは、シードピクセルによって提供される情報に基づいて対象を自動的に分割する。例えば、第２の方法においては、ユーザが、マウスを用いて、いくつかの決定した対象ピクセルと背景ピクセルをラベル付けし、コンピュータ・プログラムが目標対象を分割する。
Wang, D., Shan, S.G., Zeng, W., Zhang,H.M., Chen, X.L.: A novel two-tier Bayesian based method for hair segmentation.International Conference on Image Processing, (2009) 2401-2404
Eduardo S. L. Gastal and Manuel M. Oliveira, Shared Sampling for Real-Time Alpha Matting,Computer Graphics Forum, Volume 29 (2010), Number 2, Proceedings ofEurographics 2010, pp. 575-584
対話型の対象分割技術の目的は、できるだけ少ない対話回数で正確な分割結果を取得することである。理想的には、ユーザが一つずつ目標ピクセルをラベル付けすることである。しかしながら、対象が非常に多くのピクセル数を有するかもしれないし、それらをラベル付けすることは非常に煩わしくかつ労力を要するので、これは非実用的である。
他方、対象のエッジが非常に簡単な場合、対話型の対象分割技術は高精度な分割を達成することが可能である。複雑な状態においては、分割結果は、それほど正確でない傾向がある。例えば、髪の毛などのような対象のエッジは非常に複雑なエッジを有し、対象のエッジをラベル付けすることはユーザにとって非常に困難である。したがって、エッジピクセルについて分割誤差がある場合、あるいはラベル付けについて情報が不十分な場合、ユーザによるラベル付け操作は、ラベル付けが不十分であるため、一般に悪い結果を導くことになる。それ故、そのような複雑なエッジを処理することは既存の分割アルゴリズムにとって困難である。
他方、対象のエッジが非常に簡単な場合、対話型の対象分割技術は高精度な分割を達成することが可能である。複雑な状態においては、分割結果は、それほど正確でない傾向がある。例えば、髪の毛などのような対象のエッジは非常に複雑なエッジを有し、対象のエッジをラベル付けすることはユーザにとって非常に困難である。したがって、エッジピクセルについて分割誤差がある場合、あるいはラベル付けについて情報が不十分な場合、ユーザによるラベル付け操作は、ラベル付けが不十分であるため、一般に悪い結果を導くことになる。それ故、そのような複雑なエッジを処理することは既存の分割アルゴリズムにとって困難である。
特許文献１(US 20080136820 A1)は、ラベルに基づいた対象を分割する方法を提供する。しかしながら、特許文献１の概念は、前景と背景の２タイプのラベルを用いて分割結果を取得することにある。髪の毛のような複雑なエッジについて、高精度な分割を達成することは、特許文献１の方法にとってもなお困難である。
本発明は、ハイブリッドラベルに基づいて対象を分割する方法とシステムを提供することを目的とする。
本発明によるハイブリッドラベルに基づいて対象を分割する方法は、目標対象を含む画像内のピクセルについてラベル付けストロークを受信するステップと、不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築するステップと、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するステップとを含み、ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む。
好ましい態様によれば、下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するステップをさらに含む。
好ましい態様によれば、所定の閾値を用いて、不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するステップをさらに含む。
好ましい態様によれば、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算するステップは、Mattingアルゴリズムに基づく。
好ましい態様によれば、前景モデルと背景モデルは、混合ガウスモデルに基づく。
本発明によるハイブリッドラベルに基づいて対象を分割するシステムは、目標対象を含む画像内のピクセルについてラベル付けストロークを受信するように構成される受信手段と、不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築し、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定する分割手段とを備え、ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む。
好ましい態様によれば、受信手段によって受信されたラベル付けストロークを格納するように構成された記憶手段と、受信したラベル付けストロークが、前景ストローク、背景ストロークあるいは不確定ストロークかを分析し、分析結果を分割手段に提供するように構成される分析手段をさらに含む。
好ましい態様によれば、分割手段は、下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するように構成される。
好ましい態様によれば、分割手段は、所定の閾値を用いて、不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するように構成される。
好ましい態様によれば、分割手段は、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を、Mattingアルゴリズムに基づいて計算するように構成される。
好ましい態様によれば、分割手段は、混合ガウスモデルに基づいて、前景モデルと背景モデルを構築するように構成されることを特徴とする付記６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
本発明の実施の形態による方法とシステムによれば、対話型の分割は、多くのタイプのラベルに基づいて画像内の対象について実行される。この方法によれば、複雑なエッジが存在する情況を処理し、高精度な分割結果を取得することが可能となる。
本発明の上記特徴と効果は、図面を参照して説明された以下の詳細な説明からさらに明らかになるであろう。
本発明の実施の形態によるハイブリッドラベルに基づいて対象を分割するシステムの全体構成を示すブロック図である。
本発明の実施の形態によるハイブリッドラベルに基づいて対象を分割する方法を説明するフローチャートである。
以下、本発明の好ましい実施の形態について、図面を参照して詳細に説明する。異なる図において、同じ引用符号は同一或いは類似の構成要素を表わすために用いられる。明瞭さと簡潔さのために、いくつかの既知の機能と構成の詳細については、本発明の主題を不明瞭にしないように省略する。
図１は、本発明の実施の形態によるハイブリッドラベルに基づいてオブジェクトを分割するためのシステムの全体構成を示すブロック図である。
図１に示すように、本発明の実施の形態によるシステムは、ユーザによって入力された入力画像に対するラベル付け処理の結果に基づいて異なるタイプのラベル付けストローク（例えば、前景、背景、そして不確定の、３つのタイプのラベル付けストロークがある）から前景モデルと背景モデルを構築し、かつラベル付けストロークに基づいて自動画像分割を実行するよう構成された分割ユニット１１０と、画像分割の結果を表示するように構成された表示ユニット１２０とを備えている。
その後、ユーザは、分割結果を観察し、分割目標に基づいて現在の分割結果が要求を満足するかどうかを判定する。要求が満足されなければ、ユーザは、マウスまたはスタイラスペンなどのような入力装置で分割結果に基づいた対話をさらに実行することも可能である。
本発明の実施の形態によれば、分割ユニット１１０は、不確定なストロークによってラベル付けされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを確立し、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するよう構成されている。
図１に示すように、本発明の実施の形態によるシステムは、ユーザによって入力された入力画像に対するラベル付け処理の結果に基づいて異なるタイプのラベル付けストローク（例えば、前景、背景、そして不確定の、３つのタイプのラベル付けストロークがある）から前景モデルと背景モデルを構築し、かつラベル付けストロークに基づいて自動画像分割を実行するよう構成された分割ユニット１１０と、画像分割の結果を表示するように構成された表示ユニット１２０とを備えている。
その後、ユーザは、分割結果を観察し、分割目標に基づいて現在の分割結果が要求を満足するかどうかを判定する。要求が満足されなければ、ユーザは、マウスまたはスタイラスペンなどのような入力装置で分割結果に基づいた対話をさらに実行することも可能である。
本発明の実施の形態によれば、分割ユニット１１０は、不確定なストロークによってラベル付けされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを確立し、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するよう構成されている。
本発明の実施例によれば、前回のステップの分割結果について、ユーザは分割結果をラベル付けし、毎回ラベル付けされるピクセルの集合がラベル付けストロークとなる。
このシステムは、入力装置を介してユーザによって入力されるラベル付けストロークを受信するように構成された受信ユニット１５０を備えている。その後、記憶ユニット１４０は、ユーザと一度対話された全てのストロークを格納する。
これらのストロークは、前景、背景および不確定なエッジ（境界）のように、異なるタイプのラベルにそれぞれ対応している。記憶ユニット１４０は、ストロークについて、ストロークによってカバーされるピクセルの位置集合を格納する。各ストロークは、３種類のラベル（前景、背景および不確定なエッジ）の１つに対応する。
このシステムは、入力装置を介してユーザによって入力されるラベル付けストロークを受信するように構成された受信ユニット１５０を備えている。その後、記憶ユニット１４０は、ユーザと一度対話された全てのストロークを格納する。
これらのストロークは、前景、背景および不確定なエッジ（境界）のように、異なるタイプのラベルにそれぞれ対応している。記憶ユニット１４０は、ストロークについて、ストロークによってカバーされるピクセルの位置集合を格納する。各ストロークは、３種類のラベル（前景、背景および不確定なエッジ）の１つに対応する。
本発明の実施例によれば、システムは、ユーザと一度対話されるいくつかのストロークに基づいて、異なるタイプのストロークを処理するための異なる工程を決定し、決定結果を分割ユニット１１０に提供するように構成された分析ユニット１３０を備えている。
次に、上記のシステムの動作処理について、図２を参照して具体例を用いて説明する。図２は、本発明の実施の形態によるハイブリッドラベルに基づいて対象を分割する方法を示すフローチャートである。
図２に示すように、画像はシステムに入力される。ここで、目標対象を含むデジタル画像が本発明の実施の形態の入力である。目標対象は、ユーザによって定義された何れかの画像領域である。この目標対象は、分割に先立って定義され、かつ明確である。目標対象は、明確な意味（例えば、人物、動物と草原、あるいは明確な意味を有するそのようなターゲットの組み合わせ）を有する目標である。
図２に示すように、入力画像は子供の背部を含む画像である。この画像は、子供、フットボール、芝生、木および数人のフットボール選手などの多くのオブジェクトを含んでいる。ここでは、子供の髪の毛を目標対象として定義し、その他の対象を背景と見なす。目標対象は背景と相対する前景である。
図２に示すように、入力画像は子供の背部を含む画像である。この画像は、子供、フットボール、芝生、木および数人のフットボール選手などの多くのオブジェクトを含んでいる。ここでは、子供の髪の毛を目標対象として定義し、その他の対象を背景と見なす。目標対象は背景と相対する前景である。
ステップＳ１１で、分割ユニット１１０は、目標対象（すなわち、子供の髪の毛）を抽出するために入力画像を分割する。
ステップＳ１２で、表示ユニット１２０は、分割の結果を表示する。一般的に、対象分割の結果は、背景ピクセルを表す１つの値と前景ピクセルを表すもう１つの値を有する、二値画像を用いて表わされる。分割結果が評価のためにユーザに提供されることになっているので、通常、分割結果画像はオリジナルの画像上へ重ねられる。この場合、前景対象のエッジを、オリジナル画像上で特別の色で強調することも可能である。あるいは、分割された対象を、特別の色でオリジナル画像上に表示してもよい。
その後、ステップＳ１３で、分割結果が評価される。ユーザ評価は、現在提示されている分割結果に基づいて、取得された分割結果が特定の要求を満足しているかどうかをユーザが判定し、判定結果をコンピュータ・プログラムに通知する主観的な動作である。要求が満足されれば、コンピュータ・プログラムは分割を終了するよう通知され、そうでなければ、次の処理が実行される。
ユーザ対話の目的は、分割アルゴリズムに新たな前景、背景および不確定なラベルを提供することである。本発明の一実施例によれば、これらのラベルは、例えば、前景、背景および不確定なラベルを自動的に計算するような、他の方法によって提供される。統計的な意味における前景オブジェクト・モデルが存在する場合については、前回の分割結果からの前景と背景のピクセルは、高い閾値より高い信用度を有するピクセルが前景として分類され、低い閾値より低い信用度を有するピクセルが背景として分類され、中位の信用度を有し、前景と背景の間のエッジ空間に位置するピクセルは、不確定なピクセルとして判定するような方法で、モデルに基づいて分類される。
ステップＳ１４で、処理が終了したかどうかが判定される。分割実行は、ターゲットの定義に基づいて主観的及び／または客観的な方法で判定される。処理が終了すれば、ステップＳ１５で分割結果が表示される。そうでなければ、ステップＳ１６で、ユーザが、入力装置を介して前回の分割結果からピクセルについてラベル付けストロークを入力する。本発明の一実施例によれば、ラベル付けストロークは、前景ストローク、背景ストロークおよび不確定なエッジストロークを含む。
ユーザ対話は、ユーザが対話ツールで分割結果を修正する処理である。
本発明の実施の形態において用いられる対話ツールは、コンピュータ・マウスである。ユーザは、マウスを用いてコンピュータのスクリーン上にラベルを付する。マウスによって付された各ラベルの軌跡はストロークと称される。
各ストロークは、前景、背景あるいは不確定なラベルなどのようなラベルタイプを有する。各ストロークは、ピクセル位置の集合であり、それらの位置のピクセルが前景、背景あるいは不確定なタイプのラベルを含むことを示している。ユーザは、目標対象の定義に基づいて前景と背景のラベルを付する。ラベルを付するのが容易でないピクセルには、不確定なタイプとしてラベル付けする。
一般的は、不確定なピクセルは、対象のエッジに主に生成される。
対象のエッジが複雑である場合、多くの対話が前景ピクセルを判定するために必要となる。
図２に示す髪の毛のエッジを具体例として挙げると、前景のエッジが時には数ピクセル或いはただ１ピクセルだけの幅を有するような、とても多くの細い髪の毛が存在する。したがって、高い品質の対話作業を実行することはユーザにとって困難である。
この問題に対する解決法として、不確定なピクセルとしてラベル付けすることが可能である。この場合、ユーザは、コンピュータ・プログラムが自動的にそれらのピクセルを処理することができるように、区別するのが容易でないピクセルに不確定なタイプとして直接ラベルを付ける必要があるだけである。
本発明の実施の形態において用いられる対話ツールは、コンピュータ・マウスである。ユーザは、マウスを用いてコンピュータのスクリーン上にラベルを付する。マウスによって付された各ラベルの軌跡はストロークと称される。
各ストロークは、前景、背景あるいは不確定なラベルなどのようなラベルタイプを有する。各ストロークは、ピクセル位置の集合であり、それらの位置のピクセルが前景、背景あるいは不確定なタイプのラベルを含むことを示している。ユーザは、目標対象の定義に基づいて前景と背景のラベルを付する。ラベルを付するのが容易でないピクセルには、不確定なタイプとしてラベル付けする。
一般的は、不確定なピクセルは、対象のエッジに主に生成される。
対象のエッジが複雑である場合、多くの対話が前景ピクセルを判定するために必要となる。
図２に示す髪の毛のエッジを具体例として挙げると、前景のエッジが時には数ピクセル或いはただ１ピクセルだけの幅を有するような、とても多くの細い髪の毛が存在する。したがって、高い品質の対話作業を実行することはユーザにとって困難である。
この問題に対する解決法として、不確定なピクセルとしてラベル付けすることが可能である。この場合、ユーザは、コンピュータ・プログラムが自動的にそれらのピクセルを処理することができるように、区別するのが容易でないピクセルに不確定なタイプとして直接ラベルを付ける必要があるだけである。
本発明の一実施例によれば、ユーザが行う１回の対話は、いくつかのストロークから構成される可能性がある。各ストロークは、３つのタイプのラベル、前景、背景、不確定のうちの１つを有する。
異なるラベルタイプのピクセルは、表示のための３つの集合にそれぞれ格納される。
これらの３つの集合は、それぞれ、ユーザによってラベル付けされたピクセルの位置集合を格納する。
その後、その処理はステップＳ１１に戻る。
異なるラベルタイプのピクセルは、表示のための３つの集合にそれぞれ格納される。
これらの３つの集合は、それぞれ、ユーザによってラベル付けされたピクセルの位置集合を格納する。
その後、その処理はステップＳ１１に戻る。
ステップＳ１１で、対象は受信したラベル付けストロークに基づいて再度分割される。
対象分割は、どのピクセルが目標対象（前景）に属するか、また、どのピクセルが背景対象に属するかを判定するための、対象に対応する画像ピクセルに対して行う二項分類の処理である。
本発明の一実施例によれば、ここで用いられる分割アルゴリズムは、対応する前景と背景情報に基づいて、前景モデルと背景モデルを構築する。
その後、前景モデルと背景モデルを用いて、画像内のピクセルを分類することにより、対象の分割結果が取得される。
本発明の一実施例によれば、ここで用いられる分割アルゴリズムは、対応する前景と背景情報に基づいて、前景モデルと背景モデルを構築する。
その後、前景モデルと背景モデルを用いて、画像内のピクセルを分類することにより、対象の分割結果が取得される。
ステップＳ１１において、前景モデルは、前景ピクセルを判定するために、先験的情報（apriori information）に基づいて確立された数学モデルである。
このモデルは、前景ピクセルの数値特性について記述する。
ここで、この方法において用いられる前景モデルは、例えば、非特許文献１（Wang, D., Shan, S.G., Zeng, W., Zhang,
H.M., Chen, X.L.: A novel two-tier Bayesian based method for hair segmentation.
International Conference on Image Processing, (2009) 2401-2404）に記述されるような混合ガウスモデルである。
このモデルは、前景ピクセルの数値特性について記述する。
ここで、この方法において用いられる前景モデルは、例えば、非特許文献１（Wang, D., Shan, S.G., Zeng, W., Zhang,
H.M., Chen, X.L.: A novel two-tier Bayesian based method for hair segmentation.
International Conference on Image Processing, (2009) 2401-2404）に記述されるような混合ガウスモデルである。
ステップＳ１１において、背景モデルは、背景ピクセルを判定するために、先験的情報（apriori information）に基づいて確立された数学モデルである。このモデルは、背景ピクセルの数値特性について記述する。
ここで、この方法において用いられる背景モデルは、例えば、非特許文献１に記述されるような混合ガウスモデルである。
ここで、この方法において用いられる背景モデルは、例えば、非特許文献１に記述されるような混合ガウスモデルである。
ステップＳ１１において用いられる、グラフカット方法（graph-cut method）は、前景と背景のモデルに基づいてピクセルを分類する方法である。
この方法は、グラフカット理論（graph-cut theory）を利用し、ピクセル中の空間的位置関係と組み合わせて、ピクセルについて前景と背景モデルを組込み、非特許文献１に記述されるように、前景と背景のピクセルを分類するために最大／最小フローアルゴリズム（maximum/minimum flow algorithm）を用いる。
この方法は、グラフカット理論（graph-cut theory）を利用し、ピクセル中の空間的位置関係と組み合わせて、ピクセルについて前景と背景モデルを組込み、非特許文献１に記述されるように、前景と背景のピクセルを分類するために最大／最小フローアルゴリズム（maximum/minimum flow algorithm）を用いる。
ステップＳ１１において、非特許文献２（Eduardo S. L. Gastal and
Manuel M. Oliveira, Shared Sampling for Real-Time Alpha Matting, Computer
Graphics Forum, Volume 29 (2010), Number 2, Proceedings of Eurographics 2010,
pp. 575-584）に記述されるようなMattingアルゴリズムは用いることが可能である。それはピクセルのAlpha値を計算する方法である。この方法は、判定した前景と背景ピクセルに基づいて前景または背景に分類されていないピクセルのアルファ値を計算する。
Manuel M. Oliveira, Shared Sampling for Real-Time Alpha Matting, Computer
Graphics Forum, Volume 29 (2010), Number 2, Proceedings of Eurographics 2010,
pp. 575-584）に記述されるようなMattingアルゴリズムは用いることが可能である。それはピクセルのAlpha値を計算する方法である。この方法は、判定した前景と背景ピクセルに基づいて前景または背景に分類されていないピクセルのアルファ値を計算する。
本発明の実施の形態において、前景または背景に分類されていないピクセルは、図２に示されるステップＳ１７で不確定とラベル付けされたピクセルから取得される。
Mattingアルゴリズムを用いることにより、不確定なピクセルのAlpha値が計算される。
ここで、Alpha値は、ピクセルが前景ピクセルであるための確率を表わす０と１の間の実数である。
Alpha値の１は、ピクセルが１００％前景ピクセルであることを示し、Alpha値の０は、ピクセルが１００％背景ピクセルであることを示している。
従って、Alpha値に従って、低い閾値（下限）より低いAlpha値を有するピクセルは、背景ピクセルと判定され、一方、高い閾値（上限）より高いAlpha値を有するピクセルは、前景ピクセルと判定される。
Mattingアルゴリズムを用いることにより、不確定なピクセルのAlpha値が計算される。
ここで、Alpha値は、ピクセルが前景ピクセルであるための確率を表わす０と１の間の実数である。
Alpha値の１は、ピクセルが１００％前景ピクセルであることを示し、Alpha値の０は、ピクセルが１００％背景ピクセルであることを示している。
従って、Alpha値に従って、低い閾値（下限）より低いAlpha値を有するピクセルは、背景ピクセルと判定され、一方、高い閾値（上限）より高いAlpha値を有するピクセルは、前景ピクセルと判定される。
分割アルゴリズムの具体例について以下に示す。
（１）ユーザとの対話のない初期段階では、分割アルゴリズムは、以下の２つの方策の任意の１つを使用することが可能である。
１．１）非特許文献に記述されるような他の自動対象分割方法を用いて、初期の分割結果を取得する。
１．２）全ての画像ピクセルを背景ピクセルに直接分類する。
（２）分割結果は評価のためにユーザに提示される。
（３）ユーザが分割結果に満足ならば、アルゴリズムは終了する。
（４）ユーザが分割結果に満足しなければ、対話が必要となる。
ラベルは、対話ツール（例えば、マウス）で画像上に付される。
いくつかのピクセルが前景ピクセルであるとユーザが考えれば、ユーザは、対話ツールを用いてスクリーン上でこれらのピクセルにラベルを付する。同様にして、背景ピクセルにもラベルが付される。
前回の分割結果において分割誤差（例えば、前景ピクセルが背景に間違って分割され、あるいは、背景ピクセルが前景に間違って分割される）があれば、ユーザは、そのような間違って分割されたピクセルを正しいラベルで再度ラベル付けする。
他方、ユーザは、ユーザが正確にラベル付けすることができないと考えるピクセルに、不確定なラベル（本発明の実施の形態に特有のラベル）を用いてラベル付けする。
ここで、各ラベルはストロークと称される。各ストロークは３つのタイプのラベル（前景、背景、不確定）の１つに対応する。
１つのストロークは、ユーザがスクリーン上で対話ツールを移動させる軌跡内のピクセルの位置集合である。
（５）ユーザによってラベル付けされたストロークを元に、ユーザ指定の前景ピクセル、前回の分割結果と一緒の背景ピクセルに基づいて更新後の前景と背景モデルが構築される。
ここで、新たな前景と背景モデルの構築中に、ユーザによってラベル付けされた前景と背景のピクセルは、大きな重みを持って割り当てられる。
構築された前景と背景モデルに基づいて、分割プログラムは、不確定なタイプとしてラベル付けされない画像内の各ピクセルを、グラフカットによって前景または背景のピクセルに分類する。
ユーザによって指定された各不確定なピクセルについて、そのAlpha値がMattingアルゴリズムを用いて決定される。
ここで、Alpha値は、ピクセルが前景ピクセルであるための確率を表わす０と１の間の実数である。
Alpha値の１は、ピクセルが１００％前景ピクセルであることを示し、Alpha値の０は、ピクセルが１００％背景ピクセルであることを示している。
従って、Alpha値に従って、低い閾値（下限）より低いAlpha値を有するピクセルは、背景ピクセルと判定され、一方、高い閾値（上限）より高いAlpha値を有するピクセルは、前景ピクセルと判定される。
他のAlpha値を有するピクセルは、次の前景／背景更新計算に含まれない不確定なピクセルと判定される。
（６）ステップ（５）で取得された結果は、ユーザに提示される。
ユーザが現在の分割結果に満足しなければ、処理はステップ（４）に戻る。そうでなければ、処理は次のステップに進む。
（７）全ての不確定なピクセルは、０．５前後の閾値に基づいて、前景または背景のピクセルに再分類される。
（１）ユーザとの対話のない初期段階では、分割アルゴリズムは、以下の２つの方策の任意の１つを使用することが可能である。
１．１）非特許文献に記述されるような他の自動対象分割方法を用いて、初期の分割結果を取得する。
１．２）全ての画像ピクセルを背景ピクセルに直接分類する。
（２）分割結果は評価のためにユーザに提示される。
（３）ユーザが分割結果に満足ならば、アルゴリズムは終了する。
（４）ユーザが分割結果に満足しなければ、対話が必要となる。
ラベルは、対話ツール（例えば、マウス）で画像上に付される。
いくつかのピクセルが前景ピクセルであるとユーザが考えれば、ユーザは、対話ツールを用いてスクリーン上でこれらのピクセルにラベルを付する。同様にして、背景ピクセルにもラベルが付される。
前回の分割結果において分割誤差（例えば、前景ピクセルが背景に間違って分割され、あるいは、背景ピクセルが前景に間違って分割される）があれば、ユーザは、そのような間違って分割されたピクセルを正しいラベルで再度ラベル付けする。
他方、ユーザは、ユーザが正確にラベル付けすることができないと考えるピクセルに、不確定なラベル（本発明の実施の形態に特有のラベル）を用いてラベル付けする。
ここで、各ラベルはストロークと称される。各ストロークは３つのタイプのラベル（前景、背景、不確定）の１つに対応する。
１つのストロークは、ユーザがスクリーン上で対話ツールを移動させる軌跡内のピクセルの位置集合である。
（５）ユーザによってラベル付けされたストロークを元に、ユーザ指定の前景ピクセル、前回の分割結果と一緒の背景ピクセルに基づいて更新後の前景と背景モデルが構築される。
ここで、新たな前景と背景モデルの構築中に、ユーザによってラベル付けされた前景と背景のピクセルは、大きな重みを持って割り当てられる。
構築された前景と背景モデルに基づいて、分割プログラムは、不確定なタイプとしてラベル付けされない画像内の各ピクセルを、グラフカットによって前景または背景のピクセルに分類する。
ユーザによって指定された各不確定なピクセルについて、そのAlpha値がMattingアルゴリズムを用いて決定される。
ここで、Alpha値は、ピクセルが前景ピクセルであるための確率を表わす０と１の間の実数である。
Alpha値の１は、ピクセルが１００％前景ピクセルであることを示し、Alpha値の０は、ピクセルが１００％背景ピクセルであることを示している。
従って、Alpha値に従って、低い閾値（下限）より低いAlpha値を有するピクセルは、背景ピクセルと判定され、一方、高い閾値（上限）より高いAlpha値を有するピクセルは、前景ピクセルと判定される。
他のAlpha値を有するピクセルは、次の前景／背景更新計算に含まれない不確定なピクセルと判定される。
（６）ステップ（５）で取得された結果は、ユーザに提示される。
ユーザが現在の分割結果に満足しなければ、処理はステップ（４）に戻る。そうでなければ、処理は次のステップに進む。
（７）全ての不確定なピクセルは、０．５前後の閾値に基づいて、前景または背景のピクセルに再分類される。
本発明の実施の形態によれば、アルゴリズムの終了は、次のものに基づいて決定される
（ａ）対話の回数、すなわち、所定回数の対話が実行されれば、アルゴリズムが終了する；（ｂ）グラフカットアルゴリズムにおけるエネルギー関数などによる分割結果評価度、すなわち、しきい値より小さなエネルギー関数は、分割が特定の要求を満足することを示す；（ｃ）主観的な評価、すなわち、ユーザが、分割結果について主観的な評価をし、全処理を終了する指示を入力する。
（ａ）対話の回数、すなわち、所定回数の対話が実行されれば、アルゴリズムが終了する；（ｂ）グラフカットアルゴリズムにおけるエネルギー関数などによる分割結果評価度、すなわち、しきい値より小さなエネルギー関数は、分割が特定の要求を満足することを示す；（ｃ）主観的な評価、すなわち、ユーザが、分割結果について主観的な評価をし、全処理を終了する指示を入力する。
統計的な意味における前景オブジェクト・モデルが存在する場合については、前回の分割結果からの前景と背景のピクセルは、高い信用度を有するピクセルが前景として分類され、低い信用度を有するピクセルが背景として分類され、中位の信用度を有し、前景と背景の間のエッジの空間に位置するピクセルは、不確定なピクセルとして判定されるような方法で、モデルに基づいて分類される。
本発明の実施の形態の解決法によれば、３つのタイプのラベルが対象分割のために用いられる。特に、不確定性ラベルは分割性能を向上させるために導入されている。
この方法によって、分割中の前景と背景の間のエッジにおけるピクセルの影響を回避することができ、複雑なエッジについての処理がより容易になり、分割精度が向上する。
この方法によって、分割中の前景と背景の間のエッジにおけるピクセルの影響を回避することができ、複雑なエッジについての処理がより容易になり、分割精度が向上する。
以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも、上記実施の形態に限定されるものでなく、その技術的思想の範囲内において様々に変形して実施することができる。
さらに、上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、これに限定されない。
（付記１）
目標対象を含む画像内のピクセルについてラベル付けストロークを受信するステップと、
不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築するステップと、
分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するステップとを含み、
前記ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む
ことを特徴とするハイブリッドラベルに基づいて対象を分割する方法。
目標対象を含む画像内のピクセルについてラベル付けストロークを受信するステップと、
不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築するステップと、
分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するステップとを含み、
前記ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む
ことを特徴とするハイブリッドラベルに基づいて対象を分割する方法。
（付記２）
下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するステップをさらに含むことを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割する方法。
下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するステップをさらに含むことを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割する方法。
（付記３）
所定の閾値を用いて、前記不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するステップをさらに含むことを特徴とする付記２に記載のハイブリッドラベルに基づいて対象を分割する方法。
所定の閾値を用いて、前記不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するステップをさらに含むことを特徴とする付記２に記載のハイブリッドラベルに基づいて対象を分割する方法。
（付記３）
不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算するステップは、Mattingアルゴリズムに基づくことを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割する方法。
不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算するステップは、Mattingアルゴリズムに基づくことを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割する方法。
（付記５）
前記前景モデルと背景モデルは、混合ガウスモデルに基づくことを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割する方法。
前記前景モデルと背景モデルは、混合ガウスモデルに基づくことを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割する方法。
（付記６）
目標対象を含む画像内のピクセルについてラベル付けストロークを受信するように構成される受信手段と、
不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築し、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定する分割手段とを備え、
前記ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む
ことを特徴とするハイブリッドラベルに基づいて対象を分割するシステム。
目標対象を含む画像内のピクセルについてラベル付けストロークを受信するように構成される受信手段と、
不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築し、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定する分割手段とを備え、
前記ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む
ことを特徴とするハイブリッドラベルに基づいて対象を分割するシステム。
（付記７）
前記受信手段によって受信されたラベル付けストロークを格納するように構成された記憶手段と、
受信したラベル付けストロークが、前景ストローク、背景ストロークあるいは不確定ストロークかを分析し、分析結果を前記分割手段に提供するように構成される分析手段をさらに備えることを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割するシステム。
前記受信手段によって受信されたラベル付けストロークを格納するように構成された記憶手段と、
受信したラベル付けストロークが、前景ストローク、背景ストロークあるいは不確定ストロークかを分析し、分析結果を前記分割手段に提供するように構成される分析手段をさらに備えることを特徴とする付記１に記載のハイブリッドラベルに基づいて対象を分割するシステム。
（付記８）
前記分割手段は、下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するように構成されることを特徴とする付記６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
前記分割手段は、下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するように構成されることを特徴とする付記６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
（付記９）
前記分割手段は、所定の閾値を用いて、前記不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するように構成されることを特徴とする付記８に記載のハイブリッドラベルに基づいて対象を分割するシステム。
前記分割手段は、所定の閾値を用いて、前記不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するように構成されることを特徴とする付記８に記載のハイブリッドラベルに基づいて対象を分割するシステム。
（付記１０）
前記分割手段は、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を、Mattingアルゴリズムに基づいて計算するように構成されることを特徴とする付記６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
前記分割手段は、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を、Mattingアルゴリズムに基づいて計算するように構成されることを特徴とする付記６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
（付記１１）
前記分割手段は、混合ガウスモデルに基づいて、前記前景モデルと背景モデルを構築するように構成されることを特徴とする付記６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
前記分割手段は、混合ガウスモデルに基づいて、前記前景モデルと背景モデルを構築するように構成されることを特徴とする付記６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
１１０：分割ユニット
１２０：表示ユニット
１３０：分析ユニット
１４０：記憶ユニット
１５０：受信ユニット
１２０：表示ユニット
１３０：分析ユニット
１４０：記憶ユニット
１５０：受信ユニット
Claims (10)
- 目標対象を含む画像内のピクセルについてラベル付けストロークを受信するステップと、
不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築するステップと、
分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定するステップとを含み、
前記ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む
ことを特徴とするハイブリッドラベルに基づいて対象を分割する方法。 - 下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するステップをさらに含むことを特徴とする請求項１に記載のハイブリッドラベルに基づいて対象を分割する方法。
- 所定の閾値を用いて、前記不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するステップをさらに含むことを特徴とする請求項２に記載のハイブリッドラベルに基づいて対象を分割する方法。
- 不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算するステップは、Mattingアルゴリズムに基づくことを特徴とする請求項１に記載のハイブリッドラベルに基づいて対象を分割する方法。
- 前記前景モデルと背景モデルは、混合ガウスモデルに基づくことを特徴とする請求項１に記載のハイブリッドラベルに基づいて対象を分割する方法。
- 目標対象を含む画像内のピクセルについてラベル付けストロークを受信するように構成される受信手段と、
不確定ストロークによってラベル付けがなされないピクセルを前景ピクセルあるいは背景ピクセルに分類するために、前景ストロークと背景ストロークに基づいて前景モデルと背景モデルを構築し、分類された前景ピクセルと背景ピクセルに基づいて、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を計算し、下限値より低い確率を有するピクセルを背景ピクセルと決定し、上限値より高い確率を有するピクセルを前景ピクセルと決定する分割手段とを備え、
前記ラベル付けストロークは、目標対象をラベル付けするための前景ストローク、背景をラベル付けするための背景ストローク、目標対象と背景以外のピクセルをラベル付けするための不確定ストロークを含む
ことを特徴とするハイブリッドラベルに基づいて対象を分割するシステム。 - 前記受信手段によって受信されたラベル付けストロークを格納するように構成された記憶手段と、
受信したラベル付けストロークが、前景ストローク、背景ストロークあるいは不確定ストロークかを分析し、分析結果を前記分割手段に提供するように構成される分析手段をさらに備えることを特徴とする請求項６に記載のハイブリッドラベルに基づいて対象を分割するシステム。 - 前記分割手段は、下限値より高く、上限値より低い確率を有するピクセルを、不確定ピクセルと決定するように構成されることを特徴とする請求項６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
- 前記分割手段は、所定の閾値を用いて、前記不確定ピクセルを、前景ピクセルあるいは背景ピクセルとして決定するように構成されることを特徴とする請求項８に記載のハイブリッドラベルに基づいて対象を分割するシステム。
- 前記分割手段は、不確定なストロークに対応する１つ以上のピクセルが前景ピクセルである確率を、Mattingアルゴリズムに基づいて計算するように構成されることを特徴とする請求項６に記載のハイブリッドラベルに基づいて対象を分割するシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011100852949A CN102707864A (zh) | 2011-03-28 | 2011-03-28 | 基于混合标记的对象分割方法和系统 |
| CN201110085294.9 | 2011-03-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012208913A true JP2012208913A (ja) | 2012-10-25 |
| JP5226119B2 JP5226119B2 (ja) | 2013-07-03 |
Family
ID=46900721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011244206A Expired - Fee Related JP5226119B2 (ja) | 2011-03-28 | 2011-11-08 | ハイブリッドラベルに基づいてオブジェクトを分割する方法とシステム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5226119B2 (ja) |
| CN (1) | CN102707864A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150049954A1 (en) * | 2012-03-19 | 2015-02-19 | Satoshi Hikida | Image processing apparatus, image processing method, and computer-readable recording medium |
| KR101546635B1 (ko) | 2014-11-28 | 2015-08-21 | 연세대학교 산학협력단 | 영상 편집 방법 및 장치 |
| WO2019176087A1 (ja) | 2018-03-16 | 2019-09-19 | 三菱電機株式会社 | 学習装置および学習方法 |
| US20220188541A1 (en) * | 2020-12-10 | 2022-06-16 | Microsoft Technology Licensing, Llc | Parsing an Ink Document using Object-Level and Stroke-Level Processing |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103914822A (zh) * | 2012-12-31 | 2014-07-09 | 清华大学 | 基于超像素分割的交互式视频前景对象提取方法 |
| CN103473780B (zh) * | 2013-09-22 | 2016-05-25 | 广州市幸福网络技术有限公司 | 一种人像背景抠图的方法 |
| US10073543B2 (en) | 2014-03-07 | 2018-09-11 | Htc Corporation | Image segmentation device and image segmentation method |
| CN105139415A (zh) * | 2015-09-29 | 2015-12-09 | 小米科技有限责任公司 | 图像前后景分割方法、装置及终端 |
| CN107230211B (zh) * | 2017-05-05 | 2021-07-16 | 上海联影医疗科技股份有限公司 | 一种图像分割方法及系统 |
| CN111105440B (zh) * | 2019-11-29 | 2023-07-07 | 北京金山云网络技术有限公司 | 视频中目标物体的跟踪方法、装置、设备及存储介质 |
| CN111784712B (zh) * | 2020-07-17 | 2023-03-14 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、设备和计算机可读介质 |
| CN113506302B (zh) * | 2021-07-27 | 2023-12-12 | 四川九洲电器集团有限责任公司 | 一种交互式对象更新方法、装置及处理系统 |
| CN113628221B (zh) * | 2021-08-03 | 2024-06-21 | Oppo广东移动通信有限公司 | 图像处理方法、图像分割模型训练方法及相关装置 |
| CN116228745A (zh) * | 2023-04-24 | 2023-06-06 | 徐州医科大学 | 一种用于肺结节良恶性分类的深度卷积网络构建方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006053919A (ja) * | 2004-08-06 | 2006-02-23 | Microsoft Corp | 画像データ分離システム及びその方法 |
| JP2010066802A (ja) * | 2008-09-08 | 2010-03-25 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| WO2010067277A1 (en) * | 2008-12-09 | 2010-06-17 | Koninklijke Philips Electronics N.V. | Image segmentation |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101512598A (zh) * | 2006-07-21 | 2009-08-19 | 奥多比公司 | 实时的一致图像选择 |
| CN101567088B (zh) * | 2008-04-22 | 2012-01-04 | 华为技术有限公司 | 一种运动物体检测的方法和装置 |
| KR101471199B1 (ko) * | 2008-04-23 | 2014-12-09 | 주식회사 케이티 | 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치 |
-
2011
- 2011-03-28 CN CN2011100852949A patent/CN102707864A/zh active Pending
- 2011-11-08 JP JP2011244206A patent/JP5226119B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006053919A (ja) * | 2004-08-06 | 2006-02-23 | Microsoft Corp | 画像データ分離システム及びその方法 |
| JP2010066802A (ja) * | 2008-09-08 | 2010-03-25 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| WO2010067277A1 (en) * | 2008-12-09 | 2010-06-17 | Koninklijke Philips Electronics N.V. | Image segmentation |
Non-Patent Citations (2)
| Title |
|---|
| CSNJ201010029010; 坂東 洋介: 'カメラの絞りに色フィルタを用いた奥行き推定と前景マット抽出' Ｍｅｄｉａ Ｃｏｍｐｕｔｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ ２００８ ２００８年度 画像電子学会第３６回年 , 20080622, 画像電子学会 * |
| JPN6013009634; 坂東 洋介: 'カメラの絞りに色フィルタを用いた奥行き推定と前景マット抽出' Ｍｅｄｉａ Ｃｏｍｐｕｔｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ ２００８ ２００８年度 画像電子学会第３６回年 , 20080622, 画像電子学会 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150049954A1 (en) * | 2012-03-19 | 2015-02-19 | Satoshi Hikida | Image processing apparatus, image processing method, and computer-readable recording medium |
| US9245197B2 (en) * | 2012-03-19 | 2016-01-26 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and computer-readable recording medium |
| KR101546635B1 (ko) | 2014-11-28 | 2015-08-21 | 연세대학교 산학협력단 | 영상 편집 방법 및 장치 |
| WO2019176087A1 (ja) | 2018-03-16 | 2019-09-19 | 三菱電機株式会社 | 学習装置および学習方法 |
| KR20200108912A (ko) | 2018-03-16 | 2020-09-21 | 미쓰비시덴키 가부시키가이샤 | 학습 장치 및 학습 방법 |
| US20220188541A1 (en) * | 2020-12-10 | 2022-06-16 | Microsoft Technology Licensing, Llc | Parsing an Ink Document using Object-Level and Stroke-Level Processing |
| US11514695B2 (en) * | 2020-12-10 | 2022-11-29 | Microsoft Technology Licensing, Llc | Parsing an ink document using object-level and stroke-level processing |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102707864A (zh) | 2012-10-03 |
| JP5226119B2 (ja) | 2013-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5226119B2 (ja) | ハイブリッドラベルに基づいてオブジェクトを分割する方法とシステム | |
| JP6843086B2 (ja) | 画像処理システム、画像においてマルチラベル意味エッジ検出を行う方法、および、非一時的コンピューター可読記憶媒体 | |
| CN108229504B (zh) | 图像解析方法及装置 | |
| JP6458394B2 (ja) | 対象追跡方法及び対象追跡装置 | |
| CN113924597A (zh) | 利用卷积神经网络跟踪多个目标的图像处理 | |
| US11586863B2 (en) | Image classification method and device | |
| EP1934941B1 (en) | Bi-directional tracking using trajectory segment analysis | |
| US20210224598A1 (en) | Method for training deep learning model, electronic equipment, and storage medium | |
| CN106934337B (zh) | 用于操作图像检测装置的方法和计算机可读存储介质 | |
| US20170109879A1 (en) | Computer-implemented methods, computer-readable media, and systems for tracking a plurality of spermatozoa | |
| WO2018036454A1 (en) | Method and apparatus for annotating a video stream comprising a sequence of frames | |
| EP2980755B1 (en) | Method for partitioning area, and inspection device | |
| US20220215548A1 (en) | Method and device for identifying abnormal cell in to-be-detected sample, and storage medium | |
| US9734435B2 (en) | Recognition of hand poses by classification using discrete values | |
| CN110580499B (zh) | 基于众包重复标签的深度学习目标检测方法及系统 | |
| CN112102929A (zh) | 医学图像标注方法、装置、存储介质及电子设备 | |
| Lee et al. | Interactive multi-class tiny-object detection | |
| CN110648762A (zh) | 病灶区识别模型生成方法、装置及病灶区识别方法、装置 | |
| Trigeorgis et al. | The ICL-TUM-PASSAU approach for the MediaEval 2015" Affective Impact of Movies" task | |
| Pei et al. | Salient instance segmentation via subitizing and clustering | |
| CN111444819A (zh) | 切割帧确定方法、网络训练方法、装置、设备及存储介质 | |
| CN116977935A (zh) | 一种融合语义信息行人流量计数方法 | |
| Bakalos et al. | Dance posture/steps classification using 3D joints from the kinect sensors | |
| CN114330542A (zh) | 一种基于目标检测的样本挖掘方法、装置及存储介质 | |
| Mao et al. | W-net: A two-stage convolutional network for nucleus detection in histopathology image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130313 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160322 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |