JP2016095854A - 画像処理方法及び装置 - Google Patents

画像処理方法及び装置 Download PDF

Info

Publication number
JP2016095854A
JP2016095854A JP2015222837A JP2015222837A JP2016095854A JP 2016095854 A JP2016095854 A JP 2016095854A JP 2015222837 A JP2015222837 A JP 2015222837A JP 2015222837 A JP2015222837 A JP 2015222837A JP 2016095854 A JP2016095854 A JP 2016095854A
Authority
JP
Japan
Prior art keywords
pixel
image
area
gaussian model
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015222837A
Other languages
English (en)
Other versions
JP6213745B2 (ja
Inventor
メンチ・ジ
Mengqi Ji
シャン・ガオ
Shan Gao
ハイヤン・ヤン
Haiyan Yang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2016095854A publication Critical patent/JP2016095854A/ja
Application granted granted Critical
Publication of JP6213745B2 publication Critical patent/JP6213745B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像処理方法及び装置を提供する。【解決手段】本発明の実施形態は、画像処理方法及び装置を提供し、前記方法は、第１画像における第１エリアの混合ガウスモデルを判定するステップであって、前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームである、ステップと、第２画像における第１ピクセルから前記混合ガウスモデルへの距離を判定するステップと、前記第１ピクセルから前記混合ガウスモデルへの前記距離が第１プリセットしきい値以下の場合には、前記第１ピクセルは、前記第２画像の背景エリアに属していると判定するステップを含む。本発明の実施形態において、画像の前景セグメンテーションが効果的に遂行できるように、ピクセルが属しているエリアは、ピクセルから混合ガウスモデルへの距離に従って直接判定できる。【選択図】図１

Description

本発明は、情報技術の分野に関連し、具体的には、画像処理方法及び装置に関する。
単色背景ビデオに基づく、洗練された前景セグメンテーション(画像マッティング)技術が、映画やテレビ産業、仮想場面のシミュレーションなどのアプリケーションにおいて広く応用されており、拡張現実やビデオ会議などの新生のインタラクション方法の発展にますます重要な役割を果たしている。したがって、画像前景セグメンテーションの現在の要求を満たすために、高効率の画像処理方法を提供することが必要である。
本発明の実施形態は、画像前景セグメンテーションが効果的に遂行することができるように、ピクセルからガウスモデルへの距離に従って直接背景ピクセルを判定できる画像処理方法を提供する。
第１の態様によれば、画像処理方法が提供され、前記方法は、第１画像における第１エリアの混合ガウスモデルを判定するステップであって、前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームである、ステップと、第２画像における第１ピクセルから前記混合ガウスモデルへの距離を判定するステップと、前記第１ピクセルから前記混合ガウスモデルへの前記距離が第１プリセットしきい値以下の場合には、前記第１ピクセルは、前記第２画像の背景エリアに属していると判定するステップとを含む。
第１の態様に関連して、第１の可能な実装方法において、前記方法は、前記第２画像における第２ピクセルから前記混合ガウスモデルへの距離を判定するステップと、前記第２ピクセルから前記混合ガウスモデルへの前記距離が第２プリセットしきい値より大きい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するステップとをさらに含む。
第１の態様に関連して、第２の可能な実装方法において、前記方法は、前記第１画像の前記第１エリアにおけるピクセルの特徴ベクトルの予想ベクトルを判定するステップと、前記予想ベクトルに従って、直交座標空間を判定するステップであって、前記予想ベクトルの方向は、前記直交座標空間の一方向である、ステップと、前記第２画像における第２ピクセルの前記直交座標空間における投影を判定するステップであって、前記投影は、第１の値、第２の値、及び第３の値を具備し、前記第１の値は、前記予想ベクトルの前記方向における前記第２ピクセルの投影である、ステップと、前記第１の値が前記第２の値より小さいか、又は前記第１の値が前記第３の値より小さい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するステップとをさらに含む。
第１の可能な実装方法に関連して、第３の可能な実装方法において、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定され、前記第２ピクセルから前記混合ガウスモデルへの前記距離が前記第２しきい値以下である場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定される。
第２の可能な実装方法に関連して、第４の可能な実装方法において、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定され、
前記第１の値が、前記第２の値より大きく、かつ、前記第１の値が、前記第３の値より大きい場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定される。
第３又は第４の可能な実装方法に関連して、第５の可能な実装方法において、前記方法は、前記第２画像の前記ペンディングエリアにおける第４ピクセルを取得するステップと、ｋ近傍法を使用することにより、前記第４ピクセルが前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定するステップと、をさらに含む。
第５の可能な実装方法に関連して、第６の可能な実装方法において、前記ｋ近傍法を使用することにより、前記第４ピクセルが前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定するステップは、前記第４ピクセルの特徴ベクトルに従って、前記第２画像の前記背景エリアに属するピクセルの特徴ベクトル、及び前記第２画像の前記前景エリアに属するピクセルの特徴ベクトル、前記第４ピクセルと前記第２画像の前記背景エリアに属する前記ピクセルとの間の距離、及び前記第４ピクセルと前記第２画像の前記前景エリアに属する前記ピクセルとの間の距離を計算するステップであって、前記第４ピクセルの前記特徴ベクトル、前記第２画像の前記背景エリアに属する前記ピクセルの前記特徴ベクトル、及び前記第２画像の前記前景エリアに属する前記ピクセルの前記特徴ベクトルに対応する固有空間は、少なくともピクセルのRGB(Red Green Blue)カラー情報、ピクセルの位置情報、及びピクセルの方向づけられた勾配情報を含む、ステップと、前記第４ピクセルに最も近いｋ個のピクセルを判定するステップであって、ｋは、正の整数である、ステップと、ｋ個のピクセルのすべてが前記第２画像の前記前景エリアに属する場合には、前記第４ピクセルは、前記第２画像の前記前景エリアに属していると判定するステップ、又は前記ｋ個のピクセルのすべてが前記第２画像の前記背景エリアに属している場合には、前記第４ピクセルは、前記第２画像の前記背景エリアに属していると判定するステップとを含む。
第１の態様又は第１から第６の可能な実装方法のいずれかの可能な実装方法に関連して、第７の可能な実装方法において、前記第１ピクセルから前記混合ガウスモデルへの前記距離は、
で示され、ここで、(wm, μm, Σm)は、前記混合ガウスモデルにおける第ｍガウスモデルを表しており、wm, μm, 及び Σm は、それぞれ前記混合ガウスモデルにおける前記第ｍガウスモデルの重み、中央値、分散行列を示しており、
は、前記第１ピクセルの特徴ベクトルを示している。
第１の態様、又は第１から第７の可能な実装方法のいずれかの可能な実装方法に関連して、第８の可能な実装方法において、前記第１エリアは、ユーザによる指示入力に従って判定される。
第１の態様、又は第１から第８の可能な実装方法のいずれかの可能な実装方法に関連して、第９の可能な実装方法において、前記第２画像は、前記ビデオにおける画像の任意のフレームである。
第２の態様によれば、画像処理装置が提供され、前記装置は、第１画像における第１エリアの混合ガウスモデルを判定するように構成された第１判定ユニットであって、前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームである、第１判定ユニットを含み、前記第１判定ユニットは、第２画像における第１ピクセルから前記混合ガウスモデルへの距離を判定するようにさらに構成され、前記第１ピクセルから前記混合ガウスモデルへの前記距離が第１プリセットしきい値以下の場合には、前記第１ピクセルは、前記第２画像の背景エリアに属していると判定するように構成されている第２判定ユニットを具備する。
第２の態様に関連して、第２の態様の第１の可能な実装方法において、前記第１判定ユニットは、前記第２画像における第２ピクセルから前記混合ガウスモデルへの距離を判定するようにさらに構成されており、前記第２判定ユニットは、前記第２ピクセルから前記混合ガウスモデルへの前記距離が第２プリセットしきい値より大きい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するようにさらに構成されている。
第２の態様に関連して、第２の態様の第２の可能な実装方法において、前記装置は、前記第１画像の前記第１エリアにおけるピクセルの特徴ベクトルの予想ベクトルを判定し、前記予想ベクトルに従って、直交座標空間を判定し、前記予想ベクトルの方向は、前記直交座標空間の一方向であり、前記直交座標空間における前記第２画像における第２ピクセルの投影を判定し、前記投影は、第１の値、第２の値、及び第３の値を含み、前記第１の値は、前記第２ピクセルの前記予想ベクトルの前記方向における投影であるように構成されている第３判定ユニットをさらに具備し、前記第２判定ユニットは、前記第１の値が前記第２の値より小さいか、又は前記第１の値が前記第３の値より小さい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するようにさらに構成されている。
第２の態様の第１の可能な実装方法に関連して、第２の態様の第３の可能な実装方法において、前記第２判定ユニットは、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定し、前記第２ピクセルから前記混合ガウスモデルへの前記距離が前記第２しきい値以下である場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定するようにさらに構成されている。
第２の態様の第２の可能な実装方法に関連して、第２の態様の第４の可能な実装方法において、前記第２判定ユニットは、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定し、前記第１の値が、前記第２の値より大きく、かつ、前記第１の値が、前記第３の値より大きい場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定するようにさらに構成されている。
第２の態様の第３又は第４の可能な実装方法に関連して、第２の態様の第５の可能な実装方法において、前記装置は、前記第２画像のペンディングエリアにおける第４ピクセルを取得するように構成されている取得ユニットをさらに具備し、前記第２判定ユニットは、ｋ近傍法を使用することにより、前記第４ピクセルが、前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定するようにさらに構成されている。
第２の態様の第５の可能な実装方法に関連して、第２の態様の第６の可能な実装方法において、前記第２判定ユニットは、前記第４ピクセルの特徴ベクトルに従って、前記第２画像の前記背景エリアに属するピクセルの特徴ベクトル、及び前記第２画像の前記前景エリアに属するピクセルの特徴ベクトルと、前記第４ピクセルと前記第２画像の前記背景エリアに属する前記ピクセルとの間の距離、及び前記第４ピクセルと前記第２画像の前記前景エリアに属する前記ピクセルとの間の距離とを計算し、前記第４ピクセルの前記特徴ベクトル、前記第２画像の前記背景エリアに属する前記ピクセルの前記特徴ベクトル、及び前記第２画像の前記前景エリアに属する前記ピクセルの前記特徴ベクトルに対応する固有空間は、少なくともピクセルのRGB(Red Green Blue)カラー情報、ピクセルの位置情報、及びピクセルの方向づけられた勾配情報を含み、前記第４ピクセルに最も近いｋ個のピクセルを判定し、ｋは、正の整数であり、ｋ個のピクセルのすべてが前記第２画像の前記前景エリアに属する場合には、前記第４ピクセルは、前記第２画像の前記前景エリアに属していると判定するか、又は、前記ｋ個のピクセルのすべてが前記第２画像の前記背景エリアに属している場合には、前記第４ピクセルは、前記第２画像の前記背景エリアに属していると判定するように特に構成されている。
第２の態様、又は第２の態様の第１から第６の可能な実装方法のいずれかの可能な実装方法に関連して、第７の可能な実装方法において、前記第１ピクセルから前記混合ガウスモデルへの前記距離は、
で示され、ここで、(wm, μm, Σm)は、前記混合ガウスモデルにおける第ｍガウスモデルを表しており、wm, μm, 及び Σm は、それぞれ前記混合ガウスモデルにおける前記第ｍガウスモデルの重み、中央値、分散行列を示しており、
は、前記第１ピクセルの特徴ベクトルを示している。
第２の態様、又は第２の態様の第１から第７の可能な実装方法のいずれかの可能な実装方法に関連して、第８の可能な実装方法において、前記第１エリアは、ユーザによる指示入力に従って判定される。
第２の態様、又は第２の態様の第１から第８の可能な実装方法のいずれかの可能な実装方法に関連して、第９の可能な実装方法において、前記第２画像は、前記ビデオにおける画像の任意のフレームである。
前述の技術的ソリューションに基づき、画像のピクセルから、背景エリアのガウスモデルへの距離が判定され、該距離がプリセットしきい値以下の場合には、前記ピクセルは、背景エリアの属していると判定され、画像前景セグメンテーションが効果的に遂行できるように、前記ピクセルが属しているエリアは、ピクセルから混合ガウスモデルへの距離に従って直接判定できる。
本発明の実施形態における技術的ソリューションを、より明確に説明するために、以下では、本発明の実施形態を説明するために必要とされる添付の図面を簡単に説明する。明らかに、以下で説明される添付の図面は単にいくつかの本発明の実施形態を示しているにすぎず、当業者は、創作的努力無しに、これらの添付の図面から他の図面を導き出すことができる。
図１は、本発明の一実施形態による画像処理方法の概略フローチャートである。 図２は、本発明の一実施形態による画像処理方法の開始画像の概略図である。 図３は、本発明の他の実施形態による画像処理方法の概略フローチャートである。 図４は、本発明の他の実施形態による画像処理方法を使用して得られた準備トライマップ(trimap)の概略図である。 図５は、本発明の他の実施形態による画像処理方法の概略フローチャートである。 図６は、本発明の他の実施形態による画像処理方法を使用して得られた最終トライマップの概略図である。 図７は、本発明の一実施形態による画像処理装置の概略ブロック図である。 図８は、本発明の他の実施形態による画像処理装置の概略ブロック図である。 図９は、本発明の他の実施形態による画像処理装置の概略ブロック図である。 図１０は、本発明の他の実施形態による画像処理装置の概略ブロック図である。
本発明の実施形態における添付の図面を参照しながら、本発明の実施形態における技術的ソリューションについて以下で明確かつ完全に説明する。説明する実施形態は、本発明の実施形態のすべてではなく、一部にすぎないことは明らかである。創造的な努力なしに本発明の実施形態に基づいて当業者によって得られるすべての他の実施形態は、本発明の保護範囲内に入るものである。
図１は、本発明の一実施形態による画像処理方法100の概略フローチャートである。方法100は、画像処理装置により実行され得る。図１に示されるように、方法100は、以下のコンテンツを含んでいる。
101: 第１画像における第１エリアの混合ガウスモデルを判定する。前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームである。
第１エリアが、第１画像の初期化の処理において、ユーザによる指示入力に従って、判定される。例えば、背景エリアは、ビデオにおける画像の第１フレームにおいて、ユーザによる指示命令に従って判定され得る。ユーザは、前記画像における背景エリアの範囲を定める(delimit)ことができ、図２に示されている点線の箱が、ユーザにより範囲が定められた背景エリアである。好適には、ユーザにより範囲が定められた背景エリアは、できるだけ多くの背景情報と、しわの部分、影（shadow）の部分、及び陰影(light and shade)の修正(alteration)エリアなどのいくつかの特別な情報を含むべきである。
102: 第２画像における第１ピクセルから混合ガウスモデルへの距離を判定する。
第２画像は、ビデオにおける画像の任意のフレームであり得ることを理解すべきである。
103: 前記第１ピクセルから前記混合ガウスモデルへの前記距離が第１プリセットしきい値以下の場合には、前記第１ピクセルは、前記第２画像の背景エリアに属していると判定する。
加えて、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、第１ピクセルは、第２画像のペンディングエリアに属していると判定され得る。
本発明のこの実施形態において、混合ガウスモデルにおける第ｍガウスモデルは、(wm, μm, Σm)と示すことができ、ここで、
であり、Mは、正の整数、例えばM = 3である。wm, μm, 及び Σm は、それぞれ前記混合ガウスモデルにおける前記第ｍガウスモデルの重み、中央値、分散行列を示している。ステップ102において、第１ピクセルから混合ガウスモデルへの距離は、第１ピクセルからMのガウスモデルへの距離のうちの最小距離を意味する。本発明のこの実施形態において限定されないが、μm は、第ｍガウスモデルの平均値を示しうることに留意すべきである。
背景モデルは、単純なガウスモデル(すなわち、M = 1)を使用することにより推定され得ることを理解すべきである。この場合において、背景の陰影及び背景のカラーが明確に変化しない場合に、理想的な効果も達成され得る。
第１しきい値が、前景を備えた画像の任意のフレームを参照することにより選択され得る。前記第１しきい値は、範囲が定められた背景エリアは、画像におけるすべての背景エリアを含まなくてよいが、範囲を定めること(delimitation)を通じて得られた背景ピクセルにエラーがない、ということを満たすべきである。
現在のフレームのピクセルが誤って背景として設定されなかったならば、第１しきい値は、画像の次のフレームにおいて適切に増加されるべきである。第１しきい値が増加するにつれて、増加するピクセルの数が誤って判定され得る。 伝統的に、しきい値の選択は：しきい値は、誤ってピクセルが判定されない場合に到達可能な最大しきい値の半分又は３分の２である、を満たし得る。
したがって、本発明のこの実施形態における画像処理方法において、画像におけるピクセルから背景エリアの混合ガウスモデルへの距離が判定され、該距離がプリセットしきい値以下の場合には、ピクセルは、背景エリアに属していると判定され、画像前景セグメンテーションが効果的に遂行できるように、ピクセルが属しているエリアは、ピクセルから混合ガウスモデルへの距離に従って直接判定されることができる。
本発明のこの実施形態において、第２画像がビデオにおける画像の第１フレーム以外の画像である場合には、ビデオにおける画像の第１フレームのためのガウスモデルが第２画像のためにさらに使用される。これは、本発明のこの実施形態において、ユーザは、ビデオにおける画像の第１フレームに情報を入力することを補助する必要があるだけであり、全ての引き続く処理は、画像の第１フレームのガウスモデルに従って、画像処理装置により、自動的に遂行されることを意味している。これは、手動による入力補助を減らすことができ、少ない作業負荷にし、高効率及び普遍性を達成する。
しかし、従来技術において、単色背景ビデオに基づく前景セグメンテーション技術は、大量の手動入力補助を必要としている。例えば、１つのキーフレーム(key frame)は、複数のフレーム間隔（例えば、10フレーム）で抽出され、正確な画像マッティングマスクが各キーフレームに対し手動で生成され、その後、画像マッティングが、キーフレームの画像マッティング結果を使用して残りのフレーム上で実行されるが、大量の手動入力補助を必要とし、大きな作業負荷であるとともに抵抗率であり、普遍性を欠いている。
本発明のこの実施形態において、方法100は、前記第２画像における第２ピクセルから前記混合ガウスモデルへの距離を判定するステップと、前記第２ピクセルから前記混合ガウスモデルへの前記距離が第２プリセットしきい値より大きい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するステップと、をさらに含み得る。
加えて、第１ピクセルから混合ガウスモデルへの距離が第２しきい値より小さい場合には、第１ピクセルは、第２画像のペンディングエリアに属していると判定され得る。
本発明のこの実施形態において、画像におけるピクセルから混合ガウスモデルへの距離に従って、画像におけるピクセルが属するエリアが効果的に判定され得る。
具体的には、本発明のこの実施形態において、ステップ120において、第１ピクセルから混合ガウスモデルへの距離は、マハラノビス距離に従って判定され得る。第１ピクセルから混合ガウスモデルへの距離は、
と示すことができ、ここで、(wm, μm, Σm)は、混合ガウスモデルを示しており、wm, μm, 及び Σm は、それぞれ第ｍガウスモデルの重み、中央値、分散行列を示しており、
は、前記第１ピクセルの特徴ベクトル(character vector)を示しており、
は、各ガウスモデルの重み、及び、混合ガウスモデルにおけるガウス形状のインパクトを示しており、
は、マハラノビス距離を示しており、
であり、ここで、Pr, Pg, 及びPb は、第１ピクセルの赤、緑、青成分のピクセル値をそれぞれ示している。
任意のピクセル、即ち第ｉピクセルに対し、第ｉピクセルから混合ガウスモデルへの距離は、
と示すことができることを理解すべきである。
当業者は、第１ピクセルから混合ガウスモデルへの距離を本発明のこの実施形態に限定されない他の方法を使用することによりさらに判定し得ることに留意すべきである。
本発明のこの実施形態において、マハラノビス距離を使用しての第１ピクセルから混合ガウスモデルへの距離の計算は、他の方法を使用する計算よりも正確であり、背景エリアの範囲を定めることがより正確にでき、これにより、より正確なトライマップが得られる。
図３は、本発明の他の実施形態による画像処理方法100の概略フローチャートである。図３に示されているように、ステップ103の後に、方法100は、さらに以下を含む。
104: 前記第１画像の前記第１エリアにおけるピクセルの特徴ベクトルの予想ベクトルを判定する。
第１画像の背景エリアにおけるピクセルの特徴ベクトルは、
と示すことができ、ここでｉは、ピクセルを示しており、Pr i, Pg i, 及びPb i は、それぞれ第ｉピクセルのRGB(red green blue)成分のピクセル値を示している。
予想ベクトルは、
と示すことができ、予想ベクトル
に対応するカラーは、画像における単色背景のカラー値とほぼ等しい。
105: 前記予想ベクトルに従って、直交座標空間を判定する。前記予想ベクトルの方向は、前記直交座標空間の一方向である。
具体的には、予想ベクトルに対応する第１単位ベクトル
が最初に判定され、第１単位ベクトルは、
と示すことができる。
その後、第１単位ベクトルに直交する
が決定される。第２単位ベクトル及び第３単位ベクトルは、互いに直交する。
は、新たな直交座標空間を形成し得る。
の選択は、特に説明しないが、選択された単位ベクトルが
を満たすことが提供されている
の多数の可能な選択肢がある。行列
は、ユニタリ行列であり、以下の性質を満たし得る。
106: 前記直交座標空間における前記第２画像における第２ピクセルの投影を判定する。投影は、第１の値、第２の値、及び第３の値を含み、前記第１の値は、前記第２ピクセルの前記予想ベクトルの前記方向における投影である。
ベクトル
は、
により構成される新たな座標空間への投影であり、新たな直交座標空間の３つの単位ベクトル
は、それぞれオリジナルの赤緑青座標空間の３つのカラーに対応する。
107: 前記第１の値が前記第２の値より小さいか、又は前記第１の値が前記第３の値より小さい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定する。
すなわち、第ｉピクセルに対し、
は、背景色を示しており、
であるならば、第ｉピクセルは、第２画像の背景エリアに属していないことを示しており、第ｉピクセルは、前景集合に割り当てられる：
本発明のこの実施形態において、新たな直交座標空間が決定され、前景に属しているピクセルは、画像におけるピクセルの特徴ベクトルの投影に従って、新たな直交座標空間において判定され、したがって、方法100は、異なる単色背景において広く使用されることができる。
先述の実施形態において、準備トライマップを得ることが可能である。図４に示されているように、トライマップにおける黒色は背景エリアを示しており、白色は前景エリアを示しており、グレイ色は、ペンディングエリアを示している。次に、ペンディングエリアのサイズをさらに減少するために、最尤法(ML)、最大事後確率推定法(Maximum a Posteriori, MAP)、又はｋ近傍法(K-Nearest-Neighbor, KNN)などの機械学習法を使用して実行してさらなる最適化が必要である。以下では、図５を参照しながら、一例としてｋ近傍法の実を用いた最適化処理を説明する。
図５は、本発明の他の実施形態による画像処理方法100の概略フローチャートである。図５に示されているように、ステップ103又はステップ107の後に、方法100は以下をさらに含む。
108: 第２画像のペンディングエリアにおける第４ピクセルを取得する。
109: ｋ近傍法を使用することにより、前記第４ピクセルが、前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定する。
具体的には、ステップ109は、前記第４ピクセルの特徴ベクトルに従って、前記第２画像の前記背景エリアに属するピクセルの特徴ベクトル、及び前記第２画像の前記前景エリアに属するピクセルの特徴ベクトルと、前記第４ピクセルと前記第２画像の前記背景エリアに属する前記ピクセルとの間の距離、及び前記第４ピクセルと前記第２画像の前記前景エリアに属する前記ピクセルとの間の距離とをまず計算するステップであって、前記第４ピクセルの前記特徴ベクトル、前記第２画像の前記背景エリアに属する前記ピクセルの前記特徴ベクトル、及び前記第２画像の前記前景エリアに属する前記ピクセルの前記特徴ベクトルに対応する固有空間は、少なくともピクセルのRGB(Red Green Blue)カラー情報、ピクセルの位置情報、及びピクセルの方向づけられた勾配情報を含む、ステップを含み得る。
ピクセルのRGBカラー情報は、ピクセルの赤、緑、青成分のピクセル値であり得、第iピクセルの特徴ベクトルは、
と示すことができ、ここで、
は、それぞれ第ｉピクセルの赤、青、緑成分のピクセル値を示しており、xi, yi は、それぞれ画像における第iピクセルの水平及び垂直座標を示し、
は、それぞれ画像における第ｉピクセルの水平及び垂直座標の方向勾配である。
は、グレイスケール画像に基づいており、x/y 方向導関数が解かれる前に、ビデオにおける第ｎフレームのオリジナルカラー画像が、最初にグレイスケールに変換される必要があることに留意すべきである。カラー画像がグレイスケールに変換されない場合には、方向導関数
は、３つの部分、すなわち、赤部分、緑部分、青部分に対し別々に解かれる必要があり、最終的な影響は、望ましくない。第ｎフレームにおける第ｉピクセルはniと示され、グレイスケール値は、以下の式に従って解くことができる：
ピクセルが配置されているフレームの位置ｎと、ピクセルの水平及び垂直座標x及びyが判定された後、ピクセルのインデックス値ｉが一意に決定され、即ち、(ni ,xi ,yi)とiは１対１対応である。x方向における一次導関数
を得ることができ、同様に、y方向における一次導関数
を得ることができる。
代わりに、第４ピクセルの特徴ベクトルに対応する固有空間、第２画像の背景エリアに属するピクセルの特徴ベクトル、及び第２画像の前景エリアに属するピクセルの特徴ベクトルは、ビデオにおける、ピクセルが配置されている画像の相対位置に関する情報、例えば、基準フレーム(例えば、第１フレーム)に対する第２画像の位置に関する情報、をさらに含むことができる。例えば、ビデオにおける第１フレームが基準フレームである場合に、ビデオにおける第２画像の相対位置に関する情報は、現在フレームのフレーム番号Indexframeであり得、即ち、第ｉピクセルの特徴ベクトルは、
と示すことができる。
その後、第４ピクセルに最も近いｋ個のピクセルが判定され、ｋは、正の整数である。
ｋ個のピクセルのすべてが前記第２画像の前記前景エリアに属する場合には、第４ピクセルは、第２画像の前景エリアに属していると判定されるか、又は、前記ｋ個のピクセルのすべてが前記第２画像の前記背景エリアに属している場合には、第４ピクセルは、第２画像の背景エリアに属していると判定される。
すなわち、ペンディングピクセルiunが、前景又は背景に属しているかどうか不明である各ペンディングピクセルiunに対し、ピクセルの特徴ベクトル
から、画像のこのフレームにおけるすべての他の判定された前景ピクセル及び背景ピクセルの特徴ベクトル
への距離が計算される：
すべての前景又は背景ピクセルの特徴ベクトルがトラバースされた後、ペンディングピクセルiun に最も近いｋ個のピクセルが選択される。ｋ個のピクセルがすべて前景又は背景に属している場合には、ピクセルiunが前景又は背景に属している不明であるピクセルiunは、前景エリア又は背景エリアに割り当てられる。
最も近いｋ個のピクセルのすべてが第２画像の前景又は背景エリアに属していないならば、演算は実行されなくてもよいことに留意すべきである。
すべてのペンディングピクセルiunがトラバースされた後、図６に示されているように、最終トライマップが取得されることができる。
最終画像マッティングマスク及びマット画像が、トライマップ及び複数の存在する成熟した画像マッティングアルゴリズムを使用することにより得ることができるように、ビデオの画像の各フレーム上で前述のステップが実行されることにより、非常に正確なトライマップが取得される。
本発明のこの実施形態において、ピクセルを具体化させる３次元固有空間が 多次元固有空間にグレードアップされ、すなわち、ピクセル特徴ベクトルがオリジナルの
から
へアップグレードされ、その後、より高精度な画像前景セグメンテーションが実装できるように、ペンディングエリアのサイズは、KNNアルゴリズムを使用することによりさらに減少される。
先述の処理のシーケンス番号は、実行順序を意味するものではないことを理解すべきである。処理の実行順序は、機能及び処理の内部ロジックによって定められ、本発明の実施形態の実装処理上の任意の制限として解釈すべきでない。
ここまで、図１から図６を参照しつつ本発明の実施形態による画像処理方法を詳細に説明しているが、以下では図７から図１０を参照しつつ本発明の実施形態による画像処理装置を詳細に説明する。
図７は、本発明の一実施形態による画像処理装置700の概略ブロック図である。図７に示されているように、装置700は、第１判定ユニット710と、第２判定ユニット720とを具備している。
第１判定ユニット710は、第１画像における第１エリアの混合ガウスモデルを判定するように構成されており、前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームである。
第１エリアは、ユーザによる指示入力に従って決定され得る。
第１判定ユニット710は、第２画像における第１ピクセルから混合ガウスモデルへの距離を判定するようにさらに構成されている。
混合ガウスモデルにおける第ｍガウスモデルは、(wm, μm, Σm)と示すことができ、ここで、
であり、Mは、正の整数、例えばM=3であり、wm, μm, 及び Σm は、それぞれ前記混合ガウスモデルにおける前記第ｍガウスモデルの重み、中央値、分散行列を示している。
第２判定ユニット720は、前記第１ピクセルから前記混合ガウスモデルへの前記距離が第１プリセットしきい値以下の場合には、前記第１ピクセルは、前記第２画像の背景エリアに属していると判定するように構成されている。
したがって、本発明のこの実施形態による画像処理装置において、画像のピクセルから背景エリアの混合ガウスモデルへの距離が判定され、距離がプリセットしきい値以下である場合には、ピクセルは、背景エリアに属していると判定され、画像前景セグメンテーションが効果的に遂行できるように、ピクセルが属しているエリアがピクセルから混合ガウスモデルへの距離に従って直接判定されることができる。
本発明のこの実施形態において、第２画像がビデオにおける画像の第１フレーム以外の画像である場合には、ビデオにおける画像の第１フレームの背景エリアのためのガウスモデルは、第２画像のためにさらに使用される。これは、本発明のこの実施形態において、ユーザは、ビデオにおける画像の第１フレームに情報を入力することを補助する必要があるだけであり、すべての引き続く処理は、画像の第１フレームのガウスモデルに従って、画像処理装置により、自動的に遂行されることを意味している。これは、手動による入力補助を減らすことができ、少ない作業負荷にし、高効率及び普遍性を達成する。
第１ピクセルから混合ガウスモデルへの距離は、
と示すことができ、ここで、(wm, μm, Σm)は、混合ガウスモデルにおける第ｍガウスモデルを表しており、 wm, μm, 及び Σm は、それぞれ前記混合ガウスモデルにおける第ｍガウスモデルの重み、中央値、分散行列を示しており、
は、第１特徴ベクトルを示しており、
は、各ガウスモデルの重み、及び、混合ガウスモデルにおけるガウス形状のインパクトを示しており、
は、マハラノビス距離を示しており、
であり、ここで、Pr, Pg, 及びPb は、第１ピクセルの赤、緑、青成分のピクセル値をそれぞれ示している。
任意のピクセル、即ち第ｉピクセルに対し、第ｉピクセルから混合ガウスモデルへの距離は、
と示すことができることを理解すべきである。
当業者は、第１ピクセルから混合ガウスモデルへの距離を本発明のこの実施形態に限定されない他の方法を使用することによりさらに判定し得ることに留意すべきである。
本発明のこの実施形態において、マハラノビス距離を使用しての第１ピクセルから混合ガウスモデルへの距離の計算は、他の方法を使用する計算よりも正確であり、背景エリアの範囲を定めることがより正確にでき、これにより、より正確なトライマップが得られる。
代わりに、本発明の他の実施形態において、第１判定ユニット710は、第２画像における第２ピクセルから混合ガウスモデルへの距離を判定するようにさらに構成されている。第２判定ユニット720は、前記第２ピクセルから前記混合ガウスモデルへの前記距離が第２プリセットしきい値より大きい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するようにさらに構成されている。
第２判定ユニット720は、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定し、前記第２ピクセルから前記混合ガウスモデルへの前記距離が前記第２しきい値以下である場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定するようにさらに構成され得る。
代わりに、本発明の他の実施形態において、図８に示されているように、装置700は、前記第１画像の前記第１エリアにおけるピクセルの特徴ベクトルの予想ベクトルを判定し、前記予想ベクトルに従って、直交座標空間を判定し、前記予想ベクトルの方向は、前記直交座標空間の一方向であり、前記直交座標空間における前記第２画像における第２ピクセルの投影を判定し、投影は、第１の値、第２の値、及び第３の値を含み、前記第１の値は、前記第２ピクセルの前記予想ベクトルの前記方向における投影であるように構成されている第３判定ユニット730をさらに具備し得る。第２判定ユニット720は、前記第１の値が前記第２の値より小さいか、又は前記第１の値が前記第３の値より小さい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するようにさらに構成されている。
第２判定ユニット720は、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定し、前記第１の値が、前記第２の値より大きく、かつ、前記第１の値が、前記第３の値より大きい場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定するようにさらに構成され得る。
本発明のこの実施形態において、新たな直交座標空間が決定され、前景に属しているピクセルは、画像におけるピクセルの特徴ベクトルの投影に従って、新たな直交座標空間において判定され、したがって、方法100は、異なる単色背景において広く使用されることができる。
代わりに、本発明の他の実施形態において、図９に示されているように、装置700は、第２画像のペンディングエリアにおいて第４ピクセルを取得するように構成された取得ユニット740をさらに具備し得る。第２判定ユニット720は、ｋ近傍法を使用することにより、前記第４ピクセルが、前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定するようにさらに構成されている。
第２判定ユニット720は、前記第４ピクセルの特徴ベクトルに従って、前記第２画像の前記背景エリアに属するピクセルの特徴ベクトル、及び前記第２画像の前記前景エリアに属するピクセルの特徴ベクトルと、前記第４ピクセルと前記第２画像の前記背景エリアに属する前記ピクセルとの間の距離、及び前記第４ピクセルと前記第２画像の前記前景エリアに属する前記ピクセルとの間の距離を計算し、前記第４ピクセルの前記特徴ベクトル、前記第２画像の前記背景エリアに属する前記ピクセルの前記特徴ベクトル、及び前記第２画像の前記前景エリアに属する前記ピクセルの前記特徴ベクトルに対応する固有空間は、少なくともピクセルのRGB(Red Green Blue)カラー情報、ピクセルの位置情報、及びピクセルの方向づけられた勾配情報を含み、前記第４ピクセルに最も近いｋ個のピクセルを判定し、ｋは、正の整数であり、ｋ個のピクセルのすべてが第２画像の前景エリアに属する場合には、第４ピクセルは、第２画像の前景エリアに属していると判定するか、又は、ｋ個のピクセルのすべてが第２画像の背景エリアに属している場合には、前記第４ピクセルは、第２画像の背景エリアに属していると判定するように特に構成され得る。
本発明のこの実施形態において、ピクセルを具体化させる３次元固有空間が 多次元固有空間にグレードアップされ、すなわち、ピクセル特徴ベクトルがオリジナルの
から
へアップグレードされ、その後、より高精度な画像前景セグメンテーションが実装できるように、ペンディングエリアのサイズは、KNNアルゴリズムを使用することによりさらに減少される。
本発明のこの実施形態による画像処理装置700は、本発明の実施形態による画像処理方法100における画像処理装置に対応し得、装置700における上記及び他の動作及び／又はモジュールの機能は、図１から図６における方法100の対応する手順を実施するために別々に使用されることは理解すべきである。簡単な説明のために、詳細はここでは再度説明しない。
図１０は、本発明の他の実施形態による画像処理装置 1000の概略ブロック図である。図１０に示されているように、装置1000は、プロセッサ1010、メモリ1020、及びバスシステム1030を具備している。プロセッサ1010及びメモリ1020は、バスシステム1030を使用することにより接続されており、メモリ1020は、命令を格納するように構成され、プロセッサ1010は、メモリ1020において格納されている命令を実行するように構成されている。
プロセッサ1010は、第１画像における第１エリアの混合ガウスモデルを判定し、前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームであり、第２画像における第１ピクセルから混合ガウスモデルへの距離を判定し、第１ピクセルから混合ガウスモデルへの距離が第１プリセットしきい値以下の場合には、第１ピクセルは、第２画像の背景エリアに属していると判定するように構成されている。
したがって、本発明のこの実施形態による画像処理装置において、ピクセルから背景エリアの混合ガウスモデルへの距離が判定され、距離がプリセットしきい値以下の場合には、ピクセルは、背景エリアに属していると判定され、画像前景セグメンテーションが効果的に遂行できるように、ピクセルが属しているエリアは、ピクセルから混合ガウスモデルへの距離に従って直接判定されることができる。
本発明のこの実施形態において、プロセッサ1010は、中央演算処理装置(Central Processing Unit, CPU)であってよく、プロセッサ1010は、他の汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又は他のプログラマブルロジックデバイス、独立したゲート又はトランジスタロジックデバイス、独立ハードウェア構成要素などであってもよいことを理解すべきである。汎用プロセッサは、マイクロプロセッサであってよく、又は、プロセッサは、任意の一般的なプロセッサであってもよい。
メモリ1020は、読み取り専用メモリ及びランダムアクセスメモリを具備し、プロセッサ1010のために命令及びデータを提供する。メモリ1020の一部は、不揮発性ランダムアクセスメモリをさらに具備してもよい。例えば、メモリ1020は、デバイスタイプに関する情報をさらに格納してもよい。
バスシステム1030は、データバスを含むほかに、パワーバス、制御バス、ステータス信号バスなどをさらに具備し得る。しかし、明瞭な説明のために、すべてのバスは、図においてバスシステム1030としてマークされている。
実装処理において、方法の各ステップは、プロセッサ1010におけるハードウェアの集積回路、又はソフトウェアの形式の命令を使用することにより遂行されることができる。本発明の実施形態を参照しながら開示された方法のステップは、ハードウェアプロセッサにより、又はプロセッサにおけるハードウェアとソフトウェアモジュールの組み合わせにより実行されるものとして直接具体化され得る。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラマブル・読み取り専用メモリ、EEP(electronically erasable programmable)メモリ、又はレジスタなどの当該技術分野において成熟したストレージメディアに配置され得る。ストレージメディアは、メモリ1020において配置されており、プロセッサ1010は、メモリ1020における情報を読み取り、ハードウェアなどと組み合わせて方法のステップを遂行する。繰り返しを避けるため、詳細は、ここでは再び説明しない。
本発明のこの実施形態において、第１エリアは、ユーザによる指示入力に従って決定されうる。第２画像は、ビデオにおける画像の任意のフレームであり得る。
具体的には、プロセッサ1010は、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定するようにさらに構成され得る。
第１ピクセルから混合ガウスモデルへの距離は、
と示すことができ、ここで、(wm, μm, Σm)は、混合ガウスモデルにおける第ｍガウスモデルを表しており、wm, μm, 及び Σm は、それぞれ混合ガウスモデルにおける第ｍガウスモデルの重み、中央値、分散行列を示しており、
は、第１ピクセルの特徴ベクトルを示している。
代わりに、本発明の他の実施形態において、プロセッサ1010は、第２画像における第２ピクセルから混合ガウスモデルへの距離を判定し、第２ピクセルから混合ガウスモデルへの距離が第２プリセットしきい値より大きい場合には、第２ピクセルは、第２画像の前景エリアに属していると判定するようにさらに構成され得る。
プロセッサ1010は、第２ピクセルから混合ガウスモデルへの距離が第２しきい値以下である場合には、第２ピクセルは、第２画像のペンディングエリアに属していると判定するようにさらに構成され得る。
代わりに、本発明の他の実施形態において、プロセッサ1010は、前記第１画像の前記第１エリアにおけるピクセルの特徴ベクトルの予想ベクトルを判定し、予想ベクトルに従って、直交座標空間を判定し、前記予想ベクトルの方向は、前記直交座標空間の一方向であり、直交座標空間における第２画像における第２ピクセルの投影を判定し、投影は、第１の値、第２の値、及び第３の値を具備し、第１の値は、第２ピクセルの予想ベクトルの方向における投影であり、第１の値が第２の値より小さいか、又は第１の値が第３の値より小さい場合には、第２ピクセルは、第２画像の前景エリアに属していると判定するようにさらに構成され得る。
プロセッサ1010は、第１の値が、第２の値より大きく、かつ、第１の値が、第３の値より大きい場合には、第２ピクセルは、第２画像のペンディングエリアに属していると判定するようにさらに構成され得る。
代わりに、本発明の他の実施形態において、プロセッサ1010は、第２画像のペンディングエリアにおける第４ピクセルを取得し、ｋ近傍法を使用することにより、第４ピクセルが、第２画像の前景エリア又は背景エリアに属しているかどうかを判定するようにさらに構成され得る。
プロセッサ1010は、第４ピクセルの特徴ベクトルに従って、第２画像の背景エリアに属するピクセルの特徴ベクトル、及び第２画像の前景エリアに属するピクセルの特徴ベクトルと、第４ピクセルと第２画像の背景エリアに属するピクセルとの間の距離、及び第４ピクセルと第２画像の前景エリアに属するピクセルとの間の距離とを計算し、第４ピクセルの特徴ベクトル、第２画像の背景エリアに属するピクセルの特徴ベクトル、及び第２画像の前景エリアに属するピクセルの特徴ベクトルに対応する固有空間は、少なくともピクセルのRGB(Red Green Blue)カラー情報、ピクセルの位置情報、及びピクセルの方向づけられた勾配情報を具備し、第４ピクセルに最も近いｋ個のピクセルを判定し、ｋは、正の整数であり、ｋ個のピクセルのすべてが第２画像の前景エリアに属する場合には、第４ピクセルは、第２画像の前景エリアに属していると判定するか、又は、ｋ個のピクセルのすべてが第２画像の背景エリアに属している場合には、第４ピクセルは、第２画像の背景エリアに属していると判定するように特に構成され得る。
本発明のこの実施形態による画像処理装置1000は、本発明の実施形態による画像処理方法100及び画像処理装置700における画像処理装置に対応可能であり、装置1000における上記及び他の動作及び／又はモジュールの機能は、図１から図６における方法100の対応する手順を実施するために別々に使用されることは理解すべきである。簡単な説明のために、詳細はここでは再度説明しない。
したがって、本発明のこの実施形態による画像処理装置において、ピクセルから背景エリアの混合ガウスモデルへの距離が判定され、距離がプリセットしきい値以下の場合には、ピクセルは、背景エリアに属していると判定され、画像前景セグメンテーションが効果的に遂行できるように、ピクセルが属しているエリアは、ピクセルから混合ガウスモデルへの距離に従って直接判定されることができる。
当業者は、この明細書において開示された実施形態において説明された実施例を組み合わせて、ユニット及びアルゴリズムステップは、電子的ハードウェア又はコンピュータソフトウェアと電子的ハードウェアの組み合わせにより実施され得るということに気づき得る。機能が、ハードウェア又はソフトウェアにより実行されるかどうかは、特定のアプリケーション及び設計の技術的ソリューションの拘束条件に依存する。当業者は、各特定のアプリケーションに対して説明した機能を実施するために異なる方法を使用可能であるが、これはその実施が本発明の範囲を超えているものとみなすべきではない。
便利で簡単な説明の目的のため、前述のシステム、装置、及びユニットの詳細な作業工程に対しては、上述の方法の実施形態における対応する処理を参照し、ここでは再び説明されていないことは、当業者であれば明確に理解し得る。
本明細書において提供されているいくつかの実施形態において、開示されているシステム、装置、及び方法は、他の方法において実施されてもよいことは理解されるべきである。例えば、説明された装置の実施形態は、単なる例示である。例えば、ユニットの区分は、単に論理機能による区分であり、実際の実装において他の区分であってよい。例えば、複数のユニット又は構成要素は、組み合わされるか、又は他のシステムに統合されてよく、又はいくつかの機能は無視又は実施されなくてもよい。加えて、示された、又は論じられた相互結合又は直接結合又は通信接続は、いくつかのインターフェースを通じて実施され得る。装置又はユニット間の間接結合又は通信接続は、電子的、機械的、又は他の形状により実施されてよい。
別個の部分として説明されたユニットは、物理的に別個であってもなくてもよく、ユニットとして示された部分は、物理的なユニットであってもなくてもよく、一か所において配置されることも、又は複数のネットワークユニット上に分配されてもよい。ユニットのいくつか又はすべては、実施形態のソリューションの目的を達成するための実際の必要性に従って選択され得る。
加えて、本発明の実施形態による機能ユニットは、１つの処理ユニットに統合されることができ、又はユニットのそれぞれが、物理的に単体で存在してよく、又は２つ以上のユニットが１つのユニットに統合されてもよい。
機能がソフトウェア機能ユニットの形において実装されるとともに独立した製品として販売又は使用される場合には、機能は、コンピュータ可読記録媒体に格納されてよい。このような理解に基づいて、本発明の技術的ソリューションは本質的に、又は、従来技術に寄与する部分、又は技術的ソリューションのいくつかは、ソフトウェア製品の形において実施され得る。ソフトウェア製品は、ストレージメディアにおいて格納され、本発明の実施形態において説明された方法のステップの全て又はいくつかを実行するためにコンピュータデバイスに命令するためのいくつかの命令を備えている。前述のストレージメディアは、USBフラッシュドライブ、リムーバブルハードディスク、読み取り専用メモリ(ROM, Read-Only Memory)、ランダムアクセスメモリ(RAM, Random Access Memory)、磁気ディスク、又は光ディスクなどのプログラムコードを格納可能な任意のメディアを含む。
上記の説明は本発明の例示的な特定の実施方法にすぎないが、本発明の保護範囲を限定するものではない。本発明において開示された技術的範囲内において当業者によって行われるいかなる変形または置換も、本発明の保護範囲内に入るものとする。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
７００ 画像処理装置
７１０ 第１判定ユニット
７２０ 第２判定ユニット
７３０ 第３判定ユニット
７４０ 取得ユニット
１０００ 画像処理装置
１０１０ プロセッサ
１０２０ メモリ
１０３０ バスシステム

Claims (20)

  1. 画像処理方法であって、
    第１画像における第１エリアの混合ガウスモデルを判定するステップであって、前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームである、ステップと、
    第２画像における第１ピクセルから前記混合ガウスモデルへの距離を判定するステップと、
    前記第１ピクセルから前記混合ガウスモデルへの前記距離が第１プリセットしきい値以下の場合には、前記第１ピクセルは、前記第２画像の背景エリアに属していると判定するステップと、
    を具備することを特徴とする画像処理方法。
  2. 前記第２画像における第２ピクセルから前記混合ガウスモデルへの距離を判定するステップと、
    前記第２ピクセルから前記混合ガウスモデルへの前記距離が第２プリセットしきい値より大きい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するステップと、
    をさらに具備することを特徴とする請求項１に記載の方法。
  3. 前記第１画像の前記第１エリアにおけるピクセルの特徴ベクトルの予想ベクトルを判定するステップと、
    前記予想ベクトルに従って、直交座標空間を判定するステップであって、前記予想ベクトルの方向は、前記直交座標空間の一方向である、ステップと、
    前記第２画像における第２ピクセルの前記直交座標空間における投影を判定するステップであって、前記投影は、第１の値、第２の値、及び第３の値を具備し、前記第１の値は、前記予想ベクトルの前記方向における前記第２ピクセルの投影である、ステップと、
    前記第１の値が前記第２の値より小さいか、又は前記第１の値が前記第３の値より小さい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するステップと、
    をさらに具備することを特徴とする請求項１に記載の方法。
  4. 前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定され、
    前記第２ピクセルから前記混合ガウスモデルへの前記距離が前記第２しきい値以下である場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定される
    ことをさらに具備することを特徴とする請求項２に記載の方法。
  5. 前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定され、
    前記第１の値が、前記第２の値より大きく、かつ、前記第１の値が、前記第３の値より大きい場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定される
    ことを特徴とする請求項３に記載の方法。
  6. 前記第２画像の前記ペンディングエリアにおける第４ピクセルを取得するステップと、
    ｋ近傍法を使用することにより、前記第４ピクセルが前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定するステップと、
    をさらに具備することを特徴とする請求項４又は５に記載の方法。
  7. 前記ｋ近傍法を使用することにより、前記第４ピクセルが前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定する前記ステップは、
    前記第４ピクセルの特徴ベクトルに従って、前記第２画像の前記背景エリアに属するピクセルの特徴ベクトル、及び前記第２画像の前記前景エリアに属するピクセルの特徴ベクトル、前記第４ピクセルと前記第２画像の前記背景エリアに属する前記ピクセルとの間の距離、及び前記第４ピクセルと前記第２画像の前記前景エリアに属する前記ピクセルとの間の距離を計算するステップであって、前記第４ピクセルの前記特徴ベクトル、前記第２画像の前記背景エリアに属する前記ピクセルの前記特徴ベクトル、及び前記第２画像の前記前景エリアに属する前記ピクセルの前記特徴ベクトルに対応する固有空間は、少なくともピクセルのRGB(Red Green Blue)カラー情報、ピクセルの位置情報、及びピクセルの方向づけられた勾配情報を具備する、ステップと、
    前記第４ピクセルに最も近いｋ個のピクセルを判定するステップであって、ｋは、正の整数である、ステップと、
    ｋ個のピクセルのすべてが前記第２画像の前記前景エリアに属する場合には、前記第４ピクセルは、前記第２画像の前記前景エリアに属していると判定するステップ、又は、
    前記ｋ個のピクセルのすべてが前記第２画像の前記背景エリアに属している場合には、前記第４ピクセルは、前記第２画像の前記背景エリアに属していると判定するステップと、
    を具備することを特徴とする請求項６に記載の方法。
  8. 前記第１ピクセルから前記混合ガウスモデルへの前記距離は、
    で示され、ここで、(wm, μm, Σm)は、前記混合ガウスモデルにおける第ｍガウスモデルを表しており、wm, μm, 及び Σmは、それぞれ前記混合ガウスモデルにおける前記第ｍガウスモデルの重み、中央値、分散行列を示しており、
    は、前記第１ピクセルの特徴ベクトルを示していることを特徴とする請求項１から７のいずれか一項に記載の方法。
  9. 前記第１エリアは、ユーザによる指示入力に従って判定されることを特徴とする請求項１から８のいずれか一項に記載の方法。
  10. 前記第２画像は、前記ビデオにおける画像の任意のフレームであることを特徴とする請求項１から９のいずれか一項に記載の方法。
  11. 画像処理装置であって、
    第１画像における第１エリアの混合ガウスモデルを判定するように構成された第１判定ユニットであって、前記第１エリアは、前記第１画像の背景エリアに属し、前記第１画像は、ビデオ内の画像の第１フレームである、第１判定ユニットを具備し、
    前記第１判定ユニットは、第２画像における第１ピクセルから前記混合ガウスモデルへの距離を判定するようにさらに構成され、
    前記第１ピクセルから前記混合ガウスモデルへの前記距離が第１プリセットしきい値以下の場合には、前記第１ピクセルは、前記第２画像の背景エリアに属していると判定するように構成されている第２判定ユニットを具備することを特徴とする画像処理装置。
  12. 前記第１判定ユニットは、前記第２画像における第２ピクセルから前記混合ガウスモデルへの距離を判定するようにさらに構成されており、
    前記第２判定ユニットは、前記第２ピクセルから前記混合ガウスモデルへの前記距離が第２プリセットしきい値より大きい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するようにさらに構成されていることを特徴とする請求項１１に記載の画像処理装置。
  13. 前記第１画像の前記第１エリアにおけるピクセルの特徴ベクトルの予想ベクトルを判定し、前記予想ベクトルに従って、直交座標空間を判定し、前記予想ベクトルの方向は、前記直交座標空間の一方向であり、前記直交座標空間における前記第２画像における第２ピクセルの投影を判定し、前記投影は、第１の値、第２の値、及び第３の値を具備し、前記第１の値は、前記第２ピクセルの前記予想ベクトルの前記方向における投影であるように構成された第３判定ユニットをさらに具備し、
    前記第２判定ユニットは、前記第１の値が前記第２の値より小さいか、又は前記第１の値が前記第３の値より小さい場合には、前記第２ピクセルは、前記第２画像の前景エリアに属していると判定するようにさらに構成されていることを特徴とする請求項１１に記載の画像処理装置。
  14. 第２判定ユニットは、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定し、前記第２ピクセルから前記混合ガウスモデルへの前記距離が前記第２しきい値以下である場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定するようにさらに構成されていることを特徴とする請求項１２に記載の画像処理装置。
  15. 前記第２判定ユニットは、前記第１ピクセルから前記混合ガウスモデルへの前記距離が前記第１しきい値より大きい場合には、前記第１ピクセルは、前記第２画像のペンディングエリアに属していると判定し、前記第１の値が、前記第２の値より大きく、かつ、前記第１の値が、前記第３の値より大きい場合には、前記第２ピクセルは、前記第２画像のペンディングエリアに属していると判定するようにさらに構成されていることを特徴とする請求項１３に記載の画像処理装置。
  16. 前記第２画像のペンディングエリアにおける第４ピクセルを取得するように構成されている取得ユニットをさらに具備し、
    前記第２判定ユニットは、ｋ近傍法を使用することにより、前記第４ピクセルが、前記第２画像の前景エリア又は背景エリアに属しているかどうかを判定するようにさらに構成されていることを特徴とする請求項１４又は１５に記載の画像処理装置。
  17. 前記第２判定ユニットは、
    前記第４ピクセルの特徴ベクトルに従って、前記第２画像の前記背景エリアに属するピクセルの特徴ベクトル、及び前記第２画像の前記前景エリアに属するピクセルの特徴ベクトルと、前記第４ピクセルと前記第２画像の前記背景エリアに属する前記ピクセルとの間の距離、及び前記第４ピクセルと前記第２画像の前記前景エリアに属する前記ピクセルとの間の距離とを計算し、前記第４ピクセルの前記特徴ベクトル、前記第２画像の前記背景エリアに属する前記ピクセルの前記特徴ベクトル、及び前記第２画像の前記前景エリアに属する前記ピクセルの前記特徴ベクトルに対応する固有空間は、少なくともピクセルのRGB(Red Green Blue)カラー情報、ピクセルの位置情報、及びピクセルの方向づけられた勾配情報を具備し、
    前記第４ピクセルに最も近いｋ個のピクセルを判定し、ｋは、正の整数であり、
    ｋ個のピクセルのすべてが前記第２画像の前記前景エリアに属する場合には、 前記第４ピクセルは、前記第２画像の前記前景エリアに属していると判定するか、又は、
    前記ｋ個のピクセルのすべてが前記第２画像の前記背景エリアに属している場合には、前記第４ピクセルは、前記第２画像の前記背景エリアに属していると判定するように特に構成されていることを特徴とする請求項１６に記載の画像処理装置。
  18. 前記第１ピクセルから前記混合ガウスモデルへの前記距離は、
    で示され、ここで、(wm, μm, Σm)は、前記混合ガウスモデルにおける第ｍガウスモデルを表しており、wm, μm, 及び Σm は、それぞれ前記混合ガウスモデルにおける前記第ｍガウスモデルの重み、中央値、分散行列を示しており、
    は、前記第１特徴ベクトルを示していることを特徴とする請求項１１から１７のいずれか一項に記載の画像処理装置。
  19. 前記第１エリアは、ユーザによる指示入力に従って判定されることを特徴とする請求項１１から１８のいずれか一項に記載の画像処理装置。
  20. 前記第２画像は、前記ビデオにおける画像の任意のフレームであることを特徴とする請求項１１から１９のいずれか一項に記載の画像処理装置。
JP2015222837A 2014-11-14 2015-11-13 画像処理方法及び装置 Expired - Fee Related JP6213745B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410650421.9A CN105654458A (zh) 2014-11-14 2014-11-14 图像处理的方法及装置
CN201410650421.9 2014-11-14

Publications (2)

Publication Number Publication Date
JP2016095854A true JP2016095854A (ja) 2016-05-26
JP6213745B2 JP6213745B2 (ja) 2017-10-18

Family

ID=54782409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015222837A Expired - Fee Related JP6213745B2 (ja) 2014-11-14 2015-11-13 画像処理方法及び装置

Country Status (5)

Country Link
US (1) US9704261B2 (ja)
EP (1) EP3026630A1 (ja)
JP (1) JP6213745B2 (ja)
KR (1) KR20160058058A (ja)
CN (1) CN105654458A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019036848A (ja) * 2017-08-16 2019-03-07 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016157457A1 (ja) * 2015-03-31 2016-10-06 国立大学法人東北大学 画像処理装置、画像処理方法、及び、画像処理プログラム
EP3433816A1 (en) * 2016-03-22 2019-01-30 URU, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
CN106056060A (zh) * 2016-05-26 2016-10-26 天津艾思科尔科技有限公司 一种视频图像中蒙面纱检测的方法及系统
US10885636B2 (en) * 2017-11-07 2021-01-05 Electronics And Telecommunications Research Institute Object segmentation apparatus and method using Gaussian mixture model and total variation
JP7204326B2 (ja) * 2018-01-15 2023-01-16 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
CN108830834B (zh) * 2018-05-23 2022-03-11 重庆交通大学 一种爬索机器人视频缺陷信息自动提取方法
CN109934812B (zh) * 2019-03-08 2022-12-09 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN113767394A (zh) * 2019-04-29 2021-12-07 苹果公司 在非结构化视频流中捕获对象
CN110097570B (zh) * 2019-04-30 2022-03-01 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN110121034B (zh) 2019-05-09 2021-09-07 腾讯科技（深圳）有限公司 一种在视频中植入信息的方法、装置、设备及存储介质
CN111860200B (zh) * 2020-06-28 2024-04-19 维沃移动通信有限公司 视频帧处理方法及装置
CN112348842B (zh) * 2020-11-03 2023-07-28 中国航空工业集团公司北京长城航空测控技术研究所 一种从视频中自动快速获取场景背景的处理方法
CN115690124B (zh) * 2022-11-02 2023-05-12 中国科学院苏州生物医学工程技术研究所 高精度单帧眼底荧光造影图像渗漏区域分割方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004709A (ja) * 2005-06-27 2007-01-11 Toshiba Corp 対象パターン検出方法及びその装置
JP2009500752A (ja) * 2005-07-01 2009-01-08 マイクロソフト コーポレーション ビデオオブジェクトのカットアンドペースト
JP2012203680A (ja) * 2011-03-25 2012-10-22 Secom Co Ltd 画像処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7885463B2 (en) * 2006-03-30 2011-02-08 Microsoft Corp. Image segmentation using spatial-color Gaussian mixture models
TWI391876B (zh) * 2009-02-16 2013-04-01 Inst Information Industry 利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品
TWI389559B (zh) * 2009-08-14 2013-03-11 Ind Tech Res Inst 前景影像分離方法
WO2012144957A1 (en) * 2011-04-21 2012-10-26 Nanyang Technological University A method and system for interactive image segmentation
US8670611B2 (en) 2011-10-24 2014-03-11 International Business Machines Corporation Background understanding in video data
JP5865078B2 (ja) 2011-12-28 2016-02-17 キヤノン株式会社 画像処理装置および画像処理方法
US9208580B2 (en) * 2012-08-23 2015-12-08 Qualcomm Incorporated Hand detection, location, and/or tracking
KR101732898B1 (ko) 2012-11-26 2017-05-08 삼성전자주식회사 영상 처리 장치 및 방법
CN103208123B (zh) * 2013-04-19 2016-03-02 广东图图搜网络科技有限公司 图像分割方法与系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004709A (ja) * 2005-06-27 2007-01-11 Toshiba Corp 対象パターン検出方法及びその装置
JP2009500752A (ja) * 2005-07-01 2009-01-08 マイクロソフト コーポレーション ビデオオブジェクトのカットアンドペースト
JP2012203680A (ja) * 2011-03-25 2012-10-22 Secom Co Ltd 画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019036848A (ja) * 2017-08-16 2019-03-07 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
JP6213745B2 (ja) 2017-10-18
KR20160058058A (ko) 2016-05-24
CN105654458A (zh) 2016-06-08
US9704261B2 (en) 2017-07-11
US20160140724A1 (en) 2016-05-19
EP3026630A1 (en) 2016-06-01

Similar Documents

Publication Publication Date Title
JP6213745B2 (ja) 画像処理方法及び装置
WO2022078041A1 (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
KR102559202B1 (ko) 3d 렌더링 방법 및 장치
JP6445775B2 (ja) 画像処理装置、画像処理方法
US20180322367A1 (en) Image processing method, non-transitory computer readable storage medium and image processing system
US10726599B2 (en) Realistic augmentation of images and videos with graphics
KR102075088B1 (ko) 객체 추출 장치 및 방법
US9781400B2 (en) Image processing method and apparatus
CN107465911B (zh) 一种深度信息提取方法及装置
JP2019028991A (ja) 目標検出方法、目標検出装置及び画像処理装置
AU2013273784A1 (en) Method, system and apparatus for updating a scene model
JP2015518594A (ja) デジタル画像分析のため空間制約を用いた統合インタラクティブセグメンテーション法
CN104584556B (zh) 用于对视频序列的图像的色彩进行聚类的方法和色彩聚类设备
JP7114431B2 (ja) 画像処理方法、画像処理装置およびプログラム
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
WO2021164615A1 (en) Motion blur robust image feature matching
US20210304426A1 (en) Writing/drawing-to-digital asset extractor
CN115362481A (zh) 运动模糊鲁棒图像特征描述符
CN116228850A (zh) 物体姿态估计方法、装置、电子设备及可读存储介质
JP6892557B2 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
US11227166B2 (en) Method and device for evaluating images, operating assistance method, and operating device
US11202000B2 (en) Learning apparatus, image generation apparatus, learning method, image generation method, and program
CN113554037A (zh) 一种基于模型简化的特征提取方法及装置
JP2011113177A (ja) 被写体３次元モデルを構築する方法およびプログラム
TWI807935B (zh) 深度識別模型訓練方法、圖像深度識別方法及相關設備

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170905

R150 Certificate of patent or registration of utility model

Ref document number: 6213745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees