JP2002074376A - ピクセル・ベースのセグメンテーション・マスクの洗練方法 - Google Patents
ピクセル・ベースのセグメンテーション・マスクの洗練方法Info
- Publication number
- JP2002074376A JP2002074376A JP2001163050A JP2001163050A JP2002074376A JP 2002074376 A JP2002074376 A JP 2002074376A JP 2001163050 A JP2001163050 A JP 2001163050A JP 2001163050 A JP2001163050 A JP 2001163050A JP 2002074376 A JP2002074376 A JP 2002074376A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- class
- segmentation mask
- boundary
- based segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims description 17
- 238000007670 refining Methods 0.000 title claims description 12
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 description 12
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100280298 Homo sapiens FAM162A gene Proteins 0.000 description 1
- 101100533652 Homo sapiens SLIRP gene Proteins 0.000 description 1
- 102100023788 Protein FAM162A Human genes 0.000 description 1
- 102100025491 SRA stem-loop-interacting RNA-binding protein, mitochondrial Human genes 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Abstract
ションをアップサンプリング(12)して得たピクセル・ベ
ースのセグメンテーション・マスクを洗練する。 【解決手段】 ピクセル・ベースのセグメンテーション
・マスクに対してピクセルが各クラスに属する可能性を
求め(14);2つ以上のクラスと接するピクセル・ベース
のセグメンテーション・マスクから境界ピクセルを抽出
し(16);各クラスに対する可能性に基づいて、境界ピク
セルの真のクラスを決定し(18);各境界ピクセルの真の
クラスによりピクセル・ベースのセグメンテーションを
更新する(20)。
Description
・データ圧縮に関し、特に、イメージを表すブロック・
ベースのセグメンテーション・マスクをアップサンプリ
ングすることにより得たピクセル・ベースのセグメンテ
ーション・マスクを洗練(refine)する方法に関する。
なお、セグメンテーション・マスクとは、オブジェクト
又はクラスを定義するピクセルのブロックである。すな
わち、共通特徴を有するオブジェクトを定義するもので
ある。
れたピクセル)で構成されたイメージは、複数のブロッ
クに分割することができる。なお、これらブロックの各
々は、P×Qピクセルの大きさである。各ブロックは、
N個のクラスの1つに分類(クラス分け)できる。これ
は、図2に示す如く、デシメーション(間引き)したセ
グメンテーション(区分)マスク、即ち、ブロック・ベ
ースの(ブロックを基にした)セグメンテーション・マ
スクを与える。ここでは、図を簡略化するために、2つ
のクラスI及びIIのみが存在し、マスクの各ピクセル
は、完全な解像度のイメージのP×Qのブロックを表
す。デシメーションしたセグメンテーション・マスクを
アップサンプリング(サンプリング数を増やす)して、
フル(最高)解像度のイメージと同じ解像度のピクセル
・ベースの(ピクセルを基にした)セグメンテーション
・マスクを発生する場合、その結果は、図3に示す如
く、ブロック状の(むらのある)ピクセル・ベースのセ
グメンテーション・マスクとなる。なお、クラスとは、
各クラスが画像内のオブジェクトである。例えば、前景
の1本の木が1つのオブジェクトであり、背景が他のオ
ブジェクトである。また、図の場合、画像の薄黒い領域
が1つのオブジェクト又はクラスであり、明るい領域が
1つのオブジェクト又はクラスである。
・ベースのセグメンテーション・マスクを滑らかなピク
セル・ベースのセグメンテーション・マスクに洗練する
方法が望まれている。
のセグメンテーションをアップサンプリングして得たピ
クセル・ベースのセグメンテーション・マスクを、滑ら
かなピクセル・ベースのセグメンテーション・マスクに
洗練する方法を提供するものである。
ブロック・ベースのセグメンテーション・マスクの各ブ
ロックが複数のクラスの1つに関連しており、ブロック
・ベースのセグメンテーションをアップサンプリングし
て得たピクセル・ベースのセグメンテーション・マスク
を洗練する方法であって;ピクセル・ベースのセグメン
テーション・マスクに対してピクセルが各クラスに属す
る可能性を求め;2つ以上のクラスと接するピクセル・
ベースのセグメンテーション・マスクから境界ピクセル
を抽出し;各クラスに対する可能性に基づいて、境界ピ
クセルの真のクラスを決定し;各境界ピクセルの真のク
ラスにより、ピクセル・ベースのセグメンテーションを
更新することを特徴としている。
ベースのセグメンテーション・マスクをアップサンプリ
ングして得たピクセル・ベースのセグメンテーション・
マスクを洗練して、ブロック化によるアーティファクト
(本来の成分とは無関係のもの)のないフル解像度のイ
メージを求めている。ブロック・ベースのセグメンテー
ション・マスクの各ブロックに対して、特徴ベクトル
(feature vector)を求めて、そのブロックが属するク
ラスを複数のクラスから決める。対応するピクセル・ベ
ースのセグメンテーション・マスクから、各クラスの平
均及び共分散を求める。ピクセル・ベースのセグメンテ
ーション・マスクにおける各ピクセルに対して、平均、
共分散及び特徴ベクトルを用いて、ピクセルが各クラス
に属する可能性を求める。次に、ブロック・ベースのセ
グメンテーション・マスクにおける隣接したクラス間の
各端にて、1ピクセル幅の境界を定め、その結果の境界
ブロック「ピクセル」を、ピクセル・ベースのセグメン
テーション・マスク用に対応する境界ピクセルにアップ
サンプリングする。各境界ピクセルの真のクラスを決定
し、ピクセル・ベースのセグメンテーション・マスクを
更新して、複数クラスの間の端におけるブロッキネス・
アーティファクト(イメージをブロック化したことによ
り生じるアーティファクト)を滑らかにする。
徴は、添付図を参照した以下の説明から明らかになろ
う。
ベースのセグメンテーション・マスクを洗練する処理の
流れ図である。ステップ10において、フル解像度のデ
ジタル・イメージの各ブロック又はサンプルに対して、
カラー成分の如き適切な特徴によって、特徴ベクトルV
f(k)を求める。なお、特徴ベクトルとは、各クラスに共
通な特徴を定義する式であり、例えば、総ての黒又は総
ての白が特徴ベクトルである。特徴ベクトルを作る他の
特徴には、テクスチャ(質感/模様)や、形などがあ
る。このような特徴ベクトルを求めることは、従来技術
であり、例えば、本願出願人に譲渡されたアメリカ合衆
国特許出願第09/270233号「カラー・モーメン
トによりビデオ信号から得るオブジェクトのヒストグラ
ム・ベースのセグメンテーション」や、本願出願人に譲
渡されたアメリカ合衆国特許出願第09/495597
号「デジタル・ピクチャにおける同質のテクスチャの領
域を抽出する処理」などに記載されている。これら従来
技術では、ヒストグラムに基づいて、ビデオ信号のイメ
ージ、フレーム又は画像をオブジェクトに半自動的にセ
グメント化している。まず、境界を有するオブジェクト
内の大きな領域を定める。次に、カラー・ヒストグラム
を表す有限数のカラー・モーメントにより、定めた大き
な領域内のカラー情報を特徴付けている。そして、カラ
ー・モーメントを用いて、オブジェクトの境界まで、大
きな領域を成長させて、セグメント化を行っている。こ
のセグメント化により、特徴ベクトルが求まる。
マスクをアップサンプリングする(ステップ12)こと
により得た対応ピクセル・ベースのセグメンテーション
・マスクのピクセルから、各クラスの平均U (k)及び共
分散Σ(k)を次のように求める。U (k) ≡Σi∈A(k) V f(i)/Σi∈A(k)1 Σ(k)≡Σi∈A(k) V f(i)*V f(i) T/Σi∈A(k)1−U
(k)*U (k) T なお、≡は、本明細書では、左辺を右辺のように定義す
ること、即ち、等価であることを表す。A(k)は、ク
ラス「k」に属するピクセル・ベースのセグメンテーシ
ョン・マスクにおける総てのピクセルの1組を表す。ピ
クセル・ベースのセグメンテーション・マスクに基づい
て、平均U (k)及び共分散Σ(k)をN個のクラスの総てに
ついて計算してもよい。また、Tは、変換関数であり、
列ベクトルを行ベクトルにしてベクトル乗算を行える。
属する可能性P(k)(V f(i))を次式により求める(ステッ
プ14)。 P(k)(V f(i))≡exp{- 1/2[V f(i) - U (k)]TΣ(k) -1[V f(i)
- U (k) ] - 1/2 ln[det(Σ(k))]} なお、det は、正方ベクトル(square vector)の決定
関数(determinant function)である。
セルのみを、洗練ステージで再分類する必要がある。ブ
ロック・ベースのセグメンテーション・マスクから、各
クラス「k」に対する1サンプル幅の境界を抽出し(ス
テップ16)、これらをアップサンプリングして、図4
に示すように、ピクセル・ベースのセグメンテーション
・マスクにおける「端(縁)」サンプルを得る。境界ピ
クセル「i」において、Bは1組の「縁のクラス」であ
り、「i」の真の分類を、次式から見つける(ステップ
18)。 arg maxk∈BP(k)(V f(i)) すなわち、このステップ18は、各境界ピクセルがクラ
スの特定の1つに属する確率を求めるステップを含み、
最高確率のクラスが境界ピクセルの真のクラスであると
している。この方法は、直接的であり、ノイズが生じる
かもしれない。なお、argは、引数である。
を次のようにしてもよい。 arg maxk∈BP(k)(V f(i))*R(k) なお、R(k)≡(クラス「k」内のブロックの総数)/
(ブロックの総数)である。すなわち、この場合のステ
ップ18では、クラスの特定の1つにおけるイメージの
割合に応じて確率を重み付けるステップを含み、最高の
重み付け確率のクラスが境界ピクセルの真のクラスであ
るとしている。
しては、幾何学的距離に基づいて、ピクセル「i」の真
の分類を次のように求めてもよい。 arg maxk∈BP(k)(V f(i))*d(k)(i) なお、d(k)(i)は、クラス「k」内の総てのピクセ
ルの「中心」に対するピクセル「i」の幾何学的距離に
関する尺度である。すなわち、この場合のステップ18
では、クラスの特定の1つの中心からの幾何学的距離に
応じて確率を重み付けするステップを更に含み、最高の
重み付け確率のクラスが境界ピクセルの真のクラスであ
るとしている。
分類を次に用いて、ピクセル・ベースのセグメンテーシ
ョン・マスクを更新して、最高分解能イメージに対する
滑らかなピクセル・ベースのセグメンテーション・マス
クを発生する(ステップ20)。
に、境界効果を避けるために、境界でないピクセルに加
重(summation)を行ってもよい。
のクラスを有するブロック・ベースのセグメンテーショ
ン・マスクをオーバーサンプリングして求めたピクセル
・ベースのセグメンテーション・マスクを洗練する方法
である。この本発明の方法によれば、各ピクセルがクラ
スの各々に属する可能性を求め、境界のブロック/ピク
セルを抽出し、各境界ピクセルに対する真のクラスを求
め、各境界ピクセルに対する真のクラスによりピクセル
・ベースのセグメンテーション・マスクを更新すること
によって、イメージに対する滑らかなピクセル・ベース
のセグメンテーション・マスクを提供できる。
ション・マスクを洗練する処理の流れ図である。
ション・マスクを示す図である。
ングしたブロック・ベースのセグメンテーション・マス
クを示す図である。
ション・マスクを洗練する際の境界ピクセルの選択を説
明するための図である。
Claims (4)
- 【請求項1】 イメージ用のブロック・ベースのセグメ
ンテーション・マスクの各ブロックが複数のクラスの1
つに関連しており、上記ブロック・ベースのセグメンテ
ーションをアップサンプリングして得たピクセル・ベー
スのセグメンテーション・マスクを洗練する方法であっ
て、 上記ピクセル・ベースのセグメンテーション・マスクに
対して上記ピクセルが各クラスに属する可能性を求め、 2つ以上のクラスと接する上記ピクセル・ベースのセグ
メンテーション・マスクから境界ピクセルを抽出し、 各クラスに対する可能性に基づいて、上記境界ピクセル
の真のクラスを決定し、 各境界ピクセルの上記真のクラスにより、上記ピクセル
・ベースのセグメンテーションを更新することを特徴と
するピクセル・ベースのセグメンテーション・マスクの
洗練方法。 - 【請求項2】 上記境界ピクセルの真のクラスを決定す
るステップは、各境界ピクセルが上記クラスの特定の1
つに属する確率を求めるステップを含み、最高確率の上
記クラスが上記境界ピクセルの上記真のクラスであると
することを特徴とする請求項1のピクセル・ベースのセ
グメンテーション・マスクの洗練方法。 - 【請求項3】 上記境界ピクセルの真のクラスを決定す
るステップは、上記クラスの上記特定の1つにおけるイ
メージの割合に応じて上記確率を重み付けるステップを
更に具え、最高の重み付け確率の上記クラスが上記境界
ピクセルの上記真のクラスであるとすることを特徴とす
る請求項2のピクセル・ベースのセグメンテーション・
マスクの洗練方法。 - 【請求項4】 上記境界ピクセルの真のクラスを決定す
るステップは、上記クラスの上記特定の1つの中心から
の幾何学的距離に応じて上記確率を重み付けするステッ
プを更に具え、最高の重み付け確率の上記クラスが上記
境界ピクセルの上記真のクラスであるとすることを特徴
とする請求項2のピクセル・ベースのセグメンテーショ
ン・マスクの洗練方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/585,729 US6594389B1 (en) | 2000-05-31 | 2000-05-31 | Refining a pixel-based segmentation mask derived by unsampling a block-based segmentation mask |
US09/585,729 | 2000-05-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002074376A true JP2002074376A (ja) | 2002-03-15 |
Family
ID=24342707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001163050A Pending JP2002074376A (ja) | 2000-05-31 | 2001-05-30 | ピクセル・ベースのセグメンテーション・マスクの洗練方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6594389B1 (ja) |
JP (1) | JP2002074376A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6961736B1 (en) * | 2002-05-31 | 2005-11-01 | Adobe Systems Incorporated | Compact color feature vector representation |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5671294A (en) * | 1994-09-15 | 1997-09-23 | The United States Of America As Represented By The Secretary Of The Navy | System and method for incorporating segmentation boundaries into the calculation of fractal dimension features for texture discrimination |
US5644386A (en) * | 1995-01-11 | 1997-07-01 | Loral Vought Systems Corp. | Visual recognition system for LADAR sensors |
US5768413A (en) * | 1995-10-04 | 1998-06-16 | Arch Development Corp. | Method and apparatus for segmenting images using stochastically deformable contours |
US5859891A (en) * | 1997-03-07 | 1999-01-12 | Hibbard; Lyn | Autosegmentation/autocontouring system and method for use with three-dimensional radiation therapy treatment planning |
US6381363B1 (en) * | 1999-03-15 | 2002-04-30 | Grass Valley (U.S.), Inc. | Histogram-based segmentation of images and video via color moments |
-
2000
- 2000-05-31 US US09/585,729 patent/US6594389B1/en not_active Expired - Lifetime
-
2001
- 2001-05-30 JP JP2001163050A patent/JP2002074376A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US6594389B1 (en) | 2003-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chai et al. | Locating facial region of a head-and-shoulders color image | |
JP4423298B2 (ja) | デジタル画像におけるテキスト状エッジの強調 | |
JP4017489B2 (ja) | セグメント化方法 | |
WO2021159767A1 (zh) | 一种医学图像处理的方法、图像处理的方法及装置 | |
US20040017579A1 (en) | Method and apparatus for enhancement of digital image quality | |
JPH1023452A (ja) | 画像抽出装置および方法 | |
KR100524072B1 (ko) | 화질 개선 방법 | |
JP5640622B2 (ja) | 赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置 | |
JP2002522836A (ja) | 静止画像生成方法および装置 | |
US7142732B2 (en) | Unsupervised scene segmentation | |
Tan et al. | Image haze removal based on superpixels and Markov random field | |
Hemachander et al. | Locally adaptive block thresholding method with continuity constraint | |
CN115578294B (zh) | 图像增强方法、装置、设备及存储介质 | |
Zhang et al. | Region of interest extraction for image quality assessment | |
CN115689935A (zh) | 一种结肠镜图像的数据增强方法 | |
JP2005275854A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体 | |
JP6377214B2 (ja) | テキスト検出方法および装置 | |
CN110020986A (zh) | 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法 | |
JP2002074376A (ja) | ピクセル・ベースのセグメンテーション・マスクの洗練方法 | |
CN112767321B (zh) | 一种基于随机森林的荧光结核杆菌检测方法 | |
CN109801238B (zh) | 一种基于简化大气散射模型的弱光照图像增强方法 | |
JP2001127999A (ja) | 画像処理装置および画像処理方法 | |
CN112508024A (zh) | 一种变压器电气铭牌钢印字体智能识别方法 | |
Cheng et al. | Background identification based segmentation and multilayer tree representation of document images | |
CN112308082B (zh) | 基于双通道卷积核与多帧特征融合动态视频图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040729 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20040729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060131 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060627 |