JP2002074376A - ピクセル・ベースのセグメンテーション・マスクの洗練方法 - Google Patents

ピクセル・ベースのセグメンテーション・マスクの洗練方法

Info

Publication number
JP2002074376A
JP2002074376A JP2001163050A JP2001163050A JP2002074376A JP 2002074376 A JP2002074376 A JP 2002074376A JP 2001163050 A JP2001163050 A JP 2001163050A JP 2001163050 A JP2001163050 A JP 2001163050A JP 2002074376 A JP2002074376 A JP 2002074376A
Authority
JP
Japan
Prior art keywords
pixel
class
segmentation mask
boundary
based segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001163050A
Other languages
English (en)
Inventor
M Marting Anil
アニル・エム・マーチング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tektronix Inc
Original Assignee
Tektronix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tektronix Inc filed Critical Tektronix Inc
Publication of JP2002074376A publication Critical patent/JP2002074376A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Abstract

(57)【要約】 【課題】 イメージのブロック・ベースのセグメンテー
ションをアップサンプリング(12)して得たピクセル・ベ
ースのセグメンテーション・マスクを洗練する。 【解決手段】 ピクセル・ベースのセグメンテーション
・マスクに対してピクセルが各クラスに属する可能性を
求め(14);2つ以上のクラスと接するピクセル・ベース
のセグメンテーション・マスクから境界ピクセルを抽出
し(16);各クラスに対する可能性に基づいて、境界ピク
セルの真のクラスを決定し(18);各境界ピクセルの真の
クラスによりピクセル・ベースのセグメンテーションを
更新する(20)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、一般に、デジタル
・データ圧縮に関し、特に、イメージを表すブロック・
ベースのセグメンテーション・マスクをアップサンプリ
ングすることにより得たピクセル・ベースのセグメンテ
ーション・マスクを洗練(refine)する方法に関する。
なお、セグメンテーション・マスクとは、オブジェクト
又はクラスを定義するピクセルのブロックである。すな
わち、共通特徴を有するオブジェクトを定義するもので
ある。
【0002】
【従来の技術】H×Vピクセル(水平及び垂直に配置さ
れたピクセル)で構成されたイメージは、複数のブロッ
クに分割することができる。なお、これらブロックの各
々は、P×Qピクセルの大きさである。各ブロックは、
N個のクラスの1つに分類(クラス分け)できる。これ
は、図2に示す如く、デシメーション(間引き)したセ
グメンテーション(区分)マスク、即ち、ブロック・ベ
ースの(ブロックを基にした)セグメンテーション・マ
スクを与える。ここでは、図を簡略化するために、2つ
のクラスI及びIIのみが存在し、マスクの各ピクセル
は、完全な解像度のイメージのP×Qのブロックを表
す。デシメーションしたセグメンテーション・マスクを
アップサンプリング(サンプリング数を増やす)して、
フル(最高)解像度のイメージと同じ解像度のピクセル
・ベースの(ピクセルを基にした)セグメンテーション
・マスクを発生する場合、その結果は、図3に示す如
く、ブロック状の(むらのある)ピクセル・ベースのセ
グメンテーション・マスクとなる。なお、クラスとは、
各クラスが画像内のオブジェクトである。例えば、前景
の1本の木が1つのオブジェクトであり、背景が他のオ
ブジェクトである。また、図の場合、画像の薄黒い領域
が1つのオブジェクト又はクラスであり、明るい領域が
1つのオブジェクト又はクラスである。
【0003】
【発明が解決しようとする課題】ブロック状のピクセル
・ベースのセグメンテーション・マスクを滑らかなピク
セル・ベースのセグメンテーション・マスクに洗練する
方法が望まれている。
【0004】したがって、本発明は、ブロック・ベース
のセグメンテーションをアップサンプリングして得たピ
クセル・ベースのセグメンテーション・マスクを、滑ら
かなピクセル・ベースのセグメンテーション・マスクに
洗練する方法を提供するものである。
【0005】
【課題を解決するための手段】本発明は、イメージ用の
ブロック・ベースのセグメンテーション・マスクの各ブ
ロックが複数のクラスの1つに関連しており、ブロック
・ベースのセグメンテーションをアップサンプリングし
て得たピクセル・ベースのセグメンテーション・マスク
を洗練する方法であって;ピクセル・ベースのセグメン
テーション・マスクに対してピクセルが各クラスに属す
る可能性を求め;2つ以上のクラスと接するピクセル・
ベースのセグメンテーション・マスクから境界ピクセル
を抽出し;各クラスに対する可能性に基づいて、境界ピ
クセルの真のクラスを決定し;各境界ピクセルの真のク
ラスにより、ピクセル・ベースのセグメンテーションを
更新することを特徴としている。
【0006】本発明の方法は、イメージ用のブロック・
ベースのセグメンテーション・マスクをアップサンプリ
ングして得たピクセル・ベースのセグメンテーション・
マスクを洗練して、ブロック化によるアーティファクト
(本来の成分とは無関係のもの)のないフル解像度のイ
メージを求めている。ブロック・ベースのセグメンテー
ション・マスクの各ブロックに対して、特徴ベクトル
(feature vector)を求めて、そのブロックが属するク
ラスを複数のクラスから決める。対応するピクセル・ベ
ースのセグメンテーション・マスクから、各クラスの平
均及び共分散を求める。ピクセル・ベースのセグメンテ
ーション・マスクにおける各ピクセルに対して、平均、
共分散及び特徴ベクトルを用いて、ピクセルが各クラス
に属する可能性を求める。次に、ブロック・ベースのセ
グメンテーション・マスクにおける隣接したクラス間の
各端にて、1ピクセル幅の境界を定め、その結果の境界
ブロック「ピクセル」を、ピクセル・ベースのセグメン
テーション・マスク用に対応する境界ピクセルにアップ
サンプリングする。各境界ピクセルの真のクラスを決定
し、ピクセル・ベースのセグメンテーション・マスクを
更新して、複数クラスの間の端におけるブロッキネス・
アーティファクト(イメージをブロック化したことによ
り生じるアーティファクト)を滑らかにする。
【0007】本発明のその他の目的、利点及び新規な特
徴は、添付図を参照した以下の説明から明らかになろ
う。
【0008】
【発明の実施の形態】図1は、本発明によりピクセル・
ベースのセグメンテーション・マスクを洗練する処理の
流れ図である。ステップ10において、フル解像度のデ
ジタル・イメージの各ブロック又はサンプルに対して、
カラー成分の如き適切な特徴によって、特徴ベクトル
f(k)を求める。なお、特徴ベクトルとは、各クラスに共
通な特徴を定義する式であり、例えば、総ての黒又は総
ての白が特徴ベクトルである。特徴ベクトルを作る他の
特徴には、テクスチャ(質感/模様)や、形などがあ
る。このような特徴ベクトルを求めることは、従来技術
であり、例えば、本願出願人に譲渡されたアメリカ合衆
国特許出願第09/270233号「カラー・モーメン
トによりビデオ信号から得るオブジェクトのヒストグラ
ム・ベースのセグメンテーション」や、本願出願人に譲
渡されたアメリカ合衆国特許出願第09/495597
号「デジタル・ピクチャにおける同質のテクスチャの領
域を抽出する処理」などに記載されている。これら従来
技術では、ヒストグラムに基づいて、ビデオ信号のイメ
ージ、フレーム又は画像をオブジェクトに半自動的にセ
グメント化している。まず、境界を有するオブジェクト
内の大きな領域を定める。次に、カラー・ヒストグラム
を表す有限数のカラー・モーメントにより、定めた大き
な領域内のカラー情報を特徴付けている。そして、カラ
ー・モーメントを用いて、オブジェクトの境界まで、大
きな領域を成長させて、セグメント化を行っている。こ
のセグメント化により、特徴ベクトルが求まる。
【0009】ブロック・ベースのセグメンテーション・
マスクをアップサンプリングする(ステップ12)こと
により得た対応ピクセル・ベースのセグメンテーション
・マスクのピクセルから、各クラスの平均 (k)及び共
分散Σ(k)を次のように求める。 (k) ≡Σi∈A(k) f(i)/Σi∈A(k)1 Σ(k)≡Σi∈A(k) f(i) f(i) T/Σi∈A(k)1−
(k) (k) T なお、≡は、本明細書では、左辺を右辺のように定義す
ること、即ち、等価であることを表す。A(k)は、ク
ラス「k」に属するピクセル・ベースのセグメンテーシ
ョン・マスクにおける総てのピクセルの1組を表す。ピ
クセル・ベースのセグメンテーション・マスクに基づい
て、平均 (k)及び共分散Σ(k)をN個のクラスの総てに
ついて計算してもよい。また、Tは、変換関数であり、
列ベクトルを行ベクトルにしてベクトル乗算を行える。
【0010】次に、ピクセルiが特定のクラス「k」に
属する可能性P(k)(V f(i))を次式により求める(ステッ
プ14)。 P(k)(V f(i))≡exp{- 1/2[V f(i) - U (k)]TΣ(k) -1[V f(i)
- U (k) ] - 1/2 ln[det(Σ(k))]} なお、det は、正方ベクトル(square vector)の決定
関数(determinant function)である。
【0011】2つ以上のクラスと接するイメージのピク
セルのみを、洗練ステージで再分類する必要がある。ブ
ロック・ベースのセグメンテーション・マスクから、各
クラス「k」に対する1サンプル幅の境界を抽出し(ス
テップ16)、これらをアップサンプリングして、図4
に示すように、ピクセル・ベースのセグメンテーション
・マスクにおける「端(縁)」サンプルを得る。境界ピ
クセル「i」において、Bは1組の「縁のクラス」であ
り、「i」の真の分類を、次式から見つける(ステップ
18)。 arg maxk∈B(k) f(i)) すなわち、このステップ18は、各境界ピクセルがクラ
スの特定の1つに属する確率を求めるステップを含み、
最高確率のクラスが境界ピクセルの真のクラスであると
している。この方法は、直接的であり、ノイズが生じる
かもしれない。なお、argは、引数である。
【0012】代わりに、ステップ18における真の分類
を次のようにしてもよい。 arg maxk∈B(k) f(i))*R(k) なお、R(k)≡(クラス「k」内のブロックの総数)/
(ブロックの総数)である。すなわち、この場合のステ
ップ18では、クラスの特定の1つにおけるイメージの
割合に応じて確率を重み付けるステップを含み、最高の
重み付け確率のクラスが境界ピクセルの真のクラスであ
るとしている。
【0013】さらに、ステップ18における別な方法と
しては、幾何学的距離に基づいて、ピクセル「i」の真
の分類を次のように求めてもよい。 arg maxk∈B(k) f(i))*d(k)(i) なお、d(k)(i)は、クラス「k」内の総てのピクセ
ルの「中心」に対するピクセル「i」の幾何学的距離に
関する尺度である。すなわち、この場合のステップ18
では、クラスの特定の1つの中心からの幾何学的距離に
応じて確率を重み付けするステップを更に含み、最高の
重み付け確率のクラスが境界ピクセルの真のクラスであ
るとしている。
【0014】上述の方法の1つで求めたピクセルの真の
分類を次に用いて、ピクセル・ベースのセグメンテーシ
ョン・マスクを更新して、最高分解能イメージに対する
滑らかなピクセル・ベースのセグメンテーション・マス
クを発生する(ステップ20)。
【0015】上述の如く、平均及び共分散を求める際
に、境界効果を避けるために、境界でないピクセルに加
重(summation)を行ってもよい。
【0016】
【発明の効果】上述の如く、本発明は、イメージの多数
のクラスを有するブロック・ベースのセグメンテーショ
ン・マスクをオーバーサンプリングして求めたピクセル
・ベースのセグメンテーション・マスクを洗練する方法
である。この本発明の方法によれば、各ピクセルがクラ
スの各々に属する可能性を求め、境界のブロック/ピク
セルを抽出し、各境界ピクセルに対する真のクラスを求
め、各境界ピクセルに対する真のクラスによりピクセル
・ベースのセグメンテーション・マスクを更新すること
によって、イメージに対する滑らかなピクセル・ベース
のセグメンテーション・マスクを提供できる。
【図面の簡単な説明】
【図1】本発明によりピクセル・ベースのセグメンテー
ション・マスクを洗練する処理の流れ図である。
【図2】イメージ用のブロック・ベースのセグメンテー
ション・マスクを示す図である。
【図3】最高解像度のイメージに対してアップサンプリ
ングしたブロック・ベースのセグメンテーション・マス
クを示す図である。
【図4】本発明によりピクセル・ベースのセグメンテー
ション・マスクを洗練する際の境界ピクセルの選択を説
明するための図である。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 CA12 CB12 CF03 DB02 DC02 DC16 DC23 5C059 LB05 MB02 MB04 TD03 TD04 5L096 AA06 AA13 DA01 DA02 FA06 FA14 FA67 FA69

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 イメージ用のブロック・ベースのセグメ
    ンテーション・マスクの各ブロックが複数のクラスの1
    つに関連しており、上記ブロック・ベースのセグメンテ
    ーションをアップサンプリングして得たピクセル・ベー
    スのセグメンテーション・マスクを洗練する方法であっ
    て、 上記ピクセル・ベースのセグメンテーション・マスクに
    対して上記ピクセルが各クラスに属する可能性を求め、 2つ以上のクラスと接する上記ピクセル・ベースのセグ
    メンテーション・マスクから境界ピクセルを抽出し、 各クラスに対する可能性に基づいて、上記境界ピクセル
    の真のクラスを決定し、 各境界ピクセルの上記真のクラスにより、上記ピクセル
    ・ベースのセグメンテーションを更新することを特徴と
    するピクセル・ベースのセグメンテーション・マスクの
    洗練方法。
  2. 【請求項2】 上記境界ピクセルの真のクラスを決定す
    るステップは、各境界ピクセルが上記クラスの特定の1
    つに属する確率を求めるステップを含み、最高確率の上
    記クラスが上記境界ピクセルの上記真のクラスであると
    することを特徴とする請求項1のピクセル・ベースのセ
    グメンテーション・マスクの洗練方法。
  3. 【請求項3】 上記境界ピクセルの真のクラスを決定す
    るステップは、上記クラスの上記特定の1つにおけるイ
    メージの割合に応じて上記確率を重み付けるステップを
    更に具え、最高の重み付け確率の上記クラスが上記境界
    ピクセルの上記真のクラスであるとすることを特徴とす
    る請求項2のピクセル・ベースのセグメンテーション・
    マスクの洗練方法。
  4. 【請求項4】 上記境界ピクセルの真のクラスを決定す
    るステップは、上記クラスの上記特定の1つの中心から
    の幾何学的距離に応じて上記確率を重み付けするステッ
    プを更に具え、最高の重み付け確率の上記クラスが上記
    境界ピクセルの上記真のクラスであるとすることを特徴
    とする請求項2のピクセル・ベースのセグメンテーショ
    ン・マスクの洗練方法。
JP2001163050A 2000-05-31 2001-05-30 ピクセル・ベースのセグメンテーション・マスクの洗練方法 Pending JP2002074376A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/585,729 US6594389B1 (en) 2000-05-31 2000-05-31 Refining a pixel-based segmentation mask derived by unsampling a block-based segmentation mask
US09/585,729 2000-05-31

Publications (1)

Publication Number Publication Date
JP2002074376A true JP2002074376A (ja) 2002-03-15

Family

ID=24342707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001163050A Pending JP2002074376A (ja) 2000-05-31 2001-05-30 ピクセル・ベースのセグメンテーション・マスクの洗練方法

Country Status (2)

Country Link
US (1) US6594389B1 (ja)
JP (1) JP2002074376A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961736B1 (en) * 2002-05-31 2005-11-01 Adobe Systems Incorporated Compact color feature vector representation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671294A (en) * 1994-09-15 1997-09-23 The United States Of America As Represented By The Secretary Of The Navy System and method for incorporating segmentation boundaries into the calculation of fractal dimension features for texture discrimination
US5644386A (en) * 1995-01-11 1997-07-01 Loral Vought Systems Corp. Visual recognition system for LADAR sensors
US5768413A (en) * 1995-10-04 1998-06-16 Arch Development Corp. Method and apparatus for segmenting images using stochastically deformable contours
US5859891A (en) * 1997-03-07 1999-01-12 Hibbard; Lyn Autosegmentation/autocontouring system and method for use with three-dimensional radiation therapy treatment planning
US6381363B1 (en) * 1999-03-15 2002-04-30 Grass Valley (U.S.), Inc. Histogram-based segmentation of images and video via color moments

Also Published As

Publication number Publication date
US6594389B1 (en) 2003-07-15

Similar Documents

Publication Publication Date Title
Chai et al. Locating facial region of a head-and-shoulders color image
JP4423298B2 (ja) デジタル画像におけるテキスト状エッジの強調
JP4017489B2 (ja) セグメント化方法
WO2021159767A1 (zh) 一种医学图像处理的方法、图像处理的方法及装置
US20040017579A1 (en) Method and apparatus for enhancement of digital image quality
JPH1023452A (ja) 画像抽出装置および方法
KR100524072B1 (ko) 화질 개선 방법
JP5640622B2 (ja) 赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置
JP2002522836A (ja) 静止画像生成方法および装置
US7142732B2 (en) Unsupervised scene segmentation
Tan et al. Image haze removal based on superpixels and Markov random field
Hemachander et al. Locally adaptive block thresholding method with continuity constraint
CN115578294B (zh) 图像增强方法、装置、设备及存储介质
Zhang et al. Region of interest extraction for image quality assessment
CN115689935A (zh) 一种结肠镜图像的数据增强方法
JP2005275854A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体
JP6377214B2 (ja) テキスト検出方法および装置
CN110020986A (zh) 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法
JP2002074376A (ja) ピクセル・ベースのセグメンテーション・マスクの洗練方法
CN112767321B (zh) 一种基于随机森林的荧光结核杆菌检测方法
CN109801238B (zh) 一种基于简化大气散射模型的弱光照图像增强方法
JP2001127999A (ja) 画像処理装置および画像処理方法
CN112508024A (zh) 一种变压器电气铭牌钢印字体智能识别方法
Cheng et al. Background identification based segmentation and multilayer tree representation of document images
CN112308082B (zh) 基于双通道卷积核与多帧特征融合动态视频图像分割方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040729

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20040729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060131

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060627