JP2002170117A - 色−テクスチャ距離の測定方法及び装置並びにこれらを用いた映像の領域区分方法及び装置 - Google Patents

色−テクスチャ距離の測定方法及び装置並びにこれらを用いた映像の領域区分方法及び装置

Info

Publication number
JP2002170117A
JP2002170117A JP2001347688A JP2001347688A JP2002170117A JP 2002170117 A JP2002170117 A JP 2002170117A JP 2001347688 A JP2001347688 A JP 2001347688A JP 2001347688 A JP2001347688 A JP 2001347688A JP 2002170117 A JP2002170117 A JP 2002170117A
Authority
JP
Japan
Prior art keywords
color
texture
distance
equation
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001347688A
Other languages
English (en)
Other versions
JP3554930B2 (ja
Inventor
Sang-Kyun Kim
相 均 金
Seong-Deok Lee
性 徳 李
Shoyo Kin
昌 容 金
Pavel A Chochia
エー.チョチア パベル
Dmitry V Sushko
ブイ.スシュコ ドミトリー
Boris M Miller
エム.ミラー ボリス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2002170117A publication Critical patent/JP2002170117A/ja
Application granted granted Critical
Publication of JP3554930B2 publication Critical patent/JP3554930B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

(57)【要約】 【課題】 色−テクスチャ距離の測定方法及び装置とこ
れを用いた映像の領域区分方法及び装置を提供する。 【解決手段】 色−テクスチャ距離の測定方法は、映像
の画素が有する色特性値で構成される色特性空間上にお
ける2点間の輝度差、彩度差及び色相差に相異なる重要
度を割り当て、この割り当てた重要度に比例して輝度
差、彩度差及び色相差を加算して2点間の色距離を求め
る段階10と、画素に対するテクスチャ特性値で構成さ
れるテクスチャ特性空間上における2点間のテクスチャ
特性値差と、テクスチャの多重度に適用される加重係数
を用いて2点間のテクスチャ距離を求める段階12と、
色距離を色加重値と乗算し、テクスチャ距離をテクスチ
ャ加重値と乗算し、これらの乗算結果同士を加算して2
点間の色−テクスチャ距離を求める段階14とを備え
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は映像処理に係り、特
に、映像で画素間の色−テクスチャ距離を測定する方法
及び装置と、測定された色−テクスチャ距離を用いて映
像の領域を区分する方法及び装置に関する。
【0002】
【従来の技術】映像の形成に重要な因子として、色、照
明、撮像される物体(以下、「オブジェクト(obje
ct)」という。)の形状、オブジェクトの幾何学的な
相互配置(geometry)及び観察者と映像入力装
置との間の相対的位置関係等が挙げられる。更に、映像
の形成は、映像入力装置や環境条件による影響を受け
る。
【0003】理想的な映像分割は、前述した映像の形成
における数多くの因子及びそれらの条件が存在するにも
かかわらず、人間が認知できる形態で、映像において意
味のあるオブジェクトまたは同一色の領域を、その他の
オブジェクトまたは背景から効果的に区分させることで
ある。このため、従来の映像領域の分離を行なうための
技術分野において、このような理想的な映像分割を具現
させようとする種々の手法が開示されている。
【0004】従来の映像領域を分離する技術の1つとし
て、米国特許US5751450に、「Method
and system for measuring
color difference(色差の測定方法及
びシステム)」の発明が開示されている。この発明で開
示されている、映像領域を分離する技術は、ユークリッ
ド距離(Euclidean distance)によ
って、一義的に色距離を計算し、この計算による色距離
を基準として映像の領域を分離するものである。
【0005】そして、前記映像に含まれる任意のオブジ
ェクトを、その映像の背景画面と分離させようとする際
に用いられる、このような従来の映像領域を分離する技
術においては、オブジェクトに存在する2つの画素の輝
度と彩度が互いに異なるが、前記2つの画素の色相が等
しい場合、前記2つの画素の色相を同一に取り扱う必要
があるにもかかわらず、前記2つの画素の色相があたか
も相異なるようにして取り扱うという問題点を有する。
【0006】なぜならば、前記従来の映像領域を分離す
る技術においては、前記計算によって一義的に求められ
た色距離を用いて映像の領域を分離するからである。そ
の結果、このような状況で映像領域を分離する技術で
は、同一のオブジェクトに属する2つの画素を、あたか
も相異なるオブジェクトに属するように取り扱って映像
領域を分離するため、映像の領域を正確に分離すること
が甚だ困難であった。
【0007】また、前記従来の映像領域を分離する技術
では、背景の画面に含まれる画素とオブジェクトの画素
との間に色相の差が存在する状況で、輝度や彩度のレベ
ルが一定のレベル以下になると、この2つの画素の色相
に差がないものとして取り扱っていた。それゆえ、2つ
に分離された領域が、本来は他の領域に含まれなければ
ならない画素を、1つの同一の領域に含めるため、映像
の領域を正確に分離することが極めて困難であった。
【0008】更に、従来の一般的な映像領域を区分する
方法では、併合する領域の大きさや、領域の間に接する
エッジの長さを考慮することなく2つの領域の併合を決
定するために、映像の領域を的確に分離することが困難
であるという問題点があった。
【0009】
【発明が解決しようとする課題】本発明が解決する第1
の技術的課題は、色とテクスチャ特性空間とで与えられ
た2点の各々が有する色相、輝度及び彩度の相対的また
は絶対的変化に関係なく2点間の色−テクスチャ距離を
正確に測定することができる色−テクスチャ距離の測定
方法を提供することである。
【0010】また、本発明が解決する第2の技術的課題
は、色−テクスチャ距離の測定方法を実行する色−テク
スチャ距離測定装置を提供することである。
【0011】更に、本発明が解決する第3の技術的課題
は、前記測定された色−テクスチャ距離を用いて、映像
で同一の色及び同一のテクスチャの両方またはいずれか
一方でなされた領域を、安定して更に明確に区分するこ
とができる映像の領域区分方法を提供することである。
【0012】そして、本発明が解決する第4技術的課題
は、前記映像の領域区分方法を実行する映像の領域区分
装置を提供することである。
【0013】
【課題を解決するための手段】前記第1の技術的課題を
解決するための、本発明に係る色−テクスチャ距離の測
定方法は、映像の画素が有する色特性値で構成される色
特性空間上で与えられた2点間の輝度差、彩度差及び色
相差に相異なる重要度を割り当て、このように割り当て
られた前記重要度に比例した輝度差、彩度差及び色相差
を加算して前記2点間の色距離を求める(a)段階、前
記画素に対するテクスチャ特性値で構成されるテクスチ
ャ特性空間上で与えられた前記2点間のテクスチャ特性
値差と、テクスチャの多重度とに適用される加重係数を
用いて前記2点間のテクスチャ距離を求める(b)段
階、及び前記色距離を色加重値と乗算し、前記テクスチ
ャ距離をテクスチャ加重値と乗算し、これらの乗算の結
果同士を加算して前記2点間の色−テクスチャ距離を求
める(c)段階で構成され、色相が輝度や彩度より重要
であって輝度が絶対値に接近するにつれて次第に色は黒
色になって、彩度が絶対値に接近するにつれて次第に色
相は任意の値を有するようになるという事実に基づいて
前記重要度を決定することを特徴とする。(請求項1)
【0014】そして、前記(a)段階は、下記式(1)
に基づき、前記色距離を求めることができる。(請求項
2)
【0015】
【数33】
【0016】前記式(1)中、DBHS1(x、y)は前記
色特性空間上における2点であるxとyの色距離を表わ
し、B(o)、H(o)及びS(o)は各々、任意の点
「o」における輝度、色相及び彩度を示し、前記任意の
点「o」は前記点xまたはyを示し、下記記号(S1)
はB(x)とB(y)の平均値を示し、下記記号(S
2)はS(x)とS(y)の平均値を示し、WB、a及
びbは各々定数であり、FS(j)は彩度に対する線形
補正関数を示し、FH(j)は色に対する線形補正関数
を示す。
【0017】
【数34】
【0018】
【数35】
【0019】また、前記彩度に対する線形補正関数FS
(j)、または前記色に対する線形補正関数FH(j)
は各々、jが1より小さいときにはjとなり、jが1以
上であるときには1となることが好ましい。(請求項
3)
【0020】更に、前記(a)段階は、下記式(2)に
基づき、前記色距離を求めることができる。(請求項
4)
【0021】
【数36】
【0022】前記式(2)中、DBHS2 2(x、y)は前
記色特性空間上における2点であるxとyの色距離を表
わし、B(o)、H(o)及びS(o)は各々、任意の
点「o」における輝度、色相及び彩度を示し、前記任意
の点「o」は前記点xまたはyを示し、WB、WH及びW
Sは各々所定の定数を示し、FS(S(x)、S(y))
は彩度に対する非線形補正関数を示し、FB(B
(x)、B(y))は輝度に対する非線形補正関数を示
す。
【0023】また、前記(b)段階は、下記式(3)に
基づき、前記テクスチャ距離[Dt(x、y)]を求め
ることができる。(請求項5)
【0024】
【数37】
【0025】前記式(3)中、Dt(x、y)は前記色
特性空間上における2点であるxとyのテクスチャ距離
を表わし、wzは前記加重係数を示し、下記記号(S
3)及び記号(S4)は前記の2点x及びyの前記テク
スチャ特性値であって、k=1、2、…、Kであり、Z
は所定の定数を示す。
【0026】
【数38】
【0027】
【数39】
【0028】前記第2の技術的課題を解決するために、
測定された色−テクスチャ距離を用いて入力映像を複数
の領域に区分する、本発明に係る映像の領域区分方法
は、前記入力映像を所定回数だけ繰り返して平滑化さ
せ、平滑化された映像でエッジ部分を強調する段階
(d)と、前記色特性値と前記テクスチャ特性値を映像
の画素単位で求めて、前記(a)段階にもどる段階
(e)と、前記(c)段階の後に、ピラミッド領域区分
法によって、前記色−テクスチャ距離と第1スレショル
ド値とを比較し、この比較の結果に対応させて前記映像
の領域を細分化し、このように細分化された領域に関す
る情報を有する基礎領域区分マップから映像グラフを求
める段階(f)、及び前記色−テクスチャ距離と第2ス
レショルド値とを比較し、この比較の結果に対応させて
前記映像グラフに表示される領域を併合して最終映像グ
ラフを求める(g)段階で構成されることを特徴とす
る。(請求項6)
【0029】更に、前記(f)段階で用いられる前記色
−テクスチャ距離は、所定の色加重値wc(u′、
v′)及び所定のテクスチャ加重値wt(u′、v′)
を用いて決定されることが好ましい。(請求項7) 但し、前記所定の色加重値wc(u′、v′)及び前記
所定のテクスチャ加重値wt(u′、v′)中のu′、
v′は、各々前記細分化された領域を示す。
【0030】また、前記(g)段階で用いられる前記色
−テクスチャ距離は、前記細分化された領域が有する特
性に対応させて可変される前記所定の色加重値w
c(u′、v′)、及び前記所定のテクスチャ加重値wt
(u′、v′)を用いて決定されることができる。(請
求項8) 但し、前記所定の色加重値wc(u′、v′)及び前記
所定のテクスチャ加重値wt(u′、v′)中のu′及
びv′は各々、前記細分化された領域を示す。
【0031】また、前記細分化された領域が有する特性
は、細分化された領域のテクスチャ度t(u′、
v′)、前記細分化された領域の大きさp(u′、
v′)及び前記細分化された領域の彩度s(u′、
v′)を含むことが好ましい。(請求項9) 但し、前記細分化された領域のテクスチャ度t(u′、
v′)、前記細分化された領域の大きさp(u′、
v′)及び前記細分化された領域の彩度s(u′、
v′)中のu′及びv′は各々、前記細分化された領域
を示す。
【0032】更に、前記色加重値wc(u′、v′)
は、下記式(12)に基づいて求められ、前記テクスチ
ャ加重値wt(u′、v′)は、下記式(17)に基づ
いて求められることが好ましい。(請求項10)
【0033】
【数40】
【0034】
【数41】
【0035】前記式(12)及び式(17)中、下記記
号(S5)及び記号(S6)は各々、色及びテクスチャ
加重定数を示すとともに、下記式(13)、式(15)
及び式(16)を満たす。
【0036】
【数42】
【0037】
【数43】
【0038】
【数44】
【0039】前記式(13)中、Tmaxは前記テクスチ
ャ度の最大値を示す。
【0040】
【数45】
【0041】前記式(15)中、Poは前記細分化され
た領域の大きさのスレショルド値を示す。
【0042】
【数46】
【0043】前記式(16)中、Soは前記細分化され
た領域の彩度のスレショルド値を示す。
【0044】また、前記(g)段階は、前記色−テクス
チャ距離と前記第2スレショルド値とを比較した結果に
対応させて、前記映像グラフ上に表示される2つの前記
細分化された領域u′とv′とを併合する段階(g1)
と、前記(g1)段階で領域u′とv′を併合した最終
結果を反映した映像グラフに表示される2つの領域を
u"及びv"としたとき、前記色加重定数(下記記号(S
5)))を「0」に設定してWH≪WB及びWS≪WBの条
件を付与して決定された前記色加重値wc(u"、
v")、前記テクスチャ加重値wt(u"、v")、前記色
距離及び前記テクスチャ距離を用いて求めた前記色−テ
クスチャ距離と前記第2スレショルド値とを比較した結
果に対応させて、前記2つの領域u"とv"とを併合する
段階(g2)と、前記(g2)段階で領域u"とv"を併
合した最終結果を反映した映像グラフに表示される2つ
の領域をu"′及びv"′としたとき、下記式(20)を
満たすように設定して決定された前記色加重値w
c(u"′、v"′)及び前記テクスチャ加重値w
t(u"′、v"′)を用いて求めた前記色−テクスチャ
距離と、前記第2スレショルド値とを比較した結果に対
応させて、前記2つの領域u"′とv"′とを併合し、前
記2つの領域を併合して得られた最終結果を反映させた
前記最終映像グラフを求める段階(g3)とを備え、前
記第2スレショルド値は、前記領域の大きさに応じて変
化することが好ましい。(請求項11)
【0045】
【数47】
【0046】
【数48】
【0047】前記第3の技術的課題を達成するための、
本発明に係る色−テクスチャ距離測定装置は、映像の画
素が有する色特性値で構成される色特性空間上で、2点
間の輝度差、彩度差及び色相差に相異なる重要度を割り
当て、このように割り当てられた重要度に比例して輝度
差、彩度差及び色相差を加算し、この加算の結果を前記
2点間の色距離として出力する色距離計算部と、前記画
素に対するテクスチャ特性値で構成されるテクスチャ特
性空間上で前記2点が有するテクスチャ特性値を入力
し、入力したテクスチャ特性値間の差を検出し、テクス
チャの多重度に適用される加重係数及び検出された差か
ら前記2点間のテクスチャ距離を計算し、この計算され
た前記テクスチャ距離を出力するテクスチャ距離計算部
及び前記色距離計算部から出力される前記色距離を色加
重値と乗算し、前記テクスチャ距離計算部から出力され
る前記テクスチャ距離をテクスチャ加重値と乗算し、こ
れらの乗算の結果同士を加算し、この加算の結果を色−
テクスチャ距離として出力する色−テクスチャ距離発生
部で構成され、色相が輝度や彩度より重要であって輝度
が絶対値に接近するにつれて次第に色は黒色化し、彩度
が絶対値に接近するにつれて次第に色相は任意の値を有
するようになるという事実に基づいて前記重要度が決定
されることを特徴とする。(請求項12)
【0048】前記色距離計算部は、下記式(1)に基づ
き、前記色距離を求めることができる。(請求項13)
【0049】
【数49】
【0050】前記式(1)中、DBHS1(x、y)は前記
色特性空間上における2点であるxとyの色距離を表わ
し、B(o)、H(o)及びS(o)は各々、任意の点
「o」に対する輝度、色相及び彩度を示し、前記任意の
点「o」は前記xまたはyを示し、下記記号(S1)は
B(x)とB(y)の平均値を示し、下記記号(S2)
はS(x)とS(y)の平均値を示し、WB、a及びb
は各々定数であり、FS(j)は彩度に対する線形補正
関数を示し、FH(j)は色に対する線形補正関数を示
す。
【0051】
【数50】
【0052】
【数51】
【0053】また、前記彩度に対する線形補正関数FS
(j)、または前記色に対するFH(j)は各々、jが
1より小さいときにはjとなり、jが1以上であるとき
には1となることが好ましい。(請求項14)
【0054】また、前記色距離計算部は、下記式(2)
に基づき、前記色距離を求めることができる。(請求項
15)
【0055】
【数52】
【0056】前記式(2)中、DBHS2 2(x、y)は前
記色特性空間上における2点であるxとyの色距離を表
わし、B(o)、H(o)及びS(o)は各々、任意の
点「o」に対する輝度B、色相H及び彩度Sを示し、前
記任意の点「o」はxまたはyを示し、WB、WH及びW
Sは各々所定の定数を示し、FS(S(x)、S(y))
は彩度に対する非線形補正関数を示し、FB(B
(x)、B(y))は輝度に対する非線形補正関数を示
す。
【0057】更に、前記テクスチャ距離計算部は、下記
式(3)に基づき、前記テクスチャ距離を求めることが
できる。(請求項16)
【0058】
【数53】
【0059】前記式(3)中、Dt(x、y)は前記色
特性空間上における2点であるxとyのテクスチャ距離
を表わし、wzは前記加重係数を示し、下記記号(S
3)及び下記記号(S4)は各々、x及びyの前記テク
スチャ特性値を示し、k=1、2、…、Kであり、z=
1、2、…、Zであり、Zは所定の定数を示す。
【0060】
【数54】
【0061】
【数55】
【0062】前記第4の技術的課題を解決するために、
前記色−テクスチャ距離発生部から出力される前記色−
テクスチャ距離を用いて入力映像を複数の領域に区分す
る、本発明に係る映像の領域区分装置は、前記入力映像
を所定回数だけ繰り返し平滑化させ、平滑化された映像
でエッジ部分を強調して出力する映像前処理部と、前記
映像前処理部から出力される映像から前記色特性値と前
記テクスチャ特性値を画素単位で計算し、この計算され
た前記色及び前記テクスチャ特性値を前記色−テクスチ
ャ距離測定装置に出力する特性値計算部と、ピラミッド
領域区分法によって、前記色−テクスチャ距離発生部か
ら出力される前記色−テクスチャ距離と第1スレショル
ド値とを比較し、この比較の結果に対応させて前記映像
の領域を細分化し、このように細分化された領域に関す
る情報を有する基礎領域区分マップから映像グラフを生
成して出力する主要領域区分部及び前記色−テクスチャ
距離発生部から出力される前記色−テクスチャ距離と第
2スレショルド値とを比較し、この比較の結果に対応さ
せて前記映像グラフを単純化し、このように単純化され
た映像グラフから得られた最終映像グラフを出力する映
像グラフ単純化部で構成されることを特徴とする。(請
求項17)
【0063】前記色−テクスチャ距離発生部は、所定の
前記色加重値wcと前記色距離とを乗算し、所定の前記
テクスチャ加重値wtと前記テクスチャ距離とを乗算
し、これらの乗算の結果同士を加算し、この加算の結果
を前記色−テクスチャ距離として前記主要領域区分部に
出力することが好ましい。(請求項18)
【0064】また、前記色−テクスチャ距離発生部は、
前記細分化された領域のテクスチャ度t(u′、
v′)、前記細分化された領域の大きさp(u′、
v′)、及び前記細分化された領域の彩度s(u′、
v′)に対応させて可変される前記色加重値w
c(u′、v′)及び前記テクスチャ加重値wt(u′、
v′)を、前記色距離及び前記テクスチャ距離の各々に
乗算し、これらの乗算の結果同士を加算し、この加算の
結果を前記色−テクスチャ距離として前記映像グラフ単
純化部に出力することが好ましい。(請求項19) 但し、前記細分化された領域のテクスチャ度t(u′、
v′)、前記細分化された領域の彩度s(u′、
v′)、及び前記細分化された領域の彩度s(u′、
v′)、前記色加重値wc(u′、v′)及び及び前記
テクスチャ加重値wt(u′、v′)中のu′、v′は
各々、前記細分化された領域を示す。
【0065】また、前記色−テクスチャ距離発生部は、
下記式(12)に基づき、前記色加重値wc(u′、
v′)を計算する色加重値計算部と、下記式(17)に
基づき、前記テクスチャ加重値wt(u′、v′)を計
算するテクスチャ加重値計算部とを備えることが好まし
い。(請求項20)
【0066】
【数56】
【0067】
【数57】 前記式(12)及び式(17)中、下記記号(S5)及
び記号(S6)は各々、色及びテクスチャ加重定数を示
し、更に下記式(13)、式(15)及び式(16)を
満たす。
【0068】
【数58】
【0069】
【数59】
【0070】
【数60】 前記式(13)中、Tmaxは前記細分化された映像のテ
クスチャ度の最大値を示す。
【0071】
【数61】 前記式(15)中、Poは前記細分化された領域の大き
さのスレショルド値を示す。
【0072】
【数62】 前記式(16)中、Soは前記細分化された領域の彩度
のスレショルド値を示す。
【0073】更に、映像グラフ単純化部は、前記色−テ
クスチャ距離と前記第2スレショルド値とを比較し、こ
の比較の結果に対応させて前記映像グラフ上に表示され
る2つの前記細分化された領域u′とv′とを併合し、
このように併合した最終結果を反映させて生成した第1
中間映像グラフを出力する第1次領域併合部と、第1色
−テクスチャ距離と前記第2スレショルド値とを比較
し、この比較の結果に対応させて前記第1中間映像グラ
フ上に表示される2つの領域u"とv"とを併合し、この
ように併合した最終結果を反映させて生成した第2中間
映像グラフを出力する第2次領域併合部と、第2色−テ
クスチャ距離と前記第2スレショルド値とを比較し、こ
の比較の結果に対応させて前記第2中間映像グラフ上に
表示される2つの領域u"′とv"′とを併合し、このよ
うに併合した最終結果を反映させて生成した前記最終映
像グラフを出力する第3次領域併合部を備え、前記色−
テクスチャ距離発生部は、前記色加重定数下記記号(S
5)が「0」に設定されるとき、前記色加重値計算部か
ら出力される前記色加重値wc(u"、v")及び前記テ
クスチャ加重値計算部から出力される前記テクスチャ加
重値wt(u"、v")を、WH≪WB及びWS≪WBの条件
にて、前記色及び前記テクスチャ距離計算部から各々出
力される前記色距離及び前記テクスチャ距離に各々乗算
し、この乗算の結果を加算し、この加算の結果を前記第
1色−テクスチャ距離として出力し、前記色−テクスチ
ャ距離発生部は、下記式(20)の条件にて、前記色及
び前記テクスチャ加重値計算部から各々出力される前記
色加重値wc(u"′、v"′)及び前記テクスチャ加重
値wt(u"′、v"′)を前記色距離及び前記テクスチ
ャ距離に各々乗算し、この乗算の結果同士を加算し、こ
の加算の結果を前記第2色−テクスチャ距離として出力
し、前記第2スレショルド値は、前記領域の大きさによ
って流動的に変わることが好ましい。(請求項21)
【0074】
【数63】
【0075】
【数64】
【0076】
【発明の実施の形態】以下、本発明に係る色−テクスチ
ャ距離の測定方法と、その方法を実行する装置の構成及
び動作を、添付した図面を参照しながら説明する。図1
は、本発明に係る色−テクスチャ距離の測定方法を説明
するためのフローチャートであって、この測定方法は、
色距離とテクスチャ距離を求める段階(第10及び第1
2段階)及び色距離、テクスチャ距離、これらに各々対
応する加重値を用いて色−テクスチャ距離を求める段階
(第14段階)で構成されている。
【0077】図2は、図1に示される色−テクスチャ距
離の測定方法を実行するための本発明に係る色−テクス
チャ距離測定装置のブロック図であって、色距離計算部
20、テクスチャ距離計算部22、及び色−テクスチャ
距離発生部24で構成される。
【0078】図1を参照すると、図2に示される色距離
計算部20は、映像の画素が有する色特性値で構成され
る色特性空間上で与えられた2点であるx及びyの各々
が有する色特性値、すなわち、輝度(B:Brightn
ess)、彩度(S:Saturation)及び色相
(H:Hue)を、入力端子IN1を通して入力し、入
力した輝度B差、彩度Sの差、及び色相Hの差に相異な
る重要度を割り当て、このように割り当てられた重要度
に比例して輝度Bの差、彩度Sの差及び色相Hの差をす
べて加算し、これらを加算した結果を、前記の2点x及
びy間の色距離として色−テクスチャ距離発生部24に
出力する(第10段階)。
【0079】このとき、本発明に係る色−テクスチャ測
定方法は、BHS(輝度B、彩度S、色相H)で構成さ
れる色特性空間上で次のような3種の基準条件を用いて
重要度を決定する。第1の条件;色相Hは輝度Bや彩度
Sより格段に重要な役割を果たす。第2の条件;輝度B
が絶対値、すなわち「0」に接近する場合、映像の色は
色相Hや彩度Sとは関係なく黒色となる。第3の条件;
彩度Sが絶対値「0」に接近する場合、すなわち灰色に
なれば色相Hは任意の値を有するようになる。
【0080】本発明に係る望ましい1実施例では、色距
離計算部20は、前述した3種の基準条件を基にして決
定した重要度を、輝度Bの差、彩度Sの差及び色相Hの
差に割り当て、下記式(1)で示される色距離D
BHS1(x、y)を求める。
【0081】
【数65】
【0082】前記式(1)中、B(o)(oはxまたは
yに対応する)、H(o)及びS(o)は各々、前記の
2点x及びyの中の任意の点「o」に対する色特性値、
すなわち、輝度B、色相H及び彩度Sを示す。これらに
ついては後で詳細に説明する。また、下記記号(S1)
はB(x)とB(y)の平均値を示し、下記記号(S
2)はS(x)とS(y)の平均値を示し、WB、a及
びbは各々定数であり、FS(j)は彩度Sに対する線
形補正関数を示し、FH(j)は色相Hに対する線形補
正関数を示す。このとき、線形補正関数[FS(j)ま
たはFH(j)]は、低い輝度Bと低い彩度Sの条件下
で、色相Hと彩度Sの差異を抑制するために用いられた
ものである。このため、線形補正関数[FS(j)また
はFH(j)]は、jが1より小さければjとなり、j
が1以上であれば1となり得る。
【0083】
【数66】
【0084】
【数67】
【0085】前記式(1)から分かるように、輝度Bの
差[B(x)−B(y)]、色相Hの差[H(x)−H
(y)]及び彩度Sの差[S(x)−S(y)]には相
異なる値が乗算されており、このように乗算される値は
前述した重要度によって決定されたものである。
【0086】本発明に係る望ましい他の実施例で、色距
離計算部20は、前述した基準条件を基にして決定され
た重要度を、輝度Bの差、彩度Sの差及び色相Hの差に
割り当て、下記式(2)で示される色距離[D
BHS2 2(x、y)]を求める。
【0087】
【数68】
【0088】前記式(2)中、WH及びWSは各々、定数
であり、FS(S(x)、S(y))は彩度に対する非
線形補正関数を示し、FB(B(x)、B(y))は輝
度Bに対する非線形補正関数を示す。
【0089】前記式(2)から分かるように、輝度Bの
差の自乗([B(x)−B(y)] 2)、色相差の自乗
([H(x)−H(y)]2)、及び彩度Sの差の自乗
([S(x)−S(y)]2)には、相異なる値が乗算
されており、このように乗算される値は前述した重要度
によって決定されたものである。
【0090】一方、第10段階の後に、テクスチャ距離
計算部22は、画素に対するテクスチャ特性値で構成さ
れるテクスチャ特性空間上で与えられた2点であるx及
びyが有する、後述のテクスチャ特性値を、入力端子I
N2を通して入力し、この入力したテクスチャ特性値間
の差を検出し、テクスチャの多重度に適用される加重係
数、及び検出された差を用いて前記の2点x及びy間の
テクスチャ距離を計算し、この計算されたテクスチャ距
離を色−テクスチャ距離発生部24に出力する(第12
段階)。このため、本発明に係る望ましい実施例では、
下記式(3)を用いてテクスチャ距離Dt(x、y)を
求める。
【0091】
【数69】
【0092】前記式(3)中、wzはテクスチャの多重
度に適用される加重係数を示し、下記記号(S3)及び
記号(S4)はx及びyのテクスチャ特性値であり、こ
れらについては後述される。また、k=1、2、…、K
であり、z=1、2、…、Zであり、Zは所定の定数で
あって、これについては後述される。ここで、テクスチ
ャ特性値はKZのみ存在する。
【0093】
【数70】
【0094】
【数71】
【0095】第12段階の後に、下記式(12)に示し
たように、色−テクスチャ距離発生部24は色距離計算
部20から入力した前記式(1)または式(2)で示さ
れる色距離DBHS1またはDBHS2を色加重値wcと乗算
し、前記式(3)で表されるテクスチャ距離[D
t(x、y)]をテクスチャ加重値wtと乗算し、これら
の乗算の結果同士を加算し、この加算の結果を2点間の
色−テクスチャ距離[D(x、y)]として出力端子O
UT1を通して出力する(第14段階)。ここで、色−
テクスチャ距離発生部24から出力される色−テクスチ
ャ距離が映像の領域を区分するのに用いられる場合、色
−テクスチャ距離発生部24は色加重値とテクスチャ加
重値を求めるために必要な値を例えば、平均テクスチャ
値を、入力端子IN3を通して入力する。
【0096】
【数72】
【0097】以下、図1及び図2に示される本発明に係
る方法及び装置によって測定された色−テクスチャ距離
を用いて入力映像を複数の領域に区分する、本発明に係
る映像の領域区分方法とその方法を実行する装置の構成
及び動作を、添付した図面を参照して説明する。
【0098】図3は、本発明に係る映像の領域区分方法
を説明するためのフローチャートであって、入力映像を
前処理した後、色及びテクスチャ特性値を求める段階
(第30及び第32段階)、測定された色−テクスチャ
距離を第1及び第2スレショルド値と各々比較して映像
を細分及び併合する段階(第34〜第38段階)で構成
される。
【0099】図4は、図3に示される方法を実行する本
発明に係る映像の領域区分装置のブロック図であって、
映像前処理部(pre−processor)40、特
性値計算部42、色−テクスチャ測定装置44、主要領
域区分部46及び映像グラフ単純化部48から構成され
ている。ここで、色−テクスチャ測定装置44は、図2
に示される色−テクスチャ距離測定装置に対応して同一
の機能を実行するので、それに対する構成及び動作の説
明は省略する。
【0100】図4に示される映像前処理部40は、入力
端子IN4を通して入力した入力映像を所定回数だけ繰
り返して平滑化させ、平滑化された映像でエッジ部分を
強調して前処理された映像を特性値計算部42に出力す
る(第30段階)。第30段階を詳細に説明すると次の
通りある。
【0101】一般にカメラセンサを通して撮影される、
あるいはビデオ映像信号に対応する入力映像は、統計的
な構成要素である雑音に相当する部分と、意味のある構
成要素である雑音以外に相当する部分とから構成されて
いる。ここで、映像の各構成要素は他の種の情報を含
む。このような構成要素の統計的区別方法は入力映像を
多様な他の性質を有する要素に分解できるようにする。
【0102】例えば、第30段階で、入力映像を平滑化
させ雑音を除去し、平滑化された映像を顕著なエッジを
有する部分と顕著なエッジを有しない部分とに分解して
オブジェクトのエッジ部分を生かすエッジ保存映像平滑
化(Edge−preserving image s
moothing)が実行される。エッジ保存映像平滑
化は、1998年度にP.A.Chochiaによって
「Optical Memory and Neura
l Networks」という学術誌に発表された「T
wo Tasks in Image Enhance
ment Technology」に開示されており、
次のように要約される。
【0103】一定な大きさのウィンドウ内部に存在する
画素の集合[{x}]が、下記式(5)で表現されると
き、他の大きさのウィンドウを適用しながらウィンドウ
内部に存在する画素の輝度値のうち、顕著な輝度値を有
する画素を除外した残り画素を平滑化(smoothi
ng)する。
【0104】
【数73】
【0105】入力映像に対してq回平滑化を繰り返した
後得られる映像画素の輝度値[lq m n]は、以前に得ら
れた結果である輝度値[lq-1 mn]を用いてウィンドウ
[Wq m n]から下記式(6)を用いて求められる。
【0106】
【数74】
【0107】前記式(6)中、w(x′)は所定の加重
値関数であって、x′が−σと+σ間にあるときはw
(x′)=1となり、そうでなければw(x′)=0と
なる。前述した輝度値[lq-1 mn]は以前ウィンドウで
加重値関数の中心値を意味する。最初に入力映像を平滑
化するときはxmnがlq-1 mnの代りに用いられる。
【0108】このとき、最後反復回数であるQ回平滑化
された画素の輝度値[s′mn]はl Q mnで表現される。
すなわち、s′mnはQ個のウィンドウを有して平滑化し
た映像画素の結果の値を意味する。実験の結果、得られ
た望ましい平滑化回数は2回であって、最初平滑化では
3−5画素の面積を有するウィンドウを用いて、第2回
目の平滑化では10−40画素の面積を有するウィンド
ウを用いた。このとき、雑音が多い映像で平滑化された
成分を抽出するのに良い性能を示しており、計算結果の
値の自乗平均エラー(mean square err
or)は0.5%以内であった。
【0109】第30段階の後に、図4に示される特性値
計算部42は、映像前処理部40から出力される前処理
された映像から色特性値とテクスチャ特性値を画素単位
で計算し、この計算された色及びテクスチャ特性値を色
−テクスチャ距離測定装置44に出力する(第32段
階)。
【0110】まず、第32段階で求める色特性値につい
て説明すると、まず、色の特性空間とテクスチャの特性
空間とを一緒に用いて、一般的な特性空間を提供するた
めの基礎を作る。このとき、色の特性空間とテクスチャ
の特性空間を定義することによって、映像に存在する各
画素の色特性値を指定することができる。各画素の色特
性値、すなわち、輝度B、色相H及び彩度Sは下記式
(7)で表される。
【0111】
【数75】
【0112】前記式(7)中、r、g及びbは各々、各
画素の色値を示し、u=min(r、g、b)(前記
r、g、bのうちの最小値)を示す。
【0113】次に、第32段階で求めるテクスチャ特性
値について説明すると、テクスチャ特性空間を形成する
ために用いられる多重度と、多重方向のテクスチャ特性
値(oriented texture featur
es)は各々、画素当たり多重方向の局所変動v(lo
cal variation)と局所振動f(loca
l oscillation)とを計算した後、これら
を合成して得られる。
【0114】このようなテクスチャ映像分析は、グレー
レベル差分法(Gray Level Differe
nce Method)に相当するものである。このグ
レーレベル差分法は、1974年度にE.J.Cart
on、J.S.Weszka及びA.Rosenfel
dがメリーランド大学(Univ.of Maryla
nd)の技術報告書(TR:Technical Rep
ort)−288に発表した「Some Basic
Texture Analysis Techniqu
es」、及び1985年度にL.Van Gool、
P.Dewaele及びA.Oosterlinckが
コンファレンスCVGIPで発表した「Texture
Analysis Anno」に各々開示されてい
る。前記式(7)で定義される映像の輝度値Bは、この
ようなテクスチャ特性値を抽出する際に用いられる。
【0115】また、局所変動vについて説明すると、映
像で各画素m、nを中心に2L長さの画素が存在し、こ
の画素m、nを中心に角度αk=kπ/K、k=0、
1、…、K−1だけを回転させる。このとき、li(−
L≦i≦L)がこのように均一に分布された配列の画素
中で1つの画素の輝度値Bを示すというとき、上向加重
変動v+と下向加重変動v-は下記式(8)のように表現
される。
【0116】
【数76】
【0117】前記式(8)中、diは画素の配列で隣接
する画素の輝度Bの値の差異(gradient)(l
i+1−li)を示し、wiはAcos(iπ/(2L+
1))であってコサイン加重関数である。コサイン加重
関数におけるAは係数としてを作るための値として用い
られる。このとき、局所変動vkは下記式(9)で表さ
れるように、上向加重変動v+と下向加重変動v-の最小
値に指定される。
【0118】
【数77】
【0119】ここで、配列の長さ(−L≦i≦L)に沿
って求められるdiの中で、方向(sign)が変わる
と同時に、その振動の大きさであるdiの大きさが、定
まった敏感度を越える個数を、局所振動fとして定義す
る。このとき、求められる各画素の局所変動値vkと局
所振動値fkとを乗算して該画素のテクスチャ特性値
(下記式(21))を求める。また、このようにして求
められるテクスチャ特性値を更に均一にするために、下
記式(10)で表される変形式を利用する。
【0120】
【数78】
【0121】
【数79】
【0122】前記式(10)から分かるように、テクス
チャ特性値tkはh×1の大きさを有する窓の平均値に
平滑化され、双曲線タンジェント(hyperboli
ctangent)を用いた変形により、高いテクスチ
ャ特性値は小さくなって低いテクスチャ特性値は大きく
なる。このとき、映像の大きさを、他の周波数でZ回だ
け減らしながら(毎回1/2ずつ)、前記式(10)で
表される各画素のテクスチャ特性値tkを下記式(1
1)で表わすことができる。
【0123】
【数80】
【0124】前記式(11)で表されるような各画素の
KZテクスチャ特性値(下記記号(S30))が生じ
る。
【0125】
【数81】
【0126】第32段階の後に、図4に示される色−テ
クスチャ測定装置44は、図2に示される構成で、図1
に示される色−テクスチャ測定方法によって、色−テク
スチャ距離を測定し、測定された色−テクスチャ距離を
主要領域区分部46(図4)に出力する(第34段
階)。
【0127】第34段階(図3)の後に、ピラミッド領
域区分法によって、主要領域区分部46(図4)は、色
−テクスチャ測定装置44で測定された色−テクスチャ
距離と第1スレショルド値Th1とを比較し、映像前処
理部40から入力した前処理された映像の領域を、前記
比較の結果に対応させて細分化し、このように細分化さ
れた領域に関する情報を有する基礎領域区分マップから
映像グラフを生成して映像グラフ単純化部48に出力す
る(第36段階)。すなわち、主要領域区分部46は前
処理された映像に存在する画素間の関係を把握して、前
処理された映像を小さい領域のグループを有するベクト
ル映像に変換する。
【0128】主要領域区分部46(図4)で用いられる
ピラミッド領域区分法(pyramidal recu
rsive approach)は、1979年にG.
M.Hunter及びK.Steiglitzによっ
て、学術誌;PAMI−1ジャーナルのIEEE Tr
ansに掲載された「Operation of Im
ages Using Quadtrees」、及び1
980年にA.Rosenfeldによってパターン認
識に関する第5回国際会議(5th Int.Conf
erence on Pattern Recogni
tion)の会報(Proceeding)に掲載され
た「Quadtrees and Pyramids
for Pattern Recognition a
nd Image Analysis」に記載されてい
る。
【0129】このピラミッド領域区分法は、第1番目
に、映像を重複しないように多くの領域のグループに分
け、第2番目に、順次に小さくなる種々の大きさ(mu
ltiple scale or resolutio
n)の映像を作製し、第3番目に、下位階層の1つの構
成分子と上位階層の1つの構成分子との間の相互関係を
成立させる均一な規則を選択し、第4番目に、この規則
を繰り返し、すべての階層の全領域に対して適用するも
のである。
【0130】前記ピラミッド領域区分法によって、図4
に示される主要領域区分部46が基礎領域区分マップを
作製する過程を説明すると次の通りある。図5は、各階
層の領域が、2×2形式を有する4分ツリー(tre
e)(または、クォッド・ツリー(quad tre
e))を示す図面であって、第1階層60、…、第N−
2階層62、第N−1階層64、第N階層66から構成
されたものである。ここで、第1階層60は複数の画素
68で構成され、縦軸は階層を示す。
【0131】ピラミッド領域区分法は、基礎領域区分マ
ップを作製するために、図5に示されるクォッド・ツリ
ー形式で、直接パス及び逆パスにて次のような動作を実
行する。
【0132】まず、前記直接パスで実行される動作につ
いて説明すると、直接パスは最下位階層である全体映像
60から1つのノード0を有する最上位階層66方向の
経路であり、直接パスですべてのピラミッド階層60、
…、62、64、及び66に対して反復的な分析が実行
される。直接パスで実行される動作は、図5に示される
ようなピラミッド構造の形成と、各ツリーノードに相当
する情報、すなわち、平均輝度値、エッジ線等を決定す
ることである。
【0133】例えば、第N−2階層62における4個の
各ノードのグループは、第N−1階層64におけるノー
ドと相対ノードを形成するので、4分ツリー構造で各ノ
ードは、その下位階層に存在する4個のノードに関する
情報を包含する。ピラミッド領域区分法の基本は、近接
する画素や領域を比較分析して併合して行くことにあ
る。このため、すべての階層でエッジを定義するエッジ
マップの作製が必要となる。もし、各階層で画素間の距
離が所定の第1スレショルド値Th1よりも大きけれ
ば、その画素間には水平や垂直方向のエッジを表示す
る。図5に示される第2階層から第N階層66までの階
層の中のいずれか1つの階層は、それより下位の階層の
エッジマップの内容を含む。
【0134】図6は、図5に示された、ある階層に存在
することができる4個の映像構成分子の領域70、7
2、74、76及びこれらの領域70、72、74及び
76と隣接する領域0r、2r、0b、及び1bを示す
図面であり、各領域に記載された番号はその領域のノー
ド番号を示す。
【0135】各階層のエッジマップを作製するために、
まず、図6に示される領域70及び72間の距離、領域
74及び76間の距離、領域70及び74間の距離、並
びに、領域72及び76間の色−テクスチャ距離を前記
式(4)を用いて求める。このとき、前記式(4)にお
いて、色加重値wc及びテクスチャ加重値wtの各々は、
予め設定された所定値である。
【0136】すなわち、色−テクスチャ距離発生部24
は、所定の色加重値wcと色距離とを乗算し、所定のテ
クスチャ加重値wtとテクスチャ距離とを乗算し、これ
らの乗算の結果同士を加算し、この加算の結果を色−テ
クスチャ距離として、出力端子OUT1を通して主要領
域区分部46に出力する。このように求められた色−テ
クスチャ距離のうち、第1スレショルド値Th1を超過
する色−テクスチャ距離を求めた領域間にエッジを表示
する。
【0137】また、前記エッジが表示されない領域は、
同じ性質(色またはテクスチャ)を有する同一の領域と
みなす。例えば、領域72及び76間の色−テクスチャ
距離と、領域74及び76間の色−テクスチャ距離が、
第1スレショルド値Th1を超過する場合、領域72及
び76間と、領域74及び76間には、水平及び垂直方
向のエッジ80及び78が各々表示され、領域70、7
2及び74は、他の領域76と区分される。
【0138】次に、図6に示される領域70、72、7
4及び76が、図5に示される第N−2階層62の2四
分面に相当する場合、同一の性質を有する領域70、7
2及び74の輝度B、色度H及び彩度Sに対する平均値
は、上位階層である第N−1階層64の該ノード68に
伝えられる。一方、残された領域76に関する情報、す
なわち、輝度B、色度H、及び彩度Sは、第N−1階層
64の該ノード68に伝えられずに残る。
【0139】最後に、上位階層のためのエッジマップを
生成する。例えば、第N−2階層62の2四分面の4個
の領域70、72、74で生成されたエッジマップの情
報を有し、4個を合せた第N−1階層64の該領域68
の右側と下のエッジを設定する。すなわち、図6に示さ
れる領域72及び76と領域0r及び2rとの間、領域
74及び76と領域0b及び1bとの間に第N−1階層
64のためのエッジを設定する。このようにして、直接
パスで実行されるすべての動作が完了すると、各階層の
各領域は上位階層の領域に属したり、下位階層の領域を
含んだりして構成される。
【0140】前記直接パスで対応する動作がすべて実行
された後、図5に示される最上位階層66から第1階層
60方向の経路である逆パスで実行される動作について
説明すると、各階層で1つのノードに関する分析が次の
ように実行される。
【0141】まず、各階層で分離された領域のノードが
領域番号を何ら持っていない場合には、新しい領域番号
を該ノードに割り当てる。例えば、第N−1階層64で
ノード0、1、2が同一の領域に対応して、ノード3は
他の領域に対応する場合には、このノード0、1、2が
併合された同一の領域に領域番号1′を割り当て、分離
された領域であるノード3に新しい領域番号2′を割り
当てる。
【0142】次に、ノードに既に領域番号が与えられて
いれば、直接パスで動作を実行するとき、該領域番号を
有するノードに連結した下位階層のノードに該領域番号
を割り当てる。例えば、第N−2階層62の1四分面で
ノード1、2、3が同一の領域に対応してノード0は他
の領域に対応し、第N−2階層62の2四分面でノード
0、1、2が同一の領域に対応してノード3は他の領域
に対応し、第N−2階層62の3四分面でノード0、
1、2が同一の領域に対応してノード3は他の領域に対
応し、第N−2階層62の4四分面でノード0、1、2
が同一の領域に対応してノード3は他の領域に対応する
と仮定する。このとき、1四分面のノード1、2、3の
各々に第N−1階層64のノード1に割り当てられた領
域番号1′を割り当て、他の領域であるノード0に新し
い領域番号3′を割り当てる。
【0143】同様にして、第N−2階層62の2四分面
のノード0、1、2、及び3四分面のノード0、1、2
の各々に第N−1階層64のノード0、2に与えられた
領域番号1′を割り当て、4四分面のノード0、1、2
に第N−1階層64のノード3に与えられた領域番号
2′を割り当て、他の領域である第2四分面、第3四分
面、及び第4四分面の該ノード3、3、3に新しい領域
番号4′、5′、6′を各々割り当てる。前述した逆パ
スで対応する動作がすべて実行された後、領域区分に必
要な基礎領域区分マップが作製される。
【0144】図7は、基礎領域区分マップを説明するた
めの例示的な図面であって、1、2、3、4、5の領域
番号が与えられた五つの領域90、92、94、96、
98から構成されている。
【0145】図8は、図7に示される基礎領域区分マッ
プから生成した映像グラフの例示的な図面であって、基
礎領域区分マップ上で隣接した領域は相互連結されてい
ることが分かる。
【0146】前記主要領域区分部46(図4)は、図7
に示される基礎領域区分マップを用いて図8に示される
映像グラフを作製して、各領域が含む情報、すなわち、
画素の個数や平均色などを記憶する。ここで、図8に示
される映像グラフは、図7に示される基礎領域区分マッ
プからどの領域が隣接しているかに関する情報、及び隣
接した領域間のエッジ接線の長さに対して加重値wt
1、wt2、wt3、wt4及びwt5がどの程度の大
きさを有するかについての情報を提供する。
【0147】前記主要領域区分部46(図4)は、前述
したように、ピラミッド領域区分法を用いて領域を微細
に区分するべく、領域の閉鎖を保障して区分された領域
が明確にすることができるという利点を有する。前記第
36段階(図3)の後に、前記色−テクスチャ距離発生
部24(図2)から出力される色−テクスチャ距離と、
第2スレショルド値とを比較し、前記主要領域区分部4
6(図4)で生成した映像グラフを、前記比較の結果に
対応させて単純化し、このように単純化された映像グラ
フを最終映像グラフとして出力端子OUT2を通して出
力する(第38段階(図3))。
【0148】前記第38段階(図3)で用いられる色−
テクスチャ距離を発生するために、前記色−テクスチャ
距離発生部24(図2)は、所定の色加重値wcと、所
定のテクスチャ加重値wtとを用いる代わりに、細分化
された領域に対する特性を用いる。ここで、細分化され
た領域に対する特性というのは、細分化された領域のテ
クスチャ度[t(u′、v′)](u′及びv′は各
々、基礎領域区分マップに表示される細分化された領域
を示す)、細分化された領域の大きさ[p(u′、
v′)]及び細分化された領域の彩度[s(u′、
v′)]に対応して可変される色加重値[wc(u′、
v′)]及びテクスチャ加重値[wt(u′、v′)]
を意味する。すなわち、色−テクスチャ距離発生部24
は可変される色加重値[w c(u′、v′)]及び可変
されるテクスチャ加重値[wt(u′、v′)]を、前
記式(1)または式(2)で表される色距離及び前記式
(3)で表されるテクスチャ距離と各々乗算し、これら
の乗算の結果同士を加算し、この加算の結果を色−テク
スチャ距離として映像グラフ単純化部48に出力する。
【0149】図9は、図2に示される色−テクスチャ距
離発生部24の本発明に係る望ましい1実施例のブロッ
ク図であって、色加重値計算部100、テクスチャ加重
値計算部102、第1及び第2乗算器104及び106
及び加算器108から構成されている。
【0150】図9に示される色加重値計算部100は、
下記式(12)で表される色加重値[wc(u′、
v′)]を計算し、この計算された色加重値を第1乗算
器104に出力する。
【0151】
【数82】
【0152】前記式(12)中、下記記号(S5)及び
記号(S6)は各々、色及びテクスチャ加重定数を示
し、t(u′、v′)は下記式(13)で表される。
【0153】
【数83】
【0154】
【数84】
【0155】
【数85】
【0156】前記式(13)中、Tmaxはテクスチャ度
の最大値を示し、T(u′)は下記式(14)で表され
る。
【0157】
【数86】
【0158】前記式(14)中、下記記号(S7)は領
域u′の大きさzにおいて方向kを有する平均テクスチ
ャ値を意味する。加重値wzは前記式(3)で示される
加重係数である。また、前記式(12)中、p(u′、
v′)は下記式(15)で表される。
【0159】
【数87】
【0160】
【数88】
【0161】前記式(15)中、Poは基礎区分領域マ
ップ上に表示される細分化された領域の大きさのスレシ
ョルド値を示す。また、前記式(12)中、s(u′、
v′)は下記式(16)で表される。
【0162】
【数89】
【0163】前記式(16)中、Soは彩度のスレショ
ルド値を示す。前記式(15)と式(16)の各々に含
まれる関数Fは、非常にサイズが小さな領域や、低い彩
度の影響を抑制するために用いられたものである。
【0164】図9に示されるテクスチャ加重値計算部1
02は、テクスチャ加重値[wt(u′、v′)]を下
記式(17)を用いて計算し、この計算されたテクスチ
ャ加重値を第2乗算器106に出力する。
【0165】
【数90】
【0166】図9に示される色加重値計算部100及び
テクスチャ加重値計算部102は入力端子IN5を通し
て(入力端子IN5は図2に示される入力端子IN3に
対応する)平均テクスチャ値を入力し、前述した色及び
テクスチャ加重定数、テクスチャ度の最大値、平均テク
スチャ値加重係数、基礎区分領域マップ上に表示される
細分化された領域の大きさのスレショルド値及び彩度程
度のスレショルド値の中で対応する値を、入力端子IN
5を通して外部から入力したり、予め記憶したりするこ
とができる。
【0167】図9に示される第1乗算器104は、前記
式(1)または(2)で示される色距離Dcと色加重値
計算部100から出力される色加重値[wc(u′、
v′)]を乗算し、この乗算の結果を加算器108に出
力する。第2乗算器106は、前記式(3)で示される
テクスチャ距離Dtをテクスチャ加重値計算部102か
ら出力されるテクスチャ加重値[wt(u′、v′)]
と乗算し、この乗算の結果を加算器108に出力する。
加算器108は、第1乗算器104で乗算された結果と
第2乗算器106で乗算された結果とを加算し、下記式
(18)で表わされる加算の結果を、映像グラフを単純
化させるために必要な、下記式(18)で表される色−
テクスチャ距離として出力端子OUT3を通して映像グ
ラフ単純化部48に出力する。
【0168】
【数91】
【0169】前記式(18)中、Dc(u′、v′)及
びDt(u′、v′)は各々色距離及びテクスチャ距離
であって、前記式(4)で示される色距離及びテクスチ
ャ距離と同一である。
【0170】一方、前述したように、映像グラフ単純化
部48で用いられる色−テクスチャ距離を求めるために
用いられる色加重値wcと、テクスチャ加重値wtとが所
定値ではない変数である理由は、細分化された領域のテ
クスチャ度、細分化された領域の大きさ、及び細分化さ
れた領域の彩度が可変とされる場合、色−テクスチャ距
離を適宜調節するためである。例えば、細分化された領
域u′及びv′の大きさが細分化された領域の大きさの
スレショルド値Poよりも小さい場合に、前記式(1
8)に示すように、色加重値[wc(u′、v′)]が
増加すると、テクスチャ加重値[wt(u′、v′)]
が減少する。もし、細分化された領域のテクスチャ度が
増加すると、色加重値[wc(u′、v′)]は減少す
ると同時にテクスチャ加重値[wt(u′、v′)]は
増加する。
【0171】以上のような構成を通して、映像グラフ単
純化部48(図4)が第38段階(図3)を実行する過
程を説明すると次の通りある。まず、主要領域区分部4
6(図4)から出力される映像グラフに表示される領域
を、その大きさが減少する方向に配列させる。
【0172】次に、このように配列された領域中で、任
意の領域を中心に(以下、中心となる領域を「ベース領
域」と称する)、そのベース領域と連結された隣接する
領域間の色−テクスチャ距離を前記式(18)から求め
る。もし、計算された領域間の色−テクスチャ距離が第
2スレショルド値θ以下であれば、ベース領域と対応す
る隣接領域を併合する。すなわち、対応する隣接領域を
ベース領域に含める。
【0173】このように、ベース領域が隣接する領域を
含むようになれば、ベース領域の特性、すなわち、色、
テクスチャ、ベース領域の大きさ、及びエッジなどが変
化するので、映像グラフでベース領域と関連する部分、
すなわち、ベース領域と隣接する領域間の連結関係など
を修正する。このとき、新しく修正されたベース領域を
中心に、これと隣接する領域間の併合を前述したように
新規に実行する。このようにベース領域を新しく更新
し、この更新されたベース領域を中心に隣接する領域と
併合させる過程をすべて終了すると、次の大きさの領域
をベース領域に新しく指定して前述した併合過程を実行
する。このような併合過程は、映像グラフ上に表示され
る全領域に対して実行した後、終了する。
【0174】一方、第2スレショルド値θがいかなる値
となっても、映像グラフを単純化させる過程は完全に実
行することが困難である。この問題点を克服するには、
映像グラフ単純化部48(図4)を、多様な下部併合部
に分けることが好ましい。このため、前記式(18)で
表される色及びテクスチャ加重値と、色及びテクスチャ
距離の値とを差別化し、領域の大きさに従って第2スレ
ショルド値θを動的に変化させる。これについて詳細に
説明すると次の通りある。
【0175】図10は、図4に示される映像グラフ単純
化部48で映像グラフを単純化する過程を説明するため
のフローチャートであって、第1次、第2次及び第3次
領域併合段階(120〜124)から構成されている。
【0176】図11は、映像グラフ単純化部48(図
4)の本発明に係る望ましい1実施例のブロック図であ
って、第1次、第2次及び第3次領域併合部140、1
42、144、及びスレショルド値発生部146から構
成されている。図11に示されるスレショルド値発生部
146は、下記式(19)で表される第2スレショルド
値θを動的に変化させて、第1次領域併合部140、第
2次領域併合部142及び第3次領域併合部144に、
各々出力する。
【0177】
【数92】
【0178】前記式(19)中、P′は比較される2つ
の領域の中で、より小さい方の領域の大きさを示し、P
o′は小さい領域が一般的に有し得る所定の大きさを示
す定数であり、αはスレショルド値定数であり、αβは
比較される2つの領域の中で大きな領域のスレショルド
値を意味する。
【0179】第1次領域併合部140は、前記式(1
8)で表される色−テクスチャ距離と第2スレショルド
値とを比較し、色−テクスチャ距離がスレショルド値発
生部146から入力した第2スレショルド値以下の場合
映像グラフ上に表示される2つの細分化された領域
u′、v′を併合し、このように併合した最終結果を反
映させて生成した第1中間映像グラフを第2次領域併合
部142に出力する(第120段階)。前記式(19)
でαを徐々に増加させることによって第1次領域併合部
140の性能を改善することができる。
【0180】第120段階(図10)の後に、第2次領
域併合部142(図11)は、第1色−テクスチャ距離
と第2スレショルド値とを比較し、第1色−テクスチャ
距離が第2スレショルド値以下の場合には、第1中間映
像グラフ区分マップに表示される2つの領域u"、v"を
併合し、このように併合した最終結果を反映させて生成
した第2中間映像グラフを第3次領域併合部144に出
力する(第122段階(図10))。
【0181】ここで、第1色−テクスチャ距離は、前記
式(12)及び式(17)において、下記記号(S5)
色加重定数を「0」に設定して求めた色加重値及びテク
スチャ加重値、前記式(3)、式(1)、式(2)にW
H≪WB及びWS≪WBの条件を反映させて求めたテクスチ
ャ距離、及び色距離を前記式(18)に代入して求めた
色−テクスチャ距離に対応する。
【0182】
【数93】
【0183】すなわち、図9に示される色−テクスチャ
距離発生部の第1乗算器104及び第2乗算器106は
各々、下記記号(S5)で表される色加重定数が「0」
の場合に、色加重値計算部100から出力される色加重
値[wc(u"、v")]、及びテクスチャ加重値計算部
102から出力されるテクスチャ加重値[wt(u"、
v")]を、WH≪WB及びWS≪WBの条件で、色及びテ
クスチャ距離計算部20、22から各々出力される色距
離とテクスチャ距離に乗算する。
【0184】
【数94】
【0185】このとき、加算器108(図9)は前記乗
算の結果同士を加算し、この加算の結果を、第1色−テ
クスチャ距離として出力端子OUT3を通して映像グラ
フ単純化部48に出力する。第122段階(図10)
は、領域u"及びv"の輝度が非常に低い場合のみ実行す
ることができる。
【0186】第124段階(図10)の後に、第3次領
域併合部144(図11)は、第2色−テクスチャ距離
と、スレショルド値発生部146(図11)から入力し
た第2スレショルド値θとを比較し、第2色−テクスチ
ャ距離が第2スレショルド値以下の場合、第2中間映像
グラフに表示される2つの領域u"′、v"′を併合し、
このように併合した最終結果を反映させて生成した最終
映像グラフを、出力端子OUT4を通して出力する(第
124段階)。
【0187】ここで、第2色−テクスチャ距離は、前記
式(12)及び式(17)に、下記式(20)の条件を
反映させて求めた色加重値及びテクスチャ加重値、前記
式(1)または式(2)で表される色距離と、前記式
(3)で表されるテクスチャ距離を前記式(18)に代
入して求めた色−テクスチャ距離に対応する。
【0188】
【数95】
【0189】すなわち、図9に示される色−テクスチャ
距離発生部の第1乗算器104及び第2乗算器106
は、前記式(20)の条件で色及びテクスチャ加重値計
算部100、102から各々出力される色加重値w
c(u"′、v"′)とテクスチャ加重値wt(u"′、
v"′)とを、色距離とテクスチャ距離とに各々乗算す
る。
【0190】このとき、加算器108(図9)は第1乗
算器100及び第2乗算器102の乗算の結果同士を加
算し、この加算の結果を第2色−テクスチャ距離として
出力端子OUT3を通して映像グラフ単純化部48に出
力する。第3次領域併合部144(図11)は、領域
u"′、v"′のテクスチャ度が高い場合にのみ実行する
ことができる。
【0191】図12は入力または前処理された映像を示
し、図13は本発明に係る映像領域区分方法及び装置に
よって区分された領域を示す図面である。図14は入力
または前処理された映像を示し、図15は本発明に係る
映像領域区分方法及び装置によって区分された領域を示
す図面である。図16は入力または前処理された映像を
示し、図17は本発明に係る映像領域区分方法及び装置
によって区分された領域を示す図面である。
【0192】図12、図14、図16に示される映像
は,主要領域区分部46(図4)で、例えば1600個
程度の領域に細分化され、映像グラフ単純化部48(図
4)はこの領域を例えば16個等に減らす、すなわち、
細分化された領域を併合して単純化させる。このとき、
単純化された結果に関する情報を有する最終映像グラフ
を用いて、図13、図15、図17に示されるような区
分された映像を得ることができる。
【0193】以上、説明した本発明に係る色−テクスチ
ャ測定方法及び装置、その測定された色−テクスチャを
用いた映像の領域区分方法及び装置は、デジタル方式の
対話形デジタルシステムで効果的に用いられる。デジタ
ル放送の一般大衆への普及を控えた現在、ユーザが放送
を視聴して情報を得るというこれまでの受動的な姿勢か
ら脱皮して、ユーザと放送者との間で直接的かつ能動的
な双方向での情報交換を可能とする、デジタル方式の対
話形ビデオシステムの開発が益々活発となっている。
【0194】例えば、デジタル方式の対話形ビデオシス
テムでは、現在放映中のテレビドラマ、映画、教養番
組、広告、教養プログラム、ショッピング、競売等で、
ユーザが所望のオブジェクトに関する情報を得たい場
合、この所望のオブジェクトをユーザが画面上で直接選
択すると、この選択された情報が画面上にディスプレー
される。ユーザにとって関心のあるオブジェクトとして
は、例えば、画面に登場している人気歌手の衣服、ドラ
マでディスプレーされている家具や人物、あるいは料理
番組のレシピなどが挙げられる。このようなユーザにと
って関心のあるオブジェクトを、ユーザが選択すると、
選択されたオブジェクトに関する情報がユーザに提供さ
れる。
【0195】これを具現するには、放映中の映像の中か
ら意味のあるオブジェクトを効果的に区分することが必
要である。放映中の映像の中で、意味のあるオブジェク
トが占める領域を、他の背景やオブジェクトと効果的に
区分するには、対応するオブジェクトが有する様々な特
徴を最大限に利用することが必要となる。この選択され
たオブジェクトが有する特徴としては、色、テクスチャ
または形状などが挙げられ、この中で、特に色またはテ
クスチャは、オブジェクトを単一の領域に単純化する際
の糸口を与える。
【0196】以上説明した、本発明に係る領域区分方法
及び装置は、同一色または同一テクスチャを有する領域
が、1つの意味のあるオブジェクトである可能性が高い
という事実に基づいて、色距離とテクスチャ距離をすべ
て用いて映像の領域を安定して、明確に区分できる最終
映像グラフを提供する。
【0197】また、このような本発明に係る領域区分方
法及び装置は、選択されたオブジェクトが多様な色、ま
たは多様なテクスチャで構成される場合にも、細分化さ
れた映像を併合して、意味のあるオブジェクトが占める
領域を効果的に区分することを可能とする。
【0198】更に、本発明に係る色−テクスチャ距離の
測定方法及び装置と、測定された距離を用いた映像の領
域区分方法及び装置は、デジタル放送と関連した製品、
及びソフトウェアで基本モジュールとしての役割を果た
すこともできる。
【0199】一方、本発明に係る映像の領域区分方法及
び装置は、映像内に存在する意味のあるオブジェクトを
検索及び認識したり、意味のあるオブジェクトをトラッ
クキングしたりする際に好適である。すなわち、本発明
に係る方法及び装置から求められた最終映像グラフを用
いて、意味のあるオブジェクトが占める領域に関する情
報を抽出することができる。
【0200】このとき、抽出された情報と似た情報を有
するオブジェクトが以前にディスプレーされた画面を検
索したり認識したりすることができ、抽出された情報と
似た情報を有するオブジェクトが以前にディスプレーさ
れたすべての画面をトラックキングすることもできる。
また、抽出された情報は、映像を編集したり、映像を作
製したりすることに利用することができる。
【0201】また、MPEG(Moving Pict
ure Expert Group)のような映像圧縮
方式で圧縮されて伝送される映像で、意味のあるオブジ
ェクトのみを効率的に伝送しようとする場合に、抽出さ
れた情報に対応する部分のみを更に微細に圧縮して伝送
することにより、伝送効率を最大限に高めることが可能
である。
【0202】
【発明の効果】以上、説明した通りに構成される本発明
によれば、低い輝度、低い彩度からなる領域及びその領
域の大きさや、その領域間に接したエッジの長さなどを
考慮した、正確な色−テクスチャ距離を求めることが可
能な色−テクスチャ距離の測定方法及び装置と測定され
た色−テクスチャ距離を用いた映像の領域区分方法及び
装置を提供することができる。
【0203】また、本発明によれば、従来の技術に比べ
て、映像の領域をより効率的に区分することができ、色
とテクスチャとを同時に用いて求めた色−テクスチャ距
離によって映像の領域を安定に区分することができ、テ
クスチャ特性値を簡単な計算によって求めて安定した映
像区分の実行速度を維持することができ、数回にわたっ
て行なわれる領域併合によって平均して優れた領域区分
性能を具現することが可能である。その結果、本発明に
よれば、入力映像から同一の色、または同一のテクスチ
ャを有する領域を、人間の認知と類似した形態で抽出す
ることが可能となる。
【図面の簡単な説明】
【図1】本発明に係る色−テクスチャ距離の測定方法を
説明するためのフローチャートである。
【図2】図1に示される色−テクスチャ距離の測定方法
を実行する、本発明に係る色−テクスチャ距離測定装置
のブロック図である。
【図3】本発明に係る映像の領域区分方法を説明するた
めのフローチャートである。
【図4】図3に示される方法を実行する、本発明に係る
映像の領域区分装置のブロック図である。
【図5】各階層の領域が2×2形式を有する4分割ツリ
ーを示す図面である。
【図6】図5に示す、ある階層に存在し得る4個の映像
構成要素の領域と隣接する領域とを示す図面である。
【図7】基礎領域区分マップを説明するための例示的な
図面である。
【図8】図7に示す基礎領域区分マップから生成した映
像グラフの例示的な図面である。
【図9】図2に示す色−テクスチャ距離発生部の本発明
に係る望ましい1実施例のブロック図である。
【図10】図4に示す映像グラフ単純化部で映像グラフ
を単純化する過程を説明するためのフローチャートであ
る。
【図11】映像グラフ単純化部の本発明に係る望ましい
1実施例のブロック図である。
【図12】入力または前処理された映像を示す図面であ
る。
【図13】本発明に係る映像領域区分方法及び装置によ
って区分された領域を示す図面である。
【図14】入力または前処理された映像を示す図面であ
る。
【図15】本発明に係る映像領域区分方法及び装置によ
って区分された領域を示す図面である。
【図16】入力または前処理された映像を示す図面であ
る。
【図17】本発明に係る映像領域区分方法及び装置によ
って区分された領域を示す図面である。
フロントページの続き (72)発明者 金 昌 容 大韓民国 京畿道 龍仁市 器興邑 農書 里 山14−1番地 三星綜合技術院内 (72)発明者 パベル エー.チョチア ロシア フェデレーション 101447 モス コー、ジーエスピー−4、ボルショイ カ レトニー パー.アイアイティーピー 19 (72)発明者 ドミトリー ブイ.スシュコ ロシア フェデレーション 101447 モス コー、ジーエスピー−4、ボルショイ カ レトニー パー.アイアイティーピー 19 (72)発明者 ボリス エム.ミラー ロシア フェデレーション 101447 モス コー、ジーエスピー−4、ボルショイ カ レトニー パー.アイアイティーピー 19 Fターム(参考) 5C059 MA00 MB01 MB02 MB14 PP14 5L096 AA02 AA06 DA02 GA41 MA01

Claims (21)

    【特許請求の範囲】
  1. 【請求項1】 (a)映像の画素が有する色特性値で構
    成される色特性空間上で与えられた2点間に、互いに独
    立して異なる、輝度差、彩度差及び色相差の各重要度を
    割り当て、このように割り当てられた前記各重要度に比
    例した輝度差、彩度差及び色相差を加算して前記2点間
    の色距離を求める段階と、 (b)前記画素に対するテクスチャ特性値で構成される
    テクスチャ特性空間上で与えられた前記2点間のテクス
    チャ特性値差と、テクスチャの多重度とに適用される加
    重係数を用いて前記2点間のテクスチャ距離を求める段
    階と、 (c)前記色距離と色加重値とを乗算し、かつ前記テク
    スチャ距離とテクスチャ加重値とを乗算し、これらの乗
    算の結果同士を加算して前記2点間の色−テクスチャ距
    離を求める段階とを備え、色相が輝度や彩度よりも重要
    であり、輝度が絶対値に接近するにつれて次第に色が黒
    色を呈するようになり、彩度が絶対値に接近するにつれ
    て次第に色相が任意の値を有するようになるという事実
    に基づいて前記重要度を決定することを特徴とする色−
    テクスチャ距離の測定方法。
  2. 【請求項2】 前記(a)段階は、下記式(1)に基づ
    き、前記色距離を求めることを特徴とする請求項1に記
    載の色−テクスチャ距離の測定方法。 【数1】 前記式(1)中、DBHS1(x、y)は前記色特性空間上
    における2点であるxとyの色距離を表わし、B
    (o)、H(o)及びS(o)は各々、任意の点「o」
    における輝度、色相及び彩度を示し、前記任意の点
    「o」は前記点xまたはyを示し、下記記号(S1)は
    B(x)とB(y)の平均値を示し、下記記号(S2)
    はS(x)とS(y)の平均値を示し、WB、a及びb
    は各々定数であり、FS(j)は彩度に対する線形補正
    関数を示し、FH(j)は色に対する線形補正関数を示
    す。 【数2】 【数3】
  3. 【請求項3】 前記彩度に対する線形補正関数F
    S(j)、または前記色に対する線形補正関数FH(j)
    は各々、jが1より小さいときにはjとなり、jが1以
    上であるときには1となることを特徴とする請求項2に
    記載の色−テクスチャ距離の測定方法。
  4. 【請求項4】 前記(a)段階は、下記式(2)に基づ
    き、前記色距離を求めることを特徴とする請求項1に記
    載の色−テクスチャ距離の測定方法。 【数4】 前記式(2)中、DBHS2 2(x、y)は前記色特性空間
    上における2点であるxとyの色距離を表わし、B
    (o)、H(o)及びS(o)は各々、任意の点「o」
    における輝度、色相及び彩度を示し、前記任意の点
    「o」は前記点xまたはyを示し、WB、WH及びWS
    各々所定の定数を示し、FS(S(x)、S(y))は
    彩度に対する非線形補正関数を示し、FB(B(x)、
    B(y))は輝度に対する非線形補正関数を示す。
  5. 【請求項5】 前記(b)段階は、下記式(3)に基づ
    き、前記テクスチャ距離[Dt(x、y)]を求めるこ
    とを特徴とする請求項2または4に記載の色−テクスチ
    ャ距離の測定方法。 【数5】 前記式(3)中、Dt(x、y)は前記色特性空間上に
    おける2点であるxとyのテクスチャ距離を表わし、w
    zは前記加重係数を示し、下記記号(S3)及び下記記
    号(S4)は前記の2点x及びyの前記テクスチャ特性
    値であって、k=1、2、…、Kであり、Zは所定の定
    数を示す。 【数6】 【数7】
  6. 【請求項6】 前記色−テクスチャ距離を用いて、入力
    映像を複数の領域に区分する映像の領域区分方法とし
    て、更に (d)前記入力映像を所定回数だけ繰り返して平滑化さ
    せ、平滑化された映像でエッジ部分を強調する段階と、 (e)前記色特性値と前記テクスチャ特性値とを映像の
    画素単位で求め、前記(a)段階にもどる段階と、 (f)前記(c)段階の後に、ピラミッド領域区分法に
    よって、前記色−テクスチャ距離と第1スレショルド値
    (閾値)とを比較し、この比較の結果に対応させて前記
    映像の領域を細分化し、このように細分化された領域に
    関する情報を有する基礎領域区分マップから映像グラフ
    を求める段階と、 (g)前記色−テクスチャ距離と第2スレショルド値と
    を比較し、この比較の結果に対応させて前記映像グラフ
    に表示される領域を併合して最終映像グラフを求める段
    階とを備えることを特徴とする請求項5に記載の色−テ
    クスチャ距離を用いた映像の領域区分方法。
  7. 【請求項7】 前記(f)段階で用いられる前記色−テ
    クスチャ距離は、所定の色加重値wc(u′、v′)及
    び所定のテクスチャ加重値wt(u′、v′)を用いて
    決定されることを特徴とする請求項6に記載の色−テク
    スチャ距離を用いた映像の領域区分方法。但し、前記所
    定の色加重値wc(u′、v′)及び前記所定のテクス
    チャ加重値wt(u′、v′)中のu′、v′は、各々
    前記細分化された領域を示す。
  8. 【請求項8】 前記(g)段階で用いられる前記色−テ
    クスチャ距離は、前記細分化された領域が有する特性に
    対応させて可変される前記所定の色加重値w c(u′、
    v′)、及び前記所定のテクスチャ加重値wt(u′、
    v′)を用いて決定されることを特徴とする請求項7に
    記載の色−テクスチャ距離を用いた映像の領域区分方
    法。但し、前記所定の色加重値wc(u′、v′)及び
    前記所定のテクスチャ加重値wt(u′、v′)中の
    u′及びv′は各々、前記細分化された領域を示す。
  9. 【請求項9】 前記細分化された領域が有する特性は、
    細分化された領域のテクスチャ度t(u′、v′)、前
    記細分化された領域の大きさp(u′、v′)及び前記
    細分化された領域の彩度s(u′、v′)を含むことを
    特徴とする請求項8に記載の色−テクスチャ距離を用い
    た映像の領域区分方法。但し、前記細分化された領域の
    テクスチャ度t(u′、v′)、前記細分化された領域
    の大きさp(u′、v′)及び前記細分化された領域の
    彩度s(u′、v′)中のu′及びv′は各々、前記細
    分化された領域を示す。
  10. 【請求項10】 前記色加重値wc(u′、v′)は、
    下記式(12)に基づいて求められ、 前記テクスチャ加重値wt(u′、v′)は、下記式
    (17)に基づいて求められることを特徴とする請求項
    9に記載の色−テクスチャ距離を用いた映像の領域区分
    方法。 【数8】 【数9】 前記式(12)及び式(17)中、下記記号(S5)及
    び記号(S6)は各々、色及びテクスチャ加重定数を示
    すとともに、下記式(13)、式(15)及び式(1
    6)を満たす。 【数10】 【数11】 【数12】 前記式(13)中、Tmaxは前記テクスチャ度の最大値
    を示す。 【数13】 前記式(13)中、Poは前記細分化された領域の大き
    さのスレショルド値を示す。 【数14】 前記式(14)中、Soは前記細分化された領域の彩度
    のスレショルド値を示す。
  11. 【請求項11】 前記(g)段階は、 (g1)前記色−テクスチャ距離と前記第2スレショル
    ド値とを比較した結果に対応させて、前記映像グラフ上
    に表示される2つの前記細分化された領域u′とv′と
    を併合する段階と、 (g2)前記(g1)段階で領域u′とv′を併合した
    最終結果を反映した映像グラフに表示される2つの領域
    をu"及びv"としたとき、前記色加重定数(下記記号
    (S5)))を「0」に設定してWH≪WB及びWS≪WB
    の条件を付与して決定された前記色加重値wc(u"、
    v")、前記テクスチャ加重値wt(u"、v")、前記色
    距離及び前記テクスチャ距離を用いて求めた前記色−テ
    クスチャ距離と前記第2スレショルド値とを比較した結
    果に対応させて、前記2つの領域u"とv"とを併合する
    段階と、 (g3)前記(g2)段階で領域u"とv"を併合した最
    終結果を反映した映像グラフに表示される2つの領域を
    u"′及びv"′としたとき、下記式(20)を満たすよ
    うに設定して決定された前記色加重値wc(u"′、
    v"′)及び前記テクスチャ加重値wt(u"′、v"′)
    を用いて求めた前記色−テクスチャ距離と、前記第2ス
    レショルド値とを比較した結果に対応させて、前記2つ
    の領域u"′とv"′とを併合し、前記2つの領域を併合
    して得られた最終結果を反映させた前記最終映像グラフ
    を求める段階とを備え、前記第2スレショルド値は、前
    記領域の大きさに応じて変化することを特徴とする請求
    項10に記載の色−テクスチャ距離を用いた映像の領域
    区分方法。 【数15】 【数16】
  12. 【請求項12】 映像の画素が有する色特性値で構成さ
    れる色特性空間上で、2点間の輝度差、彩度差及び色相
    差に相異なる重要度を割り当て、このように割り当てら
    れた重要度に比例して輝度差、彩度差及び色相差を加算
    し、この加算の結果を前記2点間の色距離として出力す
    る色距離計算部と、 前記画素に対するテクスチャ特性値で構成されるテクス
    チャ特性空間上で前記2点が有するテクスチャ特性値を
    入力し、この入力したテクスチャ特性値間の差を検出
    し、テクスチャの多重度に適用される加重係数及び前記
    検出された差から前記2点間のテクスチャ距離を計算
    し、この計算された前記テクスチャ距離を出力するテク
    スチャ距離計算部と、 前記色距離計算部から出力される前記色距離を色加重値
    と乗算し、前記テクスチャ距離計算部から出力される前
    記テクスチャ距離をテクスチャ加重値と乗算し、これら
    の乗算の結果同士を加算し、この加算の結果を色−テク
    スチャ距離として出力する色−テクスチャ距離発生部と
    を備え、 色相が輝度や彩度よりも重要であり、輝度が絶対値に接
    近するにつれて次第に色は黒色となり、彩度が絶対値に
    接近するにつれて次第に色相は任意の値を有するように
    なるという事実に基づいて前記重要度が決定されること
    を特徴とする色−テクスチャ距離測定装置。
  13. 【請求項13】 前記色距離計算部は、下記式(1)に
    基づき、前記色距離を求めることを特徴とする請求項1
    2に記載の色−テクスチャ距離測定装置。 【数17】 前記式(1)中、DBHS1(x、y)は前記色特性空間上
    における2点であるxとyの色距離を表わし、B
    (o)、H(o)及びS(o)は各々、任意の点「o」
    に対する輝度、色相及び彩度を示し、前記任意の点
    「o」は前記xまたはyを示し、下記記号(S1)はB
    (x)とB(y)の平均値を示し、下記記号(S2)は
    S(x)とS(y)の平均値を示し、WB、a及びbは
    各々定数であり、FS(j)は彩度に対する線形補正関
    数を示し、FH(j)は色に対する線形補正関数を示
    す。 【数18】 【数19】
  14. 【請求項14】 前記彩度に対する線形補正関数F
    S(j)、または前記色に対するFH(j)は各々、jが
    1より小さいときにはjとなり、jが1以上であるとき
    には1となることを特徴とする請求項13に記載の色−
    テクスチャ距離測定装置。
  15. 【請求項15】 前記色距離計算部は、下記式(2)に
    基づき、前記色距離を求めることを特徴とする請求項1
    2に記載の色−テクスチャ距離測定装置。 【数20】 前記式(2)中、DBHS2 2(x、y)は前記色特性空間
    上における2点であるxとyの色距離を表わし、B
    (o)、H(o)及びS(o)は各々、任意の点「o」
    に対する輝度、色相及び彩度を示し、前記任意の点
    「o」はxまたはyを示し、WB、WH及びWSは各々所
    定の定数を示し、FS(S(x)、S(y))は彩度に
    対する非線形補正関数を示し、FB(B(x)、B
    (y))は輝度に対する非線形補正関数を示す。
  16. 【請求項16】 前記テクスチャ距離計算部は、下記式
    (3)に基づき、前記テクスチャ距離を求めることを特
    徴とする請求項13または15に記載の色−テクスチャ
    距離測定装置。 【数21】 前記式(3)中、Dt(x、y)は前記色特性空間上に
    おける2点であるxとyのテクスチャ距離を表わし、w
    zは前記加重係数を示し、下記記号(S3)及び記号
    (S4)は各々、x及びyの前記テクスチャ特性値を示
    し、k=1、2、…、Kであり、z=1、2、…、Zで
    あり、Zは所定の定数を示す。 【数22】 【数23】
  17. 【請求項17】 前記色−テクスチャ距離発生部から出
    力される前記色−テクスチャ距離を用いて入力映像を複
    数の領域に区分する映像の領域区分装置において、 前記入力映像を所定回数だけ繰り返して平滑化させ、こ
    の平滑化された映像でエッジ部分を強調して出力する映
    像前処理部と、 前記映像前処理部から出力される映像から前記色特性値
    と前記テクスチャ特性値とを画素単位で計算し、この計
    算された前記色及び前記テクスチャ特性値を前記色−テ
    クスチャ距離測定装置に出力する特性値計算部と、 ピラミッド領域区分法によって、前記色−テクスチャ距
    離発生部から出力される前記色−テクスチャ距離と第1
    スレショルド値とを比較し、この比較の結果に対応させ
    て前記映像の領域を細分化し、このように細分化された
    領域に関する情報を有する基礎領域区分マップから映像
    グラフを生成して出力する主要領域区分部と、 前記色−テクスチャ距離発生部から出力される前記色−
    テクスチャ距離と第2スレショルド値とを比較し、この
    比較の結果に対応させて前記映像グラフを単純化し、こ
    のように単純化された映像グラフから生成した最終映像
    グラフを出力する映像グラフ単純化部とを備えることを
    特徴とする請求項16に記載の色−テクスチャ距離を用
    いた映像の領域区分装置。
  18. 【請求項18】 前記色−テクスチャ距離発生部は、所
    定の前記色加重値w cと前記色距離とを乗算し、所定の
    前記テクスチャ加重値wtと前記テクスチャ距離とを乗
    算し、これらの乗算の結果同士を加算し、この加算の結
    果を前記色−テクスチャ距離として前記主要領域区分部
    に出力することを特徴とする請求項17に記載の色−テ
    クスチャ距離を用いた映像の領域区分装置。
  19. 【請求項19】 前記色−テクスチャ距離発生部は、前
    記細分化された領域のテクスチャ度t(u′、v′)、
    前記細分化された領域の大きさp(u′、v′)、及び
    前記細分化された領域の彩度s(u′、v′)に対応さ
    せて可変される前記色加重値wc(u′、v′)及び前
    記テクスチャ加重値wt(u′、v′)を、前記色距離
    及び前記テクスチャ距離の各々に乗算し、これらの乗算
    の結果同士を加算し、この加算の結果を前記色−テクス
    チャ距離として前記映像グラフ単純化部に出力すること
    を特徴とする請求項18に記載の色−テクスチャ距離を
    用いた映像の領域区分装置。但し、前記細分化された領
    域のテクスチャ度t(u′、v′)、前記細分化された
    領域の彩度s(u′、v′)、及び前記細分化された領
    域の彩度s(u′、v′)、前記色加重値wc(u′、
    v′)及び及び前記テクスチャ加重値wt(u′、
    v′)中のu′、v′は各々、前記細分化された領域を
    示す。
  20. 【請求項20】 前記色−テクスチャ距離発生部は、 下記式(12)に基づき、前記色加重値wc(u′、
    v′)を計算する色加重値計算部と、 下記式(17)に基づき、前記テクスチャ加重値w
    t(u′、v′)を計算するテクスチャ加重値計算部と
    を備えることを特徴とする請求項19に記載の色−テク
    スチャ距離を用いた映像の領域区分装置。 【数24】 【数25】 前記式(12)及び式(17)中、下記記号(S5)及
    び記号(S6)は各々、色及びテクスチャ加重定数を示
    し、更に下記式(13)、式(15)及び式(16)を
    満たす。 【数26】 【数27】 【数28】 前記式(13)中、Tmaxは前記細分化された映像のテ
    クスチャ度の最大値を示す。 【数29】 前記式(15)中、Poは前記細分化された領域の大き
    さのスレショルド値を示す。 【数30】 前記式(16)中、Soは前記細分化された領域の彩度
    のスレショルド値を示す。
  21. 【請求項21】 映像グラフ単純化部は、 前記色−テクスチャ距離と前記第2スレショルド値とを
    比較し、この比較の結果に対応させて前記映像グラフ上
    に表示される2つの前記細分化された領域u′とv′と
    を併合し、このように併合した最終結果を反映させて生
    成した第1中間映像グラフを出力する第1次領域併合部
    と、 第1色−テクスチャ距離と前記第2スレショルド値とを
    比較し、この比較の結果に対応させて前記第1中間映像
    グラフ上に表示される2つの領域u"とv"とを併合し、
    このように併合した最終結果を反映させて生成した第2
    中間映像グラフを出力する第2次領域併合部と、 第2色−テクスチャ距離と前記第2スレショルド値とを
    比較し、この比較の結果に対応させて前記第2中間映像
    グラフ上に表示される2つの領域u"′とv"′とを併合
    し、このように併合した最終結果を反映させて生成した
    前記最終映像グラフを出力する第3次領域併合部を備
    え、 前記色−テクスチャ距離発生部は、前記色加重定数下記
    記号(S5)が「0」に設定されるとき、前記色加重値
    計算部から出力される前記色加重値wc(u"、v")及
    び前記テクスチャ加重値計算部から出力される前記テク
    スチャ加重値wt(u"、v")を、WH≪WB及びWS≪W
    Bの条件にて、前記色及び前記テクスチャ距離計算部か
    ら各々出力される前記色距離及び前記テクスチャ距離に
    各々乗算し、この乗算の結果を加算し、この加算の結果
    を前記第1色−テクスチャ距離として出力し、 前記色−テクスチャ距離発生部は、下記式(20)の条
    件にて、前記色及び前記テクスチャ加重値計算部から各
    々出力される前記色加重値wc(u"′、v"′)及び前
    記テクスチャ加重値wt(u"′、v"′)を前記色距離
    及び前記テクスチャ距離に各々乗算し、この乗算の結果
    同士を加算し、この加算の結果を前記第2色−テクスチ
    ャ距離として出力し、 前記第2スレショルド値は、前記領域の大きさによって
    流動的に変わることを特徴とする請求項20に記載の色
    −テクスチャ距離を用いた映像の領域区分装置。 【数31】 【数32】
JP2001347688A 2000-11-13 2001-11-13 色−テクスチャ距離の測定方法及び装置並びにこれらを用いた映像の領域区分方法及び装置 Expired - Fee Related JP3554930B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2000-0067105A KR100378351B1 (ko) 2000-11-13 2000-11-13 색-텍스추어 거리 측정 방법 및 장치와 이를 이용한영상의 영역 구분 방법 및 장치
KR2000-67105 2000-11-13

Publications (2)

Publication Number Publication Date
JP2002170117A true JP2002170117A (ja) 2002-06-14
JP3554930B2 JP3554930B2 (ja) 2004-08-18

Family

ID=19698595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001347688A Expired - Fee Related JP3554930B2 (ja) 2000-11-13 2001-11-13 色−テクスチャ距離の測定方法及び装置並びにこれらを用いた映像の領域区分方法及び装置

Country Status (4)

Country Link
US (1) US7030885B2 (ja)
EP (1) EP1217580B1 (ja)
JP (1) JP3554930B2 (ja)
KR (1) KR100378351B1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006131970A1 (ja) * 2005-06-09 2006-12-14 Techno Visual Corporation 動画像圧縮プログラム及び動画像伸長プログラム
KR100809346B1 (ko) * 2006-07-03 2008-03-05 삼성전자주식회사 엣지 보정 장치 및 방법
JP2011013886A (ja) * 2009-07-01 2011-01-20 Nec Corp 代表特徴抽出システム、方法およびプログラム
JP2014527671A (ja) * 2011-08-15 2014-10-16 シムニコ, ドミトリー ヴァレリーヴィチSHMUNK, Dmitry Valerievich 映像セグメンテーション方法
KR101556223B1 (ko) 2011-05-27 2015-09-30 후지제롯쿠스 가부시끼가이샤 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 매체

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
FR2825814B1 (fr) * 2001-06-07 2003-09-19 Commissariat Energie Atomique Procede de creation automatique d'une base de donnees images interrogeable par son contenu semantique
US7623704B2 (en) * 2003-01-31 2009-11-24 Fuji Xerox Co. Ltd. Color processing method, color processing apparatus, and storage medium
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7336821B2 (en) 2006-02-14 2008-02-26 Fotonation Vision Limited Automatic detection and correction of non-red eye flash defects
US7536036B2 (en) * 2004-10-28 2009-05-19 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US8036458B2 (en) 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US20050140801A1 (en) * 2003-08-05 2005-06-30 Yury Prilutsky Optimized performance and performance for red-eye filter method and apparatus
US8520093B2 (en) 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
US9412007B2 (en) 2003-08-05 2016-08-09 Fotonation Limited Partial face detector red-eye filter method and apparatus
US7280117B2 (en) * 2004-09-10 2007-10-09 Avid Technology, Inc. Graphical user interface for a keyer
JP4506409B2 (ja) * 2004-10-27 2010-07-21 株式会社デンソー 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体
IL165556A (en) 2004-12-05 2013-08-29 Yair Shimoni A system and method for automatically detecting object inconsistencies in a sequence of images
US20060182339A1 (en) * 2005-02-17 2006-08-17 Connell Jonathan H Combining multiple cues in a visual object detection system
US20060228021A1 (en) * 2005-04-06 2006-10-12 Marco Leoni Method and system for producing fabrics with a large number of colors
US7522749B2 (en) * 2005-04-08 2009-04-21 Microsoft Corporation Simultaneous optical flow estimation and image segmentation
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
ATE497218T1 (de) 2006-06-12 2011-02-15 Tessera Tech Ireland Ltd Fortschritte bei der erweiterung der aam- techniken aus grauskalen- zu farbbildern
US7755646B2 (en) 2006-10-17 2010-07-13 Hewlett-Packard Development Company, L.P. Image management through lexical representations
US8572642B2 (en) 2007-01-10 2013-10-29 Steven Schraga Customized program insertion system
US9363576B2 (en) 2007-01-10 2016-06-07 Steven Schraga Advertisement insertion systems, methods, and media
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
EP2145288A4 (en) 2007-03-05 2013-09-04 Digitaloptics Corp Europe Ltd FILTERING OF POSITIVE FALSE OF RED EYES USING A LOCATION AND FACE ORIENTATION
CN101334780A (zh) * 2007-06-25 2008-12-31 英特维数位科技股份有限公司 人物影像的搜寻方法、系统及存储影像元数据的记录媒体
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US8374436B2 (en) * 2008-06-30 2013-02-12 Thomson Licensing Method for detecting layout areas in a video image and method for generating an image of reduced size using the detection method
US9078048B1 (en) * 2008-07-15 2015-07-07 Google Inc. Finding and populating spatial ad surfaces in video
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
US8498480B2 (en) * 2009-02-25 2013-07-30 The United States Of America, As Represented By The Secretary Of The Navy Computationally efficient method for image segmentation with intensity and texture discrimination
US9417700B2 (en) * 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
JP5538967B2 (ja) * 2009-06-18 2014-07-02 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
TWI543116B (zh) * 2011-04-26 2016-07-21 國立成功大學 影像區塊合併方法
US8804122B2 (en) * 2011-09-22 2014-08-12 Brightex Bio-Photonics Llc Systems and methods for determining a surface profile using a plurality of light sources
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
CN102694958B (zh) * 2012-02-10 2013-12-18 华为终端有限公司 一种确定图像色相的方法和无线手持设备
US8484607B1 (en) 2012-03-06 2013-07-09 International Business Machines Corporation Decomposing layout for triple patterning lithography
US9122927B2 (en) 2012-03-26 2015-09-01 Google Inc. Generating an image tour based on a set of images
DE202013012425U1 (de) 2012-08-08 2016-10-28 Google Inc. Einzelne bilder von einem interessenpunkt in einer bilddarstellung
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
KR20150100113A (ko) * 2014-02-24 2015-09-02 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
JP6491581B2 (ja) * 2015-10-06 2019-03-27 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
EP3440627A4 (en) * 2016-04-07 2019-12-04 Carmel Haifa University Economic Corporation Ltd. DEBRUMAGE AND RESTORATION OF IMAGES
US11405529B2 (en) 2018-05-15 2022-08-02 Hewlett-Packard Development Company, L.P. Color table generation
CN110895699B (zh) * 2018-09-12 2022-09-13 北京字节跳动网络技术有限公司 用于处理图像的特征点的方法和装置
CN110782025B (zh) * 2019-12-31 2020-04-14 长沙荣业智能制造有限公司 一种稻米加工在线工艺检测方法
CN113763486B (zh) * 2020-06-01 2024-03-01 北京达佳互联信息技术有限公司 主色调提取方法、装置、电子设备及存储介质
CN117788458B (zh) * 2024-02-23 2024-05-14 中建安装集团有限公司 一种lng空温气化器基础砼寿命分析方法、介质及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751450A (en) * 1996-05-22 1998-05-12 Medar, Inc. Method and system for measuring color difference
DE19633693C1 (de) * 1996-08-21 1997-11-20 Max Planck Gesellschaft Verfahren und Vorrichtung zur Erfassung von Targetmustern in einer Textur
JP3593431B2 (ja) * 1996-11-21 2004-11-24 日本電信電話株式会社 カラー/テクスチャ情報変換装置
US6463432B1 (en) * 1998-08-03 2002-10-08 Minolta Co., Ltd. Apparatus for and method of retrieving images
US6731792B1 (en) * 1998-08-24 2004-05-04 Minolta Co., Ltd. Method and apparatus for accurately dividing a color image into proper regions, and storage media storing a program for executing such a method
JP2000207566A (ja) * 1999-01-18 2000-07-28 Ricoh Co Ltd テクスチャ特徴抽出装置
US6674905B1 (en) * 1999-01-22 2004-01-06 Canon Kabushiki Kaisha Image processing method, image processing apparatus, and storage medium
EP1153364A4 (en) * 1999-02-05 2002-10-30 Samsung Electronics Co Ltd METHOD AND DEVICE FOR PROCESSING COLOR IMAGES

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006131970A1 (ja) * 2005-06-09 2006-12-14 Techno Visual Corporation 動画像圧縮プログラム及び動画像伸長プログラム
KR100809346B1 (ko) * 2006-07-03 2008-03-05 삼성전자주식회사 엣지 보정 장치 및 방법
JP2011013886A (ja) * 2009-07-01 2011-01-20 Nec Corp 代表特徴抽出システム、方法およびプログラム
KR101556223B1 (ko) 2011-05-27 2015-09-30 후지제롯쿠스 가부시끼가이샤 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 매체
JP2014527671A (ja) * 2011-08-15 2014-10-16 シムニコ, ドミトリー ヴァレリーヴィチSHMUNK, Dmitry Valerievich 映像セグメンテーション方法

Also Published As

Publication number Publication date
JP3554930B2 (ja) 2004-08-18
US20020090133A1 (en) 2002-07-11
KR20020037113A (ko) 2002-05-18
EP1217580A2 (en) 2002-06-26
US7030885B2 (en) 2006-04-18
KR100378351B1 (ko) 2003-03-29
EP1217580B1 (en) 2013-04-17
EP1217580A3 (en) 2003-10-08

Similar Documents

Publication Publication Date Title
JP3554930B2 (ja) 色−テクスチャ距離の測定方法及び装置並びにこれらを用いた映像の領域区分方法及び装置
KR100374791B1 (ko) 영상의 영역 구분 방법 및 장치
JP3740065B2 (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
US8248410B2 (en) Synthesizing detailed depth maps from images
CN105354865B (zh) 多光谱遥感卫星影像自动云检测方法及系统
US7295700B2 (en) Object extraction based on color and visual texture
CN102246204B (zh) 用于使用标度空间来处理图像的设备和方法
Jacobson et al. Linear fusion of image sets for display
US20080037870A1 (en) Image Segmentation
CN104966285B (zh) 一种显著性区域的检测方法
US8325196B2 (en) Up-scaling
Herrault et al. Automatic extraction of forests from historical maps based on unsupervised classification in the CIELab color space
Lagodzinski et al. Application of the extended distance transformation in digital image colorization
Lee et al. Depth-guided adaptive contrast enhancement using 2D histograms
Huang et al. An efficient single image enhancement approach using luminance perception transformation
Wang et al. An image fusion approach based on segmentation region
Zheng et al. An improved NAMLab image segmentation algorithm based on the earth moving distance and the CIEDE2000 color difference formula
Ramakanth et al. Super resolution using a single image dictionary
Zhou et al. Advantages of multiscale product filters for dynamic range compression in images
Bagri et al. Images enhancement with brightness preserving using MRHRBFN
Nabeel et al. Optimizing image segmentation by selective fusion of histogram based K-means clustering
CN116048278A (zh) 分层处理的虚拟现实实现方法及系统
Alam et al. A global non-parametric sampling based image matting
Hayashi et al. Improvement of Image and Video Matting with Multiple Reliability Maps
EA3165 GEODESIC INTERACTIVE SEGMENTATION IN THE COLOR MONOGENIC SIGNAL FRAMEWORK

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040423

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110521

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110521

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120521

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees