JP2002170117A - 色−テクスチャ距離の測定方法及び装置並びにこれらを用いた映像の領域区分方法及び装置 - Google Patents
色−テクスチャ距離の測定方法及び装置並びにこれらを用いた映像の領域区分方法及び装置Info
- Publication number
- JP2002170117A JP2002170117A JP2001347688A JP2001347688A JP2002170117A JP 2002170117 A JP2002170117 A JP 2002170117A JP 2001347688 A JP2001347688 A JP 2001347688A JP 2001347688 A JP2001347688 A JP 2001347688A JP 2002170117 A JP2002170117 A JP 2002170117A
- Authority
- JP
- Japan
- Prior art keywords
- color
- texture
- distance
- equation
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
れを用いた映像の領域区分方法及び装置を提供する。 【解決手段】 色−テクスチャ距離の測定方法は、映像
の画素が有する色特性値で構成される色特性空間上にお
ける2点間の輝度差、彩度差及び色相差に相異なる重要
度を割り当て、この割り当てた重要度に比例して輝度
差、彩度差及び色相差を加算して2点間の色距離を求め
る段階10と、画素に対するテクスチャ特性値で構成さ
れるテクスチャ特性空間上における2点間のテクスチャ
特性値差と、テクスチャの多重度に適用される加重係数
を用いて2点間のテクスチャ距離を求める段階12と、
色距離を色加重値と乗算し、テクスチャ距離をテクスチ
ャ加重値と乗算し、これらの乗算結果同士を加算して2
点間の色−テクスチャ距離を求める段階14とを備え
る。
Description
に、映像で画素間の色−テクスチャ距離を測定する方法
及び装置と、測定された色−テクスチャ距離を用いて映
像の領域を区分する方法及び装置に関する。
明、撮像される物体(以下、「オブジェクト(obje
ct)」という。)の形状、オブジェクトの幾何学的な
相互配置(geometry)及び観察者と映像入力装
置との間の相対的位置関係等が挙げられる。更に、映像
の形成は、映像入力装置や環境条件による影響を受け
る。
における数多くの因子及びそれらの条件が存在するにも
かかわらず、人間が認知できる形態で、映像において意
味のあるオブジェクトまたは同一色の領域を、その他の
オブジェクトまたは背景から効果的に区分させることで
ある。このため、従来の映像領域の分離を行なうための
技術分野において、このような理想的な映像分割を具現
させようとする種々の手法が開示されている。
て、米国特許US5751450に、「Method
and system for measuring
color difference(色差の測定方法及
びシステム)」の発明が開示されている。この発明で開
示されている、映像領域を分離する技術は、ユークリッ
ド距離(Euclidean distance)によ
って、一義的に色距離を計算し、この計算による色距離
を基準として映像の領域を分離するものである。
ェクトを、その映像の背景画面と分離させようとする際
に用いられる、このような従来の映像領域を分離する技
術においては、オブジェクトに存在する2つの画素の輝
度と彩度が互いに異なるが、前記2つの画素の色相が等
しい場合、前記2つの画素の色相を同一に取り扱う必要
があるにもかかわらず、前記2つの画素の色相があたか
も相異なるようにして取り扱うという問題点を有する。
る技術においては、前記計算によって一義的に求められ
た色距離を用いて映像の領域を分離するからである。そ
の結果、このような状況で映像領域を分離する技術で
は、同一のオブジェクトに属する2つの画素を、あたか
も相異なるオブジェクトに属するように取り扱って映像
領域を分離するため、映像の領域を正確に分離すること
が甚だ困難であった。
では、背景の画面に含まれる画素とオブジェクトの画素
との間に色相の差が存在する状況で、輝度や彩度のレベ
ルが一定のレベル以下になると、この2つの画素の色相
に差がないものとして取り扱っていた。それゆえ、2つ
に分離された領域が、本来は他の領域に含まれなければ
ならない画素を、1つの同一の領域に含めるため、映像
の領域を正確に分離することが極めて困難であった。
方法では、併合する領域の大きさや、領域の間に接する
エッジの長さを考慮することなく2つの領域の併合を決
定するために、映像の領域を的確に分離することが困難
であるという問題点があった。
の技術的課題は、色とテクスチャ特性空間とで与えられ
た2点の各々が有する色相、輝度及び彩度の相対的また
は絶対的変化に関係なく2点間の色−テクスチャ距離を
正確に測定することができる色−テクスチャ距離の測定
方法を提供することである。
は、色−テクスチャ距離の測定方法を実行する色−テク
スチャ距離測定装置を提供することである。
は、前記測定された色−テクスチャ距離を用いて、映像
で同一の色及び同一のテクスチャの両方またはいずれか
一方でなされた領域を、安定して更に明確に区分するこ
とができる映像の領域区分方法を提供することである。
は、前記映像の領域区分方法を実行する映像の領域区分
装置を提供することである。
解決するための、本発明に係る色−テクスチャ距離の測
定方法は、映像の画素が有する色特性値で構成される色
特性空間上で与えられた2点間の輝度差、彩度差及び色
相差に相異なる重要度を割り当て、このように割り当て
られた前記重要度に比例した輝度差、彩度差及び色相差
を加算して前記2点間の色距離を求める(a)段階、前
記画素に対するテクスチャ特性値で構成されるテクスチ
ャ特性空間上で与えられた前記2点間のテクスチャ特性
値差と、テクスチャの多重度とに適用される加重係数を
用いて前記2点間のテクスチャ距離を求める(b)段
階、及び前記色距離を色加重値と乗算し、前記テクスチ
ャ距離をテクスチャ加重値と乗算し、これらの乗算の結
果同士を加算して前記2点間の色−テクスチャ距離を求
める(c)段階で構成され、色相が輝度や彩度より重要
であって輝度が絶対値に接近するにつれて次第に色は黒
色になって、彩度が絶対値に接近するにつれて次第に色
相は任意の値を有するようになるという事実に基づいて
前記重要度を決定することを特徴とする。(請求項1)
に基づき、前記色距離を求めることができる。(請求項
2)
色特性空間上における2点であるxとyの色距離を表わ
し、B(o)、H(o)及びS(o)は各々、任意の点
「o」における輝度、色相及び彩度を示し、前記任意の
点「o」は前記点xまたはyを示し、下記記号(S1)
はB(x)とB(y)の平均値を示し、下記記号(S
2)はS(x)とS(y)の平均値を示し、WB、a及
びbは各々定数であり、FS(j)は彩度に対する線形
補正関数を示し、FH(j)は色に対する線形補正関数
を示す。
(j)、または前記色に対する線形補正関数FH(j)
は各々、jが1より小さいときにはjとなり、jが1以
上であるときには1となることが好ましい。(請求項
3)
基づき、前記色距離を求めることができる。(請求項
4)
記色特性空間上における2点であるxとyの色距離を表
わし、B(o)、H(o)及びS(o)は各々、任意の
点「o」における輝度、色相及び彩度を示し、前記任意
の点「o」は前記点xまたはyを示し、WB、WH及びW
Sは各々所定の定数を示し、FS(S(x)、S(y))
は彩度に対する非線形補正関数を示し、FB(B
(x)、B(y))は輝度に対する非線形補正関数を示
す。
基づき、前記テクスチャ距離[Dt(x、y)]を求め
ることができる。(請求項5)
特性空間上における2点であるxとyのテクスチャ距離
を表わし、wzは前記加重係数を示し、下記記号(S
3)及び記号(S4)は前記の2点x及びyの前記テク
スチャ特性値であって、k=1、2、…、Kであり、Z
は所定の定数を示す。
測定された色−テクスチャ距離を用いて入力映像を複数
の領域に区分する、本発明に係る映像の領域区分方法
は、前記入力映像を所定回数だけ繰り返して平滑化さ
せ、平滑化された映像でエッジ部分を強調する段階
(d)と、前記色特性値と前記テクスチャ特性値を映像
の画素単位で求めて、前記(a)段階にもどる段階
(e)と、前記(c)段階の後に、ピラミッド領域区分
法によって、前記色−テクスチャ距離と第1スレショル
ド値とを比較し、この比較の結果に対応させて前記映像
の領域を細分化し、このように細分化された領域に関す
る情報を有する基礎領域区分マップから映像グラフを求
める段階(f)、及び前記色−テクスチャ距離と第2ス
レショルド値とを比較し、この比較の結果に対応させて
前記映像グラフに表示される領域を併合して最終映像グ
ラフを求める(g)段階で構成されることを特徴とす
る。(請求項6)
−テクスチャ距離は、所定の色加重値wc(u′、
v′)及び所定のテクスチャ加重値wt(u′、v′)
を用いて決定されることが好ましい。(請求項7) 但し、前記所定の色加重値wc(u′、v′)及び前記
所定のテクスチャ加重値wt(u′、v′)中のu′、
v′は、各々前記細分化された領域を示す。
−テクスチャ距離は、前記細分化された領域が有する特
性に対応させて可変される前記所定の色加重値w
c(u′、v′)、及び前記所定のテクスチャ加重値wt
(u′、v′)を用いて決定されることができる。(請
求項8) 但し、前記所定の色加重値wc(u′、v′)及び前記
所定のテクスチャ加重値wt(u′、v′)中のu′及
びv′は各々、前記細分化された領域を示す。
は、細分化された領域のテクスチャ度t(u′、
v′)、前記細分化された領域の大きさp(u′、
v′)及び前記細分化された領域の彩度s(u′、
v′)を含むことが好ましい。(請求項9) 但し、前記細分化された領域のテクスチャ度t(u′、
v′)、前記細分化された領域の大きさp(u′、
v′)及び前記細分化された領域の彩度s(u′、
v′)中のu′及びv′は各々、前記細分化された領域
を示す。
は、下記式(12)に基づいて求められ、前記テクスチ
ャ加重値wt(u′、v′)は、下記式(17)に基づ
いて求められることが好ましい。(請求項10)
号(S5)及び記号(S6)は各々、色及びテクスチャ
加重定数を示すとともに、下記式(13)、式(15)
及び式(16)を満たす。
ャ度の最大値を示す。
た領域の大きさのスレショルド値を示す。
た領域の彩度のスレショルド値を示す。
チャ距離と前記第2スレショルド値とを比較した結果に
対応させて、前記映像グラフ上に表示される2つの前記
細分化された領域u′とv′とを併合する段階(g1)
と、前記(g1)段階で領域u′とv′を併合した最終
結果を反映した映像グラフに表示される2つの領域を
u"及びv"としたとき、前記色加重定数(下記記号(S
5)))を「0」に設定してWH≪WB及びWS≪WBの条
件を付与して決定された前記色加重値wc(u"、
v")、前記テクスチャ加重値wt(u"、v")、前記色
距離及び前記テクスチャ距離を用いて求めた前記色−テ
クスチャ距離と前記第2スレショルド値とを比較した結
果に対応させて、前記2つの領域u"とv"とを併合する
段階(g2)と、前記(g2)段階で領域u"とv"を併
合した最終結果を反映した映像グラフに表示される2つ
の領域をu"′及びv"′としたとき、下記式(20)を
満たすように設定して決定された前記色加重値w
c(u"′、v"′)及び前記テクスチャ加重値w
t(u"′、v"′)を用いて求めた前記色−テクスチャ
距離と、前記第2スレショルド値とを比較した結果に対
応させて、前記2つの領域u"′とv"′とを併合し、前
記2つの領域を併合して得られた最終結果を反映させた
前記最終映像グラフを求める段階(g3)とを備え、前
記第2スレショルド値は、前記領域の大きさに応じて変
化することが好ましい。(請求項11)
本発明に係る色−テクスチャ距離測定装置は、映像の画
素が有する色特性値で構成される色特性空間上で、2点
間の輝度差、彩度差及び色相差に相異なる重要度を割り
当て、このように割り当てられた重要度に比例して輝度
差、彩度差及び色相差を加算し、この加算の結果を前記
2点間の色距離として出力する色距離計算部と、前記画
素に対するテクスチャ特性値で構成されるテクスチャ特
性空間上で前記2点が有するテクスチャ特性値を入力
し、入力したテクスチャ特性値間の差を検出し、テクス
チャの多重度に適用される加重係数及び検出された差か
ら前記2点間のテクスチャ距離を計算し、この計算され
た前記テクスチャ距離を出力するテクスチャ距離計算部
及び前記色距離計算部から出力される前記色距離を色加
重値と乗算し、前記テクスチャ距離計算部から出力され
る前記テクスチャ距離をテクスチャ加重値と乗算し、こ
れらの乗算の結果同士を加算し、この加算の結果を色−
テクスチャ距離として出力する色−テクスチャ距離発生
部で構成され、色相が輝度や彩度より重要であって輝度
が絶対値に接近するにつれて次第に色は黒色化し、彩度
が絶対値に接近するにつれて次第に色相は任意の値を有
するようになるという事実に基づいて前記重要度が決定
されることを特徴とする。(請求項12)
き、前記色距離を求めることができる。(請求項13)
色特性空間上における2点であるxとyの色距離を表わ
し、B(o)、H(o)及びS(o)は各々、任意の点
「o」に対する輝度、色相及び彩度を示し、前記任意の
点「o」は前記xまたはyを示し、下記記号(S1)は
B(x)とB(y)の平均値を示し、下記記号(S2)
はS(x)とS(y)の平均値を示し、WB、a及びb
は各々定数であり、FS(j)は彩度に対する線形補正
関数を示し、FH(j)は色に対する線形補正関数を示
す。
(j)、または前記色に対するFH(j)は各々、jが
1より小さいときにはjとなり、jが1以上であるとき
には1となることが好ましい。(請求項14)
に基づき、前記色距離を求めることができる。(請求項
15)
記色特性空間上における2点であるxとyの色距離を表
わし、B(o)、H(o)及びS(o)は各々、任意の
点「o」に対する輝度B、色相H及び彩度Sを示し、前
記任意の点「o」はxまたはyを示し、WB、WH及びW
Sは各々所定の定数を示し、FS(S(x)、S(y))
は彩度に対する非線形補正関数を示し、FB(B
(x)、B(y))は輝度に対する非線形補正関数を示
す。
式(3)に基づき、前記テクスチャ距離を求めることが
できる。(請求項16)
特性空間上における2点であるxとyのテクスチャ距離
を表わし、wzは前記加重係数を示し、下記記号(S
3)及び下記記号(S4)は各々、x及びyの前記テク
スチャ特性値を示し、k=1、2、…、Kであり、z=
1、2、…、Zであり、Zは所定の定数を示す。
前記色−テクスチャ距離発生部から出力される前記色−
テクスチャ距離を用いて入力映像を複数の領域に区分す
る、本発明に係る映像の領域区分装置は、前記入力映像
を所定回数だけ繰り返し平滑化させ、平滑化された映像
でエッジ部分を強調して出力する映像前処理部と、前記
映像前処理部から出力される映像から前記色特性値と前
記テクスチャ特性値を画素単位で計算し、この計算され
た前記色及び前記テクスチャ特性値を前記色−テクスチ
ャ距離測定装置に出力する特性値計算部と、ピラミッド
領域区分法によって、前記色−テクスチャ距離発生部か
ら出力される前記色−テクスチャ距離と第1スレショル
ド値とを比較し、この比較の結果に対応させて前記映像
の領域を細分化し、このように細分化された領域に関す
る情報を有する基礎領域区分マップから映像グラフを生
成して出力する主要領域区分部及び前記色−テクスチャ
距離発生部から出力される前記色−テクスチャ距離と第
2スレショルド値とを比較し、この比較の結果に対応さ
せて前記映像グラフを単純化し、このように単純化され
た映像グラフから得られた最終映像グラフを出力する映
像グラフ単純化部で構成されることを特徴とする。(請
求項17)
前記色加重値wcと前記色距離とを乗算し、所定の前記
テクスチャ加重値wtと前記テクスチャ距離とを乗算
し、これらの乗算の結果同士を加算し、この加算の結果
を前記色−テクスチャ距離として前記主要領域区分部に
出力することが好ましい。(請求項18)
前記細分化された領域のテクスチャ度t(u′、
v′)、前記細分化された領域の大きさp(u′、
v′)、及び前記細分化された領域の彩度s(u′、
v′)に対応させて可変される前記色加重値w
c(u′、v′)及び前記テクスチャ加重値wt(u′、
v′)を、前記色距離及び前記テクスチャ距離の各々に
乗算し、これらの乗算の結果同士を加算し、この加算の
結果を前記色−テクスチャ距離として前記映像グラフ単
純化部に出力することが好ましい。(請求項19) 但し、前記細分化された領域のテクスチャ度t(u′、
v′)、前記細分化された領域の彩度s(u′、
v′)、及び前記細分化された領域の彩度s(u′、
v′)、前記色加重値wc(u′、v′)及び及び前記
テクスチャ加重値wt(u′、v′)中のu′、v′は
各々、前記細分化された領域を示す。
下記式(12)に基づき、前記色加重値wc(u′、
v′)を計算する色加重値計算部と、下記式(17)に
基づき、前記テクスチャ加重値wt(u′、v′)を計
算するテクスチャ加重値計算部とを備えることが好まし
い。(請求項20)
び記号(S6)は各々、色及びテクスチャ加重定数を示
し、更に下記式(13)、式(15)及び式(16)を
満たす。
クスチャ度の最大値を示す。
さのスレショルド値を示す。
のスレショルド値を示す。
クスチャ距離と前記第2スレショルド値とを比較し、こ
の比較の結果に対応させて前記映像グラフ上に表示され
る2つの前記細分化された領域u′とv′とを併合し、
このように併合した最終結果を反映させて生成した第1
中間映像グラフを出力する第1次領域併合部と、第1色
−テクスチャ距離と前記第2スレショルド値とを比較
し、この比較の結果に対応させて前記第1中間映像グラ
フ上に表示される2つの領域u"とv"とを併合し、この
ように併合した最終結果を反映させて生成した第2中間
映像グラフを出力する第2次領域併合部と、第2色−テ
クスチャ距離と前記第2スレショルド値とを比較し、こ
の比較の結果に対応させて前記第2中間映像グラフ上に
表示される2つの領域u"′とv"′とを併合し、このよ
うに併合した最終結果を反映させて生成した前記最終映
像グラフを出力する第3次領域併合部を備え、前記色−
テクスチャ距離発生部は、前記色加重定数下記記号(S
5)が「0」に設定されるとき、前記色加重値計算部か
ら出力される前記色加重値wc(u"、v")及び前記テ
クスチャ加重値計算部から出力される前記テクスチャ加
重値wt(u"、v")を、WH≪WB及びWS≪WBの条件
にて、前記色及び前記テクスチャ距離計算部から各々出
力される前記色距離及び前記テクスチャ距離に各々乗算
し、この乗算の結果を加算し、この加算の結果を前記第
1色−テクスチャ距離として出力し、前記色−テクスチ
ャ距離発生部は、下記式(20)の条件にて、前記色及
び前記テクスチャ加重値計算部から各々出力される前記
色加重値wc(u"′、v"′)及び前記テクスチャ加重
値wt(u"′、v"′)を前記色距離及び前記テクスチ
ャ距離に各々乗算し、この乗算の結果同士を加算し、こ
の加算の結果を前記第2色−テクスチャ距離として出力
し、前記第2スレショルド値は、前記領域の大きさによ
って流動的に変わることが好ましい。(請求項21)
ャ距離の測定方法と、その方法を実行する装置の構成及
び動作を、添付した図面を参照しながら説明する。図1
は、本発明に係る色−テクスチャ距離の測定方法を説明
するためのフローチャートであって、この測定方法は、
色距離とテクスチャ距離を求める段階(第10及び第1
2段階)及び色距離、テクスチャ距離、これらに各々対
応する加重値を用いて色−テクスチャ距離を求める段階
(第14段階)で構成されている。
離の測定方法を実行するための本発明に係る色−テクス
チャ距離測定装置のブロック図であって、色距離計算部
20、テクスチャ距離計算部22、及び色−テクスチャ
距離発生部24で構成される。
計算部20は、映像の画素が有する色特性値で構成され
る色特性空間上で与えられた2点であるx及びyの各々
が有する色特性値、すなわち、輝度(B:Brightn
ess)、彩度(S:Saturation)及び色相
(H:Hue)を、入力端子IN1を通して入力し、入
力した輝度B差、彩度Sの差、及び色相Hの差に相異な
る重要度を割り当て、このように割り当てられた重要度
に比例して輝度Bの差、彩度Sの差及び色相Hの差をす
べて加算し、これらを加算した結果を、前記の2点x及
びy間の色距離として色−テクスチャ距離発生部24に
出力する(第10段階)。
定方法は、BHS(輝度B、彩度S、色相H)で構成さ
れる色特性空間上で次のような3種の基準条件を用いて
重要度を決定する。第1の条件;色相Hは輝度Bや彩度
Sより格段に重要な役割を果たす。第2の条件;輝度B
が絶対値、すなわち「0」に接近する場合、映像の色は
色相Hや彩度Sとは関係なく黒色となる。第3の条件;
彩度Sが絶対値「0」に接近する場合、すなわち灰色に
なれば色相Hは任意の値を有するようになる。
離計算部20は、前述した3種の基準条件を基にして決
定した重要度を、輝度Bの差、彩度Sの差及び色相Hの
差に割り当て、下記式(1)で示される色距離D
BHS1(x、y)を求める。
yに対応する)、H(o)及びS(o)は各々、前記の
2点x及びyの中の任意の点「o」に対する色特性値、
すなわち、輝度B、色相H及び彩度Sを示す。これらに
ついては後で詳細に説明する。また、下記記号(S1)
はB(x)とB(y)の平均値を示し、下記記号(S
2)はS(x)とS(y)の平均値を示し、WB、a及
びbは各々定数であり、FS(j)は彩度Sに対する線
形補正関数を示し、FH(j)は色相Hに対する線形補
正関数を示す。このとき、線形補正関数[FS(j)ま
たはFH(j)]は、低い輝度Bと低い彩度Sの条件下
で、色相Hと彩度Sの差異を抑制するために用いられた
ものである。このため、線形補正関数[FS(j)また
はFH(j)]は、jが1より小さければjとなり、j
が1以上であれば1となり得る。
差[B(x)−B(y)]、色相Hの差[H(x)−H
(y)]及び彩度Sの差[S(x)−S(y)]には相
異なる値が乗算されており、このように乗算される値は
前述した重要度によって決定されたものである。
離計算部20は、前述した基準条件を基にして決定され
た重要度を、輝度Bの差、彩度Sの差及び色相Hの差に
割り当て、下記式(2)で示される色距離[D
BHS2 2(x、y)]を求める。
であり、FS(S(x)、S(y))は彩度に対する非
線形補正関数を示し、FB(B(x)、B(y))は輝
度Bに対する非線形補正関数を示す。
差の自乗([B(x)−B(y)] 2)、色相差の自乗
([H(x)−H(y)]2)、及び彩度Sの差の自乗
([S(x)−S(y)]2)には、相異なる値が乗算
されており、このように乗算される値は前述した重要度
によって決定されたものである。
計算部22は、画素に対するテクスチャ特性値で構成さ
れるテクスチャ特性空間上で与えられた2点であるx及
びyが有する、後述のテクスチャ特性値を、入力端子I
N2を通して入力し、この入力したテクスチャ特性値間
の差を検出し、テクスチャの多重度に適用される加重係
数、及び検出された差を用いて前記の2点x及びy間の
テクスチャ距離を計算し、この計算されたテクスチャ距
離を色−テクスチャ距離発生部24に出力する(第12
段階)。このため、本発明に係る望ましい実施例では、
下記式(3)を用いてテクスチャ距離Dt(x、y)を
求める。
度に適用される加重係数を示し、下記記号(S3)及び
記号(S4)はx及びyのテクスチャ特性値であり、こ
れらについては後述される。また、k=1、2、…、K
であり、z=1、2、…、Zであり、Zは所定の定数で
あって、これについては後述される。ここで、テクスチ
ャ特性値はKZのみ存在する。
たように、色−テクスチャ距離発生部24は色距離計算
部20から入力した前記式(1)または式(2)で示さ
れる色距離DBHS1またはDBHS2を色加重値wcと乗算
し、前記式(3)で表されるテクスチャ距離[D
t(x、y)]をテクスチャ加重値wtと乗算し、これら
の乗算の結果同士を加算し、この加算の結果を2点間の
色−テクスチャ距離[D(x、y)]として出力端子O
UT1を通して出力する(第14段階)。ここで、色−
テクスチャ距離発生部24から出力される色−テクスチ
ャ距離が映像の領域を区分するのに用いられる場合、色
−テクスチャ距離発生部24は色加重値とテクスチャ加
重値を求めるために必要な値を例えば、平均テクスチャ
値を、入力端子IN3を通して入力する。
る方法及び装置によって測定された色−テクスチャ距離
を用いて入力映像を複数の領域に区分する、本発明に係
る映像の領域区分方法とその方法を実行する装置の構成
及び動作を、添付した図面を参照して説明する。
を説明するためのフローチャートであって、入力映像を
前処理した後、色及びテクスチャ特性値を求める段階
(第30及び第32段階)、測定された色−テクスチャ
距離を第1及び第2スレショルド値と各々比較して映像
を細分及び併合する段階(第34〜第38段階)で構成
される。
発明に係る映像の領域区分装置のブロック図であって、
映像前処理部(pre−processor)40、特
性値計算部42、色−テクスチャ測定装置44、主要領
域区分部46及び映像グラフ単純化部48から構成され
ている。ここで、色−テクスチャ測定装置44は、図2
に示される色−テクスチャ距離測定装置に対応して同一
の機能を実行するので、それに対する構成及び動作の説
明は省略する。
端子IN4を通して入力した入力映像を所定回数だけ繰
り返して平滑化させ、平滑化された映像でエッジ部分を
強調して前処理された映像を特性値計算部42に出力す
る(第30段階)。第30段階を詳細に説明すると次の
通りある。
あるいはビデオ映像信号に対応する入力映像は、統計的
な構成要素である雑音に相当する部分と、意味のある構
成要素である雑音以外に相当する部分とから構成されて
いる。ここで、映像の各構成要素は他の種の情報を含
む。このような構成要素の統計的区別方法は入力映像を
多様な他の性質を有する要素に分解できるようにする。
させ雑音を除去し、平滑化された映像を顕著なエッジを
有する部分と顕著なエッジを有しない部分とに分解して
オブジェクトのエッジ部分を生かすエッジ保存映像平滑
化(Edge−preserving image s
moothing)が実行される。エッジ保存映像平滑
化は、1998年度にP.A.Chochiaによって
「Optical Memory and Neura
l Networks」という学術誌に発表された「T
wo Tasks in Image Enhance
ment Technology」に開示されており、
次のように要約される。
画素の集合[{x}]が、下記式(5)で表現されると
き、他の大きさのウィンドウを適用しながらウィンドウ
内部に存在する画素の輝度値のうち、顕著な輝度値を有
する画素を除外した残り画素を平滑化(smoothi
ng)する。
後得られる映像画素の輝度値[lq m n]は、以前に得ら
れた結果である輝度値[lq-1 mn]を用いてウィンドウ
[Wq m n]から下記式(6)を用いて求められる。
値関数であって、x′が−σと+σ間にあるときはw
(x′)=1となり、そうでなければw(x′)=0と
なる。前述した輝度値[lq-1 mn]は以前ウィンドウで
加重値関数の中心値を意味する。最初に入力映像を平滑
化するときはxmnがlq-1 mnの代りに用いられる。
された画素の輝度値[s′mn]はl Q mnで表現される。
すなわち、s′mnはQ個のウィンドウを有して平滑化し
た映像画素の結果の値を意味する。実験の結果、得られ
た望ましい平滑化回数は2回であって、最初平滑化では
3−5画素の面積を有するウィンドウを用いて、第2回
目の平滑化では10−40画素の面積を有するウィンド
ウを用いた。このとき、雑音が多い映像で平滑化された
成分を抽出するのに良い性能を示しており、計算結果の
値の自乗平均エラー(mean square err
or)は0.5%以内であった。
計算部42は、映像前処理部40から出力される前処理
された映像から色特性値とテクスチャ特性値を画素単位
で計算し、この計算された色及びテクスチャ特性値を色
−テクスチャ距離測定装置44に出力する(第32段
階)。
て説明すると、まず、色の特性空間とテクスチャの特性
空間とを一緒に用いて、一般的な特性空間を提供するた
めの基礎を作る。このとき、色の特性空間とテクスチャ
の特性空間を定義することによって、映像に存在する各
画素の色特性値を指定することができる。各画素の色特
性値、すなわち、輝度B、色相H及び彩度Sは下記式
(7)で表される。
画素の色値を示し、u=min(r、g、b)(前記
r、g、bのうちの最小値)を示す。
値について説明すると、テクスチャ特性空間を形成する
ために用いられる多重度と、多重方向のテクスチャ特性
値(oriented texture featur
es)は各々、画素当たり多重方向の局所変動v(lo
cal variation)と局所振動f(loca
l oscillation)とを計算した後、これら
を合成して得られる。
レベル差分法(Gray Level Differe
nce Method)に相当するものである。このグ
レーレベル差分法は、1974年度にE.J.Cart
on、J.S.Weszka及びA.Rosenfel
dがメリーランド大学(Univ.of Maryla
nd)の技術報告書(TR:Technical Rep
ort)−288に発表した「Some Basic
Texture Analysis Techniqu
es」、及び1985年度にL.Van Gool、
P.Dewaele及びA.Oosterlinckが
コンファレンスCVGIPで発表した「Texture
Analysis Anno」に各々開示されてい
る。前記式(7)で定義される映像の輝度値Bは、この
ようなテクスチャ特性値を抽出する際に用いられる。
像で各画素m、nを中心に2L長さの画素が存在し、こ
の画素m、nを中心に角度αk=kπ/K、k=0、
1、…、K−1だけを回転させる。このとき、li(−
L≦i≦L)がこのように均一に分布された配列の画素
中で1つの画素の輝度値Bを示すというとき、上向加重
変動v+と下向加重変動v-は下記式(8)のように表現
される。
する画素の輝度Bの値の差異(gradient)(l
i+1−li)を示し、wiはAcos(iπ/(2L+
1))であってコサイン加重関数である。コサイン加重
関数におけるAは係数としてを作るための値として用い
られる。このとき、局所変動vkは下記式(9)で表さ
れるように、上向加重変動v+と下向加重変動v-の最小
値に指定される。
って求められるdiの中で、方向(sign)が変わる
と同時に、その振動の大きさであるdiの大きさが、定
まった敏感度を越える個数を、局所振動fとして定義す
る。このとき、求められる各画素の局所変動値vkと局
所振動値fkとを乗算して該画素のテクスチャ特性値
(下記式(21))を求める。また、このようにして求
められるテクスチャ特性値を更に均一にするために、下
記式(10)で表される変形式を利用する。
チャ特性値tkはh×1の大きさを有する窓の平均値に
平滑化され、双曲線タンジェント(hyperboli
ctangent)を用いた変形により、高いテクスチ
ャ特性値は小さくなって低いテクスチャ特性値は大きく
なる。このとき、映像の大きさを、他の周波数でZ回だ
け減らしながら(毎回1/2ずつ)、前記式(10)で
表される各画素のテクスチャ特性値tkを下記式(1
1)で表わすことができる。
KZテクスチャ特性値(下記記号(S30))が生じ
る。
クスチャ測定装置44は、図2に示される構成で、図1
に示される色−テクスチャ測定方法によって、色−テク
スチャ距離を測定し、測定された色−テクスチャ距離を
主要領域区分部46(図4)に出力する(第34段
階)。
域区分法によって、主要領域区分部46(図4)は、色
−テクスチャ測定装置44で測定された色−テクスチャ
距離と第1スレショルド値Th1とを比較し、映像前処
理部40から入力した前処理された映像の領域を、前記
比較の結果に対応させて細分化し、このように細分化さ
れた領域に関する情報を有する基礎領域区分マップから
映像グラフを生成して映像グラフ単純化部48に出力す
る(第36段階)。すなわち、主要領域区分部46は前
処理された映像に存在する画素間の関係を把握して、前
処理された映像を小さい領域のグループを有するベクト
ル映像に変換する。
ピラミッド領域区分法(pyramidal recu
rsive approach)は、1979年にG.
M.Hunter及びK.Steiglitzによっ
て、学術誌;PAMI−1ジャーナルのIEEE Tr
ansに掲載された「Operation of Im
ages Using Quadtrees」、及び1
980年にA.Rosenfeldによってパターン認
識に関する第5回国際会議(5th Int.Conf
erence on Pattern Recogni
tion)の会報(Proceeding)に掲載され
た「Quadtrees and Pyramids
for Pattern Recognition a
nd Image Analysis」に記載されてい
る。
に、映像を重複しないように多くの領域のグループに分
け、第2番目に、順次に小さくなる種々の大きさ(mu
ltiple scale or resolutio
n)の映像を作製し、第3番目に、下位階層の1つの構
成分子と上位階層の1つの構成分子との間の相互関係を
成立させる均一な規則を選択し、第4番目に、この規則
を繰り返し、すべての階層の全領域に対して適用するも
のである。
に示される主要領域区分部46が基礎領域区分マップを
作製する過程を説明すると次の通りある。図5は、各階
層の領域が、2×2形式を有する4分ツリー(tre
e)(または、クォッド・ツリー(quad tre
e))を示す図面であって、第1階層60、…、第N−
2階層62、第N−1階層64、第N階層66から構成
されたものである。ここで、第1階層60は複数の画素
68で構成され、縦軸は階層を示す。
ップを作製するために、図5に示されるクォッド・ツリ
ー形式で、直接パス及び逆パスにて次のような動作を実
行する。
いて説明すると、直接パスは最下位階層である全体映像
60から1つのノード0を有する最上位階層66方向の
経路であり、直接パスですべてのピラミッド階層60、
…、62、64、及び66に対して反復的な分析が実行
される。直接パスで実行される動作は、図5に示される
ようなピラミッド構造の形成と、各ツリーノードに相当
する情報、すなわち、平均輝度値、エッジ線等を決定す
ることである。
各ノードのグループは、第N−1階層64におけるノー
ドと相対ノードを形成するので、4分ツリー構造で各ノ
ードは、その下位階層に存在する4個のノードに関する
情報を包含する。ピラミッド領域区分法の基本は、近接
する画素や領域を比較分析して併合して行くことにあ
る。このため、すべての階層でエッジを定義するエッジ
マップの作製が必要となる。もし、各階層で画素間の距
離が所定の第1スレショルド値Th1よりも大きけれ
ば、その画素間には水平や垂直方向のエッジを表示す
る。図5に示される第2階層から第N階層66までの階
層の中のいずれか1つの階層は、それより下位の階層の
エッジマップの内容を含む。
することができる4個の映像構成分子の領域70、7
2、74、76及びこれらの領域70、72、74及び
76と隣接する領域0r、2r、0b、及び1bを示す
図面であり、各領域に記載された番号はその領域のノー
ド番号を示す。
まず、図6に示される領域70及び72間の距離、領域
74及び76間の距離、領域70及び74間の距離、並
びに、領域72及び76間の色−テクスチャ距離を前記
式(4)を用いて求める。このとき、前記式(4)にお
いて、色加重値wc及びテクスチャ加重値wtの各々は、
予め設定された所定値である。
は、所定の色加重値wcと色距離とを乗算し、所定のテ
クスチャ加重値wtとテクスチャ距離とを乗算し、これ
らの乗算の結果同士を加算し、この加算の結果を色−テ
クスチャ距離として、出力端子OUT1を通して主要領
域区分部46に出力する。このように求められた色−テ
クスチャ距離のうち、第1スレショルド値Th1を超過
する色−テクスチャ距離を求めた領域間にエッジを表示
する。
同じ性質(色またはテクスチャ)を有する同一の領域と
みなす。例えば、領域72及び76間の色−テクスチャ
距離と、領域74及び76間の色−テクスチャ距離が、
第1スレショルド値Th1を超過する場合、領域72及
び76間と、領域74及び76間には、水平及び垂直方
向のエッジ80及び78が各々表示され、領域70、7
2及び74は、他の領域76と区分される。
4及び76が、図5に示される第N−2階層62の2四
分面に相当する場合、同一の性質を有する領域70、7
2及び74の輝度B、色度H及び彩度Sに対する平均値
は、上位階層である第N−1階層64の該ノード68に
伝えられる。一方、残された領域76に関する情報、す
なわち、輝度B、色度H、及び彩度Sは、第N−1階層
64の該ノード68に伝えられずに残る。
生成する。例えば、第N−2階層62の2四分面の4個
の領域70、72、74で生成されたエッジマップの情
報を有し、4個を合せた第N−1階層64の該領域68
の右側と下のエッジを設定する。すなわち、図6に示さ
れる領域72及び76と領域0r及び2rとの間、領域
74及び76と領域0b及び1bとの間に第N−1階層
64のためのエッジを設定する。このようにして、直接
パスで実行されるすべての動作が完了すると、各階層の
各領域は上位階層の領域に属したり、下位階層の領域を
含んだりして構成される。
された後、図5に示される最上位階層66から第1階層
60方向の経路である逆パスで実行される動作について
説明すると、各階層で1つのノードに関する分析が次の
ように実行される。
領域番号を何ら持っていない場合には、新しい領域番号
を該ノードに割り当てる。例えば、第N−1階層64で
ノード0、1、2が同一の領域に対応して、ノード3は
他の領域に対応する場合には、このノード0、1、2が
併合された同一の領域に領域番号1′を割り当て、分離
された領域であるノード3に新しい領域番号2′を割り
当てる。
いれば、直接パスで動作を実行するとき、該領域番号を
有するノードに連結した下位階層のノードに該領域番号
を割り当てる。例えば、第N−2階層62の1四分面で
ノード1、2、3が同一の領域に対応してノード0は他
の領域に対応し、第N−2階層62の2四分面でノード
0、1、2が同一の領域に対応してノード3は他の領域
に対応し、第N−2階層62の3四分面でノード0、
1、2が同一の領域に対応してノード3は他の領域に対
応し、第N−2階層62の4四分面でノード0、1、2
が同一の領域に対応してノード3は他の領域に対応する
と仮定する。このとき、1四分面のノード1、2、3の
各々に第N−1階層64のノード1に割り当てられた領
域番号1′を割り当て、他の領域であるノード0に新し
い領域番号3′を割り当てる。
のノード0、1、2、及び3四分面のノード0、1、2
の各々に第N−1階層64のノード0、2に与えられた
領域番号1′を割り当て、4四分面のノード0、1、2
に第N−1階層64のノード3に与えられた領域番号
2′を割り当て、他の領域である第2四分面、第3四分
面、及び第4四分面の該ノード3、3、3に新しい領域
番号4′、5′、6′を各々割り当てる。前述した逆パ
スで対応する動作がすべて実行された後、領域区分に必
要な基礎領域区分マップが作製される。
めの例示的な図面であって、1、2、3、4、5の領域
番号が与えられた五つの領域90、92、94、96、
98から構成されている。
プから生成した映像グラフの例示的な図面であって、基
礎領域区分マップ上で隣接した領域は相互連結されてい
ることが分かる。
に示される基礎領域区分マップを用いて図8に示される
映像グラフを作製して、各領域が含む情報、すなわち、
画素の個数や平均色などを記憶する。ここで、図8に示
される映像グラフは、図7に示される基礎領域区分マッ
プからどの領域が隣接しているかに関する情報、及び隣
接した領域間のエッジ接線の長さに対して加重値wt
1、wt2、wt3、wt4及びwt5がどの程度の大
きさを有するかについての情報を提供する。
したように、ピラミッド領域区分法を用いて領域を微細
に区分するべく、領域の閉鎖を保障して区分された領域
が明確にすることができるという利点を有する。前記第
36段階(図3)の後に、前記色−テクスチャ距離発生
部24(図2)から出力される色−テクスチャ距離と、
第2スレショルド値とを比較し、前記主要領域区分部4
6(図4)で生成した映像グラフを、前記比較の結果に
対応させて単純化し、このように単純化された映像グラ
フを最終映像グラフとして出力端子OUT2を通して出
力する(第38段階(図3))。
テクスチャ距離を発生するために、前記色−テクスチャ
距離発生部24(図2)は、所定の色加重値wcと、所
定のテクスチャ加重値wtとを用いる代わりに、細分化
された領域に対する特性を用いる。ここで、細分化され
た領域に対する特性というのは、細分化された領域のテ
クスチャ度[t(u′、v′)](u′及びv′は各
々、基礎領域区分マップに表示される細分化された領域
を示す)、細分化された領域の大きさ[p(u′、
v′)]及び細分化された領域の彩度[s(u′、
v′)]に対応して可変される色加重値[wc(u′、
v′)]及びテクスチャ加重値[wt(u′、v′)]
を意味する。すなわち、色−テクスチャ距離発生部24
は可変される色加重値[w c(u′、v′)]及び可変
されるテクスチャ加重値[wt(u′、v′)]を、前
記式(1)または式(2)で表される色距離及び前記式
(3)で表されるテクスチャ距離と各々乗算し、これら
の乗算の結果同士を加算し、この加算の結果を色−テク
スチャ距離として映像グラフ単純化部48に出力する。
離発生部24の本発明に係る望ましい1実施例のブロッ
ク図であって、色加重値計算部100、テクスチャ加重
値計算部102、第1及び第2乗算器104及び106
及び加算器108から構成されている。
下記式(12)で表される色加重値[wc(u′、
v′)]を計算し、この計算された色加重値を第1乗算
器104に出力する。
記号(S6)は各々、色及びテクスチャ加重定数を示
し、t(u′、v′)は下記式(13)で表される。
の最大値を示し、T(u′)は下記式(14)で表され
る。
域u′の大きさzにおいて方向kを有する平均テクスチ
ャ値を意味する。加重値wzは前記式(3)で示される
加重係数である。また、前記式(12)中、p(u′、
v′)は下記式(15)で表される。
ップ上に表示される細分化された領域の大きさのスレシ
ョルド値を示す。また、前記式(12)中、s(u′、
v′)は下記式(16)で表される。
ルド値を示す。前記式(15)と式(16)の各々に含
まれる関数Fは、非常にサイズが小さな領域や、低い彩
度の影響を抑制するために用いられたものである。
02は、テクスチャ加重値[wt(u′、v′)]を下
記式(17)を用いて計算し、この計算されたテクスチ
ャ加重値を第2乗算器106に出力する。
テクスチャ加重値計算部102は入力端子IN5を通し
て(入力端子IN5は図2に示される入力端子IN3に
対応する)平均テクスチャ値を入力し、前述した色及び
テクスチャ加重定数、テクスチャ度の最大値、平均テク
スチャ値加重係数、基礎区分領域マップ上に表示される
細分化された領域の大きさのスレショルド値及び彩度程
度のスレショルド値の中で対応する値を、入力端子IN
5を通して外部から入力したり、予め記憶したりするこ
とができる。
式(1)または(2)で示される色距離Dcと色加重値
計算部100から出力される色加重値[wc(u′、
v′)]を乗算し、この乗算の結果を加算器108に出
力する。第2乗算器106は、前記式(3)で示される
テクスチャ距離Dtをテクスチャ加重値計算部102か
ら出力されるテクスチャ加重値[wt(u′、v′)]
と乗算し、この乗算の結果を加算器108に出力する。
加算器108は、第1乗算器104で乗算された結果と
第2乗算器106で乗算された結果とを加算し、下記式
(18)で表わされる加算の結果を、映像グラフを単純
化させるために必要な、下記式(18)で表される色−
テクスチャ距離として出力端子OUT3を通して映像グ
ラフ単純化部48に出力する。
びDt(u′、v′)は各々色距離及びテクスチャ距離
であって、前記式(4)で示される色距離及びテクスチ
ャ距離と同一である。
部48で用いられる色−テクスチャ距離を求めるために
用いられる色加重値wcと、テクスチャ加重値wtとが所
定値ではない変数である理由は、細分化された領域のテ
クスチャ度、細分化された領域の大きさ、及び細分化さ
れた領域の彩度が可変とされる場合、色−テクスチャ距
離を適宜調節するためである。例えば、細分化された領
域u′及びv′の大きさが細分化された領域の大きさの
スレショルド値Poよりも小さい場合に、前記式(1
8)に示すように、色加重値[wc(u′、v′)]が
増加すると、テクスチャ加重値[wt(u′、v′)]
が減少する。もし、細分化された領域のテクスチャ度が
増加すると、色加重値[wc(u′、v′)]は減少す
ると同時にテクスチャ加重値[wt(u′、v′)]は
増加する。
純化部48(図4)が第38段階(図3)を実行する過
程を説明すると次の通りある。まず、主要領域区分部4
6(図4)から出力される映像グラフに表示される領域
を、その大きさが減少する方向に配列させる。
意の領域を中心に(以下、中心となる領域を「ベース領
域」と称する)、そのベース領域と連結された隣接する
領域間の色−テクスチャ距離を前記式(18)から求め
る。もし、計算された領域間の色−テクスチャ距離が第
2スレショルド値θ以下であれば、ベース領域と対応す
る隣接領域を併合する。すなわち、対応する隣接領域を
ベース領域に含める。
含むようになれば、ベース領域の特性、すなわち、色、
テクスチャ、ベース領域の大きさ、及びエッジなどが変
化するので、映像グラフでベース領域と関連する部分、
すなわち、ベース領域と隣接する領域間の連結関係など
を修正する。このとき、新しく修正されたベース領域を
中心に、これと隣接する領域間の併合を前述したように
新規に実行する。このようにベース領域を新しく更新
し、この更新されたベース領域を中心に隣接する領域と
併合させる過程をすべて終了すると、次の大きさの領域
をベース領域に新しく指定して前述した併合過程を実行
する。このような併合過程は、映像グラフ上に表示され
る全領域に対して実行した後、終了する。
となっても、映像グラフを単純化させる過程は完全に実
行することが困難である。この問題点を克服するには、
映像グラフ単純化部48(図4)を、多様な下部併合部
に分けることが好ましい。このため、前記式(18)で
表される色及びテクスチャ加重値と、色及びテクスチャ
距離の値とを差別化し、領域の大きさに従って第2スレ
ショルド値θを動的に変化させる。これについて詳細に
説明すると次の通りある。
化部48で映像グラフを単純化する過程を説明するため
のフローチャートであって、第1次、第2次及び第3次
領域併合段階(120〜124)から構成されている。
4)の本発明に係る望ましい1実施例のブロック図であ
って、第1次、第2次及び第3次領域併合部140、1
42、144、及びスレショルド値発生部146から構
成されている。図11に示されるスレショルド値発生部
146は、下記式(19)で表される第2スレショルド
値θを動的に変化させて、第1次領域併合部140、第
2次領域併合部142及び第3次領域併合部144に、
各々出力する。
の領域の中で、より小さい方の領域の大きさを示し、P
o′は小さい領域が一般的に有し得る所定の大きさを示
す定数であり、αはスレショルド値定数であり、αβは
比較される2つの領域の中で大きな領域のスレショルド
値を意味する。
8)で表される色−テクスチャ距離と第2スレショルド
値とを比較し、色−テクスチャ距離がスレショルド値発
生部146から入力した第2スレショルド値以下の場合
映像グラフ上に表示される2つの細分化された領域
u′、v′を併合し、このように併合した最終結果を反
映させて生成した第1中間映像グラフを第2次領域併合
部142に出力する(第120段階)。前記式(19)
でαを徐々に増加させることによって第1次領域併合部
140の性能を改善することができる。
域併合部142(図11)は、第1色−テクスチャ距離
と第2スレショルド値とを比較し、第1色−テクスチャ
距離が第2スレショルド値以下の場合には、第1中間映
像グラフ区分マップに表示される2つの領域u"、v"を
併合し、このように併合した最終結果を反映させて生成
した第2中間映像グラフを第3次領域併合部144に出
力する(第122段階(図10))。
式(12)及び式(17)において、下記記号(S5)
色加重定数を「0」に設定して求めた色加重値及びテク
スチャ加重値、前記式(3)、式(1)、式(2)にW
H≪WB及びWS≪WBの条件を反映させて求めたテクスチ
ャ距離、及び色距離を前記式(18)に代入して求めた
色−テクスチャ距離に対応する。
距離発生部の第1乗算器104及び第2乗算器106は
各々、下記記号(S5)で表される色加重定数が「0」
の場合に、色加重値計算部100から出力される色加重
値[wc(u"、v")]、及びテクスチャ加重値計算部
102から出力されるテクスチャ加重値[wt(u"、
v")]を、WH≪WB及びWS≪WBの条件で、色及びテ
クスチャ距離計算部20、22から各々出力される色距
離とテクスチャ距離に乗算する。
算の結果同士を加算し、この加算の結果を、第1色−テ
クスチャ距離として出力端子OUT3を通して映像グラ
フ単純化部48に出力する。第122段階(図10)
は、領域u"及びv"の輝度が非常に低い場合のみ実行す
ることができる。
域併合部144(図11)は、第2色−テクスチャ距離
と、スレショルド値発生部146(図11)から入力し
た第2スレショルド値θとを比較し、第2色−テクスチ
ャ距離が第2スレショルド値以下の場合、第2中間映像
グラフに表示される2つの領域u"′、v"′を併合し、
このように併合した最終結果を反映させて生成した最終
映像グラフを、出力端子OUT4を通して出力する(第
124段階)。
式(12)及び式(17)に、下記式(20)の条件を
反映させて求めた色加重値及びテクスチャ加重値、前記
式(1)または式(2)で表される色距離と、前記式
(3)で表されるテクスチャ距離を前記式(18)に代
入して求めた色−テクスチャ距離に対応する。
距離発生部の第1乗算器104及び第2乗算器106
は、前記式(20)の条件で色及びテクスチャ加重値計
算部100、102から各々出力される色加重値w
c(u"′、v"′)とテクスチャ加重値wt(u"′、
v"′)とを、色距離とテクスチャ距離とに各々乗算す
る。
算器100及び第2乗算器102の乗算の結果同士を加
算し、この加算の結果を第2色−テクスチャ距離として
出力端子OUT3を通して映像グラフ単純化部48に出
力する。第3次領域併合部144(図11)は、領域
u"′、v"′のテクスチャ度が高い場合にのみ実行する
ことができる。
し、図13は本発明に係る映像領域区分方法及び装置に
よって区分された領域を示す図面である。図14は入力
または前処理された映像を示し、図15は本発明に係る
映像領域区分方法及び装置によって区分された領域を示
す図面である。図16は入力または前処理された映像を
示し、図17は本発明に係る映像領域区分方法及び装置
によって区分された領域を示す図面である。
は,主要領域区分部46(図4)で、例えば1600個
程度の領域に細分化され、映像グラフ単純化部48(図
4)はこの領域を例えば16個等に減らす、すなわち、
細分化された領域を併合して単純化させる。このとき、
単純化された結果に関する情報を有する最終映像グラフ
を用いて、図13、図15、図17に示されるような区
分された映像を得ることができる。
ャ測定方法及び装置、その測定された色−テクスチャを
用いた映像の領域区分方法及び装置は、デジタル方式の
対話形デジタルシステムで効果的に用いられる。デジタ
ル放送の一般大衆への普及を控えた現在、ユーザが放送
を視聴して情報を得るというこれまでの受動的な姿勢か
ら脱皮して、ユーザと放送者との間で直接的かつ能動的
な双方向での情報交換を可能とする、デジタル方式の対
話形ビデオシステムの開発が益々活発となっている。
テムでは、現在放映中のテレビドラマ、映画、教養番
組、広告、教養プログラム、ショッピング、競売等で、
ユーザが所望のオブジェクトに関する情報を得たい場
合、この所望のオブジェクトをユーザが画面上で直接選
択すると、この選択された情報が画面上にディスプレー
される。ユーザにとって関心のあるオブジェクトとして
は、例えば、画面に登場している人気歌手の衣服、ドラ
マでディスプレーされている家具や人物、あるいは料理
番組のレシピなどが挙げられる。このようなユーザにと
って関心のあるオブジェクトを、ユーザが選択すると、
選択されたオブジェクトに関する情報がユーザに提供さ
れる。
ら意味のあるオブジェクトを効果的に区分することが必
要である。放映中の映像の中で、意味のあるオブジェク
トが占める領域を、他の背景やオブジェクトと効果的に
区分するには、対応するオブジェクトが有する様々な特
徴を最大限に利用することが必要となる。この選択され
たオブジェクトが有する特徴としては、色、テクスチャ
または形状などが挙げられ、この中で、特に色またはテ
クスチャは、オブジェクトを単一の領域に単純化する際
の糸口を与える。
及び装置は、同一色または同一テクスチャを有する領域
が、1つの意味のあるオブジェクトである可能性が高い
という事実に基づいて、色距離とテクスチャ距離をすべ
て用いて映像の領域を安定して、明確に区分できる最終
映像グラフを提供する。
法及び装置は、選択されたオブジェクトが多様な色、ま
たは多様なテクスチャで構成される場合にも、細分化さ
れた映像を併合して、意味のあるオブジェクトが占める
領域を効果的に区分することを可能とする。
測定方法及び装置と、測定された距離を用いた映像の領
域区分方法及び装置は、デジタル放送と関連した製品、
及びソフトウェアで基本モジュールとしての役割を果た
すこともできる。
び装置は、映像内に存在する意味のあるオブジェクトを
検索及び認識したり、意味のあるオブジェクトをトラッ
クキングしたりする際に好適である。すなわち、本発明
に係る方法及び装置から求められた最終映像グラフを用
いて、意味のあるオブジェクトが占める領域に関する情
報を抽出することができる。
するオブジェクトが以前にディスプレーされた画面を検
索したり認識したりすることができ、抽出された情報と
似た情報を有するオブジェクトが以前にディスプレーさ
れたすべての画面をトラックキングすることもできる。
また、抽出された情報は、映像を編集したり、映像を作
製したりすることに利用することができる。
ure Expert Group)のような映像圧縮
方式で圧縮されて伝送される映像で、意味のあるオブジ
ェクトのみを効率的に伝送しようとする場合に、抽出さ
れた情報に対応する部分のみを更に微細に圧縮して伝送
することにより、伝送効率を最大限に高めることが可能
である。
によれば、低い輝度、低い彩度からなる領域及びその領
域の大きさや、その領域間に接したエッジの長さなどを
考慮した、正確な色−テクスチャ距離を求めることが可
能な色−テクスチャ距離の測定方法及び装置と測定され
た色−テクスチャ距離を用いた映像の領域区分方法及び
装置を提供することができる。
て、映像の領域をより効率的に区分することができ、色
とテクスチャとを同時に用いて求めた色−テクスチャ距
離によって映像の領域を安定に区分することができ、テ
クスチャ特性値を簡単な計算によって求めて安定した映
像区分の実行速度を維持することができ、数回にわたっ
て行なわれる領域併合によって平均して優れた領域区分
性能を具現することが可能である。その結果、本発明に
よれば、入力映像から同一の色、または同一のテクスチ
ャを有する領域を、人間の認知と類似した形態で抽出す
ることが可能となる。
説明するためのフローチャートである。
を実行する、本発明に係る色−テクスチャ距離測定装置
のブロック図である。
めのフローチャートである。
映像の領域区分装置のブロック図である。
ーを示す図面である。
構成要素の領域と隣接する領域とを示す図面である。
図面である。
像グラフの例示的な図面である。
に係る望ましい1実施例のブロック図である。
を単純化する過程を説明するためのフローチャートであ
る。
1実施例のブロック図である。
る。
って区分された領域を示す図面である。
る。
って区分された領域を示す図面である。
る。
って区分された領域を示す図面である。
Claims (21)
- 【請求項1】 (a)映像の画素が有する色特性値で構
成される色特性空間上で与えられた2点間に、互いに独
立して異なる、輝度差、彩度差及び色相差の各重要度を
割り当て、このように割り当てられた前記各重要度に比
例した輝度差、彩度差及び色相差を加算して前記2点間
の色距離を求める段階と、 (b)前記画素に対するテクスチャ特性値で構成される
テクスチャ特性空間上で与えられた前記2点間のテクス
チャ特性値差と、テクスチャの多重度とに適用される加
重係数を用いて前記2点間のテクスチャ距離を求める段
階と、 (c)前記色距離と色加重値とを乗算し、かつ前記テク
スチャ距離とテクスチャ加重値とを乗算し、これらの乗
算の結果同士を加算して前記2点間の色−テクスチャ距
離を求める段階とを備え、色相が輝度や彩度よりも重要
であり、輝度が絶対値に接近するにつれて次第に色が黒
色を呈するようになり、彩度が絶対値に接近するにつれ
て次第に色相が任意の値を有するようになるという事実
に基づいて前記重要度を決定することを特徴とする色−
テクスチャ距離の測定方法。 - 【請求項2】 前記(a)段階は、下記式(1)に基づ
き、前記色距離を求めることを特徴とする請求項1に記
載の色−テクスチャ距離の測定方法。 【数1】 前記式(1)中、DBHS1(x、y)は前記色特性空間上
における2点であるxとyの色距離を表わし、B
(o)、H(o)及びS(o)は各々、任意の点「o」
における輝度、色相及び彩度を示し、前記任意の点
「o」は前記点xまたはyを示し、下記記号(S1)は
B(x)とB(y)の平均値を示し、下記記号(S2)
はS(x)とS(y)の平均値を示し、WB、a及びb
は各々定数であり、FS(j)は彩度に対する線形補正
関数を示し、FH(j)は色に対する線形補正関数を示
す。 【数2】 【数3】 - 【請求項3】 前記彩度に対する線形補正関数F
S(j)、または前記色に対する線形補正関数FH(j)
は各々、jが1より小さいときにはjとなり、jが1以
上であるときには1となることを特徴とする請求項2に
記載の色−テクスチャ距離の測定方法。 - 【請求項4】 前記(a)段階は、下記式(2)に基づ
き、前記色距離を求めることを特徴とする請求項1に記
載の色−テクスチャ距離の測定方法。 【数4】 前記式(2)中、DBHS2 2(x、y)は前記色特性空間
上における2点であるxとyの色距離を表わし、B
(o)、H(o)及びS(o)は各々、任意の点「o」
における輝度、色相及び彩度を示し、前記任意の点
「o」は前記点xまたはyを示し、WB、WH及びWSは
各々所定の定数を示し、FS(S(x)、S(y))は
彩度に対する非線形補正関数を示し、FB(B(x)、
B(y))は輝度に対する非線形補正関数を示す。 - 【請求項5】 前記(b)段階は、下記式(3)に基づ
き、前記テクスチャ距離[Dt(x、y)]を求めるこ
とを特徴とする請求項2または4に記載の色−テクスチ
ャ距離の測定方法。 【数5】 前記式(3)中、Dt(x、y)は前記色特性空間上に
おける2点であるxとyのテクスチャ距離を表わし、w
zは前記加重係数を示し、下記記号(S3)及び下記記
号(S4)は前記の2点x及びyの前記テクスチャ特性
値であって、k=1、2、…、Kであり、Zは所定の定
数を示す。 【数6】 【数7】 - 【請求項6】 前記色−テクスチャ距離を用いて、入力
映像を複数の領域に区分する映像の領域区分方法とし
て、更に (d)前記入力映像を所定回数だけ繰り返して平滑化さ
せ、平滑化された映像でエッジ部分を強調する段階と、 (e)前記色特性値と前記テクスチャ特性値とを映像の
画素単位で求め、前記(a)段階にもどる段階と、 (f)前記(c)段階の後に、ピラミッド領域区分法に
よって、前記色−テクスチャ距離と第1スレショルド値
(閾値)とを比較し、この比較の結果に対応させて前記
映像の領域を細分化し、このように細分化された領域に
関する情報を有する基礎領域区分マップから映像グラフ
を求める段階と、 (g)前記色−テクスチャ距離と第2スレショルド値と
を比較し、この比較の結果に対応させて前記映像グラフ
に表示される領域を併合して最終映像グラフを求める段
階とを備えることを特徴とする請求項5に記載の色−テ
クスチャ距離を用いた映像の領域区分方法。 - 【請求項7】 前記(f)段階で用いられる前記色−テ
クスチャ距離は、所定の色加重値wc(u′、v′)及
び所定のテクスチャ加重値wt(u′、v′)を用いて
決定されることを特徴とする請求項6に記載の色−テク
スチャ距離を用いた映像の領域区分方法。但し、前記所
定の色加重値wc(u′、v′)及び前記所定のテクス
チャ加重値wt(u′、v′)中のu′、v′は、各々
前記細分化された領域を示す。 - 【請求項8】 前記(g)段階で用いられる前記色−テ
クスチャ距離は、前記細分化された領域が有する特性に
対応させて可変される前記所定の色加重値w c(u′、
v′)、及び前記所定のテクスチャ加重値wt(u′、
v′)を用いて決定されることを特徴とする請求項7に
記載の色−テクスチャ距離を用いた映像の領域区分方
法。但し、前記所定の色加重値wc(u′、v′)及び
前記所定のテクスチャ加重値wt(u′、v′)中の
u′及びv′は各々、前記細分化された領域を示す。 - 【請求項9】 前記細分化された領域が有する特性は、
細分化された領域のテクスチャ度t(u′、v′)、前
記細分化された領域の大きさp(u′、v′)及び前記
細分化された領域の彩度s(u′、v′)を含むことを
特徴とする請求項8に記載の色−テクスチャ距離を用い
た映像の領域区分方法。但し、前記細分化された領域の
テクスチャ度t(u′、v′)、前記細分化された領域
の大きさp(u′、v′)及び前記細分化された領域の
彩度s(u′、v′)中のu′及びv′は各々、前記細
分化された領域を示す。 - 【請求項10】 前記色加重値wc(u′、v′)は、
下記式(12)に基づいて求められ、 前記テクスチャ加重値wt(u′、v′)は、下記式
(17)に基づいて求められることを特徴とする請求項
9に記載の色−テクスチャ距離を用いた映像の領域区分
方法。 【数8】 【数9】 前記式(12)及び式(17)中、下記記号(S5)及
び記号(S6)は各々、色及びテクスチャ加重定数を示
すとともに、下記式(13)、式(15)及び式(1
6)を満たす。 【数10】 【数11】 【数12】 前記式(13)中、Tmaxは前記テクスチャ度の最大値
を示す。 【数13】 前記式(13)中、Poは前記細分化された領域の大き
さのスレショルド値を示す。 【数14】 前記式(14)中、Soは前記細分化された領域の彩度
のスレショルド値を示す。 - 【請求項11】 前記(g)段階は、 (g1)前記色−テクスチャ距離と前記第2スレショル
ド値とを比較した結果に対応させて、前記映像グラフ上
に表示される2つの前記細分化された領域u′とv′と
を併合する段階と、 (g2)前記(g1)段階で領域u′とv′を併合した
最終結果を反映した映像グラフに表示される2つの領域
をu"及びv"としたとき、前記色加重定数(下記記号
(S5)))を「0」に設定してWH≪WB及びWS≪WB
の条件を付与して決定された前記色加重値wc(u"、
v")、前記テクスチャ加重値wt(u"、v")、前記色
距離及び前記テクスチャ距離を用いて求めた前記色−テ
クスチャ距離と前記第2スレショルド値とを比較した結
果に対応させて、前記2つの領域u"とv"とを併合する
段階と、 (g3)前記(g2)段階で領域u"とv"を併合した最
終結果を反映した映像グラフに表示される2つの領域を
u"′及びv"′としたとき、下記式(20)を満たすよ
うに設定して決定された前記色加重値wc(u"′、
v"′)及び前記テクスチャ加重値wt(u"′、v"′)
を用いて求めた前記色−テクスチャ距離と、前記第2ス
レショルド値とを比較した結果に対応させて、前記2つ
の領域u"′とv"′とを併合し、前記2つの領域を併合
して得られた最終結果を反映させた前記最終映像グラフ
を求める段階とを備え、前記第2スレショルド値は、前
記領域の大きさに応じて変化することを特徴とする請求
項10に記載の色−テクスチャ距離を用いた映像の領域
区分方法。 【数15】 【数16】 - 【請求項12】 映像の画素が有する色特性値で構成さ
れる色特性空間上で、2点間の輝度差、彩度差及び色相
差に相異なる重要度を割り当て、このように割り当てら
れた重要度に比例して輝度差、彩度差及び色相差を加算
し、この加算の結果を前記2点間の色距離として出力す
る色距離計算部と、 前記画素に対するテクスチャ特性値で構成されるテクス
チャ特性空間上で前記2点が有するテクスチャ特性値を
入力し、この入力したテクスチャ特性値間の差を検出
し、テクスチャの多重度に適用される加重係数及び前記
検出された差から前記2点間のテクスチャ距離を計算
し、この計算された前記テクスチャ距離を出力するテク
スチャ距離計算部と、 前記色距離計算部から出力される前記色距離を色加重値
と乗算し、前記テクスチャ距離計算部から出力される前
記テクスチャ距離をテクスチャ加重値と乗算し、これら
の乗算の結果同士を加算し、この加算の結果を色−テク
スチャ距離として出力する色−テクスチャ距離発生部と
を備え、 色相が輝度や彩度よりも重要であり、輝度が絶対値に接
近するにつれて次第に色は黒色となり、彩度が絶対値に
接近するにつれて次第に色相は任意の値を有するように
なるという事実に基づいて前記重要度が決定されること
を特徴とする色−テクスチャ距離測定装置。 - 【請求項13】 前記色距離計算部は、下記式(1)に
基づき、前記色距離を求めることを特徴とする請求項1
2に記載の色−テクスチャ距離測定装置。 【数17】 前記式(1)中、DBHS1(x、y)は前記色特性空間上
における2点であるxとyの色距離を表わし、B
(o)、H(o)及びS(o)は各々、任意の点「o」
に対する輝度、色相及び彩度を示し、前記任意の点
「o」は前記xまたはyを示し、下記記号(S1)はB
(x)とB(y)の平均値を示し、下記記号(S2)は
S(x)とS(y)の平均値を示し、WB、a及びbは
各々定数であり、FS(j)は彩度に対する線形補正関
数を示し、FH(j)は色に対する線形補正関数を示
す。 【数18】 【数19】 - 【請求項14】 前記彩度に対する線形補正関数F
S(j)、または前記色に対するFH(j)は各々、jが
1より小さいときにはjとなり、jが1以上であるとき
には1となることを特徴とする請求項13に記載の色−
テクスチャ距離測定装置。 - 【請求項15】 前記色距離計算部は、下記式(2)に
基づき、前記色距離を求めることを特徴とする請求項1
2に記載の色−テクスチャ距離測定装置。 【数20】 前記式(2)中、DBHS2 2(x、y)は前記色特性空間
上における2点であるxとyの色距離を表わし、B
(o)、H(o)及びS(o)は各々、任意の点「o」
に対する輝度、色相及び彩度を示し、前記任意の点
「o」はxまたはyを示し、WB、WH及びWSは各々所
定の定数を示し、FS(S(x)、S(y))は彩度に
対する非線形補正関数を示し、FB(B(x)、B
(y))は輝度に対する非線形補正関数を示す。 - 【請求項16】 前記テクスチャ距離計算部は、下記式
(3)に基づき、前記テクスチャ距離を求めることを特
徴とする請求項13または15に記載の色−テクスチャ
距離測定装置。 【数21】 前記式(3)中、Dt(x、y)は前記色特性空間上に
おける2点であるxとyのテクスチャ距離を表わし、w
zは前記加重係数を示し、下記記号(S3)及び記号
(S4)は各々、x及びyの前記テクスチャ特性値を示
し、k=1、2、…、Kであり、z=1、2、…、Zで
あり、Zは所定の定数を示す。 【数22】 【数23】 - 【請求項17】 前記色−テクスチャ距離発生部から出
力される前記色−テクスチャ距離を用いて入力映像を複
数の領域に区分する映像の領域区分装置において、 前記入力映像を所定回数だけ繰り返して平滑化させ、こ
の平滑化された映像でエッジ部分を強調して出力する映
像前処理部と、 前記映像前処理部から出力される映像から前記色特性値
と前記テクスチャ特性値とを画素単位で計算し、この計
算された前記色及び前記テクスチャ特性値を前記色−テ
クスチャ距離測定装置に出力する特性値計算部と、 ピラミッド領域区分法によって、前記色−テクスチャ距
離発生部から出力される前記色−テクスチャ距離と第1
スレショルド値とを比較し、この比較の結果に対応させ
て前記映像の領域を細分化し、このように細分化された
領域に関する情報を有する基礎領域区分マップから映像
グラフを生成して出力する主要領域区分部と、 前記色−テクスチャ距離発生部から出力される前記色−
テクスチャ距離と第2スレショルド値とを比較し、この
比較の結果に対応させて前記映像グラフを単純化し、こ
のように単純化された映像グラフから生成した最終映像
グラフを出力する映像グラフ単純化部とを備えることを
特徴とする請求項16に記載の色−テクスチャ距離を用
いた映像の領域区分装置。 - 【請求項18】 前記色−テクスチャ距離発生部は、所
定の前記色加重値w cと前記色距離とを乗算し、所定の
前記テクスチャ加重値wtと前記テクスチャ距離とを乗
算し、これらの乗算の結果同士を加算し、この加算の結
果を前記色−テクスチャ距離として前記主要領域区分部
に出力することを特徴とする請求項17に記載の色−テ
クスチャ距離を用いた映像の領域区分装置。 - 【請求項19】 前記色−テクスチャ距離発生部は、前
記細分化された領域のテクスチャ度t(u′、v′)、
前記細分化された領域の大きさp(u′、v′)、及び
前記細分化された領域の彩度s(u′、v′)に対応さ
せて可変される前記色加重値wc(u′、v′)及び前
記テクスチャ加重値wt(u′、v′)を、前記色距離
及び前記テクスチャ距離の各々に乗算し、これらの乗算
の結果同士を加算し、この加算の結果を前記色−テクス
チャ距離として前記映像グラフ単純化部に出力すること
を特徴とする請求項18に記載の色−テクスチャ距離を
用いた映像の領域区分装置。但し、前記細分化された領
域のテクスチャ度t(u′、v′)、前記細分化された
領域の彩度s(u′、v′)、及び前記細分化された領
域の彩度s(u′、v′)、前記色加重値wc(u′、
v′)及び及び前記テクスチャ加重値wt(u′、
v′)中のu′、v′は各々、前記細分化された領域を
示す。 - 【請求項20】 前記色−テクスチャ距離発生部は、 下記式(12)に基づき、前記色加重値wc(u′、
v′)を計算する色加重値計算部と、 下記式(17)に基づき、前記テクスチャ加重値w
t(u′、v′)を計算するテクスチャ加重値計算部と
を備えることを特徴とする請求項19に記載の色−テク
スチャ距離を用いた映像の領域区分装置。 【数24】 【数25】 前記式(12)及び式(17)中、下記記号(S5)及
び記号(S6)は各々、色及びテクスチャ加重定数を示
し、更に下記式(13)、式(15)及び式(16)を
満たす。 【数26】 【数27】 【数28】 前記式(13)中、Tmaxは前記細分化された映像のテ
クスチャ度の最大値を示す。 【数29】 前記式(15)中、Poは前記細分化された領域の大き
さのスレショルド値を示す。 【数30】 前記式(16)中、Soは前記細分化された領域の彩度
のスレショルド値を示す。 - 【請求項21】 映像グラフ単純化部は、 前記色−テクスチャ距離と前記第2スレショルド値とを
比較し、この比較の結果に対応させて前記映像グラフ上
に表示される2つの前記細分化された領域u′とv′と
を併合し、このように併合した最終結果を反映させて生
成した第1中間映像グラフを出力する第1次領域併合部
と、 第1色−テクスチャ距離と前記第2スレショルド値とを
比較し、この比較の結果に対応させて前記第1中間映像
グラフ上に表示される2つの領域u"とv"とを併合し、
このように併合した最終結果を反映させて生成した第2
中間映像グラフを出力する第2次領域併合部と、 第2色−テクスチャ距離と前記第2スレショルド値とを
比較し、この比較の結果に対応させて前記第2中間映像
グラフ上に表示される2つの領域u"′とv"′とを併合
し、このように併合した最終結果を反映させて生成した
前記最終映像グラフを出力する第3次領域併合部を備
え、 前記色−テクスチャ距離発生部は、前記色加重定数下記
記号(S5)が「0」に設定されるとき、前記色加重値
計算部から出力される前記色加重値wc(u"、v")及
び前記テクスチャ加重値計算部から出力される前記テク
スチャ加重値wt(u"、v")を、WH≪WB及びWS≪W
Bの条件にて、前記色及び前記テクスチャ距離計算部か
ら各々出力される前記色距離及び前記テクスチャ距離に
各々乗算し、この乗算の結果を加算し、この加算の結果
を前記第1色−テクスチャ距離として出力し、 前記色−テクスチャ距離発生部は、下記式(20)の条
件にて、前記色及び前記テクスチャ加重値計算部から各
々出力される前記色加重値wc(u"′、v"′)及び前
記テクスチャ加重値wt(u"′、v"′)を前記色距離
及び前記テクスチャ距離に各々乗算し、この乗算の結果
同士を加算し、この加算の結果を前記第2色−テクスチ
ャ距離として出力し、 前記第2スレショルド値は、前記領域の大きさによって
流動的に変わることを特徴とする請求項20に記載の色
−テクスチャ距離を用いた映像の領域区分装置。 【数31】 【数32】
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2000-0067105A KR100378351B1 (ko) | 2000-11-13 | 2000-11-13 | 색-텍스추어 거리 측정 방법 및 장치와 이를 이용한영상의 영역 구분 방법 및 장치 |
KR2000-67105 | 2000-11-13 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002170117A true JP2002170117A (ja) | 2002-06-14 |
JP3554930B2 JP3554930B2 (ja) | 2004-08-18 |
Family
ID=19698595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001347688A Expired - Fee Related JP3554930B2 (ja) | 2000-11-13 | 2001-11-13 | 色−テクスチャ距離の測定方法及び装置並びにこれらを用いた映像の領域区分方法及び装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7030885B2 (ja) |
EP (1) | EP1217580B1 (ja) |
JP (1) | JP3554930B2 (ja) |
KR (1) | KR100378351B1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006131970A1 (ja) * | 2005-06-09 | 2006-12-14 | Techno Visual Corporation | 動画像圧縮プログラム及び動画像伸長プログラム |
KR100809346B1 (ko) * | 2006-07-03 | 2008-03-05 | 삼성전자주식회사 | 엣지 보정 장치 및 방법 |
JP2011013886A (ja) * | 2009-07-01 | 2011-01-20 | Nec Corp | 代表特徴抽出システム、方法およびプログラム |
JP2014527671A (ja) * | 2011-08-15 | 2014-10-16 | シムニコ, ドミトリー ヴァレリーヴィチSHMUNK, Dmitry Valerievich | 映像セグメンテーション方法 |
KR101556223B1 (ko) | 2011-05-27 | 2015-09-30 | 후지제롯쿠스 가부시끼가이샤 | 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 매체 |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7738015B2 (en) | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
US7042505B1 (en) | 1997-10-09 | 2006-05-09 | Fotonation Ireland Ltd. | Red-eye filter method and apparatus |
US7630006B2 (en) | 1997-10-09 | 2009-12-08 | Fotonation Ireland Limited | Detecting red eye filter and apparatus using meta-data |
FR2825814B1 (fr) * | 2001-06-07 | 2003-09-19 | Commissariat Energie Atomique | Procede de creation automatique d'une base de donnees images interrogeable par son contenu semantique |
US7623704B2 (en) * | 2003-01-31 | 2009-11-24 | Fuji Xerox Co. Ltd. | Color processing method, color processing apparatus, and storage medium |
US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US7689009B2 (en) | 2005-11-18 | 2010-03-30 | Fotonation Vision Ltd. | Two stage detection for photographic eye artifacts |
US7920723B2 (en) | 2005-11-18 | 2011-04-05 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7970182B2 (en) | 2005-11-18 | 2011-06-28 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7336821B2 (en) | 2006-02-14 | 2008-02-26 | Fotonation Vision Limited | Automatic detection and correction of non-red eye flash defects |
US7536036B2 (en) * | 2004-10-28 | 2009-05-19 | Fotonation Vision Limited | Method and apparatus for red-eye detection in an acquired digital image |
US7680342B2 (en) | 2004-08-16 | 2010-03-16 | Fotonation Vision Limited | Indoor/outdoor classification in digital images |
US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US8254674B2 (en) | 2004-10-28 | 2012-08-28 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
US8170294B2 (en) | 2006-11-10 | 2012-05-01 | DigitalOptics Corporation Europe Limited | Method of detecting redeye in a digital image |
US8036458B2 (en) | 2007-11-08 | 2011-10-11 | DigitalOptics Corporation Europe Limited | Detecting redeye defects in digital images |
US20050140801A1 (en) * | 2003-08-05 | 2005-06-30 | Yury Prilutsky | Optimized performance and performance for red-eye filter method and apparatus |
US8520093B2 (en) | 2003-08-05 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Face tracker and partial face tracker for red-eye filter method and apparatus |
US9412007B2 (en) | 2003-08-05 | 2016-08-09 | Fotonation Limited | Partial face detector red-eye filter method and apparatus |
US7280117B2 (en) * | 2004-09-10 | 2007-10-09 | Avid Technology, Inc. | Graphical user interface for a keyer |
JP4506409B2 (ja) * | 2004-10-27 | 2010-07-21 | 株式会社デンソー | 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体 |
IL165556A (en) | 2004-12-05 | 2013-08-29 | Yair Shimoni | A system and method for automatically detecting object inconsistencies in a sequence of images |
US20060182339A1 (en) * | 2005-02-17 | 2006-08-17 | Connell Jonathan H | Combining multiple cues in a visual object detection system |
US20060228021A1 (en) * | 2005-04-06 | 2006-10-12 | Marco Leoni | Method and system for producing fabrics with a large number of colors |
US7522749B2 (en) * | 2005-04-08 | 2009-04-21 | Microsoft Corporation | Simultaneous optical flow estimation and image segmentation |
US7599577B2 (en) | 2005-11-18 | 2009-10-06 | Fotonation Vision Limited | Method and apparatus of correcting hybrid flash artifacts in digital images |
ATE497218T1 (de) | 2006-06-12 | 2011-02-15 | Tessera Tech Ireland Ltd | Fortschritte bei der erweiterung der aam- techniken aus grauskalen- zu farbbildern |
US7755646B2 (en) | 2006-10-17 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Image management through lexical representations |
US8572642B2 (en) | 2007-01-10 | 2013-10-29 | Steven Schraga | Customized program insertion system |
US9363576B2 (en) | 2007-01-10 | 2016-06-07 | Steven Schraga | Advertisement insertion systems, methods, and media |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
EP2145288A4 (en) | 2007-03-05 | 2013-09-04 | Digitaloptics Corp Europe Ltd | FILTERING OF POSITIVE FALSE OF RED EYES USING A LOCATION AND FACE ORIENTATION |
CN101334780A (zh) * | 2007-06-25 | 2008-12-31 | 英特维数位科技股份有限公司 | 人物影像的搜寻方法、系统及存储影像元数据的记录媒体 |
US8503818B2 (en) | 2007-09-25 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Eye defect detection in international standards organization images |
US8212864B2 (en) | 2008-01-30 | 2012-07-03 | DigitalOptics Corporation Europe Limited | Methods and apparatuses for using image acquisition data to detect and correct image defects |
US8374436B2 (en) * | 2008-06-30 | 2013-02-12 | Thomson Licensing | Method for detecting layout areas in a video image and method for generating an image of reduced size using the detection method |
US9078048B1 (en) * | 2008-07-15 | 2015-07-07 | Google Inc. | Finding and populating spatial ad surfaces in video |
US8081254B2 (en) | 2008-08-14 | 2011-12-20 | DigitalOptics Corporation Europe Limited | In-camera based method of detecting defect eye with high accuracy |
US8498480B2 (en) * | 2009-02-25 | 2013-07-30 | The United States Of America, As Represented By The Secretary Of The Navy | Computationally efficient method for image segmentation with intensity and texture discrimination |
US9417700B2 (en) * | 2009-05-21 | 2016-08-16 | Edge3 Technologies | Gesture recognition systems and related methods |
JP5538967B2 (ja) * | 2009-06-18 | 2014-07-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
US8396252B2 (en) | 2010-05-20 | 2013-03-12 | Edge 3 Technologies | Systems and related methods for three dimensional gesture recognition in vehicles |
US8582866B2 (en) | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
US8655093B2 (en) | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
WO2012030872A1 (en) | 2010-09-02 | 2012-03-08 | Edge3 Technologies Inc. | Method and apparatus for confusion learning |
US8666144B2 (en) | 2010-09-02 | 2014-03-04 | Edge 3 Technologies, Inc. | Method and apparatus for determining disparity of texture |
US8970589B2 (en) | 2011-02-10 | 2015-03-03 | Edge 3 Technologies, Inc. | Near-touch interaction with a stereo camera grid structured tessellations |
TWI543116B (zh) * | 2011-04-26 | 2016-07-21 | 國立成功大學 | 影像區塊合併方法 |
US8804122B2 (en) * | 2011-09-22 | 2014-08-12 | Brightex Bio-Photonics Llc | Systems and methods for determining a surface profile using a plurality of light sources |
US9672609B1 (en) | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
CN102694958B (zh) * | 2012-02-10 | 2013-12-18 | 华为终端有限公司 | 一种确定图像色相的方法和无线手持设备 |
US8484607B1 (en) | 2012-03-06 | 2013-07-09 | International Business Machines Corporation | Decomposing layout for triple patterning lithography |
US9122927B2 (en) | 2012-03-26 | 2015-09-01 | Google Inc. | Generating an image tour based on a set of images |
DE202013012425U1 (de) | 2012-08-08 | 2016-10-28 | Google Inc. | Einzelne bilder von einem interessenpunkt in einer bilddarstellung |
US10721448B2 (en) | 2013-03-15 | 2020-07-21 | Edge 3 Technologies, Inc. | Method and apparatus for adaptive exposure bracketing, segmentation and scene organization |
KR20150100113A (ko) * | 2014-02-24 | 2015-09-02 | 삼성전자주식회사 | 영상 처리 장치 및 이의 영상 처리 방법 |
JP6491581B2 (ja) * | 2015-10-06 | 2019-03-27 | キヤノン株式会社 | 画像処理装置およびその制御方法ならびにプログラム |
EP3440627A4 (en) * | 2016-04-07 | 2019-12-04 | Carmel Haifa University Economic Corporation Ltd. | DEBRUMAGE AND RESTORATION OF IMAGES |
US11405529B2 (en) | 2018-05-15 | 2022-08-02 | Hewlett-Packard Development Company, L.P. | Color table generation |
CN110895699B (zh) * | 2018-09-12 | 2022-09-13 | 北京字节跳动网络技术有限公司 | 用于处理图像的特征点的方法和装置 |
CN110782025B (zh) * | 2019-12-31 | 2020-04-14 | 长沙荣业智能制造有限公司 | 一种稻米加工在线工艺检测方法 |
CN113763486B (zh) * | 2020-06-01 | 2024-03-01 | 北京达佳互联信息技术有限公司 | 主色调提取方法、装置、电子设备及存储介质 |
CN117788458B (zh) * | 2024-02-23 | 2024-05-14 | 中建安装集团有限公司 | 一种lng空温气化器基础砼寿命分析方法、介质及系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5751450A (en) * | 1996-05-22 | 1998-05-12 | Medar, Inc. | Method and system for measuring color difference |
DE19633693C1 (de) * | 1996-08-21 | 1997-11-20 | Max Planck Gesellschaft | Verfahren und Vorrichtung zur Erfassung von Targetmustern in einer Textur |
JP3593431B2 (ja) * | 1996-11-21 | 2004-11-24 | 日本電信電話株式会社 | カラー/テクスチャ情報変換装置 |
US6463432B1 (en) * | 1998-08-03 | 2002-10-08 | Minolta Co., Ltd. | Apparatus for and method of retrieving images |
US6731792B1 (en) * | 1998-08-24 | 2004-05-04 | Minolta Co., Ltd. | Method and apparatus for accurately dividing a color image into proper regions, and storage media storing a program for executing such a method |
JP2000207566A (ja) * | 1999-01-18 | 2000-07-28 | Ricoh Co Ltd | テクスチャ特徴抽出装置 |
US6674905B1 (en) * | 1999-01-22 | 2004-01-06 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, and storage medium |
EP1153364A4 (en) * | 1999-02-05 | 2002-10-30 | Samsung Electronics Co Ltd | METHOD AND DEVICE FOR PROCESSING COLOR IMAGES |
-
2000
- 2000-11-13 KR KR10-2000-0067105A patent/KR100378351B1/ko not_active IP Right Cessation
-
2001
- 2001-10-09 EP EP20010308622 patent/EP1217580B1/en not_active Expired - Lifetime
- 2001-10-22 US US09/983,034 patent/US7030885B2/en not_active Expired - Fee Related
- 2001-11-13 JP JP2001347688A patent/JP3554930B2/ja not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006131970A1 (ja) * | 2005-06-09 | 2006-12-14 | Techno Visual Corporation | 動画像圧縮プログラム及び動画像伸長プログラム |
KR100809346B1 (ko) * | 2006-07-03 | 2008-03-05 | 삼성전자주식회사 | 엣지 보정 장치 및 방법 |
JP2011013886A (ja) * | 2009-07-01 | 2011-01-20 | Nec Corp | 代表特徴抽出システム、方法およびプログラム |
KR101556223B1 (ko) | 2011-05-27 | 2015-09-30 | 후지제롯쿠스 가부시끼가이샤 | 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 매체 |
JP2014527671A (ja) * | 2011-08-15 | 2014-10-16 | シムニコ, ドミトリー ヴァレリーヴィチSHMUNK, Dmitry Valerievich | 映像セグメンテーション方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3554930B2 (ja) | 2004-08-18 |
US20020090133A1 (en) | 2002-07-11 |
KR20020037113A (ko) | 2002-05-18 |
EP1217580A2 (en) | 2002-06-26 |
US7030885B2 (en) | 2006-04-18 |
KR100378351B1 (ko) | 2003-03-29 |
EP1217580B1 (en) | 2013-04-17 |
EP1217580A3 (en) | 2003-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3554930B2 (ja) | 色−テクスチャ距離の測定方法及び装置並びにこれらを用いた映像の領域区分方法及び装置 | |
KR100374791B1 (ko) | 영상의 영역 구분 방법 및 장치 | |
JP3740065B2 (ja) | 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 | |
US8248410B2 (en) | Synthesizing detailed depth maps from images | |
CN105354865B (zh) | 多光谱遥感卫星影像自动云检测方法及系统 | |
US7295700B2 (en) | Object extraction based on color and visual texture | |
CN102246204B (zh) | 用于使用标度空间来处理图像的设备和方法 | |
Jacobson et al. | Linear fusion of image sets for display | |
US20080037870A1 (en) | Image Segmentation | |
CN104966285B (zh) | 一种显著性区域的检测方法 | |
US8325196B2 (en) | Up-scaling | |
Herrault et al. | Automatic extraction of forests from historical maps based on unsupervised classification in the CIELab color space | |
Lagodzinski et al. | Application of the extended distance transformation in digital image colorization | |
Lee et al. | Depth-guided adaptive contrast enhancement using 2D histograms | |
Huang et al. | An efficient single image enhancement approach using luminance perception transformation | |
Wang et al. | An image fusion approach based on segmentation region | |
Zheng et al. | An improved NAMLab image segmentation algorithm based on the earth moving distance and the CIEDE2000 color difference formula | |
Ramakanth et al. | Super resolution using a single image dictionary | |
Zhou et al. | Advantages of multiscale product filters for dynamic range compression in images | |
Bagri et al. | Images enhancement with brightness preserving using MRHRBFN | |
Nabeel et al. | Optimizing image segmentation by selective fusion of histogram based K-means clustering | |
CN116048278A (zh) | 分层处理的虚拟现实实现方法及系统 | |
Alam et al. | A global non-parametric sampling based image matting | |
Hayashi et al. | Improvement of Image and Video Matting with Multiple Reliability Maps | |
EA3165 | GEODESIC INTERACTIVE SEGMENTATION IN THE COLOR MONOGENIC SIGNAL FRAMEWORK |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040414 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040423 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090521 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100521 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110521 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110521 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120521 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |