JP2002150285A - 形状記述子抽出方法 - Google Patents

形状記述子抽出方法

Info

Publication number
JP2002150285A
JP2002150285A JP2001198699A JP2001198699A JP2002150285A JP 2002150285 A JP2002150285 A JP 2002150285A JP 2001198699 A JP2001198699 A JP 2001198699A JP 2001198699 A JP2001198699 A JP 2001198699A JP 2002150285 A JP2002150285 A JP 2002150285A
Authority
JP
Japan
Prior art keywords
line segments
shape descriptor
shape
video
skeleton
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001198699A
Other languages
English (en)
Other versions
JP4018354B2 (ja
Inventor
Ryorin Sai
良林 崔
Jong-Ha Lee
宗河 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2002150285A publication Critical patent/JP2002150285A/ja
Application granted granted Critical
Publication of JP4018354B2 publication Critical patent/JP4018354B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching

Abstract

(57)【要約】 【課題】 映像から映像の形状特徴を記述する形状記述
子を抽出するための方法を提供する。 【解決手段】 （ａ）入力された映像から骨格を抽出す
る段階（１０６）と、（ｂ）抽出された骨格に基づきピ
クセルの連結を行うことによりラインセグメントのセッ
トを求める段階（１１２）と、及び（ｃ）ラインセグメ
ントのセットを正規化することにより得られた正規化さ
れたラインセグメントのセットを形状記述子として設定
する段階（１１４）とを含む。この形状記述子抽出方法
により抽出された形状記述子は、映像内に含まれている
形状の概略的な様子に関する情報をそのまま有してい
る。これにより、形状記述子抽出方法は、同一のカテゴ
リー内のデータ集合において局部的な動きを効率良く抽
出し、抽出される形状の数が客体の数に制限されない。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は形状記述子を抽出す
る方法に係り、より詳細には、骨格に基づく形状記述子
を抽出する方法に関する。
【０００２】
【従来の技術】形状記述子(shape descriptor)は、自動
抽出可能なより低い抽象的な段階の抽出に基づくもので
あって、映像から人間が認識できる基本的な記述子と言
える。映像から与えられた特定物体の形状を記述し、前
記形状に基づき整合または類似度を測定するアルゴリズ
ムが研究されている。しかし、前記アルゴリズムは特定
物体の形状を記述するに留まっており、一般的な物体の
形状を認識するためには多くの問題点が残っている。現
在、ＭＰＥＧ-７などの標準化グループで提案している
形状記述子は、前記問題を解決するために、与えられた
物体の各種の変形を通じて特徴点を探すことにより求め
られる。このような形状記述子は、その種類が多い。Ｍ
ＰＥＧ-７の標準化段階であるＸＭ（eXperiment Mode
l）で採択されている形状記述子は、代表的に２種類が
知られている。第一に、物体の各種の形状に対して映像
内の前記形状の分布を知るためにゼルニック基底関数(Z
ernikebase function)を準備し、一定の大きさの映像を
各々の基底関数に投影させてその値を記述子として使用
するゼルニックモーメント形状記述子が知られている。
第二に、以前の映像から抽出された外郭線に沿って低周
波通過フィルターリングをしつつ外郭線上に存在する変
曲点の変化をスケール空間上で表わしてピーク値(peak
value)及びその位置を２次元ベクトルで表わす曲率スケ
ール空間形状記述子が知られている。前者の形状記述子
を抽出するためには、形状をなす映像及び基底関数が同
一の大きさを有する必要があり、形状が円の形を有さね
ばならないという制限がある。また、後者の形状記述子
を抽出するためには、抽出された形状が単一の客体でな
ければならないという短所を持つ。
【０００３】
【発明が解決しようとする課題】本発明が達成しようと
する技術的な課題は、動映像圧縮技術及びその技術に基
づく映像検索技術に効率良く適用できる形状記述子抽出
方法を提供することである。
【０００４】本発明が達成しようとする他の技術的な課
題は、前記形状記述子抽出方法によって抽出された形状
記述子を使用してインデクシングされた映像内において
問合わせ映像と類似した形状特徴を有する映像を検索す
る映像検索方法を提供することである。
【０００５】本発明が達成しようとするさらに他の技術
的な課題は、前記形状記述子抽出方法によって抽出され
た形状記述子を使用してインデクシングされた映像間の
非類似度を測定する非類似度測定方法を提供することで
ある。
【０００６】
【課題を解決するための手段】前記課題を達成するため
に、本発明の一側面による形状記述子抽出方法は、
（ａ）映像の骨格を抽出して抽出された骨格に基づき形
状記述子を設定する段階を含むことを特徴とする。
【０００７】また、前記課題を達成するために、本発明
の他の側面による形状記述子抽出方法は、（ａ）入力さ
れた映像から骨格を抽出する段階と、（ｂ）抽出された
骨格に基づきピクセル間の連結を行うことによりライン
セグメントのセット(a set of line segments)を求める
段階と、（ｃ）ラインセグメントのセットを正規化する
ことにより得られた正規化したラインセグメントのセッ
トを形状記述子として設定する段階とを含むことを特徴
とする。
【０００８】また、前記（ａ）段階は、（ａ-１）入力
された映像に対して距離変換を行うことにより距離マッ
プを求める段階と、（ａ-２）求められた距離マップ上
で骨格を抽出する段階とを含むことが望ましい。
【０００９】また、前記（ｂ）段階は、（ｂ-１）抽出
された骨格を細線化する段階と、（ｂ-２）細線化した
骨格内の各ピクセルの連結を行うことによりラインセグ
メントを抽出する段階とを含むことが望ましい。
【００１０】また、前記（ｃ）段階は、（ｃ-１）連結
されたラインセグメントの開始点及び終点についてのセ
ットを作成する段階と、（ｃ-２）抽出されたラインセ
グメントのラインセグメントの併合(merging of the li
ne segments)によりラインセグメントのセットを求める
段階と、（ｃ-３）各ラインセグメントの終点間の最大
距離に対してラインセグメントのセットを正規化するこ
とにより得られたラインセグメントのセットを形状記述
子として設定する段階とを含むことが望ましい。
【００１１】また、前記距離変換は、物体の内部の各点
を背景から最短距離の値で表わす関数に基づくことが望
ましい。また、前記（ａ-２）段階は、エッジ検出方法
を利用して距離マップから局部最大を得る段階を含むこ
とが望ましい。
【００１２】また、前記（ａ-２）段階は、（ａ-２-
１）局部最大を得るために４方向の局部最大検出マスク
を使用してたたみこみ(convolution)を行う段階を含む
ことが望ましい。また、前記（ａ-２-１）段階後に、
（ａ-２-２）最も大きい結果の方向に該当するラベルを
方向マップ及び大きさマップに記録する段階をさらに含
むことが望ましい。
【００１３】また、前記入力された映像は、２進映像で
あることが望ましい。また、前記（ｂ-１）段階は、方
向マップで該当方向の９０°回転された方向で最も大き
いピクセルだけを残し、残りのピクセルは除去する段階
を含むことが望ましい。
【００１４】また、前記（ｃ-２）段階は、４方向の方
向マップを使用し、方向マップで同一のラベルを有する
ピクセル同士を連結して各々の線セグメントの開始点及
び終点についてのセットを作成する段階を含むことが望
ましい。
【００１５】また、前記（ｃ-２）段階は、得られたラ
インセグメントのセットから各ラインセグメント間の角
度、距離、及びラインセグメントの長さに対するしきい
値を変えつつラインセグメントの併合を行う段階を含む
ことが望ましい。また、前記ラインセグメントの併合
は、残ったラインセグメントの本数が所定の本数以下に
なるまで繰り返されることが望ましい。
【００１６】さらに、前記他の課題を達成するために、
本発明による映像検索方法は、（ａ）問合わせ映像の形
状記述子からラインセグメントのセットを得る段階と、
（ｂ）検索される映像の形状記述子のラインセグメント
のセットと問合わせ映像の形状記述子のラインセグメン
トのセットとを比較することにより非類似度を求める段
階と、（ｃ）求めた非類似度に基づき問合わせ映像と類
似した形状特徴を有する映像を検索する段階とを含むこ
とを特徴とする。
【００１７】また、前記さらに他の課題を達成するため
に、本発明による非類似度測定方法は、骨格に基づきな
された形状記述子を使用してインデクシングされた映像
間の非類似度を測定する方法において、（ａ）問合わせ
映像の形状記述子からラインセグメントのセットを得る
段階と、（ｂ）検索される映像の形状記述子のラインセ
グメントのセットと問合わせ映像の形状記述子のライン
セグメントのセットとを比較することにより非類似度を
求める段階とを含むことを特徴とする。
【００１８】
【発明の実施の形態】以下、添付した図面に基づき、本
発明の望ましい実施形態について詳細に説明する。本発
明によれば、骨格を使用した形状記述子が定義される。
骨格を使用した形状記述子は、与えられた形状から人間
の認識で最も基礎となる線を抽出し、抽出された線を簡
略化することにより簡略化された線を形状記述子として
表現する。特に、前記のような形状記述子抽出方法によ
れば、エッジ部分よりは骨格を抽出することにより記述
子をできる限り簡略化することが可能である。
【００１９】図３は、本発明の実施形態による形状記述
子抽出方法の主な段階を示したフローチャートである。
図３を参照すれば、本発明の実施形態による形状記述子
抽出方法では、先ず、映像を入力（ステップ１０２）し
て、入力された映像に対し距離変換を行うことにより距
離マップを求める（ステップ１０４）。距離マップを得
るための距離変換は、物体の内部の各点を背景から最短
距離の値で表わす関数を使用する。次に、距離マップ上
で骨格を抽出する（ステップ１０６）。距離マップの局
部最大が骨格をなす点であるということはよく知られて
いる。距離マップを得るための距離変換は、物体の内部
の各点を背景から最短距離の値で表わす関数に基づく。
この実施形態では、距離変換によって距離マップの局部
最大に該当する部分を骨格として設定する。距離マップ
から局部最大を得るために、この実施形態では、本明細
書に参照として統合される、アール・ネバシア(R.Nevati
a)とケイ・アール・バブ(K.R.Babu)による"Linear Featur
e Extraction and Description（線形特徴抽出及び記
述）"というタイトルの資料(Computer Graphics andIma
ge Processing,Vol.13,pp.257-269,1980)で使用された
エッジ検出方法を使用できる。図２Ａないし図２Ｄは、
局部最大を検出するためのマスクの例を示している。図
２Ａないし図２Ｄを参照すれば、局部最大を検出するた
めに４方向の局部最大検出マスクを使用する。図２Ａ
は、０°の方向に該当するマスクである。図２Ｂは、４
５°の方向に該当するマスクである。図２Ｃは、９０°
の方向に該当するマスクである。図２Ｄは、１３５°の
方向に該当するマスクである。次に、前記マスクを使用
してたたみこみを行う。その結果、最も大きい結果の方
向に該当するラベルを方向マップ及び大きさマップに記
録する。これにより、図３Ａに示した２進映像から距離
変換を通じて得られた距離マップで局部最大を得ること
により、骨格を抽出する。
【００２０】次に、抽出された骨格を細線化する（ステ
ップ１０８）。細線化は、例えば、方向マップで該当方
向の９０°回転された方向で最も大きいピクセルだけを
残し、残りのピクセルは除去することにより行われる。
図３Ｄは、細線化された骨格化映像の一例を示してい
る。
【００２１】次に、細線化された骨格内の各ピクセルの
連結によりラインセグメントを抽出する（ステップ１１
０）。すなわち、細線化された骨格内の各ピクセルを一
つの方向に沿って連結し、その開始点及び終点について
のセットを作成することによりラインセグメントを抽出
する。この実施形態では、図２Ａないし図２Ｄに示した
４方向の方向マップを使用し、方向マップで同一のラベ
ルを有するピクセル同士を連結して各々の線セグメント
の開始点及び終点についてのセットを作成する。
【００２２】次に、抽出されたラインセグメントのライ
ンセグメントの併合によりラインセグメントのセットを
得る（ステップ１１２）。すなわち、得られたラインセ
グメントのセットから各ラインセグメント間の角度、距
離、及びラインセグメントの長さに対するしきい値を変
えつつラインセグメントの併合を行う。前記ラインセグ
メントの併合は残ったラインセグメントの本数が所定の
本数以下になるまで繰り返される。図３Ｅには、ライン
セグメントに近似化された結果を示している。次に、各
ラインセグメントの終点間の最大距離に対しラインセグ
メントのセットを正規化することにより得られたライン
セグメントのセットを形状記述子として設定する（ステ
ップ１１４）。すなわち、前記のような形状記述子抽出
方法によれば、２進映像の骨格を抽出して抽出された骨
格を形状記述子として使用する。
【００２３】前記形状記述子抽出方法によれば、２進映
像の骨格を形状記述子として抽出し、抽出された形状記
述子は映像の併合に使用できる。また、前記形状記述子
抽出方法では２進映像から骨格を抽出し、抽出された骨
格をラインセグメントに近似化する。また、効率良いラ
インセグメント抽出のために２進映像を距離変換して局
部最大を求めることにより骨格を抽出する。抽出された
骨格はエッジ抽出方法を使用して一定本数のラインセグ
メントに近似化される。近似化されたラインセグメント
の数は一定の本数に制限されることにより、より速い整
合が行えるようにする。
【００２４】以下では、前記のような形状記述子抽出方
法によってインデクシングされた映像を貯蔵するデータ
ベースから問合わせ映像と類似した映像を検索するため
の方法を説明する。また、図１を参照して説明された形
状記述子抽出方法によって抽出された形状記述子を使用
してインデクシングされた映像を含む映像データベース
内において問合わせ映像の形状と類似した映像を検索す
るときの検索性能を評価することにより、前記形状記述
子抽出方法の効果を述べる。
【００２５】図６は、本発明による映像検索方法の主な
段階を示したフローチャートである。先ず、問合わせ映
像（待ち映像）の形状記述子からラインセグメントのセ
ットを得る（ステップ４０２）。次に、検索される映像
の形状記述子のラインセグメントのセットと問合わせ映
像の形状記述子のラインセグメントのセットとを比較す
ることにより非類似度を求める（ステップ４０４）。
【００２６】この実施形態では、骨格をなすラインセグ
メントの終点間の距離を測定し、測定された距離の最小
値の合計を非類似度値として設定する。非類似度特定関
数は、Ｎ、Ｄ1k及びＤ2kを各々、
【００２７】
【数４】
【００２８】
【数５】
【００２９】
【数６】
【００３０】としたとき、
【００３１】
【数７】 である。
【００３２】ここで、Ｑは検索しようとするラインセグ
メント、Ｍは検索されるラインセグメント、Ｓはライン
セグメントの開始点、Ｅはラインセグメントの終点、Ｎ
Qは問合わせ映像の形状記述子が有するラインセグメン
トの総数、ＮMは検索される映像の形状記述子が有する
ラインセグメントの総数である。
【００３３】前式（７）を参照すれば、式（５）及び式
（６）により測定されたラインセグメント間の距離の最
小値の合計が二つの記述子の非類似度として設定され
る。すなわち、前記式（７）の結果値が小さいほど二つ
の物体が類似すると決定される。また、一定の回転角度
間隔で前記のような測定を行うことにより、回転によっ
て変わらない値が得られもする。
【００３４】次に、ステップ４０４で求めた非類似度に
基づき、問合わせ映像と類似した形状特徴を有する映像
を検索する。検索される映像のうち問合わせ映像に対す
る非類似度が最も小さい映像が検索された映像として決
定される。このように非類似度に基づき映像を検索する
技法を整合技法と呼び、検索された映像は整合映像と呼
ぶ。
【００３５】前記のような方法の性能を評価するため
に、ＭＰＥＧ-７標準のＸＭ(eXperimental Model)バー
ジョンで実験映像として使用される２進映像に対し模擬
実験を行った。ラインセグメントの併合のための各種の
しきい値は経験的に定めた。ラインセグメントの併合は
３０°以下の角度だけでなされるようにし、かつ、併合
がなされる二本のラインセグメントの終点間の距離は実
際映像の横、縦長さのうち小さい値の５％、ラインセグ
メントの併合後に無視されるラインセグメントの長さは
横、縦長さのうち大きい値の１％と定めた。また、毎繰
り返し遂行時ごとにそのしきい値を１０％ずつ増やしつ
つ、ラインセグメントの数を１０本以下にした。実験結
果を図５及び図６に示す。図５を参照すれば、本発明に
よる映像検索方法は全く分類されない映像から問合わせ
映像と類似した形状を有する映像を検索するときにはあ
まり良好でない検索性能を示している。これは、ライン
セグメントへの近似化過程で詳細な部分の情報を失うか
らである。また、図６を参照すれば、分類された映像、
すなわち、同一のカテゴリー内のデータ集合から問合わ
せ映像と類似した形状を有する映像を検索するときには
極めて良好な検索性能を示している。したがって、前記
形状記述子抽出方法は、同一のカテゴリー内のデータ集
合において局部的な動きを抽出するに当たって有利であ
るということが分かる。同一の物体の部分的な動きを検
出するに当たって有利である理由は、本発明の形状記述
子抽出方法によって抽出された形状記述子は映像内に含
まれている形状の概略的な様子に関する情報をそのまま
有しているからであると理解できる。
【００３６】以上の実施形態では、図１を参照して述べ
た形状記述子抽出方法によりインデクシングされた映像
に対して問合わせ映像と類似した形状を有する映像を検
索する方法について説明した。しかし、前記映像検索方
法において、問合わせ映像と検索される映像との間の非
類似度を測定する段階は、測定された非類似度に基づき
類似した形状を有する映像をクラスタリングする分野な
どにも適用できる。
【００３７】前記のような形状記述子抽出方法は、客体
基盤の圧縮記述子であるＭＰＥＧ-４、ＭＰＥＧ-７、及
びＭＰＥＧ-２１などの標準に基づく動映像圧縮技術に
適用できる。また、前記動映像圧縮技術に基づく映像検
索技術に効率良く適用できる。
【００３８】
【発明の効果】以上述べたように、本発明による形状記
述子抽出方法によって抽出された形状記述子は、映像内
に含まれている形状の概略的な様子に関する情報をその
まま有しているため、同一のカテゴリー内のデータ集合
において局部的な動きを効率良く抽出する。また、前記
形状記述子抽出方法によってインデクシングされた映像
データベース内において問合わせ映像と類似した形状を
有する映像を検索する本発明による映像検索方法は、分
類された映像から問合わせ映像と類似した形状を有する
映像を検索するとき、検索性能が極めて良好である。
【００３９】また、前記のように、本発明による形状記
述子抽出方法及び映像検索方法は、個人向けまたはサー
バ級のコンピュータ内にて実行されるプログラムにて作
成可能である。前記プログラムを構成するプログラムコ
ード及びコードセグメントは当該分野のコンピュータプ
ログラマーによって容易に推論できる。また、前記プロ
グラムはコンピュータにて読取り可能な記録媒体に貯蔵
できる。前記記録媒体は磁気記録媒体、光記録媒体、及
び電波媒体(radio media)を含む。
【図面の簡単な説明】
【図１】 本発明の実施形態による形状記述子抽出方法
の主な段階を示したフローチャートである。
【図２Ａ】 局部最大を検出するためのマスクの例を示
した図であり、０°の方向に該当するマスクである。
【図２Ｂ】 局部最大を検出するためのマスクの例を示
した図であり、４５°の方向に該当するマスクである。
【図２Ｃ】 局部最大を検出するためのマスクの例を示
した図であり、９０°の方向に該当するマスクである。
【図２Ｄ】 局部最大を検出するためのマスクの例を示
した図であり、１３５°の方向に該当するマスクであ
る。
【図３Ａ】 ２進映像の例を示した図である。
【図３Ｂ】 白黒映像からスケーリングされた距離マッ
プを示した図である。
【図３Ｃ】 骨格化映像を示した図である。
【図３Ｄ】 細線化された骨格化映像を示した図であ
る。
【図３Ｅ】 ラインセグメントに近似化された結果を示
した図である。
【図４】 本発明の実施形態による形状記述子基盤の映
像検索方法の主な段階を示したフローチャートである。
【図５】 本発明による映像検索方法の性能を評価する
ためにＭＰＥＧ-７標準のＸＭバージョンで実験映像と
して使用される２進映像に対して模擬実験を行った結果
を示した図である。
【図６】 本発明による映像検索方法の性能を評価する
ためにＭＰＥＧ-７標準のＸＭバージョンで実験映像と
して使用される２進映像に対して模擬実験を行った結果
を示した図である。
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 CA06 CA12 CA16 CB06 CB12 CB17 CC02 CD04 CD08 CF01 CG09 DB02 DB08 DC07 DC09 DC16 DC33 5L096 AA07 DA05 EA04 EA16 FA06 FA13 FA22 FA73 HA07 JA03 KA09

Claims (19)

    【特許請求の範囲】
  1. 【請求項１】 （ａ）映像の骨格を抽出して抽出された
    骨格に基づき形状記述子を設定する段階を含むことを特
    徴とする形状記述子抽出方法。
  2. 【請求項２】 （ａ）入力された映像から骨格を抽出す
    る段階と、 （ｂ）抽出された骨格に基づきピクセル間の連結を行う
    ことによりラインセグメントのセットを求める段階と、 （ｃ）ラインセグメントのセットを正規化することによ
    り得られた正規化したラインセグメントのセットを形状
    記述子として設定する段階とを含むことを特徴とする形
    状記述子抽出方法。
  3. 【請求項３】 前記（ａ）段階は、 （ａ-１）入力された映像に対して距離変換を行うこと
    により距離マップを求める段階と、 （ａ-２）求められた距離マップ上で骨格を抽出する段
    階とを含むことを特徴とする請求項２に記載の形状記述
    子抽出方法。
  4. 【請求項４】 前記（ｂ）段階は、 （ｂ-１）抽出された骨格を細線化する段階と、 （ｂ-２）細線化した骨格内の各ピクセルの連結を行う
    ことによりラインセグメントを抽出する段階とを含むこ
    とを特徴とする請求項２に記載の形状記述子抽出方法。
  5. 【請求項５】 前記（ｃ）段階は、 （ｃ-１）連結されたラインセグメントの開始点及び終
    点についてのセットを作成する段階と、 （ｃ-２）抽出されたラインセグメントのラインセグメ
    ントの併合によりラインセグメントのセットを求める段
    階と、 （ｃ-３）各ラインセグメントの終点間の最大距離に対
    してラインセグメントのセットを正規化することにより
    得られたラインセグメントのセットを形状記述子として
    設定する段階とを含むことを特徴とする請求項２に記載
    の形状記述子抽出方法。
  6. 【請求項６】 前記距離変換は、 物体の内部の各点を背景から最短距離の値で表わす関数
    に基づくことを特徴とする請求項３に記載の形状記述子
    抽出方法。
  7. 【請求項７】 前記（ａ-２）段階は、 エッジ検出方法を利用して距離マップから局部最大を得
    る段階を含むことを特徴とする請求項２に記載の形状記
    述子抽出方法。
  8. 【請求項８】 前記（ａ-２）段階は、 （ａ-２-１）局部最大を得るために４方向の局部最大検
    出マスクを使用してたたみこみを行う段階を含むことを
    特徴とする請求項７に記載の形状記述子抽出方法。
  9. 【請求項９】 前記（ａ-２-１）段階後に、 （ａ-２-２）最も大きい結果の方向に該当するラベルを
    方向マップ及び大きさマップに記録する段階をさらに含
    むことを特徴をする請求項５に記載の形状記述子抽出方
    法。
  10. 【請求項１０】 前記入力された映像は、 ２進映像であることを特徴とする請求項２に記載の形状
    記述子抽出方法。
  11. 【請求項１１】 前記（ｂ-１）段階は、 方向マップで該当方向の９０°回転された方向で最も大
    きいピクセルだけを残し、残りのピクセルは除去する段
    階を含むことを特徴とする請求項４に記載の形状記述子
    抽出方法。
  12. 【請求項１２】 前記（ｃ-２）段階は、 ４方向の方向マップを使用し、方向マップで同一のラベ
    ルを有するピクセル同士を連結して各々の線セグメント
    の開始点及び終点をついてのセットを作成する段階を含
    むことを特徴とする請求項８に記載の形状記述子抽出方
    法。
  13. 【請求項１３】 前記（ｃ-２）段階は、 得られたラインセグメントのセットから各ラインセグメ
    ント間の角度、距離、及びラインセグメントの長さに対
    するしきい値を変えつつラインセグメントの併合を行う
    段階を含むことを特徴とする請求項２に記載の形状記述
    子抽出方法。
  14. 【請求項１４】 前記ラインセグメントの併合は、 残ったラインセグメントの本数が所定の本数以下になる
    まで繰り返されることを特徴とする請求項１３に記載の
    形状記述子抽出方法。
  15. 【請求項１５】 問合わせ映像と類似した形状を有する
    映像を検索する方法において、 （ａ）問合わせ映像の形状記述子からラインセグメント
    のセットを得る段階と、 （ｂ）検索される映像の形状記述子のラインセグメント
    のセットと問合わせ映像の形状記述子のラインセグメン
    トのセットとを比較することにより非類似度を求める段
    階と、 （ｃ）求めた非類似度に基づき問合わせ映像と類似した
    形状特徴を有する映像を検索する段階とを含むことを特
    徴とする映像検索方法。
  16. 【請求項１６】 前記（ｂ）段階は、 （ｂ-１）骨格をなすラインセグメントの終点間の距離
    を測定する段階と、 （ｂ-２）測定された距離の最小値の合計を非類似度と
    して設定する段階とを含むことを特徴とする請求項１５
    に記載の映像検索方法。
  17. 【請求項１７】 前記（ｂ-１）段階は、Ｑは検索しよ
    うとするラインセグメント、Ｍは検索されるラインセグ
    メント、Ｓはラインセグメントの開始点、Ｅはラインセ
    グメントの終点、ＮQは問合わせ映像の形状記述子が有
    するラインセグメントの総数、ＮMは検索される映像の
    形状記述子が有するラインセグメントの総数であり、Ｎ
    は 【数１】 としたとき、骨格をなすラインセグメントの終点間の距
    離を 【数２】 により計算する段階を含み、 前記（ｂ-２）段階は、 【数３】 で定義される非類似度特定関数を使用して測定する段階
    を含むことを特徴とする請求項１５に記載の映像検索方
    法。
  18. 【請求項１８】 回転によって変わらない値を得るため
    に一定の回転角度間隔で前記（ｂ-１）段階及び（ｂ-
    ２）段階により類似度測定を行うことを特徴とする請求
    項１７に記載の映像検索方法。
  19. 【請求項１９】 骨格に基づきなされた形状記述子を使
    用してインデクシングされた映像間の非類似度を測定す
    る方法において、 （ａ）問合わせ映像の形状記述子からラインセグメント
    のセットを得る段階と、 （ｂ）検索される映像の形状記述子のラインセグメント
    のセットと問合わせ映像の形状記述子のラインセグメン
    トのセットとを比較することにより非類似度を求める段
    階とを含むことを特徴とする非類似度測定方法。
JP2001198699A 2000-10-21 2001-06-29 形状記述子抽出方法 Expired - Fee Related JP4018354B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2000-0062163A KR100413679B1 (ko) 2000-10-21 2000-10-21 형상 기술자 추출방법
KR200062163 2000-10-21

Publications (2)

Publication Number Publication Date
JP2002150285A true JP2002150285A (ja) 2002-05-24
JP4018354B2 JP4018354B2 (ja) 2007-12-05

Family

ID=19694767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001198699A Expired - Fee Related JP4018354B2 (ja) 2000-10-21 2001-06-29 形状記述子抽出方法

Country Status (5)

Country Link
US (1) US7023441B2 (ja)
EP (1) EP1199648A1 (ja)
JP (1) JP4018354B2 (ja)
KR (1) KR100413679B1 (ja)
CN (2) CN1157674C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010531010A (ja) * 2008-05-09 2010-09-16 韓国外国語大学校 研究産学協力団 画像と形状記述子とのマッチング

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100810002B1 (ko) * 2001-04-11 2008-03-07 김회율 모양 기술자 계산을 위한 정규화 방법 및 그를 이용한영상 검색 방법
KR100876280B1 (ko) * 2001-12-31 2008-12-26 주식회사 케이티 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템
US7567715B1 (en) * 2004-05-12 2009-07-28 The Regents Of The University Of California System and method for representing and encoding images
US7529395B2 (en) * 2004-12-07 2009-05-05 Siemens Medical Solutions Usa, Inc. Shape index weighted voting for detection of objects
US7835583B2 (en) * 2006-12-22 2010-11-16 Palo Alto Research Center Incorporated Method of separating vertical and horizontal components of a rasterized image
FR2910992B1 (fr) * 2007-01-03 2009-04-03 Airbus France Sas Procede de reconnaissance de formes bidimensionnelles.
KR100961444B1 (ko) * 2007-04-23 2010-06-09 한국전자통신연구원 멀티미디어 콘텐츠를 검색하는 방법 및 장치
CN101140660B (zh) * 2007-10-11 2010-05-19 华中科技大学 基于离散曲线演化的骨架剪枝方法
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
EP2250623A4 (en) 2008-03-05 2011-03-23 Ebay Inc METHOD AND APPARATUS OF IMAGE RECOGNITION SERVICES
US8818978B2 (en) 2008-08-15 2014-08-26 Ebay Inc. Sharing item images using a similarity score
US8825660B2 (en) * 2009-03-17 2014-09-02 Ebay Inc. Image-based indexing in a network-based marketplace
KR101350335B1 (ko) * 2009-12-21 2014-01-16 한국전자통신연구원 내용기반 영상검색 장치 및 방법
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
CN101916381B (zh) * 2010-07-13 2012-06-20 北京大学 基于稀疏表示的物体轮廓提取方法
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
US8538164B2 (en) * 2010-10-25 2013-09-17 Microsoft Corporation Image patch descriptors
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US9934522B2 (en) 2012-03-22 2018-04-03 Ebay Inc. Systems and methods for batch- listing items stored offline on a mobile device
US9349207B2 (en) 2012-05-31 2016-05-24 Samsung Electronics Co., Ltd. Apparatus and method for parsing human body image
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
KR101956275B1 (ko) * 2012-09-26 2019-06-24 삼성전자주식회사 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치
CN103226584B (zh) * 2013-04-10 2016-08-10 湘潭大学 形状描述符的构建方法及基于该描述符的图像检索方法
US9488469B1 (en) 2013-04-22 2016-11-08 Cognex Corporation System and method for high-accuracy measurement of object surface displacement using a laser displacement sensor
CN103744931A (zh) * 2013-12-30 2014-04-23 中国科学院深圳先进技术研究院 一种图像检索的方法及系统
US9747394B2 (en) 2014-03-18 2017-08-29 Palo Alto Research Center Incorporated Automated design and manufacturing feedback for three dimensional (3D) printability
US9946816B2 (en) * 2014-03-18 2018-04-17 Palo Alto Research Center Incorporated System for visualizing a three dimensional (3D) model as printed from a 3D printer
JP6334735B2 (ja) * 2014-05-06 2018-05-30 ナント・ホールデイングス・アイ・ピー・エル・エル・シー エッジベクトルを利用した画像特徴検出
US20150363660A1 (en) * 2014-06-12 2015-12-17 Asap54.Com Ltd System for automated segmentation of images through layout classification
US10409932B2 (en) * 2014-09-19 2019-09-10 Siemens Product Lifecyle Management Software Inc. Computer-aided simulation of multi-layer selective laser sintering and melting additive manufacturing processes
US9811760B2 (en) * 2015-07-31 2017-11-07 Ford Global Technologies, Llc Online per-feature descriptor customization
TWI582710B (zh) * 2015-11-18 2017-05-11 Bravo Ideas Digital Co Ltd The method of recognizing the object of moving image and the interactive film establishment method of automatically intercepting target image
US10949702B2 (en) 2019-04-16 2021-03-16 Cognizant Technology Solutions India Pvt. Ltd. System and a method for semantic level image retrieval

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4573197A (en) * 1983-12-13 1986-02-25 Crimmins Thomas R Method for automatic recognition of two-dimensional shapes
US4881269A (en) * 1985-07-29 1989-11-14 French Limited Company - Centaure Robotique Automatic method of optically scanning a two-dimensional scene line-by-line and of electronically inspecting patterns therein by "shape-tracking"
JPH0769967B2 (ja) * 1988-03-26 1995-07-31 株式会社エイ・ティ・アール視聴覚機構研究所 形状記述方法
US5267328A (en) * 1990-01-22 1993-11-30 Gouge James O Method for selecting distinctive pattern information from a pixel generated image
US5428692A (en) * 1991-11-18 1995-06-27 Kuehl; Eberhard Character recognition system
EP0514688A2 (en) 1991-05-21 1992-11-25 International Business Machines Corporation Generalized shape autocorrelation for shape acquisition and recognition
US5267332A (en) * 1991-06-19 1993-11-30 Technibuild Inc. Image recognition system
EP0578432A3 (en) * 1992-07-06 1994-06-22 Canon Kk Similarity determination among patterns using affine-invariant features
JP3260843B2 (ja) * 1992-08-25 2002-02-25 株式会社リコー 文字認識方法
US6005976A (en) * 1993-02-25 1999-12-21 Fujitsu Limited Image extraction system for extracting patterns such as characters, graphics and symbols from image having frame formed by straight line portions
US5751843A (en) * 1993-08-09 1998-05-12 Siemens Aktiengesellschaft Method for detecting the spatial position and rotational position of suitably marked objects in digital image sequences
JPH07141508A (ja) * 1993-11-17 1995-06-02 Matsushita Electric Ind Co Ltd 形状記述装置
US5640468A (en) * 1994-04-28 1997-06-17 Hsu; Shin-Yi Method for identifying objects and features in an image
US5684940A (en) * 1995-03-13 1997-11-04 Rutgers, The States University Of New Jersey Computer-implemented method and apparatus for automatically labeling area regions of maps using two-step label placing procedure and for curved labeling of point features
JP3207336B2 (ja) * 1995-07-31 2001-09-10 シャープ株式会社 文字パターン生成装置
US6529635B1 (en) * 1997-12-15 2003-03-04 Intel Corporation Shape-based image compression/decompression using pattern matching
JP2986455B1 (ja) 1998-07-24 1999-12-06 株式会社エイ・ティ・アール知能映像通信研究所 手振り認識装置
KR100671098B1 (ko) * 1999-02-01 2007-01-17 주식회사 팬택앤큐리텔 모양정보를 이용한 멀티미디어 데이터의 검색 방법 및 장치
US6307964B1 (en) * 1999-06-04 2001-10-23 Mitsubishi Electric Research Laboratories, Inc. Method for ordering image spaces to represent object shapes
JP3654420B2 (ja) * 2000-02-25 2005-06-02 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像変換方法、画像処理装置、および画像表示装置
US6654487B1 (en) * 2000-03-03 2003-11-25 Charles H. Downs, Jr. Character recognition, including method and system for processing checks with invalidated MICR lines

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010531010A (ja) * 2008-05-09 2010-09-16 韓国外国語大学校 研究産学協力団 画像と形状記述子とのマッチング

Also Published As

Publication number Publication date
US20020063718A1 (en) 2002-05-30
CN1516077A (zh) 2004-07-28
CN1350252A (zh) 2002-05-22
CN1294536C (zh) 2007-01-10
KR100413679B1 (ko) 2003-12-31
JP4018354B2 (ja) 2007-12-05
EP1199648A1 (en) 2002-04-24
US7023441B2 (en) 2006-04-04
CN1157674C (zh) 2004-07-14
KR20020031591A (ko) 2002-05-02

Similar Documents

Publication Publication Date Title
JP4018354B2 (ja) 形状記述子抽出方法
CN103593464B (zh) 基于视觉特征的视频指纹检测及视频序列匹配方法及系统
Fang et al. 4D facial expression recognition
CN110019914B (zh) 一种支持三维场景交互的三维模型数据库检索方法
Weinland et al. Automatic discovery of action taxonomies from multiple views
WO2008018064A2 (en) Data similarity and importance using local and global evidence scores
KR20000054864A (ko) 모양정보를 이용한 멀티미디어 데이터의 검색 방법 및 장치
Ratan et al. Object detection and localization by dynamic template warping
CN111339812A (zh) 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质
JP3559007B2 (ja) 直線基準の映像整合方法
Immidisetti et al. Simultaneous face hallucination and translation for thermal to visible face verification using axial-gan
CN114937285B (zh) 动态手势识别方法、装置、设备及存储介质
Yang et al. Parsing 3D motion trajectory for gesture recognition
Liu et al. Video-based person re-identification without bells and whistles
Ren et al. An investigation of skeleton-based optical flow-guided features for 3D action recognition using a multi-stream CNN model
Pang et al. Analysis of computer vision applied in martial arts
Le Deep learning-based for human segmentation and tracking, 3D human pose estimation and action recognition on monocular video of MADS dataset
Fan et al. Skip connection aggregation transformer for occluded person reidentification
JP5538781B2 (ja) 画像検索装置及び画像検索方法
Chuang et al. Human action recognition using star templates and delaunay triangulation
Zhu et al. Enhancing interior and exterior deep facial features for face detection in the wild
Yin et al. Semantics constrained dictionary learning for signer-independent sign language recognition
Dyana et al. Combining features for shape and motion trajectory of video objects for efficient content based video retrieval
CN110830734A (zh) 一种突变和渐变镜头切换识别方法
CN116233383B (zh) 一种基于ar技术的智能导游系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040716

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041006

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20041105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20061108

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20061113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070920

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130928

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees