JP2002288658A - 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 - Google Patents

領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法

Info

Publication number
JP2002288658A
JP2002288658A JP2002012131A JP2002012131A JP2002288658A JP 2002288658 A JP2002288658 A JP 2002288658A JP 2002012131 A JP2002012131 A JP 2002012131A JP 2002012131 A JP2002012131 A JP 2002012131A JP 2002288658 A JP2002288658 A JP 2002288658A
Authority
JP
Japan
Prior art keywords
image
extraction target
object extraction
region
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002012131A
Other languages
English (en)
Other versions
JP3740065B2 (ja
Inventor
Toshoku Rin
斗 植 林
Shoyo Kin
昌 容 金
Chien Kin
智 淵 金
Sang-Kyun Kim
相 均 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2002288658A publication Critical patent/JP2002288658A/ja
Application granted granted Critical
Publication of JP3740065B2 publication Critical patent/JP3740065B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 【課題】 領域分割された映像の領域特徴値整合に基づ
いた客体抽出装置およびその方法を提供する。 【解決手段】 映像から客体を抽出する客体抽出装置で
あって、前記客体を含む質疑映像および前記質疑映像に
含まれた前記客体が抽出される客体抽出対象映像が入力
される映像入力部と、画素単位の色特徴整合により前記
客体抽出対象映像における前記客体の位置を判定する客
体位置判定部と、色またはテクスチャーを含む映像特徴
値を利用して前記質疑映像と前記客体抽出対象映像とを
各々領域分割する映像分割部と、領域分割された質疑映
像の領域と領域分割された客体抽出対象映像の領域との
整合を色またはテクスチャー特性値を利用して行い、整
合の結果得られた整合領域間の空間隣接性の類似度を利
用して最終客体領域を決定する客体領域決定部とを含む
とことを特徴とする客体抽出装置。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、抽出される客体の
映像が質疑（参照）映像として提供された条件の下で、
抽出される客体を含む客体抽出対象映像（静止映像、ビ
デオシーケンス）から、客体の領域情報を抽出する方
法、およびその装置に関する。より詳細には、客体抽出
対象映像の中に含まれる客体の位置を検出するために客
体抽出対象映像を処理し、空間配置の類似度、テキスチ
ャー特性値、および色特性値に基づいて客体位置である
と決定された客体抽出対象映像内の特定の領域から構成
される映像と質疑（参照）映像とを比較して、客体の領
域情報を抽出する方法、およびその装置に関する。
【０００２】
【従来の技術】映像（画像）の中から客体を抽出する方
法は、客体の動きを利用する方法、客体領域特徴値を利
用する方法、映像編集ソフトウェアを利用した手作業に
よる方法の３つに大別できる。
【０００３】客体の動きを利用して映像から客体を抽出
する方法は、連続映像における差（違い）を計算して動
き領域を抽出する方法、背景領域の除去により抽出する
方法、運動解析により抽出する方法に分けられる。連続
映像における差（ｆｒａｍｅ ｄｉｆｆｅｒｅｎｃｅ：
ＵＳ５５００９０４、ＵＳ５１０９４３５）を利用する
方法は、映像の中の連続したフレーム毎の輝度差を計算
して動きを抽出する方式であり、これは基本的な運動領
域抽出方式である。
【０００４】背景領域除去（ｂａｃｋｇｒｏｕｎｄ ｓ
ｕｂｔｒａｃｔｉｏｎ：ＵＳ５７４８７７５）による方
法は、映像特徴変数の時間的（一時的）変化を利用し
て、背景映像を復元し、復元映像とオリジナル（元）映
像との差から客体領域を抽出する方式である。
【０００５】運動解析（ｍｏｔｉｏｎ ａｎａｌｙｓｉ
ｓ：ＵＳ５８６２５０８）による方法は、動いている客
体の運動方向と速度とを計算して運動領域を抽出する方
式である。この方式は、背景構造や照明状態が変化した
場合であっても対応できる最も一般的な運動領域抽出方
式である。この動きを利用した領域抽出は、連続的な映
像において、客体の動きが十分にある場合に使用でき
る。しかし、静止映像や客体の動きが少ない映像あるい
は運動速度が非常に大きい映像には、適用し難いという
問題点がある。
【０００６】客体領域の特徴値を利用する方法は、テン
プレート整合（ｔｅｍｐｌａｔｅｍａｔｃｈｉｎｇ）、
多重閾値分割（ｍｕｌｔｉ−ｖａｌｕｅ ｔｈｒｅｓｈ
ｏｌｄ ｂａｓｅｄ ｓｅｇｍｅｎｔａｔｉｏｎ）、特
徴値整合（ｆｅａｔｕｒｅｍａｃｈｉｎｇ）による方法
に分類できる。
【０００７】テンプレート整合（ｔｅｍｐｌａｔｅ ｍ
ａｔｃｈｉｎｇ：ＵＳ５９４３４４２）は、抽出しよう
とする客体はテンプレート映像として定義され、検索対
象の映像の中から、正規化相関値が最大値になる領域を
客体領域として抽出する。しかしながら、客体の大きさ
が変化する場合や客体が回転する場合、正規化相関値が
敏感に反応して抽出性能が低下してしまう。
【０００８】多重閾値（ｍｕｌｔｉ−ｖａｌｕｅ ｔｈ
ｒｅｓｈｏｌｄｓ：ＵＳ５１３８６７１）を使用して客
体を抽出する方法は、映像の輝度値や色値の分布を多重
閾値を使用して複数の領域に分割し、各々の領域を客体
領域と見なす方法である。この方法の場合、背景領域と
客体領域とを正確に区分（区別）しづらいという問題点
がある。
【０００９】また、映像編集ソフトウェアを利用した手
作業による方法は、領域の区分を人の手で直接行う方法
である。この方法の場合、客体抽出の正確度は高いが、
作業時間が長く要するので、連続映像や多映像を含むデ
ータベースイメージの編集には適していないという問題
点がある。
【００１０】
【発明が解決しようとする課題】本発明が解決しようと
する技術的課題は、異なる映像における分割された領域
同士の特性値整合を行って、客体を抽出する方法および
その装置を提供することである。本発明が解決しようと
する他の技術的課題は、上記方法をコンピュータで実行
させるためのプログラムを記録した、コンピュータで読
み出しうる記録媒体を提供することである。
【００１１】
【課題を解決するための手段】上記課題を解決するため
の本発明にかかる領域分割された映像の領域特徴値整合
に基づいた客体抽出装置は、客体を含む質疑映像および
前記質疑映像に含まれた前記客体が抽出される客体抽出
対象映像が入力される映像入力部と、画素単位の色特徴
整合により前記客体抽出対象映像における前記客体の位
置を判定する客体位置判定部と、色またはテクスチャー
を含む映像特徴値を利用して前記質疑映像と前記客体抽
出対象映像とを各々領域分割する映像分割部と、領域分
割された質疑映像の領域と領域分割された客体抽出対象
映像の領域との整合を色またはテキスチャー特性値を利
用して行い、整合の結果得られた整合領域間の空間隣接
性の類似度を利用して最終客体領域を決定する客体領域
決定部とを含むとことを特徴とする客体抽出装置に関す
るものである（請求項１）。
【００１２】なお、前記客体位置判定部は、前記質疑映
像および前記客体抽出対象映像に対して各々色ヒストグ
ラムを計算する色ヒストグラム計算部と、前記質疑映像
および客体抽出対象映像に対する色ヒストグラムをヒス
トグラム値比に代える映像投射部と、前記ヒストグラム
値比に代えられた客体抽出対象映像から候補客体位置を
判定する候補客体位置判定部とを含むことが好ましい
（請求項２）。
【００１３】また、好ましくは前記色ヒストグラム計算
部は、前記質疑映像および客体抽出対象映像に対して量
子化された色空間での画素数を計算する（請求項３）。
【００１４】さらに、好ましくは、記候補客体位置判定
部は、前記質疑映像に含まれた客体を取り囲む最小限の
境界ボックスを基準に決定されたマスクの値と前記ヒス
トグラム値比に代えられた客体抽出対象映像とを畳み込
み、その結果値が所定の基準値以上になる前記客体抽出
対象映像内の画素と前記質疑映像内の画素間の色距離差
を求めて前記色距離差の平均値が小さな画素順に候補客
体位置を判定する（請求項４）。
【００１５】また、好ましくは、前記映像分割部は、色
またはテクスチャーを含む前記映像特徴値を利用して前
記質疑映像と前記客体抽出対象映像とを各々領域分割す
る（請求項５）。
【００１６】さらに、前記客体領域決定部は、前記映像
分割部で分割された質疑映像を基準に前記客体位置での
分割された客体抽出対象領域に対して少なくとも色とテ
クスチャーを含む映像特徴値を利用して領域を整合し、
前記整合結果によって客体領域の存在の有無を判断する
領域整合部と、前記分割された質疑映像および前記客体
領域が存在すると判断された分割された客体抽出対象映
像についての整合結果によって映像領域の空間隣接性行
列を各々計算する隣接性行列計算部と、前記隣接性行列
計算部で計算された隣接性行列を利用して前記質疑映像
および前記客体抽出対象映像間の対応領域を検出する対
応領域検出部と、前記対応領域に基づいて前記二つの映
像間の類似度を計算して最終客体領域を決定する類似度
計算部とを含むことが好ましい（請求項６）。
【００１７】また、好ましくは、前記領域整合部は、前
記分割された客体抽出対象映像で、客体が存在する所定
の位置に画素を含み、前記質疑映像の客体を取り囲む領
域によって決定されたマスクと接する全分割された領域
を検出し、前記検出された領域と前記質疑映像の分割さ
れた領域間の各々の類似度を計算して前記客体領域の存
在有無を判断する（請求項７）。
【００１８】さらに、好ましくは、前記隣接性行列計算
部は、前記分割された質疑映像および前記質疑映像の客
体を含む分割された客体抽出対象映像に各々ラベル番号
を割り当て、前記ラベル番号に該当する領域が互いに隣
接しているかどうかに関する情報を隣接性行列で示し、
前記行列の各要素は互いに隣接する場合に所定の第１値
を、隣接しない場合には所定の第２値を有する（請求項
８）。
【００１９】また、好ましくは、前記対応領域検出部
は、前記隣接性行列を利用して前記二つの映像間の対応
領域を比較行列で示し、前記質疑映像の分割された領域
の数が客体抽出対象領域の分割された領域の数より大き
い場合と小さな場合によって比較行列を別途に求める
（請求項９）。
【００２０】また、好ましくは、前記対応領域検出部
は、前記隣接性行列を利用して前記二つの映像間の対応
領域を比較行列で示し、前記比較行列は前記質疑映像の
ラベル番号に該当する領域と最も近い映像特徴値を有す
る客体抽出対象映像の分割された領域に限って求められ
る（請求項１０）。
【００２１】さらに、好ましくは、前記対応領域検出部
は、距離行列を利用して前記最も近い映像特徴値を有す
る客体抽出対象映像の分割された領域を決定し、二つの
映像間の対応領域によって比較行列を再構成する（請求
項１１）。
【００２２】また、好ましくは、前記距離行列は、前記
質疑映像のラベル番号を行の値とし、前記客体抽出対象
映像のラベル番号を列の値とする行列で、前記質疑映像
と前記客体抽出対象映像との間に対応するラベル番号に
該当する領域間の距離をその行列の要素とした（請求項
１２）。
【００２３】さらに、好ましくは、前記類似度計算部
は、前記類似度を前記比較行列での上の三角行列内の第
１値を有する要素の数を前記上の三角行列全体の要素の
数で割った方式で求める（請求項１３）。
【００２４】また、本発明に係る映像から客体を抽出す
る方法は、（ａ）客体を含む質疑映像およびその質疑映
像に含まれた客体を抽出しようとする対象映像の客体抽
出対象映像を入力される段階と、（ｂ）画素単位の色特
徴整合によって前記客体抽出対象映像内で客体の位置を
判定する段階と、（ｃ）色またはテクスチャーを含む映
像特徴値を利用して前記質疑映像と前記客体抽出対象映
像とを各々領域分割する段階と、（ｄ）前記分割された
質疑映像内に含まれた客体を基準に、前記分割された客
体抽出対象映像のうち前記（ｂ）段階で判定された客体
位置に該当する分割された客体抽出対象領域に対して色
またはテクスチャー特徴値を利用して領域を整合し、前
記整合された領域間の空間隣接性の類似度を利用して最
終客体領域を決定する段階とを含む（請求項１４）。
【００２５】尚、好ましくは、前記（ｂ）段階は、（ｂ
１）前記質疑映像および前記客体抽出対象映像に対して
各々色ヒストグラムを計算する段階と、（ｂ２）前記質
疑映像および客体抽出対象映像に対する色ヒストグラム
をヒストグラム値比に代える段階と、（ｂ３）前記ヒス
トグラム値比に代えられた客体抽出対象映像から候補客
体位置を判定する段階とを含む（請求項１５）。
【００２６】さらに、好ましくは、前記（ｂ１）段階
は、前記質疑映像および客体抽出対象映像に対して、量
子化された色空間上のビンに含まれた画素数を計算する
（請求項１６）。
【００２７】また、好ましくは、前記（ｂ２）段階は、
比ヒストグラムを、前記質疑映像に対するビンのうち一
つに含まれる画素数を前記質疑映像に対する全体ビンに
含まれた画素数で割った比で決定する（請求項１７）。
【００２８】なお、好ましくは、前記前記（ｂ２）段階
は、比ヒストグラムを、前記質疑映像に対するビンと前
記客体抽出対象映像に対するビンの比で決定する（請求
項１８）。
【００２９】また、好ましくは、前記（ｂ３）段階は、
（ｂ３−１）前記質疑映像に含まれた客体を取り囲む最
小限の境界ボックスを基準に決定されたマスク値および
前記ヒストグラム値比に代えられた客体抽出対象映像を
畳み込む段階と、（ｂ３−２）前記畳み込んだ結果値が
所定の基準値以上になる前記客体抽出対象映像内の画素
と前記質疑映像内の画素間の色距離差を求めて前記色距
離差の平均値を計算する段階と、（ｂ３−３）前記色距
離差の平均値が小さな画素順に一つ以上の候補客体位置
を判定する段階とを含む（請求項１９）。
【００３０】さらに、好ましくは画素位置（ｘp、ｙp）
での前記マスクは次の数式を利用して定義される円であ
り、 ここで、ｂｌは前記境界ボックスの長い辺の長さであ
り、ｂｓは前記境界ボックスの短い辺の長さであり、α
は大きさを調節するための変数である（請求項２０）。
【００３１】さらに、好ましくは、前記色距離差の平均
は次の数式によって定義され、 ここで、Ｎは前記境界ボックス内の有効画素の数を意味
し、添字ｑは質疑映像を、ｄは客体抽出対象映像を各々
意味する（請求項２１）。
【００３２】また、好ましくは、前記（ｄ）段階は、
（ｄ１）前記（ｃ）段階で分割された質疑映像を基準に
前記客体位置での分割された客体抽出対象領域に対して
色またはテクスチャーを含む映像特徴値を利用して領域
を整合し、前記整合結果によって客体領域の存在有無を
判断する段階と、（ｄ２）前記分割された質疑映像およ
び前記客体領域が存在すると判断された分割された客体
抽出対象映像についての整合結果によって映像領域の空
間隣接性行列を各々計算する段階と、（ｄ３）前記（ｄ
２）段階で計算された隣接性行列を利用して前記二つの
映像間の対応領域を検出する段階と、（ｄ４）前記対応
領域に基づいて前記二映像間の類似度を計算して最終客
体領域を決定する段階とを含む（請求項２２）。
【００３３】また、好ましくは、前記（ｄ１）段階は、
（ｄ１−１）前記分割された客体抽出対象映像で、客体
が存在する所定の位置に画素を含み、前記質疑映像の客
体を取り囲む領域によって決定されたマスクと出合う全
分割された領域を検出する段階と、（ｄ１−２）前記検
出された領域と前記質疑映像の分割された領域間の各々
の色／テクスチャー距離差を計算して前記客体領域の存
在有無を判断する段階とを含む（請求項２３）。
【００３４】さらに、好ましくは、前記色／テクスチャ
ー距離差は色またはテクスチャーを含む映像特徴値空間
での二つの領域間の距離を利用し、前記距離は次の数式
を利用して計算され、 ここでＤc（ｘ，ｙ）とＤt（ｘ，ｙ）は各々色特徴値空
間とテクスチャー特徴値空間で二つの領域ｘ、ｙ間の距
離を示し、ｗcとｗtは各々の距離値に賦課される加重係
数である（請求項２４）。
【００３５】さらに、好ましくは、前記（ｄ２）段階
は、前記分割された質疑映像および前記質疑映像の客体
を含む分割された客体抽出対象映像に各々ラベル番号を
割り当て、前記ラベル番号に該当する領域が互いに隣接
しているかどうかに関する情報を隣接性行列で表し、前
記行列の各要素は互いに隣接する場合に所定の第１値
を、隣接しない場合に所定の第２値を有する（請求項２
５）。
【００３６】さらに、好ましくは、前記（ｄ３）段階
は、前記隣接性行列を利用して前記二つの映像間の対応
領域を比較行列で示し、前記質疑映像の分割された領域
の数が客体抽出対象領域の分割された領域の数より大き
い場合と小さな場合によって比較行列を別途に求める
（請求項２６）。
【００３７】また、好ましくは、前記（ｄ３）段階は、
前記隣接性行列を利用して二つの映像間の対応領域を比
較行列で示し、ここで比較行列は質疑映像のラベル番号
に該当する領域と最も近い映像特徴値を有する客体抽出
対象映像の分割された領域に限って求められる（請求項
２７）。
【００３８】さらに、好ましくは、前記（ｄ３）段階
は、距離行列を利用して前記最も近い映像特徴値を有す
る客体抽出対象映像の分割された領域を決定し、前記二
つの映像間の対応領域によって比較行列を再構成する
（請求項２８）。
【００３９】なお、好ましくは、前記距離行列は、前記
質疑映像のラベル番号を行の値とし、前記客体抽出対象
映像のラベル番号を列の値とする行列で、前記質疑映像
と前記客体抽出対象映像間に対応するラベル番号に該当
する領域間の距離をその行列の要素とした（請求項２
９）。
【００４０】さらに、好ましくは、前記（ｄ４）は、前
記隣接性行列の各要素が互いに隣接する場合には第１値
を有し、隣接しない場合には第２値を有する時、前記類
似度を前記比較行列での上の三角行列内の第１値を有す
る要素の数を前記上の三角行列全体の要素の数で割った
方式で求める（請求項３０）。
【００４１】また、好ましくは、 前記（ｄ４）段階
で、前記類似度は次の数式を利用して計算され、 ここで、隣接性行列の各要素が互いに隣接する場合に前
記第１値を、隣接しない場合に前記第２値を有する時、
Ｅuは前記比較行列の上の三角行列内の前記第１値の数
を、Ｍuは前記上の三角行列全体の要素の数を各々示す
（請求項３１）。
【００４２】また、本発明は、請求項１４ないし請求項
３１のうちいずれか一項の方法をコンピュータで実行さ
せるためのプログラムを記録した、コンピュータで読み
出しうる記録媒体に関するものである（請求項３２）。
【００４３】
【発明の実施の形態】以下、添付した図面を参照して本
発明の望ましい実施形態について詳細に説明する。
【００４４】図１は、本発明にかかる客体抽出装置の望
ましい実施形態のブロック図である。図１に示すよう
に、客体抽出装置は、映像入力部１１０と、客体位置判
定部１２０と、映像分割部１３０と、客体領域決定部１
４０とを含む。前記客体位置判定部１２０は、色ヒスト
グラム計算部１２１と、映像投射部１２３と、候補客体
位置判定部１２５とを含んでも良い。また、前記客体領
域決定部１４０は、領域整合部１４１と、隣接性行列計
算部１４３と、対応領域検出部１４５と、類似度計算部
１４７とを含んでも良い。
【００４５】図２は、本発明にかかる客体抽出方法の望
ましい実施形態のフローチャートである。図２を参照し
ながら図１に示した客体抽出装置の動作を詳細に説明す
る。
【００４６】はじめに、映像入力部１１０に、客体を含
む質疑（参照）映像と、客体抽出対象映像が入力される
（２１０段階）。ここで質疑（参照）映像とは、抽出し
ようとする客体を含む映像である。この質疑（参照）映
像は、抽出しようとする客体をブルースクリーンなどを
背景として撮影する、または動映像（画像）の任意の一
映像フレームにおいて背景部分と客体部分とを映像編集
機などを利用して分離する、などの方法により得ること
ができる。この場合、客体のある領域（部分）以外の領
域、すなわち背景部分の画素の値は、「０」（ｂｌａｃ
ｋ）として処理される。また、客体抽出対象映像とは、
任意の一映像、または動映像（画像）の中から場面検出
技法などを利用して選択された代表フレーム映像をい
う。
【００４７】客体抽出対象映像が動映像（画像）におけ
る代表フレーム映像である場合、当該代表フレーム映像
は、抽出しようとする客体を含んでいても良く、含んで
いなくても良い。質疑（参照）映像および客体抽出対象
映像は、本発明の他の段階を始める前に備えておく必要
がある。
【００４８】次に、客体位置判定部１２０は、客体抽出
対象映像内における客体の位置を特定するために、質疑
（参照）映像と客体抽出対象映像の画素単位ごとに色特
徴の整合（ｃｏｌｏｒ ｆｅａｔｕｒｅ ｍａｔｃｈｉ
ｎｇ）を行う（２２１〜２２５−３段階）。
【００４９】具体的には、色ヒストグラム計算部１２１
が、選択された色空間と量子化水準を用いて、質疑（参
照）映像と客体抽出対象映像について色ヒストグラム値
を求める（２２１段階）。ここで、色ヒストグラム値
は、量子化された色空間内の各ビン（ｂｉｎ）に含まれ
る画素数を意味する。
【００５０】図３は、本発明で使用する量子化された色
空間内におけるビンの例を示している。この図におい
て、色空間は赤色（Ｒ）軸、緑色（Ｇ）軸、青色（Ｂ）
軸からなる３次元空間で表現される。図３の各軸は、色
空間を一定の体積を有する立方体に量子化するために、
各軸ごとに５個の区間（０から始まって、５１、１０
２、１５３、２０４、２５５という値ごと）に分割され
る。ここでビンとは、以上のように量子化された３次元
色空間内の一区間（例えば、図３で斜線をつけた部分
（四面体））を意味する。
【００５１】各ビンに含まれた画素数Ｃmiが、臨界画素
数（閾値）以下の場合、ビン内の画素を雑音（ノイズ）
と見なして、当該ビンの色ヒストグラム値を「０」と設
定する。
【００５２】臨界画素数（閾値）は、ｔｈｒＰｉｘｅｌ
＝ＳＵＭ（Ｃmi）／ｎと定義できる。ここで、ｉは
０、...、ｎ−１の値を有するビン番号であり、ｎはビ
ンの数、Ｃmiは質疑（参照）映像内のｉ番目のビンに含
まれた画素の数である。
【００５３】この場合、映像内での出現頻度が少ない色
値を有する画素は、雑音（ノイズ）と見なされる。また
背景色（画素値が「０」である）と見なされた領域に対
する色ヒストグラム値は、「０」として処理し、これに
より最終色ヒストグラム値が決定される。
【００５４】本実施の形態ではＲＧＢ色空間が使われ、
８×８×８の量子化が用いられる。しかしながら、本発
明は、特定の色空間や量子化に限定されるものではな
い。ＹＣｂＣｒ、Ｌ＊ｕ＊ｖなどの他の色空間を適宜選
択使用することが可能であり、量子化も４×４×４ある
いは１６×１６×１６など他の水準を使用できる。この
ように他の色空間を選択したり、他の量子化水準を使用
する場合における結果の変化は微細である。
【００５５】映像投射部１２３は、ヒストグラム値比を
計算し、客体抽出対象映像の各画素値をヒストグラム値
比と置換する（２２３段階）。これが色ヒストグラムを
利用した映像投射（射影）（ｉｍａｇｅ ｐｒｏｊｅｃ
ｔｉｏｎ）である。ヒストグラム値比は次の２つの方法
で計算できる。その最初の方法は、質疑（参照）映像の
ｉ番目ビンに含まれる画素の数を、質疑（参照）映像内
の全ての有効画素数で割った値すなわち、Ｒ［Ｃｉ］＝
［Ｃmi／ＳＵＭ（Ｃmi）＿eｆｆeｃｔｉｖｅ］で決定す
る方法である。ここで、ＳＵＭ（Ｃmi）＿eｆｆeｃｔｉ
ｖｅはｉ番目のビンに含まれた有効画素数を意味する。
【００５６】二番目の方法は、質疑（参照）映像のビン
の画素数を客体抽出対象映像内のビンであって質疑（参
照）映像のビンに対応するビンに含まれる画素数で割っ
た値と、１のうち小さいほうの値をヒストグラム値比と
する方法である。すなわち、ヒストグラム値比は、Ｒ
［Ｃｉ］＝ｍｉｎ［（Ｃmi／Ｃdi）、１］で定義され
る。ここで、Ｒ［Ｃｉ］はｉ番目のビンに対応する色を
有する画素の比（割合）を意味する。客体抽出対象映像
の各画素の色値に対応するヒストグラム値比と、画素値
とを置換する、これにより、映像投射がなされる。
【００５７】候補客体位置判定部１２５は、ヒストグラ
ム値比とともに客体抽出対象映像における候補客体の位
置を画素の値として決定する（２２５−１段階）。具体
的には、質疑（参照）映像内の客体の映像領域を取り囲
む最小限の四角形、すなわち境界ボックス（枠）を求め
る。各画素ごとに客体の存在可能性に関する尺度（存在
確率）を計算するために、この境界ボックスの大きさを
基準として決定される特定の大きさを有するマスクを、
ヒストグラム値比を有する客体抽出対象映像に対して畳
み込みをする。その計算した尺度の値が基準値以上であ
れば、相当する画素の位置を候補客体位置と判定する。
【００５８】ここで、各画素（ｘp、ｙp）の尺度を計算
するために使われるマスクＷは、半径の大きさがＷＲで
ある円となる。このマスクＷは、下記式１のように定義
される。
【００５９】
【数１】
【００６０】ここでＷＲは境界ボックスにより規定され
る値であり、ｂｌは境界ボックスの長辺の長さ、ｂｓは
境界ボックスの短辺の長さであり、αは大きさを調節す
るための変数である。各画素内に客体が存在する可能性
は「ｌｏｃ」と表現され、ｌｏｃ（ｘ、ｙ）＝Ｗ＊ｐ
（ｘ、ｙ）と定義される。ここで、ｐ（ｘ、ｙ）は、画
素（ｘ、ｙ）におけるヒストグラム値比であり、＊は畳
み込みを意味する。ｌｏｃ（ｘ、ｙ）の最大値は２５５
というように正規化される。ｌｏｃ値が基準値以上であ
ｒｕ場合、画素（ｘ、ｙ）の位置は候補客体位置として
決定される。前記式１において、変数αを調節すること
で、客体の多重位置を決定できる。すなわち、抽出しよ
うとする客体の大きさが、質疑（参照）映像と客体抽出
対象映像とで異なる場合、その大きさ変化が認識するこ
とができる。
【００６１】２２５−１段階において候補客体の位置が
決定されると、テンプレート整合を行うために、質疑
（参照）映像内の客体領域の一部または全部を含む特定
大きさの四角形領域内にある画素と、客体抽出対象映像
内の候補客体位置の周りの特定大きさの四角形領域にあ
る画素との間の色距離差を求める（２２５−２段階）。
【００６２】少なくとも一つの客体の位置が、平均色距
離差を元に決定される（２２５−３段階）。
【００６３】具体的には、質疑（参照）映像内の客体領
域を囲むマスク内の画素と、客体抽出対象映像内の候補
客体位置判定部１２５により候補客体位置と決定された
位置にある画素のマスクに含まれる画素との間の平均色
距離差が最小となる場合、候補客体位置は客体位置とし
て決定される。そして、２番目に小さい値となった場
合、相当する候補客体位置は、他の客体の位置として決
定される。このようにして、少なくとも一つの客体の位
置が決定される。ここで、マスクは、質疑（参照）映像
内の客体境界ボックスのサイズに基づいて決定される任
意の大きさ、例えば縦横の大きさがｂｓである、を有す
る四角い領域である。
【００６４】質疑（参照）映像内の画素と、客体抽出対
象映像の画素との間の平均色距離差（ＡＤpixelcolor）
は、下記式２のように定義できる。
【００６５】
【数２】
【００６６】ここで、Ｎは、Ｒq＝Ｇq＝Ｂq＝０となら
ない有効画素の数を意味し、Ｒq＝Ｇ q＝Ｂq＝０となる
画素は計算から除外される。下添字ｑは質疑（参照）映
像を、ｄは客体抽出対象映像をそれぞれ意味する。
【００６７】一方、映像分割部１３０は、映像入力部１
１０を介して入力された質疑（参照）映像と客体抽出対
象映像とを、色やテクスチャーの映像特徴値を利用し
て、複数の領域にそれぞれ分割する（２３０段階）。こ
の映像を分割する方法は特に限定されるものではなく、
従来公知の方法を使用して行える。この映像を分割する
方法の好ましい一態様が図５に示されている。図５
（ａ）は、元の映像を、図５（ｂ）は領域分割された映
像を示す。図５（ｂ）に示すように、分割された領域に
はラベル番号が割り当てられている。
【００６８】客体領域決定部１４０は、質疑（参照）映
像の分割された全ての領域と、客体抽出対象映像の分割
された領域の中で前記客体位置判定部１２０により客体
位置として決定された位置に含まれるすべての領域との
領域整合を行う。そして整合された領域における空間隣
接性の類似度を利用して最終客体領域を決定する（２４
１段階〜２４９段階）。
【００６９】具体的には、領域整合部１４１は、客体抽
出対象映像内の客体位置として決定された位置を中心と
するマスクＷに接する分割された領域を検出し、これと
質疑（参照）映像の分割された全ての領域との間の類似
度を計算して領域整合を行う（２４１段階）。類似度が
所定値よりも小さい場合、客体抽出対象映像内の検出さ
れた領域を、客体領域として決定する。一方、類似度が
所定値よりも大きい場合、相当する検出領域を、客体領
域から除外する。ここで、類似度は、色−テクスチャー
特徴値空間における距離ＤCTを用いて決定される。な
お、距離ＤCTは、下記式３のように定義される。
【００７０】
【数３】
【００７１】ここで、Ｄc（ｘ、ｙ）は、色特徴空間に
おける２つの領域ｘ、ｙ間の距離であり、Ｄt（ｘ、
ｙ）は、テクスチャー特徴値空間における２つの領域
ｘ、ｙ間の距離を示す。ｗcとｗtは各々の距離値に付加
される加重係数である。
【００７２】Ｄc（ｘ、ｙ）とＤt（ｘ、ｙ）とを計算す
る過程の一例を以下に詳細に説明する。分割された各領
域の色特徴値は下記式４のように定義される。ここで、
輝度（Ｂ、Ｂｒｉｇｈｔｎｅｓｓ）、色相（Ｈ、Ｈｕ
ｅ）、彩度（Ｓ、Ｓａｔｕｒａｔｉｏｎ）である。
【００７３】
【数４】
【００７４】ここでｒ、ｇ、ｂは、入力された領域の平
均色値であり、ｕ＝ｍｉｎ（ｒ，ｇ，ｂ）である。ＢＨ
Ｓ色空間上の距離は、下記式５で表される色空間内の距
離Ｄｃ（ｘ，ｙ）として使用できる。
【００７５】
【数５】
【００７６】ここでＢ（ｘ）、Ｈ（ｘ）、Ｓ（ｘ）は、
色空間内の一点における輝度、色相、彩度をそれぞれ意
味し、ＫB、ＫH、ＫSは、それぞれ輝度、色相、彩度の
加重係数である。
【００７７】テクスチャー特徴値空間は、多重大きさお
よび多重方向のテクスチャー特徴値を利用して形成され
る。各特徴値は、各画画素ごとの多重方向の局所変動ｖ
と局所振動ｇとをそれぞれ合算することによって得られ
る。映像の輝度値Ｂは、このようなテクスチャー特徴値
を抽出するのに使用される。
【００７８】テキスチャー特性値を求める際に、長さ２
Ｌである画素の集合を、画素（ｍ、ｎ）を中心として確
度αk＝ｋπ／Ｋ（ｋ＝０、...、Ｋ−１）回転させる。
ここで、Ｌについて図４を参照しながら説明する。
【００７９】図４は、画素（ｍ、ｎ）を中心にした回転
と、Ｌの意味とを説明するための図面である。図４の黒
色に塗りつぶした部分は、計算しようとするテキスチャ
ー特性値の画素（ｍ，ｎ）である。画素（ｍ，ｎ）の上
下左右に位置する各画素は、ハッチング線で示してい
る。ここでＬは４である。対角線上に示された画素群
は、４つの画素を画素（ｍ，ｎ）を中心として４５度回
転させた際の様子を示している。
【００８０】ｙi（−Ｌ≦ｉ≦Ｌ）は、このように均一
に分布された配列画素の中の一個の画素の輝度値Ｂを示
す。ここで、ｄi＝ｙi+1−ｙiは、この配列画素の中で
隣り合った画素の輝度値の差を示し、ｗi＝ｕ ｃｏｓ
（ｉπ／（２Ｌ＋１））はコサイン加重関数となる。こ
こで係数ｕは、 を形成するための値として使われる。これを利用して得
られる加重変動の上限および下限は、次の数式６の通り
である。
【００８１】
【数６】
【００８２】ここで、上記式６の二つの値のうち小さい
方の値を局所変動値ｖとして選択する。すなわち、局所
変動値ｖは、下記式７のように定義される。
【００８３】
【数７】
【００８４】局所振動値ｇは、長さＬ（−Ｌ≦ｉ≦Ｌ）
の配列画素に含まれるｄiの中で、その方向（ｓｉｇ
ｎ）が変わるとｄiの振幅の大きさが所定の規定値を超
えるｄiの数である。
【００８５】各画素のテキスチャー特性値 は、各画素の局所変動値と局所振動値とを乗算すること
によって求められる。
【００８６】求められたテキスチャー特徴値をさらに均
一にするために、各テキスチャー特性値は、サイズがｈ
である枠の尺度値に平坦化され、そして下記式８に示す
変換式を利用して双曲線正接（ｈｙｐｅｒｂｏｌｉｃ
ｔａｎｇｅｎｔ）変換処理される。これにより、高いテ
クスチャー特徴値は小さく、低いテクスチャー特徴値は
大きくなる。
【００８７】
【数８】
【００８８】テクスチャーは大きさに依存する特徴値で
あるために、映像の大きさを、異なる周波数で毎回１／
２づつＳ回縮める。各画素のテクスチャー特徴値は、映
像の大きさを縮める必要があるときはいつでも、この方
法に従って求めることが出来る。このようにして求めら
れるテクスチャー特徴値は、下記式９のように表され
る。
【００８９】
【数９】
【００９０】式９によると、各画素のテクスチャー特徴
値の数はＫＳである。各領域の各画素のＫＳ個のテクス
チャー特徴値は、異なる領域の画素間のテキスチャー距
離を求めるのに利用される。ここで、テキスチャー距離
は下記式１０で表される。
【００９１】
【数１０】
【００９２】ここでｘ，ｙは、テクスチャー特性空間内
の二点を意味する。 と は、それぞれｘとｙのテキスチャー特性値であり、Ｗs
はテクスチャーの多重大きさに付加される加重係数であ
る。
【００９３】領域整合部１４１は、客体抽出対象映像内
に少なくとも一つの客体領域が存在するか否かを、計算
された類似度に基づいて判断する（２４２段階）。客体
領域が存在しないと判断された場合、客体抽出対象映像
内に客体領域が含まれないと判断し、終了する。一方、
すくなくとも一つの客体領域が存在すると判断された場
合、客体抽出対象映像が客体領域を含むと判断する。
【００９４】、続いて、隣接性行列計算部１４３は、分
割された領域を有する質疑（参照）映像と、領域整合を
行って得られた映像とを受信し、入力された映像のそれ
ぞれの分割された領域について空間隣接性行列を計算す
る（２４３段階）。ここで、領域整合を行って得られた
映像とは、客体抽出対象映像の分割された領域の中で客
体領域を含むと見なされた領域と、質疑（参照）映像の
分割された領域とに領域整合を行って得られた映像との
ことである。
【００９５】分割された領域にはラベル番号がそれぞれ
割り当てられており、分割された領域の中の隣接性は行
列で示されている。２つの分割された領域が隣接してい
る場合、行列内の対応する要素は値「１」を有する。２
つの分割された領域が隣接していない場合、行列内の対
応する要素は、値「０」を有する。このような隣接行列
の好ましい一態様を図６に示す。
【００９６】図６は、図５（ｂ）に示す映像の隣接性行
列を示したものである。この図では、領域２と領域３と
は互いに隣接した領域となっているので、行列の要素
（２，３）の成分は「１」の値を有する。また、領域２
と領域４とは互いに隣接せずに分離された領域となって
いるので、行列の要素（２，４）は「０」の値を有す
る。このように、分割された領域のラベル番号は、行列
内の行と列とに割り当てられており、２つの領域の隣接
性は、対応する要素「１」、「０」で示されるので、隣
接性行列が形成される。
【００９７】対応領域検出部１４５は、質疑（参照）映
像の隣接性行列を構成する領域に対応する客体抽出対象
映像内の領域を、隣接性行列を用いて検出する（２４５
段階）。具体的には、質疑（参照）映像と客体抽出対象
映像とにおける対応領域は比較行列で表わされる。質疑
（参照）映像の分割された領域の数と、客体抽出対象映
像の分割された領域の数に基づいて、比較行列をそれぞ
れ方法で求めることは必要である。
【００９８】（１）質疑（参照）映像の分割された領域
の数が、客体抽出対象映像の分割された領域の数より多
い場合、例えば、質疑（参照）映像の分割された領域の
数が４つ、客体抽出対象映像の分割された領域の数は３
つである場合、 −質疑（参照）映像および客体抽出映像の隣接性行列を
求める。 −質疑（参照）映像の分割された領域の数に基づいて正
方形の比較行列を構成する。 −客体抽出対象映像の隣接性行列にラベル番号を割り当
て、割り当てられたラベルに対応する要素の値を「０」
とする。
【００９９】図７は、質疑（参照）映像の分割された領
域の数が、客体抽出対象映像の分割された領域の数より
多い場合の比較行列を求める望ましい実施形態を示して
いる。図７（ａ）は質疑（参照）映像の隣接性行列の一
例を示しており、図７（ｂ）は客体抽出対象映像の隣接
性行列の一例を示しており、図７（ｃ）は、図７
（ａ）、図７（ｂ）の隣接性行列から求められた比較行
列の一例を示している。ここで、図７（ｂ）および図７
（ｃ）における「×」は、追加されたラベルである。
【０１００】（２）質疑（参照）映像の分割された領域
の数が、客体抽出対象映像の分割された領域の数より少
ない場合、 −質疑（参照）映像および客体抽出対象映像の隣接性行
列を求める。 −質疑（参照）映像の分割された領域の数に基づいて正
方形の比較行列を構成する。 −客体抽出対象映像の領域ラベルのうちの一部を比較行
列構成から除外する。 図８は、質疑（参照）映像の分割された領域の数が、客
体抽出対象映像の分割された領域の数より少ない場合に
比較行列を求める望ましい実施形態が示されている。図
８（ａ）は質疑（参照）映像の隣接性行列であり、図８
（ｂ）は客体抽出対象映像の隣接性行列であり、図８
（ｃ）は、図８（ａ）および図８（ｂ）で求めた比較行
列である。
【０１０１】図７乃至図８では、質疑（参照）映像の領
域ラベルと客体抽出対象映像の領域ラベルとが同じもの
を整合させて比較行列を構成する。しかし、図７乃至図
８に示す前記方法に従って得られた比較行列は、同一の
ラベル番号を有する領域が同じ特性値（色特性値、テキ
スチャー特性値）を有すると仮定した状況下においての
み有効である。すなわち、質疑（参照）映像および客体
抽出対象映像内のラベル番号が割り当てられた領域同士
が最も類似した特性を有する対応領域を探す必要があ
る。各対応領域のラベル番号を用いて比較行列を求めた
場合のみ、質疑（参照）映像と客体抽出対象映像におけ
る領域比較が有効である。このような対応領域は以下の
手順に従って求められる。
【０１０２】（１）質疑（参照）映像の領域ラベル番号
を行として、客体抽出対象映像の領域ラベル番号を列と
してそなえる行列を構成し、質疑（参照）映像内の分割
された領域間の距離と、客体抽出対象映像内の分割され
た領域間の距離とを求め、求めた距離を要素としてそな
える距離行列を求める。ここで、距離とは色−テクスチ
ャー特徴空間における距離ＤCT（ｘ，ｙ）である。
【０１０３】（２）質疑（参照）映像の領域に対応する
客体抽出対象映像内の領域を距離行列の値により決定し
て、その対応領域によって比較行列を再構成する。
【０１０４】図９は、質疑（参照）映像と客体抽出対象
映像のそれぞれについて、異なるラベル番号を有する領
域の特性値に最も近い特性値を有する領域を検索し、検
索結果に基づいて比較行列を構成する方法の好ましい位
置態様図である。
【０１０５】図９（ａ）は、質疑（参照）映像と客体抽
出対象映像に存在する領域間の距離を示す距離行列の望
ましい実施形態を示したものである。図９（ｂ）は、図
９（ａ）の距離行列において距離が最短となる領域にそ
れぞれ割り当てられたラベル番号を使用して再構成され
た比較行列の好ましい一態様を示したものである。
【０１０６】図９（ａ）の距離行列の要素のうちハッチ
ング線を付した各要素では、質疑（参照）映像と客体抽
出対象映像の領域間の距離が最短となる。図９では、質
疑（参照）映像の領域が３つ、比較される客体抽出対象
映像の領域が４つである場合を例に挙げており、比較行
列ではラベル番号が距離行列で求めた対応する領域によ
って変化することを示している。
【０１０７】次に、類似度計算部１４７は、空間隣接性
行列の類似度を計算する（２４７段階）。類似度は比較
行列における「１」の数Ｅuを、上の三角行列全体の要
素の数Ｍuで割ることで求める。質疑（参照）映像にお
ける隣接性と、客体抽出対象映像における隣接性とが略
一致する場合、類似性の値は「１」となる。一方、質疑
（参照）映像における隣接性と、客体抽出対象映像にお
ける隣接性とが完全に異なる場合、類似性の値は「０」
となる。すなわち、質疑（参照）映像と客体抽出対象映
像との間の空間隣接性における類似度Ｓｉは、下記式１
１で表される。
【０１０８】
【数１１】
【０１０９】そして、計算された類似度が臨界値（閾
値）以上であるかどうかを判断する（２４８段階）。類
似度が臨界値（閾値）以上である場合、最終客体領域が
決定される（２４９段階）。すなわち、色特性値および
テキスチャー特性値を利用して領域整合を行うことによ
り求められた客体抽出対象映像内の領域が、抽出しよう
とする客体であるか否かを判断する。客体領域として最
終的に決定された領域を客体（最終客体領域）として決
定される。最終客体領域の画素の値は、オリジナル
（元）映像内の画素の値として決定される。そして客体
抽出対象映像の他の領域の画素の値を「０」とする。
【０１１０】一方、類似度が臨界値（閾値）以下である
場合、客体抽出対象映像の中に抽出される客体が存在し
ないと決定され、客体抽出対象内の全ての画素の値を
「０」とする。
【０１１１】図１０は、客体抽出映像から二つの相異な
る客体を抽出した結果を示すものである。図１０（ａ）
は、４個の客体抽出対象映像に含まれた女性出演者の服
（抽出対象客体）を本発明によって抽出した結果を示し
たものであり、図１０（ｂ）は、４個の客体抽出対象映
像から男性出演者の服（抽出対象客体）を本発明によっ
て抽出した結果を示したものである。
【０１１２】一方、上述した本発明の実施形態はコンピ
ュータで実行できるプログラムで作成可能である。そし
て、コンピュータで使われる媒体を利用して上記プログ
ラムを動作させる汎用ディジタルコンピュータで具現で
きる。上記媒体はマグネチック貯蔵媒体（例えば、ＲＯ
Ｍ、フレキシブルディスクディスク、ハードディスク
等）、光学的判読媒体（例えば、ＣＤ-ＲＯＭ、ＤＶＤ
等）およびキャリアウェーブ（例えば、インターネット
を通した伝送）のような貯蔵媒体を含む。
【０１１３】
【発明の効果】以上述べたように、本発明は従来の動き
基盤客体抽出方法などとは違って客体抽出対象映像内に
存在する客体の動きの有無に関係なく客体を抽出できる
長所がある。それだけでなく、客体抽出対象映像が連続
する動映像フレームである必要もない。また、色特性値
やテクスチャー特徴値などの単一種の情報だけを利用し
て客体を抽出する方法と比べると、本発明によるとより
正確な客体の映像領域抽出が可能となる。抽出しようと
する客体を含む質疑（参照）映像と客体抽出対象映像の
入力に応じて客体抽出を自動的に行えるので、手動の客
体を抽出する際に要する時間を節約できる。本発明のこ
のような特徴および長所は、特定客体の映像領域を自動
で抽出する必要がある映像編集および書込み機、客体基
盤映像符号化機、対話形動映像製作機等に有用に利用で
きる。
【０１１４】今まで本発明について望ましい実施形態を
中心に調べた。本発明が属する技術分野で通常の知識を
有する者は本発明を本発明の本質的な特性を外れない範
囲で変形された形で具現できることを理解できる。した
がって開示された実施形態は限定的な観点でなく説明的
な観点で考慮されねばならない。本発明の範囲は特許請
求の範囲に示されており、それと同等な範囲内にあるす
べての差異点は本発明に含まれると解析されねばならな
い。
【図面の簡単な説明】
【図１】本発明による客体抽出装置の望ましい実施形態
のブロック図である。
【図２】本発明による客体抽出方法のフローチャートで
ある。
【図３】色空間の量子化およびビンに関する説明図であ
る。
【図４】画素（ｍ、ｎ）を中心にした回転に関する説明
図である。
【図５】（ａ）、（ｂ）ともに領域分割された映像にラ
ベル番号を割り当てた例を示す。
【図６】図５Ｂについての隣接性行列を示す。
【図７】質疑（参照）映像の分割された領域の数が客体
抽出対象領域の分割された領域の数より大きい場合に比
較行列を求める例を示す。
【図８】質疑（参照）映像の分割された領域の数が客体
抽出対象領域の分割された領域の数より小さい場合に比
較行列を求める例を示す。
【図９】距離行列の例とそれに従う比較行列の例を示
す。
【図１０】二つの相異なる客体についての客体抽出対象
映像での客体抽出結果を示す。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 金 智 淵 大韓民国 ソウル特別市 松坡区 新川洞 ７番地 薔薇アパート 17棟 1101号 (72)発明者 金 相 均 大韓民国 京畿道 龍仁市 器興▲巴▼ 上▲葛▼里 476番地 金花マウル 大宇 現代アパート 103棟 401号 Ｆターム(参考） 5C023 AA06 AA16 BA02 BA11 CA01 5L096 AA02 FA15 FA41 FA69 JA11

Claims (32)

    【特許請求の範囲】
  1. 【請求項１】 映像から客体を抽出する客体抽出装置で
    あって、 前記客体を含む質疑映像および前記質疑映像に含まれた
    客体が抽出される客体抽出対象映像が入力される映像入
    力部と、 画素単位の色特徴整合により前記客体抽出対象映像にお
    ける前記客体の位置を判定する客体位置判定部と、 色またはテクスチャーを含む映像特徴値を利用して前記
    質疑映像と前記客体抽出対象映像とを各々領域分割する
    映像分割部と、 領域分割された質疑映像の領域と領域分割された客体抽
    出対象映像の領域との整合を色またはテクスチャー特性
    値を利用して行い、整合の結果得られた整合領域間の空
    間隣接性の類似度を利用して最終客体領域を決定する客
    体領域決定部とを含むとことを特徴とする客体抽出装
    置。
  2. 【請求項２】 前記客体位置判定部は、 前記質疑映像および前記客体抽出対象映像に対して各々
    色ヒストグラムを計算する色ヒストグラム計算部と、 前記質疑映像および客体抽出対象映像に対する色ヒスト
    グラムをヒストグラム値比に代える映像投射部と、 前記ヒストグラム値比に代えられた客体抽出対象映像か
    ら候補客体位置を判定する候補客体位置判定部とを含む
    ことを特徴とする請求項１に記載の客体抽出装置。
  3. 【請求項３】 前記色ヒストグラム計算部は、 前記質疑映像および客体抽出対象映像に対して量子化さ
    れた色空間での画素数を計算することを特徴とする請求
    項２に記載の客体抽出装置。
  4. 【請求項４】 前記候補客体位置判定部は、 前記質疑映像に含まれた客体を取り囲む最小限の境界ボ
    ックスを基準に決定されたマスクの値と前記ヒストグラ
    ム値比に代えられた客体抽出対象映像とを畳み込み、そ
    の結果値が所定の基準値以上になる前記客体抽出対象映
    像内の画素と前記質疑映像内の画素間の色距離差を求め
    て前記色距離差の平均値が小さな画素順に候補客体位置
    を判定することを特徴とする請求項２に記載の客体抽出
    装置。
  5. 【請求項５】 前記映像分割部は、 色またはテクスチャーを含む前記映像特徴値を利用して
    前記質疑映像と前記客体抽出対象映像とを各々領域分割
    することを特徴とする請求項１に記載の客体抽出装置。
  6. 【請求項６】 前記客体領域決定部は、 前記映像分割部で分割された質疑映像を基準に前記客体
    位置での分割された客体抽出対象領域に対して少なくと
    も色とテクスチャーを含む映像特徴値を利用して領域を
    整合し、前記整合結果によって客体領域の存在の有無を
    判断する領域整合部と、 前記分割された質疑映像および前記客体領域が存在する
    と判断された分割された客体抽出対象映像についての整
    合結果によって映像領域の空間隣接性行列を各々計算す
    る隣接性行列計算部と、 前記隣接性行列計算部で計算された隣接性行列を利用し
    て前記質疑映像および前記客体抽出対象映像間の対応領
    域を検出する対応領域検出部と、 前記対応領域に基づいて前記二つの映像間の類似度を計
    算して最終客体領域を決定する類似度計算部とを含むこ
    とを特徴とする請求項１に記載の客体抽出装置。
  7. 【請求項７】 前記領域整合部は、 前記分割された客体抽出対象映像の中で、客体が存在す
    る所定の位置に画素を含み、前記質疑映像の客体を取り
    囲む領域によって決定されたマスクと接する全分割され
    た領域を検出し、前記検出された領域と前記質疑映像の
    分割された領域間の各々の類似度を計算して前記客体領
    域の存在有無を判断することを特徴とする請求項６に記
    載の客体抽出装置。
  8. 【請求項８】 前記隣接性行列計算部は、 前記分割された質疑映像および前記質疑映像の客体を含
    む分割された客体抽出対象映像に各々ラベル番号を割り
    当て、前記ラベル番号に該当する領域が互いに隣接して
    いるかどうかに関する情報を隣接性行列で示し、前記行
    列の各要素は互いに隣接する場合に所定の第１値を、隣
    接しない場合には所定の第２値を有することを特徴とす
    る請求項６に記載の客体抽出装置。
  9. 【請求項９】 前記対応領域検出部は、 前記隣接性行列を利用して前記二つの映像間の対応領域
    を比較行列で示し、前記質疑映像の分割された領域の数
    が客体抽出対象領域の分割された領域の数より大きい場
    合と小さな場合によって比較行列を別途に求めることを
    特徴とする請求項６に記載の客体抽出装置。
  10. 【請求項１０】 前記対応領域検出部は、 前記隣接性行列を利用して前記二つの映像間の対応領域
    を比較行列で示し、前記比較行列は前記質疑映像のラベ
    ル番号に該当する領域と最も近い映像特徴値を有する客
    体抽出対象映像の分割された領域に限って求められるこ
    とを特徴とする請求項６に記載の客体抽出装置。
  11. 【請求項１１】 前記対応領域検出部は、 距離行列を利用して前記最も近い映像特徴値を有する客
    体抽出対象映像の分割された領域を決定し、二つの映像
    間の対応領域によって比較行列を再構成することを特徴
    とする請求項１０に記載の客体抽出装置。
  12. 【請求項１２】 前記距離行列は、 前記質疑映像のラベル番号を行の値とし、前記客体抽出
    対象映像のラベル番号を列の値とする行列で、前記質疑
    映像と前記客体抽出対象映像との間に対応するラベル番
    号に該当する領域間の距離をその行列の要素としたこと
    を特徴とする請求項１１に記載の客体抽出装置。
  13. 【請求項１３】 前記類似度計算部は、 前記類似度を前記比較行列での上の三角行列内の第１値
    を有する要素の数を前記上の三角行列全体の要素の数で
    割った方式で求めることを特徴とする請求項８に記載の
    客体抽出装置。
  14. 【請求項１４】 映像から客体を抽出する方法におい
    て、 （ａ）客体を含む質疑映像およびその質疑映像に含まれ
    た客体を抽出する客体抽出対象映像が入力される段階
    と、 （ｂ）画素単位の色特徴整合によって前記客体抽出対象
    映像内で客体の位置を判定する段階と、 （ｃ）色またはテクスチャーを含む映像特徴値を利用し
    て前記質疑映像と前記客体抽出対象映像とを各々領域分
    割する段階と、 （ｄ）前記分割された質疑映像内に含まれた客体を基準
    に、前記分割された客体抽出対象映像のうち前記（ｂ）
    段階で判定された客体位置に該当する分割された客体抽
    出対象領域に対して色またはテクスチャー特徴値を利用
    して領域を整合し、前記整合された領域間の空間隣接性
    の類似度を利用して最終客体領域を決定する段階とを含
    むことを特徴とする映像から客体を抽出する客体抽出方
    法。
  15. 【請求項１５】 前記（ｂ）段階は、 （ｂ１）前記質疑映像および前記客体抽出対象映像に対
    して各々色ヒストグラムを計算する段階と、 （ｂ２）前記質疑映像および客体抽出対象映像に対する
    色ヒストグラムをヒストグラム値比に代える段階と、 （ｂ３）前記ヒストグラム値比に代えられた客体抽出対
    象映像から候補客体位置を判定する段階とを含むことを
    特徴とする請求項１４に記載の客体抽出方法。
  16. 【請求項１６】 前記（ｂ１）段階は、 前記質疑映像および客体抽出対象映像に対して、量子化
    された色空間上のビンに含まれた画素数を計算すること
    を特徴とする請求項１５に記載の客体抽出方法。
  17. 【請求項１７】 前記（ｂ２）段階は、 比ヒストグラムを、前記質疑映像に対するビンのうち一
    つに含まれる画素数を前記質疑映像に対する全体ビンに
    含まれた画素数で割った比で決定することを特徴とする
    請求項１６に記載の客体抽出方法。
  18. 【請求項１８】 前記（ｂ２）段階は、 比ヒストグラムを、前記質疑映像に対するビンと前記客
    体抽出対象映像に対するビンの比で決定することを特徴
    とする請求項１６に記載の客体抽出方法。
  19. 【請求項１９】 前記（ｂ３）段階は、 （ｂ３−１）前記質疑映像に含まれた客体を取り囲む最
    小限の境界ボックスを基準に決定されたマスク値および
    前記ヒストグラム値比に代えられた客体抽出対象映像を
    畳み込む段階と、 （ｂ３−２）前記畳み込んだ結果値が所定の基準値以上
    になる前記客体抽出対象映像内の画素と前記質疑映像内
    の画素間の色距離差を求めて前記色距離差の平均値を計
    算する段階と、 （ｂ３−３）前記色距離差の平均値が小さな画素順に一
    つ以上の候補客体位置を判定する段階とを含むことを特
    徴とする請求項１５に記載の客体抽出方法。
  20. 【請求項２０】 画素位置（ｘp、ｙp）での前記マスク
    は次の数式を利用して定義される円であり、 ここで、ｂｌは前記境界ボックスの長い辺の長さであ
    り、ｂｓは前記境界ボックスの短い辺の長さであり、α
    は大きさを調節するための変数であることを特徴とする
    請求項１９に記載の客体抽出方法。
  21. 【請求項２１】 前記色距離差の平均は次の数式によっ
    て定義され、 ここで、Ｎは前記境界ボックス内の有効画素の数を意味
    し、添字ｑは質疑映像を、ｄは客体抽出対象映像を各々
    意味することを特徴とする請求項１９に記載の客体抽出
    方法。
  22. 【請求項２２】 前記（ｄ）段階は、 （ｄ１）前記（ｃ）段階で分割された質疑映像を基準に
    前記客体位置での分割された客体抽出対象領域に対して
    色またはテクスチャーを含む映像特徴値を利用して領域
    を整合し、前記整合結果によって客体領域の存在有無を
    判断する段階と、 （ｄ２）前記分割された質疑映像および前記客体領域が
    存在すると判断された分割された客体抽出対象映像につ
    いての整合結果によって映像領域の空間隣接性行列を各
    々計算する段階と、 （ｄ３）前記（ｄ２）段階で計算された隣接性行列を利
    用して前記二つの映像間の対応領域を検出する段階と、 （ｄ４）前記対応領域に基づいて前記二映像間の類似度
    を計算して最終客体領域を決定する段階とを含むことを
    特徴とする請求項１４に記載の客体抽出方法。
  23. 【請求項２３】 前記（ｄ１）段階は、 （ｄ１−１）前記分割された客体抽出対象映像で、客体
    が存在する所定の位置に画素を含み、前記質疑映像の客
    体を取り囲む領域によって決定されたマスクと出合う全
    分割された領域を検出する段階と、 （ｄ１−２）前記検出された領域と前記質疑映像の分割
    された領域間の各々の色／テクスチャー距離差を計算し
    て前記客体領域の存在有無を判断する段階とを特徴とす
    る請求項２２に記載の客体抽出方法。
  24. 【請求項２４】 前記色／テクスチャー距離差は色また
    はテクスチャーを含む映像特徴値空間での二つの領域間
    の距離を利用し、前記距離は次の数式を利用して計算さ
    れ、 ここでＤc（ｘ，ｙ）とＤt（ｘ，ｙ）は各々色特徴値空
    間とテクスチャー特徴値空間で二つの領域ｘ、ｙ間の距
    離を示し、ｗcとｗtは各々の距離値に賦課される加重係
    数であることを特徴とする請求項２３に記載の客体抽出
    方法。
  25. 【請求項２５】 前記（ｄ２）段階は、 前記分割された質疑映像および前記質疑映像の客体を含
    む分割された客体抽出対象映像に各々ラベル番号を割り
    当て、前記ラベル番号に該当する領域が互いに隣接して
    いるかどうかに関する情報を隣接性行列で表し、前記行
    列の各要素は互いに隣接する場合に所定の第１値を、隣
    接しない場合に所定の第２値を有することを特徴とする
    請求項２２に記載の客体抽出方法。
  26. 【請求項２６】 前記（ｄ３）段階は、 前記隣接性行列を利用して前記二つの映像間の対応領域
    を比較行列で示し、前記質疑映像の分割された領域の数
    が客体抽出対象領域の分割された領域の数より大きい場
    合と小さな場合によって比較行列を別途に求めることを
    特徴とする請求項２２に記載の客体抽出方法。
  27. 【請求項２７】 前記（ｄ３）段階は、 前記隣接性行列を利用して二つの映像間の対応領域を比
    較行列で示し、ここで比較行列は質疑映像のラベル番号
    に該当する領域と最も近い映像特徴値を有する客体抽出
    対象映像の分割された領域に限って求められることを特
    徴とする請求項２２に記載の客体抽出方法。
  28. 【請求項２８】 前記（ｄ３）段階は、 距離行列を利用して前記最も近い映像特徴値を有する客
    体抽出対象映像の分割された領域を決定し、前記二つの
    映像間の対応領域によって比較行列を再構成することを
    特徴とする請求項２２に記載の客体抽出方法。
  29. 【請求項２９】 前記距離行列は、 前記質疑映像のラベル番号を行の値とし、前記客体抽出
    対象映像のラベル番号を列の値とする行列で、前記質疑
    映像と前記客体抽出対象映像間に対応するラベル番号に
    該当する領域間の距離をその行列の要素としたことを特
    徴とする請求項２８に記載の客体抽出方法。
  30. 【請求項３０】 前記（ｄ４）は、 前記隣接性行列の各要素が互いに隣接する場合には第１
    値を有し、隣接しない場合には第２値を有する時、前記
    類似度を前記比較行列での上の三角行列内の第１値を有
    する要素の数を前記上の三角行列全体の要素の数で割っ
    た方式で求めることを特徴とする請求項２２に記載の客
    体抽出方法。
  31. 【請求項３１】 前記（ｄ４）段階で、 前記類似度は次の数式を利用して計算され、 ここで、隣接性行列の各要素が互いに隣接する場合に前
    記第１値を、隣接しない場合に前記第２値を有する時、
    Ｅuは前記比較行列の上の三角行列内の前記第１値の数
    を、Ｍuは前記上の三角行列全体の要素の数を各々示す
    ことを特徴とする請求項２６または請求項２７に記載の
    客体抽出方法。
  32. 【請求項３２】 請求項１４ないし請求項３１のうちい
    ずれか一項の方法をコンピュータで実行させるためのプ
    ログラムを記録した、コンピュータで読み出しうる記録
    媒体。
JP2002012131A 2001-01-20 2002-01-21 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 Expired - Lifetime JP3740065B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20010003422 2001-01-20
KR2001-3422 2001-01-20
KR10-2001-0068383A KR100450793B1 (ko) 2001-01-20 2001-11-03 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
KR2001-68383 2001-11-03

Publications (2)

Publication Number Publication Date
JP2002288658A true JP2002288658A (ja) 2002-10-04
JP3740065B2 JP3740065B2 (ja) 2006-01-25

Family

ID=26638752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002012131A Expired - Lifetime JP3740065B2 (ja) 2001-01-20 2002-01-21 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法

Country Status (6)

Country Link
US (1) US6990233B2 (ja)
EP (1) EP1233374B1 (ja)
JP (1) JP3740065B2 (ja)
KR (1) KR100450793B1 (ja)
CN (1) CN1223969C (ja)
DE (1) DE60235591D1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026225A (ja) * 2005-07-19 2007-02-01 Toyota Motor Corp 画像処理装置及びその方法
US8588466B2 (en) 2007-07-05 2013-11-19 Nec Corporation Object area detection system, device, method, and program for detecting an object
KR101517805B1 (ko) 2013-04-24 2015-05-06 전자부품연구원 영상 특성 기반 분할 기법을 이용한 물체 검출 방법 및 이를 적용한 영상 처리 장치

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4063486B2 (ja) * 2000-09-06 2008-03-19 日本電気株式会社 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体
JP2003091727A (ja) * 2001-09-17 2003-03-28 Canon Inc 画像処理装置及びその方法、プログラム
US6977659B2 (en) 2001-10-11 2005-12-20 At & T Corp. Texture replacement in video sequences and images
US7606435B1 (en) * 2002-02-21 2009-10-20 At&T Intellectual Property Ii, L.P. System and method for encoding and decoding using texture replacement
US7167574B2 (en) * 2002-03-14 2007-01-23 Seiko Epson Corporation Method and apparatus for content-based image copy detection
JP4245872B2 (ja) * 2002-08-28 2009-04-02 富士フイルム株式会社 類似度判定方法および装置並びにプログラム
KR100522171B1 (ko) * 2002-12-02 2005-10-18 한국전자통신연구원 임의 형상 프레임 생성기 및 그를 이용한 임의 형상프레임 생성 방법
JP4521747B2 (ja) * 2002-12-13 2010-08-11 シャープ株式会社 物体情報処理装置、画像処理システム、ゲーム装置および画像処理方法
JP2006525537A (ja) * 2003-04-14 2006-11-09 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ コンテンツ解析を用いて音楽ビデオを要約する方法及び装置
JP2004326491A (ja) * 2003-04-25 2004-11-18 Canon Inc 画像処理方法
US7532804B2 (en) * 2003-06-23 2009-05-12 Seiko Epson Corporation Method and apparatus for video copy detection
US7831087B2 (en) * 2003-10-31 2010-11-09 Hewlett-Packard Development Company, L.P. Method for visual-based recognition of an object
KR100562937B1 (ko) 2004-08-11 2006-03-22 엘지전자 주식회사 표시 장치의 화상 처리 방법 및 화상 처리 장치
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
US7486827B2 (en) * 2005-01-21 2009-02-03 Seiko Epson Corporation Efficient and robust algorithm for video sequence matching
JP4720529B2 (ja) * 2005-03-10 2011-07-13 富士ゼロックス株式会社 画像処理装置、画像形成装置、画像処理方法及びプログラム
KR100708130B1 (ko) * 2005-05-04 2007-04-17 삼성전자주식회사 동영상 추출장치 및 방법
US7680314B2 (en) * 2005-10-17 2010-03-16 Siemens Medical Solutions Usa, Inc. Devices, systems, and methods for improving image consistency
US7539349B2 (en) * 2005-10-25 2009-05-26 Hewlett-Packard Development Company, L.P. Clear image using pixel voting
KR100682953B1 (ko) * 2005-12-14 2007-02-15 삼성전자주식회사 인물 검출장치 및 방법
WO2007077672A1 (ja) 2005-12-28 2007-07-12 Olympus Medical Systems Corp. 画像処理装置および当該画像処理装置における画像処理方法
US7684594B2 (en) * 2006-02-08 2010-03-23 Fujifilm Corporation Method and apparatus for estimating object part location in digital image data using feature value analysis
US7957555B2 (en) * 2006-02-08 2011-06-07 Fujifilm Corporation Method and apparatus for localizing an object part in digital image data by updating an initial position estimate based on a displacement of the object part
KR100809347B1 (ko) * 2006-07-31 2008-03-05 삼성전자주식회사 쉐도우 영역 보상 방법 및 장치
KR100834765B1 (ko) 2006-12-07 2008-06-05 삼성전자주식회사 선호색을 재현하는 장치 및 방법
KR100843095B1 (ko) 2006-12-13 2008-07-03 삼성전자주식회사 선호색 재현 장치 및 방법
US7957596B2 (en) * 2007-05-02 2011-06-07 Microsoft Corporation Flexible matching with combinational similarity
US8270711B2 (en) * 2007-08-10 2012-09-18 Asian Institute Of Technology Method and apparatus for recognition of an object by a machine
CN101398896B (zh) * 2007-09-28 2012-10-17 三星电子株式会社 用于成像设备的提取有强识别力的颜色特征的设备和方法
JP5041229B2 (ja) * 2007-12-07 2012-10-03 ソニー株式会社 学習装置および方法、認識装置および方法、並びにプログラム
KR101420681B1 (ko) * 2008-02-01 2014-07-17 한국과학기술원 비디오 영상의 깊이 지도 생성 방법 및 장치
US8442278B2 (en) * 2008-02-28 2013-05-14 Honeywell International Inc. Covariance based face association
US8379989B2 (en) * 2008-04-01 2013-02-19 Toyota Jidosha Kabushiki Kaisha Image search apparatus and image processing apparatus
JP4547639B2 (ja) * 2008-08-26 2010-09-22 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR100942655B1 (ko) 2008-10-01 2010-02-17 성균관대학교산학협력단 실시간 영상 처리 장치 및 그 방법
KR101471204B1 (ko) * 2008-12-19 2014-12-10 주식회사 케이티 이미지에서의 의류 검출 장치와 그 방법
AU2008261195B2 (en) * 2008-12-23 2010-09-09 Canon Kabushiki Kaisha Video object fragmentation detection and management
US8498480B2 (en) * 2009-02-25 2013-07-30 The United States Of America, As Represented By The Secretary Of The Navy Computationally efficient method for image segmentation with intensity and texture discrimination
KR101398272B1 (ko) * 2009-03-13 2014-06-27 닛본 덴끼 가부시끼가이샤 화상 식별자 조합 장치
US20110142335A1 (en) * 2009-12-11 2011-06-16 Bernard Ghanem Image Comparison System and Method
CN101840507B (zh) * 2010-04-09 2012-07-18 江苏东大金智建筑智能化系统工程有限公司 基于角点特征不变量和图论聚类的目标跟踪方法
US8705866B2 (en) 2010-12-07 2014-04-22 Sony Corporation Region description and modeling for image subscene recognition
US8503792B2 (en) 2010-12-17 2013-08-06 Sony Corporation Patch description and modeling for image subscene recognition
TWI455062B (zh) * 2011-04-26 2014-10-01 Univ Nat Cheng Kung 三維視訊內容產生方法
WO2013009651A1 (en) * 2011-07-12 2013-01-17 Dolby Laboratories Licensing Corporation Method of adapting a source image content to a target display
US8874557B2 (en) 2011-09-02 2014-10-28 Adobe Systems Incorporated Object retrieval and localization using a spatially-constrained similarity model
US8805116B2 (en) 2011-09-17 2014-08-12 Adobe Systems Incorporated Methods and apparatus for visual search
CN102509118B (zh) * 2011-09-28 2014-07-23 安科智慧城市技术（中国）有限公司 一种监控视频检索方法
US9275300B2 (en) 2012-02-24 2016-03-01 Canon Kabushiki Kaisha Method and apparatus for generating image description vector, image detection method and apparatus
CN103295186B (zh) * 2012-02-24 2016-03-09 佳能株式会社 图像描述符生成方法和系统、图像检测方法和系统
KR101376908B1 (ko) * 2012-05-09 2014-04-01 영남대학교 산학협력단 가시광 통신 신호에 기초한 영상 내 객체 검출
CN102800091B (zh) * 2012-07-10 2014-09-03 深圳市捷顺科技实业股份有限公司 一种运动目标分割方法、装置和系统
JP2014027442A (ja) * 2012-07-26 2014-02-06 Sony Corp 画像処理装置、画像処理方法、およびプログラム
KR101364052B1 (ko) * 2012-08-22 2014-02-19 (주)인스페이스 위성 영상 객체 검출 시스템
US8838657B1 (en) * 2012-09-07 2014-09-16 Amazon Technologies, Inc. Document fingerprints using block encoding of text
US8880563B2 (en) 2012-09-21 2014-11-04 Adobe Systems Incorporated Image search by query object segmentation
US11620733B2 (en) 2013-03-13 2023-04-04 Kofax, Inc. Content-based object detection, 3D reconstruction, and data extraction from digital images
US10783615B2 (en) 2013-03-13 2020-09-22 Kofax, Inc. Content-based object detection, 3D reconstruction, and data extraction from digital images
WO2014177756A1 (en) * 2013-05-03 2014-11-06 Nokia Corporation Method, apparatus and computer program product for segmentation of objects in images
WO2014198055A1 (en) * 2013-06-14 2014-12-18 Intel Corporation Image processing including adjoin feature based object detection, and/or bilateral symmetric object segmentation
KR102085522B1 (ko) 2013-11-14 2020-03-06 삼성전자 주식회사 패턴의 결함 탐지 방법
KR102113813B1 (ko) * 2013-11-19 2020-05-22 한국전자통신연구원 정합 쌍을 이용한 신발 영상 검색 장치 및 방법
CN105303363B (zh) * 2015-09-28 2019-01-22 四川长虹电器股份有限公司 一种数据处理方法及数据处理系统
EP3433816A1 (en) * 2016-03-22 2019-01-30 URU, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
US20170323149A1 (en) * 2016-05-05 2017-11-09 International Business Machines Corporation Rotation invariant object detection
US10810744B2 (en) * 2016-05-27 2020-10-20 Rakuten, Inc. Image processing device, image processing method and image processing program
US10083353B2 (en) 2016-10-28 2018-09-25 Intuit Inc. Identifying document forms using digital fingerprints
US10803363B2 (en) * 2017-06-06 2020-10-13 Data-Core Systems, Inc. Media intelligence automation system
US20190026588A1 (en) * 2017-07-19 2019-01-24 GM Global Technology Operations LLC Classification methods and systems
CN107657256A (zh) * 2017-10-27 2018-02-02 中山大学 基于深度神经网络的端到端的图像多字符定位和匹配方法
US11062176B2 (en) * 2017-11-30 2021-07-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
CN107967349B (zh) * 2017-12-13 2020-06-16 湖南省国土资源规划院 一种矿体储量块段匹配方法
KR101957610B1 (ko) 2017-12-18 2019-03-12 숭실대학교산학협력단 히스토그램을 이용한 영상 처리 방법 및 이를 수행하기 위한 기록매체
KR102051032B1 (ko) * 2018-08-01 2019-12-02 경북대학교 산학협력단 객체 탐지 장치 및 제어 방법
US10839252B2 (en) 2018-09-12 2020-11-17 Honeywell International Inc. System and method for color invariant feature matching
CN109409224B (zh) * 2018-09-21 2023-09-05 河海大学 一种自然场景火焰检测的方法
WO2020061691A1 (en) * 2018-09-25 2020-04-02 Element Ai Inc. Automatically detecting and isolating objects in images
CN109960742B (zh) * 2019-02-18 2021-11-05 苏州科达科技股份有限公司 局部信息的搜索方法及装置
CN110097093B (zh) * 2019-04-15 2022-08-19 河海大学 一种异源图像精确匹配方法
CN110222699B (zh) * 2019-05-24 2023-07-18 东南大学 一种基于区域自适应surf的无序图像快速匹配方法
CN110363165B (zh) * 2019-07-18 2023-04-14 深圳大学 基于tsk模糊系统的多目标跟踪方法、装置及存储介质
CN110909183B (zh) * 2019-10-29 2023-01-17 联想(北京)有限公司 一种多媒体数据处理方法、装置和存储介质
CN110991465B (zh) * 2019-11-15 2023-05-23 泰康保险集团股份有限公司 一种物体识别方法、装置、计算设备及存储介质
US11501525B2 (en) * 2019-11-26 2022-11-15 Toyota Research Institute, Inc. Systems and methods for panoptic image segmentation
CN112862829B (zh) * 2019-11-27 2024-03-12 武汉Tcl集团工业研究院有限公司 标签图片的分割方法、装置及存储介质
KR102202577B1 (ko) * 2019-12-09 2021-01-14 네오컨버전스 주식회사 딥러닝 기반 개인정보 비식별화 방법 및 장치
US11521028B2 (en) * 2020-04-10 2022-12-06 Toyota Research Institute, Inc. Meta-learning neural architecture search via graph networks on search space lattices
CN111915605A (zh) * 2020-08-20 2020-11-10 杭州东方通信软件技术有限公司 一种分光器的端口占用信息获取方法
CN113378677B (zh) * 2021-06-01 2024-03-12 大连海事大学 基于空间相似性与修正盐田指数的海岸养殖池提取方法
CN114554294A (zh) * 2022-03-04 2022-05-27 天比高零售管理(深圳)有限公司 一种直播内容的过滤和提示方法
KR102447747B1 (ko) * 2022-03-10 2022-09-27 주식회사 아이코드랩 이미지 처리 장치 및 방법
CN115100441B (zh) * 2022-08-23 2022-11-18 浙江大华技术股份有限公司 目标检测方法、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05159064A (ja) * 1991-12-09 1993-06-25 Nippon Telegr & Teleph Corp <Ntt> 画像探索装置
JPH10149373A (ja) * 1997-12-26 1998-06-02 Nec Corp 画像蓄積・管理装置及び画像インデックス生成方法
WO2000046748A1 (en) * 1999-02-05 2000-08-10 Samsung Electronics Co., Ltd. Color image processing method and apparatus thereof
WO2000070881A1 (en) * 1999-05-17 2000-11-23 Samsung Electronics Co., Ltd. Color image processing method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5109435A (en) * 1988-08-08 1992-04-28 Hughes Aircraft Company Segmentation method for use against moving objects
US5016173A (en) * 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
JP2649737B2 (ja) * 1990-07-05 1997-09-03 国際電信電話株式会社 光増幅器の励起光源駆動方式
US5500904A (en) * 1992-04-22 1996-03-19 Texas Instruments Incorporated System and method for indicating a change between images
JP3123587B2 (ja) * 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
JP3557659B2 (ja) * 1994-08-22 2004-08-25 コニカミノルタホールディングス株式会社 顔抽出方法
JP3569992B2 (ja) * 1995-02-17 2004-09-29 株式会社日立製作所 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム
US5943442A (en) * 1996-06-12 1999-08-24 Nippon Telegraph And Telephone Corporation Method of image processing using parametric template matching
JPH1079028A (ja) * 1996-09-05 1998-03-24 Sanyo Electric Co Ltd 画像処理方法
JPH10301948A (ja) * 1997-04-25 1998-11-13 Nippon Telegr & Teleph Corp <Ntt> 画像および映像検索方法
JP3612227B2 (ja) * 1998-01-07 2005-01-19 株式会社東芝 物体抽出装置
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
KR100322911B1 (ko) * 1999-02-09 2002-02-08 구자홍 다중 레벨 칼라 범위를 이용한 오브젝트 영역 추출 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05159064A (ja) * 1991-12-09 1993-06-25 Nippon Telegr & Teleph Corp <Ntt> 画像探索装置
JPH10149373A (ja) * 1997-12-26 1998-06-02 Nec Corp 画像蓄積・管理装置及び画像インデックス生成方法
WO2000046748A1 (en) * 1999-02-05 2000-08-10 Samsung Electronics Co., Ltd. Color image processing method and apparatus thereof
WO2000070881A1 (en) * 1999-05-17 2000-11-23 Samsung Electronics Co., Ltd. Color image processing method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026225A (ja) * 2005-07-19 2007-02-01 Toyota Motor Corp 画像処理装置及びその方法
JP4613726B2 (ja) * 2005-07-19 2011-01-19 トヨタ自動車株式会社 画像処理装置及びその方法
US8588466B2 (en) 2007-07-05 2013-11-19 Nec Corporation Object area detection system, device, method, and program for detecting an object
KR101517805B1 (ko) 2013-04-24 2015-05-06 전자부품연구원 영상 특성 기반 분할 기법을 이용한 물체 검출 방법 및 이를 적용한 영상 처리 장치

Also Published As

Publication number Publication date
KR100450793B1 (ko) 2004-10-01
CN1223969C (zh) 2005-10-19
EP1233374A2 (en) 2002-08-21
DE60235591D1 (de) 2010-04-22
KR20020062557A (ko) 2002-07-26
EP1233374A3 (en) 2003-09-17
EP1233374B1 (en) 2010-03-10
JP3740065B2 (ja) 2006-01-25
US6990233B2 (en) 2006-01-24
US20020136449A1 (en) 2002-09-26
CN1384464A (zh) 2002-12-11

Similar Documents

Publication Publication Date Title
JP2002288658A (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
Kim Park
Deng et al. Unsupervised segmentation of color-texture regions in images and video
Preetha et al. Image segmentation using seeded region growing
CN110009638B (zh) 基于局部统计特征的桥梁拉索图像外观缺陷检测方法
JP5097280B2 (ja) 画像及び画像群を表現、比較及び検索する方法及び装置、プログラム、コンピュータ読み取り可能な記憶媒体
Varnousfaderani et al. Weighted color and texture sample selection for image matting
JP5117670B2 (ja) 画像及び画像群を表現する方法、画像又は画像群を比較する方法、画像又は画像群を検索する方法、各方法を実行する装置およびシステム、プログラム、及びコンピュータ読み取り可能な記憶媒体
JP2003016448A (ja) 前景／背景セグメント化を用いた画像のイベント・クラスタリング
EP1700269A2 (en) Detection of sky in digital color images
JP4098021B2 (ja) シーン識別方法および装置ならびにプログラム
CN107659754B (zh) 一种树叶扰动情况下监控视频的有效浓缩方法
CN109858438B (zh) 一种基于模型拟合的车道线检测方法
WO2019197021A1 (en) Device and method for instance-level segmentation of an image
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
CN112258403A (zh) 一种在动态烟雾中提取疑似烟雾区域的方法
CN116912184B (zh) 一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及系统
CN115294162B (zh) 目标识别方法、装置、设备及存储介质
JP2004530992A (ja) ビデオ情報における自動的な自然コンテンツ検出
CN108573217B (zh) 一种结合局部结构化信息的压缩跟踪方法
Lefèvre et al. Multiresolution color image segmentation applied to background extraction in outdoor images
CN111951254B (zh) 基于边缘引导加权平均的源相机识别方法及系统
CN107067411B (zh) 一种结合密集特征的Mean-shift跟踪方法
CN111860153B (zh) 尺度自适应的高光谱图像分类方法及系统
CN110599518B (zh) 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040630

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20040927

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20040930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051104

R150 Certificate of patent or registration of utility model

Ref document number: 3740065

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091111

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101111

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111111

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111111

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121111

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131111

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term