JP2016212653A - オブジェクト抽出分類装置およびそのプログラム - Google Patents
オブジェクト抽出分類装置およびそのプログラム Download PDFInfo
- Publication number
- JP2016212653A JP2016212653A JP2015096168A JP2015096168A JP2016212653A JP 2016212653 A JP2016212653 A JP 2016212653A JP 2015096168 A JP2015096168 A JP 2015096168A JP 2015096168 A JP2015096168 A JP 2015096168A JP 2016212653 A JP2016212653 A JP 2016212653A
- Authority
- JP
- Japan
- Prior art keywords
- convex hull
- classification
- information
- color feature
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
【課題】映像中のオブジェクトを抽出および分類するオブジェクト抽出分類装置を提供する。
【解決手段】オブジェクト抽出分類装置１は、映像のフレームごとの差分から、オブジェクトの存在を示す色特徴情報を含んだ画像を生成する色特徴情報生成手段（輝度差分生成手段１０，色相差分生成手段１１）と、色特徴情報を含んだ画像を部分空間に分割し、グロモフ・ハウスドルフ距離に基づく連続性のある部分空間の凸包から、当該凸包の特徴を示す凸包情報を生成する空間分割手段１３と、凸包情報から位相幾何の特有情報を生成し、当該特有情報の確率モデル・確率分布を生成し、予め定められた分類基準とにより、オブジェクトを抽出および分類する分類手段１７と、を備える。
【選択図】図１
【解決手段】オブジェクト抽出分類装置１は、映像のフレームごとの差分から、オブジェクトの存在を示す色特徴情報を含んだ画像を生成する色特徴情報生成手段（輝度差分生成手段１０，色相差分生成手段１１）と、色特徴情報を含んだ画像を部分空間に分割し、グロモフ・ハウスドルフ距離に基づく連続性のある部分空間の凸包から、当該凸包の特徴を示す凸包情報を生成する空間分割手段１３と、凸包情報から位相幾何の特有情報を生成し、当該特有情報の確率モデル・確率分布を生成し、予め定められた分類基準とにより、オブジェクトを抽出および分類する分類手段１７と、を備える。
【選択図】図１
Description
本発明は、映像中のオブジェクトを抽出および分類するオブジェクト抽出分類装置およびそのプログラムに関する。
従来、映像から、位相幾何の特徴に基づいて、人物等のオブジェクトを分類する手法が存在している（例えば、非特許文献１参照）。
この非特許文献１に記載の手法（以下、従来手法という）は、確率モデル・確率分布に基づいてオブジェクトの分類を行っている。すなわち、従来手法は、オブジェクトを特定するパラメータ（統計パラメータ）を推定するために、確率モデル・確率分布を推論し、その推定・推論に繰り返し演算を行う数理手法によりオブジェクトの分類を行っている。例えば、この従来手法では、Ｍ回（Ｍは整数）の演算を行った平均値を用いてオブジェクトのパラメータを推定し、オブジェクトの分類を行っている。なお、非特許文献１には、この繰り返し数Ｍの収束性については言及されていない。
この非特許文献１に記載の手法（以下、従来手法という）は、確率モデル・確率分布に基づいてオブジェクトの分類を行っている。すなわち、従来手法は、オブジェクトを特定するパラメータ（統計パラメータ）を推定するために、確率モデル・確率分布を推論し、その推定・推論に繰り返し演算を行う数理手法によりオブジェクトの分類を行っている。例えば、この従来手法では、Ｍ回（Ｍは整数）の演算を行った平均値を用いてオブジェクトのパラメータを推定し、オブジェクトの分類を行っている。なお、非特許文献１には、この繰り返し数Ｍの収束性については言及されていない。
また、従来手法では、事後確率が最大となる境界でオブジェクトを分類するため、グロモフ・ハウスドルフ距離の差、デプス（深さや解像度）の差等を用いている。
また、従来手法では、推定するパラメータ数を減らし、演算量を抑えるため、例えば、パーティクルフィルタやカーネル関数（ガウスカーネル）を用いて推定を行っている（パーティクルフィルタについては、非特許文献２参照、カーネル法については、非特許文献３参照）。
また、従来手法では、推定するパラメータ数を減らし、演算量を抑えるため、例えば、パーティクルフィルタやカーネル関数（ガウスカーネル）を用いて推定を行っている（パーティクルフィルタについては、非特許文献２参照、カーネル法については、非特許文献３参照）。
Gurjeet Singh, Facundo Memoli, Gunnar Carlsson "Topological Methods for the Analysis of High Dimensional Data Sets and 3D Object Recognition" EurographicsSymposium on Point-Based Graphics 2007
Xinyue ZHAO, Yutaka SATOH, HidenoriTAKAUJI, Shunichi KANEKO,"Robust Tracking Using Particle Filter with a Hybrid Feature", IEICE Trans. Inf.&Syst., Vol.E95-D, No.2, Feb.2012）
Charles Elkan,"Deriving TF-IDF as a Fisher Kernel", String Processing and Information Retrieval Lecture Notes in Computer Science Vol.3772, 2005, pp295-300）
グロモフ・ハウスドルフ距離（例えば、参考文献１：大津幸男，塩谷隆，加須栄篤，山口孝男，酒井隆，深谷賢治，「数学メモアール」，２００４年第３巻、Ｐ１８５）を用いて境界を判別する従来手法は、判別精度に問題がある。
また、従来手法は、確率モデル・確率分布の推論、統計パラメータの推定のために、繰り返し演算を行う数理手法であるため、計算コストが大きく、リアルタイム性を損なうという問題がある。
また、従来手法は、確率モデル・確率分布の推論、統計パラメータの推定のために、繰り返し演算を行う数理手法であるため、計算コストが大きく、リアルタイム性を損なうという問題がある。
以下、これらの問題について図面を用いて具体的に説明する。
まず、図１３を参照して、グロモフ・ハウスドルフ距離を用いた従来手法の判別精度の問題について説明する。なお、ここでは、説明を容易にするため、ユークリッド空間で説明する。この場合、グロモフ・ハウスドルフ距離は、二つの部分空間で構成される距離空間の間の距離であって、一方の部分空間における他方の部分空間から最も離れた点と、他方の部分空間における一方の部分空間に最も近い点との距離と、他方の部分空間における一方の部分空間から最も離れた点と、一方の部分空間における他方の部分空間に最も近い点との距離との差となる。
すなわち、図１３（ａ）に示すように、二つの部分空間ＫＡ，ＫＢにおいて、お互いの最も離れた点と最も近い点とを結んだ長さをｄＡ，ｄＢとしたとき、グロモフ・ハウスドルフ距離ｄｉｓ ｆは、以下の式（１）の写像ｆ間の距離で定義される。
まず、図１３を参照して、グロモフ・ハウスドルフ距離を用いた従来手法の判別精度の問題について説明する。なお、ここでは、説明を容易にするため、ユークリッド空間で説明する。この場合、グロモフ・ハウスドルフ距離は、二つの部分空間で構成される距離空間の間の距離であって、一方の部分空間における他方の部分空間から最も離れた点と、他方の部分空間における一方の部分空間に最も近い点との距離と、他方の部分空間における一方の部分空間から最も離れた点と、一方の部分空間における他方の部分空間に最も近い点との距離との差となる。
すなわち、図１３（ａ）に示すように、二つの部分空間ＫＡ，ＫＢにおいて、お互いの最も離れた点と最も近い点とを結んだ長さをｄＡ，ｄＢとしたとき、グロモフ・ハウスドルフ距離ｄｉｓ ｆは、以下の式（１）の写像ｆ間の距離で定義される。
ここで、グロモフ・ハウスドルフ距離によって、部分空間の連続性を判定すると、図１３（ｂ）に示すように、二つの部分空間ｋＡ，ｋＢにおいて、お互いの最も離れた点と最も近い点とを結んだ長さｄＡとｄＢとの差が、“０”（閾値ζ未満）であれば、部分空間ｋＡ，ｋＢは連続していると判定される。
一方、図１３（ｃ）に示すように、二つの部分空間ＫＡ，ＫＢにおいて、お互いの最も離れた点と最も近い点とを結んだ長さｄＡとｄＢとの差が、閾値ζ以上であれば、部分空間ＫＡ，ＫＢは連続していないと判定される。
一方、図１３（ｃ）に示すように、二つの部分空間ＫＡ，ＫＢにおいて、お互いの最も離れた点と最も近い点とを結んだ長さｄＡとｄＢとの差が、閾値ζ以上であれば、部分空間ＫＡ，ＫＢは連続していないと判定される。
この判定手法で、例えば、図１３（ｄ）に示す正解が二つ存在するような関係のオブジェクトＡ，Ｂの連続性を判定する。ここで、オブジェクトＡの部分空間ｋＡに着目すると、部分空間ｋＡとオブジェクトＡ内の他の部分空間の距離と、部分空間ｋＡとオブジェクトＢの部分空間ｋＢとの距離がすべて同じになる。すなわち、図１３（ｄ）の場合、グロモフ・ハウスドルフ距離を用いた連続性の判別は不正解となり、判別精度が劣化（ロバストが劣化）するという問題がある。
次に、図１４を参照して、従来手法における数理手法の問題について説明する。
ここでは、説明を容易にするため、図１４（ａ）に示すように、観測Ｙから、オブジェクトを特定するためのパラメータｋ（＝（ｋ１，ｋ２））と平均ａ、分散σ２のガウス分布と仮定したノイズ Ｎ 〜（ａ，σ２）の推定と、隠れ変数Ｘの推論の例で説明する。
ここで、ｋ１は、例えば、映像内のパラメータであるオブジェクト数、配置、歪、拡大縮小、回転等、ｋ２は、例えば、個々のオブジェクトのパラメータである頂点数、体積（面積）等である。
この場合、パラメータｋを、例えば、最尤推定（ＥＭアルゴリズム等）で推定し、隠れ変数Ｘを事後周辺確率最大化で推論する必要があり、パラメータ数をαとしたとき、２αの計算コストになってしまう。
（例えば、参考文献２：Masatoshi HAMADA, Shiro IKEDA,“Channel Estimation and Code Word Inference for Mobile Digital Satellite Broadcasting Reception”,IEICE Trans. COMMUN., Vol.E91-B, No.12, Dec.2008, pp3886-3898）
ここでは、説明を容易にするため、図１４（ａ）に示すように、観測Ｙから、オブジェクトを特定するためのパラメータｋ（＝（ｋ１，ｋ２））と平均ａ、分散σ２のガウス分布と仮定したノイズ Ｎ 〜（ａ，σ２）の推定と、隠れ変数Ｘの推論の例で説明する。
ここで、ｋ１は、例えば、映像内のパラメータであるオブジェクト数、配置、歪、拡大縮小、回転等、ｋ２は、例えば、個々のオブジェクトのパラメータである頂点数、体積（面積）等である。
この場合、パラメータｋを、例えば、最尤推定（ＥＭアルゴリズム等）で推定し、隠れ変数Ｘを事後周辺確率最大化で推論する必要があり、パラメータ数をαとしたとき、２αの計算コストになってしまう。
（例えば、参考文献２：Masatoshi HAMADA, Shiro IKEDA,“Channel Estimation and Code Word Inference for Mobile Digital Satellite Broadcasting Reception”,IEICE Trans. COMMUN., Vol.E91-B, No.12, Dec.2008, pp3886-3898）
従来手法では、パーティクルフィルタ（非特許文献２参照）やカーネル法（非特許文献３参照）を用いてパラメータ数を減少させて観測Ｙから隠れ変数Ｘを推論する。すなわち、図１４（ｂ）に示すように、観測Ｙに対して、パラメータｋとして、区間（パーティクルの始点と終点）、パーティクル（カーネル）数として、隠れ変数Ｘ１，Ｘ２等を推論する。
このとき、例えば、状態（ｂ−１）ノーマル、（ｂ−２）重なり、（ｂ−３）欠損等は、隠れ変数のサイズや数が不明なため観測から判別するのは困難である。このため、従来手法は、例えば、確率モデルを与え、隠れ変数のサイズや数をパラメータとして推定し、隠れ変数Ｘを推論している。
このとき、例えば、状態（ｂ−１）ノーマル、（ｂ−２）重なり、（ｂ−３）欠損等は、隠れ変数のサイズや数が不明なため観測から判別するのは困難である。このため、従来手法は、例えば、確率モデルを与え、隠れ変数のサイズや数をパラメータとして推定し、隠れ変数Ｘを推論している。
このように、カーネル法によって、パラメータ数を減少させることは可能であるが、パラメータ数をαとしたときの２αの計算コストがかかることに変わりはなく、さらなる計算コストの削減が望まれる。
また、従来手法のように、カーネル法を用いた場合、図１４（ｂ）の（ｂ−３）に示したように、観測で欠損が生じた場合、推論の精度が劣化するというロバストの問題がある。
また、従来手法のように、カーネル法を用いた場合、図１４（ｂ）の（ｂ−３）に示したように、観測で欠損が生じた場合、推論の精度が劣化するというロバストの問題がある。
本発明は、このような問題に鑑みてなされたものであり、従来手法のように、確率モデル・確率分布を推論し、その推定・推論に繰り返し演算を行う数理手法を用いずに、映像から位相幾何のユニークネス（特有情報）を生成する課題、ならびに、位相幾何のユニークネスから直接、確率モデル・確率分布を生成して、オブジェクトを抽出分離することが可能なオブジェクト抽出分類装置およびそのプログラムを提供することを課題とする。
前記課題を解決するため、本発明に係るオブジェクト抽出分類装置は、映像中のオブジェクトを抽出および分類するオブジェクト抽出分類装置であって、映像から位相幾何のユニークネス（特有情報）を生成するための情報を生成する手段、ならびに、その情報から位相幾何のユニークネスを生成し、ユニークネスから直接、確率モデル・確率分布を生成して、オブジェクトを抽出分離する手段を備える構成とした。
映像から位相幾何のユニークネス（特有情報）を生成するための情報を生成する手段として、具体例では、色特徴情報生成手段と凸包情報生成手段とを備える。
位相幾何のユニークネスを生成し、ユニークネスから直接、確率モデル・確率分布を生成して、オブジェクトを抽出分離する手段として、具体例では、分類手段を備える構成とした。
映像から位相幾何のユニークネス（特有情報）を生成するための情報を生成する手段として、具体例では、色特徴情報生成手段と凸包情報生成手段とを備える。
位相幾何のユニークネスを生成し、ユニークネスから直接、確率モデル・確率分布を生成して、オブジェクトを抽出分離する手段として、具体例では、分類手段を備える構成とした。
かかる構成において、本発明に係るオブジェクト抽出分類装置は、従来の凸包生成手順と逆の手順でオブジェクトを抽出する。本発明に係るオブジェクト抽出分類装置は、最初にオブジェクトの存在を示す色特徴情報を含んだ部分空間と、当該情報を含んでいない部分空間に分割する。次に、本発明で改良するグロモフ・ハウスドルフ距離を用いて連続する部分空間と非連続な部分空間に区別し、連続する部分空間の集合が全次元で非連続な部分空間の集合に接する条件で、連続する部分空間の集合を凸包と定義する。
具体例では、オブジェクト抽出分類装置は、色特徴情報生成手段によって、映像のフレームごとの差分から、オブジェクトの存在を示す色特徴情報（例えば、輝度、色相）を含んだ画像を生成する。
そして、オブジェクト抽出分類装置は、凸包情報生成手段によって、例えば、色特徴情報生成手段で生成された色特徴情報を含んだ画像を部分空間に分割する。これによって、部分空間には、オブジェクトの存在を示す色特徴情報を含んだ部分空間や、当該情報を含んでいない部分空間に分割されることになる。
具体例では、オブジェクト抽出分類装置は、色特徴情報生成手段によって、映像のフレームごとの差分から、オブジェクトの存在を示す色特徴情報（例えば、輝度、色相）を含んだ画像を生成する。
そして、オブジェクト抽出分類装置は、凸包情報生成手段によって、例えば、色特徴情報生成手段で生成された色特徴情報を含んだ画像を部分空間に分割する。これによって、部分空間には、オブジェクトの存在を示す色特徴情報を含んだ部分空間や、当該情報を含んでいない部分空間に分割されることになる。
さらに、オブジェクト抽出分類装置は、凸包情報生成手段によって、部分空間ごとのグロモフ・ハウスドルフ距離に基づく連続性のある部分空間を生成し、当該部分空間の特徴を示す位相幾何情報を生成し、グロモフ・ハウスドルフ距離を改良する。この位相幾何情報を用いて改良したグロモフ・ハウスドルフ距離によって、少なくともオブジェクトの形状特徴を分類することが可能になる。
すなわち、凸包情報生成手段は、従来のグロモフ・ハウスドルフ距離を基準に部分空間が連続すると誤って判定した場合でも、確実に連続性を判定することができる。
本発明に係る凸包情報生成手段は、本発明で改良するグロモフ・ハウスドルフ距離を用いて連続する部分空間と非連続な部分空間に区別し、連続する部分空間の集合が全次元で非連続な部分空間の集合に接する条件で、連続する部分空間の集合を以て凸包を生成する。
すなわち、凸包情報生成手段は、従来のグロモフ・ハウスドルフ距離を基準に部分空間が連続すると誤って判定した場合でも、確実に連続性を判定することができる。
本発明に係る凸包情報生成手段は、本発明で改良するグロモフ・ハウスドルフ距離を用いて連続する部分空間と非連続な部分空間に区別し、連続する部分空間の集合が全次元で非連続な部分空間の集合に接する条件で、連続する部分空間の集合を以て凸包を生成する。
そして、オブジェクト抽出分類装置は、分類手段によって、凸包情報生成手段で生成された凸包情報から位相幾何のユニークネスを生成し、確率モデル・確率分布に写像（変換）し、凸包情報で特定される特徴に対して確率モデル・確率分布に写像したオブジェクトの種別を予め定めた分類基準により、凸包情報で示されるオブジェクトを抽出し、分類する。
なお、オブジェクト抽出分類装置は、コンピュータを、前記各手段として機能させるためのオブジェクト抽出分類プログラムで動作させることができる。
なお、オブジェクト抽出分類装置は、コンピュータを、前記各手段として機能させるためのオブジェクト抽出分類プログラムで動作させることができる。
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、映像内のオブジェクトを色特徴によって、オブジェクトが存在する部分空間を特定し、その特徴によってオブジェクトを分類することができる。
このとき、本発明によれば、オブジェクトが存在する部分空間の連続性を、グロモフ・ハウスドルフ距離に基づいて判定するが、凸包情報生成手段によって、位相幾何のユニークネスを用いてグロモフ・ハウスドルフ距離を改良することで、従来のグロモフ・ハウスドルフ距離に基づいて誤判定を行った連続性を正しく判定することができる。これによって、本発明は従来に比べロバスト性を高めてオブジェクトを抽出することができる。
本発明によれば、映像内のオブジェクトを色特徴によって、オブジェクトが存在する部分空間を特定し、その特徴によってオブジェクトを分類することができる。
このとき、本発明によれば、オブジェクトが存在する部分空間の連続性を、グロモフ・ハウスドルフ距離に基づいて判定するが、凸包情報生成手段によって、位相幾何のユニークネスを用いてグロモフ・ハウスドルフ距離を改良することで、従来のグロモフ・ハウスドルフ距離に基づいて誤判定を行った連続性を正しく判定することができる。これによって、本発明は従来に比べロバスト性を高めてオブジェクトを抽出することができる。
また、本発明によれば、従来のような確率モデル・確率分布の推論、統計パラメータの推定等に用いられるようなループ演算を用いずに、映像上の特徴から直接オブジェクトを抽出するため、従来に比べ計算コストを減少させることができる。
以下、本発明の実施形態について図面を参照して説明する。
〔オブジェクト抽出分類装置の構成〕
まず、図１を参照して、本発明の実施形態に係るオブジェクト抽出分類装置１の構成について説明する。
〔オブジェクト抽出分類装置の構成〕
まず、図１を参照して、本発明の実施形態に係るオブジェクト抽出分類装置１の構成について説明する。
オブジェクト抽出分類装置１は、映像から、当該映像中のオブジェクトを抽出し、分類するものである。
このオブジェクト抽出分類装置１は、図１に示すように、輝度差分生成手段１０と、色相差分生成手段１１と、加算手段１２と、空間分割手段１３と、輝度差分代表値生成手段１４と、色相差分代表値生成手段１５と、分類基準記憶手段１６と、分類手段１７と、を備える。
このオブジェクト抽出分類装置１は、図１に示すように、輝度差分生成手段１０と、色相差分生成手段１１と、加算手段１２と、空間分割手段１３と、輝度差分代表値生成手段１４と、色相差分代表値生成手段１５と、分類基準記憶手段１６と、分類手段１７と、を備える。
輝度差分生成手段（色特徴情報生成手段）１０は、入力される映像から、フレーム単位で画素ごとに輝度の差分（色特徴情報）を演算し、輝度差分（輝度差分画像）を生成するものである。この輝度差分は、例えば、画素ごとに、輝度レベルとして、“０”〜“２５５”の値を有する。
この輝度差分生成手段１０は、生成した輝度差分を、フレーム単位で、加算手段１２および輝度差分代表値生成手段１４に出力する。
この輝度差分生成手段１０は、生成した輝度差分を、フレーム単位で、加算手段１２および輝度差分代表値生成手段１４に出力する。
色相差分生成手段（色特徴情報生成手段）１１は、入力される映像から、フレーム単位で画素ごとに色相の差分（色特徴情報）を演算し、色相差分（色相差分画像）を生成するものである。この色相差分は、例えば、画素ごとに、色相レベルとして、“０”〜“２５５”の値を有する。
この色相差分生成手段１１は、生成した色相差分を、フレーム単位で、加算手段１２および色相差分代表値生成手段１５に出力する。
これによって、輝度差分生成手段１０および色相差分生成手段１１は、それぞれ、図２に示すように、入力された映像Ｇから、動きを伴うオブジェクトＯの領域を示す輝度差分ＤＢおよび色相差分ＤＨを生成する。
この色相差分生成手段１１は、生成した色相差分を、フレーム単位で、加算手段１２および色相差分代表値生成手段１５に出力する。
これによって、輝度差分生成手段１０および色相差分生成手段１１は、それぞれ、図２に示すように、入力された映像Ｇから、動きを伴うオブジェクトＯの領域を示す輝度差分ＤＢおよび色相差分ＤＨを生成する。
加算手段１２は、輝度差分生成手段１０で生成された輝度差分と、色相差分生成手段１１で生成された色相差分とを画素ごとに加算するものである。この加算手段１２で加算された加算値は、例えば、画素ごとに、“０”〜“５１０”の値を有する。このように、輝度差分と色相差分とを加算することで、輝度および色相を考慮して、オブジェクトの認識精度を高めることができる。
この加算手段１２は、加算値を、空間分割手段１３に出力する。
この加算手段１２は、加算値を、空間分割手段１３に出力する。
空間分割手段（凸包情報生成手段）１３は、加算手段１２で加算された加算値で構成された画像（画像空間）を、部分画像（部分空間）に階層的に分割し、部分画像間の連続性を判定することで、オブジェクトの領域を検出するものである。
ここでは、空間分割手段１３は、部分空間階層化手段１３０と、オブジェクト領域判別手段１３１と、連続部分空間検出手段１３２と、を備える。
ここでは、空間分割手段１３は、部分空間階層化手段１３０と、オブジェクト領域判別手段１３１と、連続部分空間検出手段１３２と、を備える。
部分空間階層化手段１３０は、加算手段１２で加算された加算値で構成された画像（画像空間）を、オブジェクトが存在する部分空間ごとに予め定めた収束条件を満たすまで階層的に分割するものである。
ここでは、収束条件として、オブジェクトが存在する部分空間の距離（グロモフ・ハウスドルフ距離）が予め定めた閾値以下となることとする。
ここでは、収束条件として、オブジェクトが存在する部分空間の距離（グロモフ・ハウスドルフ距離）が予め定めた閾値以下となることとする。
ここで、図３を参照して、部分空間階層化手段１３０における画像空間の階層化について説明する。
まず、部分空間階層化手段１３０は、図３（ａ）に示すように、画像空間を、予め定めた大きさのブロックＢごとに分割する。なお、図３（ａ）では、白色のブロックＢＷにオブジェクトが存在し、黒色のブロックＢＢにオブジェクトが存在しないこととする。
ここで、ブロックＢにオブジェクトが存在するとは、ブロックＢ内に、予め定めた閾値以上の値が含まれている場合をいう。逆に、ブロックＢにオブジェクトが存在しないとは、ブロックＢ内に、予め定めた閾値未満の値しか含まれていない場合をいう。
すなわち、部分空間階層化手段１３０は、輝度差分や色相差分によって求められる差分が閾値以上の値を有するブロックを、オブジェクトが存在するブロックとし、それ以外をオブジェクトが存在しないブロックとする。
まず、部分空間階層化手段１３０は、図３（ａ）に示すように、画像空間を、予め定めた大きさのブロックＢごとに分割する。なお、図３（ａ）では、白色のブロックＢＷにオブジェクトが存在し、黒色のブロックＢＢにオブジェクトが存在しないこととする。
ここで、ブロックＢにオブジェクトが存在するとは、ブロックＢ内に、予め定めた閾値以上の値が含まれている場合をいう。逆に、ブロックＢにオブジェクトが存在しないとは、ブロックＢ内に、予め定めた閾値未満の値しか含まれていない場合をいう。
すなわち、部分空間階層化手段１３０は、輝度差分や色相差分によって求められる差分が閾値以上の値を有するブロックを、オブジェクトが存在するブロックとし、それ以外をオブジェクトが存在しないブロックとする。
また、部分空間階層化手段１３０は、図３（ｂ）に示すように、オブジェクトが存在するブロックＢＷをさらに予め定めた大きさのブロックに分割する。この図３（ｂ）においても、白色のブロックＢＷにオブジェクトが存在し、黒色のブロックＢＢにオブジェクトが存在しないこととする。そして、部分空間階層化手段１３０は、オブジェクトが存在する隣接するブロックＢＷで構成される領域間同士のグロモフ・ハウスドルフ距離が、すべて予め定めた閾値ζ以下となるまで、図３（ｃ）に示すように、オブジェクトが存在する隣接するブロックＢＷを細分化して階層化していく。
この部分空間階層化手段１３０は、オブジェクトが存在する階層化したブロック情報をオブジェクト領域判別手段１３１に出力する。
この部分空間階層化手段１３０は、オブジェクトが存在する階層化したブロック情報をオブジェクト領域判別手段１３１に出力する。
オブジェクト領域判別手段１３１は、部分空間階層化手段１３０で階層化された個々の部分空間において、オブジェクトの存在する領域を判別するものである。
ここでは、オブジェクト領域判別手段１３１は、オブジェクトが存在しない部分空間で、オブジェクトが存在する部分空間に最接近する画素位置を連結し、当該連結した線分の内外により、オブジェクト領域を判別する。なお、このオブジェクト領域は、凸包により生成することができる。
ここでは、オブジェクト領域判別手段１３１は、オブジェクトが存在しない部分空間で、オブジェクトが存在する部分空間に最接近する画素位置を連結し、当該連結した線分の内外により、オブジェクト領域を判別する。なお、このオブジェクト領域は、凸包により生成することができる。
例えば、オブジェクト領域判別手段１３１が、図３（ｂ）において、オブジェクトの存在する領域を判別することとする。その場合、まず、オブジェクト領域判別手段１３１は、図４（ａ）に示すように、オブジェクトが存在しない領域を判別する（図４（ａ）中、実線ＬＮで示した部分）。
そして、オブジェクト領域判別手段１３１は、オブジェクトが存在する領域に最接近するオブジェクトが存在しない領域に線分（図４（ａ）中、破線ＬＡ）を挿入することで、オブジェクトが存在する領域を示す凸包を生成する。
そして、オブジェクト領域判別手段１３１は、オブジェクトが存在する領域に最接近するオブジェクトが存在しない領域に線分（図４（ａ）中、破線ＬＡ）を挿入することで、オブジェクトが存在する領域を示す凸包を生成する。
同様に、例えば、オブジェクト領域判別手段１３１が、図３（ｃ）において、オブジェクトの存在する領域を判別することとした場合、オブジェクト領域判別手段１３１は、図４（ｂ）に示すように、破線ＬＡで示すオブジェクトが存在する領域を示す凸包を生成する。
このように、凸包を用いることで、例えば、図１３（ｄ）で説明したように、グロモフ・ハウスドルフ距離では、同一のオブジェクトと判定される領域であっても、別のオブジェクトとして判定することが可能になる。
このオブジェクト領域判別手段１３１は、オブジェクト領域として判定した凸包情報（線分の端点〔頂点〕位置）を、連続部分空間検出手段１３２に出力する。
このオブジェクト領域判別手段１３１は、オブジェクト領域として判定した凸包情報（線分の端点〔頂点〕位置）を、連続部分空間検出手段１３２に出力する。
連続部分空間検出手段１３２は、オブジェクト領域判別手段１３１で判別されたオブジェクト領域の連続性を検出するものである。
この連続部分空間検出手段１３２は、オブジェクト領域間のグロモフ・ハウスドルフ距離が予め定めた閾値以下となるオブジェクト領域を同一のオブジェクトの領域として検出する。そして、連続部分空間検出手段１３２は、同一のオブジェクトの領域として検出した部分空間の凸包情報（頂点位置）を、輝度差分代表値生成手段１４と、色相差分代表値生成手段１５と、分類手段１７とに出力する。
この連続部分空間検出手段１３２は、オブジェクト領域間のグロモフ・ハウスドルフ距離が予め定めた閾値以下となるオブジェクト領域を同一のオブジェクトの領域として検出する。そして、連続部分空間検出手段１３２は、同一のオブジェクトの領域として検出した部分空間の凸包情報（頂点位置）を、輝度差分代表値生成手段１４と、色相差分代表値生成手段１５と、分類手段１７とに出力する。
ここで、図５を参照して、連続部分空間検出手段１３２が行う処理について具体的に説明する。図５（ａ）に示すように、２つ隣接するブロックＢ１，Ｂ２において、それぞれにオブジェクトの部分空間（図中、白色の領域）が存在していることとする。
その場合、連続部分空間検出手段１３２は、図５（ｂ）に示すように、それぞれの部分空間のグロモフ・ハウスドルフ距離（｜ｄＡ−ｄＢ｜）が、予め定めた閾値ζよりも小さい場合に、それぞれの部分空間が連続しており、同一のオブジェクトが存在していると判定する。
そして、連続部分空間検出手段１３２は、図５（ｃ）に示すように、同一のオブジェクトが存在している部分空間の凸包情報を生成する。
図１に戻って、オブジェクト抽出分類装置１の構成について説明を続ける。
その場合、連続部分空間検出手段１３２は、図５（ｂ）に示すように、それぞれの部分空間のグロモフ・ハウスドルフ距離（｜ｄＡ−ｄＢ｜）が、予め定めた閾値ζよりも小さい場合に、それぞれの部分空間が連続しており、同一のオブジェクトが存在していると判定する。
そして、連続部分空間検出手段１３２は、図５（ｃ）に示すように、同一のオブジェクトが存在している部分空間の凸包情報を生成する。
図１に戻って、オブジェクト抽出分類装置１の構成について説明を続ける。
輝度差分代表値生成手段１４は、輝度差分生成手段１０で生成された輝度差分（輝度差分画像）と、空間分割手段１３で生成されたオブジェクトが存在する部分空間を示す凸包情報（頂点位置）とから、オブジェクトを代表する輝度（輝度代表値）を生成するものである。
すなわち、輝度差分代表値生成手段１４は、図６に示すように、輝度差分生成手段１０で生成された輝度差分ＤＢにおいて、空間分割手段１３で生成された凸包で区分される領域内で、輝度代表値を生成する。
この輝度代表値は、オブジェクトを代表する輝度であれば特に限定するものではないが、例えば、凸包内の輝度の平均値、最大値等である。
すなわち、輝度差分代表値生成手段１４は、図６に示すように、輝度差分生成手段１０で生成された輝度差分ＤＢにおいて、空間分割手段１３で生成された凸包で区分される領域内で、輝度代表値を生成する。
この輝度代表値は、オブジェクトを代表する輝度であれば特に限定するものではないが、例えば、凸包内の輝度の平均値、最大値等である。
色相差分代表値生成手段１５は、色相差分生成手段１１で生成された色相差分（色相差分画像）と、空間分割手段１３で生成されたオブジェクトが存在する部分空間を示す凸包情報（頂点位置）とから、オブジェクトを代表する色相（色相代表値）を生成するものである。
すなわち、色相差分代表値生成手段１５は、図７に示すように、色相差分生成手段１１で生成された色相差分ＤＨにおいて、空間分割手段１３で生成された凸包で区分される領域内で、色相代表値を生成する。
この色相代表値は、オブジェクトを代表する色相であれば特に限定するものではないが、例えば、凸包内の色相の平均値、最大値等である。
すなわち、色相差分代表値生成手段１５は、図７に示すように、色相差分生成手段１１で生成された色相差分ＤＨにおいて、空間分割手段１３で生成された凸包で区分される領域内で、色相代表値を生成する。
この色相代表値は、オブジェクトを代表する色相であれば特に限定するものではないが、例えば、凸包内の色相の平均値、最大値等である。
分類基準記憶手段１６は、部分空間の特徴からオブジェクトを分類するための基準を記憶しておくものである。この分類基準記憶手段１６は、ハードディスク等の記憶媒体で構成することができる。
この分類基準記憶手段１６には、部分空間の特徴（特徴ベクトル）から、部分空間内のオブジェクトを分類するための基準として、例えば、図８（ａ）に示すような凸包の面積と頂点数との関係、図８（ｂ）に示すような輝度代表値と色相代表値との関係等から、オブジェクトを予め定めた分類に区分するための基準を予め記憶しておく。
なお、この基準は、固定した基準であっても構わないし、学習によって順次更新する形態であっても構わない。
この分類基準記憶手段１６には、部分空間の特徴（特徴ベクトル）から、部分空間内のオブジェクトを分類するための基準として、例えば、図８（ａ）に示すような凸包の面積と頂点数との関係、図８（ｂ）に示すような輝度代表値と色相代表値との関係等から、オブジェクトを予め定めた分類に区分するための基準を予め記憶しておく。
なお、この基準は、固定した基準であっても構わないし、学習によって順次更新する形態であっても構わない。
分類手段１７は、オブジェクトが存在する部分空間の特徴（特徴ベクトル）から、オブジェクトを分類するものである。
ここでは、分類手段１７は、分類基準記憶手段１６に記憶されている分類基準に基づいて、空間分割手段１３で生成されたオブジェクトが存在する部分空間を示す凸包情報（頂点位置）と、輝度差分代表値生成手段１４で生成された輝度代表値と、色相差分代表値生成手段１５で生成された色相代表値とから、オブジェクトを分類する。
ここでは、分類手段１７は、位相幾何ユニークネス生成手段１７０と、確率モデル・確率分布生成手段１７１と、オブジェクト分類手段１７２と、を備える。
ここでは、分類手段１７は、分類基準記憶手段１６に記憶されている分類基準に基づいて、空間分割手段１３で生成されたオブジェクトが存在する部分空間を示す凸包情報（頂点位置）と、輝度差分代表値生成手段１４で生成された輝度代表値と、色相差分代表値生成手段１５で生成された色相代表値とから、オブジェクトを分類する。
ここでは、分類手段１７は、位相幾何ユニークネス生成手段１７０と、確率モデル・確率分布生成手段１７１と、オブジェクト分類手段１７２と、を備える。
位相幾何ユニークネス生成手段１７０は、空間分割手段１３で分離された各オブジェクトに対し、各オブジェクトの位相幾何のユニークネス（特有情報）とオブジェクト間の位相幾何のユニークネスとを生成するものである。
ここで、各オブジェクトの位相幾何のユニークネスは、例えば、凸包情報から得られる頂点数、面積（体積）等である。例えば、図５（ｃ）の例では、位相幾何のユニークネスは、頂点数が“２４”、面積が“２１”（なお、面積は、詳細には凸包内の画素数）である。
また、オブジェクト間の位相幾何のユニークネスは、例えば、本発明で改良したグロモフ・ハウスドルフ距離（詳細は、後記する式（３））、本発明で改良した類似度（詳細は、後記する式（２））等である。さらに、各オブジェクトならびにオブジェクト間の位相幾何のユニークネスとして、例えば、本発明で改良した深さ・解像度（詳細は、後記する式（４））を用いる。
ここで、各オブジェクトの位相幾何のユニークネスは、例えば、凸包情報から得られる頂点数、面積（体積）等である。例えば、図５（ｃ）の例では、位相幾何のユニークネスは、頂点数が“２４”、面積が“２１”（なお、面積は、詳細には凸包内の画素数）である。
また、オブジェクト間の位相幾何のユニークネスは、例えば、本発明で改良したグロモフ・ハウスドルフ距離（詳細は、後記する式（３））、本発明で改良した類似度（詳細は、後記する式（２））等である。さらに、各オブジェクトならびにオブジェクト間の位相幾何のユニークネスとして、例えば、本発明で改良した深さ・解像度（詳細は、後記する式（４））を用いる。
この位相幾何ユニークネス生成手段１７０は、生成した位相幾何のユニークネスを、確率モデル・確率分布生成手段１７１に出力する。なお、位相幾何ユニークネス生成手段１７０は、輝度差分代表値生成手段１４で生成された輝度代表値や色相差分代表値生成手段１５で生成された輝度色相値については、そのまま、位相幾何のユニークネスとして、確率モデル・確率分布生成手段１７１に出力する。
確率モデル・確率分布生成手段１７１は、位相幾何ユニークネス生成手段１７０で生成された位相幾何のユニークネス（特有情報）から、確率モデル・確率分布を生成するものである。
ここでは、確率モデル・確率分布生成手段１７１は、例えば、位相幾何ユニークネス生成手段１７０で生成された位相幾何のユニークネスである凸包の頂点数および面積、色特徴情報（輝度代表値、色相代表値）および深さ・解像度（後記する式（４））から、確率モデル・確率分布を生成する。また、確率モデル・確率分布生成手段１７１は、例えば、位相幾何ユニークネス生成手段１７０で生成された類似度（後記する式（２））、深さ・解像度（後記する式（４））からオブジェクト間の確率モデル・確率分布を生成する。
この確率モデル・確率分布生成手段１７１は、例えば、確率モデル・確率分布を指数関数の写像として生成する。この指数関数は、例えば、後記する式（５）〜式（９）に相当する。
ここでは、確率モデル・確率分布生成手段１７１は、例えば、位相幾何ユニークネス生成手段１７０で生成された位相幾何のユニークネスである凸包の頂点数および面積、色特徴情報（輝度代表値、色相代表値）および深さ・解像度（後記する式（４））から、確率モデル・確率分布を生成する。また、確率モデル・確率分布生成手段１７１は、例えば、位相幾何ユニークネス生成手段１７０で生成された類似度（後記する式（２））、深さ・解像度（後記する式（４））からオブジェクト間の確率モデル・確率分布を生成する。
この確率モデル・確率分布生成手段１７１は、例えば、確率モデル・確率分布を指数関数の写像として生成する。この指数関数は、例えば、後記する式（５）〜式（９）に相当する。
オブジェクト分類手段１７２は、確率モデル・確率分布として生成された位相幾何のユニークネス（特有情報）から、予め定めた分類基準により、オブジェクトを抽出し、分類するものである。予め定めた分類基準は、例えば、ＳＶＭ（サポートベクターマシーン）学習機能として、例えば、オブジェクト抽出分類装置１において、基準となる映像を入力し、オブジェクトの抽出と分類結果が正解であることを人手で確認し、正解であることを確認したオブジェクトと位相幾何のユニークネスとを対応付けて、分類基準記憶手段１６に記憶しておく。
このオブジェクト分類手段１７２は、分類基準記憶手段１６に、例えば、図８（ａ）で例示した分類基準が記憶されている場合、特徴ベクトルのうちで、凸包の面積と頂点数とにより、オブジェクトが「選手」であるのか、「選手以外」であるのかを分類する。
また、オブジェクト分類手段１７２は、分類基準記憶手段１６に、例えば、図８（ｂ）で例示した分類基準が記憶されている場合、特徴ベクトルのうちで、輝度代表値と色相代表値とにより、オブジェクトが「選手」であるのか、「選手以外」であるのかを分類する。
また、オブジェクト分類手段１７２は、分類基準記憶手段１６に、例えば、図８（ａ）と図８（ｂ）とを組み合わせた図８（ｃ）で例示した分類基準が記憶されている場合、特徴ベクトルのうちで、凸包の面積、頂点数、輝度代表値、色相代表値により、オブジェクトが「選手」であるのか、「選手以外」であるのかを分類する。このとき、分類手段１７は、図８（ａ）での分類と図８（ｂ）での分類とで分類結果が異なる場合、オブジェクトとして認識できなかったと判定してもよいし、境界線からの距離等によって確度の高い分類を分類結果としてもよい。
なお、ここでは、説明を容易にするため、２つの分類（「選手」、「選手以外」）の例で説明したが、特徴ベクトルによって、３以上の多次元の分類を行うこととしてもよい。
また、オブジェクト分類手段１７２は、分類基準記憶手段１６に、例えば、図８（ｂ）で例示した分類基準が記憶されている場合、特徴ベクトルのうちで、輝度代表値と色相代表値とにより、オブジェクトが「選手」であるのか、「選手以外」であるのかを分類する。
また、オブジェクト分類手段１７２は、分類基準記憶手段１６に、例えば、図８（ａ）と図８（ｂ）とを組み合わせた図８（ｃ）で例示した分類基準が記憶されている場合、特徴ベクトルのうちで、凸包の面積、頂点数、輝度代表値、色相代表値により、オブジェクトが「選手」であるのか、「選手以外」であるのかを分類する。このとき、分類手段１７は、図８（ａ）での分類と図８（ｂ）での分類とで分類結果が異なる場合、オブジェクトとして認識できなかったと判定してもよいし、境界線からの距離等によって確度の高い分類を分類結果としてもよい。
なお、ここでは、説明を容易にするため、２つの分類（「選手」、「選手以外」）の例で説明したが、特徴ベクトルによって、３以上の多次元の分類を行うこととしてもよい。
以上説明したようにオブジェクト抽出分類装置１を構成することで、映像から、オブジェクトを抽出し、分類することができる。
なお、オブジェクト抽出分類装置１は、図示を省略したコンピュータを前記した各手段として機能させるためのオブジェクト抽出分類プログラムで動作させることができる。
なお、オブジェクト抽出分類装置１は、図示を省略したコンピュータを前記した各手段として機能させるためのオブジェクト抽出分類プログラムで動作させることができる。
このように、オブジェクト抽出分類装置１は、複数の部分空間の連続性を検出してオブジェクト領域を判定する際に、グロモフ・ハウスドルフ距離の判定に加え、凸包による判定を行うため、従来のようなグロモフ・ハウスドルフ距離による連続性の誤判定を防止することができ、ロバスト性を高めることができる。
また、オブジェクト抽出分類装置１は、従来のように、確率モデル・確率分布を推論してオブジェクトの分類を行っていないため、その推論に要する繰り返し演算を行うことがなく、計算コストを抑えることができる。
また、オブジェクト抽出分類装置１は、従来のように、確率モデル・確率分布を推論してオブジェクトの分類を行っていないため、その推論に要する繰り返し演算を行うことがなく、計算コストを抑えることができる。
〔オブジェクト抽出分類装置の動作〕
次に、図９を参照（構成については適宜図１参照）して、本発明の実施形態に係るオブジェクト抽出分類装置１の動作について説明する。
まず、オブジェクト抽出分類装置１は、輝度差分生成手段１０によって、入力される映像から、フレーム単位で輝度の差分を演算し、輝度差分を生成する（ステップＳ１）。
また、オブジェクト抽出分類装置１は、色相差分生成手段１１によって、入力される映像から、フレーム単位で色相の差分を演算し、色相差分を生成する（ステップＳ２）。
なお、オブジェクト抽出分類装置１は、ステップＳ１，Ｓ２において、同一のフレームに対して、同期して、輝度差分および色相差分を生成する。
次に、図９を参照（構成については適宜図１参照）して、本発明の実施形態に係るオブジェクト抽出分類装置１の動作について説明する。
まず、オブジェクト抽出分類装置１は、輝度差分生成手段１０によって、入力される映像から、フレーム単位で輝度の差分を演算し、輝度差分を生成する（ステップＳ１）。
また、オブジェクト抽出分類装置１は、色相差分生成手段１１によって、入力される映像から、フレーム単位で色相の差分を演算し、色相差分を生成する（ステップＳ２）。
なお、オブジェクト抽出分類装置１は、ステップＳ１，Ｓ２において、同一のフレームに対して、同期して、輝度差分および色相差分を生成する。
そして、オブジェクト抽出分類装置１は、加算手段１２によって、ステップＳ１，Ｓ２で生成された輝度差分と色相差分とを画素ごとに加算する（ステップＳ３）。
これによって、オブジェクトの認識精度を高めることができる。
これによって、オブジェクトの認識精度を高めることができる。
そして、オブジェクト抽出分類装置１は、空間分割手段１３の部分空間階層化手段１３０によって、ステップＳ３で加算された加算値で構成された画像（画像空間）を、オブジェクトが存在する部分空間ごとに予め定めた収束条件を満たすまで階層的に分割する（ステップＳ４）。
そして、オブジェクト抽出分類装置１は、空間分割手段１３のオブジェクト領域判別手段１３１によって、ステップＳ４で階層化された部分空間において、オブジェクトの存在する領域を判別し、連続部分空間検出手段１３２によって、オブジェクトが存在する部分空間の連続性を検出し、同一のオブジェクトが存在している部分空間の凸包情報（頂点位置）を生成する（ステップＳ５）。
また、オブジェクト抽出分類装置１は、輝度差分代表値生成手段１４によって、ステップＳ１で生成された輝度差分において、ステップＳ５で生成された凸包情報のうちの頂点座標で特定される凸包内部のオブジェクトを代表する輝度（輝度代表値）を生成する（ステップＳ６）。
また、オブジェクト抽出分類装置１は、輝度差分代表値生成手段１４によって、ステップＳ１で生成された輝度差分において、ステップＳ５で生成された凸包情報のうちの頂点座標で特定される凸包内部のオブジェクトを代表する輝度（輝度代表値）を生成する（ステップＳ６）。
また、オブジェクト抽出分類装置１は、色相差分代表値生成手段１５によって、ステップＳ２で生成された色相差分において、ステップＳ５で生成された凸包情報のうちの頂点座標で特定される凸包内部のオブジェクトを代表する色相（色相代表値）を生成する（ステップＳ７）。
なお、オブジェクト抽出分類装置１は、ステップＳ６，Ｓ７において、同一のフレームに対応する輝度差分および色相差分から、それぞれ、輝度差分および色相差分を生成する。
なお、オブジェクト抽出分類装置１は、ステップＳ６，Ｓ７において、同一のフレームに対応する輝度差分および色相差分から、それぞれ、輝度差分および色相差分を生成する。
そして、オブジェクト抽出分類装置１は、分類手段１７の位相幾何ユニークネス生成手段１７０によって、ステップＳ５で生成された凸包情報、ステップＳ６，Ｓ７で生成される輝度代表値および色相代表値から位相幾何のユニークネスを生成する（ステップＳ８）。
そして、オブジェクト抽出分類装置１は、分類手段１７の確率モデル・確率分布生成手段１７１によって、ステップＳ８で生成された位相幾何のユニークネスから、確率モデル・確率分布を生成する（ステップＳ９）。
そして、オブジェクト抽出分類装置１は、分類手段１７のオブジェクト分類手段１７２によって、分類基準記憶手段１６に記憶されている分類基準（基準の確率モデル・確率分布）と比較することで、オブジェクトを分類する（ステップＳ１０）。
以上の動作を映像のフレーム単位で行うことで、オブジェクト抽出分類装置１は、映像から、オブジェクトを検出し、分類することができる。
そして、オブジェクト抽出分類装置１は、分類手段１７の確率モデル・確率分布生成手段１７１によって、ステップＳ８で生成された位相幾何のユニークネスから、確率モデル・確率分布を生成する（ステップＳ９）。
そして、オブジェクト抽出分類装置１は、分類手段１７のオブジェクト分類手段１７２によって、分類基準記憶手段１６に記憶されている分類基準（基準の確率モデル・確率分布）と比較することで、オブジェクトを分類する（ステップＳ１０）。
以上の動作を映像のフレーム単位で行うことで、オブジェクト抽出分類装置１は、映像から、オブジェクトを検出し、分類することができる。
以上、本発明の実施形態について説明したが、本発明はこの実施形態に限定されるものではない。
ここでは、映像内部におけるオブジェクトの色の特徴量として、輝度および色相を用いたが、これらは、必ずしも両方用いる必要はなく、いずれか一方のみでもよい。
例えば、特徴量として色相のみを用いる場合、図１に示したオブジェクト抽出分類装置１の構成から、輝度差分生成手段１０、加算手段１２および輝度差分代表値生成手段１４を除けばよい。その場合、空間分割手段１３は、色相差分生成手段１１で生成された色相差分から、凸包情報を生成し、分類手段１７は、凸包の頂点数および面積と、色相代表値との３次元の特徴ベクトルからオブジェクトを分類する。
ここでは、映像内部におけるオブジェクトの色の特徴量として、輝度および色相を用いたが、これらは、必ずしも両方用いる必要はなく、いずれか一方のみでもよい。
例えば、特徴量として色相のみを用いる場合、図１に示したオブジェクト抽出分類装置１の構成から、輝度差分生成手段１０、加算手段１２および輝度差分代表値生成手段１４を除けばよい。その場合、空間分割手段１３は、色相差分生成手段１１で生成された色相差分から、凸包情報を生成し、分類手段１７は、凸包の頂点数および面積と、色相代表値との３次元の特徴ベクトルからオブジェクトを分類する。
また、例えば、特徴量として輝度のみを用いる場合、図１に示したオブジェクト抽出分類装置１の構成から、色相差分生成手段１１、加算手段１２および色相差分代表値生成手段１５を除けばよい。その場合、空間分割手段１３は、輝度差分生成手段１０で生成された輝度差分から、凸包情報を生成し、分類手段１７は、凸包の頂点数および面積と、輝度代表値との３次元の特徴ベクトルからオブジェクトを分類する。
また、オブジェクト抽出分類装置１の分類手段１７では、オブジェクトの特徴として、凸包の頂点数および面積や、輝度代表値、色相代表値を用いて、オブジェクトの分類を行ったが、これらの特徴は、これらに限定されるものではない。
例えば、色の特徴として、彩度（彩度代表値）を用いてもよい。また、凸包の頂点数および面積以外にジェニングスを用いてもよい。このジェニングスとは、位相幾何のユニークネスの一つであって、最少の交点数を示す。例えば、オブジェクトが存在する部分空間の外縁を一筆書きしたときの一筆書きで交わる最少数である。このように、分類手段１７で使用する特徴ベクトルの数を増やすことで、部分空間階層化手段１３０における収束条件を緩め、階層数を減らすことが可能になる。
例えば、色の特徴として、彩度（彩度代表値）を用いてもよい。また、凸包の頂点数および面積以外にジェニングスを用いてもよい。このジェニングスとは、位相幾何のユニークネスの一つであって、最少の交点数を示す。例えば、オブジェクトが存在する部分空間の外縁を一筆書きしたときの一筆書きで交わる最少数である。このように、分類手段１７で使用する特徴ベクトルの数を増やすことで、部分空間階層化手段１３０における収束条件を緩め、階層数を減らすことが可能になる。
また、ここでは、分類手段１７が、凸包の頂点数および面積や、輝度代表値、色相代表値を用いて、オブジェクトの分類を行ったが、輝度代表値や色相代表値を除いて簡易に分類してもよい。その場合、オブジェクト抽出分類装置１は、輝度差分代表値生成手段１４および色相差分代表値生成手段１５を構成から除けばよい。
〔本発明の数理手法について〕
ここで、本発明の数理手法について説明しておく。
図１０には、本発明の数理手法を、従来の数理手法との関係で示している。この図１０において、各記号の意味は下記の通りである。
ここで、本発明の数理手法について説明しておく。
図１０には、本発明の数理手法を、従来の数理手法との関係で示している。この図１０において、各記号の意味は下記の通りである。
ここで、従来の数理手法は、例えば、確率分布、カーネル関数等の確率モデル上で定義される。これに対し、本発明では、確率モデルや確率分布が位相多様体上、すなわち、図１０のｄＭ（Ｘ），ｄＭ（Ｙ），ｄＭ（Ｘ，Ｙ）で定義される。
本発明は、位相多様体上の写像を評価するため、図１０に対応する以下の式（２）〜式（４）で示した写像の類似度ｄｉｌ ｆ、写像間の距離ｄｉｓ ｆ、写像間のデプス（解像度）ｅＬ （ｘ，ｙ）を導入したことに相当する。
本発明は、位相多様体上の写像を評価するため、図１０に対応する以下の式（２）〜式（４）で示した写像の類似度ｄｉｌ ｆ、写像間の距離ｄｉｓ ｆ、写像間のデプス（解像度）ｅＬ （ｘ，ｙ）を導入したことに相当する。
前記式（２）は、オブジェクトを分類する際の類似度（拡大縮小）に相当とし、前記式（３）は、オブジェクト間のグロモフ・ハウスドルフ距離に相当する。また、前記式（４）は、オブジェクトのデプス、すなわち、部分空間を階層化することに相当する。なお、この式（２）〜式（４）について、一例として、式（３）のみ後で証明しておく。
このように、本発明は、凸包により境界の生成、ならびに、事後確率最大化によるオブジェクトの分類、これらの二つの演算を同時にトポロジカル収束やトポロジカル埋め込みなどの位相多様体上で演算する。これによって、従来、グロモフ・ハウスドルフ距離で判別が困難な境界の生成においても、事後確率が最大になる境界を生成することができる。
すなわち、本発明は、パラメータ推定と隠れ変数の推論を行う従来の数理手法において、図１１に示すように、位相幾何のユニークネスが確率モデルや確率分布と互換性を有する写像により実現している。
これによって、本発明は、従来の数理手法と互換性を有しつつ、位相多様体上での演算により、繰り返し演算を除き、凸包により、グロモフ・ハウスドルフ距離におけるオブジェクトの判別精度を高めることができる。
これによって、本発明は、従来の数理手法と互換性を有しつつ、位相多様体上での演算により、繰り返し演算を除き、凸包により、グロモフ・ハウスドルフ距離におけるオブジェクトの判別精度を高めることができる。
このような効果は、図１２により模式的に表すことができる。
図１２（ａ）に示すように、映像内の初期状態における凸包を用いた分類では、オブジェクト（例えば、選手Ｏ）以外の部分空間をグロモフ・ハウスドルフ距離により同一の空間と分類した状態を示している。
この場合、凸包の面積と頂点数との関係、あるいは、色相代表値と輝度代表値との関係により、オブジェクト（選手Ｏ）以外であると認識されることになる。
図１２（ａ）に示すように、映像内の初期状態における凸包を用いた分類では、オブジェクト（例えば、選手Ｏ）以外の部分空間をグロモフ・ハウスドルフ距離により同一の空間と分類した状態を示している。
この場合、凸包の面積と頂点数との関係、あるいは、色相代表値と輝度代表値との関係により、オブジェクト（選手Ｏ）以外であると認識されることになる。
しかし、本発明による数理手法（数理エンジン）を用いることで、図１２（ｂ）に示すように、部分空間を階層化し、グロモフ・ハウスドルフ距離により同一の空間とみなされる部分空間を凸包により別の領域として判別することで、正確にオブジェクト（選手Ｏ）を抽出し、分類することができる。
また、図１２に示した本発明は、以下の式（５）に示すように、位相幾何のユニークネスである頂点数ｓおよび面積（体積）ｖ、ジェニングスｚ、ならびに、前記式（２）〜式（４）で示した写像の類似度（ｄｉｌ）、写像間の距離（ｄｉｓ）、写像間のデプス（ｄｅｐｔｈ）を評価関数とする写像ｇ（ｋ１，ｋ２）が、事後周辺確率分布ΣＸｐ（Ｙ｜Ｘ）ｐ（Ｘ）と互換となる写像ｆ（ｋ）の元となる発明といえる。
（評価関数については、例えば、参考文献３：末廣大貴、畑埜晃平、坂内英夫、瀧本英二、竹田正幸「ＳＶＭによる２部ランキング学習を用いたコンピュータ将棋における評価関数の学習」, 信学論 D Vol., J97-D, No.3, pp.593-600, 2014）
また、本発明において、上記の一例（事後周辺確率）では、写像ｆとして、指数関数を用いる。これは、例えば、統計物理における確率が集合を分割した任意の有限集合Ａ内の相互作用と、ＡとＡ′≠Ａとなる異なる有限集合間の相互作用が、指数関数で定義される理由による（例えば、参考文献４：荒木不二洋「統計物理」，岩波書店，２００４年２月，ｐ２６，ｐ５９）。
以下の式（６）に本発明の写像ｆの具体例を示す。
以下の式（６）に本発明の写像ｆの具体例を示す。
この式（６）の対数表記は、以下の式（７）となる。
ここで、ｋ１とｋ２のカーネル関数による写像をそれぞれｑＡとｑＡ′とする。
このとき、ｑＡ（ｋ１１，ｋ１２）とｑＡ′（ｋ２１，ｋ２２，ｋ２３）とが独立事象の場合、前記式（７）は以下の式（８）となる。
このとき、ｑＡ（ｋ１１，ｋ１２）とｑＡ′（ｋ２１，ｋ２２，ｋ２３）とが独立事象の場合、前記式（７）は以下の式（８）となる。
また、ｑＡ（ｋ１１），ｑＡ（ｋ１２），ｑＡ′（ｋ２１），ｑＡ′（ｋ２２），ｑＡ′（ｋ２３）が独立事象の場合、前記式（７）および式（８）は以下の式（９）となる。
なお、位相多様体上の演算（例えば、参考文献５：Afra Zomorodian,“Topological Data Analysis”,Proceedings of Symposia in Applied Mathematics, 2011）を用いた従来のオブジェクトの検出手法は、測度距離空間（例えば、前記参考文献１）上で等長写像等の位相幾何特徴量を利用し、類似検索やデータからオブジェクトを検出している（例えば、以下の参考文献６〜１０）。
（参考文献６：Yuriy Mleyko, Sayan Mukherjee, John Hare,“Probability measures on the space of persistence diagrams”,Inverse Problems, 27, 2011）
（参考文献７：Katharine Turner, Yuriy Mileyko, Sayan Mukherjee, Johan Harer,“Frechet Means for Distributions of Persistence Diagrams”, Preprint, 2012）
（参考文献８：Jasse Johnson,“Topological graph clustering with thin position”, Manuscript, arXiv:1206.0771, 2012）
（参考文献９：Facundo Memoli,“Gromov-Wasserstein distances and the metric approach to objectmatching”, Foundations of Computational Mathematics, pp 1-71, 2011, 10.1007/s10208-011-9093-5）
（参考文献１０：Facundo Memoli,“Some properties of Gromov-Hausdorff distances”, Discrete & Computational Geometry, pp1-25, 2012, 10.1007/s00454-012-9406-8）
（参考文献７：Katharine Turner, Yuriy Mileyko, Sayan Mukherjee, Johan Harer,“Frechet Means for Distributions of Persistence Diagrams”, Preprint, 2012）
（参考文献８：Jasse Johnson,“Topological graph clustering with thin position”, Manuscript, arXiv:1206.0771, 2012）
（参考文献９：Facundo Memoli,“Gromov-Wasserstein distances and the metric approach to objectmatching”, Foundations of Computational Mathematics, pp 1-71, 2011, 10.1007/s10208-011-9093-5）
（参考文献１０：Facundo Memoli,“Some properties of Gromov-Hausdorff distances”, Discrete & Computational Geometry, pp1-25, 2012, 10.1007/s00454-012-9406-8）
また、測度距離空間の位相幾何は、通信ネットワークの解析（例えば、以下の参考文献１１〜１３）や測度距離空間上の位相幾何を特徴点として分類（例えば、以下の参考文献１４，１５）する手法がある。
（参考文献１１：Hwa-Chun LIN, Shou-Chuan LAI, Ping-Wen CHEN, Hsin-Liang LAI,“Automatic Topology Discovery of IP Networks”, IEICE Trans. Inf.&Syst., Vol., E83-D, No.1, Jan. 2000）
（参考文献１２：Hyunggi CHO, Myungseok KANG, JonghoonKIM, Hagbae KIM,“ZigBee Based Location Estimation in Home Networking Environments”, IEICE Trans. Inf.&Syst., Vol., E90-D, No.10, Jan. 2007）
（参考文献１３：谷口博人，井上美智子，増澤利光，藤原秀雄，「アドホックネットワークにおけるクラスタ構成法」，信学論 D-Ｉ，Vol.J81-D-1, No.2, pp.127-135, 2001年2月）
（参考文献１４：Nasir AHMED, Abdul JALIL,“Multimode Image Clustering Using Optimal Image Descipor”, IEICE Trans. Inf.&Syst., Vol., E97-D, No.4, Jan. 2014）
（参考文献１５：Jose GARCIA RODRIGUEZ, Anastassia ANGELOPOULOU, Alexandra PSARROU,“Growing Neural Gas (GNG):A Soft Competitive Learning Method for 2D Hand Modeling”, IEICE Trans. Inf.&Syst., Vol., E89-D, No.7, July 2006）
（参考文献１１：Hwa-Chun LIN, Shou-Chuan LAI, Ping-Wen CHEN, Hsin-Liang LAI,“Automatic Topology Discovery of IP Networks”, IEICE Trans. Inf.&Syst., Vol., E83-D, No.1, Jan. 2000）
（参考文献１２：Hyunggi CHO, Myungseok KANG, JonghoonKIM, Hagbae KIM,“ZigBee Based Location Estimation in Home Networking Environments”, IEICE Trans. Inf.&Syst., Vol., E90-D, No.10, Jan. 2007）
（参考文献１３：谷口博人，井上美智子，増澤利光，藤原秀雄，「アドホックネットワークにおけるクラスタ構成法」，信学論 D-Ｉ，Vol.J81-D-1, No.2, pp.127-135, 2001年2月）
（参考文献１４：Nasir AHMED, Abdul JALIL,“Multimode Image Clustering Using Optimal Image Descipor”, IEICE Trans. Inf.&Syst., Vol., E97-D, No.4, Jan. 2014）
（参考文献１５：Jose GARCIA RODRIGUEZ, Anastassia ANGELOPOULOU, Alexandra PSARROU,“Growing Neural Gas (GNG):A Soft Competitive Learning Method for 2D Hand Modeling”, IEICE Trans. Inf.&Syst., Vol., E89-D, No.7, July 2006）
また、測度距離空間上の位相幾何特徴量の高次モーメントを確率分布として扱う手法（例えば、参考文献１６：ftp.stat.duke.edu/WorkingPapers/11-06.pdf）がある。例えば、参考文献１６によれば、確率分布を求める手法は、前記参考文献２に記載の最尤推定法である。
これに対し、本発明は、確率モデルや確率分布を位相多様体上の写像で直接求める手法であって、確率モデルや確率分布を求める既存の数理手法を必要としないという特徴を有する。
これに対し、本発明は、確率モデルや確率分布を位相多様体上の写像で直接求める手法であって、確率モデルや確率分布を求める既存の数理手法を必要としないという特徴を有する。
このように、非特許文献１に記載の手法（従来手法）は、前記式（２）〜式（４）で示した位相幾何の特徴を評価する写像を用いてオブジェクトを分類する手法である。この従来手法は、本発明と同様にグロモフ・ハウスドルフ距離を用い、グロモフ・ハウスドルフ距離の差、デプス（非特許文献１ではＤｅｎｓｉｔｙの記載）の差等を用いてオブジェクトを分類する手法である。なお、従来手法は、本発明と同様にカーネル関数（非特許文献１ではガウスカーネル）を用いて推定するパラメータ数を減少させている。
再度、本発明が従来手法（非特許文献１）と異なっている点について説明する。
従来手法では、確率モデル・確率分布の推論、統計パラメータの推定に繰り返し演算が必要となり、Ｍ回（Ｍは整数）の演算を行った平均値を用いてオブジェクトの分類を行っている。そのため、従来手法を用いて確率モデル・確率分布を推論する場合、ＭＣＭＣなどの繰り返し演算が必要となる。なお、非特許文献１では、繰り返し数Ｍの収束性については、言及されていない。非特許文献１に記載されている例示では、前記式（２）〜式（４）で示した位相幾何の特徴を評価する写像を、情報幾何で定義している統計パラメータとして扱っている。すなわち、非特許文献１の例示は、標本空間で幾何を取り入れるカーネル法、そして統計パラメータ空間で幾何を取り入れる情報幾何の手法である。
従来手法では、確率モデル・確率分布の推論、統計パラメータの推定に繰り返し演算が必要となり、Ｍ回（Ｍは整数）の演算を行った平均値を用いてオブジェクトの分類を行っている。そのため、従来手法を用いて確率モデル・確率分布を推論する場合、ＭＣＭＣなどの繰り返し演算が必要となる。なお、非特許文献１では、繰り返し数Ｍの収束性については、言及されていない。非特許文献１に記載されている例示では、前記式（２）〜式（４）で示した位相幾何の特徴を評価する写像を、情報幾何で定義している統計パラメータとして扱っている。すなわち、非特許文献１の例示は、標本空間で幾何を取り入れるカーネル法、そして統計パラメータ空間で幾何を取り入れる情報幾何の手法である。
これに対し、本発明は、上記のように確率モデル・確率分布を位相多様体上の写像で直接求める手法である。言い換えれば、非特許文献１で例示されている手法は、位相多様体上の写像を評価関数で用いるのに対し、本発明は、位相多様体上のユニークネスを用いて写像を生成し、写像を確率モデル・確率分布として扱う点が大きく異なる。また、非特許文献１には、グロモフ・ハウスドルフ距離の問題点と本発明で示した解決手法については、言及されていない。
〔式（３）の証明〕
最後に、前記式（３）について証明しておく。
ここでは、ゲルファント＝ナイマルクの定理（Gelfand NaimarkTheorem：例えば、以下の参考文献１７，１８）に従い、本発明による異なる写像間の演算手法が存在する事を証明する。
（参考文献１７：Robert Doran,“Characterizations of C*-Algebras: the GelfandNaimark Theorems”, CRC Press, 1986）
（参考文献１８：Yaakov Friendman, Bernard Russo,“The Gelfand-NaimarkTheorem for JB*-Triples”, Duke Mathematical Journal Vol.53, No.1, Mar.1986）
最後に、前記式（３）について証明しておく。
ここでは、ゲルファント＝ナイマルクの定理（Gelfand NaimarkTheorem：例えば、以下の参考文献１７，１８）に従い、本発明による異なる写像間の演算手法が存在する事を証明する。
（参考文献１７：Robert Doran,“Characterizations of C*-Algebras: the GelfandNaimark Theorems”, CRC Press, 1986）
（参考文献１８：Yaakov Friendman, Bernard Russo,“The Gelfand-NaimarkTheorem for JB*-Triples”, Duke Mathematical Journal Vol.53, No.1, Mar.1986）
≪仮定≫
証明を簡易に説明するため、直径Ｄ、面積（体積）ｖのリーマン多様体ｍｎ（Ｄ，ｖ）を仮定する。
この場合、曲率ＫＭは、１≧ＫＭ≧−１である。
証明を簡易に説明するため、直径Ｄ、面積（体積）ｖのリーマン多様体ｍｎ（Ｄ，ｖ）を仮定する。
この場合、曲率ＫＭは、１≧ＫＭ≧−１である。
ここでは一例として、式（３）に示す異なる写像間のグロモフ・ハウスドルフ距離が存在することを証明する。
≪式３：異なる写像間のグロモフ・ハウスドルフ距離の定義≫
≪式３：異なる写像間のグロモフ・ハウスドルフ距離の定義≫
次に、ゲルファント＝ナイマルクの定理に従い証明する。当定理は、写像が全単射となることで、写像が存在することを証明する定理である。証明の手順は、最初に部分集合と写像（式（３）ではアルファベットのカーネル関数）を定義する。次に最大イデアル最適化を解く。最後に最大イデアル最適化で全単射が存在すれば、写像（ここでは式（３）の異なる写像間のグロモフ・ハウスドルフ距離）が存在する。
以下、証明の手順に従い記述する。
≪ゲルファント＝ナイマルクの定理に従い証明≫
［部分集合の定義］
以下、証明の手順に従い記述する。
≪ゲルファント＝ナイマルクの定理に従い証明≫
［部分集合の定義］
［アルファベットのカーネル関数を定義］
［最大イデアル関数を最適化］
［最大イデアル（全単写）］
１ オブジェクト抽出分類装置
１０ 輝度差分生成手段（色特徴情報生成手段）
１１ 色相差分生成手段（色特徴情報生成手段）
１２ 加算手段（色特徴情報生成手段）
１３ 空間分割手段（凸包情報生成手段）
１３０ 部分空間階層化手段
１３１ オブジェクト領域判別手段
１３２ 連続部分空間検出手段
１４ 輝度差分代表値生成手段（色特徴代表値生成手段）
１５ 色相差分代表値生成手段（色特徴代表値生成手段）
１６ 分類基準記憶手段
１７ 分類手段
１７０ 位相幾何ユニークネス生成手段
１７１ 確率モデル・確率分布生成手段
１７２ オブジェクト分類手段
１０ 輝度差分生成手段（色特徴情報生成手段）
１１ 色相差分生成手段（色特徴情報生成手段）
１２ 加算手段（色特徴情報生成手段）
１３ 空間分割手段（凸包情報生成手段）
１３０ 部分空間階層化手段
１３１ オブジェクト領域判別手段
１３２ 連続部分空間検出手段
１４ 輝度差分代表値生成手段（色特徴代表値生成手段）
１５ 色相差分代表値生成手段（色特徴代表値生成手段）
１６ 分類基準記憶手段
１７ 分類手段
１７０ 位相幾何ユニークネス生成手段
１７１ 確率モデル・確率分布生成手段
１７２ オブジェクト分類手段
Claims (5)
- 映像中のオブジェクトを抽出および分類するオブジェクト抽出分類装置であって、
映像のフレームごとの差分から、前記オブジェクトの存在を示す色特徴情報を含んだ画像を生成する色特徴情報生成手段と、
この色特徴情報生成手段で生成された色特徴情報を含んだ画像を部分空間に分割し、前記部分空間ごとのグロモフ・ハウスドルフ距離に基づく連続性のある部分空間の凸包から、当該凸包の頂点位置を示す凸包情報を生成する凸包情報生成手段と、
前記凸包情報から位相幾何の特有情報を生成し、当該特有情報の確率モデル・確率分布を生成し、予め定められた分類基準により、前記オブジェクトを抽出し、分類する分類手段と、
を備えることを特徴とするオブジェクト抽出分類装置。 - 前記色特徴情報生成手段は、
前記色特徴情報として輝度差分を生成する輝度差分生成手段と、
前記色特徴情報として色相差分を生成する色相差分生成手段と、
前記輝度差分と前記色相差分とを加算することで、前記オブジェクトの存在を示す色特徴情報を含んだ画像を生成する加算手段と、
を備えることを特徴とする請求項１に記載のオブジェクト抽出分類装置。 - 前記色特徴情報生成手段で生成された色特徴情報を含んだ画像から、前記凸包情報生成手段で生成された凸包情報で特定される凸包内で色特徴代表値を生成する色特徴代表値生成手段をさらに備え、
前記分類手段は、前記凸包情報と前記色特徴代表値とから、前記特有情報を生成し、当該特有情報の確率モデル・確率分布を生成し、予め定められた分類基準により、前記オブジェクトを抽出し、分類することを特徴とする請求項１または請求項２に記載のオブジェクト抽出分類装置。 - 前記凸包情報生成手段は、
前記色特徴情報を含んだ画像を、前記色特徴情報で示されるオブジェクトが存在する部分空間ごとに予め定めた収束条件を満たすまで階層的に分割する部分空間階層化手段と、
この部分空間階層化手段で階層化された個々の部分空間において、凸包により、オブジェクト領域を判別するオブジェクト領域判別手段と、
このオブジェクト領域判別手段で前記オブジェクト領域と判別された部分空間をグロモフ・ハウスドルフ距離が予め定めた閾値以下となる同一のオブジェクト領域として検出して前記凸包情報を生成する連続部分空間検出手段と、
を備えることを特徴とする請求項１から請求項３のいずれか一項に記載のオブジェクト抽出分類装置。 - コンピュータを、請求項１から請求項４のいずれか一項に記載のオブジェクト抽出分類装置として機能させるためのオブジェクト抽出分類プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015096168A JP2016212653A (ja) | 2015-05-11 | 2015-05-11 | オブジェクト抽出分類装置およびそのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015096168A JP2016212653A (ja) | 2015-05-11 | 2015-05-11 | オブジェクト抽出分類装置およびそのプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016212653A true JP2016212653A (ja) | 2016-12-15 |
Family
ID=57551133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015096168A Pending JP2016212653A (ja) | 2015-05-11 | 2015-05-11 | オブジェクト抽出分類装置およびそのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016212653A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101907883B1 (ko) * | 2017-05-10 | 2018-10-16 | 국방과학연구소 | 객체 검출 및 분류 방법 |
| WO2020080626A1 (ko) * | 2018-10-16 | 2020-04-23 | 고려대학교 산학협력단 | 동물 종 식별 방법 및 장치 |
| CN115599984A (zh) * | 2022-09-09 | 2023-01-13 | 北京理工大学(Cn) | 一种检索方法 |
| KR102669679B1 (ko) * | 2023-10-23 | 2024-05-27 | 주식회사 액션파워 | 원본 이미지로부터 스케치 이미지를 생성하는 방법 |
-
2015
- 2015-05-11 JP JP2015096168A patent/JP2016212653A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101907883B1 (ko) * | 2017-05-10 | 2018-10-16 | 국방과학연구소 | 객체 검출 및 분류 방법 |
| WO2020080626A1 (ko) * | 2018-10-16 | 2020-04-23 | 고려대학교 산학협력단 | 동물 종 식별 방법 및 장치 |
| US11830272B2 (en) | 2018-10-16 | 2023-11-28 | Korea University Research And Business Foundation | Method and apparatus for identifying animal species |
| CN115599984A (zh) * | 2022-09-09 | 2023-01-13 | 北京理工大学(Cn) | 一种检索方法 |
| KR102669679B1 (ko) * | 2023-10-23 | 2024-05-27 | 주식회사 액션파워 | 원본 이미지로부터 스케치 이미지를 생성하는 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rukhovich et al. | Iterdet: iterative scheme for object detection in crowded environments | |
| CN105844669B (zh) | 一种基于局部哈希特征的视频目标实时跟踪方法 | |
| EP4091100A1 (en) | Systems and methods for identifying an object of interest from a video sequence | |
| US20240161284A1 (en) | Techniques for determining tissue characteristics using multiplexed immunofluorescence imaging | |
| CN112085072B (zh) | 基于时空特征信息的草图检索三维模型的跨模态检索方法 | |
| JP2016212653A (ja) | オブジェクト抽出分類装置およびそのプログラム | |
| Cohen et al. | Gifsplanation via latent shift: a simple autoencoder approach to counterfactual generation for chest x-rays | |
| Korus et al. | Improved tampering localization in digital image forensics based on maximal entropy random walk | |
| CN114693607A (zh) | 基于多域块特征标志点配准的篡改视频检测方法及系统 | |
| Zhao et al. | Deep Multimodal Data Fusion | |
| CN112529025A (zh) | 一种数据处理方法及装置 | |
| Meng et al. | Globally measuring the similarity of superpixels by binary edge maps for superpixel clustering | |
| CN113362307A (zh) | 一种rgb-d图像显著性检测方法 | |
| CN116597231A (zh) | 一种基于孪生图注意力编码的高光谱异常检测方法 | |
| CN107085725A (zh) | 一种通过基于自适应码本的llc聚类图像区域的方法 | |
| JP5347793B2 (ja) | 文字認識装置、文字認識プログラムおよび文字認識方法 | |
| CN116109649A (zh) | 一种基于语义错误修正的3d点云实例分割方法 | |
| CN114494999B (zh) | 一种双分支联合型目标密集预测方法及系统 | |
| Lan et al. | Robust visual object tracking with spatiotemporal regularisation and discriminative occlusion deformation | |
| Yang et al. | SPiForest: an anomaly detecting algorithm using space partition constructed by probability density-based inverse sampling | |
| Luo et al. | Hybrid cascade point search network for high precision bar chart component detection | |
| CN113487506A (zh) | 基于注意力去噪的对抗样本防御方法、装置和系统 | |
| Zhu et al. | [Retracted] Basketball Object Extraction Method Based on Image Segmentation Algorithm | |
| Elmaci et al. | A comparative study on the detection of image forgery of tampered background or foreground | |
| Wang et al. | Multi‐DS Strategy for Source Camera Identification in Few‐Shot Sample Data Sets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180403 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190416 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191203 |