JP2004086540A - オブジェクト抽出方法および装置ならびにプログラム - Google Patents
オブジェクト抽出方法および装置ならびにプログラム Download PDFInfo
- Publication number
- JP2004086540A JP2004086540A JP2002246397A JP2002246397A JP2004086540A JP 2004086540 A JP2004086540 A JP 2004086540A JP 2002246397 A JP2002246397 A JP 2002246397A JP 2002246397 A JP2002246397 A JP 2002246397A JP 2004086540 A JP2004086540 A JP 2004086540A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- image
- image frame
- classification parameter
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】複数の画像フレームを有する画像群から、各画像フレーム間の関連性を損なうことなくオブジェクト領域の抽出を効率よく行う。
【解決手段】分類パラメータ生成手段６０がシーンＳＣに含まれる複数の画像フレームＰＦから抽出された基準画像フレームＰＦｒｅｆを抽出して、基準画像フレームＰＦｒｅｆから分類パラメータＲＢを生成する。そして、オブジェクト抽出手段７０がシーンＳＣ毎に該シーンＳＣに含まれるすべての画像フレームＰＦのオブジェクト領域を生成した分類パラメータＲＢを用いて行う。
【選択図】 図１
【解決手段】分類パラメータ生成手段６０がシーンＳＣに含まれる複数の画像フレームＰＦから抽出された基準画像フレームＰＦｒｅｆを抽出して、基準画像フレームＰＦｒｅｆから分類パラメータＲＢを生成する。そして、オブジェクト抽出手段７０がシーンＳＣ毎に該シーンＳＣに含まれるすべての画像フレームＰＦのオブジェクト領域を生成した分類パラメータＲＢを用いて行う。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、たとえば動画や連続撮影写真等の複数の画像フレームからなる画像群からそれぞれオブジェクト領域を抽出するオブジェクト抽出方法および装置ならびにプログラムに関するものである。
【０００２】
【従来の技術】
デジタルカメラ等で撮像した画像は、たとえば人物や海、空、建物その他の背景等を含むものである。その画像の中からその人物や背景等の画像データが１つのオブジェクトとして抽出できれば、各オブジェクト毎に異なる画像処理を行い、さらには各オブジェクトの意味を判別してユーザーに提示することもできる。このためには、画像に含まれているオブジェクト毎にそれぞれオブジェクト領域を分割する必要がある。
【０００３】
画像データから自動的にオブジェクト領域を抽出する場合、画像各部の画像データの特徴量を分類した後、この分類結果を利用して画像情報を分割してオブジェクトを自動的に分割することが提案されている。すなわち、１つのオブジェクトを構成する画像データは、色情報、テクスチャ情報、ウェーブレット係数等の特徴量が類似したものとなっている。この性質を利用すれば、画像データをオブジェクト領域毎に領域分割することができる。
【０００４】
特徴量を分類する際に、画像圧縮等で利用されるベクトル量子化の手法が用いられる。ベクトル量子化は、特徴量を軸とした特徴ベクトル空間における領域分割方法であり、類似した特徴量を持つ画素ベクトルを分類するために有効な手段である。具体的には、画像の各画素に対する複数の特徴量が抽出されて、各特徴量を要素とした複数の特徴ベクトルが生成される。その後、複数の特徴ベクトルを類似する特徴ベクトル毎に分類する（クラスタリング）。そして、クラスタリングされた結果に基づいて、画像データが分類されて複数の画像領域に領域分割される。
【０００５】
上述した複数の特徴ベクトルを分類するためには、分類の基となる複数の分類パラメータが必要となる。そして、各特徴ベクトルは複数の分類パラメータの中で最も距離の近い分類パラメータ（代表ベクトル）に分類されることにより行われる。
【０００６】
【発明が解決しようとする課題】
ところで、たとえばＭＰＥＧ等の動画は複数の画像フレームからなっており、同様に、たとえばＭＲＩやＸ線ＣＴ画像のような医療用の画像群についても、複数の画像フレームを構成すると考えることができる。このような、複数の画像フレームで構成された画像群であっても、上述したベクトル量子化を利用して各画像フレームからオブジェクトを抽出することができる。
【０００７】
ここで、画像フレームからオブジェクト領域を抽出する際、各画像フレーム毎にそれぞれ分類パラメータを生成して、各画像フレーム毎にオブジェクト領域を抽出することが考えられる。このとき、連続する画像フレーム間において、オブジェクト領域の抽出結果が異なるものとなってしまい、連続した画像フレーム間の関連性・連続性が損なわれる場合がある。
【０００８】
たとえば、連続した２つの連続した画像フレームにそれぞれ海および空のオブジェクトが撮像されているとする。この２つの画像フレームは類似したオブジェクト配置構造を有しているが、各画像フレームが有する画像データは多少は異なるものとなるため、画像データから生成される分類パラメータも異なるものとなる場合がある。
【０００９】
したがって、一方の画像フレームでは海と空とが別々のオブジェクトとして抽出されて、他方の画像フレームでは海と空とが１つのオブジェクトとして抽出されてしまう場合がある。すなわち、連続した２つの画像フレームにおいて、抽出されるオブジェクト領域が異なる画像フレーム間ではオブジェクト領域の抽出結果がばらついてしまい、画像フレーム間のオブジェクトの連続性（関連性）が失われてしまうことがあるという問題がある。
【００１０】
そこで、本発明は、画像フレーム間におけるオブジェクト領域の抽出結果のばらつきを少なくすることができるオブジェクト抽出方法および装置ならびにプログラムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明のオブジェクト抽出方法は、連続的に画像が変化する複数の画像フレームからなるシーンを含む画像群から該各画像フレーム毎にオブジェクト領域を抽出するオブジェクト抽出方法において、前記画像群を前記シーン毎に分割するシーン分割プロセスと、分割した前記シーン毎に該シーンに含まれる前記各画像フレームからそれぞれ前記オブジェクト領域を抽出するための分類パラメータを生成する分類パラメータ生成プロセスと、生成した前記分類パラメータを用いて前記シーン毎に該シーンに含まれる前記複数の画像フレームからそれぞれ前記オブジェクト領域を抽出するオブジェクト抽出プロセスとを有し、前記分類パラメータ生成プロセスが、前記シーンに含まれる前記複数の画像フレームから基準画像フレームを抽出するステップと、抽出した前記基準画像フレームを用いて前記分類パラメータを生成するステップとを有することを特徴とする。
【００１２】
本発明のオブジェクト抽出装置は、連続的に画像が変化する複数の画像フレームからなるシーンを含む画像群から該各画像フレーム毎にオブジェクト領域を抽出するオブジェクト抽出装置において、前記画像群をシーン毎に分割するシーン分割手段と、分割された前記シーン毎に該シーンに含まれる前記各画像フレームからそれぞれ前記オブジェクト領域を抽出するための分類パラメータを生成する分類パラメータ生成手段と、生成された前記分類パラメータを用いて前記シーン毎に該シーンに含まれる前記複数の画像フレームからそれぞれ前記オブジェクト領域を抽出するオブジェクト抽出手段とを有し、前記分類パラメータ生成手段が、前記シーンに含まれる前記画像フレームから抽出した基準画像フレームを用いて前記分類パラメータを生成するものであることを特徴とする。
【００１３】
本発明のオブジェクト抽出プログラムは、連続的に画像が変化する複数の画像フレームからなるシーンを含む画像群から該各画像フレーム毎にオブジェクト領域を抽出するようにコンピュータを機能させるためのオブジェクト抽出プログラムにおいて、前記画像群をシーン毎に分割する手順と、分割された前記シーン毎に該シーンに含まれる前記各画像フレームからそれぞれ前記オブジェクト領域を抽出するための分類パラメータを生成する手順と、生成された前記分類パラメータを用いて前記シーン毎に該シーンに含まれる前記複数の画像フレームからそれぞれ前記オブジェクト領域を抽出する手順とを実行させるためのものであって、前記分類パラメータを生成する手順において、前記シーンに含まれる前記画像フレームから基準画像フレームを抽出して、抽出した該基準画像フレームを用いて前記分類パラメータを生成することを特徴とする。
【００１４】
ここで、「画像群」は、連続的に画像が変化する複数の画像フレームからなるシーンを含むものであればいかなるものでもよく、動画、ＭＲＩ、Ｘ線ＣＴ等の連続した画像をスライスして撮像した画像群、もしくは同一の被写体を異なる角度で撮像したいわゆる立体写真であってもよい。
【００１５】
また、「オブジェクト」は、たとえば人物、空、海、木、建物等の画像に含まれる被写体を意味し、「オブジェクト領域」は各被写体が画像内に占める領域を意味する。
【００１６】
さらに、「シーン」は、動画の１場面を構成する画像フレームの集合を意味するだけでなく、連続撮像されたスライス画像からなる画像フレームの集合、もしくは立体写真における異なる角度から撮像された複数の画像フレームの集合をも含む。
【００１７】
また、「基準画像フレーム」は、シーン内に含まれる画像フレームであればいずれのフレームでもよく、たとえば時間的に連続する前記シーンの中間付近にある前記画像フレームが選ばれてもよい。
【００１８】
さらに、「分類パラメータ生成手段」は、分類パラメータを生成する際にシーンから抽出された１枚の基準画像フレームを用いて生成してもよいし、複数枚の基準画像フレームを用いて生成してもよい。
【００１９】
【発明の効果】
本発明のオブジェクト抽出方法および装置ならびにプログラムによれば、シーンに含まれる前記複数の画像フレームから基準画像フレームを抽出し、基準画像フレームから分類パラメータを生成し、生成した分類パラメータを用いてシーン毎に該シーンに含まれる複数の画像フレームからそれぞれオブジェクト領域を抽出することにより、シーン内に同一のオブジェクトが複数の画像フレームにわたって撮像されている場合であっても、各画像フレームにおいて同一のオブジェクト抽出結果を得ることができるため、シーン内の各画像フレーム間におけるオブジェクト領域の抽出結果のばらつきを少なくすることができる。
【００２０】
また、基準画像フレームから生成された分類パラメータを用いてシーン内のすべての画像フレームのオブジェクト領域の生成を行うことにより、画像毎に分類パラメータを決定するための処理時間を省略することができるため、高速に連続画像からオブジェクト領域を抽出することができる。
【００２１】
なお、基準画像フレームをシーンの時間的に中間付近にある画像フレームにすることにより、シーン内のオブジェクト領域を分割する精度を高くする分類パラメータを生成することができる。
【００２２】
【発明の実施の形態】
図１は本発明のオブジェクト抽出装置１の好ましい実施の形態を示すブロック図であり、図１を参照してオブジェクト抽出装置１について説明する。オブジェクト抽出装置１は、複数の画像フレームＰＦからなる画像群ＰＧから該各画像フレームＰＦ毎にオブジェクト領域ＯＲを抽出するものである。ここで、画像群ＰＧが動画である場合、画像群ＰＧは複数の画像フレームＰＦから構成されることになり、画像群ＰＧがＭＲＩやＸ線ＣＴ等により撮像された連続スライス写真の場合、画像群ＰＧは画像フレーム（スライス画像）ＰＦの集合から構成されることになる。この画像群ＰＧは画像データベース１０に記憶された状態にある。
【００２３】
オブジェクト抽出装置１は、シーン分割手段２０、基準画像抽出手段３０、特徴量抽出手段４０、特徴ベクトル生成手段５０、分類パラメータ生成手段６０、オブジェクト抽出手段７０等を有する。
【００２４】
シーン分割手段２０は、画像群ＰＧの中からシーンＳＣを判断する機能を有する。たとえば画像群ＰＧが動画である場合、シーン分割手段２０は画像フレームＰＦの画像データを基にして、前後の色ヒストグラム情報や動き情報などの変化量を計測・分析して、変化量が著しい部分をシーンＳＣの境目であるとしてシーン分割する。また、画像群ＰＧがＭＲＩ、Ｘ線ＣＴ等の連続撮像写真である場合、シーン分割手段２０は連続撮像された複数の画像フレームＰＦを１つのシーンＳＣとして判断する。
【００２５】
なお、シーン分割手段２０は動画に付された音声を基にして音量や音域などの変化量を計測・分析して変化量が著しい部分において分割してもよい。また、シーン分割手段２０は動画に付されたメタデータから画面構成、出演者等を抽出して、前後の相関性を判断することによりシーンＳＣを分割するようにしてもよい。さらにシーン分割手段２０はたとえば５秒ごとに分割するというように、ある一定時間周期毎に動画を分割して複数のシーンＳＣに分割するようにしてもよい。
【００２６】
基準画像抽出手段３０は、シーン分割手段２０により分割されたシーンＳＣからそれぞれ基準画像フレームＰＦｒｅｆを抽出する機能を有する。ここで、基準画像抽出手段３０は、時間的に連続するシーンＳＣの中間付近の中間画像フレームＰＦｍｉｄを基準画像フレームＰＦｒｅｆとして選択するようになっている。これは、中間画像フレームＰＦｍｉｄがシーンＳＣ内の複数の画像フレームＰＦの平均的な特徴量ＣＱを有する画像データＰＤを有する画像フレームＰＦである場合が多いためである。したがって、その中間画像フレームＰＦｍｉｄを基準画像フレームＰＦｒｅｆとして用いて分類パラメータＲＢの抽出を行うことにより、シーンＳＣ全体にわたって精度よくオブジェクト抽出を行うことが適用できる分類パラメータＲＢを生成することができる。
【００２７】
特徴量抽出手段４０は画像データＰＤから特徴量ＣＱを抽出して特徴ベクトル生成手段５０に出力する機能を有する。ここで、画像データＰＤは１画像フレームＰＦを構成するＭ×Ｎ個の画素データｘｉｊ（ｉ，ｊ：０≦ｉ≦Ｎ、０≦ｊ≦Ｍ）を有しており、各画素データｘｉｊは色情報や輝度情報等の様々な画像情報を有する。そして、特徴量抽出手段４０は各画素データｘｉｊの画像情報から設定された特徴量ＣＱを抽出する。たとえば、特徴量抽出手段４０は基準特徴量ＣＱとしてＲＧＢ、ＹＣＣ、Ｌａｂなどの色情報や輝度情報、ウェーブレット係数、ＤＣＴ係数などのテクスチャ情報等のｎ個の特徴量ＣＱ＝（０ｘｉｊ、１ｘｉｊ、２ｘｉｊ、３ｘｉｊ、・・・ｎ―１ｘｉｊ、ｎｘｉｊ）を抽出する機能を有する。
【００２８】
さらに、特徴量抽出手段４０は、基準画像抽出手段３０から基準画像フレームＰＦｒｅｆが送られてきた場合、基準画像フレームＰＦｒｅｆを構成する複数の基準画像データＰＤｒｅｆからそれぞれ複数の基準特徴量ＣＱｒｅｆを抽出して特徴ベクトル生成手段５０に出力する。一方、特徴量抽出手段４０は、画像データベース１０から画像フレームＰＦを取得した場合、画像フレームＰＦを構成する複数の画像データＰＤからそれぞれ複数の特徴量ＣＱを抽出して特徴ベクトル生成手段５０に出力する。
【００２９】
特徴ベクトル生成手段５０は、特徴量抽出手段４０により抽出された複数の特徴量ＣＱｒｅｆを用いて画像データＰＤ毎に特徴ベクトルＣＢを生成する機能を有する。たとえば、特徴量抽出手段４０が各画像データＰＤからそれぞれｎ個の特徴量ＣＱｒｅｆを抽出した場合、特徴ベクトル生成手段５０は特徴ベクトルＣＢ＝（０ｘｉｊ、１ｘｉｊ、２ｘｉｊ、３ｘｉｊ、・・・ｎ―１ｘｉｊ、ｎｘｉｊ）を作成する。すなわち、特徴ベクトル生成手段５０は画像空間から特徴ベクトル空間に写像するものである。
【００３０】
さらに、特徴ベクトル生成手段５０は、特徴量抽出手段４０から基準特徴量ＣＱｒｅｆが送られてきた場合、複数の基準特徴ベクトルＣＢｒｅｆを生成して分類パラメータ生成手段６０に出力する。一方、特徴ベクトル生成手段５０は、画像フレームＰＦから抽出した特徴量ＣＱが送られてきた場合、複数の特徴ベクトルＣＢを生成して特徴ベクトル分類手段８０に出力する。
【００３１】
分類パラメータ生成手段６０は、生成された複数の基準特徴ベクトルＣＢｒｅｆを、類似した基準特徴ベクトルＣＢｒｅｆ毎に分類するための分類パラメータＲＢを生成する機能を有する。そして、分類パラメータ生成手段６０は生成した分類パラメータＲＢをコードブック６５に記憶させるようになっている。
【００３２】
このとき、分類パラメータ生成手段６０は、ベクトル量子化においてコードブックを作成する際に使用されるいわゆるＬＢＧ（Ｌｉｎｄｅ−Ｂｕｚｏ−Ｇｒａｙ）アルゴリズム、もしくはスプリッティングアルゴリズムを用いて分類パラメータＲＢを生成する。あるいは、基準特徴ベクトルＣＢｒｅｆ全体の重心（平均値）ＣＧを算出して、重心ＣＧからの分散σを用いて第１分類パラメータ（＝ＣＧ＋σ、ＣＧ−σ）を算出し、第１分類パラメータを用いて基準特徴ベクトルＣＢｒｅｆを分類して第１ベクトル領域（クラスタ）を生成し、第１ベクトル領域毎に特徴ベクトルの重心を算出して分類パラメータＲＢを形成するアルゴリズムを用いて分類パラメータＲＢを生成し、さらにこのアルゴリズムを繰り返すことにより分類パラメータＲＢの数を増やしていくようにしてもよい。
【００３３】
次に、図１を参照してオブジェクト抽出手段７０について説明する。オブジェクト抽出手段７０は、生成された分類パラメータＲＢを用いてシーンＳＣ毎に該シーンＳＣに含まれる複数の画像フレームＰＦからそれぞれオブジェクト領域ＯＲを抽出するものであって、特徴ベクトル分類手段８０、領域分割手段９０、領域統合手段１００等を有する。
【００３４】
特徴ベクトル分類手段８０は、あるシーンＳＣの画像フレームＰＦから生成された複数の特徴ベクトルＣＢを、コードブック６５内の該シーンＳＣに対応した分類パラメータＲＢを用いて分類する機能を有する。つまり、同一シーンＳＣの画像フレームＰＦは同一の分類パラメータＲＢが使用されることになる。
【００３５】
具体的には、特徴ベクトル分類手段８０は、複数の分類パラメータＲＢのうち各特徴ベクトルＣＢがどの分類パラメータＲＢと最も類似するかを判断する。そして、特徴ベクトル分類手段８０は、複数の特徴ベクトルＣＢがそれぞれ最も類似した分類パラメータＲＢ毎に分類されていく。すると、複数の類似した特徴ベクトルＣＢからなるベクトル領域（クラスタ）ＢＲが生成されることになる。よって、コードブック６５がＬ個の分類パラメータＲＢを有する場合、特徴ベクトル分類手段８０は特徴ベクトルＣＢをＬ個のベクトル領域ＢＲに分割することになることになる。
【００３６】
ここで、最も類似する分類パラメータＲＢの選択は、たとえば特徴ベクトルＣＢと最も距離（ユークリッド距離やマハラノビス距離等）が近い分類パラメータＲＢを選択することにより行われる。
【００３７】
すると、画像フレームＰＦを構成する画像データＰＤから生成された特徴ベクトルは、図２に示すように、複数のベクトル領域（クラスタ）ＢＲに分類されることになる。なお、図２においては画像データＰＤから３つの特徴量ＣＱを抽出して生成した特徴ベクトルを分類したものであって、特徴ベクトル空間は３次元空間で示されている。
【００３８】
図１の領域分割手段９０は、特徴ベクトル分類手段８０によりクラス分類された結果を実際の画像フレームＰＦ上に写像する機能を有する。すると、画像フレームＰＦ上に同一のベクトル領域ＢＲの画像データＰＤからなる複数のクラスタリング領域ＤＰが形成されて、図３（ａ）に示すように、画像フレームＰＦ上に複数のクラスタリング領域ＤＰが生成されるようになる。このとき、領域分割手段９０は分類されたクラスタリング領域毎にそれぞれラベルを付するようなラベリング処理を行うようになっている。
【００３９】
なお、特徴ベクトル空間のベクトル領域ＢＲを画像フレームＰＦ上に写像すると、領域クラスタ（画素のかたまり）となっていない孤立画素が存在することがある。このとき、領域分割手段９０は、孤立画素をノイズとして除去するため、画像フレームＰＦの空間的に、または特徴量的に最も近接したベクトル領域（クラスタ）ＢＲに属するように平滑化処理を行う機能を有していてもよい。
【００４０】
領域統合手段１００は、生成されたクラスタリング領域ＤＰを統合したオブジェクト領域ＯＲを生成する機能を有する。すなわち、上述したように、特徴ベクトル空間において分類されたベクトル領域ＢＲに従ってクラスタリング領域において領域分割を行うと、図３（ａ）に示すように、複数のクラスタリング領域ＤＰが形成される。たとえば、特徴ベクトル空間では１０個のベクトル領域からなっていても、実空間領域ではたとえば１００個以上の多数の領域になる。これは、同じベクトル領域であっても実空間上では異なるクラスタリング領域ＤＰに存在することがあるためである。よって、この複数のクラスタリング領域ＤＰを領域統合手段１００が統合してオブジェクト領域ＯＲを抽出するようにしている。
【００４１】
ここで、図４は領域統合手段１００の一例を示すブロック図であり、図４を参照して領域統合手段１００について説明する。領域統合手段１００は、複数のクラスタリング領域ＤＰの中から最も画素数の小さい最小クラスタリング領域ＤＰｍｉｎを選択する最小領域選択手段１１２と、抽出された最小クラスタリング領域ＤＰｍｉｎと統合する隣接クラスタリング領域ＤＰａを決定する統合領域判断手段１１３と、決定された隣接クラスタリング領域ＤＰａと最小クラスタリング領域ＤＰｍｉｎを統合する領域統合手段１１４とを備える。
【００４２】
そして、最小クラスタリング領域ＤＰｍｉｎが微小画素しきい値以下の場合、統合判断手段１１３は最小クラスタリング領域と隣接している隣接クラスタリング領域ＤＰａのうち、画素数が最も多い隣接クラスタリング領域ＤＰａを最小クラスタリング領域ＤＰｍｉｎと統合する隣接クラスタリング領域ＤＰａと判断する。ここで、微小画素しきい値はたとえば画像データＰＤの全画素数の１／１００画素数に設定されている。
【００４３】
また、統合判断手段１１３は、最小クラスタリング領域ＤＰｍｉｎが小画素しきい値以下の場合、隣接クラスタリング領域ＤＰａのうち最も特徴が近い隣接クラスタリング領域ＤＰａを最小クラスタリング領域ＤＰｍｉｎと統合する隣接クラスタリング領域ＤＰａと判断する。ここで、小画素しきい値はたとえば画像データＰＤの全画素数の１／１０画素数に設定されている。
【００４４】
ここで、特徴の近い隣接クラスタリング領域ＤＰａを選択する場合、たとえば最小クラスタリング領域ＤＰｍｉｎと、隣接クラスタリング領域ＤＰａとの特徴ベクトル空間における距離を参照して、最も距離が短い隣接クラスタリング領域ＤＰａを選択するようにしてもよい。
【００４５】
あるいは、最小クラスタリング領域ＤＰｍｉｎと隣接クラスタリング領域ＤＰａと特徴量ＣＱの変化量、たとえばＹＣＣが特徴量ＣＱであれば、Ｙのエッジ信号、Ｃｒのエッジ信号およびＣｂのエッジ信号の平均値等）が少ない隣接クラスタリング領域ＤＰａが選択されるようにしてもよい。
【００４６】
また、複数のクラスタリング領域ＤＰが統合された後のクラスタリング領域ＤＰが隣接クラスタリング領域ＤＰａである場合、統合後の隣接クラスタリング領域ＤＰａから算出される特徴量ＣＱの平均値等が使用される。
【００４７】
次に、領域統合手段１００の動作例について説明する。まず、複数のクラスタリング領域ＤＰの中から最も画素数が最も少ない最小クラスタリング領域ＤＰｍｉｎが最小領域選択手段１１２により抽出される。また、抽出された最小クラスタリング領域ＤＰｍｉｎに隣接する隣接クラスタリング領域ＤＰａが統合判断手段１１３により選択される。
【００４８】
そして、統合判断手段１１３において、最小クラスタリング領域ＤＰの画素数が微小画素しきい値以下であるかが判断される。最小クラスタリング領域ＤＰｍｉｎが微小画素しきい値以下にある場合、最小クラスタリング領域ＤＰｍｉｎと隣接クラスタリング領域ＤＰａとの境界画素数が各隣接クラスタリング領域ＤＰａ毎に計測される。そして、最小クラスタリング領域ＤＰｍｉｎは境界画素数の最も多い隣接クラスタリング領域ＤＰａと統合する。
【００４９】
具体的には図５（ａ）においてクラスタリング領域Ａが微小画素しきい値以下の最小クラスタリング領域ＤＰｍｉｎであるとする。クラスタリング領域Ａは、クラスタリング領域Ｃ、Ｄと隣接しているため、クラスタリング領域Ｃ、Ｄが隣接クラスタリング領域ＤＰａとなる。最小クラスタリング領域Ａとクラスタリング領域Ｃ、Ｄとが接している隣接画素数がそれぞれ計測される。すると、図５（ａ）においては隣接クラスタリング領域Ｄとの境界画素数の方が隣接クラスタリング領域Ｃとの境界画素数よりも多い。このためクラスタリング領域Ａは図５（ｂ）のようにクラスタリング領域Ｄと統合する。
【００５０】
このように、最小クラスタリング領域ＤＰｍｉｎが微小クラスタリング領域である場合、最も隣接画素数の多い隣接クラスタリング領域ＤＰａと結合させると、最適なオブジェクト領域ＯＲの生成を行うことができる。
【００５１】
一方、最小クラスタリング領域ＤＰｍｉｎの画素数が小画素しきい値以下の場合、隣接クラスタリング領域ＤＰａとの特徴ベクトル空間での距離が算出される。そして、最小クラスタリング領域ＤＰｍｉｎは距離が最短となる隣接クラスタリング領域ＤＰａと統合する。
【００５２】
具体的には、図５（ｂ）に示すように、クラスタリング領域Ｂが小画素しきい値以下の最小クラスタリング領域ＤＰｍｉｎであるとする。すると、クラスタリング領域Ｂの隣接クラスタリング領域ＤＰａはクラスタリング領域Ｃ、Ｄである。そして、テクスチャ情報を距離を計測する特徴量とした場合、どちらのクラスタリング領域Ｃ、Ｄのテクスチャがクラスタリング領域Ｂのテクスチャに近いかが判断される。すると、図５（ｃ）のように、クラスタリング領域Ｂはクラスタリング領域Ｃと統合される。
【００５３】
このように、最小クラスタリング領域ＤＰｍｉｎが小クラスタリング領域である場合、最も特徴の似ている隣接クラスタリング領域ＤＰａと統合することにより、最適なオブジェクト領域の生成を行うことができる。
【００５４】
また、上述した統合プロセスが小クラスタリング領域がなくなるまで、すなわち最小クラスタリング領域ＤＰｍｉｎが小画素数しきい値より大きくなるまで繰り返される。すると、図３（ａ）に示す複数のクラスタリング領域ＤＰが統合されて、図３（ｂ）に示すようにオブジェクト領域（少なくとも小画素しきい値より大きいマクロ領域）ＯＲが生成されることになる。
【００５５】
図６は本発明のオブジェクト抽出方法の好ましい実施の形態を示すフローチャート図であり、図１から図５を参照してオブジェクト抽出方法について説明する。図６のオブジェクト抽出方法は、シーン分割プロセス（ステップＳＴ１）、分類パラメータ生成プロセス（ステップＳＴ２〜ステップＳＴ３）およびオブジェクト抽出プロセス（ステップＳＴ４〜ステップＳＴ８）を有している。
【００５６】
まず、シーン分割プロセス（ステップＳＴ１）について説明する。最初に、シーン分割手段２０により、画像群ＰＧが各シーンＳＣ毎に分割される。そして、基準画像抽出手段３０により、シーンＳＣ内から１枚の基準画像フレームＰＦｒｅｆが抽出される。このとき、時間的に連続したシーンＳＣの時間的に中間付近にある画像フレームが基準画像フレームＰＦｒｅｆとして抽出される。
【００５７】
次に、分類パラメータ生成プロセス（ステップＳＴ２〜ステップＳＴ３）について説明する。まず、基準画像フレームＰＦｒｅｆを構成する基準画像データＰＤｒｅｆから基準特徴量ＣＱｒｅｆが特徴量抽出手段４０により抽出される。そして、抽出された基準特徴量ＣＱｒｅｆを用いて基準特徴ベクトルＣＢｒｅｆが生成される。
【００５８】
その後、生成された基準特徴ベクトルＣＢｒｅｆを用いて分類パラメータＲＢが生成される。この分類パラメータの生成は、上述したＬＢＧ（Ｌｉｎｄｅ−Ｂｕｚｏ−Ｇｒａｙ）アルゴリズム、もしくはスプリッティングアルゴリズム等が用いられる。そして、生成した分類パラメータＲＢがコードブック６５に記憶される。
【００５９】
次に、オブジェクト抽出プロセス（ステップＳＴ４〜ステップＳＴ８）について説明する。まず、シーンＳＣの画像フレームＰＦが、特徴量抽出手段４０により選択される（ステップＳＴ４）。その後、画像フレームＰＦの画像データＰＤから特徴量ＣＱが特徴量抽出手段４０により抽出されて、複数の特徴ベクトルＣＢが特徴ベクトル生成手段５０により生成される（ステップＳＴ５）。そして、生成された複数の特徴ベクトルＣＢが、該シーンＳＣ毎に生成された分類パラメータＲＢを用いて分類される（ステップＳＴ６）。そして、分類した結果に基づいて、画像フレームＰＦが領域分割されて複数のクラスタリング領域ＤＰが生成される（ステップＳＴ７）。最後に、クラスタリング領域ＤＰが統合されてオブジェクト領域ＯＲが生成される（ステップＳＴ８）。この作業がシーンＳＣのすべての画像について行われる（ステップＳＴ９）。
【００６０】
さらに、画像群ＰＧが複数のシーンＳＣを有している場合、各シーンＳＣ毎に上述した特徴パラメータ生成プロセス（ステップＳＴ２、ステップＳＴ３）およびオブジェクト抽出プロセス（ステップＳＴ４〜ステップＳＴ９）が行われる（ステップＳＴ１０）。
【００６１】
上記実施の形態によれば、画像群ＰＧの各画像フレームＰＦについてそれぞれオブジェクトの抽出を行う場合に、複数の画像フレームＰＦを各シーンＳＣ毎に分割した後、各シーンＳＣ毎に分類パラメータを生成し、生成した分類パラメータを用いてシーンＳＣを構成する全ての画像フレームＰＦについてオブジェクトＯＢの抽出を行うことにより、シーンＳＣ内の各画像フレームＰＦ間に関連性を持ったオブジェクトＯＢの抽出を行うことができる。具体的には、同一シーンＳＣの異なる２つの連続した画像フレームＰＦ間に同一のオブジェクトＯＢが撮像されている場合、画像フレームＰＦ毎に異なる分類パラメータによりオブジェクトＯＢの抽出が行われると、一方が２つのオブジェクトＯＢが別々に抽出されて、他方では２つのオブジェクトが統合して１つのオブジェクトＯＢとして抽出される場合がある。すると、２つの画像フレームＰＦに撮像されたオブジェクトの関連性（連続性）が失われてしまう。
【００６２】
一方、同一シーンの２つの連続した画像フレームＰＦが同一の分類パラメータを用いてオブジェクトの抽出が行われた場合、同一のオブジェクトが撮像されているときにはオブジェクトの抽出結果も同一のものとなるため、画像フレームＰＦ間の連続性を保ちながら、オブジェクトの抽出を行うことができる。
【００６３】
また、基準画像フレームから生成された分類パラメータを用いて基準画像以外のオブジェクト領域ＯＲの生成を行うことにより、画像毎に分類パラメータを決定するための処理時間を省略することができるため、より高速に連続画像からオブジェクト領域を抽出することができる。すなわち、連続画像間は画像が類似しているため、特徴量の変化量も少なく特徴量も類似している。この性質を利用して、連続画像からなるシーンＳＣから１枚の基準画像フレームＰＦｒｅｆを抽出してその画像についてオブジェクト領域ＯＲを生成するための分類パラメータＲＢを同一シーンＳＣのすべての画像フレームＰＦについて使用しても、オブジェクト領域ＯＲの抽出を行うことができる。よって、動画や連続写真等からのオブジェクト領域ＯＲの生成を効率よく行うことができる。
【００６４】
なお、本発明の実施の形態は上記実施の形態に限定されない。上記実施の形態において、基準画像フレームＰＦｒｅｆは、各シーンＳＣ毎に１つだけ抽出されるようにしているが、各シーンＳＣ毎に複数の基準画像フレームＰＦｒｅｆが選択されるようにしてもよい。このとき、基準画像フレームＰＦｒｅｆが各シーンＳＣ毎に２つ選択された場合、その２つの基準画像フレームＰＦｒｅｆから抽出された分類パラメータＲＢを比較することにより分類パラメータＲＢのシーンに対する正確性を判断することができる。あるいは、生成された２つの分類パラメータＲＢを利用して、新たな分類パラメータＲＢを生成することもできる。これにより、シーンＳＣ内の画像フレームＰＦからのオブジェクト領域ＯＲの抽出を精度よく行うことができる。
【００６５】
また、図６において、各シーンＳＣ毎に分類パラメータＲＢを生成した後、シーンＳＣを構成する画像フレームＰＦのオブジェクト抽出プロセスを行うようにしているが、分類パラメータ抽出プロセスにおいて、すべてのシーンＳＣについて、該シーンＳＣに対応した分類パラメータＲＢを生成しておき、その後オブジェクト抽出プロセスにおいて、すべての画像フレームＰＦについてシーンＳＣに対応した分類パラメータＲＢを使用しながらオブジェクト領域ＯＲの抽出を行うようにしてもよい。
【図面の簡単な説明】
【図１】本発明のオブジェクト抽出装置の好ましい実施の形態を示すブロック図
【図２】本発明のオブジェクト抽出装置における特徴ベクトル分類手段により、特徴ベクトル空間において特徴ベクトルが分類された様子を示す図
【図３】本発明のオブジェクト抽出装置における領域分割手段により生成されたクラスタリング領域および領域統合手段により生成されたオブジェクト領域の様子を示す図
【図４】本発明のオブジェクト抽出装置におけるオブジェクト抽出手段の一例を示すブロック図
【図５】本発明のオブジェクト抽出装置におけるクラスタリング領域の統合の様子を示す図
【図６】本発明のオブジェクト抽出方法の好ましい実施の形態を示すフローチャート図
【符号の説明】
１ オブジェクト抽出装置
２０ シーン分割手段
３０ 基準画像抽出手段
４０ 特徴量抽出手段
５０ 特徴ベクトル生成手段
６０ 分類パラメータ生成手段
７０ オブジェクト抽出手段
８０ 特徴ベクトル分類手段
９０ 領域分割手段
１００ 領域統合手段
ＢＲ ベクトル領域
ＣＢ 特徴ベクトル
ＣＢｒｅｆ 基準特徴ベクトル
ＯＢ オブジェクト
ＯＲ オブジェクト領域
ＰＤ 画像データ
ＰＦ 画像フレーム
ＰＦｒｅｆ 基準画像フレーム
ＰＧ 画像群
ＲＢ 分類パラメータ
ＳＣ シーン
【発明の属する技術分野】
本発明は、たとえば動画や連続撮影写真等の複数の画像フレームからなる画像群からそれぞれオブジェクト領域を抽出するオブジェクト抽出方法および装置ならびにプログラムに関するものである。
【０００２】
【従来の技術】
デジタルカメラ等で撮像した画像は、たとえば人物や海、空、建物その他の背景等を含むものである。その画像の中からその人物や背景等の画像データが１つのオブジェクトとして抽出できれば、各オブジェクト毎に異なる画像処理を行い、さらには各オブジェクトの意味を判別してユーザーに提示することもできる。このためには、画像に含まれているオブジェクト毎にそれぞれオブジェクト領域を分割する必要がある。
【０００３】
画像データから自動的にオブジェクト領域を抽出する場合、画像各部の画像データの特徴量を分類した後、この分類結果を利用して画像情報を分割してオブジェクトを自動的に分割することが提案されている。すなわち、１つのオブジェクトを構成する画像データは、色情報、テクスチャ情報、ウェーブレット係数等の特徴量が類似したものとなっている。この性質を利用すれば、画像データをオブジェクト領域毎に領域分割することができる。
【０００４】
特徴量を分類する際に、画像圧縮等で利用されるベクトル量子化の手法が用いられる。ベクトル量子化は、特徴量を軸とした特徴ベクトル空間における領域分割方法であり、類似した特徴量を持つ画素ベクトルを分類するために有効な手段である。具体的には、画像の各画素に対する複数の特徴量が抽出されて、各特徴量を要素とした複数の特徴ベクトルが生成される。その後、複数の特徴ベクトルを類似する特徴ベクトル毎に分類する（クラスタリング）。そして、クラスタリングされた結果に基づいて、画像データが分類されて複数の画像領域に領域分割される。
【０００５】
上述した複数の特徴ベクトルを分類するためには、分類の基となる複数の分類パラメータが必要となる。そして、各特徴ベクトルは複数の分類パラメータの中で最も距離の近い分類パラメータ（代表ベクトル）に分類されることにより行われる。
【０００６】
【発明が解決しようとする課題】
ところで、たとえばＭＰＥＧ等の動画は複数の画像フレームからなっており、同様に、たとえばＭＲＩやＸ線ＣＴ画像のような医療用の画像群についても、複数の画像フレームを構成すると考えることができる。このような、複数の画像フレームで構成された画像群であっても、上述したベクトル量子化を利用して各画像フレームからオブジェクトを抽出することができる。
【０００７】
ここで、画像フレームからオブジェクト領域を抽出する際、各画像フレーム毎にそれぞれ分類パラメータを生成して、各画像フレーム毎にオブジェクト領域を抽出することが考えられる。このとき、連続する画像フレーム間において、オブジェクト領域の抽出結果が異なるものとなってしまい、連続した画像フレーム間の関連性・連続性が損なわれる場合がある。
【０００８】
たとえば、連続した２つの連続した画像フレームにそれぞれ海および空のオブジェクトが撮像されているとする。この２つの画像フレームは類似したオブジェクト配置構造を有しているが、各画像フレームが有する画像データは多少は異なるものとなるため、画像データから生成される分類パラメータも異なるものとなる場合がある。
【０００９】
したがって、一方の画像フレームでは海と空とが別々のオブジェクトとして抽出されて、他方の画像フレームでは海と空とが１つのオブジェクトとして抽出されてしまう場合がある。すなわち、連続した２つの画像フレームにおいて、抽出されるオブジェクト領域が異なる画像フレーム間ではオブジェクト領域の抽出結果がばらついてしまい、画像フレーム間のオブジェクトの連続性（関連性）が失われてしまうことがあるという問題がある。
【００１０】
そこで、本発明は、画像フレーム間におけるオブジェクト領域の抽出結果のばらつきを少なくすることができるオブジェクト抽出方法および装置ならびにプログラムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明のオブジェクト抽出方法は、連続的に画像が変化する複数の画像フレームからなるシーンを含む画像群から該各画像フレーム毎にオブジェクト領域を抽出するオブジェクト抽出方法において、前記画像群を前記シーン毎に分割するシーン分割プロセスと、分割した前記シーン毎に該シーンに含まれる前記各画像フレームからそれぞれ前記オブジェクト領域を抽出するための分類パラメータを生成する分類パラメータ生成プロセスと、生成した前記分類パラメータを用いて前記シーン毎に該シーンに含まれる前記複数の画像フレームからそれぞれ前記オブジェクト領域を抽出するオブジェクト抽出プロセスとを有し、前記分類パラメータ生成プロセスが、前記シーンに含まれる前記複数の画像フレームから基準画像フレームを抽出するステップと、抽出した前記基準画像フレームを用いて前記分類パラメータを生成するステップとを有することを特徴とする。
【００１２】
本発明のオブジェクト抽出装置は、連続的に画像が変化する複数の画像フレームからなるシーンを含む画像群から該各画像フレーム毎にオブジェクト領域を抽出するオブジェクト抽出装置において、前記画像群をシーン毎に分割するシーン分割手段と、分割された前記シーン毎に該シーンに含まれる前記各画像フレームからそれぞれ前記オブジェクト領域を抽出するための分類パラメータを生成する分類パラメータ生成手段と、生成された前記分類パラメータを用いて前記シーン毎に該シーンに含まれる前記複数の画像フレームからそれぞれ前記オブジェクト領域を抽出するオブジェクト抽出手段とを有し、前記分類パラメータ生成手段が、前記シーンに含まれる前記画像フレームから抽出した基準画像フレームを用いて前記分類パラメータを生成するものであることを特徴とする。
【００１３】
本発明のオブジェクト抽出プログラムは、連続的に画像が変化する複数の画像フレームからなるシーンを含む画像群から該各画像フレーム毎にオブジェクト領域を抽出するようにコンピュータを機能させるためのオブジェクト抽出プログラムにおいて、前記画像群をシーン毎に分割する手順と、分割された前記シーン毎に該シーンに含まれる前記各画像フレームからそれぞれ前記オブジェクト領域を抽出するための分類パラメータを生成する手順と、生成された前記分類パラメータを用いて前記シーン毎に該シーンに含まれる前記複数の画像フレームからそれぞれ前記オブジェクト領域を抽出する手順とを実行させるためのものであって、前記分類パラメータを生成する手順において、前記シーンに含まれる前記画像フレームから基準画像フレームを抽出して、抽出した該基準画像フレームを用いて前記分類パラメータを生成することを特徴とする。
【００１４】
ここで、「画像群」は、連続的に画像が変化する複数の画像フレームからなるシーンを含むものであればいかなるものでもよく、動画、ＭＲＩ、Ｘ線ＣＴ等の連続した画像をスライスして撮像した画像群、もしくは同一の被写体を異なる角度で撮像したいわゆる立体写真であってもよい。
【００１５】
また、「オブジェクト」は、たとえば人物、空、海、木、建物等の画像に含まれる被写体を意味し、「オブジェクト領域」は各被写体が画像内に占める領域を意味する。
【００１６】
さらに、「シーン」は、動画の１場面を構成する画像フレームの集合を意味するだけでなく、連続撮像されたスライス画像からなる画像フレームの集合、もしくは立体写真における異なる角度から撮像された複数の画像フレームの集合をも含む。
【００１７】
また、「基準画像フレーム」は、シーン内に含まれる画像フレームであればいずれのフレームでもよく、たとえば時間的に連続する前記シーンの中間付近にある前記画像フレームが選ばれてもよい。
【００１８】
さらに、「分類パラメータ生成手段」は、分類パラメータを生成する際にシーンから抽出された１枚の基準画像フレームを用いて生成してもよいし、複数枚の基準画像フレームを用いて生成してもよい。
【００１９】
【発明の効果】
本発明のオブジェクト抽出方法および装置ならびにプログラムによれば、シーンに含まれる前記複数の画像フレームから基準画像フレームを抽出し、基準画像フレームから分類パラメータを生成し、生成した分類パラメータを用いてシーン毎に該シーンに含まれる複数の画像フレームからそれぞれオブジェクト領域を抽出することにより、シーン内に同一のオブジェクトが複数の画像フレームにわたって撮像されている場合であっても、各画像フレームにおいて同一のオブジェクト抽出結果を得ることができるため、シーン内の各画像フレーム間におけるオブジェクト領域の抽出結果のばらつきを少なくすることができる。
【００２０】
また、基準画像フレームから生成された分類パラメータを用いてシーン内のすべての画像フレームのオブジェクト領域の生成を行うことにより、画像毎に分類パラメータを決定するための処理時間を省略することができるため、高速に連続画像からオブジェクト領域を抽出することができる。
【００２１】
なお、基準画像フレームをシーンの時間的に中間付近にある画像フレームにすることにより、シーン内のオブジェクト領域を分割する精度を高くする分類パラメータを生成することができる。
【００２２】
【発明の実施の形態】
図１は本発明のオブジェクト抽出装置１の好ましい実施の形態を示すブロック図であり、図１を参照してオブジェクト抽出装置１について説明する。オブジェクト抽出装置１は、複数の画像フレームＰＦからなる画像群ＰＧから該各画像フレームＰＦ毎にオブジェクト領域ＯＲを抽出するものである。ここで、画像群ＰＧが動画である場合、画像群ＰＧは複数の画像フレームＰＦから構成されることになり、画像群ＰＧがＭＲＩやＸ線ＣＴ等により撮像された連続スライス写真の場合、画像群ＰＧは画像フレーム（スライス画像）ＰＦの集合から構成されることになる。この画像群ＰＧは画像データベース１０に記憶された状態にある。
【００２３】
オブジェクト抽出装置１は、シーン分割手段２０、基準画像抽出手段３０、特徴量抽出手段４０、特徴ベクトル生成手段５０、分類パラメータ生成手段６０、オブジェクト抽出手段７０等を有する。
【００２４】
シーン分割手段２０は、画像群ＰＧの中からシーンＳＣを判断する機能を有する。たとえば画像群ＰＧが動画である場合、シーン分割手段２０は画像フレームＰＦの画像データを基にして、前後の色ヒストグラム情報や動き情報などの変化量を計測・分析して、変化量が著しい部分をシーンＳＣの境目であるとしてシーン分割する。また、画像群ＰＧがＭＲＩ、Ｘ線ＣＴ等の連続撮像写真である場合、シーン分割手段２０は連続撮像された複数の画像フレームＰＦを１つのシーンＳＣとして判断する。
【００２５】
なお、シーン分割手段２０は動画に付された音声を基にして音量や音域などの変化量を計測・分析して変化量が著しい部分において分割してもよい。また、シーン分割手段２０は動画に付されたメタデータから画面構成、出演者等を抽出して、前後の相関性を判断することによりシーンＳＣを分割するようにしてもよい。さらにシーン分割手段２０はたとえば５秒ごとに分割するというように、ある一定時間周期毎に動画を分割して複数のシーンＳＣに分割するようにしてもよい。
【００２６】
基準画像抽出手段３０は、シーン分割手段２０により分割されたシーンＳＣからそれぞれ基準画像フレームＰＦｒｅｆを抽出する機能を有する。ここで、基準画像抽出手段３０は、時間的に連続するシーンＳＣの中間付近の中間画像フレームＰＦｍｉｄを基準画像フレームＰＦｒｅｆとして選択するようになっている。これは、中間画像フレームＰＦｍｉｄがシーンＳＣ内の複数の画像フレームＰＦの平均的な特徴量ＣＱを有する画像データＰＤを有する画像フレームＰＦである場合が多いためである。したがって、その中間画像フレームＰＦｍｉｄを基準画像フレームＰＦｒｅｆとして用いて分類パラメータＲＢの抽出を行うことにより、シーンＳＣ全体にわたって精度よくオブジェクト抽出を行うことが適用できる分類パラメータＲＢを生成することができる。
【００２７】
特徴量抽出手段４０は画像データＰＤから特徴量ＣＱを抽出して特徴ベクトル生成手段５０に出力する機能を有する。ここで、画像データＰＤは１画像フレームＰＦを構成するＭ×Ｎ個の画素データｘｉｊ（ｉ，ｊ：０≦ｉ≦Ｎ、０≦ｊ≦Ｍ）を有しており、各画素データｘｉｊは色情報や輝度情報等の様々な画像情報を有する。そして、特徴量抽出手段４０は各画素データｘｉｊの画像情報から設定された特徴量ＣＱを抽出する。たとえば、特徴量抽出手段４０は基準特徴量ＣＱとしてＲＧＢ、ＹＣＣ、Ｌａｂなどの色情報や輝度情報、ウェーブレット係数、ＤＣＴ係数などのテクスチャ情報等のｎ個の特徴量ＣＱ＝（０ｘｉｊ、１ｘｉｊ、２ｘｉｊ、３ｘｉｊ、・・・ｎ―１ｘｉｊ、ｎｘｉｊ）を抽出する機能を有する。
【００２８】
さらに、特徴量抽出手段４０は、基準画像抽出手段３０から基準画像フレームＰＦｒｅｆが送られてきた場合、基準画像フレームＰＦｒｅｆを構成する複数の基準画像データＰＤｒｅｆからそれぞれ複数の基準特徴量ＣＱｒｅｆを抽出して特徴ベクトル生成手段５０に出力する。一方、特徴量抽出手段４０は、画像データベース１０から画像フレームＰＦを取得した場合、画像フレームＰＦを構成する複数の画像データＰＤからそれぞれ複数の特徴量ＣＱを抽出して特徴ベクトル生成手段５０に出力する。
【００２９】
特徴ベクトル生成手段５０は、特徴量抽出手段４０により抽出された複数の特徴量ＣＱｒｅｆを用いて画像データＰＤ毎に特徴ベクトルＣＢを生成する機能を有する。たとえば、特徴量抽出手段４０が各画像データＰＤからそれぞれｎ個の特徴量ＣＱｒｅｆを抽出した場合、特徴ベクトル生成手段５０は特徴ベクトルＣＢ＝（０ｘｉｊ、１ｘｉｊ、２ｘｉｊ、３ｘｉｊ、・・・ｎ―１ｘｉｊ、ｎｘｉｊ）を作成する。すなわち、特徴ベクトル生成手段５０は画像空間から特徴ベクトル空間に写像するものである。
【００３０】
さらに、特徴ベクトル生成手段５０は、特徴量抽出手段４０から基準特徴量ＣＱｒｅｆが送られてきた場合、複数の基準特徴ベクトルＣＢｒｅｆを生成して分類パラメータ生成手段６０に出力する。一方、特徴ベクトル生成手段５０は、画像フレームＰＦから抽出した特徴量ＣＱが送られてきた場合、複数の特徴ベクトルＣＢを生成して特徴ベクトル分類手段８０に出力する。
【００３１】
分類パラメータ生成手段６０は、生成された複数の基準特徴ベクトルＣＢｒｅｆを、類似した基準特徴ベクトルＣＢｒｅｆ毎に分類するための分類パラメータＲＢを生成する機能を有する。そして、分類パラメータ生成手段６０は生成した分類パラメータＲＢをコードブック６５に記憶させるようになっている。
【００３２】
このとき、分類パラメータ生成手段６０は、ベクトル量子化においてコードブックを作成する際に使用されるいわゆるＬＢＧ（Ｌｉｎｄｅ−Ｂｕｚｏ−Ｇｒａｙ）アルゴリズム、もしくはスプリッティングアルゴリズムを用いて分類パラメータＲＢを生成する。あるいは、基準特徴ベクトルＣＢｒｅｆ全体の重心（平均値）ＣＧを算出して、重心ＣＧからの分散σを用いて第１分類パラメータ（＝ＣＧ＋σ、ＣＧ−σ）を算出し、第１分類パラメータを用いて基準特徴ベクトルＣＢｒｅｆを分類して第１ベクトル領域（クラスタ）を生成し、第１ベクトル領域毎に特徴ベクトルの重心を算出して分類パラメータＲＢを形成するアルゴリズムを用いて分類パラメータＲＢを生成し、さらにこのアルゴリズムを繰り返すことにより分類パラメータＲＢの数を増やしていくようにしてもよい。
【００３３】
次に、図１を参照してオブジェクト抽出手段７０について説明する。オブジェクト抽出手段７０は、生成された分類パラメータＲＢを用いてシーンＳＣ毎に該シーンＳＣに含まれる複数の画像フレームＰＦからそれぞれオブジェクト領域ＯＲを抽出するものであって、特徴ベクトル分類手段８０、領域分割手段９０、領域統合手段１００等を有する。
【００３４】
特徴ベクトル分類手段８０は、あるシーンＳＣの画像フレームＰＦから生成された複数の特徴ベクトルＣＢを、コードブック６５内の該シーンＳＣに対応した分類パラメータＲＢを用いて分類する機能を有する。つまり、同一シーンＳＣの画像フレームＰＦは同一の分類パラメータＲＢが使用されることになる。
【００３５】
具体的には、特徴ベクトル分類手段８０は、複数の分類パラメータＲＢのうち各特徴ベクトルＣＢがどの分類パラメータＲＢと最も類似するかを判断する。そして、特徴ベクトル分類手段８０は、複数の特徴ベクトルＣＢがそれぞれ最も類似した分類パラメータＲＢ毎に分類されていく。すると、複数の類似した特徴ベクトルＣＢからなるベクトル領域（クラスタ）ＢＲが生成されることになる。よって、コードブック６５がＬ個の分類パラメータＲＢを有する場合、特徴ベクトル分類手段８０は特徴ベクトルＣＢをＬ個のベクトル領域ＢＲに分割することになることになる。
【００３６】
ここで、最も類似する分類パラメータＲＢの選択は、たとえば特徴ベクトルＣＢと最も距離（ユークリッド距離やマハラノビス距離等）が近い分類パラメータＲＢを選択することにより行われる。
【００３７】
すると、画像フレームＰＦを構成する画像データＰＤから生成された特徴ベクトルは、図２に示すように、複数のベクトル領域（クラスタ）ＢＲに分類されることになる。なお、図２においては画像データＰＤから３つの特徴量ＣＱを抽出して生成した特徴ベクトルを分類したものであって、特徴ベクトル空間は３次元空間で示されている。
【００３８】
図１の領域分割手段９０は、特徴ベクトル分類手段８０によりクラス分類された結果を実際の画像フレームＰＦ上に写像する機能を有する。すると、画像フレームＰＦ上に同一のベクトル領域ＢＲの画像データＰＤからなる複数のクラスタリング領域ＤＰが形成されて、図３（ａ）に示すように、画像フレームＰＦ上に複数のクラスタリング領域ＤＰが生成されるようになる。このとき、領域分割手段９０は分類されたクラスタリング領域毎にそれぞれラベルを付するようなラベリング処理を行うようになっている。
【００３９】
なお、特徴ベクトル空間のベクトル領域ＢＲを画像フレームＰＦ上に写像すると、領域クラスタ（画素のかたまり）となっていない孤立画素が存在することがある。このとき、領域分割手段９０は、孤立画素をノイズとして除去するため、画像フレームＰＦの空間的に、または特徴量的に最も近接したベクトル領域（クラスタ）ＢＲに属するように平滑化処理を行う機能を有していてもよい。
【００４０】
領域統合手段１００は、生成されたクラスタリング領域ＤＰを統合したオブジェクト領域ＯＲを生成する機能を有する。すなわち、上述したように、特徴ベクトル空間において分類されたベクトル領域ＢＲに従ってクラスタリング領域において領域分割を行うと、図３（ａ）に示すように、複数のクラスタリング領域ＤＰが形成される。たとえば、特徴ベクトル空間では１０個のベクトル領域からなっていても、実空間領域ではたとえば１００個以上の多数の領域になる。これは、同じベクトル領域であっても実空間上では異なるクラスタリング領域ＤＰに存在することがあるためである。よって、この複数のクラスタリング領域ＤＰを領域統合手段１００が統合してオブジェクト領域ＯＲを抽出するようにしている。
【００４１】
ここで、図４は領域統合手段１００の一例を示すブロック図であり、図４を参照して領域統合手段１００について説明する。領域統合手段１００は、複数のクラスタリング領域ＤＰの中から最も画素数の小さい最小クラスタリング領域ＤＰｍｉｎを選択する最小領域選択手段１１２と、抽出された最小クラスタリング領域ＤＰｍｉｎと統合する隣接クラスタリング領域ＤＰａを決定する統合領域判断手段１１３と、決定された隣接クラスタリング領域ＤＰａと最小クラスタリング領域ＤＰｍｉｎを統合する領域統合手段１１４とを備える。
【００４２】
そして、最小クラスタリング領域ＤＰｍｉｎが微小画素しきい値以下の場合、統合判断手段１１３は最小クラスタリング領域と隣接している隣接クラスタリング領域ＤＰａのうち、画素数が最も多い隣接クラスタリング領域ＤＰａを最小クラスタリング領域ＤＰｍｉｎと統合する隣接クラスタリング領域ＤＰａと判断する。ここで、微小画素しきい値はたとえば画像データＰＤの全画素数の１／１００画素数に設定されている。
【００４３】
また、統合判断手段１１３は、最小クラスタリング領域ＤＰｍｉｎが小画素しきい値以下の場合、隣接クラスタリング領域ＤＰａのうち最も特徴が近い隣接クラスタリング領域ＤＰａを最小クラスタリング領域ＤＰｍｉｎと統合する隣接クラスタリング領域ＤＰａと判断する。ここで、小画素しきい値はたとえば画像データＰＤの全画素数の１／１０画素数に設定されている。
【００４４】
ここで、特徴の近い隣接クラスタリング領域ＤＰａを選択する場合、たとえば最小クラスタリング領域ＤＰｍｉｎと、隣接クラスタリング領域ＤＰａとの特徴ベクトル空間における距離を参照して、最も距離が短い隣接クラスタリング領域ＤＰａを選択するようにしてもよい。
【００４５】
あるいは、最小クラスタリング領域ＤＰｍｉｎと隣接クラスタリング領域ＤＰａと特徴量ＣＱの変化量、たとえばＹＣＣが特徴量ＣＱであれば、Ｙのエッジ信号、Ｃｒのエッジ信号およびＣｂのエッジ信号の平均値等）が少ない隣接クラスタリング領域ＤＰａが選択されるようにしてもよい。
【００４６】
また、複数のクラスタリング領域ＤＰが統合された後のクラスタリング領域ＤＰが隣接クラスタリング領域ＤＰａである場合、統合後の隣接クラスタリング領域ＤＰａから算出される特徴量ＣＱの平均値等が使用される。
【００４７】
次に、領域統合手段１００の動作例について説明する。まず、複数のクラスタリング領域ＤＰの中から最も画素数が最も少ない最小クラスタリング領域ＤＰｍｉｎが最小領域選択手段１１２により抽出される。また、抽出された最小クラスタリング領域ＤＰｍｉｎに隣接する隣接クラスタリング領域ＤＰａが統合判断手段１１３により選択される。
【００４８】
そして、統合判断手段１１３において、最小クラスタリング領域ＤＰの画素数が微小画素しきい値以下であるかが判断される。最小クラスタリング領域ＤＰｍｉｎが微小画素しきい値以下にある場合、最小クラスタリング領域ＤＰｍｉｎと隣接クラスタリング領域ＤＰａとの境界画素数が各隣接クラスタリング領域ＤＰａ毎に計測される。そして、最小クラスタリング領域ＤＰｍｉｎは境界画素数の最も多い隣接クラスタリング領域ＤＰａと統合する。
【００４９】
具体的には図５（ａ）においてクラスタリング領域Ａが微小画素しきい値以下の最小クラスタリング領域ＤＰｍｉｎであるとする。クラスタリング領域Ａは、クラスタリング領域Ｃ、Ｄと隣接しているため、クラスタリング領域Ｃ、Ｄが隣接クラスタリング領域ＤＰａとなる。最小クラスタリング領域Ａとクラスタリング領域Ｃ、Ｄとが接している隣接画素数がそれぞれ計測される。すると、図５（ａ）においては隣接クラスタリング領域Ｄとの境界画素数の方が隣接クラスタリング領域Ｃとの境界画素数よりも多い。このためクラスタリング領域Ａは図５（ｂ）のようにクラスタリング領域Ｄと統合する。
【００５０】
このように、最小クラスタリング領域ＤＰｍｉｎが微小クラスタリング領域である場合、最も隣接画素数の多い隣接クラスタリング領域ＤＰａと結合させると、最適なオブジェクト領域ＯＲの生成を行うことができる。
【００５１】
一方、最小クラスタリング領域ＤＰｍｉｎの画素数が小画素しきい値以下の場合、隣接クラスタリング領域ＤＰａとの特徴ベクトル空間での距離が算出される。そして、最小クラスタリング領域ＤＰｍｉｎは距離が最短となる隣接クラスタリング領域ＤＰａと統合する。
【００５２】
具体的には、図５（ｂ）に示すように、クラスタリング領域Ｂが小画素しきい値以下の最小クラスタリング領域ＤＰｍｉｎであるとする。すると、クラスタリング領域Ｂの隣接クラスタリング領域ＤＰａはクラスタリング領域Ｃ、Ｄである。そして、テクスチャ情報を距離を計測する特徴量とした場合、どちらのクラスタリング領域Ｃ、Ｄのテクスチャがクラスタリング領域Ｂのテクスチャに近いかが判断される。すると、図５（ｃ）のように、クラスタリング領域Ｂはクラスタリング領域Ｃと統合される。
【００５３】
このように、最小クラスタリング領域ＤＰｍｉｎが小クラスタリング領域である場合、最も特徴の似ている隣接クラスタリング領域ＤＰａと統合することにより、最適なオブジェクト領域の生成を行うことができる。
【００５４】
また、上述した統合プロセスが小クラスタリング領域がなくなるまで、すなわち最小クラスタリング領域ＤＰｍｉｎが小画素数しきい値より大きくなるまで繰り返される。すると、図３（ａ）に示す複数のクラスタリング領域ＤＰが統合されて、図３（ｂ）に示すようにオブジェクト領域（少なくとも小画素しきい値より大きいマクロ領域）ＯＲが生成されることになる。
【００５５】
図６は本発明のオブジェクト抽出方法の好ましい実施の形態を示すフローチャート図であり、図１から図５を参照してオブジェクト抽出方法について説明する。図６のオブジェクト抽出方法は、シーン分割プロセス（ステップＳＴ１）、分類パラメータ生成プロセス（ステップＳＴ２〜ステップＳＴ３）およびオブジェクト抽出プロセス（ステップＳＴ４〜ステップＳＴ８）を有している。
【００５６】
まず、シーン分割プロセス（ステップＳＴ１）について説明する。最初に、シーン分割手段２０により、画像群ＰＧが各シーンＳＣ毎に分割される。そして、基準画像抽出手段３０により、シーンＳＣ内から１枚の基準画像フレームＰＦｒｅｆが抽出される。このとき、時間的に連続したシーンＳＣの時間的に中間付近にある画像フレームが基準画像フレームＰＦｒｅｆとして抽出される。
【００５７】
次に、分類パラメータ生成プロセス（ステップＳＴ２〜ステップＳＴ３）について説明する。まず、基準画像フレームＰＦｒｅｆを構成する基準画像データＰＤｒｅｆから基準特徴量ＣＱｒｅｆが特徴量抽出手段４０により抽出される。そして、抽出された基準特徴量ＣＱｒｅｆを用いて基準特徴ベクトルＣＢｒｅｆが生成される。
【００５８】
その後、生成された基準特徴ベクトルＣＢｒｅｆを用いて分類パラメータＲＢが生成される。この分類パラメータの生成は、上述したＬＢＧ（Ｌｉｎｄｅ−Ｂｕｚｏ−Ｇｒａｙ）アルゴリズム、もしくはスプリッティングアルゴリズム等が用いられる。そして、生成した分類パラメータＲＢがコードブック６５に記憶される。
【００５９】
次に、オブジェクト抽出プロセス（ステップＳＴ４〜ステップＳＴ８）について説明する。まず、シーンＳＣの画像フレームＰＦが、特徴量抽出手段４０により選択される（ステップＳＴ４）。その後、画像フレームＰＦの画像データＰＤから特徴量ＣＱが特徴量抽出手段４０により抽出されて、複数の特徴ベクトルＣＢが特徴ベクトル生成手段５０により生成される（ステップＳＴ５）。そして、生成された複数の特徴ベクトルＣＢが、該シーンＳＣ毎に生成された分類パラメータＲＢを用いて分類される（ステップＳＴ６）。そして、分類した結果に基づいて、画像フレームＰＦが領域分割されて複数のクラスタリング領域ＤＰが生成される（ステップＳＴ７）。最後に、クラスタリング領域ＤＰが統合されてオブジェクト領域ＯＲが生成される（ステップＳＴ８）。この作業がシーンＳＣのすべての画像について行われる（ステップＳＴ９）。
【００６０】
さらに、画像群ＰＧが複数のシーンＳＣを有している場合、各シーンＳＣ毎に上述した特徴パラメータ生成プロセス（ステップＳＴ２、ステップＳＴ３）およびオブジェクト抽出プロセス（ステップＳＴ４〜ステップＳＴ９）が行われる（ステップＳＴ１０）。
【００６１】
上記実施の形態によれば、画像群ＰＧの各画像フレームＰＦについてそれぞれオブジェクトの抽出を行う場合に、複数の画像フレームＰＦを各シーンＳＣ毎に分割した後、各シーンＳＣ毎に分類パラメータを生成し、生成した分類パラメータを用いてシーンＳＣを構成する全ての画像フレームＰＦについてオブジェクトＯＢの抽出を行うことにより、シーンＳＣ内の各画像フレームＰＦ間に関連性を持ったオブジェクトＯＢの抽出を行うことができる。具体的には、同一シーンＳＣの異なる２つの連続した画像フレームＰＦ間に同一のオブジェクトＯＢが撮像されている場合、画像フレームＰＦ毎に異なる分類パラメータによりオブジェクトＯＢの抽出が行われると、一方が２つのオブジェクトＯＢが別々に抽出されて、他方では２つのオブジェクトが統合して１つのオブジェクトＯＢとして抽出される場合がある。すると、２つの画像フレームＰＦに撮像されたオブジェクトの関連性（連続性）が失われてしまう。
【００６２】
一方、同一シーンの２つの連続した画像フレームＰＦが同一の分類パラメータを用いてオブジェクトの抽出が行われた場合、同一のオブジェクトが撮像されているときにはオブジェクトの抽出結果も同一のものとなるため、画像フレームＰＦ間の連続性を保ちながら、オブジェクトの抽出を行うことができる。
【００６３】
また、基準画像フレームから生成された分類パラメータを用いて基準画像以外のオブジェクト領域ＯＲの生成を行うことにより、画像毎に分類パラメータを決定するための処理時間を省略することができるため、より高速に連続画像からオブジェクト領域を抽出することができる。すなわち、連続画像間は画像が類似しているため、特徴量の変化量も少なく特徴量も類似している。この性質を利用して、連続画像からなるシーンＳＣから１枚の基準画像フレームＰＦｒｅｆを抽出してその画像についてオブジェクト領域ＯＲを生成するための分類パラメータＲＢを同一シーンＳＣのすべての画像フレームＰＦについて使用しても、オブジェクト領域ＯＲの抽出を行うことができる。よって、動画や連続写真等からのオブジェクト領域ＯＲの生成を効率よく行うことができる。
【００６４】
なお、本発明の実施の形態は上記実施の形態に限定されない。上記実施の形態において、基準画像フレームＰＦｒｅｆは、各シーンＳＣ毎に１つだけ抽出されるようにしているが、各シーンＳＣ毎に複数の基準画像フレームＰＦｒｅｆが選択されるようにしてもよい。このとき、基準画像フレームＰＦｒｅｆが各シーンＳＣ毎に２つ選択された場合、その２つの基準画像フレームＰＦｒｅｆから抽出された分類パラメータＲＢを比較することにより分類パラメータＲＢのシーンに対する正確性を判断することができる。あるいは、生成された２つの分類パラメータＲＢを利用して、新たな分類パラメータＲＢを生成することもできる。これにより、シーンＳＣ内の画像フレームＰＦからのオブジェクト領域ＯＲの抽出を精度よく行うことができる。
【００６５】
また、図６において、各シーンＳＣ毎に分類パラメータＲＢを生成した後、シーンＳＣを構成する画像フレームＰＦのオブジェクト抽出プロセスを行うようにしているが、分類パラメータ抽出プロセスにおいて、すべてのシーンＳＣについて、該シーンＳＣに対応した分類パラメータＲＢを生成しておき、その後オブジェクト抽出プロセスにおいて、すべての画像フレームＰＦについてシーンＳＣに対応した分類パラメータＲＢを使用しながらオブジェクト領域ＯＲの抽出を行うようにしてもよい。
【図面の簡単な説明】
【図１】本発明のオブジェクト抽出装置の好ましい実施の形態を示すブロック図
【図２】本発明のオブジェクト抽出装置における特徴ベクトル分類手段により、特徴ベクトル空間において特徴ベクトルが分類された様子を示す図
【図３】本発明のオブジェクト抽出装置における領域分割手段により生成されたクラスタリング領域および領域統合手段により生成されたオブジェクト領域の様子を示す図
【図４】本発明のオブジェクト抽出装置におけるオブジェクト抽出手段の一例を示すブロック図
【図５】本発明のオブジェクト抽出装置におけるクラスタリング領域の統合の様子を示す図
【図６】本発明のオブジェクト抽出方法の好ましい実施の形態を示すフローチャート図
【符号の説明】
１ オブジェクト抽出装置
２０ シーン分割手段
３０ 基準画像抽出手段
４０ 特徴量抽出手段
５０ 特徴ベクトル生成手段
６０ 分類パラメータ生成手段
７０ オブジェクト抽出手段
８０ 特徴ベクトル分類手段
９０ 領域分割手段
１００ 領域統合手段
ＢＲ ベクトル領域
ＣＢ 特徴ベクトル
ＣＢｒｅｆ 基準特徴ベクトル
ＯＢ オブジェクト
ＯＲ オブジェクト領域
ＰＤ 画像データ
ＰＦ 画像フレーム
ＰＦｒｅｆ 基準画像フレーム
ＰＧ 画像群
ＲＢ 分類パラメータ
ＳＣ シーン
Claims (4)
- 連続的に画像が変化する複数の画像フレームからなるシーンを含む画像群から該各画像フレーム毎にオブジェクト領域を抽出するオブジェクト抽出方法において、
前記画像群を前記シーン毎に分割するシーン分割プロセスと、
分割した前記シーン毎に該シーンに含まれる前記各画像フレームからそれぞれ前記オブジェクト領域を抽出するための分類パラメータを生成する分類パラメータ生成プロセスと、
生成した前記分類パラメータを用いて前記シーン毎に該シーンに含まれる前記複数の画像フレームからそれぞれ前記オブジェクト領域を抽出するオブジェクト抽出プロセスとを有し、
前記分類パラメータ生成プロセスが、
前記シーンに含まれる前記複数の画像フレームから基準画像フレームを抽出するステップと、
抽出した前記基準画像フレームを用いて前記分類パラメータを生成するステップと
を有することを特徴とするオブジェクト抽出方法。 - 連続的に画像が変化する複数の画像フレームからなるシーンを含む画像群から該各画像フレーム毎にオブジェクト領域を抽出するオブジェクト抽出装置において、
前記画像群をシーン毎に分割するシーン分割手段と、
分割された前記シーン毎に該シーンに含まれる前記各画像フレームからそれぞれ前記オブジェクト領域を抽出するための分類パラメータを生成する分類パラメータ生成手段と、
生成された前記分類パラメータを用いて前記シーン毎に該シーンに含まれる前記複数の画像フレームからそれぞれ前記オブジェクト領域を抽出するオブジェクト抽出手段とを有し、
前記分類パラメータ生成手段が、前記シーンに含まれる前記画像フレームから基準画像フレームを抽出して、抽出した該基準画像フレームを用いて前記分類パラメータを生成するものであることを特徴とするオブジェクト抽出装置。 - 前記基準画像フレームが、時間的に連続する前記シーンの中間付近にある前記画像フレームであることを特徴とする請求項２に記載のオブジェクト抽出装置。
- 連続的に画像が変化する複数の画像フレームからなるシーンを含む画像群から該各画像フレーム毎にオブジェクト領域を抽出するようにコンピュータを機能させるためのオブジェクト抽出プログラムにおいて、
前記画像群をシーン毎に分割する手順と、
分割された前記シーン毎に該シーンに含まれる前記各画像フレームからそれぞれ前記オブジェクト領域を抽出するための分類パラメータを生成する手順と、
生成された前記分類パラメータを用いて前記シーン毎に該シーンに含まれる前記複数の画像フレームからそれぞれ前記オブジェクト領域を抽出する手順とを実行させるためのものであって、
前記分類パラメータを生成する手順において、前記シーンに含まれる前記画像フレームから基準画像フレームを抽出して、抽出した該基準画像フレームを用いて前記分類パラメータを生成するようにコンピュータを機能させるためのオブジェクト抽出プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002246397A JP4080276B2 (ja) | 2002-08-27 | 2002-08-27 | オブジェクト抽出方法および装置ならびにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002246397A JP4080276B2 (ja) | 2002-08-27 | 2002-08-27 | オブジェクト抽出方法および装置ならびにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004086540A true JP2004086540A (ja) | 2004-03-18 |
| JP4080276B2 JP4080276B2 (ja) | 2008-04-23 |
Family
ID=32054311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002246397A Expired - Fee Related JP4080276B2 (ja) | 2002-08-27 | 2002-08-27 | オブジェクト抽出方法および装置ならびにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4080276B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007140718A (ja) * | 2005-11-16 | 2007-06-07 | Nippon Telegr & Teleph Corp <Ntt> | 特異映像検出装置、特異映像検出方法およびプログラム |
| JPWO2006087854A1 (ja) * | 2004-11-25 | 2008-08-07 | シャープ株式会社 | 情報分類装置、情報分類方法、情報分類プログラム、情報分類システム |
| US8724847B2 (en) | 2008-01-08 | 2014-05-13 | Olympus Corporation | Image processing apparatus and program storage medium |
| JP2016532182A (ja) * | 2013-06-14 | 2016-10-13 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | コンピュータビジョンアプリケーション処理 |
-
2002
- 2002-08-27 JP JP2002246397A patent/JP4080276B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006087854A1 (ja) * | 2004-11-25 | 2008-08-07 | シャープ株式会社 | 情報分類装置、情報分類方法、情報分類プログラム、情報分類システム |
| JP4550882B2 (ja) * | 2004-11-25 | 2010-09-22 | シャープ株式会社 | 情報分類装置、情報分類方法、情報分類プログラム、情報分類システム |
| JP2007140718A (ja) * | 2005-11-16 | 2007-06-07 | Nippon Telegr & Teleph Corp <Ntt> | 特異映像検出装置、特異映像検出方法およびプログラム |
| JP4641492B2 (ja) * | 2005-11-16 | 2011-03-02 | 日本電信電話株式会社 | 特異映像検出装置、特異映像検出方法およびプログラム |
| US8724847B2 (en) | 2008-01-08 | 2014-05-13 | Olympus Corporation | Image processing apparatus and program storage medium |
| JP2016532182A (ja) * | 2013-06-14 | 2016-10-13 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | コンピュータビジョンアプリケーション処理 |
| US10091419B2 (en) | 2013-06-14 | 2018-10-02 | Qualcomm Incorporated | Computer vision application processing |
| US10694106B2 (en) | 2013-06-14 | 2020-06-23 | Qualcomm Incorporated | Computer vision application processing |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4080276B2 (ja) | 2008-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4907938B2 (ja) | 少なくとも１つの画像及び画像群を表現する方法、画像又は画像群の表現、画像及び／又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び／又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
| JP6438403B2 (ja) | 結合された深度キューに基づく平面視画像からの深度マップの生成 | |
| JP5968098B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 | |
| JP5097280B2 (ja) | 画像及び画像群を表現、比較及び検索する方法及び装置、プログラム、コンピュータ読み取り可能な記憶媒体 | |
| JP3851171B2 (ja) | 視覚的注意のモデル化方法 | |
| RU2426172C1 (ru) | Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине | |
| JP6204199B2 (ja) | 画像品質の評価 | |
| US6342904B1 (en) | Creating a slide presentation from full motion video | |
| KR100873638B1 (ko) | 영상 처리 방법 및 장치 | |
| JP4098021B2 (ja) | シーン識別方法および装置ならびにプログラム | |
| US9619732B2 (en) | Generating compositions | |
| US20080317358A1 (en) | Class-based image enhancement system | |
| US8942469B2 (en) | Method for classification of videos | |
| CN107430780B (zh) | 用于基于视频内容特性的输出创建的方法 | |
| JP2004348674A (ja) | 領域検出方法及びその装置 | |
| JP2006505853A (ja) | 画像又は映像の品質を評価する品質志向重要度マップの生成方法 | |
| KR20150112535A (ko) | 비디오 대표 이미지 관리 장치 및 방법 | |
| JP2004310475A (ja) | 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム | |
| JP2017033372A (ja) | 人物認識装置及びそのプログラム | |
| JP6272071B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| Izadi et al. | Robust region-based background subtraction and shadow removing using color and gradient information | |
| JP4080276B2 (ja) | オブジェクト抽出方法および装置ならびにプログラム | |
| CN111105369A (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| JP2005176339A (ja) | 動画像処理方法、動画像処理装置、動画像処理プログラム及びそのプログラムを記録した記録媒体 | |
| JP2004086538A (ja) | 画像の特徴量分類方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050208 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070920 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4080276 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120215 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130215 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140215 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |