JP2004234612A

JP2004234612A - 画像記述システムおよび方法

Info

Publication number: JP2004234612A
Application number: JP2003066399A
Authority: JP
Inventors: Eiji Kasuya; 英司粕谷; Akio Yamada; 昭雄山田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2002-12-06
Filing date: 2003-03-12
Publication date: 2004-08-19
Anticipated expiration: 2023-03-12
Also published as: US20060023946A1; WO2004054253A1; EP1569448A1; EP1569448A4; JP4336813B2

Abstract

【課題】適切な特徴量を用いて容易に画像を記述できる画像記述システムおよび方法を提供する。
【解決手段】画像記述スキーム記憶部１０６には、画像の種別ごとに、矩形画像記述スキーム、任意形状画像記述スキーム、ビデオシーケンス記述スキーム、ビデオオブジェクト記述スキームが格納されている。画像記述スキーム検索部１０５は、指定された画像の種別に対応する記述スキームを検索する。読み出された画像記述スキームに基づいて、抽出できるビジュアル特徴量の種類を所定のフォームで表示部１０２に表示させる。ビジュアル特徴量抽出部１０７は、指定された画像より指定されたビジュアル特徴量の抽出を行う。記述ファイル生成部１０８は、抽出されたビジュアル特徴量およびパラメータをビジュアル記述子により記述した記述ファイルを生成する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明はマルチメディア情報の種々の特徴を記述するためのシステムおよび方法に関する。
【０００２】
【従来の技術】
インターネットに代表されるネットワークの広帯域化に伴って、テキスト（文字）情報だけでなく映像や音声を含むマルチメディア情報がオンラインで広く一般に提供されるようになっている。このことは、ユーザが多種多様な情報に容易にアクセスできるという利点がある反面、あまりに多量かつ多様な情報が提供されるために、本当に必要で役に立つ情報へアクセスすることがますます困難になるという皮肉な現象も現れている。
【０００３】
このような状況おいてマルチメディア情報を効率的に検索、フィルタリングあるいは組織化する手段として、メタデータを検索対象とする技術が注目されている。メタデータはマルチメディアコンテンツから抽出された特徴を一定の形式で簡潔に表現したものであり、これを直接の検索対象とすることで検索の効率化を図ることができる。特に、視覚的／聴覚的情報は具体的な言葉では表現しにくいことが多く、より感性に近い情報を定量化してメタデータとして表現する方が適している。
【０００４】
このような背景のもとで、マルチメディアコンテンツのメタデータに対する統一的な表記方法がＭＰＥＧ−７によって提供された。そのなかの通称ＭＰＥＧ−７Ｖｉｓｕａｌは、ビジュアルコンテンツの信号的特徴（以下、ビジュアル特徴量と呼ぶ。）を記述する標準化フォーマットＩＳＯ／ＩＥＣ１５９３８−３を提供するパートである。ＭＰＥＧ−７Ｖｉｓｕａｌでは、ビジュアルコンテンツのビジュアル特徴量およびビジュアル特徴量を記述するためのビジュアル記述子の生成方法が定められている。なお、ビジュアルコンテンツには、デジタル写真のような矩形画像、クリップアート等の任意形状画像、矩形フレームの集合である矩形動画像（ビデオシーケンス）、動画像の中の任意形状領域あるいは物体のシーケンスであるビデオオブジェクトなどが含まれる。
【０００５】
以下、ビジュアル記述子の例としてエッジ記述子：ＥｄｇｅＨｉｓｔｏｇｒａｍを取り上げ、既存の画像記述システムについて説明する。
【０００６】
ＥｄｇｅＨｉｓｔｏｇｒａｍはローカルエッジ情報をヒストグラム化したもので、画像を４ｘ４の区画に分割し、区画毎に所定の５タイプのエッジがどのくらい存在するかを、それぞれ３ビットで記述するための記述子である。ＥｄｇｅＨｉｓｔｏｇｒａｍ特徴量は以下のように生成する。
【０００７】
Ｄ＝［Ｅｉｊ（ｉ＝１，２，．．，１６，ｊ＝１，２，…，５）］。
【０００８】
ここで、Ｅｉｊはブロックｉ（ラスタースキャン順）における第ｊエッジ要素を示す。記述子構築は以下のように行なう。まず、画像を縦横４区画の合計１６分割する。次に、各区画においてマスク演算により各方向のエッジを検出する。演算出力が閾値を超えた場合にヒストグラムの対応するビンに１票を投じることによって特徴量が構築される。
【０００９】
生成された特徴量は、ＭＰＥＧ−７Ｖｉｓｕａｌパートで表１のように規定されているシンタックスに基づき、例えば表２のように記述される。
【００１０】
【表１】

【００１１】
【表２】

ＭＰＥＧ−７Ｖｉｓｕａｌで定められたビジュアル記述子により画像の信号特徴を記述するシステムが、”ＭＰＥＧ−７ＸＭＳｏｆｔｗａｒｅ”として提供されている。このシステムでは、利用者が記述子を生成する対象となる画像を指定するとともに、抽出するビジュアル特徴量を選択する。これによって、選択されたビジュアル記述子を構成するビジュアル特徴量が指定された画像から抽出される。こうして、抽出されたビジュアル特徴量がビジュアル記述子により記述された記述ファイルが生成される。
【００１２】
記述子を用いた画像記述に関しては種々提案されている。たとえば特開２００２−１７０１１６号公報には、記述子に十分な空間情報を埋め込み、そのコンテンツに基づいて画像を記述することで、画像の識別を容易にする方法が開示されている（要約、段落番号００１１〜００１２）。
【００１３】
【特許文献１】
特開２００２−１７０１１６号公報（要約、段落番号００１１〜００１２）。
【００１４】
【発明が解決しようとする課題】
上述したように、メタデータはマルチメディアコンテンツから抽出された特徴を一定の形式で簡潔に表現したものであり、これを直接の検索対象とすることで検索の効率化を図っている。したがって、マルチメディアコンテンツを適切に表現するメタデータをどのように生成するかは、検索の効率化及び精度に直接影響する重要なファクタである。
【００１５】
しかしながら、上記従来のシステムでは、画像の種別により利用できる記述子、利用できない記述子があるにもかかわらず、画像の種別に関係なく全てのビジュアル記述子を用いて画像を記述していた。このために、ある種別の画像に対して不適切な記述子で画像記述が実行される場合がある。たとえば、静止画像である矩形画像が動きアクティビティ記述子によって記述する場合などである。
【００１６】
また、ある特定タイプのシステムに向けて作成された記述ファイルを他のシステムで直接利用するためには、全てのビジュアル記述子についての利用ツールをサポートしなくてならない。このためにシステム規模が非常に大きくなるという問題もあった。
【００１７】
本発明の目的は、ビジュアルコンテンツに対して適切な特徴量を抽出できる画像記述システムおよび方法を提供することにある。
【００１８】
本発明の他の目的は、サポートするツールの種類を最適化することによりシステム構成を簡易にした画像記述システムを提供することにある。
【００１９】
本発明のさらに他の目的は、画像に対する記述ファイルの記述方式が適切であるか否かを検証できる画像記述システムおよび方法を提供することにある。
【００２０】
【課題を解決するための手段】
本発明による画像記述システムおよび方法は、画像の種別ごとに定義された記述スキームを格納しておき、画像が指定された時に、当該指定画像の種別に対応する記述スキームを検索することで指定画像から抽出可能な特徴量を特定し、表示部に表示する。この特定された特徴量にしたがって指定画像から特徴量を抽出し、指定画像の記述ファイルを生成する。特定された特徴量を選択可能に表示することが望ましい。特に、表示された特徴量のうち類似したものの間では、用途に応じて少なくとも１つの選択を行うのが望ましい。
【００２１】
このように構成することで、有意義なビジュアル特徴量の選択が容易となり、かつ、指定画像を的確に表現したビジュアル特徴量を抽出がすることができる。
【００２２】
また、画像の種別ごとに記述スキームを定義しておくことによりサポートするべき特徴量および記述ツールの種類を必要最小限にすることができ、システム構成を簡略化できる。
【００２３】
さらに、指定画像の種別に対応する記述スキームを用いて、生成された記述ファイルを検証するのが望ましい。このように生成された記述ファイルを元の画像記述スキームと照らし合わせることにより、画像に対する記述ファイルの記述方式が適切であるか否かを検証でき、画像検索の効率及び精度をさらに向上させることができる。
【００２４】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施形態について詳細に説明する。
【００２５】
システム構成
図１は、本発明の第１実施形態による画像記述システムの構成を示すブロック図である。図１において、入力部１０１は、キーボードやポインティングデバイスなどの入力デバイスからなり、ビジュアル特徴量を抽出する対象となる画像の指定、抽出するビジュアル特徴量の指定、あるいは、種々の命令の入力を行うことができる。表示部１０２はモニタであり、後述するビジュアル特徴量選択画面を表示し、入力部１０１と協働してユーザインタフェースを提供する。本システムのプログラム制御プロセッサ１０３は、制御プログラム１０４を実行することによりビジュアル特徴量抽出に関する処理やシステム全体の動作を制御する。
【００２６】
本実施形態による画像記述システムには、画像記述スキーム検索部１０５、画像記憶スキーム記憶部１０６、ビジュアル特徴量抽出部１０７、記述ファイル生成部１０８が設けられている。画像記述スキーム検索部１０５、ビジュアル特徴量抽出部１０７および記述ファイル生成部１０８は、プログラム制御プロセッサ１０３の制御のもとで、後述する画像記述スキーム検索、ビジュアル特徴量抽出および記述ファイル生成をそれぞれ実行する。
【００２７】
画像記述スキーム記憶部１０６には、複数の画像記述スキームが格納されている。ここでは、矩形画像記述スキーム２００、イメージクリップ（任意形状画像）記述スキーム３００、ビデオシーケンス（矩形動画像）記述スキーム４００およびビデオオブジェクト記述スキーム５００、あるいは、これらから選択された少なくとも１つの画像記述スキームが格納されている。これら画像記述スキームについては、後で詳細に説明する。
【００２８】
画像記述スキーム検索部１０５は、プログラム制御プロセッサ１０３から画像記述スキーム検索指令を受け取ると、指定された画像の種別に対応する記述スキームを画像記述スキーム記憶部１０６から検索する。読み出された画像記述スキームを元に、指定された画像より抽出できるビジュアル特徴量の種類が所定のフォームで表示部１０２に表示される（詳しくは後述する）。
【００２９】
ビジュアル特徴量抽出部１０７は、ビジュアル特徴量抽出指令を受け取ると、画像データ記憶部１１０から指定された画像を入力し、その画像から指定されたビジュアル特徴量の抽出を行う。記述ファイル生成部１０８は、抽出されたビジュアル特徴量およびパラメータをビジュアル記述子により記述した記述ファイルを生成する。こうして生成された記述ファイルは記述ファイル記憶部１０９に格納され、画像検索等に利用される。
【００３０】
画像記述スキーム
（１）矩形画像記述スキーム
ディジタル写真といった矩形画像の信号的特徴を記述する目的で矩形画像記述スキームを設計する。ディジタルフォトアーカイブなど、ディジタル画像アーカイブより類似する信号パターンを持つ画像を検索するのが主目的である。
【００３１】
矩形画像より得られる信号的特徴は、１）色分布、２）色配置、３）色温度、４）照明条件補正色、５）エッジ、および、６）テクスチャの６グループに分類される。各グループに属するビジュアル特徴量は、以下のようにそれぞれ定められる。
【００３２】
１）ＤｏｍｉｎａｎｔＣｏｌｏｒ／ＳｃａｌａｂｌｅＣｏｌｏｒ／ＣｏｌｏｒＳｔｒｕｃｔｕｒｅ
２）ＣｏｌｏｒＬａｙｏｕｔ
３）ＣｏｌｏｒＴｅｍｐｅｒａｔｕｒｅ
４）ＩｌｌｕｍｉｎａｔｉｏｎＩｎｖａｒｉａｎｔＣｏｌｏｒ
５）ＥｄｇｅＨｉｓｔｏｇｒａｍ
６）ＨｏｍｏｇｅｎｅｏｕｓＴｅｘｔｕｒｅ／ＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇ。
【００３３】
各グループにおいて類似するビジュアル特徴量がある場合には、全てを併用するのは適切ではなく、目的に応じて１個あるいは複数個を選択できるようにするのが望ましい。色分布およびテクスチャを表す複数のビジュアル特徴量の使い分けを表３に例示する。
【００３４】
【表３】

色分布を表す３つの特徴量は、表３に示すように使い分けられる。すなわち、（１）限定色領域の正確な記述にはＤｏｍｉｎａｎｔＣｏｌｏｒ、（２）広く使われている既存のカラーヒストグラムとの互換性が求められるアプリケーションなど汎用的製品にはＳｃａｌａｂｌｅＣｏｌｏｒ、（３）医用画像などコストより精度がとにかく求められる用途にはＣｏｌｏｒＳｔｒｕｃｔｕｒｅがそれぞれ適している。したがって、これら用途に応じて、ＤｏｍｉｎａｎｔＣｏｌｏｒ、ＳｃａｌａｂｌｅＣｏｌｏｒおよびＣｏｌｏｒＳｔｒｕｃｔｕｒｅの少なくとも１つを選択できるように矩形画像記述スキームを設計する。
【００３５】
テクスチャをあらわす２つの特徴量の使い分けは、模様のラフなブラウジングのみが必要である場合にはＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇが、より精度が求められる用途にはＨｏｍｏｇｅｎｉｏｕｓＴｅｘｔｕｒｅが適している。したがって、ＨｏｍｏｇｅｎｉｏｕｓＴｅｘｔｕｒｅおよびＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇのうち少なくとも１つをテクスチャを表す特徴量として選択できるように矩形画像記述スキームを設計する。さらに、色分布、色配置、色温度、照明条件補正色、エッジ、テクスチャのうち、必要な信号的特徴を選択できるように矩形画像記述スキームを設計する。
【００３６】
図２は、本実施形態における矩形画像記述スキームに含まれる記述ツールを示す模式図である。図２に示すように、矩形画像記述スキーム２００は、動画像の特定フレームまたは矩形の静止画像の信号特徴量を定める。矩形画像記述スキーム２００は、色分布記述２０１、色配置記述２０２、エッジ記述２０３、色温度記述２０４、照明条件補正色記述２０５、および、テクスチャ記述２０６を含む。
【００３７】
図３は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）による矩形画像記述スキームの例を示す図である。記述スキームは任意の言語で実行され、任意の含められた記述（もしくはそれよりも多くの記述）を含む。なお、図３において、ｅｌｅｍｅｎｔ要素内のｎａｍｅ属性で示された名称は任意であるが、ｔｙｐｅで示されている記述子の特徴を表す名称が望ましい。
【００３８】
（２）イメージクリップ記述スキーム
クリップアートといった任意形状を持つ画像の信号的特徴を記述する目的で、イメージクリップ記述スキームを設計する。コンテンツ制作に用いる素材のアーカイブなどより類似する信号パターンを持つクリップを検索するのが主目的である。
【００３９】
矩形画像より得られる信号的特徴は全て任意形状画像に適応できる。任意形状画像より得られる信号的特徴は、矩形画像より得られる信号的特徴に加え、形状特徴を得ることができる。形状特徴を表すビジュアル特徴量には、ＣｏｎｔｏｕｒＳｈａｐｅおよびＲｅｇｉｏｎＳｈａｐｅが存在するが、双方を併用するのは適切ではなく、目的に応じて少なくとも１つを選択できるようにする必要がある。矩形画像記述スキームに加えて、形状特徴を表す２つのビジュアル特徴量の使い分けを表４に示す。
【００４０】
【表４】

表４に示すように、閉曲線記述が可能でなおかつ強固な回転体性が必要な場合はＣｏｎｔｏｕｒＳｈａｐｅ、それ以外の一般的な用途ではＲｅｇｉｏｎＳｈａｐｅが適している。したがって、ＣｏｎｔｏｕｒＳｈａｐｅおよびＲｅｇｉｏｎＳｈａｐｅのうち少なくとも１つを形状を表す特徴量として選択できるようにイメージクリップ記述スキームを設計する。
【００４１】
図４は本実施形態におけるイメージクリップ記述スキームに含まれる記述ツールを示す模式図である。イメージクリップ記述スキームは、任意形状を持つ画像の信号的特徴をを定める。図４に示すように、イメージクリップ記述スキーム３００は、形状記述３０１と、矩形画像記述スキーム２００に含まれる色分布記述２０１、色配置記述２０２、エッジ記述２０３、色温度記述２０４、照明条件補正色記述２０５およびテクスチャ記述２０６とを含む。これらのうち必要な信号的特徴を選択できるようにイメージクリップ画像記述スキームが設計される。
【００４２】
図５は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）によるイメージクリップ記述スキームの例を示す図である。記述スキームは任意の言語で実行され、任意の含められた記述（もしくはそれよりも多くの記述）を含む。なお、図５において、ｅｌｅｍｅｎｔ要素内のｎａｍｅ属性で示された名称は任意であるが、ｔｙｐｅで示されている記述子の特徴を表す名称が望ましい。
【００４３】
（３）ビデオシーケンス記述スキーム
動画像の信号的特徴を記述する目的でビデオシーケンス記述スキームを設計する。ビデオアーカイブより類似する信号パターンを持つビデオを検索するのが主目的である。
【００４４】
動画像より得られる信号的特徴は、（１）矩形画像に対する特徴量の時系列データ、（２）動画像に含まれる全てのフレームを代表する特徴量、（３）動き、の３グループに分類する。各グループに属するビジュアル特徴量を以下のように定めることができる。
【００４５】
１）ＶｉｓｕａｌＴｉｍｅＳｅｒｉｅｓ
２）ＧｏｆＧｏｐＣｏｌｏｒ
３）ＭｏｔｉｏｎＡｃｔｉｖｉｔｙ。
【００４６】
特徴量を付与する単位として、動画像に含まれるフレームに対する記述を行う場合には時系列配列コンテナ（ＶｉｓｕａｌＴｉｍｅＳｅｒｉｅｓ）、動画像全体に対する記述を行う場合には代表特徴量コンテナ（ＧｏｆＧｏｐＣｏｌｏｒ）を利用することができる。また双方を利用することもできる。好きな位置に特徴量記述子を割り付けることができる。
【００４７】
コンテナはあるコンテンツの一部分を記述する特徴量記述子群をまとめて取り扱うための接着剤として働く。ＶｉｓｕａｌＴｉｍｅＳｅｒｉｅｓは時間軸上に並んだ特徴量記述子を一括して表記するもので、固定間隔に記述子を配置するＲｅｇｕｌａｒＶｉｓｕａｌＴｉｍｅＳｅｒｉｅｓと、可変間隔に記述子を配置するＩｒｒｅｇｕｌａｒＶｉｓｕａｌＴｉｍｅＳｅｒｉｅｓの２種類があるが、各フレーム位置に特徴量記述子を割り付けることができる。また、ＧｏｆＧｏｐＣｏｌｏｒは動画像全体に対して１つの特徴量記述子を割り付けることができる。
【００４８】
ビデオシーケンス記述スキームに含まれる時系列データ、代表特徴量および動きより必要な信号的特徴を選択できるようにビデオシーケンス記述スキームを設計する。表５はビデオシーケンス記述スキームを表す。
【００４９】
【表５】

図６は本実施形態におけるビデオシーケンス記述スキームに含まれる記述ツールを示す模式図である。ビデオシーケンス記述スキームは、ビデオシーケンス（複数のフレームの集合）の信号的特徴を定める。ビデオシーケンス記述スキーム４００は矩形画像に対する特徴量の時系列配列コンテナ４０１、動画像に含まれる全てのフレームを代表する特徴量コンテナ４０２および動きアクティビティ記述４０３を含む。
【００５０】
図７は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）によるビデオシーケンス記述スキームの例を示す図である。記述スキームは任意の言語で実行され、任意の含められた記述（もしくはそれよりも多くの記述）を含む。なお、図７において、ｅｌｅｍｅｎｔ要素内のｎａｍｅ属性で示された名称は任意であるが、ｔｙｐｅで示されている記述子の特徴を表す名称が望ましい。
【００５１】
（４）ビデオオブジェクト記述スキーム
ＭＰＥＧ−４におけるＶｉｄｅｏＯｂｊｅｃｔのように、動画像中の任意形状領域や物体の信号的特徴を記述する目的でビデオオブジェクト記述スキームを設計する。コンテンツ制作に用いるビデオオブジェクトのアーカイブなどより類似する信号パターンを持つビデオオブジェクトを検索するのが主目的である。
【００５２】
ビデオシーケンスより得られる信号的特徴は全てビデオオブジェクトに適応できる。任意形状画像より得られる信号的特徴は、矩形画像より得られる信号的特徴に加え、オブジェクトの動き情報や形状の時間変移を得ることができる。ビデオオブジェクトより得られる信号的特徴は、１）物体動き情報、および、２）形状変化の２グループに分類する。各グループに属するビジュアル特徴量を以下のように定めることができる。
【００５３】
１）ＭｏｔｉｏｎＴｒａｊｅｃｔｏｒｙ／ＰａｒａｍｅｔｒｉｃＭｏｔｉｏｎ
２）ＳｈａｐｅＶａｒｉａｔｉｏｎ
物体動き情報を表すビジュアル特徴量には、ＭｏｔｉｏｎＴｒａｊｅｃｔｏｒｙおよびＰａｒａｍｅｔｒｉｃＭｏｔｉｏｎが存在するが、双方を併用するのは適切ではなく、目的に応じて少なくとも１つを選択できるようにする必要がある。これらビジュアル特徴量の使い分けを表６に示す。
【００５４】
【表６】

ＰａｒａｍｅｔｒｉｃＭｏｔｉｏｎは領域の全体的な動きをアフィン変換、透視変換など５種類の動きモデルで近似する。剛体近似できる物体の動き記述が目的である。
【００５５】
ＭｏｔｉｏｎＴｒａｊｅｃｔｏｒｙは領域の代表点（例えば重心）の時系列位置変化を表すもので、時間軸上のサンプリング点における位置とサンプリング点間の補間方法を記述する。人物の歩行軌跡などを表現することにより、例えば監視カメラ映像データベースで特定の行動をした人をピックアップするなどの用途が考えられる。
【００５６】
したがって、ＭｏｔｉｏｎＴｒａｊｅｃｔｏｒｙおよびＰａｒａｍｅｔｒｉｃＭｏｔｉｏｎのうちいずれか１つを形状を表す特徴量として選択できるようにビデオオブジェクト記述スキームを設計する。さらに、ビデオシーケンス記述スキームに含まれる時系列データ、代表特徴量、動き、より必要な信号的特徴を選択できるように動画像記述スキームを設計する。
【００５７】
図８は本実施形態におけるビデオオブジェクト記述スキームに含まれる記述ツールを示す模式図である。ビデオオブジェクト記述スキーム５００は、動画像中の任意形状領域や物体の信号的特徴を定める。ビデオオブジェクト記述スキーム５００は、ビデオオブジェクトに対する物体動き記述５０１、形状変化記述５０２、および、矩形動画像（ビデオシーケンス）記述スキーム４００に含まれる全てのフレームを代表する特徴量を含む。
【００５８】
図９はＸＭＬ（ｅＸｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）によるビデオシーケンス記述スキームの例を示す図である。記述スキームは任意の言語で実行され、任意の含められた記述（もしくはそれよりも多くの記述）を含む。なお、図９において、ｅｌｅｍｅｎｔ要素内のｎａｍｅ属性で示された名称は任意であるが、ｔｙｐｅで示されている記述子の特徴を表す名称が望ましい。
【００５９】
ビジュアル特徴量選択画面の表示例
（１）矩形画像の場合
図１０は、指定画像が矩形画像の場合のビジュアル特徴量選択画面の一例を示す図である。すでに述べたように、矩形画像記述スキーム２００は、色分布記述２０１、色配置記述２０２、エッジ記述２０３、色温度記述２０４、照明条件補正色記述２０５、および、テクスチャ記述２０６を含む（図２参照）。本実施形態では、図３のＸＭＬ記述例を実行することで、ユーザがこれらの記述ツールから必要な信号的特徴を選択できるように画面表示される。
【００６０】
図１０に示すように、色分布（ＣｏｌｏｒＤｉｓｔｒｉｂｕｔｉｏｎ）６０１、色配置（ＳｐａｔｉａｌＤｉｓｔｒｉｂｕｔｉｏｎｏｆＣｏｌｏｒ）６０２、照明条件補正色（ＩｌｌｕｍｉｎａｔｉｏｎＩｎｄｅｐｅｎｄｅｎｔＣｏｌｏｒ）６０３、色温度（ＣｏｌｏｒＴｅｍｐｅｒａｔｕｒｅ）６０４、エッジ分布（ＳｐａｔｉａｌＤｉｓｔｒｉｂｕｔｉｏｎｏｆＥｄｇｅｓ）６０５、および、模様（ＨｏｍｏｇｅｎｅｏｕｓＰａｔｔｅｒｎ）６０６がマウス等のポインティングデバイスを用いて選択可能に表示される。
【００６１】
すでに述べたように、色分布６０１については、ＤｏｍｉｎａｎｔＣｏｌｏｒ、ＳｃａｌａｂｌｅＣｏｌｏｒおよびＣｏｌｏｒＳｔｒｕｃｔｕｒｅのうち少なくとも１つを選択できる。また、模様６０６についてもＨｏｍｏｇｅｎｉｏｕｓＴｅｘｔｕｒｅおよびＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇのうち少なくとも１つを選択できるように表示される。また、ボタン６０７をマウス等によりクリックすることで、選択したビジュアル特徴量の抽出を開始することができる。
【００６２】
このように矩形画像に適切な画像記述スキームを定義しておくことにより、矩形画像に適切な特徴量のみを選択・抽出できる画像記述システムを提供することができる。
【００６３】
（２）任意形状画像の場合
図１１は、指定画像が任意形状画像の場合のビジュアル特徴量選択画面の一例を示す図である。すでに述べたように、イメージクリップ記述スキーム３００は、形状記述３０１、色分布記述２０１、色配置記述２０２、エッジ記述２０３、色温度記述２０４、照明条件補正色記述２０５、および、テクスチャ記述２０６を含む（図４参照）。本実施形態では、図５のＸＭＬ記述例を実行することで、ユーザがこれらの記述ツールから必要な信号的特徴を選択できるように画面表示される。
【００６４】
図１１に示すように、色分布（ＣｏｌｏｒＤｉｓｔｒｉｂｕｔｉｏｎ）７０１、色配置（ＳｐａｔｉａｌＤｉｓｔｒｉｂｕｔｉｏｎｏｆＣｏｌｏｒ）７０２、照明条件補正色（ＩｌｌｕｍｉｎａｔｉｏｎＩｎｄｅｐｅｎｄｅｎｔＣｏｌｏｒ）７０３、色温度（ＣｏｌｏｒＴｅｍｐｅｒａｔｕｒｅ）７０４、エッジ分布（ＳｐａｔｉａｌＤｉｓｔｒｉｂｕｔｉｏｎｏｆＥｄｇｅｓ）７０５、模様（ＨｏｍｏｇｅｎｅｏｕｓＰａｔｔｅｒｎ）７０６、および、形状（Ｓｈａｐｅ）７０７がマウス等のポインティングデバイスを用いて選択可能に表示される。
【００６５】
すでに述べたように、形状７０７についてはＲｅｇｉｏｎＳｈａｐｅおよびＣｏｎｔｏｕｒＳｈａｐｅのうちいずれか１つのみ選択できる。また、色分布７０１については、ＤｏｍｉｎａｎｔＣｏｌｏｒ、ＳｃａｌａｂｌｅＣｏｌｏｒおよびＣｏｌｏｒＳｔｒｕｃｔｕｒｅのうち少なくとも１つを選択でき、模様７０６についてもＨｏｍｏｇｅｎｉｏｕｓＴｅｘｔｕｒｅおよびＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇのうち少なくとも１つを選択できるように表示される。
【００６６】
所望の記述が選択されると、ＯＫボタンをマウス等によりクリックすることで、選択したビジュアル特徴量の抽出を開始することができる。このように任意形状画像に適切なイメージクリップ記述スキームを定義しておくことにより、任意形状画像に適切な特徴量のみを選択・抽出できる画像記述システムを提供することができる。
【００６７】
（３）ビデオシーケンスの場合
図１２は、指定画像が矩形動画像の場合のビジュアル特徴量選択画面の一例を示す図である。すでに述べたように、ビデオシーケンス記述スキーム４００は時系列配列コンテナ４０１、代表特徴量コンテナ４０２および動きアクティビティ記述４０３を含む（図６参照）。本実施形態では、図７のＸＭＬ記述例を実行することで、ユーザがこれらの記述ツールから必要な信号的特徴を選択できるように画面表示される。
【００６８】
図１２に示すように、時系列配列（ＶｉｓｕａｌＴｉｍｅＳｅｒｉｅｓ）８０１に割り付ける矩形画像記述スキームに含まれるビジュアル特徴量、、代表特徴量（ＧｏｆＧｏｐＣｏｌｏｒ）８０２に割り付ける矩形画像記述スキームに含まれるビジュアル特徴量、および、動きアクティビティ（ＭｏｔｉｏｎＡｃｔｉｖｉｔｙ）８０３がマウス等のポインティングデバイスを用いて選択可能に表示される。
【００６９】
所望の記述が選択されると、ＯＫボタンをマウス等によりクリックすることで、選択したビジュアル特徴量の抽出を開始することができる。このように矩形動画像に適切なビデオシーケンス記述スキームを定義しておくことにより、矩形動画像に適切な特徴量のみを選択・抽出できる画像記述システムを提供することができる。
【００７０】
（４）ビデオオブジェクトの場合
図１３は、指定画像が任意形状動画像の場合のビジュアル特徴量選択画面の一例を示す図である。すでに述べたように、ビデオオブジェクト記述スキーム５００は、ビデオオブジェクトに対する物体動き記述５０１、形状変化記述５０２、および、矩形動画像（ビデオシーケンス）記述スキーム４００に含まれる全てのフレームを代表する特徴量を含む（図８参照）。本実施形態では、図９のＸＭＬ記述例を実行することで、ユーザがこれらの記述ツールから必要な信号的特徴を選択できるように画面表示される。
【００７１】
図１３に示すように、時系列配列（ＶｉｓｕａｌＴｉｍｅＳｅｒｉｅｓ）９０１に割り付ける矩形画像記述スキームに含まれるビジュアル特徴量、、代表特徴量（ＧｏｆＧｏｐＣｏｌｏｒ）９０２に割り付ける矩形画像記述スキームに含まれるビジュアル特徴量、動きアクティビティ（ＭｏｔｉｏｎＡｃｔｉｖｉｔｙ）９０３、物体動き（Ｍｏｔｉｏｎ）９０４、および、形状変化（ＳｈａｐｅＶａｒｉａｔｉｏｎ）９０５がマウス等のポインティングデバイスを用いて選択可能に表示される。
【００７２】
すでに述べたように、物体動き９０４についてはＭｏｔｉｏｎＴｒａｊｅｃｔｏｒｙおよびＰａｒａｍｅｔｅｒＭｏｔｉｏｎのうち少なくとも１つを選択できる。所望の記述が選択されると、ＯＫボタンをマウス等によりクリックすることで、選択したビジュアル特徴量の抽出を開始することができる。このように任意形状動画像に適切なビデオオブジェクト記述スキームを定義しておくことにより、任意形状動画像に適切な特徴量を選択・抽出できる画像記述システムを提供することができる。
【００７３】
画像記述動作
次に、本実施形態の全体的動作について詳細に説明する。
【００７４】
図１４は、本実施形態による画像記述動作を示すフローチャートである。まず、画像記述スキーム記憶部１０６には画像記述スキームが種別ごとに検索可能に格納されている。すなわち、図１に示すように、画像記述スキーム記憶部１０６に、矩形画像記述スキーム２００、任意形状画像記述スキーム３００、ビデオシーケンス記述スキーム４００、および、ビデオオブジェクト記述スキーム５００を記憶させ、また、ビジュアル特徴量を抽出する際に必要となるパラメータの設定を行う（ステップＡ１）。
【００７５】
利用者は記述ファイルを生成する対象となる画像を入力部１０１から指定する（ステップＡ２）。記述する対象となる画像の指定は、画像ファイル名を直接入力してもよいし、あらかじめ一覧表示された画像からユーザが選択するようにしてもよい。
【００７６】
指定された画像が特定されると、プログラム制御プロセッサ１０３は画像記述スキーム検索部１０５に当該希望画像の記述スキームの検索を指示する。画像記述スキーム検索部１０５は、指定された画像の種別をキーとして画像記述スキーム記憶部１０６を検索する。（ステップＡ３）。
【００７７】
指定された画像の種別に対応する画像記述スキームが見つかると、画像記述スキーム検索部１０５はその画像記述スキームを読み出しプログラム制御プロセッサ１０３へ返す。プログラム制御プロセッサ１０３は、読み出された画像記述スキームより、指定された画像より抽出できる特徴量がどれであるのかを可視化し、表示部１０２に表示する（ステップＡ４）。
【００７８】
具体的には、矩形画像が指定された場合には、読み出された矩形画像記述スキームを参照して、図１０に示すように表示する（ステップＡ３．１）。任意形状画像が指定された場合には、読み出された任意形状画像記述スキームを参照して、図１１に示すように表示する（ステップＡ３．２）。ビデオシーケンスが指定された場合には、読み出されたビデオシーケンス記述スキームを参照して、図１２に示すように表示する（ステップＡ３．３）。ビデオオブジェクトが指定された場合には、読み出されたビデオオブジェクト記述スキームを参照して、図１３に示すように表示する（ステップＡ３．４）。なお、これら表示は、入力部１０１からの指示により行うこともできる。
【００７９】
利用者は表示部１０２に表示された抽出可能特徴量の一覧より、抽出する特徴量を入力部１０１から指定する（ステップＡ５）。指定された特徴量が特定されると、プログラム制御プロセッサ１０３はビジュアル特徴量抽出部１０７に当該希望特徴量の抽出を指示する。ビジュアル特徴量抽出部１０７は、画像データ記憶部１１０から指定された画像を読み込み、その画像から特定された特徴量を抽出する（ステップＡ６）。
【００８０】
記述ファイル生成部１０８は、ビジュアル特徴量抽出部１０７より生成された特徴量およびパラメータをビジュアル記述子により記述し（ステップＡ７）、記述されたデータを記述ファイルとして生成する（ステップＡ８）。記述ファイルは記述ファイル記憶部１０９に格納されてもよい。
【００８１】
上述したように、第１実施形態では、入力部１０１より画像が指定されると、画像記述スキーム検索部１０５が画像の種別に応じた画像記述スキームを検索し、指定された画像から抽出できるビジュアル特徴量を図１０〜図１３に例示するような形式で表示する。従って、抽出するビジュアル特徴量を利用者が容易に指定できる。また、サポートするツールの種類を必要最小限にすることができるために、システム構成を簡易にした画像記述システムを提供することができる。
【００８２】
生成された記述ファイルは、ある特定の画像に対する記述ファイルに含まれる特徴量と他の画像に対する記述ファイルに含まれる特徴量の類似度を評価することにより、類似した画像を検索する類似画像検索などにも利用できる。したがって、適切な記述ファイルのみが類似画像検索等に利用されるために、検索の信頼性及び精度を向上させることができる。
【００８３】
（第２実施形態）
図１５は、本発明の第２実施形態による画像記述システムの構成を示すブロック図である。本発明の第２実施形態は、図１に示す第１実施形態に加えて、さらに記述ファイル検証部１１１を含む。
【００８４】
記述ファイル検証部１１１は、画像記述スキーム検索部１０５で得られた画像記述スキームを読み込み、記述ファイル生成部１０８で生成された記述ファイルが正しいか否か検証する。具体的には、記述ファイルに記述されている特徴量の種類が、画像記述スキーム内で定義されており、かつ記述ファイルが画像記述スキームで規定された記述方法に従っているか否かを確認する。記述ファイルが画像記述スキームで規定された記述方法に従っている場合は、記述ファイルを出力する。
【００８５】
上述したように、第２実施形態では、記述ファイル検証部１１１を設け、画像記述スキームと記述ファイルとを照らし合わせることにより、画像に対する記述ファイルの記述方式が適切であるか否かを検証できる。
【００８６】
生成された記述ファイルは、ある特定の画像に対する記述ファイルに含まれる特徴量と他の画像に対する記述ファイルに含まれる特徴量の類似度を評価することにより、類似した画像を検索する類似画像検索などにも利用できる。したがって、適切な記述ファイルのみが類似画像検索等に利用されるために、検索の信頼性及び精度をさらに向上させることができる。
【００８７】
（第３実施形態）
図１６は、本発明の第３実施形態による画像記述システムの構成を示すブロック図である。
【００８８】
本実施形態による画像記述システムは、図１に示す画像記述スキーム検索部１０５、ビジュアル特徴量抽出部１０７、記述ファイル生成部１０８および記述ファイル検証部１１１をプログラム制御プロセッサ１２０によりソフトウエア的に実装している。すなわち、プログラム制御プロセッサ１２０は、メモリに格納されている画像記述プログラム１２１を実行することで、第１および第２実施形態で説明したものと等価な画像記述機能を実現することができる。入力部１０１、表示部１０２、画像記述スキーム記憶部１０６、記述ファイル記憶部１０９および画像データ記憶部１１０は、画像記述プログラム１２１を実行しているプログラム制御プロセッサ１２０によって、第１および第２実施形態と同様に制御され、本発明による画像記述システムが実現される。
【００８９】
（第４実施形態）
本発明の第４実施形態は、画像記述スキーム記憶部１０６に、静止画像を記述する静止領域記述スキーム、矩形フレームの集合を記述する矩形動画像記述スキーム、および、ビデオオブジェクトを記述するビデオオブジェクト記述スキームが格納されている点で図１に示す第１実施形態と異なる。なお、矩形動画像記述スキームおよびビデオオブジェクト記述スキームは、第１実施形態に使用されたものと同様である。
【００９０】
静止画像（ＳｔｉｌｌＰｉｃｔｕｒｅ）記述スキーム
あらゆる静止画像の信号的特徴を記述する目的で静止画像記述スキームを設計する。ディジタルフォトアーカイブなど、ディジタル画像アーカイブより類似する信号パターンを持つ画像を検索するのが主目的である。
【００９１】
静止画像より得られる信号的特徴は、１）色分布、２）色配置、３）色温度、４）照明条件補正色、５）エッジ、６）テクスチャ、および、７）形状、のグループに分類される。各グループに属するビジュアル特徴量は、以下のようにそれぞれ定められる。
【００９２】
１）ＤｏｍｉｎａｎｔＣｏｌｏｒ／ＳｃａｌａｂｌｅＣｏｌｏｒ／ＣｏｌｏｒＳｔｒｕｃｔｕｒｅ
２）ＣｏｌｏｒＬａｙｏｕｔ
３）ＣｏｌｏｒＴｅｍｐｅｒａｔｕｒｅ
４）ＩｌｌｕｍｉｎａｔｉｏｎＩｎｖａｒｉａｎｔＣｏｌｏｒ
５）ＥｄｇｅＨｉｓｔｏｇｒａｍ
６）ＨｏｍｏｇｅｎｅｏｕｓＴｅｘｔｕｒｅ／ＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇ
７）ＣｏｎｔｏｕｒＳｈａｐｅ／ＲｅｇｉｏｎＳｈａｐｅ。
【００９３】
色分布、テクスチャ、形状のグループにおける類似するビジュアル特徴量については、全てを併用するのは適切ではなく、目的に応じて１個あるいは複数個を選択できるようにする必要がある。ビジュアル特徴量の内容、使い分け方法については、第１実施形態で述べたものと同一であるからここでは省略する（たとえば、表３および表４を参照）。
【００９４】
図１７は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）による静止領域記述スキームの例を示す図である。記述スキームは任意の言語で実行され、任意の含められた記述（もしくはそれよりも多くの記述）を含む。なお、図１７において、ｅｌｅｍｅｎｔ要素内のｎａｍｅ属性で示された名称は任意であるが、ｔｙｐｅで示されている記述子の特徴を表す名称が望ましい。
【００９５】
記述スキームの数を第１実施形態に比べて減らすことにより、システム構成を簡易にした画像記述システムを提供することができる。
【００９６】
（第５実施形態）
本発明の第５実施形態は、画像記述スキーム記憶部１０６に、静止画像を記述する静止領域記述スキーム、動画像を記述する動画像記述スキームが格納されている点で第１実施形態と異なる。ただし、静止領域記述スキームは、上述した第４実施形態に記載のものと同様である。
【００９７】
動画像記述スキーム
動画像の信号的特徴を記述する目的で動画像記述スキームを設計する。動画像より得られる信号的特徴は、（１）矩形画像に対する特徴量の時系列データ、（２）動画像に含まれる全てのフレームを代表する特徴量、（３）動きアクティビティ、（４）物体動き情報、および、（５）形状変化の５グループに分類する。各グループに属するビジュアル特徴量を以下のように定めることができる。
【００９８】
１）ＶｉｓｕａｌＴｉｍｅＳｅｒｉｅｓ
２）ＧｏｆＧｏｐＣｏｌｏｒ
３）ＭｏｔｉｏｎＡｃｔｉｖｉｔｙ
４）ＭｏｔｉｏｎＴｒａｊｅｃｔｏｒｙ／ＰａｒａｍｅｔｒｉｃＭｏｔｉｏｎ
５）ＳｈａｐｅＶａｒｉａｔｉｏｎ。
【００９９】
なお、ビジュアル特徴量の内容、使い分け方法については、第１実施形態で述べたものと同一であるからここでは省略する（たとえば、表６参照）。
【０１００】
図１８は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）による動画像記述スキームの例を示す図である。記述スキームは任意の言語で実行され、任意の含められた記述（もしくはそれよりも多くの記述）を含む。なお、図１８において、ｅｌｅｍｅｎｔ要素内のｎａｍｅ属性で示された名称は任意であるが、ｔｙｐｅで示されている記述子の特徴を表す名称が望ましい。
【０１０１】
記述スキームの数を第１実施形態に比べて減らすことにより、システム構成を簡易にした画像記述システムを提供することができる。
【０１０２】
【発明の効果】
以上詳細に説明したように、本発明によれば、入力部より画像が指定されると、画像の種別に応じた画像記述スキームが取り出され、抽出可能な適切なビジュアル特徴量が表示される。このために、有意義なビジュアル特徴量の選択が容易となり、かつ、指定画像を的確に表現したビジュアル特徴量を抽出がすることができる。このために画像検索の効率及び精度を向上させることができる。
【０１０３】
また、画像の種別ごとに記述スキームを定義しておくことによりサポートするべき特徴量抽出、および記述ツールの種類を必要最小限にすることができ、システム構成を簡易にした画像記述システムを提供することができる。
【０１０４】
さらに、以上のようにして生成された記述ファイルを画像記述スキームと照らし合わせることにより、画像に対する記述ファイルの記述方式が適切であるか否かを検証でき、画像検索の効率及び精度をさらに向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態による画像記述システムの構成を示すブロック図である。
【図２】本実施形態における矩形画像記述スキームに含まれる記述ツールを示す模式図である。
【図３】ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）による矩形画像記述スキームの例を示す図である。
【図４】本実施形態におけるイメージクリップ記述スキームに含まれる記述ツールを示す模式図である。
【図５】ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）によるイメージクリップ記述スキームの例を示す図である。
【図６】本実施形態におけるビデオシーケンス記述スキームに含まれる記述ツールを示す模式図である。
【図７】ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）によるビデオシーケンス記述スキームの例を示す図である。
【図８】本実施形態におけるビデオオブジェクト記述スキームに含まれる記述ツールを示す模式図である。
【図９】ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）によるビデオオブジェクト記述スキームの例を示す図である。
【図１０】指定画像が矩形画像の場合のビジュアル特徴量選択画面の一例を示す図である。
【図１１】指定画像が任意形状画像の場合のビジュアル特徴量選択画面の一例を示す図である。
【図１２】指定画像が矩形動画像の場合のビジュアル特徴量選択画面の一例を示す図である。
【図１３】指定画像が任意形状動画像の場合のビジュアル特徴量選択画面の一例を示す図である。
【図１４】本実施形態による画像記述動作を示すフローチャートである。
【図１５】本発明の第２実施形態による画像記述システムの構成を示すブロック図である。
【図１６】本発明の第３実施形態による画像記述システムの構成を示すブロック図である。
【図１７】ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）による静止領域記述スキームの例を示す図である。
【図１８】ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）による動画像記述スキームの例を示す図である。
【符号の説明】
１０１入力部
１０２表示部
１０３プログラム制御プロセッサ
１０４制御プログラム
１０５画像記述スキーム検索部
１０６画像記述スキーム記憶部
１０７ビジュアル特徴量抽出部
１０８記述ファイル生成部
１０９記述ファイル記憶部
１１０画像データ記憶部
１１１記述ファイル検証部
１２１画像記述プログラム

Claims

画像の信号特徴量を記述する画像記述システムにおいて、
画像の種別ごとに定義された記述スキームを格納する格納手段と、
画像が指定されると、前記格納手段から当該指定画像の種別に対応する記述スキームを参照し、前記指定画像から抽出することができる特徴量を特定する制御手段と、
を有することを特徴とする画像記述システム。
前記指定画像から前記特定された特徴量に関するデータを抽出し、前記指定画像の記述ファイルを生成する記述ファイル生成手段をさらに有することを特徴とする請求項１記載の画像記述システム。
前記制御手段は、前記特定された特徴量を選択可能に前記表示部に表示することを特徴とする請求項１記載の画像記述システム。
前記指定画像から前記特定された特徴量のうち選択された特徴量に関するデータを抽出し、前記指定画像の記述ファイルを生成する記述ファイル生成手段をさらに有ることを特徴とする請求項３記載の画像記述システム。
前記指定画像の種別に対応する記述スキームを用いて前記記述ファイル生成手段により生成された記述ファイルを検証する記述ファイル検証手段をさらに有することを特徴とする請求項２または４に記載の画像記述システム。
前記格納手段は、矩形画像を記述する矩形画像記述スキーム、任意形状画像を記述する任意形状画像記述スキーム、矩形フレームの集合である動画像を記述する矩形動画像記述スキーム、および、矩形フレームの集合である動画像内の任意形状の対象を記述するビデオオブジェクト記述スキームのうち少なくとも１つを格納することを特徴とする請求項１記載の画像記述システム。
前記矩形画像記述スキームは、色分布、色配置、色温度、照明条件補正色、エッジ分布、および、テクスチャを少なくとも含む複数の特徴量のうち１つ以上の特徴量を有することを特徴とする請求項６記載の画像記述システム。
前記１つ以上の特徴量の各々は少なくとも１つの選択可能な記述子からなり、
前記色分布特徴量は、ＤｏｍｉｎａｎｔＣｏｌｏｒ、ＳｃａｌａｂｌｅＣｏｌｏｒおよびＣｏｌｏｒＳｔｒｕｃｔｕｒｅを少なくとも含む複数の記述子からなり、このうち少なくとも１つが選択可能であり、
前記テクスチャ特徴量は、ＨｏｍｏｇｅｎｅｏｕｓＴｅｘｔｕｒｅおよびＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇを少なくとも含む複数の記述子からなり、このうち少なくとも１つを選択可能である、
ことを特徴とする請求項７記載の画像記述システム。
前記任意形状画像記述スキームは、色分布、色配置、色温度、照明条件補正色、エッジ分布、テクスチャ、および、形状を少なくとも含む複数の特徴量のうち１つ以上の特徴量を有することを特徴とする請求項６記載の画像記述システム。
前記１つ以上の特徴量の各々は少なくとも１つの選択可能な記述子からなり、
前記形状特徴量は、ＣｏｎｔｏｕｒＳｈａｐｅおよびＲｅｇｉｏｎＳｈａｐｅを少なくとも含む複数の記述子からなり、このうち少なくとも１つが選択されることを特徴とする請求項９記載の画像記述システム。
前記矩形動画像記述スキームは、前記矩形フレームの時系列データ、代表特徴量および動きアクティビティを少なくとも含む複数の特徴量のうち１つ以上の特徴量を含むことを特徴とする請求項６記載の画像記述システム。
前記１つ以上の特徴量の各々は少なくとも１つの選択可能な記述子からなり、
前記時系列データは、色分布、色配置、色温度、照明条件補正色、エッジ分布、および、テクスチャを少なくとも含む複数の特徴量のうち１つ以上の特徴量を有し、各特徴量は少なくとも１つの選択可能な記述子からなり、
前記色分布特徴量は、ＤｏｍｉｎａｎｔＣｏｌｏｒ、ＳｃａｌａｂｌｅＣｏｌｏｒおよびＣｏｌｏｒＳｔｒｕｃｔｕｒｅを少なくとも含む複数の記述子からなり、このうち少なくとも１つが選択可能であり、
前記テクスチャは、ＨｏｍｏｇｅｎｅｏｕｓＴｅｘｔｕｒｅおよびＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇを少なくとも含む複数の記述子からなり、このうち少なくとも１つが選択可能である、
ことを特徴とする請求項１１記載の画像記述システム。
前記代表特徴量は、色分布、色配置、色温度、照明条件補正色、エッジ分布、および、テクスチャを少なくとも含む複数の特徴量のうち１つ以上の特徴量を有し、各特徴量は少なくとも１つの選択可能な記述子からなり、
前記色分布特徴量は、ＤｏｍｉｎａｎｔＣｏｌｏｒ、ＳｃａｌａｂｌｅＣｏｌｏｒおよびＣｏｌｏｒＳｔｒｕｃｔｕｒｅを少なくとも含む複数の記述子からなり、このうち少なくとも１つが選択可能であり、
前記テクスチャは、ＨｏｍｏｇｅｎｅｏｕｓＴｅｘｔｕｒｅおよびＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇを少なくとも含む複数の記述子からなり、このうち少なくとも１つが選択可能である、
ことを特徴とする請求項１１記載の画像記述システム。
前記ビデオオブジェクト記述スキームは、前記矩形フレームの時系列データ、代表特徴量、動きアクティビティ、物体動き、および、形状変化を少なくとも含む複数の特徴量のうち１つ以上の特徴量を有することを特徴とする請求項６記載の画像記述システム。
前記１つ以上の特徴量の各々は少なくとも１つの選択可能な記述子からなり、前記物体動きは、ＭｏｔｉｏｎＴｒａｊｅｃｔｏｒｙおよびＰａｒａｍｅｔｅｒＭｏｔｉｏｎを少なくとも含む複数の記述子からなり、このうち少なくとも１つが選択可能であることを特徴とする請求項１４記載の画像記述システム。
前記時系列データは、色分布、色配置、色温度、照明条件補正色、エッジ分布、および、テクスチャを少なくとも含む複数の特徴量のうち１つ以上の特徴量を有し、各特徴量は少なくとも１つの選択可能な記述子からなり、
前記色分布特徴量は、ＤｏｍｉｎａｎｔＣｏｌｏｒ、ＳｃａｌａｂｌｅＣｏｌｏｒおよびＣｏｌｏｒＳｔｒｕｃｔｕｒｅを少なくとも含む複数の記述子からなり、このうち少なくとも１つが選択可能であり、
前記テクスチャは、ＨｏｍｏｇｅｎｅｏｕｓＴｅｘｔｕｒｅおよびＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇを少なくとも含む複数の記述子からなり、このうち少なくとも１つが選択可能である、
ことを特徴とする請求項１４記載の画像記述システム。
前記代表特徴量は、色分布、色配置、色温度、照明条件補正色、エッジ分布、および、テクスチャを少なくとも含む複数の特徴量のうち１つ以上の特徴量を有し、各特徴量は少なくとも１つの選択可能な記述子からなる、
前記色分布特徴量は、ＤｏｍｉｎａｎｔＣｏｌｏｒ、ＳｃａｌａｂｌｅＣｏｌｏｒおよびＣｏｌｏｒＳｔｒｕｃｔｕｒｅを少なくとも含む複数の記述子からなり、このうち少なくとも１つが選択可能であり、
前記テクスチャは、ＨｏｍｏｇｅｎｅｏｕｓＴｅｘｔｕｒｅおよびＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇを少なくとも含む複数の記述子からなり、このうち少なくとも１つが選択可能である、
ことを特徴とする請求項１４記載の画像記述システム。
画像の信号特徴量を記述する画像記述方法において、
画像の種別ごとに定義された記述スキームを格納し、
画像が指定されると、当該指定画像の種別に対応する記述スキームを検索して前記指定画像から抽出することができる特徴量を特定し、
前記指定画像から抽出することができる特徴量を選択可能に表示する、
ことを特徴とする画像記述方法。
さらに、
前記表示された特徴量から所望の特徴量を選択し、
前記所望の特徴量に従って前記指定画像から特徴量を抽出して記述ファイルを生成する、
ことを特徴とする請求項１８記載の画像記述方法。
さらに、
前記指定画像の種別に対応する記述スキームを用いて前記生成された記述ファイルを検証する、
ことを特徴とする請求項１９記載の画像記述方法。
コンピュータに、画像の信号特徴量を記述する画像記述処理を実行させるためのプログラムにおいて、
画像が指定されると、画像の種別ごとに定義された記述スキームを格納した記憶部から当該指定画像の種別に対応する記述スキームを検索するステップと、
検索された記述スキームに基づいて前記指定画像から抽出することができる特徴量を特定するステップと、
前記指定画像から抽出することができる特徴量を選択可能に表示するステップと、
を有することを特徴とする画像記述プログラム。
さらに、
前記表示された特徴量から所望の特徴量が選択されると、前記所望の特徴量に従って前記指定画像から特徴量を抽出して記述ファイルを生成するステップ
を有することを特徴とする請求項２１記載の画像記述プログラム。
さらに、
前記指定画像の種別に対応する記述スキームを用いて前記生成された記述ファイルを検証するステップ
を有することを特徴とする請求項２２記載の画像記述プログラム。
前記格納手段は、静止画像の特徴量を記述する静止画像記述スキーム、矩形フレームの集合である動画像を記述する矩形動画像記述スキーム、および、矩形フレームの集合である動画像内の任意形状の対象を記述するビデオオブジェクト記述スキームのうち少なくとも１つを格納することを特徴とする請求項１記載の画像記述システム。
前記静止画像記述スキームは、色分布特徴量、色配置特徴量、色温度特徴量、照明条件補正色特徴量、エッジ分布特徴量、および、テクスチャ特徴量を少なくとも含む複数の特徴量のうち１つ以上の特徴量を有することを特徴とする請求項２４記載の画像記述システム。
前記１つ以上の特徴量の各々は少なくとも１つの選択可能な記述子からなり、
前記色分布特徴量は、ＤｏｍｉｎａｎｔＣｏｌｏｒ、ＳｃａｌａｂｌｅＣｏｌｏｒおよびＣｏｌｏｒＳｔｒｕｃｔｕｒｅを少なくとも含む複数の記述子からなり、このうち少なくとも１つが選択可能であり、
前記色配置特徴量は、ＣｏｌｏｒＬａｙｏｕｔを少なくとも含む記述子からなり、このうち少なくとも１つが選択可能であり、
前記色温度特徴量は、ＣｏｌｏｒＴｅｍｐｅｒａｔｕｒｅを少なくとも含む記述子からなり、このうち少なくとも１つが選択可能であり、
前記照明条件補正色特徴量は、ＩｌｌｕｍｉｎａｔｉｏｎＩｎｖａｒｉａｎｔＣｏｌｏｒを少なくとも含む記述子からなり、このうち少なくとも１つが選択可能であり、
前記エッジ分布特徴量は、ＥｄｇｅＨｉｓｔｏｇｒａｍを少なくとも含む記述子からなり、このうち少なくとも１つが選択可能であり、
前記テクスチャ特徴量は、ＨｏｍｏｇｅｎｅｏｕｓＴｅｘｔｕｒｅおよびＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇを少なくとも含む複数の記述子からなり、このうち少なくとも１つを選択可能である、
ことを特徴とする請求項２５記載の画像記述システム。
前記静止画像記述スキームは、さらに、形状特徴量を含み、
前記形状特徴量は、ＲｅｇｉｏｎＳｈａｐｅおよびＣｏｎｔｏｕｒＳｈａｐｅを少なくとも含む複数の記述子からなり、このうち少なくとも１つを選択可能であることを特徴とする請求項２５記載の画像記述システム。
前記格納手段は、静止画像の特徴量を記述する静止画像記述スキームおよび動画像を記述する動画像記述スキームのうち少なくとも１つを格納することを特徴とする請求項１記載の画像記述システム。
前記動画像記述スキームは、前記動画像のフレームの時系列データ、前記動画像の代表特徴量、および、前記動画像の動きアクティビティを少なくとも含む複数の特徴量のうち１つ以上の特徴量を有し、各特徴量は少なくとも１つの記述子を選択可能に含むことを特徴とする請求項２８記載の画像記述システム。
前記動画像記述スキームは、さらに、前記動画像の動き記述および前記動画像の形状変化記述を含むことを特徴とする請求項２９記載の画像記述システム。
指定された画像の種別に対応する記述スキームを参照して前記指定画像から抽出することができる特徴量を特定する画像記述システムにおいて用いられる記述スキームにおいて、
色分布特徴量、色配置特徴量、色温度特徴量、照明条件補正色特徴量、エッジ分布特徴量、および、テクスチャ特徴量を少なくとも含む複数の特徴量のうち１つ以上の特徴量を有し、
前記色分布特徴量は、ＤｏｍｉｎａｎｔＣｏｌｏｒ、ＳｃａｌａｂｌｅＣｏｌｏｒおよびＣｏｌｏｒＳｔｒｕｃｔｕｒｅを少なくとも含む複数の記述子からなり、このうち少なくとも１つが選択可能であり、
前記色配置特徴量は、ＣｏｌｏｒＬａｙｏｕｔを少なくとも含む記述子からなり、このうち少なくとも１つが選択可能であり、
前記色温度特徴量は、ＣｏｌｏｒＴｅｍｐｅｒａｔｕｒｅを少なくとも含む記述子からなり、このうち少なくとも１つが選択可能であり、
前記照明条件補正色特徴量は、ＩｌｌｕｍｉｎａｔｉｏｎＩｎｖａｒｉａｎｔＣｏｌｏｒを少なくとも含む記述子からなり、このうち少なくとも１つが選択可能であり、
前記エッジ分布特徴量は、ＥｄｇｅＨｉｓｔｏｇｒａｍを少なくとも含む記述子からなり、このうち少なくとも１つが選択可能であり、
前記テクスチャ特徴量は、ＨｏｍｏｇｅｎｅｏｕｓＴｅｘｔｕｒｅおよびＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇを少なくとも含む複数の記述子からなり、このうち少なくとも１つを選択可能である、
ことを特徴とする記述スキーム。
前記記述スキームは、さらに、形状特徴量を含み、
前記形状特徴量は、ＲｅｇｉｏｎＳｈａｐｅおよびＣｏｎｔｏｕｒＳｈａｐｅを少なくとも含む複数の記述子からなり、このうち少なくとも１つを選択可能であることを特徴とする請求項３１記載の記述スキーム。
指定された画像の種別に対応する記述スキームを参照して前記指定画像から抽出することができる特徴量を特定する画像記述システムにおいて用いられる記述スキームにおいて、
動画像のフレームの時系列データ、前記動画像の代表特徴量、および、前記動画像の動きアクティビティを少なくとも含む複数の特徴量のうち１つ以上の特徴量を有し、各特徴量は少なくとも１つの記述子を選択可能に含むことを特徴とする請求項２８記載の画像記述システム。
前記動画像記述スキームは、さらに、前記動画像の動き記述および前記動画像の形状変化記述を含むことを特徴とする請求項２９記載の画像記述システム。