JP2006155042A

JP2006155042A - マルチメディア情報検索システム及びプログラム

Info

Publication number: JP2006155042A
Application number: JP2004342304A
Authority: JP
Inventors: Takiya Shibata; 滝也柴田; Yukari Kawasaki; 由加里川崎; Maika Kawasaki; 舞佳川崎; Junko Kanamori; 淳香金森
Original assignee: Tokyo Denki University
Current assignee: Tokyo Denki University
Priority date: 2004-11-26
Filing date: 2004-11-26
Publication date: 2006-06-15
Anticipated expiration: 2024-11-26
Also published as: JP4621909B2

Abstract

【課題】ユーザが画像情報をキーにその画像情報とマッチングする音情報をデータベースから検索し、あるいは音情報をキーにその音情報とマッチングする画像情報をデータベースから検索するマルチメディア情報検索システムを提供する。
【解決手段】この発明のマルチメディア情報検索システムでは、入力された音データを周波数分析して音特徴量を生成し、この音特徴量にマッチングする画像コントラストファクタを決定し、この画像コントラストファクスをキーにして画像識別子と画像データと画像コントラストファクタとを対応させた画像レコードを多種類登録している画像データベースを検索し、該当する画像データを抽出する、あるいはその逆の検索を行う。
【選択図】図１

Description

本発明は、コントラストモデルを用いたマルチメディア情報検索システム及びプログラムに関する。

従来、インターネット上の検索に利用されるＧｏｏｇｌｅ（登録商標）、Ｙａｈｏｏ！（登録商標）のような検索システムは、テキストによる検索が主であり、テキスト以外の異なるメディア情報間の検索システムはほとんど知られていない。また画像情報や音情報のような異なるメディアデータを編集には各種情報に関連する知識が必要とされ、専門技術者でなければこのような情報の編集ができない。しかも専門技術者であってもインターネット上にあるメディア情報をすべて見ることはできない。反面、現在、高度な専門知識を有しないユーザが多量に流されるインターネット上のマルチメディアデータにアクセスするようになってきている。また、地上波ディジタル放送が解禁されると、その放送に流すコンテンツの重要が増加することが予想される。

このような現実では、高度な知識を有しない一般ユーザであっても異なるメディアデータを編集できるシステムが存在するようになれば、コンテンツの内容の幅が広がり、将来のコンテンツ産業の拡大が期待できる。

本発明は、このような従来の技術的課題に鑑みてなされたもので、ユーザが画像情報をキーにその画像情報とマッチングする音情報を音データベースから検索できるマルチメディア情報検索システム及びプログラムを提供することを目的とする。

本発明はまた、ユーザが音情報をキーにその音情報とマッチングする画像情報を画像データベースから検索できるマルチメディア情報検索システム及びプログラムを提供することを目的とする。

本発明の第１の特徴は、表示出力、印字出力、ネットワークに対する情報入出力、入力手段からの情報入力を処理する入出力処理部と、画像識別子と画像データと画像特徴量とを対応させた画像レコードを多種類登録している画像データベースと、前記入出力処理部に入力された音データを周波数分析し、音特徴量を生成する音分析部と、前記音分析部の生成した音特徴量にマッチングする画像特徴量を決定する音・画像マッチング処理部と、前記音・画像マッチング処理部の決定した画像特徴量をキーにして前記画像データベースを検索し、該当する画像特徴量を持つ画像データを抽出する画像データベース検索部とを備えたマルチメディア情報検索システムにある。

ここで、前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、

の画像特徴量算出式に基づいて算出した画像特徴量Ｃｒｇ，Ｃｙｂとを対応させた画像レコードを多種類保持しており、前記音分析部は、入力された音データに対して、

式に基づいて、音特徴量Ｃｆを求め、前記音・画像マッチング処理部は、音特徴量Ｃｆとこれにマッチングする画像特徴量Ｃｒｇ，Ｃｙｂとの対応データを保持していて、前記音分析部の求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像特徴量Ｃｒｇ，Ｃｙｇを決定するものとすることができる。

また、前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、

の画像特徴量算出式に基づいて算出した画像特徴量としての彩度Ｃｓ１又はＣｓ２とを対応させた画像レコードを多種類保持しており、前記音分析部は、入力された音データに対して、前記音特徴量Ｃｆを求め、前記音・画像マッチング処理部は、音特徴量Ｃｆとこれにマッチングする画像彩度Ｃｓ１又はＣｓ２との対応データを保持していて、前記音分析部の求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像彩度Ｃｓ１又はＣｓ２を決定するものとすることができる。

の画像特徴量算出式に基づいて算出した画像特徴量としての明度Ｃｂｒとを対応させた画像レコードを多種類保持しており、前記音分析部は、入力された音データに対して、前記音特徴量Ｃｆを求め、前記音・画像マッチング処理部は、音特徴量Ｃｆとこれにマッチングする画像明度Ｃｂｒとの対応データを保持していて、前記音分析部の求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像明度Ｃｂｒを決定するものとすることができる。

本発明の第２の特徴は、表示出力、印字出力、ネットワークに対する情報入出力、入力手段からの情報入力を処理する入出力処理部と、音識別子と音データと音特徴量とを対応させた音レコードを多種類登録している音データベースと、前記入出力処理部に入力された画像データに所定の画像特徴量算出式を適用して画像特徴量を生成する画像分析部と、前記画像分析部の生成した画像特徴量にマッチングする音特徴量を決定する画像・音マッチング処理部と、前記画像・音マッチング処理部の決定した音特徴量をキーにして前記音データベースを検索し、該当する音特徴量を持つ音データを抽出する音データベース検索部とを備えたマルチメディア情報検索システムにある。

ここで、前記音データベースは、音識別子と、音データと、当該音データに対して、

の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、前記画像分析部は、入力された画像データに対して、

式に基づいて、画像特徴量Ｃｒｇ，Ｃｙｂを求め、前記画像・音マッチング処理部は、画像特徴量Ｃｒｇ，Ｃｙｂとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析部の求めた画像特徴量Ｃｒｇ，Ｃｙｂに対して当該対応データを参照して当該画像特徴量にマッチングする音特徴量Ｃｆを決定するものとすることができる。

また、前記音データベースは、音識別子と、音データと、当該音データに対して、前記音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、前記画像分析部は、入力された画像データに対して、

式に基づいて、画像特徴量としての彩度Ｃｓ１又はＣｓ２を求め、前記画像・音マッチング処理部は、画像特徴量Ｃｓ１又はＣｓ２とこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析部の求めた画像彩度Ｃｓ１又はＣｓ２に対して当該対応データを参照して当該画像彩度にマッチングする音特徴量Ｃｆを決定するものとすることができる。

式に基づいて、画像特徴量としての明度Ｃｂｒを求め、前記画像・音マッチング処理部は、画像明度Ｃｂｒとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析部の求めた画像明度Ｃｂｒに対して当該対応データを参照して当該画像明度にマッチングする音特徴量Ｃｆを決定するものとすることができる。

本発明の第３の特徴は、入力された音データを周波数分析し、音特徴量を生成する音分析ステップと、前記音分析ステップで生成した音特徴量にマッチングする画像特徴量を決定する音・画像マッチング処理ステップと、前記音・画像マッチング処理ステップで決定した画像特徴量をキーにして、画像識別子と画像データと画像特徴量とを対応させた画像レコードを多数保持している画像データベースを検索し、該当する画像特徴量を持つ画像データを抽出する画像データベース検索ステップとをコンピュータに実行させるマルチメディア情報検索プログラムにある。

の画像特徴量算出式に基づいて算出した画像特徴量Ｃｒｇ，Ｃｙｂとを対応させた画像レコードを多種類保持しており、前記音分析ステップでは、入力された音データに対して、

式に基づいて、音特徴量Ｃｆを求め、前記音・画像マッチング処理ステップでは、音特徴量Ｃｆとこれにマッチングする画像特徴量Ｃｒｇ，Ｃｙｂとの対応データを保持していて、前記音分析ステップで求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像特徴量Ｃｒｇ，Ｃｙｇを決定するものとすることができる。

の画像特徴量算出式に基づいて算出した画像特徴量としての彩度Ｃｓ１又はＣｓ２とを対応させた画像レコードを多種類保持しており、前記音分析ステップでは、入力された音データに対して、前記音特徴量Ｃｆを求め、前記音・画像マッチング処理ステップでは、音特徴量Ｃｆとこれにマッチングする画像彩度Ｃｓ１又はＣｓ２との対応データを保持していて、前記音分析部の求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像彩度Ｃｓ１又はＣｓ２を決定するものとすることができる。

の画像特徴量算出式に基づいて算出した画像特徴量としての明度Ｃｂｒとを対応させた画像レコードを多種類保持しており、前記音分析ステップでは、入力された音データに対して、前記音特徴量Ｃｆを求め、前記音・画像マッチング処理ステップでは、音特徴量Ｃｆとこれにマッチングする画像明度Ｃｂｒとの対応データを保持していて、前記音分析ステップで求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像明度Ｃｂｒを決定するものとすることができる。

本発明の第４の特徴は、入力された画像データに所定の画像特徴量算出式を適用して画像特徴量を生成する画像分析ステップと、前記画像分析ステップで生成した画像特徴量にマッチングする音特徴量を決定する画像・音マッチング処理ステップと、前記画像・音マッチング処理ステップで決定した音特徴量をキーにして、音識別子と音データと音特徴量とを対応させた音レコードを多種類登録している音データベースを検索し、該当する音特徴量を持つ音データを抽出する音データベース検索ステップとをコンピュータに実行させるマルチメディア情報検索プログラムにある。

の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、前記画像分析ステップでは、入力された画像データに対して、

式に基づいて、画像特徴量Ｃｒｇ，Ｃｙｂを求め、前記画像・音マッチング処理ステップでは、画像特徴量Ｃｒｇ，Ｃｙｂとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析ステップで求めた画像特徴量Ｃｒｇ，Ｃｙｂに対して当該対応データを参照して当該画像特徴量にマッチングする音特徴量Ｃｆを決定するものとすることができる。

また、前記音データベースは、音識別子と、音データと、当該音データに対して、前記音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、前記画像分析ステップでは、入力された画像データに対して、

式に基づいて、画像特徴量としての彩度Ｃｓ１又はＣｓ２を求め、前記画像・音マッチング処理ステップでは、画像特徴量Ｃｓ１又はＣｓ２とこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析ステップで求めた画像彩度Ｃｓ１又はＣｓ２に対して当該対応データを参照して当該画像彩度にマッチングする音特徴量Ｃｆを決定するものとすることができる。

式に基づいて、画像特徴量としての明度Ｃｂｒを求め、前記画像・音マッチング処理ステップでは、画像明度Ｃｂｒとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析ステップで求めた画像明度Ｃｂｒに対して当該対応データを参照して当該画像明度にマッチングする音特徴量Ｃｆを決定するものとすることができる。

本発明によれば、ユーザが入力される画像情報をキーにその画像情報とマッチングする音情報をデータベースから検索できる。

また本発明によれば、ユーザが入力される音情報をキーにその音情報とマッチングする画像情報をデータベースから検索できる。

以下、本発明の実施の形態を図に基づいて詳説する。

（第１の実施の形態）図１は本発明の１つの実施の形態のマルチメディア情報検索システムの構成を示している。本実施の形態のマルチメディア情報検索システムは、入力された音データに調和する画像データを検索して抽出する機能、また入力された画像データに調和する音データを検索して抽出する機能を備えていて、表示装置１０、図示しないプリンタやネットワークに対する情報出力、キーボード１１、図示しないポインティングデバイスやネットワークからの情報入力を処理する入出力処理部１、入力された音データを分析して保存処理する音分析部２、入力された画像データを分析し保存処理する画像分析部３、音分析部２にて分析された音データを保存する音データベース４、画像分析部３にて分析された画像データを保存する画像データベース５、音データとマッチする画像データの検索又はその逆の検索を実行し、入力された音データにマッチする画像データ、又は入力された画像データにマッチする音データを抽出するマッチング処理部６、これらのすべての要素をプログラムに従って制御する制御部７を備えている。なお、本システムは本来、コンピュータシステムに当該諸機能を備えたマルチメディア情報検索プログラムをインストールして実行させることにより実現されるものであるが、ここでは説明の便宜のために音分析部２、画像分析部３、マッチング処理部６等、個別のブロックに分けて示している。

次に、上記構成のマルチメディア情報検索システムによる検索動作について説明する。まず、音データベース４、画像データベース５に音データ、画像データを登録する処理を説明する。音特徴量算出式に基づいて多数の音データそれぞれの音特徴量を算出し、音識別子と音データとこの音特徴量とを対応させて音データベース４に登録する。同様に画像特徴量算出式に基づいて多数の画像データそれぞれの画像特徴量を算出し、画像識別子と画像データとこの画像特徴量とを対応させて画像データベース５に登録する。

まず、画像のコントラストモデルを以下のように定義する。

コントラストの計算は、画像全体のＲＧＢそれぞれの平均値ｒ，ｇ，ｂを求めた後、（１）、（２）式に代入し、コントラスト値Ｃｒｇ，Ｃｙｂを求める。そして、彩度の近似式Ｃｓ１，Ｃｓ２を（３）、（４）式にて求める。

調和に関連して、ムーン・スペンサーは二色配色の色彩調和の理論を提案している（乾敏郎著、「建築の色彩設計」、鹿島出版会、１９７６年）。それによれば、図２、図３に示したように、色相、彩度、明度の「同等」、「類似」の二色配色では調和度が高くなる一方、少し異種の色相、彩度、明度では調和度が低くなる。そしてこの現象はすべての色相、彩度、明度に相対的に起こる。

一方、同じような現象が二音和音（純音）にも起こる。異なる周波数から成る二音和音において、その周波数との差によって協和・不協和が生じる。図４は周波数差と協和・不協和との分布を示している（Ｐｌｏｍｐ＆Ｌｅｖｅｌｔの分布）が、色相の場合と同様に二音和音の協和度は周波数が同等、接近しているときには高くなる一方、少し周波数が離れると不協和度が大きくなり、Ｖ字型の分布となる。

この現象を踏まえ、画像データに関して導き出したのが上式（１）〜（４）である。これを用いて、横軸を色相（０°から３６０°）、縦軸を画像コントラスト値にした分布を図５に示している。この図５のグラフを見れば、図４の周波数差と協和度・不協和度との分布と同じようなＶ字型の分布になっていることが分かる。

＜実験１の内容＞
次に、画像コントラストモデルと音の協和音・不協和音との間での調和・不調和の関係を検証するために、次のような心理実験１を実施した。つまり、明るい色調の画像には協和音が調和すると感じるか、不協和音が調和すると感じるか、また逆に暗い色調の画像には協和音が調和すると感じるか、不協和音が調和すると感じるかをテストした。

・画像サンプル：黒地に紫の画像、和紙テクスチャ、樹木表面、空、イチョウの葉、カラフルビーズの計６種類。

・和音サンプル：協和音２種類（Ａ４−Ｃ４、Ａ４−Ｆ４）、不協和音２種類（Ｇ８−Ａ４、Ａ４−Ａ＃４）の二音和音計４種類。

・実験サンプル：二音和音のみ４種類、自然画像６種類×二音和音４種類、計２８サンプル。音サンプルは電子ピアノの生演奏。

・有効被験者：２０歳代前半の大学生８名。

・スケール：調和度・不調和度を７段階（１に近いほど調和度が高い）で評価する。

画像コントラストモデル値Ｃｒｇ，Ｃｙｂとこの実験結果による調和度・不調和度の関係を図６、図７に示している。この結果から、図６に示すように、協和音については、コントラスト値Ｃｒｇとの調和度が正の相関（図６では負であるが、調和度が小さいと調和となるため）があり、コントラスト値Ｃｒｇが大きいほど調和度が上がる傾向を確認できる。他方、Ｃｙｂとの相関は弱い。図７に示すように、不協和音については、コントラスト値Ｃｙｂとの調和度が負の相関があり、コントラスト値Ｃｙｂが小さいほど調和度が上がる傾向がある。他方、Ｃｒｇとの相関は弱い。つまり、調和度を上げる方法としては、協和音にはコントラスト値Ｃｒｇが大きい画像、他方、不協和音にはコントラスト値Ｃｙｂが小さい画像が有効であることが分かった。

これから、画像と音の調和・不調和について判断する場合、二音和音が協和音あるいは不協和音かによって調和する画像が異なる。したがって、画像と音との調和・不調和を推定するためには二音和音が協和音か不協和音かを推定した上でマッチングする画像を決める必要がある。

上述の二音和音の周波数の差と協和度・不協和度の分布を参考にして構築した数式による推定モデルは次の通りである。この推定モデルを構築する上で、次の項目を前提条件とした。

（ａ）１オクターブ内でのモデル。

（ｂ）１オクターブ内の最小周波数ｆ０と最大周波数ｆ１（＝２ｆ０）を利用。

（ｃ）ウェーバーの法則を利用。

（ｄ）画像のコントラストモデルを参考。

上の（ａ）、（ｂ）の条件より、ｆをオクターブ内の任意の周波数、ｆ０を１オクターブ内の最小周波数＝基準周波数、ｆ１（＝２ｆ０）を１オクターブ内の最大周波数とする。上の（１）式の画像コントラストモデルにおいて、変数はｒ，ｇの２変数からなっており、二音和音では周波数ｆだけの１変数である。図４のようなＶ字型の分布にするためには、上の条件（ｃ）のウェーバーの法則を用い、２つの変数ｆａ，ｆｂを次の（５）、（６）式のように定義した。ここで、ｆａは周波数ｆと基準周波数ｆ０との差を基準周波数ｆ０で割り、ｆｂは最大周波数ｆ１と周波数ｆとの差を基準周波数ｆ０で割った値とする。

また上の条件（ｄ）より、（１）、（２）式の画像コントラストモデルを参考にして、周波数コントラストモデルＣｆ’を次の（７）式のように定義する。

しかし、Ｐｌｏｍｐ＆Ｌｅｖｅｌｔの分布により、最不協和になるときＣｆ＝０にならないので、次の（８）式のようにパラメータαを導入する。これによって、Ｃｆ＝０のときの周波数の値が変化する。

（５）、（６）式をこの（８）式に代入すると、

となる。

Ｃｆ＝０のとき、ｆの値をｆ’とすると、

である。ここで、Ｚｗｉｃｋｅｒらの臨界帯域幅ｆｗのモデル式を、

と近似する。そうすれば、Ｐｌｏｍｐ＆Ｌｅｖｅｌｔの分布は、

のときに０（＝Ｃｆ）となるので、（１１）式より、

が得られる。そこで、（１０）、（１２）式よりｆ’を消去すれば、次の（１３）式が得られる。

（９）式にこの（１３）式を代入すると、

となる。図８は基準周波数がｆ０＝４４０Ｈｚのとき、図９は基準周波数がｆ０＝８８０Ｈｚのときの周波数ｆとＣｆ値の分布を示している。よって、（１）、（２）、（１４）式を用いて、画像と音の調和・不調和を自動推定することが可能になる。そしてさらに実験と解析を続けたところ、実際には、画像の彩度と音の協和度、また画像の彩度と音の不協和度との間に相関があることが見出せた。

図１に示した本実施の形態のシステムは、この（３）、（４）式と（１２）式を演算し、この結果から、画像と音の調和度・不調和度を自動推定し、与えられた音にマッチングする画像を抽出し、また逆に与えられた画像にマッチングする音を抽出する。

＜データベースへの登録＞
まず、音データベース４、画像データベース５に対するデータ蓄積処理は、次による。記録メディアあるいはネットワークを通じて多種類の音データを順次、入出力処理部１を通じて入力し、音分析部２によって（１４）式に基づいて協和度・不協和度を演算し、識別子、音データ、演算結果を音データベース４に順次登録しておく。同様に、記録メディアあるいはネットワークを通じて多種類の画像データを順次、入出力処理部１を通じて入力し、画像分析部３によって（３）、（４）式に基づいて彩度を演算し、識別子、画像データ、演算結果を画像データベース５に順次登録しておく。

＜音をキーにした画像検索＞
入力される音データをキーにして調和する画像を検索して抽出する処理を、図１０のフローチャートを用いて説明する。入力される音データに対して、その協和度、不協和度を（１４）式によって分析する（ステップＳ１，Ｓ２）。協和音とする基準は、０．６＜Ｃｆ≦１．０、逆に不協和音とする基準は、０≦Ｃｆ＜０．３、そして０．３≦Ｃｆ≦０．６はそのどちらでもないとする。

続いて、この音データの協和度・不協和度に応じて調和度の高い画像の彩度を決定するマッチング処理をし（ステップＳ３）、その彩度を持つ画像データを画像データベース５から抽出する（ステップＳ４）。

＜画像をキーにした音検索＞
入力される画像データをキーにして調和する音を検索して抽出する処理を、図１１のフローチャートを用いて説明する。入力される画像データに対して、その彩度を（３）、（４）式によって分析する（ステップＳ１１，Ｓ１２）。

続いて、この画像データの彩度に応じて調和度の高い音の協和度、不協和度を決定するマッチング処理をし（ステップＳ１３）、その協和度、不協和度を持つ音データを音データベース４から抽出する（ステップＳ１４）。つまり、０．６＜Ｃｆ≦１．０のＣｆを持つ音データを協和音として抽出し、逆に０≦Ｃｆ＜０．３のＣｆを持つ音データを不協和音として抽出する。

以上の処理により、本発明のシステムでは、入力される音データに対してマッチングする画像データを画像データベースを検索して抽出してユーザに提案することができ、また逆に入力される画像データに対してマッチングする音データを音データベースを検索して抽出してユーザに提案することができる。

なお、上記実施の形態では画像データについては静止画像について説明したが、動画像データについても各フレームごとに、あるいは一定時間間隔のフレームごとの画像特徴量を算出することで、音データとの調和を考えることができる。

（第２の実施の形態）本発明の第２の実施の形態のマルチメディア情報検索システムについて説明する。第２の実施の形態のシステムの構成は図１に示した第１の実施の形態と同様であるが、画像データを分析して画像特徴量を算出するために用いる式が異なっている。

すなわち、本実施の形態では、画像分析部３にて入力される画像データのＲＧＢについて画像全体で次の（１５）式によって明度Ｃｂｒを算出する。そして画像識別子と画像データとこの画像特徴量としての明度データとを対応させ、多数の画像データについて画像データベース５に登録しておく。但し、（１５）式において「２５６」はＲＧＢ各階調を０〜２５５の２５６段階で表示している場合に正規化するための数値であり、システムが採用する画像データのフォーマットによって異なるものである。

また入力される画像データに対して調和度の高い音データを音データベース４から抽出する処理では、画像分析部３において入力された画像データに対して上述の演算によって画像特徴量を算出し、マッチング処理部６において得られた画像特徴量に対して調和度の高い音特徴量、すなわち、協和音であるか不協和音であるかを判断し、該当するＣｆ値を持つ音データを音データベース４から抽出するのである。本実施の形態でも、明度Ｃｂｒの高い画像データに対しては協和音が調和し、明度Ｃｂｒの低い画像データに対しては不協和音が調和するものとして音データベース４から抽出する。

この第２の実施の形態のマルチメディア情報検索システムによれば、明るい画像に協和音が対応し、暗い画像に対して不協和音が対応し、相互に検索することができる。なお、上記実施の形態でも画像データについては静止画像について説明したが、動画像データについても各フレームごとに、あるいは一定時間間隔のフレームごとの画像特徴量を算出することで、音データとの調和を考えることができる。

＜実験２の内容＞
次に、画像明度と音の協和音・不協和音との間での調和・不調和の関係を検証するために、次のような心理実験２を実施した。つまり、明るい画像には協和音が調和すると感じるか、不協和音が調和すると感じるか、また逆に暗い画像には協和音が調和すると感じるか、不協和音が調和すると感じるかをテストした。

・画像サンプル：画像データ２０００種類から２６種類を選定。

・和音サンプル：協和音１種類、不協和音１種類の二音和音計２種類。

・実験サンプル：二音和音のみ２種類、自然画像２６種類×二音和音２種類、計５４サンプル。音サンプルは電子ピアノの生演奏。

・有効被験者：２０代前半の大学生１６名。

この実験２データ結果として、明度Ｃｂｒと調和度・不調和度の関係を図１２、図１３に示す。その結果から、図１２に示すように、協和音については、明度Ｃｂｒは調和度と正の相関（図１２では負だが、調和度が小さいと調和となるため）があり、明度Ｃｂｒが大きいほど調和度が上がる傾向があることが確認できた。また、図１３に示すように、不協和音については、明度Ｃｂｒと負の相関があり、明度Ｃｂｒが小さいほど調和度が上がる傾向があることが確認できた。よって、調和度を上げる方法として、協和音には明度Ｃｂｒが大きい画像、一方、不協和音には明度Ｃｂｒが小さい画像が有効であると結論できた。

なお、上記第１、第２の実施の形態では、音データから調和度の高い画像データを検索して抽出する機能とその逆の検索・抽出機能を併有するシステムを示したが、音データから調和度の高い画像データを検索・抽出するだけの機能、あるいは逆に画像データから調和度の高い音データを検索・抽出するだけの機能の片方向だけの機能を有するマルチメディア情報検索システムを構築することも可能である。

本発明によれば、入力される音に対してマッチングする画像をデータベースを検索して抽出してユーザに提案することができ、または入力される画像に対してマッチングする音をデータベースを検索して抽出してユーザに提案することができるので、ある音楽を演奏している場所でスクリーンにその音楽の推移していく各部の協和度、不協和度に応じて調和する彩度の画像を連続的に変化させながら表示していくことができ、また逆に、ある映像を投影している場所で音空間にその映像の彩度の変化に応じて調和する協和度、不協和度の音を連続的に変化させながら再生していくことができ、再生する音と映像のマッチングが図れる。

本発明の１つの実施の形態のマルチメディア情報検索システムのブロック図。二色配色の色相間の調和、不調和の関係を示す図。二色配色の彩度、明度間の調和、不調和の関係を示す別の図。二音和音の周波数差と協和・不協和の関係を示すグラフ。画像の色相とコントラストモデル値Ｃｒｇ，Ｃｙｂとの関係分布を示すグラフ。画像コントラストモデル値Ｃｒｇ，Ｃｙｂと協和音との調和度の相関グラフ。画像コントラストモデル値Ｃｒｇ，Ｃｙｂと不協和音との調和度の相関グラフ。基準周波数４４０Ｈｚに対する他の音の周波数ｆと調和度Ｃｆとの関係を示すグラフ。基準周波数８８０Ｈｚに対する他の音の周波数ｆと調和度Ｃｆとの関係を示すグラフ。上記実施の形態による音情報をキーにした画像情報検索処理のフローチャート。上記実施の形態による画像情報をキーにした音情報検索処理のフローチャート。画像明度Ｃｂｒと協和音との調和度の相関グラフ。画像明度Ｃｂｒと不協和音との調和度の相関グラフ。

符号の説明

１入出力処理部
２音分析部
３画像分析部
４音データベース
５画像データベース
６マッチング処理部
７制御部
１０表示装置
１１キーボード

Claims

表示出力、印字出力、ネットワークに対する情報入出力、入力手段からの情報入力を処理する入出力処理部と、
画像識別子と画像データと画像特徴量とを対応させた画像レコードを多種類登録している画像データベースと、
前記入出力処理部に入力された音データを周波数分析し、音特徴量を生成する音分析部と、
前記音分析部の生成した音特徴量にマッチングする画像特徴量を決定する音・画像マッチング処理部と、
前記音・画像マッチング処理部の決定した画像特徴量をキーにして前記画像データベースを検索し、該当する画像特徴量を持つ画像データを抽出する画像データベース検索部とを備えたマルチメディア情報検索システム。
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、

の画像特徴量算出式に基づいて算出した画像特徴量Ｃｒｇ，Ｃｙｂとを対応させた画像レコードを多種類保持しており、
前記音分析部は、入力された音データに対して、

式に基づいて、音特徴量Ｃｆを求め、
前記音・画像マッチング処理部は、音特徴量Ｃｆとこれにマッチングする画像特徴量Ｃｒｇ，Ｃｙｂとの対応データを保持していて、前記音分析部の求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像特徴量Ｃｒｇ，Ｃｙｇを決定することを特徴とする請求項１に記載のマルチメディア情報検索システム。
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、

の画像特徴量算出式に基づいて算出した画像特徴量としての彩度Ｃｓ１又はＣｓ２とを対応させた画像レコードを多種類保持しており、
前記音分析部は、入力された音データに対して、

式に基づいて、音特徴量Ｃｆを求め、
前記音・画像マッチング処理部は、音特徴量Ｃｆとこれにマッチングする画像彩度Ｃｓ１又はＣｓ２との対応データを保持していて、前記音分析部の求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像彩度Ｃｓ１又はＣｓ２を決定することを特徴とする請求項１に記載のマルチメディア情報検索システム。
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、

の画像特徴量算出式に基づいて算出した画像特徴量としての明度Ｃｂｒとを対応させた画像レコードを多種類保持しており、
前記音分析部は、入力された音データに対して、

式に基づいて、音特徴量Ｃｆを求め、
前記音・画像マッチング処理部は、音特徴量Ｃｆとこれにマッチングする画像明度Ｃｂｒとの対応データを保持していて、前記音分析部の求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像明度Ｃｂｒを決定することを特徴とする請求項１に記載のマルチメディア情報検索システム。
表示出力、印字出力、ネットワークに対する情報入出力、入力手段からの情報入力を処理する入出力処理部と、
音識別子と音データと音特徴量とを対応させた音レコードを多種類登録している音データベースと、
前記入出力処理部に入力された画像データに所定の画像特徴量算出式を適用して画像特徴量を生成する画像分析部と、
前記画像分析部の生成した画像特徴量にマッチングする音特徴量を決定する画像・音マッチング処理部と、
前記画像・音マッチング処理部の決定した音特徴量をキーにして前記音データベースを検索し、該当する音特徴量を持つ音データを抽出する音データベース検索部とを備えたマルチメディア情報検索システム。
前記音データベースは、音識別子と、音データと、当該音データに対して、

の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、
前記画像分析部は、入力された画像データに対して、

式に基づいて、画像特徴量Ｃｒｇ，Ｃｙｂを求め、
前記画像・音マッチング処理部は、画像特徴量Ｃｒｇ，Ｃｙｂとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析部の求めた画像特徴量Ｃｒｇ，Ｃｙｂに対して当該対応データを参照して当該画像特徴量にマッチングする音特徴量Ｃｆを決定することを特徴とする請求項５に記載のマルチメディア情報検索システム。
前記音データベースは、音識別子と、音データと、当該音データに対して、

の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、
前記画像分析部は、入力された画像データに対して、

式に基づいて、画像特徴量としての彩度Ｃｓ１又はＣｓ２を求め、
前記画像・音マッチング処理部は、画像特徴量Ｃｓ１又はＣｓ２とこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析部の求めた画像彩度Ｃｓ１又はＣｓ２に対して当該対応データを参照して当該画像彩度にマッチングする音特徴量Ｃｆを決定することを特徴とする請求項５に記載のマルチメディア情報検索システム。
前記音データベースは、音識別子と、音データと、当該音データに対して、

の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、
前記画像分析部は、入力された画像データに対して、

式に基づいて、画像特徴量としての明度Ｃｂｒを求め、
前記画像・音マッチング処理部は、画像明度Ｃｂｒとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析部の求めた画像明度Ｃｂｒに対して当該対応データを参照して当該画像明度にマッチングする音特徴量Ｃｆを決定することを特徴とする請求項５に記載のマルチメディア情報検索システム。
入力された音データを周波数分析し、音特徴量を生成する音分析ステップと、
前記音分析ステップで生成した音特徴量にマッチングする画像特徴量を決定する音・画像マッチング処理ステップと、
前記音・画像マッチング処理ステップで決定した画像特徴量をキーにして、画像識別子と画像データと画像特徴量とを対応させた画像レコードを多数保持している画像データベースを検索し、該当する画像特徴量を持つ画像データを抽出する画像データベース検索ステップとをコンピュータに実行させるマルチメディア情報検索プログラム。
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、

の画像特徴量算出式に基づいて算出した画像特徴量Ｃｒｇ，Ｃｙｂとを対応させた画像レコードを多種類保持しており、
前記音分析ステップでは、入力された音データに対して、

式に基づいて、音特徴量Ｃｆを求め、
前記音・画像マッチング処理ステップでは、音特徴量Ｃｆとこれにマッチングする画像特徴量Ｃｒｇ，Ｃｙｂとの対応データを保持していて、前記音分析ステップで求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像特徴量Ｃｒｇ，Ｃｙｇを決定することを特徴とする請求項９に記載のマルチメディア情報検索プログラム。
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、

の画像特徴量算出式に基づいて算出した画像特徴量としての彩度Ｃｓ１又はＣｓ２とを対応させた画像レコードを多種類保持しており、
前記音分析ステップでは、入力された音データに対して、

式に基づいて、音特徴量Ｃｆを求め、
前記音・画像マッチング処理ステップでは、音特徴量Ｃｆとこれにマッチングする画像彩度Ｃｓ１又はＣｓ２との対応データを保持していて、前記音分析ステップで求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像彩度Ｃｓ１又はＣｓ２を決定することを特徴とする請求項９に記載のマルチメディア情報検索プログラム。
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、

の画像特徴量算出式に基づいて算出した画像特徴量としての明度Ｃｂｒとを対応させた画像レコードを多種類保持しており、
前記音分析ステップでは、入力された音データに対して、

式に基づいて、音特徴量Ｃｆを求め、
前記音・画像マッチング処理ステップでは、音特徴量Ｃｆとこれにマッチングする画像明度Ｃｂｒとの対応データを保持していて、前記音分析ステップで求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像明度Ｃｂｒを決定することを特徴とする請求項９に記載のマルチメディア情報検索プログラム。
入力された画像データに所定の画像特徴量算出式を適用して画像特徴量を生成する画像分析ステップと、
前記画像分析ステップで生成した画像特徴量にマッチングする音特徴量を決定する画像・音マッチング処理ステップと、
前記画像・音マッチング処理ステップで決定した音特徴量をキーにして、音識別子と音データと音特徴量とを対応させた音レコードを多種類登録している音データベースを検索し、該当する音特徴量を持つ音データを抽出する音データベース検索ステップとをコンピュータに実行させるマルチメディア情報検索プログラム。
前記音データベースは、音識別子と、音データと、当該音データに対して、

の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、
前記画像分析ステップでは、入力された画像データに対して、

式に基づいて、画像特徴量Ｃｒｇ，Ｃｙｂを求め、
前記画像・音マッチング処理ステップでは、画像特徴量Ｃｒｇ，Ｃｙｂとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析ステップで求めた画像特徴量Ｃｒｇ，Ｃｙｂに対して当該対応データを参照して当該画像特徴量にマッチングする音特徴量Ｃｆを決定することを特徴とする請求項１３に記載のマルチメディア情報検索プログラム。
前記音データベースは、音識別子と、音データと、当該音データに対して、

の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、
前記画像分析ステップでは、入力された画像データに対して、

式に基づいて、画像特徴量としての彩度Ｃｓ１又はＣｓ２を求め、
前記画像・音マッチング処理ステップでは、画像特徴量Ｃｓ１又はＣｓ２とこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析ステップで求めた画像彩度Ｃｓ１又はＣｓ２に対して当該対応データを参照して当該画像彩度にマッチングする音特徴量Ｃｆを決定することを特徴とする請求項１３に記載のマルチメディア情報検索プログラム。
前記音データベースは、音識別子と、音データと、当該音データに対して、

の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、
前記画像分析ステップでは、入力された画像データに対して、

式に基づいて、画像特徴量としての明度Ｃｂｒを求め、
前記画像・音マッチング処理ステップでは、画像明度Ｃｂｒとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析ステップで求めた画像明度Ｃｂｒに対して当該対応データを参照して当該画像明度にマッチングする音特徴量Ｃｆを決定することを特徴とする請求項１３に記載のマルチメディア情報検索プログラム。