JP2001084743A - 画像・音響対応方法、音響対応方法、画像対応方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像と音響との対応付けを行う手法について
提示することを目的とする。 【解決手段】 音響データベース１０３、画像データベ
ース２０３にはそれぞれ複数の音響データ１３ａと複数
の画像データ２３ａがデータベース化して設定されてい
る。音響データ１３ａには当該音響データ１３ａについ
ての言語的な音響付加情報１３ｂが、画像データ２３ａ
には当該画像データ２３ａについての言語的な画像付加
情報２３ｂが、それぞれ関連付けて設定される。画像・
音響対応付け部３００は音響付加情報１３ｂと画像付加
情報２３ｂとを比較し、比較された音響付加情報１３ｂ
と画像付加情報２３ｂとが関連付けて対応可能であると
判断すれば、比較対象となった音響付加情報１３ｂに関
連付けられた音響データ１３ａと画像付加情報２３ｂに
関連付けられた画像データ２３ａを対応付ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は画像と音響とを、
あるいは音響同士、画像同士を互いに関連付けて対応さ
せる技術に関し、例えば音響データから画像データある
いは音響データを検索し、又は画像データから音響デー
タあるいは画像データを検索する技術に関する。

【０００２】

【従来の技術】従来から画像と音響とは補強し合って人
間の感覚に訴えてきた。一例として商業用途の画像に対
し、これに適したバックグランドミュージックを付加し
て消費者に提示される場合が挙げられる。

【０００３】

【発明が解決しようとする課題】しかし、ある画像に対
しこれに適した音響を設定することは、専ら人手によっ
て行われてきた。音響と画像とは互いに直接に比較する
対象が存在しないため、これらをデータの形で設定して
コンピューターに与えても、両者を関連付けるデータ処
理が困難だったためである。

【０００４】またある画像に対して類似の画像を検索す
るシステムも存在したが、その検索の際に必要となるパ
ラメータも、専ら人手によって設定されていた。

【０００５】本発明は上記の事情に鑑みてなされたもの
で、人手による労力を軽減しつつ、画像と音響との対応
付け、あるいは音響同士、画像同士の対応付けを行う手
法について提示することを目的とする。

【０００６】

【課題を解決するための手段】この発明のうち請求項１
にかかるものは、音響データに関連付けられ、前記音響
データについての言語的な音響付加情報と、画像データ
に関連付けられ、前記画像データについての言語的な画
像付加情報とが設定され、前記音響付加情報と前記画像
付加情報の間の関連性を以て前記音響データと前記画像
データとを対応付ける、画像・音響対応方法である。

【０００７】この発明のうち請求項２にかかるものは、
請求項１記載の画像・音響対応方法であって、前記音響
付加情報は、前記音響データが表す音響についての感覚
的言語の妥当性の度合いを示す変数を含み、前記画像付
加情報は、前記画像データが表す画像についての感覚的
言語の妥当性の度合いを示す変数を含む。

【０００８】この発明のうち請求項３にかかるものは、
請求項１記載の画像・音響対応方法であって、前記音響
付加情報は、前記音響データについての言語として意味
ある文字列を含み、前記画像付加情報は、前記画像デー
タについての言語として意味ある文字列を含む。

【０００９】この発明のうち請求項４にかかるものは、
請求項１記載の画像・音響対応方法であって、前記画像
データは複数の静止画から構成される動画についてのデ
ータであって、前記画像付加情報は前記動画を構成する
一の前記静止画について設定される。

【００１０】この発明のうち請求項５にかかるものは、
請求項２乃至４のいずれか一つに記載の画像・音響対応
方法であって、前記画像付加情報は、前記画像データの
内容を簡易に示す画像サンプルデータを更に含む。

【００１１】この発明のうち請求項６にかかるものは、
請求項２又は３記載の画像・音響対応方法であって、前
記音響付加情報は、前記音響データの内容を簡易に示す
音響サンプルデータを更に含む。

【００１２】この発明のうち請求項７にかかるものは、
請求項１記載の画像・音響対応方法であって、前記画像
データは、複数の静止画から構成されるシーンの複数か
らなる動画についてのものであり、前記画像付加情報は
前記シーン毎に設定され、前記静止画の特徴から前記シ
ーン同士の境界を認識して音響制御命令を生成し、前記
画像付加情報及び前記音響付加情報に基づいて前記シー
ン毎に前記音響データを選択し、前記音響制御命令に基
づいて前記音響データの出力を制御する。

【００１３】この発明のうち請求項８にかかるものは、
複数の音響データに対して、前記音響データに関連付け
られ、前記音響データについての言語的な音響付加情報
を設定し、前記音響付加情報同士の関連性を以て前記音
響データ同士を対応付ける音響対応方法である。

【００１４】この発明のうち請求項９にかかるものは、
請求項８記載の音響対応方法であって、前記音響付加情
報は、前記音響データが表す音響についての感覚的言語
の妥当性の度合いを示す変数を含む。

【００１５】この発明のうち請求項１０にかかるもの
は、請求項８記載の音響対応方法であって、前記音響付
加情報は、前記音響データについての言語として意味あ
る文字列を含む。

【００１６】この発明のうち請求項１１にかかるもの
は、請求項９又は１０記載の音響対応方法であって、前
記音響付加情報は、前記音響データの内容を簡易に示す
音響サンプルデータを更に含む。

【００１７】この発明のうち請求項１２にかかるもの
は、複数の画像データに対して、前記画像データに関連
付けられ、前記画像データについての言語的な画像付加
情報を設定し、前記画像付加情報同士の関連性を以て前
記画像データ同士を対応付ける画像対応方法である。

【００１８】この発明のうち請求項１３にかかるもの
は、請求項１２記載の画像対応方法であって、前記画像
付加情報は、前記画像データが表す画像についての感覚
的言語の妥当性の度合いを示す変数を含む。

【００１９】この発明のうち請求項１４にかかるもの
は、請求項１２記載の画像対応方法であって、前記画像
付加情報は、前記画像データについての言語として意味
ある文字列を含む。

【００２０】この発明のうち請求項１５にかかるもの
は、請求項１２記載の画像対応方法であって、前記画像
データは複数の静止画から構成される動画についてのデ
ータであって、前記画像付加情報は前記動画を構成する
一の前記静止画について設定される。

【００２１】この発明のうち請求項１６にかかるもの
は、請求項１３乃至１５のいずれか一つに記載の画像対
応方法であって、前記画像付加情報は、前記画像データ
の内容を簡易に示す画像サンプルデータを更に含む。

【００２２】

【発明の実施の形態】第１の実施の形態．図１は本発明
の第１の実施の形態にかかる画像・音響対応システムの
構成の概略を示すブロック図である。本システムは大き
く分けて３つのブロック、即ち音響コンテンツ作成部１
００、画像コンテンツ作成部２００、画像・音響対応付
け部３００で構成されている。

【００２３】音響コンテンツ作成部１００には音源１１
が入力され、音源１１に基づいて音響生データ１２を作
成する音響データ作成部１０１が設けられている。音源
１１としてはデジタル音源１１ａ、アナログ音源１１ｂ
が採用できる。デジタル音源１１ａが採用された場合に
は音響生データ１２はデジタル音源１１ａをそのまま採
用しても良いし、アナログ音源１１ｂが採用された場合
には音響生データ１２はＡ／Ｄ変換によってデジタル信
号として生成されても良い。もちろん、音響生データ１
２はアナログ信号であっても良い。

【００２４】音響コンテンツ作成部１００は、後述する
音響データ１３ａ、音響付加情報１３ｂを音響生データ
１２から作成する音響付加情報作成部１０２と、音響デ
ータ１３ａ、音響付加情報１３ｂを蓄積する音響データ
ベース１０３も備えている。また、音響付加情報作成部
１０２、音響データベース１０３の動作を制御するため
の入力機器１０４、音響データ１３ａや音響付加情報１
３ｂを出力するための出力装置１０５も備えている。出
力装置１０５としては拡声器１０５ａ、表示器１０５ｂ
が採用できる。

【００２５】同様にして、画像コンテンツ作成部２００
には画像源２１が入力され、画像源２１に基づいて画像
生データ２２を作成する画像データ作成部２０１が設け
られている。画像源２１としては画像データ源２１ａ、
画像２１ｂが採用できる。画像データ源２１ａが採用さ
れた場合には画像生データ２２は画像データ源２１ａを
そのまま、あるいはＡ／Ｄ変換してデジタル信号として
も良いし、画像２１ｂが採用された場合には画像データ
作成部２０１はスキャナとして機能し、画像生データ２
２がデジタル信号として生成されても良い。画像生デー
タ２２も音響生データ１２と同様にアナログ信号であっ
ても良い。

【００２６】画像コンテンツ作成部２００は、後述する
画像データ２３ａ、画像付加情報２３ｂを画像生データ
２２から作成する画像付加情報作成部２０２と、画像デ
ータ２３ａ、画像付加情報２３ｂを蓄積する画像データ
ベース２０３も備えている。また、画像付加情報作成部
２０２、画像データベース２０３の動作を制御するため
の入力機器２０４、画像データ２３ａや画像付加情報２
３ｂを出力するための表示器２０５も備えている。表示
器２０５は表示器１０５ｂと、また入力機器２０４は入
力機器１０４と、それぞれ兼用することもできる。

【００２７】画像・音響対応付け部３００には音響デー
タ１３ａ、音響付加情報１３ｂ、画像データ２３ａ、画
像付加情報２３ｂ及び入力機器１０４，２０４からの制
御入力を受け、出力装置１０５に音響データ１３ａある
いは音響付加情報１３ｂを、表示器２０５に画像データ
２３ａあるいは画像付加情報２３ｂを、それぞれ出力す
る。

【００２８】以上のようにして音響データベース１０
３、画像データベース２０３にはそれぞれ複数の音響デ
ータ１３ａと複数の画像データ２３ａがデータベース化
して設定されている。そしてそれぞれの音響データ１３
ａには当該音響データ１３ａについての言語的な音響付
加情報１３ｂが関連付けて設定され、それぞれの画像デ
ータ２３ａには当該画像データ２３ａについての言語的
な画像付加情報２３ｂが関連付けて設定される。ここで
「設定」とは音響データベース１０３、画像データベー
ス２０３のような固定された記憶装置に集中して保存さ
れている場合のみならず、ネットワーク間で伝送可能と
なっている状態をも指す。従って、音響コンテンツ作成
部１００、画像コンテンツ作成部２００、画像・音響対
応付け部３００がネットワークによって結合している場
合には、音響データベース１０３、画像データベース２
０３は必ずしも必要ではない。

【００２９】なお、音響データ１３ａ、画像データ２３
ａには、それぞれ音響生データ１２、画像生データ２２
を採用することもできるが、音響生データ１２、画像生
データ２２に圧縮処理を施して生成することが、データ
量を減らす観点から望ましい。

【００３０】図２は音響データ１３ａと画像データ２３
ａとの対応付けを行う画像・音響対応付け部３００の構
成を示すブロック図である。画像・音響対応付け部３０
０は比較部３０１、判断部３０２、出力部３０３を備え
ている。比較部３０１は音響付加情報１３ｂと画像付加
情報２３ｂとを比較し、比較結果３３を判断部３０２に
与える。判断部３０２は比較結果３３を所定の条件で判
断し、更に他の音響データ１３ａあるいは音響付加情報
１３ｂを検索する場合にはそれぞれ音響データ読み出し
指令３１、画像データ読み出し指令３２を出力する。音
響データ読み出し指令３１、画像データ読み出し指令３
２によって、音響データベース１０３、画像データベー
ス２０３から新たに音響データ対１３や画像データ対２
３が読み出される。

【００３１】ここで音響データ対１３は音響データ１３
ａと音響付加情報１３ｂとの対を指し、画像データ対２
３は画像データ２３ａと画像付加情報２３ｂとの対を指
す。但し互いに関連付いた音響データ１３ａと音響付加
情報１３ｂとは、両者相俟って単一のデータファイルの
形態を有する必要はなく、互いにリンクしたデータであ
っても良い。画像データ対２３についても同様である。

【００３２】比較結果３３に基づいて、判断部３０２
が、比較部３０１で比較された音響付加情報１３ｂと画
像付加情報２３ｂとが関連付けて対応可能であると判断
すれば、採用指令３４を出力部３０３に与え、出力部３
０３には比較部３０１で比較対象となった音響付加情報
１３ｂに関連付けられた音響データ１３ａ、あるいは画
像付加情報２３ｂに関連付けられた画像データ２３ａを
入力する。あるいはこのときに音響付加情報１３ｂ、画
像付加情報２３ｂをも出力部３０３が入力しても良い。
対応付けられる対象として選択された音響付加情報１３
ｂ、あるいは画像付加情報２３ｂを、音響サンプルデー
タ、画像サンプルデータとして出力装置１０５や表示器
２０５に与えれば、検索された音響もしくは画像が、検
索の基礎となった画像もしくは音響に対して適切か否か
を簡易に判断することができるからである。

【００３３】判断部３０２における判断基準は、入力機
器１０４，２０４により外部から設定することができ
る。また音響サンプルデータや画像サンプルデータを認
識し、操作者の判断で、これらに対応する音響データ１
３ａや画像データ２３ａを対応付けから破棄し、新たな
音響データ１３ａや画像データ２３ａを得るように判断
部３０２に指示することもできる。また音響サンプルデ
ータや、画像サンプルデータを出力装置１０５や表示器
２０５に出力させるのか、音響データ１３ａや画像デー
タ２３ａを出力させるのかの指示も、入力機器１０４，
２０４により行うことができる。

【００３４】例えば音響付加情報１３ｂや画像付加情報
２３ｂとしてはキーワード（文字列）が設定される。そ
して音響データ１３ａに基づいて画像データ２３ａを対
応付ける場合には、当該音響データ１３ａに関連付けて
設定された音響付加情報１３ｂが有するキーワードと関
連性あるキーワードを有する画像付加情報２３ｂが検索
される。そして関連性あると判断されたキーワードを有
する画像付加情報２３ｂと関連付けて設定された画像デ
ータ２３ａが選択される。逆に画像データ２３ａに基づ
いて音響データ１３ａを対応付ける場合にも同様であ
る。

【００３５】例えば音響データ１３ａが歌曲の場合に
は、キーワードとして歌詞の一部が設定される。但し音
響付加情報１３ｂと画像付加情報２３ｂとの間で関連性
が判断されるため、キーワードとしては言語的に意味を
有するものであることが望ましい。例えば単語、文節単
位で設定される。もちろんキーワードは歌詞の一部から
連想される文字列であっても良い。例えば歌詞に「桜」
とあれば「春」をキーワードとするが如くである。ある
いは複数の文字列に関連性ある文字列をキーワードとし
て用いても良い。例えば歌詞に「桜」「宴」とあった場
合に「花見」をキーワードとするが如くである。その
他、歌手、作曲者、作曲年号、著作権などを採用しても
良い。これらの文字列は入力機器１０４から人手によっ
て入力することができる。

【００３６】画像データ２３ａのキーワードとしては、
当該画像データ２３ａの表す画像の特徴から着目点を得
て、更にこの着目点に関連する文字列をキーワードとし
て用いることができる。例えば画像が男性を表している
場合には、その画像から男性という着目点を得ることが
でき、キーワードとして「ワイシャツ」を設定すること
ができる。また更に「ネクタイ」や「携帯電話」という
複数の着目点を得ることができた場合に、これらに関連
した一つのキーワード「ビジネスマン」を設定すること
ができる。

【００３７】あるいは音響付加情報１３ａや画像付加情
報１３ｂとして曖昧データが設定されても良い。本発明
にいう曖昧データとは、音響データ１３ａや画像データ
２３ａのそれぞれが表す音響や画像についての感覚的言
語の妥当性の度合いを示す変数をいう。例えば音響デー
タ１３ａが表す音響が歌曲であった場合に、長調であれ
ば明るく、短調であれば暗く感じられる。「明るい」
「暗い」は本来的には視覚上の感覚を示す言語である
が、音響に対しても比喩的に用いられる場合がある。同
様にして画像データ２３ａが表す画像自体が視覚的に明
るい場合であっても、その画像の意味するところが「暗
い」と感じられる場合もある。このような感覚的言語が
音響データ１３ａや画像データ２３ａによってそれぞれ
表される音響や画像に対して、どの程度妥当するかの度
合いを数値化したものが曖昧データである。従って曖昧
データは感覚的言語及びこれについての数値が対をなし
て設定される。この数値は入力機器１０４や入力機器２
０４を用いて音響付加情報作成部１０２や画像付加情報
作成部２０２に対して人手で設定しても良いし、キーワ
ードに対応して自動的に設定されても良い。例えばキー
ワードとして「夏」「陽光」が設定されている場合には
感覚的言語である「明るい」に対して設定しうる最大の
数値を設定するが如くである。

【００３８】比較部３０１においてキーワードが比較さ
れる場合には、判断部３０２における判断は例えば以下
のようにして行われる。第１の例としては、音響付加情
報１３ｂ、画像付加情報２３ｂにおいて、互いに同じ文
字列が存在するか否かの判断である。この比較されるべ
き文字列は入力機器１０４，２０４を用いて外部から設
定しても良い。同じ文字列が存在すれば、その旨を比較
結果３３として判断部３０２へと与えることができる。
第２の例としては音響付加情報１３ｂ、画像付加情報２
３ｂに、あるキーワードを合計して所定の個数以上存在
するか否かの判断である。この所定の個数は入力機器１
０４，２０４を用いて設定することができる。第３の例
としては例えば「ネクタイ」と「ビジネスマン」のよう
に、異なる文字列であって互いに関連性、あるいは連想
性を有する複数種類の文字列が、所定の個数以上存在す
るかの判断である。異なる文字列が互いに関連性や連想
性を有するか否かを判断するために、それらの情報を有
した関連性データベース３０４が判断部３０２に接続さ
れて音響画像対応付け部３００に設けられていることが
望ましい。第２、第３の例においては、キーワードの合
計数や、連想性を有する文字列の数を比較結果３３とし
て採用することができる。

【００３９】比較部３０１において曖昧データが比較さ
れる場合には、判断部３０２における判断は例えば以下
のようにして行われる。第１の例としては、音響付加情
報１３ｂ、画像付加情報２３ｂにおいて互いに同じ感覚
的言語（例えば「明るい」）についての数値が等しいか
否かの判断である。この比較されるべき曖昧データは入
力機器１０４，２０４を用いて外部から設定しても良
い。第２の例としては音響付加情報１３ｂ、画像付加情
報２３ｂの、ある曖昧データについての数値が合計して
所定の値以上であるか否かの判断である。この所定の値
は入力機器１０４，２０４を用いて設定することができ
る。第３の例としては例えば「明るい」と「爽やか」の
ように、異なる感覚的言語であって互いに関連性、ある
いは連想性を有する複数種類の感覚的言語についての数
値の合計が、所定の値以上であるか否かの判断である。
異なる感覚的言語が互いに関連性や連想性を有するか否
かを判断するために、それらの情報を有した関連性デー
タベース３０４が判断部３０２に接続されて音響画像対
応付け部３００に設けられていることが望ましい。

【００４０】また曖昧データが音響、あるいは画像のど
の部分に着目したものであるかを判断しても良い。例え
ば音響の場合には曲調が長調であって「明るい」の数値
が高くても、歌詞の内容については「暗い」の数値が高
い場合もある。また例えば夏の風景を描いた画像であっ
ても、着目点が「太陽」であるか「かき氷」であるかに
よって「熱い」「冷たい」の数値は異なる。このように
異なる対象についての曖昧データが存在する場合には、
対象毎に判断しても良いし、対象の異同を不問として判
断しても良い。

【００４１】音響データ１３ａが歌曲の場合には、望ま
しくは更に音響サンプルデータとして機能するＭＩＤＩ
（musical instrument digital interface）データが音
響付加情報１３ｂに付加して設定され、画像サンプルデ
ータとして機能するベクトル画像、代理画像、低精細圧
縮画像、特殊変調画像が画像付加情報２３ｂとして付加
して設定される。

【００４２】図３は音響データ作成部１０１、音響付加
情報作成部１０２の構成を例示するブロック図である。
ここでは音源１１として歌曲がアナログ音源１１ｂとし
て得られ、音響生データ１２がデジタル信号である場合
が例示されている。

【００４３】音響データ作成部１０１はＡ／Ｄ変換部１
０１ａと、サンプリング部１０１ｂとを有しており、音
源１１はこれらによってそれぞれＡ／Ｄ変換及びサンプ
リングが行われて音響生データ１２となって音響付加情
報作成部１０２へと与えられる。

【００４４】音響付加情報作成部１０２において音響生
データ１２は、ピッチ抽出ブロック１０２１と、デジタ
ルフィルタ１０２２と、圧縮部１０２５とに与えられ
る。ピッチ抽出ブロック１０２１はエンベロープフォロ
ワ１０２ａによって音響生データ１２のエンベロープが
形成され、これはピーク検出部１０２ｂにおいて帯域毎
に分割されつつピークが検出される。その結果からピッ
チ抽出部１０２ｃにおいてピッチ１２１が抽出される。
ピーク検出部１０２ｂにおいて設定される帯域を人間の
肉声の帯域に設定することにより、歌曲のボーカルにつ
いてのピッチ１２１を抽出できる。

【００４５】デジタルフィルタ１０２２はピッチ１２１
を入力し、その通過帯域はピッチ１２１に追従して変化
する。これにより、デジタルフィルタ１０２２に入力さ
れた音響生データ１２は例えば肉声が効率よく透過し、
それ以外の帯域の音を減衰させることができる。音響デ
ータ１２はデジタルフィルタ１０２２を通過して、上述
の例でいえば肉声についてのパワースペクトルが大きい
デジタル信号の肉声データ１２２を出力する。

【００４６】図４及び図５はデジタルフィルタ１０２２
の構成例を示す回路図である。図４に示された構成で
は、加算器１０２２ａは音響生データ１２と係数乗算器
１０２２ｇの出力とを加算して係数乗算器１０２２ｂに
与える。加算器１０２２ｃは係数乗算器１０２２ｂの出
力と係数乗算器１０２２ｆの出力とを加算して肉声デー
タ１２２を生成する。遅延素子１０２２ｄによって遅延
された肉声データ１２２が係数乗算器１０２２ｆに入力
し、遅延素子１０２２ｄの出力を更に遅延素子１０２２
ｅによって遅延した肉声データ１２２が係数乗算器１０
２２ｇに入力する。遅延素子１０２２ｄ，１０２２ｅの
遅延量は、ｚ変換ではｚ^-1として表される。以上のよう
に、図４に示された構成では、デジタルフィルタ１０２
２は２次の無限長応答インパルス応答回路を構成してお
り、しかも係数乗算器１０２２ｂ、１０２２ｆ、１０２
２ｇにおいて乗算される係数はピッチ１２１によって制
御可能である。従って、デジタルフィルタ１０２２の通
過帯域をピッチ１２１に追従して制御することができ
る。

【００４７】図５に示された構成では、音響生データ１
２が係数乗算器１０２２ｈに入力し、係数乗算器１０２
２ｈの出力と係数乗算器１０２２ｋの出力とが加算器１
０２２ｉにおいて加算されて肉声データ１２２が生成さ
れる。遅延素子１０２２ｊによって遅延された肉声デー
タ１２２が係数乗算器１０２２ｋに入力する。遅延素子
１０２２ｊの遅延量は、ｚ変換ではｚ^-nとして表され、
ｎ及び係数乗算器１０２２ｈ、１０２２ｋにおいて乗算
される係数はピッチ１２１によって制御可能である。従
って、デジタルフィルタ１０２２の通過帯域をピッチ１
２１に追従して制御することができる。このようなフィ
ルタは例えば櫛形フィルタで実現することができる。

【００４８】なお、肉声データ１２２を得るためには上
記の手法の他、ステレオ録音された歌曲においてボーカ
ルの音像位置が中央にある場合には、左チャネルから右
チャネルを差し引いて一旦ボーカルを消去してモノラル
のいわゆるカラオケを作成し、これを左チャネルと右チ
ャネルとが合成された音から差し引いても良い。

【００４９】図３に戻り、音響付加情報作成部１０２内
のデータ前処理ブロック１０２３には肉声データ１２２
が与えられ、ここでは音響付加情報作成部１０２に設け
られた音声認識ブロック１０２４のための前処理を行
う。データ前処理ブロック１０２３はエンベロープフォ
ロワ１０２ｄによって肉声データ１２２のエンベロープ
が形成され、これはレベル調整部１０２ｅによってピッ
チが平坦化されつつ、レベルが調整される。その結果は
音声認識ブロック１０２４に与えられ、まず変換部１０
２ｆにおいてケプストラム変換や隠れマルコフ変換の処
理を受け、音素片抽出部１０２ｇによって文字列、例え
ば上述の例では歌詞が得られる。音素片抽出部１０２ｇ
には辞書１０２ｈが接続され、辞書１０２ｈに基づいて
文字列が生成される。なお、歌詞中に繰り返されるフレ
ーズがあれば、繰り返しを示す制御データを歌詞の一部
として出力しても良い。あるいは歌詞の区切りを示す制
御データを歌詞の一部として出力しておけば、例えばそ
の区切り毎に表示器１０５ｂに纏めて出力を行うことも
できる。

【００５０】歌詞はキーワード／曖昧データ作成部１０
２７へ与えられもする。キーワード／曖昧データ作成部
１０２７では、既述のキーワードや曖昧データを辞書１
０２８に基づいて作成する。

【００５１】ピッチ１２１はＭＩＤＩ作成部１０２６に
も与えられ、ここでピッチ１２１はＭＩＤＩデータへと
変換される。例えばＭＩＤＩデータの形式をＧＭ（Gene
ralMIDI）とすることで、様々な音源やソフトシンセサ
イザーで再生可能となる。

【００５２】一方、音響付加情報作成部１０２には圧縮
処理部１０２５も設けることができ、その場合には音響
データ１３ａを音響生データ１２を圧縮したデータとし
て生成することができる。

【００５３】図６は画像データ作成部２０１、画像付加
情報作成部２０２の構成を例示するブロック図である。
ここでは画像源２１として、机に置かれたビールジョッ
キを左手に持ってシャツを着た男性の正面像、が画像２
１ｂとして得られ、画像生データ２２がデジタル信号で
ある場合が例示されている。

【００５４】画像データ作成部２０１は画像取り込み部
２０１ａとＡ／Ｄ変換部２０１ｂとを有しており、画像
２１ｂは画像取り込み部２０１ａにおいてアナログ信号
に変換され、更にＡ／Ｄ変換部２０１ｂによってデジタ
ル信号たる画像生データ２２へ変換される。

【００５５】画像付加情報作成部２０２に入力された画
像生データ２２は、オブジェクト特徴抽出部２０２１に
与えられ、ベクトル画像データ２３ｃが得られる。ベク
トル画像データ２３ｃは、輪郭線や特徴的な線を抽出
し、ベクトルとして表したデータであって、画像サンプ
ルデータとして機能する画像付加情報２３ｂとして採用
できる。

【００５６】またオブジェクト特徴抽出部２０２１は、
更に特徴データ２３ｄ、特徴画像２３ｆを生成する。特
徴データ２３ｄは例えば画像自体の明暗、色相、エッジ
の強さなどであり、特徴画像２３ｆは例えば画像生デー
タ２２の中からほぼ均一な部分、例えば背景色を除去し
て得られる。

【００５７】特徴画像２３ｆは画像認識部２０２４に与
えられ、特徴画像２３ｆから着目点２３ｇを抽出する。
例えばビールジョッキ、男性の顔、シャツ等に分離され
た画像データが着目点２３ｇとして得られる。特徴デー
タ２３ｄと着目点２３ｇに基づき、代理画像検索部２０
２２は代理画像データベース２０２３から、画像２１ｂ
の代替となる代理画像を検索し、選択された代理画像を
代理画像データ２３ｅとして出力する。代理画像データ
２３ｅは、例えば人物を戯画化した線図であり、これも
画像サンプルデータとして機能する画像付加情報２３ｂ
として採用できる。

【００５８】画像認識部２０２４は更に単純化画像２３
ｉも生成し、これに基づいてキーワード検索部２０２５
はキーワードデータベース２０２６から適切なキーワー
ド２３ｊを選択する。例えば画像認識部２０２４は特徴
画像２３ｆからシャツを着た男性の顔を認識することに
より、例えば特徴画像２３ｆからビールジョッキの画像
を取り除いて得られる画像についてのデータとして単純
化画像２３ｉを得る。

【００５９】曖昧検索部２０２７には単純化画像２３ｉ
や、キーワード２３ｊが入力され、更に辞書２０２８に
基づいて曖昧データ２３ｋが作成される。キーワード２
３ｊや曖昧データ２３ｋについては画像サンプルデータ
としても比較部３０１において比較される対象としても
機能する画像付加情報２３ｂとして採用できる。

【００６０】また、画像生データ２２は変成部２０２９
において圧縮され、あるいは変調され、あるいは動画か
らの静止画の抽出が行われる。例えば画像を構成する複
数の画素を縦横において間引いたり、ＪＰＥＧ方式、ウ
ェーブレット変換によって圧縮される。あるいは色数を
限定したり、フィルタリングによる変調を行う。あるい
は動画から特徴的な静止画を選択する。これらの操作に
よって得られる変成データ２３ｓは、画像生データ２２
に対して非常にデータが少ないが、視覚的な訴求力はベ
クトル画像データ２３ｃや代理画像データ２３ｅよりも
大きい場合があり、画像サンプルデータとして機能する
画像付加情報２３ｂとして採用できる。

【００６１】なお、動画を構成する複数の静止画から特
徴的な静止画を選択するに際し、手動で特定のフレーム
を選択する方法が簡単である。この際、着目点２３ｇに
ついて、どの静止画が最も適切に表しているかを選択の
基準としても良い。その場合には手動ではなく、変成部
２０２９において自動的に静止画の選択を行わせること
ができる。

【００６２】図７は動画を構成する複数の静止画から特
徴的な静止画を選択する機能を有する変成部２０２９の
構成を例示するブロック図である。変成部２０２９は複
数の静止画データ２２ｉ（ｉ＝１，２，３，…，ｍ）か
らなる動画データたる画像生データ２２と、画像認識部
２０２４から着目点２３ｇとを入力する対象物選定部２
０２９ａを有している。着目点２３ｇの代わりにキーワ
ード２３ｊを採用しても良い。対象物選定部２０２９ａ
は、着目点２３ｇ（あるいはキーワード２３ｊ）が特定
する対象物を静止画データ２２ｉから抽出する。その結
果は変成部２０２９の有する評価関数設定部２０２９ｂ
に与えられ、変成部２０２９の有する評価関数データベ
ース２０２９ｃによって評価関数が設定される。評価関
数として、対象物が人物の場合には正面を向いている
か、画面の１／４以上の面積に表示されているか等を基
準とした評価が例挙でき、あるいは車両の場合には画面
の１／６以上の面積に表示されているか、車両の前面と
側面の表示面積の比率が２：８〜３：７の範囲内にある
かが例挙できる。このように、着目点２３ｇ（あるいは
キーワード２３ｊ）についての評価関数を動画を構成す
る複数の静止画毎に設定し、その評価関数が所定の水準
を満たしている静止画データ２２ｊ（ｊ ｉ）を変成デ
ータ２３ｓとして選択することができる。この際、評価
関数の設定については入力機器１０４（あるいは入力機
器２０４）によって人手で行うこともできる。

【００６３】図６に戻り、画像生データ２２は画像コン
テンツ作成部２００内の画像圧縮部２０３０へ与えら
れ、ここで圧縮されて画像データ２３ａとして出力され
る。もちろん、画像データ２３ａとして変性データ２３
ｓを採用しても良い。

【００６４】図２に戻り、出力部３０３には互いに関連
付けられて対応する音響データ１３ａ、画像データ２３
ａが入力されるので、これらをそれぞれ拡声器１０５
ａ、表示器２０５に与えることにより、例えばコマーシ
ャルフィルムに対して適切なバックグランドミュージッ
クを付加することができ、あるいは逆にある歌曲のカラ
オケ用音楽に対して当該歌曲に適した画像を付加するこ
ともできる。

【００６５】もちろん、図２に示された構成において、
音響からキーワードや曖昧データを介して音響を検索し
たり、画像からキーワードや曖昧データを介して画像を
検索したりすることもできる。このような機能は使用し
たい音響や画像についての著作権が存在している場合
に、これと類似した概念の音響や画像であって著作権が
存在しないものを検索する場合に好適である。

【００６６】また、入力機器１０４（あるいは入力機器
２０４）によって入力されたキーワードや曖昧データに
基づいて音響や画像を検索することもでき、逆に音響や
画像からキーワードや曖昧データを出力することもでき
る。

【００６７】なお、例えば入力されたあるキーワードや
曖昧データに基づいて音響や画像を検索する際に、判断
部３０２における判断が、キーワードや曖昧データと関
連付けて対応可能であると判断されなかった音響データ
１３ａや画像データ２３ａについても、採用指令３４を
出力部３０３に与え、出力部３０３からの出力を行うこ
とも可能である。この際、音響データ１３ａや画像デー
タ２３ａは入力されたあるキーワードや曖昧データと関
連付けて対応可能となるように、加工されることが望ま
しい。

【００６８】図８は関連付けが判断される際の、音響デ
ータ１３ａや画像データ２３ａの加工についてのフロー
チャートである。ステップＳ９０１では、比較部３０１
へと音響付加情報１３ｂや画像付加情報２３ｂが取得さ
れ、キーワードや曖昧データも入力される。上述のよう
に、比較部３０１へのキーワードや曖昧データの入力は
入力機器１０４，２０４で行うことができる。あるいは
図２の比較結果３３として音響付加情報１３ｂや画像付
加情報２３ｂ自身を採用し、判断部３０２へと入力機器
１０４，２０４でキーワードや曖昧データを入力しても
良い。

【００６９】次にステップＳ９０２では判断部３０２に
おいて関連条件、例えばキーワードと同じ文字列が所定
の個数以上存在するか、キーワードと連想性を有する文
字列が所定の個数以上存在するか等の条件を満足するか
否かが判断される。関連条件が満足されれば、ステップ
Ｓ９０２の判断については「ＹＥＳ」となって、ステッ
プＳ９０３へ進み、音響付加情報１３ｂや画像付加情報
２３ｂ、あるいは音響データ１３ａ、画像データ２３ａ
の出力が行われる。

【００７０】一方、ステップＳ９０２で関連条件が満足
されなければ、ステップＳ９０２の判断については「Ｎ
Ｏ」となって、ステップＳ９０４へ進む。ステップＳ９
０４では関連条件が満足されていなくとも、データの出
力を行うために音響データ１３ａ、画像データ２３ａの
加工を行うか否かが判断される。加工を行わずに、更に
他の音響データ１３ａ、画像データ２３ａについての判
断を進めるのであれば「ＮＯ」と判断されてステップＳ
９０１へと戻り、新たなデータ取得が行われる。

【００７１】しかし加工を行うのであれば「ＹＥＳ」と
判断されて、ステップＳ９０５においてデータの加工が
行われる。ここでデータの加工とは、例えば音響データ
１３ａについていえば、曖昧データ「明るい」について
の数値を上げるために、短調の歌曲を長調へと転調する
加工が例挙できる。加工されたデータはステップＳ９０
３と同様にして出力される。

【００７２】ステップＳ９０５においては加工の他、合
成を行っても良い。例えば画像データ２３ａについてい
えば、キーワード「メガネ」についての数値を上げるた
めに、人物画にメガネの図形を付加する合成が例挙でき
る。

【００７３】あるいは出力すべきデータをステップＳ９
０５において自動生成しても良い。例えば音響データ１
３ａについていえば、曖昧データ「明るい」、キーワー
ド「舞踏会」についての関連性を得るために、長調のワ
ルツを自動作曲する場合を例挙できる。

【００７４】第２の実施の形態．上記のような画像と音
響との対応付けは、動画とバックグランドミュージック
との対応付けにも適用できる。例えば動画を構成する静
止画の１枚１枚に対して図６で示されたような画像認識
を行い、これに対応する音響を検索する。

【００７５】図９は、動画が複数のシーンで構成された
場合、各シーンに対応付けられたバックグランドミュー
ジックをリアルタイムで出力する態様を示す模式図であ
る。動画についてみれば、キーワード「小川」「せせら
ぎ」「爽やか」が付加された複数の静止画から構成され
るシーン１が、時刻ｔ０〜時刻ｔ１において出力部３０
３に入力され、キーワード「ジャングル」「ざわめき」
が付加された複数の静止画から構成されるシーン２が、
時刻ｔ１〜時刻ｔ５において出力部３０３に入力され
る。但し、シーン２は、時刻ｔ２〜時刻ｔ３においてキ
ーワード「鳥」「鳴き声」が付加された複数の静止画か
らなるインサート画像によって中断され、時刻ｔ４以降
においてはキーワード「先住民集落」が付加された複数
の静止画から構成されるシーン３によってクロスフェー
ドが掛けられている。

【００７６】このような動画を示す画像データ２３ａに
対し、音響データ１３ａはシーン毎に選択される。即ち
あるシーン内における静止画像の概念同士は、異なるシ
ーンにおける静止画像の概念同士と比較すると、互いに
類似しており、各シーンの途中では選択される音響デー
タ１３ａは変動しない。そしてバックグランドミュージ
ックとして例えばシーン１にはＢＧＭ１（小川の流れ）
及びＢＧＭ２（組曲「ペールギュント」）が、シーン２
にはＢＧＭ３（原生林のざわめき）が、シーン３にはＢ
ＧＭ５（ドラム連打）が、インサート画像にはＢＧＭ４
（鳥の鳴き声）が、それぞれ選択される。

【００７７】図１０は出力部３０３の構造の一部を例示
するブロック図である。画像付加情報２３ｂたるベクト
ル画像データ２３ｃが入力されるシーン切り替え判断部
３０３１と、音響データ１３ａが入力される音響切り替
え部３０３２とが出力部３０３に備えられており、音響
切り替え部３０３２にはシーン切り替え判断部３０３１
から画像認識コマンド３５も与えられている。

【００７８】画像認識コマンド３５は、静止画像毎に求
められるベクトル画像データ２３ｃが、シーンの変わり
目で大きく変化することに基づいて生成される。図９に
示されるように、時刻ｔ１，ｔ２，ｔ３において、それ
ぞれシーン１からシーン２へ、シーン２からインサート
画像へ、インサート画像からシーン２の続きへ、それぞ
れ変化し、この時点においてベクトル画像データ２３ｃ
に大きな変化が生じる。これに基づいて画像認識コマン
ド３５は時刻ｔ１，ｔ２，ｔ３において「チェンジ」を
指令する。

【００７９】この指令「チェンジ」は、シーン毎に選択
されていた音響データ１３ａが拡声器１０５ａに与えら
れるタイミングを決定する。音響切り替え部３０３２に
おいては、選択された音響データ１３ａが順次に音響切
り替え部３０３２に与えられるので、単一のトラックの
形態で音響データ１３ａが設けられている場合には必ず
しも必要ではない。しかし、複数のトラック、例えば２
つのトラックの形態で音響データ１３ａが設けられ、Ｂ
ＧＭ１とＢＧＭ２がそれぞれ１トラックずつ占有し、Ｂ
ＧＭ３がＢＧＭ１と同じトラックを占有する場合には、
ＢＧＭ１からＢＧＭ３への切り替えのみならず、ＢＧＭ
２の停止をも行うのに指令「チェンジ」に基づく動作制
御は便利である。

【００８０】また、時刻ｔ４〜ｔ５へのクロスフェード
については、画像認識コマンド３５は時刻ｔ４，ｔ５に
おいてそれぞれ「クロスフェード始点」「クロスフェー
ド終点」を指令する。例えばＢＧＭ３とＢＧＭ５がそれ
ぞれ１トラックずつ占有し、「クロスフェード始点」の
指令によって、音響切り替え部３０３２は、それまで出
力されていたＢＧＭ３のフェードアウトを介しすると同
時に、ＢＧＭ５のフェードインを開始する。そして「ク
ロスフェード終点」の指令によって、ＢＧＭ３は出力さ
れず、ＢＧＭ５が出力される。なお、時刻ｔ４において
キーワード「先住民集落」が得られるので、シーン３に
対応するＢＧＭ５のフェードインは可能となる。

【００８１】以上のような音響出力の制御内容は、図９
の右から２列目に示している。ここで「プレイ」とは音
響データ１３ａの種類を問わず拡声器１０５ａへ出力す
る制御である。但し画像認識コマンド３５が設定される
ので、時刻ｔ０〜ｔ４まで常時「プレイ」としていても
出力される音響データ１３ａの切り替えは容易である。
時刻ｔ４〜ｔ５においては上述のようにクロスフェード
が行われる。

【００８２】なお、「クロスフェード始点」の指令によ
って、スムーズにクロスフェードを開始することは容易
であるが、「クロスフェード終点」の指令によって、ス
ムーズにクロスフェードを終了することは容易ではな
い。クロスフェードの期間が予め予測できず、よってク
ロスフェードの変化量を設定することが容易ではないか
らである。

【００８３】かかる事態に対応するためには、予め画像
生データ２２にクロスフェードの始点とその期間の長さ
を示す「シーンチェンジ」の情報を埋め込んでおくこと
が望ましい。これによりクロスフェードの期間が予測さ
れ、予めクロスフェードの変化量を設定し、スムーズに
クロスフェードの開始・終了を行うことが容易となるか
らである。図９にはこれを埋め込みコマンド２３ｕとし
て図示している。

【００８４】図１１は埋め込みコマンド２３ｕの生成を
例示するブロック図であり、画像コンテンツ作成部２０
０の構成の一部を示している。画像コンテンツ作成部２
００に電子透かし分離部２０３１を付加することによ
り、画像生データ２２に電子透かしとして埋め込まれて
いた埋め込みコマンド２３ｕを取り出すことができる。
もちろん、埋め込みコマンド２３ｕは電子透かし以外に
も、画像生データ２２とは別に設けて音響画像対応付け
部３００へ与えても良い。

【００８５】また、動画に対して、出力の切り替え、ク
ロスフェードを音響制御信号として一旦保管し、後にこ
れに基づいて動画とバックグランドミュージックとを同
期させて出力することもできる。

【００８６】図１２は音響制御信号１３ｃの作成を説明
する概念図である。図９において用いられたシーン１〜
３及びインサート画像を用いて説明する。但し、シーン
１についてのキーワードは予め、例えば入力機器２０４
によって「小川」「せせらぎ」「爽やか」と設定されて
おり、他のシーン２，３及びインサート画像にはキーワ
ードは当初は設定されていなかった場合が例示されてい
る。

【００８７】図６に示されるように、シーン２，３及び
インサート画像についてのキーワードは、画像コンテン
ツ作成部２００において設定される。図１２ではキーワ
ードの設定は図９に示されたキーワードと同一に設定さ
れた場合が、追加キーワードとして鉤括弧で括って例示
されている。

【００８８】上述のように、シーンの切り替わりは、ク
ロスフェードをも含めてベクトル画像データ２３ｃの解
析によって検出できる。よって例えば図１０で示された
画像認識コマンド３５を、追加キーワードと共に音響制
御信号１３ｃとして保管することができる。図１２では
画像認識コマンド３５を単にコマンドとして引用符で括
って例示している。

【００８９】図１３は上記音響制御信号１３ｃの生成を
行う場合の出力部３０３の一部の構成と、比較部３０１
及び判断部３０２との関係を例示するブロック図であ
る。シーン切り替え判断部３０３１はベクトル画像デー
タ２３ｃの解析によって画像認識コマンド３５を音声制
御信号生成部３０３３へ与える。音声制御信号生成部３
０３３には予め設定されていたものと、後に追加された
ものを含めたキーワードたる画像付加情報２３ｂも入力
される。画像認識コマンド３５とキーワードとは、時系
列に整理され、例えばリストの形態で音声制御信号１３
ｃとして作成され、音響制御データベース３０３４に格
納される。この際、音声制御信号１３ｃは画像認識コマ
ンド３５の指令“クロスフェード終点”そのものより
も、これと“クロスフェード始点”とから求められるク
ロスフェードの期間を有している方が望ましい。図９で
示した埋め込みコマンド２３ｕの機能を有するからであ
る。図１４にリストの形態を採る音声制御信号１３ｃを
例示する。

【００９０】音声制御信号１３ｃは比較部３０１に与え
られ、その中のキーワードと音響付加情報１３ｂのキー
ワードとの比較を行う。上述のように判断部３０２は比
較結果３３に基づいて採用指令３４を生成する。出力部
３０３は画像・音響統合部３０３５を更に備えており、
音響データ１３ａと画像データ２３ａとが入力され、画
像データ２３ａが表示器２０５へ与えられる一方、採用
指令３４に基づいて画像データ２３ａに関連付けられる
音響データ１３ａを拡声器１０５ａへ出力する。この際
音響データ１３ａは、画像データ２３ａとの同期が採ら
れ、かつ音声制御信号１３ｃのうちのコマンドに基づい
て、チェンジ、クロスフェードなどの制御がなされる。
図１４に示されたリストの解釈は、例えば比較部３０１
によってそのキーワードが解釈され、画像・音響統合部
３０３５によってそのコマンドが解釈される。

【００９１】なお、画像・音響統合部３０３５は音響デ
ータ１３ａと画像データ２３ａとをそれぞれ表示器２０
５、拡声器１０５ａへとリアルタイムで出力するのでは
なく、動画・音声が同期したコンテンツとして別途に保
存しても良い。このように保存されたコンテンツは、後
に容易に再生することができる。

【００９２】

【発明の効果】この発明のうち請求項１にかかる画像・
音響対応方法によれば、互いに言語的である故に比較可
能な音響付加情報と画像付加情報との関連性を採用する
ので、互いに直接に比較する対象が存在しない音響デー
タと画像データとを関連付けて対応することができる。

【００９３】この発明のうち請求項２にかかる画像・音
響対応方法によれば、音響データ及び画像データはいず
れも感覚的言語で表出され得るので、感覚的言語の妥当
性の度合いを数値化することにより、音響付加情報と画
像付加情報との比較が容易となる。

【００９４】この発明のうち請求項３にかかる画像・音
響対応方法によれば、音響データ及び画像データの表す
音響や画像の内容等は言語として意味ある文字列で表出
しうる場合があるので、当該文字列を対象とすることに
より、音響付加情報と画像付加情報との比較が容易とな
る。

【００９５】この発明のうち請求項４にかかる画像・音
響対応方法によれば、動画に対しても画像付加情報を設
定することができる。

【００９６】この発明のうち請求項５にかかる画像・音
響対応方法によれば、音響データに基づきこれに対応す
る画像データを検索する際、検索された画像データの全
てを視認することなく、当該画像データに関連付けられ
て設定された画像サンプルデータを視聴することで、簡
易に当該画像データの採否を判断することができる。

【００９７】この発明のうち請求項６にかかる画像・音
響対応方法によれば、画像データに基づきこれに対応す
る音響データを検索する際、検索された音響データの全
てを聴取することなく、当該音響データに関連付けられ
て設定された音響サンプルデータを視聴することで、簡
易に当該音響データの採否を判断することができる。

【００９８】この発明のうち請求項７にかかる画像・音
響対応方法によれば、動画のシーンに対応してバックグ
ランドミュージックが選定され、かつシーンの変化に対
応してバックグランドミュージックの出力を制御するこ
とができる。

【００９９】この発明のうち請求項８にかかる音響対応
方法によれば、使用したい音響についての著作権が存在
している場合に、これと類似した概念の音響であって著
作権が存在しないものを検索することに好適である。

【０１００】この発明のうち請求項９にかかる音響対応
方法によれば、音響データは感覚的言語で表出され得る
ので、感覚的言語の妥当性の度合いを数値化することに
より、音響付加情報同士の比較が容易となる。

【０１０１】この発明のうち請求項１０にかかる音響対
応方法によれば、音響データの表す音響の内容等は言語
として意味ある文字列で表出しうる場合があるので、当
該文字列を対象とすることにより、音響付加情報同士の
比較が容易となる。

【０１０２】この発明のうち請求項１１にかかる音響対
応方法によれば、音響データに基づきこれに対応する他
の音響データを検索する際、検索された音響データの全
てを聴取することなく、当該他の音響データに関連付け
られて設定された音響サンプルデータを視聴すること
で、簡易に当該他の音響データの採否を判断することが
できる。

【０１０３】この発明のうち請求項１２にかかる画像対
応方法によれば、使用したい画像についての著作権が存
在している場合に、これと類似した概念の画像であって
著作権が存在しないものを検索することに好適である。

【０１０４】この発明のうち請求項１３にかかる画像対
応方法によれば、画像データは感覚的言語で表出され得
るので、感覚的言語の妥当性の度合いを数値化すること
により、画像付加情報同士の比較が容易となる。

【０１０５】この発明のうち請求項１４にかかる画像対
応方法によれば、画像データの表す音響の内容等は言語
として意味ある文字列で表出しうる場合があるので、当
該文字列を対象とすることにより、画像付加情報同士の
比較が容易となる。

【０１０６】この発明のうち請求項１５にかかる画像対
応方法によれば、動画に対しても画像付加情報を設定す
ることができる。

【０１０７】この発明のうち請求項１６にかかる画像対
応方法によれば、画像データに基づきこれに対応する他
の画像データを検索する際、検索された画像データの全
てを聴取することなく、当該他の画像データに関連付け
られて設定された画像サンプルデータを視聴すること
で、簡易に当該他の画像データの採否を判断することが
できる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態にかかる画像・音響
対応システムの構成の概略を示すブロック図である。

【図２】画像・音響対応付け部３００の構成を示すブロ
ック図である。

【図３】音響データ作成部１０１、音響付加情報作成部
１０２の構成を例示するブロック図である。

【図４】デジタルフィルタ１０２２の構成例を示す回路
図である。

【図５】デジタルフィルタ１０２２の構成例を示す回路
図である。

【図６】画像データ作成部２０１、画像付加情報作成部
２０２の構成を例示するブロック図である。

【図７】変成部２０２９の構成を例示するブロック図で
ある。

【図８】音響データ１３ａや画像データ２３ａの加工に
ついてのフローチャートである。

【図９】本発明の第２の実施の形態を示す模式図であ
る。

【図１０】出力部３０３の構造の一部を例示するブロッ
ク図である。

【図１１】埋め込みコマンド２３ｕの生成を例示するブ
ロック図である。

【図１２】音響制御信号１３ｃの作成を説明する概念図
である。

【図１３】比較部３０１、判断部３０２及び出力部３０
３を例示するブロック図である。

【図１４】リストの形態を採る音声制御信号１３ｃを例
示する図である。

【符号の説明】

１３ａ 音響データ １３ｂ 音響付加情報 ２３ａ 画像データ ２３ｂ 画像付加情報 １００ 音響コンテンツ作成部 １０１ 音響データ作成部 １０２ 音響付加情報作成部 １０３ 音響データベース ２００ 画像コンテンツ作成部 ２０１ 画像データ作成部 ２０２ 画像付加情報作成部 ２０３ 画像データベース ３００ 画像・音響対応付け部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 3/00 ５５１Ｇ Ｇ１１Ｂ 27/00 Ａ Ｆターム(参考） 5B075 ND16 NK02 NK10 NK25 NR03 NR06 PP22 PQ02 PQ04 5D015 AA04 AA05 AA06 KK02 5D077 AA22 AA38 BA11 BB14 BB18 CA02 CA11 CB04 DC22 DC37 DC39 DF01 EA34 5D110 AA13 AA27 AA29 BB24 BB26 DA06 DA08 DA11 DA14 DB09 DB13 DC06 DE04 DE06

Claims (16)

【特許請求の範囲】
1. 【請求項１】 音響データに関連付けられ、前記音響デ
   ータについての言語的な音響付加情報と、 画像データに関連付けられ、前記画像データについての
   言語的な画像付加情報とが設定され、 前記音響付加情報と前記画像付加情報の間の関連性を以
   て前記音響データと前記画像データとを対応付ける、画
   像・音響対応方法。
2. 【請求項２】 前記音響付加情報は、前記音響データが
   表す音響についての感覚的言語の妥当性の度合いを示す
   変数を含み、 前記画像付加情報は、前記画像データが表す画像につい
   ての感覚的言語の妥当性の度合いを示す変数を含む、請
   求項１記載の画像・音響対応方法。
3. 【請求項３】 前記音響付加情報は、前記音響データに
   ついての言語として意味ある文字列を含み、 前記画像付加情報は、前記画像データについての言語と
   して意味ある文字列を含む、請求項１記載の画像・音響
   対応方法。
4. 【請求項４】 前記画像データは複数の静止画から構成
   される動画についてのデータであって、 前記画像付加情報は前記動画を構成する一の前記静止画
   について設定される、請求項１記載の画像・音響対応方
   法。
5. 【請求項５】 前記画像付加情報は、前記画像データの
   内容を簡易に示す画像サンプルデータを更に含む、請求
   項２乃至４のいずれか一つに記載の画像・音響対応方
   法。
6. 【請求項６】 前記音響付加情報は、前記音響データの
   内容を簡易に示す音響サンプルデータを更に含む、請求
   項２又は３記載の画像・音響対応方法。
7. 【請求項７】 前記画像データは、複数の静止画から構
   成されるシーンの複数からなる動画についてのものであ
   り、 前記画像付加情報は前記シーン毎に設定され、 前記静止画の特徴から前記シーン同士の境界を認識して
   音響制御命令を生成し、 前記画像付加情報及び前記音響付加情報に基づいて前記
   シーン毎に前記音響データを選択し、 前記音響制御命令に基づいて前記音響データの出力を制
   御する、請求項１記載の画像・音響対応方法。
8. 【請求項８】 複数の音響データに対して、前記音響デ
   ータに関連付けられ、前記音響データについての言語的
   な音響付加情報を設定し、 前記音響付加情報同士の関連性を以て前記音響データ同
   士を対応付ける音響対応方法。
9. 【請求項９】 前記音響付加情報は、前記音響データが
   表す音響についての感覚的言語の妥当性の度合いを示す
   変数を含む、請求項８記載の音響対応方法。
10. 【請求項１０】 前記音響付加情報は、前記音響データ
    についての言語として意味ある文字列を含む、請求項８
    記載の音響対応方法。
11. 【請求項１１】 前記音響付加情報は、前記音響データ
    の内容を簡易に示す音響サンプルデータを更に含む、請
    求項９又は１０記載の音響対応方法。
12. 【請求項１２】 複数の画像データに対して、前記画像
    データに関連付けられ、前記画像データについての言語
    的な画像付加情報を設定し、 前記画像付加情報同士の関連性を以て前記画像データ同
    士を対応付ける画像対応方法。
13. 【請求項１３】 前記画像付加情報は、前記画像データ
    が表す画像についての感覚的言語の妥当性の度合いを示
    す変数を含む、請求項１２記載の画像対応方法。
14. 【請求項１４】 前記画像付加情報は、前記画像データ
    についての言語として意味ある文字列を含む、請求項１
    ２記載の画像対応方法。
15. 【請求項１５】 前記画像データは複数の静止画から構
    成される動画についてのデータであって、 前記画像付加情報は前記動画を構成する一の前記静止画
    について設定される、請求項１２記載の画像対応方法。
16. 【請求項１６】 前記画像付加情報は、前記画像データ
    の内容を簡易に示す画像サンプルデータを更に含む、請
    求項１３乃至１５のいずれか一つに記載の画像対応方
    法。