JP2002207488A - 音響と画像の臨場感を表現し伝達する方式 - Google Patents

Abstract

(57)【要約】 １）人の｛聴覚、視覚｝に照らして、臨場感豊かな情報
伝達の環境を提供する。２）画面の｛動き、操作｝と連
動して、音の臨場感を変化させ、感性に馴染んだ｛情報
作り｝の環境を提供する。３）情報の受け手側において
｛｛リアルタイム性と連続性｝が必要な音響信号処理｝
の負担を軽減し、情報の表現範囲を広げる。 【課題】１）画像情報の表現には多くの手法があるが、
音響の場合は重要視されていない。２）音の臨場感の表
現には専門知識が必要で、その手法は一般化されていな
い。３）受信側の信号処理能力不足が、不連続再生を生
み、逆効果となることがある。 【解決手段】１）｛画像の制御パラメータ｝または｛情
報の受け手側の操作制御パラメータ｝と｛音響の臨場感
の成分のパラメータ｝を連動させる。２）あらかじめ
｛元の音響データ｝から｛臨場感の成分の音響データ｝
を抽出し、｛二種類の音響データファイルの強度の組み
合わせによる数値合成｝という単純な手法により｛情報
の受け手側の信号処理負担を軽減し｝、臨場感を再生す
る。

Description

【発明の詳細な説明】

【０００２】

【用語の定義】上記、請求項を含む全文に使う｛｝内の
文は｛｝外の文に優先して、ひとまとまりの意味を構成
する。上記、請求項を含む全文に使う［］内の用語と解
釈が曖昧な用語について意味するところを以下に定義す
る。 １）［任意の情報］とは；［画像データ］［音響デー
タ］［文字データ］［信号処理制御プログラム］［コン
ピュータ制御プログラム］のうち少なくともいずれかを
含む符号群である。 ２）［画像データ］とは；コンピュータの画像モニタに
出力する画像の符号群。 ３）［音響データ］とは；コンピュータの音響モニタに
出力する音響の符号群。 ４）［文字データ］とは；コンピュータの画像モニタに
出力する文字の符号群。 ５）［信号処理制御プログラム］とは；画像信号または
音響信号に、何らかの計算を加え、別の性質の｛画像信
号または音響信号｝に変換するための制御コマンドから
なる符号群。 ６）［コンピュータ制御プログラム］とは；コンピュー
タに｛意図する機能｝を持たせるための制御コマンドか
らなる符号群。 ７）［広告、紹介、販売、サービス、製作、のいずれか
の目的］とは；｛工業製品、農産物、手工芸品、食料
品、料理、出版物、文章、カタログ、観光案内、地理案
内、音楽作品、絵画作品、映画作品、アニメーション、
放送番組、装飾品、コレクション、通話｝を対象とし
て、｛その内容を表現する｝かまたは｛｛その内容その
もの｝を｛特定または不特定｝の人に、｛伝達する｝｝
行為。 ８）［情報の送り手］とは；［任意の情報］を発信する
側の、コンピュータを含む装置。 ９）［情報の受け手］とは；［任意の情報］を受信する
側の、コンピュータを含む装置。

【０００３】１０）［伝達メディア］とは；データ通信
回線、電話回線、コンピュータのデータバス、光ディス
ク、磁気ディスク、集積回路カード記憶装置、電波通
信、光通信、写真フィルム、を含む情報伝達の媒体。 １１）［手段または手法］とは；｛伝達しようとする内
容を作るためのソフトウェアツール｝または｛そのソフ
トウェアツールを機能させるに必要なハードウェアを含
むシステム｝または｛そのソフトウェアツールを使って
表現した情報｝。 １２）［元の音響データ］とは；［情報の送り手］側が
［情報の受け手］側に伝えようとする特定の［音響デー
タ］。 １３）［元の画像データ］とは；［情報の送り手］側が
［情報の受け手］側に伝えようとする特定の［画像デー
タ］。 １４）臨場感とは；音源に近づくほど聴覚が感じる音の
質感。一般的には、音源から離れるほど、音量だけでは
なく、音色を構成する音響成分の内、｛周波数が中音域
から離れて低ければ低いほど｝｛周波数が中音域から離
れて高ければ高いほど｝聴覚へ達するまでの強度が小さ
くなる。｛マイクロホンやスピーカなどの音響─電気変
換系の特性｝と｛音波の伝播系の物理的な性質｝に大き
く左右される。逆に、これらの聴覚に感じ難い音質成分
を音量と共に強調することにより、さらに強力な［臨場
感］が得られる。 １５）臨場感成分とは；音源に近づくほど聴覚が感じる
音の成分。 １６）［臨場感成分の音響データ］とは；音源に近づく
ほど聴覚が感じる音の成分の［音響データ］。 １７）［臨場感成分の抽出フィルタ］とは；［元の音響
データ］から［元の音響データ］に含まれている［臨場
感］の成分を抽出する音響信号フイルタである。 １８）［可変定数の臨場感強調フィルタ］とは［元の音
響データ］から［元の音響データ］が含む［臨場感］を
強調する機能を持ち、強調度合いを制御できる音響信号
フィルタ。 １９）［臨場感を強調した音響データ］とは；｛［元の
音響データ］を［臨場感成分の抽出フィルタ］｝を通過
させて抽出した［臨場感成分］を［元の音響データ］と
合成して得た［音響データ］｝または｛［元の音響デー
タ］を［可変定数の臨場感強調フィルタ］を通過させて
臨場感が強調された［音響データ］｝。臨場感の成分を
抽出する手法は限りなく存在するが、一般的には｛低音
側の［臨場感の成分］｝は｛［元の音響データ］の｛積
分、積分に類する手法、高次の積分｝の組み合わせ｝に
より、｛高音側の［臨場感の成分］｝は｛［元の音響デ
ータ］の｛微分、微分に類する手法、高次の微分｝の組
み合わせ｝により、得ることができる。 ２０）［［情報の送り手］側によってあらかじめ決めら
れた手順］とは；［情報の送り手］側によって作られた
ところの［情報の受け手］側の意思で制御できない表現
の内容と手順。 ２１）［［情報の受け手］側の操作］とは；［情報の受
け手］側の意思により、［情報の送り手］側があらかじ
め決めた自由度の範囲で［情報の受け手］側の受信情報
のモニタへの表現を制御する操作。 ２２）［［元の画像データ］を座標変換した画像デー
タ］とは；｛平行移動、回転、拡大、縮小｝などの座標
変換を組み合わせて得た［元の画像データ］の変形画
像。 ２３）［画面座標］とは；ある画面の、ある特定の場所
を示す座標情報。

【０００４】

【発明の所属する技術分野】｛ホームページ製作、映画
番組などの音響効果製作、ＴＶゲームなどの音響効果製
作ツール、ＴＶゲームソフトウェア、音楽の製作編集配
信｝などの情報伝達の分野において［広告、紹介、販
売、サービス、製作のいずれかの目的］で、音響の臨場
感を伝えることにより、人の感性に対し、より説得力の
ある情報伝達の環境を提供しようとする、［手段と手
法］。

【０００５】

【従来の技術】音響の臨場感を単にコンピュータ上で作
るソフトウェアツールは数多くあるが、 １）［広告、紹介、販売、サービス、製作のいずれかの
目的］で、｛画像の操作｝または｛画像の動き｝または
｛情報の受け手側の操作｝と連動した音響の臨場感を伝
達するシステムはない。 ２）［臨場感成分の音響データ］を抽出し［元の音響デ
ータ］とは別の［音響データ］として伝達し、［元の音
響データ］と合成することによって臨場感を演出するシ
ステムはない。

【０００６】

【発明が解決しようとしている課題】１）マン＿マシン
＿インタフェースにおける、人の主な感覚器官は視覚と
聴覚である。画像の場合は、多種多様な撮影装置があ
り、表現方法の手法も多く、臨場感表現の工夫にも高度
な専門知識を必要としない。一方、音響の場合は、臨場
感の表現には、｛｛音質に関する知識、臨場感そのもの
に関する知識、マイクロホンやスピーカの性能に関する
知識、音波の伝播に関する物理的知識、音響信号処理に
関する専門知識｝などのひとまとまりの専門知識｝や
｛音質に関する官能訓練｝も必要とされることから、一
般には普及していないのが現状である。 ２）音響の臨場感の認識は主観に頼る傾向があり、聴覚
が強力な適応機能を備えていることから、表現に工夫を
凝らさなくても画像との関係で臨場感を感じる傾向があ
る。 ３）実際に｛臨場感成分の強い音響信号｝を再生する
と、聞き手は｛言葉で表現できない驚きや感動｝を受け
る。このことは｛聴覚がこれまでに経験した臨場感のあ
る生の音質を覚えていて｝かつ｛情報機器や音響機器を
通じて伝わる音響情報に臨場感を感じていない｝とい
う、このギャップが大きいことを示唆している。 ４）画像の場合は｛不連続、細切れ、歪、低分解能｝な
どが大きな問題にならない。音響の場合は｛連続性、低
雑音、低歪、高分解能、正確なサンプリングクロックに
よる再生｝が必要条件である。複雑な音響信号計算処理
は、受信側の音響信号処理能力の不足（画像処理や通信
処理に忙しい）により、音響再生に不連続が発生し、音
の途切れなどにより、逆効果を生むことがある。特に通
信回線を通じて［音響データ］を伝達するケースで、同
期の問題も含めて課題がある。

【０００７】

【課題を解決するための手段】｛専門知識を必要とする
複雑な信号処理のアルゴリズム｝をあらかじめ用意して
おいて、｛画像の動き｝や｛画面の操作｝に伴うパラメ
ータと［臨場感］を生成するパラメータを連動させる。
音響の、臨場感成分のパラメータを次に挙げる手法で制
御する １）｛｛画像の制御パラメータ｝または｛［情報の受け
手］側の操作制御パラメータ｝または｛［情報の受け
手］側のモニタ画面上の位置を指し示すマークの画面座
標｝のいずれか｝と｛音響の［臨場感成分］のパラメー
タ｝を連動させる。 ２）［可変定数の臨場感強調フィルタ］の臨場感パラメ
ータを制御する。 ３）あらかじめ［元の音響データ］が持つ［臨場感成分
の音響データ］を抽出し、準備しておき、｛二種類の音
響データファイルの数値合成という単純な信号処理｝に
より自在な音響の臨場感を再生する。

【０００８】

【発明の実施の形態】本発明の応用先には下記の項目が
挙げられる。 １）｛インターネットのホームページ｝と｛その作成用
ソフトウェア｝。 ２）｛映画番組、ＴＶ放送番組｝と｛それらの作成用ソ
フトウェア｝。 ３）｛ＴＶゲーム｝と｛その作成用ソフトウェア｝。 ４）｛音楽信号｝と｛その作成ソフトウェア｝。 ５）｛効果音信号｝と｛その作成ソフトウェア｝ ６）電話通信信号。 ７）｛録音、録画｝の記録媒体。 以下、図面により詳細を説明する。図面中の記号につい
ては全図面を通じ、同記号は同機能であり、記号の定義
は｛記号の説明｝に記載の通りである。記述を簡素化す
るために、一度説明した記号と同記号の説明を省略する
ことがあるが、本説明の正確さを欠くものではない。

【０００９】図１は請求項１の｛［臨場感を強調した音
響データ］を得る手法が［可変定数の臨場感強調フィル
タ］によるもの｝であって｛［臨場感］の制御が［情報
の受け手］側にある場合｝の一実施例のブロック図であ
る。

【００１０】［情報の送り手］側ＳＥＲＶＥＲの情報
は、情報の伝達媒体ＬＩＮＥを通じ［情報の受け手］側
ＲＥＣＥＩＶＥＲに送られる。ＲＥＣＥＩＶＥＲは｛音
声モニタＳ＿ＭＮＴと画像モニタＶ＿ＭＮＴと操作入力
部Ｕ＿ＯＰＴ｝を持つ。ＳＥＲＶＥＲはＲＥＣＥＩＶＥ
Ｒを動作させるに必要な｛［信号処理制御プログラム］
ＣＴＲｓと［元の音響データ］ＯＳＤｓｐと［元の画像
データ］ＶＤｓｑ｝を持つ。ＲＥＣＥＩＶＥＲは、｛Ｓ
ＥＲＶＥＲから送られたＳＥＲＶＥＲと同じ内容｝の
｛［信号処理制御プログラム］ＣＴＲｒと［元の音響デ
ータ］ＯＳＤｒｐと［元の画像データ］ＶＤｒｑ｝を持
つ。［元の音響データ］ＯＳＤｒｐは［可変定数の臨場
感強調フィルタ］ＦＬＴＥｐ（ｘ，ｙ，ｚ）によって変
換され、［臨場感を強調した音響データ］の再生信号Ｒ
ｐ（ｔ）を生成する。ＦＬＴＥｐ（ｘ，ｙ，ｚ）は操作
制御パラメータＯ（ｘ，ｙ，ｚ）に依存して臨場感の度
合を変える。例えば、座標（ｘ，ｙ）が変化した場合、
音源を表す画像の位置との関係に依存して、ＦＬＴＥｐ
（ｘ，ｙ，ｚ）の臨場感のパラメータを変化させる。拡
大率（ｚ）が変化した場合、｛座標（ｘ、ｙ）を中心と
する画面｝の拡大率に依存して、ＦＬＴＥｐ（ｘ，ｙ，
ｚ）の臨場感のパラメータを変化させる。ＲＥＣＥＩＶ
ＥＲ側の画像変換機能ＡＦＩＮｑ（ｘ，ｙ，ｚ）は［画
像データ］ＶＤｒｑを｛｛画像の制御パラメータＯ
（ｘ，ｙ，ｚ）｝と｛［信号処理制御プログラム］ＣＴ
Ｒｒの制御｝｝を受けて、［［元の画像データ］を座標
変換した信号］Ｈｑ（ｔ）を生成する。

【００１１】この実施例は｛［情報の受け手］側の操作
により｝｛画像と音響の臨場感を表現する方法｝の一つ
の基本形である。例えば｛一本の木に多数の小鳥が囀っ
ている｝ような画像の場合、［情報の受け手］側の操作
により、画像を拡大すると、音響も含めて｛あたかも小
鳥の群れの中にいるように感じる｝このような臨場感の
表現ができる。

【００１２】図２は請求項１の｛［臨場感を強調した音
響データ］を得る手法が［可変定数の臨場感強調フィル
タ］によるもの｝であって｛［臨場感］の制御が一方的
に［情報の送り手］側にある｝場合の一実施例のブロッ
ク図である。

【００１３】図２の図１との違いは、図１が｛音響の臨
場感の制御が［情報の受け手］側にある｝ことに対し、
図２は、音響も画像も臨場感の表現は、製作者の設計ど
うりに作られる。ＳＥＲＶＥＲは［可変定数の臨場感強
調フィルタ］ＦＬＴＥｐ（ｘ，ｙ，ｚ）｝によって［臨
場感を強調した音響データ］ＰＳＤｓｐを生成する。
｛［臨場感を強調した音響データ］ＰＳＤｓｐと［元の
画像データ］ＶＤｓｑと［信号処理制御プログラム］Ｃ
ＴＲＰｐはＲＥＣＥＩＶＥＲ側に伝達される。ＲＥＣＥ
ＩＶＥＲ側の｛ＣＴＲｒとＰＳＤｒｐとＶＤｒｑ｝はＳ
ＥＲＶＥＲ側の｛ＣＴｓｐとＰＳＤｓｐとＶＤｓｑ｝と
同じである。ＰＳＤｒｐは音響再生信号Ｒｐ（ｔ）に変
換される。ＲＥＣＥＩＶＥＲ側には｛図１の臨場感の操
作入力部Ｕ＿ＯＰＴ｝はなく、臨場感の表現は全てＳＥ
ＲＶＥＲによって決められたものである。ＲＥＣＥＩＶ
ＥＲ側の画像変換機能ＡＦＩＮｑ（ｘ，ｙ，ｚ）は［画
像データ］ＶＤｒｑから、｛［信号処理制御プログラ
ム］ＣＴＲｒの制御｝を受けて、［［元の画像データ］
を座標変換した信号］Ｈｑ（ｔ）を生成する。

【００１４】この実施例は、例えば｛｛楽器演奏｝の場
面で、弾き手に照準を合わせた状態でのズーム＿インの
場面と連動して、｛楽器の音色の臨場感が増す｝｝この
ような臨場感の表現に応用できる。この実施例は｛映画
番組のような［情報の受け手］側で操作する必要がな
い｝場合の情報伝達に使われる。

【００１５】図３は請求項３の｛［臨場感を強調した音
響データ］を得る手法が｛［情報の受け手］側での
｛［元の音響データ］と［臨場感成分の音響データ］の
合成｝｝によるもの｝であって、｛［臨場感］の制御が
［情報の受け手］側にある場合｝の一実施例のブロック
図である。［臨場感成分］の抽出は［情報の送り手］側
にある。

【００１６】ＳＥＲＶＥＲの情報はＬＩＮＥを通じＲＥ
ＣＥＩＶＥＲに送られる。ＲＥＣＥＩＶＥＲは［情報の
受け手］の｛音声モニタＳ＿ＭＮＴと画像モニタＶ＿Ｍ
ＮＴと操作入力部Ｕ＿ＯＰＴ｝を持つ。ＳＥＲＶＥＲは
｛｛ＲＥＣＥＩＶＥＲ側を動作させるに必要な［信号処
理制御プログラム］ＣＴＲｓ｝と｛［元の音響データ］
ＯＳＤｓｐ｝と｛［元の画像データ］ＶＤｓｑ｝｝を持
つ。ＲＥＣＥＩＶＥＲは、ＳＥＲＶＥＲから送られた、
ＳＥＲＶＥＲ側と同じ内容の｛ＯＳＤｒｐとＶＤｒｑと
ＣＴＲｒ｝を持つ。［元の音響データ］ＯＳＤｒｐは
［臨場感成分の抽出フィルタ］ＦＬＴｒｐによって変換
され、［臨場感成分の音響データ］ＰＳＤｒｐとなる。
ブロックＣＯＮＶＥＲＳＩＯＮは操作入力Ｕ＿ＯＰＴか
らの信号Ｏ（ｘ，ｙ，ｚ）に依存して、｛画像と音響｝
の臨場感を生成する。Ｋｆｐ（ｘ，ｙ，ｚ）は［元の音
響信号］ＯＳＤｒｐを｛操作信号Ｏ（ｘ，ｙ，ｚ）に依
存して｝変化させる係数器であり、その出力はＦｐ
（ｍ）である。Ｋｇｐ（ｘ，ｙ，ｚ）は［臨場感成分の
音響データ］を｛操作信号Ｏ（ｘ，ｙ，ｚ）に依存し
て｝変化させる係数器であり、その出力はＧｐ（ｍ）で
ある。ＭＩＸは｛［元の音響信号］に対応する符号列Ｆ
ｐ（ｍ）｝と｛［臨場感成分］に対応する符号列Ｇｐ
（ｍ）｝を加算し、［臨場感を強調した音響データ］Ｆ
ｐ（ｍ）＋Ｇｐ（ｍ）を音響再生信号Ｆｐ（ｔ）＋Ｇｐ
（ｔ）に変換して出力する。ＡＦＩＮｑ（ｘ，ｙ，ｚ）
は［元の画像データ］を｛操作信号Ｏ（ｘ，ｙ，ｚ）に
依存して｝｛移動、拡大、縮小、回転｝などの座標変換
を作用させる機能であり、画像信号Ｈｑ（ｔ）を出力す
る。｛操作信号Ｏ（ｘ，ｙ，ｚ）の座標（ｘ，ｙ）や拡
大率（ｚ）｝が変化した場合、音源を表す画像の位置と
の関係に依存して、｛音響の臨場感パラメータ｛Ｋｆｐ
（ｘ，ｙ，ｚ）とＫｇｐ（ｘ，ｙ，ｚ）｝｝と｛画像の
座標変換パラメータＡＦＩＮｑ（ｘ，ｙ，ｚ）｝とを連
動して変化させる。

【００１７】｛図３と図１の相違点｝は、図１の実施例
では｛［情報の受け手］側で｛音響の臨場感を生成する
信号処理｝がリアルタイムに行われている｝ことに対
し、図３の実施例では｛［臨場感成分の音響データ］が
［情報の受け手］側であらかじめ作られている｝ところ
にある。｛図３と図１の共通点｝は、臨場感を生成する
音響信号処理を［情報の受け手］側に委ねることから、
［情報の送り手］側は［情報の受け手］側に｛音響信号
処理のアルゴリズム｝を送る必要がある。

【００１８】図４は請求項４の｛［臨場感を強調した音
響データ］を得る手法が｛［情報の送り手］側での
｛［元の音響データ］と［臨場感成分の音響データ］の
合成｝｝によるもの｝であって、｛［臨場感］の制御が
［情報の受け手］側にある場合｝の一実施例のブロック
図である。

【００１９】図４の図３との相違点は、図３が｛臨場感
成分の抽出が［情報の受け手］側にある｝ことに対し、
図４は｛臨場感成分の抽出が［情報の送り手］側にあ
る｝点である。［臨場感成分の音響データ］は［元の音
響データ］とは別に［情報の受け手］側に伝達されるこ
とから、通信データ量は増えるものの、［情報の受け
手］側では｛微分積分処理を伴う音響信号処理のアルゴ
リズム｝を実行する必要がなく、不確定多数の装置間の
音響データの通信が容易となり、臨場感を確実に伝える
ことができる。図４のは｛通信プロトコルを含むＳＥＲ
ＶＥＲ、ＲＥＣＥＩＶＥＲ｝のいずれの｛ハードウェ
ア、ソフトウェア｝の｛特性の影響が少ない｝手法であ
る。

【００２０】ＳＥＲＶＥＲの情報はＬＩＮＥを通じＲＥ
ＣＥＩＶＥＲに送られる。ＲＥＣＥＩＶＥＲは［情報の
受け手］の｛音声モニタＳ＿ＭＮＴと画像モニタＶ＿Ｍ
ＮＴと操作入力部Ｕ＿ＯＰＴ｝を持つ。ＳＥＲＶＥＲは
｛｛ＲＥＣＥＩＶＥＲ側を動作させるに必要な［信号処
理制御プログラム］ＣＴＲｓ｝と｛［元の音響データ］
ＯＳＤｓｐ｝と｛［臨場感成分の音響データ］ＰＳＤｓ
ｐ｝と｛［元の画像データ］ＶＤｓｑ｝｝を持つ。［元
の音響データ］ＯＳＤｓｐは［臨場感成分の抽出フィル
タ］ＦＬＴｓｐによって変換され、［臨場感成分］の
［音響データ］ＰＳＤｓｐを生成する。ＲＥＣＥＩＶＥ
Ｒ側は、ＳＥＲＶＥＲから送られた、ＳＥＲＶＥＲ側と
同じ内容の｛ＣＴＲｒとＯＳＤｒｐとＰＳＤｒｐとＶＤ
ｒｑ｝を持つ。ブロックＣＯＮＶＥＲＳＩＯＮは操作入
力Ｕ＿ＯＰＴからの信号Ｏ（ｘ，ｙ，ｚ）に依存して、
｛画像と音響｝の臨場感を生成する。Ｋｆｐ（ｘ，ｙ，
ｚ）は［元の音響信号］を｛操作信号Ｏ（ｘ，ｙ，ｚ）
に依存して｝変化させる係数器であり、その出力はＦｐ
（ｍ）である。Ｋｇｐ（ｘ，ｙ，ｚ）は［臨場感成分の
音響データ］を｛操作信号Ｏ（ｘ，ｙ，ｚ）に依存し
て｝変化させる係数器であり、その出力はＧｐ（ｍ）で
ある。ＭＩＸは｛［元の音響信号］に対応する符号列Ｆ
ｐ（ｍ）｝と｛［臨場感成分］に対応する符号列Ｇｐ
（ｍ）｝を加算し、［臨場感を強調した音響データ］Ｆ
ｐ（ｍ）＋Ｇｐ（ｍ）を音響再生信号Ｆｐ（ｔ）＋Ｇｐ
（ｔ）に変換して出力する。ＡＦＩＮｑ（ｘ，ｙ，ｚ）
は［元の画像データ］を｛操作信号Ｏ（ｘ，ｙ，ｚ）に
依存して｝｛移動、拡大、縮小、回転｝などの座標変換
機能であり、画像信号Ｈｑ（ｔ）を出力する。｛操作信
号Ｏ（ｘ，ｙ，ｚ）の座標（ｘ，ｙ）や拡大率（ｚ）｝
が変化した場合、音源を表す画像の位置との関係に依存
して、｛音響の臨場感パラメータ｛Ｋｆｐ（ｘ，ｙ，
ｚ）とＫｇｐ（ｘ，ｙ，ｚ）｝｝と｛画像の座標変換パ
ラメータＡＦＩＮｑ（ｘ，ｙ，ｚ）｝とを連動して変化
させる。

【００２１】図５は｛請求項１または請求項２または請
求項３または請求項４または請求項６｝において、１個
の｛［画像データ］と１個の［音響データ］で臨場感が
どのように表現されるか｝その例の説明図である。画像
に関しては、図面での説明が簡単であるが、音響に関し
ては、臨場感を直接に説明することができないことか
ら、｛用語の定義｝に臨場感の補足説明を加えている。

【００２２】図は｛Ｄ５＿ａ１、Ｄ５＿ａ２、Ｄ５＿ａ
３、Ｄ５＿ａ４｝の４個の｛表と絵｝からなる。表の中
の文字ｚは画面の拡大率を意味し、ｚの右の欄には、拡
大率を、説明の便宜上、数値で表現している。数値が大
きいものは拡大率が大きいと解釈する。ＯＳＤａは［元
の音響データ］の再生の強度を意味し、右の数値はその
再生強度を表している。数値が大きいものは再生音量が
大きいとする。ＰＳＤａは［臨場感成分の音響データ］
の再生の強度を意味し、右の数値はその再生強度を表し
ている。数値が大きいものは再生音量が大きいとする。
絵は［情報の受け手］側のモニタ画面である。説明を簡
単にするために、文字Ａが表示されていて、Ａに係る音
響信号が再生されているものとする。ＮＯＢの記号の上
の三角印は画面の拡大率を制御する｛画面上のつまみ｝
である。記号ＺＯＯＭは拡大率を表し、スケール０から
１０はその度合を表している。つまみＫＮＯＢを｛左Ｏ
ＵＴ側に動かせば縮小｝｛右ＩＮ側に動かせば拡大｝と
なる。

【００２３】図５の文字Ａを｛ギターの演奏画像｝であ
るとする。｛Ｄ５ａ１からＤ５ａ４｝］へと画面を操作
すると、ギターの画像は｛拡大されて、ギターに近づい
た｝ように変化する。この時のギターの音は、音量だけ
でなく音質そのものも変化する。｛ギターから５ｍは離
れた場所での音色｝と｛ギターの響鳴板に耳を当てて聴
いた音色｝とでは大きく異なる。一般的に耳が音源に近
づくほどに、単に音量が大きくなるだけではなく、臨場
感の成分である｛低周波数音と高周波数音｝がよく聴こ
え、音域が広がり、音色は極めて豊かになる。音源との
距離が近づくほどに、この効果は顕著になる。このと
は、音の伝播の物理的な性質に大きく依存することか
ら、その性質を逆方向に利用し［元の音響データ］に臨
場感成分を補完することによって、音源に近づいたと同
じ臨場感を得ることができる。人の聴覚は｛聴覚が音源
に近づいた時の感触｝を本能的に知っているが、｛その
感触を言葉で表現することが難しい｝。その反面、言葉
で表現しなくとも、その感触を音そのもので、｛言葉の
障壁を越えて全世界に伝えることの容易さ｝も持ち合わ
せている。｛臨場感成分の抽出｝または｛臨場感の強
調｝の手法そのものについては本発明の本質とするとこ
ろではない。

【００２４】図６は請求項５の｛２個の［画像データ］
と１個の［音響データ］で臨場感がどのように表現され
るか｝その例の説明図である。図６の図５と異なる点は
｛拡大率をさらに大きくした｝場合の｛画像の臨場感の
表現手法｝にある。音響の臨場感を表現する場合は、
｛音響信号の分解能が｛例えば１６ビット｝と一般的に
極めて高い｝ことから、臨場感成分を４０ｄＢ（１００
倍）程度強調することによる再生信号のきめ細かさの表
現の問題は小さいが、画像の場合は、｛明度は通常８ビ
ット程度で表現されている｝ことから、拡大率が大きく
なるとモザイク模様となり、ある意味では臨場感は増す
ものの｛精細さに欠けた画像｝となり、説得力が弱ま
る。そこで、画像の臨場感と音響の臨場感のバランスを
とるために画像の臨場感の表現に工夫が必要である。図
７は画像の精細さが欠けるほどに拡大率が大きくなった
場合、その部分の拡大画像に切り替える手法についての
説明図である。

【００２５】図は｛Ｄ７＿ａ１、Ｄ７＿ａ２、Ｄ７＿ａ
３、Ｄ７＿ａ４｝の４個の｛表と絵｝からなる。表の中
の記号ｚは情報表現の拡大率を意味し、ｚの右の欄に
は、表現の拡大率を便宜上、数値で表現している。数値
が大きいものは拡大率が大きいと解釈する。記号Ｚａは
［元の画像データ］Ａの拡大率を意味しＺａの右の欄に
は、拡大率を便宜状、数値で表現している。記号Ｚａａ
は［元の画像データ］ＡＡの拡大率を意味しＺａａの右
の欄には、拡大率を便宜状、数値で表現している。記号
ＯＳＤａは［元の音響データ］Ａの再生の強度を意味
し、ＰＳＤａはＡの［臨場感成分の音響データ］の再生
の強度を意味する。｛ＯＳＤａとＰＳＤａ｝の右の数値
はその再生強度を表している。数値が大きいものは再生
音量が大きいとする。

【００２６】絵は［情報の受け手］側のモニタ画面の図
である。説明を簡単にするために、文字Ａが表示されて
いて、Ａに係る音響信号が再生されているものとする。
ＮＯＢの記号の上の三角印は画面の拡大率を制御する、
画面上のつまみである。記号ＺＯＯＭは情報表現の拡大
率を表し、スケール０から１００はその度合を表してい
る。つまみＫＮＯＢを｛左ＯＵＴ側に動かせば縮小｝
｛右ＩＮ側に動かせば拡大｝となる。文字Ａが拡大さ
れ、分解能の限界を超えてモザイク模様になる前に、画
像をＡからＡＡに切り替えることにより精細さを維持し
て、あたかもＡがさらに拡大されたように表現しようと
するものである。音響信号はダイナミックレンジが広い
ことから、別の音響データに切り替える必要がない。

【００２７】図７は請求項５の｛１個の［画像データ］
と３個の［音響データ］で臨場感がどのように表現され
るか｝その例の説明図である。｛Ｄ６＿ａ１、Ｄ６＿ａ
２、Ｄ６＿ａ３、Ｄ７＿ａ４｝｛Ｄ６＿ｂ１、Ｄ６＿ｂ
２、Ｄ６＿ｂ３、Ｄ７＿ｂ４｝｛Ｄ６＿ｃ１、Ｄ６＿ｃ
２、Ｄ６＿ｃ３、Ｄ７＿ｃ４｝の１２個の｛表と絵｝か
らなる。｛ａｎ，ｂｎ，ｃｎ｝ｎ＝１，２，３，４はそ
れぞれの図のモニタ画面を表す絵の中の文字｛Ａ，Ｂ，
Ｃ｝に臨場感の照準を合わせていることを意味する。
｛ｎ＝１，２，３，４｝は照準位置での画像の拡大率の
大きさに対応している。表の中の文字ｚは画面の拡大率
を意味し、ｚの右の欄には、拡大率を便宜上、数値で表
現している。数値が大きいものは拡大率が大きいと解釈
する。｛ＯＳＤａ，ＯＳＤｂ，ＯＳＤｃ｝はそれぞれ画
面上の｛Ａ，Ｂ，Ｃ｝の位置にある画像に関連する音源
の［元の音響データ］の再生の強度を意味し、右の数値
はその再生強度を表している。｛ＰＳＤａ，ＰＳＤｂ，
ＰＳＤｃ｝はそれぞれ｛ＯＳＤａ，ＯＳＤｂ，ＯＳＤ
ｃ｝の［臨場感成分の音響データ］の再生の強度を意味
し、右の数値はその再生強度を表している。

【００２８】図７中｛Ｄ６＿ａｎ｝｛Ｄ６＿ｂｎ｝｛Ｄ
６＿ｃｎ｝ｎ＝１，２，３，４は［情報の受け手］側の
モニタ画面の絵であり、それぞれ照準が｛Ａ，Ｂ，Ｃ｝
にあることを示す。ｎの値が大きくなると、拡大率が大
きくなるとする。説明を簡単にするために、文字｛Ａ，
Ｂ，Ｃ｝が表示されていて、それぞれ｛Ａ，Ｂ，Ｃ｝に
係る音響信号が再生されているものとする。ＮＯＢの記
号の上の三角印は画面の拡大率を制御する、画面上のつ
まみである。記号ＺＯＯＭは拡大率を表し、スケール０
から１０はその度合を表している。つまみＫＮＯＢを
｛左ＯＵＴ側に動かせば縮小｝｛右ＩＮ側に動かせば拡
大｝となる。

【００２９】例えば、図６が海岸の写真であって｛Ａが
海岸で遊ぶ人、Ｂが波打ち際、Ｃが島｝であるとする。
Ａに照準が合わされ｛Ｄ６＿ａ１からＤ＿ａ４｝へとＺ
ＯＯＭを操作すると｛海岸で遊ぶ人の画像｝は拡大され
て｛画面は人に近づいた｝ように変化する。この時の人
の声は、音量だけでなく音質そのものが変化する。Ｂに
照準が合わされ｛Ｄ６＿ｂ１からＤ６＿ｂ４｝へとＺＯ
ＯＭを操作すると｛波打ち際の画像｝は拡大されて｛画
面は波打ち際に近づいた｝ように変化する。この時の
｛波が打ち寄せるの音｝は、音量だけでなく音質そのも
のが変化する。Ｃに照準が合わされ｛Ｄ６＿ｃ１からＤ
６＿ｃ４｝へとＺＯＯＭを操作すると｛島の画像｝は拡
大されて｛島に近づいた｝ように変化する。この時の島
に住む鳥の声は、音量だけでなく音質そのものが変化す
る。

【００３０】このように、画面の位置情報と臨場感の制
御を連動させることによって、立体感のある情報伝達が
可能となる。

【００３１】

【発明の効果】１）画像と音響の両面から、臨場感を演
出する内容の情報伝達を簡単な手法で可能とする。 ２）本発明は、商品や情報やサービスや音楽など直接の
商取引には係わらないものの、これらの商取引に必要な
情報伝達に大きな影響を与える。 ３）｛吟味された臨場感のアルゴリズムを使うことがで
きる｝ことや｛臨場感の伝達を極め簡素化できる｝こと
は芸術性の高い情報伝達の環境を一般のユーザに提供
し、｛伝達する情報の内容の創作の競い｝と｛見て、聴
いて、楽しみ、学習し、感動する｝ことができる｛情報
の内容｝に対する受け手側の評価の場を作る。

【００３２】

【図面の簡単な説明】

【図１】臨場感強調フィルタが［情報の受け手］側にあ
る場合の｛手法の実施例｝。

【図２】臨場感強調フィルタが［情報の送り手］側にあ
る場合の｛手法の実施例｝。

【図３】臨場感抽出フィルタが［情報の受け手］側にあ
る場合の｛手法の実施例｝。

【図４】臨場感抽出フィルタが［情報の送り手］側にあ
る場合の｛手法の実施例｝。

【図５】１組の［画像データ］と［音響データ］の場合
の｛表現の実施例｝。

【図６】２個の［画像データ］と１個の［音響データ］
の場合の｛表現の実施例｝。

【図７】１個の［画像データ］と３個の［音響データ］
の場合の｛表現の実施例｝。

【００３３】

【記号の説明】

図面の説明の中で、図面番号の如何にかかわらず、記入
されている記号は下記の意味を持つ。 ＳＥＲＶＥＲ：ブロック内が［情報の送り手］側にある
ことを示す。 ＲＥＣＥＩＶＥＲ：ブロック内が［情報の受け手］側に
あることを示す。 ＬＩＮＥ：通信媒体または記録媒体 ＣＯＮＶＥＲＳＩＯＮ：信号処理部

【００３４】ＣＴＲｓ：情報が［情報の送り手］側にあ
る［信号処理制御プログラム］または［コンピュータ制
御文］。 ＣＴＲｒ：情報が［情報の受け手］側にある［信号処理
制御プログラム］または［コンピュータ制御文］。 ＯＳＤｓｐ：ｐ＝１，２，３，，，，，。情報が［情報
の送り手］側にある任意の数の［元の音響データ］。 ＦＬＴｓｐ：ｐ＝１，２，３，，，，，。［情報の送り
手］側にある任意の数の［臨場感成分］の抽出フィル
タ。 ＰＳＤｓｐ：ｐ＝１，２，３，，，，，。［臨場感成
分］の［音響データ］。 ＯＳＤｒｐ：ｐ＝１，２，３，，，，，。情報が［情報
の受け手］側にある任意の数の［元の音響データ］。 ＰＤＳｒｐ：ｐ＝１，２，３，，，，，。情報が［情報
の受け手］側にある任意の数の［臨場感成分］の［音響
データ］。 ＶＤｓｑ：ｑ＝１，２，３，，，，，。情報が［情報の
送り手］側にある任意の数の［元の画像データ］。 ＶＤｒｑ：ｑ＝１，２，３，，，，，。情報が［情報の
受け手］側にある任意の数の［元の画像データ］。

【００３５】Ｕ＿ＯＰＴ：［情報の受け手］側の操作 Ｏ（ｘ，ｙ，ｚ）：［情報の受け手］側の操作が指し示
す［画像の制御パラメータ］で、ｘ，ｙは｛画面上の座
標｝、ｚは｛画像の拡大縮小率｝。 Ｓ＿ＭＮＴ：音響信号のモニタ出力。 Ｒｐ（ｔ）：ｐ＝１，２，３，，，，，。任意の数の
［臨場感の成分を強調した音響データ］の符号列の合成
データを再生した時系列音響信号。 Ｖ＿ＭＮＴ：画像信号のモニタ出力。 Ｈｑ（ｔ）：ｑ＝１，２，３，，，，，。任意の数の
［元の画像データ］の符号列を再生した時系列画像信
号。 ＣＮＶ：ブロック内が信号処理機能であることを示す。 （ｘ、ｙ、ｚ）のｚ：画面の拡大縮小パラメータ。 （ｘ，ｙ，ｚ）のｘ，ｙ：画面の特定の位置を示すパラ
メータ。

【００３６】ＦＬＴｅｐ（ｘ，ｙ，ｚ）：ｐ＝１，２，
３，，，，，。［情報の受け手］側にあって［情報の受
け手］側の操作Ｏ（ｘ，ｙ，ｚ）に依存して［臨場感の
成分を強調した音響データ］群を生成する音響フィル
タ。 Ｋｆｐ（ｘ，ｙ，ｚ）：ｐ＝１，２，３，，，，，。
［情報の受け手］側にあって［情報の受け手］側の操作
Ｏ（ｘ，ｙ，ｚ）に依存して［元の音響データ］群の再
生強度を制御する係数機能。 Ｆｐ（ｍ）：Ｋｆｐ（ｘ，ｙ，ｚ）の出力符号列。 ＦＬＴｒｐ：ｐ＝１，２，３，，，，，。［情報の受け
手］側にある任意の数の［臨場感成分］の抽出フィル
タ。 Ｋｇｐ（ｘ，ｙ，ｚ）：ｐ＝１，２，３，，，，，。
［情報の受け手］側にあって［情報の受け手］側の操作
Ｏ（ｘ，ｙ，ｚ）により［臨場感成分の音響データ］群
の再生強度を制御する係数機能。 ＭＩＸ：［元の音響データ］Ｆｐ（ｍ）と［臨場感成分
の音響データ］Ｇｐ（ｍ）を合成する機能。 Ｇｐ（ｍ）：Ｋｇｐ（ｘ，ｙ，ｚ）の出力符号列。 Ｆｐ（ｔ）＋Ｇｐ（ｔ）：ｐ＝１，２，３，，，，，。
［臨場感の成分を強調した音響データ］の再生信号。 ＡＦＩＮｑ（ｘ，ｙ，ｚ）：ｑ＝１，２，
３，，，，，。Ｏ（ｘ、ｙ、ｚ）の制御を受けて、
［［元の画像データ］を座標変換した画像データ］を生
成する機能。

【００３７】ｚ：画面の拡大縮小の制御パラメータ ｘ，ｙ：画面の特定の画像を示す位置制御パラメータ ＯＳＤａ：画面中の｛位置ＡにあるＡの画像｝に対応す
る［元の音響データ］の強度を表す記号。 ＰＳＤａ：画面中の｛位置ＡにあるＡの画像｝に対応す
る［臨場感成分の音響データ］の強度を表す記号。 ＯＳＤｂ：画面中の｛位置ＢにあるＢの画像｝に対応す
る［元の音響データ］の強度を表す記号。 ＰＳＤｂ：画面中の｛位置ＢにあるＢの画像｝に対応す
る［臨場感成分の音響データ］の強度を表す記号。 ＯＳＤｃ：画面中の｛位置ＣにあるＣの画像｝に対応す
る［元の音響データ］の強度を表す記号。 ＰＳＤｃ：画面中の｛位置ＣにあるＣの画像｝に対応す
る［臨場感成分の音響データ］の強度を表す記号。 ＺＯＯＭ のマーク：ＡまたはＢまたはＣを中心位置と
する画面の拡大縮小率の度合を、制御するモニタ画面上
の目盛を示すマーク。 ＯＵＴ のマーク：ＺＯＯＭの縮小方向。 ＩＮ のマーク：ＺＯＯＭの拡大方向。 ＫＮＯＢ のマーク：ＺＯＯＭの度合を変化させるモニ
タ画面上の操作ツマミ。 Ａ のマーク：位置ＡにあるＡの画像。 Ｂ のマーク：位置ＢにあるＢの画像。 Ｃ のマーク：位置ＣにあるＣの画像。

Claims (6)

【特許請求の範囲】
1. 【請求項１】［任意の情報］を［広告、紹介、販売、サ
   ービス、製作、のいずれかの目的］で［情報の送り手］
   側から［情報の受け手］側に［伝達メディア］を介して
   伝達するところの［手段または手法］であることを第１
   の特徴とし、［情報の送り手］側が発信する［任意の情
   報］が、少なくとも［元の音響データ］と［元の画像デ
   ータ］を含むことを第２の特徴とし、［情報の送り手］
   側が発信する［任意の情報］が、｛［情報の受け手］側
   で［元の音響データ］から［臨場感を強調した音響デー
   タ］を生成する｝に必要な［信号処理制御プログラム］
   を含むことを第３の特徴とし、［情報の受け手］側が、
   ［信号処理制御プログラム］の制御により｛［可変定数
   の臨場感強調フィルタ］を介して［元の音響データ］か
   ら［臨場感成分を強調した音響データ］を生成する機
   能｝と｛［［元の画像データ］を座標変換した画像デー
   タ］を生成する機能｝を有することを第４の特徴とし、
   ｛｛［［情報の送り手］側によってあらかじめ決められ
   た手順］｝かまたは｛［［情報の受け手］側の操作］｝
   かまたは｛［情報の受け手］側のモニタ画面上の位置を
   指し示すマークの［画面座標］｝のいずれか｝により、
   ［臨場感を強調した音響データ］と［［元の画像デー
   タ］を座標変換した画像データ］を再生する機能を有す
   ることを第５の特徴とし、上記、第１と第２と第３と第
   ４と第５の特徴を有するところの、［臨場感］を表現す
   る［手段または手法］。
2. 【請求項２】［情報の送り手］側が発信する［任意の情
   報］が、少なくとも［元の画像データ］を含むことを第
   ６の特徴とし、［情報の送り手］側が発信する［任意の
   情報］が、｛［情報の受け手］側で｛［［元の画像デー
   タ］を座標変換した画像データ］を生成するに必要な
   ［信号処理制御プログラム］を含む｝ことを第７の特徴
   とし、［情報の送り手］側が｛［可変定数の臨場感強調
   フィルタ］介して［元の音響データ］から生成した［臨
   場感成分を強調した音響データ］を生成する｝機能を有
   することを第８の特徴とし、｛｛［［情報の送り手］側
   によってあらかじめ決められた手順］｝により、［臨場
   感成分を強調した音響データ］と［［元の画像データ］
   を座標変換した画像データ］を再生する機能を有するこ
   とを第９の特徴とし、上記、第１と第６と第７と第８と
   第９の特徴を有するところの、［臨場感］を表現する
   ［手段または手法］。
3. 【請求項３】［情報の送り手］側から発信する［任意の
   情報］が少なくとも［元の音響データ］と［元の画像デ
   ータ］を含むことを第１０の特徴とし、［情報の受け
   手］側は、｛［任意の情報］が含む［信号処理制御プロ
   グラム］｝の制御により｛［情報の受け手］側に構成し
   た［臨場感成分の抽出フィルタ］｝を介して｛［元の音
   響データ］から［臨場感成分の音響データ］を抽出す
   る｝機能を有することを第１１の特徴とし、［情報の受
   け手］側は、｛［任意の情報］が含む［信号処理制御プ
   ログラム］｝の制御により｛｛［［情報の送り手］側に
   よってあらかじめ決められた手順］｝かまたは｛［［情
   報の受け手］側の操作］｝かまたは｛［情報の受け手］
   側のモニタ画面上の位置を指し示すマークの座標｝｝の
   いずれかに依存して｛［元の音響データ］と［臨場感成
   分の音響データ］のそれぞれの強度の比率を変えて合成
   したところの［臨場感成分を強調した音響データ］｝と
   ｛［［元の画像データ］を座標変換した画像データ］｝
   を生成し、再生する機能を有することを第１２の特徴と
   し、上記、第１と第１０と第１１と第１２の特徴を有す
   るところの、［臨場感］を表現する［手段または手
   法］。
4. 【請求項４】［情報の送り手］側は、｛［任意の情報］
   が含む［信号処理制御プログラム］｝の制御により
   ｛［情報の送り手］側に構成した［臨場感成分の抽出フ
   ィルタ］｝を介して｛［元の音響データ］から［臨場感
   成分の音響データ］を抽出する｝機能を有することを第
   １３の特徴とし、［情報の送り手］側から発信する［任
   意の情報］が少なくとも［臨場感成分の音響データ］と
   ［元の画像データ］を含むことを第１４の特徴とし、
   ［情報の受け手］側は、｛［任意の情報］が含む［信号
   処理制御プログラム］｝の制御により｛｛［［情報の送
   り手］側によってあらかじめ決められた手順］｝かまた
   は｛［［情報の受け手］側の操作］｝かまたは｛［情報
   の受け手］側のモニタ画面上の位置を指し示すマークの
   座標｝｝のいずれかに依存して｛［元の音響データ］と
   ［臨場感成分の音響データ］のそれぞれの強度の比率を
   変えて合成したところの［臨場感成分を強調した音響デ
   ータ］｝と｛［［元の画像データ］を座標変換した画像
   データ］｝を生成し、再生する機能を有することを第１
   ５の特徴とし、上記、第１と第１３と第１４と第１５の
   特徴を有するところの、［臨場感］を表現する［手段ま
   たは手法］。
5. 【請求項５】｛請求項１と請求項３｝において複数個の
   ［画像データ］と１個の［音響データ］とを対応し臨場
   感を表現することを第１６の特徴とし、｛請求項１と請
   求項３｝において１個の［画像データ］と複数個の［音
   響データ］とを対応し臨場感を表現することを第１７の
   特徴とし、｛請求項１と請求項３｝において複数個の
   ［画像データ］と複数個の［音響データ］し臨場感を表
   現することを第１８の特徴とし、上記｛第１６の特徴ま
   たは第１７の特徴または第１８の特徴｝のいずれかの特
   徴を有するところの［臨場感］を表現する［手段または
   手法］。
6. 【請求項６】［情報の送り手］側が発信する［任意の情
   報］が、少なくとも｛［元の画像データ］かまたは
   ［［元の画像データ］を座標変換した画像データ］｝と
   ｛［可変定数の臨場感強調フィルタ］介して［元の音響
   データ］から生成した［臨場感成分を強調した音響デー
   タ］｝または｛［元の音響データ］と［臨場感成分の音
   響データ］のそれぞれの強度の比率を変えて合成したと
   ころの［臨場感成分を強調した音響データ］｝を含むこ
   とを第１９の特徴とし、上記、第１と第１９の特徴を有
   するところの、［臨場感］を表現する［手段または手
   法］。 【０００１】