JP2007027846A - 動画再生システム及び動画再生方法 - Google Patents

Abstract

【課題】音源の位置を指定し、オブジェクトの発音が、視聴者に対し空間的に明らかに識別できるようにする。
【解決手段】動画再生システムは、平面表示装置５０と、その前面に設けられた平面スピーカ群６０と、低音用スピーカ７１，７２とを有している。動画ファイル１１から、映像再生装置３０により映像を再生して平面表示装置５０に表示すると共に、音響再生装置２０により音響を再生して平面スピーカ群６０及び低音用スピーカ７１，７２から出力させる。この際、動画ファイル１１から音響再生装置２０により再生する音響データを合成した場合に、これを高音域と低音域とにフィルタ２３で分離し、当該高音域音響を平面スピーカ群６０で再生し、当該低音域音響を低音用スピーカ７１，７２で再生する。音源位置再生装置４０では、スピーカ変更に伴い再生すべきスピーカ６１を指定するために時間的、空間的なスレッショルドを設定して、違和感のない再生を行う。
【選択図】図１

Description

本発明は、オブジェクト（objective、目的物）対応のムービング・ピクチャ・エクスパート・グループ４（Moving Picture Experts Group phase 4、動画と音声の高能率符号化方式、以下「ＭＰＥＧ４」という。）ファイル等を再生するに当たり、オブジェクトの音源位置情報を取り込んで、臨場感ある動画再生を行わせるための動画再生システム及び動画再生方法に関するものである。

近年の劇場映画は、臨場感を出すために大音響装置や振動装置を取り入れ、その音響効果や衝撃により観客の五感に訴える技術が登場している。これに対し、コンピュータにより動画を再生する場合、映画の映像データと音響データをＭＰＥＧにより記録し、再生する技術に止まっており、平面的であって、臨場感を取得するまでは至っていない。

臨場感を演出する技術の１つに音源の位置や方向を何らかの手段で特定することが考えられる。例えば、２つのスピーカで３次元的音の広がりを演出する技術（例えば、３Ｄポジショナルサウンドテクノロジー）が実現している。しかし、スピーカが一対以上有る場合であっても、「音の広がり」ではなく、特定の位置に音源が存在するように見せかけることは難しい。例えば、スピーカが一対しかない場合でも、音響波形の位相を合成して、特定の位置に音源が存在するように見せかける技術がある。そこでは、平面スピーカを用いた波面合成により立体音響再生を実現しようとする。しかし、人間の耳は一対存在し、その構造が複雑であって、理論通りに行かない現状がある。一般的に、２つのスピーカで位相合成を行っても、人間の耳はその音源の中間であって、それらのスピーカの背後に単一の音源が存在するように聞こえる傾向を持つようである。この結果は、２つ以上のスピーカを使用する場合も同様である。

これに関連して、従来、立体映像中にある個々の物体の音声を聴取者に対して立体的に発生させる立体音像制御装置の技術が、例えば、次のような文献に記載されている。

特開平６−３０１３９０号公報

この立体音像制御装置では、静止画或いは動画の３次元映像信号と併せて聴取者ＬＮの位置ＬＮｐを基準とした正面から画像中の各物体ＯＪまでの角度θｎ、距離ｒｎ、及び各物体ＯＪの発生する音響信号Ｓｎからなる３次元音声信号を含む３次元映像データと、聴取者ＬＮの周囲に配置された複数個のスピーカＳＰと、３次元音声信号（θｎ，ｒｎ，Ｓｎ）を入力して個々の画像中の物体ＯＪの位置に対応して複数個のスピーカＳＰに音響信号Ｓｎを分配する信号処理部ＳＩとを備えている。そして、複数個のスピーカＳＰを複数個の領域に分割し、信号処理部ＳＩは角度θｎによって物体ＯＪに対応する音源が位置する領域を特定して使用するスピーカＳＰを選択すると共に、距離ｒｎによって音響信号Ｓｎの距離減衰を計算する。これにより、映像信号再生と同時に３次元音声信号を信号処理部ＳＩに取り込み、ここで音響信号Ｓｎの距離減衰や音像領域特定、出力スピーカ選択等の処理を施して、選択されたスピーカＳＰより、処理された３次元音声信号が出力され、立体音像が得られるようになっている。

しかし、この特許文献１の立体音像制御装置では、予め決められた聴取者ＬＮの位置ＬＮｐを基準にして画像中の各物体ＯＪまでの角度θｎ、距離ｒｎ、及び音響信号Ｓｎからなる３次元音声信号（θｎ，ｒｎ，Ｓｎ）を含む３次元映像データを作成しておき、この３次元映像データを再生して、位置ＬＮｐにいる視聴者ＬＮに対して立体映像及び立体音響を視聴させるようになっているので、３次元映像データの作成に手数を要するばかりか、テレビジョン鑑賞等のように複数の視聴者が同時に視聴することが出来ないので、使い勝手が悪く、汎用性に欠けるという欠点がある。

一方、動画像再生に利用できるＭＰＥＧ４では、多種多様なＡＶ（Audio Visual）オブジェクトを統一的に扱えるように「シーン記述」（Scene Description）と言う考え方を採用し、シーン記述において各ＡＶオブジェクトの時間的、空間的な相互関係や属性を記述できるようにし、その詳細については既存の規格に委ね、インタフェース仕様のみを規定する。例えば、人物のオブジェクトはその画像（sprite）と音響（sound）を有する複合オブジェクトとして扱い、各オブジェクトにつきオブジェクト・ディスクリプタ（Object Descriptor）で記述するが、その画像等の形式については決めず、その画像等の情報を時間の流れで変化するエレメンタリ・ストリーム（Elementary Stream、以下「ＥＳ」という。）として取り扱う。

臨場感を演出する技術の１つとして音源の位置を指定することを考えた場合、音源の位置は時間と共に変化し、ＥＳとして取り扱うことができる。音源の位置は、画像や音響のオブジェクトに密接に関連するが、この画像や音響等とは本来別個の情報であって、特許文献１のような立体映像といった特殊な用途を除き、平面表示装置やスクリーン等を用いた平面映像において、従来積極的に活用されてこなかった。

上記の如く、従来、音源の位置を位相合成等で特定させるのは難しかった。その原因として、人間の複雑な耳の構造、及び経験に基づく大脳による情報処理等が考えられるが、簡単に解決できる課題ではないと考えられる。この課題を解決するために、従来の特許文献１に記載された立体音像制御装置の技術等を利用することも考えられる。しかし、特許文献１の技術は、３次元の立体映像・音響技術であり、これと異なる技術の従来の課題解決に適用することは難しく、未だ技術的に十分満足の得られる平面表示装置やスクリーン等への動画再生装置や動画再生方法を提供することができなかった。

このような従来の課題を解決するために、本発明では、臨場感を演出する技術の１つとして音源の位置を指定し、オブジェクトの発音が、視聴者に対し空間的に明らかに識別できるようにした動画再生システム及び動画再生方法を提供することを目的とする。

上記目的を達成するために、本発明では、直接的にオブジェクト位置からこの位置に置かれたスピーカにより発音させる構成を採用する。そうすれば、人間の聴覚が空間的な識別を可能とすることは確実である。しかし、この方法には、次のような第１及び第２の問題点もある。

第１の問題点は、当該位置に置かれたスピーカの構造に制限があり、少なくとも大きな構造のスピーカを多数配置することはできない。従って、小さなスピーカを多数配置することになるが、この場合にはスピーカの周波数特性が問題になる。一般に小さなスピーカの低音特性は悪く、その再生は難しい。しかし、小さなスピーカは、高音領域ならでの利点（メリット）と高い指向性を有する。他方、低音領域専用に作られた大きなスピーカは高音の再生が難しく、且つ、指向性が減じた特性を有する。そこで、一般のステレオ再生装置でも、高音用と低音用のスピーカを併せて使用する。

第２の問題点は、小さなスピーカを多数配置し、使用するスピーカを指定したとしても、動画再生であるので音源の位置が絶えず変動する、ことである。仮にキャラクタの音源位置がスピーカの境界領域にある場合、何れのスピーカを選択すべきだろうか。何れかのスピーカを選択する方法を採用した場合には、今度はキャラクタの音源位置のわずかな変動にも関わらず、音源位置は不安定な変動を行い、視聴者に違和感を与えるだろう。スピーカが離散的に存在するために生じる音響再生位置の不安定さで、この種のシステムに不可避の欠点と考えられる。

そこで、このような第１及び第２の問題点を解消するために、本発明では、ＭＰＥＧ４のような動画ファイルを再生する場合に、音源の位置を指定し、当該オブジェクトの発音が、視聴者に対し空間的に明らかに識別できるようにするために、以下のような第１及び第２の構成を採用している。

第１の構成は、プラズマ表示装置や液晶表示装置等のような平面表示装置と、その前面若しくは背面に設けられた平面スピーカ群と、低音用スピーカとを有する動画再生システムにおいて、動画ファイルから再生する音響データを合成した場合に、これを更に高音域と低音域とにフィルタで分離し、当該高音域音響を平面スピーカ群で再生し、当該低音域音響を低音用スピーカで再生することを特徴とする。

第２の構成は、スピーカ変更に伴い再生すべきスピーカを指定するために時間的、空間的なスレッショルドを設定して、違和感のない再生を行うことにある。音源の再生位置（Ｘｍ，Ｙｎ）のわずかな変動により再生を担当するスピーカが変更されると、スピーカは有限個で離散的にしか存在しないことから、再生音響が不安定になり、視聴者に違和感を与える畏れがある。そこで、空間的スレッショルド領域を設定し、その領域での再生につき現在指定しているスピーカ若しくは隣接するスピーカの何れかで再生する方法を採用している。

音源の位置が未だスレッショルド領域にある場合は、現在選択されているスピーカを変更せず、該スレッショルド領域を越えて隣の確定領域に入った場合に、始めて隣のスピーカを選択する方式を採用する。時間的なスレッショルドは、短い時間内に選択されるスピーカが変更されると、同様に、再生音響が不安定になり、視聴者に違和感を与える畏れがあることから、安定した音響再生のために設けられている。

又、当該音源の無音期間を計測し、時間的なスレッショルド領域を設定する。一定の無音期間を経過していれば、空間的なスレッショルド領域内にあっても、直ちに隣のスピーカを選択することができる。この場合は、前記再生音響不安定の問題は生じないからである。この意味で時間的スレッショルドは空間的スレッショルドに優先する。

本発明の第１の構成によれば、指定の位置にある平面スピーカによる高音域の指向性有る音響により当該キャラクタが、表示装置上であたかもその位置に何者かが存在するかのように発音する効果を享受できる。しかも、低音域音響を低音用スピーカで再生するので、両者相まって、自然な音響再生を享受することができる。

本発明の第２の構成によれば、多数の平面スピーカ群を使用するための問題点を解決し、自然な音響再生を享受することができる。即ち、何れかのスピーカを選択した場合には、前記スレッショルド領域の作用により、音源位置の変動に基づく再生音響の不安定さを解消することができる。又、前記スレッショルド領域で双方のスピーカを使用して再生する方式を採用した場合には、音量の不安定さを解消することができる。

特に、請求項１、２記載の発明によれば、広域音響の音響指向性に基づき、動画の映像上のキャラクタ（人物やロボットなど）が恰も平面上に存在し、生物のように発声若しくは発音する効果を享受でき、動画の臨場感が著しく増加する。

請求項３記載の発明によれば、空間的スレッショルド領域の作用により、音源位置の空間的変動に基づく再生音響の不安定さを解消することができる。

請求項４記載の発明によれば、請求項３における音源位置の空間的変動があった場合においても、時間的な第１のスレッショルドを超えていない場合には何ら違和感が生じないことから、音響の自然な再生を維持できる。

請求項５記載の発明によれば、請求項３における音源位置の空間的変動があった場合においても、時間的な第２のスレッショルドを超えている場合には何ら違和感が生じないことから、音響の自然な再生を維持できる。

請求項６記載の発明によれば、音源位置情報に基づき音響情報に係る音響信号を選択したスピーカで再生することができるので、動画の映像上のキャラクタとその発声等の音源位置を空間的に一致させることができる。

請求項７記載の発明によれば、映像上のキャラクタ等が近接して存在する場合で、同一のスピーカで再生しなければならない場合にあっても、複数の独立した音響信号を合成し、当該スピーカに導くことにより、その目的を達成することができる。

請求項８記載の発明によれば、アナログ合成の結果、合成音響信号の振幅が過大になった場合において、スピーカの音量を抑え、ひいては音響歪を抑えることができる。

請求項９記載の発明によれば、従来積極的に活用されていなかった音源位置情報を独立した情報として、簡易に動画より取得することができる。

請求項１０記載の発明によれば、請求項９の取得方法で取得された音源位置情報を音源位置再生に必要なデータをまとめることができるので、取り扱いに便利である。特に、音響位置情報ＥＳに変換するのに便宜である。

請求項１１記載の発明によれば、高域音響の音響指向性に基づき、動画の映像上のキャラクタ（人物やロボット等）が恰もスクリーン上に存在し、生物のように発声若しくは発音する効果を享受でき、動画の観客に対する臨場感が著しく増加する。

請求項１２記載の発明によれば、パーソナルコンピュータ（以下「ＰＣ」という。）等のコンピュータのアプリケーションで再生した動画をプロジェクタによりスクリーン上に表示できるので、簡易に本発明にかかるシステムを構築することができる。

請求項１３記載の発明によれば、音源位置情報を積極的に活用し、臨場感有るＭＰＥＧ４動画再生を行わせることができる。

請求項１４記載の発明によれば、簡易に音源位置情報を取得でき、アプリケーション・プログラム等の開発が容易になる。

請求項１５記載の発明によれば、高価なハードウェアを使用しないで、安価な音源位置再生を行わせることができると共に、音源位置変換の方法変更を容易に達成できる。

請求項１６記載の発明によれば、音響システムに合わせた音源位置再生を行うアプリケーション・プログラムを提供できる。

本発明では、所定の方法により取得したキャラクタ音源位置データを、当該キャラクタをオブジェクトとし、当該キャラクタ音源位置データをオブジェクト・ディスクリプタＩＤとして有するＭＰＥＧ４ファイルの再生において、平面表示装置と、その前面に設けられた平面スピーカ群と、一対の低音用スピーカとを有する動画再生装置により、前記ＭＰＥＧ４ファイルから再生する音響データを合成する場合に、これを更に高音域と低音域とにフィルタで分離し、当該高音域音響を前記平面スピーカ群で再生し、当該低音域音響を前記低音用スピーカで再生することを特徴とする動画再生システムであって、再生すべきスピーカを指定するために音源の位置空間（Ｘｓ，Ｙｓ）につき時間的及び空間的スレッショルド領域を設定する方式である。

この場合に、空間的スレッショルド領域を設定して何れかのスピーカを選択する場合には、前記スレッショルド領域では現在選択されているスピーカを変更せず、前記スレッショルド領域を越えて隣の領域に入った場合に始めて隣のスピーカを選択する方式を採用する。時間的なスレッショルドのうち短い方（Ｔｓ）は、安定した音響再生のために設けられている。時間的なスレッショルドのうち長い方（Ｔｌ）は、無音期間の計測のために設けられている。一定の無音期間を経過していれば、空間的なスレッショルド領域内にあっても、直ちに隣のスピーカを選択する方式を採用する。

本発明に係る実施例１では、音源の位置情報を有する動画ファイルを扱う。本実施例１で特に関心のあるのは、そのキャラクタの中心位置ではなく、そのキャラクタの発生する音響（音声を含む。）の音源の位置であり、音源は通常複数であって音源位置も複数有する。

音源位置の最も簡単な取得方法は、オブジェクト、特にビジュアル・オブジェクト（visual objective）の空間的な位置情報をそのまま音源の位置情報とする方法である。この場合には、１つのオブジェクトが複数の音源を有する場合においても、その位置情報は１つに限られる。オーディオ・オブジェクトでは音源の位置が定かではない場合がある。デフォルト（default、初期設定）では、原点に置かれるだろう。ＭＰＥＧ４ではシーン記述言語としてシーン用バイナリ・フォーマット（Binary Format for Scene、以下「ＢＩＦＳ」という。）を採用し、この言語はVirtual Reality Modeling Language（以下「ＶＲＭＬ」という。）にその基礎を置く。オブジェクトの空間的な位置は、ユーザによる操作、送信者によるシーンの更新、アニメーション（animation、動画）等の原因により変化する。

例えば、ＶＲＭＬではオブジェクトの空間的な位置を移動させるとき、「変化（Transform）ノード」の中の「翻訳（translation）フィールド」で記述する。アニメーションの場合は、「時間検出器（TimeSensor）ノード」に従って「設定翻訳（set_translation）フィールド」で受け取った値を「translationフィールド」に渡す。ユーザがコンピュータ入力装置の一種であるマウス（mouse）のカーソル操作によりビジュアル・オブジェクトを移動した場合、「接触検出器（TouchSensor）ノード」に従って「translationフィールド」の値が変更される。従って、このようなシーン記述をＢＩＦＳシステムデコーダで解読したときは、同時に音源位置情報として本実施例１に係る音源位置再生装置に供給することができる。

又、送信者が「ＢＩＦＳ Animation Frame」と呼ぶストリーミングデータ（streaming data）として、外部からＤＭＩＦ（Delivery Multimedia Integration Framework、配信マルチメディア統合フレームネットワーク）インタフェースを介して送りつける場合がある。これは本発明に係る実施例２で取り扱う音源位置情報ＥＳと類似する。

（実施例１の動画再生システムの構成）
図１は、本発明の実施例１を示す動画再生システムの概略の構成図である。

本実施例１の動画再生システムは、システム全体を制御する中央処理装置（CentralProcessing Unit、以下「ＣＰＵ」という。）１によりアクセス（読み書き）されるメモリ１０上の動画アプリケーション・プログラム１１が実行される場合に、その動画アプリケーション・プログラム１１がＭＰＥＧ４シーン記述に基づく動画であって、その再生を行う装置である。

この動画再生システムでは、ＣＰＵ１と、このＣＰＵ１にバス２を介して接続されたメモリ１０とを有している。更に、バス２に接続された音響再生装置２０、映像再生装置３０、及び音源位置再生装置４０と、その映像再生装置３０に接続された平面表示装置（例えば、液晶表示装置）５０と、この液晶表示パネル５１の前面に装着されて音源位置再生装置４０に接続された複数の高音用透明平面スピーカ６１からなる透明平面スピーカ群６０と、音響再生装置２０に接続された左右の低音用スピーカ７１，７２とが設けられている。

メモリ１０に格納された動画アプリケーション・プログラム１１は、ＭＰＥＧ４シーン記述部１２、システムデコーダ１３、及びコンポジション（composition、合成）部１４を有している。音響再生装置２０は、音響オブジェクト等を音響用システムデコーダ１３によりデコードし、コンポジション部１４による合成後の音響データを受けて、その再生を行う装置であり、記憶手段であるテーブル等に記憶された音源２１に基づき、音響合成部２２において音響データによる音響合成をした後、音響フィルタ２３で低域音響信号Ｓ２３ａと高域音響信号Ｓ２３ｂに分けて出力する。低域音響信号Ｓ２３ａは低音用スピーカ７１，７２で再生するが、このスピーカ７１，７２の特性が高音側でも良い場合には、必ずしも低音のみの再生にこだわる必要はない。ただ、高音の再生を含ませると、本実施例１の特徴である音源位置の特定が定かでなくなるので、その限度で高音の再生を行わせるべきである。

映像再生装置３０は、映像オブジェクト等を映像用システムデコーダ１３によりデコードし、コンポジション部１４による合成後の映像データを再生する装置であり、この生成した映像を液晶表示パネル５１に表示させる。液晶表示パネル５１の前面には、複数の高音用透明平面スピーカ６１からなる透明平面スピーカ群６０が配設されている。複数の透明平面スピーカ６１は、例えば、高分子圧電フィルムと導電性高分子とを組み合わせた透明シート状スピーカにより構成され、液晶表示パネル５１で表示されるオブジェクトの音源として機能する。複数の透明平面スピーカ６１を配置した場合、これを駆動する配線は、空間的スレッショルド領域と重なる領域に形成できる。液晶表示パネル５１の大きさに制限されて透明平面スピーカ群６０の面積を大きく取ることはできないので、各透明平面スピーカ６１の音響特性は低音側（１００Ｈｚ以下）で十分な再生特性を得ることができない。

音源位置再生装置４０は、音源位置データ等をＢＩＦＳシステムデコーダ等によりデコードし、このデコード結果を受けてその再生を行う。この音源位置の再生は、音源位置再生装置４０の指定する位置（Ｘｍ，Ｙｎ）のスピーカ６１（Ｘｍ，Ｙｎ）の指定により行われ、間接的に音響再生位置として感知されるだけである。この意味で、音源位置再生は音響再生に従属する。音源位置情報は、従来積極的に活用されてこなかったが、本実施例１ではこれを音響、映像に続く動画再生の第３の要素として認知し、始めて積極的に利用する。

液晶表示パネル５１でオブジェクトＡが映像として表示され、その音声が再生される場合に、音源位置再生に基づき指定されたスピーカ６１が音声を再生するが、オブジェクトＡが移動した場合には、当然、音源位置再生に基づき指定されるスピーカ６１も更新されることになる。従って、あたかもオブジェクトＡが音声を自ら、何かしらの生物のように発声する効果を享受することができる。

（動画再生システム中の音源位置再生装置の構成）
図２は、図１中の音源位置再生装置４０を示す概略の構成図である。

図示しない音響デコーダにより取得された音響１５、及び図示しない音源位置情報デコーダにより取得された音源位置データ１６は、音源位置再生装置４０に入力されて音響バッファ４１−１、及び音源位置情報データバッファ４１−２に蓄えられる。ＢＩＦＳシステムデコーダ１３が、対応音響ＥＳ−ＩＤと同一のＥＳ−ＩＤを有する音響データを音源位置データ１６と一緒に取り扱った場合には、それらのデータを分別して取り扱う不便を避けることができる。

データバッファ４１−２に蓄えられた音源位置データ１６は内包するに従い、チャンネル分配器４２により、チャンネル群４３を構成する複数のチャンネル４３−１，・・・中の所定のチャンネル内の、予め定められたチャンネルバッファ（４３ａ，４３ｂ，４３ｃ中の１つ）に送付される。ここでチャンネル４３−１，・・・とは、独立した音源にそれぞれ付与される音源位置再生手段である。チャンネル群４３の総数（４３−１，・・・）は、動画アプリケーション・プログラム１１で取り扱える独立した音響位置再生数の上限を意味する。音源位置再生手段はハードウェアの増加を意味するので、実装できるチャンネル数（４３−１，・・・）には限界がある。勿論、チャンネル数（４３−１，・・・）が多いほど多様な音響環境を構築することができ、シーンの臨場感は向上する。

次に、或るチャンネル４３−ｋに着目して、本実施例１に係る音源位置再生手段の構成を説明する。

チャンネル４３−ｋ内には、チャンネルバッファ４３ａ−ｋ，４３ｂ−ｋ，４３ｃ−ｋが設けられ、このチャンネル４３−ｋに割り当てられた対応音響ＥＳ−１Ｄ（ｋ）、音源位置座標情報（ｋ）、及び音響信号（ｋ）が、各バッファ４３ａ−ｋ，４３ｂ−ｋ，４３ｃ−ｋにそれぞれ格納される。チャンネル４３−ｋに割り当てられたバッファ４３ｂ−ｋ中の音源位置座標情報（ｋ）は、第１のレジスタである現位置座標レジスタ４４−１に順次送付される。そのタイミングはバッファ４３ａ−１中の対応音響ＥＳ−ＩＤ（ｋ）のオブジェクト・タイム・ベース（Object Time Base、以下「ＯＴＢ」という。））やオブジェクト・クロック・レファレンス（Object Clock Reference、以下「ＯＣＲ」という。）に従属させることもできるし、後述する実施例２で取り扱う音響位置情報ＥＳのように独立したＯＣＲ等を保持させることもできるが、図示しない内部制御回路により制御する場合は、そのＯＣＲ等を基準に一定の間隔でデータを更新して行く形が望ましい。当該更新のタイミングにおいて、現位置座標レジスタ４４−１の内容は第２のレジスタである前位置座標レジスタ４４−２に送られる。

現位置座標レジスタ４４−１及び前位置座標レジスタ４４−２の出力側には、スレッショルド判定部４４−３及び隣接判定部４４−４が接続されている。スレッショルド判定部４４−３は、レジスタ４４−１中の現位置座標が、液晶表示パネル５１のスレッショルド領域５３にあるのか、それとも液晶表示パネル５１の確定領域５２にあるのかを判定する。例えば、現位置座標のＸ座標若しくはＹ座標が液晶表示パネル５１の左下を原点とする８ビット数値で与えられた場合、上位４ビットをそれぞれのスピーカ６１に割り当て（従って、スピーカ６１の個数は、液晶表示パネル５１の全体で最大１６個×１６個指定できる。最も、最大個数を選択する必要はない。）、且つ、下位４ビットを相対位置指定に用いる場合を考えてみる。液晶表示パネル５１のスレッショルド領域５３を最小限に設定した場合は、下位４ビットの値が０、１、Ｆの何れかであればスレッショルド領域５３にあると判定できる。又、下位４ビットの値がそれ以外の値であれば、液晶表示パネル５１の確定領域５２にあると判定できる。

隣接判定部４４−４は、スピーカ６１に係るレジスタ４４−１中の現位置座標をレジスタ４４−２中の前位置座標と比べた場合に、隣り合うスピーカ６１か否かを判定する。例えば、上位４ビットで１６個のスピーカ６１，・・・を指定した場合、Ｘ座標かＹ座標に何れかが一致して、他方の値が１しか違わない場合、隣接するスピーカ６１と判定される。対角に位置するスピーカ６１を隣接すると考えるか否かは、設計の問題である。なお、同一のスピーカ６１を再度指定した場合には、音源位置の不安定の問題は生じないので、確定領域５２にあると判定して差し支えない。

音響信号（ｋ）を格納するチャンネルバッファ４３ｃ−ｋの出力側には、第１、第２のタイマ４４−５ａ，４４−５ｂが接続され、このタイマ４４−５ａ，４４−５ｂの出力側が、ゲート回路４４−６を介して、マルチプレクサ（ＭＰＸ）４４−７の選択切り替え端子に接続されている。マルチプレクサ４４−７は、選択切り替え端子に与えられる信号により、レジスタ４４−１，４４−２中のいずれか一方の出力信号を選択して出力する回路である。

第１、第２のタイマ４４−５ａ，４４−５ｂは、時間的スレッショルドの設定のために使われる。第１のタイマ４４−５ａは、時間的な第１、第２のスレッショルドのうち短い第１のスレッショルドの時間Ｔｓを計時するものであり、短い時間Ｔｓ内に選択されるスピーカ６１が変更されると、同様に、再生音響が不安定になり、視聴者に違和感を与える畏れがあることから、安定した音響再生のために設けられている。第２のタイマ４４−５ｂは、時間的な第１、第２のスレッショルドのうち長い第２のスレッショルドの時間Ｔｌを計時するものであり、無音期間の計測のために設けられている。一定の無音期間を経過していれば、空間的なスレッショルド領域５３ａ内にあっても、直ちに隣のスピーカ６１を選択したとしても、音源位置の不安定の問題は生じない。

第１のタイマ４４−５ａは、一定時間（更新期間）毎にレジスタ４４−１中の現位置座標の改定に同期してリセットを掛ける。位置座標更新のタイミングで、時間的なスレッショルド（Ｔｓ）の値と比較され、その値に至っていない場合には、ゲート回路４４−６及びマルチプレクサ４４−７を介して、レジスタ４４−２中の前位置座標が選択される。最も、位置座標更新の時間間隔が時間的なスレッショルド以上の場合には、これを考慮する必要はない。第２のタイマ４４−５ｂのリセットは、原則として、バッファ４３ｃ−ｋ中の音響信号（ｋ）の振幅が０の場合に解除されるが、リミッタを付け、その振幅が無視できるほど小さい場合に無音と判定して、このタイマ４４−５ｂのカウントを開始させる方法が考えられる。即ち、第２のタイマ４４−５ｂは、有意な振幅を検出した時に初期化され、レジスタ４４−１中の現位置座標が継続して一定の無音時間である時間的なスレッショルド（Ｔｌ）が経過した場合には、キャリ（carry）が出力され、保持されることにより、ゲート回路４４−６及びマルチプレクサ４４−７を介して、レジスタ４４−１中の現位置座標が選択される。

マルチプレクサ４４−７は、前述したように、レジスタ４４−１中の現位置座標若しくはレジスタ４４−２中の前位置座標の何れかを選択し、その選択にゲート回路４４−６が使われる。選択されたスピーカ６１に係る位置座標を供給するために、前記スレッショルド判定部４４−３、隣接判定部４４−４及びタイマ４４−５ａ，４４−５ｂのキャリがゲート回路４４−６で使用される。ここでは所定の選択基準に従ってゲート回路４４−６の開閉を行い、レジスタ４４−１中の現位置座標若しくはレジスタ４４−２中の前位置座標の何れかを選択する。ここでの選択基準は、以下の第１、第２、第３の通りである。

第１に、レジスタ４４−１中の現位置座標が液晶表示パネル５１の確定領域５２にある場合は、現位置座標を選択する。第２に、レジスタ４４−１中の現位置座標が液晶表示パネル５１の空間的スレッショルド領域５３ａにある場合は、レジスタ４４−２中の前位置座標と隣接しないときに限り現位置座標を選択し、前位置座標と隣接する場合には、前位置座標を選択する。但し、時間的なスレッショルドのうち、タイマ４４−５ａの短い時間Ｔｓに至っていない場合には、現位置座標の選択は行わない。第３に、レジスタ４４−１中の現位置座標が液晶表示パネル５１のスレッショルド領域５３にある場合で、レジスタ４４−２中の前位置座標と隣接したときでも、時間的なスレッショルド（Ｔｌ）を超えてタイマ４４−５ｂのキャリが出力されていれば、現位置座標を選択する。

マルチプレクサ４４−７の出力側には、音響信号分配器４５が接続され、更に、この音響信号分配器４５の出力側に、複数のアナログ合成回路４６−１，４６−２，４６−３，・・・が接続されている。

音響信号分配器４５は、マルチプレクサ４４−７からの決定された音源位置座標を用いて、チャンネルバッファ４３ｃ−ｋからの音響信号（ｋ）の分配を行うものであり、複数のチャンネル（ｋ−１），（ｋ），（ｋ＋１），・・・を有し、これらの各チャンネル（ｋ−１），（ｋ），（ｋ＋１），・・・内にデコーダ（ＤＥＣ）４５−１，４５−２，・・・がそれぞれ設けられている。デコーダ４５−１，４５−２，・・・は、マルチプレクサ４４−７から出力される音源位置座標によりその１つが選択され、この選択されたデコーダ（例えば、４５−２）により、当該チャンネル（ｋ）の音響信号（ｋ）がデコードされてこのデコード結果が、当該音源位置座標に係るアナログ合成回路４６−１，・・・で増幅された後にスピーカ６１，・・・に供給される。音響信号（ｋ）の分配に係る配線は複雑であるので、集積回路等によるスイッチを利用することが望ましい。

各アナログ合成回路４６−１，・・・は、分配された音声信号（ｋ）を入力するアナログ合成端子である入力端子４６ａと、入力された音声信号の利得（ゲイン）を調整をする自動利得調整回路４６ｂと、利得調整後の音声信号を増幅する増幅器（以下「アンプ」という。）４６ｃとにより構成されている。各アンプ４６ｃの出力側は、液晶表示パネル５１を介して、配線６２により、透明平面スピーカ群６０の各スピーカ６１にそれぞれ接続されている。

図３（ａ）〜（ｃ）は、図２の音源位置再生装置４０におけるスレッショルドの作用の具体例を示す図である。

このうち図３（ａ）は、音源位置の変動例を示す図であり、図中の折れ線（太字）が再生された音源位置Ｂである。比較のために離散的に配置されたスピーカ６１（Ｘｍ−１，Ｙｎ），６１（Ｘｍ，Ｙｎ），６１（Ｘｍ＋１，Ｙｎ）の位置を縦軸上に配置し、その境界線Ｄ１，Ｄ２を横実線で示した。当該横実線を囲む斜線部は空間的スレッショルド領域５３ａであり、空白部は空間的確定領域５２ａである。但し、Ｘ軸上のスピーカ配置しか考慮していない。

図３（ｂ）は、空間的スレッショルドの効果を説明する図である。再生時間の始めでは、スピーカ６１（Ｘｍ，Ｙｎ）が指定されている。時間が経ち、境界線Ｄ１を越えていても、スレッショルド領域５３ａ内にとどまる場合は、現在のスピーカ（Ｘｍ，Ｙｎ）の指定が維持されている（図中の＃１）。従って、この間なんら指定スピーカ６１の変更はなく、徒にスピーカ６１が変更されることに起因する不都合は生じない。しかし、一旦スレッショルド領域５３ａを越えてしまうと隣のスピーカ６１（Ｘｍ＋１，Ｙｎ）が指定され、且つ、その逆も起こり得る（図中の＃２）。

図３（ｃ）は、時間的スレッショルドの効果を説明する図である。時間的スレッショルド（Ｔｓ，Ｔｌ）が設定されていないと、図３（ｂ）の指定変更が短い時間に頻繁に起こる不都合がある（図中の＃２）。しかし、図中示した時間スレッショルド長ＴＨｄを設定しておき、これ以下で指定変更が起きてもその変更を禁止するので、そのような不都合を防止できる。この効果は、音源位置再生を波形と考えた場合に、低域通過フィルタを使って、高周波部分を除去したことと等価である。

図２のアナログ合成回路４６−１，４６−２，４６−３，・・・の説明に戻る。
各スピーカ６１に係る入力端子４６ａにおいては、複数のチャンネル（ｋ−１，ｋ，ｋ＋１，・・・）から供給された音響信号が届き、抵抗網による合成や演算増幅器（以下「オペアンプ」という。）のアナログ加算によるアナログ合成が行われる。その結果、異なるチャンネル（ｋ−１，ｋ，ｋ＋１，・・・）が同一のスピーカ６１を指定することが可能である。１つのオブジェクトＡが複数の音源を有しそれらが近接する場合、複数のオブジェクトＡ，・・・が重ねて表示された場合には同一のスピーカ６１を指定することがある。なお、複数のチャンネル（ｋ−１，ｋ，ｋ＋１，・・・）から供給された音響信号の合成により入力振幅が過大になると音質の劣化にもつながるので、自動利得調整回路４６ｂにより自動利得調整を行っている。アンプ４６ｃは、供給される音響信号が高域音響信号であることからして、高域で十分な利得を有していなければならない。

スピーカ６１（Ｘｍ−１，Ｙｎ），６１（Ｘｍ，Ｙｎ），６１（Ｘｍ＋１，Ｙｎ），・・・の配置は、液晶表示パネル５１との関係で縦横に整列して、且つ、液晶表示パネル５１の全面に均等に配置することが望ましい。望ましくは、各スピーカ６１は確定領域５２の中央（中心線５２ｏで示した。）に配置すべきである。スピーカ６１を縦横に均等に配置した場合には、座標とスピーカ６１の位置とで対応関係を持たせることができる。図２では、便宜上、液晶表示パネル５１上に確定領域５２とスレッショルド領域５３とを記載したが、これらは本来スピーカ６１の位置との関係で仮想的に構築すべきものである。その場合、スピーカ６１に対する透明電極の配線６２はスレッショルド領域５３に対応する位置に構成するのが便宜である。

オブジェクトＡの配置情報は液晶表示パネル５１上でのものであり、スピーカ６１の位置との直接の関係はない。従って、音源位置座標情報をスピーカ６１の位置と対応させる作業が必要である。なお、透明平面スピーカ群６０は液晶表示パネル５１の前面に置かれている。液晶表示パネル５１の複雑な構成と、スピーカ６１の音響特性からして、液晶表示パネル５１の背面にスピーカ群６０を配置することは現実的ではない。又、透明平面スピーカ６１は高分子圧電フィルム等により構成されるのであって、図２中のスピーカ６１のマークは象徴的なイメージを表したに過ぎない。

（指定スピーカの選択方法）
図４（ａ），（ｂ）は、図２の音源位置生成装置４０による指定スピーカの選択方法を詳細に説明する図である。

このうち図４（ａ）は、液晶表示パネル５１上に設定された空間的スレッショルド領域５３ａを示す図である。

例えば、８個×８個の透明平面スピーカ群６０に対応してスレッショルド領域５３（破線部）と確定領域５２（空白部）を定めている。上記のごとく、表示されたオブジェクトＡの音源位置Ｂと平面スピーカ６１の配置とは必ずしも一致しないが、ここでは説明の便宜上一致するものとしておく。図４（ａ）では、キャラクタＡｃが映像オブジェクトとして表示され、キャラクタＡｃに伴う音声オブジェクトは通常、シーンの原点に置かれる。従って、従来、キャラクタＡｃの音源位置Ｂ（Ｘｓ，Ｙｓ）は必ずしもキャラクタＡｃの表示中心位置ではなかったし、まして実際に音源となる器官等の位置でもなかった。本実施例１では、キャラクタＡｃの口腔に近接する位置に置かれた透明平面スピーカ６１（Ｘｍ，Ｙｎ）が選択されている。

図４（ｂ）は、液晶表示パネル５１上に設定された空間的スレッショルド領域５３ａの作用について説明する図である。

図４（ｂ）の平面で、Ｘ軸はキャラクタＡｃの位置（Ｘｓ，Ｙｓ）のうちＸ座標Ｘｓだけを示し、Ｙ座標Ｙｓのほうは固定している場合である。キャラクタ位置は、同時に液晶表示パネル５１上の位置に対応し、スレッショルド領域５３（破線部）と確定領域５２（空白部）を定める。Ｙ軸は、使用するスピーカ６１（Ｘｍ，Ｙｎ）を示し、座標Ｘｍ（ｍ＝０−７）につきの飛び飛びの値を取り、座標Ｙｎ（ｎ＝０−７）のほうは固定している場合である。図４（ｂ）で、当初音源位置ＢがＰ点（Ｘｐ，Ｙｐ）にあり、その後音源位置Ｂが移動してＱ点（Ｘｑ，Ｙｑ）に至る場合である。その移動が連続的若しくは不連続であって、キャラクタ位置Ｘｓが同一確定領域５２内に留まるときは選択されたスピーカ６１は元のままである。その境界線Ｄ２を越えていても、左右のスレッショルド領域５３に留まるときは、同様である。しかし、一旦スレッショルド領域５３を越えて隣の確定領域５２に入ると、隣のスピーカ６１（Ｘｍ＋１，Ｙｎ）が選択され、そのスレッショルド領域５３に戻っても、最早元のスピーカ６１は選択されない。その結果、キャラクタ位置が連続的若しくは不連続に移動しても、空間的スレッショルド領域５３ａの作用により、選択されるスピーカ６１の無暗な不安定さを解消することができる。なお、時間的なスレッショルド（Ｔｓ，Ｔｌ）を設けた場合は、その例外となる。

（指定スピーカの選択フロー）
図５は、図２の音源位置再生装置４０における指定スピーカの選択フローを示す図である。この図５を参照して図２に示す音源位置再生装置４０の作用を説明する。

音源位置再生装置４０の動作が開始すると、始めにＭＰＥＧ４動画の再生を行う（ステップＳＴ１）。音響オブジェクトが存在し（ステップＳＴ２）、且つ、音響再生時刻に至った場合には（ステップＳＴ３）、音響再生を行うスピーカ６１を選択するために、音源位置情報の取得を行い（ステップＳＴ４）、次にその音源位置Ｂが前回の音源位置Ｂと一致するか、若しくは異なるかを比較判定する（ステップＳＴ５）。一致する場合には（ステップＳＴ６）、前回選択したスピーカ６１をそのまま選択する（ステップＳＴ１１）。

新たな音源位置Ｂが異なるスピーカ６１に相当する確定領域５２若しくはスレッショルド領域５３であった場合には、次に当該新たな領域が前回の領域と隣接するか否かを比較判定する（ステップＳＴ７）。隣接する領域でない場合には、前回選択したスピーカ６１をそのまま選択する。音源位置Ｂの大きな変動に対しては、選択されるスピーカ６１も変更したほうが自然だからである。なお、対角に位置する領域を隣接すると判断するか否かは設計の問題である。

新たな音源位置Ｂが隣接するスピーカ６１のスレッショルド領域５３であった場合には（ステップＳＴ８）、次に時間的スレッショルド（Ｔｓ，Ｔｌ）をチェックする（ステップＳＴ９）。タイマ４４−５ａにより前回の発音から一定の無音時間が経過していた場合には、選択するスピーカ６１の変更は違和感を与えない。そこで、前記一定時間を経過していた場合には隣のスピーカ６１を選択し（ステップＳＴ１０）、そうでない場合には前回選択したスピーカを維持する（ステップＳＴ１１）。

選択されたスピーカ６１が決定されると、ＭＰＥＧ４動画再生に伴う音響の再生が当該スピーカ６１により行われる（ステップＳＴ１２）。上述したように、音響再生と音源位置再生は別個の情報であるので、音響再生中にも刻々と音源位置再生は行われている。しかし、音源位置再生は必ずしも連続再生を行う必要はなく、飛び飛びの値が採用されても、音響再生と異なり、それほど違和感を与えることはない。そこで本実施例１では、音源位置再生を一定時間間隔で行うこととし、その再生時刻に至ったか否かが判断される（ステップＳＴ１３）。

当該再生時刻に至った場合には、次の音源位置情報が取得される（ステップＳＴ４）。又、音響再生が終了した場合には（ステップＳＴ１４）、音源位置再生もそれに従属して再生を中止する。音響再生が終了し、未だ動画再生が終了していない場合には（ステップＳＴ１５）、新たな音響オブジェクトの出現を待つことになる（ステップＳＴ１，ＳＴ２）。動画再生が終了すれば、音響再生及び音源位置再生も終了する。

（実施例１の効果）
本実施例１によれば、次の（１）、（２）のような効果がある。

（１） 本実施例１では、液晶表示装置５０と、この前面に設けられた透明平面スピーカ群６０と、低音用スピーカ７１，７２とを有する動画再生システムにおいて、動画アプリケーション・プログラム１１から、音響再生装置２０の音響合成部２２により、再生する音響データを合成した場合に、これを更に高音域と低音域とにフィルタ２３で分離し、該高音域音響を透明平面スピーカ群６０で再生し、該低音域音響を低音用スピーカ７１，７２で再生する構成にしている。

このような構成を採用したことにより、指定の位置にある平面スピーカ６１による高音域の指向性有る音響により当該キャラクタＡｃが、液晶表示パネル５１上であたかもその位置に何者かが存在するかのように発音する効果を享受できる。しかも、低音域音響を低音用スピーカ７１，７２で再生するので、両者相まって、自然な音響再生を享受することができる。

（２） 本実施例１では、スピーカ変更に伴い再生すべきスピーカ６１を指定するために時間的、空間的なスレッショルドを設定して、違和感のない再生を行う構成になっている。音源の再生位置（Ｘｍ，Ｙｎ）のわずかな変動により再生を担当するスピーカ６１が変更されると、スピーカ６１は有限個で離散的にしか存在しないことから、再生音響が不安定になり、視聴者に違和感を与える畏れがある。そこで、空間的スレッショルド領域５３ａを設定し、その領域５３ａでの再生につき現在指定しているスピーカ（例えば、６１（Ｘｍ，Ｙｎ））若しくは隣接するスピーカ（例えば、６１（Ｘｍ＋１））の何れかで再生する方法を採用している。

即ち、音源位置Ｂが未だスレッショルド領域５３にある場合は、現在選択されているスピーカ６１（Ｘｍ，Ｙｎ）を変更せず、該スレッショルド領域５３を越えて隣の確定領域５２に入った場合に、始めて隣のスピーカ６１（Ｘｍ＋１）を選択する方式を採用している。時間的なスレッショルド（Ｔｓ，Ｔｌ）は、短い時間内に、選択されるスピーカ６１が変更されると、同様に、再生音響が不安定になり、視聴者に違和感を与える畏れがあることから、安定した音響再生のために設けられている。

又、当該音源の無音期間を計測し、時間的なスレッショルド領域５３を設定する。一定の無音期間を経過していれば、空間的なスレッショルド領域５３ａ内にあっても、直ちに隣のスピーカ６１（Ｘｍ＋１）を選択することができる。この場合は、再生音響不安定の問題は生じないからである。この意味で時間的スレッショルド（Ｔｓ，Ｔｌ）は空間的スレッショルドに優先する。

このように、本実施例１の構成によれば、透明平面スピーカ群６０を使用するための問題点を解決し、自然な音響再生を享受することができる。即ち、何れかのスピーカ６１を選択した場合には、スレッショルド領域５３の作用により、音源位置Ｂの変動に基づく再生音響の不安定さを解消することができる。又、スレッショルド領域５３で双方のスピーカ６１（Ｘｍ，Ｙｎ），６１（Ｘｍ＋１）を使用して再生する方式を採用した場合には、音量の不安定さを解消することができる。

（実施例２の動画再生システムの構成）
図６は、本発明の実施例２における動画再生システムの要部を示す概略の構成図である。

この動画再生システムは、実施例１を示す図１の動画アプリケーション・プログラム１１に対応するアプリケーション・プログラム１１０と、このプログラム１１０により制御されるハードウェア１２０を有している。ハードウェア１２０は、図１の音響再生装置１２、映像再生装置１３、及び音源位置再生装置１４に対応する音響再生装置１２０、映像再生装置１３０、及び音源位置再生装置１４０を有している。

本実施例２の動画再生システムは、音源位置情報をＥＳとして取り扱い、ＭＰＥＧ２ビデオと連帯した動画再生を行う方式である。ＭＰＥＧ２ビデオと連帯するので、キャラクタ・オブジェクトの位置変動を考慮しない方式である。アプリケーション・プログラム１１０は、実施例１を示す図１のＭＰＥＧ４シーン記述部１２、システムデコーダ１３、及びコンポジション部１４にそれぞれ対応するＭＰＥＧ４ファイル１１２、ＭＰＥＧ２システムデコーダ１１３、及びコンポジション部１１４を有し、音源位置再生情報１１５、音響再生情報１１６、及び映像再生情報１１７をハードウェア１２０へ出力する機能を有している。

ＭＰＥＧ４ファイル１１２は、映像（ＭＰＥＧ２ビデオ）ＥＳ１１２ａ−１、及び音響（ＭＰＥＧ２オーディオ）ＥＳ１１２ａ−２を有するＭＰＥＧ２ファイル１１２ａの他に、音源位置情報をＥＳ（１１２ｂ）として有している。ＭＰＥＧ２ビデオ等でなく、ＭＰＥＧ４ビデオ及びＭＰＥＧ４オーディオを選択することもできるが、本実施例２の方式は、従来の動画再生と一線を画する新しい動画再生方式であることを強調するのに便宜である。

ＭＰＥＧ２システムデコーダ１１３は、ＭＰＥＧ２ファイル１１２ａの提供する映像（ＭＰＥＧ２ビデオ）ＥＳ１１２ａＰ−１、及び音響（ＭＰＥＧ２オーディオ）ＥＳ１１２ａ−２をデコードし、それぞれ映像再生情報１１７及び音響再生情報１１６を出力する。コンポジション部１１４は、ＭＰＥＧ２システムデコーダ１１３のデコード結果を合成するものであり、この合成結果は、ＭＰＥＧ４再生プレイヤ等のアプリケーションで有効に利用できる。

映像再生情報１１７及び音響再生情報１１６は、ハードウェア１２０において、それぞれ液晶表示装置のような映像再生装置１３０及びアンプ付きスピーカのような音響再生装置１２０により、その再生が実現される。又、音源位置再生情報１１５は音源位置再生装置１４０によりその再生を行うが、音源位置再生は音響再生に従属するので、音源位置再生情報１１５は音響再生装置１２０に提供され、当該音響再生装置１２０の再生スピーカ等の選択制御に使用される。

（ＭＰＥＧ４ファイルのデータ構成）
図７（ａ）、（ｂ）は、図６におけるＭＰＥＧ４ファイル１１２のデータ構成を説明する図である。

このうち図７（ａ）は、従来のＭＰＥＧ４ファイル１１２Ａのデータ構成であり、映像ＥＳ_ＩＤ１と音響ＥＳ_ＩＤ２は、ＭＰＥＧ２ファイル１１２ａからそれぞれＭＰＥＧ２ビデオ（１１２ａ−１）及びＭＰＥＧ２オーディオ（１１２ａ−２）として供給することができる。ＭＰＥＧ２オーディオ（１１２ａ−２）は、最近では５．１チャンネル（ＣＨ）スピーカ構成により３次元的音響効果を奏する技術が登場しているが、それらは少なくとも音源位置情報（１１２ｂ）を活用する技術ではない。

これに対し、図７（ｂ）に示す本実施例２のＭＰＥＧ４ファイル１１２のデータ構成では、映像ＥＳ_ＩＤ１と音響ＥＳ_ＩＤ２の他に、音源位置情報ＥＳ_ＩＤ３を伴う点が異なっている。かかる音源位置情報ＥＳ_ＩＤ３は、後述する追尾（トラッキング、tracking）作業により、ＭＰＥＧ２ビデオ（１１２ａ−１）から取得することができる。取得した音源位置情報ＥＳ_ＩＤ３は、ＭＰＥＧ４ファイル１１２をソースとして、音源位置情報ＥＳ１１２ｂの形でシステムデコーダ１１３に供給され、音源位置再生情報１１５として再生された後、音響再生装置１２０の再生スピーカ等の選択制御に使用される。

（音源位置情報を取得するためのトラッキング作業）
図８は、図７の音源位置情報（１１２ｂ）をＭＰＥＧ２ビデオから取得するためのトラッキング作業を説明する図である。

音源位置情報（１１２ｂ）を取得するためのトラッキング作業では、例えば、ＰＣを用いる。このＰＣでは、表示画面付き動画再生装置３００と、全体を制御するＣＰＵ３０１とが、ＰＣ内部バス３０２に接続されている。内部バス３０２には位置読み取り装置３０３が接続され、この位置読み取り装置３０３に、複数のマウス（例えば、キャラクタＡｃ１用のマウス３０４ａ、キャラクタＡｃ２用のマウス３０４ｂ１、及びキャラクタＡｃ２用のマウス３０４ｂ２）が接続されている。

動画再生装置３００の表示画面には、複数のキャラクタ（例えば、人間様キャラクタＡｃ１、及び自動車様キャラクタＡｃ２）が表示されている。人間様キャラクタＡｃ１は、口腔を有し発声する。従って、その音源としては当該口腔であって、その位置を音源位置と定めることができる。動画再生が行われ、当該キャラクタＡｃ１が移動したときは、当然その音源位置も移動する。本実施例２では、例えば、同一音源に対し１つのカーソルａを割り当て、操作する者がマウス３０４ａを動かして当該音源をトラッキングする。マウス３０４ａのカーソルａを常に口腔の位置に保つのである。すると、マウス３０４ａが接続されている位置読み取り装置３０３がそのカーソルａの座標を、音源位置の座標として取り込むことができる。なお、他の構成例として、プロジェクタとレーザポインタとレーザ光読み取り装置の組み合わせによっても、音源位置の座標として取り込むシステムを構築できる。

トラッキングが困難な場合もある。例えば、シーンの境目でいきなり或るキャラクタが登場した場合、発声に併せてカーソルを配置することが難しいかも知れない。この場合には、動画再生装置３００の再生速度を落とし、スローモーションで追尾しなければなるまい。又、音源位置がシーンの外部に存在する場合、例えば、遠方にある航空機の排気音は、最も近いと思われる位置、例えば表示画面の一端を指定する他はない。背景雑音等のように広い音響領域を有する場合には、複数のスピーカによる同時の再生が望ましい。又、音源位置は必ずしも各キャラクタに１つとは限らず、キャラクタ以外の音源も多数存在するということに注意しなければならない。

本実施例２で特に関心のあるのは、そのキャラクタの中心位置ではなく、そのキャラクタの発生する音響（音声を含む。）の音源の位置であり、音源は通常複数であって音源位置も複数有する。例えば、自動車様キャラクタＡｃ２においては、警笛の発する警笛音、マフラ（消音器）の発する排気音、その他の路面とタイヤとの摩擦音等、複数の音源を有する。本実施例２では、マフラ音に対しカーソルｂ１、警笛音に対しカーソルｂ２を割り当て、それぞれマウス３０４ｂ１及びマウス３０４ｂ２でトラッキングする。

コンピュータで作成したアニメーションでは、このようなトラッキング作業は容易であるに違いない。コンピュータは、そのアプリケーション・プログラムにおいて、キャラクタ全体を１つのオブジェクトとして扱うことができるからである。しかし、従来において、未だ音源位置情報を積極的に活用する事例が知られていないと思われる。従来の表示装置や音響装置ではそのような要求が出ていなかったからであろう。本実施例２では、トラッキング操作者による位置入力において必要な音源位置情報を取得する。

このようなトラッキング作業で取得した音源位置データに対し、最適なデータ構造例について検討する。

取得した音源位置データは、動画音響データと密接な関係を有する。例えば、動画音響が無音の時は、音源位置データは意味をなさない。動画音響がＭＰＥＧ２でコード化されている場合は、全ての音響は合成された形で１つのファイルで記述できる。これに対し、ＭＰＥＧ４のようにオブジェクトＡ毎に動画音響が定義されているときは、個別に音源位置情報を取得する作業が必要になる。しかし、オブジェクトＡ毎に音源情報を取得する作業が困難と言うわけではない。映画でもアニメーションでも、「アフレコ」（After Recording）は普通である。ただ、レコーディングに際し、個別に音声や効果音を記録しておき、ＭＰＥＧ４ファイル１１２のオブジェクトＡに割り当てなければならない、ということである。なお、音源位置がシーンの外部に存在する場合、対象とするオブジェクトＡが存在しないので、仮想的なオブジェクト（以下、「仮想オブジェクト」という。）を構築する。仮想オブジェクトは複数構築しておくこともできるが、実体が表示されないので１つの仮想オブジェクトが多数の属性、ＥＳを有するものとして構築することができる。背景雑音等のように広い音響領域を有する場合には、複数の音源位置Ｂを持ち、同一の音響ＥＳを同時に再生する方式を採用することができる。

ＭＰＥＧ４では、前述の如く、シーン記述において各ＡＶオブジェクトの時間的、空間的な相互関係や属性を記述できるようにし、その詳細については既存の規格に委ね、インタフェース仕様のみを規定する。しかしながら、音源位置データを適切に記述する既存のデータ形式が未だ知られていないと思われる。そこで、本実施例２では、図７に示すデータ形式を採用することにした。

（音源位置情報のデータ構造）
図９は、図７における音源位置情報の最適なデータ構造を説明する図である。

この音源位置情報データ４００の全体は、ヘッダ（header）４１０とデータ・ペイロード（payload）４２０から構成されている。ヘッダ４１０は、このデータ形式４１１を特定するための情報、この音源位置情報に与えたデータの名称４１２、この音源位置情報が帰属するオブジェクトＩＤ４１３、内包する位置情報の位置データ形式４１４、データの個数４１５、及び、その他の総バイト長等を含めた構成とすることができる。データ・ペイロード４２０を構成する複数のデータ４２０−１〜４２０−Ｎにおける各データ４２０−１，・・・は、データ開始マーク４２１、データ番号４２２、このデータに対応する音響ＥＳのＩＤ（対応オーディオＥＳ_ＩＤ）４２３、再生基準時刻４２４、サンプリングレート４２５、位置座標の個数（Ｍ個）４２６、時刻（ｘ０，ｙｏ）〜（ｘＭ−１，ｙＭ−１）でサンプリングした位置座標データ４２７、パリティ等のデータチェック４２８、及び、データ終了マーク４２９等を含めた構成とすることができる。

内包する音源位置情報のデータ形式は、図７で具体的に示した形式に限られないので、その形式を特定しておく必要がある。この音源位置情報が帰属するオブジェクトＡについては、仮想オブジェクトも含むものとする。１つのオブジェクトＡに複数の音源が存在する場合があるので、各データがどの音響ＥＳに帰属するかを指定しておかなければならない。再生基準時刻４２４は、原則として音響ＥＳのＯＣＲ等に従うが、異なる場合にはここに記載する。

サンプリングレート４２５は、トラッキング作業でのサンプリング周期が基準であり、この値は動画再生の速度に依存している。音源位置Ｂの移動は、オブジェクトＡに関し人間の聴覚が追従できる範囲に限られるのが通常であるので、そのサンプリングレート４２５も５０ｍｓ乃至１０００ｍｓと言った単位になる。位置座標データ４２７の範囲は、相対的なもので、液晶表示パネル５１等の大きさや透明平面スピーカ６１等の大きさに依存している。従って、全画面表示の場合の相対的な位置で表すのが望ましい。透明平面スピーカ６１等の大きさを小さくし、数多く並べることは難しいので、相対的な位置は１バイト程度の精度で十分である。

（実施例２の効果）
本実施例２によれば、実施例１とほぼ同様の効果の他に、更に、次の（１）〜（４）のような効果がある。

（１） 図８のＰＣにおける動画再生装置３００で動画を再生して、その映像にかかるキャラクタＡｃ１，Ａｃ２の音源位置を１つ又は複数のマウス３０４ａ，３０４ｂ１，３０４ｂ２によるカーソルａ，ｂ１，ｂ２で追尾して音源位置情報を取得し、且つ、キャラクタＡｃ１，Ａｃ２の生成する音響を当該音源位置情報と関連付けて取得するようにしたので、従来積極的に活用されていなかった音源位置情報を独立した情報として、簡易に動画より取得することができる。

（２） 前記（１）で取得された音源位置情報を有する音源位置情報データ４００として、図９に示すように、キャラクタに対応する音響データの指定、再生基準時刻、サンプリングレート、及び複数の位置座標を有するデータの構成方法を採用したので、前記取得された音源位置情報を音源位置再生に必要なデータをまとめることができるので、取り扱いに便利である。特に、音響位置情報ＥＳに変換するのに便宜である。

（３） 図９に示すように、対応する音響データの指定、再生基準時刻、サンプリングレート、及び複数の位置座標を有する音源位置情報データ４００を、音響データに係る音響ＥＳに従属するＭＰＥＧ４ＥＳとしてＢＩＦＳシステムデコーダ１１３に提供し、再生された音源位置をコンポジッション（１１４）の要素とする動画再生方法を採用したので、音源位置情報を積極的に活用し、臨場感有るＭＰＥＧ４動画再生を行わせることができる。

（４） 図６に示すように、コンポジッション（１１４）の要素であるオブジェクトの空間的位置を音源位置とする動画再生方法を採用したので、簡易に音源位置情報を取得でき、アプリケーション・プログラム１１０等の開発が容易になる。

（実施例３の劇場システム）
図１０は、本発明の実施例３を示す劇場システムの概略の構成図である。

この劇場システムは、実施例１、２の動画再生システムを応用したものであり、実現が大規模であるというだけで、基本的には実施例１、２と同様である。

本実施例３の劇場システムでは、例えば、実施例１を示す図１の液晶表示装置５０に代えて、映写機５５０、図１の液晶表示パネル５１に代えて、大型の映写用スクリーン５５１、図１の透明平面スピーカ群６０に代えて、スクリーン５５１の背面側に配置された複数の平面スピーカ５６１からなる平面スピーカ群５６０、図１の低音用スピーカ７１，７２に代えて、スクリーン５５１の左右に配置された左側の低音用パワースピーカ５７１及び右側の低音用パワースピーカ５７２、及び、映写機５５０とスクリーン５５１の間に新たに配置された観客席５８０が、それぞれ設けられている。

即ち、平面スピーカ群５６０（Ｘｍ，Ｙｎ）に対して空間的スレッショルド領域等を形成し、音源の移動に伴う音響再生の不安定を解消している。ただ、劇場システムということで、敢えて平面スピーカ群５６０を映写用スクリーン５６０の前面に置く必要はない。スピーカ５６１も大きなものを採用できるので、広域音響と低域音響を区別する程でもない。しかし、迫力ある再生音を形成するには、低音用パワースピーカ５７１，５７２が有効である。そこで、中央に平面スピーカ群５６０を配置し、その左右に低音用パワースピーカ５７１，５７２を配置している。

映写機５５０が観客席５８０越しにスクリーン５５１上にキャラクタＡを投射したとき、その位置にあるスピーカ５６１を当該キャラクタＡの発声に割り当てることができる。これにより、観客席５８０の観客は恰もスクリーン５５１上のキャラクタＡが生物であるかのように発声若しくは発音する効果を享受でき、動画の観客に対する臨場感が著しく増加する。

（プロジェクタ利用の動画再生システム）
最近プロジェクタによりスクリーン５５１にコンピュータ映像を映すプレゼンテーションシステムが普及してきた。この場合にも、スクリーン５５１の背面に配置した、若しくはスクリーン５５１と一体化した平面スピーカ群５６０を配置する動画再生が可能であり、その場合、ＰＣ等のコンピュータによる図６のようなアプリケーション・プログラム１１０を使った動画再生を利用することができる。高音域音響と低音域音響を区別せず音響再生を行えば、外部に設けた例えば図６の音源位置再生装置１４０を使って、簡易な音響位置再生を実現できる。

（動画再生システムの構成）
図１１は、本発明の実施例４における動画再生システムの要部を示す概略の構成図である。

空間的時間的スレッショルドをソフトウェアで実現する場合、複雑なハードウェアを使用しないので安価に実現できるが、ハードウェア情報を取り込んで、音源位置情報を最適に変換する等の工夫が必要になる。このような工夫をしたものが本実施例４の動画再生システムである。

本実施例４の動画再生システムは、音源位置変換ソフトウェアである音源位置調整コンパイラを用いたシステムであり、ＭＰＥＧ４アプリケーション・プログラムであるプレイヤ（player）６００と、これにより制御されるハードウェア７００を有している。プレイヤ６００は、ＭＰＥＧ４ファイル６５０を再生するに当たり、このファイル６５０に含まれる音源映像情報６５１のみならず、当該ファイル６５０に含まれる変換前の音源位置情報６５２をも再生する。

プレイヤ６００は、再生設定部６１０において、デフォルトで、若しくは操作者の設定により空間的スレッショルド値６１１若しくは時間的スレッショルド値６１２が設定されている場合に、当該設定に従い、音源位置変換ソフトウェアである音源位置調整コンパイラ６２０が、変換前の音源位置情報６５２を変換後音源位置情報に変換する。プレイヤ６００は、音響映像情報６５１及び変換後音源位置情報に従い、それぞれ音響映像再生部６３０で音響映像再生を行うと共に、変換後の音源位置再生部６４０で音源位置再生を行う。これらは、ハードウェア７００を構成する音響映像再生装置７０１及び音源位置再生装置７０２によりそれぞれ再生される。又、音源位置再生装置７０２は、当該音響を再生する例えば図１のような透明平面スピーカ６１を指定する。

音源位置調整コンパイラ６２０は、正しい変換を行うために、例えば図１の透明平面スピーカ群６０における配置情報のようなハードウェア情報７０３を必要とする。変換の基準は、原則として、ハードウェア７００で実現する空間的時間的スレッショルドと同様であり、例えば図２、図３において次の第１、第２、第３の選択基準に従う。

第１に、現位置座標が確定領域５２にある場合は現位置座標を選択し、第２に、現位置座標が空間的スレッショルド領域５３ａにある場合、前位置座標と隣接しない場合に限り現位置座標を選択し、前位置座標と隣接する場合には前位置座標を選択する。但し、時間的なスレッショルドのうち短い方（Ｔｓ）に至っていない場合には、現位置座標の選択は行わない。第３に、現位置座標がスレッショルド領域５３にある場合で前位置座標と隣接した場合でも、時間的なスレッショルド（Ｔｌ）を越えてタイマ４４−５ａのキャリが出力されていれば、現位置座標を選択する。

（実施例４の効果）
本実施例４によれば、実施例１、２とほぼ同様の効果の他に、更に、次の（１）、（２）のような効果がある。

（１） 所定の選択基準に従い、音響を再生するスピーカ６１等を指定する音源位置変換ソフトウェアである音源位置調整コンパイラ６２０を用いて動画を再生するようにしたので、高価なハードウェアを使用しないで、安価なハードウェア７００を用いて音源位置再生を行わせることができると共に、音源位置変換の方法変更を容易に達成できる。又、安価なハードウェアを小型化すれば、ハンドヘルド・ゲーム機等に最適なシステムを提供できる。

（２） 音源位置調整コンパイラ６２０を有し、空間的若しくは時間的スレッショルドの設定、音響映像情報６５１及び音源位置情報６５２に従い、それぞれ音響映像再生（６３０）及び音源位置再生（６４０）を行うＭＰＥＧ４アプリケーション・プログラムを用いて動画を再生するようにしたので、音響システムに合わせた音源位置再生を行うアプリケーション・プログラムを提供できる。アプリケーションの具体例として、動画再生を行う単なるプレイヤばかりでなく、前記ハンドヘルド・ゲーム機等に最適なゲーム・プログラムも提供できる。

本発明は、上記実施例１〜４に限定されず、種々の変形が可能である。この変形例である実施例５としては、例えば、次の（Ａ）、（Ｂ）のようなものがある。

（Ａ） 本発明に係る音源位置情報を活用した動画再生システムは、映像再生装置と複数のスピーカを空間的に重ね合わせることができるシステムであれば、その音響を生成する音源が移動する全ての映像音響システムにおいて採用できる。透明平面スピーカ６１を有する液晶表示装置５０や劇場システムにとどまらず、平面表示装置であれば、従来のブラウン管（ＣＲＴ）にディスプレイ用反射防止膜に類似する透明平面スピーカを組み合わせても良いし、プラズマディスプレイやＥＬ表示装置の様に液晶と全く異なる方式を採用した平面表示装置であってもよい。

（Ｂ） プロジェクタと平面スピーカ群とスクリーンとＰＣ等のコンピュータとを組み合わせたシステムについては、その組み合わせを自由に選ぶことができるし、ＰＣ等のコンピュータ上のアプリケーション・プログラムも動画再生プレイヤに限らず、映像と音声を伴う他のアプリケーション・プログラムでも採用することができる。又、平面スピーカ群とスクリーンを一体化したものを構成すれば、コンパクトなプロジェクタ・システムを提供できる。

本発明の実施例１を示す動画再生システムの概略の構成図である。 図１中の音源位置再生装置を示す概略の構成図である。 図２の音源位置生成装置によるスレッショルドの作用の具体例を示す図である。 図２の音源位置生成装置による指定スピーカの選択方法を説明する図である。 図２の音源位置生成装置による指定スピーカの選択フローを示す図である。 本発明の実施例２における動画再生システムの要部を示す概略の構成図である。 図６の動画再生システムにおけるＭＰＥＧ４ファイルのデータ構成を説明する図である。 図７の音源位置情報をＭＰＥＧ２ビデオから取得するためのトラッキング作業を説明する図である。 図７における音源位置情報のデータ構造を説明する図である。 本発明の実施例３を示す劇場システムの概略の構成図である。 本発明の実施例４における動画再生システムの要部を示す概略の構成図である。

符号の説明

１，３０１ ＣＰＵ
１１ 動画アプリケーション・プログラム
１０ メモリ
２０ 音響再生装置
３０ 映像再生装置
４０ 音源位置再生装置
５０ 液晶表示装置
６０ 透明平面スピーカ群
１１０ アプリケーション・プログラム
２００，７００ ハードウェア
３００ 動画再生装置
３０３ 位置読み取り装置
３０４ａ，３０４ｂ１，３０４ｂ２ マウス
４００ 音源位置情報データ
５５０ 映写機
５５１ スクリーン
５６０ 平面スピーカ群
５７１，５７２ パワースピーカ
６００ ＭＰＥＧ４アプリケーション・プログラム
６５０ ＭＰＥＧ４ファイル

Claims (16)

1. 映像情報、音響情報、及び音源位置情報を有する動画の前記映像情報を再生する平面表示装置と、
   前記動画の前記音響情報を再生し、高域音響と低域音響に分別する音響再生装置と、
   前記平面表示装置の前面又は背面に配置され、前記高域音響を再生する複数の高音用スピーカからなる高音用スピーカ群と、
   前記低域音響を再生する低音用スピーカと、
   前記動画の前記音源位置情報を再生するものであって、前記音源位置情報に基づき前記高域音響を再生するように前記高音用スピーカの指定を行う音源位置再生装置と、
   を有することを特徴とする動画再生システム。
2. 前記高音用スピーカ群は、前記平面表示装置の前面に配置され、前記高域音響を再生する複数の透明平面スピーカからなる透明平面スピーカ群により構成され、
   前記音源位置再生装置は、アプリケーション・プログラムが前記動画の再生を行い、前記映像情報、前記音響情報、及び前記音源位置情報を再生する場合に、前記音源位置情報に基づき前記高域音響を再生するように前記透明平面スピーカの指定を行うことを特徴とする請求項１記載の動画再生システム。
3. 前記高域音響を再生する前記高音用スピーカを指定することを特徴とする請求項１又は２記載の動画再生システム。
4. 前記音源位置再生装置では、
   前記音響情報と前記音源位置情報を受け取り、
   前記音源位置情報に係る現位置座標と前位置座標を比較し、
   前記現位置座標が音源位置につき設定された空間的スレッショルド領域にあるか、若しくは隣接する確定領域にあるかを判定し、
   前記判定の結果、前記現位置座標が前記空間的スレッショルド領域にあり、且つ、前記前位置座標と隣接しない場合に限り前記現位置座標を選択するが、時間的に短い第１のスレッショルド及び時間的に長い第２のスレッショルドのうち前記第１のスレッショルドに至っていない場合には前記前位置座標を選択する基準により、前記高域音響を再生する前記高音用スピーカを指定することを特徴とする請求項１又は２記載の動画再生システム。
5. 前記音源位置再生装置では、
   前記音響情報と前記音源位置情報を受け取り、
   前記音源位置情報に係る現位置座標と前位置座標を比較し、
   前記現位置座標が音源位置につき設定された空間的スレッショルド領域にあるか、若しくは隣接する確定領域にあるかを判定し、
   前記判定の結果、前記現位置座標が前記空間的スレッショルド領域にあり、且つ、前記前位置座標と隣接する場合には前記前位置座標を選択するが、時間的に短い第１のスレッショルド及び時間的に長い第２のスレッショルドのうち前記第２のスレッショルドを超えている場合には前記現位置座標を選択する基準により、前記高域音響を再生する前記高音用スピーカを指定することを特徴とする請求項１又は２記載の動画再生システム。
6. 前記音源位置再生装置は、
   前記音響情報と前記音源位置情報を受け取るバッファと、
   前記音源位置情報に係る現位置座標を格納する第１のレジスタと、
   前記音源位置情報に係る前位置座標を格納する第２のレジスタと、
   前記現位置座標から空間的スレッショルド領域にあるか否かを判定するスレッショルド判定部と、
   前記現位置座標と前記前位置座標を比較して隣接する領域にあるか否かを判定する隣接判定部と、
   前記現位置座標と前記前位置座標の何れかを選択するマルチプレクサと、
   前記マルチプレクサを制御するゲート回路と、
   前記マルチプレクサにより選択された位置座標に基づき音響信号を指定する前記高音用スピーカに導く音響信号分配器と、
   を有することを特徴とする請求項１又は２記載の動画再生システム。
7. 前記音源位置再生装置は、
   前記バッファ、前記第１、第２のレジスタ、前記スレッショルド判定部、前記隣接判定部、前記マルチプレクサ、前記ゲート回路、及び前記音響信号分配器によりそれぞれ構成される複数のチャンネルを有し、
   チャンネル分配器により、前記複数のチャンネルの１つ又は複数の前記音響信号が前記指定された高音用スピーカに係る前記チャンネルのアナログ合成端子に接続され、且つ、アナログ合成されることを特徴とする請求項６記載の動画再生システム。
8. 前記音源位置再生装置は、
   前記各高音用スピーカに係る前記アナログ合成された前記音響信号を増幅する増幅器をそれぞれ有し、前記各増幅器が入力信号に応じて自動利得調整を行うことを特徴とする請求項６又は７記載の動画再生システム。
9. 前記音源位置情報は、コンピュータ上で前記動画を再生して、前記動画の映像に係るキャラクタの音源位置を１つ又は複数のマウスによるカーソルで追尾し、前記キャラクタの生成する音響と関連付けて取得することを特徴とする請求項１〜８のいずれか１項に記載の動画再生システム。
10. 取得された請求項９の音源位置情報を有する音源位置データであって、前記キャラクタに対応する音響データの指定、再生基準時刻、サンプリングレート、及び複数の位置座標を有する前記音源位置データを構成し、
    前記音源位置データに基づき前記音源位置再生装置により前記音源位置を再生させることを特徴とする請求項９記載の動画再生システム。
11. 映像情報、音響情報、及び音源位置情報を有する動画の前記映像情報をスクリーンに映写する映写機と、
    前記動画の前記音響情報を再生し、高域音響と低域音響に分別する音響再生装置と、
    前記スクリーンの背面側に配置され、前記高域音響を再生する複数の高音用スピーカからなる高音用スピーカ群と、
    前記低域音響を再生する低音用スピーカと、
    前記映写機が前記動画の再生を行い、前記動画の映像、音響及び音源位置を再生する場合に、前記音源位置に基づき前記高域音響を再生するように前記高音用スピーカの指定を行う音源位置再生装置と、
    を有することを特徴とする動画再生システム。
12. 映像情報、音響情報、及び音源位置情報を有する動画の前記映像情報をスクリーンに映写するプロジェクタと、
    前記動画の前記音響情報を再生する音響再生装置と、
    前記スクリーンの背面側に配置された複数のスピーカからなるスピーカ群と、
    前記プロジェクタに接続したコンピュータのソフトウェアにより動画の再生を行い、前記動画の映像と音響と音源位置を再生する場合に、前記音源位置に基づき前記音響を再生するように前記スピーカの指定を行う音源位置再生装置と、
    を有することを特徴とする動画再生システム。
13. 対応する音響データの指定、再生基準時刻、サンプリングレート、及び複数の位置座標を有する音源位置データを、前記音響データに係る音響エレメンタリ・ストリームに従属するムービング・ピクチャ・エクスパート・グループ４・エレメンタリ・ストリームとしてシーン用バイナリ・フォーマット・システムデコーダに提供し、再生された音源位置をコンポジッションの要素とする動画再生方法。
14. 前記コンポジッションの要素であるオブジェクトの空間的位置を前記音源位置とすることを特徴とする請求項１３記載の動画再生方法。
15. ハードウェア情報に基づき音源位置情報を変換する音源位置変換ソフトウェアであって、
    第１に、現位置座標が確定領域にある場合は現位置座標を選択し、
    第２に、前記現位置座標が空間的スレッショルド領域にある場合、前位置座標と隣接しないときに限り前記現位置座標を選択し、前記前位置座標と隣接するときには前記前位置座標を選択するが、時間的に短い第１のスレッショルド及び時間的に長い第２のスレッショルドのうち前記第１のスレッショルドに至っていないときには、前記現位置座標の選択は行わず、
    第３に、前記現位置座標が前記スレッショルド領域にある場合で前記前位置座標と隣接した場合でも、前記第２のスレッショルドを越えてタイマのキャリが出力されていれば、前記現位置座標を選択するという選択基準に従い、
    音響を再生するスピーカを指定する前記音源位置変換ソフトウェアを用いて、
    動画を再生することを特徴とする動画再生方法。
16. 請求項１５に記載された音源位置変換ソフトウェアを有し、
    前記空間的若しくは時間的スレッショルドの設定、音響映像情報及び音源位置情報に従い、それぞれ音響映像再生及び音源位置再生を行うアプリケーション・プログラムを用いて、
    動画を再生することを特徴とする動画再生方法。

Images