JP2005091719A - 音声、動画等を具備するスケーラブルベクタグラフィックスのフォーマット方式 - Google Patents

Abstract

【課題】 ごく簡単かつ非常に効果的なフォーマット記述方法によって、スケーラブルベクタグラフィックスのファイル記述に、音声等のマルチメディアソースのファイル内での関連付けを行い、これを図形表示状態に依存した情報端末での図形の表示と音声再生を実現する。
【解決手段】 スケーラブルベクタグラフィックスの全体表示のサイズを指定する指定手段と、全体表示からの部分表示を行う部分表示領域の指定手段と、特定のベクタグラフィックス図形表示を指定する指定手段と、該図形に、特定の図形、音声、動画などのマルチメディアソースを関連付ける関連付け手段と、該マルチメディアソースの表示・再生を行う表示・再生手段と、該表示・再生手段の動作を、スケーラブルベクタグラフィックス上での特定のベクタグラフィックス図形表示状態によってこれを制御する制御手段と、該制御手段は、特定のベクタグラフィックス図形表示を行う指定をする指定手段に指定される制御限指定手段とを、具備する。
【選択図】 図１

Description

本発明は、音声、動画等を具備する拡大縮小が可能なベクタ図形、スケーラブルベクタグラフィックスのフォーマット方式に関する。

従来、Ｗｅｂ技術の発達により、様々なコンピュータ、携帯端末での情報の表示が行われるようになってきている。

各端末では、情報表示画面の大小、解像度のバリエーションがあるが、そこに表示される画像、とりわけ２次元図形表示について、表示領域の大小に依存せず拡大・縮小表示の可能な、ベクタ図形フォーマット、例えばＷ３Ｃが推進するスケーラブルベクタグラフィックス（ＳＶＧ）がある（例えば、非特許文献１参照）。

一方で表示端末装置の発達により従来の２次元図形表示だけでなく、２次元図形表示に関連付けて、音声、動画などのマルチメディアを具備する技術の提案、推進などが行われており、例えばＷ３Ｃが推進するシンクロナイズドマルチメディアインテグレーションランゲージ（ＳＭＩＬ）がある。
中越智哉著、「ＸＭＬとの連携、活用 ＳＶＧとは何ですか？」、インターネット上ホームページ、２００１年１０月２５日掲載、２００３年８月７日検索、ｈｔｔｐ：／／ｗｗｗ．ａｔｍａｒｋｉｔ．ｃｏ．ｊｐ／ｆｊａｖａ／ｊａｖａｆａｑ／ｘｍｌ／ｘｍｌ０５．ｈｔｍｌ

スケーラブルベクタグラフィックス表示において、音声、動画などの表示・再生技術を具備しつつも、図形表示状態に依存した、２次元図形オブジェクトの表示、マルチメディアの表示・再生技術がない。

表示状態により選択的に、特定の２次元図形オブジェクト表示に関連付られた図形オブジェクト表示、音声、動画などのの表示・再生を行う、抑制を行う方法がない。

本発明は、上述の問題点に着目して成されたものであって、ごく簡単かつ非常に効果的なフォーマット記述方法によって、スケーラブルベクタグラフィックスのファイル記述に、音声等のマルチメディアソースのファイル内での関連付けを行い、これを図形表示状態に依存した情報端末での図形の表示と音声再生を実現することができる、音声、動画等を具備するスケーラブルベクタグラフィックスのフォーマットの提供を目的とする。

上記課題を解決するために、本発明は、以下の構成を備える。

表示領域の大小に依存せず拡大・縮小表示の可能なスケーラブルベクタグラフィックスフォーマット方式において、
スケーラブルベクタグラフィックスの全体表示のサイズを指定する指定手段と、
全体表示からの部分表示を行う部分表示領域の指定手段と、
特定のベクタグラフィックス図形表示を指定する指定手段と、
該図形に、特定の図形、音声、動画などのマルチメディアソースを関連付ける関連付け手段と、
該マルチメディアソースの表示・再生を行う表示・再生手段と、
該表示・再生手段の動作を、スケーラブルベクタグラフィックス上での特定のベクタグラフィックス図形表示状態によってこれを制御する制御手段と、を備え、
該制御手段は、特定のベクタグラフィックス図形表示を行う指定をする指定手段に指定される制御限指定手段とを、具備する。

このように、ごく簡単かつ非常に効果的なフォーマット記述方法によって、スケーラブルベクタグラフィックスのファイル記述に、音声等のマルチメディアソースのファイル内での関連付けを行い、これを図形表示状態に依存した情報端末での図形の表示と音声再生を実現することができる。図形表示状態との連動により、感覚的にも、図形表示と適切に関連付けられた音声再生の制御が可能となる。

従来、Ｗｅｂ技術の発達により、様々なコンピュータ、携帯端末での情報の表示が行われるようになってきている。

各端末では、情報表示画面の大小、解像度のバリエーションがあるが、そこに表示される画像、とりわけ２次元図形表示について、表示領域の大小に依存せず自由に拡大・縮小表示の可能な、ベクタ図形フォーマット、例えばＷ３Ｃが推進するスケーラブルベクタグラフィックス（ＳＶＧ）がある。

図１に、本発明実施例における、拡大・縮小表示が可能な（以下スケーラブルとする）ベクタグラフィックスフォーマットファイル記述の一実施例を示す。記述方法にはＸＭＬ形式を用いる。例示されているＸＭＬ形式によるファイル記述は、スケーラブルベクタグラッフィックスフォーマットで記述された、スケーラブルベクタ図形の図形表示例であり、順に説明を行う。

１−１はスケーラブルベクタグラッフィックスのデータが、データ表示サイズ（以下ビューポート）が論理単位幅４００，高さ３００にて表示されることを示す。通常は、論理単位は例えばディスプレイ表示の場合は表示デバイスのピクセル単位に置き換えられ、今回は４００×３００ピクセルの領域となるが、実際の適用はスケーラブルベクタグラフィックスのレンダリング機能を持つ処理系に依存する。実サイズ例えばミリメートル単位による指定でもよい。

１−２は、ユーザ定義座標系の表示領域（以下ビューボックス）の指定を表す。“０ ０ ２００ １５０”の指定は、画像フォーマット上の原点（０，０）、幅２００、高さ１５０の座標系（ビューボックス）を、１−１で指定されたビューポートの座標システムにマッピングすることを意味する。つまり、本実施例ではビューポート４００：３００、ビューボックス２００：１５０の同一比率を持ち、丁度２倍となるマッピングを指定していることから、ビューポートには２倍の大きさで、本実施例の図形フォーマットファイルの内容が表示されることを意味する。また、ビューボックスの指定は省略可能である。省略時はビューポートとビューボックスは一致する。

なお、ビューポートの指定には論理単位を用いているが、実サイズ例えばミリメートル単位を用いても良い。

なお、本説明ではビューポートおよびビューボックスが同一の比率を持つ事例を示すが、異なる比率でのマッピングも様々に可能である。しかし、本実施例では詳細に言及しない。

１−３は、表示されるベクタ図形として、座標（ｘ，ｙ，ｗｉｄｔｈ，ｈｅｉｇｈｔ）が（５０，５０，１００，１００）となる矩形表示を意味する。なお、ベクタ図形座標の指定には論理単位を用いているが、実サイズ例えばミリメートル単位を用いても良い。

１−４〜１−８は、１−３の矩形表示に関連付けられた、マルチメディアオブジェクトをそれぞれ指す。１−４〜１−８に関連付けられた親オブジェクトである１−３が表示（以下レンダリング）された場合、それぞれの子オブジェクトであるマルチメディアオブジェクトが固有の機能を実現する。例えば１−３レンダリング領域を表示に用いたり、あるいは端末に接続された特定のデバイスで実現する。

例えば、１−４は音声再生デバイスの動作を指定する。１−３のレンダリングを前提とし、音声再生を行う。例えば１−４に示すｓｏｕｎｄ．ｒｍソースファイルに、「これは四角です」と読み上げる音声ファイルがデータとして関連付けられているならば、レンダリングの際に「これは四角です」と読み上げを行うことが可能である。もちろん、非常に複雑な図形ファイルで、例えば動物の絵に「これは鹿です」と読み上げる音声ファイルを関連付けることも可能であるし、例えば地図表示において、大田区の区域表示と共に「大田区です」と地名の読み上げを記録した音声ファイルを関連付けることも可能である。また、ユーザアクションによる、当該図形のマウスクリックやマウスオーバーにより、音声を再生する、などの技術も実現可能である。しかし、本実施例は、図形表示に関連付けられたマルチメディアソースの動作、再生に関して、特定の図形表示状態に依存させる発明であり、一例としてレンダリングの際の音声再生を事例として挙げるにとどめ、ユーザによるマウスクリック等による再生等に関して詳細は割愛する。

１−５は、動画ファイルの関連付けの事例である。１−３レンダリング領域を用いて、ファイルｍｏｖｉｅ．ｗｍｆに記録された動画の表示を行う。このように、１−４，１−５において複数のマルチメディアソース（ファイル）の動作指定を行うことができるが、その同期（シンクロナイゼーション）、動作・再生順番、音量、再生スピード、単位時間あたりの再生画像フレーム数などの詳細はここで割愛する。

１−６は、例えば弱視者支援の特殊な拡大デバイスへの何らかの出力を指す。１−７は例えば盲目者用の点字表示デバイスへの何らかの出力を指す。このように、様々なマルチメディアソースを、１−３に示す図形表示に関連付けることが可能である。しかし、本実施例は、図形表示に関連付けられたマルチメディアソースの動作、再生に関して、特定の図形表示状態に依存させる発明であり、本実施例では１−５〜１−８の指定に関して、その動作や同期、再生タイミングについては詳細には言及しない。１−８は、１−３図形オブジェクトにさらに同じスケーラブルベクタグラフィックス形式のファイル表示を関連付ける。１−８に指定されたｓｖｇｆｉｌｅ．ｓｖｇは、１−３の矩形領域に内容をレンダリングされることを期待される。もちろん、指定を“ｓｒｃ＝”となるファイル形式でなく、本実施例にあるｘｍｌタグ形式で書かれた例えば＜ｒｅｃｔ＞のようなスケーラブルベクタグラフィックスフォーマットによる図形表示でもよい。

図２には、図１のベクタグラフィックスフォーマットの記述例より簡略化された記述例２を示す。２−１に示されるように、ビューポートを４００×３００、ビューボックス同サイズを４００×３００に指定してある。

図３は、図２のベクタグラフィックスフォーマットの表示例である。

図４は、図２のベクタグラフィックスフォーマットの記述例より４−１に示されるように、ビューポートを２００×１５０、ビューボックスを４００×３００に指定してある。つまり図２に比して縦横２分の１の領域に、図２と同一のビューボックス（ユーザ座標系）をマッピングしてある。つまり、縮尺（倍率）１／２となる表示が得られる。以下、縮尺と倍率は同じ意味を持つことから、スケールと呼ぶ。

図５に図示するが、図３と同一論理単位で描かれた図は、１／２の表示が得られることを示している。斯様に、本実施例の特徴とするところは、スケーラブルベクタグラフィックスで記述された図形は、その記述ファイルが表示される際に指定される、ビューポートとビューボックスの関係から、自由に拡大・縮小がなされて表示される。また本発明では、ユーザは、表示デバイスに表示された図形を、携帯電話のような小さなキーボードやテンキーによるビューボックスの数値設定（拡大や縮小・移動）、あるいはパーソナルコンピュータで一般的なマウスによる表示ウィンドウ（ビューポート）の拡大縮小、等の入力機器、あるいは他の方法により、自由に表示スケールや領域を変更できるような、情報端末環境を想定することができる。

次に、図２の記述ファイルを元に、音声再生について説明を行う。

図６は、通常の描画および音声再生フローチャートを示す。

６−１は、スケーラブルベクタグラフィックスの記述について、２−１に示されたようなビューポート、ビューボックスの指定を得る。

６−２は表示を行う情報端末やコンピュータの表示ディスプレイデバイスの情報を得る。

６−３において、６−２の情報に基づきビューポートを作成し、６−４でビューボックスをマッピングすることにより、スケールが確定する。

６−５では、図２で示された図形ファイルがパージングされ、２−２に示されたベクタ図形タグが順に取り出される。取り出してレンダリングされる図形は、指定されたビューボックス内での表示部分がある図形のみに限られる。図形タグのレンダリングがすべて終了すれば、この系は終了である。

６−６では、図形２−２が表示され、続いて６−７にて２−３に関連付けられた音声ファイルが再生される。Ｓｒｃ＝”ｓｏｕｎｄ．ｒｍ”に記録された音声が、「正方形です」という音声ならば、正方形の表示と共に「正方形です」と再生がなされる。先に述べたように、２−２に関連付けられたマルチメディアソースは音声に限らず、動画、様々なデバイスへの出力、あるいは同様にベクタグラフィックスファイルの表示なども実施可能であるが、本実施例では説明を簡略化するために音声の再生のみを行う。

このように、ごく簡単な方法によって、スケーラブルベクタグラフィックスのファイル記述に、音声等のマルチメディアソースのファイル内での関連付けを行い、これを情報端末での図形の表示と音声再生が実現される。

次に、図７に示されるようなスケーラブルベクタグラフィックスのファイル記述の表示を例に説明する。図７に記述されたファイルでは、２つの正方形Ａ，Ｂがベクタ図形として記述されており、それぞれｓｏｕｎｄＡ．ｒｍ，ｓｏｕｎｄ．Ｂ．ｒｍが関連付けられている。正方形の大きさは、Ａに比してＢは辺４倍（面積１６倍）の差異を持つ。

表示例は図８となるが、図８は、ビューポートとビューボックスの関係から、スケール０．５での表示が行われている。図８の実例では、それぞれ正方形Ａ，Ｂが表示され、音声に例えば、「正方形Ａです」「正方形Ｂです」という音声記録が再生される。

しかしながら、図形表示状態においては、正方形Ａ、正方形Ｂの図形表示を認識しようとする場合、正方形Ａが重要でない場合がある。たとえば表示情報端末のビューボックスを移動した場合である。その表示例を図９、図１０に示す。

例えば図９のような記述例に基づいた表示では、ビューボックスは正方形Ａをクリッピングしている。図１０のように、図形表示上、正方形Ａはビューのクリッピングによって大半が隠れ、正方形Ｂに比して感覚的にも、あまり重要でなくむしろ些細な表示となる。表示ビューポートの位置に拠っては、正方形Ａは良好な表示を得られない程クリッピングアウトされた表示がされている可能性もある。この場合、音声再生において、
「正方形Ａです」
「正方形Ｂです」
のそれぞれについて、少なくとも「正方形Ａです」の再生を抑制し、「正方形Ｂです」の再生のみにしたい状況がある。

以上を実現するために、図形表示状態に応じて、特定の２次元図形オブジェクト表示に関連付られた図形オブジェクト表示、音声、動画などのの表示・再生を行う、または抑制を行う方法を図１１に示す。

図９に示した記述例５に対し、本発明にて例示される記述例６においては、新たにｎｏｐｌａｙＳｔａｔｕｓアトリビュート（属性）を設定することを特徴とする。アトリビュートｎｏｐｌａｙＳｔａｔｕｓは、指定エレメント（要素）に含まれる子エレメントの表示・再生等が行われる、指定を表す。本実施例では例えば正方形Ａには１１−２に示されるｎｏｐｌａｙＳｔａｔｕｓ＝”Ｃｌｉｐｐｅｄ”を指定する。図１１に示された記述例６の表示においては、情報端末等で実機上では実際に図１２に示されるような処理を行う。

図６と同様に、まず１２−１は、スケーラブルベクタグラフィックスの記述について、１１−１に示されたようなビューポート、ビューボックスの指定を得る。

１２−２は表示を行う情報端末やコンピュータの表示ディスプレイデバイスの情報を得る。

１２−３において、１１−２の情報に基づきビューポートを作成し、１２−４でビューボックスをマッピングする。

１２−５では、図１１で示された図形ファイルがパージングされ、１１−２に示されたベクタ図形タグが順に取り出される。取り出してレンダリングされる図形は、指定されたビューボックス内での表示部分がある図形のみに限られる。次のループで取り出される図形タグは１１−４となる。図形タグのレンダリング（パーザーによる取り出し）がすべて終了すれば、この系は終了である。

１２−６では、図形１１−２がレンダリングされ、続いて１２−７にて１１−２に指定されたｎｏｐｌａｙＳｔａｔｕｓを取得する。１１−４の場合のように、指定がない場合はＮｏｎｅをディフォルトで持つ。

続いて１２−８では、図形の表示状態を得る。ここでは簡略化しているので、ビューボックスによりＣｌｉｐｐｅｄされているか否かを得る。１２−９ではｎｏｐｌａｙＳｔａｔｕｓの内容と図形表示状態の比較が行われ、例えば今回１１−２のケースは表示がビューボックスにＣｌｉｐｐｅｄされ、さらにｎｏｐｌａｙＳｔａｔｕｓ＝”Ｃｌｉｐｐｅｄ”が指定されていることから、１２−１０での音声再生モジュールへ制御が移らず１２−６へ戻る。つまり「正方形Ａです」の音声は再生されない。１１−４の場合は、図形表示状態がクリッピングされておらず、さらにｎｏｐｌａｙＳｔａｔｕｓについては指定がないので、１２−１０へ進み、１１−５に関連付けられた音声ファイル”ｓｏｕｎｄＢ．ｒｍ”が再生され「正方形Ｂです」の音声再生が得られる。
結果この系においては、
「正方形Ｂです」
の音声再生のみが得られ、「正方形Ａです」
の音声再生抑制が可能になる。

〔実施例２〕
本発明に述べられたｎｏｐｌａｙＳｔａｔｕｓ＝”Ｃｌｉｐｐｅｄ”と同様に、別の図形表示状態である、Ｃｏｎｔａｉｎｅｒを定義することも可能である。
Ｃｏｎｔａｉｎｅｒの概念図をそれぞれ示す。

図１３は、例えば五角形Ｃが、ビューボックス１３−１に対してＣｏｎｔａｉｎｅｒとなる例である。

つまり、ビューボックスが完全に当該図形に内包され、図形全体像が見えない場合、五角形Ｃに関連付けられた音声ファイル、あるいはマルチメディアソースについては、再生・動作させる意味がない場合、ｎｏｐｌａｙＳｔａｔｕｓ＝”Ｃｏｎｔａｉｎｅｒ”を指定することにより、音声再生を抑制することができる。

またｎｏｐｌａｙＳｔａｔｕｓは同時に複数の記述を行うことができる。

例示として、ｎｏｐｌａｙＳｔａｔｕｓ＝”Ｃｏｎｔａｉｎｅｒ；Ｃｌｉｐｐｅｄ”と記述された図形を事例に考える。当該図形表示が、図１４に示すように、ＶｉｅｗＢｏｘＡにて図形表示にビューポートがＣｏｎｔａｉｎｅｒとなる場合、音声の再生は行われない。また、ＶｉｅｗＢｏｘＢにより図形表示をＣｌｉｐｐｅｄされたの場合も、関連付けられた音声ファイルは再生されることはない。

ＶｉｅｗＢｏｘＣのように、ビューボックス内に、完全に図形が表示された場合のみ、関連付けられた音声再生が行われる。

〔実施例３〕
実施例２に示したｎｏｐｌａｙＳｔａｔｕｓアトリビュートの属性値として、Ｃｏｎｔａｉｎｅｒ，Ｃｌｉｐｐｅｄを例示したが、ビューボックスと図形表示の関係を明確に表す属性値は、例えば、図形の２５％以上図形表示がビューボックスにクリッピングされている場合は再生を行わない属性値として、ｍｏｒｅｑｕｒａｔｏｒＣｌｉｐｐｅｄ、５０％以上として、ｍｏｒｅｈａｌｆＣｌｉｐｐｅｄ等の属性値による制限も有り得る。

〔実施例４〕
実施例３にてｎｏｐｌａｙＳｔａｔｕｓのクリップ状態の細分化を行う属性値について示したが、例えば図形表示状態の表示割合下限を同様な効果が得られるように、表示量の数値による指定が可能なアトリビュートとして、ｐｌａｙＭｉｎＤｉｓｐＲａｔｅを指定することも考えられる。例示として、ｐｌａｙＭｉｎＤｉｓｐＲａｔｅ＝”０．７５”とすれば、図形表示が７５％以上の面積におよぶ場合は、図形に関連付けられた音声（あるいはマルチメディアソース）の再生が行われる。

また、ｐｌａｙＭｉｎＤｉｓｐＲａｔｅは、当該の指定対象となる図形表示が、ビューボックスをＣｏｎｔａｉｎｅｒしている場合も、あるいはビューボックスによりＣｌｉｐｐｅｄされる場合も双方の場合でもビューボックスに現れた図形の表示面積割合により、音声の再生についての制御を可能とする。

〔実施例５〕
実施例１〜４までに述べられた本発明を実現するための様々なアトリビュートや属性値などの用語は事例であり、同様な効果を得られることを目的とした他の用語による定義でももちろん構わない。

ベクタグラフィックスフォーマットの記述例を示す図 ベクタグラフィックスフォーマットの記述例２を示す図 図２で示されたファイルの表示例を示す図 ベクタグラフィックスフォーマットの記述例３を示す図 図４で示されたファイルの表示例を示す図 描画および音声再生フローチャート ベクタグラフィックスフォーマットの記述例４を示す図 図７で示されたファイルの表示例を示す図 ベクタグラフィックスフォーマットの記述例５を示す図 図９で示されたファイルの表示例を示す図 ベクタグラフィックスフォーマットの記述例６を示す図 描画および音声再生フローチャート２ Ｃｏｎｔａｉｎｅｒ表示された図形表示例を示す図 図形表示とビューボックスの関係を示す図

Claims (1)

1. 表示領域の大小に依存せず拡大・縮小表示の可能なスケーラブルベクタグラフィックスフォーマット方式において、
   スケーラブルベクタグラフィックスの全体表示のサイズを指定する指定手段と、
   全体表示からの部分表示を行う部分表示領域の指定手段と、
   特定のベクタグラフィックス図形表示を指定する指定手段と、
   該図形に、特定の図形、音声、動画などのマルチメディアソースを関連付ける関連付け手段と、
   該マルチメディアソースの表示・再生を行う表示・再生手段と、
   該表示・再生手段の動作を、スケーラブルベクタグラフィックス上での特定のベクタグラフィックス図形表示状態によってこれを制御する制御手段と、を備え、
   該制御手段は、特定のベクタグラフィックス図形表示を行う指定をする指定手段に指定される制御限指定手段とを、具備することを特徴とするスケーラブルベクタグラフィックスのフォーマット方式。