JP2004088343A - 画像表示処理方法およびシステム - Google Patents
画像表示処理方法およびシステム Download PDFInfo
- Publication number
- JP2004088343A JP2004088343A JP2002245473A JP2002245473A JP2004088343A JP 2004088343 A JP2004088343 A JP 2004088343A JP 2002245473 A JP2002245473 A JP 2002245473A JP 2002245473 A JP2002245473 A JP 2002245473A JP 2004088343 A JP2004088343 A JP 2004088343A
- Authority
- JP
- Japan
- Prior art keywords
- visible
- tracks
- file
- spatial
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】複数の可視トラック間の空間的位置関係を分割された期間毎に定義することにより、複数の可視トラックが重なり合った複雑なプレゼンテーションの表示を可能にする。
【解決手段】デコーダ１１１側では、予めプレゼンテーションを可視トラックの数と各可視トラック間の空間的位置関係が変動しない不変期間毎に分割すると共に、位置関係情報を有する。そして、マルチメディアファイルのエンコード処理を行う際、位置関係情報を当該マルチメディアファイルのヘッダ部分に付加する。デコーダ３２１側では、マルチメディアファイルのヘッダ部分に付加された位置関係情報を読み出し、該読み出した位置関係情報に基づいて不変期間毎に各可視トラックの空間的位置関係を調節して当該プレゼンテーションの表示を行う。
【選択図】 図１
【解決手段】デコーダ１１１側では、予めプレゼンテーションを可視トラックの数と各可視トラック間の空間的位置関係が変動しない不変期間毎に分割すると共に、位置関係情報を有する。そして、マルチメディアファイルのエンコード処理を行う際、位置関係情報を当該マルチメディアファイルのヘッダ部分に付加する。デコーダ３２１側では、マルチメディアファイルのヘッダ部分に付加された位置関係情報を読み出し、該読み出した位置関係情報に基づいて不変期間毎に各可視トラックの空間的位置関係を調節して当該プレゼンテーションの表示を行う。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の可視トラックを有する画像をマルチメディアファイルに基づき表示する画像表示処理方法およびシステムに関し、特に、複数可視トラックの空間的上下関係を分割された期間毎に定義することにより複数の可視トラックが重なり合った複雑な映像（以下、「プレゼンテーション」という。）の表示を可能にした画像表示処理方法およびシステムに関する。
【０００２】
【従来の技術】
一般に、マルチメディアファイル（以下、単に「ＭＰ４ファイル」という。）のフォーマットにおける仕様では、図７に示すように、可視トラック（ビデオトラック、テキストトラック等で視覚表示可能なトラック）をプレゼンテーション中に複数持つことが可能である。
【０００３】
ところが、現在のＭＰ４ファイルフォーマット仕様では、可視トラックがプレゼンテーション中に複数存在する場合で、これら複数の可視トラックの空間的な上下関係および数が時間と共に変動する場合の、これら可視トラックの空間的な上下関係を定義する方法が無いのが現状である。
【０００４】
現ＭＰ４ファイルフォーマット仕様には、ＴｒａｃｋＨｅａｄｅｒＢｏｘ（’ｔｋｈｄ’）中にｌａｙｅｒフィールドを持つが、このフィールドは、各トラックのプレゼンテーション全体に亘って固定した空間的上下関係を表すもので、変動可能な空間的上下関係を表すものではない。
【０００５】
また、現在では、ＢＩＦＳ（ビフス）等により、複数の画像間での空間的位置関係を定義するものが知られているが、ＭＰ４ファイルフォーマットにおいて、テキストトラックとビデオトラックとの間で空間的位置関係を定義する方法は知られていない。
【０００６】
【発明が解決しようとする課題】
上述の如く、従来のＭＰ４ファイルフォーマットにおける可視トラックの空間的な上下関係を扱う方法においては、プレゼンテーション全体に亘って固定した空間的上下関係を表わす方法しか無いものとなっている。
【０００７】
この為、従来のＭＰ４ファイルフォーマット仕様では、固定的な単純なプレゼンテーションを表現することしか出来ないでいる。
【０００８】
また、従来ＢＩＦＳ等により、複数の画像間での空間的位置関係を定義するものは知られているものの、ＭＰ４ファイルフォーマットにおいて、テキストトラックとビデオトラックとの間で空間的位置関係を定義するものは知られていないのが現状である。
【０００９】
そこで、本発明は、複数の可視トラック間の空間的上下関係を分割された期間毎に定義することにより、複数の可視トラックが重なり合った複雑なプレゼンテーションの表示を可能にした画像表示処理方法およびシステムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明は、複数の可視トラックを有する画像をマルチメディアファイルに基づき表示する画像表示処理方法において、前記画像を複数の期間に分割し、該分割した期間毎に前記複数の可視トラックの空間的上下関係を順序付けて定義し、該定義に基づき前記複数の可視トラックの空間的上下関係を前記期間毎に切り換えて前記画像を表示することを特徴とする。
【００１１】
また、請求項２の発明は、請求項１の発明において、前記複数の可視トラックの空間的上下関係は、前記マルチメディアファイルのヘッダ部分に定義され、該ヘッダ部分に定義された空間的上下関係に基づき前記複数の可視トラックの空間的上下関係を調節して表示することを特徴とする。
【００１２】
また、請求項３の発明は、請求項１の発明において、前記マルチメディアファイルは、ＭＰ４ファイルであり、前記複数の可視トラックの空間的上下関係は、前記ＭＰ４ファイルのヘッダボックスの予め設定された位置に前記可視トラックの識別子を示す情報を格納することにより定義されることを特徴とする。
【００１３】
また、請求項４の発明は、複数の可視トラックを有する画像をマルチメディアファイルに基づき表示する画像表示処理システムにおいて、前記画像を複数の期間に分割する分割手段と、前記分割した期間毎に前記複数の可視トラックの空間的上下関係を順序付けて定義する定義手段と、前記定義手段による定義に基づき前記複数の可視トラックの空間的上下関係を前記期間毎に切り換えて前記画像を表示する表示制御手段とを具備することを特徴とする。
【００１４】
また、請求項５の発明は、請求項４の発明において、前記定義手段は、前記複数の可視トラックの空間的上下関係を前記マルチメディアファイルのヘッダ部分に定義し、前記表示制御手段は、前記マルチメディアファイルのヘッダ部分に定義された空間的上下関係に基づき前記複数の可視トラックの空間的上下関係を調節して表示することを特徴とする。
【００１５】
また、請求項６の発明は、請求項４の発明において、前記マルチメディアファイルは、ＭＰ４ファイルであり、前記定義手段は、前記複数の可視トラックの空間的上下関係を前記ＭＰ４ファイルのヘッダボックスの予め設定された位置に前記可視トラックの識別子を示す情報を格納することにより定義することを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態について添付図面を参照して詳細に説明する。
【００１７】
図１は、本発明を適用した場合のマルチメディアファイル処理システムの概略構成を示す図である。
【００１８】
図１に示すように、このシステムでは、ＭＰ４ファイル形式による動画像データを送信する送信装置１００と、有線或いは無線回線、交換局等から成る通信網２００と、上記送信装置１００から送信されてきた動画像データを受信し、表示部等に動画像を表示再生する受信装置３００とを具えて構成される。
【００１９】
ここで、送信装置１００は、少なくともエンコーダ１１１を制御部１１０に具え、可視トラック（ビデオトラック、テキストトラック等で視覚表示可能なトラック）をプレゼンテーション中に複数持つような動画像をエンコード処理してＭＰ４ファイル形式に変換し、所定の通信パケット［例えば、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）プロトコルを用いたパケット］に挿入して通信網２００に送出する。
【００２０】
尚、この送信装置１００は、例えば、サーバであり、エンコーダ１１１は例えばハード及びソフト等から構成されるものとする。
【００２１】
また、受信装置３００は、少なくともデコーダ３２１を制御部３２０に具え、上記送信装置１００及び通信網２００を介して受信したパケットからＭＰ４ファイルデータを抽出し、該抽出したＭＰ４ファイルデータに基づき表示部３１０に動画像等のプレゼンテーションを表示する。
【００２２】
尚、この受信装置３００は、例えば、パーソナルコンピュータ（ＰＣ）であり、デコーダ３２１は例えばハード及びソフト等から構成される。
【００２３】
図２は、上記図１に示した送信装置１００のエンコーダ１１１におけるＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のエンコード時の処理の流れを示すフローチャートである。尚、このフローの説明にあたっては、図５に示すＭＰ４ファイルの構成とその構成要素を示す表図、及び図６に示すＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）の構造図を参照するものとする。
【００２４】
図２に示すように、この処理を開始するにあたって、送信装置１００のエンコーダ１１１では、まず、Ｓｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のファイル（図６参照）中に、Ｓｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のｓｉｚｅをファイルに書き込む（ステップＳ１０１）。次いで、ｔｙｐｅを’ｓｐｒｔ’とし（ステップＳ１０２）、次いで、ｖｅｒｓｉｏｎ（尚、このｖｅｒｓｉｏｎとは、このｂｏｘのバージョンを示す整数値である「０」または「１」である。）をファイルに書き込む（ステップＳ１０３）。次いで、ｆｌａｇｓをファイルに書き込む（ステップＳ１０４）。次いで、ｅｎｔｒｙ ｃｏｕｎｔ（尚、このｅｎｔｒｙ ｃｏｕｎｔとは、このｅｎｔｒｙ ｃｏｕｎｔの後にあるテーブル中のエントリを与えるものである。）をファイルに書き込む（ステップＳ１０５）。
【００２５】
その後、ｖｅｒｓｉｏｎが「１」であるかどうか、即ち、３２ビットまたは６４ビットフィールドサイズのどちらを使用するのかを識別する為のバージョンを示す整数値が「０」か「１」であるかを判定する（ステップＳ１０６）。尚、ここで、３２ビットまたは６４ビットフィールドサイズとあるが、これは、通常３２ビットで後述の可視トラック等の位置関係情報を書き込めるが、プレゼンテーションによっては、後述のｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎ：セグメント期間が多く存在し、それ応じて可視トラック等の情報が多くなる場合に６４ビットフィールドサイズを用いる為である。
【００２６】
ここで、ｖｅｒｓｉｏｎが「１」であると判定されると（ステップＳ１０６ＹＥＳ）、ｉを「０」に設定し（ステップＳ１０７）、次いで、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さいかどうかを判定する（ステップＳ１０８）。
【００２７】
ここで、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さく無いと判定されると（ステップＳ１０８ＮＯ）、このＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のエンコード時の処理が終了される。
【００２８】
また、他方、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さいと判定されると（ステップＳ１０８ＹＥＳ）、ｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎを６４ビット長でファイルに書き込む（ステップＳ１０９）。次いで、ｖｉｓｉｂｌｅ−ｔｒａｃｋｓを６４ビット長でファイルに書き込む（ステップＳ１１０）。尚、ここで、ｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎとは、セグメントの時間間隔を示す整数値である。そして、１セグメントは、可視トラックの数が変動せずに、かつ、それら空間的上下関係が変動しない期間のことであり、単位は、Ｍｏｖｉｅ Ｈｅａｄｅｒ Ｂｏｘ（’ｍｖｈｄ’）で指定されているタイムスケールである。また、ｖｉｓｉｂｌｅ ｔｒａｃｋｓとは、あるセグメント期間（ｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎ）における可視トラックの数を示す。
【００２９】
その後、ｊを「０」に設定し（ステップＳ１１１）、次いで、ｊがｖｉｓｉｂｌｅ ｔｒａｃｋｓより小さいかどうかを判定する（ステップＳ１１２）。
【００３０】
ここで、ｊがｖｉｓｉｂｌｅ ｔｒａｃｋｓより小さいと判定されると（ステップＳ１１２ＹＥＳ）、視聴者にｊ番目に遠い（即ち、ｊは０から始まり、ｊの値が大きいほど視聴者に近いものとなる）可視トラックのｔｒａｃｋ−ＩＤを６４ビット長でファイルに書き込む（ステップＳ１１３）。尚、ここで、ｔｒａｃｋ ＩＤとは、あるセグメント期間における各可視トラックのＩＤである。そして、このトラックＩＤは、Ｔｒａｃｋ Ｈｅａｄｅｒ Ｂｏｘ（’ｔｋｈｄ’）で定義されているものを使用する。また、ここでは、各可視トラックのみが対象になり、オーディオトラック等の非可視トラックは対象とならない。尚、上記フロー処理中で後に書き込まれる可視トラックほど視聴者に近いものとなる。
【００３１】
その後、ｊを１つインクリメントし（ステップＳ１１４）、上述のステップＳ１１２に移行する。
【００３２】
また、他方、上述のステップＳ１１２の判定の結果、ｊがｖｉｓｉｂｌｅ ｔｒａｃｋｓより小さく無いと判定されると（ステップＳ１１２ＮＯ）、ｉを１つインクリメントし（ステップＳ１１５）、上述のステップＳ１０８の処理に移行して以下同様の処理を行う。
【００３３】
また、他方、上述のステップＳ１０６の判定の結果、ｖｅｒｓｉｏｎが「１」でないと判定された場合（ステップＳ１０６ＮＯ）、ｉを「０」に設定し（ステップＳ１１６）、次いで、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さいかどうかが判定される（ステップＳ１１７）。
【００３４】
ここで、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さく無いと判定されると（ステップＳ１１７ＮＯ）、このＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のエンコード処理を終了する。
【００３５】
また、他方、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さいと判定されると（ステップＳ１１７ＹＥＳ）、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎを３２ビット長でファイルに書き込み（ステップＳ１１８）、次いでｖｉｓｉｂｌｅ−ｔｒａｃｋｓを３２ビット長でファイルに書き込み（ステップＳ１１９）、次いで、ｊを「０」に設定する（ステップＳ１２０）。
【００３６】
その後、ｊがｖｉｓｉｂｌｅ−ｔｒａｃｋｓより小さいかどうかを判定する（ステップＳ１２１）。
【００３７】
ここで、ｊがｖｉｓｉｂｌｅ−ｔｒａｃｋｓより小さいと判定されると（ステップＳ１２１ＹＥＳ）、視聴者にｊ番目に遠い可視トラックのｔｒａｃｋ−ＩＤを３２ビット長でファイルに書き込む（ステップＳ１２２）。
【００３８】
その後、ｊを１つインクリメントし（ステップＳ１２３）、上述のステップＳ１２１の処理に移行する。
【００３９】
また、他方、上述のステップＳ１２１の判定処理の結果、ｊがｖｉｓｉｂｌｅ−ｔｒａｃｋｓより小さく無いと判定された場合（ステップＳ１２１ＮＯ）、ｉを１つ増やし（ステップＳ１２４）、上述のステップＳ１１７の処理に移行し、以下同様の処理を行う。
【００４０】
図３は、上記図１に示した受信装置３００のデコーダ（解読器）３２１におけるＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のデコード時の処理の流れを示すフローチャートである。尚、このフローの説明にあたっても、図５に示すＭＰ４ファイルの構成とその構成要素を示す表図、及び図６に示すＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）の構造図を参照するものとする。
【００４１】
図３に示すように、この処理を開始するにあたって、受信装置３００のデコーダ３２１では、まず、図５に示したファイル中からＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘのｓｉｚｅを読み込む（ステップＳ２０１）。次いで、ｔｙｐｅを’ｓｐｒｔ’とし（ステップＳ２０２）、次いで、ｖｅｒｓｉｏｎをファイルから読み込む（ステップＳ２０３）。次いで、ｆｌａｇｓをファイルから読み込む（ステップＳ２０４）。次いで、ｅｎｔｒｙ ｃｏｕｎｔをファイルから読み込む（ステップＳ２０５）。
【００４２】
その後、ｖｅｒｓｉｏｎが「１」であるかどうかを判定する（ステップＳ２０６）。
【００４３】
ここで、ｖｅｒｓｉｏｎが「１」であると判定されると（ステップＳ２０６ＹＥＳ）、ｉを「０」に設定する（ステップＳ２０７）。
【００４４】
その後、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さいかどうかが判定される（ステップＳ２０８）。
【００４５】
ここで、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さく無いと判定されると（ステップＳ２０８ＮＯ）、ここでのＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のデコード時の処理が終了される。
【００４６】
また，他方、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さいと判定されると（ステップＳ２０８ＹＥＳ）、次いで、ｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎを６４ビット長でファイルから読み込む（ステップＳ２０９）。そして、ｖｉｓｉｂｌｅ ｔｒａｃｋｓを６４ビット長でファイルから読み込む（ステップＳ２１０）。
【００４７】
その後、ｊを「０」に設定し（ステップＳ２１１）、次いで、ｊがｖｉｓｉｂｌｅ ｔｒａｃｋｓより小さいかどうかが判定される（ステップＳ２１２）。
【００４８】
ここで、ｊがｖｉｓｉｂｌｅ ｔｒａｃｋｓより小さいと判定されると（ステップＳ２１２ＹＥＳ）、視聴者にｊ番目に遠い可視トラックのｔｒａｃｋｓ−ＩＤを６４ビット長でファイルから読み込む（ステップＳ２１３）。次いで、ｊを１つインクリメントし（ステップＳ２１４）、上述のステップＳ２１２の処理に移行して以下同様の処理を行う。
【００４９】
また、他方、上述のステップＳ２１２の判定の結果、ｊがｖｉｓｉｂｌｅ ｔｒａｃｋｓより小さく無いと判定されると（ステップＳ２１２ＮＯ）、ｉを１つインクリメントし（ステップＳ２１５）、上述のステップＳ２０８の処理に移行し、以下同様の処理を行う。
【００５０】
また、上述のステップＳ２０６の判定の結果、ｖｅｒｓｉｏｎが１でないと判定されると（ステップＳ２０６ＮＯ）、ｉを「０」に設定し（ステップＳ２１６）、次いで、ｉがｅｎｔｒｙ−ｃｏｕｎｔより小さいかどうかを判定する（ステップＳ２１７）。
【００５１】
ここで、ｉがｅｎｔｒｙ−ｃｏｕｎｔより小さく無いと判定されると（ステップＳ２１７ＮＯ）、ここでのＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のデコード時の処理が終了される。
【００５２】
また、他方、上述のステップＳ２１７の判定の結果、ｉがｅｎｔｒｙ−ｃｏｕｎｔより小さいと判定されると（ステップＳ２１７ＹＥＳ）、次いで、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎを３２ビット長でファイルから読み込み（ステップＳ２１８）、次いで、ｖｉｓｉｂｌｅ−ｔｒａｃｋｓを３２ビット長でファイルから読み込む（ステップＳ２１９）。
【００５３】
その後、ｊを「０」に設定し（ステップＳ２２０）、次いで、ｊがｖｉｓｉｂｌｅ−ｔｒａｃｋｓより小さいかどうかを判定する（ステップＳ２２１）。
【００５４】
ここで、ｊがｖｉｓｉｂｌｅ−ｔｒａｃｋｓより小さいと判定されると（ステップＳ２２１）、視聴者にｊ番目に遠い可視トラックのｔｒａｃｋ−ＩＤを３２ビット長でファイルから読み込む（ステップＳ２２２）。次いで、ｊを１つインクリメントし（ステップＳ２２３）、上述のステップＳ２２１に移行して以下同様の処理を行う。
【００５５】
また、他方、上述のステップＳ２２１の判定の結果、ｊがｖｉｓｉｂｌｅ‐ｔｒａｃｋｓより小さく無いと判定されると（ステップＳ２２１ＮＯ）、ｉを１つインクリメントし（ステップＳ２２４）、上述のステップＳ２１７の処理に移行して以下同様の処理を行う。
【００５６】
図４は、本発明に係る可視トラックの表示順位とトラックＩＤの関係を示す図である。そして、図４（ａ）が、ｅｎｔｒｙ−ｃｏｕｎｔが３の場合のプレゼンテーションを示し、図４（ｂ）が、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎがｓｄ０（０＜＝ｔ＜ｔ１）の場合の可視トラックの位置関係を示し、図４（ｃ）が、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎがｓｄ１（ｔ１＜＝ｔ＜ｔ２）の場合の可視トラックの位置関係を示し、図４（ｄ）が、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎがｓｄ２（ｔ２＜＝ｔ＜ｔ３）の場合の可視トラックの位置関係を示している。また、表４−ｂが、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎがｓｄ０（０＜＝ｔ＜ｔ１）の場合の可視トラックの表示順位とｔｒａｃｋ−ＩＤの位置関係情報テーブルを示し、表４−ｃが、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎがｓｄ１（ｔ１＜＝ｔ＜ｔ２）の場合の可視トラックの表示順位とｔｒａｃｋ−ＩＤの位置関係情報テーブルを示し、表４−ｄが、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎがｓｄ２（ｔ２＜＝ｔ＜ｔ３）の場合の可視トラックの表示順位とｔｒａｃｋ−ＩＤの位置関係情報テーブルを示している。
【００５７】
尚、上記図２に示したエンコード時の処理において、エンコーダ１１１は、上記表４−ｂ、表４−ｃ、表４−ｄに示した位置関係情報テーブルに格納されている情報を参照してヘッダ部分に位置関係情報の付加処理を行う。
【００５８】
また、図４（ａ）において、この例では、ｅｎｔｒｙ ｃｏｕｎｔが３の場合のプレゼンテーションを示しており、それぞれのｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎが、ｓｄ０（０＜＝ｔ＜ｔ１），ＳＤ１（ｔ１＜＝ｔ＜ｔ２），ｓｄ２（ｔ２＜＝ｔ＜ｔ３）から構成されている様子を示している。
【００５９】
また、図４（ｂ）において、この場合、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎが、ｓｄ０（０＜＝＜ｔ１）の場合の可視トラックの表示位置関係を示している。ここで、この期間のプレゼンテーションでは、ｔｒ０，ｔｒ１，ｔｒ２，ｔｒ３の４つの可視トラックが存在し、それぞれの可視トラックのｔｒａｃｋ−ＩＤが、０，１，２，３である場合を示している。そして、これら４つの可視トラックの空間的上下関係は、視聴者から遠い方から、ｔｒ０，ｒ２，ｔｒ３，ｔｒ１になっている。
【００６０】
尚、これら可視トラックの表示順位とｔｒａｃｋ−ＩＤの位置関係を［表４−ｂ］に示しておく。
【００６１】
また、図４（ｃ）において、この場合、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎが、ｓｄ１（ｔ１＜＝ｔ＜ｔ２）の場合の可視トラックの表示位置関係を示している。ここで、この期間のプレゼンテーションでは、ｔｒ０，ｔｒ１，ｔｒ３の３つの可視トラックが存在し、それぞれの可視トラックのｔｒａｃｋ‐ＩＤが、０，１，３である場合を示している。そして、これら３つの可視トラックの空間的上下関係は、視聴者から遠い方から、ｔｒ０，ｔｒ３，ｔｒ１になっている。
【００６２】
尚、これら可視トラックの表示順位とｔｒａｃｋ−ＩＤの位置関係を［表４−ｃ］に示しておく。
【００６３】
また、図４（ｄ）において、この場合、ｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎが、ｓｄ２（ｔ２＜＝ｔ＜ｔ３）の場合の可視トラックの表示位置関係を示している。ここで、この期間のプレゼンテーションでは、ｔｒ０，ｔｒ１，ｔｒ３の３つの可視トラックが存在し、それぞれの可視トラックのｔｒａｃｋ−ＩＤが、０，１，３である場合を示している。そして、これら３つの可視トラックの空間的上下関係は、視聴者から遠い方から、ｔｒ０，ｔｒ１，ｔｒ３になっている。
【００６４】
尚、これら可視トラックの表示位置とｔｒａｃｋ−ＩＤの位置関係を［表４−ｄ］に示しておく。
【００６５】
図５は、ＭＰ４ファイルの構成とその構成要素を示す表図である。
【００６６】
図５において、‘ｓｐｒｔ’ボックス：「ｓｐａｃｉａｌ ｒｅｌａｔｉｏｎ ｂｏｘ」が本発明における提案ボックスであり、このボックスを拡張ボックスとして利用することにより、既存のボックスをいじらなくても済む。
【００６７】
即ち、このボックスを認識できない従来のデコーダでは、このボックスをスキップ処理し、例えば、‘ｔｋｈｄ’ボックスに指定されるレイヤパラメータに応じて任意に各視覚トラックの空間的上下関係を定義可能である。
【００６８】
尚、プレゼンテーションの動画像データ本体部分は、‘ｍｄａｔ’ボックス：「ｍｏｖｉｅ ｈｅａｄｅｒ ｂｏｘ」に格納される。
【００６９】
図６は、上記図４に示した関係を示す位置関係情報を格納した‘ｓｐｒｔ：Ｓｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ’の構成を示す図である。
【００７０】
図６に示すように、この‘ｓｐｒｔ’ボックスは、プレゼンテーションを、可視トラックの数と各可視トラック間の空間的位置関係が変動しない不変期間毎に分割し、その不変期間を示す情報に対応付けて、可視トラックの数を示す情報と、各可視トラックの表示順位を示す為のトラックＩＤ（識別子）を示す情報とを格納する。
【００７１】
尚、この実施例では、可視トラックＩＤを格納する位置に対応付けて表示順位を定義している。即ち、この場合、可視トラックＩＤが書き込まれる格納箇所の上方から下方の位置に応じて、プレゼンテーション上で該当する可視トラックが奥側（視聴者から遠い位置）から手前（視聴者に近い位置）に表示されるようになっている。
【００７２】
具体的に、この‘ｓｐｒｔ’ボックスの構造では、ｓｉｚｅフィールド、ｔｙｐｅフィールド、ｖｅｒｓｉｏｎフィールド、ｆｌａｇｓフィールドが先行し、その後に、ｅｎｔｒｙ ｃｏｕｎｔフィールドが続き、その後にｅｎｔｒｙ ｃｏｕｎｔフィールドで示す値と同じ個数のｓｅｇｍｅｎｔｄｕｒａｔｉｏｎデータが存在する。そして、各ｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎデータは、ｅｎｔｒｙ ｃｏｕｎｔフィールド、ｖｉｓｉｂｌｅ ｔｒａｃｋｓフィールド、およびｖｉｓｉｂｌｅ ｔｒａｃｋｓフィールドで示す値と同じ個数のｔｒａｃｋ ＩＤフィールドが存在する。
【００７３】
【発明の効果】
以上説明したように、本発明によれば、複数可視トラックの空間的位置関係を分割された期間毎に定義することにより複数の可視トラックが重なり合った複雑なプレゼンテーションの表示を容易に行うことができる。
【図面の簡単な説明】
【図１】図１は、本発明のマルチメディア（ＭＰ４）ファイルにおける複数可視トラックの空間的関係の定義方法を適用した場合のシステム概略構成を示す図。
【図２】図１に示した送信装置のエンコーダ（符号器）におけるＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のエンコード時の処理の流れを示すフローチャート。
【図３】図１に示した受信装置のデコーダ（解読器）におけるＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のデコード時の処理の流れを示すフローチャート。
【図４】本発明に係る可視トラックの表示順位とトラックＩＤの位置関係を示す図。
【図５】ＭＰファイルの構成とその構成要素を示す表図。
【図６】図４に示した関係を示す位置関係情報を格納する‘ｓｐｒｔ：Ｓｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ’の構成を示す図。
【図７】ＭＰ４ファイルフォーマットにおけるプレゼンテーションの一表示例を示す図。
【符号の説明】
１００ 送信装置
１１０ 制御部
１１１ エンコーダ
２００ 通信網
３００ 受信装置
３１０ 表示部
３２０ 制御部
３２１ デコーダ
３３０ 操作部
【発明の属する技術分野】
本発明は、複数の可視トラックを有する画像をマルチメディアファイルに基づき表示する画像表示処理方法およびシステムに関し、特に、複数可視トラックの空間的上下関係を分割された期間毎に定義することにより複数の可視トラックが重なり合った複雑な映像（以下、「プレゼンテーション」という。）の表示を可能にした画像表示処理方法およびシステムに関する。
【０００２】
【従来の技術】
一般に、マルチメディアファイル（以下、単に「ＭＰ４ファイル」という。）のフォーマットにおける仕様では、図７に示すように、可視トラック（ビデオトラック、テキストトラック等で視覚表示可能なトラック）をプレゼンテーション中に複数持つことが可能である。
【０００３】
ところが、現在のＭＰ４ファイルフォーマット仕様では、可視トラックがプレゼンテーション中に複数存在する場合で、これら複数の可視トラックの空間的な上下関係および数が時間と共に変動する場合の、これら可視トラックの空間的な上下関係を定義する方法が無いのが現状である。
【０００４】
現ＭＰ４ファイルフォーマット仕様には、ＴｒａｃｋＨｅａｄｅｒＢｏｘ（’ｔｋｈｄ’）中にｌａｙｅｒフィールドを持つが、このフィールドは、各トラックのプレゼンテーション全体に亘って固定した空間的上下関係を表すもので、変動可能な空間的上下関係を表すものではない。
【０００５】
また、現在では、ＢＩＦＳ（ビフス）等により、複数の画像間での空間的位置関係を定義するものが知られているが、ＭＰ４ファイルフォーマットにおいて、テキストトラックとビデオトラックとの間で空間的位置関係を定義する方法は知られていない。
【０００６】
【発明が解決しようとする課題】
上述の如く、従来のＭＰ４ファイルフォーマットにおける可視トラックの空間的な上下関係を扱う方法においては、プレゼンテーション全体に亘って固定した空間的上下関係を表わす方法しか無いものとなっている。
【０００７】
この為、従来のＭＰ４ファイルフォーマット仕様では、固定的な単純なプレゼンテーションを表現することしか出来ないでいる。
【０００８】
また、従来ＢＩＦＳ等により、複数の画像間での空間的位置関係を定義するものは知られているものの、ＭＰ４ファイルフォーマットにおいて、テキストトラックとビデオトラックとの間で空間的位置関係を定義するものは知られていないのが現状である。
【０００９】
そこで、本発明は、複数の可視トラック間の空間的上下関係を分割された期間毎に定義することにより、複数の可視トラックが重なり合った複雑なプレゼンテーションの表示を可能にした画像表示処理方法およびシステムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明は、複数の可視トラックを有する画像をマルチメディアファイルに基づき表示する画像表示処理方法において、前記画像を複数の期間に分割し、該分割した期間毎に前記複数の可視トラックの空間的上下関係を順序付けて定義し、該定義に基づき前記複数の可視トラックの空間的上下関係を前記期間毎に切り換えて前記画像を表示することを特徴とする。
【００１１】
また、請求項２の発明は、請求項１の発明において、前記複数の可視トラックの空間的上下関係は、前記マルチメディアファイルのヘッダ部分に定義され、該ヘッダ部分に定義された空間的上下関係に基づき前記複数の可視トラックの空間的上下関係を調節して表示することを特徴とする。
【００１２】
また、請求項３の発明は、請求項１の発明において、前記マルチメディアファイルは、ＭＰ４ファイルであり、前記複数の可視トラックの空間的上下関係は、前記ＭＰ４ファイルのヘッダボックスの予め設定された位置に前記可視トラックの識別子を示す情報を格納することにより定義されることを特徴とする。
【００１３】
また、請求項４の発明は、複数の可視トラックを有する画像をマルチメディアファイルに基づき表示する画像表示処理システムにおいて、前記画像を複数の期間に分割する分割手段と、前記分割した期間毎に前記複数の可視トラックの空間的上下関係を順序付けて定義する定義手段と、前記定義手段による定義に基づき前記複数の可視トラックの空間的上下関係を前記期間毎に切り換えて前記画像を表示する表示制御手段とを具備することを特徴とする。
【００１４】
また、請求項５の発明は、請求項４の発明において、前記定義手段は、前記複数の可視トラックの空間的上下関係を前記マルチメディアファイルのヘッダ部分に定義し、前記表示制御手段は、前記マルチメディアファイルのヘッダ部分に定義された空間的上下関係に基づき前記複数の可視トラックの空間的上下関係を調節して表示することを特徴とする。
【００１５】
また、請求項６の発明は、請求項４の発明において、前記マルチメディアファイルは、ＭＰ４ファイルであり、前記定義手段は、前記複数の可視トラックの空間的上下関係を前記ＭＰ４ファイルのヘッダボックスの予め設定された位置に前記可視トラックの識別子を示す情報を格納することにより定義することを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態について添付図面を参照して詳細に説明する。
【００１７】
図１は、本発明を適用した場合のマルチメディアファイル処理システムの概略構成を示す図である。
【００１８】
図１に示すように、このシステムでは、ＭＰ４ファイル形式による動画像データを送信する送信装置１００と、有線或いは無線回線、交換局等から成る通信網２００と、上記送信装置１００から送信されてきた動画像データを受信し、表示部等に動画像を表示再生する受信装置３００とを具えて構成される。
【００１９】
ここで、送信装置１００は、少なくともエンコーダ１１１を制御部１１０に具え、可視トラック（ビデオトラック、テキストトラック等で視覚表示可能なトラック）をプレゼンテーション中に複数持つような動画像をエンコード処理してＭＰ４ファイル形式に変換し、所定の通信パケット［例えば、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）プロトコルを用いたパケット］に挿入して通信網２００に送出する。
【００２０】
尚、この送信装置１００は、例えば、サーバであり、エンコーダ１１１は例えばハード及びソフト等から構成されるものとする。
【００２１】
また、受信装置３００は、少なくともデコーダ３２１を制御部３２０に具え、上記送信装置１００及び通信網２００を介して受信したパケットからＭＰ４ファイルデータを抽出し、該抽出したＭＰ４ファイルデータに基づき表示部３１０に動画像等のプレゼンテーションを表示する。
【００２２】
尚、この受信装置３００は、例えば、パーソナルコンピュータ（ＰＣ）であり、デコーダ３２１は例えばハード及びソフト等から構成される。
【００２３】
図２は、上記図１に示した送信装置１００のエンコーダ１１１におけるＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のエンコード時の処理の流れを示すフローチャートである。尚、このフローの説明にあたっては、図５に示すＭＰ４ファイルの構成とその構成要素を示す表図、及び図６に示すＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）の構造図を参照するものとする。
【００２４】
図２に示すように、この処理を開始するにあたって、送信装置１００のエンコーダ１１１では、まず、Ｓｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のファイル（図６参照）中に、Ｓｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のｓｉｚｅをファイルに書き込む（ステップＳ１０１）。次いで、ｔｙｐｅを’ｓｐｒｔ’とし（ステップＳ１０２）、次いで、ｖｅｒｓｉｏｎ（尚、このｖｅｒｓｉｏｎとは、このｂｏｘのバージョンを示す整数値である「０」または「１」である。）をファイルに書き込む（ステップＳ１０３）。次いで、ｆｌａｇｓをファイルに書き込む（ステップＳ１０４）。次いで、ｅｎｔｒｙ ｃｏｕｎｔ（尚、このｅｎｔｒｙ ｃｏｕｎｔとは、このｅｎｔｒｙ ｃｏｕｎｔの後にあるテーブル中のエントリを与えるものである。）をファイルに書き込む（ステップＳ１０５）。
【００２５】
その後、ｖｅｒｓｉｏｎが「１」であるかどうか、即ち、３２ビットまたは６４ビットフィールドサイズのどちらを使用するのかを識別する為のバージョンを示す整数値が「０」か「１」であるかを判定する（ステップＳ１０６）。尚、ここで、３２ビットまたは６４ビットフィールドサイズとあるが、これは、通常３２ビットで後述の可視トラック等の位置関係情報を書き込めるが、プレゼンテーションによっては、後述のｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎ：セグメント期間が多く存在し、それ応じて可視トラック等の情報が多くなる場合に６４ビットフィールドサイズを用いる為である。
【００２６】
ここで、ｖｅｒｓｉｏｎが「１」であると判定されると（ステップＳ１０６ＹＥＳ）、ｉを「０」に設定し（ステップＳ１０７）、次いで、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さいかどうかを判定する（ステップＳ１０８）。
【００２７】
ここで、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さく無いと判定されると（ステップＳ１０８ＮＯ）、このＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のエンコード時の処理が終了される。
【００２８】
また、他方、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さいと判定されると（ステップＳ１０８ＹＥＳ）、ｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎを６４ビット長でファイルに書き込む（ステップＳ１０９）。次いで、ｖｉｓｉｂｌｅ−ｔｒａｃｋｓを６４ビット長でファイルに書き込む（ステップＳ１１０）。尚、ここで、ｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎとは、セグメントの時間間隔を示す整数値である。そして、１セグメントは、可視トラックの数が変動せずに、かつ、それら空間的上下関係が変動しない期間のことであり、単位は、Ｍｏｖｉｅ Ｈｅａｄｅｒ Ｂｏｘ（’ｍｖｈｄ’）で指定されているタイムスケールである。また、ｖｉｓｉｂｌｅ ｔｒａｃｋｓとは、あるセグメント期間（ｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎ）における可視トラックの数を示す。
【００２９】
その後、ｊを「０」に設定し（ステップＳ１１１）、次いで、ｊがｖｉｓｉｂｌｅ ｔｒａｃｋｓより小さいかどうかを判定する（ステップＳ１１２）。
【００３０】
ここで、ｊがｖｉｓｉｂｌｅ ｔｒａｃｋｓより小さいと判定されると（ステップＳ１１２ＹＥＳ）、視聴者にｊ番目に遠い（即ち、ｊは０から始まり、ｊの値が大きいほど視聴者に近いものとなる）可視トラックのｔｒａｃｋ−ＩＤを６４ビット長でファイルに書き込む（ステップＳ１１３）。尚、ここで、ｔｒａｃｋ ＩＤとは、あるセグメント期間における各可視トラックのＩＤである。そして、このトラックＩＤは、Ｔｒａｃｋ Ｈｅａｄｅｒ Ｂｏｘ（’ｔｋｈｄ’）で定義されているものを使用する。また、ここでは、各可視トラックのみが対象になり、オーディオトラック等の非可視トラックは対象とならない。尚、上記フロー処理中で後に書き込まれる可視トラックほど視聴者に近いものとなる。
【００３１】
その後、ｊを１つインクリメントし（ステップＳ１１４）、上述のステップＳ１１２に移行する。
【００３２】
また、他方、上述のステップＳ１１２の判定の結果、ｊがｖｉｓｉｂｌｅ ｔｒａｃｋｓより小さく無いと判定されると（ステップＳ１１２ＮＯ）、ｉを１つインクリメントし（ステップＳ１１５）、上述のステップＳ１０８の処理に移行して以下同様の処理を行う。
【００３３】
また、他方、上述のステップＳ１０６の判定の結果、ｖｅｒｓｉｏｎが「１」でないと判定された場合（ステップＳ１０６ＮＯ）、ｉを「０」に設定し（ステップＳ１１６）、次いで、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さいかどうかが判定される（ステップＳ１１７）。
【００３４】
ここで、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さく無いと判定されると（ステップＳ１１７ＮＯ）、このＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のエンコード処理を終了する。
【００３５】
また、他方、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さいと判定されると（ステップＳ１１７ＹＥＳ）、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎを３２ビット長でファイルに書き込み（ステップＳ１１８）、次いでｖｉｓｉｂｌｅ−ｔｒａｃｋｓを３２ビット長でファイルに書き込み（ステップＳ１１９）、次いで、ｊを「０」に設定する（ステップＳ１２０）。
【００３６】
その後、ｊがｖｉｓｉｂｌｅ−ｔｒａｃｋｓより小さいかどうかを判定する（ステップＳ１２１）。
【００３７】
ここで、ｊがｖｉｓｉｂｌｅ−ｔｒａｃｋｓより小さいと判定されると（ステップＳ１２１ＹＥＳ）、視聴者にｊ番目に遠い可視トラックのｔｒａｃｋ−ＩＤを３２ビット長でファイルに書き込む（ステップＳ１２２）。
【００３８】
その後、ｊを１つインクリメントし（ステップＳ１２３）、上述のステップＳ１２１の処理に移行する。
【００３９】
また、他方、上述のステップＳ１２１の判定処理の結果、ｊがｖｉｓｉｂｌｅ−ｔｒａｃｋｓより小さく無いと判定された場合（ステップＳ１２１ＮＯ）、ｉを１つ増やし（ステップＳ１２４）、上述のステップＳ１１７の処理に移行し、以下同様の処理を行う。
【００４０】
図３は、上記図１に示した受信装置３００のデコーダ（解読器）３２１におけるＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のデコード時の処理の流れを示すフローチャートである。尚、このフローの説明にあたっても、図５に示すＭＰ４ファイルの構成とその構成要素を示す表図、及び図６に示すＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）の構造図を参照するものとする。
【００４１】
図３に示すように、この処理を開始するにあたって、受信装置３００のデコーダ３２１では、まず、図５に示したファイル中からＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘのｓｉｚｅを読み込む（ステップＳ２０１）。次いで、ｔｙｐｅを’ｓｐｒｔ’とし（ステップＳ２０２）、次いで、ｖｅｒｓｉｏｎをファイルから読み込む（ステップＳ２０３）。次いで、ｆｌａｇｓをファイルから読み込む（ステップＳ２０４）。次いで、ｅｎｔｒｙ ｃｏｕｎｔをファイルから読み込む（ステップＳ２０５）。
【００４２】
その後、ｖｅｒｓｉｏｎが「１」であるかどうかを判定する（ステップＳ２０６）。
【００４３】
ここで、ｖｅｒｓｉｏｎが「１」であると判定されると（ステップＳ２０６ＹＥＳ）、ｉを「０」に設定する（ステップＳ２０７）。
【００４４】
その後、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さいかどうかが判定される（ステップＳ２０８）。
【００４５】
ここで、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さく無いと判定されると（ステップＳ２０８ＮＯ）、ここでのＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のデコード時の処理が終了される。
【００４６】
また，他方、ｉがｅｎｔｒｙ ｃｏｕｎｔより小さいと判定されると（ステップＳ２０８ＹＥＳ）、次いで、ｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎを６４ビット長でファイルから読み込む（ステップＳ２０９）。そして、ｖｉｓｉｂｌｅ ｔｒａｃｋｓを６４ビット長でファイルから読み込む（ステップＳ２１０）。
【００４７】
その後、ｊを「０」に設定し（ステップＳ２１１）、次いで、ｊがｖｉｓｉｂｌｅ ｔｒａｃｋｓより小さいかどうかが判定される（ステップＳ２１２）。
【００４８】
ここで、ｊがｖｉｓｉｂｌｅ ｔｒａｃｋｓより小さいと判定されると（ステップＳ２１２ＹＥＳ）、視聴者にｊ番目に遠い可視トラックのｔｒａｃｋｓ−ＩＤを６４ビット長でファイルから読み込む（ステップＳ２１３）。次いで、ｊを１つインクリメントし（ステップＳ２１４）、上述のステップＳ２１２の処理に移行して以下同様の処理を行う。
【００４９】
また、他方、上述のステップＳ２１２の判定の結果、ｊがｖｉｓｉｂｌｅ ｔｒａｃｋｓより小さく無いと判定されると（ステップＳ２１２ＮＯ）、ｉを１つインクリメントし（ステップＳ２１５）、上述のステップＳ２０８の処理に移行し、以下同様の処理を行う。
【００５０】
また、上述のステップＳ２０６の判定の結果、ｖｅｒｓｉｏｎが１でないと判定されると（ステップＳ２０６ＮＯ）、ｉを「０」に設定し（ステップＳ２１６）、次いで、ｉがｅｎｔｒｙ−ｃｏｕｎｔより小さいかどうかを判定する（ステップＳ２１７）。
【００５１】
ここで、ｉがｅｎｔｒｙ−ｃｏｕｎｔより小さく無いと判定されると（ステップＳ２１７ＮＯ）、ここでのＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のデコード時の処理が終了される。
【００５２】
また、他方、上述のステップＳ２１７の判定の結果、ｉがｅｎｔｒｙ−ｃｏｕｎｔより小さいと判定されると（ステップＳ２１７ＹＥＳ）、次いで、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎを３２ビット長でファイルから読み込み（ステップＳ２１８）、次いで、ｖｉｓｉｂｌｅ−ｔｒａｃｋｓを３２ビット長でファイルから読み込む（ステップＳ２１９）。
【００５３】
その後、ｊを「０」に設定し（ステップＳ２２０）、次いで、ｊがｖｉｓｉｂｌｅ−ｔｒａｃｋｓより小さいかどうかを判定する（ステップＳ２２１）。
【００５４】
ここで、ｊがｖｉｓｉｂｌｅ−ｔｒａｃｋｓより小さいと判定されると（ステップＳ２２１）、視聴者にｊ番目に遠い可視トラックのｔｒａｃｋ−ＩＤを３２ビット長でファイルから読み込む（ステップＳ２２２）。次いで、ｊを１つインクリメントし（ステップＳ２２３）、上述のステップＳ２２１に移行して以下同様の処理を行う。
【００５５】
また、他方、上述のステップＳ２２１の判定の結果、ｊがｖｉｓｉｂｌｅ‐ｔｒａｃｋｓより小さく無いと判定されると（ステップＳ２２１ＮＯ）、ｉを１つインクリメントし（ステップＳ２２４）、上述のステップＳ２１７の処理に移行して以下同様の処理を行う。
【００５６】
図４は、本発明に係る可視トラックの表示順位とトラックＩＤの関係を示す図である。そして、図４（ａ）が、ｅｎｔｒｙ−ｃｏｕｎｔが３の場合のプレゼンテーションを示し、図４（ｂ）が、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎがｓｄ０（０＜＝ｔ＜ｔ１）の場合の可視トラックの位置関係を示し、図４（ｃ）が、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎがｓｄ１（ｔ１＜＝ｔ＜ｔ２）の場合の可視トラックの位置関係を示し、図４（ｄ）が、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎがｓｄ２（ｔ２＜＝ｔ＜ｔ３）の場合の可視トラックの位置関係を示している。また、表４−ｂが、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎがｓｄ０（０＜＝ｔ＜ｔ１）の場合の可視トラックの表示順位とｔｒａｃｋ−ＩＤの位置関係情報テーブルを示し、表４−ｃが、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎがｓｄ１（ｔ１＜＝ｔ＜ｔ２）の場合の可視トラックの表示順位とｔｒａｃｋ−ＩＤの位置関係情報テーブルを示し、表４−ｄが、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎがｓｄ２（ｔ２＜＝ｔ＜ｔ３）の場合の可視トラックの表示順位とｔｒａｃｋ−ＩＤの位置関係情報テーブルを示している。
【００５７】
尚、上記図２に示したエンコード時の処理において、エンコーダ１１１は、上記表４−ｂ、表４−ｃ、表４−ｄに示した位置関係情報テーブルに格納されている情報を参照してヘッダ部分に位置関係情報の付加処理を行う。
【００５８】
また、図４（ａ）において、この例では、ｅｎｔｒｙ ｃｏｕｎｔが３の場合のプレゼンテーションを示しており、それぞれのｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎが、ｓｄ０（０＜＝ｔ＜ｔ１），ＳＤ１（ｔ１＜＝ｔ＜ｔ２），ｓｄ２（ｔ２＜＝ｔ＜ｔ３）から構成されている様子を示している。
【００５９】
また、図４（ｂ）において、この場合、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎが、ｓｄ０（０＜＝＜ｔ１）の場合の可視トラックの表示位置関係を示している。ここで、この期間のプレゼンテーションでは、ｔｒ０，ｔｒ１，ｔｒ２，ｔｒ３の４つの可視トラックが存在し、それぞれの可視トラックのｔｒａｃｋ−ＩＤが、０，１，２，３である場合を示している。そして、これら４つの可視トラックの空間的上下関係は、視聴者から遠い方から、ｔｒ０，ｒ２，ｔｒ３，ｔｒ１になっている。
【００６０】
尚、これら可視トラックの表示順位とｔｒａｃｋ−ＩＤの位置関係を［表４−ｂ］に示しておく。
【００６１】
また、図４（ｃ）において、この場合、ｓｅｇｍｅｎｔ−ｄｕｒａｔｉｏｎが、ｓｄ１（ｔ１＜＝ｔ＜ｔ２）の場合の可視トラックの表示位置関係を示している。ここで、この期間のプレゼンテーションでは、ｔｒ０，ｔｒ１，ｔｒ３の３つの可視トラックが存在し、それぞれの可視トラックのｔｒａｃｋ‐ＩＤが、０，１，３である場合を示している。そして、これら３つの可視トラックの空間的上下関係は、視聴者から遠い方から、ｔｒ０，ｔｒ３，ｔｒ１になっている。
【００６２】
尚、これら可視トラックの表示順位とｔｒａｃｋ−ＩＤの位置関係を［表４−ｃ］に示しておく。
【００６３】
また、図４（ｄ）において、この場合、ｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎが、ｓｄ２（ｔ２＜＝ｔ＜ｔ３）の場合の可視トラックの表示位置関係を示している。ここで、この期間のプレゼンテーションでは、ｔｒ０，ｔｒ１，ｔｒ３の３つの可視トラックが存在し、それぞれの可視トラックのｔｒａｃｋ−ＩＤが、０，１，３である場合を示している。そして、これら３つの可視トラックの空間的上下関係は、視聴者から遠い方から、ｔｒ０，ｔｒ１，ｔｒ３になっている。
【００６４】
尚、これら可視トラックの表示位置とｔｒａｃｋ−ＩＤの位置関係を［表４−ｄ］に示しておく。
【００６５】
図５は、ＭＰ４ファイルの構成とその構成要素を示す表図である。
【００６６】
図５において、‘ｓｐｒｔ’ボックス：「ｓｐａｃｉａｌ ｒｅｌａｔｉｏｎ ｂｏｘ」が本発明における提案ボックスであり、このボックスを拡張ボックスとして利用することにより、既存のボックスをいじらなくても済む。
【００６７】
即ち、このボックスを認識できない従来のデコーダでは、このボックスをスキップ処理し、例えば、‘ｔｋｈｄ’ボックスに指定されるレイヤパラメータに応じて任意に各視覚トラックの空間的上下関係を定義可能である。
【００６８】
尚、プレゼンテーションの動画像データ本体部分は、‘ｍｄａｔ’ボックス：「ｍｏｖｉｅ ｈｅａｄｅｒ ｂｏｘ」に格納される。
【００６９】
図６は、上記図４に示した関係を示す位置関係情報を格納した‘ｓｐｒｔ：Ｓｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ’の構成を示す図である。
【００７０】
図６に示すように、この‘ｓｐｒｔ’ボックスは、プレゼンテーションを、可視トラックの数と各可視トラック間の空間的位置関係が変動しない不変期間毎に分割し、その不変期間を示す情報に対応付けて、可視トラックの数を示す情報と、各可視トラックの表示順位を示す為のトラックＩＤ（識別子）を示す情報とを格納する。
【００７１】
尚、この実施例では、可視トラックＩＤを格納する位置に対応付けて表示順位を定義している。即ち、この場合、可視トラックＩＤが書き込まれる格納箇所の上方から下方の位置に応じて、プレゼンテーション上で該当する可視トラックが奥側（視聴者から遠い位置）から手前（視聴者に近い位置）に表示されるようになっている。
【００７２】
具体的に、この‘ｓｐｒｔ’ボックスの構造では、ｓｉｚｅフィールド、ｔｙｐｅフィールド、ｖｅｒｓｉｏｎフィールド、ｆｌａｇｓフィールドが先行し、その後に、ｅｎｔｒｙ ｃｏｕｎｔフィールドが続き、その後にｅｎｔｒｙ ｃｏｕｎｔフィールドで示す値と同じ個数のｓｅｇｍｅｎｔｄｕｒａｔｉｏｎデータが存在する。そして、各ｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎデータは、ｅｎｔｒｙ ｃｏｕｎｔフィールド、ｖｉｓｉｂｌｅ ｔｒａｃｋｓフィールド、およびｖｉｓｉｂｌｅ ｔｒａｃｋｓフィールドで示す値と同じ個数のｔｒａｃｋ ＩＤフィールドが存在する。
【００７３】
【発明の効果】
以上説明したように、本発明によれば、複数可視トラックの空間的位置関係を分割された期間毎に定義することにより複数の可視トラックが重なり合った複雑なプレゼンテーションの表示を容易に行うことができる。
【図面の簡単な説明】
【図１】図１は、本発明のマルチメディア（ＭＰ４）ファイルにおける複数可視トラックの空間的関係の定義方法を適用した場合のシステム概略構成を示す図。
【図２】図１に示した送信装置のエンコーダ（符号器）におけるＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のエンコード時の処理の流れを示すフローチャート。
【図３】図１に示した受信装置のデコーダ（解読器）におけるＳｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ（’ｓｐｒｔ’）のデコード時の処理の流れを示すフローチャート。
【図４】本発明に係る可視トラックの表示順位とトラックＩＤの位置関係を示す図。
【図５】ＭＰファイルの構成とその構成要素を示す表図。
【図６】図４に示した関係を示す位置関係情報を格納する‘ｓｐｒｔ：Ｓｐａｔｉａｌ Ｒｅｌａｔｉｏｎ Ｂｏｘ’の構成を示す図。
【図７】ＭＰ４ファイルフォーマットにおけるプレゼンテーションの一表示例を示す図。
【符号の説明】
１００ 送信装置
１１０ 制御部
１１１ エンコーダ
２００ 通信網
３００ 受信装置
３１０ 表示部
３２０ 制御部
３２１ デコーダ
３３０ 操作部
Claims (6)
- 複数の可視トラックを有する画像をマルチメディアファイルに基づき表示する画像表示処理方法において、
前記画像を複数の期間に分割し、
該分割した期間毎に前記複数の可視トラックの空間的上下関係を順序付けて定義し、
該定義に基づき前記複数の可視トラックの空間的上下関係を前記期間毎に切り換えて前記画像を表示する
ことを特徴とする画像表示処理方法。 - 前記複数の可視トラックの空間的上下関係は、
前記マルチメディアファイルのヘッダ部分に定義され、
該ヘッダ部分に定義された空間的上下関係に基づき前記複数の可視トラックの空間的上下関係を調節して表示する
ことを特徴とする請求項１記載の画像表示処理方法。 - 前記マルチメディアファイルは、
ＭＰ４ファイルであり、
前記複数の可視トラックの空間的上下関係は、
前記ＭＰ４ファイルのヘッダボックスの予め設定された位置に前記可視トラックの識別子を示す情報を格納することにより定義される
ことを特徴とする請求項１記載の画像表示処理方法。 - 複数の可視トラックを有する画像をマルチメディアファイルに基づき表示する画像表示処理システムにおいて、
前記画像を複数の期間に分割する分割手段と、
前記分割した期間毎に前記複数の可視トラックの空間的上下関係を順序付けて定義する定義手段と、
前記定義手段による定義に基づき前記複数の可視トラックの空間的上下関係を前記期間毎に切り換えて前記画像を表示する表示制御手段と
を具備することを特徴とする画像表示処理システム。 - 前記定義手段は、
前記複数の可視トラックの空間的上下関係を前記マルチメディアファイルのヘッダ部分に定義し、
前記表示制御手段は、
前記マルチメディアファイルのヘッダ部分に定義された空間的上下関係に基づき前記複数の可視トラックの空間的上下関係を調節して表示する
ことを特徴とする請求項４記載の画像表示処理システム。 - 前記マルチメディアファイルは、
ＭＰ４ファイルであり、
前記定義手段は、
前記複数の可視トラックの空間的上下関係を前記ＭＰ４ファイルのヘッダボックスの予め設定された位置に前記可視トラックの識別子を示す情報を格納することにより定義する
ことを特徴とする請求項４記載の画像表示処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002245473A JP2004088343A (ja) | 2002-08-26 | 2002-08-26 | 画像表示処理方法およびシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002245473A JP2004088343A (ja) | 2002-08-26 | 2002-08-26 | 画像表示処理方法およびシステム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004088343A true JP2004088343A (ja) | 2004-03-18 |
Family
ID=32053655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002245473A Pending JP2004088343A (ja) | 2002-08-26 | 2002-08-26 | 画像表示処理方法およびシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004088343A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015130546A (ja) * | 2014-01-03 | 2015-07-16 | 大木 光晴 | 画像処理装置、方法、プログラム、および、データフォーマット |
-
2002
- 2002-08-26 JP JP2002245473A patent/JP2004088343A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015130546A (ja) * | 2014-01-03 | 2015-07-16 | 大木 光晴 | 画像処理装置、方法、プログラム、および、データフォーマット |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111542806B (zh) | 用于高体验质量的音频消息的有效传递和使用的方法和装置 | |
| EP3503547A1 (en) | Method for transmitting omnidirectional video, method for receiving omnidirectional video, apparatus for transmitting omnidirectional video, and apparatus for receiving omnidirectional video, | |
| CN100437453C (zh) | 标签信息显示控制设备及方法、信息处理设备和显示设备 | |
| CN109644262A (zh) | 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置 | |
| CN103546782B (zh) | 一种视频播放时动态添加广告的方法及系统 | |
| US20080101456A1 (en) | Method for insertion and overlay of media content upon an underlying visual media | |
| WO2018068236A1 (zh) | 一种视频流传输方法、相关设备及系统 | |
| ATE297574T1 (de) | Bild mit feldtiefe aus z-pufferbilddaten und alphamischung | |
| JP2009212768A (ja) | 可視光通信光送信装置、情報提供装置、及び情報提供システム | |
| WO2023202095A1 (zh) | 点云媒体的编解码方法、装置、电子设备和存储介质 | |
| US20130282715A1 (en) | Method and apparatus of providing media file for augmented reality service | |
| US11490169B2 (en) | Events in timed metadata tracks | |
| CN107925838A (zh) | 信息处理装置、信息处理方法和程序 | |
| KR20150088766A (ko) | 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 장치 및 실감 효과 미디어 데이터 파일 구조 | |
| WO2021058814A1 (en) | Merging friendly file format | |
| CN114223211A (zh) | 信息处理装置和信息处理方法 | |
| JP2004088343A (ja) | 画像表示処理方法およびシステム | |
| US20200204785A1 (en) | Method for transmitting 360-degree video, method for receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video | |
| JP6736699B2 (ja) | マルチメディアコンテンツ要素向けカスタマイズ表示の方法およびシステム | |
| JP6178792B2 (ja) | マルチメディアメッセージでの３ｄピクチャーを伝送する方法及びシステム | |
| KR101710452B1 (ko) | 멀티미디어 전송 시스템에서 서비스 발견 정보를 송수신하는 방법 및 장치와 이를 위한 파일 구조 | |
| US8208787B2 (en) | SMMD media producing and reproducing apparatus | |
| TW201939965A (zh) | 資訊處理裝置及方法 | |
| WO2023169003A1 (zh) | 点云媒体的解码方法、点云媒体的编码方法及装置 | |
| US20150037001A1 (en) | Solution for identifying a sound source in an image or a sequence of images |