JP2005276193A

JP2005276193A - Ｄｉｂｒデータのためのスキーマ及びスタイルシート

Info

Publication number: JP2005276193A
Application number: JP2005064449A
Authority: JP
Inventors: Gyeong-Ja Jang; 張　敬　子; Manchin Kan; 韓　萬　鎭; Do-Kyoon Kim; 金　道　均; Lee Shin-Jun; 李　信　俊
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-03-08
Filing date: 2005-03-08
Publication date: 2005-10-06
Also published as: EP1575296A3; EP1575296A2

Abstract

【課題】 DIBRデータのためのスキーマ及びスタイルシートを提供する。
【解決手段】グラフィックデータの圧縮に用いられるBitWrapperノードスキーマと、Depthimage基盤モデルレンダリングに用いられ、カメラ情報とDepthを有するテクスチャ情報とを備え、diTextureをエレメントと規定し、前記エレメント内でSFDepthtextureNodeをグループノードとして含むDepthImageノードスキーマとを含むことを特徴とし、BitWrapperノードスキーマは、圧縮されるデータを含むグラフィックデータを表し、SFWorldノードを下位エレメントとして参照するノードエレメントと、BitWrapperEncodingParameterエレメントと、名称はtype、url、bufferであり、タイプはSFInt32、MFUrl、SFStringである3個のattributeとを備えるスキーマである。これにより、メタ表現方法を使用して、3Dコンテンツ著作段階でDIBRデータの表現及び圧縮を容易に調節できて、MPEG-4符号化器に適した入力ファイルを容易に生成できる。
【選択図】図１

Description

本発明はXMTスキーマ及びスタイルシートに係り、特に深さ画像基盤表現(以下、DIBR)データのためのスキーマ及びそれを用いたDIBRデータを含むXMT入力ファイルをパージングして入力ファイルを作るためのスタイルシートに関する。

XMT形式で3Dコンテンツを作製すると、作製されたコンテンツを多様なマルチメディア、例えばMPEG-4プレーヤーまたはVRMLプレーヤーまたはSMILプレーヤーなどで視覚化できる。これを可能にするのが、スキーマとスタイルシートである。この中、本発明はDIBRデータについてのXMTスキーマ及びスタイルシートに関するものである。
MPEG-4標準化で容易な著作に関連した方法について標準化が進まれている。著作者が3Dコンテンツを著作する段階より、3Dデータを表現、操作及び圧縮するのに必要な、様々な因子を容易に調節しうる方法が必要である。これはメタ表現(MPEG-4 XMT)で可能である。メタ表現で3Dデータを表現、操作及び圧縮するメカニズムが必要である。特に、DIBRに関する表現、操作及び圧縮を行う時、著作者が容易に取り扱える方法が必要である。

本発明の技術的課題は、DIBRデータのためのスキーマを提供することである。
本発明の他の技術的課題は、DIBRデータのためのスタイルシートを提供することである。

前記技術的課題を達成する本発明によるDIBRデータのためのスキーマは、グラフィックデータの圧縮に用いられるBitWrapperノードスキーマと、Depthimage基盤モデルレンダリングに用いられ、カメラ情報とDepthとを有するテクスチャ情報を備え、diTextureをエレメントと規定し、前記エレメント内でSFDepthtextureNodeをグループノードとして含むdepthimageノードスキーマを含むことを特徴とする。前記BitWrapperノードスキーマは、圧縮されるデータを含むグラフィックデータを表してSFWorldノードを下位エレメントとして参照するノードエレメントと、BitWrapperEncodingParameterエレメントと、名称はtype、url、bufferであり、タイプはSFInt32、MFUrl、SFStringである3つのattributeを備える。前記depthimageノードスキーマのカメラ情報は、position、orientation、fieldOfView、nearPlane、farPlane、orthographicのうち少なくとも１つをattribute nameと規定し、前記attributeタイプは、各々SFVec3f、SFRotation、SFVec2f、SFFloat、SFFloat、SFBoolである。

前記DepthImageノードのdiTextureエレメントは、PointTexture及びSimpleTextureをエレメントとして備えるSFDepthTextureNodeノードスキーマを規定することが望ましい。前記SimpleTextureに関するノードスキーマは、depthイメージとcolorイメージとを入力され、DIBRモデルを3次元レンダリングするのに用いられ、depth情報をイメージ形態として有しているdepthエレメントと、color情報をイメージ形態として有しているtextureエレメントとを有し、それぞれのイメージはSFTextualNodeTypeノードに定義されていることが望ましい。

前記PointTextureに関するノードスキーマは、width、height、depthNbBits、depth、colorのうち少なくとも１つをattribute nameと規定し、前記attributeのタイプは各々SFInt32、SFInt32、SFInt32、MFInt32、MFColorであることが望ましい。

前記DIBRデータのためのスキーマは、octreeimageノードスキーマをさらに備えることを特徴とし、前記octreeimageノードスキーマはoctree、octreeResolution、voxelImageIndexのうち少なくとも１つをattribute nameと規定し、前記attributeのタイプは、各々SFInt32、MFInt32、MFInt32であり、imagesをエレメントと規定し、前記エレメント内でSFdepthImageノードをグループノードとして含む。

前記DIBRデータのためのスキーマは、BitWrapperノードがurlフィールドを使用するアウトバンドである場合、AFXConfigスキーマ及びDecoderConfigDescriptorスキーマを備える復号化情報スキーマをさらに含むことを特徴とし、前記DecoderConfigDescriptorスキーマは、復号化時に必要な情報を有するDecoderConfigDescriptorノード内のdecSpecificInfoノード内でエレメント名にAFXconfigを規定し、前記AFXConfigスキーマは、オクトリーイメージ復号化器で復号化することを表すOctreeImageDecoderSpecific情報をエレメント名と規定し、ポイントテクスチャ復号化器で復号化することを表すPointTextureCompDecoderSpecific情報をエレメント名と規定する。

前記復号化情報スキーマは、ポイントテクスチャのための圧縮率を含む圧縮パラメータスキーマをさらに含むことを特徴とし、前記圧縮パラメータスキーマはBitWrapperEncodingParameterをエレメント名とするノード内に含まれ、エレメント名がPointTextureEncodingParameterであり、attribute名がcodingPercentであり、そのタイプがcodingPercentTypeを有し、前記codingPercentTypeはsimpleType名としてcodingPercentTypeを有する。

前記codingPercentTypeは、restrictionbaseがintであることが望ましい。前記復号化情報スキーマは、BitWrapperノードがurlフィールドを使用するアウトバンドである場合にスクリプトファイルでMuxinfoに必要な情報を規定するために使われるBitWrapperEncodingHintsをさらに備えることを特徴とし、前記BitWrapperEncodingHintsは下位エレメントとしてBitWrapperOctreeImageEncodingHintsとBitWrapperPointTextureEncodingHintsとを含み、前記各下位エレメントはsourceFormatとtargetFormatのうち、少なくとも１つを下位エレメントとして含む。前記スクリプトファイルでMuxinfoに必要な情報は、前記DIBR圧縮ビットストリームファイル名及びビットストリーム圧縮フォーマットを含むことが望ましい。

前記本発明によるDIBRデータのためのスキーマは、CompressedImageFormatスキーマをさらに備え、前記CompressedImageFormatスキーマは、DIBR関連ノードが圧縮されたイメージ、または動画像(JPEG、PNG、MPEG4-Video、VTCを含む)を含んでいる時、前記圧縮された情報について復号化時に必要な情報(圧縮されたファイル名とストリームフォーマット)を知らせるのに用いられ、ElementnameがCompressedImageFormatであり、subelementのnameとしてJPEGとPNGとMPEG4-VideoとVTCとを含み、前記subelement各々はSourceFormatまたはtargetFormatを含んでおり、前記sourceFormatまたはtargetFormatはparamを含んでおり、前記paramにファイル名が保存されることが望ましい。

前記他の技術的課題を解決する本発明によるDIBRデータのためのデータシートは、DIBRデータのためのスキーマを用いてDIBRデータを含むXMT入力ファイルをパージングするためのスタイルシートにおいて、DIBRデータのためのシーンファイルを生成するためのXMT2BIFSスタイルシートと、DIBRデータのためのmuxファイルを生成するためのXMT2MUXスタイルシートと、を含むことを特徴とする。

前記XMT2BIFSスタイルシートは、所定のテンプレートにBitWrapperテンプレートを呼び出せるように宣言された状態で、XMTファイルでBitWrapperがマッチングされれば、'BitWrapper['をシーンファイルに出力し、ノードがパージングされれば、所定のノードテンプレートを行い、圧縮するノードのDIBRエンコーディングパラメータのうちPointTextureEncodingParameterがパージングされれば、所定のPointTextureEncodingParameterテンプレートを行い、type、buffer、urlがパージングされれば、前記type、buffer、url及びその値をシーンファイルに出力し、]をシーンファイルに出力することが望ましい。

前記ノードテンプレートは、ノードがマッチングされれば、ノードをシーンファイルに出力し、PointTextureがパージングされれば、所定のPointTextureテンプレートを行い、OctreeImageパージングされれば、所定のOctreeImageテンプレートを行うことが望ましい。前記PointTextureテンプレートはPointTextureがマッチングされれば、'PointTexture['をシーンファイルに出力し、width、height、depthNbBits、depth、colorをパージングし、前記width、height、depthNbBits、depth[]、color[]及びその値をシーンファイルに出力し、]をシーンファイルに出力することが望ましい。

前記DIBRデータのためのスタイルシートはSimpleTexuterがマッチングされれば、SimpleTexture[をシーンファイルに出力し、depthがパージングされれば、所定のdepthテンプレートを行い、textureがパージングされれば、所定のtextureテンプレートを行い、]をシーンファイルに出力するsimpleTextureテンプレートをさらに備えることが望ましい。

前記depthテンプレートはdepthがマッチングされれば、depthをシーンファイルに出力し、CompositeTexture2Dがパージングされれば、所定のCompositeTexture2Dテンプレートを行い、CompositTexutre3Dがパージングされれば、所定のCompositTexutre3Dテンプレートを行い、ImageTextureがパージングされれば、所定のImageTextureテンプレートを行い、MovieTextureがパージングされれば、所定のMovieTextureテンプレートを行い、PixelTextureがパージングされれば、所定のPixelTextureテンプレートを行い、ProtoInstanceがパージングされれば、所定のProtoInstanceテンプレートを行うことが望ましい。

前記DIBRデータのためのスタイルシートは、DepthImageがマッチングされれば、'DepthImage['をシーンファイルに出力し、diTextureが存在すれば、diTextureをシーンファイルに出力して所定のdiTextureテンプレートを行い、fieldOfView、nearPlane、farPlane、orientation、position、orthographicをパージングし、前記fieldOfView、nearPlane、farPlane、orientation、position、orthographic及びその値をシーンファイルに出力し、]をシーンファイルに出力するDepthImageテンプレートをさらに備えることが望ましい。

前記DIBRデータのためのスタイルシートは、diTextureがマッチングされた後、SimpleTextureがパージングされれば、所定のSimpleTextureテンプレートを行い、PointTextureがパージングされれば、所定のPointTextureテンプレートを行うdiTextureテンプレートをさらに備えることが望ましい。

前記OctreeImageテンプレートは、OctreeImageがマッチングされれば、'OctreeImage['をシーンファイルに出力し、octreeResolution、octree、voxelImageIndexをパージングし、前記octreeResolution、octree[]、voxelImageIndex[]及びその値をシーンファイルに出力し、imagesをパージングし、images[]をシーンファイルに出力し、所定のimagesテンプレートを行い、]をシーンファイルに出力することが望ましい。

前記imagesテンプレートは、imagesがマッチングされれば、所定のDepthImageテンプレートを行うことが望ましい。

前記PointTextureEncodingParameterテンプレートは、PointTextureEncodingParameterがマッチングされれば、シーンファイルにPointTextureEncodingParameter[を出力し、codingPercentがパージングされれば、condingPercent及びその値をシーンファイルに出力し、]をシーンファイルに出力することが望ましい。前記XMT2BIFSスタイルシートは、XMTファイルで/がマッチングされた後、Body/*がパージングされれば、前記Body下位のテンプレートを行い、Header/*がパージングされれば、Header下位のテンプレートを行うことが望ましい。

前記XMT2BIFSスタイルシートは、XMTファイルでObjectDescriptorUpdateがマッチングされれば、UPDATEOD[をシーンファイルに出力し、ODがマッチングされた後、ObjectDescriptorがパージングされれば、所定のObjectDescriptorテンプレートを行い、InitialObjectDescriptorがパージングされれば、所定のInitialObjectDescriptorテンプレートを行い、]をシーンファイルに出力することが望ましい。

前記ObjectDescriptorテンプレートは、ObjectDescriptorがマッチングされれば、ObjectDescriptor[をシーンファイルに出力し、attribute名がobjectDescriptorIDであるものをパージングしてobjectDescriptorIDをシーンファイルに出力し、attribute名がbinaryIDであるものをパージングし、その値をシーンファイルに出力し、Descrをパージングして所定のDescrテンプレートを行い、]をシーンファイルに出力することが望ましい。

前記InitialObjectDescriptorテンプレートは、InitialObjectDescriptorがマッチングされれば、Profilesがパージングされれば、所定のProfilesテンプレートを行い、Descrがパージングされれば、所定のDescrテンプレートを行うことが望ましい。前記DescrテンプレートはDescrがマッチングされれば、esDescrがパージングされれば、所定のesDescrテンプレートを行い、ipmpDescrPtrがパージングされれば、所定のipmpDescrテンプレートを行うことが望ましい。

前記esDescrテンプレートは、esDescrがマッチングされれば、ES＿Descriptorがパージングされれば、所定のES＿Descriptorテンプレートを行うことが望ましい。前記ipmpDescrPtrテンプレートは、ipmpDescrPtrがマッチングされれば、IPMP＿Descriptorがパージングされれば、所定のIPMPDescriptorテンプレートを行い、IPMP＿DescriptorPointerがパージングされれば、所定のIPMP＿DescriptorPointerテンプレートを行うことが望ましい。

前記ES＿Descriptorテンプレートは、ES＿Descriptorがマッチングされれば、URLがパージングされれば、所定のURLテンプレートを行い、StreamSourcerがパージングされれば、所定のStreamSourcerテンプレートを行い、decConfigDescrがパージングされれば、所定のdecConfigDescrテンプレートを行い、slConfigDescrがパージングされれば、所定のslConfigDescrテンプレートを行い、ipiPtrがパージングされれば、所定のipiPtrテンプレートを行い、ipIDsがパージングされれば、所定のipIDsテンプレートを行い、ipmpDescrPtrがパージングされれば、所定のipmpDescrPtrテンプレートを行い、langDescrがパージングされれば、所定のlangDescrテンプレートを行い、regDescrがパージングされれば、所定のregDescrテンプレートを行い、qosDescrがパージングされれば、所定のqosDescrテンプレートを行うことが望ましい。

前記XMT2BIFSスタイルシートは、XMTファイルでStreamSourceがマッチングされれば、StreamSource1テンプレートを呼び出し、前記StreamSource1テンプレートはCompressedImageFormatがパージングされれば、muxSrcipt及びファイル名及びmuxファイルの拡張子をシーンファイルに出力し、BitWrapperEncodingHintsがパージングされれば、muxScript及びファイル名及びmuxファイルの拡張子をシーンファイルに出力することが望ましい。

前記XMT2MUXスタイルシートは、XMTファイルで/がマッチングされた後、Body/*がパージングされれば、Bodyの下位テンプレートを行い、Header/*がパージングされれば、Headerの下位テンプレートを行うことが望ましい。前記XMT2MUXスタイルシートはXMTファイルでObjectDescriptorUpdateまたはInitialObjectDescriptorとマッチングされれば、テンプレート名をODidsとし、objectDescriptorIDを前記ODidsの値として使用し、前記マッチングされたObjectDescriptorUpdateテンプレートまたはInitialObjectDescriptorテンプレートを呼び出すことが望ましい。

前記ObjectDescriptorUpdateテンプレートは、XMTファイルでObjectDescriptorUpdateがマッチングされる場合、ODテンプレートを呼び出し、前記ODテンプレートでODがマッチングされれば、前記ODはObjectDescriptorテンプレートを呼び出すことが望ましい。

前記XMT2MUXスタイルシートは、所定の上位テンプレートでdecConfigDescrまたはslConfigDescrがマッチングされれば、各々呼び出されるdecConfigDescrテンプレート及びslConfigDescrテンプレートを備えることを特徴とし、前記decConfigDescrテンプレートは、decConfigDescrがマッチングされれば、decConfigDescrDecoderConfigDescriptor[をmuxファイルに出力し、DecoderConfigDescriptorテンプレートを呼び出し、]をmuxファイルに出力し、前記slConfigDescrテンプレートは、slConfigDescrがマッチングされれば、slConfigDescrSLConfigDescriptor[をmuxファイルに出力し、SLConfigDescriptorテンプレートを呼び出し、]をmuxファイルに出力することが望ましい。

前記XMT2MUXスタイルシートは、AFXConfigテンプレート及びDecoderConfigDescriptorテンプレートを含む復号化情報スタイルシートをさらに備えることを特徴とし、前記DecoderConfigDescriptorテンプレートは復号化時に必要な情報を有するDecoderConfigDescriptorノード内のdecSpecificInfoノード内でエレメント名でAFXconfigを宣言し、decSpecificInfoがマッチングされた後、AFXConfigがパージングされれば、AFXConfigテンプレートを呼び出すことが望ましい。

前記AFXConfigテンプレートは、AFXConfigがマッチングされれば、decSpecificInfoAFXConfig[をmuxファイルに出力するように規定し、OctreeImageDecoderSpecificがパージングされれば、OctreeImageDecoderSpecificテンプレートを呼び出し、PointTextureCompDecoderSpecificがパージングされれば、PointTextureCompDecoderSpecificテンプレートを呼び出し、]をmuxファイルに出力することが望ましい。前記OctreeImageDecoderSpecificテンプレートは、OctreeImageDecoderSpecificがマッチングされれば、前記OctreeImageDecoderSpecific[]をmuxファイルに出力することが望ましい。前記PointTextureCompDecoderSpecificテンプレートは、PointTextureCompDecoderSpecificがマッチングされれば、前記PointTextureCompDecoderSpecific[]をmuxファイルに出力することが望ましい。

前記XMT2MUXスタイルシートは、XMTファイルでStreamSourceがマッチングされれば、muxInfoMuxInfo[fileNameを出力し、urlがマッチングされれば、url値をmuxファイルに出力し、urlがマッチングされていなければ、EncodingHints、BIFSEncodingHints、FBAEncodingHints、BitWrapperEncodingHints、CompressedImageFormatのうち、何れか１つがパージングされれば、それに相応するEncodingHintsテンプレート、BIFSEncodingHintsテンプレート、FBAEncodingHintsテンプレート、BitWrapperEncodingHintsテンプレート、CompressedImageFormatテンプレートのうち何れか１つを呼び出すが、EncodingHints、BitWrapperEncodingHints、CompressedImageFormatではなければ、streamFormat BIFSを出力し、]がパージングされれば、前記]をmuxファイルに出力することが望ましい。

CompressedImageFormatがパージングされた後、JPEGまたはPNGまたはMPEG4-VideoまたはVTCのうち何れか１つがパージングされれば、それに相応するJPEGテンプレートまたはPNGテンプレートまたはMPEG4-VideoテンプレートまたはVTCテンプレートを呼び出すことが望ましい。JPEGテンプレートが呼び出されてマッチングされれば、sourceFormatテンプレートまたはtargetFormatテンプレートを呼び出し、streamFormatJPEGを出力し、PNGテンプレートが呼び出されてマッチングされれば、sourceFormatテンプレートまたはtargetFormatテンプレートを呼び出し、streamFormatPNGを出力し、MPEG4-Videoテンプレートが呼び出されてマッチングされれば、sourceFormatテンプレートまたはtargetFormatテンプレートを呼び出し、streamFormatMPEG4-Videoを出力して、VTCテンプレートが呼び出されてマッチングされれば、sourceFormatテンプレートまたはtargetFormatテンプレートを呼び出し、streamFormatVTCを出力し、前記sourceFormatテンプレートとtargetFormatテンプレートはparamテンプレートを呼び出し、paramテンプレートはファイル名を値として出力することが望ましい。

前記BitWrapperEncodingHintsテンプレートは、BitWrapperEncodingHintsがマッチングされた後、BitWrapperOctreeImageEncodingHintsがパージングされれば、BitWrapperOctreeImageEncodingHintsテンプレートを呼び出し、BitWrapperPointTextureEncodingHintsがパージングされれば、BitWrapperPointTextureEncodingHintsテンプレートを呼び出すことが望ましい。

前記BitWrapperOctreeImageEncodingHintsテンプレートは、BitWrapperOctreeImageEncodingHintsがマッチングされた後、sourceFormatがパージングされればsourceFormatテンプレートを呼び出し、targetFormatがパージングされれば、targetFormatテンプレートを呼び出し、streamFormatOctreeImageCompressionをmuxファイルに出力し、前記BitWrapperPointTextureEncodingHintsテンプレートは、BitWrapperPointTextureEncodingHintsがマッチングされた後、sourceFormatがパージングされれば、sourceFormatテンプレートを呼び出し、targetFormatがパージングされれば、targetFormatテンプレートを呼び出し、streamFormatPointTextureCompressionをmuxファイルに出力することが望ましい。前記sourceFormatテンプレート及びtargetFormatテンプレートはparamがパージングされれば、paramテンプレートを呼び出し、前記paramテンプレートでファイル名を値として出力することが望ましい。

そして前記に記載された発明をコンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体を提供する。

本発明によるDIBRデータのためのスキーマ及びスタイルシートによれば、メタ表現方法を使用して3Dコンテンツ著作段階でDIBRデータの表現及び圧縮を容易に調節でき、MPEG-4符号化器に適した入力ファイルを容易に生成できえる。したがって、著作段階で著作者が3次元グラフィックデータを圧縮できるために、低いネットワーク帯域幅でも、DIBRデータのリアルタイム視覚化またはリアルタイムアニメーションを有用に実現可能とするために使用できる。

以下、添付された図面を参照して本発明に係るDIBRデータのためのスキーマ及びスタイルシートについて詳細に説明する。
まず、MPEG-4ノードの概観を説明する。MPEG-4ノードは、約180個のノードで構成されている。各ノードはノードデータの特性によってSF2DNode、SF3DNode、SFAppearanceNode、SFAudioNode、SFBAPNode、SFDepthImageNode、SFDepthTextureNode、SFGeometryNode、SFWorldNodeなど53個のグループノードで区分されている。

DIBR圧縮に関連したBitWrapperノードは前記グループノードのうち、SF2DNode、SF3DNode、SFGeometryNode、SFWorldNodeノードに属する。

そして、DIBR関連ノードとしては、SimpleTexture、PointTexture、OctreeImage、DepthImageがある。前記DepthImageノードは、SF3DNode、SFDepthImageNodeグループノードに属する。そして、前記SimpleTextureは、SFDepthTextureNode、SFWorldNodeグループノードに属し、前記PointTextureはSFDepthTextureNode、SFWorldNodeグループノードに属する。前記OctreeImageは、SF3DNode、SFWorldNodeグループノードに属する。DepthImageノードは、カメラ情報(position、orientation、fieldOfView、nearPlane、farPlane、orthographic)で構成されており、この中、SFDepthTextureNodeフィールドにPointTextureとSimpleTextureとが使われる。またOctreeImageノードは、Octreeに関するデータフィールドを有し、texture情報でMFDepthImageNodeのimagesとしてSimpleTextureが使われる。

XMLについて簡略に説明する。XMLは、メタ言語(meta language)である。XMLは、SGMLのsubsetまたはprofileである。すなわち、SGMLで、webで使われうるものと作った。Webで使用できないものは省いた。XMLは、ハイパーリンキングスキーマについてスペックを含む。前記ハイパーリンキングスキーマのスペックは、Extelsible Linking Language(XLL)と言い、分離された言語として提供される。XMLは、Extensible Style sheet Language(XSL)というスタイル言語に関するスペックを含む。XMLは、describinginformationに関するものである。XMLは、他のアプリケーションにより理解されうるデータを構造化して説明するのに使われ標準言語である。XMLは、ロジカルストラクチャ（logical structure）である。これは文書をどのように作るか、文書が何を含んでいるかを表す。

次いで、XMLスキーマについて簡略に説明する。XMLスキーマとは、共通の語彙を表現し、人々により作られる規則を伝送する装置（machines）となる。XMLスキーマは、XML文書の構造(structure)とコンテンツ(content)と意味(semantic)とを定義する役割をする。

XMLスキーマは、コンポーネントの集合で構成されている。この中、基本となる重要なコンポーネントについて説明する。

Type定義コンポーネントがあるが、simpleTypeとcomplexTypeとがある。simpleTypeは、符号化する値に対するstringsまたはinformationを制限する集合である。Attribute information itemのnormalized valueまたはelement childrenのないelement information itemに適用され、大部分Attributesに適用される。

complexTypeは、attribute declarationsとcontent typeの集合であって、Attributesとelement information itemとがあるchildrenに各々適用される。Contenttypeは、elementとcharacter information itemsが何れもないemptyを含むchildrenと特定simple typeに属するstringを含むchildrenを必要とするか、特定のmodel groupに合うelement information items(ex.group）のsequenceを含むchildrenを必要とする。

Element宣言は、Type定義をnameとし、simpleまたはcomplexと制限子の組合わせである。

attribute宣言は、nameとsimplet ype定義と発生情報とdefault valueとの組合わせである。
注釈は<annotation>〜</annotation>までを意味する。

DatatypeとDerivationとがある。Sequenceは、sequenceで取り囲んだelementsが順に定義されるように制限を与える。Choiceは、choiceで取り囲んだelementsのうち、１つだけ選択的に選択する。minOccurs/maxOccursはElementの発生数を制限するものであって、minOccurs(最小発生数)とmaxOccurs(最大発生数)とがある。Groupは、特定機能をするelementsを集めてgroupとして使用でき、他のelementで参照できる。MaxInclusiveは、basetype定義の数字範囲での最大値を意味する。MinInclusiveは、basetype定義の数字範囲での最小値を意味する。
例を挙げれば、次の通りである

simpleType elementは、bit4を定義する。Name attributeにbit4を入れ、bit4 attributeをrestriction elementを使用して制限する。Restriction elementはbase attributeにunsignedByteを行い、前記unsignedByteの最大値(maxInclusive)はvalue attributeに15と定義する。したがって、bit4はunsignedByteタイプであり、0から15までの数という意味となる。

Par elementはcomplexType elementを含む。complexType elementは、2subelementsと2つのsubgroupsと2つのattributesとで構成されている。

subelementsとsubgroupsは、choice elementを使用するので、4個のうち、1個を選択するという意味を定義されている。そして、その個数は少なくとも0から無限個までになりうる。これはchoice elementのminOccurs="0"maxOccurs="unbounded"と表現することにより定義されている。このsubelementsとsubgroupsは、既に定義されたelementを使用している。

Attributesを説明する。Arrtribute nameがbegineであり、そのタイプはSFTimeである。これは選択的に用いられ、デフォルト値は0である。次いで、attribute nameはatES＿IDであり、typeはIDREFであり、選択的に使われるという意味を定義した。
Attributeを説明すれば次の通りである。

useとdefaultと両方使用する必要があるのか？。「Use=optional」なしに「default=100」だけを使用できるのか？。「Use=optional」なしに「default=100」だけを使用できる。UseとDefaultは何れもattributeの値と発生を制限するために使われる。また、useは、optionalとrequired値とを有しうる。また、Defaultとfixedとがexclusiveに使用されうる。そして、useとdefault/fixedとが共に使われても、１つずつ使われても良い。optionalはattributeがなくても良いということを意味する。Requiredはattributeがなければならないことを意味する。Defaultはデフォルト値を有するようにし、Fixedは必ずfixedと宣言された値だけ使用せねばならないということを表す。

本発明は、DIBRデータ圧縮に関するメタ表現を用いた入力ファイル生成に必要なXMTスキーマとsytle sheetに関するものである。図1は、前記深さ画像基盤表現データ圧縮に関するメタ表現を用いた入力ファイルの生成についての全体的な構成図を示したものであって、参照番号100は前記XMTスキーマとsytle sheetとを表す。

以下、XMTスキーマについて全体的な説明をする。XMTスキーマとは、XMT documentの構造を記述し、XMT document内のcontentsを制限するものである。MPEG-4 XMT標準によるXMTスキーマはXMT-AとXMT-O、XMT-Cで構成される。XMTスキーマは、end userとsystem上の直接的に仕事を行うプログラムとの間で、end userがデータを著作する段階から、データを表現/操作/圧縮するが、必要な多様な因子を容易に調節できる方法を提供する。XMT-Oは、end userがデータを著作(表現/操作/圧縮)する時、end userの意図を複数の因子のabstractな形態に伝達する役割をする。XMT-Oは、ユーザが必要とした因子をuserが理解しやすい構文と意味とで定義する(user friendly interfaceで提供する)。したがって、この値はsystem上のプログラムに直接伝達されない。よって、このようなend userが理解しやすい形態よりなる因子をsystem上のプログラムに伝達できるXMT-Aを提供する。XMT-Aは、XMT-Oで伝えられたend userの意図が含まれた因子に該当することをsystem上のプログラムが理解できる因子と定義し、マッピングする役割を行う。XMT-Aは、system上のプログラムが圧縮、伝送、操作、scene構成のような作業に必要なものを定義する。XMT-Cは、XMT-OとXMT-Aとで共通で使われるモジュールを定義しており、XMT-OからXMT-Aへのマッピングに使われると定義している。図2は、end userとsystem上のプログラム間でのXMTスキーマの役割を示したものである。

以下、Style sheetについて説明する。まず、XMLStyle sheetについて説明する。一般的に、Style sheetはxml schemaの規則(rule)に合わせて作成された入力ファイルが入れば、前記入力データを他のフォーマットに変換させるための変換作業を行う。すなわち、出力フォーマットを作る役割を担当する。前記Style sheetをどのように定義するかによって１つのschemaだけ定義しても、複数の異なる出力フォーマットの形式通り出力が可能である。これは、標準言語を定義しておき、翻訳機を通じて前記標準言語を韓国語、英語、日本語、中国語、スペイン語などに翻訳できるのと同じである。すなわち、Style sheetは言語自動翻訳機と同じ役割を行う。

MPEG-4 Style sheetについて説明する。MPEG-4 Style sheetはXMT入力ファイルを他のフォーマットに変換する作業を行う。本発明で前記他のフォーマットは、図3のMPEG-4プレーヤーの入力ファイルであるIM1 Textual formatである。

図3は、テキスト構文(textual syntax)を使用してMPEG-4ノードを使用してコンテンツを作れるようにする著作フレームワークを示したものである。

本発明によるXMT-AスキーマとStyle sheetとを説明する。まず、XMT-Aスキーマについて構文(syntax)と意味(semantics)とを説明すれば次の通りである。本発明は、XMT-Aスキーマに関するものである。前記XMT-Aスキーマは、その機能によって4つ、すなわち、xmt-a、xmta-bifs、xmta-o、xmta-encodingに分けられる。前記Xmt-a.xsdは、mainスキーマであって、MPEG-4ノードのフィールドで使われるタイプを定義する。前記Xmta-bifs.xsdはBIFSスキーマであって、全体MPEG-4ノード及びノードのフィールド定義、XMTファイルの構造(Header、Body)を定義する。前記Xmta-o.xsdは、Object Descriptorに関する内容を定義する。前記xmta-encoding.xsdは、圧縮のような特定ノードのためのものを定義する。すなわち、圧縮に必要な圧縮媒介変数、復号化時に復号化器で必要な情報が定義される。

各ノードに関するXMT-Aスキーマ構文(syntax)と意味(semantics）は、次の通りである。MPEG-4ノードをこれに該当するschemaのelementと定義する時、ノードのフィールドのうち、single valueまたはmultiple valueを有することをattributeと定義し、他のノードをフィールド値として有するものをsubelementと定義する。フィールド名がelementやattributeの名称となる。

具体的に、DIBRノードに関するXMT-Aスキーマ構文と意味は次の通りである。
［1.DepthImageノード(Xmta-bifs.xsd)］

前記DepthImageノードのスキーマ構文は、DepthImageノードをschemaと定義し、DepthImage基盤モデルレンダリングに使われる。そして、カメラ情報とDepthを有するテクスチャ情報を備える。複数のsubelementsとattributesを有するので、complextypeのnameにDepthImageTypeを定義する。そして、3つのsubelementsが何れも現れなければならないので、allのstat tagとend tagでsubelementを取り囲んで制限をする。最初のsubelementはISというelementを参照しており、これは示さないこともあるために、minOccursを0と定義する。２番目elementのnameをdiTextureと定義する。これはsubelementとしてmodel groupを有している。前記model groupは、namespaceに定義されたスキーマ（xmta）に予め定義されたnameがSFDepthTextureNodeTypeであり、SFDepthTextureNodeノードスキーマを参照する。SFDepthTextureNodeノードスキーマは、前記DepthImageノードのdiTextureに用いられ、PointTextureとSimpleTextureエレメントを下位エレメントとして含んでおり、選択的に使われうる。エレメントを制限するためにModel Groupを含むcomplextypeを含む。前記model groupは存在しないこともあるので、minOccurs=0と宣言し、発生すれば、1回発生する。

前記カメラ情報は、7個のAttributes position、orientation、fieldOfView、nearPlane、farPlane、orthographicで表現される。そして、前記DepthImageノードは、前記7個のattrubutesのうち、少なくとも１つをattributeのnameと規定する。

NameがfarPlaneであるattributeはSFFloat typeを有し、選択的に使われ(use)、デフォルト値が100である。NameがfieldOfViewであるattributeは、SFVec2ftypeを有し、選択的に用いられ、0.785398 0.785398値をデフォルト値として有する。NameがnearPlaneを有するattributeはSFFloat typeを有し、選択的に用いられ、デフォルト値10を有する。NameがorientationであるattributeはSFRotation typeを有し、選択的に用いられ、0010をデフォルト値として有する。NameがorthographicであるattributeはSFBool typeであり、選択的に用いられ、trueをデフォルト値として有する。NameがpositionであるattributeはSFVec3f typeであり、選択的に用いられ、0010値をdefaultとして有する。AttributeGroupとしてDefUseGroupを参照している。

［2SimpleTextureNode(xmta-bifs.xsd)］
SimpleTextureNodeのスキーマ構文は次の通りである。

前記SimpleTextureNodeのスキーマ構文を説明すれば次の通りである。SimpleTextureNodeは、DIBRモデルをレンダリングするために、depthイメージとcolorイメージとを入力され、3次元レンダリングするのに使われる。前記SimpleTextureNodeのスキーマは複数のsubelementsを有するので、complextype nameでSimpleTextureTypeを定義し、3個のsubelementsよりなっているために、complextypeと定義する。SimpleTextureNodeが新たなノードを定義するprotoノードで使用され、ここでISノードとして使われうる。したがって、ここでIS elementを参照する。SimpleTextureNodeのdepth elementはdepth情報をimage形態として有しており、texture elementはcolor情報をimage形態として有している。前記それぞれのイメージは、SFTextureNodeTypeノードに定義されている。また、SimpleTextureNodeの名称を定義して使用可能にDefまたはUseで表現しうる。これはattributeGroup DefUseGroupを参照することによって可能である。

［3. PointTextureNode (Xmta-bifs.xsd)］
PointTextureNode(スキーマ構文は次の通りである。

前記PointTextureNodeのスキーマ構文は、PointTextureNodeをschemaと定義する部分である。前記PointTextureNodeのスキーマは複数のattributesを有するのでcomplextypenameでPointTextureTypeを定義し、6個のattributesよりなっているために、complextypeと定義される

また、前記PointTextureNodeスキーマは、width、height、depthNbBits、depth、colorのうち、少なくとも１つをattribute nameと規定する。

NameがColorであるattributeは、MFColortypeを有し、選択的に使用できる。Nameがdepthであるattributeは、MFInt32typeで有し、選択的に使用できる。TypeがMFであるものは、array値を有するという意味である。NameがdepthNbBitsであるattributeは、SFInt32typeであり、選択的に使用でき、デフォルト値として7を有する。NameがheightであるattributeはSFInt32typeであり、選択的に使用され、デフォルト値として256を有する。NameがwidthであるattributeはSFInt32typeであり、選択的に使用され、256値を有する。AttributeGroupとしてDefseGroupを参照する。

［4. OctreeIamgeノード(Xmta-bifs.xsd)］
OctreeIamgeノードのスキーマ構文は次の通りである。

前記OctreeIamgeノードのスキーマ構文はOctreeImageノードをschemaと定義する部分である。複数のattributesを有するのでcomplextype nameでOctreeImageTypeを定義し、2個のsubelementsと4個のattributesよりなるためにcomplextypeと定義する。Subelementsは何れも現れなければならないので、allで括って制限した。最初のelementは、NameがISであるelementを参照する。これは現れないこともあるので、発生回数を0に制限した。もし、現れる時は1回現れる。２番目のNameがimagesであるelementは発生しないこともあるので、minOccursを0に制限し、発生する時は１回発生する。またsubelementとしてSFDepthImageNodeTypeであるgroupelementを参照している。前記groupは、最小0回、最大無限大に発生しうる。したがって、２番目のelementはcomplextypeを有する。

前記octreeimageノードスキーマは、octree、octreeResolution、voxelImageIndexのうち、少なくとも１つをattribute nameと規定する。NameがoctreeであるattributeはMFInt32typeを有し、選択的に宣言されうる。NameがoctreeResolutionであるattributeはSFInt32typeを有し、選択的に宣言されることができ、256をデフォルト値として有する。NameがvoxelImageIndexであるattributeはMFInt32typeであり、選択的に使用され、AttributeGroupとしてDefUseGroupを参照する。

［５. BitWrappeノードについてのXMT-A構文と意味(Xmta-bifs.xsd)］
BitWrapperノードのスキーマ構文は次の通りである。

前記BitWrapperノードは、nodeフィールドのデータを圧縮してビットストリームをインバンド(in-band)またはアウトバンド(out-band)を使用して伝送する。urlフィールドはアウトバンドビットストリームを伝送し、bufferフィールドはBIFSビットストリームのようにインバンドビットストリームを伝送する。

著作者がデータを圧縮してBitWrapperスキーム(scheme)を通じて伝送しようとする場合、著作者はビットストリームを生成するための媒介因子を調節できねばならない。これはXMT-Aスキーマ構文(syntax)で行える。

前記BitWrapperノードスキーマは、グラフィックデータの圧縮に用いられる。
前記BitWrapperは、nodeとBitWrapperEncodingParameterを下位エレメントとして備え、3個のattributesを有する。前記3個のattributesはNameがtypeであるattribute、Nameがurlであるattribute、Nameがbufferであるattributeである。前記各attributeのtypeは、SFInt32、MFUrl、SFStringを有する。

前記ノードエレメントは、圧縮されるデータを含むグラフィックデータを示し、SFWorldノードを下位エレメントとして参照している。その意味は、nodeでSFWorldノードをエレメントと宣言したあらゆる下位エレメントを使用できるということを意味する。

一方、圧縮パラメータであるBitWrapperEncodingParameterを説明する。圧縮パラメータスキーマは、ポイントテクスチャのための圧縮率を含み、BitWrapperEncodingParameterをエレメント名とするノード内に含まれ、エレメント名がPointTextureEncodingParameterであり、attribute名がconfigPercentであり、そのタイプがcodingPercentTypeを有する。前記codingPercentTypeは、simpleType nameとしてcodingPercentTypeを有し、restriction baseはintである。

前記BitWrapperEncodingParameterのスキーマ構文は次の通りである。

前記BitWrapperEncodingParameterのスキーマ構文は、PointTextureのencodingparametnerをschemaのelementと定義する。前記PointTextureEncodingParameterをelementのnameとし、最小発生回数をminOccursに入力する。ここでは、0である。最大発生回数をmaxOccursに入力する。このelementはattributeを有するので、complextypeを含む。Attribute nameはcodingPercentであり、typeはcodingPercentTypeであり、選択的に用いられ、デフォルト値として100を有する。

PointTextureEncodingParameterについて説明する。前記PointTextureEncodingParameterはPointTexture圧縮に使われるencoding parameterであるcodingPercentを含む。codingPercentはPointTextureでdepthvalueとcolorvalueに対する圧縮レベルを決定する。

XMT-A syntaxの観点で、前記PointTextureEncodingParameterを詳細に説明すれば、PointTextureについてcompressionに使用するencodingparameterをPointTextureEncodingParameterという名称のelementと定義する。また前記PointTextureEncodingParameterelementはXMT文書で最小0回発生するか(発生していないか)、最大1回発生しうる。前記elementは、attiributeを含んでおり、このattributeは、complexTypeで取り囲まれて表現される。Attributeの名称は、codingPercentであり、そのtypeはcodingPercentTypeに定義したものを使用する。Useは、optionalに使われうる。必ずしも使用されるものではないという意味である。デフォルト値は100を有するという意味である。

前記PointTextureEncodingParameterのスキーマ構文は、xmta-encoding.xsdでBitWrapperEncodingParameterを説明するsyntax内に定義されている。

一方、圧縮(復号化)時に必要なencodingparameterを説明する。
PointTextureについてのencodingparameterのスキーマ構文は次の通りである

前記declaration of basic types for PointTextureは、PointTexturecompressionのencoding parameter(codingPercentという名称)を定義する時、必要なCodingPercentのTypeを定義する部分である。より詳細に説明すれば、前記PointTextureのTypeはsimpleTypeであり、名称がcodingPercentTypeである。また、codingPercentTypeが有しうる値はintegertypeであり、最小1から最大100までの値を有することができるということを意味する。この部分は、xmt-a.xsdスキーマでBone-Based Animationのbasic types宣言部分以後に定義されている。

前記スキーマ構文は、PointTextureのencoding parameter elementのattributeのtypeとして使われるcodingPercentTypeを定義する。SimpleTypeとしてNameがcodingPercentTypeである。前記simpleTypeはrestrictionの制限子を含む。Restrictionは、Integertypeをbaseとし、その値の範囲は最小値1〜最大値100を有する。最小値はminInclusiveのvalueで表現し、最大値はmaxInclusiveのvalueで表現する。

次いで、符号化と復号化時に必要なBitWrapperEncodingHintsを説明する。前記BitWrapperEncodingHintsはBitWrapperノードがurlフィールドを使用するアウトバンドである場合に、スクリプトファイルでMuxinfoに必要な情報を規定するために用いられ、前記各下位エレメントはsourceFormatとtargetFormatのうち、少なくとも１つを下位エレメントとして含む。前記スクリプトファイルでMuxinfoに必要な情報はDIBR圧縮ビットストリームファイル名及びビットストリーム圧縮フォーマットを含む。

本発明では、BitWrapperEncodingHintsにOctreeImageについてのencodinghintsであるBitWrapperOctreeImageEncodingHintsと、PointTextureについてのencodinghintsであるBitWrapperPointTextureEncodingHintsとを提案する。前記符号化と復号化時に必要なBitWrapperEncodingHintsは、xmta-encoding.xsdスキーマで定義される。OctreeImageとPointTextureのBitWrapperEncodingHintsの構文は次の通りである。

semanticsを説明すれば、BitWrapperEncodingHintsは、BitWrapperノードがその中にある"url"フィールドを使用するアウトバンド(out-band)である場合に、スクリプト(.mux)ファイルで"MuxInfodescriptionを明細するために使われる。また、DIBR関連ノードで圧縮されたイメージまたは動画像(圧縮イメージフォーマット:JPEG、PNG、MPEG4-ビデオ、VTCなど)を含んでいる時、それを伝送するのに用いられる。その結果、XMT入力ファイルが入力として入った時、前記入力ファイルは、DIBR関連objectを含むコンテンツを表現したものである。XMT入力ファイルをあらかじめ定義されたスキーマを参照してBitWrapperEncodinghintsについてのスタイルシートを実行し、MPEG-4binary textual formatと一致するmuxファイルを出力可能にする。前記MuxInfoに対するdescriptionのうち圧縮されたファイル名をsourceFormat/targetFormat elementに含まれたparamelementに明示することで伝送する。

構文を説明すれば、BitWrapperEncodingHints内にBitWrapperOctreeImageEncodingHintsとBitWrapperPointTextureEncodingHintsがsubelementよりなっており、これらそれぞれのsubelement内にはsourceFormatとtargetFormatをsubelementとして含む。これにより、BitWrapperOctreeImageEncodingHintsとBitWrapperPointTextureEncodingHintsは、compexTypeを含むようになる。そして、compexType内のsourceFormatとtargetFormatは、共に使用しても良く、１つずつのみ使用しても良い。２種を共に使用する場合にはsourceFormatに次いで、targetFormatが出なければならない。また、sourceFormatとtargetFormat各々は、ファイル名を実際に含むparamelementを複数個含みうるので、compexTypeを含み、複数個発生する場合には順序を定めるためにsequenceで表現される。

次いで、復号化時に必要なdecodingspecific infoを説明する。BitWrapperノードがurlフィールドを使用するアウトバンドである場合に、復号化情報スキーマが必要である。前記復号化情報スキーマは、AFXConfigスキーマ及びDecoderConfigDescriptorスキーマを備える。前記DecoderConfigDescriptorスキーマは、復号化時に必要な情報を有するDecoderConfigDescriptorノード内のdecSpecificInfoノード内でエレメント名でAFXconfigを規定する。

AFXConfigは、ビットストリームを復号化する時、どの復号化器を使用して復号化するかに関する情報を含んでいる。すなわち、OctreeImage compressionとPointTexture compressionを使用して圧縮されたビットストリームが何れの復号化器で復号化されるかに関する情報を含んでいる。

AFXConfigのOctreeImageDecoderSpecificとPointTextureCompDecoderSpecificのsyntax的意味は次の通りである。complexTypeのAFXConfigTypeは複数のelementを含み、使われる時はこの中の１つを選択して使用しうる(<choice>〜</choice>)。多様な復号化器についての情報のうち、OctreeImage compressionよりなるビットストリームについては、ｋOctreeImage復号化器を使用してビットストリームを復号化することを知らせるOctreeImageDecoderSpecific情報を使用できるようにelementとして定義し、PointTexturecompressionよりなるビットストリームについては復号化時に、PointTexture復号化器を使用してビットストリームを復号化せよと知らせるPointTextureCompDecoderSpecific情報を使用できるようにelementと定義する。

AFXConfigスキーマは、オクトリーイメージ復号化器で復号化することを示すOctreeImageDecoderSpecific情報をエレメント名と規定し、ポイントテクスチャ復号化器で復号化することを表すPointTextureCompDecoderSpecific情報をエレメント名と規定する。

すなわち、AFXConfigは、xmta-od.xsdでDecoderConfigDescriptorelementの次に定義されている。その中、OctreeImagecompressionよりなるビットストリームについてはOctreeImageDecoderSpecificという情報を与えるようにし、PointTexturecompressionよりなるビットストリームについてはPointTextureCompDecoderSpecificという情報を与えるように定義する。OctreeImageDecoderSpecificelementは、WMDecoderSpecificelementの次に位置するように定義し、PointTextureCompDecoderSpecificelementはBBADecoderSpecificの次に位置するように定義する。

CompressedImageFormatを説明する。ユーザが既に圧縮されたイメージまたは動画像ファイルが含まれたDIBRデータ(コンテンツ)を多様なマルチメディア(多様なプレーヤーのようなアプリケーション)を使用して見ることができる。このように、ユーザに視覚化されるためには、DIBRデータは圧縮されたイメージまたは動画像ファイルをtextureで含んでいる必要がある。また前記ファイルが多様なマルチメディアで再生されるためには、既に圧縮された形態のデータが復号化器で復号化され、他の情報とよく組合わせ及び同期化されて視覚化されねばならない。復号化段階で、既に圧縮されたイメージまたは動画像ファイルについてのファイル名とストリームフォーマット情報が必要である。したがって、これを復号化器に知らせるために必要なのがCompressedImageFormatである。

前記CompressedImageFormatスキーマは、DIBR関連ノードが圧縮されたイメージ、またはJPEG、PNG、MPEG4-ビデオ、VTCを含む動画像を含んでいる時、前記圧縮された情報に対して復号化時に必要な情報(圧縮されたファイル名とストリームフォーマット)を知らせるのに使われる。また前記CompressedImageFormatスキーマは、ElementnameがCompressedImageFormatであり、subelementのnameとしてJPEGとPNGとMPEG4-VideoとVTCを含み、前記subelement各々はSourceFormatまたはtargetFormatを含んでいる。前記sourceFormatまたはtargetFormatはparamを含んでおり、前記paramにファイル名が保存される。
CompressedImageFormatについての構文は次の通りである。

一方、本発明によるDIBRデータのためのStyle sheetを詳細に説明する。MPEG-4 Style sheetは、XMT入力ファイルを他のフォーマットに変換するための作業をする。前記他のフォーマットの一例を挙げれば、MPEG-4プレーヤーの入力ファイルであるIM1Textualformatになりえる。

前記スタイルシートは、DIBRデータのためのシーンファイルを生成するためのXMT2BIFSスタイルシート及びDIBRデータのためのmuxファイルを生成するためのXMT2MUXスタイルシートを備える。

スタイルシートの内容は次の通りである。IC、3DMC、BitWrapper、DIBR、BitWrapperEncodingHints、AFXConfigノードに関するStyle sheetがある。XMT入力ファイルでbody部分、すなわち、Scene関連データはXMT2BIFS.XSLで処理されてシーンファイルに出力される。そして、XMT入力ファイルでheader部分、すなわちobjectdescriptorについてのデータはXMT2MUX.XSLで処理されてmuxファイルに出力される。

まず、XMT2BIFS.XSLを説明する。スタイルシートは、各elementとgroupをtemplateと定義する。BitWrapperノードを説明すれば、XMTファイルのBitWrapperノード内容はschemaのBitWrapperを参照してパージングされる。そして、IM1textualformatと互換されるscene出力ファイルにするために、BitWrapperを探せるようにgeometrygroupに宣言されねばならない。XMT2BIFSスタイルシートにgeometrytemplate内にあるapply-templatesにBitWrapperを使用しうる。すなわち、BitWrapperテンプレートをマッチングさせるために、geometryテンプレートにBitWrapperテンプレートを呼び出せるように宣言する。

XMTファイルのBitWrapperノード内容はschemaのBitWrapperを参照してパージングされ、IM1textualformatと互換されるscene出力ファイルになる。

前記XMT2BIFSスタイルシートは、XMTファイルでBitWrapperがマッチングされれば、'BitWrapper['をシーンファイルに出力し、ノードがパージングされれば、所定のノードテンプレートを行い、圧縮するノードのDIBRエンコーディングパラメータのうち、PointTextureEncodingParameterがパージングされれば、所定のPointTextureEncodingParameterテンプレートを行い、type、buffer、urlがパージングされれば、前記type、buffer、url及びその値をシーンファイルに出力し、]をシーンファイルに出力する。前述したXMT2BIFSスタイルシートの一例を挙げれば次の通りである。

ノードは次の通り宣言される。

前記ノードテンプレートはノードがマッチングされれば、ノードをシーンファイルに出力し、PointTextureがパージングされれば、所定のPointTextureテンプレートを行い、OctreeImageパージングされれば、所定のOctreeImageテンプレートを行う。

一方、DIBRノードはPointTextureNode、OctreeImageノードを含む。前記DIBRノードについてXMTファイルのDIBRノード内容はschemaのDIBRを参照してパージングされ、IM1textualformatと互換されるscene出力ファイルになる。

前記PointTextureテンプレートは、PointTextureがマッチングされれば、'PointTexture['をシーンファイルに出力し、width、height、depthNbBits、depth、colorをパージングし、前記width、height、depthNbBits、depth[]、color[]及びその値をシーンファイルに出力し、]をシーンファイルに出力する。前記PointTextureテンプレートに関するスタイルシートの一例は次の通りである。

前記depthテンプレートはdepthがマッチングされれば、depthをシーンファイルに出力し、CompositeTexture2Dがパージングされれば、所定のCompositeTexture2Dテンプレートを行い、CompositTexutre3Dがパージングされれば、所定のCompositTexutre3Dテンプレートを行い、ImageTextureがパージングされれば、所定のImageTextureテンプレートを行い、MovieTextureがパージングされれば、所定のMovieTextureテンプレートを行い、PixelTextureがパージングされれば、所定のPixelTextureテンプレートを行い、ProtoInstanceがパージングされれば、所定のProtoInstanceテンプレートを行う。前記depthテンプレートについてのスタイルシートの一例を挙げれば次の通りである。

SimpleTextureテンプレートは、SimpleTexuterがマッチングされれば、'SimpleTexture['をシーンファイルに出力し、depthがパージングされれば、所定のdepthテンプレートを行い、textureがパージングされれば、所定のtextureテンプレートを行い、]をシーンファイルに出力する。前記simpleTextureテンプレートについてのスタイルシートの例は次の通りである。

前記diTextureテンプレートは、diTextureがマッチングされ、SimpleTextureがパージングされれば、所定のSimpleTextureテンプレートを行い、PointTextureがパージングされれば、所定のPointTextureテンプレートを行う。前記diTextureテンプレートについてのスタイルシートの一例を挙げれば次の通りである。

DepthImageテンプレートはDepthImageがマッチングされれば、'DepthImage['をシーンファイルに出力し、diTextureが存在すれば、diTextureをシーンファイルに出力して所定のdiTextureテンプレートを行い、fieldOfView、nearPlane、farPlane、orientation、position、orthographicをパージングし、前記fieldOfView、nearPlane、farPlane、orientation、position、orthographic及びその値をシーンファイルに出力し、]をシーンファイルに出力する。前記DepthImageテンプレートについてのスタイルシートの一例を挙げれば次の通りである。

前記imagesテンプレートは、imagesがマッチングされれば、所定のDepthImageテンプレートを行い、前記imagesテンプレートについてのスタイルシートの一例を挙げれば次の通りである。

前記OctreeImageテンプレートはOctreeImageがマッチングされれば、'OctreeImage['をシーンファイルに出力し、octreeResolution、octree、voxelImageIndexをパージングし、前記octreeResolution、octree[]、voxelImageIndex[]及びその値をシーンファイルに出力し、imagesをパージングし、images[]をシーンファイルに出力し、所定のimagesテンプレートを行い、]をシーンファイルに出力する。前記OctreeImageテンプレートについてのスタイルシートの一例を挙げれば次の通りである。

3DMCノードとInterpolatorノード(CoordinateInterpolator、PositionInterpolator、OrientationInterpolator)について、XMTファイルのIndexedfacesetノードとInterpolatorノードの内容は前記ノードに相応するschemaに定義された内容を参照してパージングされ、IM1 textual formatと互換されるscene出力ファイルとして生成される。

XMTファイルのIndexedFaceSetEncodingParameterはschemaのIndexedFaceSetEncodingParameter elementを参照してパージングされ、IM1 textual formatと互換されるscene出力ファイルとなる。

XMTファイルのCoordinateInterpolatorEncodingParameterはschemaのCoordinateInterpolatorEncodingParameter elementを参照してパージングされ、IM1textualformatと互換性のあるscene出力ファイルとなる。

XMTファイルのOrientationInterpolatorEncodingParameterはschemaのOrientationInterpolatorEncodingParameter elementを参照してパージングされ、IM1 textual formatと互換性のあるscene出力ファイルとなる。

XMTファイルのPositionInterpolatorEncodingParameterはschemaのPositionInterpolatorEncodingParameter elementを参照してパージングされ、IM1 textual formatと互換性のあるscene出力ファイルとなる。

XMTファイルのPointTextureEncodingParameterはschemaのPointTextureEncodingParameter elementを参照してパージングされ、IM1 textual formatと互換性あのあるscene出力ファイルとなる。
前記PointTextureEncodingParameterテンプレートは、PointTextureEncodingParameterがマッチングされれば、シーンファイルにPointTextureEncodingParameter[を出力し、codingPercentがパージングされれば、condingPercent及びその値をシーンファイルに出力し、]をシーンファイルに出力する。前記前記PointTextureEncodingParameterテンプレートについてのスタイルシートの一例を挙げれば次の通りである。

XMT2BIFSはXMT入力ファイルで必要な情報を定義する。元来ボディー情報だけ使用するようになっていたが、XMT標準specによってIM1 textual formatを出力するためにはHeader情報も必要である。従って、headerを使用できるように次の通り規定する。

前記XMT2BIFSスタイルシートは、XMTファイルで、/がマッチングされた後、Body/*がパージングされれば、前記Body下位のテンプレートを行い、Header/*がパージングされれば、Header下位のテンプレートを行う。
ObjectDescriptorUpdateは、IM1textualformatと互換できる必要がある。前記XMT2BIFSスタイルシートは、XMTファイルでObjectDescriptorUpdateがマッチングされれば、UPDATE OD[をシーンファイルに出力し、ODがマッチングされた後、ObjectDescriptorがパージングされれば、ObjectDescriptorテンプレートを行い、InitialObjectDescriptorがパージングされれば、InitialObjectDescriptorテンプレートを行い、ObjectDescriptorがパージングされれば、所定のObjectDescriptorテンプレートを行い、InitialObjectDescriptorがパージングされれば、所定のInitialObjectDescriptorテンプレートを行い、]をシーンファイルに出力する。

XMT2MUXで必要な部分を取ってくる。シーンファイルをIM1 textual formatと互換できるようにしうとすれば、XMT2MUXにある次のような部分が必要である。

前記ObjectDescriptorテンプレートは、ObjectDescriptorがマッチングされれば、ObjectDescriptor[をシーンファイルに出力し、attribute名がobjectDescriptorIDであることをパージングしてobjectDescriptorIDをsecneファイルに出力し、attribute名がbinaryIDであることをパージングし、その値をシーンファイルに出力し、Descrをパージングして所定のDescrテンプレートを行い、]をシーンファイルに出力する。

前記InitialObjectDescriptorテンプレートは、InitialObjectDescriptorがマッチングされ、Profilesがパージングされれば、所定のProfilesテンプレートを行い、Descrがパージングされれば、所定のDescrテンプレートを行う。

前記esDescrテンプレートはesDescrがマッチングされ、ES＿Descriptorがパージングされれば、所定のES＿Descriptorテンプレートを行う。

前記ipmpDescrPtrテンプレートは、ipmpDescrPtrがマッチングされ、IPMP＿Descriptorがパージングされれば、所定のIPMPDescriptorテンプレートを行い、IPMP＿DescriptorPointerがパージングされれば、所定のIPMP＿DescriptorPointerテンプレートを行う。

前記ipmpDescrPtrテンプレートは、ipmpDescrPtrがマッチングされ、IPMP＿ディスクリプタがパージングされれば、所定のIPMPディスクリプタテンプレートを行い、IPMP＿ディスクリプタポインタがパージングされれば、所定のIPMP＿ディスクリプタポインタテンプレートを行う。

前記ES＿DescriptorテンプレートはES＿Descriptorがマッチングされ、URLがパージングされれば、所定のURLテンプレートを行い、StreamSourcerがパージングされれば、所定のStreamSourcerテンプレートを行い、decConfigDescrがパージングされれば、所定のdecConfigDescrテンプレートを行い、slConfigDescrがパージングされれば、所定のslConfigDescrテンプレートを行い、ipiPtrがパージングされれば、所定のipiPtrテンプレートを行い、ipIDsがパージングされれば、所定のipIDsテンプレートを行い、ipmpDescrPtrがパージングされれば、所定のipmpDescrPtrテンプレートを行い、langDescrがパージングされれば、所定のlangDescrテンプレートを行い、regDescrがパージングされれば、所定のregDescrテンプレートを行い、qosDescrがパージングされれば、所定のqosDescrテンプレートを行う。前記decConfigDescrはDecoderConfigDescriptorを含んでいる。

シーンファイルをIM1textualformatと互換させようとすれば、XMT2MUXにあるstreamSourceが必要である。
前記XMT2BIFSスタイルシートは、XMTファイルでStreamSourceがマッチングされれば、StreamSource1テンプレートを呼び出す。前記StreamSource1テンプレートは、CompressedImageFormatがパージングされれば、muxSrcipt及びファイル名及びmuxファイルの拡張子をシーンファイルに出力し、BitWrapperEncodingHintsがパージングされれば、muxScript及びファイル名及びmuxファイルの拡張子をシーンファイルに出力する。

一方、本発明によるXMT2MUXStyle sheetを説明する。XMT入力ファイルがODidsのschemaを参照してパージングした結果、IM1 textual formatと互換されるmuxファイルを作るために次の通り規定する。従来にはObjectDescriptorまたはInitialObjectDescriptorが入る場合、OdidsにobjectDescriptorIDの値を使用できた。しかし、これはIM1 textual formatと互換される結果を出力できない。したがって、ObjectDescriptorの代わりにObjectDescriptorUpdateを変更することで、IM1textualformatと互換性のある結果を出力できる。

すなわち、前記XMT2MUXスタイルシートは、XMTファイルでObjectDescriptorUpdateまたはInitialObjectDescriptorとマッチングされれば、テンプレート名をODidsとし、objectDescriptorIDを前記ODidsの値に使用し、前記マッチングされたObjectDescriptorUpdateテンプレートまたはInitialObjectDescriptorテンプレートを呼び出す。

XMT2MUXでXMT入力ファイルで必要な情報を定義する部分が必要である。元来Header情報だけ使用するようになていたが、XMT標準specによってIM1 textual formatを出力するためにはボディー情報も必要である。これにより、bodyを使用できるように規定する。すなわち、前記XMT2MUXスタイルシートは、XMTファイルで/がマッチングされた後、Body/*がパージングされれば、Bodyの下位テンプレートを行い、Header/*がパージングされれば、Headerの下位テンプレートを行う。

XMT2MUXでXMTを入力され、schemaを参照してパージングした結果、IM1 textual formatと互換されるMUXファイルを作るために、ObjectDescriptorUpdateを次の通り規定する。
前記ObjectDescriptorUpdateテンプレートは、XMTファイルでObjectDescriptorUpdateがマッチングされる場合、ODテンプレートを呼び出し、前記ODテンプレートでODがマッチングされれば、前記ODはObjectDescriptorテンプレートを呼び出す。

従来にはDecConfigDescrとslConfigDescrとがIMテキストフォーマットのようなMUXファイルを出力できなくなっていた。これを変更して、IM1テキストフォーマットのようなMUXファイルを出力できる。

ES＿DescriptorでdecConfigDescr、slConfigDescr、StreamSourceを含み、これらが各々マッチングされれば、それに該当するdecConfigDescrテンプレート、slConfigDescrテンプレート、StreamSourceテンプレートを呼び出しできる。

前記decConfigDescrテンプレートはdecConfigDescrがマッチングされれば、decConfigDescrDecoderConfigDescriptor[をmuxファイルに出力し、DecoderConfigDescriptorテンプレートを呼び出し、]をmuxファイルに出力する。

前記slConfigDescrテンプレートは、slConfigDescrがマッチングされれば、slConfigDescrSLConfigDescriptor[をmuxファイルに出力し、SLConfigDescriptorテンプレートを呼び出し、]をmuxファイルに出力する。

前記XMT2MUXスタイルシートはAFXConfigテンプレート及びDecoderConfigDescriptorテンプレートを含む復号化情報スタイルシートをさらに備える。

前記DecoderConfigDescriptorテンプレートは、復号化時に必要な情報を有するDecoderConfigDescriptorノード内のdecSpecificInfoノード内でエレメント名としてAFXconfigを宣言し、decSpecificInfoがマッチングされた後、AFXConfigがパージングされれば、AFXConfigテンプレートを呼び出す。

DecoderConfigDescriptorについてのStyle sheetは次の通り規定される。

IM1 textual formatのようなMUXファイルを出力させるためにAFXConfigを規定する。

IM1 textual formatに合わせてParamを規定する。

圧縮されたビットストリームを復号化器を用いて復号化するために、復号化器情報を知らせるAFXConfigが必要である。前記AFXConfigを用いてIM1 textual formatに合うmuxファイルを出力できる。

前記AFXConfigテンプレートは、AFXConfigがマッチングされれば、decSpecificInfoAFXConfig[をmuxファイルに出力するように規定し、OctreeImageDecoderSpecificがパージングされれば、OctreeImageDecoderSpecificテンプレートを呼び出し、PointTextureCompDecoderSpecificがパージングされれば、PointTextureCompDecoderSpecificテンプレートを呼び出し、]をmuxファイルに出力する。

前記OctreeImageDecoderSpecificテンプレートは、OctreeImageDecoderSpecificがマッチングされれば、前記OctreeImageDecoderSpecific[]をmuxファイルに出力する。

前記PointTextureCompDecoderSpecificテンプレートは、PointTextureCompDecoderSpecificがマッチングされれば、前記PointTextureCompDecoderSpecific[]をmuxファイルに出力する。

muxファイルをIM1 textual formatと互換させようとするならば、streamSourceのMuxInfo内にOctreeImageとPointTextureについてのBitWrapperEncodingHintsとCompressedImageFormatが必要である。したがって、StreamSourceで使用可能にOctreeImageとPointTextureについてのBitWrapperEncodingHintsとCompressedImageFormatとが宣言されねばならない。

前記XMT2MUXスタイルシートは、XMTファイルでStreamSourceがマッチングされれば、StreamSourceテンプレートを呼び出す。前記StreamSourceテンプレートは、muxInfoMuxInfo[fileNameを出力し、urlがマッチングされれば、url値をmuxファイルに出力し、urlがマッチングされていなければ、EncodingHints、BIFSEncodingHints、FBAEncodingHints、BitWrapperEncodingHints、CompressedImageFormatのうち、何れか１つがパージングされれば、それに相応するEncodingHintsテンプレート、BIFSEncodingHintsテンプレート、FBAEncodingHintsテンプレート、BitWrapperEncodingHintsテンプレート、CompressedImageFormatテンプレートのうち、何れか１つを呼び出すが、EncodingHints、BitWrapperEncodingHints、CompressedImageFormatでなければ、streamFormatBIFSを出力し、]がパージングされれば、前記]をmuxファイルに出力する。前記StreamSourceテンプレートについてのスタイルシートの一例は次の通りである。

従来にはBitWrapperEncodingHintsに3DMC、InterpolatorCompressionとそれ以外のものについてのencodinghintsがあったが、OctreeImageとPointTextureについてのencodinghintsがなく、DIBRノードに含まれた圧縮されたイメージファイルを伝送及び再生できなかった。それにより、IM1textualformatに合うMUXファイルを出力できなかった。したがって、次のようにBitWrapperEncodingHintsにBitWrapperOctreeImageEncodingHintsとBitWrapperPointTextureEncodingHintsと、を含み、DIBRノードに含まれた圧縮されたイメージファイル(BitWrapperにより圧縮されるものではない)の名称及びファイルフォーマットを伝送及び再生可能にするCompressedImageFormatも規定してIM1 textual formatに出力できる。

前記BitWrapperEncodingHintsテンプレートは、BitWrapperEncodingHintsがマッチングされた後、BitWrapperOctreeImageEncodingHintsがパージングされれば、BitWrapperOctreeImageEncodingHintsテンプレートを呼び出し、BitWrapperPointTextureEncodingHintsがパージングされれば、BitWrapperPointTextureEncodingHintsテンプレートを呼び出す。

前記BitWrapperOctreeImageEncodingHintsテンプレートは、BitWrapperOctreeImageEncodingHintsがマッチングされた後、sourceFormatがパージングされれば、sourceFormatテンプレートを呼び出し、targetFormatがパージングされれば、targetFormatテンプレートを呼び出し、streamFormatOctreeImageCompressionをmuxファイルに出力する。

前記BitWrapperPointTextureEncodingHintsテンプレートは、BitWrapperPointTextureEncodingHintsがマッチングされた後、sourceFormatがパージングされれば、sourceFormatテンプレートを呼び出し、targetFormatがパージングされれば、targetFormatテンプレートを呼び出し、streamFormatPointTextureCompressionをmuxファイルに出力する。
前記sourceFormatテンプレート及びtargetFormatテンプレートは、paramがパージングされれば、paramテンプレートを呼び出し、前記paramテンプレートでファイル名を値として出力する。

XMT2MUXスタイルシートは、CompressedImageFormatがパージングされた後、JPEGまたはPNGまたはMPEG4-VideoまたはVTCのうち、何れか１つがパージングされれば、それに相応するJPEGテンプレートまたはPNGテンプレートまたはMPEG4-VideoテンプレートまたはVTCテンプレートのうち、何れか１つを呼び出す。また前記JPEGテンプレートが呼び出されてマッチングされれば、sourceFormatテンプレートまたはtargetFormatテンプレートを呼び出し、streamFormatJPEGを出力し、PNGテンプレートが呼び出されてマッチングされれば、sourceFormatテンプレートまたはtargetFormatテンプレートを呼び出し、streamFormatPNGを出力し、MPEG4-Videoテンプレートが呼び出されてマッチングされれば、sourceFormatテンプレートまたはtargetFormatテンプレートを呼び出し、streamFormatMPEG4-Videoを出力し、VTCテンプレートが呼び出されてマッチングされれば、sourceFormatテンプレートまたはtargetFormatテンプレートを呼び出し、streamFormatVTCを出力する。
前記sourceFormatテンプレートとtargetFormatテンプレートは、paramテンプレートを呼び出し、paramテンプレートはファイル名を値として出力する。

本発明は、コンピュータ可読記録媒体に記録可能である。また、本発明はコンピュータ可読記録媒体にコンピュータ(情報処理機能を有する装置を何れも含む)可読コードとして具現することが可能である。コンピュータ可読記録媒体はコンピュタシステムによって読取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータ可読記録装置の例としては、ROM、RAM、CD-ROM、磁気テープ、フロッピーディスク、光データ保存装置などがある。

本発明は図面に示された実施例に基づいて説明されたが、これは例示的なものに過ぎず、本技術分野の当業者ならば、これより多様な変形及び均等な他実施例が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は特許請求の範囲の技術的思想により決まるべきである。

本発明はDIBRデータの表現及び圧縮を容易に調節できるので、3Dコンテンツ著作分野で有用に使われうる。またMPEG-4符号化器に適した入力ファイルの生成を容易にしうる。したがって、著作段階で著作者が3次元グラフィックデータを圧縮できるために、低いネットワーク帯域幅でも、DIBRデータのリアルタイム視覚化またはリアルタイムアニメーションを可能にするのに好適に適用できる。

前記深さ画像基盤表現データ圧縮に関するメタ表現を用いた入力ファイル生成についての全体的な構成図を示したものである。エンドユーザとシステム上のプログラム間でXMTスキーマの役割を示したものである。 MPEG-4プレーの入力ファイルであるIM1テクスチュアルフォーマットである。

符号の説明

１００ XMTスキーマとスタイルシート

Claims

グラフィックデータの圧縮に用いられるBitWrapperノードスキーマと、
DepthImage基盤モデルレンダリングに用いられ、カメラ情報とDepthを有するテクスチャ情報とを備え、diTextureをエレメントと規定し、前記エレメント内でnamespaceに定義されたスキーマに予め定義された名称がSFDepthtextureNodeであるモデルグループを下位エレメントとして含むDepthImageノードスキーマと、を含み、
前記BitWrapperノードスキーマは、
圧縮されるデータを含むグラフィックデータを表し、SFWorldノードを下位エレメントとして参照するノードエレメントと、
BitWrapperEncodingParameterエレメントと、
名称がtype、url、bufferであり、タイプがSFInt32、MFUrl、SFStringである3個のattributeとを備え、
前記DepthImageノードスキーマのカメラ情報は、
position、orientation、fieldOfView、nearPlane、farPlane、orthographicのうち少なくとも１つをattribute nameと規定し、前記attributeタイプは各々SFVec3f、SFRotation、SFVec2f、SFFloat、SFFloat、SFBoolである
ことを特徴とするDIBRデータのためのXMTスキーマ。
前記DepthImageノードのdiTextureエレメントは、
PointTexture及びSimpleTextureをエレメントとして備えるSFDepthTextureNodeノードスキーマを規定することを特徴とする請求項１に記載のDIBRデータのためのXMTスキーマ。
前記SimpleTextureに関するノードスキーマは、
depthイメージとcolorイメージとを入力されてDIBRモデルの3次元レンダリングに用いられ、depth情報をイメージ形態として有しているdepthエレメントと、color情報をイメージ形態として有しているtextureエレメントとを有し、それぞれのイメージはSFTextureNodeTypeエレメントに定義されていることを特徴とする請求項２に記載のDIBRデータのためのXMTスキーマ。
前記PointTextureに関するノードスキーマは、
width、height、depthNbBits、depth、colorのうち少なくとも１つをattribute nameと規定し、前記attributeのタイプは、各々SFInt32、SFInt32、SFInt32、MFInt32、MFColorであることを特徴とする請求項２に記載のDIBRデータのためのXMTスキーマ。
さらに、octreeimageノードスキーマを備え、
前記octreeimageノードスキーマは、
octree、octreeResolution、voxelImageIndexのうち少なくとも１つをattribute nameと規定し、前記attributeのタイプは、各々SFInt32、MFInt32、MFInt32であり、
imagesをエレメントと規定し、前記エレメント内でSFDepthImageNodeTypeをモデルグループを含む
ことを特徴とする請求項１ないし４のうち何れか１項に記載のDIBRデータのためのXMTスキーマ。
BitWrapperノードがurlフィールドを使用するアウトバンドである場合、
AFXConfigスキーマ及びDecoderConfigDescriptorスキーマを備える復号化情報スキーマをさらに含み、
前記DecoderConfigDescriptorスキーマは、
復号化時に必要な情報を有するDecoderConfigDescriptorノード内のdecSpecificInfoノード内でエレメント名としてAFXconfigを規定し、
前記AFXConfigスキーマは、
オクトリーイメージ復号化器で復号化することを表すOctreeImageDecoderSpecific情報をエレメント名と規定して、ポイントテクスチャ復号化器で復号化することを表すPointTextureCompDecoderSpecific情報をエレメント名と規定する
ことを特徴する請求項１に記載のDIBRデータのためのXMTスキーマ。
さらに、ポイントテクスチャのための圧縮率を含む圧縮パラメータスキーマを含み、
前記圧縮パラメータスキーマは、
BitWrapperEncodingParameterをエレメント名とするノード内に含まれ、
エレメント名がPointTextureEncodingParameterであり、attribute名がcodingPercentであり、そのタイプがcodingPercentTypeを有し、
前記codingPercentTypeは、
simpleType名としてcodingPercentTypeを有する、
ことを特徴する請求項６に記載のDIBRデータのためのXMTスキーマ。
前記codingPercentTypeは、
restrictionbaseがint（integer）であることを特徴とする請求項７に記載のDIBRデータのためのXMTスキーマ。
前記復号化情報スキーマは、
さらに、BitWrapperノードがurlフィールドを使用するアウトバンドである場合にスクリプトファイル（muxファイル）でMuxinfoに必要な情報を規定するために使われるBitWrapperEncodingHintsを備え、
前記BitWrapperEncodingHintsは、
下位エレメントとしてBitWrapperOctreeImageEncodingHintsとBitWrapperPointTextureEncodingHintsとを含み、前記各下位エレメントはsourceFormatとtargetFormatのうち、少なくとも１つを下位エレメントとして含む
ことを特徴する請求項７に記載のDIBRデータのためのXMTスキーマ。
前記スクリプトファイル（muxファイル）でMuxinfoに必要な情報は、
前記DIBR圧縮ビットストリームファイル名及びビットストリーム圧縮フォーマットを含むことを特徴とする請求項９に記載のDIBRデータのためのXMTスキーマ。
さらに、CompressedImageFormatスキーマを備え、
前記CompressedImageFormatスキーマは、
DIBR関連ノードが圧縮されたイメージ（JPEG、PNG）、または動画像(MPEG4-Video、VTCを含む)を含んでいる時、前記圧縮された情報について復号化時に必要な情報(圧縮されたファイル名とストリームフォーマット)を知らせるのに用いられ、
ElementnameがCompressedImageFormatであり、subelementのnameとしてJPEGとPNGとMPEG4-VideoとVTCとを含み、前記subelementそれぞれはSourceFormatまたはtargetFormatを含んでおり、
前記sourceFormatまたはtargetFormatはparamを含んでおり、前記paramにファイル名が保存されることを特徴とする請求項１ないし４のうち何れか１項に記載のDIBRデータ圧縮のためのXMTスキーマ。
DIBRデータのためのスキーマを用いてDIBRデータを含むXMT入力ファイルをパージングするためのスタイルシートにおいて、
DIBRデータのためのシーンファイルを生成するためのXMT2BIFSスタイルシートと、
DIBRデータのためのmuxファイルを生成するためのXMT2MUXスタイルシートと、を含むことを特徴とするDIBRデータのためのスタイルシート。
前記XMT2BIFSスタイルシートは、
所定のテンプレートにBitWrapperテンプレートを呼び出しできるように宣言された状態で、XMTファイルでBitWrapperがマッチングされれば、'BitWrapper['をシーンファイルに出力して、
ノードがパージングされれば、所定のノードテンプレートを行い、
圧縮するノードのDIBRエンコーディングパラメータのうち、PointTextureEncodingParameterがパージングされれば、所定のPointTextureEncodingParameterテンプレートを行い、
type、buffer、urlがパージングされれば、前記type、buffer、url及びその値をシーンファイルに出力し、
]をシーンファイルに出力することを特徴とする請求項１２に記載のDIBRデータのためのスタイルシート。
前記ノードテンプレートは、
ノードがマッチングされれば、ノードをシーンファイルに出力し、PointTextureがパージングされれば、所定のPointTextureテンプレートを行い、OctreeImageがパージングされれば、所定のOctreeImageテンプレートを行うことを特徴とする請求項１３に記載のDIBRデータのためのスタイルシート。
前記PointTextureテンプレートは、
PointTextureがマッチングされれば、'PointTexture['をシーンファイルに出力し、
width、height、depthNbBits、depth、colorをパージングし、前記width、height、depthNbBits、depth[]、color[]及びその値をシーンファイルに出力し、
]をシーンファイルに出力することを特徴とする請求項１４に記載のDIBRデータのためのスタイルシート。
SimpleTexutureがマッチングされれば、'SimpleTexture['をシーンファイルに出力し、depthがパージングされれば、所定のdepthテンプレートを行い、textureがパージングされれば、所定のtextureテンプレートを行い、]をシーンファイルに出力するsimpleTextureテンプレートをさらに備えることを特徴とする請求項１２に記載のDIBRデータのためのスタイルシート。
前記depthテンプレートは、
depthがマッチングされれば、depthをシーンファイルに出力し、CompositeTexture2Dがパージングされれば、所定のCompositeTexture2Dテンプレートを行い、CompositTexutre3Dがパージングされれば、所定のCompositTexutre3Dテンプレートを行い、ImageTextureがパージングされれば、所定のImageTextureテンプレートを行い、MovieTextureがパージングされれば、所定のMovieTextureテンプレートを行い、PixelTextureがパージングされれば、所定のPixelTextureテンプレートを行い、ProtoInstanceがパージングされれば、所定のProtoInstanceテンプレートを行うことを特徴とする請求項１６に記載のDIBRデータのためのスタイルシート。
DepthImageがマッチングされれば、'DepthImage['をシーンファイルに出力し、
diTextureが存在すれば、diTextureをシーンファイルに出力し、所定のdiTextureテンプレートを行い、
fieldOfView、nearPlane、farPlane、orientation、position、orthographicをパージングし、前記fieldOfView、nearPlane、farPlane、orientation、position、orthographic及びその値をシーンファイルに出力し、
]をシーンファイルに出力するDepthImageテンプレートをさらに備えることを特徴とする請求項１２に記載のDIBRデータのためのスタイルシート。
diTextureがマッチングされた後、SimpleTextureがパージングされれば、所定のSimpleTextureテンプレートを行い、
PointTextureがパージングされれば、所定のPointTextureテンプレートを行うdiTextureテンプレートをさらに備えることを特徴とする請求項１２に記載のDIBRデータのためのスタイルシート。
前記OctreeImageテンプレートは、
OctreeImageがマッチングされれば、'OctreeImage['をシーンファイルに出力し、
octreeResolution、octree、voxelImageIndexをパージングし、前記octreeResolution、octree[]、voxelImageIndex[]及びその値をシーンファイルに出力し、
imagesをパージングし、images[]をシーンファイルに出力し、所定のimagesテンプレートを行い、
]をシーンファイルに出力することを特徴とする請求項１４に記載のDIBRデータのためのスタイルシート。
前記imagesテンプレートは、
imagesがマッチングされれば、所定のDepthImageテンプレートを行うことを特徴とする請求項２０に記載のDIBRデータのためのスタイルシート。
前記PointTextureEncodingParameterテンプレートは、
PointTextureEncodingParameterがマッチングされれば、シーンファイルにPointTextureEncodingParameter[を出力し、
codingPercentがパージングされれば、condingPercent及びその値をシーンファイルに出力し、
]をシーンファイルに出力することを特徴とする請求項１３に記載のDIBRデータのためのスタイルシート。
前記XMT2BIFSスタイルシートは、
XMTファイルで/がマッチングされた後、Body/*がパージングされれば、前記Body下位のテンプレートを行い、Header/*がパージングされれば、Header下位のテンプレートを行うことを特徴とする請求項１２に記載のDIBRデータのためのスタイルシート。
前記XMT2BIFSスタイルシートは、
XMTファイルでObjectDescriptorUpdateがマッチングされれば、UPDATE OD[をシーンファイルに出力し、
ODがマッチングされた後、ObjectDescriptorがパージングされれば、所定のObjectDescriptorテンプレートを行い、InitialObjectDescriptorがパージングされれば、所定のInitialObjectDescriptorテンプレートを行い、
]をシーンファイルに出力することを特徴とする請求項１２に記載のDIBRデータのためのスタイルシート。
前記ObjectDescriptorテンプレートは、
ObjectDescriptorがマッチングされれば、ObjectDescriptor[をシーンファイルに出力し、attribute名がobjectDescriptorIDであることをパージングして、objectDescriptorIDをシーンファイルに出力し、attribute名がbinaryIDであることをパージングし、その値をシーンファイルに出力し、Descrをパージングして所定のDescrテンプレートを行い、
]をシーンファイルに出力することを特徴とする請求項２４に記載のDIBRデータのためのスタイルシート。
前記InitialObjectDescriptorテンプレートは、
InitialObjectDescriptorがマッチングされ、Profilesがパージングされれば、所定のProfilesテンプレートを行い、Descrがパージングされれば、所定のDescrテンプレートを行うことを特徴とする請求項２４に記載のDIBRデータのためのスタイルシート。
前記Descrテンプレートは、
Descrがマッチングされ、esDescrがパージングされれば、所定のesDescrテンプレートを行い、ipmpDescrPtrがパージングされれば、所定のipmpDescrテンプレートを行うことを特徴とする請求項２６に記載のDIBRデータのためのスタイルシート。
前記esDescrテンプレートは、
esDescrがマッチングされ、ES＿Descriptorがパージングされれば、所定のES＿Descriptorテンプレートを行うことを特徴とする請求項２７に記載のDIBRデータのためのスタイルシート。
前記ipmpDescrPtrテンプレートは、
ipmpDescrPtrがマッチングされ、IPMP＿Descriptorがパージングされれば、所定のIPMPDescriptorテンプレートを行い、IPMP＿DescriptorPointerがパージングされれば、所定のIPMP＿DescriptorPointerテンプレートを行うことを特徴とする請求項２７に記載のDIBRデータのためのスタイルシート。
前記ES＿Descriptorテンプレートは、
ES＿Descriptorがマッチングされ、URLがパージングされれば、所定のURLテンプレートを行い、StreamSourcerがパージングされれば、所定のStreamSourcerテンプレートを行い、
decConfigDescrがパージングされれば、所定のdecConfigDescrテンプレートを行い、
slConfigDescrがパージングされれば、所定のslConfigDescrテンプレートを行い、
ipiPtrがパージングされれば、所定のipiPtrテンプレートを行い、
ipIDsがパージングされれば、所定のipIDsテンプレートを行い、
ipmpDescrPtrがパージングされれば、所定のipmpDescrPtrテンプレートを行い、
langDescrがパージングされれば、所定のlangDescrテンプレートを行い、
regDescrがパージングされれば、所定のregDescrテンプレートを行い、
qosDescrがパージングされれば、所定のqosDescrテンプレートを行うことを特徴とする請求項２８に記載のDIBRデータのためのスタイルシート。
前記XMT2BIFSスタイルシートは、
XMTファイルでStreamSourceがマッチングされれば、StreamSource1テンプレートを呼び出し、
前記StreamSource1テンプレートは、
CompressedImageFormatがパージングされれば、muxSrcipt及びファイル名及びmuxファイルの拡張子をシーンファイルに出力し、
BitWrapperEncodingHintsがパージングされれば、muxScript及びファイル名及びmuxファイルの拡張子をシーンファイルに出力することを特徴とする請求項１２に記載のDIBRデータのためのスタイルシート。
前記XMT2MUXスタイルシートは、
XMTファイルで/がマッチングされた後、Body/*がパージングされれば、Bodyの下位テンプレートを行い、Header/*がパージングされれば、Headerの下位テンプレートを行うことを特徴とする請求項１２に記載のDIBRデータのためのスタイルシート。
前記XMT2MUXスタイルシートは、
XMTファイルでObjectDescriptorUpdateまたはInitialObjectDescriptorとマッチングされれば、テンプレート名をOdidsが（？）、objectDescriptorIDを前記ODidsの値として使用し、前記マッチングされたObjectDescriptorUpdateテンプレートまたはInitialObjectDescriptorテンプレートを呼び出すことを特徴とする請求項１２に記載のDIBRデータのためのスタイルシート。
前記ObjectDescriptorUpdateテンプレートは、
XMTファイルでObjectDescriptorUpdateがマッチングされる場合、ODテンプレートを呼び出し、前記ODテンプレートでODがマッチングされれば、前記ODはObjectDescriptorテンプレートを呼び出すことを特徴とする請求項３３に記載のDIBRデータのためのスタイルシート。
前記XMT2MUXスタイルシートは、
所定の上位テンプレートでdecConfigDescrまたはslConfigDescrがマッチングされれば、各々呼び出されるdecConfigDescrテンプレート及びslConfigDescrテンプレートを備えることを特徴とし、
前記decConfigDescrテンプレートは、
decConfigDescrがマッチングされれば、decConfigDescrDecoderConfigDescriptor[をmuxファイルに出力し、DecoderConfigDescriptorテンプレートを呼び出し、]をmuxファイルに出力し、
前記slConfigDescrテンプレートは、
slConfigDescrがマッチングされれば、slConfigDescrSLConfigDescriptor[をmuxファイルに出力し、SLConfigDescriptorテンプレートを呼び出し、]をmuxファイルに出力する、請求項１２に記載のDIBRデータのためのスタイルシート。
前記XMT2MUXスタイルシートは、
AFXConfigテンプレート及びDecoderConfigDescriptorテンプレートを含む復号化情報スタイルシートをさらに備えることを特徴とし、
前記DecoderConfigDescriptorテンプレートは、
復号化時に必要な情報を有するDecoderConfigDescriptorノード内のdecSpecificInfoノード内でエレメント名としてAFXconfigを宣言し、
decSpecificInfoがマッチングされた後、AFXConfigがパージングされればAFXConfigテンプレートを呼び出すことを特徴とする請求項１２に記載のDIBRデータのためのスタイルシート。
前記AFXConfigテンプレートは、
AFXConfigがマッチングされれば、decSpecificInfoAFXConfig[をmuxファイルに出力するように規定し、OctreeImageDecoderSpecificがパージングされれば、OctreeImageDecoderSpecificテンプレートを呼び出し、PointTextureCompDecoderSpecificがパージングされれば、PointTextureCompDecoderSpecificテンプレートを呼び出し、
]をmuxファイルに出力することを特徴とする請求項３６に記載のDIBRデータのためのスタイルシート。
前記OctreeImageDecoderSpecificテンプレートは、
OctreeImageDecoderSpecificがマッチングされれば、前記OctreeImageDecoderSpecific[]をmuxファイルに出力することを特徴とする請求項３７に記載のDIBRデータのためのスタイルシート。
前記PointTextureCompDecoderSpecificテンプレートは、
PointTextureCompDecoderSpecificがマッチングされれば、前記PointTextureCompDecoderSpecific[]をmuxファイルに出力することを特徴とする請求項３７に記載のDIBRデータのためのスタイルシート。
前記XMT2MUXスタイルシートは、
XMTファイルでStreamSourceがマッチングされれば、muxInfoMuxInfo[fileNameを出力し、
urlがマッチングされれば、url値をmuxファイルに出力し、
urlがマッチングされていなければ、EncodingHints、BIFSEncodingHints、FBAEncodingHints、BitWrapperEncodingHints、CompressedImageFormatのうち何れか１つがパージングされれば、それに相応するEncodingHintsテンプレート、BIFSEncodingHintsテンプレート、FBAEncodingHintsテンプレート、BitWrapperEncodingHintsテンプレート、CompressedImageFormatテンプレートのうち何れか１つを呼び出すが、EncodingHints、BitWrapperEncodingHints、CompressedImageFormatでなければ、streamFormatBIFSを出力し、
]がパージングされれば、前記]をmuxファイルに出力することを特徴とする請求項１２に記載のDIBRデータのためのスタイルシート。
CompressedImageFormatがパージングされた後、JPEGまたはPNGまたはMPEG4-VideoまたはVTCのうち何れか１つがパージングされれば、それに相応するJPEGテンプレートまたはPNGテンプレートまたはMPEG4-VideoテンプレートまたはVTCテンプレートのうち何れか１つを呼び出すことを特徴とする請求項４０に記載のDIBRデータのためのスタイルシート。
JPEGテンプレートが呼び出されてマッチングされれば、sourceFormatテンプレートまたはtargetFormatテンプレートを呼び出し、streamFormatJPEGを出力し、
PNGテンプレートが呼び出されてマッチングされれば、sourceFormatテンプレートまたはtargetFormatテンプレートを呼び出し、streamFormatPNGを出力し、
MPEG4-Videoテンプレートが呼び出されてマッチングされれば、sourceFormatテンプレートまたはtargetFormatテンプレートを呼び出し、streamFormatMPEG4-Videoを出力し、
VTCテンプレートが呼び出されてマッチングされれば、sourceFormatテンプレートまたはtargetFormatテンプレートを呼び出し、streamFormatVTCを出力し、
前記sourceFormatテンプレートとtargetFormatテンプレートは、
paramテンプレートを呼び出し、paramテンプレートはファイル名を値として出力することを特徴とする請求項４１に記載のDIBRデータのためのスタイルシート。
前記BitWrapperEncodingHintsテンプレートは、
BitWrapperEncodingHintsがマッチングされた後、BitWrapperOctreeImageEncodingHintsがパージングされれば、BitWrapperOctreeImageEncodingHintsテンプレートを呼び出し、BitWrapperPointTextureEncodingHintsがパージングされれば、BitWrapperPointTextureEncodingHintsテンプレートを呼び出すことを特徴とする請求項４０に記載のDIBRデータのためのスタイルシート。
前記BitWrapperOctreeImageEncodingHintsテンプレートは、
BitWrapperOctreeImageEncodingHintsがマッチングされた後、sourceFormatがパージングされれば、sourceFormatテンプレートを呼び出し、targetFormatがパージングされれば、targetFormatテンプレートを呼び出し、streamFormatOctreeImageCompressionをmuxファイルに出力し、
前記BitWrapperPointTextureEncodingHintsテンプレートは、
BitWrapperPointTextureEncodingHintsがマッチングされた後、sourceFormatがパージングされれば、sourceFormatテンプレートを呼び出し、targetFormatがパージングされれば、targetFormatテンプレートを呼び出し、streamFormatPointTextureCompressionをmuxファイルに出力することを特徴とする請求項４３に記載のDIBRデータのためのスタイルシート。
前記sourceFormatテンプレート及びtargetFormatテンプレートは、
paramがパージングされれば、paramテンプレートを呼び出し、前記paramテンプレートでファイル名を値として出力することを特徴とする請求項４４に記載のDIBRデータのためのスタイルシート。
請求項１ないし45のうち何れか１項に記載の発明を記録したコンピュータ可読記録媒体。