JP2001069457A

JP2001069457A - データ処理方法及びその装置

Info

Publication number: JP2001069457A
Application number: JP24172099A
Authority: JP
Inventors: Satoshi Wakao; 聡若尾; Keiichi Iwamura; 恵市岩村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-08-27
Filing date: 1999-08-27
Publication date: 2001-03-16

Abstract

(57)【要約】【課題】オブジェクトデータに含まれる制御情報と固
有情報とを用いて、そのオブジェクトデータの再生制御
を行い、特にオブジェクトデータの復号前に電子透かし
を抽出することにより、再生すべきでないオブジェクト
データが事前に再生されてしまうのを防止する。【解決手段】それぞれ所定の情報を有する複数のオブ
ジェクトストリームを含むデータストリームを受信し、
デマルチプレクサ１０２により各オブジェクトストリー
ムに分離するとともに、そのデータストリームに含まれ
るＩＰＭＰ情報１２０を抽出してＩＰＭＰ制御部１１４
に送る。このＩＰＭＰ制御部１１４は、各オブジェクト
ストリームに対応して設けられた透かし抽出部１０７〜
１０９からの電子透かしを含む制御情報１２１を入力
し、ＩＰＭＰ情報とこの電子透かしをもとに、そのオブ
ジェクトストリームを復号するかどうかを判定し、その
判定結果をもとに、対応する復号部１１１〜１１３にお
けるオブジェクトストリームの再生処理の可否を決定す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はデータ処理方法及び
装置に関し、複数のオブジェクトストリームから情報を
再生するデータ処理方法及びその装置に関するものであ
る。

【０００２】

【従来の技術】近年、動画像や音声などのデータを符号
化し、それぞれの符号化データをオブジェクトとして扱
い、これら所謂マルチメディアデータを組み合わせて単
一のビットストリームとして伝送する手法として、ＩＳ
ＯにてＭＰＥＧ−４(Moving Picture Experts Group Ph
ase 4)が標準化されつつある。このＭＰＥＧ−４の受信
側（再生側）においては、例えば音声と動画シーンとを
関連付けて再生する。このようなＭＰＥＧ−４システム
においては、データがオブジェクトとして扱われるとい
う特性のために、受信したビットストリームをオブジェ
クト毎に１つ１つバラバラにして容易に再編成すること
ができる。ここで、各オブジェクトに著作権が存在する
場合、その著作権保護を行うために、データの全体又は
その一部に対して使用制限を行う必要がある。

【０００３】上述したようなＭＰＥＧ−４のデータスト
リームにおいては、これまでの一般的なマルチメディア
ストリームとは異なり、いくつものビデオシーンやビデ
オオブジェクトを単一のストリーム上で独立して送受信
する機能を有している。また音声についても同様に、い
くつものオブジェクトを単一のストリーム上で独立して
送受信する機能をも有する。

【０００４】これらのオブジェクトを合成し、あるシー
ンを合成するための情報としてＶＲＭＬを修正したＢＩ
ＦＳ(Binary Format For Scenes)が存在する。このＢＩ
ＦＳは、シーンが２値で記述されているもので、このＢ
ＩＦＳに従ってシーンが合成される。

【０００５】このような、シーンの合成に必要な個々の
オブジェクトは夫々、個別に最適な符号化が行われて送
信されることになるので、復号（受信）側でも、各オブ
ジェクトは個別に復号される。こうして復号された各オ
ブジェクトは、ＢＩＦＳの記述に従って個々のデータの
持つ時間軸を再生機内部の時間軸に同期させてシーンを
合成して出力することになる。

【０００６】このように、ＭＰＧＥ−４再生機では、複
数のオブジェクトを合成するので、いずれかのオブジェ
クトに著作権が存在する場合には、そのオブジェクトの
使用制限を行う必要が生じる。

【０００７】一般的に、著作権保護のためには、送信側
において送信データに暗号処理を行うか、又は電子透か
しを挿入するといった処理を実行し、受信側、即ち、再
生機において、その著作権に対して正当な対価を支払っ
た場合にのみ、その暗号化されたデータを復号するため
に必要となる情報等を入手して受信したデータを復号
し、動画像、音声等のデータを再生することが行われて
いる。

【０００８】また、電子透かしを用いたＭＰＥＧ−４に
おける著作権保護の方法として以下の方式が考えられ
る。この方法では、それぞれ所定の情報を有する複数の
オブジェクトストリームを含むデータストリームから各
オブジェクトストリームを分離し、動画データを復号す
るためのビデオデコーダを起動する。次に、このビデオ
デコーダにより動画データが復号されるとともに、電子
透かしとして埋め込まれている著作権情報が抽出され
て、知的財産を保護するための管理ストリーム中のデー
タとの間で認証作業を行う。この認証作業の結果、“再
生許可”の場合にはそのビデオデコーダに対して動作開
始／継続の命令が発行される。これにより、復号された
動画像データがシーン合成回路に供給されて動画像デー
タの視聴が可能になる。

【０００９】一方、その認証作業の結果が“再生不許
可”の場合には、そのビデオデコーダに対して動作停
止、又はビデオデコーダへのデータの転送停止命令が発
行されるので、復号された動画像データがシーン合成回
路に供給されなくなり、その動画像の視聴ができなくな
る。

【００１０】

【発明が解決しようとする課題】しかしながら、上記従
来の方式では、オブジェクトストリームのデータに電子
透かしとして埋め込まれた著作権情報は、一旦、そのス
トリームのデータが復号されてしまった後に抽出される
という問題がある。これは一旦復号されることにより、
画像や音声などのデータが再生機のメモリに、暗号等に
より保護されない状態で存在することを意味している。
従って、もし悪意を持った第三者が、このメモリに記憶
されているデータをコピーできる環境にあると、この復
号されたデータが不法にコピーされて望ましくない。し
かしながら、ＭＰＥＧ−４システムにおいては、このよ
うな状況に対処するための具体的な方法については何等
提案されていなかった。

【００１１】本発明は上記従来例に鑑みてなされたもの
で、オブジェクトデータに含まれる制御情報と固有情報
とを用いて、そのオブジェクトデータの再生制御を行う
ことができるデータ処理方法及びその装置を提供するこ
とを目的とする。

【００１２】また本発明の目的は、オブジェクトデータ
の復号前に電子透かしを抽出することにより、再生すべ
きでないオブジェクトデータが事前に再生されてしまう
のを防止できるようにしたデータ処理方法及び装置を提
供することを目的としている。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に本発明のデータ処理装置は以下のような構成を備え
る。即ち、それぞれ所定の情報を有する複数のオブジェ
クトストリームを含むデータストリームを入力する入力
手段と、前記入力手段により入力された前記データスト
リームから複数のオブジェクトストリームのそれぞれを
分離する分離手段と、前記分離手段で分離した前記複数
のオブジェクトストリームのそれぞれを復号する復号手
段と、前記データストリームに含まれる固有情報を抽出
する抽出手段と、制御対象オブジェクトストリームの制
御情報を抽出する制御情報抽出手段と、前記固有情報と
前記制御情報との少なくとも一方に基づいて、前記制御
対象のオブジェクトストリームの再生処理を制御する制
御手段と、を有することを特徴とする。

【００１４】上記目的を達成するために本発明のデータ
処理方法は以下のような工程を備える。即ち、夫々所定
の情報を有する複数のオブジェクトストリームを含むデ
ータストリームから各オブジェクトストリームを分離し
て再生するデータ処理方法であって、前記データストリ
ームに含まれる固有情報を抽出し、制御対象のオブジェ
クトストリームに含まれる制御情報を抽出し、抽出され
た前記固有情報と前記制御情報との少なくとも一方に基
づいて、前記制御対象オブジェクトストリームの再生処
理の可否を判断することを特徴とする。

【００１５】上記目的を達成するために本発明の記憶媒
体は以下のような構成を備える。即ち、夫々所定の情報
を有する複数のオブジェクトストリームを含むデータス
トリームから各オブジェクトストリームを分離して再生
するデータ処理方法を実行するプログラムを記憶したコ
ンピュータにより読取り可能な記憶媒体であって、前記
データストリームに含まれる固有情報を抽出する工程モ
ジュールと、制御対象のオブジェクトストリームに含ま
れる制御情報を抽出する工程モジュールと、抽出された
前記固有情報と前記制御情報との少なくとも一方に基づ
いて、前記制御対象オブジェクトストリームの再生処理
の可否を判断する判断モジュールと、を有することを特
徴とする。

【００１６】

【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。

【００１７】図１は、本発明の実施の形態に係るＭＰＥ
Ｇ−４再生機の概略構成を示すブロック図である。

【００１８】図１において、伝送路１０１は各種ネット
ワーク、コンピュータバス等のデータの伝送路であり、
本実施の形態では、ＭＰＥＧ−４ストリームが入力され
るネットワークを示している。また、本実施の形態にお
ける伝送路１０１は、通信路の意味の他に、ＣＤ−ＲＯ
Ｍ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭといった記録媒体
の再生装置とのインターフェースも意味している。

【００１９】本実施の形態の装置において、伝送路１０
１、即ち、ネットワークから配信されたＭＰＥＧ−４ス
トリームや記録媒体装置から伝送されたＭＰＥＧ−４ス
トリームは、デマルチプレクサ１０２に入力される。こ
こでＭＰＥＧ−４ストリームは、シーン記述データ、動
画オブジェクトデータ、音声オブジェクトデータ、オブ
ジェクト記述データ等に分離された後、それぞれ対応す
るメモリ部１０３〜１０６に入力されて保存される。即
ち、メモリ部１０３にはシーン記述データが、メモリ１
０４には音声オブジェクトデータが、メモリ部１０５に
は動画オブジェクトデータが、メモリ部１０６にはオブ
ジェクト記述データがそれぞれ記憶される。

【００２０】ここで、音声オブジェクトデータは例え
ば、周知のＣＥＬＰ(Code Excited Linear Prediction)
符号化や、変換領域重み付けインターリーブベクトル量
子化(TWINVQ)符号化等の高効率符号化が施されたデータ
であり、動画像オブジェクトデータは例えば、周知のＭ
ＰＥＧ−２やＨ−２６３方式にて高効率符号化が施され
たデータである。

【００２１】メモリ部１０４〜１０６の各オブジェクト
データのそれぞれは、対応する透かし抽出部１０７〜１
０９のそれぞれに入力され、ここで透かしとして埋め込
まれている制御情報が抽出され、その抽出された制御情
報はＩＰＭＰ制御部１１４に入力される。但し、メモリ
部１０３に入力されたシーン記述データは、直接、シー
ン記述復号部１１０に入力される。各透かし抽出部１０
７〜１０９により制御情報が抽出された各オブジェクト
データは、それぞれ対応する復号部１１１〜１１３へ入
力される。これらシーン記述復号部１１０、音声記述復
号部１１１、動画像復号部１１２、オブジェクト記述復
号部１１３のそれぞれにおいて、上述のような高効率符
号化された、シーン記述データ、音声オブジェクトデー
タ、動画像オブジェクトデータ、オブジェクト記述デー
タのそれぞれが復号される。

【００２２】尚、本実施の形態においては、音声オブジ
ェクト、動画像オブジェクト、オブジェクト記述データ
について夫々複数の互いに異なる種類のオブジェクトが
ＭＰＥＧ−４ストリームに内に存在しても復号可能な装
置を仮定しているため、メモリ部１０４〜１０６や復号
部１１１〜１１３は音声用、動画像用、オブジェクト記
述データ用に夫々複数用意されているものとする。

【００２３】そして、復号部１１１〜１１３において夫
々復号された音声オブジェクト、動画像オブジェクト、
オブジェクト記述データは、シーン記述復号部１１０で
復号されたシーン記述データに基づいて、シーン合成部
１１５にて合成／グラフィック処理が行われる。このよ
うにして得られた最終的なデータ列は、ディスプレイや
プリンタ装置といった出力機器１１６に供給されて可視
化されて出力されることになる。

【００２４】ここで、本実施の形態における受信データ
ストリームには、音声或は動画像などのシーンを構成す
る個々のオブジェクトデータに対して、著作権などの保
護のために再生を実行させたり、或は再生を停止させた
りするための制御に必要となる情報であるＩＰＭＰ（In
tellectual Property Management and Protection）情
報と制御情報が含まれている。このうち、ＩＰＭＰ情報
はＩＰＭＰストリームに付加され、制御情報は各オブジ
ェクトストリームに電子透かしとして埋め込まれて伝送
される。

【００２５】ＩＰＭＰ制御部１１４は、デマルチプレク
サ１０２からのＩＰＭＰストリームに含まれるＩＰＭＰ
情報１２０と、透かし抽出部１０７〜１０９からの制御
情報１２１との少なくとも一方に基づき、必要に応じて
制御ポイントにおいてストリームを遮断したり、復号部
１１１〜１１３にアクセスして、復号動作の停止を命令
する。

【００２６】以下、図２を参照して、本実施の形態にお
ける動画オブジェクトデータの処理を説明する。

【００２７】シーン記述データ、動画オブジェクトデー
タ、音声オブジェクトデータ、オブジェクト記述デー
タ、ＩＰＭＰデータ等から構成されるＭＰＥＧ−４スト
リームは、デマルチプレクサ１０２にて各オブジェクト
データに分離される。このうち、動画オブジェクトデー
タはメモリ部１０５に入力された後、透かし抽出部１０
８に入力される。著作権を有するオブジェクトデータに
は予め制御情報が電子透かしとして埋め込まれている場
合があり、このような場合には、この透かし抽出部１０
８にて、その制御情報が抽出される。この制御情報は、
オブジェクトデータの著作権者により設定／付加される
ものである。この抽出された制御情報１２１は、ＩＰＭ
Ｐ制御部１１４の比較／照合部２０３に送られる。一
方、デマルチプレクサ１０２で分離されたＩＰＭＰデー
タは、ＩＰＭＰ制御部１１４のＩＰＭＰメモリ部２０１
に入力されて格納された後、制御情報抽出部２０２にて
固有情報が取り出される。この取出された固有情報は、
ＩＰＭＰデータに含まれて各再生機に送られる情報であ
る。更に、この透かし抽出部１０８からの制御情報１２
１と、抽出した固有情報との比較／照合が比較／照合部
２０３にて行われ、判断情報が生成される。

【００２８】ここで制御情報と固有情報の一方しか存在
しない場合には、その存在している一方の情報を用いて
認証処理が行われてオブジェクトデータの再生の可否が
判断される。こうして判断された判断情報１２２がＩＰ
ＭＰ制御部１１４から出力される。この判断情報１２２
が、再生の許可を意味するデータの場合、及びその認証
結果が再生許可を意味する場合には、動画像復号部１１
２に対して復号処理動作の開始／継続を示す命令が送ら
れる。この命令を受けた動画像復号部１１２は、オブジ
ェクトデータの復号処理動作を開始／継続し、その復号
した復号データをシーン合成部１１５に送る。一方、判
断情報１２２が動画像の再生の不許可を意味するデータ
の場合、及び認証結果が再生不許可を意味する場合に
は、動画像復号部１１２に対して復号処理動作の停止命
令が送られるか、又は制御ポイントにおいてストリーム
の遮断が行われる。このようにすることにより、再生が
許可されなかったオブジェクトデータは復号されること
なく破棄されるので、メモリに著作権を有するデータが
存在することはない。

【００２９】上記では、動画像オブジェクトデータの制
御処理について図２を用いて説明を行ったが、同様な処
理が音声オブジェクトデータをはじめとする各種オブジ
ェクトデータにおいても適用可能である。

【００３０】ここで、ＭＰＥＧストリームへ、ある情報
を透かしとして埋め込み、復号前にその透かし情報を抽
出する方法に関しては、「ＭＰＥＧストリームから検出
可能な動画像電子透かし方式の検討」（１９９９年暗号
と情報セキュリティシンポジュウム）等に詳しい。

【００３１】この方法によると、画像フレームを８×８
のブロック（ＤＣＴブロック）に分割して、その１つを
選択してＤＣＴ（離散コサイン）変換を施し、ＤＣＴ係
数値を算出する。このＤＣＴ変換は、ＭＰＥＧの圧縮ア
ルゴリズムで用いられるものである。そして、ある式に
基づいて、このＤＣＴ係数値を変化させ、逆ＤＣＴ変換
を行って元の画像に戻す。これが画像フレームに透かし
を埋め込む際の処理である。この時の選択したＤＣＴブ
ロックの位置が秘密情報となり、該位置における埋め込
みの有無で透かし情報を表現する。つまり情報ビット
“１”を埋め込む時は、秘密情報が示すＤＣＴブロック
に上記方式にて埋め込みを行う。また情報ビット“０”
を埋め込む時は、その秘密情報が示すＤＣＴブロックに
は埋め込みを行わない。

【００３２】次に、透かしの抽出処理について説明す
る。

【００３３】ＭＰＥＧでは、４つのＤＣＴブロックから
なるマクロブロック（ＭＢ）の単位で符号化及び復号が
行われるので、１つのＭＢには１つの埋め込みＤＣＴブ
ロック（秘密情報が示すＤＣＴブロック）と３つの非埋
め込みＤＣＴブロックが含まれることになる。従って、
埋め込みＤＣＴブロックの係数値と、そうでないＤＣＴ
ブロックの平均値との偏差により埋め込みの有無を判定
する。これにより埋め込みがあった場合には、画像フレ
ームから情報ビット“１”が抽出され、埋め込みが無い
場合には情報ビット“０”が抽出される。

【００３４】このような方式を採用することで、ＭＰＥ
Ｇストリームへ埋め込まれた透かしを復号前に抽出する
ことが可能となる。但し、上記の方式が唯一の方式では
なく、他にも透かしを復号前に抽出する手段は存在す
る。

【００３５】以下、本実施の形態の装置の動作、持にＩ
ＰＭＰ情報を用いた制御動作について図３のフローチャ
ートを用いて説明する。

【００３６】図３は、本実施の形態の再生機が動画像ス
トリームを含むＭＰＥＧ−４ストリームを受信した場合
の動作を説明するためのフローチャートである。

【００３７】まずステップＳ３０１で、再生機はシーン
記述データ、動画オブジェクトデータ、音声オブジェク
トデータ、オブジェクト記述データ、ＩＰＭＰデータ等
から構成されるＭＰＥＧ−４ストリームを受信すると、
デマルチプレクサ１０２で各オブジェクトデータを分離
して、それぞれ対応するメモリ部に格納する。

【００３８】次にステップＳ３０２に進み、動画像用の
メモリ部１０５にオブジェクトデータが存在するかを調
べて、存在する場合にはステップＳ３０３に進み、存在
しない場合には処理を終了する。ステップＳ３０３で
は、デマルチプレクサ１０２から取得したＩＰＭＰデー
タに従い、制御情報が動画像オブジェクトデータに電子
透かしとして埋め込まれているかを判断する。この判断
は、ＩＰＭＰデータの形式により判断する。例えばＩＰ
ＭＰデータの最初にあるＩＰＭＰオブジェクトタイプの
記述において、ＩＰＭＰＳ＿Ｔｙｐｅが“０”の場合に
は制御情報が電子透かしとして埋め込まれておらず、ま
たＩＰＭＰＳ＿Ｔｙｐｅが“１”の場合には、制御情報
が電子透かしとして埋め込まれていると判断する。

【００３９】制御情報が電子透かしとして埋め込まれて
いる場合にはステップＳ３０６に進み、埋め込まれてい
る制御情報が抽出される。埋め込まれていない場合（つ
まり制御情報が電子透かし以外の手段で付随している
か、または制御情報が存在しない場合）にはステップＳ
３０４に進み、制御情報が電子透かし以外の形で存在す
るかどうかを判断する。存在すると判断された場合（つ
まり制御情報が電子透かし以外の手段で付随している場
合）にはステップＳ３０７に進み、固有情報が存在する
かどうかを判断し、存在すると判断した場合はステップ
Ｓ３１０に進んで固有情報を取得し、該制御情報と該固
有情報とから判断情報を生成してステップＳ３１４に進
む。また、存在しないと判断された場合はステップＳ３
１１に進み、制御情報のみで認証処理を行ってステップ
Ｓ３１４に進む。

【００４０】またステップＳ３０４で、制御情報が存在
しないと判断された場合にはステップＳ３０５に進み、
固有情報が存在するかどうかを判断する。固有情報が存
在すると判断された場合にはステップＳ３０８に進んで
固有情報を取得し、その固有情報のみで認証処理を行っ
てステップＳ３１４に進む。またステップＳ３０５で、
固有情報が存在しないと判断された場合は、動画像オブ
ジェクトデータは視聴に制限がない自由なデータである
としてステップＳ３１６へ進み、動画像データの復号が
開始される。

【００４１】また前述のステップＳ３０６で、埋め込ま
れている制御情報が抽出された後、ステップＳ３０９に
進み、固有情報が存在するかどうかを判断する。存在す
ると判断された場合にはステップＳ３１２に進んで、そ
の固有情報を取得する。そしてステップＳ３０６で抽出
された制御情報と、その固有情報とから判断情報を生成
してステップＳ３１４に進む。また一方、ステップＳ３
０９で、固有情報が存在しないと判断された場合にはス
テップＳ３１３に進み、ステップＳ３０６で抽出された
制御情報のみで認証処理を行ってステップＳ３１４に進
む。

【００４２】ステップＳ３１４では、上記各ステップで
生成した判断情報が再生許可を表すものであるか否か、
また上記の各ステップでの認証処理結果が再生許可を示
しているかどうかを判断し、再生許可を表す情報の場合
にはステップＳ３１６に進み、そうでない場合にはステ
ップＳ３１５に進む。ステップＳ３１６では、復号部１
１２に対して動画像オブジェクトデータの復号処理動作
の開始／継続命令が送られる。これにより復号部１１２
は、メモリ部１０５に記憶されている動画像オブジェク
トデータに対して復号動作を行い、その復号された動画
像オブジェクトデータをシーン合成部１１５に送り、こ
の後、ステップＳ３０２に戻る。またステップＳ３１４
で再生不許可の場合はステップＳ３１５に進み、復号部
１１２に対してオブジェクトデータの復号処理動作の停
止命令を送出する。これにより復号部１１２は復号動作
を停止し、メモリ部１０５のオブジェクトデータを破棄
してからステップＳ３０２に戻る。

【００４３】以上の処理を繰り返し実行することによ
り、動画像オブジェクトデータの復号・再生が行われ、
もしも動画像オブジェクトデータの再生が許可されなか
った場合には、その動画像オブジェクトデータが復号さ
れることがないので、悪意を持つ第三者が行うデータの
不法コピー等の脅威から著作権を有するデータを守るこ
とが可能になる。

【００４４】尚、上記では、著作権を有する動画像デー
タの場合について説明したが、本実施の形態は、著作権
を有する音声データ、静止画データ等の場合についても
上記と同様の方法が適用できる。

【００４５】また、本実施の形態に係るデータ処理方法
を実現する手段がプログラムとして提供された場合、一
般に音声、動画像、ＩＰＭＰ情報等の各ストリームは夫
々別のスレッドにて処理されるので、これらのスレッド
間で同期を取る必要が生じる。本実施の形態において
は、これらスレッド間の同期をとるために、周知のセマ
フォやイベントフラグといった機構を用いる。

【００４６】次に本実施の形態に係る動作を、図４のタ
イムチャートを用いて説明する。

【００４７】ＩＰＭＰストリームの処理はＩＰＭＰスレ
ッドが行い、動画像復号スレッド、音声復号スレッド等
は、このＩＰＭＰスレッドによって制御される。著作権
を有するストリームの場合には、対応するＩＰＭＰスト
リームが存在するので、ＩＰＭＰスレッドが、このＩＰ
ＭＰストリームを取り込んで固有情報を取得する。更
に、オブジェクトストリームから透かしとして埋め込ま
れている制御情報を抽出して、これらの情報を基にオブ
ジェクトデータの再生の可否を判断する判断情報を生成
する。この判断情報が、このオブジェクトデータの再生
許可を意味する場合には、オブジェクトデータを処理す
るスレッドに対してＩＰＭＰスレッドから起動命令が発
行される。

【００４８】この命令を受けたスレッドは復号処理を行
い、その復号したデータをシーン合成部１１５に送る。
その後、ＩＰＭＰスレッドに処理の終了を通知する。こ
の通知を受けたＩＰＭＰスレッドは、再びオブジェクト
ストリームから透かしとして埋め込まれている制御情報
を抽出し、ＩＰＭＰストリームから固有情報を取得して
判断情報を生成してオブジェクトデータの再生の可否を
判断する判断情報を生成する。そして再生が許可される
場合には、オブジェクトデータを処理するスレッドに対
してＩＰＭＰスレッドから起動命令が発行されて復号処
理が行われる。上記のサイクルが繰り返し行われること
で、オブジェクトデータの継続的な再生処理が行われ
る。

【００４９】上記では、オブジェクトストリームの再生
許可の場合について説明したが、オブジェクトデータ再
生の許可と不許可が入り交じる場合の動作を図５のタイ
ムチャートを用いて説明する。

【００５０】ＩＰＭＰスレッドがＩＰＭＰストリームを
取り込んで固有情報を取得する。更に、オブジェクトス
トリームから透かしとして埋め込まれている制御情報を
抽出して、これらの情報を基にオブジェクトデータの再
生の可否を判断する判断情報を生成する。この判断情報
が、このオブジェクトデータの再生不許可を意味する場
合には、そのオブジェクトデータを処理するスレッドに
対してＩＰＭＰスレッドから停止命令が発行される。こ
の命令を受けたスレッドは停止状態になり、何の処理も
行わない。次にＩＰＭＰスレッドは、停止命令を発行し
た後に、再びＩＰＭＰストリームを取り込み、固有情報
を取得し、更にオブジェクトストリームから透かしとし
て埋め込まれている制御情報を抽出し、これらの情報を
基にオブジェクトデータの再生の可否を判断する判断情
報を生成する。この判断情報が、今度はオブジェクトデ
ータの再生許可に変化した場合、オブジェクトデータを
処理するスレッドに対してＩＰＭＰスレッドから起動命
令が発行される。この起動命令を受けたスレッドは、そ
のオブジェクトデータの復号処理を行い、その復号した
データをシーン合成部１１５に送る。その後、その復号
部からＩＰＭＰスレッドに対して処理の終了を通知す
る。こ終了通知を受けたＩＰＭＰスレッドは、再度ＩＰ
ＭＰストリームを取り込み、固有情報を取得し、さらに
オブジェクトストリームから透かしとして埋め込まれて
いる制御情報を抽出し、これらの情報を基にオブジェク
トデータの再生の可否を判断する判断情報を生成する。
ここで、再び再生不許可の場合には、オブジェクトデー
タを処理するスレッドに対してＩＰＭＰスレッドから停
止命令が発行される。これにより、そのスレッドは何の
処理も行わない。

【００５１】このような動作をすることで、著作権を有
するデータのきめ細かい再生制御が可能になる。

【００５２】なお本発明は、複数の機器（例えばホスト
コンピュータ、インターフェース機器、リーダ、プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機、ファクシミリ装置
など）に適用してもよい。

【００５３】また本発明の目的は、前述した実施形態の
機能を実現するソフトウェアのプログラムコードを記録
した記憶媒体（または記録媒体）を、システムあるいは
装置に供給し、そのシステムあるいは装置のコンピュー
タ（またはCPUやMPU）が記憶媒体に格納されたプログラ
ムコードを読み出し実行することによっても達成され
る。この場合、記憶媒体から読み出されたプログラムコ
ード自体が前述した実施形態の機能を実現することにな
り、そのプログラムコードを記憶した記憶媒体は本発明
を構成することになる。また、コンピュータが読み出し
たプログラムコードを実行することにより、前述した実
施形態の機能が実現されるだけでなく、そのプログラム
コードの指示に基づき、コンピュータ上で稼働している
オペレーティングシステム(OS)などが実際の処理の一部
または全部を行い、その処理によって前述した実施形態
の機能が実現される場合も含まれる。

【００５４】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれる。

【００５５】以上説明したように本実施の形態によれ
ば、それぞれ所定の情報を有する複数のオブジェクトス
トリーム、これら複数のオブジェクトストリームに含ま
れる情報を合成するためのシーン記述情報ストリーム、
更にはシーン記述情報の知的財産を保護するための管理
ストリームを含むデータストリームから各オブジェクト
を分離し、各ストリームを復号すると共に、そのシーン
記述ストリームの情報に基づきこれらを合成して出力す
る装置において、複数のオブジェクトストリーム中の少
なくとも１つについて、その復号の停止及び実行を制御
するに当たり、制御対象のオブジェクトストリームと同
時に送られる情報である制御情報と、知的財産を保護す
るための管理ストリーム中に含まれる固有情報とで生成
される判断情報に基づいて制御し、その制御対象のオブ
ジェクトストリームと同時に送られる制御情報は電子透
かしとして埋め込まれ、その制御対象のオブジェクトス
トリームに埋め込まれた制御情報を抽出してから、その
オブジェクトストリームの復号を行うことを特徴とす
る。これにより、復号処理済のデータが再生機のメモリ
に存在することがなくなり、悪意を持った者がメモリの
データをコピーすることにより著作権が侵害される等の
虞がなくなる。

【００５６】

【発明の効果】以上説明したように本発明によれば、オ
ブジェクトデータに含まれる制御情報と固有情報との少
なくとも一方を用いて、そのオブジェクトデータの再生
制御を行うことができるという効果がある。

【００５７】また本発明によれば、オブジェクトデータ
の復号前に電子透かしを抽出することにより、再生すべ
きでないオブジェクトデータが事前に再生されてしまう
のを防止できるという効果がある。

【図面の簡単な説明】

【図１】本発明の実施の形態に係るデータ処理装置の構
成を示すブロック図である。

【図２】本実施の形態のデータ処理装置における制御動
作を説明するためのブロック図である。

【図３】本実施の形態のデータ処理装置が行う処理の流
れを説明するためのフローチャートである。

【図４】本実施の形態のデータ処理装置が行う制御動作
を説明するためのタイミング図である。

【図５】本実施の形態のデータ処理装置が行う制御動作
を説明するためのタイミング図である。

Claims

【特許請求の範囲】

【請求項１】夫々所定の情報を有する複数のオブジェ
クトストリームを含むデータストリームから各オブジェ
クトストリームを分離して再生するデータ処理方法であ
って、前記データストリームに含まれる固有情報を抽出し、制御対象のオブジェクトストリームに含まれる制御情報
を抽出し、抽出された前記固有情報と制御情報との少なくとも一方
に基づいて、前記制御対象オブジェクトストリームの再
生処理の可否を判断することを特徴とするデータ処理方
法。
【請求項２】前記制御情報は、前記制御対象のオブジ
ェクトストリームに電子透かしとして埋め込まれること
を特徴とする請求項１に記載のデータ処理方法。
【請求項３】前記制御対象のオブジェクトストリーム
の情報は高効率符号化されており、前記制御情報に従っ
て高効率符号化された情報を復号するか否かが決定され
ることを特徴とする請求項１又は２に記載のデータ処理
方法。
【請求項４】前記複数のオブジェクトストリームは、
音声オブジェクトストリーム、静止画像オブジェクトス
トリーム、動画像ストリーム、コンピュータグラフィッ
クストリームのうち少なくとも１つのストリームとオブ
ジェクトとを合成するためのシーン記述情報ストリーム
を含むことを特徴とする請求項１乃至３のいずれか１項
に記載のデータ処理方法。
【請求項５】前記音声オブジェクトストリーム、静止
画像オブジェクトストリーム、動画像ストリーム、コン
ピュータグラフィックストリームの制御を各ストリーム
単位でのマルチスレッド処理の管理により実行すること
を特徴とする請求項４に記載のデータ処理方法。
【請求項６】それぞれ所定の情報を有する複数のオブ
ジェクトストリームと、前記複数のオブジェクトストリ
ームに含まれる情報を合成するためのシーン記述情報ス
トリーム、前記情報の知的財産を保護するための管理ス
トリームを含むデータストリームから各オブジェクトを
分離し、各ストリームを復号すると共に前記シーン記述
ストリームの情報に基づき、これらを合成して出力する
データ処理方法であって、前記データストリームの管理ストリームに含まれる固有
情報を抽出し、制御対象のオブジェクトストリームに電子透かしとして
含まれる制御情報を抽出し、抽出された前記固有情報と制御情報との少なくとも一方
に基づいて、前記制御対象オブジェクトストリームの再
生処理の可否を判断することを特徴とするデータ処理方
法。
【請求項７】それぞれ所定の情報を有する複数のオブ
ジェクトストリームを含むデータストリームを入力する
入力手段と、前記入力手段により入力された前記データストリームか
ら複数のオブジェクトストリームのそれぞれを分離する
分離手段と、前記分離手段で分離した前記複数のオブジェクトストリ
ームのそれぞれを復号する復号手段と、前記データストリームに含まれる固有情報を抽出する抽
出手段と、制御対象オブジェクトストリームの制御情報を抽出する
制御情報抽出手段と、前記固有情報と前記制御情報との少なくとも一方に基づ
いて、前記制御対象のオブジェクトストリームの再生処
理を制御する制御手段と、を有することを特徴とするデ
ータ処理装置。
【請求項８】前記制御対象のオブジェクトストリーム
に含まれる前記制御情報は当該オブジェクトストリーム
に電子透かしとして埋め込まれることを特徴とする請求
項７に記載のデータ処理装置。
【請求項９】前記制御対象のオブジェクトストリーム
は高効率符号化されており、前記制御手段は、高効率符
号化された情報の復号動作を制御することを特徴とする
請求項８に記載のデータ処理装置。
【請求項１０】前記オブジェクトストリームは、合成
のためのシーン記述情報及び音声オブジェクトストリー
ム、静止画像オブジェクトストリーム、動画像ストリー
ム、コンピュータグラフィックストリームのうち少なく
とも１つのストリームを含むことを特徴とする請求項７
乃至９のいずれか１項に記載のデータ処理装置。
【請求項１１】前記制御手段は、前記音声オブジェク
トストリーム、静止画像オブジェクトストリーム、動画
像ストリーム、コンピュータグラフィックストリームの
制御を各ストリーム単位でのマルチスレッド処理の管理
により実行することを特徴とする請求項１０に記載のデ
ータ処理装置。
【請求項１２】それぞれ所定の情報を有する複数のオ
ブジェクトストリームと、前記複数のオブジェクトスト
リームに含まれる情報を合成するためのシーン記述情報
ストリーム、前記情報の知的財産を保護するための管理
ストリームを含むデータストリームから各オブジェクト
を分離し、各ストリームを復号すると共に前記シーン記
述ストリームの情報に基づき、これらを合成して出力す
るデータ処理装置であって、前記データストリームの管理ストリームに含まれる固有
情報を抽出する抽出手段と、制御対象のオブジェクトストリームに電子透かしとして
含まれる制御情報を抽出する制御情報抽出手段と、抽出された前記固有情報と制御情報との少なくとも一方
に基づいて、前記制御対象オブジェクトストリームの再
生処理の可否を判断する制御手段と、を有することを特
徴とするデータ処理装置。
【請求項１３】夫々所定の情報を有する複数のオブジ
ェクトストリームを含むデータストリームから各オブジ
ェクトストリームを分離して再生するデータ処理方法を
実行するプログラムを記憶したコンピュータにより読取
り可能な記憶媒体であって、前記データストリームに含まれる固有情報を抽出する工
程モジュールと、制御対象のオブジェクトストリームに含まれる制御情報
を抽出する工程モジュールと、抽出された前記固有情報と制御情報との少なくとも一方
に基づいて、前記制御対象オブジェクトストリームの再
生処理の可否を判断する判断モジュールと、を有するこ
とを特徴とする記憶媒体。
【請求項１４】前記制御情報は、前記制御対象のオブ
ジェクトストリームに電子透かしとして埋め込まれるこ
とを特徴とする請求項１３に記載の記憶媒体。
【請求項１５】前記制御対象のオブジェクトストリー
ムの情報は高効率符号化されており、前記制御情報に従
って高効率符号化された情報を復号するか否かが決定さ
れることを特徴とする請求項１３又は１４に記載の記憶
媒体。
【請求項１６】前記複数のオブジェクトストリーム
は、音声オブジェクトストリーム、静止画像オブジェク
トストリーム、動画像ストリーム、コンピュータグラフ
ィックストリームのうち少なくとも１つのストリームと
オブジェクトとを合成するためのシーン記述情報ストリ
ームを含むことを特徴とする請求項１３乃至１５のいず
れか１項に記載の記憶媒体。
【請求項１７】前記音声オブジェクトストリーム、静
止画像オブジェクトストリーム、動画像ストリーム、コ
ンピュータグラフィックストリームの制御を各ストリー
ム単位でのマルチスレッド処理の管理により実行するこ
とを特徴とする請求項１６に記載の記憶媒体。
【請求項１８】それぞれ所定の情報を有する複数のオ
ブジェクトストリームと、前記複数のオブジェクトスト
リームに含まれる情報を合成するためのシーン記述情報
ストリーム、前記情報の知的財産を保護するための管理
ストリームを含むデータストリームから各オブジェクト
を分離し、各ストリームを復号すると共に前記シーン記
述ストリームの情報に基づき、これらを合成して出力す
るデータ処理方法を実行するプログラムを記憶したコン
ピュータにより読取り可能な記憶媒体であって、前記データストリームの管理ストリームに含まれる固有
情報を抽出する工程モジュールと、制御対象のオブジェクトストリームに電子透かしとして
含まれる制御情報を抽出する工程モジュールと、抽出された前記固有情報と制御情報との少なくとも一方
に基づいて、前記制御対象オブジェクトストリームの再
生処理の可否を判断する判断モジュールと、を有するこ
とを特徴とする記憶媒体。