JP2000312359A - 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像の著作権保護による画像の再生／停止の
同期を好適に処理する画像処理装置を提供することであ
る。 【解決手段】 複数種の符号化モードを用いて符号化さ
れた画像データと前記画像データを保護するためのセキ
ュリティデータとを入力し、前記セキュリティデータに
基づいて前記符号化された画像データの再生が許可か否
かを判断し、前記符号化された画像データの符号化モー
ドを同期制御部に入力し、前記判断結果と前記入力結果
とに応じて前記符号化された画像データの同期を調整す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置及び
方法、画像処理プログラムが記録されたコンピュータ可
読記録媒体に関し、特に画像の著作権保護を行うための
画像処理に関するものである。

【０００２】

【従来の技術】近年、動画像符号化技術の標準化が急速
に進んでいる。ＭＰＥＧ−１，２やＨ．２６１，Ｈ．２
６３（これらの符号化方式はＩＳＯ（Ｉｎｔｅｒｎａｔ
ｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔ
ａｎｄａｒｄｉｚａｔｉｏｎ：国際標準化機構）やＩＴ
Ｕ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕ
ｎｉｃａｔｉｏｎ Ｕｎｉｏｎ：国際電気通信連合）に
よって国際標準化されている）といった符号化の標準が
制定されており、さらにコンピュータ・放送・通信など
多くの領域で利用できる、汎用的な次世代マルチメディ
ア符号化規格としてＭＰＥＧ−４の国際標準化作業が進
められている。上記符号化技術によって画像のディジタ
ル化が進み、動画像データの蓄積、通信を急速に発展さ
せた。

【０００３】例えばＭＰＥＧ−４においては、例えばあ
る瞬間の動画シーンを、その構成要素である「人」「自
動車」「背景」「音楽」「ビデオ」などのオブジェクト
毎の集合体と考え、各オブジェクト毎に適応的な符号化
処理を行って動画像データを高能率に符号化する。

【０００４】ＭＰＥＧ−４のようなマルチオブジェクト
符号化技術においては、圧縮符号化された各オブジェク
トの組み合わせ方で１つのシーンが表現される。従っ
て、あるＭＰＥＧ−４データに他のＭＰＥＧ−４データ
からのオブジェクトデータを再利用して別のシーンを容
易に表現することが可能である。

【０００５】上述したようなディジタル符号化規格の普
及に伴い、コンテンツ業界からは著作権保護の問題が強
く提起されるようになってきた。即ち、著作権が保護さ
れることが十分に保証されていない規格に対しては、安
心して優良なコンテンツを提供することができない、と
いう問題が生じている。

【０００６】ＭＰＥＧ−４ではこの問題は深刻である。
何故ならば上述したようにＭＰＥＧ−４ではオブジェク
ト別に符号化され、操作／加工することが可能であるか
らである。従って、ＭＰＥＧ−４のようなマルチオブジ
ェクト符号化では、オブジェクト単位の知的所有権保護
は円滑な各オブジェクト再利用の観点から当然の要求と
なり、また、その対象が人等であった場合、肖像権の保
護も必要となってきている。

【０００７】そこで、動画像の一部の著作権を保護する
ために、動画像の一部を再生させないために動画像の復
号を一時的に停止させる方法が考えられる。動画像での
肖像権が著作権を考えた時、それらが関係する部分の復
号を停止させ、関係する部分が終了した後、復号を再開
する方式である。

【０００８】

【発明が解決しようとする課題】しかしながら、以下の
ような問題が発生する。

【０００９】動画像の符号化方式ではフレーム間相関を
利用した符号化が一般的に用いられる。前述のＨ．２６
１，Ｈ．２６３やＭＰＥＧ−１，２さらにはＭＰＥＧ−
４といった符号化方式が有名である。これらの符号化方
式では基本的に時間的に前のフレーム或いは前後のフレ
ームを参照し、動き補償を行って符号化を行っている。

【００１０】図１４にＨ．２６１，Ｈ．２６３等の再生
の様子を示す。Ｉ＊はフレーム内符号化（イントラ（ｉ
ｎｔｒａ）符号化）を行うフレームを、Ｐ＊フレーム間
符号化（インター（ｉｎｔｅｒ）符号化）するフレーム
を表わしている。図１４中で時刻は時間の流れる方向、
Ｓｅｃｕｒｉｔｙは復号化処理を止める期間を黒帯で示
し、符号は符号化処理順の画面の並びを示し、表示は表
示順の画面の並びを示す。

【００１１】今、Ｐ₄ からＰ₉ の期間に対して著作権の
保護（Ｓｅｃｕｒｉｔｙ）する目的で復号が停止された
とする。動画像の復号がＰ₃ で停止し、以後復号が再開
されるまで画像が表示されない状態となる。復号の停止
と同時に、バッファへの符号化データの書き込みも停止
するため、Ｐ₄ からＰ₉ の符号化データは廃棄される。
そのため、Ｐ₁₀からの復号を開始すると本来Ｐ₁₀が参照
すべきＰ₉ は廃棄されているので、Ｐ₁₀以降の復号処理
が正常に行われず、フレーム内符号化が行われているＩ
₁ が復号されるまでのＰ₁₀からＰ₁₃のフレームの画像が
乱れたり、或いは復号動作が中断してしまう。

【００１２】また、Ｂフレームを含む場合も同様であ
り、再生禁止のフレームを参照するフレーム、さらにそ
れらを参照するフレームに大きな劣化を生じてしまう。

【００１３】また、フレームは基準になるフレームから
のフレーム枚数で時刻を記述する為、基準フレームとの
関係が絶たれてしまい、復号されたフレームがどの時刻
に表示するのが適切かも不明確になってしまう。

【００１４】従って、本発明は前記課題を考慮して画像
の著作権保護による画像の再生／停止を好適に処理する
画像処理装置及び方法並びに画像処理プログラムが記録
されたコンピュータ可読記録媒体を提供することを目的
としている。

【００１５】

【課題を解決するための手段】本発明の画像処理装置
は、複数種の符号化データを用いて符号化された画像デ
ータと、前記画像データを保護するためのセキュリティ
データとを入力する入力手段と、前記セキュリティデー
タに基づいて前記符号化された画像データの再生が許可
か否かを判断する判断手段と、前記符号化された画像デ
ータの符号化モードを判定する符号化モード判定手段
と、前記符号化された画像データを復号化する画像復号
化手段と、前記判断手段と前記符号化モード判定手段と
の出力に応じて、前記復号化された画像データの同期を
制御する同期制御手段とを有することを特徴とする。

【００１６】また、本発明の画像処理方法は、複数種の
符号化データを用いて符号化された画像データと、前記
画像データを保護するためのセキュリティデータとを入
力し、前記セキュリティデータに基づいて前記符号化さ
れた画像データの再生が許可か否かを判断し、前記符号
化された画像データの符号化モードを判定し、前記符号
化された画像データを復号化し、前記判断結果と前記符
号化モード判定結果とに応じて、前記復号化された画像
データの同期を制御することを特徴とする。

【００１７】また、本発明の画像処理プログラムが記録
されたコンピュータ可読記録媒体は、複数種の符号化デ
ータを用いて符号化された画像データと、前記画像デー
タを保護するためのセキュリティデータとを入力する入
力工程の手順コードと、前記セキュリティデータに基づ
いて前記符号化された画像データの再生が許可か否かを
判断する判断工程の手順コードと、前記符号化された画
像データの符号化モードを判定する符号化モード判定工
程の手順コードと、前記符号化された画像データを復号
化する画像復号化工程の手順コードと、前記判断結果と
前記符号化モード判定結果とに応じて、前記復号化され
た画像データの同期を制御する同期制御工程の手順コー
ドとを記録したことを特徴とする。

【００１８】

【発明の実施の形態】〈第１の実施例〉以下、本発明の
第１の実施例を、図面を用いて詳細に説明する。

【００１９】図１は、本発明の第１の実施例としての画
像処理装置の構成を示すブロック図である。

【００２０】図１において、１００１は動画像データを
蓄積している記憶装置である。動画像データはシーン記
述符号、著作権を保護する為の情報を符号化したセキュ
リティ符号化データ、各動画像のビデオ符号化データ、
オーディオ符号化データとで構成されている。

【００２１】ここでシーン記述符号化データについて説
明する。

【００２２】図２は、シーン記述符号化データの構成を
説明する図である。

【００２３】図２において、２００１はシーケンスの先
頭を表すＯＤＵｐｄａｔｅ＿ｔａｇ符号、２００２は各
オブジェクトに関する記述の先頭を表すＥＳＤ＿ｔａｇ
符号、２００３は各符号化データを識別する ＥＳ＿Ｉ
Ｄ符号、２００４は復号するデコーダを指示するＤｅｃ
ＣｏｎｆＤ＿ｔａｇ符号、２００５は続く符号化デー
タの種類を表すｓｔｒｅａｍ Ｔｙｐｅ符号、２００６
はセキュリティ符号化データに関する記述の先頭を表す
ＩＰＭＰＤ＿ｔａｇ符号、２００７はセキュリティの認
証やセキュリティを開始するタイミング等を記述したＩ
ＰＭＰ＿ｄａｔａ符号である。２００８はシーン記述符
号のうちＣＧを生成する為に必要な命令を符号化したＣ
ＧＣｏｍｍａｎｄ符号、２００９はオーディオ符号化デ
ータに関する記述を示すＡｕｄｉｏ Ｄｅｃｏｄｅ符
号、２０１０はビデオ符号化データに関する記述を示す
Ｖｉｄｅｏ Ｄｅｃｏｄｅ符号である。

【００２４】次に、セキュリティ符号化データについて
説明する。

【００２５】図３は、セキュリティ符号化データの構成
を説明する図である。

【００２６】図３において、２０１１はセキュリティ符
号化データの符号長を表すＣｏｄｅＬｅｎｇｔｈ符号、
２０１２は著作権の認証に必要な情報を表すＩｐｃｏｄ
ｅ符号、２０１３は著作権等の保護を開始する時間を示
すＳｅｃｕｒｉｔｙ Ｓｔａｒｔ Ｔｉｍｅの符号、２
０１４は著作権等の保護を解除する時間を示すＳｅｃｕ
ｒｉｔｙ Ｅｎｄ Ｔｉｍｅ符号である。尚、２０１２
〜２０１４の符号はセキュリティをかけたい動画像部分
が分割されて複数あればその組み合わせが複数連続す
る。

【００２７】次に、ビデオ符号化データについて説明す
る。

【００２８】図４は、ビデオ符号化データの構成を説明
する図である。

【００２９】図４において、２０２１はビデオ符号化デ
ータの先頭を表すｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｓｅｑ
ｕｅｎｃｅ＿ｓｔａｒｔ＿ｃｏｄｅ（ＶＳＳＣ）符号、
２０２２は動画像の先頭を表すｖｉｄｅｏ＿ｏｂｊｅｃ
ｔ＿ｌａｙｅｒ＿ｓｔａｒｔ＿ｃｏｄｅ（ＶＯＬＳＣ）
符号、２０２３はＶＯＰ（Ｖｉｄｅｏ ＯｂｊｅｃｔＰ
ｌａｎｅ）を更新する時間の解像度を表すｖｏｐ＿ｔｉ
ｍｅ＿ｉｎｃｒｅｍｅｎｔ＿ｒｅｓｏｌｕｔｉｏｎ符
号，２０２４はＶＯＰの先頭を表すｖｏｐ＿ｓｔａｒｔ
＿ｃｏｄｅ符号、２０２５はＶＯＰの符号化モード、す
なわち、Ｉフレーム／Ｐフレーム／Ｂフレームを表すｖ
ｏｐ＿ｃｏｄｉｎｇ＿ｔｙｐｅ符号、２０２６はフレー
ムの相対的な表示時間を表すｖｏｐ＿ｔｉｍｅ＿ｉｎｃ
ｒｅｍｅｎｔ符号である。

【００３０】本実施例では、動画像符号化データがＭＰ
ＥＧ−４符号化方式で符号化されている場合について説
明する。尚、ＭＰＥＧ−４符号化方式についてはＩＳＯ
／ＩＥＣ１４４９６−２に詳細が記載されているので説
明を省略する。更に説明を容易にするためにフレーム単
位での符号化がなされているものとし、フレーム内符号
化を行うＩフレームとフレーム間相関を用いるＰフレー
ムとから成っているものとする。また、動画像データは
フレーム内符号化のフレームとフレーム間相関を用いた
符号化方式であればどんなものでもよい。もちろんフィ
ールド単位の符号化を用いても構わない。

【００３１】図１の説明に戻り、１００２は通信回路で
あり、ＬＡＮや公衆回線、無線回線、放送電波等で構成
されている。１００３は通信インターフェースであり、
通信回路１００２から動画像データを受信する。

【００３２】１００４は上述したシーン記述符号を復号
するシステム復号部、１００５はセキュリティ符号化デ
ータを復号し、認証データと比較して動画像の再生の停
止と再生の再開を指示するセキュリティ復号部、１００
６は動画像符号化データを復号し、動画像を再生するビ
デオ復号部、１００７はオーディオ符号化データを復号
し、音声・音響を再生するオーディオ復号部、１００８
は各復号結果の同期をとって出力する同期制御部、１０
０９は再生された動画像を表示するモニタである。

【００３３】上記のように構成された装置における動画
像データの処理動作を以下で説明する。

【００３４】操作者は、まず、記憶装置１００１から再
生する動画像データを選択する。選択された動画像デー
タのシーン記述符号化データを読み出し、システム復号
部１００４へ供給する。

【００３５】ここで、システム復号部１００４の詳細を
説明する。

【００３６】図５は、システム復号部１００４の構成を
示すブロック図である。

【００３７】図５において、１５１はシーン記述符号化
データを入力する入力端子、１５２はシーン記述符号化
データを復号するシステム復号器、１５５はビデオ符号
化データの復号の開始等を制御するビデオ復号制御器、
１５６は前記ビデオ復号制御器から出力された制御信号
をビデオ復号部１００６及び同期制御部１００８へ出力
する出力端子である。

【００３８】１５７はオーディオ符号化データの復号の
開始等を制御するオーディオ復号制御器、１５８は前記
オーディオ復号制御器から出力された制御信号をオーデ
ィオ復号部１００７へ出力する出力端子である。

【００３９】１５９はセキュリティ符号化データの復号
の開始等を制御するセキュリティ復号制御器、１６０は
前記セキュリティ復号制御器から出力された制御信号を
セキュリティ復号部１００６及び同期制御部１００８へ
出力する出力端子、１６１はＣＧ生成器、１６２はＣＧ
生成器で生成されたＣＧ画像である。

【００４０】上記のように構成されたシステム復号部１
００４の復号動作を以下で説明する。

【００４１】入力端子１５１から入力されたシーン記述
符号は、システム復号器１５２に入力される。システム
復号器１５２は図２に示す構成の符号化データに対し
て、ＯＤＵｐｄａｔｅ＿ｔａｇ符号２００１を復号し、
シーケンスの先頭を検出する。続いてＥＳＤ＿ｔａｇ符
号２００２を復号し、各オブジェクトに関する記述の先
頭を検出する。次に、ＥＳ＿ＩＤ符号２００３を復号
し、各オブジェクトの符号化データを識別する情報を獲
得する。ＤｅｃＣｏｎｆＤ＿ｔａｇ符号２００４を復号
することによって選択した符号化データをどの復号器で
復号するかを決定する。更に、ｓｔｒｅａｍＴｙｐｅ符
号２００５は続く符号化データがＣＧ符号化データ／セ
キュリティ符号化データ／ビデオ符号化データ／オーデ
ィオ符号化データのいずれであるかを示している。これ
らの結果、復号器を選択し、各復号制御器を動作させ
る。以降、それに続く符号を復号し、各符号化データに
関して記述された情報を獲得する。

【００４２】獲得した情報をビデオ復号制御器１５５、
オーディオ復号制御器１５７、セキュリティ復号制御器
１５９、およびＣＧ生成器１６１に入力する。すなわ
ち、Ｖｉｄｅｏ Ｄｅｃｏｄｅ符号２０１０の復号結果
をビデオ復号制御器１５５に、Ａｕｄｉｏ Ｄｅｃｏｄ
ｅ符号２００９の復号結果をオーディオ復号制御器１５
７、ＩＰＭＰＤ＿ｔａｇ符号２００６、ＩＰＭＰ＿ｄａ
ｔａ符号２００７の復号結果をセキュリティ復号制御器
１５９、およびＣＧＣｏｍｍａｎｄ符号２００８の復号
結果をＣＧ生成器１６１に入力する。これらの記述には
各符号化データの復号等のタイミング、各符号化データ
の格納場所を示すポインタ等が含まれている。

【００４３】ビデオ復号制御器１５５は、Ｖｉｄｅｏ
Ｄｅｃｏｄｅ符号２０１０の復号結果から記憶装置１０
０１に格納されているビデオ符号化データを再生するタ
イミングで読み込み、ビデオ復号部１００６で復号さ
せ、同期を取って表示できるように制御信号を生成し、
記憶装置１００１、同期制御部１００８に出力端子１５
６を介して出力する。

【００４４】オーディオ復号制御器１５７は、Ａｕｄｉ
ｏ Ｄｅｃｏｄｅ符号２００９の復号結果から記憶装置
１００１に格納されているオーディオ符号化データを再
生するタイミングで読み込み、オーディオ復号部１００
７で復号させ、同期を取って再生できるように制御信号
を生成し、記憶装置１００１、同期制御部１００８に出
力端子１５８を介して出力する。

【００４５】セキュリティ復号制御器１５９は、ＩＰＭ
Ｐ＿ｄａｔａ符号２００７の復号結果から記憶装置１０
０１に格納されているセキュリティ符号化データを読み
込み、セキュリティ復号部１００５で復号させるように
制御信号を生成し、記憶装置１００１、セキュリティ復
号部１００５、同期制御部１００８に出力端子１６０を
介して出力する。

【００４６】ＣＧ生成器１６１は、ＣＧＣｏｍｍａｎｄ
符号２００８の復号結果からレタリングによってＣＧ画
像を生成し、そのデータを同期制御部１００８に出力端
子１６２を介して出力すると同時に同期に関する制御信
号を同期制御部１００８に出力する。

【００４７】ここで、セキュリティ復号部１００５の詳
細を説明する。

【００４８】図６は、セキュリティ復号部１００５の構
成を示すブロック図である。

【００４９】図６において、２０１は記憶装置１００１
からセキュリティ符号化データを入力する入力端子、２
０２はセキュリティ復号制御器１５９から制御信号を入
力する入力端子である。

【００５０】２０３はセキュリティ符号化データを復号
し、認証情報、著作権保護を行う時間に関する情報を獲
得するセキュリティ復号器、２０４は認証情報を解析
し、復号を行うか禁止するかを決定するセキュリティ認
証器である。

【００５１】２０５はセキュリティ認証器２０４の決定
に従ってビデオ復号部１００６の制御を行う信号を発生
させるビデオ復号制御信号発生器、２０６はビデオ復号
制御信号発生器２０５で発生した制御信号をビデオ復号
部１００６及び同期制御部１００８に出力する出力端子
である。

【００５２】２０７はセキュリティ認証器２０４の決定
に従ってオーディオ復号部１００６の制御を行う信号を
発生させるオーディオ復号制御信号発生器、２０８はオ
ーディオ復号制御信号発生器２０７で発生した制御信号
をオーディオ復号部１００７に出力する出力端子、２０
９はセキュリティにより復号が禁止されているか否かを
示す制御信号を同期制御部１００８に出力する出力端子
である。

【００５３】上記のように構成されたセキュリティ復号
部１００５の復号動作を以下で説明する。

【００５４】入力端子２０１から入力されたセキュリテ
ィ符号化データは、セキュリティ復号制御器１５９から
制御信号に従い、セキュリティ復号器２０３で復号され
る。図３に示す符号から、Ｃｏｄｅ Ｌｅｎｇｔｈ符号
２０１１を復号し、符号化データの全体量を把握し、著
作権保護を行う各部分について、著作権の認証に必要な
情報を表すＩｐｃｏｄｅ符号２０１２、著作権保護を開
始する時間を示すＳｅｃｕｒｉｔｙ Ｓｔａｒｔ Ｔｉ
ｍｅ符号２０１３、著作権保護を解除する時間を示すＳ
ｅｃｕｒｉｔｙ Ｅｎｄ Ｔｉｍｅ符号２０１４を夫々
復号してセキュリティ情報を獲得する。

【００５５】認証に必要な情報はセキュリティ認証器２
０４に入力される。セキュリティ認証器２０４は予め獲
得されているか操作者が入力した認証情報と比較を行
い、ビデオやオーディオで対象になっている符号化デー
タの復号を許可するか否かを判定する。

【００５６】復号処理を許可する場合にはビデオ復号制
御信号発生器２０５又はオーディオ復号制御信号発生器
２０７に復号許可を知らせる。ビデオ復号制御信号発生
器２０５はセキュリティ認証器２０４からの指示が無い
場合、ビデオ復号部１００６がビデオ符号化データの復
号処理を行うように出力端子２０６からビデオ復号部１
００６へ制御信号を発生させる。オーディオの場合も同
様で、セキュリティ認証器２０４からの指示が無い場
合、オーディオ復号部１００７がオーディオ符号化デー
タの復号処理を行うように出力端子２０８からオーディ
オ復号部１００７へ制御信号を発生する。

【００５７】この時、すでにビデオ復号部１００６がビ
デオ符号化データの復号を行うように制御信号を発生さ
せている場合は、その制御信号をそのまま維持する。

【００５８】一方、復号処理を禁止する場合、セキュリ
ティ認証器２０４は復号処理を禁止する信号をビデオ復
号器制御信号発生器２０５へ出力する。ビデオ復号制御
信号発生器２０５はセキュリティ復号器２０３から入力
された該当する著作権保護を行う時間に関する情報（Ｓ
ｅｃｕｒｉｔｙ Ｓｔａｒｔ Ｔｉｍｅ符号を復号した
情報）から著作権保護を開始する時間になった時、動画
像の復号を停止させる信号を出力端子２０６から出力す
る。

【００５９】また、該当する著作権保護を行う時間に関
する情報（Ｓｅｃｕｒｉｔｙ Ｅｎｄ Ｔｉｍｅ符号を
復号した情報）から著作権保護を終了する時刻に、動画
像の復号を再開させる信号を出力端子２０６から出力す
る。

【００６０】ビデオ復号部１００６は、記憶装置１００
１から動画像符号化データを、セキュリティ復号部１０
０５から制御信号を入力する。

【００６１】ここで、ビデオ復号部１００６の詳細を説
明する。

【００６２】図７は、ビデオ復号部１００６の構成を示
すブロック図である。

【００６３】図７において、１０１は記憶装置１００１
から動画像符号化データを入力する画像データ入力端
子、１０２はセキュリティ復号部１００５から制御信号
を入力する制御信号入力端子である。

【００６４】１０３は入力された動画像符号化データを
格納するバッファ、１０４はバッファ１０３からＭＰＥ
Ｇ−１符号化データを読み出し、符号の内容を表すヘッ
ダ情報と、動き補償を行うための動き補償符号、ＤＣＴ
変換係数を符号化したデータをそれぞれ分離する分離器
である。

【００６５】１０５は分離されたヘッダ情報を復号する
ヘッダ復号器であり、各種スタートコード、画像のサイ
ズ、各フレームの符号化モードを復号して情報を獲得す
る。

【００６６】１０６は動き補償符号を復号し、各マクロ
ブロックの符号化モード、動きベクトル等を復号し、動
き補償に必要な情報を獲得する動き補償復号器、１０７
はテクスチャ復号器であり、符号を復号し、量子化係
数、ＤＣＴ変換係数の量子化結果等を獲得する。

【００６７】１０８は逆量子化・ＩＤＣＴ器であり、量
子化係数、ＤＣＴ変換係数の量子化結果等を入力し、逆
量子化、逆ＤＣＴ変換を行い、画素データ又は動き補償
による誤差データを獲得する。

【００６８】１０９は動き補償結果と前記誤差データを
加算する加算器、１１０は動き補償に必要な参照フレー
ムを格納する参照フレームメモリ、１１１は参照フレー
ムメモリ１１０の内容を動き補償復号器１０６の結果に
したがって動き補償を行う動き補償器である。

【００６９】１１２はヘッダ復号器１０５からフレーム
の符号化モードを検出し、同期制御部１００８に出力す
る出力端子、１１３は同期制御部１００８に復号した動
画像データを出力する出力端子である。

【００７０】１１４はヘッダ復号器１０５からフレーム
の再生時刻に関する情報すなわち、ｖｏｐ＿ｔｉｍｅ＿
ｉｎｃｒｅｍｅｎｔ＿ｒｅｓｏｌｕｔｉｏｎ符号２０２
３、ｖｏｐ＿ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔ符号２０２
６の復号結果に基づく表示時刻に関する情報を獲得し、
出力する端子である。

【００７１】上記のように構成されたビデオ復号部１０
０６における復号化処理を以下で説明する。

【００７２】バッファ１０３は制御信号入力端子１０２
からの制御信号が復号可能を指示している場合、動画像
符号化データを画像データ入力端子１０１から入力し、
その情報を蓄積する。バッファ１０３は制御信号入力端
子１０２からの制御信号が復号禁止を指示している場
合、動画像符号化データの蓄積は行わず、データを読み
捨てる。

【００７３】まず、制御信号が復号可能を指示している
場合の復号動作について説明する。

【００７４】分離器１０４はバッファ１０３から符号化
データを入力し、符号の内容を表すヘッダ情報と、動き
補償を行うための動き補償符号、ＤＣＴ変換係数を符号
化したデータをそれぞれ分離する。

【００７５】ヘッダ復号器１０５は、分離器１０４によ
って分離されたヘッダ情報から各種スタートコード、画
像のサイズ、各フレームの符号化モードを復号して情報
を獲得する。各フレームの符号化モードは端子１１２か
ら、フレームの再生時刻に関する情報は端子１１４から
同期制御部１００８に出力される。

【００７６】動き補償復号器１０６は、分離器１０４に
よって分離された動き補償符号を復号し、各マクロブロ
ックの符号化モード、動きベクトル等を復号し、動き補
償に必要な情報を獲得し、Ｐフレームであればこれらの
情報を動き補償器１１１に出力し、動き補償を行う。

【００７７】テクスチャ復号器１０７は、分離器１０４
によって分離された符号化データを復号して量子化係
数、ＤＣＴ変換係数の量子化結果等を獲得する。その復
号された量子化データは逆量子化・ＩＤＣＴ器１０８に
入力され、画素データ又は動き補償による誤差データを
求める。

【００７８】前記誤差データは、加算器１０９において
動き補償器１１１からの出力データと加算される。動き
補償器１１１は、動き補償復号器１０６からフレーム内
符号を行うマクロブロックであれば値０を、そうでなけ
れば得られた動きベクトルにしたがって、参照フレーム
メモリ１１０から動き補償を行い、参照データを加算器
１０９へ出力する。

【００７９】加算器１０９で求められた画素値は参照フ
レームメモリ１１０及び出力端子１１３へ出力される。

【００８０】次に、制御信号が復号許可から復号禁止を
指示した場合の復号動作について説明する。

【００８１】バッファ１０３は符号の入力を停止させ、
ヘッダ復号器１０５、動き補償復号器１０６、動き補償
器１１１、テクスチャ復号器１０７の動作を停止させ
る。さらに、参照フレームメモリ１１０の更新を禁止す
る。この結果、出力端子１１３からは最後に復号された
フレームの画像データが出力される。

【００８２】次に、制御信号が復号禁止から復号許可を
指示し復号の再開を指示した場合の復号動作について説
明する。

【００８３】バッファ１０３は符号の入力を再開させ、
ヘッダ復号器１０５を動作させる、ヘッダ復号器１０５
は次のスタートコードを検知、判定する。フレームのス
タートコードを認識した場合、フレームモードを復号
し、フレームの符号化モードを同期制御部１００８に出
力する。

【００８４】ヘッダ復号器１０５はフレームの符号化モ
ードがＰフレームであれば、動き補償復号器１０６、動
き補償器１１１、テクスチャ復号器１０７の動作は再開
せず、参照フレームメモリ１１０の更新を禁止した状態
を維持する。

【００８５】また、ヘッダ復号器１０５はフレームの符
号化モードがＩフレームであれば、動き補償復号器１０
６、動き補償器１１１、テクスチャ復号器１０７の動作
を再開させ、参照フレームメモリ１１０の更新を再開す
る。以後、制御信号が復号禁止になるまで、各部の動作
を継続させる。

【００８６】次に、同期制御部１００８の詳細を説明す
る。

【００８７】図８は、同期制御部１００８の構成を示す
ブロック図である。

【００８８】図８において、３０１はビデオ復号器１０
０６からフレームモードを入力する入力端子であり、３
０２は入力されたフレームモードを判定するフレームモ
ード判定器、３０３は同期を取る為のタイマー、３０４
はシステム復号部１００４から同期や合成に関する情報
を入力する端子、３０５はこれらの情報等によって同期
を制御する同期信号制御器である。

【００８９】３０６はビデオ復号部１００６からビデオ
符号化データの復号結果である動画像データを入力する
端子、３０７はシステム復号部１００４のＣＧ生成器１
６１からＣＧ画像データを入力する端子、３０８はオー
ディオ復号部１００７からオーディオ符号化データの復
号結果である音声データを入力する端子である。

【００９０】３０９、３１０、３１１は各データの同期
を調整するためにデータを一時格納するバッファであ
る。バッファ３０９は動画像データを、バッファ３１０
はＣＧ画像データを、バッファ３１１は音声データを格
納する。

【００９１】３１２は動画像データの同期をとって出力
するビデオ同期制御器、３１３はＣＧ画像データの同期
をとって出力するＣＧ同期制御器、３１４は音声データ
の同期をとって出力するオーディオ同期制御器。３１５
はＣＧ画像データと動画像データを合成する合成器、３
１６は合成結果をモニタ１００９に出力する端子、３１
７は再生された音声データをスピーカ１０１０に出力す
る端子である。

【００９２】３１８はビデオ復号部１００６からフレー
ムの再生時刻に関する情報を入力する入力端子、３１９
はセキュリティ復号部１００５から各データに対してセ
キュリティがかけられ復号が禁止されているか否かを入
力する入力端子である。

【００９３】上記のように構成された同期制御部１００
８における同期処理を以下で説明する。端子３０６、３
０７、３０８から入力された動画像データ、ＣＧ画像デ
ータ、音声データはバッファ３０９、３１０、３１１に
順次格納される。同期制御信号制御器３０５はシステム
復号部１００４から各データの再生出力のタイミングお
よび、動画像データに関しては再生時刻をタイマー３０
３と比較してビデオ同期制御器３１２、ＣＧ同期制御器
３１３、オーディオ同期制御器３１４を制御する信号を
生成する。その信号に従ってビデオ同期制御器３１２、
ＣＧ同期制御器３１３、オーディオ同期制御器３１４は
バッファ３０９、３１０、３１１から同期に従ってデー
タを読み出して、出力する。

【００９４】ビデオ同期制御器３１２、ＣＧ同期制御器
３１３から出力された動画像データとＣＧ画像データは
端子３０４から入力された合成に関する情報に従って、
配置又は変形が行われて合成され、画像データとして端
子３１６からモニタ１００９に出力され、表示される。
また、音声データは端子３１７を介してスピーカ１０１
０に出力され、再生される。

【００９５】動画像にセキュリティがかかり、復号が禁
止されると、端子３１９からその状況が入力される。こ
れにより、同期信号制御器３０５は動画像データに関し
て同期を取るのを停止するようにビデオ同期制御器３１
２に指示する。これを受けてビデオ同期制御器３１２は
動画像データの表示を停止する。これにより、ＣＧ画像
データのみが合成器３１５を介して端子３１６から出力
される。

【００９６】動画像のセキュリティが解除され、復号が
再開されると、端子３１９からその状況が入力される。
同期信号制御器３０５はすぐにはビデオ同期制御器３１
２を動作させない。端子３０１から各フレームの符号化
モードを入力し、フレームモードの判定を行う。フレー
ムモードがＩフレームになるまで、動作させない状態を
継続する。Ｉフレームが入力されたら、端子３１８から
フレームの再生時刻を入力し、タイマー３０３と比較
し、Ｉフレームの符号化データからビデオ同期制御器３
１２が動作するように指示し、バッファ３０９からＩフ
レームの動画像データを読み出し、合成器３１５に出力
する。

【００９７】上述したような一連の選択動作により復号
が再開された場合に、フレームモードの情報を同期制御
に用いることにより、他のデータとの同期を確実に確保
し、フレーム内符号化を行ったフレームから同期処理を
行うことでフレームの画像が乱れたりすることを容易に
防止することができる。

【００９８】例えば、図９に示したようにＰ４〜Ｐ９ま
での符号化フレーム期間が著作権等の保護（Ｓｅｃｕｒ
ｉｔｙ）により復号が禁止された場合でも、セキュリテ
ィがかかった時点から、表示されない状態が続く。ただ
し、音声やＣＧの再生は行われている。次のＩ₁ のフレ
ーム以降から復号処理が再開され、同期が再調整される
ので、画像の途切れや画像の乱れがなくなり、操作者に
不愉快な画像を見せることがなくなる。

【００９９】また、上記実施例では復号が禁止されてい
る期間、禁止直前に復号された画像が出力してもよい
し、所定の画像を予めメモリ等に記憶しておき、その所
定画像を出力するようにしてもよい。

【０１００】尚、本実施例においてメモリ構成等は適宜
変更可能である。また、通信回路１００２から通信イン
ターフェース１００３を介して入力された動画像データ
に対しても同様の動作を行うことで、通信のデータに対
しても同様の効果がある。

【０１０１】また、フレームモードではなく、例えばｇ
ｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅのスタートコードの検
出でももちろん構わないし、ｖｏｐ＿ｔｉｍｅ＿ｉｎｃ
ｒｅｍｅｎｔに代えてｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒ
ｅレイヤのｔｉｍｅ＿ｃｏｄｅ符号の復号結果や、ｐｉ
ｃｔｕｒｅのｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅ符
号の復号結果を用いても復号再開時の音声等との同期の
再構築等を容易にすることも可能である。

【０１０２】説明を容易にする為に符号化モードとして
ＩフレームとＰフレームについて説明したが、Ｂフレー
ムを用いた場合でも同様に同期の回復ができることは明
らかである。

【０１０３】セキュリティ符号の構成はこれに限定され
ない。図１０にＭＰＥＧ−４で複数のオブジェクトが存
在する場合の構成を示す。各オブジェクトを識別する為
のＯｂｊｅｃｔ Ｃｏｄｅ符号２０３０が追加され、各
オブジェクト毎にセキュリティをかけることができる。
これにより図１のビデオ復号部１００６を復号するオブ
ジェクトの数だけ用意し、並列で動作させることによっ
て複数のオブジェクトに独立して復号させても同期を確
保できることは言うまでもない。

【０１０４】また、図１１のような構成を取ることも可
能であり、認証され次第、復号を再開することも可能で
ある。

【０１０５】上述した復号動作を図１２のフローチャー
トに示す。

【０１０６】まず、記憶装置１００１からビデオ符号化
データが入力されているか否かをステップＳ０１で判断
し、ビデオ符号化データが入力されている場合はステッ
プＳ０２へ進み、ビデオ符号化データが入力されていな
い場合はフローを終了する。

【０１０７】ステップＳ０２では、セキュリティ復号部
１００５が当該動画像データにおいて復号を許可するか
否かを判定する。セキュリティ復号部１００５の復号の
結果が復号許可であればステップＳ０３へ進み、セキュ
リティ復号部１００５の復号の結果が禁止となった場合
はステップＳ０５へ進む。

【０１０８】ステップＳ０３では、ビデオ復号部１００
６を動作させて動画像をＭＰＥＧ−４の復号方式に従っ
て復号する。ステップＳ０４へ進み、復号画像を同期制
御部１００８に入力し、同期をとってモニタ１００９に
表示し、ステップＳ０１に戻る。

【０１０９】ステップＳ０５ではビデオ復号部１００６
を停止させる。同期を確保するため、復号停止中の符号
化データの読み出しは同期をとって行われるが、メモリ
５０１のワーキングエリアには格納されず、読み捨てら
れる。

【０１１０】次に、ステップＳ０６ではセキュリティ復
号部１００５から復号再開が指示されたか否かを判断
し、再開が指示されていない場合はステップＳ０５に戻
り、再開が指示された時はステップＳ０７に進む。

【０１１１】ステップＳ０７では、セキュリティ復号部
１００５から復号再開が指示されたら（ステップＳ０
６）、セキュリティ復号部１００５のヘッダ復号器１０
５を動作させ、各フレームのフレームモードを表すｖｏ
ｐ＿ｃｏｄｉｎｇ＿ｔｙｐｅ符号２０２５までをデコー
ドしその結果を同期制御部１００８に送る。

【０１１２】次に、ステップＳ０８では同期制御部１０
０８はｖｏｐ＿ｃｏｄｉｎｇ＿ｔｙｐｅ符号２０２５の
復号結果がＩフレームか否かを判断する。Ｉフレーム以
外であればステップＳ０７に戻り、次のｖｏｐ＿ｃｏｄ
ｉｎｇ＿ｔｙｐｅ符号２０２５をデコードする。Ｉフレ
ームであればステップＳ０９に進む。

【０１１３】ステップＳ０９は、ｖｏｐ＿ｃｏｄｉｎｇ
＿ｔｙｐｅ符号２０２５以降の復号を再開し、動画像を
ＭＰＥＧ−４の復号方式に従って復号し、ｖｏｐ＿ｔｉ
ｍｅ＿ｉｎｃｒｅｍｅｎｔ符号を復号し再生の同期を調
節し、ステップＳ１０に進む。

【０１１４】ステップＳ１０では、同期制御部１００８
は動画像データを同期をとって、モニタ１００９に表示
し、ステップＳ０１に戻る。

【０１１５】このような一連の選択動作により装置の一
部、または全てをソフトウェアで実現することが可能に
なる。また、音声と動画像と個別に著作権等の保護のた
めのセキュリティが行えることを示した。

【０１１６】〈第２の実施例〉図１３は、本発明の第２
の実施例としての同期制御部１００８の構成を示すブロ
ック図である。尚、第１の実施例と同様の構成要素につ
いては同一番号を付し、その詳細な説明は省略する。

【０１１７】図１３において、４０１はセキュリティが
かかっていた時間を求める停止時間判定器であり、４０
２は同期を制御する同期信号制御器である。

【０１１８】上記のように構成されたビデオ復号部１０
０５における復号化処理を以下で説明する。

【０１１９】第１実施例と同様に動画像データ、ＣＧ画
像データ、音声データがバッファ３０９、３１０、３１
１に順次格納される。同期制御信号制御器４０２はシス
テム復号部１００４から各データの再生出力のタイミン
グおよび、動画像データに関しては再生時刻をタイマー
３０３と比較してビデオ同期制御器３１２、ＣＧ同期制
御器３１３、オーディオ同期制御器３１４を制御する信
号を生成する。その信号に従ってビデオ同期制御器３１
２、ＣＧ同期制御器３１３、オーディオ同期制御器３１
４はバッファ３０９、３１０、３１１から同期に従って
データを読み出して、出力する。

【０１２０】動画像にセキュリティがかかり、復号が禁
止されると、端子３１９からその状況が入力される。停
止時間判定器４０１はセキュリティのために再生が停止
した時間を計測する為にこの時刻を記録し、復号の中断
を同期信号制御器４０２に知らせ、動画像データに関し
て同期を取るのを停止するようにビデオ同期制御器３１
２に指示する。ビデオ同期制御器３１２は動画像データ
の表示を停止し、ＣＧ画像データのみが合成器３１５を
介して端子３１６から出力される。

【０１２１】動画像のセキュリティが解除され、復号が
再開されると、端子３１９からその状況が入力される。
停止時間判定器４０１はセキュリティのために再生が停
止した時間を復号禁止時刻から求める。この時間と復号
の再開を同期信号制御器４０２に知らせる。同期信号制
御器４０２は直ちにビデオ同期制御器３１２の動作をさ
せない。端子３０１から各フレームの符号化モードを入
力し、フレームモードの判定を行う。フレームモードが
Ｉフレームになるまで、動作させない状態を継続する。
Ｉフレームが入力されたら、停止時間とフレームのｖｏ
ｐ＿ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔ符号２０２６の復号
結果から再生時刻を計算し、タイマー３０３と比較し、
Ｉフレームの符号化データからビデオ同期制御器３１２
が動作するように指示し、バッファ３０９からＩフレー
ムの動画像データを読み出し、合成器３１５に出力す
る。

【０１２２】このような一連の選択動作により復号が再
開された場合に停止時間を参考にして同期を回復させる
ことができるのでフレーム内符号化を行ったフレームか
ら処理を行うことで、ｖｏｐ＿ｔｉｍｅ＿ｉｎｃｒｅｍ
ｅｎｔ符号２０２６の復号結果だけでは表せないような
長い時間の停止においても同期の回復が確実に行えるよ
うになった。すなわち、ｖｏｐ＿ｔｉｍｅ＿ｉｎｃｒｅ
ｍｅｎｔ符号２０２６の復号結果では２５６フレーム分
の時間しか記述できないが停止時間を参照し、ｖｏｐ＿
ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔ符号２０２６の復号結果
とともに同期を計算できるようになる。

【０１２３】〈その他の実施例〉本発明は複数の機器
（たとえばホストコンピュータ、インタフェース機器、
リーダ、プリンタ等）から構成されるシステムに適用し
ても一つの機器（たとえば複写機、ファクシミリ装置）
からなる装置に適用してもよい。

【０１２４】また前述した実施形態の機能を実現する様
に各種のデバイスを動作させる様に該各種デバイスと接
続された装置あるいはシステム内のコンピュータに、前
記実施形態機能を実現するためのソフトウエアのプログ
ラムコードを供給し、そのシステムあるいは装置のコン
ピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログ
ラムに従って前記各種デバイスを動作させることによっ
て実施したものも本願発明の範疇に含まれる。

【０１２５】またこの場合、前記ソフトウエアのプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコード自体、及びそのプログ
ラムコードをコンピュータに供給するための手段、例え
ばかかるプログラムコードを格納した記憶媒体は本発明
を構成する。

【０１２６】かかるプログラムコードを格納する記憶媒
体としては例えばフロッピーディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気
テープ、不揮発性のメモリカード、ＲＯＭ等を用いるこ
とが出来る。

【０１２７】またコンピュータが供給されたプログラム
コードを実行することにより、前述の実施形態の機能が
実現されるだけではなく、そのプログラムコードがコン
ピュータにおいて稼動しているＯＳ（オペレーティング
システム）、あるいは他のアプロケーションソフト等と
共同して前述の実施形態の機能が実現される場合にもか
かるプログラムコードは本願発明の実施形態に含まれる
ことは言うまでもない。

【０１２８】更に供給されたプログラムコードが、コン
ピュータの機能拡張ボードやコンピュータに接続された
機能拡張ユニットに備わるメモリに格納された後そのプ
ログラムコードの指示に基づいてその機能拡張ボードや
機能格納ユニットに備わるＣＰＵ等が実際の処理の一部
または全部を行い、その処理によって前述した実施形態
の機能が実現される場合も本願発明に含まれることは言
うまでもない。

【０１２９】また、ＭＰＥＧ−４のマルチオブジェクト
について図１３に示すようにオブジェクトを識別するた
めのＯｂｊｅｃｔｃｏｄｅ符号２００６を追加し、オブ
ジェクト毎にセキュリティを復号し、ビデオ復号部を複
数持ち、各ビデオ復号部で各オブジェクトのＩＶＯＰか
ら復号、表示を行うことによって同様に復号の安全性の
確保と画質の劣化を防ぐことができる。

【０１３０】また、復号の開始をフレーム単位とした
が、これに限定されず。フィールド単位や複数のマクロ
ブロックを単位としてももちろん構わない。

【０１３１】また、セキュリティ符号化データのフォー
マット、認証方式、著作権などを保護する部分の指定方
式等は上記実施例に限定されず、他のフォーマット、認
証方式等を用いてももちろん構わない。

【０１３２】また、上記実施例ではＳｅｃｕｒｉｔｙを
かける期間が予め決っていたが、それに限るものではな
い。例えば、ユーザーがＳｅｃｕｒｉｔｙを解除するパ
スワードを入力し、そのパスワードの認証をおこなった
後、Ｓｅｃｕｒｉｔｙを解除するようにし、Ｓｅｃｕｒ
ｉｔｙを解除するタイミングをユーザーによって決めら
れるようにしてもよい。

【０１３３】

【発明の効果】以上の説明から明らかなように、本発明
では、動画像の著作権保護による動画像の停止・再生を
おこなっても好適に同期処理することができる。これに
より、復号時のデコーダの動作において同期を確保しつ
つ、不適切な動き補償に基づく画像の乱れ等を防ぐこと
ができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例としての画像処理装置の
構成を示すブロック図である。

【図２】本発明の第１の実施例におけるシーン記述符号
化データを説明するための図である。

【図３】本発明の第１の実施例におけるセキュリティ符
号化データを説明するための図である。

【図４】本発明の第１の実施例におけるビデオ符号化デ
ータを説明するための図である。

【図５】本発明の第１の実施例におけるシステム復号部
１００４の構成を示すブロック図である。

【図６】本発明の第１の実施例におけるセキュリティ復
号部１００５の構成を示すブロック図である。

【図７】本発明の第１の実施例におけるビデオ復号部１
００５の構成を示すブロック図である。

【図８】本発明の第１の実施例における同期制御部１０
０８の構成を示すブロック図である。

【図９】本発明の第１の実施例における復号の様子を説
明するための図である。

【図１０】本発明の第１の実施例における別な構成のセ
キュリティ符号化データを説明する。

【図１１】本発明の第１の実施例における別な構成のセ
キュリティ符号化データを説明する。

【図１２】本発明の第１の実施例における全体の動作を
表すフローチャートである。

【図１３】本発明の第２の実施例における同期制御部１
００８の別な構成を示すブロック図である。

【図１４】従来の復号の様子を説明するための図であ
る。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK43 MA00 MA05 MB01 MB29 PP05 PP28 RC35 SS26 SS30 TA17 TB18 TC27 TC45 TD20 UA02 UA05 UA39

Claims (20)

【特許請求の範囲】
1. 【請求項１】 複数種の符号化データを用いて符号化さ
   れた画像データと、前記画像データを保護するためのセ
   キュリティデータとを入力する入力手段と、 前記セキュリティデータに基づいて前記符号化された画
   像データの再生が許可か否かを判断する判断手段と、 前記符号化された画像データの符号化モードを判定する
   符号化モード判定手段と、 前記符号化された画像データを復号化する画像復号化手
   段と、 前記判断手段と前記符号化モード判定手段との出力に応
   じて、前記復号化された画像データの同期を制御する同
   期制御手段とを有することを特徴とする画像処理装置。
2. 【請求項２】 前記入力手段は、符号化された情報デー
   タを入力し、前記情報データを復号化する復号化手段を
   有し、前記同期制御手段は、前記復号化された画像デー
   タと前記復号された情報データとの同期を制御すること
   を特徴とする請求項１記載の画像処理装置。
3. 【請求項３】 前記画像復号化手段は、前記判断手段と
   前記符号化モード判定手段との出力に応じて復号処理を
   制御することを特徴とする請求項１或いは２記載の画像
   処理装置。
4. 【請求項４】 前記複数種の符号化モードは、少なくと
   もイントラ符号化モードとインター符号化モードとを有
   することを特徴とする請求項１乃至３記載の画像処理装
   置。
5. 【請求項５】 前記画像復号化手段は、前記判断手段の
   出力に応じて復号処理を停止することを特徴とする請求
   項１乃至４記載の画像処理装置。
6. 【請求項６】 前記画像復号化手段は、前記判断手段と
   前記符号化モード判定手段との出力に応じて復号処理を
   再開するように制御することを特徴とする請求項５記載
   の画像処理装置。
7. 【請求項７】 前記同期制御手段は、前記判断手段によ
   り再生不許可から再生許可になった場合、再生許可にな
   った以降のイントラ符号化された画像データに従って同
   期を再開するように制御することを特徴とする請求項４
   記載の画像処理装置。
8. 【請求項８】 前記同期制御手段は、前記判断手段によ
   り再生不許可から再生許可になった場合、再生不許可な
   期間に従って同期を再開するように制御することを特徴
   とする請求項１乃至７記載の画像処理装置。
9. 【請求項９】 前記画像データは、動画像データである
   ことを特徴とする請求項１乃至８記載の画像処理装置。
10. 【請求項１０】 前記符号化された画像データは、ＭＰ
    ＥＧ−１に準拠して符号化されたデータであることを特
    徴とする請求項９記載の画像処理装置。
11. 【請求項１１】 前記符号化された画像データは、ＭＰ
    ＥＧ−２に準拠して符号化されたデータであることを特
    徴とする請求項９記載の画像処理装置。
12. 【請求項１２】 前記符号化された画像データは、ＭＰ
    ＥＧ−４に準拠して符号化されたデータであることを特
    徴とする請求項９記載の画像処理装置。
13. 【請求項１３】 前記符号化された画像データは、１画
    面をＮ個（Ｎは自然数）のオブジェクトに分割し、前記
    オブジェクト毎に符号化処理されたデータであることを
    特徴とする請求項１乃至１２記載の画像処理装置。
14. 【請求項１４】 前記画像復号化手段は、前記オブジェ
    クト毎に復号化することを特徴とする請求項１３記載の
    画像処理装置。
15. 【請求項１５】 前記セキュリティデータは、少なくと
    も前記オブジェクトを識別する為の符号を含むことを特
    徴とする請求項１３或いは１４記載の画像処理装置。
16. 【請求項１６】 前記セキュリティデータは、少なくと
    も著作権を認証するための符号を含むことを特徴とする
    請求項１乃至１５記載の画像処理装置。
17. 【請求項１７】 前記符号化された画像データには、前
    記符号化モードを識別するための符号を含み、前記符号
    化モード判定手段は前記符号により符号化モードを判定
    することを特徴とする請求項１乃至１６記載の画像処理
    装置。
18. 【請求項１８】 前記情報データは、音声データである
    ことを特徴とする請求項２記載の画像処理装置。
19. 【請求項１９】 複数種の符号化データを用いて符号化
    された画像データと、前記画像データを保護するための
    セキュリティデータとを入力し、 前記セキュリィティデータに基づいて前記符号化された
    画像データの再生が許可か否かを判断し、 前記符号化された画像データの符号化モードを判定し、 前記符号化された画像データを復号化し、 前記判断結果と前記符号化モード判定結果とに応じて、
    前記復号化された画像データの同期を制御することを特
    徴とする画像処理方法。
20. 【請求項２０】 画像処理プログラムが記録されたコン
    ピュータ可読記録媒体であって、 複数種の符号化データを用いて符号化された画像データ
    と、前記画像データを保護するためのセキュリティデー
    タとを入力する入力工程の手順コードと、 前記セキュリティデータに基づいて前記符号化された画
    像データの再生が許可か否かを判断する判断工程の手順
    コードと、 前記符号化された画像データの符号化モードを判定する
    符号化モード判定工程の手順コードと、 前記符号化された画像データを復号化する画像復号化工
    程の手順コードと、 前記判断結果と前記符号化モード判定結果とに応じて、
    前記復号化された画像データの同期を制御する同期制御
    工程の手順コードとを記録したことを特徴とする画像処
    理プログラムが記録されたコンピュータ可読記録媒体。