JP2004282687A - 符号化装置、復号化装置、通信システム、符号化方法および復号化方法 - Google Patents

Abstract

【課題】符号化による動画像データの圧縮率を低下させずに所要計算量を抑え、十分なセキュリティを確保する。
【解決手段】この符号化装置は、フレーム単位の動画像データを直交変換するＤＣＴ部２０４と、上記動画像データの動き分を予測する予測画像データおよび上記動き分のベクトル成分を有する動きベクトル情報を生成する動き補償部２１３と、上記ＤＣＴ部２０４における符号化方法を選択して該符号化方法をモード情報として出力するモード選択部２０８と、上記モード情報に基づき上記係数情報および上記動きベクトル情報を暗号化するとともに、所定の識別情報に基づき上記モード情報を暗号化する電子鍵挿入部２０６と、上記暗号化されたモード情報、係数情報および動きベクトル情報を可変長符号化するとともに多重化してデータストリームとして出力する可変長符号化部２０７とを具備している。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像データに暗号鍵を挿入することで、当該動画像データの不正再生や不正複製を防止することのできる符号化装置、復号化装置、通信システム、符号化方法および復号化方法に関する。
【０００２】
【従来の技術】
インターネットなどの通信メディアやＣＡＴＶなどの放送メディアの高度化とその普及に伴い、通信メディアや放送メディアを通じて動画像データを伝送することが一般に行われている。動画像データは、音声データなど比較してデータ量が多いので、その伝送には非常に大きい伝送容量が必要となる。そこで、このような動画像データを伝送する場合、予測符号化や動き処理、変換符号化などの技術を用いた圧縮技術・符号化技術が利用されている。このような圧縮・符号化技術の例としては、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式による圧縮・符号化技術などがある。
【０００３】
一方で、著作権上あるいはセキュリティ上の観点から、限られたユーザーのみに動画像データを伝送する場合には、動画像データに電子鍵を挿入してスクランブルをかけることが行われている。従来の電子鍵を利用した画像符号化システムとしては、画像データの符号化過程において直交変換により得られた直交変換係数のうち、特定の係数に電子鍵を挿入するものがある（例えば、特許文献１参照）。この画像符号化システムによれば、直交変換係数の高周波数成分に対して鍵となるデータを付加するので、画質の劣化を抑えつつ他人による画像データの無断盗用を防止することができる。
【０００４】
しかし、このような画像符号化システムを動画像データの圧縮・符号化装置に適用した場合、データの特定部分に電子鍵データを挿入するのみであるので、当該電子鍵の解除法を知らない第三者であってもデータの受信や再生等を事実上行うことができてしまう。
【０００５】
また、第三者の不正再生を防ぐ方法として、動画像データにスクランブルをかけた後に圧縮符号化処理をすることも考えられる。しかし、動画像データの全てのフレームに電子鍵を挿入する場合、必要となる計算量が膨大となり、専用のハードウェアを用意する必要が生じて装置コストがかさむ原因となる。一方、計算量を減らすために全てのフレームに共通の電子鍵を挿入する場合、スクランブルが破られる可能性が高くなるという欠点がある。
【０００６】
【特許文献１】
公開特許公報（特開２０００−３１２２９６）
【０００７】
【発明が解決しようとする課題】
このように、従来の符号化装置、復号化装置、通信システム、符号化方法および復号化方法では、セキュリティを向上させるために動画像データの全フレームに電子鍵を挿入すると符号化過程において計算量が増加し、ハードウェアコストがかさむという問題がある。
【０００８】
本発明はこのような課題を解決するためになされたもので、符号化による動画像データの圧縮率を低下させずに所要計算量を抑え、十分なセキュリティを確保することのできる符号化装置、復号化装置、通信システム、符号化方法および復号化方法を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記した目的を達成するために、本発明の符号化装置は、入力されたフレーム単位の動画像データを空間周波数領域に直交変換して係数情報を出力する変換手段と、前記係数情報に基づき前記動画像データを元の動画像データに再生して、該動画像データの動き分を予測する予測画像データおよび前記動き分のベクトル成分を有する動きベクトル情報を生成する動き補償手段と、フレーム全体の動画像データを前記直交変換手段に入力するフレーム内予測符号化モード、およびフレーム全体の動画像データと前記予測画像データとの差分の動画像データを前記直交変換手段に入力するフレーム間予測符号化モードのいずれかを選択して前記直交変換手段に入力する動画像データを切り換えるとともに、該選択されたモードをモード情報として出力するモード選択手段と、前記モード情報に基づき前記係数情報および前記動きベクトル情報を暗号化するとともに、所定の識別情報に基づき前記モード情報を暗号化する暗号化手段と、前記暗号化されたモード情報、係数情報および動きベクトル情報を可変長符号化するとともに多重化してデータストリームとして出力する符号化手段とを具備している。
【００１０】
本発明の復号化装置は、入力されたフレーム単位の動画像データからなる暗号化されたデータストリームから、空間周波数領域に直交変換された前記動画像データの係数情報と、前記動画像データの動き分のベクトル成分を有する動きベクトル情報と、前記動画像データの符号化方法を示すモード情報とを分離する復号化手段と、所定の識別情報に基づき前記モード情報の暗号を解除するとともに、暗号が解除された該モード情報に基づき前記係数情報および前記動きベクトル情報の暗号を解除する暗号解除手段と、前記係数情報を逆直交変換してフレーム単位の動画像データとして再生する変換手段と、前記モード情報および前記再生された動画像データに基づき、前記再生された動画像データを動き補償して出力する動き補償部とを具備している。
【００１１】
本発明の通信システムは、（ａ）入力されたフレーム単位の動画像データを空間周波数領域に直交変換して係数情報を出力する変換手段と、前記係数情報に基づき前記動画像データを元の動画像データに再生して該動画像データの動き分を予測する予測画像データと、前記動き分のベクトル成分を有する動きベクトル情報とを生成して出力する動き補償手段と、フレーム全体の動画像データを前記直交変換手段に入力してフレーム全体の動画像データに対応する係数情報を出力させるフレーム内予測符号化モード、およびフレーム全体の動画像データと前記予測画像データとの差分動画像データを前記直交変換手段に入力して差分の動画像データに対応する係数情報を出力させるフレーム間予測符号化モードのいずれかを選択して前記直交変換手段に入力する動画像データを切り換えるとともに、該選択されたモードをモード情報として出力するモード選択手段と、前記モード情報に基づき前記係数情報および前記動きベクトル情報を暗号化するとともに、所定の識別情報に基づき前記モード情報を暗号化する暗号化手段と、前記暗号化されたモード情報、係数情報および動きベクトル情報を可変長符号化するとともに多重化してデータストリームとして出力する符号化手段とを具備した符号化装置を備え、前記データストリームを送信する送信器と、（ｂ）前記送信器から送信されたデータストリームを、前記係数情報と、前記動きベクトル情報と、前記モード情報とに分解する復号化手段と、所定の識別情報に基づき前記モード情報の暗号を解除するとともに、暗号が解除された該モード情報に基づき前記係数情報および前記動きベクトル情報の暗号を解除する暗号解除手段と、前記係数情報を逆直交変換してフレーム単位の動画像データとして再生する変換手段と、前記モード情報および前記再生された動画像データに基づき、前記再生された動画像データを動き補償して出力する動き補償部とを具備した復号化装置を備えた受信器とを具備している。
【００１２】
また、本発明の符号化方法は、フレーム全体の動画像データ、およびフレーム全体の動画像データと該動画像データ動き分を予測した予測画像データとの差分動画像データのいずれかを有するフレーム単位の動画像データを空間周波数領域に直交変換して係数情報に変換するステップと、前記係数情報に基づき、前記動画像データを元の動画像データに再生して前記予測画像データを生成するとともに前記動き分のベクトル成分を有する動きベクトル情報を生成するステップと、フレーム全体の動画像データを直交変換して係数情報に変換するフレーム内予測符号化モード、および前記差分動画像データを直交変換して係数情報に変換するフレーム間予測符号化モードのいずれかを選択するとともに、該選択されたモードをモード情報として出力するステップと、前記モード情報に基づき前記係数情報および前記動きベクトル情報を暗号化するとともに、所定の識別情報に基づき前記モード情報を暗号化するステップと、前記暗号化されたモード情報、係数情報および動きベクトル情報を可変長符号化するとともに多重化してデータストリームとして出力するステップとを有している。
【００１３】
さらに、本発明の復号化方法は、入力されたフレーム単位の動画像データからなる暗号化されたデータストリームから、空間周波数領域に直交変換された前記動画像データの係数情報と、前記動画像データの動き分のベクトル成分を有する動きベクトル情報と、前記動画像データの符号化方法を示すモード情報とに分離するステップと、所定の識別情報に基づき前記モード情報の暗号を解除するとともに、暗号が解除された該モード情報に基づき前記係数情報および前記動きベクトル情報の暗号を解除するステップと、前記係数情報を逆直交変換してフレーム単位の動画像データとして再生するステップと、前記モード情報および前記再生された動画像データに基づき、前記再生された動画像データを動き補償して出力するステップとを有している。
【００１４】
本発明では、動画像データをフレーム全体の動画像データと差分動画像データとのどちらで圧縮符号化を実行したかを示すモード情報に基づいて、圧縮・符号化された動画像データのパラメータを暗号化するので、動画像データの圧縮率を低下させずに所要の計算量を抑え、十分なセキュリティを確保することができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は本発明の第１の実施形態に係る符号化装置および復号化装置を備えた通信システムの構成を示す図である。
図１に示すように、本実施形態に係る通信システムは、送信器１０１、伝送路１０２、受信器１０３、カメラ１０４、マイク１０５、スピーカ１０６および表示装置１０７により構成される。
【００１６】
送信器１０１は、カメラ１０４およびマイク１０５により取り込まれた動画像データを伝送路１０２に送出する機能を有する。伝送路１０２は、動画像データを受信器１０３へ伝送する無線回線や電話回線などの伝送線路であり、回線交換型回線であってもパケット交換型回線であってもよい。また、１対１の接続形態であっても、インターネットのように１対多の接続形態であってもよい。受信器１０３は、伝送路１０２を介して伝送された動画像データを受信してスピーカ１０６および表示装置１０７を通じてユーザへ動画像を伝える機能を有する。表示装置１０７は、動画像を表示する装置であり、例えばブラウン管やＬＣＤなどのディスプレー装置である。
【００１７】
送信器１０１は、Ａ／Ｄ変換装置１０８、符号化装置１０９および送受信装置１１０を備える。Ａ／Ｄ変換装置１０８は、アナログの動画像データをデジタルの動画像データに変換する機能を有する。符号化装置１０９は、変換符号化や量子化などの処理を組合わせた圧縮符号化装置であり、例えばＭＰＥＧ方式に準拠した圧縮符号化装置などである。この符号化装置１０９は、デジタルデータの圧縮・符号化機能に加えて、動画像データに電子鍵を挿入して当該動画像データにスクランブルをかける機能をも併せ持っている。送受信装置１１０は、符号化された動画像データを伝送路１０２へ送出する。送受信装置１１０は、伝送路１０２の回線種別に応じて伝送形式が選択される。すなわち、伝送路１０２が無線回線であれば送受信装置１１０は無線送受信装置となり、伝送路１０２がインターネット回線であればサーバやルータなどとなる。
【００１８】
受信器１０３は、送受信装置１１１、復号化装置１１２およびＤ／Ａ変換装置１１３などを備える。送受信装置１１１は、送受信装置１１０と同様に伝送路１０２に応じて選択され、伝送路１０２から動画像データを受け取ってベースバンド信号へ変換する機能を有する。復号化装置１１２は、符号化装置１０９と逆の手順により電子鍵を解読して動画像データのスクランブルを解除するとともに、動画像データを伸張・復号する機能を有する。Ｄ／Ａ変換装置１１３は、復号された動画像データをアナログ信号に変換してスピーカ１０６や表示装置１０７へ出力する機能を有する。
【００１９】
なお、この実施形態では、動画像データが送信器１０１から受信器１０３へのみ伝送される片方向通信としているが、カメラ１０４、マイク１０５、送信器１０１、受信器１０３、スピーカ１０６および表示装置１０７をそれぞれ双方に備えて双方向通信としてもよい。
この実施形態の通信システムによれば、符号化装置において電子鍵を挿入して動画像データにスクランブルをかけるので、解除法を知らない第三者による動画像データの再生を防ぐことができる。
【００２０】
次に、図２を参照して符号化装置１０９について説明する。図２は、符号化装置１０９の構成を示す図である。
図２に示すように、符号化装置１０９は、ブロック化部２０１、減算器２０２、切替器２０３ａおよび２０３ｂ、離散コサイン変換（ＤＣＴ）部２０４、量子化部２０５、電子鍵挿入部２０６、可変長符号化部２０７、モード選択部２０８、逆量子化部２０９、逆離散コサイン変換（ＩＤＣＴ）部２１０、加算器２１１、フレームメモリ２１２および２１４、動き補償部２１３および２１５ならびに形状符号化部２１６を備える。
【００２１】
ブロック化部２０１は、１フレーム分の動画像データを所定数のブロックに分割する機能を有する。ＤＣＴ部２０４は、動画像データを空間周波数領域に直交変換する機能を有する。直交変換とは、画像データにおける隣接画素等の相関を周波数で表して当該画像データを周波数成分へ分解することで変換係数を生成する処理をいい、被処理画像データを圧縮する作用をする。ＤＣＴは直交変換方法の一種であり、ＤＣＴに代えて他の直交変換方法を用いてもよい。量子化部２０５は、直交変換により得られた変換係数を量子化して量子データに変換する。すなわち、ＤＣＴ部２０４および量子化部２０５は、ブロック化された動画像データを直交変換により圧縮して変換係数を生成するとともに、生成した変換係数を量子データに変換して、ＤＣＴ係数情報を生成する作用をする。
【００２２】
逆量子化部２０９は、量子化された直交変換の変換係数を元の変換係数に逆変換する機能を有し、量子化部２０５に対応する。ＩＤＣＴ部２１０は、直交変換の変換係数を元のデータに逆変換する機能を有し、ＤＣＴ部２０４に対応する。すなわち、逆量子化部２０９およびＩＤＣＴ部２１０は、ＤＣＴ部２０４および量子化部２０５により動画像データを圧縮・量子化して生成したＤＣＴ係数情報を、元の動画像データに逆変換する作用をする。
【００２３】
フレームメモリ２１２および２１４は、ブロック化された動画像データをフレーム単位で記憶するメモリであり、逆量子化部２０９およびＩＤＣＴ部２１０により逆変換された動画像データ（局部復号信号）を記憶する。動き補償部２１３および２１５は、当該動画像データにおけるフレーム間の動きを検出して動き分を補償する機能を有し、前のフレームの動画像データに相当する予測画像データおよび動画像データの動き分のベクトル成分を含む動きベクトル情報を生成する作用をする。
【００２４】
形状符号化部２１６は、ブロック化された動画像データを所定の形状単位で切り出すとともに、切り出した動画像データを当該形状単位で圧縮・符号化した形状符号化情報を生成する機能を有する。ここで、フレームメモリ２１２の記憶内容は等しくフレームメモリ２１４にも記憶され、動き補償部２１３が生成する動きベクトル情報は等しく動き補償部２１５にも提供される。形状符号化部２１６は、フレームメモリ２１４の記憶内容および動き補償部２１５に供給された動きベクトル情報をそれぞれ参照して、符号化する所定の形状と原画像とを比較する機能をも有し、動画像データのうち所定形状部分の動きを検出することができる。
減算器２０２は、処理対象のブロック化された動画像データと動き補償部２１３からの予測画像データとの差分を算出して予測残差データを生成する機能を有する。
【００２５】
モード選択部２０８は、処理対象の動画像データについて符号化するモードを判定してモード情報を生成する機能を有する。ここで、動画像データの符号化モードとしては、圧縮符号化処理をしない非符号化モード、処理されるデータがブロック化されたフレーム内の相関を利用して圧縮されるフレーム全体データであるフレーム内予測符号化モード、処理されるデータがブロック化された前フレームの動画像データから動き補償を実行したフレーム間予測符号化データであるフレーム間予測符号化モード、処理されるデータがブロック化された前後各々のフレームの動画像データから動き補償を実行したフレーム間予測符号化データである後方予測符号化モードなどがある。
【００２６】
切替器２０３ａおよび２０３ｂは、モード選択部２０８からのモード情報に基づき変換符号化する信号（データ）の流れを切り替える機能を有し、データの符号化モードに応じた変換符号化処理を実現する作用をする。
【００２７】
電子鍵挿入部２０６は、モード情報に基づき、量子化された直交変換の変換係数（ＤＣＴ係数情報）、動きベクトル情報および形状符号化情報などの動画像データを暗号化する電子鍵を生成して当該データにスクランブルをかけるとともに、モード情報を暗号化する機能を有する。可変長符号化部２０７は、暗号化したモード情報、スクランブルをかけたＤＣＴ係数情報、動きベクトル情報および形状符号化情報の各データの各シンボルに可変長符号を割当てて符号化し、各データを多重化してデータストリームに変換する機能を有する。
【００２８】
このように、この実施形態における符号化装置によれば、複数のデータ符号化モードに基づいて動画像データをブロック化されたフレーム単位で圧縮・符号化するので、データ伝送容量を小さくすることができる。また、この符号化装置では、データ符号化モードに基づき、圧縮したＤＣＴ係数情報、動きベクトル情報および形状符号化情報をブロック化されたフレーム単位で暗号化するので、動画像データの圧縮率を低下させることなく解読が困難な暗号化を実現することができる。
【００２９】
ここで、図３を参照して符号化装置１０９における電子鍵挿入部２０６について詳細に説明する。図３は、電子鍵挿入部２０６の構成を示す図である。
図３に示すように、電子鍵挿入部２０６は、メモリ部３０１、電子鍵生成部３０２、電子鍵挿入実行部３０３およびモード情報暗号化部３０４を備える。メモリ部３０１は、ブロック化された１フレーム分の動画像データであるＤＣＴ係数情報、動きベクトル情報および形状符号化情報を記憶する。このメモリ部３０１に記憶される１フレーム分の動画像データは、次の１フレーム分の動画像データを暗号化するために用いられる。電子鍵生成部３０２は、モード情報およびメモリ部３０１に記憶された動画像データに基づき、電子鍵を生成する機能を有する。電子鍵はデータのスクランブルを実行する並べ替えキーであり、フレームごとにその都度生成される。すなわち、電子鍵生成部３０２は、暗号化する１フレーム分の動画像データに対応するモード情報と、メモリ部３０１に記憶された１つ前のフレーム分の動画像データとに基づき、電子鍵を生成する。
【００３０】
電子鍵挿入実行部３０３は、電子鍵に基づいてＤＣＴ係数情報、動きベクトル情報および形状符号化情報の各データにスクランブルをかける機能を有する。すなわち各データは、当該各データに対応するモード情報および当該データの１つ前のフレーム分のデータに基づいて生成された電子鍵によって暗号化される。
【００３１】
モード情報暗号化部３０４は、動画像データの伝送先である受信器１０３の識別情報（ＩＤ）に基づいてモード情報を暗号化する機能を有する。ここで、ＩＤは、伝送先である受信器１０３の電話番号やＭＡＣアドレスなど、伝送先個々に対応する情報を用いることができ、当該情報に基づいてモード情報を暗号化する。
【００３２】
このように、この実施形態の符号化装置によれば、圧縮符号化後の動画像データにスクランブルを施すので、データ量を増加させることなく動画像データを暗号化することができる。また、この符号化装置によれば、動画像データの圧縮・符号化の過程において生成するモード情報と、被処理データの１つ前のフレーム分のデータとに基づいて電子鍵を生成して動画像データにスクランブルを施すので、データ量を増加させずにフレームごとに異なる電子鍵でスクランブルをかけることができ、十分なセキュリティを確保することができる。さらに、この符号化装置によれば、モード情報を伝送先のＩＤに基づいて暗号をかけるので、暗号化データを解読できる相手を特定することができる。
【００３３】
次に、図４を参照して復号化装置１１２について説明する。図４は、復号化装置１１２の構成を示す図である。
図４に示すように、復号化装置１１２は、可変長復号化部４０１、電子鍵解除部４０２、逆量子化部４０３、逆離散コサイン変換（ＩＤＣＴ）部４０４、加算器４０５、フレームメモリ４０６、動き補償部４０７および４１２、スイッチ４０８、画像処理部４０９、形状復号化部４１０およびメモリ４１１を備える。
【００３４】
可変長復号化部４０１は、送受信装置１１１により受信された動画像データを量子化データに復号する機能を有し、モード情報、ＤＣＴ係数情報、動きベクトル情報および形状復号化情報をデータストリームから分離する作用をする。電子鍵解除部４０２は、暗号化されたモード情報の暗号を解除するとともに、スクランブル化されたＤＣＴ係数情報、動きベクトル情報および形状符号化情報のスクランブルを解除する機能を有する。
【００３５】
逆量子化部４０３は、量子化されたＤＣＴ係数情報を元のＤＣＴ係数情報へ変換する機能を有し、ＩＤＣＴ部４０４は、ＤＣＴ係数情報から元の動画像データへ変換する機能を有する。すなわち、逆量子化部４０３およびＩＤＣＴ部４０４は、符号化装置１０９により圧縮・符号化された動画像データを逆の手順により伸張・復号する機能を有する。
【００３６】
フレームメモリ４０６は、動画像データをフレーム単位で記憶するメモリであり、動き補償部４０７は、動画像データにおけるフレーム間の動きを検出して動き分を補償する機能を有する。そして、加算器４０５は、フレームメモリ４０６および動き補償部４０７により動き分が補償された前フレームデータと次のフレームデータとを加算して完全なフレームに再生する機能を有する。スイッチ４０８は、モード情報に応じて動き補償の有無を選択する機能を有する。
【００３７】
形状復号化部４１０は、形状符号化情報から所定の形状を復号する機能を有する。メモリ４１１は、復号された形状情報を記憶する機能を有し、動き補償部４１２は、記憶された形状情報と動きベクトル情報とから形状の動き分を補償する機能を有する。そして、形状復号化部４１０は、補償された動き分情報を参照して形状を復号する機能をも有する。
画像処理部４０９は、加算器４０５を経て再生したブロック化された１フレーム分の動画像データと、形状復号化部４１０により復号された形状情報とをオブジェクトとして合成・編集等を実行する機能を有する。
【００３８】
このように、この復号化装置１１２によれば、符号化装置１０９によりセキュリティを確保しつつ圧縮・符号化された動画像データを復号することができる。
【００３９】
次に、図５を参照して、復号化装置１１２における電子鍵解除部４０２について詳細に説明する。図５は、電子鍵解除部４０２の構成を示す図である。
図５に示すように、電子鍵解除部４０２は、モード情報暗号解除部５０１、メモリ部５０２、電子鍵生成部５０３および電子鍵解除実行部５０４を備える。モード情報暗号解除部５０１は、電子鍵挿入部２０６におけるモード情報暗号化部３０４に対応し、受信器１０３の識別情報（ＩＤ）などに基づき暗号化されたモード情報の暗号を解除する機能を有する。メモリ部５０２は、スクランブルが解除された１フレーム分のＤＣＴ係数情報、動きベクトル情報および形状符号化情報などの動画像データを記憶する。電子鍵生成部５０３は、電子鍵挿入部２０６における電子鍵生成部３０２と対応し、メモリ部５０２に記憶された１つ前の１フレーム分の動画像データと、モード情報暗号解除部５０１により暗号が解除されたモード情報とに基づき電子鍵を生成する。電子鍵解除実行部５０４は、電子鍵挿入部２０６における電子鍵挿入実行部３０３に対応し、電子鍵により動画像データのスクランブルを解除する機能を有する。
【００４０】
このように、この実施形態の復号化装置によれば、暗号を解除したモード情報と、メモリに記憶されたスクランブルの解除された動画像データとに基づいて電子鍵を生成し、この電子鍵により動画像データのスクランブルを解除するので、フレーム単位でスクランブルがかけられた動画像データを復号することができる。
【００４１】
続いて、図６〜図１１を参照してこの通信システムの動作を説明する。図６〜図９に示すのは符号化装置１０９の動作を示すフローチャート、図１０は復号化装置１１２の動作を示すフローチャート、図１１は電子鍵挿入部２０６における電子鍵挿入実行部３０３の動作を示す図である。
【００４２】
図１に示すようにこの通信システムでは、カメラ１０４およびマイク１０５が動画像データを取り込むと、Ａ／Ｄ変換装置１０８は、アナログの動画像データをデジタルの動画像データに変換して符号化装置１０９へ入力する。
符号化装置１０９は、デジタルデータに変換された動画像データについて直交変換処理、量子化処理、動き補償処理、形状符号化処理、電子鍵挿入処理および可変長符号化処理の各処理を実行して、当該動画像データを圧縮・符号化されたデータストリームに変換する。
【００４３】
送受信装置１１０は、データストリーム化された動画像データを伝送路１０２に適合した形式に変調・変換し、伝送路１０２へ送出する。伝送路１０２を介して動画像データを受け取った送受信装置１１１は、データストリーム化された動画像データに変換して復号化装置１１２へ入力する。
復号化装置１１２は、入力された動画像データストリームについて可変長復号化処理、電子鍵解除処理、逆量子化処理、逆直交変換処理、動き補償処理、形状復号化処理および画像処理の各処理を実行し、元のデジタル動画像データへ変換する。そして、Ｄ／Ａ変換装置１１３は、元の動画像データをデジタルデータからアナログデータへ変換し、スピーカ１０６および表示装置１０７により元の動画像を表示または出力する。
【００４４】
次に、図２および図６〜図９を参照して符号化装置１０９の動作を詳細に説明する。本実施形態における符号化装置１０９は、フレーム単位の動画像データを複数のブロック単位に分割して圧縮・符号化処理を行う。また、動画像データをフレーム内予測符号化データ（Ｉピクチャ）、フレーム間予測符号化データ（Ｐピクチャ）および後方予測符号化データ（Ｂピクチャ）に分割して動画像データを圧縮・符号化する。ここで、過去のフレームから一方向のフレーム間予測を行い、差分を符号化した動画像データをＰピクチャ、過去と未来の２つのフレームから二方向のフレーム間予測を行い、差分を符号化した動画像データをＢピクチャと呼ぶ。
【００４５】
まず、図６を参照してフレーム内予測符号化データの圧縮・符号化動作を説明する。図６は、図２に示す符号化装置１０９のフレーム内予測符号化処理を示すフローチャートである。
【００４６】
ブロック化部２０１は、Ａ／Ｄ変換されたフレーム単位の動画像データを所定のマクロブロックにフレーム分割する。フレーム内予測符号化処理の場合、モード選択部２０８はフレーム内予測符号化モード（イントラモード）を選択して、切替器２０３ａおよび２０３ｂのそれぞれに対し端子Ａを接続するように指示を出すとともに、電子鍵挿入部２０６に対しモード情報としてイントラモードを伝える（ステップＳ６０１。以下「Ｓ６０１」のように表す。）。切替器２０３ａは、マクロブロック化された動画像データをＤＣＴ部２０４へ入力する。
【００４７】
ＤＣＴ部２０４は、ブロック化された動画像データを空間周波数領域に直交変換してＤＣＴ係数情報を生成する（Ｓ６０２）。この直交変換処理により、空間周波数の高い領域のデータが丸められてデータが圧縮される。ＤＣＴ部２０４は、動画像データをＤＣＴ係数情報に変換すると量子化部２０５に入力する。
【００４８】
量子化部２０５は、ＤＣＴ係数情報を量子化し、量子化データを電子鍵挿入部２０６および逆量子化部２０９へ入力する（Ｓ６０３）。
【００４９】
量子化データを受け取った電子鍵挿入部２０６は、モード情報に基づいて量子化データにスクランブルをかける。具体的には、図３に示す電子鍵挿入部２０６において、モード情報を受け取った電子鍵生成部３０２は、モード情報とメモリ部３０１に記憶された１フレーム前の動画像データとに基づいて電子鍵を生成して電子鍵挿入実行部３０３に入力する（Ｓ６０４）。なお、先頭の動画像データについてはメモリ部３０１に１フレーム前の動画像データが記憶されていないため、伝送先である受信器１０３のＩＤ等に基づき電子鍵を生成する。
【００５０】
電子鍵を受け取ると、電子鍵挿入実行部３０３は、電子鍵に基づいてＤＣＴ係数情報、動きベクトル情報および形状符号化情報などの量子化データにスクランブルをかける（Ｓ６０５）。量子化データのスクランブル化に併せて、モード情報暗号化部３０４は、伝送先である受信器１０３のＩＤ等に基づきモード情報を暗号化する。量子化データをスクランブル化するとともにモード情報を暗号化すると、電子鍵挿入部２０６は、スクランブル化した量子化データおよび暗号化したモード情報を可変長符号化部２０７に入力する。
【００５１】
スクランブル化した量子化データおよび暗号化されたモード情報を受け取ると、可変長符号化部２０７は、当該量子化データおよびモード情報の各シンボルに可変長符号を割当てて符号化する（Ｓ６０６）。
【００５２】
スクランブル化した量子化データおよび暗号化したモード情報を符号化すると、可変長符号化部２０７は、符号化した量子化データおよびモード情報を多重化してデータストリームを生成し、送受信装置１１０を介して伝送路１０２へ送出する（Ｓ６０７）。
【００５３】
ここで、量子化部２０５がＤＣＴ係数情報を量子化すると、逆量子化部２０９およびＩＤＣＴ部２１０は、量子化の逆の手順により１フレーム分の動画像データのマクロブロックを再生するとともに、加算器２１１を介してフレームメモリ２１２へ再生した動画像データ（局部復号信号）を入力する。フレームメモリ２１２へ記憶されるマクロブロック化した動画像データは、フレーム間予測符号化処理において予測用参照画像として用いられる。
【００５４】
次に、図７および図８を参照して、フレーム間予測符号化データおよび後方予測符号化データの符号化動作を説明する。図７は、図２に示す符号化装置１０９によるフレーム間予測符号化処理を示すフローチャートであり、図８は、同じく後方予測符号化処理を示すフローチャートである。
【００５５】
まず、フレーム間予測符号化処理について説明する。ブロック化部２０１は、フレーム内予測符号化処理の場合と同様に、Ａ／Ｄ変換されたフレーム単位の動画像データを所定のマクロブロックにフレーム分割する。フレーム間予測符号化処理の場合、モード選択部２０８は、フレーム間予測符号化モード（インターモード）を選択して、切替器２０３ａおよび２０３ｂのそれぞれに対し端子Ｂを接続するように指示を出すとともに、電子鍵挿入部２０６に対しモード情報としてインターモードを伝える（Ｓ７０１）。切替器２０３ａおよび２０３ｂが切り替わると、ブロック化部２０１は、マクロブロック化した動画像データを減算器２０２、動き補償部２１３および形状符号化部２１６に入力する。
【００５６】
フレーム間予測符号化処理においては、予めフレーム内予測符号化処理等によりフレームメモリ２１２に記憶された予測用参照画像を利用する。動き補償部２１３は、マクロブロック化した動画像データを参照して、当該マクロブロック化された動画像データとフレームメモリ２１２に記憶された予測用参照画像とから予測画像データおよび動きベクトル情報を生成する（Ｓ７０２）。
【００５７】
予測画像データが生成されると、減算器２０２は、当該予測画像データとブロック化部２０１から受け取った動画像データとを減算処理して予測残差データを生成する。予測残差データが生成されると、ＤＣＴ部２０４は、予測残差データを空間周波数領域に直交変換して予測残差データ（差分）のＤＣＴ係数情報を生成し、量子化部２０５に入力する（Ｓ７０３）。
【００５８】
差分のＤＣＴ係数情報を受け取ると、量子化部２０５は、差分のＤＣＴ係数情報を量子化して電子鍵挿入部２０６および逆量子化部２０９に入力する（Ｓ７０４）。
【００５９】
量子化された差分のＤＣＴ係数情報を受け取ると、電子鍵挿入部２０６は、モード情報に基づき、動きベクトル情報および量子化された差分のＤＣＴ係数情報にスクランブルをかける。具体的には、図３に示す電子鍵挿入部２０６において、モード情報を受け取った電子鍵生成部３０２は、モード情報とメモリ部３０１に記憶された１フレーム前の動画像データとに基づいて電子鍵を生成して電子鍵挿入実行部３０３に入力する（Ｓ７０５）。
【００６０】
電子鍵を受け取ると、電子鍵挿入実行部３０３は、電子鍵に基づいて動きベクトル情報、差分のＤＣＴ係数情報および形状符号化情報などの量子化データにスクランブルをかける（Ｓ７０６）。また、フレーム内予測符号化処理と同様に、モード情報暗号化部３０４は、伝送先である受信器１０３のＩＤ等に基づきモード情報を暗号化する。量子化データをスクランブル化するとともにモード情報を暗号化すると、電子鍵挿入部２０６は、スクランブル化した量子化データおよび暗号化したモード情報を可変長符号化部２０７に入力する。
【００６１】
スクランブル化した量子化データおよび暗号化されたモード情報を受け取ると、可変長符号化部２０７は、当該量子化データおよびモード情報のシンボルに可変長符号を割当てて符号化する（Ｓ７０７）。
【００６２】
スクランブル化した量子化データおよび暗号化したモード情報を符号化すると、可変長符号化部２０７は、符号化した量子化データおよびモード情報を多重化してデータストリームを生成し、送受信装置１１０を介して伝送路１０２へ送出する（Ｓ７０８）。
【００６３】
続いて、後方予測符号化処理について説明する。図８に示すように、後方予測符号化処理を行う符号化装置１０９の動作は、フレーム間予測符号化処理の場合とほぼ共通する。ブロック化部２０１は、フレーム内予測符号化処理の場合と同様に、Ａ／Ｄ変換されたフレーム単位の動画像データを所定のマクロブロックにフレーム分割する。後方予測符号化処理の場合、モード選択部２０８は、後方予測符号化モードを選択して、切替器２０３ａおよび２０３ｂのそれぞれに対し端子Ｂを接続するように指示を出すとともに、電子鍵挿入部２０６に対しモード情報として後方予測符号化モードを伝える（Ｓ８０１）。切替器２０３ａおよび２０３ｂが切り替わると、ブロック化部２０１は、マクロブロック化した動画像データを減算器２０２、動き補償部２１３および形状符号化部２１６に入力する。
【００６４】
後方予測符号化処理においても、予めフレーム内予測符号化処理等によりフレームメモリ２１２に記憶された予測用参照画像を利用する。ただし、後方予測符号化処理の場合、フレームメモリ２１２は、１つ前のフレームと１つ後のフレームの両方の予測用参照画像を記憶する。そして、動き補償部２１３は、マクロブロック化した動画像データを参照して、当該マクロブロック化された動画像データとフレームメモリ２１２に記憶された２つの予測用参照画像とから予測画像データおよび動きベクトル情報を生成する（Ｓ８０２）。
【００６５】
予測画像データが生成されると、減算器２０２は、当該予測画像データとブロック化部２０１から受け取った動画像データとを減算処理して予測残差データを生成する。予測残差データが生成されると、ＤＣＴ部２０４は、予測残差データを空間周波数領域に直交変換して予測残差データ（差分）のＤＣＴ係数情報を生成し、量子化部２０５に入力する（Ｓ８０３）。
【００６６】
差分のＤＣＴ係数情報を受け取ると、量子化部２０５は、差分のＤＣＴ係数情報を量子化して電子鍵挿入部２０６および逆量子化部２０９に入力する（Ｓ８０４）。
【００６７】
量子化された差分のＤＣＴ係数情報を受け取ると、電子鍵挿入部２０６は、モード情報に基づき、動きベクトル情報および量子化された差分のＤＣＴ係数情報にスクランブルをかける。具体的には、図３に示す電子鍵挿入部２０６において、モード情報を受け取った電子鍵生成部３０２は、モード情報とメモリ部３０１に記憶された１フレーム前の動画像データとに基づいて電子鍵を生成して電子鍵挿入実行部３０３に入力する（Ｓ８０５）。
【００６８】
電子鍵を受け取ると、電子鍵挿入実行部３０３は、電子鍵に基づいて動きベクトル情報、差分のＤＣＴ係数情報および形状符号化情報などの量子化データにスクランブルをかける（Ｓ８０６）。また、フレーム内予測符号化処理と同様に、モード情報暗号化部３０４は、伝送先である受信器１０３のＩＤ等に基づきモード情報を暗号化する。量子化データをスクランブル化するとともにモード情報を暗号化すると、電子鍵挿入部２０６は、スクランブル化した量子化データおよび暗号化したモード情報を可変長符号化部２０７に入力する。
【００６９】
スクランブル化した量子化データおよび暗号化されたモード情報を受け取ると、可変長符号化部２０７は、当該量子化データおよびモード情報のシンボルに可変長符号を割当てて符号化する（Ｓ８０７）。
【００７０】
スクランブル化した量子化データおよび暗号化したモード情報を符号化すると、可変長符号化部２０７は、符号化した量子化データおよびモード情報を多重化してデータストリームを生成し、送受信装置１１０を介して伝送路１０２へ送出する（Ｓ８０８）。
【００７１】
次に、図９を参照して、形状符号化処理を含めた符号化装置１０９の具体的な処理について説明する。図９は、符号化装置１０９の具体的動作を示すフローチャートである。
この実施形態における符号化装置の動画像データ圧縮・符号化処理では、先に説明したフレーム内予測符号化処理、フレーム間予測符号化処理および後方予測符号化処理のいずれかを適宜選択して処理を実行している。例えば、動画像データの圧縮率を優先する場合、フレーム間予測符号化処理や後方予測符号化処理による差分データの処理割合を全フレームデータの処理割合よりも増やせばよい。逆に、動画像データの品質を優先する場合、フレーム内予測符号化処理による全フレームデータの処理割合を差分データの処理割合よりも増やせばよい。また、形状符号化処理はフレーム全体に対する処理とは別個に処理が実行される。
【００７２】
図９に示すように、ブロック化部２０１が動画像データをマクロブロックにフレーム分割すると、形状符号化部２１６は、ブロック化された動画像データが形状符号化処理の対象であるか否かを判定する（Ｓ９０１）。
【００７３】
ブロック化された動画像データが形状符号化処理の対象である場合（Ｓ９０１のＹｅｓ）、形状符号化部２１６は、動画像データから形状情報を抽出し、フレームメモリ２１４の記憶内容および動き補償部２１５からの動きベクトル情報に基づき形状符号化情報を生成する。また、形状符号化部２１６は、生成した形状符号化情報について直交変換処理および量子化処理を実行し、ＤＣＴ係数情報に変換して電子鍵挿入部２０６へ入力する（Ｓ９０２）。
【００７４】
ブロック化された動画像データが形状符号化処理の対象でない場合（Ｓ９０１のＮｏ）、モード選択部２０８は、ブロック化された動画像データがフレーム内予測符号化処理の対象かフレーム間予測符号化処理の対象かを判定する（Ｓ９０３）。
【００７５】
ブロック化された動画像データがフレーム内予測符号化処理の対象である場合（Ｓ９０３のＡ）、モード選択部２０８はイントラモードを選択して、切替器２０３ａおよび２０３ｂのそれぞれに対し端子Ａに接続するように指示を出すとともに、電子鍵挿入部２０６に対しモード情報としてイントラモードを伝える。切替器２０３ａは、動画像データをＤＣＴ部２０４へ入力する。
【００７６】
ＤＣＴ部２０４は、ブロック化された動画像データを空間周波数領域に直交変換してＤＣＴ係数情報を生成し、量子化部２０５へ入力する（Ｓ９０４）。
【００７７】
ＤＣＴ係数情報を受け取ると、量子化部２０５は、ＤＣＴ係数情報を量子化して電子鍵挿入部２０６へ入力する（Ｓ９０５）。
【００７８】
ブロック化された動画像データがフレーム間予測符号化処理の対象である場合（Ｓ９０３のＢ）、モード選択部２０８はインターモードを選択して、切替器２０３ａおよび２０３ｂのそれぞれに対し端子Ｂを接続するように指示を出すとともに、電子鍵挿入部２０６に対しモード情報としてイントラモードを伝える。切替器２０３ａおよび２０３ｂが切り替わると、ブロック化部２０１は、マクロブロック化した動画像データを減算器２０２および動き補償部２１３に入力する。
【００７９】
マクロブロック化した動画像データを受け取ると、動き補償部２１３は、当該マクロブロック化された動画像データとフレームメモリ２１２に記憶された予測用参照画像とから予測画像データおよび動きベクトル情報を生成する（Ｓ９０６）。
【００８０】
予測画像データが生成されると、減算器２０２は、当該予測画像データとブロック化部２０１から受け取った動画像データとを減算処理して予測残差データを生成する。予測残差データが生成されると、ＤＣＴ部２０４は、予測残差データを直交変換処理して差分のＤＣＴ係数情報を生成し、量子化部２０５に入力する（Ｓ９０７）。
【００８１】
差分のＤＣＴ係数情報を受け取ると、量子化部２０５は、差分のＤＣＴ係数情報を量子化して電子鍵挿入部２０６および逆量子化部２０９に入力する（Ｓ９０８）。
【００８２】
量子化された動画像データを受け取ると、電子鍵挿入部２０６は、モード情報に基づき、動きベクトル情報、ＤＣＴ係数情報および形状符号化情報にスクランブルをかける。具体的には図３に示す電子鍵挿入部２０６において、モード情報を受け取った電子鍵生成部３０２は、モード情報とメモリ部３０１に記憶された１フレーム前の動画像データとに基づいて電子鍵を生成して電子鍵挿入実行部３０３に入力する（Ｓ９０９）。
【００８３】
電子鍵を受け取ると、電子鍵挿入実行部３０３は、電子鍵に基づいて動きベクトル情報、全フレームおよび差分のＤＣＴ係数情報および形状符号化情報についてスクランブルをかけ、モード情報を暗号化する（Ｓ９１０）。スクランブルや暗号化の手法はフレーム内符号化処理やフレーム間符号化処理と同様である。
【００８４】
モード情報が暗号化され、形状符号化情報、全フレームおよび差分のＤＣＴ係数情報および動きベクトル情報にスクランブルがかけられると、可変長符号化部２０７は、各々のシンボルに可変長符号を割当てて符号化する（Ｓ９１１）。
【００８５】
各情報が符号化されると、可変長符号化部２０７は、符号化されたデータを多重化してデータストリームを生成し、送受信装置１１０を介して伝送路１０２へ送出する（Ｓ９１２）。
【００８６】
なお、ここでは形状符号化処理、フレーム内符号化処理およびフレーム間符号化処理を行う例を説明したが、さらに後方予測符号化処理を行ってもよい。この場合、モード選択部２０８は、イントラモード、インターモードおよび後方予測符号化モードのいずれかを判定することになる。
【００８７】
次に、図１０を参照して、図４に示す復号化装置１１２の動作について説明する。図１０は、復号化装置１１２の動作を示すフローチャートである。
【００８８】
伝送路１０２を介して送受信装置１１１が受信したデータストリームは、ベースバンド信号に変換されて復号化装置１１２の可変長復号化部４０１に入力される（Ｓ１００１）。
【００８９】
データストリームが入力されると、可変長復号化部４０１は、多重化されたデータストリームからモード情報、形状復号化情報、ＤＣＴ係数情報および動きベクトル情報を分離し、それぞれを量子化されたシンボル値に変換して電子鍵解除部４０２に入力する（Ｓ１００２）。
【００９０】
分離された各情報を受け取ると、電子鍵解除部４０２は、モード情報の暗号を解除するとともに電子鍵を生成する。具体的には、図５に示す電子鍵解除部４０２において、暗号化されたモード情報を受け取ったモード情報暗号解除部５０１は、自らのＩＤ等を利用してモード情報の暗号を解除して電子鍵生成部５０３に入力する。モード情報を受け取ると、電子鍵生成部５０３は、モード情報と、予めメモリ部５０２に記憶されている１フレーム前の動画像データとに基づいて電子鍵を生成して電子鍵解除実行部５０４に入力する（Ｓ１００３）。なお、先頭の動画像データについては、メモリ部５０２に１フレーム前の動画像データが記憶されていないので、自らのＩＤ等を利用して電子鍵を生成する。
【００９１】
電子鍵を受け取ると、電子鍵解除実行部５０４は、電子鍵に基づきＤＣＴ係数情報、動きベクトル情報および形状符号化情報などの動画像データのスクランブルを解除する（Ｓ１００４）。すなわち、スクランブルの解除は、電子鍵挿入部２０６の電子鍵挿入実行部３０３におけるスクランブル化と逆の手順で行われる。
【００９２】
スクランブルが解除されると、電子鍵解除部４０２は、解除した情報が形状符号化情報か否か判定する（Ｓ１００５）。
【００９３】
解除した情報が形状符号化情報である場合（Ｓ１００５のＹｅｓ）、電子鍵解除部４０２は、形状符号化情報を形状復号化部４１０へ入力する。形状符号化情報を受け取ると、形状復号化部４１０は、逆量子化処理および逆直交変換処理を実行して形状符号化情報を伸張・復号する。伸張・復号された形状符号化情報は、メモリ４１１および動き補償部４１２により動き補償を施されて元の形状情報に復元される。（Ｓ１００６）。形状情報が復元されると、形状復号化部４１０は形状情報を画像処理部４０９へ渡す。
【００９４】
解除した情報が形状符号化情報でない場合（Ｓ１００５のＮｏ）、電子鍵解除部４０２は、モード情報に基づき解除した情報がイントラモードであるか、インターモードであるかを判定する（Ｓ１００７）。
【００９５】
モード情報がイントラモードである場合（Ｓ１００７のＡ）、電子鍵解除部４０２は、スイッチ４０８をオフとしてスクランブルが解除されたＤＣＴ係数情報を逆量子化部４０３に入力する。ＤＣＴ係数情報を受け取ると、逆量子化部４０３は、量子化されたＤＣＴ係数情報を元のＤＣＴ係数情報に変換してＩＤＣＴ部４０４に渡す（Ｓ１００８）。
【００９６】
元のＤＣＴ係数情報を受け取ると、ＩＤＣＴ部４０４は、ＤＣＴ係数情報を逆直交変換して元の動画像データを再生し、画像処理部４０９に入力する（Ｓ１００９）。
【００９７】
モード情報がインターモードである場合（Ｓ１００７のＢ）、電子鍵解除部４０２は、スイッチ４０８をオンとしてスクランブルが解除された差分のＤＣＴ係数情報を逆量子化部４０３に入力するとともに、動きベクトル情報を動き補償部４０７に入力する（Ｓ１０１０）。
【００９８】
差分のＤＣＴ係数情報を受け取ると、逆量子化部４０３は、量子化された差分のＤＣＴ係数情報を元のＤＣＴ係数情報に変換してＩＤＣＴ部４０４に入力する（Ｓ１０１１）。
【００９９】
元のＤＣＴ係数情報を受け取ると、ＩＤＣＴ部４０４は、ＤＣＴ係数情報に逆直交変換処理を施して元の予測残差データを再生して加算器４０５に入力する（Ｓ１０１２）。
【０１００】
一方、動きベクトル情報を受け取った動き補償部４０７は、動きベクトル情報に基づいて、フレームメモリ４０６に記憶された予測参照画像（前フレームの動画像データ）に動き補償を実行して加算器４０５に入力する。加算器４０５は、予測残差データと動き補償された予測参照画像とを足し合わせて１フレーム分の動画像データを再生し、画像処理部４０９に入力する（Ｓ１０１３）。
【０１０１】
ここで、ＤＣＴ係数情報および差分のＤＣＴ係数情報から復号されたデータは、元の動画像データである。一方、形状符号化情報から復号されたデータは、動画像データから所定の形状をオブジェクトとして切り出されたデータである。再生した動画像データおよび形状情報を受け取った画像処理部４０９は、各々の情報をオブジェクトとして合成・編集・削除等の処理を実行する（Ｓ１０１４）。合成等の処理を施された動画像データは、Ｄ／Ａ変換装置１１３によりアナログ変換されてスピーカ１０６や表示装置１０７によりユーザに提供される。
【０１０２】
なお、ここでは形状符号化処理、フレーム内符号化処理およびフレーム間符号化処理を行う例を説明したが、さらに後方予測符号化処理を行ってもよい。この場合、電子鍵解除部４０２は、イントラモード、インターモードまたは後方予測符号化モードのいずれかを判定することになる。
【０１０３】
次に、図１１を参照して、符号化装置１０９における電子鍵挿入部２０６の具体的動作例について詳細に説明する。図１１は、電子鍵挿入部２０６により量子化データにスクランブルをかける様子の一例を示す図である。
【０１０４】
図３に示す電子鍵挿入部２０６では、メモリ部３０１にブロック化された１フレーム前の動画像データが記憶される。電子鍵生成部３０２は、メモリ部３０１から動画像データを読み取り、この動画像データの平均値に基づいて並べ替える桁数を決定する。例えば、動画像データのＲＧＢ値が８ビットであると仮定して平均値が１００以下を１桁、１００以上２００未満を２桁、２００以上を３桁のように並び替える桁数を予め設定しておく。図１１に示す例では、並べ替え対象の動画像データの値が「２４０」（ビット表記で「１１１１００００」）の場合において、ブロック内のＲＧＢ値の平均が１００以上２００未満であったと仮定してデータビットの２桁を並び替えている。
【０１０５】
次に、電子鍵生成部３０２は、モード情報に基づきＲＧＢの要素のうち並べ替えを行う要素を決定する。例えば、モード情報がイントラモードである場合はモード１として要素Ｒを並べ替え、インターモードである場合はモード２として要素Ｇを並べ替え、非圧縮モードである場合はモード３として要素Ｂを並べ替えるようにする。図１０（ａ）に示す例では、モード１として要素Ｒの上位２桁を並び替えを行っている。また、図１０（ｂ）に示す例では、モード２として要路Ｇの上位２桁の並び替えを行っている。図１０（ｃ）に示す例では、モード３として要素Ｂの上位２桁の並び替えを行っている。
【０１０６】
ここで、この実施形態における電子鍵挿入部２０６では、ＲＧＢ値データの平均値とモード情報とに基づいて並べ替え対象および桁数を決定しているが、これに限定されるものではなく、色差データを用いたり最大値や最小値を判定材料としてもよい。すなわち、モード情報と、ＤＣＴ係数情報、動きベクトル情報または形状符号化情報などの動画像データとにより並べ替えの規則を組み立てる構成であればよい。
【０１０７】
このように、この実施形態の通信システムによれば、予測符号化処理により生成されるモード情報と、ＤＣＴ係数情報、動きベクトル情報または形状符号化情報などの１フレーム前の動画像データとに基づいて電子鍵を生成し、直交変換・量子化後の動画像データを当該電子鍵により暗号化するので、データ量を増やすことなくフレーム単位で暗号をかけることが可能となり、十分なセキュリティを確保することができる。
【０１０８】
次に、図１２および図１３を参照して本発明の第２の実施形態に係る符号化装置および復号化装置を備えた通信システムについて説明する。図１２は、本発明の第２の実施形態に係る符号化装置および復号化装置を備えた通信システムの構成を示す図である。なお、図１と共通する部分には同一の符号を付して示し、ここでは異なる部分についてのみ説明する。
【０１０９】
図１２に示す通信システムでは、受信器１０３において、送受信装置１１１、復号化装置１１２およびＤ／Ａ変換装置１１３に加えて、さらに指示入力装置１１４を備えている。指示入力装置１１４は、ユーザからの動画像伝送要求の指示を受けて、復号化装置１１２、送受信装置１１１、伝送路１０２および送受信装置１１０を通じて符号化装置１０９に対し動画像データの圧縮・符号化処理の開始を要求する機能を有する。この動画像伝送要求の指示は、符号化の要否、暗号化の要否、符号化・暗号化のブロック指定等を含めることができる。
【０１１０】
次に、図１３を参照して、本発明の第２の実施形態に係る符号化装置および復号化装置の関係について説明する。図１３は、符号化装置および復号化装置の構成を示す図である。なお、図２と共通する部分には同一の符号を付して示し、ここでは異なる部分についてのみ説明する。また、送受信装置や伝送路など、符号化装置および復号化装置以外の構成については図示を省略した。
【０１１１】
図１３に示すように、この通信システムでは、図２に示した復号化装置１１２の構成に加えて、さらに画像要求部４１３を備える。画像要求部４１３は、指示入力装置１１４を介して受けたユーザの指示に基づき、符号化要求信号、暗号化要求信号およびブロック指定信号等を生成して、符号化装置１０９の電子鍵挿入部２０６へ指示する機能を有する。指示を受けた電子鍵挿入部２０６は、符号化要求信号、暗号化要求信号およびブロック指定信号等に基づいて符号化・暗号化の制御やブロックの指定等を実行する。
【０１１２】
続いて、図１２および図１３を参照して、この第２の実施形態に係る通信システムの動作について説明する。
【０１１３】
ユーザから動画像伝送要求の指示を受けると、指示入力装置１１４は、復号化装置１１２の画像要求部２１７に対して動画像データの圧縮・符号化処理の開始を指示する。指示を受けた画像要求部２１７は、指示に基づいて符号化要求信号、暗号化要求信号およびブロック指定信号を生成し、送受信装置１１１を介して送信器１０１へ送出する。
伝送路１０２を介して符号化要求信号、暗号化要求信号およびブロック指定信号を受けた送信器１０１は、これらの信号を送受信装置１１０によりベースバンド信号に変換して符号化装置１０９へ入力する。
【０１１４】
ベースバンド信号に変換された符号化要求信号、暗号化要求信号およびブロック指定信号を受け取ると、符号化装置１０９は各信号を電子鍵挿入部２０６へ入力する。符号化要求信号、暗号化要求信号およびブロック指定信号を受け取った電子鍵挿入部２０６は、各信号に基づいてブロック化部２０１および形状符号化部２１６にブロックや形状の特定を指示するとともに、当該ブロックや形状について符号化処理および暗号化処理を実行する。
【０１１５】
このように、第２の実施形態に係る通信システムによれば、ユーザの指示に基づいて暗号化するブロックや形状を動的に指定することができる。
【０１１６】
次に、図１４乃至図１６を参照して、本発明の第３の実施形態に係る符号化装置および復号化装置について説明する。図１４は、本発明の第３の実施形態に係る符号化装置１０９の構成を示す図、図１５は、同じく電子鍵挿入部２０６を示す図、図１６は、同じく電子鍵解除部４０２を示す図である。
【０１１７】
前述した通り、本発明の第１および第２の実施形態に係る符号化装置、復号化装置および通信システムでは、１フレーム前の動画像データに基づいて電子鍵を生成し、動画像データにスクランブルをかけている。したがって、本発明の復号化装置においてスクランブルを解除するためには、１フレーム前の動画像データがメモリ部５０２に正常に記録されている必要がある。
しかし、伝送路１０２の伝送品質によっては伝送経路において伝送データの一部が欠落する可能性があり、そうすると電子鍵の生成に失敗してスクランブル解除ができなくなってしまう。
この実施形態の符号化装置、復号化装置および通信システムは、電子鍵生成のための動画像データを複数フレーム分用意して、伝送データが欠落しても電子鍵生成を維持できるようにしたものである。
【０１１８】
まず、図１４を参照して、この実施形態の符号化装置１０９について説明する。この実施形態の符号化装置１０９は、第１の実施形態に係る符号化装置１０９にフレーム番号情報決定手段２１７をさらに備えたものである。なお、図２と共通する部分には同一の符号を付して示し、ここでは異なる部分についてのみ説明する。
【０１１９】
図１４に示すように、フレーム番号情報決定手段２１７には、基準クロック発生手段（図示せず）などにより生成された基準時間情報が入力され、この基準時間情報に基づきフレーム番号情報を生成して電子鍵挿入部２０６に入力する。基準時間情報は、動画像データの中から電子鍵の挿入を開始する先頭動画像データを特定する情報であり、例えばカメラ１０４により撮影された日時情報に対応して生成される。また、フレーム番号情報は、基準時間情報で特定された先頭動画像データ以後の動画像データをフレーム単位で特定する情報であり、当該先頭動画像データからの連続した一連番号などにより構成される情報である。
【０１２０】
圧縮符号化処理においては、動画像データが動きベクトル情報などに分解されるので、原動画像データに含まれていたフレーム単位の情報が欠落してしまう。この実施形態の符号化装置１０９におけるフレーム番号情報決定手段２１７は、動画像データをフレーム単位で特定する情報を補う機能を有している。
電子鍵挿入部２０６は、モード情報に加えてフレーム番号情報を利用して電子鍵を生成し、ＤＣＴ係数情報、動きベクトル情報および形状符号化情報に電子鍵を挿入する。
【０１２１】
次に、図１５を参照して、この実施形態の電子鍵挿入部２０６について説明する。この実施形態の電子鍵挿入部２０６は、第１の実施形態に係る電子鍵挿入部２０６に電子鍵生成制御部３０５をさらに備えたものであり、図３と共通する部分には同一の符号を付して示し、ここでは異なる部分についてのみ説明する。
図１５に示すように、この実施形態の電子鍵挿入部２０６は、メモリ部３０１、電子鍵生成部３０２、電子鍵挿入実行部３０３、モード情報暗号化部３０４および電子鍵生成制御部３０５を備えている。
【０１２２】
このメモリ部３０１は、ブロック化された所定のフレーム数の動画像データであるＤＣＴ係数情報、動きベクトル情報および形状符号化情報を記憶する。第１の実施形態と異なるのは、第３の実施形態に係る電子鍵挿入部２０６のメモリ部３０１では、１つ前のフレームに対応する動画像データだけではなく、所定のフレーム数に相当する動画像データが記憶される点である。例えば、伝送路１０２において最大１秒程度の伝送欠落が見込まれる場合、それに対応して３０フレーム程度の動画像データを記憶する。そして、記憶された動画像データのうちいずれかの１フレーム分の動画像データが電子鍵生成に用いられる。
【０１２３】
電子鍵生成制御部３０５は、入力されたフレーム番号情報に基づきメモリ部３０１に記憶されるフレーム単位の動画像データそれぞれにフレーム番号を割り当てるとともに、メモリ部３０１に記憶された動画像データのうち電子鍵生成の基準とすべきフレームを特定するための基準フレーム情報を生成して電子鍵生成部３０２に伝える。
【０１２４】
基準フレーム情報は、例えば基準時間情報で特定される先頭動画像データから遡るフレーム数の情報や、先頭動画像データからの経過時間の情報などからなる情報であるが、これらに限られるものではない。すなわち、先頭動画像データ以後のフレーム単位の動画像データを特定する情報であれば、どのような情報でも基準フレーム情報として用いることができる。
【０１２５】
電子鍵生成部３０２は、モード情報およびメモリ部３０１に記憶された動画像データのうち基準フレーム情報で特定された動画像データに基づき、電子鍵を生成する機能を有する。すなわち、電子鍵生成部３０２は、暗号化する１フレーム分の動画像データに対応するモード情報と、メモリ部３０１に記憶された所定フレーム数の動画像データのうち電子鍵生成制御部３０５が決定した基準フレーム情報に対応する動画像データに基づき、電子鍵を生成する。
【０１２６】
電子鍵挿入実行部３０３は、電子鍵に基づいてＤＣＴ係数情報、動きベクトル情報および形状符号化情報の各データにスクランブルをかける機能を有する。モード情報暗号化部３０４は、動画像データの伝送先である受信器１０３の識別情報（ＩＤ）に基づいて、モード情報、フレーム番号情報および基準フレーム情報を暗号化する機能を有する。
【０１２７】
続いて、図１６を参照して、この実施形態の電子鍵解除部４０２について説明する。この実施形態の電子鍵解除部４０２は、第１の実施形態に係る電子鍵解除部４０２に電子鍵生成制御部５０５をさらに備えたものであり、図５と共通する部分には同一の符号を付して示し、ここでは異なる部分についてのみ説明する。
【０１２８】
図１６に示すように、この実施形態の電子鍵解除部４０２は、モード情報暗号解除部５０１、メモリ部５０２、電子鍵生成部５０３、電子鍵解除実行部５０４および電子鍵生成制御部５０５を備える。モード情報暗号解除部５０１は、電子鍵挿入部２０６におけるモード情報暗号化部３０４に対応し、受信器１０３の識別情報（ＩＤ）などに基づき暗号化されたモード情報、フレーム番号情報および基準フレーム情報の暗号を解除する機能を有する。
【０１２９】
メモリ部５０２は、スクランブルが解除された所定のフレーム数分のＤＣＴ係数情報、動きベクトル情報および形状符号化情報などの動画像データを記憶する。この実施形態のメモリ部５０２は、１フレーム分の動画像データだけではなく、電子鍵挿入部２０６に対応する所定のフレーム数の動画像データを記憶する点が第１の実施形態と相違している。
【０１３０】
電子鍵生成制御部５０５は、暗号が解除されたフレーム番号情報からメモリ部５０２に記憶されたフレーム単位の動画像データそれぞれにフレーム番号を割り当てるとともに、同じく暗号が解除された基準フレーム情報に基づき、メモリ部５０２に記憶された動画像データのうち電子鍵生成の基準とすべき動画像データを特定する。
【０１３１】
電子鍵生成部５０３は、電子鍵挿入部２０６における電子鍵生成部３０２と対応し、メモリ部５０２に記憶されている電子鍵生成制御部５０５により特定された動画像データと、モード情報暗号解除部５０１により暗号が解除されたモード情報とに基づき電子鍵を生成する。電子鍵解除実行部５０４は、電子鍵挿入部２０６における電子鍵挿入実行部３０３に対応し、電子鍵により動画像データのスクランブルを解除する機能を有する。
【０１３２】
このように、この実施形態の符号化装置、復号化装置によれば、メモリ部３０１・５０２に所定フレーム数の動画像データを逐次記憶しておき、動画像データの圧縮・符号化の過程において生成するモード情報と、記憶された動画像データのうち基準フレーム情報で特定されたフレームの動画像データとに基づいて電子鍵を生成して動画像データにスクランブルを施すので、伝送路１０２においてデータ欠落が発生しても、次の動画像データのスクランブルを解除する電子鍵を生成する動画像データをメモリ部５０２から読み出すことができる。
【０１３３】
続いて、図１５および図１７を参照して、この実施形態の符号化装置１０９における電子鍵生成処理について詳細に説明する。図１７は、この実施形態の電子鍵挿入部２０６の動作を示すフローチャートである。
【０１３４】
動画像データへの電子鍵挿入が開始されると、フレーム番号情報決定手段２１７は、先頭動画像データに対応する基準時間情報を受け取り、フレーム番号情報を生成して基準時間情報とともに電子鍵挿入部２０６の電子鍵生成制御部３０５に入力する（Ｓ１７０１）。
【０１３５】
基準時間情報とフレーム番号情報が入力されると、電子鍵生成制御部３０５は、電子鍵を生成する基準となる動画像データに対応する基準フレーム情報（例えば先頭動画像データから１５フレーム遡るとして「１５」）を生成する（Ｓ１７０２）。
【０１３６】
基準フレーム情報を生成すると、電子鍵生成制御部３０５は、基準時間情報およびフレーム番号情報に基づき、メモリ部３０１に記憶される動画像データにフレーム番号を割り当てる（Ｓ１７０３）。このフレーム番号は、例えば一連番号のように処理開始の後重複しないように生成される。
【０１３７】
電子鍵の挿入が開始されてから所定のフレーム数（例えば３０フレーム分）が記憶されるまでは、メモリ部３０１にはまだ十分なフレーム数の動画像データが蓄積されていない。そのため、電子鍵生成制御部３０５は、初期段階として１つ前のフレームに対応する動画像データに基づき電子鍵を生成するよう電子鍵生成部３０２に指示する。指示を受けた電子鍵生成部３０２は、メモリ部３０１から１つ前のフレームに対応する動画像データを読み出してモード情報に基づき電子鍵を生成する。電子鍵が生成されると、電子鍵挿入実行部３０３は、動画像データに電子鍵を挿入する（Ｓ１７０４）。なお、先頭データには１つ前のフレームに対応する動画像データがメモリ部３０１に記憶されていないので、伝送先である受信器１０３のＩＤ情報等に基づき電子鍵を生成する。
【０１３８】
電子鍵生成制御部３０５は、メモリ部３０１に所定フレーム数の動画像データが記憶されたか判定する（Ｓ１７０５）。メモリ部３０１に所定フレーム数の動画像データが記憶されていない場合（Ｓ１７０５のＮｏ）、電子鍵生成制御部３０５は、１つ前のフレームに対応する動画像データに基づき電子鍵を生成するように電子鍵生成部３０２に指示する。指示を受けた電子鍵生成部３０２は、メモリ部３０１から１つ前の動画像データを読み出してモード情報に基づき電子鍵を生成する。電子鍵が生成されると、電子鍵挿入実行部３０３は、動画像データに電子鍵を挿入する（Ｓ１７０４）。この初期段階のループの間、メモリ部３０１は動画像データを逐次記憶していく。
【０１３９】
メモリ部３０１に所定フレーム数の動画像データが記憶された場合（Ｓ１７０５のＹｅｓ）、電子鍵生成制御部３０５は、先頭動画像データから基準フレーム情報だけ前の動画像データに基づき電子鍵を生成するように電子鍵生成部３０２に指示する。指示を受けた電子鍵生成部３０２は、メモリ部３０１から基準フレーム情報だけ前の動画像データを読み出してモード情報に基づき電子鍵を生成する。すなわち、この例では１５フレーム前の動画像データに基づき電子鍵を生成する。電子鍵が生成されると、電子鍵挿入実行部３０３は、動画像データに電子鍵を挿入する（Ｓ１７０６）。以後、基準フレーム番号だけ前の動画像データを基準として電子鍵が生成される。
【０１４０】
次に、図１６および図１８を参照して、この実施形態の復号化装置１１９における電子鍵生成処理について詳細に説明する。図１８は、この実施形態の電子鍵解除部４０２の動作を示すフローチャートである。
【０１４１】
電子鍵解除処理が開始されると、モード情報暗号解除部５０１は、ＩＤ情報などに基づいて、モード情報、フレーム番号情報および基準フレーム情報の暗号を解除する（Ｓ１８０１）。
【０１４２】
モード情報、フレーム番号情報および基準フレーム番号の暗号が解除されると、電子鍵生成制御部５０５は、フレーム番号情報に基づき、メモリ部５０２に記憶される動画像データにフレーム番号を割り当てる（Ｓ１８０２）。この処理により、スクランブルをかける際に割り当てられたフレーム番号に対応するフレーム番号が、スクランブルを解除する際にも割り当てられることになる。
【０１４３】
電子鍵の挿入が開始されてから所定のフレーム数（例えば３０フレーム分）が記憶されるまでは、メモリ部５０２にはまだ十分なフレーム数の動画像データが蓄積されていない。そのため、電子鍵生成制御部５０５は、初期段階として１つ前のフレームに対応する動画像データに基づき電子鍵を生成するよう電子鍵生成部５０３に指示する。指示を受けた電子鍵生成部５０３は、メモリ部５０２から１つ前のフレームに対応する動画像データを読み出してモード情報に基づき電子鍵を生成する（Ｓ１８０３）。なお、先頭の動画像データについてはメモリ部５０２に１つ前のフレームに対応する動画像データが記憶されていないので、自らのＩＤ情報等に基づき電子鍵が生成される。
【０１４４】
電子鍵が生成されると、電子鍵解除実行部５０４は、当該電子鍵を用いて動画像データのスクランブルを解除する（Ｓ１８０４）。
【０１４５】
電子鍵生成制御部５０５は、メモリ部５０２に所定フレーム数の動画像データが記憶されたか判定する（Ｓ１８０５）。メモリ部５０２に所定フレーム数の動画像データが記憶されていない場合（Ｓ１８０５のＮｏ）、電子鍵生成制御部３０５は、１つ前のフレームに対応する動画像データに基づき電子鍵を生成するように電子鍵生成部５０３に指示する。指示を受けた電子鍵生成部５０３は、メモリ部５０２から１つ前の動画像データを読み出してモード情報に基づき電子鍵を生成する（Ｓ１８０３）。
【０１４６】
電子鍵が生成されると、電子鍵解除実行部５０４は、動画像データのスクランブルを解除する（Ｓ１８０４）。この初期段階ループの間、メモリ部５０２は、動画像データを逐次記憶していく。
【０１４７】
メモリ部５０２に所定フレーム数の動画像データが記憶された場合（Ｓ１８０５のＹｅｓ）、電子鍵生成制御部５０５は、基準フレーム情報だけ前の動画像データに基づき電子鍵を生成するように電子鍵生成部５０３に指示する。指示を受けた電子鍵生成部５０３は、メモリ部５０２から基準フレーム情報だけ前の動画像データを読み出してモード情報に基づき電子鍵を生成する（Ｓ１８０６）。すなわち、この例では１５フレームだけ前の動画像データに基づき電子鍵が生成される。
【０１４８】
電子鍵が生成されると、電子鍵解除実行部５０４は、動画像データのスクランブルを解除する（Ｓ１８０７）。以後、基準フレーム情報だけ前の動画像データを基準として電子鍵が生成される。
【０１４９】
この実施形態に係る符号化装置１０９、復号化装置１１２によれば、伝送データに欠落が生じても、基準フレーム情報に基づきメモリ部５０２に記憶された動画像データの中から次のフレームに対応する動画像データを読み出すことができるので、正常に電子鍵を生成することができる。
【０１５０】
なお、この実施形態では、フレーム番号情報決定手段２１７によりフレーム番号情報を生成し、これをメモリ部３０１・５０２に割り当てることでフレーム単位の動画像データの特定を可能にしているが、これに限られるものではない。例えば、メモリ部３０１・５０２の記憶領域にアドレスを付して、当該アドレス単位でフレーム単位の動画像データを特定してもよい。
【０１５１】
また、この実施形態は、前述した第１の実施形態に係る符号化装置および復号化装置に適用するだけに限られず、第２の実施形態に係る符号化装置および復号化装置に適用してもよい。さらに、この実施形態では、メモリ部３０１・５０２に所定のフレーム数の動画像データが記憶されるまでを初期段階とし、初期段階においては１つ前のフレームの動画像データに基づき電子鍵を生成しているが、これに限られるものではない。すなわち、先頭動画像データがメモリ部３０１・５０２に記憶されてからの経過時間によって初期段階を規定してもよい。
【０１５２】
また、この実施形態では電子鍵生成制御部３０５が基準フレーム情報を生成しているが、ユーザにより入力するものでもよい。また、この実施形態の電子鍵生成制御部３０５は、基準フレーム情報を一定の値として生成しているが、これに限られるものではなく、所定のフレーム単位や経過時間単位に応じて動的に生成するものであってもよい。この場合、暗号強度を高める効果を得ることができる。
【０１５３】
次に、図１９および図２０を参照して本発明の第４の実施形態に係る符号化装置および復号化装置を備えた通信システムについて説明する。図１９は、本発明の第４の実施形態に係る符号化装置および復号化装置を備えた通信システムの構成を示す図、図２０は、この通信システムの電子鍵解除処理を示すフローチャートである。なお、図１３および１４と共通する部分には同一の符号を付して示し、ここでは異なる部分についてのみ説明する。
【０１５４】
図１９に示すように、この通信システムは、図１４に示した符号化装置１０９と、図１６に示した電子鍵解除部４０２を備えた復号化装置１１２を有しており、復号化装置１１２に通信状態監視部４１４をさらに備えるものである。通信状態監視部４１４は、可変長復号化部４０１で復号されるデータを常に監視して、伝送欠落（パケットロス）の有無を検査する機能を有する。そして、パケットロスの有無に基づき、通信状態監視部４１４は、動画像データの送信元の符号化装置１０９における電子鍵挿入部２０６に対して電子鍵生成について制御指示を送る機能を有している。
【０１５５】
続いて、図１６および図２０を参照して第４の実施形態に係る通信システムの電子鍵解除処理について説明する。
【０１５６】
電子鍵解除処理が開始されると、モード情報暗号解除部５０１は、ＩＤ情報などに基づいて、モード情報、フレーム番号情報および基準フレーム情報の暗号を解除する（Ｓ２００１）。
【０１５７】
モード情報、フレーム番号情報および基準フレーム情報の暗号が解除されると、電子鍵生成制御部５０５は、フレーム番号情報に基づき、メモリ部５０２に記憶される動画像データにフレーム番号を割り当てる（Ｓ２００２）。この処理により、スクランブルをかける際に割り当てられたフレーム番号がスクランブルを解除する際にも割り当てられることになる。
【０１５８】
電子鍵の挿入が開始されてから所定のフレーム数（例えば３０フレーム分）が記憶されるまでは、メモリ部５０２にはまだ十分なフレーム数の動画像データが蓄積されていない。そのため、電子鍵生成制御部５０５は、初期段階として１つ前のフレームに対応する動画像データに基づき電子鍵を生成するよう電子鍵生成部５０３に指示する。指示を受けた電子鍵生成部５０３は、メモリ部５０２から１つ前のフレームに対応する動画像データを読み出してモード情報に基づき電子鍵を生成する（Ｓ２００３）。
【０１５９】
電子鍵が生成されると、電子鍵解除実行部５０４は、当該電子鍵を用いて動画像データのスクランブルを解除する（Ｓ２００４）。
【０１６０】
電子鍵生成制御部５０５は、メモリ部５０２に所定フレーム数の動画像データが記憶されたか判定する（Ｓ２００５）。メモリ部５０２に所定フレーム数の動画像データが記憶されていない場合（Ｓ２００５のＮｏ）、電子鍵生成制御部３０５は、１つ前のフレームに対応する動画像データに基づき電子鍵を生成するように電子鍵生成部５０３に指示する。指示を受けた電子鍵生成部５０３は、メモリ部５０２から１つ前の動画像データを読み出してモード情報に基づき電子鍵を生成する（Ｓ２００３）。
【０１６１】
電子鍵が生成されると、電子鍵解除実行部５０４は、動画像データのスクランブルを解除する（Ｓ２００４）。この初期段階のループの間、メモリ部５０２は、動画像データを逐次記憶していく。
【０１６２】
メモリ部５０２に所定フレーム数の動画像データが記憶された場合（Ｓ２００５のＹｅｓ）、電子鍵生成制御部５０５は、基準フレーム情報だけ前の動画像データに基づき電子鍵を生成するように電子鍵生成部５０３に指示する。指示を受けた電子鍵生成部５０３は、メモリ部５０２から基準フレーム情報だけ前の動画像データを読み出してモード情報に基づき電子鍵を生成する（Ｓ２００６）。
【０１６３】
電子鍵が生成されると、電子鍵解除実行部５０４は、動画像データのスクランブルを解除する（Ｓ２００７）。以後、基準フレーム情報だけ前の動画像データを基準として電子鍵が生成される。
【０１６４】
通信状態監視部４１４は、電子鍵解除処理が開始されると可変長復号化部４０１を通過するトラヒックを検出してパケットロスの有無を監視する（Ｓ２００８）。パケットロスが発生しない場合（Ｓ２００８のＮｏ）、そのまま電子鍵解除処理が実行される（Ｓ２００７）。
【０１６５】
通信状態監視部４１４がパケットロスの発生を検知した場合（Ｓ２００８のＹｅｓ）、通信状態監視部４１４は、伝送路１０２を介して電子鍵挿入部２０６に基準フレーム情報の再設定を指示する（Ｓ２００９）。指示を受けた電子鍵挿入部２０６の電子鍵生成制御部３０５は、基準フレーム情報を再設定して電子鍵生成部３０２に電子鍵生成を指示する。この結果、パケットロスで失われた動画像データは電子鍵生成の基準とは使われなくなるので、パケットロスが生じても電子鍵解除は正常に行われる。
【０１６６】
ここで、図２１を参照して、この実施形態の通信システムにおける基準フレーム情報の再設定について詳細に説明する。図２１は、この実施形態に係る通信システムにおけるパケットロスの復旧動作について示した概要図である。図２１では、伝送される動画像データに一連のフレーム番号１，２，３，４…が割り当てられており、二つ前の動画像データに基づいて電子鍵が生成される例を示している。したがって、基準フレーム情報は「２」である。
【０１６７】
図２１（ａ）に示すように、暗号化される動画像データは、電子鍵解除部４０２のメモリ部５０２に記憶された動画像データに基づいて電子鍵が生成され、スクランブルが解除される。この例では基準フレーム情報は「２」であるから、電子鍵生成部５０３は、メモリ部５０２に記憶された２つ前のフレームの動画像データに基づき電子鍵を生成する。すなわち、フレーム番号３の動画像データはメモリ部５０２に記憶されたフレーム番号１の動画像データ、フレーム番号６の動画像データは同じくフレーム番号４の動画像データに基づき電子鍵が生成され、スクランブルが解除される。
なお、この例においてフレーム番号１および２は、電子鍵生成の基準となる動画像データがメモリ部５０２に記憶されていないため、ＩＤ情報などにより電子鍵が生成される。
【０１６８】
図２１（ｂ）に示すように、フレーム番号４に対応する動画像データがエラー等により廃棄されてパケットロスとなった場合、メモリ部５０２にはフレーム番号４の動画像データは記憶されない。そうすると、電子鍵生成部５０３は、フレーム番号６の動画像データのスクランブルを解除する電子鍵を生成することができなくなり、連鎖的にフレーム番号８の動画像データに対応する電子鍵を生成することもできなくなる。この実施形態の通信システムでは伝送する動画像データは圧縮符号化されているから、スクランブルを解除できないデータが徐々に増えて画質が劣化する原因となってしまう。
【０１６９】
図２１（ｃ）は、通信状態監視部４１４により基準フレーム情報が再設定される例である。通信状態監視部４１４は、フレーム番号４の動画像データが欠落したことを検知すると、電子鍵挿入部２０６に対してフレーム番号４の動画像データのパケットが廃棄されたことを伝え、基準フレーム情報の再設定を指示する。指示を受けた電子鍵挿入部２０６の電子鍵生成制御部３０５は、フレーム番号６を暗号化する電子鍵の生成において基準フレーム情報を「１」に設定し、この情報をモード情報とともに復号化装置１１２に伝える。
【０１７０】
電子鍵生成部３０２は、基準フレーム情報の再設定に伴い、フレーム番号６の暗号化に用いる電子鍵を１つ前のフレームであるフレーム番号５の動画像データに基づいて電子鍵を生成する。電子鍵挿入実行部３０３は、当該電子鍵によりフレーム番号６の動画像データにスクランブルをかける。
【０１７１】
電子鍵解除部４０２における電子鍵生成制御部５０５は、フレーム番号６に対応する基準フレーム情報が「１」であることを通知されると、フレーム番号６の動画像データに対応する電子鍵の生成について、１つ前のフレーム番号５の動画像データを参照するように電子鍵生成部５０３に指示し、電子鍵生成部５０３は、メモリ部５０２からフレーム番号５の動画像データを読み出して電子鍵を生成する。電子鍵解除実行部５０４は、当該電子鍵によりフレーム番号６の動画像データについてスクランブルを解除する。なお、フレーム番号７の動画像データについては、２つ前のフレーム番号５が正常に復号できているので、予め決められた基準フレーム情報が「２」であるとしてスクランブルを解除することができる。
【０１７２】
このように、伝送線路においてパケットロスが生じ電子鍵生成のための動画像データが途切れた場合でも、通信状態監視部４１４は、基準フレーム番号を動的に再設定するので、電子鍵生成を維持することができる。
【０１７３】
なお、本発明は上記実施形態のみに限定されるものではない。
上記実施形態における符号化装置、復号化装置、通信システム、符号化方法および復号化方法は、ハードウェアとして実現してもよいし、ソフトウェアを組み込んだコンピュータにより実現してもよい。ソフトウェアを組み込んだコンピュータにより実現する場合、ソフトウェアは、フレキシブルディスクなどのコンピュータが読み出し可能な記憶媒体に記憶されていてもよい。また、コンピュータは、記憶媒体に記憶されたソフトウェアに基づき、本実施形態における各処理を実行するものであって、パソコンなどの一つからなる装置、複数の装置がネットワーク接続されたシステムなどのいずれの構成であってもよい。さらに、コンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコンなども含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。
【０１７４】
【発明の効果】
以上説明したように本発明の符号化装置、復号化装置、通信システム、符号化方法および復号化方法によれば、符号化による動画像データの圧縮率を低下させずに十分なセキュリティを確保することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る符号化装置および復号化装置を備えた通信システムの構成を示す図である。
【図２】図１に示した符号化装置の構成を示す図である。
【図３】図２に示した電子鍵挿入部の構成を示す図である。
【図４】図１に示した復号化装置の構成を示す図である。
【図５】図４に示した電子鍵解除部の構成を示す図である。
【図６】図２に示した符号化装置によるフレーム内予測符号化処理を示すフローチャートである。
【図７】図２に示した符号化装置によるフレーム間予測符号化処理を示すフローチャートである。
【図８】図２に示した符号化装置による後方予測符号化処理を示すフローチャートである。
【図９】図２に示した符号化装置の具体的動作を示すフローチャートである。
【図１０】図４に示した復号化装置の動作を示すフローチャートである。
【図１１】図３に示した電子鍵挿入部により量子化データにスクランブルをかける様子の一例を示す図である。
【図１２】本発明の第２の実施形態に係る符号化装置および復号化装置を備えた通信システムの構成を示す図である。
【図１３】図１２に示した符号化装置および復号化装置の構成を示す図である。
【図１４】本発明の第３の実施形態に係る符号化装置の構成を示す図である。
【図１５】本発明の第３の実施形態に係る電子鍵挿入部の構成を示す図である。
【図１６】本発明の第３の実施形態に係る電子鍵解除部の構成を示す図である。
【図１７】本発明の第３の実施形態の電子鍵挿入部の動作を示すフローチャートである。
【図１８】本発明の第３の実施形態の電子鍵解除部の動作を示すフローチャートである。
【図１９】本発明の第４の実施形態に係る符号化装置および復号化装置を備えた通信システムの構成を示す図である。
【図２０】本発明の第４の実施形態の通信システムの電子鍵解除処理を示すフローチャートである。
【図２１】本発明の第４の実施形態の通信システムにおけるパケットロスの復旧動作について示す図である。
【符号の説明】
１０１…送信器、１０２…伝送路、１０３…受信器、１０４…カメラ、１０５…マイク、１０６…スピーカ、１０７…表示装置、１０８…Ａ／Ｄ変換装置、１０９…符号化装置、１１０…送受信装置、１１１…送受信装置、１１２…復号化装置、１１３…Ｄ／Ａ変換装置、１１４…指示入力装置、
２０１…ブロック化部、２０２…減算器、２０３ａ・２０３ｂ…切替器、２０４…ＤＣＴ部、２０５…量子化部、２０６…電子鍵挿入部、２０７…可変長符号化部、２０８…モード選択部、２０９…逆量子化部、２１０…ＩＤＣＴ部、２１１…加算器、２１２・２１４…フレームメモリ、２１３・２１５…動き補償部、２１６…形状符号化部、２１７…フレーム番号情報決定手段、
３０１…メモリ部、３０２…電子鍵生成部、３０３…電子鍵挿入実行部、３０４…モード情報暗号化部、３０５…電子鍵生成制御部、
４０１…可変長復号化部、４０２…電子鍵解除部、４０３…逆量子化部、４０４…ＩＤＣＴ部、４０５…加算器、４０６…フレームメモリ、４０７…動き補償部、４０８…スイッチ、４０９…画像処理部、４１０…形状復号化部、４１１…メモリ、４１２…動き補償部、４１３…画像要求部、４１４…通信状態監視部、
５０１…モード情報暗号解除部、５０２…メモリ部、５０３…電子鍵生成部、５０４…電子鍵解除実行部、５０５…電子鍵生成制御部

Claims (13)

1. 入力されたフレーム単位の動画像データを空間周波数領域に直交変換して係数情報を出力する変換手段と、
   前記係数情報に基づき前記動画像データを元の動画像データに再生して、該動画像データの動き分を予測する予測画像データおよび前記動き分のベクトル成分を有する動きベクトル情報を生成する動き補償手段と、
   フレーム全体の動画像データを前記直交変換手段に入力するフレーム内予測符号化モード、およびフレーム全体の動画像データと前記予測画像データとの差分の動画像データを前記直交変換手段に入力するフレーム間予測符号化モードのいずれかを選択して前記直交変換手段に入力する動画像データを切り換えるとともに、該選択されたモードをモード情報として出力するモード選択手段と、
   前記モード情報に基づき前記係数情報および前記動きベクトル情報を暗号化するとともに、所定の識別情報に基づき前記モード情報を暗号化する暗号化手段と、
   前記暗号化されたモード情報、係数情報および動きベクトル情報を可変長符号化するとともに多重化してデータストリームとして出力する符号化手段と
   を具備したことを特徴とする符号化装置。
2. 請求項１記載の符号化装置であって、前記入力されたフレーム単位の動画像データから所定の形状を切り出すとともに空間周波数領域に直交変換した形状符号化情報を生成し、該形状符号化情報を前記暗号化手段に入力する形状符号化手段をさらに備え、
   前記暗号化手段は、前記モード情報に基づき前記形状符号化情報をさらに暗号化し、
   前記符号化手段は、前記暗号化された形状符号化情報をさらに可変長符号化して、前記暗号化および可変長符号化されたモード情報、係数情報および動きベクトル情報とともに多重化してデータストリームとして出力することを特徴とする符号化装置。
3. 前記暗号化手段は、１フレーム分の前記係数情報および前記動きベクトル情報を前フレーム動画像データとして記憶するメモリ手段と、
   前記モード情報および前記前フレーム動画像データに基づき電子鍵を生成する電子鍵生成手段と、
   前記電子鍵に基づき、前記前フレーム動画像データの次のフレームに対応する係数情報および動きベクトル情報を暗号化する暗号実行手段と、
   前記モード情報を所定の識別情報に基づき暗号化するモード情報暗号化手段とを備えることを特徴とする請求項１記載の符号化装置。
4. 前記入力されたフレーム単位の動画像データに対応するフレーム番号情報を生成するフレーム番号情報生成手段をさらに備え、
   前記暗号化手段は、前記係数情報および前記動きベクトル情報をフレーム単位で所定フレーム数の動画像データとして前記フレーム番号情報と対応させて記憶するメモリ手段と、被暗号化動画像データを暗号化する電子鍵の生成の基準となる動画像データを前記メモリ手段に記憶された動画像データの中から特定するための基準フレーム情報を生成する基準フレーム情報生成手段と、前記メモリ手段に記憶され前記基準フレーム情報により特定される動画像データと前記モード情報とに基づき電子鍵を生成する電子鍵生成手段と、前記電子鍵に基づき前記被暗号化動画像データに対応する係数情報および動きベクトル情報を暗号化する暗号実行手段と、前記モード情報、前記フレーム番号情報および前記基準フレーム情報を所定の識別情報に基づき暗号化するモード情報暗号化手段とを備え、
   前記符号化手段は、前記暗号化されたモード情報、フレーム番号情報、基準フレーム情報、係数情報および動きベクトル情報を可変長符号化するとともに多重化してデータストリームとして出力すること
   を特徴とする請求項１記載の符号化装置。
5. 入力されたフレーム単位の動画像データからなる暗号化されたデータストリームから、空間周波数領域に直交変換された前記動画像データの係数情報と、前記動画像データの動き分のベクトル成分を有する動きベクトル情報と、前記動画像データの符号化方法を示すモード情報とを分離する復号化手段と、
   所定の識別情報に基づき前記モード情報の暗号を解除するとともに、暗号が解除された該モード情報に基づき前記係数情報および前記動きベクトル情報の暗号を解除する暗号解除手段と、
   前記係数情報を逆直交変換してフレーム単位の動画像データとして再生する変換手段と、
   前記モード情報および前記再生された動画像データに基づき、前記再生された動画像データを動き補償して出力する動き補償部と
   を具備したことを特徴とする復号化装置。
6. 請求項５記載の復号化装置であって、
   前記入力されたフレーム単位の動画像データから切り出された所定の形状について空間周波数領域に直交変換した形状符号化情報を逆直交変換して元の形状情報を再生する形状復号化手段と、
   前記動きベクトル情報に基づき前記元の形状情報動き補償して出力する形状動き補償部をさらに備え、
   前記復号化手段は、前記入力されたフレーム単位の動画像データからなる暗号化されたデータストリームを前記暗号化された形状符号化情報にさらに分解し、
   前記暗号解除手段は、暗号が解除された前記モード情報に基づき前記形状符号化情報の暗号を解除すること
   を特徴とする復号化装置。
7. 前記暗号解除手段は、
   暗号化されたモード情報について所定の識別情報に基づき暗号を解除するモード情報復元手段と、
   １フレーム分の前記係数情報および前記動きベクトル情報を前フレーム動画像データとして記憶するメモリ手段と、
   前記暗号を解除されたモード情報および前記前フレーム動画像データに基づき電子鍵を生成する電子鍵生成手段と、
   前記電子鍵に基づき、前記係数情報および前記動きベクトル情報の次のフレームに対応する係数情報および動きベクトル情報について暗号を解除する暗号解除実行手段と
   を備えることを特徴とする請求項５記載の復号化装置。
8. 前記復号化手段は、前記暗号化されたデータストリームから、空間周波数領域に直交変換された前記動画像データの係数情報と、前記動画像データの動き分のベクトル成分を有する動きベクトル情報と、前記動画像データの符号化方法を示すモード情報と、前記動画像データ各々にフレーム単位で対応するフレーム番号情報と、暗号解除対象動画像データの暗号を解除する電子鍵生成の基準となる動画像データを特定するための基準フレーム情報とを分離し、
   前記暗号解除手段は、暗号化されたモード情報、フレーム番号情報および基準フレーム情報について所定の識別情報に基づき暗号を解除するモード情報復元手段と、前記係数情報および前記動きベクトル情報をフレーム単位で所定フレーム数の動画像データとして前記フレーム番号情報と対応させて記憶するメモリ手段と、前記暗号を解除されたモード情報と前記メモリ手段に記憶され前記暗号を解除された基準フレーム情報により特定される動画像データとに基づき電子鍵を生成する電子鍵生成手段と、前記電子鍵に基づき、前記暗号解除対象動画像データに対応する係数情報および動きベクトル情報について暗号を解除する暗号解除実行手段とを備えること
   を特徴とする請求項５記載の復号化装置。
9. （ａ）入力されたフレーム単位の動画像データを空間周波数領域に直交変換して係数情報を出力する変換手段と、
   前記係数情報に基づき前記動画像データを元の動画像データに再生して該動画像データの動き分を予測する予測画像データと、前記動き分のベクトル成分を有する動きベクトル情報とを生成して出力する動き補償手段と、
   フレーム全体の動画像データを前記直交変換手段に入力してフレーム全体の動画像データに対応する係数情報を出力させるフレーム内予測符号化モード、およびフレーム全体の動画像データと前記予測画像データとの差分動画像データを前記直交変換手段に入力して差分の動画像データに対応する係数情報を出力させるフレーム間予測符号化モードのいずれかを選択して前記直交変換手段に入力する動画像データを切り換えるとともに、該選択されたモードをモード情報として出力するモード選択手段と、
   前記モード情報に基づき前記係数情報および前記動きベクトル情報を暗号化するとともに、所定の識別情報に基づき前記モード情報を暗号化する暗号化手段と、
   前記暗号化されたモード情報、係数情報および動きベクトル情報を可変長符号化するとともに多重化してデータストリームとして出力する符号化手段とを具備した符号化装置を備え、前記データストリームを送信する送信器と、
   （ｂ）前記送信器から送信されたデータストリームを、前記係数情報と、前記動きベクトル情報と、前記モード情報とに分解する復号化手段と、
   所定の識別情報に基づき前記モード情報の暗号を解除するとともに、暗号が解除された該モード情報に基づき前記係数情報および前記動きベクトル情報の暗号を解除する暗号解除手段と、
   前記係数情報を逆直交変換してフレーム単位の動画像データとして再生する変換手段と、
   前記モード情報および前記再生された動画像データに基づき、前記再生された動画像データを動き補償して出力する動き補償部とを具備した復号化装置を備えた受信器と
   を具備したことを特徴とする通信システム。
10. 前記受信器は、ユーザからの復号化指示を受けて前記復号化手段に伝える指示入力手段と、
    前記復号化指示に基づき、前記復号化指示を前記送信器へ伝える画像要求手段とをさらに備え、
    前記暗号化手段は、前記受信器の画像要求手段から受けた符号化指示に基づき符号化を実行することを特徴とする請求項９記載の通信システム。
11. 前記送信器は、前記入力されたフレーム単位の動画像データに対応するフレーム番号情報を生成するフレーム番号情報生成手段をさらに備え、
    前記暗号化手段は、前記係数情報および前記動きベクトル情報をフレーム単位で所定フレーム数の動画像データとして前記フレーム番号情報と対応させて記憶するメモリ手段と、被暗号化動画像データを暗号化する電子鍵生成の基準となる動画像データを前記メモリ手段に記憶された動画像データの中から特定するための基準フレーム情報を生成する基準フレーム情報生成手段と、前記メモリ手段に記憶され前記基準フレーム情報により特定される動画像データと前記モード情報とに基づき電子鍵を生成する電子鍵生成手段と、前記電子鍵に基づき前記被暗号化動画像データに対応する係数情報および動きベクトル情報を暗号化する暗号実行手段と、前記モード情報、前記フレーム番号情報および前記基準フレーム情報を所定の識別情報に基づき暗号化するモード情報暗号化手段とを備え、
    前記符号化手段は、前記暗号化されたモード情報、フレーム番号情報、基準フレーム情報、係数情報および動きベクトル情報を可変長符号化するとともに多重化してデータストリームとして出力し、
    前記復号化手段は、前記送信器から送信されたデータストリームから、空間周波数領域に直交変換された前記動画像データの係数情報と、前記動画像データの動き分のベクトル成分を有する動きベクトル情報と、前記動画像データの符号化方法を示すモード情報と、前記動画像データ各々にフレーム単位で対応するフレーム番号情報と、暗号解除対象動画像データの暗号を解除する電子鍵生成の基準となる動画像データを特定するための基準フレーム情報とを分離し、
    前記暗号解除手段は、暗号化されたモード情報、フレーム番号情報および基準フレーム情報について所定の識別情報に基づき暗号を解除するモード情報復元手段と、前記係数情報および前記動きベクトル情報をフレーム単位で所定フレーム数の動画像データとして前記フレーム番号情報と対応させて記憶するメモリ手段と、前記暗号を解除されたモード情報と前記メモリ手段に記憶され前記暗号を解除された基準フレーム情報により特定される動画像データとに基づき電子鍵を生成する電子鍵生成手段と、前記電子鍵に基づき、前記暗号解除対象動画像データに対応する係数情報および動きベクトル情報について暗号を解除する暗号解除実行手段とを備え、
    前記受信器は、前記送信器から送信されたデータストリーム中のパケットロスを監視する通信状態監視手段をさらに備え、該パケットロスを検知した場合に前記基準フレーム情報を再生成するよう基準フレーム情報生成手段に指示することを特徴とする請求項９記載の通信システム。
12. フレーム全体の動画像データ、およびフレーム全体の動画像データと該動画像データ動き分を予測した予測画像データとの差分動画像データのいずれかを有するフレーム単位の動画像データを空間周波数領域に直交変換して係数情報に変換するステップと、
    前記係数情報に基づき、前記動画像データを元の動画像データに再生して前記予測画像データを生成するとともに前記動き分のベクトル成分を有する動きベクトル情報を生成するステップと、
    フレーム全体の動画像データを直交変換して係数情報に変換するフレーム内予測符号化モード、および前記差分動画像データを直交変換して係数情報に変換するフレーム間予測符号化モードのいずれかを選択するとともに、該選択されたモードをモード情報として出力するステップと、
    前記モード情報に基づき前記係数情報および前記動きベクトル情報を暗号化するとともに、所定の識別情報に基づき前記モード情報を暗号化するステップと、
    前記暗号化されたモード情報、係数情報および動きベクトル情報を可変長符号化するとともに多重化してデータストリームとして出力するステップと
    を有することを特徴とする符号化方法。
13. 入力されたフレーム単位の動画像データからなる暗号化されたデータストリームから、空間周波数領域に直交変換された前記動画像データの係数情報と、前記動画像データの動き分のベクトル成分を有する動きベクトル情報と、前記動画像データの符号化方法を示すモード情報とに分離するステップと、
    所定の識別情報に基づき前記モード情報の暗号を解除するとともに、暗号が解除された該モード情報に基づき前記係数情報および前記動きベクトル情報の暗号を解除するステップと、
    前記係数情報を逆直交変換してフレーム単位の動画像データとして再生するステップと、
    前記モード情報および前記再生された動画像データに基づき、前記再生された動画像データを動き補償して出力するステップと
    を有することを特徴とする復号化方法。

Images