JP2002076905A - 画像符号化装置、画像符号化方法、画像符号化プログラムを記録したコンピュータ可読記録媒体及び画像符号化プログラム - Google Patents

Abstract

(57)【要約】 【課題】 セキュリティ（画像の保護）による画像の再
生／停止を好適に処理することができる画像符号化装置
を提供することである。 【解決手段】 画面内符号化モードと画像間符号化モー
ドとを適応的に用いて画像データを符号化する符号化装
置において、前記画像データを保護するためのセキュリ
ティデータを端子１１５より入力し、前記画像データを
ブロック切り出し器１０２によりブロック分割し、前記
セキュリティデータに応じて符号化モードを符号化モー
ド決定部１１８により決定し、前記ブロック単位で前記
画像データを符号化することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置、
画像符号化方法、画像符号化プログラムを記録したコン
ピュータ可読記録媒体及び画像符号化プログラムに関
し、特に画像の保護（知的財産権（例えば著作権）の保
護）を行うための画像データの符号化処理に関するもの
である。

【０００２】

【従来の技術】従来、動画像の符号化方式として、フレ
ーム内符号化方式であるＭｏｔｉｏｎＪＰＥＧ（Ｊｏｉ
ｎｔ Ｐｈｏｔｏｇｒｏｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘ
ｐｅｒｔｓ Ｇｒｏｕｐ）やＤｉｇｉｔａｌ Ｖｉｄｅ
ｏ等の符号化方式や、フレーム間予測符号化を用いた
Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐ
ｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏ
ｕｐ）−１、ＭＰＥＧ−２等の符号化方式が知られてい
る。これらの符号化方式はＩＳＯ（Ｉｎｔｅｒｎａｔｉ
ｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａ
ｎｄａｒｄｉｚａｔｉｏｎ：国際標準化機構）やＩＴＵ
（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎ
ｉｃａｔｉｏｎ Ｕｎｉｏｎ：国際電気通信連合）によ
って国際標準化されている。前者の符号化方式はフレー
ム単位で独立に符号を行うもので、フレームの管理がし
やすいため、動画像の編集や特殊再生が必要な装置に最
適である。また、後者の符号化方式はフレーム間予測を
用いるため、符号化効率が高いという特徴を持ってい
る。

【０００３】さらにコンピュータ・放送・通信など多く
の領域で利用できる、汎用的な次世代マルチメディア符
号化規格としてＭＰＥＧ−４の国際標準化作業が進めら
れている。

【０００４】また、上述したようなディジタル符号化規
格の普及に伴い、コンテンツ業界からは著作権保護の問
題が強く提起されるようになってきた。即ち、著作権が
保護されることが十分に保証されていない規格に対して
は、安心して優良なコンテンツを提供することができな
い、という問題が生じている。

【０００５】そこで、動画像の一部の著作権を保護する
ために、動画像の一部を再生させないために動画像の復
号を一時的に停止させる方法が考えられる。動画像での
肖像権や著作権を考えた時、それらが関係する部分の復
号を停止させ、関係する部分が終了した後、復号を再開
する方式である。

【０００６】

【発明が解決しようとする課題】しかしながら、以下の
ような問題が発生する。

【０００７】動画像の符号化方式ではフレーム間相関を
利用した符号化が一般的に用いられる。前述のＨ．２６
１，Ｈ．２６３やＭＰＥＧ−１，２さらにはＭＰＥＧ−
４といった符号化方式が有名である。これらの符号化方
式では基本的に時間的に前のフレーム或いは前後のフレ
ームを参照し、動き補償を行って符号化を行っている。

【０００８】図１８にＨ．２６１，Ｈ．２６３等の再生
の様子を示す。Ｉ_* はフレーム内符号化（イントラ（ｉ
ｎｔｒａ）符号化）を行うフレームを、Ｐ_* はフレーム
間符号化（インター（ｉｎｔｅｒ）符号化）するフレー
ムを表している。図１８中で時刻は時間の流れる方向、
Ｓｅｃｕｒｉｔｙは画像の保護（知的財産権（例えば著
作権）の保護）のために復号化処理を止める期間を黒帯
で示し、符号は符号化処理順の画面の並びを示し、表示
は表示順の画面の並びを示す。

【０００９】今、Ｐ₄ からＰ₇ の期間に対してセキュリ
ティ（画像の保護（知的財産権（例えば著作権）の保
護））のために復号が停止されたとする。動画像の復号
がＰ₃で停止し、以後復号が再開されるまで画像が表示
されない状態となる。復号の停止と同時に、バッファへ
の符号化データの書き込みも停止するため、Ｐ₄ からＰ
₇ の符号化データは廃棄される。そのため、Ｐ₈ からの
復号を開始すると本来Ｐ ₈ が参照すべきＰ₇ は廃棄され
ているので、Ｐ₈ 以降の復号処理が正常に行われず、フ
レーム内符号化が行われているＩ₁ が復号されるまでの
Ｐ₈ からＰ₁₄のフレームの画像が乱れたり、或いは復号
動作が中断してしまう。

【００１０】従って、本発明は前記課題を考慮して画像
の保護（知的財産権（例えば著作権）の保護）による画
像の再生／停止を好適に処理する画像符号化装置、画像
符号化方法、画像符号化プログラムが記録されたコンピ
ュータ可読記録媒体及び画像符号化プログラムを提供す
ることを目的としている。

【００１１】

【課題を解決するための手段】上記課題を解決するため
に本発明の画像符号化装置は、画像データを入力する入
力手段と、前記画像データを保護するためのセキュリテ
ィデータを生成する生成手段と、前記画像データをブロ
ック分割する分割手段と、画面内符号化モードと画面間
符号化モードとを適応的に用いて前記画像データを前記
ブロック単位で符号化する符号化手段と、前記符号化モ
ードを選択する選択手段と、前記生成手段によって生成
されたセキュリティデータと前記符号化手段によって符
号化された画像データと前記選択手段によって選択され
た符号化モードを示す符号化モードデータとを出力する
出力手段とを有し、前記選択手段は、前記セキュリティ
データに応じて１画面内の任意のブロックの画像データ
がｎ画面間で少なくとも１回は画面内符号化されるよう
に符号化モードを選択することを特徴とする。

【００１２】また、本発明の画像符号化方法は、画像デ
ータを入力する入力ステップと、前記画像データを保護
するためのセキュリティデータを生成する生成ステップ
と、前記画像データをブロック分割する分割ステップ
と、画面内符号化モードと画面間符号化モードとを適応
的に用いて前記画像データを前記ブロック単位で符号化
する符号化ステップと、前記符号化モードを選択する選
択ステップと、前記生成されたセキュリティデータと前
記符号化された画像データと前記選択された符号化モー
ドを示す符号化モードデータとを出力する出力ステップ
とを有し、前記選択ステップは、前記セキュリティデー
タに応じて１画面内の任意のブロックの画像データがｎ
画面間で少なくとも１回は画面内符号化されるように符
号化モードを選択することを特徴とする。

【００１３】また、本発明の画像符号化プログラムを記
録したコンピュータ可読記録媒体は、画像データを入力
する入力工程のコードと、前記画像データを保護するた
めのセキュリティデータを生成する生成工程のコード
と、前記画像データをブロック分割する分割工程のコー
ドと、画面内符号化モードと画面間符号化モードとを適
応的に用いて前記画像データを前記ブロック単位で符号
化する符号化工程のコードと、前記符号化モードを選択
する選択工程のコードと、前記生成されたセキュリティ
データと前記符号化された画像データと前記選択された
符号化モードを示す符号化モードデータとを出力する出
力工程のコードとを含む画像符号化プログラムを記録し
たコンピュータ可読記録媒体であって、前記選択工程で
は、前記セキュリティデータに応じて１画面内の任意の
ブロックの画像データがｎ画面間で少なくとも１回は画
面内符号化されるように符号化モードを選択することを
特徴とする。

【００１４】また、本発明の画像符号化プログラムは、
画像データを入力する入力ステップと、前記画像データ
を保護するためのセキュリティデータを生成する生成ス
テップと、前記画像データをブロック分割する分割ステ
ップと、画面内符号化モードと画面間符号化モードとを
適応的に用いて前記画像データを前記ブロック単位で符
号化する符号化ステップと、前記符号化モードを選択す
る選択ステップと、前記生成されたセキュリティデータ
と前記符号化された画像データと前記選択された符号化
モードを示す符号化モードデータとを出力する出力ステ
ップとを含み、前記選択ステップでは、前記セキュリテ
ィデータに応じて１画面内の任意のブロックの画像デー
タがｎ画面間で少なくとも１回は画面内符号化されるよ
うに符号化モードを選択することを特徴とする。

【００１５】

【発明の実施の形態】〈第１実施例〉以下、本発明の第
１の実施例を、図面を用いて詳細に説明する。

【００１６】図１は本発明の第１の実施例として画像符
号化装置の構成を示すブロック図である。

【００１７】図１において、１０００は動画像の一部ま
たは全てに再生を許可したり、禁止したりするセキュリ
ティ情報を生成するセキュリティ設定器、１００１は生
成されたセキュリティ情報を符号化するセキュリティ符
号化部である。

【００１８】１００２は動画像データを符号化するビデ
オ符号化部である。本実施例では、動画像の符号化方式
としてＨ．２６３符号化方式を用いた場合について説明
する。また、説明を容易にするために符号化する画像サ
イズをＱＣＩＦ（１７６×１４４画素）として説明を行
う。ただしこれらに限定されるものではない。更に、説
明を容易にするためにフレーム単位での符号化されてい
るものとして、フレーム内符号化を行うＩフレームモー
ドとフレーム間相関を用いるＰフレームモードとからな
っているものとする。１００３はセキュリティ符号化デ
ータと動画像符号化データを多重化し、動画像データを
生成する多重化器である。

【００１９】上記のように構成された画像符号化装置に
おける動画像データの符号化処理動作を以下で説明す
る。

【００２０】不図示の操作者は、ビデオ符号化部１００
２に画像データを入力し、セキュリティ（画像の保護
（知的財産権（例えば著作権）の保護））を開始する時
刻、著作権の保護を終了する時刻、セキュリティを解除
する解除キーを示すセキュリティ情報をセキュリティ設
定器１０００に入力する。セキュリティ設定器１０００
は入力されたセキュリティ情報を禁止が発生する時刻順
に並び替え、これを保持しておく。セキュリティ符号化
部１００１はこれらのセキュリティ情報を符号化し、多
重化器１００３へ出力する。

【００２１】セキュリティの符号化データについて詳細
に説明する。

【００２２】図２は、セキュリティの符号化データの構
成を示している。

【００２３】２００１は符号長を表すＣｏｄｅＬｅｎｇ
ｔｈ符号、２００２はセキュリティが施されたデータの
再生を許可するか否かを判断（認証）に必要な情報を表
すＩＰｃｏｄｅ符号、２００３は著作権等の保護を開始
する時間を示すＳｅｃｕｒｉｔｙ Ｓｔａｒｔ Ｔｉｍ
ｅ符号、２００４は著作権等の保護を解除する時間を示
すＳｅｃｕｒｉｔｙ Ｅｎｄ Ｔｉｍｅ符号である。
尚、２００２〜２００４の符号は、セキュリティをかけ
たい動画像部分が分散して複数存在する場合は図２に図
示しているように複数繰り返して存在する。

【００２４】尚、本実施例ではセキュリティ符号化デー
タは、多重化器１００３により画像データの先頭に多重
化するものとする。しかし、この方式に限定されるもの
ではなく、セキュリティ符号化データは、動画像データ
に時分割多重されて伝送されてもよい。

【００２５】図１の説明に戻り、セキュリティ設定器１
０００はセキュリティの著作権等の保護を開始するフレ
ームと著作権等の保護を終了するフレームをビデオ符号
化部１００２に順に入力する。

【００２６】次に、ビデオ符号化部１００２を詳細に説
明する。

【００２７】図３は、ビデオ符号化部１００２の詳細な
ブロック図である。

【００２８】図３において、１００は符号化する動画像
データを入力する端子、１０１は入力された動画像をフ
レーム単位で格納するフレームメモリ、１０２はフレー
ムメモリ１０１から符号化単位であるブロック単位でデ
ータを読み出すブロック切り出し器である。本実施例で
はＨ．２６３符号化方式を例にとって説明しているので
ブロックはマクロブロックに対応する。

【００２９】尚、マクロブロックは、輝度成分及び空間
的に対応する色差成分の１区画を含む。例えば、輝度成
分と色差成分とのサンプリング比が４：２：０フォーマ
ットの場合、前記マクロブロックは４個の輝度成分ブロ
ックと２個の色差成分ブロックとにより構成される。

【００３０】１０３は復号画像をフレーム単位で格納す
るフレームメモリ、１０４はフレームメモリ１０３の内
容とブロック切り出し器１０２の出力から、動き補償を
行い、マクロブロックごとに符号化するモードを仮に決
め、その予測画像のデータを出力する動き補償器であ
る。ここでマクロブロックの符号化モードには動き補償
をせずに入力画素値をそのまま符号化するＩマクロブロ
ックモードと、動き補償を行うＰマクロブロックモード
がある。また、動き補償を行った場合（Ｐマクロブロッ
クモード時）にはその動きベクトルも出力する。

【００３１】１０５は差分器であり、ブロック切り出し
器１０２の出力と符号化モード決定部１１８の出力を画
素単位で差分を算出し、予測誤差を求める。１０６は求
められた予測誤差または画素値をＤＣＴ（Ｄｉｓｃｒｅ
ａｔ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換するＤ
ＣＴ器、１０７は得られたＤＣＴ係数を量子化する量子
化器、１０８は得られた量子化結果にハフマン符号を割
り当てるハフマン符号化器である。

【００３２】１０９は量子化器１０７の出力を逆量子化
する逆量子化器、１１０はＤＣＴ係数を逆変換する逆Ｄ
ＣＴ器、１１１は符号化モード決定部１１８からの予測
画像データと逆ＤＣＴ器１１０の出力を画素単位で加算
する加算器である。

【００３３】１１２は動きベクトルを符号化する動きベ
クトル符号化器、１１３はフレーム単位のヘッダやマク
ロブロック単位のヘッダを生成して符号化するヘッダ符
号化器である。このヘッダにはＨ．２６３符号化方式に
従って、フレームのスタートコード、フレームの符号化
モード、マクロブロックの符号化モード等の符号化デー
タが含まれる。

【００３４】１１４は符号化モード制御部であり、フレ
ームの符号化モード、マクロブロックの符号化モード等
を決定する。１１５は図１のセキュリティ設定器１００
０からセキュリティで著作権等の保護を開始するフレー
ムと保護を終了するフレーム等の情報を逐次、入力する
端子である。

【００３５】１１６は多重化器であり、ハフマン符号化
器１０８、動きベクトル符号化器１１２、ヘッダ符号化
器１１３の出力をＨ．２６３符号化方式の符号書式にし
たがって多重化する。１１７は多重化された符号化デー
タを出力する端子である。

【００３６】１１８は符号化モード制御部１１４と動き
補償器１０４の出力からマクロブロック単位の符号化モ
ードを決定し、決定した符号化モード、符号化モードに
適合した予測値、動きベクトルを出力する符号化モード
決定部である。

【００３７】このような構成において、動作に先立ち、
各部の初期化が行われる。符号化モード設定部１１４は
入力される動画像データに対して、先頭のフレームに対
してＩフレームモードで符号化し、以降、１３２フレー
ム毎にＩフレームモードとする。それ以外のフレームに
ついては直前のフレームを参照フレームとするＰフレー
ムモードの符号化を行うようにフレームの符号化モード
を設定する。また、各マクロブロックの符号化モードの
決定方法を指示する信号も生成する。

【００３８】符号化モード制御部１１４の詳細なブロッ
ク図を図４に示す。

【００３９】図４において、１５０はフレームメモリ１
０１からフレーム単位でデータが格納された事を通知す
る信号を入力する端子、１５１は処理するフレームの枚
数をカウントするフレームカウンタである。符号化の処
理を始める際の初期化時には０がセットされる。

【００４０】１５２はフレームモード設定器であり、前
述のとおり、最初のフレームと１３２フレーム毎のフレ
ームをＩフレームモード、それ以外をＰフレームモード
としてフレームモードを設定する。１５３はそのフレー
ムモードをヘッダ符号化器１１３等に出力する端子、１
５４はセキュリティ設定器１０００からセキュリティの
開始と終了を示すセキュリティ情報を入力する端子であ
る。

【００４１】１５５は端子１５４から入力されたセキュ
リティ情報に基づき、リセットされ、フレームが入力さ
れるたびにカウントダウンするフレームカウンタ、１５
６はフレームモード設定器１５２とフレームカウンタ１
５５の出力によって符号化モード決定部１１８を制御す
る信号を生成する符号化モード制御器、１５７は符号化
モード制御器１５６の出力を符号化モード決定部１１８
に出力する端子である。

【００４２】１５８はブロック切り出し器１０２からブ
ロックを切り出したことを通知する信号を入力する端
子、１５９はフレームの先頭からのブロック数をカウン
トするブロックカウンタである。ブロックカウンタ１５
９はフレームを開始するときに０にリセットされる。

【００４３】１６０はモードパターンメモリ１６１のメ
モリ上のアドレスを算出するアドレス発生器、１６１は
フレーム内のマクロブロックの符号化モードに関する情
報を格納するモードパターンメモリである。詳細は後述
する。

【００４４】１６２はモードパターンメモリ１６１の出
力を符号化モード決定部１１８に出力する端子である。

【００４５】このような構成において、端子１５０から
入力された信号はフレームカウンタ１５１に入力されカ
ウントされる。カウント値はフレームメモリ設定器１５
２に入力され、カウント値が１３２で割った値の余りが
１である場合はＩフレームモードとして端子１５３から
フレームの符号化モードを出力する。それ以外はＰフレ
ームモードとして端子１５３からフレームの符号化モー
ドを出力する。

【００４６】一方、符号化するフレームがセキュリティ
のために復号の禁止を開始するフレームか、復号の禁止
を解除するフレームかの情報が端子１５４から入力され
る。

【００４７】最初に、端子１５４からの入力が復号の禁
止を開始するフレーム、または復号の禁止を解除するフ
レームでない場合について説明する。この場合を以下で
は通常状態と呼称する。

【００４８】まず、フレームカウンタ１５５は０にセッ
トされる。

【００４９】フレームモード設定器１５２がＩフレーム
モードを出力する場合は以下のように動作する。フレー
ムモード設定器１５２からＩフレームモードが出力さ
れ、端子１５３から出力される。

【００５０】フレームモード設定器１５２の出力は符号
化モード制御器１５６に入力される。符号化モード制御
器１５６はフレームカウンタ１５５の内容が０であるた
め、符号化モード決定部１１８が通常状態のＩフレーム
モードで処理を行うように０を出力する。この出力を符
号化モード制御信号と呼称する。

【００５１】フレームモード設定器１５２がＰフレーム
モードの場合は以下のように動作する。フレームモード
設定器１５２の出力は符号化モード制御器１５６に入力
される。符号化モード制御器１５６はフレームカウンタ
１５５の内容が０であるため、符号化モード決定部１１
８が、動き補償器１０４が出力したマクロブロックの符
号化モードを選択して通常状態の処理を行うように符号
化モード制御信号として０を出力する。

【００５２】続いて、端子１５４からの入力が復号の禁
止を開始するフレーム、または復号の禁止を解除するフ
レームである場合について説明する。この時、フレーム
カウンタ１５５は８にセットされる。

【００５３】フレームモード設定器１５２がＩフレーム
モードの場合は以下のように動作する。フレームモード
設定器１５２はＩフレームモードを出力し、端子１５３
から出力される。

【００５４】フレームモード設定器１５２の出力は符号
化モード制御器１５６に入力される。符号化モード制御
器１５６はフレームカウンタ１５５の内容に０をセット
し、通常状態のＩフレームモードと同様に端子１５７か
ら符号化モード制御信号として０を出力する。

【００５５】フレームモード設定器１５２がＰフレーム
モードを出力する場合は以下のように動作する。フレー
ムモード設定器１５２の出力は符号化モード制御器１５
６に入力される。符号化モード制御器１５６はフレーム
カウンタ１５５の内容が０である場合は通常状態であ
り、通常状態のＰフレームモードと同様に端子１５７か
ら符号化モード制御信号として０を出力する。

【００５６】フレームカウンタ１５５の内容が０とは異
なる場合、以下のように動作する。

【００５７】符号化モード制御器１５６は通常状態では
なく、Ｐフレームモードであるので端子１５７から符号
化モード制御信号として１を出力する。このように通常
状態ではない状態を非通常状態と呼称する。

【００５８】フレームの処理を行う前にブロックカウン
タ１５９を０にリセットする。端子１５８からブロック
の切り出しを通知する信号が入力されるたび、ブロック
カウンタ１５９はカウントを行う。ブロックのカウント
値はアドレス発生器１６０に入力される。また、アドレ
ス発生器１６０はフレームカウンタ１５５からもフレー
ムのカウント値を入力する。アドレス発生器１６０はモ
ードパターンメモリ１６１から値を読み出すアドレスを
発生させる。

【００５９】モードパターンメモリ１６１には図５
（ｂ）〜（ｉ）に示すようなパターンが格納されてい
る。図５においてＱＣＩＦの画像を例にとっており、各
四角はマクロブロックを表す。図中の黒四角は該当する
マクロブロックを動き補償器１０４での判定に関わら
ず、フレーム内符号化（Ｉマクロブロックモード）を行
うように指示するマクロブロックの位置を表している。

【００６０】フレームのカウンタ値が８で割り切れれば
図５（ｂ）のパターンを、７が余れば図５（ｃ）を、６
が余れば図５（ｄ）を、５が余れば図５（ｅ）を、４が
余れば図５（ｆ）を、３が余れば図５（ｇ）を、２が余
れば図５（ｈ）を、１が余れば図５（ｉ）を選択する。
これは図５（ａ）に示した太枠の中で８フレーム単位で
必ず全てのマクロブロックに対してＩマクロブロックモ
ードを設定することを表している。ブロックのカウント
値にしたがって、該当するマクロブロックが白であれば
動き補償器１０４で判定されたマクロブロックのモード
で、黒であれば必ずＩマクロブロックモードとなるよう
に符号化モードを出力する。この時、図５の白を０、黒
を１とし、この出力をマクロブロックモード選択信号と
呼称する。

【００６１】アドレス発生器１６０で指定されたマクロ
ブロックの符号化モードがモードパターンメモリ１６１
から読み出され、マクロブロックモード選択信号として
端子１６２を介して符号化モード決定部１１８に出力さ
れる。

【００６２】図３に戻って動作の説明を行う。端子１０
０から動画像データが逐次入力される。入力された動画
像データはフレームメモリ１０１に格納される。１フレ
ーム分蓄積されたらフレームメモリ１０１は格納された
事を符号化モード制御部１１４に入力する。

【００６３】符号化モード制御部１１４は入力されたフ
レームに対して図４に図示したフレームモード設定器１
５２がＩフレームモードで符号化するかＰフレームモー
ドで符号化するかを決定する。決定されたフレームの符
号化モードはヘッダ符号化器１１３に入力される。ヘッ
ダ符号化器１１３はフレームのスタートコード、フレー
ム内符号化を行ったことを示すフレームの符号化モード
等を符号化し、多重化器１１６に出力する。

【００６４】ブロック切り出し器１０２はフレームメモ
リ１０１からマクロブロック単位のデータを切り出し、
動き補償器１０４と差分器１０５に入力する。

【００６５】動き補償器１０４は、入力されたマクロブ
ロックのデータとフレームメモリ１０３に格納されてい
る画像データから動き補償を行い予測値を算出し、入力
マクロブロックのデータとの予測誤差を算出する。算出
された予測誤差と入力されたマクロブロックのデータに
ついてそれぞれの絶対値の総和を求める。入力されたマ
クロブロックのデータの絶対値総和が算出された予測誤
差よりも小さければマクロブロックの符号化モードとし
てＩマクロブロックモードを仮に決定する。この時、動
き補償器１０４は予測値として０を出力し、動きベクト
ルは出力しない。逆に大きければＰマクロブロックモー
ドを仮に決定する。この時、動き補償器１０４は予測値
と動きベクトルを符号化モード決定部１１８に出力す
る。

【００６６】ここで符号化モード決定部１１８を詳細に
説明する。

【００６７】図６は、符号化モード決定部１１８の詳細
な構成を示すブロック図である。

【００６８】図６において、１８０は符号化モード制御
部１１４からフレームの符号化モードを入力する端子、
１８１は図４の符号化モード制御器１５６の出力である
符号化モード制御信号を入力する端子、１８２は図４の
モードパターンメモリ１６１の出力であるマクロブロッ
クモード選択信号を入力する端子、１８３は動き補償器
１０４から仮に決まったマクロブロックの符号化モード
を入力する端子、１８４は動き補償器１０４から動き補
償による予測値を入力する端子、１８５は動き補償器１
０４から動きベクトルを入力する端子である。

【００６９】１８６は端子１８０、端子１８１、端子１
８２からの入力にしたがってセレクタ１８８の入力先を
制御する信号を生成するセレクタ制御器、１８７、１８
９、１９１はＩマクロブロックモードに関するデータを
格納しているメモリであり、１８８はメモリ１８７と端
子１８３からの入力を選択して出力するセレクタであ
る。

【００７０】１９０、１９２はセレクタ１８８からの出
力に基づき、入力先を選択するセレクタ、１９３はセレ
クタ１８８の出力を、１９４はセレクタ１９０の出力
を、１９５はセレクタ１９２の出力をそれぞれ外部に出
力する端子である。

【００７１】このような構成において、端子１８０から
入力されたフレームの符号化モード、端子１８１から入
力された符号化モード制御信号、端子１８２から入力さ
れたマクロブロックモード選択信号はセレクタ制御器１
８６に入力され、下記の条件によってセレクタ１８８の
制御を行う制御信号を生成する。

【００７２】符号化モード制御信号が０である場合、マ
クロブロックモード選択信号は無視する。この時、フレ
ームの符号化モードがＩフレームモードであれば、セレ
クタ１８８の入力にメモリ１８７を選択するように制御
信号を生成する。

【００７３】符号化モード制御信号が０でかつＰフレー
ムモードであれば、端子１８２から入力されるマクロブ
ロックモード選択信号に関係なく、セレクタ１８８の入
力に端子１８３からの入力を選択するように制御信号を
生成する。

【００７４】また、符号化モード制御信号が１であれば
マクロブロックモード選択信号によってセレクタ１８８
の入力を切り替える制御信号を生成する。すなわち、マ
クロブロックモード選択信号が０であればセレクタ１８
８の入力に端子１８３からの入力を、１であればメモリ
１８７の出力を選択するように制御信号を生成させる。

【００７５】以上の制御にしたがって、セレクタ１８８
の出力は各々マクロブロックの符号化モードを出力す
る。このマクロブロックの符号化モードは端子１９３か
ら出力され、動きベクトル符号化器１１２、ヘッダ符号
化器１１３に入力される。ヘッダ符号化器１１３は各々
マクロブロックのヘッダに符号化モードを加えて符号化
し、多重化器１１６に出力する。

【００７６】一方、マクロブロックの符号化モードはセ
レクタ１９０、１９２にも入力される。セレクタ１９０
では入力されたマクロブロックの符号化モードがＩマク
ロブロックモードであればメモリ１８９の内容を、Ｐマ
クロブロックモードであれば端子１８４の入力を選択し
て端子１９４から予測値を出力し、差分器１０５、加算
器１１１に入力する。すなわち、Ｉマクロブロックモー
ドであれば予測値として各画素の予測値として０を、Ｐ
マクロブロックモードであれば動き補償器１０４で生成
された予測値を出力する。

【００７７】セレクタ１９２では入力されたマクロブロ
ックの符号化モードがＩマクロブロックモードであれば
メモリ１９１の内容を、Ｐマクロブロックモードであれ
ば端子１８５の入力を選択して端子１９５から出力し、
動きベクトル符号化器１１２に入力する。すなわち、Ｉ
マクロブロックモードであれば動きベクトルとして０ベ
クトルの値を、Ｐマクロブロックモードであれば動き補
償器１０４で生成された動きベクトルを出力する。動き
ベクトル符号化器１１２はＰマクロブロックモードであ
れば入力された動きベクトルを符号化し、多重化器１１
６に出力する。

【００７８】一方、差分器１０５は符号化モード決定部
１１８からマクロブロックの予測データを入力し、切り
出されたマクロブロックのデータとの差分を求める。差
分はＤＣＴ器１０６でＤＣＴ変換され、その係数は量子
化器１０７で量子化され、ハフマン符号化器１０８と逆
量子化器１０９に入力される。ハフマン符号化器１０８
はＨ．２６３符号化方式で決められているハフマン符号
を量子化結果に対して割り当て、多重化器１１６に出力
する。

【００７９】逆量子化器１０９に入力された量子化結果
は逆量子化されＤＣＴ変換係数となり、逆ＤＣＴ器１１
０で画素値に変換される。画素値に加算器１１１で符号
化モード決定部１１８から出力された予測値が加えら
れ、フレームメモリ１０３の所定の位置に格納される。

【００８０】多重化器１１６はハフマン符号化器１０
８、動きベクトル符号化器１１２、ヘッダ符号化器１１
３で生成された符号化データを、Ｈ．２６３符号化方式
で決められている順に各符号化データを多重化し、端子
１１７から出力する。

【００８１】図１に戻り、セキュリティ符号化部１００
１で生成されたセキュリティ符号化データとビデオ符号
化部１００２で生成されたＨ．２６３符号化データを多
重化器１００３で多重化し、外部に出力する。

【００８２】このような一連の選択動作により、セキュ
リティ（画像の保護（知的財産権（例えば著作権）の保
護））による復号の禁止や禁止の解除後に一定の時間で
必ず各マクロブロックがフレーム内符号化を行うように
各ブロックの符号化モードを容易に決定することができ
る。これにより、符号量が大きいＩフレームモードのフ
レームを挿入することなく、セキュリティによって起こ
る画質の劣化を抑制し、短期間で通常の表示が可能にな
る。また、得られた符号化データは標準方式に完全に準
拠できており、復号側に特別な構成は必要ない。

【００８３】なお、本実施例においては動画像の符号化
方式をＨ．２６３としたが他の符号化方式、たとえば、
Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２でももちろん
かまわない。また、オブジェクト単位ごとでセキュリテ
ィを設定するようなＭＰＥＧ−４符号化方式でもかまわ
ない。少なくともフレーム内の符号化とフレーム間の符
号化を小領域単位で選択できる符号化であればかまわな
い。

【００８４】また、フレームメモリの構成等は処理速度
等に応じて適宜変更可能である。

【００８５】また、ブロック群としてＧＯＢ(Group of
Blocks)を単位としてもかまわないし、ＧＯＢにまたが
るような構成でももちろんかまわない。同様に画像のサ
イズや形状もこれに限定されない。Ｉフレームモード、
Ｐフレームモード等の周期はこれに限定されず、一定の
周期を保つ必要もない。

【００８６】また、直交変換にＤＣＴ変換を用いて説明
したがこれに限定されず、Ｗａｖｅｌｅｔ変換等を用い
てももちろんかまわない。

【００８７】また、セキュリティの復号の禁止と禁止の
解除の両方でブロックの符号化モードの制御を行った
が、いずれの一方でもかまわない。

【００８８】セキュリティの符号化に関しても限定され
るものではなく、ＭＰＥＧ−４のシステム（ＩＳＯ １
４４９６−１に記載）で記述されているＩＰＭＰ(Intel
lectual Property Management and Protection)システ
ムによってセキュリティを制御してももちろんかまわな
いし、時分割や動画像データの中に含めてもかまわな
い。

【００８９】また、モードパターンメモリ１６１の内容
もこれに限定されない。たとえば、図７のような内容で
もかまわない。図７（ａ）において、１から１３までの
数が記載されているが、それぞれが周期的にフレーム内
符号化するマクロブロックのグループとなっており、た
とえば、１が記載されたマクロブロックはフレーム間符
号化を行うフレームについて８フレームで必ずフレーム
内符号化モードで符号化される。以下、２〜１２までも
同様である。１３は３つのマクロブロックしかないので
これは３フレーム周期でフレーム内符号化される。その
様子が図５と同様に図７（ｂ）〜（ｉ）に示されてい
る。また、Ｉマクロブロックモードが８フレームでフレ
ーム全体をカバーするように説明したがこの長さも限定
されない。

【００９０】〈第２実施例〉図８は本発明の第２の実施
例としての画像データ符号化装置のビデオ符号化部１０
０２の構成を示す図である。本実施例においては、ＭＰ
ＥＧ−１符号化方式を例にとって説明する。ＭＰＥＧ符
号化方式には両方向予測を行うフレームがあり、このよ
うな予測を行って符号化するフレームのモードをＢフレ
ームモードと呼称する。なお、前述の実施例の図１と同
様の構成要素については同一番号を付してその詳細な説
明は省略する。

【００９１】図８において、２００はフレームメモリで
あり、フレームメモリ１０３と同様な機能を持ってい
る。フレームメモリ１０３とフレームメモリ２００はフ
レームモードがＩまたはＰフレームモード時のみにどち
らか時間的に古いフレームの内容を格納しているフレー
ムメモリの内容が加算器１１１からの出力で更新され
る。２０１は動き補償器であり、図３の動き補償器１０
４の機能に加え、Ｂフレームモードに対応するように後
方予測を行うマクロブロック、両方向予測を行うマクロ
ブロックの予測値や動きベクトルの算出を行う。それぞ
れの符号化モードについて、前者をＢマクロブロック、
後者をＭマクロブロックモードと呼称する。２０２は符
号化モード決定部、２０３は符号化モード制御部であ
る。

【００９２】図８において第１実施例と同様に、動作に
先立ち、各部の初期化が行われる。符号化モード制御部
２０３は入力される動画像データに対して、先頭のフレ
ームに対してＩフレームモードで符号化し、以降、１５
フレームおきにＩフレームモードとする。それ以外のフ
レームで３フレームおきに直前のＩまたはＰフレームモ
ードで符号化された参照フレームとするＰフレームモー
ドの符号化を行うようにフレームの符号化モードを設定
する。ＩまたはＰフレームモード以外のフレームはＢフ
レームモードとする。また、各マクロブロックの符号化
モードの決定方向を指示する信号も生成する。

【００９３】図９は、図８の符号化モード制御部２０３
の構成を示すブロック図である。なお、前述の実施例の
図４と同様の構成要素については同一番号を付してその
詳細な説明は省略する。

【００９４】図９において、２１０はモードパターンメ
モリ２１１のメモリ上のアドレスを算出するアドレス発
生器、２１１はフレーム内のマクロブロックの符号化モ
ードに関する情報を格納するモードパターンメモリであ
る。モードパターンメモリ２１１には図１０（ｂ）〜
（ｅ）に示すようなパターンが格納されている。図１０
（ａ）からもわかるようにモードパターンメモリ２１１
ではモードパターンメモリ１６１とは異なり、ブロック
群を４マクロブロックで構成している。すなわち、４フ
レームでフレーム全体のマクロブロックが必ずＩマクロ
ブロックモードで符号化されている。フレームのカウン
タ値が４で割り切れれば図１０（ｂ）のパターンを、３
が余れば図１０（ｃ）を、２が余れば図１０（ｄ）を、
１が余れば図１０（ｅ）を選択する。

【００９５】２１５は符号化モード制御器、２１２はセ
レクタであり、符号化モード制御器２１５の出力によっ
て入力を選択する。

【００９６】２１３はフレームモード設定器であり、前
述のとおり、フレーム毎にＩフレームモード、Ｐフレー
ムモード、Ｂフレームモードを設定する。２１４は端子
１５０から入力された情報とフレームモード設定器２１
３、符号化モード制御器２１５からの出力に基づき、Ｉ
フレームモード以外のフレームが入力されるたびにカウ
ントダウンするフレームカウンタである。フレームカウ
ンタ２１４は０になったら８をセットし、符号化モード
制御器２１５を介して端子１５４からの入力が復号の禁
止または禁止の解除が入力されると４をセットする。

【００９７】このような構成において、端子１５０から
入力された信号はフレームカウンタ１５１、２１４に入
力される。先頭のフレームは１である。フレームカウン
タ１５１でカウントされたカウント値はフレームモード
設定器２１３に入力され、カウント値が１５で割った値
の余りが１である場合はＩフレームモードとし、１５で
割って余りが１以外で３で割って余りが１である場合に
はＰフレームモードとし、それ以外をＢフレームモード
とする。これらの結果は端子１５３からフレームの符号
化モードとして出力される。

【００９８】また、フレームの処理を行う前にブロック
カウンタ１５９を０にリセットする。フレームカウンタ
２１４はＩフレームモード以外のときにカウントダウン
され、０になったら８をセットする。

【００９９】端子１５８からブロックの切り出しを通知
する信号が入力されるたび、ブロックカウンタ１５９は
カウントを行う。アドレス発生器１６０、２１０はブロ
ックカウンタ１５９のカウント値とフレームカウンタ２
１４のカウント値を入力する。アドレス発生器１６０は
モードパターンメモリ１６１から値を読み出すアドレス
を発生させる。アドレス発生器２１０はモードパターン
メモリ２１１から値を読み出すアドレスを発生させる。

【０１００】符号化するフレームがセキュリティ（画像
の保護（知的財産権（例えば著作権）の保護））のため
に復号の禁止を開始するフレームか、復号の禁止を解除
するフレームかの情報が端子１５４から入力される。符
号化モード制御器２１５は通常状態であればセレクタ２
１２に対してモードパターンメモリ１６１の出力をマク
ロブロックモード選択信号として端子１６２から出力す
るように制御する。

【０１０１】復号の禁止を開始するフレームか、復号の
禁止を解除するフレームであれば符号化モード制御器２
１５はフレームカウンタ２１４に４をセットする。以
降、フレームカウンタ２１４はフレーム毎にカウントダ
ウンを行い、０になったら８をセットする。また、セレ
クタ２１２に対してはモードパターンメモリ２１１の出
力をマクロブロックモード選択信号として端子１６２か
ら出力するように制御する。マクロブロックモード選択
信号とフレーム符号化モードは図８の符号化モード決定
部２０２に入力される。

【０１０２】一方、ブロック切り出し器１０２により切
出されたマクロブロックのデータは動き補償器２０１は
Ｐフレームモードであればフレームメモリ１０３、２０
０のうちから時間的に古いほうのフレームメモリから動
き補償を行う。Ｂフレームモードであればフレームメモ
リ１０３、２００の両方を用いて動き補償を行う。

【０１０３】Ｂフレームモードでは動き補償器２０１は
入力されたマクロブロックのデータとフレームメモリ１
０３、２００のそれぞれ対して格納されている画像デー
タから動き補償を行い予測値を算出する。またそれらの
予測値の平均を求め、両方向予測の予測値とする。入力
マクロブロックのデータとそれぞれの予測の予測誤差を
それぞれ算出し、それぞれについて絶対値の総和を求め
る。入力されたマクロブロックのデータの絶対値総和も
算出する。

【０１０４】各絶対値総和のうちもっとも小さいものを
選択する。すなわち、入力マクロブロックがもっとも小
さければＩマクロブロックモードを仮に決定する。この
時、動き補償器２０１は予測値として０を出力し、動き
ベクトルは出力しない。

【０１０５】時間的に前のフレームデータからの予測誤
差の絶対値総和が小さければ、Ｐマクロブロックモード
を仮に決定する。時間的に後のフレームデータからの予
測誤差の絶対値総和が小さければ、Ｂマクロブロックモ
ードを仮に決定する。両方向予測に対する予測誤差の絶
対値総和がもっとも小さければＭマクロブロックモード
を仮に決定する。Ｐ、Ｂ、Ｍマクロブロックモードでは
動き補償器２０１は該当する予測値と動きベクトルを符
号化モード決定部２０２に出力する。

【０１０６】符号化モード決定部２０２の詳細なブロッ
ク図を図１１に示す。なお、前述の実施例の図６と同様
の構成要素については同一番号を付してその詳細な説明
は省略する。

【０１０７】図１１において、２５０は端子１８０、端
子１８２からの入力にしたがってセレクタ１８８の入力
先を制御する信号を生成するセレクタ制御器である。

【０１０８】このような構成において、端子１８０から
入力されたフレームの符号化モード、端子１８２から入
力されたマクロブロックモード選択信号がセレクタ制御
器２５０に入力され、下記の条件によってセレクタ１８
８の制御を行う制御信号を生成する。

【０１０９】フレームの符号化モードがＩフレームモー
ドあれば、マクロブロックモード選択信号は無視し、セ
レクタ１８８の入力にメモリ１８７を選択するように制
御信号を生成する。

【０１１０】また、ＰフレームモードまたはＢフレーム
モードであれば、端子１８２からの入力にしたがってセ
レクタ１８８の入力を選択するように制御信号を生成す
る。すなわち、マクロブロックモード選択信号が０であ
ればセレクタ１８８の出力に端子１８３からの入力を、
１であればメモリ１８７の出力を選択するように制御信
号を生成させる。

【０１１１】以下、セレクタ１８８から出力されたマク
ロブロックの符号化モードにしたがって、セレクタ１９
０、セレクタ１９２を制御し、各マクロブロックの符号
化モードを端子１９３から、予測値を端子１９４から、
動きベクトルは端子１９５から出力される。

【０１１２】このような一連の選択動作により、セキュ
リティによる復号の禁止や禁止の解除後に通常の状態よ
りも短時間で必ず各マクロブロックがフレーム内符号化
を行うように各ブロックの符号化モードを容易に決定す
ることができる。これにより、符号量が大きいＩフレー
ムモードのフレームを挿入することなく、セキュリティ
によって起こる画質の劣化を抑制し、より短時間で通常
の表示が可能になる。また、得られた符号化データは標
準方式に完全に準拠できており、復号側に特別な構成は
必要ない。

【０１１３】なお、本実施例においては動画像の符号化
方式をＭＰＥＧ−１としたが他の符号化方式、たとえ
ば、Ｈ２６１、ＭＰＥＧ−２でももちろんかまわない。
また、オブジェクト単位ごとでセキュリティを設定する
ようなＭＰＥＧ−４符号化方式でもかまわない。少なく
ともフレーム内の符号化とフレーム間の符号化を小領域
単位で選択できる符号化であればかまわない。Ｉフレー
ムモード、Ｐフレームモード、Ｂフレームモード等の周
期はこれに限定されず、一定の周期を保つ必要もない。

【０１１４】また、フレームメモリの構成等は処理速度
等に応じて適宜変更可能である。

【０１１５】また、ブロック群としてスライスを単位と
してもかまわないし、スライスにまたがるような構成で
ももちろんかまわない。同様に画像のサイズや形状もこ
れに限定されない。

【０１１６】また、直交変換にＤＣＴ変換を用いて説明
したがこれに限定されず、Ｗａｖｅｌｅｔ変換等を用い
てももちろんかまわない。

【０１１７】また、セキュリティの復号の禁止と禁止の
解除の両方でブロックの符号化モードの制御を行った
が、いずれの一方でもかまわない。

【０１１８】セキュリティの符号化に関してはこれに限
定されるものではなく、ＭＰＥＧ−４のシステム（ＩＳ
Ｏ １４４９６−１に記載）で記述されているＩＰＭＰ
(Intellectual Property Management and Protection)
システムによってセキュリティを制御してももちろんか
まわない。

【０１１９】また、モードパターンメモリ１６２、２１
１の内容も上記実施例に限定されない。

【０１２０】〈第３実施例〉図１２は本発明の第３の実
施例としての画像符号化装置の構成を示すブロック図で
ある。

【０１２１】図１２において、５００は装置全体の制
御、及び種々の処理を行う中央演算装置（ＣＰＵ）、５
０１は本装置の制御に必要なオペレーティングシステム
（ＯＳ）、ソフトウェア、演算に必要な記憶領域を提供
するメモリである。

【０１２２】５０２は種々の装置をつなぎ、データ、制
御信号をやり取りするバス、５０３は動画像データを蓄
積する記憶装置、５０４は通信回路であり、ＬＡＮ、公
衆回線、無線回線、放送電波等で構成されている。５０
５は通信回路５０４に符号化データを送信する通信イン
ターフェースである。５０６はセキュリティを設定する
ための端末である。

【０１２３】メモリ５０１のメモリの使用、格納状況を
図１３に示す。

【０１２４】メモリ５０１には装置全体を制御し、各種
ソフトウェアを動作させるためのＯＳ、画像データに対
してセキュリティ処理（画像の保護（知的財産権（例え
ば著作権）の保護））を行うための符号化データを符号
化するセキュリティエンコーダソフト、動画像の符号化
を行う動画像エンコーダソフトが格納されている。

【０１２５】また、符号化する画像を動き補償時に参照
するために格納する画像エリア、各種演算のパラメータ
等を格納しておくワーキングエリアが存在する。

【０１２６】このような構成において、処理に先立ち、
端末５０６から記憶装置５０３に蓄積されている動画像
データから符号化する動画像データを選択し、セキュリ
ティを施して復号の禁止を開始するフレーム、禁止を解
除するフレームを入力する。

【０１２７】次にセキュリティエンコーダソフトを起動
し、セキュリティの情報を符号化して記憶装置５０３の
所定の領域に書き込んだり、通信インターフェース５０
５を介して通信回線５０４に送出する。

【０１２８】尚、動画像データはＭＰＥＧ−１で符号化
されるものとして説明を続けるが、動き補償を行う符号
化方式であれば構わない。また、画像サイズをＱＣＩＦ
（１７６×１４４画素）として説明するが、これに限定
されない。また、Ｉフレームモード、Ｐフレームモー
ド、Ｂフレームモードの周期は第２実施例と同様として
説明する。

【０１２９】次に、記憶装置５０３に格納されている動
画像データのＣＰＵ５００による動画像データの符号化
動作を図１４、図１５、図１６に示すフローチャートに
従って説明する。

【０１３０】まず、ステップＳ０１では、処理したフレ
ーム数を計数する変数ｃｏｕｎｔを０にリセットする。

【０１３１】次に、動画像データが記憶装置５０３から
入力されているか否かをステップＳ０２で判断し、動画
像データが入力されている場合はフレーム単位でメモリ
５０１の画像エリアに格納し、ステップＳ０３へ進み、
動画像データが入力されていない時はフローを終了す
る。

【０１３２】処理を行うフレームが、不図示のユーザが
端末５０６から入力した復号を禁止するフレームの最後
かどうかすなわち復号の禁止が解除されたかどうかをス
テップＳ０３で判断し、解除されていない場合はステッ
プＳ０４へ進み、解除された場合はステップＳ１０へ進
む。

【０１３３】先に、解除された場合以外の処理を説明す
る。ステップＳ０４ではｃｏｕｎｔを１５で割り、その
余りが０か否かを判断する。余りが０であればＩフレー
ムモードであるとしてステップＳ０５に進み、フレーム
の符号化モードをＩフレームモードとしてＩフレームモ
ードの符号化を行い、フレームの符号化データを生成す
る。以後、得られた符号化データは記憶装置５０３の所
定の領域に書き込まれたり、通信インターフェース５０
５を介して通信回線５０４に送出されたりする。また、
送信した画像を復号したのと同じ画像を参照画像として
メモリ５０１の画像エリアに格納する。その後ステップ
Ｓ０９に進み、ｃｏｕｎｔに１を加え、ステップＳ０２
に進む。

【０１３４】ステップＳ０４で余りが０でなければステ
ップＳ０６でｃｏｕｎｔを３で割り、その余りが０か否
かを判断する。余りが０であればＰフレームモードであ
るとしてステップＳ０７に進み、フレームの符号化モー
ドをＰフレームモードとしてメモリ５０１の画像エリア
の参照画像を参照してＰフレームモードの符号化を行
う。また、送信した画像を復号したのと同じ画像を参照
画像としてメモリ５０１の画像エリアに格納する。その
後ステップＳ０９に進み、ｃｏｕｎｔに１を加え、ステ
ップＳ０２に進む。

【０１３５】ステップＳ０６で余りが０でなければフレ
ームの符号化モードをＢフレームモードとしてメモリ５
０１の画像エリアの参照画像を参照してＢフレームモー
ドの符号化を行う。その後ステップＳ０９に進み、ｃｏ
ｕｎｔに１を加え、ステップＳ０２に進む。

【０１３６】続いて、処理を行うフレームが復号の禁止
が解除されたフレームとステップＳ０３で判断された場
合の処理を説明する。解除後は一定の期間で必ずフレー
ム内のすべてのマクロブロックが１回はＩマクロブロッ
クモードになるようにする。ここではその期間を８フレ
ームとし、Ｉマクロブロックモードで符号化するマクロ
ブロックの位置のパターンを図５（ｂ）〜（ｉ）として
説明する。これらのパターンで白を０、黒を１とし、そ
れぞれを１次元のテーブルとする。ここで、テーブルを
表す変数としてＴ_Fcount（ｋ）（Ｆｃｏｕｎｔ＝１・・
８、ｋ＝０・・９８）をメモリ５０１のワークエリアに
設ける。すなわちＴ₈ （ｋ）は図５（ｂ）の内容を、Ｔ
₇ （ｋ）は図５（ｃ）の内容を、Ｔ₆ （ｋ）は図５
（ｄ）の内容を、Ｔ₅ （ｋ）は図５（ｅ）の内容を、Ｔ
₄ （ｋ）は図５（ｆ）の内容を、Ｔ₃（ｋ）は図５
（ｇ）の内容を、Ｔ₂ （ｋ）は図５（ｈ）の内容を、Ｔ
₁ （ｋ）は図５（ｉ）の内容を表す。

【０１３７】ステップＳ１０ではフレームをカウントダ
ウンする変数Ｆｃｏｕｎｔに８にセットし、マクロブロ
ックモードテーブルＴＣ（ｋ）（ｋ＝０〜９８）の全て
に０をセットする。このマクロブロックモードテーブル
ＴＣ（ｋ）はどのマクロブロックがＩマクロブロックモ
ードで符号化されたかをチェックするためのテーブルで
あり、メモリ５０１のワークエリアに設けられる。ステ
ップＳ１１にすすみ、Ｆｃｏｕｎｔが０になったかどう
かを判断し、０であれば解除後の一定期間の処理を終了
したとしてステップＳ０９に進み、ｃｏｕｎｔに１を加
え、ステップＳ０２に進む。ステップＳ１１で０でなけ
ればステップＳ１２に進む。

【０１３８】ステップＳ１２ではステップＳ０４と同様
にｃｏｕｎｔを１５で割った余りが０であればＩフレー
ムモードで符号化するようにステップＳ０５に進む。す
なわち、ＩフレームではすべてのマクロブロックがＩマ
クロブロックモードとなるので解除後の一定期間の終了
を待たなくても良いからである。０でなければステップ
Ｓ１３に進む。

【０１３９】ステップＳ１３ではステップＳ０６と同様
にｃｏｕｎｔを３で割った余りが０であればＰフレーム
モードで符号化するように図１５のステップＳ１４に進
む。そうでなければＢフレームモードで符号化するよう
に図１６のステップＳ３０に進む。

【０１４０】まず、Ｐフレームモードでの符号化につい
て図１５のフローチャートで説明する。

【０１４１】ステップＳ１４では符号化するフレームが
Ｐフレームモードで符号化されること等を含んだフレー
ムのヘッダ情報を生成し、符号化する。ステップＳ１５
ではマクロブロックの位置を表す変数ｂに０をセットす
る。ｂは左上のマクロブロックを０とし、符号化順に番
号をつけたものであり、本実施例ではＱＣＩＦを対象に
しているのでＩフレーム内に９９個のマクロブロックが
存在する。ステップＳ１６ではｂと存在するマクロブロ
ック数９９を比較し、フレーム内の処理が終了したかを
判断する。終了した場合は図１４のステップＳ５３に進
み、次のフレームの処理を行うため、フレーム数を計数
するｃｏｕｎｔに１を加え、Ｆｃｏｕｎｔから１を引
き、前述のステップＳ１１に進む。

【０１４２】フレーム内の処理が終了していない場合
は、ステップＳ１７でマクロブロックを必ずＩマクロブ
ロックモードで符号化するか否かを判断する。Ｔ_Fcount
（ｂ）が１であればＳ１８に進み、そうでなければステ
ップＳ２３に進む。

【０１４３】ステップＳ１８では解除後に該当するマク
ロブロックがＩマクロブロックモードで符号化されたか
を判断する。既にＩマクロブロックモードで符号化され
たか否かはマクロブロックモードテーブルＴＣ（ｂ）が
１か０かで判断できる。１であれば既にＩマクロブロッ
クモードで符号化されているので特にＩマクロブロック
モードではなくてもかまわないのでステップＳ２３に進
む。また、ＴＣ（ｂ）が０であればステップＳ１９に進
む。

【０１４４】ステップＳ１９ではメモリ５０１の画像エ
リアに格納されているフレームのｂの示す位置からマク
ロブロックのデータＭＢを切出す。ステップＳ２０でマ
クロブロックの符号化モードをＩマクロブロックモード
とし、マクロブロックモードテーブルＴＣ（ｂ）にＩフ
レーム符号化したことを表す１を代入する。ステップＳ
２１でマクロブロックのデータＭＢをＩマクロブロック
モードで符号化し、復号して得られる画像データを次の
参照画像としてメモリ５０１の画像エリアの所定位置に
格納する。ステップＳ２２に進み、マクロブロックの位
置を表すｂに１を加え、次のマクロブロックを処理す
る。

【０１４５】一方、ステップＳ２３でメモリ５０１の画
像エリアに格納されているフレームのｂの示す位置から
マクロブロックのデータＭＢを切出し、ステップＳ２４
ではメモリ５０１の画像エリアに格納された参照画像か
ら予測マクロブロックのデータＰＭＢを算出しステップ
Ｓ２５に進む。

【０１４６】ステップＳ２５では予測マクロブロックデ
ータＰＭＢと切出されたマクロブロックのデータＭＢに
ついて画素単位で引き算を行い、予測誤差データＥを算
出する。ステップＳ２６では算出された予測誤差データ
Ｅの各画素毎の誤差について絶対値を加算した絶対値和
Ｅ_Totalと、マクロブロックデータＭＢの各画素値の平
均値との差分の絶対値の和ＭＢ_Totalを算出する。

【０１４７】ステップＳ２７ではマクロブロックをＩマ
クロブロックモードかＰマクロブロックモードのいずれ
かで符号化するかを判断する。Ｅ_TotalとＭＢ_Totalを比
較し、ＭＢ_Totalが大きければステップＳ２８に進み、
Ｐマクロブロックモードで符号化し、小さければステッ
プＳ２０に進み、前述のとおり、Ｉマクロブロックモー
ドで符号化する。

【０１４８】ステップＳ２８でマクロブロックの符号化
モードをＰマクロブロックモードとする。ステップＳ２
９でマクロブロックのデータＭＢをＰＭＢを用いてＰマ
クロブロックモードで符号化し、復号して得られる画像
データを次の参照画像としてメモリ５０１の画像エリア
の所定位置に格納する。ステップＳ２２に進み、マクロ
ブロックの位置を表すｂに１を加え、次のマクロブロッ
クを処理する。

【０１４９】以降、ステップＳ１６の条件を満たすまで
フレーム内のマクロブロックについて順にステップＳ１
７からステップＳ２９までの処理を行う。

【０１５０】次に、Ｂフレームモードでの符号化につい
て図１６のフローチャートで説明する。

【０１５１】ステップＳ３０では符号化するフレームが
Ｂフレームモードで符号化されること等を含んだフレー
ムのヘッダ情報を生成し、符号化する。ステップＳ３１
ではマクロブロックの位置を表す変数ｂに０をセットす
る。ステップＳ３２ではｂと存在するマクロブロック数
９９を比較し、フレーム内の処理が終了したかを判断す
る。終了した場合は図１４のステップＳ５３に進み、フ
レーム数を計数するｃｏｕｎｔに１を加え、Ｆｃｏｕｎ
ｔから１を引き、前述のステップＳ１１に進む。

【０１５２】フレーム内の処理が終了していない場合
は、ステップＳ３３でマクロブロックを必ずＩマクロブ
ロックモードで符号化するか否かを判断する。Ｔ_Fcount
（ｂ）が１であればＳ３４に進み、そうでなければステ
ップＳ３９に進む。

【０１５３】ステップＳ３４では解除後に該当するマク
ロブロックがＩマクロブロックモードで符号化されたか
を判断する。ＴＣ（ｂ）が１であれば既にＩマクロブロ
ックモードで符号化されているのでステップＳ３９に進
む。また、ＴＣ（ｂ）が０であればステップＳ３５に進
む。

【０１５４】ステップＳ３５ではメモリ５０１の画像エ
リアに格納されているフレームからマクロブロックのデ
ータＭＢを切出す。ステップＳ３６でマクロブロックの
符号化モードをＩマクロブロックモードとし、マクロブ
ロックモードテーブルＴＣ（ｂ）にＩフレーム符号化し
たことを表す１を代入する。ステップＳ３７でマクロブ
ロックのデータＭＢをＩマクロブロックモードで符号化
する。ステップＳ３８に進み、マクロブロックの位置を
表すｂに１を加え、次のマクロブロックを処理する。

【０１５５】一方、ステップＳ３９でメモリ５０１の画
像エリアに格納されているフレームからマクロブロック
のデータＭＢを切出し、ステップＳ４０ではメモリ５０
１の画像エリアに格納された過去の参照画像から前方予
測マクロブロックのデータＰＭＢを算出し、未来の参照
画像から後方予測マクロブロックのデータＢＭＢを算出
してステップＳ４１に進む。

【０１５６】ステップＳ４１では前方予測マクロブロッ
クのデータＰＭＢと後方予測マクロブロックのデータＢ
ＭＢから各画素の平均を求めて両方向予測マクロブロッ
クのデータＭＭＢを算出する。

【０１５７】ステップＳ４２では切出された符号化する
ＭＢとＰＭＢについて画素単位で引き算を行い、前方予
測誤差データＥＰを算出する。同様にしてＭＢとＢＭＢ
から後方予測誤差データＥＢを、ＭＢとＭＭＢから両方
向予測誤差ＥＭを算出する。

【０１５８】ステップＳ４３では算出された前方予測誤
差データＥＰ、後方予測誤差データＥＢ、両方向予測誤
差データＥＭのそれぞれについて各画素毎の誤差につい
て絶対値を加算し、それぞれの絶対値和ＥＰ_Total、Ｅ
Ｂ_Total、ＥＭ_TotalとマクロブロックデータＭＢの各画
素値の平均値との差分の絶対値の和ＭＢ_Totalを算出す
る。

【０１５９】ステップＳ４４ではマクロブロックをＩマ
クロブロックモードかそれ以外のモードで符号化するか
を判断する。ＭＢ_TotalとＥＰ_Total、ＥＢ_Total、ＥＭ
_Totalとを比較し、ＭＢ_Totalが最小であればステップＳ
３６に進み、前述のとおり、Ｉマクロブロックモードで
符号化する。最小でなければステップＳ４５に進む。

【０１６０】ステップＳ４５ではマクロブロックをＰマ
クロブロックモードかそれ以外のモードで符号化するか
を判断する。ＥＰ_TotalとＥＢ_Total、ＥＭ_Totalを比較
し、ＥＰ_Totalが最小であればステップＳ４６に進み、
Ｐマクロブロックモードで符号化する。最小でなければ
ステップＳ４８に進む。

【０１６１】ステップＳ４６でマクロブロックの符号化
モードをＰマクロブロックモードとする。ステップＳ４
７でマクロブロックのデータＭＢをＰマクロブロックモ
ードで符号化する。ステップＳ３８に進み、マクロブロ
ックの位置を表すｂに１を加え、次のマクロブロックを
処理する。

【０１６２】ステップＳ４８ではマクロブロックをＭマ
クロブロックモードかＢマクロブロックモードで符号化
するかを判断する。ＥＢ_TotalとＥＭ_Totalを比較し、Ｅ
Ｂ_{To tal}が小さければステップＳ４９に進み、Ｂマクロ
ブロックモードで符号化する。そうでなければステップ
Ｓ５１に進み、Ｍマクロブロックモードで符号化する。

【０１６３】ステップＳ４９でマクロブロックの符号化
モードをＢマクロブロックモードとする。ステップＳ５
０でマクロブロックのデータＭＢを未来の参照画像から
求め、Ｂマクロブロックモードで符号化する。その後、
ステップＳ３８に進み、マクロブロックの位置を表すｂ
に１を加え、次のマクロブロックを処理する。

【０１６４】ステップＳ５１でマクロブロックの符号化
モードをＭマクロブロックモードとする。ステップＳ５
２でマクロブロックのデータＭＢを過去と未来の参照画
像の両方から求め、Ｍマクロブロックモードで符号化す
る。ステップＳ３８に進み、マクロブロックの位置を表
すｂに１を加え、次のマクロブロックを処理する。

【０１６５】以降、ステップＳ３２の条件を満たすまで
フレーム内のマクロブロックについて順にステップＳ３
３からステップＳ５２までの処理を行う。

【０１６６】このような一連の選択動作により、セキュ
リティによる復号の禁止や禁止の解除後に一定の時間で
必ず各マクロブロックがフレーム内符号化を行うように
各ブロックの符号化モードを容易に決定することができ
る。さらにフレーム内のフレーム内符号化の状況を把握
しながら符号化することにより、フレーム内符号化を行
うブロック数を減らすことができる。これにより、符号
量が大きいＩフレームモードのフレームを挿入すること
なく、セキュリティによって起こる画質の劣化を抑制
し、短期間で通常の表示が可能になる。また、得られた
符号化データは標準方式に完全に準拠できており、復号
側に特別な構成は必要ない。

【０１６７】本実施例でのメモリ構成等はこれに限定さ
れない。

【０１６８】本実施例ではフレーム内のフレーム内符号
化の状況を把握をマクロブロック単位で行ったが、その
単位はこれに限定されず、たとえば画素毎に把握し、動
き補償等によって既にＩフレームモードで符号化した画
素、またはそれのみを参照して動き補償した画素をも加
えることにより、フレーム内符号化を行うブロック数を
より一層、減らすことができる。

【０１６９】画像サイズ、フレームの周期等はこれに限
定されない。たとえば画像サイズについては、ステップ
Ｓ１６、ステップＳ３２の９９を存在するマクロブロッ
クの数にし、マクロブロックのパターンもこれにあわせ
て用意すれば良い。

【０１７０】また、図１７に示すようにステップＳ１１
とステップＳ１２の間にステップＳ１００を挿入し、ス
テップＳ１００でフレームの処理を行う前に全てのマク
ロブロックモードテーブルＴＣ（ｋ）（ｋ＝０・・・９
８）が１かどうかを判定し、全てが１であれば通常状態
であると判定してステップＳ０２に進み、ステップＳ０
３からステップＳ０９までの処理を行ってもかまわな
い。

【０１７１】これにより、通常の状態への復帰を早める
ことができ、フレーム内符号化を行うブロック数をより
一層、減らすことができる。

【０１７２】〈その他の実施例〉ブロック群の構成や単
位はこれに限定されない。

【０１７３】さらに、本実施例では動きベクトルを用い
たフレーム間予測符号化について説明したが、これに限
定されない。たとえばフラクタルをフレーム間で用いる
方法等に応用してもかまわない。

【０１７４】また、本実施例の各部または全部の機能を
ソフトウェアで記述し、ＣＰＵ等の演算装置によって処
理をさせてももちろんかまわない。

【０１７５】本実施例ではフレームを単位として説明し
たが、ＭＰＥＧ−２方式のようにそれぞれをフィールド
に対応させてももちろんかまわない。

【０１７６】

【発明の効果】以上の説明から明らかなように、本発明
では、セキュリティによる復号の禁止、または禁止の解
除に際して、フレーム内符号化フレームの周期よりも短
い間隔でフレーム内符号化するマクロブロックを周期的
に挿入する事によって、符号化効率を無駄にする事な
く、セキュリティによる画質の劣化を容易かつ抑制する
ことができる。

【図面の簡単な説明】

【図１】本発明の第１、第２の実施例としての画像符号
化装置の構成を示すブロック図である。

【図２】セキュリティ情報の符号化データの一例を表す
図である。

【図３】本発明の第１の実施例としての図１におけるビ
デオ符号部１００２の構成を示すブロック図である。

【図４】本発明の第１の実施例としての図３における符
号化モード制御部１１４の構成を示すブロック図であ
る。

【図５】本発明の第１実施例における必ずフレーム内符
号化するマクロブロックの配置の一例を示す図である。

【図６】図３における符号化モード決定部１１８の構成
を示すブロック図である。

【図７】本発明の第１の実施例における必ずフレーム内
符号化するマクロブロックの配置の別な例を示す図であ
る。

【図８】本発明の第２の実施例としての図１におけるビ
デオ符号化部１００２の構成を示すブロック図である。

【図９】本発明の第２の実施例としての図８における符
号化モード制御部２０３の構成を示すブロック図であ
る。

【図１０】本発明の第２実施例における必ずフレーム内
符号化するマクロブロックの配置の一例を示す図であ
る。

【図１１】図８における符号化モード決定部２０２の構
成を示すブロック図である。

【図１２】本発明の第３実施例としての画像符号化装置
の構成を示すブロック図である。

【図１３】メモリ５０１のメモリの使用、格納状況を表
す図である。

【図１４】本発明の第３の実施例としての動作を示すフ
ローチャート図である。

【図１５】本発明の第３の実施例としての動作を示すフ
ローチャート図である。

【図１６】本発明の第３の実施例としての動作を示すフ
ローチャート図である。

【図１７】本発明の第３の実施例としての動作を示すフ
ローチャート図である。

【図１８】従来例の復号の様子を説明するための図であ
る。

フロントページの続き Ｆターム(参考） 5C059 KK43 MA00 MA05 MA23 MC11 MC38 ME02 NN01 NN21 PP05 PP06 RB01 RB15 RC12 RC16 RC35 SS01 SS06 SS11 SS20 TA18 TB01 TB07 TC00 UA02 UA33 UA39 5C063 AB03 AB07 AC01 AC05 AC10 CA11 CA23 CA36 5J064 BA09 BA16 BB12 BC01 BC08 BC16 BD04

Claims (8)

【特許請求の範囲】
1. 【請求項１】 画像データを入力する入力手段と、 前記画像データを保護するためのセキュリティデータを
   生成する生成手段と、前記画像データをブロック分割す
   る分割手段と、 画面内符号化モードと画面間符号化モードとを適応的に
   用いて前記画像データを前記ブロック単位で符号化する
   符号化手段と、 前記符号化モードを選択する選択手段と、 前記生成手段によって生成されたセキュリティデータと
   前記符号化手段によって符号化された画像データと前記
   選択手段によって選択された符号化モードを示す符号化
   モードデータとを出力する出力手段とを有し、 前記選択手段は、前記セキュリティデータに応じて１画
   面内の任意のブロックの画像データがｎ画面間で少なく
   とも１回は画面内符号化されるように符号化モードを選
   択することを特徴とする画像符号化装置。
2. 【請求項２】 前記選択手段は、ｍ画面毎に１画面内の
   すべてのブロックの画像データを画面内符号化するよう
   に符号化モードを選択することを特徴とする請求項１に
   記載の画像符号化装置。
3. 【請求項３】 前記符号化手段は、Ｈ．２６３符号化方
   式に準拠した符号化を実行することを特徴とする請求項
   １又は２に記載の画像符号化装置。
4. 【請求項４】 前記符号化手段は、ＭＰＥＧ符号化方式
   に準拠した符号化を実行することを特徴とする請求項１
   又は２に記載の画像符号化装置。
5. 【請求項５】 前記セキュリティデータは前記画像デー
   タの著作権を保護するためのＩＰＭＰデータであること
   を特徴とする請求項１〜４のいずれか１項に記載の画像
   符号化装置。
6. 【請求項６】 画像データを入力する入力ステップと、 前記画像データを保護するためのセキュリティデータを
   生成する生成ステップと、 前記画像データをブロック分割する分割ステップと、 画面内符号化モードと画面間符号化モードとを適応的に
   用いて前記画像データを前記ブロック単位で符号化する
   符号化ステップと、 前記符号化モードを選択する選択ステップと、 前記生成されたセキュリティデータと前記符号化された
   画像データと前記選択された符号化モードを示す符号化
   モードデータとを出力する出力ステップとを有し、 前記選択ステップは、前記セキュリティデータに応じて
   １画面内の任意のブロックの画像データがｎ画面間で少
   なくとも１回は画面内符号化されるように符号化モード
   を選択することを特徴とする画像符号化方法。
7. 【請求項７】 画像データを入力する入力工程のコード
   と、 前記画像データを保護するためのセキュリティデータを
   生成する生成工程のコードと、 前記画像データをブロック分割する分割工程のコード
   と、 画面内符号化モードと画面間符号化モードとを適応的に
   用いて前記画像データを前記ブロック単位で符号化する
   符号化工程のコードと、 前記符号化モードを選択する選択工程のコードと、 前記生成されたセキュリティデータと前記符号化された
   画像データと前記選択された符号化モードを示す符号化
   モードデータとを出力する出力工程のコードとを含む画
   像符号化プログラムを記録したコンピュータ可読記録媒
   体であって、 前記選択工程は、前記セキュリティデータに応じて１画
   面内の任意のブロックの画像データがｎ画面間で少なく
   とも１回は画面内符号化されるように符号化モードを選
   択することを特徴とする画像符号化プログラムを記録し
   たコンピュータ可読記録媒体。
8. 【請求項８】 画像データを入力する入力ステップと、 前記画像データを保護するためのセキュリティデータを
   生成する生成ステップと、 前記画像データをブロック分割する分割ステップと、 画面内符号化モードと画面間符号化モードとを適応的に
   用いて前記画像データを前記ブロック単位で符号化する
   符号化ステップと、 前記符号化モードを選択する選択ステップと、 前記生成されたセキュリティデータと前記符号化された
   画像データと前記選択された符号化モードを示す符号化
   モードデータとを出力する出力ステップとを含み、 前記選択ステップでは、前記セキュリティデータに応じ
   て１画面内の任意のブロックの画像データがｎ画面間で
   少なくとも１回は画面内符号化されるように符号化モー
   ドを選択することを特徴とする画像符号化プログラム。