JP2009177722A

JP2009177722A - 映像符号化装置及び映像符号化方法

Info

Publication number: JP2009177722A
Application number: JP2008016655A
Authority: JP
Inventors: Shigeki Mochizuki; 成記望月
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-01-28
Filing date: 2008-01-28
Publication date: 2009-08-06
Anticipated expiration: 2028-01-28
Also published as: JP4948435B2

Abstract

【課題】画面内予測処理を高速に行うことができるようにする。
【解決手段】第１のメモリ１０２は、画面の水平方向１ライン分の画素データを保持可能なラインメモリと、マクロブロックにおける垂直方向１ライン分に相当する１６画素分の画素データを保持可能なＭＢメモリとを有している。画面内予測を行う際には、画素ブロックごとに、復号化した画素ブロックの下端の水平方向１ライン分の画素データを前記ラインメモリに格納して更新するとともに、前記復号化した画素ブロックの右端の垂直方向１ライン分の画素データを前記ＭＢメモリに格納して更新する。
【選択図】図１

Description

本発明は映像符号化装置、映像符号化方法、プログラム及び記録媒体に関し、特に、Ｈ．２６４方式のイントラ予測に用いて好適な技術に関する。

動画像データの符号化方式の１つとして、ＭＰＥＧ−４ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０、別名、Ｈ．２６４）方式があり、ディジタル放送や映像記録メディアにおいて用いられている。ＭＰＥＧ−４ＡＶＣ（Ｈ．２６４）方式では、動き補償予測を行わないイントラ画像において、当該画像の画素値を画面内予測することにより符号化の効率を向上させている。このように画面内の情報を用いて予測することにより符号化効率を向上させる概念は、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６−２）方式から取り入れられている。ＭＰＥＧ−４方式では、８×８画素ブロック単位で左又は上に位置するＤＣＴブロックから、符号化対象のＤＣＴブロックのＤＣ係数（直流成分）及び低次のＡＣ係数（交流成分）を予測するＤＣ／ＡＣ係数予測符号化方式が採用されている。

これに対して、ＭＰＥＧ−４ＡＶＣ方式では、マクロブロックと呼ばれる１６×１６画素ブロックを対象に、１６×１６画素ブロック単位、８×８画素ブロック単位、又は４×４画素ブロック単位で予測符号化サイズが選択可能となっている。さらに、ＭＰＥＧ−４ＡＶＣ方式では、符号化対象の各画素ブロックの上、右上、左、左上に隣接する画素における符号化済みの画素値を利用して複数の予測モードで予測を行っている。そして、符号化対象の各画素ブロックの画素値と最も類似する予測モードを選択することにより、当該マクロブロックの全画素値を予測して更に符号化効率を高めている。また、イントラ画像以外に対してもマクロブロック単位で画面内予測して符号化を行うことが可能である。

画面内予測は、複数のイントラ予測モードのうち、いずれか１つを選択する処理によって行われる。イントラ予測モードの詳細については、例えば、特許文献１に開示されている。

特開２００６−５６５９号公報

前述のようにＭＰＥＧ−４ＡＶＣ方式における画面内予測では、符号化対象の画素ブロックに隣接する符号化済み画素を必要としており、実際の画面内予測処理に必要な画素データは符号化対象の画素ブロックに隣接する一部の画素の画素値である。しかしながら、画面間予測に備えて全ての符号化済み画像を保持する必要があり、さらに、動き補償による画面間予測で参照する符号化済み画像には、画素ブロック間に対してデブロッキングフィルタ処理を行う必要がある。

一方、画面内予測で参照する符号化済み画像では、デブロッキングフィルタ処理前の符号化済み画素値を必要とする。したがって、画面内予測を行うためには、符号化済み画像に対してデブロッキングフィルタ処理を行うタイミングを考慮する必要があり、画面内予測を行うために余計な時間がかかってしまうという問題点があった。

また、一般に符号化済みの画素ブロックは、画素ブロック単位でメモリに保持されている。このため、特に符号化対象の画素ブロックの左に隣接する画素を利用して予測処理を行う場合には、保持している隣接画素データを冗長に読み出す必要があり、画面内予測処理を行うために余計な時間がかかってしまうという問題点がった。

本発明は前述の問題点に鑑み、画面内予測処理を高速に行うことができるようにすることを目的としている。

本発明の映像符号化装置は、動画像を構成する複数の画面をマクロブロックの単位に分割して符号化を行う映像符号化装置であって、前記マクロブロックと同一のサイズ、又は前記マクロブロックよりも小さい画素ブロックの単位で、メモリに格納されている隣接画素データを用いて画面内予測により符号化対象の画素ブロックの符号化を行う画面内予測符号化手段と、前記画面内予測符号化手段により符号化されたデータを前記画素ブロックの単位に復号化する復号化手段と、前記復号化手段により復号化された画素ブロックのデータの一部を前記メモリに格納する記憶手段とを備え、前記メモリは、少なくとも前記画面の水平方向１ライン分の画素データを記憶する第１の記憶領域と、前記マクロブロックの垂直方向１ライン分の画素データを記憶する第２の記憶領域とを有し、前記記憶手段は、画素ブロックごとに、前記復号化手段により復号化された画素ブロックの下端の水平方向１ライン分の画素データを前記第１の記憶領域に格納して更新するとともに、前記復号化された画素ブロックの右端の垂直方向１ライン分の画素データを前記第２の記憶領域に格納して更新することを特徴とする。

本発明の映像符号化方法は、動画像を構成する複数の画面をマクロブロックの単位に分割して符号化を行う映像符号化方法であって、前記マクロブロックと同一のサイズ、又は前記マクロブロックよりも小さい画素ブロックの単位で、少なくとも前記画面の水平方向１ライン分の画素データを記憶する第１の記憶領域と、前記マクロブロックの垂直方向１ライン分の画素データを記憶する第２の記憶領域とを有するメモリに格納されている隣接画素データを用いて画面内予測により符号化対象の画素ブロックの符号化を行う画面内予測符号化工程と、前記画面内予測符号化工程において符号化したデータを前記画素ブロックの単位に復号化する復号化工程と、前記復号化工程において復号化した画素ブロックのデータの一部を前記メモリに格納する記憶工程とを備え、前記記憶工程においては、画素ブロックごとに、前記復号化工程において復号化した画素ブロックの下端の水平方向１ライン分の画素データを前記第１の記憶領域に格納して更新するとともに、前記復号化した画素ブロックの右端の垂直方向１ライン分の画素データを前記第２の記憶領域に格納して更新することを特徴とする。

本発明のプログラムは、動画像を構成する複数の画面をマクロブロックの単位に分割して符号化を行う映像符号化装置においてコンピュータに実行させるプログラムであって、前記マクロブロックと同一のサイズ、又は前記マクロブロックよりも小さい画素ブロックの単位で、少なくとも前記画面の水平方向１ライン分の画素データを記憶する第１の記憶領域と、前記マクロブロックの垂直方向１ライン分の画素データを記憶する第２の記憶領域とを有するメモリに格納されている隣接画素データを用いて画面内予測により符号化対象の画素ブロックの符号化を行う画面内予測符号化工程と、前記画面内予測符号化工程において符号化したデータを前記画素ブロックの単位に復号化する復号化工程と、前記復号化工程において復号化した画素ブロックのデータの一部を前記メモリに格納する記憶工程とをコンピュータに実行させ、前記記憶工程においては、画素ブロックごとに、前記復号化工程において復号化した画素ブロックの下端の水平方向１ライン分の画素データを前記第１の記憶領域に格納して更新するとともに、前記復号化した画素ブロックの右端の垂直方向１ライン分の画素データを前記第２の記憶領域に格納して更新するようにコンピュータに実行させることを特徴とする。

本発明の記録媒体は、前記に記載のプログラムを記録したことを特徴とする。

本発明によれば、最小限のメモリリソースで隣接画素データを格納することができ、画面内予測処理を高速に行うことができる。

（第１の実施形態）
本発明を適用可能な実施形態であるＭＰＥＧ−４ＡＶＣ方式で映像信号を符号化する映像符号化装置について、図１のブロック図を参照しながら説明を行う。ＭＰＥＧ−４ＡＶＣでは、動画像を構成する複数の画面をマクロブロック（または、更に小さいブロック）の単位に分割して予測符号化を行う。なお、符号化する映像信号は４：２：０コンポーネント信号であるものとする。

図１は、本実施形態に係る映像符号化装置の内部構成例を示すブロック図である。
図１において、本実施形態の映像符号化装置１００では、符号化対象画面を１６×１６画素単位の画素ブロックに分割したマクロブロックで処理を行う。予測方法決定部１０１は、符号化対象画面内の各マクロブロックに対する予測方法を決定する。

第１のメモリ１０２は、画面内予測で用いる符号化済み画像の画素データを格納しており、第２のメモリ１０３は、画面間予測で用いる符号化済み画像を格納している。予測方法決定部１０１は、第１のメモリ１０２または第２のメモリ１０３から読み出した符号化済み画像の画素データと入力される映像信号とを用いて全ての予測方式で予測処理を行い、符号化効率が最適となる予測方式を決定する。

ここで、第１のメモリ１０２には、デブロッキングフィルタ処理部１１１によってデブロッキングフィルタ処理される前の符号化済み画像が格納される。一方、第２のメモリ１０３には、デブロッキングフィルタ処理部１１１によるデブロッキングフィルタ処理された後の符号化済み画像が格納される。

予測方法決定部１０１は、符号化対象のマクロブロックがＩスライスの場合は、画面内予測を選択し、Ｐスライス又はＢスライスの場合は、画面内予測及び画面間予測のうち、符号化効率の高い方を選択する。そして、画面内予測を選択した場合には、画面内予測を行う画素ブロックのサイズ及び画面内予測モード等の画面内予測用パラメータを決定する。一方、画面間予測を選択した場合には、参照画像フレーム、マクロブロックの分割パターン、動きベクトル等の画面間予測用パラメータを決定する。

そして、決定された予測方法が画面内予測である場合には、画面内予測処理部１０５へ画面内予測用パラメータを出力し、画面間予測である場合には、画面間予測処理部１０４へ、画面間予測用パラメータを出力する。

画面内予測処理部１０５は、予測方法決定部１０１により決定された画面内予測用パラメータに応じて、第１のメモリ１０２から読み出した符号化済み画像から予測画像を生成し、予測残差生成部１０６へ出力する。画面間予測処理部１０４は、予測方法決定部１０１により決定された画面間予測用パラメータに応じて、指定された参照フレーム内の動きベクトルに対応した符号化済み画像を第２のメモリ１０３から読み出す。そして、予測補間処理により予測画像を生成し、予測残差生成部１０６へ出力する。

予測残差生成部１０６は、画面内予測処理部１０５又は画面間予測処理部１０４から入力された予測画像を図示しないメモリへ保持する。さらに、符号化対象画像（画素ブロック）と予測画像との差分を示す予測残差信号を生成し、直交変換部１０７へ出力する。

直交変換部１０７は、指定された画素ブロック単位（８×８画素、又は４×４画素ブロック単位）に対して整数精度離散コサイン変換及び離散アダマール変換による直交変換処理を行う。なお、離散アダマール変換は、１６×１６画素ブロック単位で画面内予測処理が行われた輝度信号、又は色差信号に対して各画素ブロックを整数精度離散コサイン変換した結果のＤＣ（直流）成分に対してのみ行われる。そして、直交変換された変換係数を、量子化部１０８へ供給する。

量子化部１０８は、指定された量子化パラメータに応じた量子化ステップにより変換係数の量子化処理を行い、エントロピー符号化部１０９へ出力する。なお、本実施形態では、画面内予測処理部１０５、予測残差生成部１０６、直交変換部１０７及び量子化部１０８が画面内予測符号化手段として機能する。

エントロピー符号化部１０９は、入力されたデータに対してエントロピー符号化処理を行い、符号化データを出力する。符号化方法としては、１つは、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄＡｄａｐｔｉｖｅＶａｒｉｂａｌｅＬｅｎｇｔｈＣｏｄｉｎｇ）処理がある。また、もう１つは、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄＡｄａｐｔｉｖｅＢｉｎａｒｙＡｒｉｔｈｍｅｔｉｃＣｏｄｉｎｇ）処理がある。エントロピー符号化部１０９は、これらの何れかを用いてエントロピー符号化処理を行い、符号化データを出力する。

一方、同時に、量子化部１０８で量子化されたデータは、局所復号化部１１０へ入力される。局所復号化部１１０は復号化手段として機能し、入力された量子化データに対して逆量子化処理、逆直交変換処理（逆離散アダマール変換及び逆整数精度離散コサイン変換）を行い、予測残差生成部１０６から入力される予測画像を加算して復号化を行う。そして、局所復号化部１１０は記憶手段としても機能し、復号化されたデータを、第１のメモリ１０２へ格納するとともに、デブロッキングフィルタ処理部１１１へ出力する。

第１のメモリ１０２に保持された復号化データは、画面内予測処理に利用される。デブロッキングフィルタ処理部１１１は、入力された復号化データにデブロッキングフィルタ処理を施し、第２のメモリ１０３へ格納する。第２のメモリ１０３に保持されたデブロッキングフィルタ処理後の復号化データは、画面間予測処理に利用される。以上のような構成が映像符号化装置１００に含まれている。

図２は、本実施形態の第１のメモリ１０２の構成例を示す図である。
第１のメモリ１０２は、図２に示すように、第１の記憶領域として、画面の水平方向１ライン分の画素データを保持可能なメモリＡ−１領域（以下、ラインメモリ２０１と呼ぶ）を有している。さらに、第２の記憶領域として、マクロブロックにおける垂直方向１ライン分に相当する１６画素分の画素データを保持可能なメモリＡ−２領域（以下、ＭＢメモリ２０２と呼ぶ）を有している。本実施形態では、それぞれの領域が分離されている例を示しているが、統合されていてもよい。

次に、図３に示す画面上のＮ番目のマクロブロックを画面内予測処理する場合を例に、ＭＢメモリ２０２及びラインメモリ２０１の読み出しと更新の手順について説明する。なお、図３において、斜線部で示している画素は、Ｎ−１番目のマクロブロックの符号化が完了した時点のＭＢメモリ２０２及びラインメモリ２０１へ格納されている符号化済み画素を示している。

まず、ＭＰＥＧ−４ＡＶＣ方式における画面内予測処理について説明する。図４は、ＭＰＥＧ−４ＡＶＣ方式における参照する符号化済み画素の位置を示す図である。
図４に示すように、ＭＰＥＧ−４ＡＶＣ方式では、符号化対象画素ブロックの左、上、右上、左上に隣接する符号化済み画素を参照することが可能である。そして、輝度信号の場合は、１６×１６画素ブロックで構成されるマクロブロックにおいて、４×４画素ブロック単位、８×８画素ブロック単位、又は１６×１６画ブロック素単位での予測が選択可能である。また、色差信号の場合は、８×８画素ブロックで構成されるマクロブロックにおいて、８×８画素ブロック単位での予測が可能である。

図５は、マクロブロック内における予測を行う画素ブロックの順序を示す図である。
輝度信号を１６×１６画素ブロックよりも小さい画素ブロックで予測を行う場合、４×４画素ブロック単位の場合は、図５（ａ）に示すようにブロック番号０〜１５の順で予測を行う。一方、８×８画素ブロック単位の場合は、図５（ｂ）に示すようにブロック番号０〜４の順で予測を行う。

また、各画素ブロックのサイズ別にそれぞれ画面内予測モードが規定されている。輝度信号の場合は、４×４画素ブロック単位では、図６に示す９種類の予測モードが規定されている。また、８×８画素ブロック単位の場合も同様に９種類の予測モードが規定されており、マクロブロックと同一のサイズの１６×１６画素ブロック単位の場合は、図７に示す４種類の予測モードが規定されている。一方、色差信号の場合は、図８に示す４種類の予測モードが規定されている。これらの画素ブロックのサイズ及び画面内予測モードを選択的に決定し、画面内予測による符号化を行うことが可能となっている。

以下、図９〜図１２を参照しながら各画素ブロックのサイズ別にＭＢメモリ２０２及びラインメモリ２０１からの読み出しと更新の手順について説明する。なお、画面内予測モードについては代表して全てＤＣ（参照画素の平均値で予測画像を生成する）モードであるものとする。

図９及び図１０は、本実施形態において、４×４画素ブロック単位での画面内予測処理を前述の図５（ａ）に示す順番で行った場合のラインメモリ２０１及びＭＢメモリ２０２の更新手順の一例を示す図である。
図９及び図１０において、符号化対象のマクロブロックの位置に対して上側に隣接する画素における符号化済みの画素データを格納するラインメモリを４画素単位で分けて示す。すなわち、図９に示すように、ラインメモリ２０１ａ、ラインメモリ２０１ｂ、ラインメモリ２０１ｃ、ラインメモリ２０１ｄと分けて示す。一方、符号化対象のマクロブロックの位置に対して左側に隣接する画素における符号化済みの画素データを格納するＭＢメモリも同様に４画素単位で分けて示す。すなわち、図９に示すように、ＭＢメモリ２０２ａ、ＭＢメモリ２０２ｂ、ＭＢメモリ２０２ｃ、ＭＢメモリ２０２ｄと分けて示す。また、各メモリに示す数字は、格納されている符号化済みの画素データが属するブロック番号を示している。

まず、図９（ａ）において、画面内予測処理部１０５は、ブロック番号０の画素ブロックに対して、ラインメモリ２０１ａ及びＭＢメモリ２０２ａから読み出した符号化済みの画素データを用いて予測画像を生成する。そして、予測残差生成部１０６は、予測画像と符号化対象画像との間の予測残差信号を生成する。次に、直交変換部１０７及び量子化部１０８は予測残差信号に対してそれぞれ直交変換、量子化してエントロピー符号化部１０９及び局所復号化部１１０へ出力する。

局所復号化部１１０は、逆量子化、逆直交変換したデータを予測画像に加算して復号化する。そして、復号化されたデータのうち、画面内予測用として、下端の４画素分の画素データをラインメモリ２０１ａへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ａへ書き戻す。そして、画面の左端以外に位置する画素ブロックの場合は、ＭＢメモリ２０２ｄの１６画素目の画素データをラインメモリ２０１ｔへコピーする。ここで、ラインメモリ２０１ｔとは、左側に隣接するマクロブロックにおけるラインメモリ２０１のうち、１６画素目のデータを格納する部分に相当するものである。

次に、図９（ｂ）において、画面内予測処理部１０５は、ブロック番号１の画素ブロックに対して、ラインメモリ２０１ｂ及びＭＢメモリ２０２ａから符号化済みの画素データを読み出して予測画像を生成する。この時、ＭＢメモリ２０２ａで更新されたブロック番号０の符号化済み右端４画素分の画素データが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、下端の４画素分の画素データをラインメモリ２０１ｂへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ａへ書き戻す。

次に、図９（ｃ）において、画面内予測処理部１０５は、ブロック番号２の画素ブロックに対して、ラインメモリ２０１ａ及びＭＢメモリ２０２ｂから符号化済みの画素データを読み出して予測画像を生成する。この時、ラインメモリ２０１ａで更新されたブロック番号０の符号化済み下端４画素分の画素データが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、下端の４画素分の画素データをラインメモリ２０１ａへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ｂへ書き戻す。

次に、図９（ｄ）において、画面内予測処理部１０５は、ブロック番号３の画素ブロックに対して、ラインメモリ２０１ａ及びＭＢメモリ２０２ｂから符号化済みの画素データを読み出して予測画像を生成する。この時、ラインメモリ２０１ｂで更新されたブロック番号１の符号化済み下端４画素分の画素データと、ＭＢメモリ２０２ｂで更新されたブロック番号２の符号化済み右端４画素分の画素データとが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、下端の４画素分の画素データをラインメモリ２０１ａへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ｂへ書き戻す。

次に、図９（ｅ）において、画面内予測処理部１０５は、ブロック番号４の画素ブロックに対して、ラインメモリ２０１ｃ及びＭＢメモリ２０２ａから符号化済みの画素データを読み出して予測画像を生成する。この時、ＭＢメモリ２０２ａで更新されたブロック番号１の符号化済み右端４画素分の画素データが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、下端の４画素分の画素データをラインメモリ２０１ｃへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ａへ書き戻す。

次に、図９（ｆ）において、画面内予測処理部１０５は、ブロック番号５の画素ブロックに対して、ラインメモリ２０１ｄ及びＭＢメモリ２０２ａから符号化済みの画素データを読み出して予測画像を生成する。この時、ＭＢメモリ２０２ａで更新されたブロック番号４の符号化済み右端４画素分の画素データが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、下端の４画素分の画素データをラインメモリ２０１ｄへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ａへ書き戻す。

次に、図９（ｇ）において、画面内予測処理部１０５は、ブロック番号６の画素ブロックに対して、ラインメモリ２０１ｃ及びＭＢメモリ２０２ｂから符号化済みの画素データを読み出して予測画像を生成する。この時、ラインメモリ２０１ｃで更新されたブロック番号４の符号化済み下端４画素分の画素データと、ＭＢメモリ２０２ｂで更新されたブロック番号３の符号化済み右端４画素分の画素データとが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、下端の４画素分の画素データをラインメモリ２０１ｃへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ｂへ書き戻す。

次に、図９（ｈ）において、画面内予測処理部１０５は、ブロック番号７の画素ブロックに対して、ラインメモリ２０１ｄ及びＭＢメモリ２０２ｂから符号化済みの画素データを読み出して予測画像を生成する。この時、ラインメモリ２０１ｄで更新されたブロック番号５の符号化済み下端４画素分の画素データと、ＭＢメモリ２０２ｂで更新されたブロック番号６の符号化済み右端４画素分の画素データとが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、下端の４画素分の画素データをラインメモリ２０１ｄへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ｂへ書き戻す。

次に、図１０（ａ）において、画面内予測処理部１０５は、ブロック番号８の画素ブロックに対して、ラインメモリ２０１ａ及びＭＢメモリ２０２ｃから符号化済みの画素データを読み出して予測画像を生成する。この時、ラインメモリ２０１ａで更新されたブロック番号２の符号化済み下端４画素分の画素データが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、下端の４画素分の画素データをラインメモリ２０１ａへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ｃへ書き戻す。

次に、図１０（ｂ）において、画面内予測処理部１０５は、ブロック番号９の画素ブロックに対して、ラインメモリ２０１ｂ及びＭＢメモリ２０２ｃから符号化済みの画素データを読み出して予測画像を生成する。この時、ラインメモリ２０１ｂで更新されたブロック番号３の符号化済み下端４画素分の画素データと、ＭＢメモリ２０２ｃで更新されたブロック番号８の符号化済み右端４画素分の画素データが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、下端の４画素分の画素データをラインメモリ２０１ｂへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ｃへ書き戻す。

次に、図１０（ｃ）において、画面内予測処理部１０５は、ブロック番号１０の画素ブロックに対して、ラインメモリ２０１ａ及びＭＢメモリ２０２ｄから符号化済みの画素データを読み出して予測画像を生成する。この時、ラインメモリ２０１ａで更新されたブロック番号８の符号化済み下端４画素分の画素データが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、下端の４画素分の画素データをラインメモリ２０１ａへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ｄへ書き戻す。

次に、図１０（ｄ）において、画面内予測処理部１０５は、ブロック番号１１の画素ブロックに対して、ラインメモリ２０１ｂ及びＭＢメモリ２０２ｄから符号化済みの画素データを読み出して予測画像を生成する。この時、ラインメモリ２０１ｂで更新されたブロック番号９の符号化済み下端４画素分の画素データと、ＭＢメモリ２０２ｄで更新されたブロック番号１０の符号化済み右端４画素分の画素データとが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、下端の４画素分の画素データをラインメモリ２０１ｂへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ｄへ書き戻す。

次に、図１０（ｅ）において、画面内予測処理部１０５は、ブロック番号１２の画素ブロックに対して、ラインメモリ２０１ｃ及びＭＢメモリ２０２ｃから符号化済みの画素データを読み出して予測画像を生成する。この時、ラインメモリ２０１ｃで更新されたブロック番号６の符号化済み下端４画素分の画素データと、ＭＢメモリ２０２ｃで更新されたブロック番号９の符号化済み右端４画素分の画素データとが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、下端の４画素分の画素データをラインメモリ２０１ｃへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ｃへ書き戻す。

次に、図１０（ｆ）において、画面内予測処理部１０５は、ブロック番号１３の画素ブロックに対して、ラインメモリ２０１ｄ及びＭＢメモリ２０２ｃから符号化済みの画素データを読み出して予測画像を生成する。この時、ラインメモリ２０１ｄで更新されたブロック番号７の符号化済み下端４画素分の画素データと、ＭＢメモリ２０２ｃで更新されたブロック番号１２の符号化済み右端４画素分の画素データとが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、下端の４画素分の画素データをラインメモリ２０１ｄへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ｃへ書き戻す。

次に、図１０（ｇ）において、画面内予測処理部１０５は、ブロック番号１４の画素ブロックに対して、ラインメモリ２０１ｃ及びＭＢメモリ２０２ｄから符号化済みの画素データを読み出して予測画像を生成する。この時、ラインメモリ２０１ｃで更新されたブロック番号１２の符号化済み下端４画素分の画素データと、ＭＢメモリ２０２ｄで更新されたブロック番号１１の符号化済み右端４画素分の画素データとが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、下端の４画素分の画素データをラインメモリ２０１ｃへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ｄへ書き戻す。

最後に、図１０（ｈ）において、画面内予測処理部１０５は、ブロック番号１５の画素ブロックに対して、ラインメモリ２０１ｄ及びＭＢメモリ２０２ｄから符号化済みの画素データを読み出して予測画像を生成する。この時、ラインメモリ２０１ｄで更新されたブロック番号１３の符号化済み下端４画素分の画素データと、ＭＢメモリ２０２ｄで更新されたブロック番号１４の符号化済み右端４画素分の画素データとが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、右端を除く下端の３画素分の画素データをラインメモリ２０１ｄへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ｄへ書き戻す。なお、画素ブロックが画面の右端である場合は下端の４画素分の画素データをラインメモリ２０１ｄへ書き戻す。

ここで、画素ブロックが画面の右端でない場合、前述したように、次のマクロブロックの最初のブロック番号０の画素ブロックの処理を行った後にＭＢメモリ２０２からラインメモリ２０１へ更新される。これは、次のマクロブロックの先頭画素ブロックにおいて左上隣接画素を参照するためである。

以上のように、４×４画素ブロック単位の予測処理毎にラインメモリ２０１及びＭＢメモリ２０２を画素ブロックの位置に合わせて順次更新していくことにより、４×４画素ブロック単位の画面内予測処理を問題なく行うことができる。また、ラインメモリ２０１には、１つ下に位置するマクロブロックの画面内予測に必要な符号化済みの画素データが更新され、ＭＢメモリ２０２には、右隣のマクロブロックの画面内予測に必要な符号化済みの画素データが更新される。

図１１は、本実施形態において、８×８画素ブロック単位での画面内予測処理を前述の図５（ｂ）に示す順番で行った場合のラインメモリ２０１及びＭＢメモリ２０２の更新手順の一例を示す図である。
図１１において、符号化対象のマクロブロックの位置に対して上側に隣接する画素における符号化済みの画素データを格納するラインメモリを８画素単位で分けて示す。すなわち、図１１に示すように、ラインメモリ２０１ｅ、ラインメモリ２０１ｆと分けて示す。一方、符号化対象のマクロブロックの位置に対して左側に隣接する画素における符号化済み画素を格納するＭＢメモリを８画素単位で分けて示す。すなわち、図１１に示すように、ＭＢメモリ２０２ｅ、ＭＢメモリ２０２ｆと分けて示す。また、各メモリに示す数字は、格納されている符号化済み画素の属するブロック番号を示している。

まず、図１１（ａ）において、画面内予測処理部１０５は、ブロック番号０の画素ブロックに対して、ラインメモリ２０１ｅ及びＭＢメモリ２０２ｅから読み出した符号化済みの画素データを用いて予測画像を生成する。そして、予測残差生成部１０６は、予測画像と符号化対象画像との間の予測残差信号を生成する。次に、直交変換部１０７及び量子化部１０８は予測残差信号に対してそれぞれ直交変換、量子化してエントロピー符号化部１０９及び局所復号化部１１０へ出力する。

局所復号化部１１０は、逆量子化、逆直交変換したデータを予測画像に加算して復号化する。そして、復号化されたデータのうち、画面内予測用として、下端の８画素分の画素データをラインメモリ２０１ｅへ書き戻し、右端の８画素分の画素データをＭＢメモリ２０２ｅへ書き戻す。そして、画面の左端以外に位置する画素ブロックの場合は、ＭＢメモリ２０２ｆの１６画素目の画素データをラインメモリ２０１ｔへコピーする。ここで、ラインメモリ２０１ｔは、左側に隣接するマクロブロックにおけるラインメモリ２０１ｆのうち、１６画素目の画素データを格納する部分に相当するものである。

次に、図１１（ｂ）において、画面内予測処理部１０５は、ブロック番号１の画素ブロックに対して、ラインメモリ２０１ｆ及びＭＢメモリ２０２ｅから符号化済みの画素データを読み出して予測画像を生成する。この時、ＭＢメモリ２０２ｅで更新されたブロック番号０の符号化済み右端８画素分の画素データが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として下端の８画素分の画素データをラインメモリ２０１ｆへ書き戻し、右端の８画素分の画素データをＭＢメモリ２０２ｅへ書き戻す。

次に、図１１（ｃ）において、画面内予測処理部１０５は、ブロック番号２の画素ブロックに対して、ラインメモリ２０１ｅ及びＭＢメモリ２０２ｆから符号化済みの画素データを読み出して予測画像を生成する。この時、ラインメモリ２０１ｅで更新されたブロック番号０の符号化済み下端８画素分の画素データが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、下端の８画素分の画素データをラインメモリ２０１ｅへ書き戻し、右端の８画素分の画素データをＭＢメモリ２０２ｆへ書き戻す。

最後に、図１１（ｄ）において、画面内予測処理部１０５は、ブロック番号３の画素ブロックに対して、ラインメモリ２０１ｆ及びＭＢメモリ２０２ｆから符号化済みの画素データを読み出して予測画像を生成する。この時、ラインメモリ２０１ｆで更新されたブロック番号１の符号化済み下端８画素分の画素データと、ＭＢメモリ２０２ｆで更新されたブロック番号２の符号化済み右端８画素分の画素データとが予測処理に利用されている。そして、前述した手順と同様に復号化されたデータのうち、画面内予測用として、右端を除く下端の７画素分の画素データをラインメモリ２０１ｆへ書き戻し、右端の８画素分の画素データをＭＢメモリ２０２ｆへ書き戻す。なお、画素ブロックが画面の右端である場合は下端の８画素分の画素データをラインメモリ２０１ｆへ書き戻す。

ここで、画素ブロックが画面の右端でない場合、前述したように、次のマクロブロックの最初のブロック番号０の画素ブロックの処理を行った後にＭＢメモリ２０２からラインメモリ２０１へ更新される。これは、４×４画素ブロック単位の場合と同様に、次のマクロブロックの先頭画素ブロックにおいて左上隣接画素を参照するためである。

以上のように、８×８画素ブロック単位の予測処理毎にラインメモリ２０１及びＭＢメモリ２０２を画素ブロックの位置に合わせて順次更新していくことにより、８×８画素ブロック単位の画面内予測処理を問題なく行うことができる。また、ラインメモリ２０１には、１つ下に位置するマクロブロックの画面内予測に必要な符号化済みの画素データが更新され、ＭＢメモリ２０２には、右隣のマクロブロックの画面内予測に必要な符号化済みの画素データが更新される。

図１２は、本実施形態において、１６×１６画素ブロック単位での画面内予測処理を行った場合のラインメモリ及びＭＢメモリの更新手順の一例を示す図である。
図１２において、符号化対象のマクロブロックの位置に対して、上側に隣接する画素における符号化済みの画素データを格納するラインメモリ２０１を１６画素単位のラインメモリ２０１ｇで示す。一方、符号化対象のマクロブロックの位置に対して左側に隣接する画素における符号化済みの画素データを格納するＭＢメモリ２０２を１６画素単位のＭＢメモリ２０２ｇで示す。

図１２において、画面内予測処理部１０５は、ブロック番号０の画素ブロック（即ちマクロブロック）に対して、ラインメモリ２０１ｇ及びＭＢメモリ２０２ｇから読み出した符号化済みの画素データを用いて予測画像を生成する。そして、予測残差生成部１０６は、予測画像と符号化対象画像との間の予測残差信号を生成する。次に、直交変換部１０７及び量子化部１０８は予測残差信号に対してそれぞれ直交変換、量子化してエントロピー符号化部１０９及び局所復号化部１１０へ出力する。

局所復号化部１１０は、逆量子化、逆直交変換したデータを予測画像に加算して復号化する。そして、復号化されたデータのうち、画面内予測用として、下端の１５画素分の画素データをラインメモリ２０１ｇへ書き戻し、右端の１６画素分の画素データをＭＢメモリ２０２ｇへ書き戻す。なお、マクロブロックが画面の右端である場合は下端の１６画素分の画素データをラインメモリ２０１ｇへ書き戻す。

ここで、マクロブロックが画面の右端でない場合、前述したように、次のマクロブロックの処理を行った後にＭＢメモリ２０２からラインメモリ２０１へ更新される。また、画面の左端以外に位置するマクロブロックの場合は、ＭＢメモリ２０２ｇの１６画素目の画素データをラインメモリ２０１ｔへコピーする。

以上のように、１６×１６画素ブロックの場合でも、ラインメモリ２０１及びＭＢメモリ２０２の更新が行われる。ラインメモリ２０１には、１つ下に位置するマクロブロックの画面内予測に必要な符号化済みの画素データが更新され、ＭＢメモリ２０２には、右隣のマクロブロックの画面内予測に必要な符号化済みの画素データが更新される。また、色差信号における８×８画素ブロックの場合は、輝度信号における１６×１６画素ブロックに対して画素数に違いがあるだけであり、同様の処理手順により実現できる。

以上のように本実施形態では、第１のメモリ１０２は、画面の水平方向１ライン分の画素データを保持するラインメモリ２０１と、マクロブロックにおける垂直方向１ライン分に相当する１６画素分の画素データを保持するＭＢメモリ２０２とを有するようにした。そして、画面内予測において、何れの画素ブロックサイズであっても画面１ライン分のメモリとマクロブロックの垂直１６画素分といった限られたメモリを前述した手順で更新するようにした。これにより、輝度信号における４×４画素ブロック、８×８画素ブロック、１６×１６画素ブロック、又は色差信号における８×８画素ブロックのいずれの場合であっても画面内予測処理が高速に行うことができる。

なお、本実施形態においては、ブロック番号０が左上隣接画素を参照するために、ブロック番号０の画素ブロックの画面内予測を行った後に、ＭＢメモリ２０２の１６画素目の画素データをラインメモリ２０１ｔへコピーした。なお、図９〜図１１の説明では省略したが、輝度信号における４×４画素ブロック、及び８×８画素ブロックでは、ブロック番号１以降であっても左上隣接画素を参照する可能性がある。

例えば、図９（ｄ）において、ブロック番号３の画素ブロックの画面内予測を行う際に、左上隣接画素（ブロック番号０の画素ブロックにおける右下画素）に相当する画素データがラインメモリ２０１ａ、ＭＢメモリ２０２ａの何れにも格納されていない。そこで、符号化済みの左上隣接画素に相当する画素データについては、別途、第１のメモリ１０２内に格納領域を設けるようにする。この場合、参照画素として用いられた段階で消去し、必要最小限にメモリ容量を確保する。

また、ブロック番号によっては、ブロック番号０の画素ブロックの画面内予測を行った後に、ＭＢメモリ２０２の１６画素目の画素データをラインメモリ２０１ｔへコピーする手順と同様に左上隣接画素を確保してもよい。例えば、図９（ａ）において、ブロック番号０の画面内予測を行った後に、画面内予測用として、右端を除く下端の３画素分の画素データをラインメモリ２０１ａへ書き戻し、右端の４画素分の画素データをＭＢメモリ２０２ａへ書き戻す。そして、ブロック番号１の画素ブロックの画面内予測が行われた後に、ＭＢメモリ２０２ａの４画素目の画素データをラインメモリ２０１ａにコピーするようにしてもよい。

（本発明に係る他の実施形態）
前述した本発明の実施形態における映像符号化装置を構成する各手段、並びに映像符号化方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態に係る映像符号化装置の内部構成例を示すブロック図である。本発明の実施形態の第１のメモリの構成例を示す図である。ピクチャ内の画面内予測の処理対象マクロブロックを示す図である。ＭＰＥＧ−４ＡＶＣ方式における参照する符号化済み画素の位置を示す図である。マクロブロック内における予測を行う画素ブロックの順序を示す図である。輝度信号における４×４画素ブロック単位の予測モードを示す図である。輝度信号における１６×１６画素ブロック単位の予測モードを示す図である。色差信号における８×８画素ブロック単位の予測モードを示す図である。本発明の実施形態において、４×４画素ブロック単位での画面内予測処理を、図５に示す順番で符号化を行った場合のラインメモリ及びＭＢメモリの更新手順（上側）の一例を示す図である。本発明の実施形態において、４×４画素ブロック単位での画面内予測処理を図５に示す順番で行った場合のラインメモリ及びＭＢメモリの更新手順（下側）の一例を示す図である。本発明の実施形態において、８×８画素ブロック単位での画面内予測処理を図５に示す順番で行った場合のラインメモリ及びＭＢメモリの更新手順の一例を示す図である。本発明の実施形態において、１６×１６画素ブロック単位で画面内予測処理を行った場合のラインメモリ及びＭＢメモリの更新手順の一例を示す図である。

符号の説明

１００映像符号化装置
１０１予測方法決定部
１０２第１のメモリ
１０３第２のメモリ
１０４画面間予測処理部
１０５画面内予測処理部
１０６予測残差生成部
１０７直交変換部
１０８量子化部
１０９エントロピー符号化部
１１０局所復号化部
１１１デブロッキングフィルタ処理部
２０１ラインメモリ
２０２ＭＢメモリ

Claims

動画像を構成する複数の画面をマクロブロックの単位に分割して符号化を行う映像符号化装置であって、
前記マクロブロックと同一のサイズ、又は前記マクロブロックよりも小さい画素ブロックの単位で、メモリに格納されている隣接画素データを用いて画面内予測により符号化対象の画素ブロックの符号化を行う画面内予測符号化手段と、
前記画面内予測符号化手段により符号化されたデータを前記画素ブロックの単位に復号化する復号化手段と、
前記復号化手段により復号化された画素ブロックのデータの一部を前記メモリに格納する記憶手段とを備え、
前記メモリは、少なくとも前記画面の水平方向１ライン分の画素データを記憶する第１の記憶領域と、前記マクロブロックの垂直方向１ライン分の画素データを記憶する第２の記憶領域とを有し、
前記記憶手段は、画素ブロックごとに、前記復号化手段により復号化された画素ブロックの下端の水平方向１ライン分の画素データを前記第１の記憶領域に格納して更新するとともに、前記復号化された画素ブロックの右端の垂直方向１ライン分の画素データを前記第２の記憶領域に格納して更新することを特徴とする映像符号化装置。
前記記憶手段は、前記復号化手段により復号化された画素ブロックの下端の水平方向１ライン分の画素データのうち、右端の位置に相当する画素データを、右隣のマクロブロックで最初に画面内予測を行う画素ブロックの画面内予測処理を行った後に前記第１の記憶領域に格納することを特徴とする請求項１に記載の映像符号化装置。
前記記憶手段は、前記第２の記憶領域に格納した右端の垂直方向１ライン分の画素データのうち、下端の位置に相当する画素データをコピーすることにより、前記右端の位置に相当する画素データを前記第１の記憶領域に格納することを特徴とする請求項２に記載の映像符号化装置。
前記マクロブロックは、１６×１６画素ブロックであり、前記マクロブロックよりも小さい画素ブロックは、８×８画素ブロック、又は４×４画素ブロックであることを特徴とする請求項１〜３の何れか１項に記載の映像符号化装置。
動画像を構成する複数の画面をマクロブロックの単位に分割して符号化を行う映像符号化方法であって、
前記マクロブロックと同一のサイズ、又は前記マクロブロックよりも小さい画素ブロックの単位で、少なくとも前記画面の水平方向１ライン分の画素データを記憶する第１の記憶領域と、前記マクロブロックの垂直方向１ライン分の画素データを記憶する第２の記憶領域とを有するメモリに格納されている隣接画素データを用いて画面内予測により符号化対象の画素ブロックの符号化を行う画面内予測符号化工程と、
前記画面内予測符号化工程において符号化したデータを前記画素ブロックの単位に復号化する復号化工程と、
前記復号化工程において復号化した画素ブロックのデータの一部を前記メモリに格納する記憶工程とを備え、
前記記憶工程においては、画素ブロックごとに、前記復号化工程において復号化した画素ブロックの下端の水平方向１ライン分の画素データを前記第１の記憶領域に格納して更新するとともに、前記復号化した画素ブロックの右端の垂直方向１ライン分の画素データを前記第２の記憶領域に格納して更新することを特徴とする映像符号化方法。
前記記憶工程においては、前記復号化工程において復号化した画素ブロックの下端の水平方向１ライン分の画素データのうち、右端の位置に相当する画素データを、右隣のマクロブロックで最初に画面内予測を行う画素ブロックの画面内予測処理を行った後に前記第１の記憶領域に格納することを特徴とする請求項５に記載の映像符号化方法。
前記記憶工程においては、前記第２の記憶領域に格納した右端の垂直方向１ライン分の画素データのうち、下端の位置に相当する画素データをコピーすることにより、前記右端の位置に相当する画素データを前記第１の記憶領域に格納することを特徴とする請求項６に記載の映像符号化方法。
前記マクロブロックは、１６×１６画素ブロックであり、前記マクロブロックよりも小さい画素ブロックは、８×８画素ブロック、又は４×４画素ブロックであることを特徴とする請求項５〜７の何れか１項に記載の映像符号化方法。
動画像を構成する複数の画面をマクロブロックの単位に分割して符号化を行う映像符号化装置においてコンピュータに実行させるプログラムであって、
前記マクロブロックと同一のサイズ、又は前記マクロブロックよりも小さい画素ブロックの単位で、少なくとも前記画面の水平方向１ライン分の画素データを記憶する第１の記憶領域と、前記マクロブロックの垂直方向１ライン分の画素データを記憶する第２の記憶領域とを有するメモリに格納されている隣接画素データを用いて画面内予測により符号化対象の画素ブロックの符号化を行う画面内予測符号化工程と、
前記画面内予測符号化工程において符号化したデータを前記画素ブロックの単位に復号化する復号化工程と、
前記復号化工程において復号化した画素ブロックのデータの一部を前記メモリに格納する記憶工程とをコンピュータに実行させ、
前記記憶工程においては、画素ブロックごとに、前記復号化工程において復号化した画素ブロックの下端の水平方向１ライン分の画素データを前記第１の記憶領域に格納して更新するとともに、前記復号化した画素ブロックの右端の垂直方向１ライン分の画素データを前記第２の記憶領域に格納して更新するようにコンピュータに実行させることを特徴とするプログラム。
請求項９に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。