JP2004023606A - 画像符号化装置および画像符号化方法 - Google Patents

Abstract

【課題】複数の画像を組み合わせにより構成される符号化対象画像を構成する画像を符号化処理する際、符号化処理により発生する符号量を目標とする符号量に抑えつつ、十分な画質の復号画像を得る。
【解決手段】符号化対象画像を構成する各画像が直前の符号化対象画像を構成する各画像と異なる場合のみ、スイッチ部２２が（ａ）側に切り替わり、マクロブロック単位の符号化対象画像５がフィルタ処理部２３へ出力される。フィルタ処理部２３では、入力するマクロブロック単位の符号化対象画像５に対して低周波成分を通過させ、高周波成分を遮断するようなフィルタ処理を行う。このため、直前の符号化対象画像を構成する各画像と異なる入力画像の領域においては符号量の増大を招く高周波成分を少なくすることが可能となるので、当該領域の画像の符号量を抑えることが可能となる。
【選択図】　　　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法に関し、特に、多地点ＴＶ会議制御装置（ＭＣＵ：Ｍｕｌｔｉｐｏｉｎｔ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）等に含まれる画像符号化装置およびその画像符号化方法に関するもので、複数の画像データの組み合わせにより構成される符号化対象画像を作成するとともに、または前記符号化対象画像の一部に加工を施した符号化対象画像を作成するとともに、前記符号化対象画像の特徴量を示す情報を作成し、前記符号化対象画像の特徴量を示す情報に基づき画像符号化処理を行う画像符号化装置および画像符号化方法に関するものである。
【０００２】
【従来の技術】
入力画像の符号化処理は、マクロブロック（１６画素×１６ライン）単位に行われ、画面上にて左から右へ、または上から下の順番に符号化処理される。入力されたマクロブロック画像データと、参照画像から動き補償処理によって得られるマクロブロック画像データとの差分をとり予測誤差信号が得られる。この予測誤差信号は、８画素×８ラインのブロック単位にてＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）処理により空間周波数領域に変換される。その際、変換された係数が、低周波領域に集中して発生すればするほど符号化効率は良くなる。変換後の８×８ＤＣＴ係数は量子化処理され、量子化ＤＣＴ係数はそれぞれ可変長符号により符号化される。したがって、発生符号量は可変となるため、発生した符号量を監視し、目標の符号量に合わせた量子化制御を行う。
【０００３】
量子化制御の従来例として、ＩＴＵ−Ｔ　ＳＧ１５　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　ｏｎ　Ｖｅｒｙ　Ｌｏｗ　ＢｉｔｒａｔｅＶｉｓｕａｌ　Ｔｅｌｅｐｈｏｎｙ　に記載されるＴＭＮ６がある。ＴＭＮ６は、符号化対象マクロブロックを符号化処理するまでに発生した符号量と目標とする符号量とに基づき、量子化ステップを求め、求めた量子化ステップと直前に処理したマクロブロックの量子化ステップとの差分値を考慮しつつ量子化スケールが±２の範囲におさまるようフィッティングして、量子化ステップを決定する。
【０００４】
また、動き補償処理の従来例としては、ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１　Ｎ３９０８（タイトル：ＭＰＥＧ−４ビデオ　Ｖｅｒｉｆｉｃａｔｉｏｎ　Ｍｏｄｅｌ　ｖｅｒｓｉｏｎ　１８．０）　３．３．２．２章に記載ものがある。ＭＰＥＧ−４ビデオでは、マクロブロック単位に行う動き補償（以下ＭＶモードと記載）に加え、ブロック単位に行う動き補償（以下４ＭＶモードと記載）がある。４ＭＶモードは、マクロブロックを構成する４つの輝度成分のブロックに対して、それぞれの動きベクトルを用いて予測信号を動き補償することが可能となるものである。参考文献では、まず整数画素単位でＭＶモードの動き補償を行い動きベクトルを求め、次にマクロブロックの動きベクトルを中心に、水平方向／垂直方向ともに±２画素の検索範囲内にて４ＭＶモードにおける動きベクトルを求めた後、両者の誤差量を比較し、誤差の小さい方を最適モードとして選択している。
【０００５】
【発明が解決しようとする課題】
しかし、上述の従来の技術では、複数の画像を組み合わせることにより構成される画像を符号化対象画像とした場合、組み合わされている複数の画像のうちある画像が別の画像に切り替わった際には、その切り替わった新たな画像の符号化処理の負担が大きくなるため、切り替わった画面の符号化処理にて多くの符号量が発生してしまう。その結果、１枚の符号化対象画像に割り当てる符号量が決まっている場合、切り替わっていない他の領域の画像の符号化処理について十分な符号量を割り当てることができなくなるため、十分な画質を得られない、という問題点があった。例えば、４つの画像を組み合わせてそれぞれ４つの領域に表示しているときに、１つの領域の画像が急に新たな別の画像に切り替わった場合には、その画面の符号化処理に要した符号量が一時的に多くなるため、一時的に他の３つの領域の画像の品質が落ちることが考えられる。
【０００６】
また、上述の従来の技術では、複数の画像を組み合わせることにより構成される画像を符号化対象画像とした場合、組み合わされている画像の位置情報に基づく動き補償処理の制御を行っていないため、組み合わされている画像の境界が符号化処理単位であるマクロブロック等の境界と一致しない場合、組み合わされている画像と画像の境界を含むマクロブロック上に符号化ノイズが発生することがあり、十分な画質を得られない、という問題点もある。
【０００７】
さらに、上述の従来の技術では、複数の画像を組み合わせることにより構成される画像を符号化対象画像とした場合、組み合わされている画像の位置情報に基づく符号化制御を行っていないため、符号化対象画像が動きの少ない画像（静止画像も含む）と、動きの多い画像とから構成されている場合、動きの大きな画像の領域にて多くの符号量が発生してしまうため、静止画像や動きの少ない画像の領域に対しては、粗い量子化処理が施されてしまう。その結果、（静止画像や動きの少ない画像の領域において、十分な画質を得られない、という問題点があった。
【０００８】
そこで、本発明は、前記した従来技術の問題点を除去し、複数の画像を組み合わせにより構成される符号化対象画像を符号化するにあたり、符号化対象画像を構成する画像の特徴に基づき符号化処理を行うことより、符号化処理により発生する符号量を目標とする符号量に抑えつつ、十分な画質である復号画像を得られるような符号化ビットストリームを出力する画像符号化装置および画像符号化方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明では、複数の画像と、前記複数の画像のうちどの画像を符号化対象画像とするのかを示す符号化対象画像構成情報とを入力し、符号化対象画像構成情報に基づき複数の画像より構成される符号化対象画像を作成し、前記符号化対象画像と、前記符号化対象画像の特徴を示す符号化補助情報とを出力する前処理部と、前記符号化対象画像と前記符号化補助情報とを入力し、前記符号化補助情報に基づき符号化対象画像を構成する各画像の符号化処理を行う画像符号化処理部と、を有する画像符号化装置であることを特徴とする。
【００１０】
特に、前記符号化補助情報は、前記符号化対象画像の特徴として、前記符号化対象画像構成情報と、前記符号化対象画像構成情報の時間的に直前に入力された符号化対象画像構成情報との差異を示しており、前記画像符号化処理部は、前記符号化補助情報に基づき符号化対象画像を構成する各画像の符号量を制御して符号化処理を行う画像符号化装置であることを特徴とする。
【００１１】
また、前記画像符号化処理部は、前記符号化補助情報が、前記符号化対象画像構成情報と前記符号化対象画像構成情報の時間的に直前に入力された符号化対象画像構成情報との間に差異があることを意味する場合、符号化対象画像を構成する画像のうち差異のある画像に対しフィルタ処理を施すことにより符号化対象画像を構成する各画像の符号量を制御して符号化処理を行う画像符号化装置であることを特徴とする。
【００１２】
また、前記画像符号化処理部は、前記符号化補助情報に基づき、符号化対象画像を構成する画像のうちどの画像に差異があるのかを判断し、差異のある画像と、差異のない画像とに対し異なる量子化ステップを設定することにより符号化対象画像を構成する各画像の符号量を制御して符号化処理を行う画像符号化装置であることを特徴とする。
【００１３】
また、前記画像符号化処理部は、さらに、差異のある画像と差異のない画像とに対し異なる符号化モードを設定することにより符号化対象画像を構成する各画像の符号量を制御して符号化処理を行う画像符号化装置であることを特徴とする。
【００１４】
また、前記符号化補助情報は、前記符号化対象画像の特徴として、符号化対象画像を構成する画像と画像との境界が符号化対象画像上のどの位置にあるのかを示しており、前記画像符号化処理部は、前記符号化補助情報に基づき符号化対象画像を構成する各画像の符号化処理を行う画像符号化装置であることを特徴とする。
【００１５】
特に、前記画像符号化処理部は、前記符号化補助情報に基づき、符号化対象画像を構成する画像と画像との境界を含む符号化処理単位と、当該境界を含まない符号化処理単位とを識別し、当該境界を含む符号化処理単位と、当該境界を含まない符号化処理単位とにおいて異なる動き補償処理の制御を行うことにより符号化対象画像を構成する各画像の符号化処理を行う画像符号化装置であることを特徴とする。
【００１６】
また、前記符号化補助情報は、前記符号化対象画像の特徴として、符号化対象画像を構成する複数の画像のうち、どの画像が動きの少ない画像であり、どの画像が動きの多い画像であるかを示しており、前記画像符号化処理部は、前記画像符号化補助情報に基づき符号化対象画像を構成する各画像の符号量を制御して符号化処理を行う画像符号化装置であることを特徴とする。
【００１７】
また、前記画像符号化処理部は、前記符号化補助情報に基づき、符号化対象画像に含まれる動きの少ない画像と、動きの多い画像とにおいて異なる量子化ステップを設定することにより符号化対象画像を構成する各画像の符号量を制御して符号化処理を行う画像符号化装置であることを特徴とする。
【００１８】
また、前記画像符号化処理部は、前記符号化補助情報が符号化対象画像を構成する画像と画像の境界を含むことを意味する場合、当該境界を含む符号化処理単位に対してフィルタ処理を施すことにより符号化対象画像を構成する各画像の符号量を制御して符号化処理を行う画像符号化装置であることを特徴とする。
【００１９】
また、本発明は、複数の画像より構成される符号化対象画像と、その符号化対象画像の特徴を示す符号化補助情報とを入力し、前記符号化補助情報に基づき符号化対象画像を構成する各画像の符号化処理を行う画像符号化処理部を有する画像符号化装置であることを特徴とする。
【００２０】
また、本発明は、複数の画像より構成される符号化対象画像と、その符号化対象画像の特徴を示す符号化補助情報とを入力し、前記符号化補助情報に基づき符号化対象画像を構成する各画像の符号化処理を行う画像符号化方法であることを特徴とする。
【００２１】
【発明の実施の形態】
実施の形態１．
本実施の形態１は、符号化対象画像構成情報に基づき選択された複数の画像を入力とし、これらを組み合わせることにより作成される符号化対象画像を出力するとともに、符号化対象画像を構成する各画像が、直前の符号化対象画像を構成する各画像と異なるか否かを判断し、判断した結果を符号化補助情報として出力する前処理部と、前記補助情報に基づき前記符号化対象画像の符号化処理を行う画像符号化処理部より構成される画像符号化装置の構成の一例を示すものである。
【００２２】
図１は、本実施の形態１に係る前処理部の構成を示した図である。図において、１は符号化対象画像構成情報、２ａ〜２ｄは入力画像、３ａ〜３ｄはスイッチ、４は符号化対象画像作成部、５は符号化対象画像、９は符号化補助情報作成部、１０は符号化補助情報、２０は画面構成記憶部、２１は直前の符号化対象画像の構成を示す符号化対象画像構成情報である。
【００２３】
図２は、本実施の形態１に係る画像符号化処理部の構成を示した図である。図において、５は符号化対象画像、６は差分器、１０は符号化補助情報、１１は動き補償処理部、１２は直交変換／量子化処理部、１５はＶＬＣ処理部、１６は逆直交変換／逆量子化処理部、１７は復号画像記憶部、２２はスイッチ部、２３はフィルタ処理部、２４はフィルタ処理が施された符号化対象画像である。
【００２４】
次に本実施の形態１に係る前処理部の動作を説明する。
まず、符号化対象画像構成情報１が図１に示すように構成された前処理部に入力される。符号化対象画像構成情報１は、符号化対象画像を構成する入力画像を指定するものである。例えば、符号化対象画像構成情報１が「ａとｃ」を示す場合、スイッチ３ａとスイッチ３ｃがオンになることより、スイッチ３ａとスイッチ３ｃに入力される入力画像２ａと２ｃのみが符号化対象画像作成部４へ出力されて、符号化対象画像作成部４にて入力画像２ａ，２ｃにより図３に示すような形に組合されて符号化対象画像が作成される。勿論、符号化対象画像構成情報１が「ａ，ｂ，ｃ，ｄ」全てを示す場合は、符号化対象画像は４画面になる。
【００２５】
なお、本実施の形態１に係る符号化対象画像構成情報１では、「ａとｂ」から「ａとｃ」に切り替わったと仮定して説明を行うものとする。
【００２６】
スイッチ３ａ〜３ｄでは、符号化対象画像構成情報１に基づき入力画像２ａ〜２ｄの制御が行われる。ここでは、符号化対象画像構成情報１が「ａとｂ」から「ａとｃ」に切り替わったので、入力画像２ａ、２ｃに対応するスイッチ３ａ、３ｃはオン、入力画像２ｂ、２ｄに対応するスイッチ３ｂ、３ｄはオフの状態となる。従って，入力画像２ａと入力画像２ｃが、符号化対象画像作成部４に入力されることになる。
【００２７】
符号化対象画像作成部４は、入力画像２ａと入力画像２ｃとを、図３に示すような形に組合せることにより符号化対象画像を作成し、作成した符号化対象画像を保持する。
【００２８】
符号化補助情報作成部９は、入力される符号化対象画像構成情報１と、画面構成記憶部２０に保持されている直前の符号化対象画像の構成を示す符号化対象画像構成情報２１とに基づき、符号化対象画像の構成の変化に関する有無を調べる。調べた結果、変化があった場合は「１」、変化がなかった場合は「０」を、符号化の単位であるマクロブロック単位に符号化補助情報として割り当てるものとする。
【００２９】
ここで、本実施の形態１では、符号化対象画像構成情報１が、「ａとｂ」から「ａとｃ」に切り替わったと仮定しているため、符号化補助情報作成部９にて作成される画像の切り替えを示す情報の符号化補助情報１０は、図４に示すようなものとなる。具体的には、入力画像２ａの方は符号化対象画像としては変化がなかったので、そのマクロブロック単位を構成する各画素に符号化補助情報として変化がなかったことを示す「０」がマクロブロック単位にセットされる一方、入力画像２ｃの方は入力画像２ｂから変化があったので、そのマクロブロック単位を構成する各画素に符号化補助情報として変化があったことを示す「１」がマクロブロック単位にセットされる。
【００３０】
上記のように符号化補助情報１０を作成した後、入力される符号化対象画像構成情報１を画面構成記憶部２０へ出力する。画面構成記憶部２０では、次の符号化対象画像構成情報１と比較をするため、入力される符号化対象画像構成情報１を保持する。
【００３１】
次に本実施の形態１に係る画像符号化処理部の動作を説明する。なお、ここに記載する画像符号化処理は、符号化単位であるマクロブロック単位にて行うものとするが、マクロブロック単位に限定する必要はなく、画素単位でも、任意のブロック単位に行うようにしても勿論良い。
【００３２】
まず、図２に示すように、画像符号化処理部では、スイッチ部２２は、符号化対象となるマクロブロック単位の符号化対象画像５と、該マクロブロックに対応する符号化補助情報１０とを入力し、符号化補助情報１０に基づき、スイッチング処理を行う。具体的には、符号化補助情報１０が「１」を示す場合は（ａ）側へ、符号化補助情報１０が「０」を示す場合は（ｂ）側へスイッチング処理を行うものとする。
【００３３】
フィルタ処理部２３では、入力されるマクロブロック単位の符号化対象画像５に対して、低周波成分を通過させ、高周波成分を遮断するようなフィルタ処理を行う。フィルタ処理は、マクロブロック全域に対して、垂直方向、水平方向ともに行われるものとする。フィルタ処理が施されたマクロブロック単位の符号化対象画像２４は、差分器６に入力され、差分器６にて動き補償処理部１１より出力される予測画像との差分画像が算出された後、算出された差分画像は直交変換／量子化処理部１２へ出力される。また、スイッチ部２２にて（ｂ）側へスイッチング処理がなされた場合は、符号化単位であるマクロブロック単位の符号化対象画像５５が差分器６に入力され、差分器６にて動き補償処理部１１より出力される予測画像との差分画像が算出された後、算出された差分画像は直交変換／量子化処理部１２へ出力される。
【００３４】
直交変換／量子化処理部１２では、入力される差分画像に対してＤＣＴのような直交変換処理を行った後に量子化処理を行い、処理後の係数データをＶＬＣ処理部１５と逆直交変換／逆量子化処理部１６へ出力する。
【００３５】
ＶＬＣ処理部１５では、前記係数データに対して可変長符号化処理を行うとともに、同期信号等の付加情報を所望の位置に格納してビットストリームを作成し、作成したビットストリームと、該マクロブロックの符号化処理に要した符号量とを出力する。
【００３６】
逆直交変換／逆量子化処理部１６では、逆量子化処理と逆直交変換処理を行うことにより復号画像を作成し、作成した復号画像を復号画像記憶部１７へ出力する。
【００３７】
復号画像記憶部１７では、マクロブロック単位にて入力される復号画像を保持し、１フレーム分の復号画像を記憶する。記憶された１フレーム分の復号画像は、次のフレームの符号化処理を行う際に使用される。
【００３８】
動き補償処理部１１は、復号画像記憶部１７より復号画像を読出し、読出した復号画像と符号化対象画像５とのマッチング処理をマクロブロック単位に行い、マッチング度の高いマクロブロックを予測画像として出力する。
【００３９】
以上のように、本実施の形態１によれば、符号化対象画像を構成する各画像が、直前の符号化対象画像を構成する各画像と異なるか否かを判断し、ある画像が異なる、すなわちある画像が新たに切り替わった場合には、当該新たに切り替わった画像にフィルタ処理を施すよう構成したため、直前の符号化対象画像の構成と異なる入力画像の領域においては符号量の増大を招く高周波成分を少なくすることができる。その結果、新たに切り替わった領域の画像の符号量を抑えることが可能となる。その結果、当該領域以外の切り替わりのない画像に対しては十分な符号量を割り当てることが可能となり、十分な画質を得られるという効果がある。
【００４０】
実施の形態２．
本実施の形態２は、符号化対象画像構成情報に基づき選択された複数の画像を入力とし、これらを組み合わせることにより作成される符号化対象画像を出力するとともに、符号化対象画像を構成する各画像が、直前の符号化対象画像を構成する各画像と異なるか否かを判断し、判断した結果を符号化補助情報として出力する前処理部と、前記補助情報に基づき前記符号化対象画像の符号化処理を行う画像符号化処理部より構成される画像符号化装置の構成の一例を示すものである。
【００４１】
本実施の形態２における前処理部は、実施の形態１に示した前処理部を同様であるため、前処理部の構成、及び動作の説明を省略する。
【００４２】
図５は、本実施の形態２に係る画像符号化処理部の構成を示した図である。図において、５は符号化対象画像、６は差分器、１０は符号化補助情報、１１は動き補償処理部、１２は直交変換／量子化処理部、１３は量子化ステップ決定部、１４は量子化ステップ、１５はＶＬＣ処理部、１６は逆直交変換／逆量子化処理部、１７は復号画像記憶部である。
【００４３】
次に本実施の形態２に係る画像符号化処理部の動作を説明する。なお、実施の形態１の場合と同様に、ここに記載する画像符号化処理は、符号化単位であるマクロブロック単位にて行うものとして説明するが、マクロブロック単位に限定する必要はなく、画素単位でも、任意のブロック単位に行うようにしても勿論良い。
【００４４】
符号化対象画像５は、マクロブロック単位にて差分器６に入力され、動き補償処理部１１より出力される予測画像との差分画像を算出した後、算出した差分画像を直交変換／量子化処理部１２へ出力する。
【００４５】
量子化ステップ決定部１３では、符号化対象となっているマクロブロックに対応した符号化補助情報１０が入力され、符号化補助情報１０に基づき量子化ステップを決定し、決定した量子化ステップを量子化パラメタ１４として直交変換／量子化処理部１２へ出力する。
【００４６】
例えば、切り替え前は図４（ａ）に示すような入力画像２ａ，２ｂが、図４（ｂ）に示すように入力画像２ａ，２ｃに切り替わった場合には、図４（ｃ）に示すように入力画像２ａのマクロブロックには符号化補助情報１０として「０」が設定される一方、入力画像２ｃのマクロブロックには符号化補助情報１０として「１」が設定される。
【００４７】
このため、量子化ステップ決定部１３では、マクロブロックに対応する符号化補助情報１０が「１」の場合、入力画像が切り替わったことを示しているため、直前のマクロブロックの量子化ステップとは関係なく、情報量が小さくなるように常に大きな値の量子化ステップを当該マクロブロックにおける量子化ステップ１４として出力するものとする。
【００４８】
これに対し、例えば符号化補助情報１０が「０」の場合は、従来の技術にて記載したような発生した符号量に基づき量子化ステップを決定し、量子化ステップ１４を出力するものとする。
【００４９】
直交変換／量子化処理部１２では、入力される差分画像に対してＤＣＴのような直交変換処理を行った後、量子化ステップ１４を用いて量子化処理を行い、処理後の係数データをＶＬＣ処理部１５と逆直交変換／逆量子化処理部１６とへ出力する。
【００５０】
ＶＬＣ処理部１５では、前記係数データに対して可変長符号化処理を行うとともに、同期信号等の付加情報を所望の位置に格納してビットストリームを作成し、作成したビットストリームと、該マクロブロックの符号化処理に要した符号量とを出力する。
【００５１】
ここで、ＩＳＯ／ＩＥＣ　１４４９６−２：１９９９ＦＤＲＡＭ　１：２０００（Ｅ）記載のＭＰＥＧ−４ビデオ符号化方式では、マクロブロック間における量子化スケールは±２の範囲にてのみ更新することができるという制限がある。
【００５２】
このため、量子化ステップ決定部１３にて、直前のマクロブロックに対する量子化ステップとは関係なく、符号化補助情報１０に基づき量子化ステップ１４を決定する場合があるため、マクロブロック間における量子化スケールが±２を超えてしまう可能性がある。
【００５３】
これを防止するため、本実施の形態２のＶＬＣ処理部１５では、ＩＳＯ／ＩＥＣ　１４４９６−２：１９９９ＦＤＲＡＭ　１：２０００（Ｅ）記載のＭＰＥＧ−４ビデオ符号化方式を採用する場合には、該マクロブロックと、直前のマクロブロックに対応する符号化補助情報１０とを入力し、直前のマクロブロックに対応する符号化補助情報１０が「０」の値を示し、該マクロブロックに対応する符号化補助情報１０が「１」の値を示した場合、リシンクマーカ−と呼ばれる同期信号をビットストリームに付加するものとする。リシンクマーカ−を挿入すれば、リシンクマーカ−の前後にあるマクロブロック間における量子化ステップの制限がなくなるため、ＭＰＥＧ−４ビデオのシンタクスに適合したビットストリームを作成し、出力することが可能となる。
【００５４】
さて、逆直交変換／逆量子化処理部１６では、逆量子化処理と逆直交変換処理とを行うことにより復号画像を作成し、作成した復号画像を復号画像記憶部１７へ出力する。
【００５５】
復号画像記憶部１７では、マクロブロック単位にて入力される復号画像を保持し、１フレーム分の復号画像を記憶する。記憶された１フレーム分の復号画像は、次のフレームの符号化処理を行う際に使用される。
【００５６】
動き補償処理部１１は、復号画像記憶部１７より復号画像を読出し、読出した復号画像と符号化対象画像５とのマッチング処理をマクロブロック単位に行い、マッチング度の高いマクロブロックを予測画像として出力する。
【００５７】
以上のように、本実施の形態２によれば、符号化対象画像を構成する各画像が、直前の符号化対象画像を構成する各画像と異なるか否かを判断し、その判断結果に基づき各画像毎に量子化ステップを設定するように構成したため、新たな画像に切り替わった入力画像の領域においては粗い量子化処理を施すことが可能となるため、当該画像が新たに切り替わった領域の画像の符号量を抑えることが可能となる。その結果、当該領域以外の領域の画像に対して十分な符号量を割り当てることが可能となり、十分な画質を得られるという効果がある。
【００５８】
なお、本実施の形態２では、量子化ステップを制御することにより符号化対象画像を構成する各画像の符号量を符号化単位であるマクロブロック単位に制御するように説明したが、本発明では、これに限らず、量子化ステップは変えずに符号量が変わるようにイントラモードやインターモードなどの符号化モードをマクロブロック単位に変えることにより符号量を制御したり、さらには、より符号量を的確に制御できるように、量子化ステップの制御と符号化モードの制御等とを同時に行って符号量を制御するようにしても勿論良い。
【００５９】
図６に、後者の量子化ステップの制御と符号化モードの制御等とを同時に行って符号量を制御する実施の形態２の画像符号化処理部の構成を示す。図５に示す実施の形態２の画像符号化処理部に対し、さらにモード切り替え器１００を設けた構成である。このモード切り替え器１００は、符号化対象画像５と符号化補助情報１０を入力して、符号化補助情報１０が「１」を示す場合は、イントラモードで符号化するため、（ａ）側に切り替わり、符号化対象画像５を差分器６介さず直交変換／量子化処理部１２へ直接出力する一方に、符号化補助情報１０が「０」を示す場合は、インターモードで符号化するため、符号化対象画像５を差分器６へ出力する系の（ｂ）側に切り替わる。このように、量子化ステップの制御と符号化モードの制御等とを同時に行って符号量を制御するようにすれば、符号化モードをイントラモードにすると、どうしても多くの符号量が発生してしまい、符号化補助情報１０が「０」でインターモードで符号化する画像に悪影響を及ぼすことになるが、これを避けるため、イントラモードで符号化された画像については、大きな量子化ステップを用いて粗い量子化を行うことにより符号量を抑え、インターモードの符号化の画質を保つことができる。
【００６０】
実施の形態３．
本実施の形態３は、符号化対象画像構成情報に基づき選択された複数の画像を入力とし、これらを組み合わせることにより作成される符号化対象画像を出力するとともに、符号化対象画像を構成する画像と画像との境界がマクロブロックに含まれるか否かを判断し、判断した結果を符号化補助情報として出力する前処理部と、前記補助情報に基づき前記符号化対象画像の符号化処理を行う画像符号化処理部より構成される画像符号化装置の構成の一例を示すものである。
【００６１】
図７は、本実施の形態３に係る前処理部の構成を示した図である。図において、１は符号化対象画像構成情報、２ａ〜２ｄは入力画像、３ａ〜３ｄはスイッチ、４は符号化対象画像作成部、５は符号化対象画像、９は符号化補助情報作成部、１０は符号化補助情報である。
【００６２】
図８は、本実施の形態３に係る画像符号化処理部の構成を示した図である。図において、５は符号化対象画像、６は差分器、１０は符号化補助情報、１１は動き補償処理部、１２は直交変換／量子化処理部、１５はＶＬＣ処理部、１６は逆直交変換／逆量子化処理部、１７は復号画像記憶部、２５は参照領域決定部、２６は領域情報、２７はモード情報である。
【００６３】
次に本実施の形態３に係る前処理部の動作を説明する。
まず、上記実施の形態１，２の場合と同様に、符号化対象画像構成情報１が図７に示す前処理部に入力される。符号化対象画像構成情報１は、符号化対象画像を構成する入力画像を指定するものである。例えば、符号化対象画像構成情報１が「ａとｂとｃとｄ」を示す場合、スイッチ３ａ〜３ｄより入力される入力画像２ａ〜２ｄを出力することにより、例えば図９に示すような４画面の形にて組合すことにより、符号化対象画像が作成されるものとする。
【００６４】
なお、本実施の形態３に係る符号化対象画像構成情報１は、「ａとｂとｃとｄ」を示すと仮定して説明を行うものとする。また、本実施の形態３に係る入力画像２ａ〜２ｄは、８８画素×７６ラインより構成されるものとする。
【００６５】
スイッチ３ａ〜３ｄでは、符号化対象画像構成情報１に基づき入力画像２ａ〜２ｄの制御が行われる。ここでは符号化対象画像構成情報１が「ａとｂとｃとｄ」を示しているので、全てのスイッチ３ａ〜３ｄがオンの状態となる。従って入力画像２ａ〜２ｄが、符号化対象画像作成部４に入力されることになる。
【００６６】
符号化対象画像作成部４は、入力画像２ａ〜２ｄを、図９に示すような形に組合せることにより符号化対象画像５を作成し、作成した符号化対象画像５を保持する。
【００６７】
符号化補助情報作成部９は、入力される符号化対象画像構成情報１に基づき、マクロブロック毎に入力画像２ａ〜２ｄと入力画像２ａ〜２ｄとの境界が含まれていないか否かを調べる。調べた結果、水平方向に境界が存在する場合は「１」、垂直方向に境界が存在する場合は「２」、水平／垂直方向共に境界が存在する場合は「３」、境界が存在しない場合は「０」を画像境界位置を示すマクロブロック単位符号化補助情報１０として割り当てるものとする。
【００６８】
本実施の形態３では、図９に示すように組合せることにより符号化対象画像を作成する。入力画像２ａ〜２ｄのサイズは８８画素×７２ラインであるため、作成される符号化対象画像のサイズは１７６画素×１４４ライン（ＱＣＩＦサイズＱｕａｒｔｅｒ　Ｃｏｍｍｏｎ　Ｉｎｔｅｒｍｅｄｉａｔｅ　Ｆｏｒｍａｔ）となる。従って、符号化補助情報作成部９にて作成される符号化補助情報１０は、図１０に示すようなものとなる。
【００６９】
図１０では、画像と画像との境界にないマクロブロックには符号化補助情報１０として「０」と設定され、画像と画像との境界が水平方向に存在するマクロブロックには符号化補助情報１０として「１」が設定され、画像と画像との境界が垂直方向に存在するマクロブロックには符号化補助情報１０として「２」が設定され、画像と画像との境界が水平／垂直方向共に存在する該マクロブロックには符号化補助情報１０として「３」が設定される。
【００７０】
次に本実施の形態３に係る画像符号化処理部の動作を説明する。なお、本実施の形態３における画像符号化処理も、基本的にはマクロブロック単位にて行われるものとするが、任意の大きさのブロック単位でも勿論良い。
【００７１】
図７に示す前処理部にて作成された符号化対象画像５は、マクロブロック単位にて図８に示す画像符号化処理部の差分器６に入力され、動き補償処理部１１より出力される予測画像との差分画像が算出された後、直交変換／量子化処理部１２へ出力される。
【００７２】
直交変換／量子化処理部１２では、入力される差分画像に対してＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）のような直交変換処理を行った後に量子化処理を行い、処理後の係数データをＶＬＣ処理部１５と、逆直交変換／逆量子化処理部１６とへ出力する。
【００７３】
ＶＬＣ処理部１５では、前記係数データに対して可変長符号化処理を行うとともに、同期信号等の付加情報を所望の位置に格納してビットストリームを作成し、作成したビットストリームと該マクロブロックの符号化処理に要した符号量とを出力する。
【００７４】
逆直交変換／逆量子化処理部１６では、逆量子化処理と逆直交変換処理を行うことにより復号画像を作成し、作成した復号画像を復号画像記憶部１７へ出力する。
【００７５】
復号画像記憶部１７では、マクロブロック単位にて入力される復号画像を保持し、１フレーム分の復号画像を記憶する。記憶された１フレーム分の復号画像は、次のフレームの符号化処理を行う際に使用される。
【００７６】
参照領域決定部２５では、符号化対象となっているマクロブロックに対応した符号化補助情報１０が入力されと、符号化補助情報１０に基づき動き補償処理を行う際に使用される、復号画像記憶部１７に保持された１フレーム前に処理された復号画像を参照する領域と動き補償処理に関するモードを決定し、それぞれ領域情報２６とモード情報２７として、動き補償処理部１１へ出力する。
【００７７】
ここで、ＩＳＯ／ＩＥＣ　１４４９６−２：１９９９ＦＤＲＡＭ　１：２０００（Ｅ）記載のＭＰＥＧ−４ビデオ符号化方式を用いることを前提とし、参照領域決定部２５の動作詳細を説明する。
【００７８】
符号化補助情報１０が「０」の場合は、境界が存在しない場合であるので、従来の技術にて記載した動き補償を行うため、動き補償のモードは４ＭＶモード及びＭＶモードのどちらでも良い旨を示す「０」をモード情報２７として出力する。参照領域については、該マクロブロックを中心とした水平方向（左方向と右方向）と垂直方向（上方向と下方向）と決定し、領域情報２６として出力する。
【００７９】
符号化補助情報が「１」の場合は、水平方向に境界が存在する場合で、該マクロブロックの上半分と下半分では絵柄が異なるので、４ＭＶモードを用いて絵柄の似ている領域にて動き補償処理を行った方が効率的である。従って４ＭＶモードを意味する「１」をモード情報２７として出力するとともに、該マクロブロックの上半分に存在する２つのブロックについては、該ブロックを中心とした水平方向（左方向と右方向）と上方向のみを、また該マクロブロックの下半分に存在する２つのブロックについては、該ブロックを中心とした水平方向（左方向と右方向）と下方向のみを参照領域と決定し、領域情報２６として出力する。
【００８０】
符号化補助情報が「２」の場合は、垂直方向に境界が存在する場合で、該マクロブロックの左半分と右半分では絵柄が異なるので、４ＭＶモードを用いて絵柄の似ている領域にて動き補償処理を行った方が効率的である。従って４ＭＶモードを意味する「１」をモード情報２７として出力するとともに、該マクロブロックの左半分に存在する２つのブロックについては、該ブロックを中心とした垂直方向（上方向と下方向）と左方向のみを、また該マクロブロックの右半分に存在する２つのブロックについては、該ブロックを中心とした垂直方向（上方向と下方向）と右方向のみを参照領域と決定し、領域情報２６として出力する。
【００８１】
符号化補助情報１０が「３」の場合は、水平／垂直方向共に境界が存在する場合で、該マクロブロックに含まれる全てのブロックについて絵柄が異なるので、復号画像記憶部１７に保持された１フレーム前に処理された復号画像上において、該マクロブロックと同位置にあるマクロブロックのみを参照領域と決定し、領域情報２６として出力するとともに、「０」をモード情報２７として出力する。
【００８２】
動き補償処理部１１は、領域情報２６に基づき、復号画像記憶部１７より復号画像を読出し、読出した復号画像と符号化対象画像５とのマッチング処理を行う。その際、モード情報２７に基づき、マッチング処理を行うものとする。
【００８３】
以上のように、本実施の形態３によれば、組み合わされた画像と画像との境界が、符号化対象のマクロブロックに含まれるか否かを判断し、この判断結果に基づき、動き補償処理を行う際に参照する領域と、動き補償処理の方式と変えるよう構成したため、組み合わされた画像と画像との境界に発生する符号化ノイズを低減することができると共に、かかる領域での符号量を抑制することが出来、十分な画質を得られるという効果がある。
【００８４】
なお、上記実施の形態３では、符号化対象画像を構成する画像と画像との境界がマクロブロックに含まれるか否かを判断し、判断した結果に基づき動き補償処理を行う際に参照する領域および動き補償処理の方式とを変えるように説明したが、本発明では、動き補償処理を行う際に参照する領域と、動き補償処理の方式とを選択的に変えるようにしても勿論良い。
【００８５】
また、以上説明した実施の形態３の発明と、上記実施の形態１または２の発明とを組み合わせて、符号化対象画像を構成する画像と画像との境界がマクロブロックに含まれるか否かの判断結果に基づき動き補償処理を行う際に参照する領域および動き補償処理の方式とを変えたり、符号化対象画像を構成する画像が切り替わった場合に当該領域の画像にフィルタ処理を施したり、量子化ステップを大きくして粗い量子化処理を施すことによる符号量の制御を行うようにしても勿論よい。なお、この場合には、符号化補助情報作成部９が、符号化対象画像を構成する画像の切り替わりを符号化補助情報１０として出力するだけでなく、符号化対象画像を構成する画像と画像との境界がマクロブロックに含まれるか否かも符号化補助情報１０として出力することになる。
【００８６】
実施の形態４．
本実施の形態４は、符号化対象画像構成情報に基づき選択された複数の画像を入力とし、これらを組み合わせることにより作成される符号化対象画像を出力するとともに、入力される画像が動きの多い画像であるか動きの少ない画像であるかを判断し、判断した結果を符号化補助情報として出力する前処理部と、前記補助情報に基づき前記符号化対象画像の符号化処理を行う画像符号化処理部より構成される画像符号化装置の構成の一例を示すものである。
【００８７】
図１１は、本実施の形態４に係る前処理部の構成を示した図である。図において、１は符号化対象画像構成情報、２ａ〜２ｄは入力画像、３ａ〜３ｄはスイッチ、４は符号化対象画像作成部、５は符号化対象画像、６ａ〜６ｄは差分器、７ａ〜７ｄは入力画像記憶部、８ａ〜８ｄは絶対値差分和、９は符号化補助情報作成部、１０は符号化補助情報である。
【００８８】
図１２は、本実施の形態４に係る画像符号化処理部の構成を示した図である。図において、５は符号化対象画像、１０は符号化補助情報、１１は動き補償処理部、１２は直交変換／量子化処理部、１３は量子化ステップ決定部、１４は量子化ステップ、１５はＶＬＣ処理部、１６は逆直交変換／逆量子化処理部、１７は復号画像記憶部、６は差分器である。
【００８９】
次に本実施の形態４に係る前処理部の動作を説明する。
まず、符号化対象画像構成情報１が図１１に示す前処理部に入力される。符号化対象画像構成情報１は、符号化対象画像を構成する入力画像の数を示すものであり、符号化対象画像構成情報１が例えば「４」を示す場合、例えば図９に示すような田の字型に４つの入力画像が組み合わされ、符号化対象画像が作成されるものとする。なお、本実施の形態４に係る符号化対象画像構成情報１は、「４」を示していると仮定して説明を行うものとする。
【００９０】
スイッチ３ａ〜３ｄでは、符号化対象画像構成情報１に基づき入力画像２ａ〜２ｄの制御を行う。ここでは符号化対象画像構成情報１が「４」を示しているので、入力画像２ａ〜２ｄに対応するスイッチ３ａ〜３ｄは、全てオンの状態となる。従って入力画像２ａ〜２ｄは、差分器６ａ〜６ｄと符号化対象画像作成部４とに入力されることになる。
【００９１】
符号化対象画像作成部４は、入力画像２ａ〜２ｄを、図９に示すような形に組合せることにより符号化対象画像を作成し、作成した符号化対象画像を保持する。
【００９２】
差分器６ａ〜６ｄは、直前に入力された画像データを記憶している入力画像記憶部７ａ〜７ｄより直前に入力された画像を読出し、入力画像２ａ〜２ｄとの絶対値差分和を算出する。差分器６ａ〜６ｄは、絶対値差分和を算出した後、入力画像２ａ〜２ｄを入力画像記憶部７ａ〜７ｄに書き込むとともに、入力画像データ２ａ〜２ｄに対応する絶対値差分和８ａ〜８ｄを出力する。
【００９３】
符号化補助情報作成部９は、動きの大きな画像もしくは動きの少ない画像かを判定する際に使用する閾値を有しており、入力される絶対値差分和８ａ〜８ｄと前記閾値とに基づき閾値処理を行い、入力画像２ａ〜２ｄが、動きの大きな画像であるのか、動きの少ない画像であるのかを判断し、動きの大小や動きのない画像であるか否か等を種別するための情報である符号化補助情報１０を作成する。例えば、絶対値差分和８ａと８ｂが前記閾値より大きな値であり、絶対値差分和８ｃがゼロであり、絶対値差分和８ｄがゼロより大きくかつ前記閾値より小さい場合の符号化補助情報１０は、図１３に示すようなものとなる。符号化補助情報１０はマクロブロック単位にて作成され、「２」は動きの大きな画像、「１」は動きの少ない画像、「０」は静止画像をそれぞれ示す。
【００９４】
次に本実施の形態４に係る画像符号化処理部の動作を説明する。なお、ここに記載する画像符号化処理は、上記実施の形態１〜３の画像符号化処理と同様に、基本的にはマクロブロック単位（１６画素×１６ライン）にて行われるものとするのとするが、任意の大きさのブロック単位でも勿論良い。
【００９５】
図１２に示すように、本実施の形態４に係る画像符号化処理部では、符号化対象画像５は、マクロブロック単位にて差分器６に入力され、動き補償処理部１１より出力される予測画像との差分画像がを算出された後、算出された差分画像は直交変換／量子化処理部１２へ出力される。
【００９６】
量子化ステップ決定部１３では、符号化対象となっているマクロブロックに対応した符号化補助情報１０が入力され、符号化補助情報１０に基づき量子化ステップを決定し、決定した量子化ステップを量子化パラメタ１４として直交変換／量子化処理部１２へ出力する。
例えば、図９に示すような４画面の形にて組合された符号化対象画像の場合で、入力画像２ａ，２ｄが動きの大きい画像で、入力画像２ｄが動きの小さい画像で、入力画像２ｃが動きのない静止画の場合、本実施の携帯４の符号化補助情報作成部９によると図１３に示すような符号化補助情報１０が得られる。具体的には、該マクロブロックに対応する符号化補助情報１０が「０」の場合は、動きのない静止画の場合であるため。直前のマクロブロックの量子化ステップとは関係なく、常に小さな値の量子化ステップを該マクロブロックにおける量子化ステップ１４として出力するものとする。その一方、例えば符号化補助情報１０が「２」または「１」の場合は、動きが大きい場合と小さい場合とであるが、動画像の場合であるため、従来の技術にて記載したような発生した符号量に基づき量子化ステップを決定し、量子化ステップ１４を出力するものとする。
【００９７】
直交変換／量子化処理部１２では、入力される差分画像に対してＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）のような直交変換処理を行った後、量子化ステップ１４を用いて量子化処理を行い、処理後の係数データをＶＬＣ処理部１５と逆直交変換／逆量子化処理部１６へ出力する。
【００９８】
ＶＬＣ処理部１５では、前記係数データに対して可変長符号化処理を行うとともに、同期信号等の付加情報を所望の位置に格納してビットストリームを作成し、作成したビットストリームと該マクロブロックの符号化処理に要した符号量とを出力する。
【００９９】
ここで、上述したが、ＩＳＯ／ＩＥＣ　１４４９６−２：１９９９ＦＤＲＡＭ　１：２０００（Ｅ）記載のＭＰＥＧ−４ビデオ符号化方式では、マクロブロック間における量子化スケールは±２の範囲にてのみ更新することができるという制限がある。
【０１００】
このため、本実施の形態４の量子化ステップ決定部１３にて直前のマクロブロックに対する量子化ステップとは関係なく、符号化補助情報１０に基づき量子化ステップ１４を決定する場合には、マクロブロック間における量子化スケールが±２を超えてしまう可能性がある。
【０１０１】
これを防止するため、本実施の形態４のＶＬＣ処理部１５ではでは、ＩＳＯ／ＩＥＣ　１４４９６−２：１９９９ＦＤＲＡＭ　１：２０００（Ｅ）記載のＭＰＥＧ−４ビデオ符号化方式を採用する場合には、該マクロブロックと直前のマクロブロックに対応する符号化補助情報１０とを入力し、直前のマクロブロックに対応する符号化補助情報１０が「０」以外の値を示し、該マクロブロックに対応する符号化補助情報１０が「０」の値を示した場合、リシンクマーカ−と呼ばれる同期信号を付加するようにする。リシンクマーカ−を挿入すれば、リシンクマーカ−の前後にあるマクロブロック間における量子化ステップの制限がなくなるため、ＭＰＥＧ−４ビデオのシンタクスに適合したビットストリームを作成し、出力することが可能となる。
【０１０２】
逆直交変換／逆量子化処理部１６では、逆量子化処理と逆直交変換処理を行うことにより復号画像を作成し、作成した復号画像を復号画像記憶部１７へ出力する。
【０１０３】
復号画像記憶部１７では、マクロブロック単位にて入力される復号画像を保持し、１フレーム分の復号画像を記憶する。記憶された１フレーム分の復号画像は、次のフレームの符号化処理を行う際に使用される。
【０１０４】
動き補償処理部１１は、復号画像記憶部１７より復号画像を読出し、読出した復号画像と符号化対象画像５とのマッチング処理をマクロブロック単位に行い、マッチング度の高いマクロブロックを予測画像として出力する。
【０１０５】
以上のように、本実施の形態４によれば、符号化対象画像を構成する画像毎に動きの大小や有無を検出し、検出した動きの大小や有無に基づき量子化ステップを設定するよう構成したため、動きの大きい画像については粗く量しか処理を施し符号量の増大を押さえることにより、静止画像領域に対しては細かい量子化処理を施すことが可能となり、動きの大きな画像データと静止画像とが混在する符号化対象画像を符号化する際に、特に静止画像の領域において十分な画質を得られるという効果がある。
【０１０６】
また、さらに動きの大小に応じても量子化ステップを変えることにより、例えば、動きの小さい符号化対象画像の量子化ステップを、動きの大きい符号化対象画像の量子化ステップより細かい量子化処理を施すようにすれば、動きの大きな画像データと小さな画像データとが混在する符号化対象画像を符号化する際でも、静止画像や動きの小さい動画像の領域においても十分な画質を得られるという効果がある。
【０１０７】
なお、ここでは、上述の実施の形態４の発明を単独で説明したが、この実施の形態４の発明と、実施の形態３の発明や上記実施の形態１，２の発明を任意に組み合わせるようにしても勿論よい。上述の実施の形態１または２と、実施形態３と、実施の形態４とを組み合わせれば、符号化対象画像を構成する画像が切り替わった場合に当該領域の画像にフィルタ処理を施したり、量子化ステップを大きくして粗い量子化処理を施すことによる符号量の制御を行ったり、符号化対象画像を構成する画像と画像との境界がマクロブロックに含まれるか否かの判断結果に基づき動き補償処理を行う際に参照する領域および動き補償処理の方式とを変えたり、さらには符号化対象画像を構成する画像毎に動きの大小や有無に基づき量子化ステップを変えることが可能になる。勿論、この場合には、符号化補助情報作成部９が、符号化対象画像を構成する画像の切り替わりを符号化補助情報１０として出力するだけでなく、符号化対象画像を構成する画像と画像との境界がマクロブロックに含まれるか否かも符号化補助情報１０として出力したり、さらには、符号化対象画像を構成する画像毎に動きの大小や有無を検出し、検出した動きの大小や有無を符号化補助情報１０として出力することになる。
【０１０８】
実施の形態５．
本実施の形態５は、符号化対象画像構成情報に基づき選択された複数の画像を入力とし、これらを組み合わせることにより作成される符号化対象画像を出力するとともに、符号化対象画像を構成する画像と画像の境界がマクロブロックに含まれるか否かを判断し、判断した結果を符号化補助情報として出力する前処理部と、前記補助情報に基づき前記符号化対象画像の符号化処理を行う画像符号化処理部より構成される画像符号化装置の構成の一例を示すものである。
【０１０９】
本実施の形態５における前処理部は、図７に示す実施の形態３の前処理部と同様であるため、前処理部の構成、及び動作の説明を省略する。
【０１１０】
図１４は、本実施の形態５に係る画像符号化処理部の構成を示した図である。図において、５は符号化対象画像、１０は符号化補助情報、１１は動き補償処理部、１２は直交変換／量子化処理部、１５はＶＬＣ処理部、１６は逆直交変換／逆量子化処理部、１７は復号画像記憶部、２３はフィルタ処理部、２４はフィルタ処理が施された符号化対象画像である。
【０１１１】
次に、本実施の形態５に係る画像符号化処理部の動作を説明する。なお、ここに記載する画像符号化処理は、上記実施の形態１〜４の画像符号化処理と同様に、基本的にはマクロブロック単位（１６画素×１６ライン）にて行われるものとするのとするが、任意の大きさのブロック単位でも勿論良い。
【０１１２】
スイッチ部２２は、符号化対象となるマクロブロック単位の符号化対象画像５と該マクロブロックに対応する符号化補助情報１０とを入力とし、符号化補助情報１０に基づき、スイッチング処理を行う。具体的には、符号化補助情報１０が「１」、「２」、「３」を示す場合は（ａ）側へ、符号化補助情報１０が「０」を示す場合は（ｂ）側へスイッチング処理を行って、符号化補助情報１０が「１」、「２」、「３」を示す場合のみフィルタ処理部２３へ符号化対象画像５を出力する。
【０１１３】
フィルタ処理部２３では、入力されるマクロブロック単位の符号化対象画像５に対して、低周波成分を通過させ、高周波成分を遮断するようなフィルタ処理を行う。具体的には、符号化補助情報が「１」の場合、該マクロブロックは水平方向の境界を含んでいるので、この境界部分を含む近隣の領域に対して垂直方向のフィルタ処理を施すものとする。
【０１１４】
また、符号化補助情報が「２」の場合、該マクロブロックは垂直方向の境界を含んでいるので、この境界部分を含む近隣の領域に対して水平方向のフィルタ処理を施すものとする。
【０１１５】
また、符号化補助情報が「３」の場合、該マクロブロックは水平／垂直方向の境界を含んでいるので、この境界部分を含む近隣の領域に対して水平／垂直方向のフィルタ処理を施すものとする。
【０１１６】
フィルタ処理が施されたマクロブロック単位の符号化対象画像２４は差分器６に入力され、動き補償処理部１１より出力される予測画像との差分画像が算出された後、算出された差分画像は直交変換／量子化処理部１２へ出力される。
【０１１７】
一方、符号化補助情報１０が「０」を示していて、スイッチ部２２にて（ｂ）側へスイッチング処理がなされた場合は、マクロブロック単位の符号化対象画像５はフィルタ処理部２３を介さずに差分器６に入力され、動き補償処理部１１より出力される予測画像との差分画像が算出された後、算出された差分画像は直交変換／量子化処理部１２へ出力される。
【０１１８】
直交変換／量子化処理部１２では、入力される差分画像に対してＤＣＴのような直交変換処理を行った後に量子化処理を行い、処理後の係数データをＶＬＣ処理部１５と逆直交変換／逆量子化処理部１６へ出力する。
【０１１９】
ＶＬＣ処理部１５では、前記係数データに対して可変長符号化処理を行うとともに、同期信号等の付加情報を所望の位置に格納してビットストリームを作成し、作成したビットストリームと該マクロブロックの符号化処理に要した符号量とを出力する。
【０１２０】
逆直交変換／逆量子化処理部１６では、逆量子化処理と逆直交変換処理を行うことにより復号画像を作成し、作成した復号画像を復号画像記憶部１７へ出力する。
【０１２１】
復号画像記憶部１７では、マクロブロック単位にて入力される復号画像を保持し、１フレーム分の復号画像を記憶する。記憶された１フレーム分の復号画像は、次のフレームの符号化処理を行う際に使用される。
【０１２２】
動き補償処理部１１は、復号画像記憶部１７より復号画像を読出し、読出した復号画像と符号化対象画像５とのマッチング処理をマクロブロック単位に行い、マッチング度の高いマクロブロックを予測画像として出力する。
【０１２３】
以上のように、本実施の形態５によれば、組み合わされた画像と画像との境界が符号化対象のマクロブロックに含まれるか否かを判断し、この判断結果に基づきフィルタ処理の制御を行うよう構成したため、画像と画像との境界を含むマクロブロックを符号化処理する際に高周波成分を含む係数の発生をおさえること、即ち該マクロブロックの符号量を抑えることが可能となり、抑えた符号量を他のマクロブロックの符号化に要する符号量に割り当てることが可能となるため、十分な画質を得られるという効果がある。
【０１２４】
なお、ここでは、上述の実施の形態５の発明を単独で説明したが、この実施の形態５の発明と、実施の形態４の発明や上記実施の形態１，２の発明を任意に組み合わせるようにしても勿論よい。例えば、上述の実施の形態１または２と、実施形態４と、実施の形態５とを組み合わせれば、符号化対象画像を構成する画像が切り替わった場合に当該領域の画像にフィルタ処理を施したり、量子化ステップを大きくして粗い量子化処理を施すことによる符号量の制御を行ったり、符号化対象画像を構成する画像毎に動きの大小や有無に基づき動き補償処理を行う際に参照する領域および動き補償処理の方式とを変えたり、符号化対象画像を構成する画像と画像との境界がマクロブロックに含まれるか否かの判断結果に基づきフィルタ処理を施して符号量を制御することが可能になる。
勿論、この場合には、符号化補助情報作成部９が、符号化対象画像を構成する画像の切り替わりを符号化補助情報１０として出力するだけでなく、符号化対象画像を構成する画像毎に動きの大小や有無を検出し、検出した動きの大小や有無を符号化補助情報１０として出力したり、さらには符号化対象画像を構成する画像と画像との境界がマクロブロックに含まれるか否かも符号化補助情報１０として出力することになる。
【０１２５】
なお、上記実施の形態１〜５では、前処理部と、画像符号化処理部とを有する画像符号化処理装置について説明したが、本発明は、これに限らず、前処理部と、画像符号化処理部とを別々の装置に設けたり、さらには、符号化対象画像５と画像補助情報１０とが別々に作成される等して、符号化対象画像５と画像補助情報１０とが前処理部を有さず画像符号化処理部を有する画像符号化処理装置に入力して、画像符号化処理装置では、上述の前処理は行わず、上述の符号化のみを行うように構成しても良い。
【発明の効果】
以上説明したように、本発明によれば、複数の画像より構成される符号化対象画像と、その符号化対象画像の特徴を示す符号化補助情報とを入力し、前記符号化補助情報に基づき符号化対象画像を構成する各画像の符号化処理を行うようにしたので、複数の画像より構成される符号化対象画像のある画像が切り替わった等の特徴ある場合や、符号化対象画像の境界や各画像の動き等に特徴がある場合には、符号化処理により発生する符号量を目標とする符号量に抑えたり、ノイズを低減した十分な画質である復号画像を得ることのできる符号化ビットストリームを出力することができる。
【０１２６】
【図面の簡単な説明】
【図１】実施の形態１に係る前処理部の構成を示した図である。
【図２】実施の形態１に係る画像符号化処理部の構成を示した図である。
【図３】実施の形態１の符号化対象画像作成部４にて作成される符号化対象画像の一例を示す図である。
【図４】実施の形態１の符号化補助情報作成部９にて作成される符号化補助情報１０の一例を示す図である。
【図５】実施の形態２に係る画像符号化処理部の構成を示した図である。
【図６】実施の形態２に係る画像符号化処理部の他の構成を示した図である。
【図７】実施の形態３に係る前処理部の構成を示した図である。
【図８】実施の形態３に係る画像符号化処理部の構成を示した図である。
【図９】実施の形態３符号化対象画像作成部４にて作成される符号化対象画像の一例を示す図である。
【図１０】実施の形態３の符号化補助情報作成部９にて作成される符号化補助情報１０の一例を示す図である。
【図１１】実施の形態４に係る前処理部の構成を示した図である。
【図１２】実施の形態４に係る画像符号化処理部の構成を示した図である。
【図１３】実施の形態４の符号化補助情報作成部９にて作成される符号化補助情報１０の一例を示す図である。
【図１４】実施の形態５に係る画像符号化処理部の構成を示した図である。
【符号の説明】
１　符号化対象画像構成情報、２ａ〜２ｄ　入力画像、３ａ〜３ｄ　スイッチ、４　符号化対象画像作成部、５　符号化対象画像、９　符号化補助情報作成部、１０　符号化補助情報、２０　画面構成記憶部、２１　符号化対象画像構成情報、６　差分器、１１は動き補償処理部、１２　直交変換／量子化処理部、１５ＶＬＣ処理部、１６　逆直交変換／逆量子化処理部、１７　復号画像記憶部、２２
スイッチ部、２３　フィルタ処理部。

Claims (12)

1. 複数の画像と、前記複数の画像のうちどの画像を符号化対象画像とするのかを示す符号化対象画像構成情報とを入力し、符号化対象画像構成情報に基づき複数の画像より構成される符号化対象画像を作成し、前記符号化対象画像と、前記符号化対象画像の特徴を示す符号化補助情報とを出力する前処理部と、
   前記符号化対象画像と前記符号化補助情報とを入力し、前記符号化補助情報に基づき符号化対象画像を構成する各画像の符号化処理を行う画像符号化処理部と、
   を有することを特徴とする画像符号化装置。
2. 前記符号化補助情報は、前記符号化対象画像の特徴として、前記符号化対象画像構成情報と、前記符号化対象画像構成情報の時間的に直前に入力された符号化対象画像構成情報との差異を示しており、
   前記画像符号化処理部は、前記符号化補助情報に基づき符号化対象画像を構成する各画像の符号量を制御して符号化処理を行う、
   ことを特徴とする請求項１記載の画像符号化装置。
3. 前記画像符号化処理部は、前記符号化補助情報が、前記符号化対象画像構成情報と前記符号化対象画像構成情報の時間的に直前に入力された符号化対象画像構成情報との間に差異があることを意味する場合、符号化対象画像を構成する画像のうち差異のある画像に対しフィルタ処理を施すことにより符号化対象画像を構成する各画像の符号量を制御して符号化処理を行う、
   ことを特徴とする請求項２記載の画像符号化装置。
4. 前記画像符号化処理部は、前記符号化補助情報に基づき、符号化対象画像を構成する画像のうちどの画像に差異があるのかを判断し、差異のある画像と、差異のない画像とに対し異なる量子化ステップを設定することにより符号化対象画像を構成する各画像の符号量を制御して符号化処理を行なう、
   ことを特徴とする請求項３記載の画像符号化装置。
5. 前記画像符号化処理部は、さらに、差異のある画像と差異のない画像とに対し異なる符号化モードを設定することにより符号化対象画像を構成する各画像の符号量を制御して符号化処理を行う、
   ことを特徴とする請求項４記載の画像符号化装置。
6. 前記符号化補助情報は、前記符号化対象画像の特徴として、符号化対象画像を構成する画像と画像との境界が符号化対象画像上のどの位置にあるのかを示しており、
   前記画像符号化処理部は、前記符号化補助情報に基づき符号化対象画像を構成する各画像の符号化処理を行う、
   ことを特徴とする請求項１記載の画像符号化装置。
7. 前記画像符号化処理部は、前記符号化補助情報に基づき、符号化対象画像を構成する画像と画像との境界を含む符号化処理単位と、当該境界を含まない符号化処理単位とを識別し、当該境界を含む符号化処理単位と、当該境界を含まない符号化処理単位とにおいて異なる動き補償処理の制御を行うことにより符号化対象画像を構成する各画像の符号化処理を行う、
   ことを特徴とする請求項６記載の画像符号化装置。
8. 前記符号化補助情報は、前記符号化対象画像の特徴として、符号化対象画像を構成する複数の画像のうち、どの画像が動きの少ない画像であり、どの画像が動きの多い画像であるかを示しており、
   前記画像符号化処理部は、前記画像符号化補助情報に基づき符号化対象画像を構成する各画像の符号量を制御して符号化処理を行う、
   ことを特徴とする請求項１記載の画像符号化装置。
9. 前記画像符号化処理部は、前記符号化補助情報に基づき、符号化対象画像に含まれる動きの少ない画像と、動きの多い画像とにおいて異なる量子化ステップを設定することにより符号化対象画像を構成する各画像の符号量を制御して符号化処理を行う、
   ことを特徴とする請求項８記載の画像符号化装置。
10. 前記画像符号化処理部は、前記符号化補助情報が符号化対象画像を構成する画像と画像の境界を含むことを意味する場合、当該境界を含む符号化処理単位に対してフィルタ処理を施すことにより符号化対象画像を構成する各画像の符号量を制御して符号化処理を行う、
    ことを特徴とする請求項６記載の画像符号化装置。
11. 複数の画像より構成される符号化対象画像と、その符号化対象画像の特徴を示す符号化補助情報とを入力し、前記符号化補助情報に基づき符号化対象画像を構成する各画像の符号化処理を行う画像符号化処理部を有することを特徴とする画像符号化装置。
12. 複数の画像より構成される符号化対象画像と、その符号化対象画像の特徴を示す符号化補助情報とを入力し、前記符号化補助情報に基づき符号化対象画像を構成する各画像の符号化処理を行うことを特徴とする画像符号化方法。

Images