JP2007013864A - 動画像符号化装置、動画像符号化方法、および動画像符号化用プログラム - Google Patents

Abstract

【課題】２パス符号化方式を使用する場合に、符号化に必要な符号化部の数を低減し、低コストな構成とすることが可能な動画像符号化装置、動画像符号化方法、および動画像符号化用プログラムを提供することを目的とする。
【解決手段】本発明に係る動画像符号化装置１０は、入力画像を縮小して縮小画像を生成する縮小画像生成手段１１と、縮小画像を使用して１パス目の符号化を行う第１の符号化手段１２と、入力画像を遅延させる遅延手段１３と、１パス目の符号化結果を使用して、入力画像の各部の符号量を割り当てる制御手段１５と、制御手段１５で割り当てられた符号量で、遅延手段１３から入力される入力画像に対して２パス目の符号化を行う第２の符号化手段１４とを備えている。
【選択図】 図１

Description

本発明は、動画像符号化装置、動画像符号化方法、および動画像符号化用プログラムに関し、詳細には、１パス目の符号化結果を使用して、２パス目の符号化を行う動画像符号化装置、動画像符号化方法、および動画像符号化用プログラムに関する。

ＨＤＴＶのような情報量の多い動画像の符号化を低コストな構成で実現するために、画像を分割し、複数のＳＤＴＶ用符号化器を用いて実現する場合がある（例えば、特許文献１参照）。以下、このような方法を分割符号化方式と称する。

また、符号化後の動画像のデータ量を精度よく制御するために、または、符号化後の画像品質をより高く保つなどの目的で、まず、動画像を予備的に圧縮符号化して圧縮後のデータ量や、その画像の性質を示す統計的データなどを見積もり（１パス目）、次に、見積もったデータ量や、統計的データなどに基づいて符号化パラメータを調整して圧縮符号化を行なう（２パス目）方法が採られることがある。以下、このような方法を２パス符号化方式と称する（例えば、特許文献２参照）。

図９は、分割符号化方式および２パス符号化方式を適用した従来の動画像符号化装置の構成例を示す図である。同図において、３０１は画像分割部、３０２Ａ〜Ｄは１パス目の符号化を行う符号化部、３０３Ａ〜Ｄは遅延部、３０４Ａ〜Ｄは２パス目の符号化を行なう符号化部、３０５は分割画像を結合するビットストリーム結合部、３０６は符号化部３０２Ａ〜Ｄおよび符号化部３０４Ａ〜Ｄの制御を行う制御手段である。

まず、入力画像は画像分割部３０１に入力され、４つに分割された後、分割画像が１パス目の符号化を行なう符号化部３０２Ａ〜Ｄおよび遅延部３０３Ａ〜Ｄに入力される。符号化部３０２Ａ〜Ｄでは、１パス目の符号化が行なわれる。このとき、制御手段３０６は、符号化部３０１Ａ〜Ｄを制御するとともに、符号化部３０１Ａ〜Ｄが１パス目の符号化を行なう際に得られる符号化結果（符号化後の符号量、および動きベクトル・周波数分布・前ピクチャと現ピクチャの差分絶対値等）を記憶しておく。

一方、遅延部３０３Ａ〜Ｄは、符号化部３０１Ａ〜Ｄによる、１パス目の符号化に費やされる時間だけ、分割画像を遅延させる。これにより、制御手段３０６が、１パス目の符号化により得られた符号化結果を全て記憶した後、符号化部３０４Ａ〜Ｄによる２パス目の符号化を行なうことができる。その際、制御手段３０６は、１パス目の符号化により得られた符号化結果に基づいて符号化パラメータを調整することにより、符号化後のデータ量を所望のデータ量に抑えつつ、高い画像品質を実現することができる。

しかしながら、上述した従来の２パス符号化方式を用いた動画像符号化装置では、符号化をリアルタイムで実現するためには、１パス目の符号化を行なう符号化器と、２パス目の符号化を行なう符号化器という、２つの同じ構成の符号化器を持つ必要があった。そのため、動画像符号化装置の装置規模が非常に大きくなって高コストになってしまうという問題がある。とりわけ、分割符号化方式を使用した場合には、符号化器の数が多くなるため、高コストになってしまう。

特開平７−２８９２５６号公報 特開平１１−９８５０２号公報

本発明は、上記に鑑みてなされたものであり、２パス符号化方式を使用する場合に、符号化に必要な符号化部の数を低減し、低コストな構成とすることが可能な動画像符号化装置、動画像符号化方法、および動画像符号化用プログラムを提供することを目的の１つとする。

上述した課題を解決し、目的を達成するために、本発明は、１パス目の符号化結果を使用して、２パス目の符号化を行う動画像符号化装置において、入力画像を縮小して縮小画像を生成する縮小画像生成手段と、前記縮小画像を使用して１パス目の符号化を行う第１の符号化手段と、入力画像を遅延させる遅延手段と、前記１パス目の符号化結果を使用して、前記入力画像の各部の符号量を割り当てる制御手段と、前記制御手段で割り当てられた符号量で、前記遅延手段から入力される入力画像に対して、２パス目の符号化を行う第２の符号化手段と、を備えたことを特徴とする。

また、本発明は、１パス目の符号化結果に基づいて、２パス目の符号化を行う動画像符号化方法において、入力画像を縮小して縮小画像を生成する縮小画像生成工程と、前記縮小画像を使用して１パス目の符号化を行う第１の符号化工程と、入力画像を遅延させる遅延工程と、前記１パス目の符号化結果を使用して、前記入力画像の各部の符号量を割り当てる制御工程と、前記制御工程で割り当てられた符号量で、前記遅延工程から入力される入力画像に対して、２パス目の符号化を行う第２の符号化工程と、を備えたことを特徴とする。

また、本発明は、コンピュータに、１パス目の符号化結果に基づいて、２パス目の符号化を行わせる動画像符号化用プログラムにおいて、入力画像を縮小して縮小画像を生成する縮小画像生成工程と、前記縮小画像を使用して１パス目の符号化を行う第１の符号化工程と、入力画像を遅延させる遅延工程と、前記１パス目の符号化結果を使用して、前記入力画像の各部の符号量を割り当てる制御工程と、前記制御工程で割り当てられた符号量で、前記遅延工程から入力される入力画像に対して、２パス目の符号化を行う第２の符号化工程と、をコンピュータに実行させることを特徴とする。

以下に添付図面を参照して、この発明にかかる動画像符号化装置、動画像符号化方法、および動画像符号化用プログラムの最良な実施の形態を詳細に説明する。この実施例によりこの発明が限定されるものではない。また、下記実施例における構成要素には、当業者が容易に想定できるものまたは実質的に同一のものが含まれる。

図１は、本発明の実施の形態に係る動画像符号化装置１０を示す図である。同図に示す動画像符号化装置１０は、１パス目の符号化結果（符号化後の符号量、および動きベクトル・周波数分布・前ピクチャと現ピクチャの差分絶対値等）を使用して、２パス目の符号化を行う動画像符号化装置であり、入力画像を縮小して縮小画像を生成する縮小画像生成手段１１と、縮小画像を使用して１パス目の符号化を行う第１の符号化手段１２と、入力画像を遅延させる遅延手段１３と、１パス目の符号化結果を使用して、入力画像の各部の符号量を割り当てる制御手段１５と、制御手段１５で割り当てられた符号量で、遅延手段１３から入力される入力画像に対して、２パス目の符号化を行う第２の符号化手段１４とを備えている。

上記構成の動画像符号化装置１０によれば、１パス目で入力画像の縮小画像を符号化しているので、１パス目に使用する符号化手段の規模を小規模として低コストな構成とすることができ、これにより、動画像符号化装置を小規模かつ低コストな構成とすることができる。

また、本実施の形態の動画像符号化装置１０は、分割符号化方式を適用することができる。例えば、遅延手段１３の前段に、入力画像を分割して複数の分割画像を生成する画像分割手段を配置する。そして、遅延手段１３は、画像分割手段で分割された複数の分割画像をそれぞれ遅延させ、制御手段１５は、１パス目の符号化結果を使用して、各分割画像の符号量を割り当て、第２の符号化手段１４は、制御手段１５で割り当てられた符号量で、遅延手段１３から入力される複数の分割画像に対して、それぞれ２パス目の符号化を行う。

これにより、画像分割方式を用いた場合に、各分割画像毎に符号量を独立して割り当てることができ、各分割画像の符号化後の符号量を精度よく制御でき、また、画像品質を高品質に保つことができる。

また、この場合、制御手段１５は、ｎ枚目の画像の符号化を行う場合に、ｎ枚目および過去の１パス目の符号化結果並びに過去の２パス目の符号化結果の統計値を使用して、ｎ枚目の各分割画像の符号量を割り当てることにしてもよい。これにより、各分割画像の符号化後の符号量をより精度よく制御でき、また、画像品質をより高品質に保つことができる。

また、画像分割手段は、入力画像の複雑度に応じて分割方法を異ならせることにしてもよい。これにより、入力画像を複雑な画像と他の画像を分離でき、複雑な分割画像については、符号量を多く割り当て、単純な分割画像については少なく割り当てることができ、各分割画像の符号化後のデータ量をより精度よく制御できる。

図２は、本発明の一実施例に係る動画像符号化装置１００の概略の構成例を示す図である。同図に示す動画像符号化装置１００は、画像分割部１０１と、画像縮小部１０２と、１パス目の符号化を行う符号化部１０３と、遅延部１０４Ａ〜１０４Ｄと、２パス目の符号化を行う符号化部１０５Ａ〜１０５Ｄと、ビットストリーム結合部１０６と、制御手段１０７とを備えている。

画像分割部１０１は、入力画像を４分割してその分割画像Ａ〜Ｄを遅延部１０４Ａ〜１０４Ｄにそれぞれ出力する。画像の分割方法は、例えば、図３に示すような分割方法とすることができる。同図は、入力画像を空間的に分割した例を示しており、図３−１は水平および垂直方向に４分割した場合、図３−２は垂直方向に４分割した場合、図３−３は水平方向に４分割した場合を示している。画像分割部１０１は、入力画像の複雑度に応じて画像の分割方法（図３−１〜図３−３）を変更することにしてもよい。ここで、複雑度は、例えば、ピクセル毎の近隣ピクセルとの差の絶対値の総和や、高周波成分の多さなどから算出することができる。

画像縮小部１０２は、入力画像を縮小して縮小画像を生成して、１パス目の符号化を行う符号部１０３に出力する。縮小画像は、例えば、図４−１に示すように、入力画像を間引きする方法や（例えば、１／２間引き、１／４間引き、１／８間引き）、図４−２に示すように、入力画像を切り出す方法を使用して生成することができる。

符号化部１０３は、縮小画像を使用して１パス目の符号化を行い、その符号化結果（符号化後の符号量、および動きベクトル・周波数分布・前ピクチャと現ピクチャの差分絶対値等）を制御手段１０７に出力する。遅延部１０４Ａ〜Ｄは、分割画像Ａ〜Ｄをそれぞれ遅延させて、２パス目の符号化を行う符号化部１０５Ａ〜１０５Ｄに出力する。

符号化部１０５Ａ〜１０５Ｄは、それぞれ制御手段１０７で割り当てられた符号量で分割画像Ａ〜Ｄを符号化して、符号化情報をビットストリーム結合部１０６に出力する。ビットストリーム結合部１０６は、分割画像Ａ〜Ｄの符号化情報を結合して符号化ストリームを外部に出力する。

制御手段１０７は、符号化部１０３および符号化部１０５Ａ〜Ｄの制御を行い、具体的には、符号化部１０３が１パス目の符号化を行う際に得られる符号化結果（符号化後のデータ量、動きベクトル、周波数分布、前ピクチャと現ピクチャの差分絶対値など）を使用して、分割画像Ａ〜Ｄの符号量を割り当てて符号化部１０５Ａ〜Ｄに設定する。例えば、図５に示すような画像の場合には、分割画像Ｃに符号量を多く配分し、分割画像Ａ、Ｂ、Ｄについては符号量の配分を少なくする。

なお、符号化部１０３は、符号化結果として、符号量の情報に加えて、シーンチェンジ情報やＩ、Ｐ、Ｂピクチャの指定情報等を制御手段１０７に出力することにしてもよい。この場合、制御手段１０７は、符号化部１０３から入力されるシーンチェンジ情報やＩ、Ｐ、Ｂピクチャの指定情報等に基づいて符号化部１０５Ａ〜１０５Ｄの他の符号化パラメータを設定することにしてもよい。

また、制御手段１０７は、１パス目の符号化を行う際に得られる今回（ｎ枚目）および過去（１〜ｎ−１枚目）の符号化結果並びに過去（１〜ｎ−１枚目）の２パス目の符号化結果の統計値に基づいて、今回（ｎ枚目）の分割画像Ａ〜Ｄの符号量を割り当てることにしてもよい。ここで、参照する過去のフレームは何枚でもよい。

図６は、上記構成の動画像符号化装置１００の処理フローを示す図である。図６において、まず、入力画像が画像分割部１０１および画像縮小部１０２に入力される。１パス目では、入力画像が画像縮小部１０２で縮小されて縮小画像が生成される（Ｓ１）。その縮小画像は符号化部１０３で１パス目の符号化が行われる（Ｓ２）。符号化部１０３は、その１パス目の符号化が行われる際の符号化結果を制御手段１０７に出力する（Ｓ３）。

一方、２パス目では、入力画像が画像分割部１０１で４分割されて分割画像Ａ〜Ｄが生成される（Ｔ１）。分割画像Ａ〜Ｄは遅延部１０４Ａ〜１０４Ｄで１パス目の処理が終了するまで遅延される（Ｔ２）。

制御手段１０７は、符号化部１０３から入力される１パス目の符号化結果に基づいて、分割画像Ａ〜Ｄの符号量を割り当てて、符号化部１０５Ａ〜１０５Ｄに設定する（Ｔ３）。符号化部１０５Ａ〜１０５Ｄに入力される分割画像Ａ〜Ｄは、割り当てられた符号量で２パス目の符号化が行われ（Ｔ４）、各分割画像Ａ〜Ｄの符号化情報はビットストリーム結合部１０６で結合されて符号化ストリームとして外部に出力される（Ｕ１）。

図７は、制御手段１０７の符号量決定方法の一例を説明するための図である。図７において、（１）２パス目では、１パス目で生成された符号量のｍ倍（ｍ：分割数、実施例では４倍）を割り当てることとし、（２）その後、２パス目で実際に生成された符号量と、前提となっている目標ビットレート（例えば、３００００ｂｉｔ／枚）からｍを調整していく。（３）１パス目の縮小画像における分割画像に対応する各部の複雑度に基づいて、２パス目の分割画像に対して符号量を配分する。複雑度は、例えば、ピクセル毎の近隣ピクセルとの差の絶対値の総和や、１パス目の符号化結果での高周波成分の多さなどから算出することができる。なお、参照する過去のフレーム数は幾つでもよい。

以上説明したように、上記実施例に係る動画像符号化装置１００によれば、入力画像を縮小して縮小画像を生成する縮小画像部１０２と、縮小画像を使用して１パス目の符号化を行う符号化部１０３と、入力画像を分割して複数の分割画像Ａ〜Ｄを生成する画像分割部１０１と、分割画像Ａ〜Ｄをそれぞれ遅延させる遅延部１０４Ａ〜Ｄと、制御手段１０７で割り当てられた符号量で、遅延部１０４Ａ〜Ｄから入力される分割画像Ａ〜Ｄに対して、それぞれ２パス目の符号化を行う符号化部１０５Ａ〜Ｄと、１パス目の符号化結果を使用して、分割画像Ａ〜Ｄの符号量を割り当てる制御手段１０７とを備えており、１パス目で入力画像の縮小画像を符号化しているので、１パス目に使用する符号化部の規模を小規模として低コストな構成とすることができ、これにより、動画像符号化装置を小規模かつ低コストな構成とすることができる。また、各分割画像毎に符号量を独立して割り当てることができ、各分割画像の符号化後の符号量を精度よく制御でき、また、画像品質を高品質に保つことができる。

付言すると、本実施例の動画像符号化装置１００は、通常の２パス方式に比べて部品点数を削減し、低コスト化を実現できると共に、リアルタイム性と高画質化を同時に達成することができる。また、リアルタイムエンコードではオフラインエンコードと比べて効率が落ちるが、本実施例の動画像符号化装置１９９は、かかる問題を安価に緩和することができる。また、本実施例の動画像符号化装置１００は、完全な２パスエンコードでないにもかかわらず、２パスエンコードと同等の効果を得ることができ、符号量配分精度を向上でき、符号量配分を誤ってマクロブロックの最後で符号量が足りなくなることによる画質劣化を防止することができる。

なお、上記実施例では、画像分割部１０１で画像を４分割する場合について説明したが、本発明は、これに限られるものではなく、画像の分割数はいくつとしてもよい。

また、原画像サイズをリアルタイムで符号化可能な符号化器がある場合には、２パス目において、画像分割部を省略して原画像サイズのまま符号化し、遅延部として、原画像サイズを保存できる大容量のものを使用することにしてもよい。

また、本実施例に係る動画像符号化装置１００の構成例は上記図２の構成に限られるものではなく、上記動画像符号化装置１００の機能を実現するためのプログラムを図８に示したコンピュータ読み取り可能な記録媒体２０７に記録して、この記録媒体２０７に記録されたプログラムを同図に示したコンピュータ２００に読み込ませ、実行することにより各機能を実現してもよい。

同図に示したコンピュータ２００は、上記プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、キーボード、マウス等の入力装置２０２と、各種データを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３と、演算パラメータ等を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０４と、記録媒体２０７からプログラムを読み取る読取装置２０５と、ディスプレイ、プリンタ等の出力装置２０６とから構成されている。

ＣＰＵ２０１は、読取装置２０５を経由して記録媒体２０７に記録されているプログラムを読み込んだ後、プログラムを実行することにより、前述した機能を実現する。なお、記録媒体２０７としては、光ディスク、フレキシブルディスク、ハードディスク等が挙げられる。

以上のように、本発明に係る動画像符号化装置、動画像符号化方法、および動画像符号化用プログラムは、動画像符号化機能を搭載した各種装置に有用であり、特に、ＨＤＴＶエンコーダ等に適している。

本発明の実施の形態に係る動画像符号化装置の構成例を示す図である。 本発明の一実施例に係る動画像符号化装置の構成例を示す図である。 画像分割部の画像の分割方法を説明するための図である。 画像分割部の画像の分割方法を説明するための図である。 画像分割部の画像の分割方法を説明するための図である。 画像縮小部の画像縮小方法を説明するための図である。 画像縮小部の画像縮小方法を説明するための図である。 画像の一例を示す図である。 図２の動画像符号化装置の処理フローを示す図である。 制御手段の符号量決定方法の一例を説明するための図である。 本発明の他の実施例に係る動画像符号化装置の構成例を示す図である。 分割符号化方式および２パス符号化方式を使用した従来の動画像符号化装置の構成例を示す図である。

符号の説明

１０ 動画像符号化装置
１１ 縮小画像生成手段
１２ 第１の符号化手段
１３ 遅延手段
１４ 第２の符号化手段
１５ 制御手段
１００ 動画像符号化装置
１０１ 画像分割部
１０２ 画像縮小部
１０３ 符号化部
１０４Ａ〜Ｄ 遅延部
１０５Ａ〜Ｄ 符号化部
１０６ ビットストリーム結合部
１０７ 制御手段
２００ コンピュータ
２０１ ＣＰＵ
２０２ 入力装置
２０３ ＲＯＭ
２０４ ＲＡＭ
２０５ 読取装置
２０６ 出力装置
２０７ 記録媒体
３０１ 画像分割部
３０２Ａ〜Ｄ 符号化部
３０３Ａ〜Ｄ 遅延部
３０４Ａ〜Ｄ 符号化部
３０５ ビットストリーム結合部
３０６ 制御手段

Claims (6)

1. １パス目の符号化結果を使用して、２パス目の符号化を行う動画像符号化装置において、
   入力画像を縮小して縮小画像を生成する縮小画像生成手段と、
   前記縮小画像を使用して１パス目の符号化を行う第１の符号化手段と、
   前記入力画像を遅延させる遅延手段と、
   前記１パス目の符号化結果を使用して、前記入力画像の各部の符号量を割り当てる制御手段と、
   前記制御手段で割り当てられた符号量で、前記遅延手段から入力される入力画像に対して、２パス目の符号化を行う第２の符号化手段と、
   を備えたことを特徴とする動画像符号化装置。
2. 前記入力画像を分割して複数の分割画像を生成する画像分割手段を備え、
   前記遅延手段は、前記画像分割手段で分割された複数の分割画像を遅延させ、
   前記制御手段は、前記１パス目の符号化結果を使用して、各分割画像の符号量を割り当て、
   前記第２の符号化手段は、前記制御手段で割り当てられた符号量で、前記遅延手段から入力される複数の分割画像に対して、それぞれ２パス目の符号化を行うことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記制御手段は、ｎ枚目および過去の１パス目の符号化結果並びに過去の２パス目の符号化結果の統計値を使用して、ｎ枚目の各分割画像の符号量を割り当てることを特徴とする請求項２に記載の動画像符号化装置。
4. 前記画像分割手段は、前記入力画像の複雑度に応じて分割方法を異ならせることを特徴とする請求項２または請求項３に記載の動画像符号化装置。
5. １パス目の符号化結果に基づいて、２パス目の符号化を行う動画像符号化方法において、
   入力画像を縮小して縮小画像を生成する縮小画像生成工程と、
   前記縮小画像を使用して１パス目の符号化を行う第１の符号化工程と、
   入力画像を遅延させる遅延工程と、
   前記１パス目の符号化結果を使用して、前記入力画像の各部の符号量を割り当てる制御工程と、
   前記制御工程で割り当てられた符号量で、前記遅延工程から入力される入力画像に対して、２パス目の符号化を行う第２の符号化工程と、
   を備えたことを特徴とする動画像符号化方法。
6. コンピュータに、１パス目の符号化結果に基づいて、２パス目の符号化を行わせる動画像符号化用プログラムにおいて、
   入力画像を縮小して縮小画像を生成する縮小画像生成工程と、
   前記縮小画像を使用して１パス目の符号化を行う第１の符号化工程と、
   入力画像を遅延させる遅延工程と、
   前記１パス目の符号化結果を使用して、前記入力画像の各部の符号量を割り当てる制御工程と、
   前記制御工程で割り当てられた符号量で、前記遅延工程から入力される入力画像に対して、２パス目の符号化を行う第２の符号化工程と、
   をコンピュータに実行させることを特徴とする動画像符号化用プログラム。

Images