JP2006340183A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】 画像を分割し複数の符号化部を用いて符号化する場合に、符号化処理による分割画像間での画質のばらつきを抑制する。
【解決手段】 分配器１２により入力画像を所定領域単位に分割して複数の符号化部１３、１４により順次符号化する場合に、符号化部１３、１４での符号化結果を発生符号解析部１５により解析し、その解析結果に基づいて、符号化制御部１６により次の所定領域の符号化パラメータを算出して符号化部１３、１４に供給し設定するようにして、符号化部１３、１４に同一の符号化パラメータを設定し、分割画像間での画質のばらつきを抑制できるようにする。
【選択図】 図１

Description

本発明は、符号化器を複数用いて映像信号を符号化する画像符号化装置及び画像符号化方法に関し、特に、画像記録装置や画像記録再生装置に用いて好適なものである。

近年、高画質のデジタル映像信号であるＨＤＴＶ（High Definition Television）方式を用いたビデオカメラが製品化され始めている。大切なシーンを高画質で記録しデジタル映像として半永久的に保存するというニーズは、すでに浸透し始めている。

このような機器では、記録時においてはＭＰＥＧ（Moving Picture Experts Group）規格に基づいて圧縮符号化されたビデオストリームで記録媒体に映像を保存する。ここで、ＭＰＥＧ２は、動画像を構成する「フレーム」画像を「マクロブロック」と呼ばれる１６×１６画素のブロックに分割して、各マクロブロック単位で時間的に前又は後に所定のフレームはなれた参照画像と符号化画素との間で「動きベクトル」と呼ばれる動き量を求め、この動き量を基に参照画像から符号化画像を構成する。ＭＰＥＧ規格は、「動き補償予測」技術と、動き補償予測の誤差信号又は符号化画素そのものに対し、直交変換の一種であるＤＣＴ（離散コサイン変換）を用いて情報量を圧縮する「変換符号化」技術との２つの画像符号化の要素技術をベースに規定されている。

しかし、現行のＳＤＴＶ（Standard Definition Television）方式に準じた符号化を行う符号化部は、単体で処理可能な映像信号の画素数が限られているので、ＨＤＴＶ方式の映像信号を単体で処理することができない。そこで、複数の符号化部を用意するとともに、入力段において各符号化部で処理可能な画素数とするように入力映像信号を分割して各符号化部により分割処理を行っている。

図５を用いて、複数の符号化部を用いた映像信号の圧縮符号化処理における従来例について説明する。図５は、複数の符号化部を有する画像符号化装置の構成を示すブロック図である。

図５において、５１は原画像Ｓ１が入力される原画像入力部であり、５２は原画像Ｓ１を水平方向にｎ個に分割し（図６参照）、これら分割画像を各符号化部に転送する分配器である。５３ａ〜５３ｎは、分配器５２によってｎ個に分割された映像信号（分割画像）を符号化する符号化部であり、入力された画像をブロック単位で符号化処理する。５４は符号化部５３ａ〜５３ｎでの符号化処理により得られた符号化データを１つにまとめる合成部であり、５５は合成部５４において１つにまとめられた符号化データＳ２を外部に出力する出力インタフェース（出力Ｉ／Ｆ）である。

図５に示した符号化部５３ａ〜５３ｎは、分配器５２によって分割され分配される画像をブロック単位で符号化する。符号化部５３ａ〜５３ｎは、ある１つのブロックの符号化処理を終えると、その発生符号量及び平均Ｑスケールに基づいて次のブロックの符号化に対する目標符号量及び目標Ｑスケールなどを算出し、それらを用いて新たなブロックの符号化処理を開始する。このようにして、符号化部５３ａ〜５３ｎは、複数のブロックを順次符号化する（図６（Ａ）参照。）。そして、各符号化部５３ａ〜５３ｎが分配器５２より分配された画像をすべて符号化し、得られた符号化データが合成部５４で合成されると、図６（Ｂ）に示したように１つにまとめられる。

上述した符号化部５３ａ〜５３ｎのように符号化処理を行うと、分配器５２により分配された分割画像ａ〜ｎ内はブロック単位に目標符号量や目標Ｑスケールを算出し、それらを次のブロックの符号化処理に用いている。そのため、分割画像ａ〜ｎ内では、Ｑ値やブロックあたりの発生符号量が急変することが無く、ばらつきがあまり目立たない。通常、１枚の画像を分割画像ａ〜ｎに分割せずに１つの符号化部により符号化する場合も、上述のようにしてブロック単位で符号化処理を行うことでＱ値やブロックあたりの発生符号量のばらつきを抑えている。

ところが、上述したような複数の符号化部を用いた符号化処理では、分割された画像間での情報のやり取りが行われない。そのため、各分割画像内ではＱ値やブロックあたりの発生符号量が急変することが無く、ばらつきがあまり目立たないが、分割画像の境界ではＱ値やブロックあたりの発生符号量が大きく食い違うことがあり、画像の品質が低下してしまうことがあった。特に、少ない符号化部を用いた符号化処理では、入力された原画像を細かく分割しないので、分割画像の境界ではＱ値やブロックあたりの発生符号量が大きく食い違い、復号した場合には画像に線が入っているように使用者に見えるなど、見苦しい画像となってしまうことがあった（例えば、特許文献１参照。）。

特開平８−０７９７０１号公報

上述した従来技術の構成では、画像を水平方向にｎ分割して、分割された画像を各符号化部が符号化する際、各符号化部が各々の分割された画像内でのレート制御やＱ制御を行うため、画像内における分割の境界でＱ値やブロックあたりの割り当て符号量が異なってしまっていた。そのため、画像内における分割の境界で画質が急変する可能性があり、使用者は、画像内における分割の境界付近で、復号再生された映像に線が入っているように見えてしまうという問題があった。

本発明は、このような問題に鑑みてなされたものであり、画像を分割して複数の符号化部を用いて符号化する場合に、符号化処理による分割画像間での画質のばらつきを抑制できるようにすることを目的とする。

本発明の画像符号化装置は、所定領域単位に分割された入力された画像を順次符号化する複数の符号化手段と、上記複数の符号化手段より出力される符号化データを１つに合成して出力する合成手段と、上記各符号化手段より符号化結果が供給され、符号化結果を解析する符号解析手段と、上記符号解析手段による解析結果に基づいて、次の所定領域の符号化パラメータを算出し、上記複数の符号化手段に供給する符号化制御手段とを備えることを特徴とする。
本発明の画像符号化装置は、供給される画像を符号化する複数の符号化手段と、入力された画像を所定領域単位で分割し上記複数の符号化手段に供給する分配手段と、上記各符号化手段の符号化結果を解析する符号解析手段と、上記符号解析手段による解析結果を基に次の所定領域の符号化パラメータを算出し、上記複数の符号化手段に供給する符号化制御手段と、上記複数の符号化手段より出力される符号化データを１つに合成して出力する合成手段とを備え、上記符号化制御手段は、上記複数の符号化手段により符号化される画像の画質が上記所定領域間でばらつかないよう上記符号化パラメータを制御することを特徴とする。
本発明の画像符号化方法は、所定領域単位に分割された入力された画像を順次符号化する複数の符号化手段を用いた画像符号化方法であって、上記各符号化手段より供給される符号化結果を解析する符号解析工程と、上記符号解析工程による解析結果に基づいて、次の所定領域の符号化パラメータを算出し、上記複数の符号化手段に供給する符号化制御工程と、上記複数の符号化手段より出力される符号化データを１つに合成して出力する合成工程とを有することを特徴とする。
本発明のプログラムは、所定領域単位に分割された画像を順次符号化する複数の符号化手段を用いた入力画像の符号化処理に係る制御をコンピュータに実行させるためのプログラムであって、上記各符号化手段より供給される符号化結果を解析する符号解析ステップと、上記符号解析ステップでの解析結果に基づいて、次の所定領域の符号化パラメータを算出し、上記複数の符号化手段に供給する符号化制御ステップと、上記複数の符号化手段より出力される符号化データを１つに合成して出力する合成ステップとをコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、上記プログラムを記録したことを特徴とする。

本発明によれば、入力画像を所定領域単位に分割して複数の符号化手段により符号化する場合に、複数の符号化手段での符号化結果に基づいて次の所定領域の符号化パラメータを算出し複数の符号化手段に供給することで、所定領域単位に分割された画像間での画質のばらつきを抑制することができ、画像分割による境界付近で映像に線が入っているように見えることがなく、使用者が良好な映像を楽しむことが可能になる。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態による画像符号化装置の構成例を示すブロック図である。以下に説明する本実施形態による画像符号化装置は、例えば、画像を圧縮符号化して記録する画像記録装置や、画像を圧縮符号化して記録する機能とその圧縮符号化された画像を復号して再生する機能を有する画像記録再生装置に適用することが可能である。

本実施形態による画像符号化装置は、映像信号の圧縮符号化処理を行う、すなわち画像を符号化するための符号化部を複数有する。なお、以下では説明の簡略化のため、２つの符号化部を用いた場合を一例として説明するが、符号化部は３つ以上であっても良い。
図１に示すように、本実施形態による画像符号化装置は、原画像入力部１１、分配器１２、符号化部１３、１４、発生符号解析部１５、符号化制御部１６、合成部１７、及び出力インタフェース（出力Ｉ／Ｆ）１８を有する。

原画像入力部１１は、原画像Ｓ１を入力するためのものである。分配器１２は、原画像入力部１１より入力された原画像Ｓ１を水平方向Ｎスライス単位（Ｎは自然数）の画像に、すなわち原画像Ｓ１をＮスライス単位（水平方向）に分割し、画像の終端が来るまで複数の符号化部１３、１４に繰り返し転送する。

符号化部１３、１４は、分配器１２により分割されたＮスライス単位の映像信号をそれぞれ符号化する。発生符号解析部１５は、符号化部１３、１４での符号化結果を解析するものであり、符号化部１３、１４が出力する符号列の解析を行う。

符号化制御部１６は、発生符号解析部１５により解析された情報を基に、次のＮスライスの映像信号を符号化するための目標符号量や目標Ｑスケールを算出し、符号化部１３、１４に再び設定する。言い換えれば、符号化制御部１６は、発生符号解析部１５での解析結果を基に次のＮスライスでの符号化処理に用いる符号化パラメータを算出して、それらを符号化部１３、１４に供給し設定する。

合成部１７は、符号化部１３、１４により符号化されたデータを１つにまとめる。出力Ｉ／Ｆ１８は、合成部１７にて１つにまとめられた符号化データＳ２を外部に出力するためのものである。

次に、本実施形態の画像符号化装置による複数の符号化部を用いた映像信号の圧縮符号化処理について説明する。図２は、上記圧縮符号化処理における１枚の原画像の圧縮符号化手順を示すフローチャートである。

フレーム符号化が開始すると、ステップＳ２１にて、入力された原画像Ｓ１が水平方向にＮスライス単位に分配器１２より分割され、符号化部１３、１４に転送される。続いて、ステップＳ２２にて、符号化部１３は、ステップＳ２１において分配器１２より転送されたＮスライス単位の分割画像に符号化処理を施して符号化する。また、ステップＳ２３にて、符号化部１４は、ステップＳ２１において分配器１２より転送されたＮスライス単位の分割画像を符号化する。

ステップＳ２４にて、ステップＳ２２及びＳ２３において行われた符号化部１３、１４での符号化結果を発生符号解析部１５で解析する。より詳細には、発生符号解析部１５は、符号化部１３、１４がＮスライスの分割画像の符号化を行った際の発生符号量や平均Ｑスケールを解析し、その解析結果を符号量制御部１６に通知する。

ステップＳ２５にて、符号化制御部１６は、ステップＳ２４において発生符号解析部１５により解析された解析情報を基に、符号化部１３、１４が次のＮスライス分割画像の符号化を行うための目標符号量や目標Ｑスケールなどを算出し、それらを符号化部１３、１４へと再び設定する。具体的には、符号化制御部１６は、発生符号解析部１５より通知された符号化部１３、１４の発生符号量や平均Ｑスケールから、それぞれ次のＮスライス分割画像の符号化に対する目標符号量や目標Ｑスケールを算出し、その平均値を符号化部１３、１４へと設定する。

このようにすることで、符号化制御部１６によりＮスライスごとに符号化部１３、１４に対して設定される目標符号量や目標Ｑスケールが符号化部１３、１４間で同一の値を持つので、少ない符号化部で画像の符号化処理を分割して行った場合でも、分配器１２より分配される分割画像の境界でＱ値やブロックあたりの割り当て符号量が大きく食い違うことがない。そのため、分割画像間での画質のばらつき（符号化処理により生じうる画質劣化の符号化部間でばらつき）を抑制することができ、使用者は、画像内における分割の境界付近で映像に線が入っているように見えるようなことがなく、良好な映像を楽しむことができる。

ステップＳ２６にて、フレーム全体に対する処理が終了しているか否かを判定する。その結果、フレームに対する処理が終了している場合にはフレーム符号化を終了する。
一方、フレームに対する処理が終了していない、つまり未処理のＮスライス単位の分割画像が存在する場合には、ステップＳ２１に戻り、次のＮスライス単位の分割画像を符号化部１３、１４へと転送する。これにより、本実施形態による画像符号化装置では、Ｎスライス単位の分割画像の符号化が終了した後、次のＮスライス分割画像の符号化を行うための目標符号量や目標Ｑスケールなどの符号化パラメータが符号化部１３、１４に設定されることなく、次のＮスライス分割画像の符号化が行われることはない。したがって、符号化部１３、１４における符号化タイミングを同期させることができる。

なお、図２に示したフローチャートにおいては、ステップＳ２２の符号化部１３による符号化処理とステップＳ２３の符号化部１４による符号化処理は順に行うようにしているが、実際には、ステップＳ２２の符号化部１３による符号化処理とステップＳ２３の符号化部１４による符号化処理とを同時に実行、すなわち並列して処理するようにしても良い。

次に、符号化部１３、１４におけるＮスライス単位の分割画像の符号化処理について説明する。図３は、符号化部１３、１４における符号化処理の流れを示すフローチャートである。この図３に示す処理が、図２に示したステップＳ２２、Ｓ２３においてそれぞれ行われる。

まず、符号化処理が開始されると、ステップＳ３１にて、符号化部１３（１４）は、分配器１２より転送されたＮスライス単位の分割画像を受け取る。ステップＳ３２にて、入力されたＮスライス単位の分割画像に対して、ブロック単位で符号化を行う。このブロック単位の符号化は、目標符号量や目標Ｑスケールをブロック単位に算出し、次のブロックの符号化にそれらを用いているため、ブロック間で、Ｑ値やブロックあたりの発生符号量が急変することが無く、ばらつきがあまり目立たない。

ステップＳ３３にて、Ｎスライス単位の分割画像の符号化処理が終了したか否かを判定する。その結果、Ｎスライス単位の分割画像の符号化処理が終了していたらステップＳ３４へと分岐し、終了していなければステップＳ３２に戻り引き続きブロック単位での符号化を行う。

ステップＳ３４にて、符号化部１３（１４）は、Ｎスライス単位の分割画像の符号化結果を発生符号解析部１５へと通知し、Ｎスライス単位の分割画像の符号化処理を終了する。ここで、発生符号解析部１５に通知される符号化結果には、発生符号量や平均Ｑスケールなどが含まれる。

以上詳しく説明した本実施形態による画像符号化装置での符号化処理では、入力された原画像（映像信号）は、分配器１２でＮスライス単位に分割して符号化部１３、１４に転送される。

分配器１２は、図４（Ａ）に示すように、０〜（Ｎ−１）スライスの映像信号を符号化部１３に送信し、Ｎ〜（２Ｎ−１）スライスの映像信号を符号化部１４に送信する。そして、符号化部１３、１４でのＮスライス単位の映像信号の符号化処理が終了すると、分配器１２は、図４（Ｂ）に示すように、（２Ｎ）〜（３Ｎ−１）スライスの映像信号を符号化部１３に送信し、（３Ｎ）〜（４Ｎ−１）スライスの映像信号を符号化部１４に送信する。このようにして、符号化部１３、１４でのＮスライス単位の映像信号の符号化処理が終了すると、次に処理すべきＮスライス単位の映像信号が分配器１２から符号化部１３、１４に順次送信される。

本実施形態によれば、原画像入力部１１より入力された原画像Ｓ１をＮスライス単位に分配器１２により分割して、各々の分割画像を符号化部１３、１４により符号化する。この原画像Ｓ１の符号化処理において、発生符号解析部１５により符号化部１３、１４の符号化結果を解析し、その解析結果に基づき符号化制御部１６により次の分割画像の符号化に係る目標符号量や目標Ｑスケール値を算出して各符号化部１３、１４に設定する。このように、符号化制御部１６が符号化部１３、１４に同一の目標符号量や目標Ｑスケール値をＮスライス単位毎に設定するので、符号化部１３、１４間で符号化パラメータの共有化を図ることができ、画像を分割して複数の符号化部１３、１４により符号化を行っているにもかかわらず、分割された画像間でのＱ値等のばらつきを抑えて符号化することが可能となる。したがって、符号化部１３、１４における符号化パラメータの違いに起因して符号化処理により生じうる画質劣化等の符号化部間でのばらつきを小さくし、分割画像間での画質のばらつきを抑制することができ、使用者は、画像内における分割の境界付近で映像に線が入っているように見えるようなことがなく、良好な映像を楽しむことができる。

なお、上述した実施形態では、２つの符号化部を有する画像符号化装置を一例として示したが、本発明はこれに限定されるものではなく、画像符号化装置が３つ以上の複数の符号化部を有し構成されていても良く、本発明の範疇に含まれる。
また、上述した実施形態では、入力される原画像をＮスライス単位に分割して各符号化部で符号化処理するようにしているが、入力される原画像をマクロブロック単位に分割して各符号化部で符号化処理するようにしても良く、本発明の範疇に含まれる。

（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体は本発明を構成する。また、そのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の一実施形態による画像符号化装置の構成例を示す図である。 本実施形態における符号化処理の流れを示すフローチャートである。 本実施形態における符号化処理部の処理動作を示すフローチャートである。 本実施形態における符号化処理の概念図である。 複数の符号化部を有する従来の画像符号化装置の構成を示す図である。 画像を複数に分割して行う符号化処理の概念図である。

符号の説明

１１ 原画像入力部
１２ 分配器
１３、１４ 符号化部
１５ 発生符号解析部
１６ 符号化制御部
１７ 合成部
１８ 出力インタフェース

Claims (14)

1. 所定領域単位に分割された入力された画像を順次符号化する複数の符号化手段と、
   上記複数の符号化手段より出力される符号化データを１つに合成して出力する合成手段と、
   上記各符号化手段より符号化結果が供給され、符号化結果を解析する符号解析手段と、
   上記符号解析手段による解析結果に基づいて、次の所定領域の符号化パラメータを算出し、上記複数の符号化手段に供給する符号化制御手段とを備えることを特徴とする画像符号化装置。
2. 供給される画像を符号化する複数の符号化手段と、
   入力された画像を所定領域単位で分割し上記複数の符号化手段に供給する分配手段と、
   上記各符号化手段の符号化結果を解析する符号解析手段と、
   上記符号解析手段による解析結果を基に次の所定領域の符号化パラメータを算出し、上記複数の符号化手段に供給する符号化制御手段と、
   上記複数の符号化手段より出力される符号化データを１つに合成して出力する合成手段とを備え、
   上記符号化制御手段は、上記複数の符号化手段により符号化される画像の画質が上記所定領域間でばらつかないよう上記符号化パラメータを制御することを特徴とする画像符号化装置。
3. 上記符号解析手段は、上記所定領域単位での発生符号量を解析することを特徴とする請求項１又は２記載の画像符号化装置。
4. 上記符号解析手段は、上記所定領域単位での平均Ｑスケールを解析することを特徴とする請求項１〜３の何れか１項に記載の画像符号化装置。
5. 上記符号化制御手段は、上記所定領域単位の目標符号量を上記符号化パラメータとして上記符号化手段に供給することを特徴とする請求項１〜４の何れか１項に記載の画像符号化装置。
6. 上記符号化制御手段は、上記所定領域単位の目標Ｑスケールを上記符号化パラメータとして上記符号化部に供給することを特徴とする請求項１〜５の何れか１項に記載の画像符号化装置。
7. 上記所定領域は、スライスを単位とすることを特徴とする請求項１〜６の何れか１項に記載の画像符号化装置。
8. 上記所定領域は、マクロブロックを単位とすることを特徴とする請求項１〜６の何れか１項に記載の画像符号化装置。
9. 上記符号化制御手段は、上記複数の符号化手段に同一の上記符号化パラメータを供給することを特徴とする請求項１〜８の何れか１項に記載の画像符号化装置。
10. 上記符号化制御手段は、上記符号解析手段による解析結果を基に算出した符号化パラメータの平均値を上記複数の符号化手段に供給することを特徴とする請求項１〜９の何れか１項に記載の画像符号化装置。
11. 上記符号化手段は、供給された画像データの符号化を終えた後、上記符号化制御手段より次の符号化パラメータの設定が行われるまで符号化を禁止することで、上記各符号化手段の符号化タイミングを同期させることを特徴とする請求項１〜１０の何れか１項に記載の画像符号化装置。
12. 所定領域単位に分割された入力された画像を順次符号化する複数の符号化手段を用いた画像符号化方法であって、
    上記各符号化手段より供給される符号化結果を解析する符号解析工程と、
    上記符号解析工程による解析結果に基づいて、次の所定領域の符号化パラメータを算出し、上記複数の符号化手段に供給する符号化制御工程と、
    上記複数の符号化手段より出力される符号化データを１つに合成して出力する合成工程とを有することを特徴とする画像符号化方法。
13. 所定領域単位に分割された画像を順次符号化する複数の符号化手段を用いた入力画像の符号化処理に係る制御をコンピュータに実行させるためのプログラムであって、
    上記各符号化手段より供給される符号化結果を解析する符号解析ステップと、
    上記符号解析ステップでの解析結果に基づいて、次の所定領域の符号化パラメータを算出し、上記複数の符号化手段に供給する符号化制御ステップと、
    上記複数の符号化手段より出力される符号化データを１つに合成して出力する合成ステップとをコンピュータに実行させるためのプログラム。
14. 請求項１３記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images