JP2006345064A - 符号化装置および符号化方法 - Google Patents

Abstract

【課題】 複数の符号化部の各符号化部の符号化時間に差が生じても処理できる符号化装置／符号化方法に関するものである。
【解決手段】 本発明の構成は、入力画像を分割する処理を含む前処理を行う前処理部２０１、分割画像をスライスとして並列に符号化し、符号化されたスライスごとの部分ストリームを出力し、分割画像を符号化したときの発生符号量情報を出力する符号化部２０２〜２０４、分割ストリーム結合するストリーム結合部２０５、出力されたストリームの合計長を取得し、ストリームのビットレートを一定に保つように、次回符号化の量子化パラメータを決定するレート制御部２０６、分割画像の送信バッファを行う送信バッファ部２０１Ａ、分割画像の受信バッファを行う受信バッファ部２０２Ｂ〜２０４Ｂ、残りバッファを推定する残りバッファ推定部２０７、符号化部２０２〜２０４から出力される発生符号量情報を受信する符号量情報受信部２０８を有する。
【選択図】 図１

Description

本発明は、符号化装置および符号化方法に関するものである。特に、本発明は、並列処理により、実時間で高解像度動画像を符号化する符号化装置／符号化方法に関するものである。

従来、画像の符号化に関する装置の一例は、特開平６−２９２１６２号公報に開示されるものがある。特開平６−２９２１６２号公報に記載される構成は、１画面を４分割にしたときの処理構成が記載され、図９に示される。

図９において、画像蓄積手段６０１で入力画像を分割し、符号化部（第１の符号化手段６０２〜第４の符号化手段６０５）で分割画像をスライスとして並列に符号化し、符号化されたスライスごとの分割ストリームを多重化手段６０６で一つのストリームに結合し出力する。リアルタイムにおけるエンコードにおいて、レート制御手段６０７は、出力されたストリームの合計長を取得し、ストリームのビットレートを一定に保つように、次回符号化の量子化パラメータを決定する。これらの手段の工程は、一画像の符号化ごとに繰り返される。

Ｔｅｘｔ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｍｏｄｅｌ Ｒｅｆｅｒｅｎｃｅ Ｅｎｃｏｄｉｎｇ Ｍｅｔｈｏｄｓ ａｎｄ Ｄｅｃｏｄｉｎｇ Ｃｏｎｃｅａｌｍｅｎｔ Ｍｅｔｈｏｄｓ， Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ａｎｄ ＩＴＵ−Ｔ ＶＣＥＧ Ｍｕｎｉｃｈ、 Ｇｅｒｍａｎｙ， Ｍａｒｃｈ， ２００４（以下、ＪＶＴと記載する）に関するリファレンスソフトには、固定ビットレートでのレート制御方法がある。この固定ビットレートでのレート制御方法は、１画面を４分割にしたときの一処理構成が図１０に示される。

図１０における処理構成は、複雑度計算手段７０１、第１の符号化手段７０２〜第４の符号化手段７０５、発生符号量情報受信７０６、実残りバッファ量の更新手段７０７、量子化パラメータの計算手段７０８、統計データの更新手段７０９、画像分割手段７１０を有する。量子化パラメータの計算手段７０８は、実残りバッファ量の更新手段７０７における残りバッファ量が多い場合には目標符号量を大きくし、残りバッファ量が少ない場合には目標符号量を小さくすることによって目標符号量を決定し、過去数十枚の画像の複雑度、目標符号量、発生符号量の組み合わせを母集団とする統計的データをもとに、当該画像の複雑度と目標符号量を説明変量とする回帰分析により、予測発生符号量を求め、予測発生符号量から、量子化パラメータを決定し、前画像の量子化パラメータからの変動が一定以内になるように量子化パラメータを補正することによって実現している。一画像の符号化が完了する度に、当該画像の画像の複雑度、目標符号量、発生符号量の組み合わせ統計データと残りバッファ量を更新する。統計データは、過去の数十枚分を環状バッファとして保持し、更新ごとに古い情報を破棄する。
特開平６−２９２１６２号公報 Ｔｅｘｔ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｍｏｄｅｌ Ｒｅｆｅｒｅｎｃｅ Ｅｎｃｏｄｉｎｇ Ｍｅｔｈｏｄｓ ａｎｄ Ｄｅｃｏｄｉｎｇ Ｃｏｎｃｅａｌｍｅｎｔ Ｍｅｔｈｏｄｓ， Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ａｎｄ ＩＴＵ−Ｔ ＶＣＥＧ Ｍｕｎｉｃｈ、 Ｇｅｒｍａｎｙ， Ｍａｒｃｈ， ２００４

従来技術には、以下のような問題点があった。複数の符号化手段で符号化するにあたって、各符号化手段にて処理される分割した画像の複雑さにより、図１１に示すように、図９で示した複数の符号化手段の各符号化手段（６０２〜６０５）の符号化時間［ｎ−１、ｎ、ｎ＋１、ｎ＋２］（８０１〜８０４）に差が生じ、最も時間かかる符号化手段の処理を待って次の画像を符号化する必要あり、また、レート制御処理の完了を待って次の画像の符号化が開始するため、この待ち時間が発生し演算器の利用効率を落とし、十分な符号化速度が得られない（図１１の四角の斜線部が、処理の待ち時間に相当）。また、実時間符号化にあたって、符号化時間が実時間以上にかかる画像が符号化した場合、該当画像の符号化を中断し出力動画の画像を欠落させる必要があった。さらに、高解像度画像を実時間で符号化するためには、符号化処理を行う演算器を高速、低遅延のバスで接続する必要があるが、高速、低遅延のバスを持つ装置はコストがかかってしまう。

かかる課題を解決するため、本発明による符号化装置は、入力された画像を第１の分割画像と第２の分割画像に分割する前処理部と、第１の分割画像を符号化して、符号化した第１の信号を出力する第１の符号化部と、第２の分割画像を符号化して、符号化した第２の信号を出力する第２の符号化部と、第１の信号と、第２の信号とを結合して、第３の信号を出力する結合部と、前処理部と第１の符号化部との間に、第１の分割画像のバッファする第１の送信バッファと第１の受信バッファと、前処理部と第２の符号化部との間に、第２の分割画像のバッファする第１の送信バッファと第２の受信バッファと、画像１枚以上前の画像の符号化が完了する前に当該画像の量子化パラメータを決定する決定部とを有し、第１の符号化部と第２の符号化部は、入力された画像が同一である第１の分割画像と第２の分割画像における符号化を、同一の量子化パラメータを用いて符号化する。

かかる課題を解決するため、本発明による符号化方法は、入力された画像を第１の分割画像と第２の分割画像に分割する第１のステップと、第１の分割画像を符号化して、符号化した第１の信号を出力する第２のステップと、第２の分割画像を符号化して、符号化した第２の信号を出力する第３のステップと、第１の信号と、第２の信号とを結合して、第３の信号を出力する第４のステップと、第１のステップにおいて第１の分割画像をバッファする第５のステップと、第２のステップにおいて第１の分割画像をバッファする第６のステップと、第１のステップにおいて第２の分割画像をバッファする第７のステップと、第３のステップにおいて第２の分割画像をバッファする第８のステップと、画像１枚以上前の画像の符号化が完了する前に当該画像の量子化パラメータを決定する第９のステップとを有し、第２のステップと第３のステップは、入力された画像が同一である第１の分割画像と第２の分割画像における符号化を、同一の量子化パラメータを用いて符号化する。

本発明による符号化装置／符号化方法によれば、符号化部の前後に受信・送信バッファが存在するため、符号化部は受信バッファの画像データを符号化して送信バッファに出力するという他の処理工程に依存しない方法と量子化パラメータを事前に決定しておく方法とにより、各分割画像の符号化開示時刻と符号化時間との関係において、各符号化部が分割画像ごとに、各符号化部間の符号化時間差に依存しない非同期符号化が可能となり、演算器の利用効率の高い符号化が可能となった。各ノードの接続に汎用のネットワーク、符号化部に汎用のコンピュータを利用し、実時間符号化が可能にもかかわらず、コストが安い装置でシステムを構築することができる。また、送受信バッファ量から符号化速度を検知する機能と量子化パラメータ再設定する機能を持つため、符号化時間が実時間を超える画像を符号化する場合に、次に符号化しようとする画像の量子化パラメータを大きくし、符号化速度を向上させる手段によって、送受信バッファのオーバーフローを抑制し、一時的な、画質の劣化と引き換えに、画像欠落のない符号化が可能となる。

（Ａ）第１の実施形態
（Ａ−１）第１の実施形態の構成
図１は、本発明の第１の符号化の構成を図示したものである。１０１は、第１の装置であり、前処理部などを含む。１０２は、第２の装置であり、第１の符号化部などを含む。１０３は、第３の装置であり、第２の符号化部などを含む。１０４は、第４の装置であり、第３の符号化部などを含む。１０５は、第５の装置であり、ストリーム結合部などを含む。

２０１は、入力画像を分割する処理を含む前処理を行う前処理部である。前処理部２０１は、さらに入力される画像の複雑度を計算する。

２０２は、分割画像をスライスとして並列に符号化する第１の符号化部である。第１の符号化部２０２は、符号化されたスライスごとの第１の部分ストリームを出力し、分割画像を符号化したときの第１の発生符号量情報を出力する。第１の符号化部２０２の符号化時間は、例えば、符号化時間２２１（図２）のような時間であるとする。ここで、ｎ−１、ｎ、ｎ−１、ｎ＋２、ｎ＋３は、各入力画像の画像番号に対応する。

２０３は、分割画像をスライスとして並列に符号化する第２の符号化部である。第２の符号化部２０３は、符号化されたスライスごとの第２の部分ストリームを出力し、分割画像を符号化したときの第２の発生符号量情報を出力する。第２の符号化部２０３の符号化時間は、例えば、符号化時間２２２（図２）のような時間であるとする。ここで、ｎ−１、ｎ、ｎ−１、ｎ＋２、ｎ＋３は、各入力画像の画像番号に対応する。

２０４は、分割画像をスライスとして並列に符号化する第３の符号化部である。第３の符号化部２０４は、符号化されたスライスごとの第３の部分ストリームを出力し、分割画像を符号化したときの第３の発生符号量情報を出力する。第３の符号化部２０４の符号化時間は、例えば、符号化時間２２３（図２）のような時間であるとする。ここで、ｎ−１、ｎ、ｎ−１、ｎ＋２は、各入力画像の画像番号に対応する。

２０５は、第１の分割ストリーム、第２の分割ストリーム、第３の分割ストリームを一つのストリームに結合し出力するストリーム結合部である。

２０６は、リアルタイムにおけるエンコードにおいて、出力されたストリームの合計長を取得し、ストリームのビットレートを一定に保つように、次回符号化の量子化パラメータを決定するレート制御部である。レート制御部２０６において、従来技術のレート制御手段６０７（図９）と異なるところは、符号化する入力画像から所定の数前の入力画像（１つ前の入力画像を除く）に係わるパラメータを用いて、次回符号化の量子化パラメータを決定する。

さらに、本発明の符号化の構成において、２０１Ａは、分割画像の送信バッファを行う送信バッファ部である。送信バッファ部２０１Ａは、画像ごとに、複数枚の画像を保持可能なバッファとして構成される。例えば、このバッファは、環状バッファにて構成される。

２０２Ｂ、２０３Ｂ、２０４Ｂは、非圧縮分割画像の受信バッファを行う受信バッファ部あり、各符号化部に対応して用意される。受信バッファ２０２Ｂ、受信バッファ２０３Ｂ、受信バッファ２０４Ｂは、複数枚の画像を保持可能なバッファとして構成される。例えば、このバッファは、環状バッファにて構成される。

２０２Ａ、２０３Ａ、２０４Ａは、部分ストリームの送信バッファを行う送信バッファ部あり、各符号化部に対応して用意される。送信バッファ部２０２Ａ、送信バッファ部２０３Ａ、送信バッファ部２０４Ａは、複数個のストリームを保持可能なバッファとして構成される。例えば、このバッファは、環状バッファにて構成される。

２０５Ｂは、部分ストリームの受信バッファを行う受信バッファ部である。受信バッファ部２０５Ｂは、複数個のストリームを保持可能なバッファとして構成される。例えば、このバッファは、環状バッファにて構成される。

２０７は、残りバッファ推定部である。残りバッファ推定部２０７は、次回符号化の量子化パラメータを決定するため、ストリーム結合部２０５で出力されるストリームの量、このストリームを用いて再生する場合に１画像において読み込まれるストリーム量、前処理部２０１から出力される画像の複雑度、レート制御部２０６において次回符号化の量子化パラメータを決定する際に用いる統計データなどを用いて、残りバッファ量を推定する。

２０８は、第１の符号化部２０２から出力される第１の発生符号量情報、第２の符号化部２０３から出力される第２の発生符号量情報、第３の符号化部２０４から出力される第３の発生符号量情報を受信する符号量情報受信部である。符号量情報受信部２０８は、符号化部の数だけ発生符号量情報を保持するバッファを内部に持つ。例えば、このバッファは、環状バッファにて構成される。

２０１Ａ−Ｓ、２０５−Ｓ、２０２−１−Ｓ、２０３−１−Ｓ、２０４−１−Ｓは、ネットワークで構成されて各部に接続される。２０１Ａ−Ｓ、２０５−Ｓ、２０４−Ｓ上の各データは、通信パケットとして転送される。

２０１−Ｓ、２０２Ｂ−Ｓ、２０２−Ｓ、２０３Ｂ−Ｓ、２０３−Ｓ、２０４Ｂ−Ｓ、２０４−Ｓ、２０５Ｂ−Ｓ、２０６−Ｓ、２０７−Ｓ、２０８−Ｓ、２０９−Ｓ、２１０−Ｓは、バスで構成され、各部に接続される。

（Ａ−２）第１の実施形態の動作
本発明の第１の符号化のフロー（特にレート制御のフロー）を説明する。

［ステップ：Ｓ１］前処理
図１において、前処理部２０１は、入力した画像に１ずつ増加する画像番号を付加し、１枚の画像２２６（図３）を３分割し、分割画像２２７〜分割画像２２８（図３）に画像番号とレート制御部２０６が決定した量子化パラメータを含む画像符号化条件を付加して送信バッファ部２０１Ａに出力する。また、前処理部２０１は、画像を入力し、この画像の複雑度を計算する。前処理［Ｓ１］は、後述される前処理［Ｓ１］、前処理［Ｓ１］を含む処理である。

［ステップ：Ｓ２］送信バッファ処理
図１において、送信バッファ部２０１Ａは、入力される画像とは非同期に、受信バッファ２０２Ｂ、受信バッファ２０３Ｂ、受信バッファ２０４Ｂへ分割画像を送信する。

［ステップ：Ｓ３］符号化処理
図１において、第１の符号化部２０２は、受信バッファ２０２Ｂに画像データが存在しない状態では受信バッファ２０２Ｂが画像を受信するまでに符号化処理を待ち、受信バッファ２０２Ｂに画像データが存在する状態では分割画像に付随した符号化条件で分割画像をスライスとして符号化、作成した分割ストリームを送信バッファ部２０２Ａへの出力し、第１の発生符号量情報に画像番号を付加して、符号量情報受信部２０８へ非同期にフィードバックする。送信バッファ部２０２Ａは、第１の符号化部２０２の符号化とは非同期に受信バッファ部２０５Ｂへ部分ストリームを送信する。

同様に、第２の符号化部２０３、送信バッファ部２０３Ａ、受信バッファ２０３Ｂは、第１の符号化部２０２、送信バッファ部２０２Ａ、受信バッファ２０２Ｂと同様かつそれぞれ非同期、かつ、同一画像番号の分割画像は同一の量子化パラメータで符号化するように処理する。第２の符号化部２０３は、受信バッファ２０３Ｂに画像データが存在しない状態では受信バッファ２０３Ｂが画像を受信するまでに符号化処理を待ち、受信バッファ２０３Ｂに画像データが存在する状態では分割画像に付随した符号化条件で分割画像をスライスとして符号化、作成した分割ストリームを送信バッファ部２０３Ａへの出力し、第２の発生符号量情報に画像番号を付加して、符号量情報受信部２０８へ非同期にフィードバックする。送信バッファ部２０３Ａは、第２の符号化部２０３の符号化とは非同期に受信バッファ部２０５Ｂへ部分ストリームを送信する。

同様に、第３の符号化部２０４、送信バッファ部２０４Ａ、受信バッファ２０４Ｂは、第１の符号化部２０２、送信バッファ部２０２Ａ、受信バッファ２０２Ｂと同様かつそれぞれ非同期、かつ、同一画像番号の分割画像は同一の量子化パラメータで符号化するように処理する。第３の符号化部２０４は、受信バッファ２０４Ｂに画像データが存在しない状態では受信バッファ２０４Ｂが画像を受信するまでに符号化処理を待ち、受信バッファ２０４Ｂに画像データが存在する状態では分割画像に付随した符号化条件で分割画像をスライスとして符号化、作成した分割ストリームを送信バッファ部２０４Ａへの出力し、第３の発生符号量情報に画像番号を付加して、符号量情報受信部２０８へ非同期にフィードバックする。送信バッファ部２０４Ａは、第３の符号化部２０４の符号化とは非同期に受信バッファ部２０５Ｂへ部分ストリームを送信する。受信バッファ部２０５Ｂが受信するバッファは、一画像分の部分ストリームがすべて受信された時点で、部分ストリームを整列し結合し、出力する。

［ステップ：Ｓ４］符号量情報受信処理
図１において、符号量情報受信部２０８は、分割画像の発生符号量情報（第１の発生符号量情報、第２の発生符号量情報、第３の発生符号量情報）と画像番号を非同期で受信する。一画像の全体発生符号量は、符号量情報受信部２０８に受信された分割画像の発生符号量情報（第１の発生符号量情報、第２の発生符号量情報、第３の発生符号量情報）から計算される。
［ステップ：Ｓ５］レート制御処理
図１において、レート制御部２０６は、符号量情報受信部２０８に対して残りバッファ量を推定させ、推定残りバッファ量を元に、量子化パラメータを決定する。

量子化パラメータの決定処理の詳細について、ステップ：Ｓ１１（図４）〜ステップ：Ｓ２０（図４）を用いて説明される。

［ステップ：Ｓ１１］符号化処理（図４）
符号化処理［Ｓ１１］（図４）は、符号化処理［Ｓ２］の処理より、第１の発生符号量情報、第２の発生符号量情報、第３の発生符号量情報を出力する。

［ステップ：Ｓ１２］符号量情報受信処理（図４）
符号量情報受信処理［Ｓ１２］（図４）は、符号量情報受信部２０８（図１）にて、非同期に複数の分割ストリームの発生符号量情報を受信し、図５のように、内部バッファに格納する。格納の仕方は、図５の左図（ａ）のように、各発生符号量情報毎（分割ストリーム１に関する第１の発生符号量情報２４２、分割ストリーム２に関する第２の発生符号量情報２４３、分割ストリーム３に関する第３の発生符号量情報２４４）に格納し、各発生符号量情報は、受信した発生符号量情報毎に格納し、図５の左図（ａ）では、受信した画像番号順となっている。

図５の左図（ａ）において、第１の発生符号量情報２４２では、２４５〜２４８のように４つの情報を格納できるようになっており、ここでは４つの第１の発生符号量情報が受信されていることを示している。第２の発生符号量情報２４３では、２４９〜２５２のように４つの情報を格納できるようになっており、ここでは２つの第２の発生符号量情報が受信されていることを示している（２４９、２５０を参照）。第３の発生符号量情報２４４では、２５３〜２５６のように４つの情報を格納できるようになっており、ここでは２つの第３の発生符号量情報が受信されていることを示している（２５３、２５４、２５５を参照）。

［ステップ：Ｓ１３］複雑度計算処理（図４）
複雑度計算処理［Ｓ１３］（図４）は、前処理部２０１（図１）にて、画像を入力、複雑度を計算し、残りバッファ量推定処理［Ｓ１５］（図４）と、一時量子化パラメータ計算処理［Ｓ１６］（図４）に出力し、画像情報を画像分割処理［Ｓ１９］（図４）に出力する。

［ステップ：Ｓ１４］実残りバッファ量更新処理（図４）
実残りバッファ量更新処理［Ｓ１４］（図４）は、レート制御部２０６（図１）または符号量情報受信部２０８（図１）にて、後述される残りバッファ量推定処理［Ｓ１５］（図４）から残りバッファ量取得の要求された時点で、図５の左図（ａ）のように、符号量情報受信処理［Ｓ１２］（図４）で受信した分割発生符号量の合計が取得できる場合には、計算し、１つ以上の一画像の発生符号量情報を取得する。ここでは、１つ目の画像の発生符号量情報として第１の発生符号量情報に関する２４５、第２の発生符号量情報に関する２４９、第３の発生符号量情報に関する２５３の合計と、２つ目の画像の発生符号量情報として第１の発生符号量情報に関する２４６、第２の発生符号量情報に関する２５０、第３の発生符号量情報に関する２５４の合計を取得する。さらに、図５の右図（ｂ）のように、上記発生符号量情報（２４５、２４９、２５３、２４６、２５０、２５４）に関して、内部バッファから破棄させ、実残りバッファを更新する。

［ステップ：Ｓ１５］残りバッファ量推定処理（図４）
残りバッファ量推定処理［Ｓ１５］（図４）は、残りバッファ推定部２０７（図１）にて、実残りバッファ量更新処理［Ｓ１４］（図４）から実残りバッファ量を要求、取得し、式（１）を用い、図６のように、残りバッファ量を推定し、後述される一時量子化パラメータ計算処理［Ｓ１６］（図４）に出力する。

複雑度計算処理［Ｓ１３］（図４）に入力された画像の画像番号をＭ［２７１］（図６）、現処理において一画像の発生符号量情報を取得したストリームの画像番号をＮ［２７２］（図６）、残り推定バッファ量をＨ＿Ｍ［２７３］（図６）、実残りバッファ量をＲ＿０（Ｍ＝０のとき）、Ｒ＿Ｎ（Ｍ＞０のとき）［２７４］（図６）、符号化する画像の推定発生符号量をＢ＿ｎ［２７５］（図６）、ストリームを再生する再生器において、１画像において読み込むデータ量をＡ＿ｎ［２７６］（図６）とする。ここで、式（１）におけるｎは、Ｎ＋１からＭ−Ｎ−１までとする。Ｂ＿ｎは、式（１）の計算を行う時点での画像番号Ｎ以前の画像の複雑度、符号化時の目標符号量、発生符号量から統計的なデータをもとに、画像番号ｎ（ｎは、例えば０〜Ｎ）の画像の複雑度と目標符号量から所定の回帰分析を行い計算する。

式（１）において、入力された画像がないとき（Ｍ＝０）、残り推定バッファ量Ｈ＿Ｍは、残り実バッファ量Ｒ＿ｎとなる。式（１）において、入力された画像があるとき（Ｍ＞０）、残り推定バッファ量Ｈ＿Ｍは、残り実バッファ量Ｒ＿ｎと符号化する画像の数に対応する推定発生符号量Ｂ＿ｎとの和から、符号化する画像の数に対応するストリームを再生する再生器が読み込むデータ量Ａ＿ｎとなる。

図６には、時間に対する残りバッファ量の図が示されており、実残りバッファ量の推移、残り推定バッファ量の推移が示されている。なお、残り推定バッファ量は、ストリームを再生する再生器に備える読み込みバッファにおける残りバッファ量の推定量に対応する量でもある。

［ステップ：Ｓ１６］一時量子化パラメータ計算処理（図４）
一時量子化パラメータ計算処理［Ｓ１６］（図４）は、レート制御部２０６（図１）にて、推定した残りバッファ量と複雑度から、従来の方法を用い、量子化パラメータを算出し、後述される量子化パラメータ抑制処理［Ｓ１７］（図４）へ出力し、画像番号Ｍと複雑度とを組にして後述される統計データ更新処理［Ｓ１８］（図４）へ出力する。

［ステップ：Ｓ１７］量子化パラメータ抑制処理（図４）
量子化パラメータ抑制処理［Ｓ１７］（図４）は、レート制御部２０６（図１）にて、式（２）により量子化パラメータを補正し、後述される統計データ更新処理［Ｓ１８］（図４）と後述される画像分割処理［Ｓ１９］（図４）に画像番号Ｍと補正後の量子化パラメータを出力する。

式（２）において、ＱＰ＿Ｍは補正後の量子化パラメータ、ＱＰＣ＿Ｍは補正前の量子化パラメータ、ＱＰ＿ｉは量子化パラメータの初期値、Ｃは定数であり、定数Ｃは、受信バッファ部２０２Ｂ（図１）のバッファのオーバーフローを抑制するために、受信バッファ部２０２Ｂ（図１）のバッファサイズ以下の任意値を設定する。

また、さらに、定数Ｃは、受信バッファ部２０３Ｂ（図１）のバッファのオーバーフローを抑制するために、受信バッファ部２０３Ｂ（図１）のバッファサイズ以下の任意値を設定してもよい。またさらに、定数Ｃは、受信バッファ部２０４Ｂ（図１）のバッファのオーバーフローを抑制するために、受信バッファ部２０４Ｂ（図１）のバッファサイズ以下の任意値を設定してもよい。

式（２）において、符号化する画像が所定の数未満であるとき（Ｍ−Ｎ＜Ｃ）、補正後の量子化パラメータＱＰ＿Ｍは、補正前の量子化パラメータＱＰＣ＿Ｍとする。符号化する画像が所定の数以上であるとき（Ｍ−Ｎ＜ＣまたはＭ−Ｎ＝Ｃ）、補正後の量子化パラメータＱＰ＿Ｍは、補正前の量子化パラメータＱＰＣ＿Ｍまたは量子化パラメータの初期値ＱＰ＿ｉの大きい方とする。

［ステップ：Ｓ１８］統計データ更新処理（図４）
統計データ更新処理［Ｓ１８］は、同一画像番号の複雑度、符号化時の量子化パラメータから符号量を逆算した符号量、一画像の発生符号量を組として、統計データとして更新する。

［ステップ：Ｓ１９］画像分割処理（図４）
画像分割処理［Ｓ１９］（図４）は、前処理［Ｓ１］の処理より、前処理部２０１（図１）にて、入力した画像に１ずつ増加する画像番号を付加し、１枚の画像を３分割し、分割画像に画像番号と、量子化パラメータ抑制処理［Ｓ１７］（図４）が決定した量子化パラメータを含む画像符号化条件を付加して、後述される送信バッファ処理［Ｓ２０］（図４）に出力する。

［ステップ：Ｓ２０］送信バッファ処理（図４）
送信バッファ処理［Ｓ２０］（図４）は、送信バッファ処理［Ｓ２］の処理より、分割画像を符号化処理［Ｓ１１］（図４）に送信する。

（Ａ−３）第１の実施形態の効果
以上のように，第１の実施形態では、符号化部の前後に受信・送信バッファが存在するため、符号化部は受信バッファの画像データを符号化して送信バッファに出力するという他の処理工程に依存しない方法と量子化パラメータを事前に決定しておく方法とにより、各分割画像の符号化開示時刻と符号化時間を示す図Ｃの例のように、各符号化部が分割画像ごとに、各符号化部間の符号化時間差に依存しない非同期符号化が可能となり、演算器の利用効率の高い符号化が可能となった。各ノードの接続に汎用のネットワーク、符号化部に汎用のコンピュータを利用し、実時間符号化が可能にもかかわらず、コストが安い装置でシステムを構築することができる。送受信バッファ量から符号化速度を検知する機能と量子化パラメータ再設定する機能を持つため、符号化時間が実時間を超える画像を符号化する場合に、次に符号化しようとする画像の量子化パラメータを大きくし、符号化速度を向上させる手段によって、送受信バッファのオーバーフローを抑制し、一時的な、画質の劣化と引き換えに、画像欠落のない符号化が可能となる。

（Ｂ）第２の実施形態
（Ｂ−１）第２の実施形態の構成
図７は、本発明の第２の符号化の構成を図示したものである。３０１は、第１の装置であり、前処理部などを含む。３０２は、第２の装置であり、第１の符号化部などを含む。３０３は、第３の装置であり、第２の符号化部などを含む。３０４は、第４の装置であり、第３の符号化部などを含む。３０５は、第５の装置であり、ストリーム結合部などを含む。

本発明の第２の符号化の構成において、本発明の第１の符号化の構成と基本的に同じ構成のものは、同じ番号を付与する。本発明の第２の符号化の構成において、本発明の第１の符号化の構成と基本的に同じ構成のものは、前処理部２０１、第１の符号化部２０２、第２の符号化部２０３、第３の符号化部２０４、ストリーム結合部２０５、残りバッファ推定部２０７、送信バッファ部２０２Ａ、送信バッファ部２０３Ａ、送信バッファ部２０４Ａ、受信バッファ部２０５Ｂである。これら各部の説明は、（Ａ）第１の実施形態で説明しているので省略する。

本発明の第２の符号化の構成において、本発明の第１の符号化の構成と異なるものは、次のものである。

４０１Ａは、送信バッファ部２０１Ａ（図１）の構成を有する送信バッファ部である。

４０２Ｂは、受信バッファ部２０２Ｂ（図１）の構成を有する受信バッファ部である。受信バッファ部４０２Ｂは、さらに、第１の符号化部２０２から出力される分割画像を符号化したときの第１の発生符号量情報の送信バッファとしても機能する。例えば、このバッファも、環状バッファにて構成される。

４０３Ｂは、受信バッファ部２０３Ｂ（図１）の構成を有する受信バッファ部である。受信バッファ部４０３Ｂは、さらに、第２の符号化部２０３から出力される分割画像を符号化したときの第２の発生符号量情報の送信バッファとしても機能する。例えば、このバッファも、環状バッファにて構成される。

４０４Ｂは、受信バッファ部２０４Ｂ（図１）の構成を有する受信バッファ部である。受信バッファ部４０４Ｂは、さらに、第３の符号化部２０４から出力される分割画像を符号化したときの第３の発生符号量情報の送信バッファとしても機能する。例えば、このバッファも、環状バッファにて構成される。

ここで、送信バッファ部４０１Ａは、受信バッファ部４０２Ｂから出力される第１の発生符号量情報、受信バッファ部４０３Ｂから出力される第２の発生符号量情報、受信バッファ部４０４Ｂから出力される第３の発生符号量情報の受信バッファとしても機能する。例えば、このバッファも、環状バッファにて構成される。

４０８は、符号量情報受信部２０８（図１）と同様な構成を有する符号量情報受信部である。ただし、符号量情報受信部４０８は、第１の符号化部２０２から出力される第１の発生符号量情報を、受信バッファ部４０２Ｂ、送信バッファ部４０１Ａを介して受信する。また、符号量情報受信部４０８は、第２の符号化部２０３から出力される第２の発生符号量情報を、受信バッファ部４０３Ｂ、送信バッファ部４０１Ａを介して受信する。符号量情報受信部４０８は、第３の符号化部２０４から出力される第３の発生符号量情報を、受信バッファ部４０４Ｂ、送信バッファ部４０１Ａを介して受信する。

２０１Ａ−Ｓ、２０５−Ｓは、ネットワークで構成されて各部に接続される。２０１Ａ−Ｓ、２０５−Ｓ上の各データは、通信パケットとして転送される。

２０１−Ｓ、２０２Ｂ−Ｓ、２０２−Ｓ、２０３Ｂ−Ｓ、２０３−Ｓ、２０４Ｂ−Ｓ、２０４−Ｓ、２０５Ｂ−Ｓ、２０６−Ｓ、２０７−Ｓ、２０８−Ｓ、２０９−Ｓ、２１０−Ｓ、４１１−Ｓは、バスで構成され、各部に接続される。

（Ｂ−２）第２の実施形態の動作
図８は、本発明の第２の符号化のフロー（特に発生符号量情報の転送のフロー）を図示したものである。

［ステップ：Ｓ３１］第１の処理（図８）
送信バッファ部４０１Ａ（図７）は、第１の符号化部２０２（図７）で符号化される分割画像を、受信バッファ４０２Ｂ（図７）に送信する。

［ステップ：Ｓ３２］第２の処理（図８）
第１の符号化部４０２（図７）は、受信バッファ４０２Ｂ（図７）で受信した分割画像を符号化後、第１の発生符号量情報とその対応する画像番号を、受信バッファ２０２Ｂ（図７）に対して非同期に送信する。

［ステップ：Ｓ３３］第３の処理（図８）
受信バッファ４０２Ｂ（図７）は、第１の発生符号量情報とその対応する画像番号を、発生符号量情報送信バッファに保持させる。受信バッファ４０２Ｂ（図７）は、送信バッファ部４０１Ａ（図７）が受信バッファ４０２Ｂ（図７）に対する分割画像データ送信直後に、発生符号量情報送信バッファに第１の発生符号量情報が存在すれば、１つ以上のすべての発生符号量情報と画像番号をすべてフィードバックし、フィードバックした発生符号量情報を発生符号量送信から破棄する。受信バッファ４０２Ｂ（図７）は、フィードバックする際、第１の発生符号量情報とその対応する画像番号を、第１の処理［Ｓ３１］（図８）における分割画像を受信したことを示す信号（一例は、ＡＣＫ信号）に乗せて、送信バッファ部４０１Ａ（図７）に送信する。送信バッファ部４０１Ａ（図７）は、第１の発生符号量情報とその対応する画像番号を受信し、受信した第１の発生符号量情報とその対応する画像番号を、適宜、符号量情報受信部４０８に送信する（図示せず）。

［ステップ：Ｓ４１］第４の処理（図８）
送信バッファ部４０１Ａ（図７）は、第２の符号化部２０３（図７）で符号化される分割画像を、受信バッファ４０３Ｂ（図７）に送信する。

［ステップ：Ｓ４２］第５の処理（図８）
第２の符号化部４０３（図７）は、受信バッファ４０３Ｂ（図７）で受信した分割画像を符号化後、第２の発生符号量情報とその対応する画像番号を、受信バッファ４０３Ｂ（図７）に対して非同期に送信する。

［ステップ：Ｓ４３］第６の処理（図８）
受信バッファ４０３Ｂ（図７）は、第２の発生符号量情報とその対応する画像番号を、発生符号量情報送信バッファに保持させる。受信バッファ４０３Ｂ（図７）は、送信バッファ部４０１Ａ（図７）が受信バッファ４０２Ｂ（図７）に対する分割画像データ送信直後に、発生符号量情報送信バッファに第２の発生符号量情報が存在すれば、１つ以上のすべての発生符号量情報と画像番号をすべてフィードバックし、フィードバックした発生符号量情報を発生符号量送信から破棄する。受信バッファ４０３Ｂ（図７）は、フィードバックする際、第２の発生符号量情報とその対応する画像番号を、第４の処理［Ｓ４１］（図８）における分割画像を受信したことを示す信号（一例は、ＡＣＫ信号）に乗せて、送信バッファ部４０１Ａ（図７）に送信する。送信バッファ部４０１Ａ（図７）は、第２の発生符号量情報とその対応する画像番号を受信し、受信した第２の発生符号量情報とその対応する画像番号を、適宜、符号量情報受信部４０８（図７）に送信する（図示せず）。

［ステップ：Ｓ５１］第７の処理（図８）
送信バッファ部４０１Ａ（図７）は、第３の符号化部２０４（図７）で符号化される分割画像を、受信バッファ４０４Ｂ（図７）に送信する。

［ステップ：Ｓ５２］第８の処理（図８）
第３の符号化部４０４（図７）は、受信バッファ４０４Ｂ（図７）で受信した分割画像を符号化後、第３の発生符号量情報とその対応する画像番号を、受信バッファ４０４Ｂ（図７）に対して非同期に送信する。

［ステップ：Ｓ５３］第９の処理（図８）
受信バッファ４０４Ｂ（図７）は、第３の発生符号量情報とその対応する画像番号を、発生符号量情報送信バッファに保持させる。受信バッファ４０４Ｂ（図７）は、送信バッファ部４０１Ａ（図７）が受信バッファ４０４Ｂ（図７）に対する分割画像データ送信直後に、発生符号量情報送信バッファに第３の発生符号量情報が存在すれば、１つ以上のすべての発生符号量情報と画像番号をすべてフィードバックし、フィードバックした発生符号量情報を発生符号量送信から破棄する。受信バッファ４０４Ｂ（図７）は、フィードバックする際、第３の発生符号量情報とその対応する画像番号を、第７の処理［Ｓ５１］（図８）における分割画像を受信したことを示す信号（一例は、ＡＣＫ信号）に乗せて、送信バッファ部４０１Ａ（図７）に送信する。送信バッファ部４０１Ａ（図７）は、第３の発生符号量情報とその対応する画像番号を受信し、受信した第３の発生符号量情報とその対応する画像番号を、適宜、符号量情報受信部４０８に送信する（図示せず）。

このように、第１の処理［Ｓ３１］（図８）〜第３の処理［Ｓ３３］（図８）、第４の処理［Ｓ４１］（図８）〜第６の処理［Ｓ４３］（図８）、第７の処理［Ｓ５１］（図８）〜第９の処理［Ｓ５３］（図８）は、順次的に行われる。

また、第１の処理［Ｓ３１］（図８）〜第３の処理［Ｓ３３］（図８）と、第４の処理［Ｓ４１］（図８）〜第６の処理［Ｓ４３］（図８）と、第７の処理［Ｓ５１］（図８）〜第９の処理［Ｓ５３］（図８）は、説明上シーケンシャルに記載されているが、第１の処理［Ｓ３１］（図８）〜第３の処理［Ｓ３３］（図８）と、第４の処理［Ｓ４１］（図８）〜第６の処理［Ｓ４３］（図８）と、第７の処理［Ｓ５１］（図８）〜第９の処理［Ｓ５３］（図８）は、パラレルに処理されてもよい。

（Ｂ−３）第２の実施形態の効果
以上のように，第２の実施形態によれば、発生符号量情報バッファを持つことにより、分割画像データの送受信に対して、符号化処理は非同期、発生符号量情報のフィードバックは同期的に処理する手段が可能となり、発生符号量情報の非同期的なフィードバックにおける通信パケットのコリジョンとその再送処理が発生せず、帯域の圧迫を軽減し、同一の帯域幅であっても、大きい解像度の画像データの転送符号化が可能とある。特に、ノード間の接続が半二重通信方法で接続される場合、効果が大きい。

第１の実施形態の構成 各符号化部の処理時間の一例 入力される画像の分割の一例 第１の実施形態の処理手順 発生符号量情報の受信と更新の一例 残りバッファ量と残り推定バッファ量実残りバッファ量との関係図 第２の実施形態の構成 第２の実施形態の処理構成 従来の画像符号化装置 従来の量子化パラメータを求める処理 従来の各符号化手段の処理時間の一例

符号の説明

１０１…第１の装置、１０２…第２の装置、１０３…第３の装置、１０４…第４の装置、１０５…第５の装置、２０１…前処理部、２０２…第１の符号化部、２０３…第２の符号化部、２０４…第３の符号化部、２０５…ストリーム結合部、２０６…レート制御部、２０１Ａ…送信バッファ部、２０２Ｂ…受信バッファ部、２０３Ｂ…受信バッファ部、２０４Ｂ…受信バッファ部、２０７…残りバッファ推定部、２０８…符号量情報受信部。

Claims (10)

1. 入力された画像を第１の分割画像と第２の分割画像に分割する前処理部と、
   前記第１の分割画像を符号化して、符号化した第１の信号を出力する第１の符号化部と、
   前記第２の分割画像を符号化して、符号化した第２の信号を出力する第２の符号化部と、
   前記第１の信号と、前記第２の信号とを結合して、第３の信号を出力する結合部と、
   前記前処理部と第１の符号化部との間に、前記第１の分割画像のバッファする第１の送信バッファと第１の受信バッファと、
   前記前処理部と第２の符号化部との間に、前記第２の分割画像のバッファする前記第１の送信バッファと第２の受信バッファと、
   画像１枚以上前の画像の符号化が完了する前に当該画像の量子化パラメータを決定する決定部とを有し、
   前記第１の符号化部と前記第２の符号化部は、入力された画像が同一である第１の分割画像と第２の分割画像における符号化を、同一の量子化パラメータを用いて符号化すること
   を特徴とする符号化装置。
2. 請求項１に記載の符号化装置において、
   前記決定部は、
   当該画像の推定発生符号量情報を、符号化処理とは非同期に、画像１枚以上前の画像の符号化が完了する前に統計的に推定し、
   前記第１の符号化部における符号化と前記第２の符号化部における符号化により推定されるストリーム長から残りバッファを計算し、この残りバッファから量子化パラメータを決定すること
   を特徴とする符号化装置。
3. 請求項１に記載の符号化装置において、
   前記決定部は、
   符号化速度の低下を検知し、符号化速度の低下が検知された場合、次画像の符号化時の量子化パラメータを大きくすること
   を特徴とする符号化装置。
4. 請求項１に記載の符号化装置において、
   前記決定部は、
   送信バッファに出力する画像番号とフィードバックを受けた画像番号の差が大きくなった場合に、符号化速度の低下を検知すること
   を特徴とする符号化装置。
5. 請求項１に記載の符号化装置において、
   前記第１の受信バッファは、前記第１の符号化部から出力される第１の発生符号量情報をバッファする第２の送信バッファを有し、
   前記第２の受信バッファは、前記第２の符号化部から出力される第２の発生符号量情報をバッファする第３の送信バッファを有し、
   前記第１の送信バッファは、前記第１の発生符号量情報と前記第２の発生符号量情報をバッファする第３の受信バッファを有し、
   前記第１の受信バッファは、前記第１の分割画像を受信したことを示す信号に、前記第１の発生符号量情報を乗せ、
   前記第２の受信バッファは、前記第２の分割画像を受信したことを示す信号に、前記第２の発生符号量情報を乗せること
   を特徴とする符号化装置。
6. 入力された画像を第１の分割画像と第２の分割画像に分割する第１のステップと、
   前記第１の分割画像を符号化して、符号化した第１の信号を出力する第２のステップと、
   前記第２の分割画像を符号化して、符号化した第２の信号を出力する第３のステップと、
   前記第１の信号と、前記第２の信号とを結合して、第３の信号を出力する第４のステップと、
   前記第１のステップにおいて前記第１の分割画像をバッファする第５のステップと、
   前記第２のステップにおいて前記第１の分割画像をバッファする第６のステップと、
   前記第１のステップにおいて前記第２の分割画像をバッファする第７のステップと、
   前記第３のステップにおいて前記第２の分割画像をバッファする第８のステップと、
   画像１枚以上前の画像の符号化が完了する前に当該画像の量子化パラメータを決定する第９のステップとを有し、
   前記第２のステップと前記第３のステップは、入力された画像が同一である第１の分割画像と第２の分割画像における符号化を、同一の量子化パラメータを用いて符号化すること
   を特徴とする符号化方法。
7. 請求項６に記載の符号化方法において、
   前記第９のステップは、
   当該画像の推定発生符号量情報を、符号化処理とは非同期に、画像１枚以上前の画像の符号化が完了する前に統計的に推定し、
   前記第２のステップにおける符号化と前記第３のステップにおける符号化により推定されるストリーム長から残りバッファを計算し、この残りバッファから量子化パラメータを決定すること
   を特徴とする符号化方法。
8. 請求項６に記載の符号化方法において、
   前記第９のステップは、
   符号化速度の低下を検知し、符号化速度の低下が検知された場合、次画像の符号化時の量子化パラメータを大きくすること
   を特徴とする符号化方法。
9. 請求項６に記載の符号化方法において、
   前記第９のステップは、
   送信バッファに出力する画像番号とフィードバックを受けた画像番号の差が大きくなった場合に、符号化速度の低下を検知すること
   を特徴とする符号化方法。
10. 請求項６に記載の符号化方法において、
    前記第６のステップは、前記第２のステップから出力される第１の発生符号量情報を送信バッファする第１０のステップを有し、
    前記第８のステップは、前記第３のステップから出力される第２の発生符号量情報を送信バッファする第１１のステップを有し、
    前記第５のステップは、前記第１の発生符号量情報を受信バッファする第１２のステップを有し、
    前記第７のステップは、前記第２の発生符号量情報を受信バッファする第１３のステップを有し、
    前記第１０のステップは、前記第１の分割画像を受信したことを示す信号に、前記第１の発生符号量情報を乗せ、
    前記第１１のステップは、前記第２の分割画像を受信したことを示す信号に、前記第２の発生符号量情報を乗せること
    を特徴とする符号化方法。

Images