JP2009296208A - 動画像再生装置及び動画像伝送システム - Google Patents

Abstract

【課題】既存の国際標準映像符号化方式で符号化されているビットストリームそのままでも、遅延を削減することの出来る動画像再生装置を得る。
【解決手段】デコーダ部２０の解析手段２１は、入力圧縮データ１を所定のデータ解析規則に従って解析してブロック単位の符号化シンボルを抽出する。ブロック画像出力手段２２は、動画像の各ブロック単位の画像を復元した時点でそのブロックの画像をピクチャ内の位置と共に出力する。復号画像出力手段２３は、動画像の各ピクチャ単位の画像を復元して出力する。後処理部３０は、ブロック画像出力手段２２からの出力されるブロック単位の画像とその位置及び復号画像出力手段２３から出力されるピクチャ単位の画像を入力し、これら画像を合成して再生画像を出力する。
【選択図】図１

Description

この発明は、ブロック単位に圧縮符号化された動画像符号化データを入力して、動画像信号を復号・再生する動画像再生装置及びこの動画像再生装置とデジタル圧縮符号化を行う動画像符号化装置とを備えた動画像伝送システムに関するものである。

ＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式では、映像信号の各フレームについて、輝度信号１６×１６画素とそれに対応する色差信号８×８画素分をまとめたブロックデータ(以下、マクロブロック)を単位として、動き補償技術及び直交変換／変換係数量子化技術に基づき圧縮し、ビットストリームとして符号化する方法が採用されている。ビットストリームを復号する場合も、マクロブロック単位に実施し、最終的に１画像全部のマクロブロックを復号した後、復号画像として出力する。
従来、このような映像情報符号化装置及び映像情報復号化装置として、例えば特許文献１に示すようなものがあった。

特開平９−７００４７号公報

上記のようなビットストリームを狭帯域ネットワーク上で伝送することを考えた場合、符号化した画像データが動画像再生装置で表示されるまでの遅延が無視できない場合がある。例えば、１画像につき２４ｋｂｉｔに圧縮された画像データを２．４ｋｂｐｓの帯域の通信路を用いて伝送した場合を考えると、ビットストリームの伝送だけで１０秒かかることになり、ビットストリームが完全に伝送完了できた１０秒後に初めて復号画像出力できるということになるため、符号化完了及びビットストリーム伝送開始からの遅延が１０秒以上となってしまう。このように、特に狭帯域ネットワーク上で伝送する際の遅延が、従来からの課題であった。

一方、上記特許文献１に記載されたような符号化装置では、このような遅延をできるだけ少なくするため、予め符号化する際に階層的な圧縮符号化を行い、上位から下位の階層順に伝送及び復号することで遅延を少なくする技術が開示されている。
しかしながら、このような方法だと、既存のＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式で符号化されているビットストリームに対しては、一旦わざわざ前記の階層的な圧縮符号化を実施し直さなければならないという問題点があった。

この発明は上記のような課題を解決するためになされたもので、既存のＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式で符号化されているビットストリームそのままでも、遅延を削減することの出来る動画像再生装置及び動画像伝送システムを得ることを目的とする。

この発明に係る動画像再生装置は、動画像符号化データを所定のデータ解析規則に従って解析してブロック単位の符号化シンボルを抽出する解析手段と、解析手段によって抽出された符号化シンボルを用いて所定の復号処理過程に基づいて、動画像の各ブロック単位の画像を復元した時点でそのブロックの画像をピクチャ内の位置と共に出力するブロック画像出力手段と、ピクチャ内の全ブロックの画像を復元した時点で動画像の各ピクチャ単位の画像を復元して出力する復号画像出力手段とを有するデコーダ部と、ブロック画像出力手段からの出力されるブロック単位の画像とその位置及び復号画像出力手段から出力されるピクチャ単位の画像を入力し、これら画像を合成して再生画像を出力する後処理部とを備え、後処理部から出力される再生画像を再生するようにしたものである。

この発明の動画像再生装置は、動画像の各ブロック単位の画像を復元した時点でそのブロックの画像をピクチャ内の位置と共に出力し、かつ、ピクチャ内の全ブロックの画像を復元した時点で動画像の各ピクチャ単位の画像を復元して出力し、ブロック単位の画像とその位置及びピクチャ単位の画像を合成して再生画像を出力するようにしたので、既存の国際標準映像符号化方式で符号化されているビットストリームそのままでも、遅延を削減することが出来る。

実施の形態１．
以下、この発明の実施の形態１について説明する。本実施の形態１では、符号化方式についてはＨ．２６４／ＡＶＣを例として説明を行う。本実施の形態１における動画像再生装置は、入力がＨ．２６４／ＡＶＣビットストリーム、出力が表示画像である装置とする。

図１に、本実施の形態１における動画像再生装置１０の全体ブロック図を示す。
図示の動画像再生装置１０は、デコーダ部２０と後処理部３０とを備えている。デコーダ部２０は、Ｈ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１を入力して、Ｈ．２６４／ＡＶＣ準拠の復号処理を行う機能部であり、解析手段２１、ブロック画像出力手段２２、復号画像出力手段２３を備えている。解析手段２１は、入力圧縮データ１（動画像符号化データ）を所定のデータ解析規則に従って解析してブロック単位の符号化シンボルを抽出する手段である。ブロック画像出力手段２２は、解析手段２１によって抽出された符号化シンボルを用いて所定の復号処理過程に基づいて、動画像の各ブロック単位の画像を復元した時点でそのブロックの画像をその位置と共にマクロブロック画像２として出力する手段である。復号画像出力手段２３は、動画像符号化データにおけるピクチャ内の全ブロックの画像を復元した時点で動画像の各ピクチャ単位の画像を復元し、復号画像３として出力する手段である。

後処理部３０は、ブロック画像出力手段２２からの出力される各ブロック単位の画像とその画像位置及び復号画像出力手段２３から出力される各ピクチャ単位の画像を入力し、これら画像を合成した合成画像を表示画像４として出力する機能部である。

図２は、本実施の形態１におけるデコーダ部２０の内部構成図である。また、図３に、一般的なＨ．２６４／ＡＶＣデコーダ部の内部構成を参考として示している。実施の形態１におけるデコーダ部２０は、図３に示した一般的なデコーダ部と比べて、マクロブロック画像２の出力が付加されているのが特徴である。
図２に示すデコーダ部２０は、可変長復号部２０１、逆量子化部２０２、逆変換部２０３、加算器２０４、ループフィルタ２０５、切り替えスイッチ２０６、動き補償部２０７、フレームメモリ２０８、イントラ予測補償部２０９、イントラ予測用メモリ２１０を備えている。

可変長復号部２０１は、入力圧縮データ１に対してシンタックス解析を行い、Ｈ．２６４／ＡＶＣ符号化情報（符号化モード情報及びイントラ予測方向もしくは動きベクトルなどの情報）２０１ａと、予測残差信号符号化データ２０１ｂとを生成する機能部である。逆量子化部２０２及び逆変換部２０３は、可変長復号部２０１から出力される予測残差信号符号化データ２０１ｂに対して逆量子化及び逆ＤＣＴ変換等を行う機能部であり、逆変換部２０３から、予測残差信号復号値２０３ａが出力される。加算器２０４は、逆変換部２０３からの予測残差信号復号値２０３ａと、動き補償部２０７から出力される予測画像２０７ａまたはイントラ予測補償部２０９から出力される予測画像２０９ａとを加算して画像データ２０４ａをループフィルタ２０５とイントラ予測用メモリ２１０とに出力すると共に、マクロブロック画像２として外部に出力する機能部である。ループフィルタ２０５は、画像データ２０４ａに対してデブロック処理を行い、復号画像３として出力すると共に、フレームメモリ２０８に出力するフィルタである。

切り替えスイッチ２０６は、可変長復号部２０１から出力されるＨ．２６４／ＡＶＣ符号化情報２０１ａの符号化モードに基づいて、動き補償部２０７かイントラ予測補償部２０９を切り替えるためのスイッチである。動き補償部２０７は、インター予測の場合に、フレームメモリ２０８中に格納される参照画像データと動きベクトルとに従い、予測画像２０７ａが生成する機能部である。また、フレームメモリ２０８は、ループフィルタ２０５から出力されるピクチャ単位の画像を格納する格納部である。イントラ予測補償部２０９は、イントラ予測の場合に、イントラ予測用メモリ２１０中に格納されるイントラ予測用画像データとイントラ予測方向とに従い、予測画像２０９ａを生成する機能部である。

また、図１における解析手段２１は図２における可変長復号部２０１に相当し、ブロック画像出力手段２２は、逆量子化部２０２〜加算器２０４の構成に相当する。更に、復号画像出力手段２３は、逆量子化部２０２〜イントラ予測用メモリ２１０の構成に相当している。

以下、図２に基づいてデコーダ部２０の動作を詳しく説明する。
（１）入力ＡＶＣビデオストリームの復号処理
先ず、Ｈ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１がデコーダ部２０に入力される。デコーダ部２０では、可変長復号部２０１において、Ｈ．２６４／ＡＶＣ規格に従い入力圧縮データ１のシンタックス解析を行い、Ｈ．２６４／ＡＶＣ符号化情報２０１ａ、予測残差信号符号化データ２０１ｂを出力する。予測残差信号符号化データ２０１ｂは、逆量子化部２０２、逆変換部２０３を経て、予測残差信号復号値２０３ａに復号される。

Ｈ．２６４／ＡＶＣ符号化情報２０１ａは、切り替えスイッチ２０６で符号化モード情報によりスイッチされ、イントラの場合はイントラ予測補償部２０９へ入力され、インターの場合は動き補償部２０７へ入力される。イントラの場合は、イントラ予測用メモリ２１０中に格納されるイントラ予測用画像データとイントラ予測方向とに従い、予測画像２０９ａが生成される。一方、インターの場合は、フレームメモリ２０８中に格納される参照画像データと動きベクトルとに従い、予測画像２０７ａが生成される。予測残差信号復号値２０３ａと予測画像２０９ａもしくは予測画像２０７ａが加算器２０４で加算され、ループフィルタ２０５を経由し、復号画像３が生成される。復号画像３は、デコーダ部２０の出力として、以後のフレームの動き補償に参照画像として用いるため、フレームメモリ２０８に格納される。また、ループフィルタ２０５の前段では、イントラ予測の際の画像として用いるため、画像データ２０４ａがイントラ予測用メモリ２１０に格納されると同時に、マクロブロック毎の画像出力として、デコーダ部２０の外部にマクロブロック位置と結び付けられたマクロブロック画像２が出力される。

ここで注意すべき点としては、復号画像３は１画像の全マクロブロック復号後に１回、復号画像として１画像全体の画像データを出力し、マクロブロック画像２は、該当マクロブロック復号の度に、マクロブロック位置と結び付けられたデータとして出力するという点である。これらは、どのタイミングにおいてもどちらか一方のみが出力され、同時に出力されることはない。また、通常、Ｈ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１は、左上から右下の方向へのラスタスキャン順で符号化されているため、マクロブロック画像２の出力順についても、そのラスタスキャン順に従うことになる。これら復号画像３及びマクロブロック画像２が、図１における後処理部３０への入力となる。

尚、本実施の形態１では、動画像の各ブロック単位の画像を、マクロブロック画像２として説明しているが、画面の内部のある一部を含む形の画像データであればどのようなデータであってもよく、例えば、Ｈ．２６４／ＡＶＣにおける、それぞれのスライスデータに含まれている範囲の画像データ、あるいはマクロブロックの１ライン分の画像データ、ということでも特にかまわない。

図４は、本実施の形態１における後処理部３０の内部構成図である。
図示のように、後処理部３０は、表示画像生成部３０１と表示画像用フレームメモリ３０２を備えている。表示画像生成部３０１は、デコーダ部２０からのマクロブロック画像２と復号画像３とを入力して、これら画像を合成して表示画像４を生成して出力する機能部である。また、表示画像用フレームメモリ３０２は、フレーム毎に、１フレーム分の表示画像４を格納するためのメモリである。
以下、後処理部３０の動作を詳しく説明する。

（２）後処理部３０における表示画像生成処理
先ず、復号画像３及びマクロブロック画像２が、後処理部３０に含まれる表示画像生成部３０１への入力となる。表示画像生成部３０１は、表示画像用フレームメモリ３０２から直前に表示画像として出力した画像データ３０２ａを読み込み、復号画像３及びマクロブロック画像２に基づき表示画像を生成し、表示画像４として出力すると同時に、表示画像用フレームメモリ３０２に対し画像データ３０１ａとして保存を行う。

ここで表示画像生成部３０１の内部動作について説明する。入力としては復号画像３もしくはマクロブロック画像２であり、それぞれについて説明する。尚、以下、図５〜図１５に示す画像において、前画像とはデコーダ部２０で復号処理された１フレーム前の画像であり、現画像とは現在復号処理中のフレームの画像のことを言う。

１）表示画像生成部３０１に対し、復号画像３が入力された場合
表示画像生成部３０１は復号画像３をそのまま表示画像４として出力し、同時に、表示画像用フレームメモリ３０２に対し、表示画像４をそのまま画像データ３０１ａとして保存する。
２）表示画像生成部３０１に対し、マクロブロック画像２が入力された場合
表示画像生成部３０１は、表示画像用フレームメモリ３０２から画像データ３０２ａを読み込み（例：図５）、マクロブロック位置と結び付けられたマクロブロック画像２（例：図６）を画像データ３０１ａに上書きし、その画像（例：図７）を表示画像４として出力し、同時に、表示画像用フレームメモリ３０２に対し、その表示画像４を画像データ３０１ａとして保存を実施する。
表示画像生成部３０１が前記１）２）のような動作をすることで、Ｈ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１がマクロブロック単位で復号された結果をマクロブロック画像として出力されるため、画像全体としては順次ラスタスキャン順に新しい画像に更新されることとなる。例えば、図８→図９→図１０→図１１のような形で、順次表示画像が生成され、表示される。

図８〜図１１は、直前の画像が図８で、図１１の画像を１０秒間かけて伝送した場合の例である。また、図９は４秒目、図１０は８秒目の画像を示している。
もし、図３で示した従来のＨ．２６４／ＡＶＣデコーダを用いた場合だと、マクロブロック画像２の出力がないため、前画像に相当する図８が表示画像として出力された後、現画像に相当する図１１が１０秒後に出力されることになり、表示される画像は１０秒間更新がなされない。
しかし、図２で示した本実施の形態１のデコーダ部２０を用いた場合では、マクロブロック画像２が出力されることにより、マクロブロックを復号する度に、図５、図６及び図７に示す処理を実施することにより、マクロブロック復号完了毎に順次表示画像が更新され、前画像に相当する図８及び現画像に相当する図１１の中間の画像として図９や図１０などの、前画像と伝送中の現画像が混ざった画像が、表示画像として順次出力され、この場合は、図８→図９→図１０→図１１のような順で表示される。このように中間の画像を随時表示することにより、結果的に表示されるまでの遅延時間を減らすことが可能となる。

また、上記のような中間の画像として、表示画像生成部３０１にて、例えば図９や図１０などの画像の代わりに、図１２や図１３のように直前の画像の領域と伝送中の画像の領域との境界に境界線を入れることで、直前の画像と伝送中の画像の境界付近を見わけ易くすることも可能である。この場合、図８→図１２→図１３→図１１の順で表示する。

更に、例えば、図９や図１０などの画像の代わりに、図１４や図１５のように直前の画像の部分の明るさを暗くするというような画像処理を施すことで、直前の画像と伝送中の画像の境界を見わけ易くする方法も可能である。この場合、図８→図１４→図１５→図１１のような順で表示する。

以上述べたように、本実施の形態１によれば、動画像再生装置１０は、Ｈ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１を、マクロブロック単位で復号し、マクロブロックの復号が完了する度に表示画像４を更新することにより、その結果、みかけの遅延時間を減らすことが可能となる。
特に、本実施の形態１では、Ｈ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１をそのまま用いることが可能であり、特許文献１に示されるような形での新たな符号化をわざわざ行う必要がないという利点もある。
更に、本実施の形態１で説明したＨ．２６４／ＡＶＣデコーダ４は、Ｈ．２６４／ＡＶＣの従来の通常のデコーダからマクロブロック画像２の出力機能を追加しただけであり、作成が容易であるという利点もある。

尚、本実施の形態１では、映像符号化方式としてＨ．２６４／ＡＶＣを用いて説明したが、Ｈ．２６４／ＡＶＣと同様にマクロブロックを単位とする符号化方式（例えばＭＰＥＧ−２、ＭＰＥＧ−４、ＳＭＰＴＥ ＶＣ−１など）についても同様の方式を適用することができることは言うまでもない。また、上記実施の形態では表示画像生成部３０１はマクロブロックの復号が完了する度に表示画像４を更新する、というように説明したが、例えば、１００ミリ秒単位、あるいは１秒単位、というように、ある所定の時間単位に更新するようにしてもよい。

以上のように、実施の形態１の動画像再生装置によれば、ブロック単位に圧縮符号化された動画像符号化データを入力して、動画像信号を復号・再生する動画像再生装置であって、動画像符号化データを所定のデータ解析規則に従って解析してブロック単位の符号化シンボルを抽出する解析手段と、解析手段によって抽出された符号化シンボルを用いて所定の復号処理過程に基づいて、動画像の各ブロック単位の画像を復元した時点でそのブロックの画像をピクチャ内の位置と共に出力するブロック画像出力手段と、ピクチャ内の全ブロックの画像を復元した時点で動画像の各ピクチャ単位の画像を復元して出力する復号画像出力手段とを有するデコーダ部と、ブロック画像出力手段からの出力されるブロック単位の画像とその位置及び復号画像出力手段から出力されるピクチャ単位の画像を入力し、これら画像を合成して再生画像を出力する後処理部とを備え、後処理部から出力される再生画像を再生するようにしたので、狭帯域ネットワークを用いて伝送する場合でも、既存のＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式を、符号化方式変換することなく、遅延時間を削減することができる。

また、実施の形態１の動画像再生装置によれば、後処理部は、ピクチャ単位の画像を入力した場合、ピクチャを再生画像として出力すると共に、ピクチャを表示画像用フレームメモリに格納し、ブロック単位の画像を入力した場合、表示画像用フレームメモリに格納されたピクチャを読み出し、読み出したピクチャに対し、ブロックの画像を、画像位置に基づいて上書きすることで合成画像を生成して再生画像として出力し、かつ、合成画像を表示画像用フレームメモリに格納するようにしたので、中間の画像を随時表示することにより、結果的に表示されるまでの遅延時間を減らすことが可能となる。

また、実施の形態１の動画像再生装置によれば、後処理部は、ピクチャ単位の画像を入力した場合、ピクチャを再生画像として出力すると共に、ピクチャを表示画像用フレームメモリに格納し、ブロック単位の画像を入力した場合、表示画像用フレームメモリに格納されたピクチャを読み出し、読み出したピクチャに対し、ブロックの画像を、画像位置に基づいて上書きすることで合成画像を生成して再生画像として出力し、かつ、合成画像を表示画像用フレームメモリに格納すると共に、ピクチャ単位の画像が入力された以降のピクチャにおけるブロックの画像が全て含まれる領域と、それ以外の領域とを境界線で示した再生画像とするようにしたので、中間の画像を随時表示することにより、結果的に表示されるまでの遅延時間を減らすことができると共に、直前の画像と伝送中の画像の境界付近を見わけ易くすることができる。

また、実施の形態１の動画像再生装置によれば、後処理部は、ピクチャ単位の画像を入力した場合、ピクチャを再生画像として出力すると共に、ピクチャを表示画像用フレームメモリに格納し、ブロック単位の画像を入力した場合、表示画像用フレームメモリに格納されたピクチャを読み出し、読み出したピクチャに対し、ブロックの画像を、画像位置に基づいて上書きすることで合成画像を生成して再生画像として出力し、かつ、合成画像を表示画像用フレームメモリに格納すると共に、ピクチャ単位の画像が入力された以降のピクチャにおけるブロックの画像が全て含まれる領域に比較して、それ以外の領域の明るさが暗い再生画像とするようにしたので、中間の画像を随時表示することにより、結果的に表示されるまでの遅延時間を減らすことができると共に、直前の画像と伝送中の画像の境界付近を見わけ易くすることができる。

実施の形態２．
実施の形態２は、デコーダ部において、復元された各ブロック単位の画像を出力するか否かを判定するデコーダ動作仕様判定手段を設けたものである。実施の形態２においても、符号化方式についてはＨ．２６４／ＡＶＣを例として説明を行う。実施の形態２における動画像再生装置も、入出力については実施の形態１と同様で、入力がＨ．２６４／ＡＶＣビットストリームであり、出力が表示画像である装置とする。

図１６は、実施の形態２における動画像再生装置１０ａの全体ブロック図を示す。
動画像再生装置１０ａの内部にあるデコーダ部２０ａには、Ｈ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１が入力される。デコーダ部２０ａでは、復号画像３及びマクロブロック画像２を出力する。それらが後処理部３０の入力となり、表示画像４が出力される。実施の形態１との違いは、デコーダ部２０ａの構成である。図１７に、実施の形態２におけるデコーダ部２０ａの内部構成を示す。

図１７において、デコーダ部２０ａは、可変長復号部２０１、逆量子化部２０２、逆変換部２０３、加算器２０４、ループフィルタ２０５、切り替えスイッチ２０６、動き補償部２０７、フレームメモリ２０８、イントラ予測補償部２０９、イントラ予測用メモリ２１０、デコーダ動作仕様判定部２１１、切り替えスイッチ２１２を備えている。ここで、可変長復号部２０１〜イントラ予測用メモリ２１０は実施の形態１と同様であるため、ここでの説明は省略する。デコーダ動作仕様判定部２１１は、入力圧縮データ１を監視すると共に、加算器２０４の出力を監視し、これらの監視結果に基づいて、切り替えスイッチ２１２の切り替え指示を行う機能部である。切り替えスイッチ２１２は、デコーダ動作仕様判定部２１１の選択結果に基づいて、マクロブロック画像２を出力するか否かを選択するスイッチである。これら、デコーダ動作仕様判定部２１１及び切り替えスイッチ２１２によって、受信した単位時間当たりの動画像符号化データ量、または単位時間当たりの動画像復号マクロブロック数を用いて、復元された各ブロック単位の画像を出力するか否かを判定するデコーダ動作仕様判定手段が構成されている。

以下、実施の形態２のデコーダ部２０ａの動作を詳しく説明する。
デコーダ部２０ａは、実施の形態１で説明した図２で示されるデコーダ部２０と同じ部分については、同じ動作をするため、その箇所の説明は省略し、実施の形態１のデコーダ部２０と異なる部分について説明する。

デコーダ部２０ａの内部にあるデコーダ動作仕様判定部２１１は、入力圧縮データ１または加算器２０４の出力を常に監視している（破線矢印２１１ａ，２１１ｂで示す）。デコーダ動作仕様判定部２１１は、入力圧縮データ１を監視することで、デコーダ部２０ａに入力されるＨ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１の、単位時間当たりのデータ量を把握する。また、デコーダ動作仕様判定部２１１は、加算器２０４の出力を監視することで、単位時間当たりの復号マクロブロック数を把握する。
デコーダ動作仕様判定部２１１は、入力圧縮データ１の監視２１１ａと加算器２０４出力の監視２１１ｂにおける監視結果に従い、切り替えスイッチ２１２のＯＮ／ＯＦＦを決定する。切り替えスイッチ２１２がＯＮの場合は、マクロブロック画像２が出力され、切り替えスイッチ２１２がＯＦＦの場合は、マクロブロック画像２が出力されない。

また、本実施の形態２における後処理部３０の動作は、実施の形態１の後処理部３０と同一の動作をするため、ここでの説明は省略する。

本実施の形態２における動画像再生装置１０ａでは、デコーダ動作仕様判定部２１１にて、入力圧縮データ１の監視２１１ａ及び加算器２０４出力の監視２１１ｂを行うことで、表示画像の制御が可能となる。具体的には、入力圧縮データ１の監視２１１ａ，加算器２０４出力の監視２１１ｂの監視結果が、切り替えスイッチ２１２をＯＮにするような結果だった場合、表示画像４は、マクロブロックを復号する度に、図５、図６及び図７に示す処理が実施されるため、マクロブロック復号完了毎に順次表示画像が更新され、図８及び図１１の中間の画像として図９や図１０などの画像が表示画像４として順次出力されることになる。この場合は、図８→図９→図１０→図１１の順で表示される。実施の形態１と同様に、図８→図１２→図１３→図１１や図８→図１４→図１５→図１１の場合もある。
一方、入力圧縮データ１の監視２１１ａ，加算器２０４出力の監視２１１ｂの監視結果が、切り替えスイッチ２１２をＯＦＦにするような結果だった場合、表示画像４は、図８が表示画像として出力された後、図９や図１０のような中間画像は表示されずに、図１１が出力される。

デコーダ動作仕様判定部２１１における入力圧縮データ１の監視２１１ａ，加算器２０４出力の監視２１１ｂにおいて、デコーダ部２０ａに入力されるＨ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１の、単位時間当たりのデータ量が予め設定されていた閾値よりも小さく、更に単位時間当たりの復号マクロブロック数が予め設定されていた閾値よりも小さい場合、切り替えスイッチ２１２をＯＮにする。また、デコーダ動作仕様判定部２１１における入力圧縮データ１の監視２１１ａ，加算器２０４出力の監視２１１ｂにおいて、デコーダ部２０ａに入力されるＨ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１の、単位時間当たりのデータ量が予め設定されていた閾値よりも大きく、更に単位時間当たりの復号マクロブロック数が予め設定されていた閾値よりも大きい場合、切り替えスイッチ２１２をＯＦＦにする。

つまり本実施の形態２における動画像再生装置１０ａは、伝送帯域が狭く遅延の大きいＨ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１を受信した場合には、デコーダ動作仕様判定部２１１における、入力圧縮データ１の監視２１１ａ，加算器２０４出力の監視２１１ｂの結果が、切り替えスイッチ２１２をＯＮにする結果となるため、表示画像４を、図８及び図１１の中間の画像として図９、図１０、図１２、図１３、図１４及び図１５などのような画像が表示画像４として順次出力されることで、遅延を抑えることが可能である。一方、伝送帯域が広くもともと遅延の小さいＨ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１を受信した場合には、デコーダ動作仕様判定部２１１における、入力圧縮データ１の監視２１１ａ，加算器２０４出力の監視２１１ｂの結果が、切り替えスイッチ２１２をＯＦＦにする結果となるため、１画像における全マクロブロックの復号終了後に画像表示するという意味での、通常の画像表示とすることが可能である。

動画像再生装置１０ａにとって、実際の伝送帯域が既知であれば、動画像再生装置１０ａで実際に受信した単位時間あたりのデータ量から、伝送中の符号化データにおけるおおよそのフレームレートを推定することが可能である。また、仮に動画像再生装置１０ａにとって伝送帯域が未知であっても、実際に復号した画像解像度は動画像再生装置１０ａで分かるため、単位時間あたりの復号マクロブロック数から、伝送中の符号化データにおけるおおよそのフレームレートを推定することが可能である。よって、動画像再生装置１０ａで実現したい表示画像の最低更新頻度に基づき、単位時間当たりのデータ量に対する閾値や単位時間当たりの復号マクロブロック数に対する閾値を決定する。
具体的には、例えば、単位時間当たりのデータ量に対する閾値は、動画像再生装置１０ａで実現したい表示画像の最低更新頻度と、実際の伝送路の帯域幅に応じて設定する。最低更新頻度が小さい時には閾値を小さく設定し、最低更新頻度が大きい時は閾値を大きく設定する。伝送路の帯域幅が狭いときには閾値を小さく設定し、伝送路の帯域幅が大きいときには閾値を大きく設定する。

また、例えば、単位時間当たりの復号マクロブロック数に対する閾値は、動画像再生装置１０ａで実現したい表示画像の最低更新頻度と、復号中の符号化データ中の画像の画像解像度に応じて設定する。最低更新頻度が小さい時には閾値を小さく設定し、最低更新頻度が大きい時は閾値を大きく設定する。画像サイズが大きい場合には閾値を大きく設定し、小さい場合には閾値を小さく設定する。
上記のように閾値を設定することにより、元々符号化されている符号化データのフレームレートを推定しつつ、そのフレームレートに応じて適応的に切り替えスイッチ２１２をＯＮ／ＯＦＦすることができるため、最低更新頻度をある程度保証した表示処理をすることが可能となり、結果的にみかけの遅延を小さくすることが可能となる。

以上述べたように、本実施の形態２における動画像再生装置１０ａは、伝送遅延をデコーダ動作仕様判定部２１１における入力圧縮データ１の監視２１１ａ，加算器２０４出力の監視２１１ｂの監視により推定し、適応的に表示画像４を制御することが可能となる。特に、伝送遅延が小さいならば図９、図１０、図１２、図１３、図１４及び図１５のような、直前の画像と伝送中の画像が混ざった中間的な画像は本来不要であり、伝送遅延をデコーダ動作仕様判定部２１１で推定することで、実施の形態１と比較して、表示画像４をより適切に制御できることが利点である。

本実施の形態２においても、Ｈ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１をそのまま用いることが可能であり、特許文献１に示されるような形での新たな符号化をわざわざ行う必要がないという利点もある。

尚、本実施の形態２では、映像符号化方式としてＨ．２６４／ＡＶＣを用いて説明したが、同様にマクロブロックを単位とする符号化方式（例えばＭＰＥＧ−２、ＭＰＥＧ−４、ＳＭＰＴＥ ＶＣ−１など）についても同様の方式を適用することができることは言うまでもない。

以上のように、実施の形態２の動画像再生装置によれば、デコーダ部は、受信した単位時間当たりの動画像符号化データ量、または単位時間当たりの動画像復号マクロブロック数を用いて、復元された各ブロック単位の画像を出力するか否かを判定するデコーダ動作仕様判定手段を備えたので、伝送帯域に応じてブロック単位の画像を出力するか否かを選択し、適応的に表示画像を制御することができる。

実施の形態３．
実施の形態３は、動画像再生装置と動画像符号化装置からなる動画像伝送システムに関するものである。本実施の形態３においても、符号化方式についてはＨ．２６４／ＡＶＣを例として説明を行う。本実施の形態３における動画像再生装置は、入力がＨ．２６４／ＡＶＣビットストリーム及びデコーダ動作仕様、出力が表示画像である装置とする。

図１８は、実施の形態３における動画像伝送システムの構成図である。
図示のように、動画像伝送システムは、動画像再生装置１０ｂと動画像符号化装置１１とからなる。動画像符号化装置１１は、Ｈ．２６４／ＡＶＣ準拠の動画像符号化装置であり、Ｈ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１及びデコーダ動作仕様５を出力する。動画像再生装置１０ｂは、動画像符号化装置１１から出力された入力圧縮データ１及びデコーダ動作仕様５に基づいて、符号化された動画像を復号し、表示画像を生成する装置であり、デコーダ部２０ｂと後処理部３０とを備えている。尚、デコーダ動作仕様５は、デコーダ部２０ｂの動作を規定するためのデータである。

動画像再生装置１０ｂの内部にあるデコーダ部２０ｂには、動画像符号化装置１１が出力したＨ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１及びデコーダ動作仕様５が入力される。デコーダ部２０ｂでは、デコーダ動作仕様５に従った復号処理を行い、復号画像３及びマクロブロック画像２を出力する。それらが後処理部３０の入力となり、表示画像４が出力される。

図１９は、デコーダ部２０ｂの構成図である。
デコーダ部２０ｂは、可変長復号部２０１、逆量子化部２０２、逆変換部２０３、加算器２０４、ループフィルタ２０５、切り替えスイッチ２０６、動き補償部２０７、フレームメモリ２０８、イントラ予測補償部２０９、イントラ予測用メモリ２１０、切り替えスイッチ２１２、デコーダ動作仕様受信部２１３を備えている。ここで、可変長復号部２０１〜切り替えスイッチ２１２は実施の形態２と同様であるため、ここでの説明は省略する。デコーダ動作仕様受信部２１３は、入力されるデコーダ動作仕様５に基づいて、切り替えスイッチ２１２のＯＮ／ＯＦＦを指示する機能部である。これら、切り替えスイッチ２１２及びデコーダ動作仕様受信部２１３によって、復元された各ブロック単位の画像を出力するか否かを判定するデコーダ動作仕様判定手段を構成している。

以下、デコーダ部２０ｂの動作を説明する。尚、デコーダ部２０ｂは、実施の形態１で説明したデコーダ部２０と同様の部分については、同様の動作をするため、その箇所の説明は省略し、実施の形態１のデコーダ部２０とは異なる部分について説明する。
デコーダ部２０ｂ内部のデコーダ動作仕様受信部２１３に、デコーダ動作仕様５が入力される。デコーダ動作仕様受信部２１３は、入力されたデコーダ動作仕様５に従い、切り替えスイッチ２１２のＯＮ／ＯＦＦを決定する。切り替えスイッチ２１２がＯＮの場合は、マクロブロック画像２が出力され、切り替えスイッチ２１２がＯＦＦの場合は、マクロブロック画像２が出力されない。

また、実施の形態３における後処理部３０の動作については、実施の形態１または実施の形態２の後処理部３０と同様の動作を行うため、ここでの説明は省略する。

実施の形態３における動画像再生装置１０ｂを用いると、動画像符号化装置１１で表示画像の制御が可能となる。具体的には、切り替えスイッチ２１２をＯＮにするようなデコーダ動作仕様５を動画像再生装置１０ｂが受信した場合、表示画像４は、マクロブロックを復号する度に、図５、図６及び図７に示す処理が実施されるため、マクロブロック復号完了毎に順次表示画像が更新され、図８及び図１１の中間の画像として、図９や図１０もしくは図１２や図１３もしくは図１４や図１５などの画像が表示画像４として、図８→図９→図１０→図１１、もしくは図８→図１２→図１３→図１１、もしくは図８→図１４→図１５→図１１、などのように順次出力されることになる。

一方、切り替えスイッチ２１２をＯＦＦにするようなデコーダ動作仕様５を動画像再生装置１０ｂが受信した場合、表示画像４は、図８が表示画像として出力された後、図９や図１０のような中間画像は表示されずに、図１１の画像が出力される。

つまり、実施の形態３における動画像符号化装置１１は、遅延の大きいＨ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１を伝送する場合には、切り替えスイッチ２１２をＯＮにするようなデコーダ動作仕様５を動画像再生装置１０ｂに通知することで、表示画像４を、図８及び図１１の中間の画像として図９、図１０、図１２、図１３、図１４、図１５などの画像が表示画像４として順次出力されることで、みかけの遅延を抑えることが可能である。一方、もともと遅延の小さいＨ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１を伝送する場合には、切り替えスイッチ２１２をＯＦＦにするようなデコーダ動作仕様５を動画像再生装置１０ｂに通知することで、１画像における全マクロブロックの復号終了後に画像表示するという意味での、通常の画像表示とすることが可能である。

以上述べたように、本実施の形態３における動画像符号化装置１１は、エンコードした時点で伝送遅延やフレームレートは分かっているため、デコーダ動作仕様５を用いて動画像再生装置１０ｂに通知することで、適応的に表示画像４を制御することが可能となる。特に伝送遅延が小さい場合やフレームレートが大きい場合は、図９や図１０のような中間画像は本来不要であり、そのようなエンコード時の状況に応じて動画像符号化装置１１側で自由に表示画像４を制御できることが利点である。

本実施の形態３においても、Ｈ．２６４／ＡＶＣ準拠の符号化方式で圧縮された入力圧縮データ１をそのまま用いることが可能であり、特許文献１に示されるような形での新たな符号化をわざわざ行う必要がないという利点もある。

尚、実施の形態３では、映像符号化方式としてＨ．２６４／ＡＶＣを用いて説明したが、同様にマクロブロックを単位とする符号化方式（例えばＭＰＥＧ−２、ＭＰＥＧ−４、ＳＭＰＴＥ ＶＣ−１など）についても同様の方式を適用することができることは言うまでもない。

以上のように、実施の形態３の動画像伝送システムによれば、ブロック単位に圧縮符号化された動画像符号化データ及びデコーダ動作仕様を出力する動画像符号化装置と、動画像符号化装置から出力される動画像符号化データ及びデコーダ動作仕様を入力して動画像信号を復号・再生する動画像再生装置とを備えた動画像伝送システムであって、動画像再生装置は、動画像符号化データを所定のデータ解析規則に従って解析してブロック単位の符号化シンボルを抽出する解析手段と、解析手段によって抽出された符号化シンボルを用いて所定の復号処理過程に基づいて、動画像の各ブロック単位の画像を復元した時点でそのブロックの画像をピクチャ内の位置と共に出力するブロック画像出力手段と、ピクチャ内の全ブロックの画像を復元した時点で動画像の各ピクチャ単位の画像を復元して出力する復号画像出力手段と、動画像符号化装置から出力されたデコーダ動作仕様に基づいて、復元された各ブロック単位の画像を出力するか否かを判定するデコーダ動作仕様判定手段とを有するデコーダ部と、ブロック画像出力手段からの出力されるブロック単位の画像とその位置及び復号画像出力手段から出力されるピクチャ単位の画像を入力し、これら画像を合成して再生画像を出力する後処理部とを備え、後処理部から出力される再生画像を再生するようにしたので、狭帯域ネットワークを用いて伝送する場合でも、既存の符号化方式を変換することなく遅延時間を削減することができる。また、動画像符号化装置側から適応的に動画像再生装置の表示画像を制御することが可能となる。

この発明の実施の形態１による動画像再生装置を示す構成図である。 この発明の実施の形態１による動画像再生装置のデコーダ部を示す構成図である。 一般的なＨ．２６４／ＡＶＣデコーダ部を示す構成図である。 この発明の実施の形態１による動画像再生装置の後処理部を示す構成図である。 この発明の実施の形態１による動画像再生装置の表示画像の説明図（その１）である。 この発明の実施の形態１による動画像再生装置の表示画像の説明図（その２）である。 この発明の実施の形態１による動画像再生装置の表示画像の説明図（その３）である。 この発明の実施の形態１による動画像再生装置の表示画像の説明図（その４）である。 この発明の実施の形態１による動画像再生装置の表示画像の説明図（その５）である。 この発明の実施の形態１による動画像再生装置の表示画像の説明図（その６）である。 この発明の実施の形態１による動画像再生装置の表示画像の説明図（その７）である。 この発明の実施の形態１による動画像再生装置の表示画像の説明図（その８）である。 この発明の実施の形態１による動画像再生装置の表示画像の説明図（その９）である。 この発明の実施の形態１による動画像再生装置の表示画像の説明図（その１０）である。 この発明の実施の形態１による動画像再生装置の表示画像の説明図（その１１）である。 この発明の実施の形態２による動画像再生装置を示す構成図である。 この発明の実施の形態２による動画像再生装置のデコーダ部を示す構成図である。 この発明の実施の形態３による動画像伝送システムを示す構成図である。 この発明の実施の形態３による動画像伝送システムのデコーダ部を示す構成図である。

符号の説明

１ 入力圧縮データ、２ マクロブロック画像、３ 復号画像、４ 表示画像、５ デコーダ動作仕様、１０，１０ａ，１０ｂ 動画像再生装置、１１ 動画像符号化装置、２０，２０ａ，２０ｂ デコーダ部、２１ 解析手段、２２ ブロック画像出力手段、２３ 復号画像出力手段、３０ 後処理部、２０１ 可変長復号部、２０２ 逆量子化部、２０３ 逆変換部、２０４ 加算器、２０５ ループフィルタ、２０６，２１２ 切り替えスイッチ、２０７ 動き補償部、２０８ フレームメモリ、２０９ イントラ予測補償部、２１０ イントラ予測用メモリ、２１１ デコーダ動作仕様判定部、２１３ デコーダ動作仕様受信部、３０１ 表示画像生成部、３０２ 表示画像用フレームメモリ。

Claims (9)

1. ブロック単位に圧縮符号化された動画像符号化データを入力して、動画像信号を復号・再生する動画像再生装置であって、
   前記動画像符号化データを所定のデータ解析規則に従って解析してブロック単位の符号化シンボルを抽出する解析手段と、当該解析手段によって抽出された符号化シンボルを用いて所定の復号処理過程に基づいて、動画像の各ブロック単位の画像を復元した時点でそのブロックの画像をピクチャ内の位置と共に出力するブロック画像出力手段と、ピクチャ内の全ブロックの画像を復元した時点で動画像の各ピクチャ単位の画像を復元して出力する復号画像出力手段とを有するデコーダ部と、
   前記ブロック画像出力手段からの出力されるブロック単位の画像とその位置及び前記復号画像出力手段から出力されるピクチャ単位の画像を入力し、これら画像を合成して再生画像を出力する後処理部とを備え、
   前記後処理部から出力される再生画像を再生することを特徴とする動画像再生装置。
2. デコーダ部は、受信した単位時間当たりの動画像符号化データ量または単位時間当たりの動画像復号マクロブロック数を用いて、復元された各ブロック単位の画像を出力するか否かを判定するデコーダ動作仕様判定手段を備えたことを特徴とする請求項１記載の動画像再生装置。
3. ブロック単位に圧縮符号化された動画像符号化データ及びデコーダ動作仕様を出力する動画像符号化装置と、当該動画像符号化装置から出力される動画像符号化データ及びデコーダ動作仕様を入力して動画像信号を復号・再生する動画像再生装置とを備えた動画像伝送システムであって、
   前記動画像再生装置は、
   前記動画像符号化データを所定のデータ解析規則に従って解析してブロック単位の符号化シンボルを抽出する解析手段と、当該解析手段によって抽出された符号化シンボルを用いて所定の復号処理過程に基づいて、動画像の各ブロック単位の画像を復元した時点でそのブロックの画像をピクチャ内の位置と共に出力するブロック画像出力手段と、ピクチャ内の全ブロックの画像を復元した時点で動画像の各ピクチャ単位の画像を復元して出力する復号画像出力手段と、前記動画像符号化装置から出力されたデコーダ動作仕様に基づいて、復元された各ブロック単位の画像を出力するか否かを判定するデコーダ動作仕様判定手段とを有するデコーダ部と、
   前記ブロック画像出力手段からの出力されるブロック単位の画像とその位置及び前記復号画像出力手段から出力されるピクチャ単位の画像を入力し、これら画像を合成して再生画像を出力する後処理部とを備え、
   前記後処理部から出力される再生画像を再生することを特徴とする動画像伝送システム。
4. 後処理部は、ピクチャ単位の画像を入力した場合、当該ピクチャを再生画像として出力すると共に、前記ピクチャを表示画像用フレームメモリに格納し、
   ブロック単位の画像を入力した場合、前記表示画像用フレームメモリに格納されたピクチャを読み出し、当該読み出したピクチャに対し、前記ブロックの画像を、当該画像位置に基づいて上書きすることで合成画像を生成して再生画像として出力し、かつ、当該合成画像を前記表示画像用フレームメモリに格納することを特徴とする請求項１または請求項２記載の動画像再生装置。
5. 後処理部は、ピクチャ単位の画像を入力した場合、当該ピクチャを再生画像として出力すると共に、前記ピクチャを表示画像用フレームメモリに格納し、
   ブロック単位の画像を入力した場合、前記表示画像用フレームメモリに格納されたピクチャを読み出し、当該読み出したピクチャに対し、前記ブロックの画像を、当該画像位置に基づいて上書きすることで合成画像を生成して再生画像として出力し、かつ、当該合成画像を前記表示画像用フレームメモリに格納すると共に、前記ピクチャ単位の画像が入力された以降の当該ピクチャにおけるブロックの画像が全て含まれる領域と、それ以外の領域とを境界線で示した再生画像とすることを特徴とする請求項１または請求項２記載の動画像再生装置。
6. 後処理部は、ピクチャ単位の画像を入力した場合、当該ピクチャを再生画像として出力すると共に、前記ピクチャを表示画像用フレームメモリに格納し、
   ブロック単位の画像を入力した場合、前記表示画像用フレームメモリに格納されたピクチャを読み出し、当該読み出したピクチャに対し、前記ブロックの画像を、当該画像位置に基づいて上書きすることで合成画像を生成して再生画像として出力し、かつ、当該合成画像を前記表示画像用フレームメモリに格納すると共に、前記ピクチャ単位の画像が入力された以降の当該ピクチャにおけるブロックの画像が全て含まれる領域に比較して、それ以外の領域の明るさが暗い再生画像とすることを特徴とする請求項１または請求項２記載の動画像再生装置。
7. 後処理部は、ピクチャ単位の画像を入力した場合、当該ピクチャを再生画像として出力すると共に、前記ピクチャを表示画像用フレームメモリに格納し、
   ブロック単位の画像を入力した場合、前記表示画像用フレームメモリに格納されたピクチャを読み出し、当該読み出したピクチャに対し、前記ブロックの画像を、当該画像位置に基づいて上書きすることで合成画像を生成して再生画像として出力し、かつ、当該合成画像を前記表示画像用フレームメモリに格納することを特徴とする請求項３記載の動画像伝送システム。
8. 後処理部は、ピクチャ単位の画像を入力した場合、当該ピクチャを再生画像として出力すると共に、前記ピクチャを表示画像用フレームメモリに格納し、
   ブロック単位の画像を入力した場合、前記表示画像用フレームメモリに格納されたピクチャを読み出し、当該読み出したピクチャに対し、前記ブロックの画像を、当該画像位置に基づいて上書きすることで合成画像を生成して再生画像として出力し、かつ、当該合成画像を前記表示画像用フレームメモリに格納すると共に、前記ピクチャ単位の画像が入力された以降の当該ピクチャにおけるブロックの画像が全て含まれる領域と、それ以外の領域とを境界線で示した再生画像とすることを特徴とする請求項３記載の動画像伝送システム。
9. 後処理部は、ピクチャ単位の画像を入力した場合、当該ピクチャを再生画像として出力すると共に、前記ピクチャを表示画像用フレームメモリに格納し、
   ブロック単位の画像を入力した場合、前記表示画像用フレームメモリに格納されたピクチャを読み出し、当該読み出したピクチャに対し、前記ブロックの画像を、当該画像位置に基づいて上書きすることで合成画像を生成して再生画像として出力し、かつ、当該合成画像を前記表示画像用フレームメモリに格納すると共に、前記ピクチャ単位の画像が入力された以降の当該ピクチャにおけるブロックの画像が全て含まれる領域に比較して、それ以外の領域の明るさが暗い再生画像とすることを特徴とする請求項３記載の動画像伝送システム。

Images