JP2011109301A - 画像符号化装置及び画像復号化装置 - Google Patents

Abstract

【課題】異なるフレームレートの符号化ストリームを複数同時に生成する際の演算量削減を低メモリ量で実施できる画像符号化装置及び画像復号化装置を提供する。
【解決手段】第１の符号化ストリームの生成における動き探索によって検出された動きベクトルを第２の符号化ストリームの生成において継承的に利用する際、第１の符号化ストリームにおける動きベクトルを選択的に保存して、第２の符号化ストリームの生成において、動きベクトルが保存されているブロックは保存されている動きベクトルを補正して使用し、動きベクトルが保存されていないブロックは周囲ブロックからの予測によって算出された動きベクトルを使用する。
【選択図】図１

Description

この発明は、異なるフレームレートの符号化ストリームを複数同時に生成する符号化処理を行う画像符号化装置及びこの装置により生成された符号化ストリームを復号する画像復号化装置に関するものである。

ネットワークを介して画像符号化データを配信する場合、利用者によって要求品質が様々であるため、一つの画像ソースに対して複数の品質の符号化ストリームを生成し、利用者が利用状況に応じた品質の符号化ストリームを選択できる手段が要求される。ここで、品質には、時間方向の品質を指す場合と空間方向の品質を指す場合とがある。

上述の選択が行える手段としては、階層構造を成す符号化ストリームを生成して、利用者が、符号化ストリームのうち、要求品質を満足するのに必要なレイヤまで取得する場合と、並列構造を成す複数の符号化ストリームを生成して、利用者が、要求品質に応じて選択した符号化ストリームを取得する場合が考えられる。
後者の場合で、時間方向の品質が異なる、すなわちフレームレートが異なる符号化ストリームを複数同時に生成するような符号化装置では、各符号化ストリーム間でフレームタイミングが同一ではないため、各符号化ストリームの生成において独立に動き探索をする必要がある。そのため、符号化装置全体として多くの演算量を必要とする。

特許文献１には、ある符号化ストリームをベースとし、その他の符号化ストリームの動きベクトルとして、ベースとなる符号化ストリームの生成に用いた動きベクトルを補正したものを継承利用することによって、演算量削減を図る方法が開示されている。

特開２００５−６４８９７号公報

特許文献１に開示される方法を実施するには、ベースとなる符号化ストリームにおける符号化フレームの動きベクトルをメモリに保存しておかなければならないために、多くのメモリ領域を必要とする。このため、十分な容量のメモリを確保することができない場合は、特許文献１に開示の方法が実施できないという課題があった。

この発明は、上記のような課題を解決するためになされたもので、異なるフレームレートの符号化ストリームを複数同時に生成する際の演算量削減を低メモリ量で実施できる画像符号化装置及び画像復号化装置を得ることを目的とする。

この発明に係る画像符号化装置は、異なるフレームレートの符号化ストリームを複数同時に生成する符号化処理を行う画像符号化装置において、ベースとなる符号化ストリームの動きベクトルを格納する動きベクトル格納部と、ベースとなる符号化ストリームの動きベクトルを格納するか否かを判定して、動きベクトル格納部における当該動きベクトルの有無を示す画像情報を出力し、格納条件を満たすと判定した動きベクトルを動きベクトル格納部に格納する動きベクトル選択部と、動きベクトル選択部が出力した動きベクトルの有無を示す画像情報に基づき、動きベクトル格納部における動きベクトルの有無を判定し、当該動きベクトルが動きベクトル格納部に格納されていない場合に、ベースとならない符号化ストリームの動きベクトルを、動きベクトル格納部に格納された周囲ブロックの動きベクトルに基づいて算出する動きベクトル算出部とを備えるものである。

この発明に係る画像復号化装置は、上記画像符号化装置で生成された符号化ストリームを復号化する画像復号化装置において、疑似動きベクトル算出部により算出された擬似動きベクトルにおける動きベクトル成分を格納する動きベクトル格納部と、疑似動きベクトル算出部により算出された擬似動きベクトルから、復号化ブロックに関するストリーム中の動きベクトル存在有無に関する情報及び動きベクトルを抽出し、復号化ブロックに関するストリーム中に動きベクトルが存在する場合、この動きベクトルを動きベクトル格納部に格納する擬似動きベクトル分析部と、復号化ブロックに関するストリーム中に動きベクトルが存在しない場合には、復号化ブロックの周囲ブロックの動きベクトルを動きベクトル格納部から取り出し、画像符号化装置の動きベクトル算出部と同一の予測方法によって復号化ブロックの動きベクトルを算出し、この動きベクトルを動きベクトル格納部に格納する動きベクトル算出部とを備えるものである。

この発明の画像符号化装置によれば、ベースとなる符号化ストリームの動きベクトルを格納する動きベクトル格納部と、ベースとなる符号化ストリームの動きベクトルを格納するか否かを判定して、動きベクトル格納部における当該動きベクトルの有無を示す画像情報を出力し、格納条件を満たすと判定した動きベクトルを動きベクトル格納部に格納する動きベクトル選択部とを備え、動きベクトル算出部が、動きベクトル選択部が出力した動きベクトルの有無を示す画像情報に基づき、動きベクトル格納部における動きベクトルの有無を判定し、当該動きベクトルが動きベクトル格納部に格納されている場合に、ベースとならない符号化ストリームの動きベクトルを、動きベクトル格納部に格納された動きベクトルに基づいて算出する。このように構成することで、ベースとなる符号化ストリームの動きベクトルの格納に必要なメモリ量を削減できる効果がある。

また、この発明の画像復号化装置によれば、疑似動きベクトル算出部により算出された擬似動きベクトルから、復号化ブロックに関するストリーム中の動きベクトル存在有無に関する情報及び動きベクトルを抽出し、復号化ブロックに関するストリーム中に動きベクトルが存在する場合、この動きベクトルを動きベクトル格納部に格納し、復号化ブロックに関するストリーム中に動きベクトルが存在しない場合には、復号化ブロックの周囲ブロックの動きベクトルを動きベクトル格納部から取り出し、画像符号化装置の動きベクトル算出部と同一の予測方法によって復号化ブロックの動きベクトルを算出し、この動きベクトルを動きベクトル格納部に格納する。
このようにすることで、ベースとなる符号化ストリームにおいて動きベクトルが格納（保存）されていない符号化ブロックは、動きベクトルを周囲ブロックの動きベクトルからの予測によって算出することから、動きベクトルに要する情報量が削減され、情報量圧縮効率が向上する効果もある。

この発明の実施の形態１による画像符号化装置の構成を示すブロック図である。 第１の符号化ストリームにおける符号化フレームと第２の符号化ストリームにおける符号化フレームとの関係を示す説明図である。 動きベクトル選択部による動作の流れを示すフローチャートである。 動きベクトル算出部による動作の流れを示すフローチャートである。 この発明の実施の形態２による画像符号化装置の構成を示すブロック図である。 実施の形態２による画像復号装置の構成を示すブロック図である。 擬似動きベクトル算出部による動作の流れを示すフローチャートである。 擬似動きベクトル分析部による動作の流れを示すフローチャートである。 動きベクトル算出部による動作の流れを示すフローチャートである。

実施の形態１．
以降の説明では、２並列の符号化ストリームを生成する場合を仮定して、ベースとなる符号化ストリームを第１の符号化ストリームとし、ベースとならない符号化ストリームを第２の符号化ストリームとする。ただし、第３以降の符号化ストリームを生成する場合も本発明の適用対象である。

図１は、この発明の実施の形態１による画像符号化装置の構成を示すブロック図であり、図２は、第１の符号化ストリームにおける符号化フレームと第２の符号化ストリームにおける符号化フレームとの関係を示す説明図である。図１及び図２において、動きベクトルＭＶ１は、第１の符号化ストリームにおける動きベクトルである。動きベクトルＭＶ２は、第２の符号化ストリームにおける動きベクトルである。画像情報ＣＢＩ１は、動きベクトルＭＶ１を持つ符号化ブロックに関する画像情報である。画像情報ＣＢＭＶＩ１は、動きベクトル情報格納部２における、動きベクトルＭＶ１を持つ符号化ブロックの動きベクトル有無情報である。

時刻ＣＦＴ１は、第１の符号化ストリームにおける符号化フレームの表示時刻である。時刻ＲＦＴ１は、第１の符号化ストリームにおいて、時刻ＣＦＴ１に対応する符号化フレームが参照するフレームの表示時刻である。時刻ＣＦＴ２は、第２の符号化ストリームにおける符号化フレームの表示時刻である。時刻ＲＦＴ２は、第２の符号化ストリームにおいて、時刻ＣＦＴ２に対応する符号化フレームが参照するフレームの表示時刻である。

動きベクトル選択部１は、第１の符号化ストリームにおける動きベクトルＭＶ１に対して、動きベクトルＭＶ１を持つ符号化ブロックに関する画像情報ＣＢＩ１を基に動きベクトル情報格納部２に格納するか否かを判定する構成部である。動きベクトル選択部１が、動きベクトルＭＶ１を動きベクトル情報格納部２に格納する判定をした場合は、動きベクトルＭＶ１を動きベクトル情報格納部２に格納する。
また、動きベクトル選択部１は、動きベクトルＭＶ１を動きベクトル情報格納部２に格納するか否かの判定結果に関わらず、動きベクトル情報格納部２における、動きベクトルＭＶ１を持つ符号化ブロックの動きベクトルの有無を示す画像情報ＣＢＭＶＩ１を動きベクトル情報格納部２に格納する。

動きベクトル情報格納部２は、動きベクトルＭＶ１、及び、動きベクトル情報格納部２における、動きベクトルＭＶ１を持つ符号化ブロックの動きベクトルの有無を示す画像情報ＣＢＭＶＩ１を格納するメモリである。

動きベクトル算出部３は、動きベクトル情報格納部２に格納される動きベクトルＭＶ１、動きベクトルＭＶ１を持つ符号化ブロックが所属する符号化フレームの表示時刻ＣＦＴ１、時刻ＣＦＴ１に対応する前記符号化フレームが参照するフレームの表示時刻ＲＦＴ１、第２の符号化ストリームにおける符号化フレームの表示時刻ＣＦＴ２、時刻ＣＦＴ２に対応する前記符号化フレームが参照するフレームの表示時刻ＲＦＴ２から、時刻ＣＦＴ２に対応する前記符号化フレームに所属する符号化ブロックの動きベクトルＭＶ２を算出する構成部である。

フレーム選択部１１は、指定されたフレームレートに応じて入力画像から符号化対象とするフレームを選択する構成部である。入力画像フレームメモリ１２は、符号化対象の入力画像フレームを格納するメモリである。
動き探索部１３は、第１の符号化ストリームにおける符号化フレームに所属する符号化ブロックに対して動き探索を行なって参照画像とするブロックを探索し、そのブロックを指定するベクトルを、動きベクトルＭＶ１として出力する構成部である。

減算器１４は、入力画像フレームメモリ１２に格納された入力画像と切換スイッチ２１から出力された予測画像との差分を求め、その差分画像をＤＣＴ量子化部１５に出力する構成部である。ＤＣＴ量子化部１５は、減算器１４から出力された差分画像に対するＤＣＴ（離散コサイン変換）処理と量子化処理を実施する構成部であり、処理結果を符号化部２３に出力する。

逆量子化逆ＤＣＴ部１６は、ＤＣＴ量子化部１５の出力データに対する逆量子化処理と逆ＤＣＴ処理を実施する構成部であって、上記差分画像を切換スイッチ１７に出力する。切換スイッチ１７は、逆量子化逆ＤＣＴ部１６から出力された上記差分画像をイントラ予測部１８又は動き補償部１９へ出力するスイッチである。

イントラ予測部１８は、参照画像メモリ２０に格納された参照画像を使用して、イントラ予測によって符号化対象ブロックの予測画像を生成する構成部であり、生成した予測画像を切換スイッチ２１に出力する。また、イントラ予測部１８は、切換スイッチ１７から出力された上記差分画像と上記参照画像を加算することで将来の符号化に用いる新たな参照画像を生成し、その参照画像を参照画像メモリ２０に格納する。さらに、イントラ予測部１８は、復号に必要な符号化情報を切換スイッチ２２に出力する処理を実施する。

動き補償部１９は、参照画像メモリ２０に格納された参照画像のうち、動きベクトルＭＶ１又は動きベクトルＭＶ２によって指定される参照画像を使用して、動き補償処理を実施することで符号化ブロックの予測画像を生成する構成部であり、その予測画像を切換スイッチ２１に出力する。また、動き補償部１９は、切換スイッチ１７から出力された上記差分画像と上記参照画像を加算することで、将来の符号化に用いる新たな参照画像を生成し、その参照画像を参照画像メモリ２０に格納する処理を実施する。

参照画像メモリ２０は、イントラ予測部１８及び動き補償部１９における予測画像の生成に使用する参照画像を格納するメモリである。
切換スイッチ２１は、イントラ予測部１８から出力された予測画像又は動き補償部１９から出力された予測画像を選択して減算器１４に出力するスイッチである。
切換スイッチ２２は、イントラ予測時の符号化情報又はインター予測時の動きベクトルを選択して符号化部２３に出力するスイッチである。

次に動作について説明する。
動き探索部１３、減算器１４、ＤＣＴ量子化部１５、逆量子化逆ＤＣＴ部１６、切換スイッチ１７、イントラ予測部１８、動き補償部１９、切換スイッチ２１、切換スイッチ２２及び符号化部２３の処理内容は、一般的な画像符号化装置に実装されているものと同様であるため、詳細な説明を省略する。

以下、図３から図４のフローチャートを参照しながら各構成部の動作を説明する。
図３は、動きベクトル選択部１による動作の流れを示すフローチャートである。
先ず、動きベクトル選択部１は、第１の符号化ストリームとして符号化されるフレームにおける符号化ブロックの画像情報ＣＢＩ１が、動きベクトル格納条件を満たしているか否かを判定する（ステップＳＴ１）。

動きベクトル選択部１は、第１の符号化ストリームとして符号化されるフレームにおける符号化ブロックの画像情報ＣＢＩ１が、動きベクトル格納条件を満たしている場合（ステップＳＴ１；ＹＥＳ）、第１の符号化ストリームとして符号化されるフレームにおける符号化ブロックの動きベクトルＭＶ１を動きベクトル情報格納部２に格納する（ステップＳＴ２）。このとき、動きベクトルＭＶ１に対して数ビット右シフトする処理を実施することで、動きベクトルＭＶ１の格納に必要なビット数を減らしてもよい。

この後、動きベクトル選択部１は、第１の符号化ストリームとして符号化されるフレームにおける符号化ブロックの動きベクトルＭＶ１が、動きベクトル情報格納部２に格納されていることを示す情報として、画像情報ＣＢＭＶＩ１を動きベクトル情報格納部２に格納する（ステップＳＴ３）。

一方、第１の符号化ストリームとして符号化されるフレームにおける符号化ブロックの画像情報ＣＢＩ１が、動きベクトル格納条件を満たしていない場合（ステップＳＴ１；ＮＯ）、動きベクトル選択部１は、第１の符号化ストリームとして符号化されるフレームにおける符号化ブロックの動きベクトルＭＶ１が、動きベクトル情報格納部２に格納されていないことを示す情報として、画像情報ＣＢＭＶＩ１を動きベクトル情報格納部２に格納する（ステップＳＴ４）。

符号化ブロックの画像情報ＣＢＩ１及び動きベクトル格納条件の具体例を説明する。
（１）符号化ブロックの画像情報及び動きベクトル格納条件の例１
動きベクトルＭＶ１を持つ符号化ブロックの画面内位置が、符号化ブロックの画像情報ＣＢＩ１として動きベクトル選択部１に入力され、動きベクトル選択部１は、水平方向と垂直方向で数ブロックライン置きに動きベクトルＭＶ１が動きベクトル情報格納部２に格納される動きベクトル格納条件に従う。

（２）符号化ブロックの画像情報及び動きベクトル格納条件の例２
動きベクトルＭＶ１を持つ符号化ブロックのエッジ検出パラメータが、符号化ブロックの画像情報ＣＢＩ１として動きベクトル選択部１に入力され、動きベクトル選択部１は、エッジ検出パラメータを基に所定の閾値を用いてエッジ検出判定を行ない、エッジ検出判定されれば、動きベクトルＭＶ１が動きベクトル情報格納部２に格納される動きベクトル格納条件に従う。エッジ検出判定に用いる閾値は、固定であっても可変であってもよい。

（３）符号化ブロックの画像情報及び動きベクトル格納条件の例３
動きベクトルＭＶ１を持つ符号化ブロックについての周囲との動きの相関を示すパラメータが、符号化ブロックの画像情報ＣＢＩ１として動きベクトル選択部１に入力され、動きベクトル選択部１は、前記パラメータに基づき、所定の閾値によって周囲との動きの相関が小さいと判定されれば、動きベクトルＭＶ１が動きベクトル情報格納部２に格納される動きベクトル格納条件に従う。なお、前記閾値は、固定であっても可変であってもよい。

第２符号化ストリームにおいて符号化されるフレームの符号化ブロックの動きベクトルＭＶ２は、動きベクトル情報格納部２に格納されている動きベクトル有無情報ＣＢＭＶＩ１及び動きベクトルＭＶ１を使用して、図４に示す流れで算出される。
図４は、動きベクトル算出部３による動作の流れを示すフローチャートである。
動きベクトル算出部３は、第２の符号化ストリームとして符号化されるフレームにおける符号化ブロック位置で、第１の符号化ストリームの動きベクトルＭＶ１が動きベクトル情報格納部２に格納されているか否かを、動きベクトル有無情報ＣＢＭＶＩ１に基づいて判定する（ステップＳＴ１１）。

動きベクトル算出部３は、第２の符号化ストリームとして符号化されるフレームにおける符号化ブロック位置で第１の符号化ストリームの動きベクトルＭＶ１が動きベクトル情報格納部２に格納されていると判定した場合（ステップＳＴ１１；ＹＥＳ）、動きベクトル情報格納部２に格納されている符号化ブロック位置の動きベクトルＭＶ１を、下記式（１）に従って補正することにより、第２の符号化ストリームとして符号化されるフレームにおける符号化ブロックの動きベクトルＭＶ２を算出する（ステップＳＴ１２）。
なお、第１の符号化ストリームにおける、表示時刻ＣＦＴ１に対応するフレームの予測方向は、前方向であっても後方向であってもよい。
また、第１の符号化ストリームにおける、表示時刻ＣＦＴ１に対応するフレームは、参照画像であっても、非参照画像であってもよい。
ＭＶ２＝｛（ＲＦＴ２−ＣＦＴ２）／（（ＲＦＴ１−ＣＦＴ１））｝×ＭＶ１
・・・（１）

一方、第２の符号化ストリームとして符号化されるフレームにおける符号化ブロック位置で第１の符号化ストリームの動きベクトルＭＶ１が動きベクトル情報格納部２に格納されていないと判定した場合（ステップＳＴ１１；ＮＯ）、動きベクトル算出部３は、第２の符号化ストリームとして符号化されるフレームにおける符号化ブロックの周囲ブロックの動きベクトルＭＶ２からの予測によって、前記符号化ブロックの動きベクトルＭＶ２を算出する（ステップＳＴ１３）。

ステップＳＴ１３において、動きベクトルＭＶ２の生成に用いる周囲ブロックは、符号化ブロックに対して符号化順で前方であっても後方であってもよい。
また、動きベクトルＭＶ２の生成に用いる周囲ブロックは、符号化ブロックに隣接していても隣接していなくてもよい。
動きベクトルＭＶ２の算出方法については、周囲ブロックの動きベクトルＭＶ２の加重平均値や中間値を用いる等の方法がある。

動きベクトル算出部３は、第２の符号化ストリームとして符号化されるフレームにおける符号化ブロックの動きベクトルＭＶ２を出力する（ステップＳＴ１４）。

以上のように、この実施の形態１によれば、第１の符号化ストリームの生成における動き探索によって検出された動きベクトルを第２の符号化ストリームの生成において継承的に利用する際、第１の符号化ストリームにおける動きベクトルを選択的に保存して、第２の符号化ストリームの生成において、動きベクトルが保存されているブロックは保存されている動きベクトルを補正して使用し、動きベクトルが保存されていないブロックは周囲ブロックからの予測によって算出された動きベクトルを使用する。
このようにすることで、動きベクトルの保存に必要なメモリ量を削減できるという効果が得られる。例えば、水平方向と垂直方向でＮブロックライン置きに動きベクトルを保存する場合には、動きベクトルを保存するのに要する総メモリ量を、約２／Ｎに削減することができる。

実施の形態２．
図５は、この発明の実施の形態２による画像符号化装置の構成を示すブロック図であって、図６は、この発明の実施の形態２による画像復号化装置の構成を示すブロック図である。なお、図５において、図１と同一の処理を実施するものは説明を省略する。

図５に示す画像符号化装置において、疑似動きベクトルＱＭＶ２は、第２の符号化ストリームにおける擬似動きベクトルである。切換スイッチ２２は、イントラ予測部１８から出力された符号化情報又は擬似動きベクトル算出部３１から出力された擬似動きベクトルＱＭＶ２を選択して符号化部２３に出力する処理を実施する。

擬似動きベクトル算出部３１は、動きベクトル情報格納部２に格納される動きベクトル有無情報ＣＢＭＶＩ１、動きベクトル算出部３から出力された動きベクトルＭＶ２を合成し、擬似動きベクトルＱＭＶ２を生成する構成部である。
擬似動きベクトル分析部４１は、復号化部５１から入力した擬似動きベクトルＱＭＶ２から動きベクトル有無情報ＣＢＭＶＩ１を取り出し、動きベクトル有無情報ＣＢＭＶＩ１を基に動きベクトルＭＶ２が存在するか否かを判定する構成部であり、動きベクトルＭＶ２が存在すると判定した場合は、動きベクトルＭＶ２を動きベクトル格納部４２に出力する。

動きベクトル格納部４２は、擬似動きベクトル分析部４１から出力された動きベクトルＭＶ２を格納するメモリである。動きベクトル算出部４３は、復号化ブロックの動きベクトルＭＶ２を復元する構成部である。

図６に示す画像復号化装置において、復号化部５１は、入力された符号化データを復号する構成部であり、擬似動きベクトルＱＭＶ２を擬似動きベクトル分析部４１に出力し、その他の復号化データを復号画像生成部５２に出力する。
復号画像生成部５２は、復号画像を生成する構成部であり、復号化部５１から入力された擬似動きベクトル以外の復号化データ、及びインター予測画像生成部５４から出力されたインター予測画像を使用して、復号画像を生成する処理を実施する。
復号画像フレームメモリ５３は、復号画像生成部５２から入力された復号画像を格納するメモリである。

次に動作について説明する。
先ず、図５に示す画像符号化装置における処理部の動作を説明する。ただし、図１と同一の動作をするものは説明を省略する。
図７は、擬似動きベクトル算出部３１による動作の流れを示すフローチャートであり、この図７を参照しながら、擬似動きベクトル算出部３１の処理内容を説明する。

擬似動きベクトル算出部３１は、動きベクトル有無情報ＣＢＭＶＩ１に基づいて、第２の符号化ストリームとして符号化されるフレームにおける符号化ブロック位置で、第１の符号化ストリームの動きベクトルＭＶ１が動きベクトル情報格納部２に格納されているか否かを判定する（ステップＳＴ２１）。

擬似動きベクトル算出部３１は、第２の符号化ストリームとして符号化されるフレームにおける符号化ブロック位置で第１の符号化ストリームの動きベクトルＭＶ１が動きベクトル情報格納部２に格納されていると判定した場合（ステップＳＴ２１；ＹＥＳ）、第２の符号化ストリームとして符号化されるフレームにおける符号化ブロックの動きベクトルＭＶ２と、動きベクトルＭＶ２がストリーム中に存在することを示す情報と同義である、画像情報ＣＢＭＶＩ１とを合成することで、擬似動きベクトルＱＭＶ２を生成する（ステップＳＴ２２）。

一方、第２の符号化ストリームとして符号化されるフレームにおける符号化ブロック位置で、第１の符号化ストリームの動きベクトルＭＶ１が動きベクトル情報格納部２に格納されていないと判定した場合（ステップＳＴ２１；ＮＯ）、擬似動きベクトル算出部３１は、第２の符号化ストリームとして符号化されるフレームにおける符号化ブロックの動きベクトルＭＶ２がストリーム中に存在しないことを示す情報と同義である、画像情報ＣＢＭＶＩ１を、擬似動きベクトルＱＭＶ２として生成する（ステップＳＴ２３）

擬似動きベクトル算出部３１は、第２の符号化ストリームとして符号化されるフレームにおける符号化ブロックの擬似動きベクトルＱＭＶ２を出力する（ステップＳＴ２４）。

図５に示す画像符号化装置で生成された第２の符号化ストリームは、図６に示す画像復号化装置によって復号化される。
以降では、図６に示す画像復号化装置の各構成部の処理内容を、図８及び図９のフローチャートを参照しながら説明する。なお、復号化部５１、復号画像生成部５２及びインター予測画像生成部５４の処理内容については、一般的な画像復号化装置に実装されているものと同様であるため詳細な説明を省略する。

図８は、擬似動きベクトル分析部４１による動作の流れを示すフローチャートである。
擬似動きベクトル分析部４１は、擬似動きベクトルＱＭＶ２から、動きベクトル有無情報ＣＢＭＶＩ１を抽出する（ステップＳＴ３１）。
擬似動きベクトル分析部４１は、動きベクトル有無情報ＣＢＭＶＩ１に基づいて、ストリーム中に復号化ブロックの動きベクトルＭＶ２が存在するか否かを判定する（ステップＳＴ３２）。

擬似動きベクトル分析部４１は、復号化ブロックの動きベクトルＭＶ２が存在すると判定した場合（ステップＳＴ３２；ＹＥＳ）、擬似動きベクトルＱＭＶ２から動きベクトルＭＶ２を抽出する（ステップＳＴ３３）。擬似動きベクトル分析部４１は、抽出した動きベクトルＭＶ２を動きベクトル格納部４２に出力する（ステップＳＴ３４）。

擬似動きベクトル分析部４１は、ステップＳＴ３４の処理が完了するか、若しくは、復号化ブロックの動きベクトルＭＶ２が存在しないと判定した場合（ステップＳＴ３２；ＮＯ）、動きベクトル有無情報ＣＢＭＶＩ１を、動きベクトル算出部４３に出力する（ステップＳＴ３５）。

図９は、動きベクトル算出部４３による動作の流れを示すフローチャートである
動きベクトル算出部４３は、動きベクトル有無情報ＣＢＭＶＩ１に基づいて、ストリーム中に復号化ブロックの動きベクトルＭＶ２が存在するか否かを判定する（ステップＳＴ４１）。

動きベクトル算出部４３は、ストリーム中に復号化ブロックの動きベクトルＭＶ２が存在すると判定した場合（ステップＳＴ４１；ＹＥＳ）、動きベクトル格納部４２から復号化ブロックの動きベクトルＭＶ２を取り出す（ステップＳＴ４２）。

一方、ストリーム中に復号化ブロックの動きベクトルＭＶ２が存在しないと判定された場合（ステップＳＴ４１；ＮＯ）、動きベクトル算出部４３は、動きベクトル格納部４２から復号化ブロックの周囲ブロックの動きベクトルＭＶ２を取り出し、この周囲ブロックの動きベクトルＭＶ２を用いて、動きベクトル算出部３と同一の予測方法によって復号化ブロックの動きベクトルＭＶ２を算出する（ステップＳＴ４３）。
この後、動きベクトル算出部４３は、復号化ブロックの動きベクトルＭＶ２を、動きベクトル格納部４２に格納する（ステップＳＴ４４）。

動きベクトル算出部４３は、ステップＳＴ４２又はステップＳＴ４４の処理が完了すると、動きべクトルＭＶ２を、インター予測画像生成部５４に出力する（ステップＳＴ４５）。

以上のように、この実施の形態２によれば、第１の符号化ストリームの生成における動き探索によって定まった動きベクトルを第２の符号化ストリームの生成において継承的に利用する際、第１の符号化ストリームにおける動きベクトルを選択的に保存して、第２の符号化ストリームを生成するにあたり、動きベクトルが保存されているブロックであれば、保存されている動きベクトルを補正して使用し、動きベクトルが保存されていないブロックに関しては、周囲ブロックからの予測によって定まった動きベクトルを使用するようにする。このように構成することで、動きベクトルの保存に必要なメモリ量を削減できるという効果が得られる。例えば、水平方向と垂直方向でＮブロックライン置きに動きベクトルを保存する場合には、動きベクトルを保存するのに要する総メモリ量を、約２／Ｎに削減することができる。

さらに、第２の符号化ストリームにおいては、周囲ブロックの動きベクトルからの予測によって動きベクトルを算出する符号化ブロックについては、動きベクトルを符号化しないようにすることで、動きベクトルに要する情報量が節約されて、情報量圧縮効率が向上する効果を奏する。

１１ フレーム選択部、２ 動きベクトル情報格納部、３，４３ 動きベクトル算出部、１２ 入力画像フレーム選択部、１３ 動き探索部、１４ 減算器、１５ ＤＣＴ量子化部、１６ 逆量子化逆ＤＣＴ部、１７，２１，２２ 切換スイッチ、１８ イントラ予測部、１９ 動き補償部、２０ 参照画像メモリ、２３ 符号化部、３１ 擬似動きベクトル算出部、４１ 疑似動きベクトル分析部、４２ 動きベクトル格納部、５１ 復号化部、５２ 復号画像生成部、５３ 復号画像フレームメモリ。

Claims (10)

1. 異なるフレームレートの符号化ストリームを複数同時に生成する符号化処理を行う画像符号化装置において、
   ベースとなる符号化ストリームの動きベクトルを格納する動きベクトル格納部と、
   前記ベースとなる符号化ストリームの動きベクトルを格納するか否かを判定して、前記動きベクトル格納部における当該動きベクトルの有無を示す画像情報を出力し、格納条件を満たすと判定した動きベクトルを前記動きベクトル格納部に格納する動きベクトル選択部と、
   前記動きベクトル選択部が出力した前記動きベクトルの有無を示す画像情報に基づき、前記動きベクトル格納部における前記動きベクトルの有無を判定し、当該動きベクトルが前記動きベクトル格納部に格納されていない場合に、ベースとならない符号化ストリームの動きベクトルを、前記動きベクトル格納部に格納された周囲ブロックの前記動きベクトルに基づいて算出する動きベクトル算出部とを備えた画像符号化装置。
2. 前記動きベクトル選択部は、前記ベースとなる符号化ストリームにて符号化される符号化ブロックに対して水平方向及び垂直方向に所定数のブロックライン置きに動きベクトルを前記動きベクトル格納部へ格納することを特徴とする請求項１記載の画像符号化装置。
3. 前記動きベクトル選択部は、前記ベースとなる符号化ストリームにて符号化される符号化ブロックにおけるエッジの検出有無に基づいて、動きベクトルを前記動きベクトル格納部へ格納するか否かを判定することを特徴とする請求項１記載の画像符号化装置。
4. 前記動きベクトル選択部は、前記ベースとなる符号化ストリームにて符号化される符号化ブロックについての周囲との動きの相関に基づいて、動きベクトルを前記動きベクトル格納部へ格納するか否かを判定することを特徴とする請求項１記載の画像符号化装置。
5. 前記動きベクトル算出部は、
   前記動きベクトル選択部が出力した前記動きベクトルの有無を示す画像情報に基づき、前記ベースとならない符号化ストリームにて符号化されるフレームの符号化ブロック位置で、前記動きベクトル格納部に前記ベースとなる符号化ストリームの動きベクトルが格納されていると判定した場合、前記ベースとなる符号化ストリームの動きベクトルを、時間的距離に応じて補正したものを用いて前記符号化ブロックの動きベクトルを算出し、
   前記動きベクトル選択部が出力した前記動きベクトルの有無を示す画像情報に基づき、前記符号化ブロック位置で、動きベクトル格納部に前記ベースとなる符号化ストリームの動きベクトルが格納されていないと判定した場合は、前記符号化ブロックの周囲ブロックの動きベクトルからの予測によって前記符号化ブロックの動きベクトルを算出することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像符号化装置。
6. 前記動きベクトル算出部は、前記ベースとならない符号化ストリームにて符号化されるフレームの符号化ブロック位置で、前記動きベクトル格納部に前記ベースとなる符号化ストリームの動きベクトルが格納されていない場合、前記符号化ブロックの周囲ブロックの動きベクトルの中間値を前記符号化ブロックの動きベクトルとして算出することを特徴とする請求項５記載の画像符号化装置。
7. 前記動きベクトル算出部は、前記ベースとならない符号化ストリームにて符号化されるフレームの符号化ブロック位置で、前記動きベクトル格納部に前記ベースとなる符号化ストリームの動きベクトルが格納されていないと判定した場合、前記符号化ブロックの周囲ブロックの動きベクトルの加重平均値を前記符号化ブロックの動きベクトルとして算出することを特徴とする請求項５記載の画像符号化装置。
8. 前記動きベクトル算出部で前記ベースとならない符号化ストリームを算出する際、
   前記符号化ストリームにて符号化されるフレームの符号化ブロック位置で、前記動きベクトル格納部に前記ベースとなる符号化ストリームの動きベクトルが格納されている場合は、前記符号化ストリーム中に動きベクトルが存在することを示す情報と動きベクトルを合成したものを擬似動きベクトルとして算出し、
   前記符号化ブロックで、前記動きベクトル格納部に前記ベースとなる符号化ストリームの動きベクトルが格納されていない場合には、前記符号化ストリーム中に動きベクトルが存在しないことを示す情報を擬似動きベクトルとして算出する疑似動きベクトル算出部を備えたことを特徴とする請求項１から請求項７のうちのいずれか１項記載の画像符号化装置。
9. 前記動きベクトル格納部は、前記ベースとなる符号化ストリームの動きベクトルのうち、前記動きベクトル選択部に選択された動きベクトルを所定数ビット右シフトしたものを格納することを特徴とする請求項１から請求項８のうちのいずれか１項記載の画像符号化装置。
10. 請求項８記載の画像符号化装置で生成された符号化ストリームを復号化する画像復号化装置において、
    前記疑似動きベクトル算出部により算出された擬似動きベクトルにおける動きベクトル成分を格納する動きベクトル格納部と、
    前記疑似動きベクトル算出部により算出された擬似動きベクトルから、復号化ブロックに関するストリーム中の動きベクトル存在有無に関する情報及び動きベクトルを抽出し、前記復号化ブロックに関するストリーム中に動きベクトルが存在する場合、この動きベクトルを前記動きベクトル格納部に格納する擬似動きベクトル分析部と、
    前記復号化ブロックに関するストリーム中に動きベクトルが存在しない場合には、前記復号化ブロックの周囲ブロックの動きベクトルを前記動きベクトル格納部から取り出し、前記画像符号化装置の動きベクトル算出部と同一の予測方法によって前記復号化ブロックの動きベクトルを算出し、この動きベクトルを前記動きベクトル格納部に格納する動きベクトル算出部とを備えたことを特徴とする画像復号化装置。

Images