JP2006033393A - 画像符号化装置および画像符号化方法 - Google Patents

Abstract

【課題】 同一の映像信号から画像解像度やフレームレート、符号化ピクチャ構成等が異なる２種類の符号化信号を作成することができ、かつ動きベクトル検出の演算量および回路規模の削減を実現することができる画像符号化装置を提供する。
【解決手段】 画像符号化装置１は、入力された映像信号から第１映像信号と第２映像信号とを生成する映像信号生成部１０と、第１映像信号に対して動きベクトル検出を行い、この動きベクトルを用いて動き補償を行って第１符号化データへ符号化する第１符号化部１１と、第１符号化部１１で検出された動きベクトルを、画面解像度、フレームレート、およびピクチャ構成に基づいて補正し、基準ベクトルを生成する基準ベクトル生成部１２と、第２映像信号に対して基準ベクトルの周辺近傍のみを探索して動きベクトル検出を行い、この動きベクトルを用いて動き補償を行って第２符号化データへ符号化する第２符号化部１３とを備える。
【選択図】 図１

Description

本発明は、同一の映像信号から画像解像度やフレームレート、符号化ピクチャ構成等が異なる２種類の符号化された信号を作成する画像符号化装置に関する。

近年、ＡＶ情報のデジタル化が進み、映像信号をデジタル化して取り扱うことのできる機器が広く普及しつつある。ところで、映像信号は膨大な情報量を有するので、記録容量や伝送効率を考慮して情報量を削減しつつ符号化することが一般的である。映像信号の符号化技術として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）という作業部会により策定された国際規格が広く利用されており、上記の作業部会名をとってＭＰＥＧと称されている（ＩＳＯ／ＩＥＣ １１１７２−２ 通称：ＭＰＥＧ１）。

ＭＰＥＧにおいては、動きベクトルを用いた動き補償が利用される。動き補償とは、符号化画像を、垂直方向１６画素×水平方向１６画素のマクロブロックと呼ばれる処理単位に分割し、時間的に前後する参照画像における所定の探索範囲内で、符号化対象のマクロブロックと相関性の高いマクロブロックの位置を検出する。すなわち、参照画像上の前記マクロブロックの移動量が動きベクトルである。符号化対象マクロブロックを符号化する際に、この動きベクトルと、符号化画像と参照画像との差分値とを用いて符号化を行うことによって、符号化画像の情報量を削減することができる。

このような動き補償の方法には、前方向動き補償、後方向動き補償、および双方向動き補償が存在する。前方向動き補償は、図１５（ａ）に示すように参照画像として、符号化対象画像より時間的に過去の画像を利用する。後方向動き補償は、図１５（ｂ）に示すように時間的に未来の画像を利用する。双方向動き補償は、図１５（ｃ）に示すように時間的に過去の画像と未来の画像から補間した画像を作成し、予測画像とする。ＭＰＥＧでは、マクロブロック毎に３つの動き補償予測モードを選択して利用可能で、相関性の高い予測モードを適用的に選択符号化することで、時間的な冗長度を大きく削減することができ、符号化効率が向上する。ＭＰＥＧでは、動き補償を行わないＩピクチャ、先方向動き補償が利用可能なＰピクチャ、前方向動き補償、後方向動き補償、双方向動き補償が利用可能なＢピクチャがある。ＭＰＥＧ４以降では、ピクチャに相当するものをＶＯＰと呼ぶがここでは、簡単化のために、全てピクチャと表現する。

ＭＰＥＧ１に改良を加えたＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）やＭＰＥＧ４（ＩＳＯ／ＩＥＣ １４４９６−２）やＭＰＥＧ４ＡＶＣ（Ｈ．２６４）が規格化されており、ＢＳ／ＣＳデジタル放送、ＤＶＤ、携帯電話等の画像符号化方式として広く利用されている。

地上デジタル放送では、据え置きのＴＶ用のハイビジョンサイズまたは標準サイズの映像符号化信号と、携帯端末用の小さな画像解像度の映像符号化信号を同時に送信する計画である。

また、デジタルビデオカメラにおいても、標準サイズの信号を符号化してテープメディアやＤＶＤ（Digital Versatile Disk）に録画すると同時に、携帯電話で送受信可能な画像解像度の小さな画像信号を符号化して、メモリに記録する要望がある。

このように同じ映像信号から画像解像度の異なる２種類のＭＰＥＧ符号化を同時に実現する場合、動きベクトル検出回路を２つの符号化回路ごとに別個に持つ必要がある。しかしながら、動き補償を用いた符号化においては、動きベクトル検出処理の実現には大きな回路規模が必要とされ、符号化装置全体に占める動きベクトル検出のための回路規模は非常に大きなものとなる。そのため、動きベクトル検出のための回路規模を削減できるようにして、２種類の画像解像度（標準テレビ信号と高画質テレビ信号）の符号化を同時に符号化できるようにした方法が提案されている（例えば、特許文献１参照。）。

特許文献１に示された方法では、標準テレビ信号符号化処理によって検出された動きベクトル情報を高画質テレビ信号符号化処理で行われる動きベクトル検出のための基準ベクトルとして利用できるようにしている。具体的には、標準テレビ信号、および高画質テレビ信号の水平画素数、垂直画素数、アスペクト比から、標準テレビ信号の符号化で得られた動きベクトルをスケーリング（拡大）することにより、高画質テレビ信号の動きベクトル検出のための基準ベクトルとして利用している。これにより、高画質テレビ信号の符号化における動きベクトル検出処理では、基準ベクトル近傍だけを探索することにより動きベクトル検出が行なえるようになり、動きベクトル検出のための演算を大幅に削減することが可能となり、回路規模の大幅な削減を実現している。
特開平１０−２６２２５５号公報

現在、携帯端末や携帯電話は、省電力化や発熱防止のため、回路規模を小さくし、動作周波数を低く抑える必要がある。そのため、これらの機器では、メモリサイズや回路規模が大きくなる双方向動き補償を用いたＭＰＥＧデータや、復号に演算速度が必要な３０フレーム／秒のＭＰＥＧデータを復号する能力を持たない機器がある。一方、テレビ等の据え置き機器は高い演算性能を持ち、双方向動き補償や通常のフレームレートを復号化する能力を持つ。そのため、据え置き機器で高画質な映像再生を実現するために、符号化効率が良い双方向動き補償を用いたＭＰＥＧデータや３０フレーム／秒のＭＰＥＧデータを利用した高画質化なＭＰＥＧデータが必要となる。

このように、携帯機器用と据え置き機器用に２つのＭＰＥＧデータを同時に作成する場合、携帯機器向けの画像解像度の小さなＭＰＥＧデータは、フレームレートを下げ（例えば、１５フレーム／秒）、双方向動き補償を使わないＭＰＥＧデータで符号化し、据え置き機器向けの画像解像度の大きなＭＰＥＧデータは、通常のフレームレート（例えば、３０フレーム／秒）で、双方向動き補償を利用したＭＰＥＧデータで符号化する必要がある。

しかしながら、特許文献１に示されるような方法では、画像解像度の小さな映像信号を符号化する際に得られた動きベクトルを水平画素数、垂直画素数やアスペクト比でスケーリングすることにより、画像解像度の大きな映像信号の基準ベクトルとして利用しているため、同時に符号化する画像解像度の異なる２つのＭＰＥＧデータのピクチャ構成を、同じにしなければならないという第１の問題点がある。

また、２種類のＭＰＥＧデータのピクチャ構成は、同一でなければならないため、フレームレートについても自由に設定して符号化することができず、基本的には３０フレーム／秒と２９．９７フレーム／秒の同時符号化といった限られたフレームレートでの同時符号化しか実現できないという第２の問題点がある。

さらに、特許文献１に示されるような方法は、画像解像度の小さな映像信号の符号化において検出された動きベクトルを画像解像度の大きな映像信号の動きベクトル検出のための基準ベクトルとして利用するため、縮小画像の符号化が標準画像の符号化よりも先行して実施されなければならない。そのため、既に実現されている大きな画像の符号化装置に、縮小画像の符号化回路を付加するという構成で、同時記録の符号化装置を実現することが難しいという第３の問題点がある。

そこで、本発明は上記の事情に鑑みてなされたものであり、同一の映像信号から画像解像度やフレームレート、符号化ピクチャ構成等が異なる２種類の符号化信号を作成することができ、かつ動きベクトル検出の演算量および回路規模の削減を実現することができる画像符号化装置および画像符号化方法を提供することを目的とする。

上記目的を達成するため、本発明に係る装置は、同一の映像信号から作成した画像解像度およびフレームレートの少なくとも１つが異なる第１映像信号および第２映像信号を符号化して、２つの符号化信号を作成する画像符号化装置であって、前記第１映像信号に対して動き検出を行い、検出された動きベクトルを用いて動き補償を行って前記第１映像信号を符号化する第１画像符号化手段と、前記第１画像符号化手段で検出された動きベクトルに基づいて、前記第２映像信号を符号化する際に用いる基準ベクトルを生成する基準ベクトル生成手段と、前記第２映像信号に対して、前記基準ベクトル生成手段で作成された前記基準ベクトルの周辺を検索範囲として動き検出を行い、検出された動きベクトルを用いて動き補償を行って前記第２映像信号を符号化する第２画像符号化手段とを備えることを特徴とする。

これによって、同一の映像信号から画像解像度やフレームレート、符号化ピクチャ構成等が異なる２種類の符号化信号を作成する際に、動きベクトル検出の演算量を削減することができ、回路規模の大幅な縮小が可能である。

また、前記基準ベクトル生成手段は、前記第１映像信号および前記第２映像信号の画像解像度と、前記第１画像符号化手段および前記第２画像符号化手段で行われる動き補償の単位であるブロックサイズに基づいて、前記第１画像符号化手段で検出された動きベクトルを補正して基準ベクトルを生成してもよい。

これによって、画像解像度が相違する第１映像信号を符号化する際の動きベクトルから第２映像信号を符号化する際に用いる基準ベクトルを生成することができる。
また、前記基準ベクトル生成手段は、前記第１映像信号および前記第２映像信号のフレームレートに基づいて、前記第１画像符号化手段で検出された動きベクトルを補正して基準ベクトルを生成してもよい。

これによって、フレームレートが相違する第１映像信号を符号化する際の動きベクトルから第２映像信号を符号化する際に用いる基準ベクトルを生成することができる。
また、前記基準ベクトル生成手段は、前記第１画像符号化手段および前記第２画像符号化手段における符号化ピクチャ構成に基づいて、前記第１画像符号化手段で検出された動きベクトルを補正して基準ベクトルを生成してもよい。

これによって、符号化ピクチャ構成が相違する第１映像信号を符号化する際の動きベクトルから第２映像信号を符号化する際に用いる基準ベクトルを生成することができる。
なお、本発明は、このような画像符号化装置として実現することができるだけでなく、このような画像符号化装置が備える特徴的な手段をステップとする画像符号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の説明から明らかなように、本発明に係る画像符号化装置および画像符号化方法によれば、同一の映像信号から生成された２種類の映像信号である第１映像信号および第２映像信号を同時に符号化し、２つの符号化信号を作成する際に、２つの符号化信号のピクチャ構成、及び、フレームレートを同一にする必要がなく、それぞれの符号化データが所望するピクチャ構成やフレームレートで符号化する符号化装置を、少ない回路規模で実現可能である。

さらに、映像信号の画像解像度の大小にかかわらず、２つの映像信号の符号化処理のうちでどちらを先行させてもよく、既に実現されている画像解像度の画像符号化装置に、別の画像解像度の符号化回路を付加する形式での装置実現が容易である。

以下、本発明の各実施の形態について、それぞれ図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。

画像符号化装置１は、同一の映像信号から生成された２種類の映像信号である第１映像信号および第２映像信号を同時に符号化するための装置であり、図１に示すように映像信号生成部１０と、第１符号化部１１と、基準ベクトル生成部１２と、第２符号化部１３とを備えている。

この画像符号化装置１は、例えば図２に示すようなデジタルＤＶＤカメラ１００に備えられ、ＣＣＤ等によって生成された映像信号から第１映像信号および第２映像信号を生成し、第１映像信号を符号化した第１符号化データをメモリカード１０２へ、第２映像信号を符号化した第２符号化データをＤＶＤ１０１へ記録する場合等に用いられる。また、画像符号化装置１は、例えばＤＶＤレコーダ等に備えられ、チューナによって復号化されたＴＶ映像信号から第１映像信号および第２映像信号を生成し、第１映像信号を符号化した第１符号化データをメモリカードへ、第２映像信号を符号化した第２符号化データをＤＶＤへ記録する場合等に用いられても構わない。

映像信号生成部１０は、入力された映像信号に対して、画像解像度変換、フレームレート変換を行い、所望する画像解像度、フレームレートを有する第１映像信号と第２映像信号とを生成する。

第１符号化部１１は、映像信号生成部１０で生成された第１映像信号に対して動きベクトル検出を行い、検出された動きベクトルを用いて動き補償を行って所定のピクチャ構成を有する第１符号化データへ符号化する。

基準ベクトル生成部１２は、第１符号化部１１の動きベクトル検出処理で得られた動きベクトルを、第１映像信号および第２映像信号の画面解像度、フレームレート、第１符号化部１１および第２符号化部１３における符号化時のピクチャ構成に基づいて補正し、第２映像信号を符号化する際に利用される基準ベクトルを生成する。

第２符号化部１３は、映像信号生成部１０で生成された第２映像信号に対して、基準ベクトル生成部１２で生成された基準ベクトルの周辺近傍のみを探索して動きベクトル検出を行い、検出された動きベクトルを用いて動き補償を行って所定のピクチャ構成を有する第２符号化データへ符号化する。

次に、上記のように構成された画像符号化装置１の動作について説明する。ここでは、携帯機器用の３２０画素×２４０画素（ＱＶＧＡ）サイズで１５フレーム／秒（以下、ｆｐｓ）のＭＰＥＧ４（ＳＰ：シンプルプロファイル）データと、据え置き機器用の７２０画素×４８０画素（Ｄ１）サイズで３０ｆｐｓのＭＰＥＧ２（ＭＰ＠ＭＬ：メインプロファイル＠メインレベル）データを同時に符号化するものとして説明する。

また、ＭＰＥＧ４データのピクチャ構成は、ＩＰＰＰＰＰ‥の構成（以降、ＩＰＰＰと記す）を有し、ＭＰＥＧ２のピクチャ構成は、ＩＢＢＰＢＢＰ‥の構成（以降、ＩＢＢＰＢＢと記す）を有するものとする。また、動き補償を垂直方向１６画素×水平方向１６画素のマクロブロックの単位で行うものとする。

まず、映像信号生成部１０は、入力された映像信号に対して、画像解像度変換、フレームレート変換を行い、第１映像信号として３２０×２４０サイズで１５ｆｐｓの映像信号を、第２映像信号として７２０×４８０サイズで３０ｆｐｓの映像信号を出力する。

次に、第１符号化部１１は、映像信号生成部１０で生成された第１映像信号（３２０×２４０）に対して動きベクトル検出を行い、検出された動きベクトルを用いて動き補償を行ってＩＰＰＰのピクチャ構成を有するＭＰＥＧ４（ＳＰ）データへ符号化する。すなわち、第１符号化部１１の出力として、３２０×２４０サイズ、１５ｆｐｓ、ＩＰＰＰのピクチャ構成を有するＭＰＥＧ４データを得る。

次に、基準ベクトル生成部１２は、第１符号化部１１の動きベクトル検出処理で得られた動きベクトルを、画面解像度、フレームレート、およびピクチャ構成に基づいて補正し、基準ベクトルを生成する。以下、基準ベクトル生成部１２の動作を詳細に説明する。

図３は、基準ベクトル生成部１２の処理の流れを示すフローチャートである。
まず、基準ベクトル生成部１２は、第１符号化部１１の動きベクトル検出処理で検出された動きベクトルＭＶを取得する（ステップＳ２０）。次に、基準ベクトル生成部１２は、第１映像信号と第２映像信号とのフレームレートが異なるか否かを判定する（ステップＳ２１）。この判定の結果、第１映像信号と第２映像信号のフレームレートが異なる場合（ステップＳ２１でＹＥＳ）は、取得した動きベクトルＭＶをフレームレートにより補正する（ステップＳ２２）。

図４は、フレームレートによる動きベクトルの補正を説明する図である。ここでは、図４（ａ）に示す第１映像信号（１５ｆｐｓ）の動きベクトルから図４（ｂ）に示す第２映像信号（３０ｆｐｓ）と同じフレームレートの映像の動きベクトルを得る方法を表している。つまり、第１および第２映像信号のフレームレートの比（フレーム間隔の比）によって、第１映像信号の動きベクトルを補正する。３０ｆｐｓの映像信号のフレーム間隔は、第１映像信号（１５ｆｐｓ）の１／２（１５ｆｐｓ／３０ｆｐｓ）であるので、第１映像信号の動きベクトルを１／２倍して、３０ｆｐｓの映像信号の動きベクトルを得る。この処理で、第１映像信号に存在しないが、第２映像信号に存在するフレーム（例えば、フレーム３２）の動きベクトルを生成する。なお、フレームレートによる補正は、第１映像信号内にある全てのマクロブロックの動きベクトルに対して行う。また、本フレームレートによる補正は、各フレーム内で同じ位置にあるマクロブロック（ｃｏ-ｌｏｃａｔｅｄ ＭＢ）毎に行う。

次に、基準ベクトル生成部１２は、第１符号化データと第２符号化データの所望するピクチャ構成が異なるか否かを判定する（ステップＳ２３）。この判定の結果、第１符号化データと第２符号化データの所望するピクチャ構成が異なる場合（ステップＳ２３でＹＥＳ）、ピクチャ構成による補正を行う（ステップＳ２４）。

図５は、ピクチャ構成による動きベクトルの補正を説明する図である。ここでは、図５（ａ）に示す第１映像信号（ＩＰＰＰ）の動きベクトルから、図５（ｂ）に示す所望するピクチャ構成（ＩＢＢＰＢＢ）の第２符号化データの動きベクトルを得る方法を表している。つまり、参照フレームのフレーム間隔によって、動きベクトルを補正する。例えば、フレーム４３から２フレーム離れたフレーム４１を参照する動きベクトルは、フレーム４２から隣のフレーム４１を参照した動きベクトルＭＶ４０１と、フレーム４３から隣のフレーム４２を参照した動きベクトルＭＶ４０２とを加算した値とする。同様にして、参照方向も利用して補正を行う。例えば、フレーム４２から逆方向に２フレーム離れたフレーム４４を参照する動きベクトルは、フレーム４３から順方向に１フレーム離れたフレーム４２を参照する動きベクトルＭＶ４０２と、フレーム４４からフレーム４３を参照する動きベクトルＭＶ４０３とを加算して、−１倍した値とする。なお、本ピクチャ構成による補正は、各フレーム内で同じ位置にあるマクロブロック（ｃｏ-ｌｏｃａｔｅｄ ＭＢ）毎に行う。

図６は、図４を用いて説明したフレームレートによる補正と図５を用いて説明したピクチャ構成による補正の両方の補正を行った結果を示す図である。ここでは、図６（ａ）に示す第１映像信号（１５ｆｐｓ）を所望するピクチャ構成（ＩＰＰＰ）で符号化する際の動きベクトルから、図６（ｂ）に示す第２映像信号（３０ｆｐｓ）を所望するピクチャ構成（ＩＢＢＰＢＢ）の第２符号化データの動きベクトルを得る方法を表している。例えば、フレーム５２から逆方向に２フレーム離れたフレーム５４を参照する動きベクトルは、フレーム５３から順方向に２フレーム離れたフレーム５１を参照する動きベクトルＭＶ５０２を１／２倍した値と、フレーム５５から順方向に２フレーム離れたフレーム５３を参照する動きベクトルＭＶ５０３を１／２倍した値とを加算して、−１倍した値となる。

次に、基準ベクトル生成部１２は、第１映像信号と第２映像信号の画像解像度が異なるか否かを判定する（ステップＳ２５）。この判定の結果、第１映像信号と第２映像信号の画像解像度が異なる場合（ステップＳ２５でＹＥＳ）、画像解像度による動きベクトルの補正を行う（ステップＳ２６）。ここでは、第１映像信号（３２０画素×２４０画素）のマクロブロック毎の動きベクトルから、第２映像信号（７２０画素×４８０画素）のマクロブロック毎の動きベクトルを生成する。第２映像信号の水平サイズは、第１映像信号の９／４（７２０画素／３２０画素）倍であり、垂直サイズは、２（４８０画素／２４０画素）倍である。したがって、第１映像信号の動きベクトルを水平成分９／４倍し、垂直方法を２倍して、第２映像信号に対応する動きベクトルとする。図７は、画像解像度による補正を説明した図である。図７（ｂ）に示す７２０×４８０画像の動きベクトル６２は、図７（ａ）に示す３２０×２４０画像の動きベクトル６１を、水平、垂直成分をそれぞれ９／４倍、２倍したものである。

次に、基準ベクトル生成部１２は、第１映像信号の補正された動きベクトルから、第２映像信号内の全てのマクロブロック毎の基準ベクトルを求め、出力する（ステップＳ２７）。上記のように水平、垂直成分をそれぞれ９／４倍、２倍した場合、第１映像信号のマクロブロック（１６画素×１６画素）の領域は、第２映像信号の３６画素×３２画素に対応する。したがって、補正された第１映像信号の動きベクトルは、第２映像信号にある３６画素×３２画素の領域に対応する動きベクトルである。この３６画素×３２画素の内部に含まれるマクロブロック（１６画素×１６画素）については、第１映像信号の補正済み動きベクトルをそのまま基準ベクトルとする。いくつかの３６画素×３２画素の領域にまたがるマクロブロックについては、またがる領域に対応する補正済み動きベクトルを面積比で平均した値を基準ベクトルとする。

図８は、基準ベクトルの生成を説明した図である。図８（ｂ）に示す第２映像信号（７２０×４８０）に含まれるマクロブロックＭＢ１１、ＭＢ１２、ＭＢ２１、ＭＢ２２の基準ベクトルは、上記のように図８（ａ）に示す第１の映像信号のＭＢ１に対応する動きベクトルとする。また、マクロブロックＭＢ１３とＭＢ２３の基準ベクトルは、４画素×１６画素はＭＢ１の領域にあり、１２画素×１６画素はＭＢ２の領域にあるため、面積比で平均した値、（４×ＭＢ１の動きベクトル＋１２×ＭＢ２の動きベクトル）／１６とする。

以上の一連の処理により、基準ベクトル生成部１２は、第２映像信号の全てのマクロブロックに対応する基準ベクトルを生成する。なお、ここでは、動き補償の単位をマクロブロックとして説明したが、ブロック単位（８画素×８画素）、１６画素×８画素単位、４画素×８画素単位等の単位で実施してもよい。

次に、第２符号化部１３は、映像信号生成部１０で生成された第２映像信号（７２０×４８０）に対して、基準ベクトル生成部１２で生成された基準ベクトルの周辺近傍のみを探索して動きベクトル検出を行い、検出された動きベクトルを用いて動き補償を行ってＩＢＢＰＢＢのピクチャ構成を有するＭＰＥＧ２データへ符号化する。すなわち、第２符号化部１３の出力として、７２０×４８０サイズ、３０ｆｐｓ、ＩＢＢＰＢＢのピクチャ構成を有するＭＰＥＧ２データを得る。

以上のように、第２符号化部１３の動きベクトルの検出処理では、基準ベクトル生成部１２で生成された基準ベクトルの周辺近傍のみを探索して処理しているので、動きベクトル検出の演算量を削減することができ、回路規模の大幅な縮小が可能である。

また、基準ベクトル生成部１２では、画像解像度、フレームレート、および符号化ピクチャ構成のそれぞれの違いに応じて動きベクトルを補正しているので、画像解像度、フレームレート、および符号化ピクチャ構成が相違する第１符号化データの動きベクトルから第２符号化データを符号化する際に用いる基準ベクトルを生成することができる。

なお、本実施の形態では、第１符号化データとして３２０×２４０サイズ、１５ｆｐｓ、ＩＰＰＰのピクチャ構成を有するＭＰＥＧ４データと、第２符号化データとして７２０×４８０サイズ、３０ｆｐｓ、ＩＢＢＰＢＢのピクチャ構成を有するＭＰＥＧ２データとを同時に符号化するものとして説明したが、これに限られるものではない。これ以外の画像解像度、フレームレート、および符号化ピクチャ構成であっても構わない。

（実施の形態２）
上記実施の形態１では、第１符号化データとして、３２０×２４０サイズ、１５ｆｐｓ、ＩＰＰＰのピクチャ構成を有するＭＰＥＧ４データを、第２号化データとして、７２０×４８０サイズ、３０ｆｐｓ、ＩＢＢＰＢＢのピクチャ構成を有するＭＰＥＧ２データを作成する場合について説明したが、本実施の形態では、第１符号化データとして、７２０×４８０サイズ、３０ｆｐｓ、ＩＢＢＰＢＢのピクチャ構成を有するＭＰＥＧ２データを、第２符号化データとして、３２０×２４０サイズ、１５ｆｐｓ、ＩＰＰＰのピクチャ構成を有するＭＰＥＧ４データを作成する場合について説明する。なお、画像符号化装置の構成は、図１に示す実施の形態１の構成と同様である。

まず、映像信号生成部１０は、入力された映像信号に対して、画像解像度変換、フレームレート変換を行い、第１映像信号として７２０×４８０サイズで３０ｆｐｓの映像信号を、第２映像信号として３２０×２４０サイズで１５ｆｐｓの映像信号を出力する。なお、実施の形態１と同様に、入力される映像信号は、カメラによるＣＣＤによって生成された映像信号でもよいし、チューナによって復号化されたＴＶ映像信号でもよい。

次に、第１符号化部１１は、映像信号生成部１０で生成された第１映像信号（７２０×４８０）に対して動きベクトル検出を行い、検出された動きベクトルを用いて動き補償を行ってＩＢＢＰＢＢのピクチャ構成を有するＭＰＥＧ２データへ符号化する。すなわち、第１符号化部１１の出力として、７２０×４８０サイズ、３０ｆｐｓ、ＩＢＢＰＢＢのピクチャ構成を有するＭＰＥＧ２データを得る。

次に、基準ベクトル生成部１２は、第１符号化部１１の動きベクトル検出処理で得られた動きベクトルを、画面解像度、フレームレート、およびピクチャ構成に基づいて補正し、基準ベクトルを生成する。以下、基準ベクトル生成部１２の動作を詳細に説明する。

図９は、基準ベクトル生成部１２の処理の流れを示すフローチャートである。
まず、基準ベクトル生成部１２は、第１符号化部１１の動きベクトル検出処理で検出された動きベクトルＭＶを取得する（ステップＳ８０）。次に、基準ベクトル生成部１２は、第１符号化データと第２符号化データの所望するピクチャ構成が異なるか否かを判定する（ステップＳ８１）。この判定の結果、第１符号化データと第２符号化データの所望するピクチャ構成が異なる場合（ステップＳ８１でＹＥＳ）、取得した動きベクトルＭＶをピクチャ構成により補正する（ステップＳ８２）。

図１０は、ピクチャ構成による動きベクトルの補正を説明する図である。ここでは、図１０（ａ）に示す第１映像信号（ＩＢＢＰＢＢ）の動きベクトルから、図１０（ｂ）に示す所望するピクチャ構成（ＩＰＰＰ）の第２符号化データの動きベクトルを得る方法を表している。つまり、参照フレームのフレーム間隔によって、動きベクトルを補正する。例えば、フレーム９３から隣のフレーム９２を参照した動きベクトルは、フレーム９３から２フレーム離れたフレーム９１を参照する動きベクトルＭＶ９０２を１／２倍した値とする。同様にして、参照方向も利用して補正を行う。例えば、フレーム９４から順方向に１フレーム離れたフレーム９３を参照する動きベクトルは、フレーム９３から逆方向に１フレーム離れたフレーム９２を参照する動きベクトルＭＶ９０３を−１倍した値とする。本ピクチャ構成による補正は、各フレーム内で同じ位置にあるマクロブロック（ｃｏ-ｌｏｃａｔｅｄ ＭＢ）毎に行う。

次に、基準ベクトル生成部１２は、第１映像信号と第２映像信号とのフレームレートが異なるか否かを判定する（ステップＳ８３）。この判定の結果、第１映像信号と第２映像信号のフレームレートが異なる場合（ステップＳ８３でＹＥＳ）は、フレームレートによる補正を行う（ステップＳ８４）。

図１１は、フレームレートによる動きベクトルの補正を説明する図である。ここでは、図１１（ａ）に示す第１映像信号（３０ｆｐｓ）の動きベクトルから図１１（ｂ）に示す第２映像信号（１５ｆｐｓ）と同じフレームレートの映像の動きベクトルを得る方法を表している。つまり、第１および第２映像信号のフレームレートの比（フレーム間隔の比）によって、第１映像信号の動きベクトルを補正する。例えば、フレーム１０３から２フレーム離れたフレーム１０１を参照する動きベクトルは、フレーム１０１からフレーム１０２を参照する動きベクトルＭＶ１００１とフレーム１０３からフレーム１０２を参照する動きベクトルＭＶ１００２とを加算した値とする。なお、本フレームレートによる補正は、各フレーム内で同じ位置にあるマクロブロック（ｃｏ-ｌｏｃａｔｅｄ ＭＢ）毎に行う。

図１２は、図１０を用いて説明したピクチャ構成による補正と図１１を用いて説明したフレームレートによる補正の両方の補正を行った結果を示す図である。ここでは、図１２（ａ）に示す第１映像信号（３０ｆｐｓ）を所望するピクチャ構成（ＩＢＢＰＢＢ）で符号化する際の動きベクトルから、図１２（ｂ）に示す第２映像信号（１５ｆｐｓ）を所望するピクチャ構成（ＩＰＰＰ）の第２符号化データの動きベクトルを得る方法を表している。例えば、フレーム１１５から順方向に２フレーム離れたフレーム１１３を参照する動きベクトルは、フレーム１１３から逆方向に１フレーム離れたフレーム１１４を参照する動きベクトルＭＶ１１０２を−１倍した値と、フレーム１１５から順方向に１フレーム離れたフレーム１１４を参照する動きベクトルＭＶ１１０３とを加算した値となる。

次に、基準ベクトル生成部１２は、第１映像信号と第２映像信号の画像解像度が異なるか否かを判定する（ステップＳ８５）。この判定の結果、第１映像信号と第２映像信号の画像解像度が異なる場合（ステップＳ８５でＹＥＳ）、画像解像度による動きベクトルの補正を行う（ステップＳ８６）。ここでは、第１映像信号（７２０画素×４８０画素）のマクロブロック毎の動きベクトルから、第２映像信号（３２０画素×２４０画素）のマクロブロック毎の動きベクトルを生成する。第２映像信号の水平サイズは、画像１の映像信号の４／９（３２０画素／７２０画素）倍であり、垂直サイズは、１／２（２４０画素／４８０画素）倍である。したがって、第１映像信号の動きベクトルを水平成分４／９倍し、垂直方法を１／２倍して、第２映像信号に対応する動きベクトルとする。図１３は、画像解像度による補正を説明した図である。図１３（ｂ）に示す３２０×２４０画像の動きベクトル１２２は、図１３（ａ）に示す７２０×４８０画像の動きベクトル１２１を、水平、垂直成分をそれぞれ９／４倍、１／２倍したものである。

次に、基準ベクトル生成部１２は、第１映像信号の補正された動きベクトルから、第２映像信号内の全てのマクロブロック毎の基準ベクトルを求め、出力する（ステップＳ８７）。上記のように水平、垂直成分をそれぞれ９／４倍、１／２倍した場合、第２映像信号のマクロブロック（１６画素×１６画素）の領域は、第１映像信号の３６画素×３２画素に対応する。したがって、第２映像信号の基準ベクトルは、第２映像信号のマクロブロックに対応する第１映像信号内の３６画素×３２画素の領域に含まれるマクロブロックの面積比で、そのマクロブロックの動ききベクトルを平均した値とする。

図１４は基準ベクトルの生成を説明した図である。図１４（ｂ）に示す第２映像信号（３２０×２４０）のマクロブロックＭＢ１の基準ベクトルは、図１４（ａ）に示す対応する第１映像信号（７２０×４８０）の３６画素×３２画素に含まれるＭＢ１１とＭＢ１２とＭＢ１３とＭＢ２１とＭＢ２２とＭＢ２３の面積比で平均した値、つまり、（４×（ＭＢ１１の動きベクトル＋ＭＢ１２の動きベクトル＋ＭＢ２１の動きベクトル＋ＭＢ２２の動きベクトル）＋（ＭＢ１３の動きベクトル＋ＭＢ２３の動きベクトル））／１８とする。また、他のマクロブロックも同様に求める。

以上の一連の処理により、基準ベクトル生成部１２は、第２映像信号の全てのマクロブロックに対応する基準ベクトルを生成する。なお、ここでは、動き補償の単位をマクロブロックとして説明したが、ブロック単位（８画素×８画素）、１６画素×８画素単位、４画素×８画素単位等の単位で実施してもよい。

次に、第２符号化部１３は、映像信号生成部１０で生成された第２映像信号（３６０×２４０）に対して、基準ベクトル生成部１２で生成された基準ベクトルの周辺近傍のみを探索して動きベクトル検出を行い、検出された動きベクトルを用いて動き補償を行ってＩＰＰＰのピクチャ構成を有するＭＰＥＧ４データへ符号化する。すなわち、第２符号化部１３の出力として、３６０×２４０サイズ、１５ｆｐｓ、ＩＰＰＰのピクチャ構成を有するＭＰＥＧ４データを得る。

以上のように、第２符号化部１３の動きベクトルの検出処理では、基準ベクトル生成部１２で生成された基準ベクトルの周辺近傍のみを探索して処理しているので、動きベクトル検出の演算量を削減することができ、回路規模の大幅な縮小が可能である。

また、基準ベクトル生成部１２では、画像解像度、フレームレート、および符号化ピクチャ構成のそれぞれの違いに応じて動きベクトルを補正しているので、画像解像度、フレームレート、および符号化ピクチャ構成が相違する第１符号化データの動きベクトルから第２符号化データを符号化する際に用いる基準ベクトルを生成することができる。

また、本実施の形態では、画像解像度の大きな画像の動きベクトル検出を画像解像度の小さな画像の動きベクトル検出に先行する必要があるため、実施の形態１に比べ、演算量の削減量は大きくない。しかしながら、すでに、既に実現されている画像解像度の大きな画像の符号化装置に、画像解像度の小さな画像の符号化回路を付加するという構成で実現が可能である。

なお、本実施の形態では、第１符号化データとして７２０×４８０サイズ、３０ｆｐｓ、ＩＢＢＰＢＢのピクチャ構成を有するＭＰＥＧ２データと、第２符号化データとして３２０×２４０サイズ、１５ｆｐｓ、ＩＰＰＰのピクチャ構成を有するＭＰＥＧ４データとを同時に符号化するものとして説明したが、これに限られるものではない。これ以外の画像解像度、フレームレート、および符号化ピクチャ構成であっても構わない。

また、第１符号化データ（ＭＰＥＧデータ）から、画面解像度やフレームレート、ピクチャ構成を変更した第２符号化データを作成する画像符号化装置において、符号化データの動きベクトルから基準ベクトルを生成して、第２符号化データの作成の際の動きベクトル検出に利用することにより、動きベクトル検出の演算量を削減し、符号化装置の回路規模を縮小する用途にも適用される。

また、上記各実施の形態における図１に示したブロック図の機能ブロックは典型的には集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上のように本発明に係る画像符号化装置は、同一の映像信号から作成された画像解像度やフレームレート等が異なる２種類の映像信号を符号化する際に、動きベクトル検出の演算量を削減し、画像符号化装置の回路規模を縮小する用途に有効であり、例えばデジタルＤＶＤカメラ、デジタルビデオカメラ、ＤＶＤレコーダ、およびパーソナルコンピュータ等に用いることができる。

本発明に係る画像符号化装置の構成を示すブロック図である。 本発明に係る画像符号化装置を適用したデジタルＤＶＤカメラを示す概略図である。 実施の形態１に係る画像符号化装置の基準ベクトル生成部の処理の流れを示すフローチャートである。 実施の形態１のフレームレートによる動きベクトルの補正を説明する図であり、（ａ）１５ｆｐｓの映像信号、（ｂ）３０ｆｐｓの映像信号を示す図である。 実施の形態１のピクチャ構成による動きベクトルの補正を説明する図であり、（ａ）ＩＰＰＰのピクチャ構成、（ｂ）ＩＢＢＰＢＢのピクチャ構成を示す図である。 実施の形態１のフレームレートとピクチャ構成による動きベクトルの補正を説明する図であり、（ａ）１５ｆｐｓでＩＰＰＰのピクチャ構成、（ｂ）３０ｆｐｓでＩＢＢＰＢＢのピクチャ構成を示す図である。 実施の形態１の画像解像度による動きベクトルの補正を説明する図であり、（ａ）３２０×２４０画像、（ｂ）７２０×４８０画像を示す図である。 実施の形態１の基準ベクトルの生成を説明する図であり、（ａ）３２０×２４０画像、（ｂ）７２０×４８０画像を示す図である。 実施の形態２に係る画像符号化装置の基準ベクトル生成部の処理の流れを示すフローチャートである。 実施の形態２のピクチャ構成による動きベクトルの補正を説明する図であり、（ａ）ＩＢＢＰＢＢのピクチャ構成、（ｂ）ＩＰＰＰのピクチャ構成を示す図である。 実施の形態２のフレームレートによる動きベクトルの補正を説明する図であり、（ａ）３０ｆｐｓの映像信号、（ｂ）１５ｆｐｓの映像信号を示す図である。 実施の形態２のフレームレートとピクチャ構成による動きベクトルの補正を説明する図であり、（ａ）３０ｆｐｓでＩＢＢＰＢＢのピクチャ構成、（ｂ）１５ｆｐｓでＩＰＰＰのピクチャ構成を示す図である。 実施の形態２の画像解像度による動きベクトルの補正を説明する図であり、（ａ）７２０×４８０画像、（ｂ）３２０×２４０画像を示す図である。 実施の形態２の基準ベクトルの生成を説明する図であり、（ａ）７２０×４８０画像、（ｂ）３２０×２４０画像を示す図である。 動き補償についての説明図であり、（ａ）前方向動き補償、（ｂ）後方向動き補償、（ｃ）双方向動き補償の説明図である。

符号の説明

１ 画像符号化装置
１０ 映像信号生成部
１１ 第１符号化部
１２ 基準ベクトル生成部
１３ 第２符号化部

Claims (8)

1. 同一の映像信号から作成した画像解像度およびフレームレートの少なくとも１つが異なる第１映像信号および第２映像信号を符号化して、２つの符号化信号を作成する画像符号化装置であって、
   前記第１映像信号に対して動き検出を行い、検出された動きベクトルを用いて動き補償を行って前記第１映像信号を符号化する第１画像符号化手段と、
   前記第１画像符号化手段で検出された動きベクトルに基づいて、前記第２映像信号を符号化する際に用いる基準ベクトルを生成する基準ベクトル生成手段と、
   前記第２映像信号に対して、前記基準ベクトル生成手段で作成された前記基準ベクトルの周辺を検索範囲として動き検出を行い、検出された動きベクトルを用いて動き補償を行って前記第２映像信号を符号化する第２画像符号化手段と
   を備えることを特徴とする画像符号化装置。
2. 前記基準ベクトル生成手段は、前記第１映像信号および前記第２映像信号の画像解像度と、前記第１画像符号化手段および前記第２画像符号化手段で行われる動き補償の単位であるブロックサイズに基づいて、前記第１画像符号化手段で検出された動きベクトルを補正して基準ベクトルを生成する
   ことを特徴とする請求項１記載の画像符号化装置。
3. 前記基準ベクトル生成手段は、前記第１映像信号および前記第２映像信号のフレームレートに基づいて、前記第１画像符号化手段で検出された動きベクトルを補正して基準ベクトルを生成する
   ことを特徴とする請求項１または請求項２記載の画像符号化装置。
4. 前記基準ベクトル生成手段は、前記第１画像符号化手段および前記第２画像符号化手段における符号化ピクチャ構成に基づいて、前記第１画像符号化手段で検出された動きベクトルを補正して基準ベクトルを生成する
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像符号化装置。
5. 前記第２映像信号は、前記第１映像信号より画像解像度が高く、かつフレームレートが大きく、
   前記第２画像符号化手段における符号化ピクチャ構成は、前記第１画像符号化手段における符号化ピクチャ構成よりピクチャの種類が多く構成され、
   前記基準ベクトル生成手段は、前記第１映像信号および前記第２映像信号のフレームレートと、前記第１画像符号化手段および前記第２画像符号化手段における符号化ピクチャ構成と、前記第１映像信号および前記第２映像信号の画像解像度と、前記第１画像符号化手段および前記第２画像符号化手段で行われる動き補償の単位であるブロックサイズとに基づいて、前記第１画像符号化手段で検出された動きベクトルを補正して基準ベクトルを生成する
   ことを特徴とする請求項１記載の画像符号化装置。
6. 同一の映像信号から作成した画像解像度およびフレームレートの少なくとも１つが異なる第１映像信号および第２映像信号を符号化して、２つの符号化信号を作成する画像符号化方法であって、
   前記第１映像信号に対して動き検出を行い、検出された動きベクトルを用いて動き補償を行って前記第１映像信号を符号化する第１画像符号化ステップと、
   前記第１画像符号化ステップにより検出された動きベクトルに基づいて、前記第２映像信号を符号化する際に用いる基準ベクトルを生成する基準ベクトル生成ステップと、
   前記第２映像信号に対して、前記基準ベクトル生成ステップにより作成された前記基準ベクトルの周辺を検索範囲として動き検出を行い、検出された動きベクトルを用いて動き補償を行って前記第２映像信号を符号化する第２画像符号化ステップと
   を含むことを特徴とする画像符号化方法。
7. 同一の映像信号から作成した画像解像度およびフレームレートの少なくとも１つが異なる第１映像信号および第２映像信号を符号化して、２つの符号化信号を作成するためのプログラムであって、
   前記第１映像信号に対して動き検出を行い、検出された動きベクトルを用いて動き補償を行って前記第１映像信号を符号化する第１画像符号化ステップと、
   前記第１画像符号化ステップにより検出された動きベクトルに基づいて、前記第２映像信号を符号化する際に用いる基準ベクトルを生成する基準ベクトル生成ステップと、
   前記第２映像信号に対して、前記基準ベクトル生成ステップにより作成された前記基準ベクトルの周辺を検索範囲として動き検出を行い、検出された動きベクトルを用いて動き補償を行って前記第２映像信号を符号化する第２画像符号化ステップと
   をコンピュータに実行させることを特徴とするプログラム。
8. 同一の映像信号から作成した画像解像度およびフレームレートの少なくとも１つが異なる第１映像信号および第２映像信号を符号化して、２つの符号化信号を作成するための集積回路であって、
   前記第１映像信号に対して動き検出を行い、検出された動きベクトルを用いて動き補償を行って前記第１映像信号を符号化する第１画像符号化手段と、
   前記第１画像符号化手段で検出された動きベクトルに基づいて、前記第２映像信号を符号化する際に用いる基準ベクトルを生成する基準ベクトル生成手段と、
   前記第２映像信号に対して、前記基準ベクトル生成手段で作成された前記基準ベクトルの周辺を検索範囲として動き検出を行い、検出された動きベクトルを用いて動き補償を行って前記第２映像信号を符号化する第２画像符号化手段と
   を備えることを特徴とする集積回路。
   
   
   

Images