JP2012049753A - 映像圧縮装置、映像圧縮方法およびプログラム - Google Patents

Abstract

【課題】左右２チャネルの映像からなる３次元（３Ｄ）映像の符号化処理においては、処理に係る演算量および符号化後の情報量が２次元（２Ｄ）映像の約２倍となるため、左右の映像の相関を利用し符号化後の情報量を削減する手段が提案されている。しかし、従来方式では左右の映像を独立して復号することができず、また処理に係る演算量は削減できなかった。
【解決手段】第１チャネル処理部１０１と第２チャネル処理部２０１は独立して圧縮処理を行なうことにより独立した復号化を可能とし、また、第１チャネルの動きベクトル検出部１０３は探索した動きベクトルを第２チャネルの動きベクトル検出部２０３に与えることにより第２チャネルの動きベクトル探索に係る演算量を削減する。
【選択図】図１

Description

本発明は、第１の映像と第２の映像とからなる立体映像を圧縮する映像圧縮装置、映像圧縮方法およびプログラムに関するものである。

近年、左右２つの映像からなる３次元（３Ｄ）映像に対する注目が高まり、家庭への普及も進みつつある。一方、映像信号は膨大な情報量を有するため、これを高品質かつ高効率に符号化するための映像圧縮技術への注目度も高まっている。その一方法として、動き補償（動き予測ともいう）によるフレーム間圧縮方式がある。この方式は、映像フレーム間の時空間的相関を利用し符号化する情報量を削減するものである。しかし、この方式を３Ｄ映像の左右２チャネルに単に適用すれば、圧縮後の符号化量および圧縮処理に係る演算量がともに約２倍に増加してしまう。この従来例について、図面を用いて説明する。

図３は従来の符号化方式を説明するための模式図である。図３（ａ）はある時刻ｔ＝０における第１チャネルの映像を表し、図３（ｂ）は同時刻の第２チャネルの映像を表す。また、図３（ｃ）は微小時間Δｔ経過後の第１チャネルの映像を表し、図３（ｄ）は同時刻の第２チャネルの映像を表す。図３（ｃ）、図３（ｄ）の図中の円は、動き補償を行うための動きベクトル探索範囲を示す。図３（ｃ）の画像を符号化する際は、図３（ａ）の画像に動き補償を行なって参照画像とし、この参照画像と図３（ｃ）の画像との差分に対し符号化を行う。同様に、図３（ｄ）の画像を符号化する際は、図３（ｂ）の画像に動き補償を行なって参照画像とし、この参照画像と図３（ｄ）の画像との差分に対し符号化を行う。この従来方式では、第１チャネルと第２チャネル各々の動きベクトル探索を独立して行うため、３Ｄ映像の圧縮のための演算量が２Ｄ映像の場合に比べて約２倍となる。

一方、３Ｄ映像には同一チャネルの時間的相関に加え、チャネル間にも高い空間的相関が存在する。この３Ｄ映像特有の性質を活用することにより、圧縮効率を高めた３Ｄ映像圧縮方法が提案されている。その一例が特許文献１である。特許文献１では、３Ｄ映像を構成する第１のチャネルおよび第２のチャネルの画像信号を符号化して、第１のチャネルおよび第２のチャネルの画像符号化データを生成する画像符号化方法が開示されている。この画像符号化方法において、第２のチャネルの画像信号と、第１のチャネルの画像信号から得られる参照画像信号との差分データを求め、この差分データを符号化して第２のチャネルの画像符号化データを生成する工程を含む画像符号化方法が開示されている。これを第２の従来の例として図４を用いて説明する。

図４は特許文献１の符号化方式を説明する模式図である。図４（ａ）、（ｂ）、（ｃ）および（ｄ）は各々の図の示すところは図３と同じである。第１の従来例同様、図４（ｃ）の画像を符号化する際は、図４（ａ）の画像に動き補償を行なって参照画像とし、この参照画像と図４（ｃ）の画像との差分に対し符号化を行う。一方、図４（ｄ）の画像を符号化する際は、図４（ｃ）の画像から参照画像を生成し、この参照画像と図４（ｄ）の画像との差分に対し符号化を行う。

この画像符号化方法によれば、ステレオ画像の第１チャネルと第２チャネルの画像との相関を利用して差分データを生成し、これを符号化しているので、少ない符号量で３Ｄ映像を伝送できる。しかし、第２のチャネルの画像を復号化するにあたって、第１チャネルの画像が必要となり、第２のチャネルの画像は単独で復号できない。

特開平１１−２０５８１９号公報

このように、上記第１の従来の方法では、チャネル数の増加に伴い圧縮後の情報量および圧縮に係る演算量が増加するという課題がある。また、この課題を解決可能な第２の従来の方法にも、第２チャネルの画像が単独で復号できないという課題がある。

本発明は、上記２つの課題を解決するものであり、第１の映像と第２の映像とを個別に圧縮しつつ、第２の映像について効率的な動きベクトルの探索が可能となり、圧縮に伴う演算量を減少することができる映像圧縮装置を提供することを目的とする。

本発明の映像圧縮装置は、第１の映像と第２の映像とからなる立体映像を圧縮する映像圧縮装置であって、前記第１の映像における被写体の動きベクトルを探索する第１の動きベクトル探索部と、前記第２の映像において前記第１の映像と同一被写体の動きベクトルを探索するにあたって、前記第１の映像において求めた動きベクトルを基に、探索範囲を限定し、動きベクトルを探索する第２の動きベクトル探索部と、前記第１の動きベクトル探索部で求めた動きベクトルを用いて、前記第１の映像を圧縮する第１の映像圧縮部と、前記第２の動きベクトル探索部で求めた動きベクトルを用いて、前記第２の映像を圧縮する第２の映像圧縮部と、を備える。

上記の構成によって、第１の映像と第２の映像とを個別に圧縮しつつ、第２の映像について効率的な動きベクトルの探索が可能となり、圧縮に伴う演算量を削減できる。これにより、第２の映像圧縮部の回路規模を縮小可能で、さらに演算に伴う消費電力を削減できる。

実施の形態１における画像圧縮装置の構成を示すブロック図 実施の形態１における動きベクトル探索範囲を説明する模式図 一般的な３Ｄ映像の時空間的相関を説明する模式図 従来方式における動きベクトル探索範囲を説明する模式図

以下、実施の形態を、図面を用いて詳細に説明する
（実施の形態１）
（１．映像圧縮装置の構成）
図１は、本実施の形態における映像圧縮装置の構成を示すブロック図である。映像圧縮装置１００は、第１チャネル処理部１０１と第２チャネル処理部２０１とを含む。第１チャネル処理部１０１は、前処理部１０２と、動きベクトル検出部１０３と、フレームメモリ１０４と、減算器１０５と、直交変換部１０６と、量子化部１０７と、可変長符号化部１０８と、伝送バッファ部１０９と、逆量子化部１１０と、逆直交変換部１１１と、加算器１１２と、動き補償部１１３と、イントラ予測部１１４と、切り替え部１１５と、制御部１２１とを含む。

前処理部１０２は、入力されたデジタル映像信号に後の圧縮処理が行いやすいように、画素数変換やノイズ除去処理などを行い、フレーム順序の並び替えのために一度フレームメモリ１０４に画像を記憶させ、再度読み出して、動きベクトル検出部１０３および減算器１０５に出力する。この画像を以後、現画像と呼ぶ。このとき画像フレームをＭ×Ｎピクセルの小ブロックに分割して読み出すものとする。この小ブロックを以後マクロブロックと呼ぶ。

動きベクトル検出部１０３は、前処理部１０２からの現画像と、フレームメモリ１０４からの参照画像を用いて、動きベクトルを検出し、動き補償部１１３と可変長符号化部１０８に出力する。フレームメモリ１０４は、前処理部１０２および加算器１１２からの画像データを記憶し、また、動き補償部１１３および動きベクトル検出部１０３に現画像のマクロブロックを出力する。

減算器１０５は、前処理部１０２からの画像と、動き補償部１１３およびイントラ予測部１１４からの参照画像との差分データを各々生成し、より圧縮に適した一方のデータを直交変換部１０６に出力する。直交変換部１０６は、減算器１０５からの差分データに直交変換（例えば離散コサイン変換）を施す。量子化部１０７は、直交変換部１０６からのデータを所定の量子化値に置き換えることによりデータ量の低減を図る。可変長符号化部１０８は、量子化部１０７からのデータおよび動きベクトル検出部１０３からのデータに対して、値の発生頻度に応じて符号を割り当てる。すなわち、発生頻度の高い値には短い符号を、頻度の低い量子化値には長い符号を割り当てることで、伝送ビット数の削減を図る。

伝送バッファ部１０９は、符号化されたデータを一度格納し、一定速度で送り出すことにより安定した伝送を図る。

逆量子化部１１０は、量子化部１０７で量子化されたデータを逆量子化することにより直交係数データを生成し、逆直交変換部１１１に出力する。逆直交変換部１１１は、直交変換係数データを逆直交変換することにより差分画像データを生成し、加算器１１２に出力する。加算器１１２は、逆直交変換部１１１からの差分データと、切り替え部１１５からの参照画像データを用いて、新たな参照画像データを生成し、フレームメモリ１０４に記憶させる。

動き補償部１１３は、フレームメモリ１０４からの参照画像データと、動きベクトル検出部１０３からの動きベクトルを用いて、動き補償を行った参照画像データを生成し、減算器１０５および切り替え部１１５に出力する。切り替え部１１５は、制御信号１２２により制御され、加算器１１２に与えられる差分データがフレーム間圧縮による場合は動き補償部１１３からの参照画像を、フレーム内圧縮による場合はイントラ予測部１１４からの参照画像を、加算器１１５に出力する。制御部１２１は、制御信号１２２を通じて切り替え部１１５の制御を行う。

第２チャネル処理部２０１は、前処理部２０２と、動きベクトル検出部２０３と、フレームメモリ２０４と、減算器２０５と、直交変換部２０６と、量子化部２０７と、可変長符号化部２０８と、伝送バッファ部２０９と、逆量子化部２１０と、逆直交変換部２１１と、加算器２１２と、動き補償部２１３と、イントラ予測部２１４と、切り替え部２１５と、制御部２２１とを含む。前処理部２０２と、フレームメモリ２０４と、減算器２０５と、直交変換部２０６と、量子化部２０７と、可変長符号化部２０８と、伝送バッファ部２０９と、逆量子化部２１０と、逆直交変換部２１１と、加算器２１２と、動き補償部２１３と、イントラ予測部２１４と、切り替え部２１５と、制御部２２１との構成は、第１チャネル処理部１０１を構成する同一名称の構成要素と同様であるため詳細な説明を省略する。

動きベクトル検出部２０３は、前処理部２０２からの画像と、フレームメモリ２０４からの参照画像を用いて動きベクトルを検出する。その際、第１チャネル処理部１０１の動きベクトル検出部１０３からの動きベクトルを用いて探索範囲を限定する。さらに、検出した動きベクトルを動き補償部２１３と可変長符号化部２０８に出力する。

（２．映像圧縮装置の動作）
図１に示す映像圧縮装置１００の動作を説明する。図１において、第１チャネル処理部１０１に入力された映像（時系列に沿ってフレーム画像が並んだもの。フレーム画像は２次元に画素（ピクセル）が並んだもの）は、前処理部１０２によりフレーム毎に画素数変換やノイズ除去処理などが施されたのち、フレーム順序の並び替えのためにフレームメモリ１０４に一時記憶され、マクロブロック単位で再度読み出されて減算器１０５および動きベクトル検出部１０３に出力される。

動きベクトル検出部１０３は、フレームメモリ１０４から読み出した参照画像と前処理部１０２からの現画像のマクロブロックを用いて動きベクトルの検出を行う。まず、動きベクトル検出部１０３は、参照画像も現画像同様にＭ×Ｎピクセルのマクロブロックに分割する。次に、動きベクトル検出部１０３は、現画像のマクロブロックの特徴を抽出し、これと最も高い相関を持つ参照画像のマクロブロックを求める。動きベクトル検出部１０３は、この双方のマクロブロックのピクチャ全体における位置関係を動きベクトルとして表す。こうして得られた動きベクトルを、動きベクトル検出部１０３は、動き補償部１１３、可変長符号化部１０８、さらに第２チャネルの動きベクトル検出部２１３に出力する。このとき、動きベクトル検出部１０３は、複数の参照画像に対して動きベクトルの検出を行ない、最も適した参照画像に対する動きベクトルを選択し、参照に用いた画像の識別番号と紐付けて、以後の処理を行っても良い。

動き補償部１１３は、動きベクトル検出部１０３からの動きベクトルに対応する参照画像をフレームメモリ１０４から読み出し、動き補償を行ない、参照画像として切り替え部１１５および減算器１０５に出力する。

イントラ予測部１１４は、フレームメモリ１０４から読み出した参照画像を用いて画面内予測符号化（イントラ予測符号化）を行ない、参照画像として切り替え部１１５および減算器１０５に出力する。

減算器１０５は、前処理部１０２からの現画像と参照画像との差分情報のみを直交変換部１０６に与えることによりデータを削減する。このとき、動き補償部１１３からの参照画像とイントラ予測部１１６からの参照画像の双方に対し差分を求め、より適した画像を参照画像として使用する。この選択は同じ現画像のマクロブロック間で各々異なっても良く、前者の場合はフレーム間圧縮、後者の場合はフレーム内圧縮と呼ぶものとする。

これと同時に、制御部１２１は制御信号１２２を通じて切り替え部１１５を操作し、圧縮モードに応じて加算器１１２に与える参照画像を選択する。具体的には、フレーム間圧縮モード時はａｃ間を、フレーム内圧縮モード時はｂｃ間を接続させる。これにより、加算器１１２に適切な参照画像が出力される。

直交変換部１０３、量子化部１０７を経て圧縮されたデータは、可変長符号化部１０８、伝送バッファ部１０９を経て伝送路に出力されると共に、逆量子化部１１０、逆直交化部１０８を経て再び直交化前の差分データに復元され、加算器１１２において切り替え部１１４からの参照画像と加算されて新たな参照画像としてフレームメモリ１０４に記憶される。

第２チャネル処理部２０１の動作は第１チャネル処理部１０１の動作と基本的に同一であるが、動きベクトル検出部２０３において動きベクトルを求める際、第１チャネル処理部１０１の動きベクトル検出部１０３からの動きベクトルを用いる点が異なるので、これについて詳細に説明する。

図２は本実施の形態における動きベクトル探索範囲を示す模式図である。図２（ａ）、（ｂ）、（ｃ）および（ｄ）の各々の図の示すところは図３および４と同じである。まず、動きベクトル検出部１０３は、第１チャネルの動きベクトル探索を行う際、従来方式と同様に現画像のマクロブロック位置を探索開始点として参照画像に対し動きベクトル探索を行う。すなわち、動きベクトル検出部１０３は、図２（ｃ）に示すように、図２（ａ）において対象が存在するマクロブロックの位置を、探索開始点とし、探索開始点を中心に図中の円で示す範囲について、一致する対象を探索し、動きベクトルを求める。

続いて、動きベクトル検出部２０３は、第２チャネルの動きベクトル探索を行う。ここで、動きベクトル検出部２０３は、図２（ｄ）に示すように、図２（ｂ）において対象が存在するマクロブロックの位置を第１チャネルで生成された動きベクトル分移動させ、この位置を探索開始点として探索を開始する。これにより、両チャネルの相関が高いほど第２チャネルの動きベクトル探索範囲が狭まり、探索に係る演算量を削減可能となる。これにより、第２チャネルの動きベクトル検出部２０３の回路規模を大幅に縮小可能であり、さらに演算に伴う消費電力も削減できる。

なお、以上の圧縮処理を、計算機を用いたソフトウェア処理として実現しても良い。この場合、動きベクトル探索に係る演算量が少ないことから、より高速な映像圧縮処理が可能となる。

本実施の形態にかかる映像圧縮装置は、第１の映像と第２の映像とを個別に圧縮しつつ、第２の映像について効率的な動きベクトルの探索が可能となり、圧縮に伴う演算量を減少することができ、立体撮像を撮影する３Ｄスチルカメラや３Ｄビデオカメラに適用することができ、有用である。

１００ 映像圧縮装置
１０１ 第１チャネル処理部
２０１ 第２チャネル処理部
１０２、２０２ 前処理部
１０３、２０３ 動きベクトル検出部
１０４、２０４ フレームメモリ
１０５、２０５ 減算器
１０６、２０６ 直交変換部
１０７、２０７ 量子化部
１０８、２０８ 可変長符号化部
１０９、２０９ 伝送バッファ部
１１０、２１０ 逆量子化部
１１１、２１１ 逆直交変換部
１１２、２１２ 加算器
１１３、２１３ 動き補償部
１１４、２１４ イントラ予測部
１１５、２１５ 切り替え部
１２１、２２１ 制御部
１２２、２２２ 制御信号

Claims (4)

1. 第１の映像と第２の映像とからなる立体映像を圧縮する映像圧縮装置であって、
   前記第１の映像における被写体の動きベクトルを探索する第１の動きベクトル探索部と、
   前記第２の映像において前記第１の映像と同一被写体の動きベクトルを探索するにあたって、前記第１の映像において求めた動きベクトルを基に、探索範囲を限定し、動きベクトルを探索する第２の動きベクトル探索部と、
   前記第１の動きベクトル探索部で求めた動きベクトルを用いて、前記第１の映像を圧縮する第１の映像圧縮部と、
   前記第２の動きベクトル探索部で求めた動きベクトルを用いて、前記第２の映像を圧縮する第２の映像圧縮部と、
   を備える映像圧縮装置。
2. 前記第２の動きベクトル探索部は、
   前記第２の映像における被写体について、前記第１の動きベクトル探索部で求めた動きベクトル分移動させた位置を中心に探索を行い、動きベクトルを求める
   請求項１に記載の映像圧縮装置。
3. 第１の映像と第２の映像とからなる立体映像を圧縮する映像圧縮方法であって、
   前記第１の映像における被写体の動きベクトルを探索する第１の動きベクトル探索ステップと、
   前記第２の映像において前記第１の映像と同一被写体の動きベクトルを探索するにあたって、前記第１の映像において求めた動きベクトルを基に、探索範囲を限定し、動きベクトルを探索する第２の動きベクトル探索ステップと、
   前記第１の動きベクトル探索ステップで求めた動きベクトルを用いて、前記第１の映像を圧縮する第１の映像圧縮ステップと、
   前記第２の動きベクトル探索ステップで求めた動きベクトルを用いて、前記第２の映像を圧縮する第２の映像圧縮ステップと、
   を含む映像圧縮方法。
4. 第１の映像と第２の映像とからなる立体映像を圧縮する処理をコンピュータに実行させるプログラムであって、
   前記第１の映像における被写体の動きベクトルを探索する第１の動きベクトル探索ステップと、
   前記第２の映像において前記第１の映像と同一被写体の動きベクトルを探索するにあたって、前記第１の映像において求めた動きベクトルを基に、探索範囲を限定し、動きベクトルを探索する第２の動きベクトル探索ステップと、
   前記第１の動きベクトル探索ステップで求めた動きベクトルを用いて、前記第１の映像を圧縮する第１の映像圧縮ステップと、
   前記第２の動きベクトル探索ステップで求めた動きベクトルを用いて、前記第２の映像を圧縮する第２の映像圧縮ステップと、
   をコンピュータに実行させるプログラム。

Images