JP2013183200A - 動き補償制御装置、動き補償制御プログラム及び符号化装置 - Google Patents

Abstract

【課題】複数の視差画像に加えて、更に深度画像を組み合わせて画像符号化処理を行なうときに、符号化処理の処理効率を向上させる。
【解決手段】本発明は、少なくとも２以上の視差画像を取得する視差画像取得手段と、２以上の視差画像のうちいずれかの視差画像を参照画像として、ある視差画像の動きを探索する動き探索手段と、少なくとも２以上の視差画像の全部又はいずれかに対応する深度情報を取得する深度情報取得手段と、深度情報取得手段により取得された深度情報に基づいて、動き探索手段の動き探索制御情報を補正する動き探索制御情報補正手段とを備えることを特徴とする動き探索制御装置である。
【選択図】 図１

Description

本発明は、動き補償制御装置、動き補償制御プログラム及び符号化装置に関し、例えば、画像符号化を行なう符号化装置に適用し得るものである。

近年、３Ｄ（３ Ｄｉｍｅｎｓｉｏｎａｌ）立体視システムなどで、視差画像の複数の組み合わせを同時に扱う需要が増えている。また、コンピュータビジョンの発展に伴い、一般的な輝度色差画像だけではなく、輝度色差画像の位置に対応する深度情報を得る機器も登場している。

これらの画像の組み合わせを遠隔地に送信するような取り組みが今後増えていくと予想される。

視差画像や深度画像を個別に符号化する場合、符号化性能及び符号化効率はそのままで負荷が単純に画像の数だけ増加してしまう問題があった。

例えば、非特許文献１に記載の技術は、左眼画像と右眼画像との間で差分を取り、その差分を符号化する差分符号化の関係を取り入れることにより、単独で符号化した場合に比べて符号化効率を向上させている。

また例えば、特許文献１の記載技術は、ＭＰＥＧなどのフレーム間符号化を用いる符号化において予測方法を決定するにあたりブロックに対する動き探索を実施するものである。その動き探索には、一致度の尺度としてＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）などが用いられる。また、動き探索は、動き探索をどの程度まで行うか等が定められた方針があり、その方針に応じて探索範囲や打ち切り条件が設定される。

特開２００７−２２８１５６号公報

ＩＴＵ−Ｔ Ｈ．２６４ Ｍｕｌｔｉ Ｖｉｅｗ Ｃｏｄｉｎｇ

しかしながら、２以上の視差画像の入力がある場合、視差画像同士の対応関係によって深度情報に相当するものが算出できるが、その場合、視差画像同士の対応関係を取得するためには深度情報を知らない状態で動き探索を実施する必要があった。

エピポーラ幾何を前提とすることで垂直方向の探索範囲をある程度まで制限することができる。しかし、水平方向については遠い物体であれば見つかりやすいものの近い物体が撮影されている場合は広い範囲で探索する必要があり、角度がついて撮影される場合は一致度が低くなりやすいため結果的に打ち切りの閾値が適切に調整されていない場合があった。その結果、動き探索に係る処理負荷が大きくなってしまうという問題が生じ得る。

そのため、複数の視差画像に加えて、更に深度画像を組み合わせて画像符号化処理を行なうときに、符号化処理の処理効率を向上させることができる動き補償制御装置、動き補償制御プログラム及び符号化装置が求められている。

かかる課題を解決するために、第１の本発明は、（１）少なくとも２以上の視差画像を取得する視差画像取得手段と、（２）２以上の視差画像のうちいずれかの視差画像を参照画像として、ある視差画像の動きを探索する動き探索手段と、（３）少なくとも２以上の視差画像の全部又はいずれかに対応する深度情報を取得する深度情報取得手段と、（４）深度情報取得手段により取得された深度情報に基づいて、動き探索手段の動き探索制御情報を補正する動き探索制御情報補正手段とを備えることを特徴とする動き探索制御装置である。

第２の本発明は、コンピュータを、（１）少なくとも２以上の視差画像を取得する視差画像取得手段、（２）２以上の視差画像のうちいずれかの視差画像を参照画像として、ある視差画像の動きを探索する動き探索手段、（３）少なくとも２以上の視差画像の全部又はいずれかに対応する深度情報を取得する深度情報取得手段、（４）深度情報取得手段により取得された深度情報に基づいて、動き探索手段の動き探索制御情報を補正する動き探索制御情報補正手段として機能させることを特徴とする動き探索制御プログラムである。

第３の本発明は、第１の本発明の動き探索制御装置に相当する動く探索制御手段と、動き探索制御手段の制御による動き探索結果を用いて当該視差画像と参照画像との間の視差間符号化処理を行なう符号化手段とを備えることを特徴とする符号化装置である。

本発明によれば、複数の視差画像に加えて、更に深度画像を組み合わせて画像符号化処理を行なうときに、符号化処理の処理効率を向上させることができる。

実施形態に係る符号化装置の内部構成を示す内部構成図である。 実施形態の符号化予測制御部の内部構成を示す内部構成図である。 実施形態の右視差画像と左視差画像のフレームの例を示す。

（Ａ）実施形態
以下、本発明の動き補償制御装置、動き補償制御プログラム及び符号化装置の実施形態を、図面を参照しながら詳細に説明する。

この実施形態では、２つのカメラが撮影した視差画像と、深度センサが測定した深度情報とを用いて立体視画像を符号化する符号化装置に本発明を適用する実施形態を例示する。

（Ａ−１）実施形態の構成
図１は、実施形態に係る符号化装置の内部構成を示す内部構成図である。図１において、実施形態の符号化装置１は、カメラ設定情報送信部２００、右眼カメラ２０１、符号化予測制御部２０２、予測探索部２０３、符号化部２０４、左眼カメラ２１１、符号化予測制御部２１２、予測探索部２１３、符号化部２１４、深度センサ２２１、深度画像蓄積部２２２、符号化部２２４を少なくとも有するものである。

カメラ設定情報送信部２００は、右眼カメラ２０１及び左眼カメラ２１１と、符号化予測制御部２１２とに接続されており、右眼カメラ２０１及び左眼カメラ２１１のカメラ設定情報を、右眼カメラ２０１及び左眼カメラ２１１と符号化予測制御部２１２とに与えるものである。

ここで、カメラ設定情報は、右眼カメラ２０１と左眼カメラ２１１の視差間距離に関数情報や、カメラの内部キャリブレーション情報などであり、動きベクトル候補の範囲に影響を及ぼすパラメータとして使用する。

この実施形態では、左眼カメラ２１１が撮影した左視差画像に対応する深度情報が得られる場合に、右眼カメラ２０１が撮影した右視差画像を先に符号化して、右視差画像を参照する場合を例示する。従って、カメラ設定情報送信部２００が、左眼カメラ２１１側の符号化予測制御部２１２にカメラ設定情報を与えるようにする。しかし、左と右が逆でも構わない。すなわち、右視差画像に対応する深度情報が得られる場合に、左視差画像を先に符号化して、右視差画像を参照するようにし、カメラ設定情報送信部２００が符号化予測制御部２０２にカメラ設定情報を与えるようにしてもよい。

また、この実施形態では、カメラ設定情報送信部２００が、右眼カメラ２０１及び左眼カメラ２１１にカメラ設定情報を与えるものとした。しかし、カメラ設定情報があらかじめ設定されている固定されたものである場合、カメラ設定情報送信部２００は、カメラ設定情報を右眼カメラ２０１及び左眼カメラ２１１に与えず、その固定されたカメラ設定情報を符号化予測制御部２１２のみ与えるようにしてもよい。

右眼カメラ２０１は、カメラ設定情報に基づいて撮影するものであり、撮影した画像（右視差画像）を符号化予測制御部２０２に与えるものである。

符号化予測制御部２０２は、右眼カメラ２０１から右視差画像を受け取り、受け取った右視差画像と予測探索方針に従った制御情報とを予測探索部２０３に与えて予測探索処理を制御するものである。

予測探索部２０２は、符号化予測探索部２０２から制御情報を受け取り、その制御情報に従って、予測探索方針に応じた予測処理を行なうものであり、その予測結果を符号化部２０４に与えるものである。

符号化部２０４は、予測探索部２０３から予測結果を受け取り、符号化処理を行なうものであり、符号化データを後段に出力するものである。また、符号化部２０４は、予測探索部２０３及び予測探索２１３と接続し、予測探索部２０３及び予測探索２１３に符号化データを与えるものである。

左眼カメラ２１１は、カメラ設定情報に基づいて撮影するものであり、撮影した画像（左視差画像）を符号化予測制御部２１２に与えるものである。

符号化予測制御部２１２は、左眼カメラ２１１から左視差画像、カメラ設定情報送信部２００からカメラ設定情報、深度画像蓄積部２２２から深度画像を受け取る。そして、符号化予測制御部２１２は、深度画像蓄積部２２２からの深度画像及びカメラ設定情報に基づいて、予測探索方針の制御情報を補正し、補正後の制御情報と、左眼カメラ２１１から左視差画像とを予測探索部２１３に与えるものである。

予測探索部２１３は、符号化予測探索部２１２から制御情報を受け取り、その制御情報に従って、予測探索方針に応じた予測処理を行なうものであり、その予測結果を符号化部２１４に与えるものである。

ここで、予測探索部２１３は、フレーム間の画像予測の際に、動きベクトルを予測し、その動きベクトルの予測結果を用いて、フレーム画像を予測するものである。つまり、予測探索部２１３は、動き探索機能を有している。予測探索部２１３の動き探索は、右視差画像を参照して、左視差画像における動き探索を行なう。また、予測探索部２１３に予測方針を与える符号化予測制御部２１２は、予測探索部２１３の動き探索の方針を制御するものである。

動き探索の方法は、種々の既存の方法を広く適用することができる。例えば、画像の検索範囲を順番に全て検索する「全検索方法」、大ブロックの動き検索から小ブロックの動き検索を行なう「ステップサーチ方法」、対象の存在確率が高い場所から螺旋状に範囲を広げながら検索する「スパイラル検索方法」、画面における初期検索位置を中心としてコストを評価して、そのコストが最小となるまで検索する「ダイヤモンド検索方法」、ダイヤモンド検索方法での初期検索位置とする候補を補正した「ＭＶＦＡＳＴ方法（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ Ａｄａｐｔｉｖｅ Ｓｅｒｃｈ Ｔｅｃｈｎｉｑｕｅ）」、ＭＶＦＡＳＴ方法を拡張した「ＰＭＶＦＡＳＴ」、動きベクトルのビット量に基づいて検索する「ＭＶビット量方法」、レート歪「ＲＤ（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ）理論法」等を広く適用することができる。また、動き探索の方法は、上記に挙げたものに限定されるものではなく、上記の方法の拡張方法や組み合わせた方法等も適用できる。

また、符号化予測制御部２１２による動き探索の方針は、上記のように、予測探索部２１３が採用する動き探索の方法によって異なる。例えば、動き探索の方針としては、検索範囲の単位サイズをどのようにするか（すなわち、単位サイズを密とするか又は疎とするか）、動き探索の打ち切りの閾値等がある。

図２は、符号化予測制御部２１２の内部構成を示す内部構成図である。図２に示すように、符号化予測制御部２１２は、カメラ設定情報取得部３１、視差画像取得部３２、深度画像取得部３３、動き探索制御情報補正部３４、動き探索制御情報出力部３５を少なくとも有する。

カメラ制御情報取得部３１は、カメラ設定情報送信部２００からカメラ設定情報を受け取るものである。

視差画像取得部３２は、左眼カメラ２１１から左視差画像を受け取るものである。

深度画像取得部３３は、深度画像蓄積部３４から深度画像を取得するものである。

動き探索制御情報補正部３４は、予測探索部２１３が動きを探索する動き探索ブロック（探索する単位ブロック）に対応する深度値を求め、その動き探索ブロックの深度の大きさに応じて、動き探索制御情報を補正するものである。

つまり、動き探索制御情報補正部３４は、動き探索ブロックの深度値が大きいほど、動きベクトル候補は狭い範囲とする。かつ、動き探索制御情報補正部３４は、検索サイズを密に決定する。かつ、動き探索制御補正部３４は、動き探索の打ち切りの閾値を小さく設定する。

また、動き探索制御情報補正部３４は、動き探索ブロックの深度値が小さいほど、動きベクトル候補は広い範囲とする。かつ、動き探索制御情報補正部３４は、検索サイズを疎に決定する。かつ、動き探索制御補正部３４は、動き探索の打ち切りの閾値を大きく設定する。

動き探索制御情報補正部３４の補正の仕方の概念については、図３を参照しながら説明する。図３は、右視差画像と左視差画像の例を示す。各フレームには、例えば左上を原点としスケールの一致した２次元座標系とする。

図３に示すように、右視差画像と左視差画像とを比較すると、画面上の対象の深度に応じて動きは異なる特性を有する。

例えば、図３において、家は深度値が大きい位置にあり（すなわち、カメラから遠い距離にある）、顔は深度値が小さい位置にある（すなわち、カメラから近い距離にある）ものとする。

図３に示すように、深度値が大きい場合、対象（家）はカメラの位置から遠い位置にあるので、動きを探索する対象（家）は小さく、左視差画像と右視差画像において略同じ座標に存在する。さらに、対象の動きを狭い範囲で検索することができる。

一方、深度値が小さい場合、対象（顔）はカメラの位置から近くにあるので、動きを探索する対象は大きく映し出され、その動きが探索するためには、広い範囲で探索することが求められる。例えば、右視差画像には、顔の全体が、水平方向に亘って広い範囲で映し出される。また、右視差画像は顔の全体が映し出されているが、左視差画像には顔の全体が映し出されておらず、顔の一部が欠けて映し出されることがある。

上記のような場合、動き探索の制御情報が一律に設定されている場合、深度値が大きいときには、動きを検出したにも拘らず、広い範囲に亘って引き続き探索処理を行なうこととなり、処理負荷が増大する。逆に、深度値が小さきときには、対象を捉えて動き探索処理を行なっているにも拘らず、打ち切り閾値に達することで、動き探索処理をやめてしまい、動きを探索できないという問題もある。

そこで、この実施形態では、動き探索制御情報補正部３４が、上記のようにして、深度値の大きさに応じて、動き探索制御情報を補正するようにする。

動き探索制御情報補正部３４は、例えば、深度値に応じて、どのような制御情報に補正するかについては、例えば、あらかじめ、深度値と制御情報の内容とを対応付けた対応テーブルを設け、その対応テーブルを参照して、深度値に応じた制御情報に補正するようにしても良い。また、別の方法として、所定の演算式を用いて、深度値に応じて制御情報を算出するようにしてもよい。

符号化部２１４は、予測探索部２１３から予測結果を受け取り、符号化処理を行なうものであり、符号化データを後段に出力するものである。また、符号化部２１４は、予測探索２１３と接続し、予測探索２１３に符号化データを与えるものである。

深度センサ２２１は、深度情報を測定するものであり、測定した深度情報を深度画像蓄積部２２２に与えるものである。深度センサ２１１による深度情報の測定方法は、既存技術を適用することができ、例えば、座標（０，０）からの深度（すなわち距離）を深度情報とする。

深度画像蓄積部２２２は、深度センサ２２１からの深度情報に基づいて、画像における深度値を対応付けて深度画像を形成し、その深度画像を蓄積するものである。また、深度画像蓄積部２２２は、蓄積している深度画像を符号化予測制御部２１２及び符号化部２２４に与えるものである。例えば、深度画像蓄積部２２２は、深度情報の測定に係る座標と画像（ここでは左視差画像）の座標とを調整し（すなわち座標系を合わせる）、その画像の座標の深度情報を対応付けて深度画像を求める。

符号化部２２４は、深度画像蓄積部２２２からの深度画像を符号化し、符号化データを後段に送信するものである。

（Ａ−２）実施形態の動作
次に、この実施形態の符号化装置１における処理の動作を、図面を参照しながら説明する。

まず、カメラ設定情報送信部２００には、所定のカメラ設定情報が設けられている。そして、カメラ設定情報は、カメラ設定情報送信部２００から右眼カメラ２０１及び左眼カメラ２１１に与えられる。

また、同時に、カメラ設定情報は、カメラ設定情報送信部２００から符号化予測制御部２１２にも与えられる。

右眼カメラ２０１及び左眼カメラ２１１は、取得したカメラ設定情報に基づいて撮影を行なう。

右眼カメラ２０１は、撮影した右視差画像を符号化予測制御部２０２に与え、左眼カメラ２１１は、撮影した左視差画像を符号化予測制御部２１２に与える。

また、深度センサ２２１は、深度情報を測定し、その測定した深度情報を深度画像蓄積部２２２に与える。深度画像蓄積部２２２は深度情報を深度画像に変換して、深度画像を符号化予測制御部２１２と符号化部２２４に送信する。なお、符号化部２２４は深度画像を符号化し、符号化データを後段に送信する。

符号化予測制御部２０２において、右眼カメラ２０１から受け取った右視差画像と、予測探索方針に従った制御情報を予測探索部２０３に与える。

予測探索部２０３は、符号化予測制御部２０２からの制御情報に基づいて予測方法に従って、右視差画像の予測を行ない、その予測結果を符号化部２０４に与える。そして、符号化部２０４は、符号化処理を行ない、符号化データを後段に出力する。

左眼カメラ２１１により撮像された左視差画像は、符号化予測制御部２１２に与えられる。

符号化予測制御部２１２は、左視差画像、カメラ設定情報及び深度画像に基づいて動き探索制御情報を補正し、その補正後の動き探索制御情報と左視差画像とを予測探索部２１３に与える。

ここで、符号化予測制御部２１２においては、まず、予測探索部２１３が動き探索する動き探索ブロックに対応する深度値を求める。具体的に、符号化予測制御部２１２は、取得した深度画像において、動き探索ブロックと同一位置の深度値を取得する。なお、動き探索ブロックの画面座標系と深度画像の画面座標系とを合わせておくことが必要である。

例えば、深度値が画素単位であり、動き探索ブロックが２×２の４画素である場合、動き探索ブロックの深度値は、動き探索ブロック中の各画素の深度値の平均値とすることができる。

次に、符号化予測制御部２１２は、深度画像における動き探索ブロック中の深度値とカメラ設定情報とに基づいて、予め決められた動き探索の方針を決定する。すなわち、符号化予測制御部２１２は、動き探索制御情報の補正を行なう。

つまり、深度値が大きいほど、動きベクトル候補は狭い範囲で決定される。かつ密に決定する。かつ、動き探索の打ち切りの閾値を小さく設定する。

一方、深度値が小さいほど、動きベクトル候補は広い範囲で決定される。かつ疎に決定する。かつ、動き探索の打ち切りの閾値を大きく設定する。

予測探索部２１３は、符号化予測制御部２１２からの動き制御情報に従って動きベクトルを決定し、その動きベクトルを利用してフレーム画像の予測を行なう。そして、予測探索部２１３による予測結果は、符号化部２１４に与えられて符号化処理がなされ、符号化データが後段に出力される。

（Ａ−３）実施形態の効果
以上のように、この実施形態によれば、以下の効果を奏する。

一般的に、視差画像の組は、次のような特徴を有する。

遠くの物体は、異なる視差画像においても各フレーム内の近い座標に撮影され、かつカメラに写る面の角度の差が小さい。

一方、近くの物体は、各フレーム内の遠い座標に撮影され、かつカメラに写る面の角度が大きい。

この実施形態によれば、深度値が大きい、すなわち撮影位置から遠くが撮影されている部分に対しては狭い範囲に対して、動きベクトル候補の打ち切りのための闘値を小さく設定し、また、動きベクトル候補を密に設定して探索するため、要した探索処理量に見合った一致度の高い動き探索結果が得られる。

この実施形態によれば、近い部分に対しては広い範囲に対して、動きベクトル候補の打ち切りのための閾値を大きく設定し、また、動きベクトル候補を疎に設定して探索するため、元々一致度が高い点が見つからない場合でも余分な動き探索処理をかけずに動き探索できる。

以上から、深度情報を使用しない場合に比べて、動き探索処理量と符号化性能の観点から、動き探索処理の効率化が期待できる。

（Ｂ）他の実施形態
（Ｂ−１）上述した実施形態では、２個の視差画像と、２個の視差画像のうちのいずれか一方の視差画像に対応する１個の深度画像とを組み合わせる場合を例示した。しかし、例えば、３個以上の視差画像と、２個以上の深度画像との組み合わせる場合であってもよい。

例えば、左眼画像と右眼画像と正面画像の３個の視差画像と、正面画像に対応する深度情報の組み合わせに対して、左眼画像を先に符号化したのち、左眼画像を参照して正面画像を符号化する際に、この実施形態を適用しても構わない。

（Ｂ−２）上述した実施形態において、符号化予測制御部２１２による動き探索ブロックに対応する深度値を決定する際、動き探索ブロック中の深度値の平均値で計算する場合を例示したが、その以外の方法で決定しても構わない。

例えば、動き探索ブロックと同位置に登場する深度値の最大値と最小値が、あらかじめ設定した閾値を超えた場合は動き探索ブロックを細分化したり、最大値を採用したりする等しても構わない。

（Ｂ−３）上述した実施形態において、動き探索のブロックマッチングの一致度としてＳＡＤを用いて説明したが他の一致度でも構わない。例えば、ＳＳＤ（ｔｈｅ ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅｓ）やＳＡＴＤ（ｔｈｅ ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｔｒａｎｓｆｏｒｍｅｄ ｄｉｆｆｅｒｅｎｃｅｓ）でも構わない。

（Ｂ−４）上述した実施形態、動き探索のブロックマッチングで、符号化予測制御部２１２は、値の大きい方が一致度が高い指標を用いる場合は、遠い場合（深度値が大きい場合）の打ち切りの閾値を大きくし、近い場合（深度値が小さい場合）の打ち切りの閾値を小さくするように調整してもよい。

１…符号化装置、２００…カメラ設定情報送信部、
２０１…右眼カメラ、２０２…符号化予測制御部、２０３…予測探索部、２０４…符号化部、
２１１…左眼カメラ、２１２…符号化予測制御部、２１３…予測探索部、２１４…符号化部、
２２１…深度センサ、２２２…深度画像蓄積部、２２４…符号化部。

Claims (4)

1. 少なくとも２以上の視差画像を取得する視差画像取得手段と、
   上記２以上の視差画像のうちいずれかの視差画像を参照画像として、ある視差画像の動きを探索する動き探索手段と、
   少なくとも２以上の視差画像の全部又はいずれかに対応する深度情報を取得する深度情報取得手段と、
   上記深度情報取得手段により取得された深度情報に基づいて、上記動き探索手段の動き探索制御情報を補正する動き探索制御情報補正手段と
   を備えることを特徴とする動き探索制御装置。
2. 上記動き探索制御情報補正手段が、
   上記動き探索手段による動き探索ブロックの深度値が大きいほど、動きベクトルの検索範囲を狭くし、検索範囲の単位サイズを密にし、動き探索の打ち切りの閾値を小さく設定するものであり、動き探索ブロックの深度値が小さいほど、動きベクトルの検索範囲を広くし、検索範囲の単位サイズを疎にし、動き探索の打ち切りの閾値を大きく設定するものである
   ことを特徴とする請求項１に記載の動き探索制御装置。
3. コンピュータを、
   少なくとも２以上の視差画像を取得する視差画像取得手段、
   上記２以上の視差画像のうちいずれかの視差画像を参照画像として、ある視差画像の動きを探索する動き探索手段、
   少なくとも２以上の視差画像の全部又はいずれかに対応する深度情報を取得する深度情報取得手段、
   上記深度情報取得手段により取得された深度情報に基づいて、上記動き探索手段の動き探索制御情報を補正する動き探索制御情報補正手段
   として機能させることを特徴とする動き探索制御プログラム。
4. 請求項１又は２に記載の動き探索制御装置に相当する動く探索制御手段と、
   上記動き探索制御手段の制御による動き探索結果を用いて当該視差画像と参照画像との間の視差間符号化処理を行なう符号化手段と
   を備えることを特徴とする符号化装置。

Images