JP2008271217A

JP2008271217A - 多視点映像符号化装置

Info

Publication number: JP2008271217A
Application number: JP2007111828A
Authority: JP
Inventors: Hitoshi Naito; 整内藤; Atsushi Koike; 淳小池
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2007-04-20
Filing date: 2007-04-20
Publication date: 2008-11-06
Anticipated expiration: 2027-04-20
Also published as: JP4786585B2

Abstract

【課題】各カメラから送出される画像の相関を考慮して高能率の圧縮符号化を実現する多視点映像符号化装置を提供すること。
【解決手段】カメラから送出される画像(1)を構成する複数のブロックk(k<kmax+1)について奥行き情報を他視点の画像(2),(3)の各々に対して探索し(S25)、それぞれに対して探索された奥行き情報の類似度を表すパラメータEを算出し(S28)、これを符号化部へ出力する(S29)。パラメータEは、奥行き情報の信頼性の指標となる。符号化部では、画像の符号化(S30)に先立って、パラメータEに基づき、該画像に対する奥行き予測の適用を許可するか否かの制御を行う。
【選択図】図２

Description

本発明は、多視点映像符号化装置に関し、特に、複数の視点に配置されたカメラにより撮影された映像により構成される多視点映像を符号化する際に、各カメラから送出される画像の相関を考慮して高能率の圧縮符号化を実現する多視点映像符号化装置に関する。

複数の視点に配置されたカメラから送出される画像を、動き補償予測、視差補償予測、奥行き予測、画面内予測を選択的に用いてブロック単位で符号化する多視点映像符号化装置が知られている。

複数の視点に配置されたカメラにより同じ撮影対象物が同時に撮影された場合、各カメラから送出される画像は、時間方向および視点方向に強い相関を有する。したがって、カメラから送出される画像を、動き補償予測、視差補償予測、奥行き予測を選択的に用いて符号化することにより、画像を効率的に圧縮できる。

非特許文献１には、多視点映像の符号化技術が記載されている。これでは、符号化対象画像に対し、時間方向および視点方向についての参照画像を個別に与え、ブロック単位で符号化する。符号化処理では、まず、動き補償予測、視差補償予測、奥行き予測、画面内予測を併用し、それぞれの予測でのブロック内予測値を生成する。

動き補償予測では、時間方向についての参照画像を与え、符号化対象画像内の矩形ブロックの参照画像上の移動量を動きベクトルとして算出し、これに基づいて予測値を生成する。視差補償予測では、視点方向についての参照画像を与え、符号化対象画像内の矩形ブロックの参照画像上の水平および垂直方向の移動量を視差ベクトルとして算出し、これに基づいて予測値を生成する。奥行き予測では、視点方向についての参照画像を与え、符号化対象画像を送出するカメラのカメラパラメータと処理対象ブロックの奥行き情報および参照画像を送出するカメラのカメラパラメータから、処理対象ブロックに含まれる画素に対応する参照画像上の画素を求めることで予測値を生成する。

その後、動き補償予測、視差補償予測、奥行き予測、画面内予測により生成された予測値のうち最適な予測値を与える予測を選択し(予測モードの選択)、該予測値を生成するためのサイド情報と予測値の原画像に対する残差信号を符号化して符号化データを形成する。

特許文献１には、視点方向の予測と時間方向の予測とを同時に使うことによって多視点動画像の符号化効率を向上させる場合に、必要となる映像を、参照関係にある全てのカメラの映像を使うことなく復号できるようにする映像符号化方法が記載されている。つまり、ここでは、隣接するカメラの映像間で視点方向の予測を順次適用すると、ある視点の画像再生を行うためには参照関係にある全てのカメラの復号画像が必要となり、ユーザの選択に応じて限られた視点の画像再生が求められるようなアプリケーションにおいては、本来必要とされない(再生されない)データの送信および処理を伴う点を問題としてとらえ、この問題を解決する手段として、奥行き予測を積極的に採用し、奥行き予測の参照先を特定の視点(基準視点)の画像に限定する手段を提供している。
特開２００７−３６８００号公報 S.Yea et al.:"Report on Core Experiment CE3 of Multi-view Coding", M13695 MPEG Document, July 2006

特許文献１に記載された技術では、奥行き予測を積極的に採用しており、カメラパラメータの信頼度や奥行き情報の探索精度が低く、奥行き予測が有効に機能しない場合を想定していない。したがって、奥行き予測により圧縮が効果的に行われないような場合にも、奥行き情報の探索処理が実行され、奥行き予測が適用されるという課題がある。

非特許文献１に記載された技術では、結果的には最適な予測モードが選択される。しかし、これでは、まず、動き補償予測、視差補償予測、奥行き予測、画面内予測を併用し、それぞれの予測での予測値を生成し、次に、そのうちの最適な予測値を与える予測を判定して選択するので、カメラパラメータの信頼度や奥行き情報の探索精度が低いなどの理由で奥行き予測が明らかに選択されないことが事前に判定できるような場合でも、奥行き情報の探索などを行う必要があるという課題がある。また、予測モード選択の記述に関する符号化シンタックス(記述規則)が必要となるという課題もある。

本発明の目的は、上記課題を解決し、各カメラから送出される画像の相関を考慮して高能率の圧縮符号化を実現する多視点映像符号化装置を提供することにある。

本発明は、上記課題を解決するため、複数の視点に配置されたカメラから送出される画像を、動き補償予測、視差補償予測、奥行き予測、画面内予測を選択的に用いてブロック単位で符号化する多視点映像符号化装置において、カメラから撮影対象までの距離を表す奥行き情報の信頼性を判定する判定手段と、前記カメラから送出される画像の符号化に先立って、前記判定手段により判定された奥行き情報の信頼性に基づき、該画像に対する奥行き予測の適用を許可するか否かの制御を行う制御手段を備えた点に第１の特徴がある。

また、本発明は、前記制御手段が、ブロック単位、画面単位あるいは一連の画像単位で奥行き予測の適用を許可するか否かの制御を行う点に第２の特徴がある。

また、本発明は、前記判定手段が、前記カメラから送出される画像に対し視点方向の２枚以上の参照画像をとり、前記画像と前記参照画像の各々とから奥行き情報をそれぞれ取得し、これらの奥行き情報の類似度を表すパラメータを算出し、該パラメータを指標として前記奥行き情報の信頼性を判定する点に第３の特徴がある。

また、本発明は、前記判定手段が、前の符号化において、視点方向の参照画像を２枚以上用いた奥行き予測が適用された場合、その符号化結果あるいは符号化処理中に探索した奥行き情報の結果から奥行き情報の類似度を表すパラメータを取得し、該パラメータを指標として前記奥行き情報の信頼性を判定する点に第４の特徴がある。

また、本発明は、前記判定手段が、前の符号化において、視点方向の参照画像を２枚以上用いるが奥行き予測が適用されない場合、前の符号化の対象画像と前記参照画像の各々とから奥行き情報をそれぞれ取得し、これらの奥行き情報の類似度を表すパラメータを算出し、該パラメータを指標として前記奥行き情報の信頼性を判定する点に第５の特徴がある。

また、本発明は、前記判定手段が、前記パラメータの算出に際し、オクルージョン領域に属するブロックあるいは該ブロックに対する奥行き情報を算出対象から除外する点に第６の特徴がある。

また、本発明は、前記パラメータとして、奥行き情報の差分に関する統計量を用いる点に第７の特徴がある。

また、本発明は、前記奥行き情報の差分に関する統計量として、差分二乗和、差分絶対値和、差分絶対値の最小値、差分絶対値の最大値のうち少なくとも１つを用いる点に第８の特徴がある。

また、本発明は、前記制御手段が、前記パラメータが予め設定された閾値未満の場合、奥行き予測の適用を許可するように制御を行う点に第９の特徴がある。

さらに、本発明は、前記制御手段が、前記パラメータが予め設定された閾値以上の場合、奥行き予測の適用を許可しないように制御を行う点に第１０の特徴がある。

本発明では、カメラから撮影対象までの距離を表す奥行き情報の信頼性を判定し、これにより判定された奥行き情報の信頼性に基づき、画像の符号化に先立って、該画像に奥行き予測の適用を許可するか否かの制御を行う。このように、画像の符号化に先立って、奥行き予測が有効であるか否かを判定する処理を導入し、この判定結果に基づいて奥行き予測の適用を許可あるいは禁止した上で符号化処理を行うことにより、カメラパラメータの信頼度や奥行き情報の探索精度が低いなどの理由で奥行き予測が有効に機能せず、結果として視差補償予測の選択が集中して奥行き予測の選択が皆無となるような場合、奥行き情報の探索を省略することができる。

これにより奥行き情報の探索に要する処理を省略化でき、処理量を削減できる。また、予測モード選択の記述に関する符号化シンタックスを簡素化でき、これにより符号化効率を改善できる。

また、カメラパラメータと奥行き情報の精度が十分に保証される理想的な環境において、奥行き情報は、参照画像によらず一定であると考えられるので、カメラから送出される画像に対し視点方向の２枚以上の参照画像をとり、その画像と参照画像の各々とから奥行き情報をそれぞれ取得し、これらの奥行き情報の類似度を表すパラメータを算出し、該パラメータを奧行き予測の有効性の指標として利用することにより、奥行き予測の有効性を的確に判定できる。なお、奥行き情報の類似度が高いほど、カメラパラメータと奥行き情報の信頼度も高く、奥行き予測の有効性が保証される。

また、前の符号化において、視点方向の参照画像を２枚以上用いた奥行き予測が適用された場合、奥行き予測の符号化結果あるいは符号化処理中に探索した奥行き情報の結果から奥行き情報の類似度を表すパラメータを取得することにより、該パラメータを取得する処理を簡単にすることができる。なお、前の符号化において、奥行き予測が適用されない場合には、前の符号化の対象画像と参照画像の各々とから奥行き情報をそれぞれ取得し、これらの奥行き情報の類似度を表すパラメータを算出すればよい。

さらに、奥行き情報の類似度を表すパラメータの算出に際し、オクルージョン領域に属するブロックあるいは該ブロックに対する奥行き情報を算出対象から除外することにより、オクルージョン領域による奥行き予測の有効性の判定への影響をなくすことができる。

以下、図面を参照して本発明を説明する。本発明は、複数の視点に配置されたカメラから送出される画像を、動き補償予測、視差補償予測、奥行き予測、画面内予測を選択的に用いてブロック単位で符号化する多視点映像符号化装置を前提としている。

図１は、３視点V0,V1,V2に配置されたカメラから送出される多視点映像における画像(画面)間の参照関係の一例を示す。図１において、I,P,Bは当該画像の符号化モードを表し、矢印の先の画像を参照画像としている。Iは画面内予測が適用される画像、Pは参照画像を１枚用いる予測をブロック単位で適用し得る画像、Bは参照画像を２枚用いる予測をブロック単位で適用し得る画像である。

視点V0のカメラは、画像(1),(4),・・・を順次送出し、視点V1のカメラは、画像(2),(5),・・・を順次送出し、視点V2のカメラは、画像(3),(6),・・・を順次送出する。画像(1),(2),(3)は時刻T0で同時に送出され、画像(4),(5),(6)は時刻T1で同時に送出される。

例えば、画像(2)の全ブロックに対しては画面内予測が適用される。画像(1)に対しては画面内予測、視点方向(View)の画像(2)を参照画像とする視差補償予測、あるいは視点方向の画像(2)を参照画像とする奥行き予測をブロック単位で適用することができる。また、画像(4)に対しては画面内予測、時間方向(Time)の画像(1)を参照画像とする動き補償予測、視点方向の画像(5)を参照画像とする視差補償予測、視点方向の画像(5)を参照画像とする奥行き予測、あるいは時間方向の画像(1)および視点方向の画像(5)を参照画像とする予測をブロック単位で適用することができる。

従来の多視点映像符号化装置では、例えば、画像(1)の符号化では、時間方向の予測を適用せず、参照画像を必要としない画面内予測あるいは視点方向の予測をブロック単位で適用する。このために、まず、参照画像を必要としない画面内予測、画像(2)を参照画像とする視差補償予測、画像(2)を参照画像とする奥行き予測を併用し、それぞれの予測での画像(1)に対するブロック内予測値を生成する。次に、それらの予測値のうち最適な予測値を与える予測を選択し(予測モードの選択)、該予測値を生成するためのサイド情報と予測値の原画像に対する残差信号を符号化して符号化データを形成する。

また、画像(4)の符号化では、参照画像を必要としない画面内予測、時間方向の画像(1)を参照画像とする動き補償予測、視点方向の画像(5)を参照画像とする視差補償予測、視点方向の画像(5)を参照画像とする奥行き予測、あるいは時間方向の画像(1)および視点方向の画像(5)を参照画像とする予測を併用し、それぞれの予測での画像(4)に対するブロック内予測値を生成する。次に、それらの予測値のうち最適な予測値を与える予測を選択し(予測モードの選択)、該予測値を生成するためのサイド情報と予測値の原画像に対する残差信号を符号化して符号化データを形成する。

本発明は、視点方向の相関を利用した予測を適用し得る画像(図１では画像(1)や(3)や(4)や(6))を符号化するに先立って、視点方向の予測において奥行き予測の適用を許可するか否かの制御を行う。したがって、画像(2)や画像(5)のように、ある視点の画像だけに閉じて符号化が行われる画像につては問題としない。

次に、本発明に係る多視点映像符号化装置の第１実施形態を説明する。以下では、図１の符号化構造を持つ多視点映像において、画像(1)を符号化する場合を例にあげて説明する。

図２は、第１実施形態における動作を示すフローチャートであり、このフローチャートに従って動作する多視点映像符号化装置は、ハードウエアでもソフトウエアでも実現できる。

符号化に先立ち、符号化対象画像(画像(1))を読み込み(S21)、また、符号化対象画像に対する視点方向の参照画像a,b(画像(2),(3))を予測参照メモリに読み込む(S22)。次に、３視点(V0,V1,V2)に配置されたカメラのカメラパラメータ(CV0,CV1,CV2)を取得する(S23)。カメラパラメータは、カメラ相互の配置関係やカメラの向きなどであり、予め求められているものとする。

次に、画像(1)を構成するブロックを指示するパラメータkを0に初期設定し(S24)、画像(1)のブロックk(=0)について参照画像(2),(3)各々に対して奥行き情報を探索する。これにより探索された奥行き情報をそれぞれD2(k)、D3(k)に格納する(S25)。

奥行き情報の探索には、従来の探索手法をそのまま利用できる。以下に、奥行き情報の探索手法の一例を説明する。まず、エピポーラ拘束による画像座標間の対応は式(1)、式(2)により表現できる。

ここで、K、R、tはそれぞれ、カメラの内部行列、回転行列、並進行列を表し、cur、refはそれぞれ、符号化対象画像の属する視点、参照画像の属する視点を表す。m=[u,v,1]^Ｔ、dはそれぞれ、符号化対象画像における画像座標、奥行き情報を表す。X_{ｗｏｒｌｄ}は、mとdから算出される世界座標を表す。m′=[u′,v′,1]^Ｔ、d′はそれぞれ、X_{ｗｏｒｌｄ}に対応する参照画像における画像座標、奥行き情報を表す。

式(1)で算出されるX_{ｗｏｒｌｄ}を式(2)に代入し、式(2)からd′u′,d′v′,d′それぞれの値が算出されるので、それらの関係からd′,u′,v′の値をそれぞれ算出することができる。

奥行き情報dを探索する際に使用する評価関数としては、例えば、式(3)のSSD(Sum of Square Difference)を用いることができる。

以上の奥行き情報の探索手法は、従来技術(例えば非特許文献１)によって実現されている。もちろん、本発明における奥行き情報の探索は、上記の探索手法に限定されるものではない。

図２に戻って、S25の次に、kを１だけインクリメント(k+1→k)する(S26)。この場合、k=1となる。その後、k<kmax+1であるか否かを判定する(S27)。ここで、kmaxは、奥行き予測の有効性を判定する上で十分なサンプル数であり、画面を構成するブロックの総数と比べて格段に少なく設定することが可能である。S27で、k＜kmax+1であると判定された場合、S25に戻って奥行き情報の探索を繰り返す。

S25〜S27のループにより、予め決められた複数kmaxのブロックについて奥行き情報の探索が完了したら、画面(1)について求められた奥行き情報D2(k)とD3(k)の類似度を表すパラメータEを求める(S28)。カメラパラメータの信頼度や奥行き情報の探索精度が高い場合、奥行き情報D2(k)とD3(k)の類似度は高い。

パラメータEは、kmax個のブロックについて求められたD2(k)とD3(k)の差分二乗和、差分絶対値和、差分絶対値の最小値、差分絶対値の最大値などの奥行き情報D2(k)とD3(k)の差分に関する統計量から求めることができる。これらの値の複数からパラメータEを求めることもできる。S28で求められたパラメータEを符号化部へ出力する(S29)。

符号化部は、画像(1)をブロック単位で符号化処理する(S30)。この符号化に先立って、パラメータEの値に従って奥行き予測の有効性を判定し、奥行き予測の適用を許可するか否かの制御を行う。この制御に際しては、パラメータEに対する閾値処理を利用できる。パラメータEに対する閾値処理では、例えば、閾値T_Ｅを予め設定する。そして、パラメータEが閾値T_Ｅ未満の場合、奥行き予測の適用を許可する。あるいはパラメータEが閾値T_Ｅ以上の場合、奥行き予測の適用を許可しない(禁止)。

奥行き予測の適用が許可された場合、符号化部は、全ての予測モードのうちから最適な予測モードをブロック単位で選択し、該予測モードで符号化する。また、奥行き予測の適用が許可されない場合、符号化部は、奥行き予測を用いない予測モードのうちから最適な予測モードをブロック単位で選択し、該予測モードで符号化する。したがって、この場合、奥行き情報の探索は不要となる。符号化部での動き補償予測、視差補償予測、奥行き予測、画面内予測を選択的に用いてのブロック単位の符号化自体は、従来のものと変わりがないので説明を省略する。

視点方向での画像間にオクルージョン領域(物体の陰になって一方の画像には表れているが、他方の画像では物体の陰などで表れていない領域)が存在する場合、その領域においてはそもそも画像間で対応点が存在しない。そのため、オクルージョン領域についての奥行き情報の類似度まで含めて奥行き予測の有効性を判定すると、その判定が乱される可能性がある。

オクルージョン領域が存在する場合であっても奥行き予測の有効性の判定を安定にするには、ブロックkのとり得る候補としてオクルージョン領域を除外する機能を持たせたり、オクルージョン領域に相当するブロックの奥行き情報を奥行き情報の類似度算出の際に除外する機能を持たせたりすればよい。また、両者の機能を併用してもよい。オクルージョン領域であるか否かは、従来のオクルージョン領域検出技術をそのまま利用できる。

次に、本発明に係る多視点映像符号化装置の第２実施形態を説明する。第２実施形態は、視点方向に参照画像を同時に２枚以上参照する符号化画像を少なくとも１枚含む符号化構造が存在することを前提としている。

この前提の下では、視点方向に参照画像を同時に２枚以上参照して奥行き予測を適用することにより、その符号化結果から奥行き情報の類似度を表すパラメータを取得でき、該パラメータを指標として奥行き情報の信頼性を判定できる。

図３は、視点方向に参照画像を同時に２枚以上参照する符号化画像を少なくとも１枚含む符号化構造を示している。視点V0,V1,V2,V3,V4のカメラはそれぞれ、まず、時刻T0で画像(1),(2),(3),(4),(5)を同時に送出する。ここでは、画像(2)が２枚の画像(1),(3)を参照画像として符号化され、画像(4)が２枚の画像(3),(5)を参照画像として符号化される符号化構造を有する。

図４は、第２実施形態における動作を示すフローチャートである。以下では、視点V1のカメラから送出される画像の符号化処理について説明する。まず、符号化対象画像(画像(2))を読み込み(S41)、また、視点方向の参照画像a,b(画像(1),(3))を読み込む(S42)。次に、奥行き情報の類似度を表すパラメータEが閾値T_Ｅ未満か否か(E<T_Ｅ)を判定する(S43)。当初、パラメータEは0に初期化しておく。したがって、S43では、パラメータEは閾値T_Ｅ未満と判定される。

S43でパラメータEが閾値T_Ｅ未満と判定された場合、フラグF_ｄに1を代入した後(S44)、３視点(V0,V1,V2)に配置されたカメラのカメラパラメータ(CV0,CV1,CV2)を取得し(S45)、S47に進む。なお、S43でパラメータEが閾値T_Ｅ未満でないと判定された場合には、フラグF_ｄに0を代入した後(S46)、S47に進む。

S47では画像(2)をブロック単位で符号化する。ここでは、フラグF_ｄが1であれば奥行き予測の適用を許可し、0であれば奥行き予測の適用を許可しない。画像(2)に対しては画像(1),(3)を参照画像とした奥行き予測の適用が許可されるので、ブロック単位での符号化モードの選択に際し、奥行き予測も行われる。この奥行き予測の際に得られる奥行き情報を保存しておく。

次に、符号化のポスト処理として、視点方向の参照画像の枚数をMに代入した後(S48)、Mが1超であるか否か(M>1)、さらにフラグF_ｄが1であるか0であるかを判定する(S49,S50)。画像(2)は２枚の画像(1),(3)を参照画像としている(M=2)ので、Mが1超と判定され、さらにフラグF_ｄが1と判定される。なお、S49でMが1超と判定されない場合は、当該画像についての処理を終了し、次に続く画像の符号化(S41〜)を行う。S50でフラグF_ｄが0と判定された場合は、S54に進む。

S49でMが1超と判定され、さらにS50でフラグF_ｄが1と判定されるのは、先の符号化処理(S47)で、視点方向に参照画像を同時に２枚以上参照する奥行き予測の適用が許可された場合である。この場合には、符号化時にブロック単位で保存しておいた奥行き情報を読み出し、Da(k)、Db(k)にそれぞれ格納する(S51)。kはブロックに対するパラメータkを表し、Da(k)、Db(k)は参照画像a,bに対して探索された奥行き情報を表す。この場合、画像(2)の符号化時に参照画像(1),(3)に対して探索された奥行き情報がD1(k)、D3(k)にそれぞれ格納される。

次に、第１実施形態と同様に、奥行き情報D1(k)とD2(k)の類似度を表すパラメータEを求め(S52)、先に設定されパラメータE(=0)を新たに求められたパラメータEに更新する(S53)。

視点V1のカメラから送出される画像(2)の次に続く画像は、更新されたパラメータEを用いてS41以下のステップで符号化され、また、S48以下のステップでポスト処理される。

このように、前の符号化(画像(2)の符号化)において、視点方向の参照画像を２枚以上用いた奥行き予測が適用された場合、画像(2)に続く画像に対しては、その符号化結果あるいは符号化処理中に探索した奥行き情報の結果から奥行き情報の類似度を表すパラメータが取得され、該パラメータを指標として奥行き情報の信頼性が判定される(S43)ことになる。

画像(2)の次に続く画像の符号化のポスト処理において、S49でMが1超と判定され、S50でフラグF_ｄが0と判定された場合、符号化処理(S47)では、視点方向に参照画像を同時に２枚以上参照するが、奥行き予測が非適用であることになる。この場合には、その符号化結果から奥行き情報の類似度を取得することができない。

そこで、この場合には、第１実施形態と同様に、カメラパラメータを取得した上で(S54)、ブロックk(k<kmax+1)について視点方向の参照画像a,b各々に対して奥行き情報を探索し(S55〜S58)、探索された奥行き情報をそれぞれDa(k)、Db(k)に格納する(S56)。

その後、奥行き情報Da(k)とDb(k)の類似度を表すパラメータEを求め(S52)、先に設定されパラメータEを新たに求められたパラメータEに更新する(S53)。さらに次に続く画像は、更新されたパラメータEを用いてS41以下の処理で符号化され、また、S48以下のポスト処理が行われる。

このように、前の符号化が視点方向の参照画像を２枚以上用いるが奥行き予測が非適用である場合には、前の符号化の対象画像と参照画像の各々を用いて奥行き情報をそれぞれ取得し、これらの奥行き情報の類似度を表すパラメータを算出し、該パラメータを指標として奥行き情報の信頼性を判定するようにしている。

第２実施形態では、符号化のポスト処理としてパラメータEを更新し、更新されたパラメータEに基づき、次に続く画像に対する奥行き予測の適用を許可するか否かの制御を行う。ただし、パラメータEを更新するのは、視点方向に参照画像を２枚以上有する場合、つまり前の画像の符号化処理において必然的にこれらの参照画像の読込みが行われる場合(M>1)に限定する。

以上、実施形態を説明したが、本発明は、上記実施形態に限定されず、種々に変形可能である。例えば、上記実施形態では、視点方向の２枚の参照画像を選択し、それらを用いて奥行き情報の類似度を表すパラメータEを求めるものとしたが、視点方向の３枚以上の参照画像を選択し、それらを用いてパラメータEを求めるようにしてもよい。この場合、奥行き情報２つの全ての組合せについての差分二乗和などを算出し、算出された値の最大値あるいは最小値などをパラメータEとして採用すればよい。あるいは特定の２枚を選択した上でパラメータEを算出する手法なども採用できる。

また、以上では、奥行き予測の適用を許可するか否かの制御を画像(画面)単位で行うものとして説明したが、これを画面内オブジェクトや分割画像など、より細かい単位で行うことも可能である。また、カメラパラメータの信頼度や奥行き情報の探索の精度は、一般に、時間方向での変動は少ないので、奥行き情報の信頼度の判定や奥行き予測の適用を許可するか否かの制御を一連の画像(シーケンス)単位で行ってもよく、あるいは過去に得られた、奥行き情報の信頼度の判定結果をそのまま利用したりしてもよい。

さらに、奥行き予測の適用を許可する場合、視差補償予測の適用を禁止するように制御してもよい。奥行き予測は、視差補償予測の機能を完全に包含しているので(奥行き予測では、視差補償予測と同等のサイド情報を保持しつつ、視差補償予測での平行移動に限定された動きモデルを包含している)、奥行き予測の適用を許可する場合の視差補償予測の適用を禁止しても特に問題は生じない。奥行き予測の適用を許可しない場合、視差補償予測の適用を許可するように制御することもできる。

３視点に配置されたカメラから送出される多視点映像における画像間の参照関係の一例を示す図である。本発明に係る多視点映像符号化装置の第１実施形態における動作を示すフローチャートである。視点方向に参照画像を同時に２枚以上参照する符号化画像を少なくとも１枚含む符号化構造を示す図である。本発明に係る多視点映像符号化装置の第２実施形態における動作を示すフローチャートである。

符号の説明

V0〜V4・・・視点、T0,T1・・・時刻、I,P,B・・・符号化モード、(1)〜(6)・・・画像(画面)、

Claims

複数の視点に配置されたカメラから送出される画像を、動き補償予測、視差補償予測、奥行き予測、画面内予測を選択的に用いてブロック単位で符号化する多視点映像符号化装置において、
カメラから撮影対象までの距離を表す奥行き情報の信頼性を判定する判定手段と、
前記カメラから送出される画像の符号化に先立って、前記判定手段により判定された奥行き情報の信頼性に基づき、該画像に対する奥行き予測の適用を許可するか否かの制御を行う制御手段を備えたことを特徴とする多視点映像符号化装置。
前記制御手段は、画面単位、ブロック単位、画面内オブジェクト単位あるいは一連の画像単位で奥行き予測の適用を許可するか否かの制御を行うことを特徴とする請求項１に記載の多視点映像符号化装置。
前記判定手段は、前記カメラから送出される画像に対し視点方向の２枚以上の参照画像をとり、前記画像と前記参照画像の各々とから奥行き情報をそれぞれ取得し、これらの奥行き情報の類似度を表すパラメータを算出し、該パラメータを指標として前記奥行き情報の信頼性を判定することを特徴とする請求項１または２に記載の多視点映像符号化装置。
前記判定手段は、前の符号化において、視点方向の参照画像を２枚以上用いた奥行き予測が適用された場合、その符号化結果あるいは符号化処理中に探索した奥行き情報の結果から奥行き情報の類似度を表すパラメータを取得し、該パラメータを指標として前記奥行き情報の信頼性を判定することを特徴とする請求項１または２に記載の多視点映像符号化装置。
前記判定手段は、前の符号化において、視点方向の参照画像を２枚以上用いるが奥行き予測が適用されない場合、前の符号化の対象画像と前記参照画像の各々とから奥行き情報をそれぞれ取得し、これらの奥行き情報の類似度を表すパラメータを算出し、該パラメータを指標として前記奥行き情報の信頼性を判定することを特徴とする請求項４に記載の多視点映像符号化装置。
前記判定手段は、前記パラメータの算出に際し、オクルージョン領域に属するブロックあるいは該ブロックに対する奥行き情報を算出対象から除外することを特徴とする請求項３ないし５のいずれかに記載の多視点映像符号化装置。
前記パラメータとして、奥行き情報の差分に関する統計量を用いることを特徴とする請求項３ないし６のいずれかに記載の多視点映像符号化装置。
前記奥行き情報の差分に関する統計量として、差分二乗和、差分絶対値和、差分絶対値の最小値、差分絶対値の最大値のうち少なくとも１つを用いることを特徴とする請求項７に記載の多視点映像符号化装置。
前記制御手段は、前記パラメータが予め設定された閾値未満の場合、奥行き予測の適用を許可するように制御を行うことを特徴とする請求項６または７に記載の多視点映像符号化装置。
前記制御手段は、前記パラメータが予め設定された閾値以上の場合、奥行き予測の適用を許可しないように制御を行うことを特徴とする請求項６または７に記載の多視点映像符号化装置。