JP2014120917A - 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム - Google Patents

Abstract

【課題】複数の撮影カメラで撮影した撮影画像の符号化の演算量を削減する。
【解決手段】動画像符号化装置２０Ａは、複数の撮影カメラの中から選択された選択カメラに隣接する隣接カメラにより撮影された動画像を構成するフレーム画像を分割したマクロブロックのうち、撮影範囲重複カメラと撮影範囲が一部で重複する範囲内のマクロブロックについては、探索範囲が狭くなるように補正する。探索範囲は、撮影範囲重複カメラにおける重複範囲内の対応するマクロブロックについて既に検出された動きベクトルに基づいて補正する。
【選択図】図１

Description

開示の技術は動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムに関する。

高速ネットワーク網の普及や、パーソナルコンピュータ、携帯電話等に搭載されるプロセッサの処理能力の向上によって、テレビ電話やテレビ電話会議等、遠距離にいる人物と動画像通信によるコミュニケーションをとることが可能となっている。

また、動画像通信において、通信相手があたかもそばにいるようなリアリティを追求するには、通信相手との視線一致、高解像度及び実寸大の画像表示、高フレームレート及び低遅延での通信といった要素が非常に重要となる。

また、通信相手をカメラにより撮影した撮影画像から通信相手の位置や視線を検出し、検出した通信相手の位置や視線に基づいて自分を撮影している複数のカメラの中から選択されたカメラの撮影画像を符号化して通信相手に転送する技術がある。この技術によれば、人物の移動による視線方向のずれを解消することができ、あたかも窓を介して会話をしているような臨場感が得られる。

特開２００４−１９３９６２号公報

しかしながら、上記技術は、転送データ量を削減するために動画像データを圧縮符号化して送信する際、通信相手の位置が変化してから撮影するカメラを切り替えて撮影画像の符号化を行う。このため、符号化に要する時間分、動画像データの通信が遅延してしまう。

動画像データの通信の遅延を抑制するためには、現在選択されているカメラ及びこれに隣接するカメラの映像を符号化した複数の動画像データを相手側に転送しておいて、視点が切り替わった際に映像を切り替えることが考えられる。これにより、臨場感のある視点切り替え動作を実現することができるが、複数の視点の映像を符号化するため符号化に要する演算量が増加する。

開示の技術は、一つの側面として、複数の撮影カメラで撮影した撮影画像の符号化の演算量を削減することが目的である。

開示の技術は、動きベクトル検出部は、複数の撮影カメラにより撮影対象を各々撮影した動画像を構成するフレーム画像を分割したマクロブロックの各々について、動きベクトルを検出する。動きベクトルは、前記マクロブロックの位置と、参照フレーム画像に対して前記マクロブロックの位置に応じて設定した探索範囲からブロックマッチングにより探索した探索マクロブロックの位置と、に基づいて、検出する。

補正部は、複数の撮影カメラの中から選択された選択カメラに隣接する隣接カメラにより撮影されたフレーム画像のマクロブロックのうち、撮影範囲重複カメラと撮影範囲が一部で重複する範囲内のマクロブロックについては、探索範囲が狭くなるように補正する。探索範囲は、撮影範囲重複カメラにおける重複範囲内の対応するマクロブロックについて既に検出された動きベクトルに基づいて補正する。符号化部は、前記動きベクトルと、前記マクロブロックと前記動きベクトルにより動き補償された前記探索マクロブロックとの残差情報と、を符号化する。

開示の技術は、一つの側面として、複数の撮影カメラで撮影した撮影画像の符号化の演算量を削減することができる、という効果を有する。

動画像通信システムの構成図である。 動画像通信システムをテレビ電話に適用した場合のイメージ図である。 ステレオ法について説明するための図である。 動画像符号化装置の構成図である。 選択カメラ及び隣接カメラについて説明するための図である。 撮影カメラの位置関係を示す図である。 動画像通信システムをテレビ電話に適用した場合のイメージ図である。 動画像符号化装置として機能するコンピュータのブロック図である。 動画像符号化処理の流れを示すフローチャートである。 入力画像取り込み処理の流れを示すフローチャートである。 符号化処理の流れを示すフローチャートである。 重複範囲内のマクロブロックの符号化について説明するための図である。 重複範囲内のマクロブロックの符号化について説明するための図である。 重複範囲内のマクロブロックの符号化について説明するための図である。

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。

図１には、本実施形態に係る動画像通信システム１０が示されている。動画像通信システム１０は、動画像通信装置１２Ａ、動画像通信装置１２Ｂがネットワーク１４を介して接続された構成である。

動画像通信装置１２Ａは、選択カメラ位置特定部１６Ａ、検出カメラ１８Ａ１、１８Ａ２、動画像符号化装置２０Ａ、複数（本実施形態では一例として１２個）の撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａ、復号化装置２２Ａ、及びディスプレイ２４Ａを備えている。

動画像通信装置１２Ｂも動画像通信装置１２Ａと同様の構成であり、選択カメラ位置特定部１６Ｂ、検出カメラ１８Ｂ１、１８Ｂ２、動画像符号化装置２０Ｂ、撮影カメラＣａｍ０Ｂ〜Ｃａｍ１１Ｂ、復号化装置２２Ｂ、及びディスプレイ２４Ｂを備えている。

本実施形態では、動画像通信システム１０が、一例としてテレビ電話システムに適用された場合について説明する。なお、動画像通信システム１０は、テレビ電話システムに限らず、テレビ会議システム等の動画像を通信するシステムであれば適用可能である。

図２には、動画像通信システム１０をテレビ電話システムに適用した場合の一例を示した。同図の例では、部屋Ａに在室している人物２６Ａと、部屋Ｂに在室している人物２６Ｂとが、部屋Ａとの壁面に設けられたディスプレイ２４Ａ、部屋Ｂの壁面に設けられたディスプレイ２４Ｂに各々表示される相手の画像を参照しながら会話することが可能である。なお、図２では、便宜上、部屋Ａと部屋Ｂとが隣り合わせであるように記載したが、実際は離れた位置に存在する。

部屋Ａの壁面には、１２台の撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａが格子状に取り付けられており、各撮影カメラは部屋Ａの人物２６Ａを撮影する。また、部屋Ｂの壁面にも、１２台の撮影カメラＣａｍ０Ｂ〜Ｃａｍ１１Ｂが、部屋Ａの壁面に設けられた撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａと同じ配置で取り付けられている。撮影カメラＣａｍ０Ｂ〜Ｃａｍ１１Ｂは、部屋Ｂの人物２６Ｂを撮影する。

部屋Ａには、人物２６Ａの位置を検出するための検出カメラ１８Ａ１、１８Ａ２が設けられている。検出カメラ１８Ａ１、１８Ａ２は、異なる方向から部屋Ａの人物２６Ａを撮影する位置に設けられている。

同様に、部屋Ｂには、人物２６Ｂの位置を検出するための検出カメラ１８Ｂ１、１８Ｂ２が設けられている。検出カメラ１８Ｂ１、１８Ｂ２は、異なる方向から部屋Ｂの人物２６Ｂを撮影する位置に設けられている。

選択カメラ位置特定部１６Ａは、検出カメラ１８Ａ１、１８Ａ２により撮影された人物２６Ａの撮影画像に基づいて人物２６Ａの例えば顔の三次元位置を算出する。そして、算出した人物２６Ａの顔の位置に最も近い位置の撮影カメラに対応した部屋Ｂに設けられた撮影カメラの位置を選択カメラ位置として特定して動画像符号化装置２０Ｂに送信する。例えば、算出した人物２６Ａの顔の位置に最も近い位置の撮影カメラが撮影カメラＣａｍ５Ａの場合、撮影カメラＣａｍ５Ａと対応する位置の部屋Ｂの壁面に設けられた撮影カメラの位置を選択カメラ位置として特定して動画像通信装置１２Ｂに送信する。

具体的には、選択カメラ位置特定部１６Ａは、ステレオ法を用いて人物２６Ａの顔の三次元位置を算出する。以下、ステレオ法について簡単に説明する。

図３に示すように、カメラの視点Ａから撮影した３次元空間における撮影対象点Ｐは、視点Ａと点Ｐを結んだ直線ＬＡと撮影面ＤＡとが交わる点ｉとして観測される。同様に、カメラの視点Ｂから撮影した３次元空間における撮影対象点Ｐは、視点Ｂと点Ｐを結んだ直線ＬＢと撮影面ＤＢとが交わる点ｊとして観測される。従って、撮影対象点Ｐは二つの撮影面ＤＡ、ＤＢの中の点ｉ、ｊとして各々観測され、視点Ａと点ｉを結んだ直線ＬＡと、視点Ｂと点ｊを結んだ直線ＬＢとは点Ｐで交わる。すなわち、視点Ａ，Ｂの位置関係が既知の場合、撮影対象点Ｐに対する二つの撮影面ＤＡ，ＤＢ上の位置を特定することにより、３次元空間における撮影対象点Ｐの三次元位置は一意に定まる。

従って、まず検出カメラ１８Ａ１、１８Ａ２により撮影された撮影画像の各々から、人物２６Ａの顔の特徴点の位置を所謂SIFT(Scale Invariant Feature Transform)やSIFTを高速化したSURF(Speed Up Robust Features)等の方法を用いて各々算出する。次に、各撮影画像における人物２６Ａの顔の位置から、人物２６Ａの顔の三次元位置を算出する。そして、算出した人物２６Ａの顔の位置から最も近い撮影カメラを特定し、特定した撮影カメラに対応する部屋Ｂに設けられた撮影カメラの位置を選択カメラ位置として動画像通信装置１２Ｂに送信する。

動画像通信装置１２Ｂの選択カメラ位置特定部１６Ｂも同様に、検出カメラ１８Ｂ１、１８Ｂ２により撮影された人物２６Ｂの撮影画像に基づいて人物２６Ｂの顔の三次元位置を算出する。そして、算出した人物２６Ｂの顔の位置に最も近い位置の撮影カメラに対応した部屋Ａに設けられた撮影カメラの位置を選択カメラ位置として特定して動画像符号化装置２０Ａに送信する。
従って、例えば図２に示すように、部屋Ｂの人物２６Ｂが撮影カメラＣａｍ６Ｂに最も近い場合、選択カメラ位置特定部１６Ｂは、撮影カメラＣａｍ６Ｂに対応した撮影カメラＣａｍ６Ａを選択カメラ位置として特定して動画像通信装置１２Ａに送信する。なお、撮影カメラＣａｍ６Ｂは図２では図示を省略している。

動画像符号化装置２０Ａは、動きベクトル検出部２０Ａ１、補正部２０Ａ２、及び符号化部２０Ａ３を含む。動画像符号化装置２０Ａは、複数の撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａのうち、部屋Ｂの人物２６Ｂの位置に基づいて選択された選択カメラ及び選択カメラに隣接する隣接カメラにより撮影された人物２６Ａの動画像を各々符号化する。また、動画像符号化装置２０Ａは、選択カメラ及び選択カメラに隣接する隣接カメラの各符号化データを動画像通信装置１２Ｂに送信する。符号化方法は、例えばMPEG-2やH.264 (非MVC)等のフレーム間予測を用いて符号化する方法を用いることができる。

図４には、動画像符号化装置２０Ａの具体的な構成を示した。動画像符号化装置２０Ａは、全体制御部３０、入力画像取り込み部３２、符号化部３４、ストリーム出力部３６、メモリコントローラ３８、及びＳＤＲＡＭ４０を備えている。

入力画像取り込み部３２は、カメラ選択部４２及び選択カメラセレクタ４４Ｘ、隣接カメラＡセレクタ４４Ａ〜隣接カメラＨセレクタ４４Ｈ、選択カメラ画像入力部４６Ｘ、及び隣接カメラＡ画像入力部４６Ａ〜隣接カメラＨ画像入力部４６Ｈを備えている。

符号化部３４は、選択カメラ画像符号化部５２Ｘ及び隣接カメラＡ符号化部５２Ａ〜隣接カメラＨ符号化部５２Ｈを備えている。

図４に示すように、全体制御部３０は、動画像符号化装置２０Ｂから送信された選択カメラ位置をカメラ選択部４２に出力する。また、全体制御部３０は、ユーザーにより動画像通信の開始が指示されると、撮影画像の取り込み開始をカメラ選択部４２に指示する。

カメラ選択部４２は、全体制御部３０から入力された選択カメラ位置に対応する撮影カメラを選択カメラとして選択するように選択カメラセレクタ４４Ｘに対して指示する。選択カメラセレクタ４４Ｘには撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａが接続されている。

選択カメラセレクタ４４Ｘは、撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａのうちカメラ選択部４２により指示された選択カメラ位置に対応した撮影カメラを選択して、選択した撮影カメラの撮影画像を選択カメラ画像入力部４６Ｘに出力する。

また、カメラ選択部４２は、選択カメラ位置に対応した撮影カメラに隣接する撮影カメラを隣接カメラとして、互いに異なる隣接カメラを選択するように隣接カメラＡセレクタ４４Ａ〜隣接カメラＨセレクタ４４Ｈに対して各々指示する。隣接カメラＡセレクタ４４Ａ〜隣接カメラＨセレクタ４４Ｈの各々には、撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａが接続されている。

また、カメラ選択部４２は、全体制御部３０から選択カメラを切り替えるよう指示されると、選択カメラセレクタ４４Ｘ、隣接カメラＡセレクタ４４Ａ〜隣接カメラＨセレクタ４４Ｈに対して、対応するカメラを各々選択するよう指示する。

なお、例えば図２に示すように撮影カメラを格子状に設けた場合には、図５に示すように、選択カメラの上下、左右、斜めに位置する８個の撮影カメラを隣接カメラＡ〜Ｈとして設定することができる。この場合、カメラ選択部４２は、選択カメラに隣接する互いに異なる撮影カメラを選択するように隣接カメラＡセレクタ４４Ａ〜隣接カメラＨセレクタ４４Ｈに対して各々指示する。以下では、選択カメラの上下、左右、斜めに隣接する８個の撮影カメラを隣接カメラＡ〜Ｈとして設定する場合について説明する。

隣接カメラＡセレクタ４４Ａは、撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａのうちカメラ選択部４２により指示された隣接カメラＡに対応した撮影カメラを選択して、選択した撮影カメラの撮影画像を隣接カメラＡ画像入力部４６Ａに出力する。隣接カメラＢセレクタ４４Ｂ〜隣接カメラＨセレクタ４４Ｈについても同様である。

例えば図６に示すように選択カメラが撮影カメラＣａｍ６Ａの場合、隣接カメラＡ〜Ｈは撮影カメラＣａｍ２Ａ、Ｃａｍ１０Ａ、Ｃａｍ５Ａ、Ｃａｍ７Ａ、Ｃａｍ１Ａ、Ｃａｍ３Ａ、Ｃａｍ９Ａ、Ｃａｍ１１Ａである。

そして、図７に示すように、部屋Ｂの人物２６Ｂが移動し、選択カメラが撮影カメラＣａｍ６ＡからＣａｍ５Ａに切り替わると、隣接カメラＡ〜Ｈも各々切り替わる。具体的には、隣接カメラＡ〜Ｈは、撮影カメラＣａｍ１Ａ、Ｃａｍ９Ａ、Ｃａｍ４Ａ、Ｃａｍ６Ａ、Ｃａｍ０Ａ、Ｃａｍ２Ａ、Ｃａｍ８Ａ、Ｃａｍ１０Ａに各々切り替わる（図６参照）。

選択カメラ画像入力部４６Ｘは、入力された撮影画像に予め定めたフィルタ処理等を施して、メモリコントローラ３８に出力する。隣接カメラＡ画像入力部４６Ａ〜隣接カメラＨ画像入力部４６Ｈも同様である。

メモリコントローラ３８は、選択カメラ画像入力部４６Ｘ、隣接カメラＡ画像入力部４６Ａ〜隣接カメラＨ画像入力部４６Ｈと接続されている。メモリコントローラ３８は、選択カメラ画像入力部４６Ｘから入力された撮影画像を選択カメラ原画像として、ＳＤＲＡＭの選択カメラ原画像記憶領域４０Ｘ１に記憶させる。また、メモリコントローラ３８は、隣接カメラＡ画像入力部４６Ａから入力された撮影画像を隣接カメラＡ原画像として、ＳＤＲＡＭの隣接カメラＡ原画像記憶領域４０Ａ１に記憶させる。隣接カメラＢ〜Ｈについても同様である。

選択カメラ画像符号化部５２Ｘは、全体制御部３０から符号化処理開始が指示されると、撮影画像をマクロブロック（ＭＢ）毎に順次符号化する。撮影画像は、選択カメラ原画像記憶領域４０Ｘ１に記憶された選択カメラ原画像と選択カメラ参照画像領域４０Ｘ２に記憶された参照画像とに基づいて符号化される。また、選択カメラ画像符号化部５２Ｘは、現在符号化しているマクロブロックの位置を符号化ＭＢ位置として全体制御部３０に通知する。また、隣接カメラＡ符号化部５２Ａ〜隣接カメラＨ符号化部５２Ｈも選択カメラ画像符号化部５２Ｘと同様に、現在符号化しているマクロブロックの位置を符号化ＭＢ位置として全体制御部３０に通知する。

また、選択カメラ画像符号化部５２Ｘは、符号化データ及び動きベクトル等を含むビットストリームデータを生成してＳＤＲＡＭ４０の選択カメラストリーム記憶領域４０Ｘ３に記憶させる。

隣接カメラＡ符号化部５２Ａ〜隣接カメラＨ符号化部５２Ｈも選択カメラ画像符号化部５２Ｘと同様に、対応する原画像領域に記憶された選択カメラ原画像と、対応する参照画像領域に記憶された参照画像と、に基づいて、撮影画像を符号化する。そして、ビットストリームデータを生成してＳＤＲＡＭ４０の対応するストリーム記憶領域に記憶させる。

また、選択カメラ画像符号化部５２Ｘは、詳細は後述するが、検出した動きベクトルをＳＤＲＡＭ４０の選択カメラ動きベクトル記憶領域４０Ｘ４に記憶させる。隣接カメラＡ符号化部５２Ａ〜隣接カメラＨ符号化部５２Ｈも選択カメラ画像符号化部５２Ｘと同様に、検出した動きベクトルをＳＤＲＡＭ４０の対応する動きベクトル記憶領域に記憶させる。

符号化方法は、例えばMPEG-2やMPEG-4、H.264等のフレーム間予測を用いて符号化する方法を用いる。また、本実施形態では、ＧＯＰ（Group Of Pictures）構造として、ＩＰＰＰ構造を用いる。すなわち、単独で復号可能なＩピクチャと、過去のフレーム画像を参照画像として差分を符号化したＰピクチャを用いた構造とする。このように、過去のフレーム画像だけでなく未来のフレーム画像も参照画像として用いて符号化するＢピクチャを用いないため、符号化に要する時間を短縮することができる。

従って、ＳＤＲＡＭの各参照画像領域には、対応する原画像領域に記憶されたフレーム画像の一つ前のフレーム画像が記憶される。

ストリーム出力部３６は、ＳＤＲＡＭ４０の選択カメラストリーム記憶領域４０Ｘ３、隣接カメラＡストリーム記憶領域４０Ｘ３〜隣接カメラＨストリーム記憶領域４０Ｈ３からビットストリームデータを順次読み出し、動画像通信装置１２Ｂに送信する。

復号化装置２２Ａは、動画像通信装置１２Ｂから送信されたビットストリームデータを復号して、ディスプレイ２４Ａに表示する。

動画像符号化装置２０Ａは、例えば図８に示すコンピュータ７０で実現することができる。コンピュータ７０はＣＰＵ７２、メモリ７４、及び不揮発性の記憶部７６を備え、これらはバス７８を介して互いに接続されている。

また、記憶部７６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部７６には、コンピュータ７０を動画像符号化装置２０Ａとして機能させるための動画像符号化プログラム８０が記憶されている。ＣＰＵ７２は、動画像符号化プログラム８０を記憶部７６から読み出してメモリ７４に展開し、動画像符号化プログラム８０が有するプロセスを順次実行する。

動画像符号化プログラム８０は、入力画像取り込みプロセス８２、符号化プロセス８４、及びストリーム出力プロセス８６を有する。

ＣＰＵ７２は、入力画像取り込みプロセス８２を実行することで、図４に示す入力画像取り込み部３２として動作する。また、ＣＰＵ７２は、符号化プロセス８４を実行することで、図４に示す符号化部３４として動作する。また、ＣＰＵ７２は、ストリーム出力プロセス８６を実行することで、図４に示すストリーム出力部３６として動作する。

これにより、動画像符号化プログラム８０を実行したコンピュータ７０が、動画像符号化装置２０Ａとして機能することになる。なお、動画像符号化プログラム８０は開示の技術における動画像符号化プログラムの一例である。

なお、動画像符号化装置２０Ａは、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。

動画像通信装置１２Ｂの構成は、動画像通信装置１２Ａと同様であるので説明は省略する。

次に本実施形態の作用を説明する。本実施形態に係る動画像符号化装置２０Ａでは、ユーザーにより動画像通信を実行するように指示されると、図９に示す動画像符号化処理を実行する。なお、本実施形態では、図５に示すように、選択カメラの上下左右斜めに隣接するカメラを隣接カメラＡ〜Ｈとして設定する場合について説明する。

ステップ１００では、入力画像取り込み部３２が、図１０に示すような入力画像取り込み処理を実行する。

ステップ１０２では、符号化部３４が、図１１に示すような符号化処理を実行する。

ステップ１０４では、ストリーム出力部３６が、ＳＤＲＡＭ４０の選択カメラストリーム記憶領域４０Ｘ３、隣接カメラＡストリーム記憶領域４０Ａ３〜隣接カメ読み出したＨストリーム記憶領域４０Ｈ３からビットストリームデータを順次読み出す。そして、読み出したビットストリームデータを順次動画像通信装置１２Ｂに送信する。

ステップ１０６では、全体制御部３０が、ユーザーにより動画像通信の終了が指示されたか否かを判断し、動画像通信の終了が指示された場合には本ルーチンを終了し、動画像通信の終了が指示されていない場合には、ステップ１００へ戻って上記の処理を繰り返す。

図１０のステップ２００では、カメラ選択部４２が、全体制御部３０から入力された選択カメラ位置に対応する撮影カメラを選択するように選択カメラセレクタ４４Ｘに対して指示する。これにより、選択カメラセレクタ４４Ｘは、撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａのうちカメラ選択部４２により指示された選択カメラ位置に対応した撮影カメラを選択する。

また、カメラ選択部４２は、選択カメラ位置に対応した撮影カメラに隣接する撮影カメラを隣接カメラとして、各隣接カメラを選択するように隣接カメラＡセレクタ４４Ａ〜隣接カメラＨセレクタ４４Ｈに対して各々指示する。これにより、隣接カメラＡセレクタ４４Ａ〜隣接カメラＨセレクタ４４Ｈは、カメラ選択部４２により指示された隣接カメラに対応した撮影カメラを各々選択する。

ステップ２０２では、カメラ選択部４２が、全体制御部３０から撮影画像の取り込み開始が指示されると、各セレクタに対して撮影画像の取り込み開始を指示する。これにより、選択カメラセレクタ４４Ｘは、選択した撮影カメラの撮影画像を選択カメラ画像入力部４６Ｘに出力する。選択カメラ画像入力部４６Ｘは、入力された撮影画像に予め定めたフィルタ処理等を施して、メモリコントローラ３８に出力する。メモリコントローラ３８は、入力された選択カメラの撮影画像をＳＤＲＡＭ４０の選択カメラ原画像記憶領域４０Ｘ１に記憶させる。また、次に本ルーチンが実行される場合、選択カメラ原画像記憶領域４０Ｘ１に記憶された画像を参照画像として選択カメラ参照画像領域４０Ｘ２に記憶させる。

また、隣接カメラＡセレクタ４４Ａ〜隣接カメラＨセレクタ４４Ｈは、選択した撮影カメラの撮影画像を隣接カメラＡ画像入力部４６Ａ〜隣接カメラＨ画像入力部４６Ｈに各々出力する。隣接カメラＡ画像入力部４６Ａ〜隣接カメラＨ画像入力部４６Ｈは、入力された撮影画像に予め定めたフィルタ処理等を施して、メモリコントローラ３８に出力する。メモリコントローラ３８は、入力された隣接カメラＡ〜隣接カメラＨの撮影画像をＳＤＲＡＭ４０の対応する原画像領域に各々記憶させる。

なお、次に本ルーチンが実行される場合、各原画像記憶領域に記憶された画像は、符号化の際に参照画像として利用されるため、対応する参照画像領域に各々記憶される。

ステップ２０４では、各画像入力部が、１フレーム分の撮影画像の取り込みが完了したか否かを判断し、取り込みが終了した場合には本ルーチンを終了し、取り込みが終了していない場合には、撮影画像の取り込みを継続する。

次に、図１１の符号化処理について説明する。この処理は、選択カメラ画像符号化部５２Ｘ、隣接カメラＡ符号化部５２Ａ〜隣接カメラＨ符号化部５２Ｈの各々において実行される。なお、符号化処理は、Ｎ×Ｎ画素（例えばＮ＝１６）のマクロブロック毎に行われる。

まず、ステップ３００では、担当するカメラが選択カメラであるか否かを判断し、選択カメラである場合には、ステップ３０２へ移行し、選択カメラでない場合、すなわち隣接カメラである場合には、ステップ３１０へ移行する。

ステップ３０２では、処理対象のマクロブロックの動きベクトルを検出する。動きベクトルは、例えば公知のブロックマッチングを用いた方法により検出される。すなわち、処理対象のマクロブロックの位置に基づいて参照フレーム画像（直前のフレーム画像）上で探索範囲を設定し、設定した探索範囲内で処理対象のマクロブロックと最も類似するマクロブロックを探索する。そして、探索した探索マクロブロックと処理対象のマクロブロックとの位置のずれに基づいて動きベクトルを検出する。

ステップ３０４では、動きベクトル及び残差情報を符号化する。残差情報は、処理対象のマクロブロックと、ステップ３０２で検出した動きベクトルにより動き補償された探索マクロブロックと、の差分を表す情報である。

ステップ３０６では、ステップ３０２で検出した動きベクトルを、対応する動きベクトル記憶領域に出力し、記憶させる。

ステップ３０８では、全てのマクロブロックについて処理したか否かを判断し、全てのマクロブロックについて処理が終了していない場合はステップ３００へ戻る。一方、全てのマクロブロックについて処理が終了した場合には本ルーチンを終了する。

ステップ３１０では、担当する撮影カメラのＸ方向位置（横方向位置）が選択カメラと同じであるか否かを判断し、同じである場合には、ステップ３０２へ移行し、同じでない場合には、ステップ３１２へ移行する。具体的には、図６に示すように、隣接カメラＡである撮影カメラＣａｍ２Ａ、隣接カメラＢである撮影カメラＣａｍ１０Ａは選択カメラである撮影カメラＣａｍ６ＡとＸ方向位置が同じであり、その他の隣接カメラは選択カメラとＸ方向位置が異なる。

従って、選択カメラを担当する選択カメラ画像符号化部５２Ｘ、隣接カメラＡを担当する隣接カメラＡ符号化部５２Ａ、隣接カメラＢを担当する隣接カメラＢ符号化部５２Ｂの場合は、ステップ３０２へ移行する。その他の隣接カメラ、すなわち隣接カメラＣ〜Ｈを担当する隣接カメラＣ符号化部５２Ｃ〜隣接カメラＨ符号化部５２Ｈの場合は、ステップ３１２へ移行する。

ステップ３１２では、担当する撮影カメラから見て選択カメラ側に隣接する撮影カメラと撮影範囲が重複するカメラ（以下、撮影範囲重複カメラ）におけるマクロブロックアドレスが予め定めた閾値以上であるか否かを判断する。ここで、マクロブロックアドレスは、例えばフレーム画像の左上隅を０として、右方向に進み、マクロブロック１ライン分進んだら左下に移動して更に右側に進むに従って、１ずつ増加するアドレスである。

例えば、図１２に示すように、選択カメラが撮影カメラＣａｍ６Ａの場合、選択カメラの左側に位置する隣接カメラＣである撮影カメラＣａｍ５Ａの撮影範囲のうち、選択カメラ側の一部の範囲が選択カメラの撮影範囲と重複している。また、選択カメラの右側に位置する隣接カメラＤである撮影カメラＣａｍ７Ａの撮影範囲のうち、選択カメラ側の一部の範囲が選択カメラの撮影範囲と重複している。

後述するように、重複範囲におけるマクロブロックについて動きベクトルを検出する際は、撮影範囲重複カメラで撮影されたフレーム画像の同一位置のマクロブロックについて検出した動きベクトルに基づいて動き探索範囲を補正する。従って、処理対象のマクロブロックが撮影範囲重複カメラの撮影範囲と重複する範囲内の場合は、撮影範囲重複カメラで撮影されたフレーム画像の同一位置のマクロブロックについて既に動きベクトルが検出されている必要がある。

このため、ステップ３１２では、撮影範囲重複カメラにおけるマクロブロックアドレスが予め定めた閾値以上となるまで待機し、閾値以上になった場合には、ステップ３１４へ移行する。ここで、閾値は、撮影範囲重複カメラで撮影されたフレーム画像の同一位置のマクロブロックについて既に動きベクトルが検出されていると判断できる値に設定される。閾値は、少なくとも撮影範囲重複カメラのグローバルＭＢオフセットから担当カメラのグローバルＭＢオフセットを減算した値以上の値、例えばＸ方向１ライン分のマクロブロック数とすることができる。ステップ３１２で撮影範囲重複カメラにおけるマクロブロックアドレスが予め定めた閾値以上となるまで待機するため、図５、６に示すように、選択カメラ及び選択カメラとＸ方向位置が同一の隣接カメラＡ，Ｂにより撮影された画像が最初に符号化される。次に、隣接カメラＡ，Ｂ以外の隣接カメラにより撮影された画像が符号化される。

図１２の例では、撮影カメラＣａｍ６ＡのグローバルＭＢオフセットＸ６から撮影カメラＣａｍ５ＡのグローバルＭＢオフセットＸ５を減算した値以上の値を閾値とする。すなわち、撮影カメラＣａｍ６Ａについてのマクロブロックの符号化処理が開始され、重複範囲の最初のマクロブロックの符号化処理が開始された後に、撮影カメラＣａｍ５Ａについてのマクロブロックの符号化を開始する。これにより、処理対象のマクロブロックを符号化する際に、撮影範囲重複カメラで撮影されたフレーム画像の同一位置のマクロブロックについて未だ動きベクトルが検出されていない状態となることを防止することができる。

ステップ３１４では、マクロブロックのＸ方向位置が、撮影範囲重複カメラと撮影範囲が重複する重複範囲内であるか否かを判断する。具体的には、自身が担当する担当カメラの右側に撮影範囲重複カメラが位置する場合には、次式を満たす場合に重複範囲内であると判断する。

Ｘ１≧ＸＡ−ＸＢ ・・・（１）

ここで、Ｘ１は処理対象のマクロブロックのＸ方向位置、ＸＡは撮影範囲重複カメラのグローバルＭＢオフセット、ＸＢは担当カメラのグローバルＭＢオフセットである。

例えば図１２に示すように、選択カメラがＣａｍ６Ａの場合において、その左隣の隣接カメラＣである撮影カメラＣａｍ５Ａを担当する隣接カメラＣ符号化部５２Ｃの処理対象のマクロブロックがマクロブロックＭＢ１の場合を例に説明する。この場合、マクロブロックＭＢ１のＸ方向位置は、撮影カメラＣａｍ６ＡのグローバルＭＢオフセットＸ６から撮影カメラＣａｍ５ＡのグローバルＭＢオフセットＸ５を減算した値以上であるため、マクロブロックＭＢ１は重複範囲内であると判断する。

一方、担当カメラの左側に撮影範囲重複カメラが位置する場合には、次式を満たす場合に重複範囲内であると判断する。

Ｘ１＜ＸＳ−（ＸＡ−ＸＢ） ・・・（２）

ここで、ＸＳは担当カメラの撮影範囲のＸ方向の大きさである。

そして、ステップ３１４で処理対象のマクロブロックのＸ方向位置が重複範囲内であると判断された場合は、ステップ３１６へ移行し、重複範囲外と判断された場合は、ステップ３０２へ移行する。

ステップ３１６では、撮影範囲重複カメラにおいて撮影されたフレーム画像の重複範囲における同一位置のマクロブロックについて検出した動きベクトルを、撮影範囲重複カメラに対応する動きベクトル記憶領域から読み出す。例えば図１２、１３に示すように、撮影カメラＣａｍ５Ａの撮影範囲７５ＡのマクロブロックＭＢ１５の位置は、撮影カメラＣａｍ６Ａの撮影範囲７６ＡのマクロブロックＭＢ１６と重複範囲において同一、すなわち空間上同一である。

従って、処理対象のマクロブロックがマクロブロックＭＢ１５の場合、マクロブロックＭＢ１６について検出した動きベクトルを、選択カメラ動きベクトル記憶領域４０Ｘ４から読み出す。

ステップ３１８では、ステップ３１６で読み出した動きベクトルに基づいて、ブロックマッチングにより類似するマクロブロックを探索するための探索範囲を補正する。

具体的には、ステップ３１６で読み出した動きベクトルを隣接カメラベクトルとして、当該隣接カメラベクトルの終点を中心とし且つ通常の探索範囲よりも狭い探索範囲となるように探索範囲を補正する。ここで、通常の探索範囲とは、探索範囲の補正の対象とならないマクロブロックの動きベクトルを検出する場合の探索範囲であり、マクロブロックの位置を中心として設定される。

例えば図１４に示すように、ステップ３１６で読み出したマクロブロックＭＢ１６の動きベクトルＶ１６を隣接カメラベクトルとして、当該隣接カメラベクトルの終点をマクロブロックＭＢ１５の動きベクトルの探索範囲８５Ａの中心とする。また、探索範囲８５Ａは、マクロブロックＭＢ１６を中心として設定された通常の探索範囲８６Ａよりも狭くなるように補正する。例えば探索範囲８６Ａと相似形で且つ面積が小さくなるように補正する。なお、探索範囲の補正の程度は、探索範囲を様々な範囲に設定してブロックマッチングを行って動きベクトルを検出し、精度良く動きベクトルを検出できる範囲となるように設定する。

このように、撮影範囲が重複する領域のマクロブロックについては、隣接カメラベクトルに基づいて探索範囲が狭くなるように補正してブロックマッチングを行うので、符号化処理の時間を短縮することができる。

また、図１１の処理では、図６に示すように、選択カメラ及び選択カメラとＸ方向位置が同一の隣接カメラにより撮影された画像が最初に符号化され、次に、選択カメラとＸ方向において隣接する隣接カメラにより撮影された画像が符号化される。すなわち、重要な位置のカメラにより撮影された画像から順に符号化されるため、隣接カメラベクトルを使用して符号化する際の遅延が増加するのを抑制することができる。

なお、本実施形態では、１２個の撮影カメラを格子状に設けた場合について説明したが、撮影カメラの数及び配置の仕方はこれに限られるものではない。

また、本実施形態では、選択カメラの上下左右斜めの８個の撮影カメラを隣接カメラＡ〜Ｈとして設定した場合について説明したが、設定可能な隣接カメラの数及び位置はこれに限られるものではない。例えば、上下左右の４個の撮影カメラを隣接カメラＡ〜Ｄとして設定してもよい。

また、本実施形態では、選択カメラが相手の位置に応じて切り替えられる場合について説明したが、これに限らず、選択カメラの切り替えをユーザーが指示するようにしてもよい。

また、本実施形態では被写体が人物の場合について説明したが、これに限らず、人間以外の動物等でもよい。

また、上記では開示の技術に係る動画像符号化プログラムの一例である動画像符号化プログラム８０が記憶部７６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。開示の技術に係る画像処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
複数の撮影カメラにより撮影対象を各々撮影した動画像を構成するフレーム画像を分割したマクロブロックの各々について、前記マクロブロックの位置と、参照フレーム画像に対して前記マクロブロックの位置に応じて設定した探索範囲からブロックマッチングにより探索した探索マクロブロックの位置と、に基づいて、動きベクトルを検出する動きベクトル検出部と、
前記複数の撮影カメラの中から選択された選択カメラに隣接する隣接カメラにより撮影された動画像を構成する前記フレーム画像を分割したマクロブロックのうち、撮影範囲が、前記隣接カメラの撮影範囲の一部と予め定めた方向において重複する重複範囲を有する撮影範囲重複カメラにおける前記重複範囲内のマクロブロックについては、前記撮影範囲重複カメラにおける前記重複範囲内の対応するマクロブロックについて既に検出された動きベクトルに基づいて、前記探索範囲が狭くなるように補正する補正部と、
前記動きベクトルと、前記マクロブロックと前記動きベクトルにより動き補償された前記探索マクロブロックとの残差情報と、を符号化する符号化部と、
を含む動画像符号化装置。

（付記２）
前記補正部は、前記探索範囲を補正するマクロブロックに対し、前記撮影範囲重複カメラにおける前記重複範囲内の対応するマクロブロックについて既に検出された動きベクトルの終点を中心として、前記探索範囲を設定する
付記１記載の動画像符号化装置。

（付記３）
前記符号化部は、前記撮影範囲重複カメラについての前記マクロブロックの符号化処理が前記予め定めた方向に沿って開始され、前記重複範囲の最初の前記マクロブロックの符号化処理が開始された後に、前記隣接カメラについての前記マクロブロックの符号化を開始する
を備えた付記１又は付記２記載の動画像符号化装置。

（付記４）
前記動きベクトル検出部、前記補正部、及び前記符号化部は、前記選択カメラにより撮影された前記動画像、前記隣接カメラにより撮影された前記動画像の順に処理する
付記１〜３の何れかに記載の動画像符号化装置。

（付記５）
複数の撮影カメラにより撮影対象を各々撮影した動画像を構成するフレーム画像を分割したマクロブロックの各々について、前記マクロブロックの位置と、参照フレーム画像に対して前記マクロブロックの位置に応じて設定した探索範囲からブロックマッチングにより探索した探索マクロブロックの位置と、に基づいて、動きベクトルを検出し、
前記複数の撮影カメラの中から選択された選択カメラに隣接する隣接カメラにより撮影された動画像を構成する前記フレーム画像を分割したマクロブロックのうち、撮影範囲が、前記隣接カメラの撮影範囲の一部と予め定めた方向において重複する重複範囲を有する撮影範囲重複カメラにおける前記重複範囲内のマクロブロックについては、前記撮影範囲重複カメラにおける前記重複範囲内の対応するマクロブロックについて既に検出された動きベクトルに基づいて、前記探索範囲が狭くなるように補正し、
前記動きベクトルと、前記マクロブロックと前記動きベクトルにより動き補償された前記探索マクロブロックとの残差情報と、を符号化する
ことを含む動画像符号化方法。

（付記６）
前記探索範囲を補正するマクロブロックに対し、前記撮影範囲重複カメラにおける前記重複範囲内の対応するマクロブロックについて既に検出された動きベクトルの終点を中心として、前記探索範囲を設定する
付記５記載の動画像符号化方法。

（付記７）
前記撮影範囲重複カメラについての前記マクロブロックの符号化処理が前記予め定めた方向に沿って開始され、前記重複範囲の最初の前記マクロブロックの符号化処理が開始された後に、前記隣接カメラについての前記マクロブロックの符号化を開始する
付記５又は付記６記載の動画像符号化方法。

（付記８）
前記動きベクトル検出、前記補正、及び前記符号化は、前記選択カメラにより撮影された前記動画像、前記隣接カメラにより撮影された前記動画像の順に処理する
付記５〜７の何れかに記載の動画像符号化方法。

（付記９）
コンピュータに、
複数の撮影カメラにより撮影対象を各々撮影した動画像を構成するフレーム画像を分割したマクロブロックの各々について、前記マクロブロックの位置と、参照フレーム画像に対して前記マクロブロックの位置に応じて設定した探索範囲からブロックマッチングにより探索した探索マクロブロックの位置と、に基づいて、動きベクトルを検出し、
前記複数の撮影カメラの中から選択された選択カメラに隣接する隣接カメラにより撮影された動画像を構成する前記フレーム画像を分割したマクロブロックのうち、撮影範囲が、前記隣接カメラの撮影範囲の一部と予め定めた方向において重複する重複範囲を有する撮影範囲重複カメラにおける前記重複範囲内のマクロブロックについては、前記撮影範囲重複カメラにおける前記重複範囲内の対応するマクロブロックについて既に検出された動きベクトルに基づいて、前記探索範囲が狭くなるように補正し、
前記動きベクトルと、前記マクロブロックと前記動きベクトルにより動き補償された前記探索マクロブロックとの残差情報と、を符号化する
ことを含む処理を実行させるための動画像符号化プログラム。

１０ 動画像通信システム
１２Ａ、１２Ｂ 動画像通信装置
１４ ネットワーク
１６Ａ、１６Ｂ 選択カメラ位置特定部
１８Ａ１、１８Ａ２、１８Ｂ１、１８Ｂ２ 検出カメラ
２０Ａ、２０Ｂ 動画像符号化装置
２２Ａ、２２Ｂ 復号化装置
２４Ａ、２４Ｂ ディスプレイ
３０ 全体制御部
３２ 入力画像取り込み部
３４ 符号化部
３６ ストリーム出力部
３８ メモリコントローラ
４０ ＳＤＲＡＭ

Claims (6)

1. 複数の撮影カメラにより撮影対象を各々撮影した動画像を構成するフレーム画像を分割したマクロブロックの各々について、前記マクロブロックの位置と、参照フレーム画像に対して前記マクロブロックの位置に応じて設定した探索範囲からブロックマッチングにより探索した探索マクロブロックの位置と、に基づいて、動きベクトルを検出する動きベクトル検出部と、
   前記複数の撮影カメラの中から選択された選択カメラに隣接する隣接カメラにより撮影された動画像を構成する前記フレーム画像を分割したマクロブロックのうち、撮影範囲が、前記隣接カメラの撮影範囲の一部と予め定めた方向において重複する重複範囲を有する撮影範囲重複カメラにおける前記重複範囲内のマクロブロックについては、前記撮影範囲重複カメラにおける前記重複範囲内の対応するマクロブロックについて既に検出された動きベクトルに基づいて、前記探索範囲が狭くなるように補正する補正部と、
   前記動きベクトルと、前記マクロブロックと前記動きベクトルにより動き補償された前記探索マクロブロックとの残差情報と、を符号化する符号化部と、
   を含む動画像符号化装置。
2. 前記補正部は、前記探索範囲を補正するマクロブロックに対し、前記撮影範囲重複カメラにおける前記重複範囲内の対応するマクロブロックについて既に検出された動きベクトルの終点を中心として、前記探索範囲を設定する
   請求項１記載の動画像符号化装置。
3. 前記符号化部は、前記撮影範囲重複カメラについての前記マクロブロックの符号化処理が前記予め定めた方向に沿って開始され、前記重複範囲の最初の前記マクロブロックの符号化処理が開始された後に、前記隣接カメラについての前記マクロブロックの符号化を開始する
   請求項１又は請求項２記載の動画像符号化装置。
4. 前記動きベクトル検出部、前記補正部、及び前記符号化部は、前記選択カメラにより撮影された前記動画像、前記隣接カメラにより撮影された前記動画像の順に処理する
   請求項１〜３の何れか１項に記載の動画像符号化装置。
5. 複数の撮影カメラにより撮影対象を各々撮影した動画像を構成するフレーム画像を分割したマクロブロックの各々について、前記マクロブロックの位置と、参照フレーム画像に対して前記マクロブロックの位置に応じて設定した探索範囲からブロックマッチングにより探索した探索マクロブロックの位置と、に基づいて、動きベクトルを検出し、
   前記複数の撮影カメラの中から選択された選択カメラに隣接する隣接カメラにより撮影された動画像を構成する前記フレーム画像を分割したマクロブロックのうち、撮影範囲が、前記隣接カメラの撮影範囲の一部と予め定めた方向において重複する重複範囲を有する撮影範囲重複カメラにおける前記重複範囲内のマクロブロックについては、前記撮影範囲重複カメラにおける前記重複範囲内の対応するマクロブロックについて既に検出された動きベクトルに基づいて、前記探索範囲が狭くなるように補正し、
   前記動きベクトルと、前記マクロブロックと前記動きベクトルにより動き補償された前記探索マクロブロックとの残差情報と、を符号化する
   ことを含む動画像符号化方法。
6. コンピュータに、
   複数の撮影カメラにより撮影対象を各々撮影した動画像を構成するフレーム画像を分割したマクロブロックの各々について、前記マクロブロックの位置と、参照フレーム画像に対して前記マクロブロックの位置に応じて設定した探索範囲からブロックマッチングにより探索した探索マクロブロックの位置と、に基づいて、動きベクトルを検出し、
   前記複数の撮影カメラの中から選択された選択カメラに隣接する隣接カメラにより撮影された動画像を構成する前記フレーム画像を分割したマクロブロックのうち、撮影範囲が、前記隣接カメラの撮影範囲の一部と予め定めた方向において重複する重複範囲を有する撮影範囲重複カメラにおける前記重複範囲内のマクロブロックについては、前記撮影範囲重複カメラにおける前記重複範囲内の対応するマクロブロックについて既に検出された動きベクトルに基づいて、前記探索範囲が狭くなるように補正し、
   前記動きベクトルと、前記マクロブロックと前記動きベクトルにより動き補償された前記探索マクロブロックとの残差情報と、を符号化する
   ことを含む処理を実行させるための動画像符号化プログラム。