JP2008011079A - 動画像符号化装置、動画像復号化装置及び動画像伝送システム - Google Patents

Abstract

【課題】グローバルベクトルを用いる際、演算量を十分に削減することが可能な動画像符号化装置を提供する。
【解決手段】動画像符号化装置は、グローバルベクトル算出部２１０において、画角算出部２１１で画角を算出し、パン角度算出部２１２で１フレーム期間の水平回転角度を算出し、チルト角度算出部２１３で１フレーム期間の垂直回転角度を算出し、これらの情報を用いてグローバルベクトルを算出する。動きベクトル歪補正部２３０において、動きベクトルを求める際、始点座標発生部２３１で動きベクトルの始点を設定し、歪補正部２３２にて歪補正テーブルを用い、始点に対する歪補正後の始点を算出する。加算部２３３では歪補正後の始点にグローバルベクトルを加算し、歪補正後の終点を算出する。歪逆補正部２３４にて歪逆補正テーブルを用い、歪逆補正後の終点を算出する。
【選択図】図５

Description

本発明は、動き補償予測を行って動画像を符号化する動画像符号化装置、動画像復号化装置及び動画像伝送システムに関する。

従来、監視カメラやテレビ会議等で使用される動画像符号化装置は、ＭＰＥＧ等で符号化する際、現フレームをマクロブロックと呼ばれる矩形ブロック領域に分割し、既に符号化済みの参照フレームに含まれる類似のブロックを検出して動きベクトルを求める。さらに、参照フレーム中の類似のブロックを予測値として、現フレームのブロックとの差分値を求め、この差分値を動きベクトルとともに復号化装置に送る。一方、復号化装置は、動きベクトルを用いて復号化済みの参照フレームから予測値を求め、この予測値に差分値を加算して復号化画像を得る。

監視カメラやテレビ会議では、カメラをパン、チルトあるいはズームして撮影する方向や画角を変更することが行われる。また、一定周期でカメラを旋回させたり、プリセットされた方向に向けることが行われる。特に、パンやチルトを行う際、動きベクトルは画面全体で同じになるので、画面全体の動きを表すグローバルベクトルを求めることにより、符号化する際の処理負荷を軽減することが可能である。

例えば、従来の動画像符号化装置は、現フレームの縮小画像と参照フレームの縮小画像を用いて画面全体の動きを検出し、グローバルベクトルを求めている（特許文献１参照）。また、従来の動画像符号化装置は、パンニング検出器を有し、パンニングが検出された場合、グローバルベクトルを使用している（特許文献２参照）。

再公表特許 ＷＯ００／０５８９９号 特開平７−４６５９７号公報

しかしながら、上記従来の動画像符号化装置では、映像信号からグローバルベクトルを求めており、演算量を十分に削減できなかった。また、撮影画角が広角になればなるほど、レンズの歪曲によって特に画像の周辺部において歪が生じ、動きベクトルは画面全体で同一とならないため、グローバルベクトルを用いた際、予測誤差が大きくなり、符号化効率が低下していた。

本発明は、上記事情に鑑みてなされたもので、グローバルベクトルを用いる際、演算量を十分に削減することが可能な動画像符号化装置、動画像復号化装置及び動画像伝送システムを提供することを目的とする。また、本発明は、画像歪による符号化効率の低下を抑えることが可能な動画像符号化装置、動画像復号化装置及び動画像伝送システムを提供することを目的とする。

本発明の動画像符号化装置は、動画像を符号化する動画像符号化装置であって、前記動画像を撮影するカメラに対して行われるパン、チルトおよびズーム制御のうちの少なくとも１つに関する制御情報を取得する制御情報取得部と、前記取得した制御情報に基づき、前記カメラで撮影された動画像の画面全体の動きを表すグローバルベクトルを算出するグローバルベクトル算出部と、前記算出したグローバルベクトルを用いて前記動画像の動き補償予測を行い、前記動画像を符号化する符号化部とを備えるものである。
これにより、画面全体の動きを表すグローバルベクトルをカメラの制御情報から求めることができるので、動きベクトル検出処理を大幅に削減できる。従って、グローバルベクトルを用いる際、演算量を十分に削減することが可能となる。

また、本発明は、上記の動画像符号化装置であって、前記カメラで撮影される動画像の歪を算出し、前記算出された動画像の歪に基づいて前記グローバルベクトルを含む動きベクトルを補正する動きベクトル歪補正部を備え、前記符号化部は、前記補正された動きベクトルに従って、前記動き補償予測を行うものとする。
これにより、画面の部分毎に画面の歪による動きベクトルの違いを補正することができ、画像歪による符号化効率の低下を抑えることが可能となる。

また、本発明は、上記の動画像符号化装置であって、前記動きベクトル歪補正部は、前記動画像の歪を補正するための補正係数を保持する補正テーブルを有し、前記動きベクトル補正後の終点を用いて誤差ベクトルを検出する誤差ベクトル検出部と、前記検出された誤差ベクトルに基づいて前記補正テーブルを更新する補正テーブル更新部とを備えるものとする。
これにより、補正テーブルを用いて画面の部分毎に画面の歪による動きベクトルの違いを補正する際、誤差を検出して補正テーブルを更新するので、符号化効率の向上を図ることが可能となる。

また、本発明の動画像符号化装置は、動画像を符号化する動画像符号化装置であって、前記動画像を撮影するカメラで取得された動画像の歪を補正する画像歪補正部と、前記歪が補正された動画像を用いて画面全体の動きを表すグローバルベクトルを算出するグローバルベクトル算出部と、前記算出したグローバルベクトルを用いて前記動画像の動き補償予測を行うとともに、前記動画像の歪を補正する際の補正係数を多重化して符号化ストリームを生成し、前記動画像を符号化する符号化部とを備えるものである。
これにより、画像歪が補正された後の動画像を符号化することによって、符号化効率を向上することが可能となる。

本発明の動画像復号化装置は、上記の動画像符号化装置で生成された符号化ストリームから前記補正係数を分離した後、前記動き補償予測が行われた動画像を復号化する復号化部と、前記分離した補正係数を用いて、前記復号化した動画像の逆補正を行う画像歪逆補正部とを備えるものである。
これにより、画像歪の無い動画像に対し、動き補償予測を行って復号化することが可能となる。

本発明の動画像符号化方法は、動画像を符号化する動画像符号化方法であって、前記動画像を撮影するカメラに対して行われるパン、チルトおよびズーム制御のうちの少なくとも１つに関する制御情報を取得する制御情報取得ステップと、前記取得した制御情報に基づき、前記カメラで撮影された動画像の画面全体の動きを表すグローバルベクトルを算出するグローバルベクトル算出ステップと、前記算出したグローバルベクトルを用いて前記動画像の動き補償予測を行い、前記動画像を符号化する符号化ステップとを有するものである。

また、本発明の動画像符号化方法は、動画像を符号化する動画像符号化方法であって、前記動画像を撮影するカメラで取得された動画像の歪を補正する画像歪補正ステップと、前記歪が補正された動画像を用いて画面全体の動きを表すグローバルベクトルを算出するグローバルベクトル算出ステップと、前記算出したグローバルベクトルを用いて前記動画像の動き補償予測を行うとともに、前記動画像の歪を補正する際の補正係数を多重化して符号化ストリームを生成し、前記動画像を符号化する符号化ステップとを有するものである。

本発明の動画像伝送システムは、動画像を符号化して伝送し、前記伝送された動画像を復号化する動画像伝送システムであって、前記動画像を撮影するカメラに対して行われるパン、チルトおよびズーム制御のうちの少なくとも１つに関する制御情報を取得する制御情報取得部と、前記取得した制御情報に基づき、前記カメラで撮影された動画像の画面全体の動きを表すグローバルベクトルを算出するグローバルベクトル算出部と、前記算出したグローバルベクトルを用いて前記動画像の動き補償予測を行い、符号化ストリームを生成する符号化部と、前記生成された符号化ストリームを送信する送信部と、前記送信された符号化ストリームを受信する受信部と、前記受信した符号化ストリームから動画像を復号化する復号化部とを備えるものである。

また、本発明の動画像伝送システムは、動画像を符号化して伝送し、前記伝送された動画像を復号化する動画像伝送システムであって、前記動画像を撮影するカメラで取得された動画像の歪を補正する画像歪補正部と、前記歪が補正された動画像を用いて画面全体の動きを表すグローバルベクトルを算出するグローバルベクトル算出部と、前記算出したグローバルベクトルを用いて前記動画像の動き補償予測を行うとともに、前記動画像の歪を補正する際の補正係数を多重化して符号化ストリームを生成する符号化部と、前記生成された符号化ストリームを送信する送信部と、前記送信された符号化ストリームを受信する受信部と、前記受信した符号化ストリームから前記補正係数を分離した後、前記動き補償予測が行われた動画像を復号化する復号化部と、前記分離した補正係数を用いて、前記復号化した動画像の逆補正を行う画像歪逆補正部とを備えるものである。

本発明によれば、グローバルベクトルを用いる際、演算量を十分に削減することが可能な動画像符号化装置、動画像復号化装置及び動画像伝送システムを提供できる。また、画像歪による符号化効率の低下を抑えることが可能な動画像符号化装置、動画像復号化装置及び動画像伝送システムを提供できる。

本発明の実施形態に係る動画像符号化装置及び動画像復号化装置、並びにこれらを備える動画像伝送システムは、映像監視システムやＴＶ会議システム等に適用され、動き補償フレーム間予測を用いた動画像の映像の符号化、復号化を行う機能を有して構成されるものである。

（第１の実施形態）
図１は本発明の第１の実施形態に係る動画像伝送システムの構成を示すブロック図である。

第１の実施形態の動画像伝送システムは、ネットワーク４００を介して接続された動画像送信系１０および動画像受信系２０から構成される。動画像送信系１０では、カメラ部３０、動画像符号化装置２００および送信部３００が設けられている。動画像受信系２０では、受信部５００、動画像復号化装置６００および表示部７００が設けられている。

カメラ部３０には、カメラ１００、カメラ制御部１１０および回転台１２０が設けられている。カメラ１００は、回転台１２０に載置され、カメラ制御部１１０からのズーム信号に従って画角を広げたり狭めたりする。回転台１２０は、カメラ制御部１１０からのパン信号やチルト信号に従って、カメラ１００の向きをパン（水平）方向に旋回させたり、チルト（垂直）方向に旋回させる。

動画像符号化装置２００は、グローバルベクトル検出部２１０、動きベクトル歪補正部２３０および符号化部２５０を有する。グローバルベクトル検出部２１０は、ズーム信号、パン信号あるいはチルト信号を受けると、グローバルベクトルを算出する。動きベクトル歪補正部２３０は、カメラ画像の歪を考慮し、画像のマクロブロック毎にグローバルベクトルが補正された動きベクトルを求め、符号化部２５０に出力する。符号化部２５０は、動き補償予測符号化を行って符号化データ（符号化ストリーム）を生成する。この動き補償予測符号化は、ＭＰＥＧ等と同様の符号化である。送信部３００は、符号化データを伝送に適した伝送フォーマットに変換し、ネットワーク４００に送出する。

受信部５００は、ネットワーク４００から入力した伝送フォーマットを符号化データに戻す。動画像復号化装置６００は、符号化データを用いて動き補償予測復号化を行い、非圧縮の画像データを表示部７００に出力する。表示部７００は、画像データに基づく画像を表示する。

図２は本実施形態におけるパン、チルトあるいはズーム情報を用いたグローバルベクトルの算出方法を示す図である。ここでは、説明を簡単にするために、パン情報だけを用い、一次元で表現する場合を示す。図２（Ａ）はパン前の撮影状態を示し、図２（Ｂ）はパン後の撮影状態を示す。

記号として、画角θ、光軸５１と被写体５３のなす角α、フレーム周期に相当するパン角度β、画角の画素数Ｎ、パン前の被写体の位置ｐ、パン後の被写体の位置ｑ、およびグローバルベクトルｇｖを用いると、パン前の被写体の位置ｐ、パン後の被写体の位置ｑおよびグローバルベクトルｇｖは、それぞれ数式（１）、（２）、（３）で表される。

ｐ＝（Ｎ／２）×［１−（ｔａｎα／ｔａｎ（θ／２）］ …（１）
ｑ＝（Ｎ／２）×［１−（ｔａｎ（α−β）／ｔａｎ（θ／２）］ …（２）
ｇｖ＝ｑ−ｐ …（３）

なお、ここでは、簡易的に１次元で表現したが、（ｘ，ｙ）座標に分解して表現してもよい。また、チルトの場合も同様にグローバルベクトルを求めることが可能である。

図３は直交する格子状の被写体を撮影した際の画像歪の例を示す図である。図３（Ａ）は歪の無いカメラで撮影された画像および動きベクトル６１を示す。図３（Ｂ）は歪のあるカメラで撮影された画像を示す。この画像では、端に行くほど、格子が歪んで曲線となっている。また、図３（Ａ）の動きベクトル６１に相当するベクトル６３は歪んでいる。図３（Ｃ）は歪補正が行われた画像を示す。この例では、歪んだ画像から歪の無い画像への補正が矢印６６で示されている。図３（Ｄ）は、歪逆補正が行われた画像を示す。この例では、歪の無い画像から歪のある画像への逆補正が矢印６８で示されている。なお、図３では、広角側での樽型歪曲の場合を示したが、望遠側での糸巻型歪曲についても同様に処理可能である。

歪んだ画像中心からの距離をｒとすると、歪補正後の画像中心からの距離ｒ′は、数式（４）に示す歪補正近似式を用いて表される。
ｒ′＝ｒ＋ｋｒ³ …（４）
ここで、ｋは定数である。この歪補正近似式を用いることにより、歪補正および歪逆補正を行うことが可能である。

図４は本実施形態におけるグローバルベクトルの補正方法を示す図である。図４（Ａ）は符号化フレームおよび参照フレームを示す。両フレームはともに歪を持つカメラ画像である。一方、グローバルベクトルは、パン信号やチルト信号を用いて算出された歪の無い画面で一律のものである。従って、動きベクトルとしては、グローバルベクトルでなく、歪みを考慮した補正後のベクトルを使う方が精度が高い。

図４（Ｂ）は補正後のベクトルの算出方法を示す。符号化フレームの動きベクトルの始点（ｘｓ，ｙｓ）を歪補正し、歪補正後の始点（ｘｓ′，ｙｓ′）に移動する。さらに、歪補正後の始点（ｘｓ′，ｙｓ′）にグローバルベクトルｇｖ（ｇｖｘ，ｇｖｙ）を加算し、歪補正後の終点（ｘｅ′，ｙｅ′）を得る。この後、逆補正を行い、参照フレーム上の終点（ｘｅ，ｙｅ）を得る。

図５は本実施形態の動画像符号化装置２００の詳細な構成を示すブロック図である。前述したように、動画像符号化装置２００には、グローバルベクトル検出部２１０、動きベクトル歪補正部２３０および符号化部２５０が設けられている。グローバルベクトル検出部２１０は、画角算出部２１１、パン角度算出部２１２、チルト角度算出部２１３およびベクトル算出部２１４を有して構成される。ここで、画角算出部２１１、パン角度算出部２１２、チルト角度算出部２１３が制御情報取得部の機能を実現する。また、ベクトル算出部２１４がグローバルベクトル算出部の機能を実現する。

画角算出部２１１は、カメラ制御部１１０からのズーム制御信号を受けると、１フレーム時間の画角増分を求め、１フレーム前の画角に加算して画角θを求める。この画角増分は、ズームを行うモータ（直流モータ、ステッピングモータ、超音波モータ等）からのズーム制御信号である電圧、パルス数、パルス幅などを一定期間に亘って計数したり、積分することによって求められる。あるいは、カメラ制御部１１０からのズーム制御値として画角値を直接受信するようにしてもよい。

パン角度算出部２１２およびチルト角度算出部２１３も、画角算出部２１１と同様、パンやチルトを行うモータへのパン制御信号やチルト制御信号から、パン角度やチルト角度を求めることができる。但し、この２つの角度は１フレーム時間の角度を求めるだけでよく、１フレーム前の角度に加算する必要はない。

ベクトル算出部２１４は、画角、パン角度あるいはチルト角度を基に、数式（１）〜（３）に従って計算を行ってグローバルベクトルを求め、動きベクトル歪補正部２３０に出力する。

動きベクトル歪補正部２３０は、始点座標発生部２３１、歪補正部２３２、加算部２３３、歪逆補正部２３４、画像メモリ２４１、誤差ベクトル検出部２４２および補正テーブル更新部２４３を有して構成される。始点座標発生部２３１、歪補正部２３２、加算部２３３および歪逆補正部２３４は、図４（Ｂ）で示す動作を順次行う。即ち、始点座標発生部２３１は、動きベクトル算出単位の各ブロックの座標（始点）を発生する。歪補正部２３２は、補正テーブルを備えており、この補正テーブルを用いて歪補正後の始点を求める。加算部２３３は、歪補正後の始点にグローバルベクトルを加算し、歪補正後の終点を求める。歪逆補正部２３４は、歪補正された終点を逆補正し、歪のある画像上の終点を求める。

画像メモリ２４１は、符号化フレームを入力し、１つまたは複数フレーム遅延させ、参照フレームとして出力する。

誤差ベクトル検出部２４２は、符号化フレームの始点となる該当ブロックと、歪逆補正部２３４で求められた終点を中心とする、参照フレーム中の近傍ブロックとでブロックマッチングを行い、動きベクトルを検出し、これを誤差ベクトルとする。図４（Ｃ）に誤差ベクトルの例を示す。

補正テーブル更新部２４３は、数式（４）に示される係数を誤差ベクトルを用いて補正する。即ち、始点の画面中心からの距離をｒ_ｓ、誤差ベクトルを加えた終点の画面中心からの距離をｒ_ｅｍ、更新後の係数をｋ_ｍとすると、係数は数式（５）〜（７）を用いて導かれる数式（８）で求められる。

ｒ_ｓ′＝ｒ_ｓ＋ｋ_ｍｒ_ｓ ³ …（５）
ｒ_ｅｍ′＝ｒ_ｅｍ＋ｋ_ｍｒ_ｅｍ ³ …（６）
ｒ_ｅｍ′＝ｒ_ｓ′＋ｇｖ …（７）
ｋ_ｍ＝（ｒ_ｓ＋ｇｖ−ｒ_ｅｍ）／（ｒ_ｅｍ ³−ｒ_ｓ ³） …（８）

補正テーブル更新部２４３は、一定期間経過後（例えば、１フレーム〜複数フレーム符号化後）、ｋｍを用いて歪補正部２３２に保持される補正テーブル、および歪逆補正部２３４に保持される逆補正テーブルを更新する。なお、数式（８）を簡易的に１次元で表現したが、（ｘ，ｙ）座標に分解して表現してもよい。

符号化部２５０は、画像メモリ２５１、動き補償部２５２、減算器２５３、ＤＣＴ部２５４、量子化部２５５、エントロピー符号化部２５６、逆量子化部２５７、逆ＤＣＴ部２５８および加算器２５９から構成される。

動き補償部２５２は、動きベクトル歪補正部２３０からの終点、および画像メモリ２５１の参照フレームを用い、動き補償予測を行う。減算器２５３は、符号化フレームから動き補償予測値を減算し、減算した値を予測誤差として出力する。

ＤＣＴ部２５４は、離散コサイン変換を行い、ＤＣＴ係数を出力する。量子化部２５５は、量子化を行い、量子化値を出力する。エントロピー符号化部２５６は、可変長符号化を行い、符号化ストリーム（符号化データ）を出力する。

また、逆量子化部２５７は、量子化値の逆量子化を行う。逆ＤＣＴ部２５８は、逆ＤＣＴを行う。加算器２５９は、逆ＤＣＴ値と動き補償予測値を加算し、加算値を参照フレームとして画像メモリ２５１に保持する。なお、動画像符号化装置２００内の各部の機能は、記憶媒体に格納された制御プログラムをＣＰＵが実行することによって実現される。

上記構成を有する動画像符号化装置の動作を示す。図６は本実施形態におけるグローバルベクトル検出処理手順を示すフローチャートである。

まず、ズーム制御情報から画角を算出する（ステップＳ１）。パン制御情報から１フレーム期間の水平回転角度を算出する（ステップＳ２）。チルト制御情報から１フレーム期間の垂直回転角度を算出する（ステップＳ３）。

これら３つの情報（画角、水平回転角度、垂直回転角度）を用い、数式（１）〜（３）に従って、グローバルベクトルを算出する（ステップＳ４）。この後、本処理を終了する。

図７は本実施形態における動きベクトル歪補正処理手順を示すフローチャートである。まず、求めようとする動きベクトルの始点を設定する（ステップＳ１１）。そして、歪補正テーブルを用い、その始点座標（ｘｓ，ｙｓ）に対する歪補正後の始点座標（ｘｓ′，ｙｓ′）を算出する（ステップＳ１２）。

続いて、歪補正後の始点座標（ｘｓ′，ｙｓ′）にグローバルベクトル（ｇｖｘ，ｇｖｙ）を加算し、歪補正後の終点座標（ｘｅ′，ｙｅ′）を算出する（ステップＳ１３）。歪逆補正テーブルを用い、歪逆補正後の終点座標（ｘｅ，ｙｅ）を算出する（ステップＳ１４）。この後、本処理を終了する。

図８は本実施形態における補正テーブル更新処理手順を示すフローチャートである。まず、符号化フレームの始点座標（ｘｓ，ｙｓ）を起点とするブロックと、参照フレームの終点座標（ｘｅ，ｙｅ）の近傍ブロックとでブロックマッチングを行い、その差分の絶対値総和を求める（ステップＳ２１）。

そして、上記差分の絶対値総和が最小となる参照フレーム中のブロックの座標（ｘｍ，ｙｍ）を求める（ステップＳ２２）。この値から数式（８）に従って、歪補正近似式の係数ｋ_ｍを算出する（ステップＳ２３）。算出した係数ｋ_ｍを用い、歪補正テーブルおよび歪逆補正テーブルを更新する（ステップＳ２４）。この後、本処理を終了する。こうして、歪補正テーブルおよび歪逆補正テーブルは作成、更新される。

上述したように、第１の実施形態の動画像符号化装置によれば、グローバルベクトル検出部において、カメラ制御部からの制御情報により、グローバルベクトルを求めることによって、演算量を削減できる。また、動きベクトル歪補正部において、画像歪によるフロック毎の動きベクトルを補正することによって、符号化効率を向上できる。さらに、誤差ベクトル検出部および補正テーブル更新部を用いて歪補正テーブルを更新することによって、符号化効率の一層の向上を図ることができる。

（第２の実施形態）
図９は本発明の第２の実施形態に係る動画像伝送システムの構成を示すブロック図である。前記第１の実施形態と同一の構成要素については同一の符号を付すことによりその説明を省略する。

動画像符号化装置２００Ａは、画像歪補正部２７０、グローバルベクトル検出部２１０および符号化部２５０を有して構成される。画像歪補正部２７０は、カメラ１００からの歪のある画像を補正し、歪の無い画像に変換する（図３（Ｃ）参照）。

グローバルベクトル検出部２１０は、歪の無い画像を用い、グローバルベクトルを検出する。画像に歪が無いので、パン、チルト時に画面全体で動きがほぼ均一となる。図１０は第２の実施形態におけるグローバルベクトルの算出方法を示す図である。グローバルベクトルは、画面内の複数ブロック（例えば、４つ）に対し、動きベクトルｇｖ０、ｇｖ１、ｇｖ２、ｇｖ３を検出し、その平均をとってグローバルベクトルとする。

符号化部２５０は、グローバルベクトル部２１０からのグローバルベクトルを用いて動き補償予測符号化を行い、画像歪補正部２７０からの歪補正近似式の係数ｋとともに符号化ストリームを生成する。

動画像復号化装置６００Ａは、復号化部６１０および画像歪逆補正部６３０から構成される。復号化部６１０は、符号化ストリームの中から歪補正近似式の係数ｋを分離し、画像歪逆補正部６３０に出力するとともに、動き補償予測復号化を行い、非圧縮の映像データを出力する。画像歪逆補正部６３０は、歪補正近似式の係数ｋを用いて、歪逆補正を行い、カメラ１００からの出力と同様の歪を持った映像を出力する。なお、歪の無い画像が望まれる場合、画像歪逆補正部６３０を使用しなくてもよい。

このように、第２の実施形態の動画像符号化装置によれば、画像歪補正部および画像歪逆補正部を設けることで、グローバルベクトルの歪補正を行わなくても、演算量を削減し、符号化効率を向上させることができる。

なお、本発明は上記の実施形態において示されたものに限定されるものではなく、明細書の記載、並びに周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。

例えば、歪補正テーブルおよび逆歪補正テーブルは、レンズやズーム倍率に応じて変更自在に設けることも可能である。

本発明は、グローバルベクトルを用いる際、演算量を十分に削減することが可能となる効果、画像歪による符号化効率の低下を抑えることが可能となる効果を有し、動き補償予測を行って動画像を符号化する動画像符号化装置、動画像復号化装置及び動画像伝送システム等に有用である。

本発明の第１の実施形態に係る動画像伝送システムの構成を示すブロック図 本実施形態におけるパン、チルトあるいはズーム情報を用いたグローバルベクトルの算出方法を示す図 直交する格子状の被写体を撮影した際の画像歪の例を示す図 本実施形態におけるグローバルベクトルの補正方法を示す図 本実施形態の動画像符号化装置の詳細な構成を示すブロック図 本実施形態におけるグローバルベクトル検出処理手順を示すフローチャート 本実施形態における動きベクトル歪補正処理手順を示すフローチャート 本実施形態における補正テーブル更新処理手順を示すフローチャート 本発明の第２の実施形態に係る動画像伝送システムの構成を示すブロック図 第２の実施形態におけるグローバルベクトルの算出方法を示す図

符号の説明

１０ 動画像送信系
２０ 動画像受信系
３０ カメラ部
１００ カメラ
１１０ カメラ制御部
１２０ 回転台
２００、２００Ａ 動画像符号化装置
２１０ グローバルベクトル検出部
２１１ 画角算出部
２１２ パン角度算出部
２１３ チルト角度算出部
２１４ ベクトル算出部
２３０ 動きベクトル歪補正部
２３１ 始点座標発生部
２３２ 歪補正部
２３３ 加算部
２３４ 歪逆補正部
２４１ 画像メモリ
２４２ 誤差ベクトル検出部
２４３ 補正テーブル更新部
２５０ 符号化部
２５１ 画像メモリ
２５２ 動き補償部
２７０ 画像歪補正部
３００ 送信部
４００ ネットワーク
５００ 受信部
６００、６００Ａ 動画像復号化装置
６１０ 復号化部
６３０ 画像歪逆補正部
７００ 表示部

Claims (9)

1. 動画像を符号化する動画像符号化装置であって、
   前記動画像を撮影するカメラに対して行われるパン、チルトおよびズーム制御のうちの少なくとも１つに関する制御情報を取得する制御情報取得部と、
   前記取得した制御情報に基づき、前記カメラで撮影された動画像の画面全体の動きを表すグローバルベクトルを算出するグローバルベクトル算出部と、
   前記算出したグローバルベクトルを用いて前記動画像の動き補償予測を行い、前記動画像を符号化する符号化部と、
   を備える動画像符号化装置。
2. 請求項１記載の動画像符号化装置であって、
   前記カメラで撮影される動画像の歪を算出し、前記算出された動画像の歪に基づいて前記グローバルベクトルを含む動きベクトルを補正する動きベクトル歪補正部を備え、
   前記符号化部は、前記補正された動きベクトルに従って、前記動き補償予測を行う動画像符号化装置。
3. 請求項２記載の動画像符号化装置であって、
   前記動きベクトル歪補正部は、前記動画像の歪を補正するための補正係数を保持する補正テーブルを有し、
   前記動きベクトル補正後の終点を用いて誤差ベクトルを検出する誤差ベクトル検出部と、
   前記検出された誤差ベクトルに基づいて前記補正テーブルを更新する補正テーブル更新部とを備える動画像符号化装置。
4. 動画像を符号化する動画像符号化装置であって、
   前記動画像を撮影するカメラで取得された動画像の歪を補正する画像歪補正部と、
   前記歪が補正された動画像を用いて画面全体の動きを表すグローバルベクトルを算出するグローバルベクトル算出部と、
   前記算出したグローバルベクトルを用いて前記動画像の動き補償予測を行うとともに、前記動画像の歪を補正する際の補正係数を多重化して符号化ストリームを生成し、前記動画像を符号化する符号化部と、
   を備える動画像符号化装置。
5. 請求項４記載の動画像符号化装置で生成された符号化ストリームから前記補正係数を分離した後、前記動き補償予測が行われた動画像を復号化する復号化部と、
   前記分離した補正係数を用いて、前記復号化した動画像の逆補正を行う画像歪逆補正部とを備える動画像復号化装置。
6. 動画像を符号化する動画像符号化方法であって、
   前記動画像を撮影するカメラに対して行われるパン、チルトおよびズーム制御のうちの少なくとも１つに関する制御情報を取得する制御情報取得ステップと、
   前記取得した制御情報に基づき、前記カメラで撮影された動画像の画面全体の動きを表すグローバルベクトルを算出するグローバルベクトル算出ステップと、
   前記算出したグローバルベクトルを用いて前記動画像の動き補償予測を行い、前記動画像を符号化する符号化ステップと、
   を有する動画像符号化方法。
7. 動画像を符号化する動画像符号化方法であって、
   前記動画像を撮影するカメラで取得された動画像の歪を補正する画像歪補正ステップと、
   前記歪が補正された動画像を用いて画面全体の動きを表すグローバルベクトルを算出するグローバルベクトル算出ステップと、
   前記算出したグローバルベクトルを用いて前記動画像の動き補償予測を行うとともに、前記動画像の歪を補正する際の補正係数を多重化して符号化ストリームを生成し、前記動画像を符号化する符号化ステップと、
   を有する動画像符号化方法。
8. 動画像を符号化して伝送し、前記伝送された動画像を復号化する動画像伝送システムであって、
   前記動画像を撮影するカメラに対して行われるパン、チルトおよびズーム制御のうちの少なくとも１つに関する制御情報を取得する制御情報取得部と、
   前記取得した制御情報に基づき、前記カメラで撮影された動画像の画面全体の動きを表すグローバルベクトルを算出するグローバルベクトル算出部と、
   前記算出したグローバルベクトルを用いて前記動画像の動き補償予測を行い、符号化ストリームを生成する符号化部と、
   前記生成された符号化ストリームを送信する送信部と、
   前記送信された符号化ストリームを受信する受信部と、
   前記受信した符号化ストリームから動画像を復号化する復号化部と、
   を備える動画像伝送システム。
9. 動画像を符号化して伝送し、前記伝送された動画像を復号化する動画像伝送システムであって、
   前記動画像を撮影するカメラで取得された動画像の歪を補正する画像歪補正部と、
   前記歪が補正された動画像を用いて画面全体の動きを表すグローバルベクトルを算出するグローバルベクトル算出部と、
   前記算出したグローバルベクトルを用いて前記動画像の動き補償予測を行うとともに、前記動画像の歪を補正する際の補正係数を多重化して符号化ストリームを生成する符号化部と、
   前記生成された符号化ストリームを送信する送信部と、
   前記送信された符号化ストリームを受信する受信部と、
   前記受信した符号化ストリームから前記補正係数を分離した後、前記動き補償予測が行われた動画像を復号化する復号化部と、
   前記分離した補正係数を用いて、前記復号化した動画像の逆補正を行う画像歪逆補正部と、
   を備える動画像伝送システム。
   

Images