JP2014176034A - 映像伝送装置 - Google Patents

Abstract

【課題】動き補償で算出したフレーム間予測画像の誤差を低減させることで、符号化の効率を向上させる。
【解決手段】カメラを動かす方向および動かす大きさを示すカメラ移動量信号を取得するカメラ制御部と、前記カメラからの画像データに対し、動き補償を行うとともに、前記カメラ移動量信号に基づいて前記動き補償のための画像の探索範囲を限定する画像符号化部とを備え、前記画像符号化部は、前記カメラのレンズ特性に基づいて、前記カメラ移動量信号の示す動きベクトルを画面の座標位置毎に補正を行ない、座標位置毎の補正後の動きベクトルに基づいて前記動き補償のための画像の探索範囲を限定する。
【選択図】図１

Description

本発明は、会議システム等に用いられる映像伝送装置に関する。

会議システム等に用いられる映像伝送装置では、限られた帯域のネットワークを経由して遠隔地の装置に所定の品質の画像信号（映像信号）を伝送するために、カメラからの画像データを符号化して圧縮する画像符号化部を備えている。

画像符号化部では、直前の画面フレームとの差分を伝送するフレーム間予測符号化のほか、部分的な画像の動きを動き補償ベクトルとして併せて伝送する動き処理が用いられている。

ところで、この種の映像伝送装置では、カメラの向きを水平方向で変えるパン（pan）や、垂直方向で変えるチルト（tilt）の機能が設けられており、ユーザの操作に応じてカメラを好みの向きに調整することが可能となっている。

このようなパンチルト機能により撮像中にカメラの方向を高速に変化させると、人物等の動きによる映像変化だけでなく、カメラの方向変化による映像変化が重畳されて変化することになる。

そのため、動き補償ベクトル検出部では、前後の画面間で、人物等の動いている被写体の動きにカメラの方向変化分が重畳された動きを検出しなければならず、動き量を検出するのに時間がかかり、検出効率が悪い。すなわち、カメラの動きがない場合には、被写体の直前の動きから予測される範囲のみを探索すればよいが、カメラの動きが加わる場合には探索範囲を広げなくてはならず、処理に時間がかかる。探索範囲が充分でない場合には、動き量を適切に検出することができず、動き補償で算出したフレーム間予測画像に大きな誤差が生まれ、符号化の効率が著しく低下してしまうことになる。

その対策として、カメラを動かす方向と動かす大きさとを示すカメラ移動量信号（動きベクトル）を画像符号化部に与え、動き補償ベクトル検出部では動きベクトルの示す方向と大きさだけ探索範囲をずらし、ずらした後の探索範囲内で画像の比較を行って動き補償ベクトルを検出するようにしている（特許文献１等を参照。）。

上述したカメラ移動量信号を用いる手法は、全画面に一律に同じ動きベクトルを適用できる場合には有効であるが、レンズの歪具合や射影方式によって全画面に一律に同じ動きベクトルが適用できない場合には問題がある。すなわち、動きベクトルをそのまま適用すると、適切な動き補償ベクトルの検出ができず、動き補償で算出したフレーム間予測画像に大きな誤差が生まれ、符号化の効率が著しく低下してしまうという問題がある。探索範囲を広くして対応する場合、カメラの動きベクトルに基づいて探索範囲を狭くすることで処理効率を向上しようとする元々の対策は意味がなくなる。

会議システム等に用いられるカメラは、一般に広角レンズ（画角が６０度を超えるレンズのことをいう）が用いられており、画面の歪みが大きく、上述した問題が顕著である。全方位監視カメラ等においても同様である。

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、動き補償で算出したフレーム間予測画像の誤差を低減させることで、符号化の効率を向上させることにある。

上記の課題を解決するため、本発明にあっては、カメラを動かす方向および動かす大きさを示すカメラ移動量信号を取得するカメラ制御部と、前記カメラからの画像データに対し、動き補償を行うとともに、前記カメラ移動量信号に基づいて前記動き補償のための画像の探索範囲を限定する画像符号化部とを備え、前記画像符号化部は、前記カメラのレンズ特性に基づいて、前記カメラ移動量信号の示す動きベクトルを画面の座標位置毎に補正を行ない、座標位置毎の補正後の動きベクトルに基づいて前記動き補償のための画像の探索範囲を限定するようにしている。

本発明にあっては、動き補償で算出したフレーム間予測画像の誤差を低減させ、符号化の効率を向上させることができる。

本発明の一実施形態にかかる会議システムの構成例を示す図である。 符号化部の画像に関する構成例を示す図である。 動き補償ベクトルの説明図（その１）である。 カメラの動きベクトルと探索範囲の関係の例を示す図である。 動き補償ベクトルの説明図（その２）である。 補正テーブルの例を示す図である。

以下、本発明の好適な実施形態につき説明する。

＜構成および動作＞
図１は本発明の一実施形態にかかる会議システムの構成例を示す図である。

図１において、映像伝送装置１には、カメラ２とマイク３とモニタ４とが接続されている。また、映像伝送装置１は、インターネット等のネットワーク５を介してサーバ６に接続されている。なお、会議の相手方の映像伝送装置も映像伝送装置１と同様にサーバ６に接続されている。サーバ６は、映像伝送装置１と他の映像伝送装置との接続を制御するとともに、両装置間の映像（音声を含む）の伝送を制御する。

映像伝送装置１には、符号化部（エンコーダ）１１とカメラ制御部１２と音声判別部１３とネットワーク状態検知部１４と相手局画面表示状態判別部１５とデコーダ１６とが含まれている。符号化部１１には、動き補償ベクトル検出部１１１が含まれている。

カメラ２よりの画像信号は、カメラ制御部１２を介して符号化部１１に入力され、動き補償ベクトル検出部１１１にて前後の画面間で動き量が検出され、検出された動き量だけ前画面を移動させ現画面と良く似た予測画面が生成され、この予測画面と現画面との差分がとられ、動き情報と一緒に伝送されることで帯域が圧縮されて出力される。

マイク３よりの音声信号は、音声判別部１３を介して符号化部１１に入力され、所定の符号化が行われて出力される。

ネットワーク状態検知部１４はネットワーク状態を検知し、相手局画面表示状態判別部１５は相手局の画面表示状態を判別し、それぞれの検知・判別の状況に応じて符号化部１１の符号化レベルを制御する。

デコーダ１６は、相手局より送られてくる画像信号と音声信号を復号し、モニタ４（スピーカを含む）に出力する。

図２は符号化部１１の画像に関する構成例を示す図である。

図２において、符号化部１１には、動き補償フレーム間予測部１１０１と補正テーブル１１０２とフレームメモリ部１１０３と減算部１１０４とスイッチ１１０５、１１０６と直交変換部１１０７と量子化部１１０８と符号化制御部１１０９と逆量子化部１１１０と逆直交変換部１１１１と加算部１１１２とが含まれている。動き補償フレーム間予測部１１０１、補正テーブル１１０２、フレームメモリ部１１０３による部分が動き補償ベクトル検出部１１１（図１）に相当する。

次に、符号化部１１の詳細な動作説明に先立ち、補正テーブル１１０２について説明する。

パンチルトカメラのように、任意に方向を変えて撮影できるカメラでは、方向変更時に画面の全ブロックが同一方向に動くため、予め方向の変化に関する情報を符号化部１１に入力しておくことで、被写体の動きを予測することができ、動き補償ベクトルを容易に検出することができる。

図３（ａ）は、左の画面の中央にあった被写体が、右の画面では右に移動した状態を示しており、Ｖ１は被写体の部分についての動き補償ベクトルである。この例の被写体は自ら移動するものではないため、カメラの動きベクトルだけ移動した部分の周辺に探索範囲を設定して画像の動きを検出することができ、それによって得られる動き補償ベクトルはカメラの動きベクトルと結果的には同じになる。被写体が移動している場合、被写体の画像部分の直前の移動方向と移動速度からカメラが止まっている場合の現在位置が予測でき、それにカメラの動きベクトルを重畳させたものが被写体の予想される現在位置となる。

図３（ｂ）はカメラのレンズに歪みがなく、画面のどの部分もカメラの動きベクトルと同じ量だけ移動する場合を示している。この場合は、直前の画面の各部分の予測される動きに対して一律にカメラの動きベクトルを重畳することで、探索範囲を設定することができる。

図４はカメラの動きベクトルと探索範囲の関係の例を示しており、カメラの動きを考慮しない場合の探索範囲がＡ１であったとすると、カメラの動きベクトルＶ０により、探索範囲Ａ１を動きベクトルＶ０だけ並行移動したＡ２が探索範囲になる。

一方、図５（ａ）は、広角レンズにより歪みが存在し、カメラの移動に対して、画面の部分によって異なる動きをする場合を示している。図５（ｂ）は、実際の広角レンズによる、歪のある画像の例である。

このような歪みがある場合、直前の画面の各部分の予測される動きに対して一律にカメラの動きベクトルを重畳することによっては、探索範囲を設定することはできない。

そこで、本実施形態では、図６に示すように、画面上のブロック位置毎に元の「ベクトル情報」と、レンズ特性を考慮して補正した後の「補正後ベクトル」とを対応付けた補正テーブル１１０２を用意（メモリ等に格納）し、カメラの動きベクトルを画面のブロック位置毎に補正テーブル１１０２により補正し、この補正後ベクトルを直前の画面の各部分の予測される動きに重畳することで探索範囲を設定するようにしている。探索範囲は、各部分の予測される移動位置を包含するように設定する。この場合、探索範囲を広めに設定することで動き補償ベクトルの検出は確実に行われるようになるが、画像比較の対象が増加するため、処理効率は悪くなる。従って、処理効率との兼ね合いから適切な領域に探索範囲を設定することになる。

なお、図６に示したような補正テーブル１１０２に代えて、画面のブロック位置毎に計算式（行列による計算式を含む）を用意することもできる。

図２に戻り、入力画像信号は、画像フレーム毎に動き補償フレーム間予測部１１０１によって動き補償フレーム間予測される。動き補償における動きの検出は、フレームメモリ部１１０３に記憶された１フレーム前の画像信号と入力画像信号とを、ある大きさのブロックに分割して、入力画像信号のブロックが１フレーム前の画像信号のどの部分から動いてきたものかを検出するものである。

この際、動き補償フレーム間予測部１１０１は、カメラ制御部１２から与えられるカメラ移動量信号（動きベクトル）に基づいて補正テーブル１１０２を参照し、ブロック毎に動きベクトルを補正し、補正後の動きベクトルに基づいて探索範囲を設定し、効率的に動き補償ベクトルを検出する。検出されたブロック毎の動き補償ベクトルは動き補償値信号として出力される。

カメラ制御部１２によるカメラ移動量信号（情報）の生成については、パンチルト等の首振りをステッピングモータで行う場合、その制御情報（パルステーブル、ステップ数等）を元に、カメラ制御部１２でカメラ移動量・方向を算出することができる。パンチルト等の回転・首振りをＤＣモータあるいは手動で行う場合は、カメラ本体の駆動部にロータリーエンコーダを装着し、その格子パターンを透過センサで読み取った情報を取得することで、カメラ制御部１２でカメラ移動量・方向を算出することができる。

また、動き補償フレーム間予測部１１０１は、検出された動き補償ベクトルを利用して、フレームメモリ部１１０３に格納された１フレーム前に符号化された画像フレームから画像の移動を行ったものを予測値として読み出し、減算部１１０４において入力画像フレームとフレームメモリ部１１０３から読み出した予測値との差を求めることによってフレーム間予測符号化を行なう。

続いて減算部１１０４から出力される予測誤差信号はスイッチ１１０６を介して直交変換部１１０７に送られ、直交変換演算が施される。直交変換を行うのは、隣接画素間の相関が強いことを利用し、伝送ビット数の低減を図るためである。

直交変換部１１０７からは直交変換された直交変換係数が出力され、量子化部１１０８において、符号化制御部１１０９から送られてくる量子化レベルに従って量子化され、情報量が圧縮される。

量子化部１１０８からの量子化出力は符号化出力信号として外部へ出力されるとともに、逆量子化部１１１０へも送られる。符号化出力信号は、動き補償値信号とともに伝送データに含められる。

逆量子化部１１１０では量子化部１１０８とは逆の処理が行われて、直交変換係数が出力され、逆直交変換部１１１１において逆直交変換演算が行われる。

これら一連の演算処理も、動き補償における動き検出と同様に演算を効率的に行なうために、画像をある大きさのブロックに分割して行われる。

逆直交変換部１１１１の出力は、加算部１１１２において、スイッチ１１０５介してフレームメモリ部１１０３から読み出された予測値と加算された後、フレームメモリ部１１０３に格納され、次の入力画像フレームのフレーム間予測に使われる入力画像信号は、このようなループ状の構成（符号化ループ）に従って符号化される。

このようにして生成された符号化出力信号と動き補償値信号から画像を得る際には、ベクトルデータである動き補償値信号から前フレーム画像のブロック単位の移動を行ない、差分データである符号化出力信号から復号した画像と合成することで、元の画像を再現することになる。

＜総括＞
以上説明したように、本実施形態によれば、カメラの動きベクトルを全画面一律ではなく、従来は考慮されなかったレンズの幾何学的歪を考慮し、レンズの特性に応じて画面のエリア毎に動きベクトルを補正して探索範囲を最適化することで、動き補償ベクトルの検出処理を増大させることなく（動き補償ベクトルの検出処理を効率的よく行う）、動き補償で算出したフレーム間予測画像の誤差を低減させ、符号化の効率を向上させることができる。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

１ 映像伝送装置
１１ 符号化部
１１１ 動き補償ベクトル検出部
１１０１ 動き補償フレーム間予測部
１１０２ 補正テーブル
１１０３ フレームメモリ部
１１０４ 減算部
１１０５、１１０６ スイッチ
１１０７ 直交変換部
１１０８ 量子化部
１１０９ 符号化制御部
１１１０ 逆量子化部
１１１１ 逆直交変換部
１１１２ 加算部
１２ カメラ制御部
１３ 音声判別部
１４ ネットワーク状態検知部
１５ 相手局画面表示状態判別部
１６ デコーダ
２ カメラ
３ マイク
４ モニタ
５ ネットワーク
６ サーバ

特開平６−３８２０４号公報

Claims (5)

1. カメラを動かす方向および動かす大きさを示すカメラ移動量信号を取得するカメラ制御部と、
   前記カメラからの画像データに対し、動き補償を行うとともに、前記カメラ移動量信号に基づいて前記動き補償のための画像の探索範囲を限定する画像符号化部と
   を備え、
   前記画像符号化部は、前記カメラのレンズ特性に基づいて、前記カメラ移動量信号の示す動きベクトルを画面の座標位置毎に補正を行ない、座標位置毎の補正後の動きベクトルに基づいて前記動き補償のための画像の探索範囲を限定する
   ことを特徴とする映像伝送装置。
2. 請求項１に記載の映像伝送装置において、
   前記カメラ制御部は、前記カメラに対するパンチルトの制御信号から前記カメラ移動量信号を取得する
   ことを特徴とする映像伝送装置。
3. 請求項１に記載の映像伝送装置において、
   前記カメラ制御部は、前記カメラの首振り駆動部に取り付けられたセンサにより前記カメラ移動量信号を取得する
   ことを特徴とする映像伝送装置。
4. 請求項１乃至３のいずれか一項に記載の映像伝送装置において、
   前記画像符号化部は、画面のブロック位置毎に用意された補正テーブルに基づき、前記カメラ移動量信号の示す動きベクトルを画面の座標位置に対応するブロック位置毎に補正を行なう
   ことを特徴とする映像伝送装置。
5. 請求項１乃至３のいずれか一項に記載の映像伝送装置において、
   前記画像符号化部は、画面のブロック位置毎に用意された計算式に基づき、前記カメラ移動量信号の示す動きベクトルを画面の座標位置に対応するブロック位置毎に補正を行なう
   ことを特徴とする映像伝送装置。