JP2001103490A - ビデオ符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】移動体用の画像通信においてより誤差が少な
く、演算量を削減可能な動きベクトル探索処理を用いた
ビデオ符号化装置を提供する。 【解決手段】カメラ６０１又は装置自体に移動方向を検
知できるセンサ６０２、６０３を取り付け、センサの動
きに応じて、動きベクトルの探索範囲をより可能性の高
い部分に限定して行う。限定した範囲に関しては全探索
を行い誤差の増大を防ぐ。移動方向を用いた制御に関し
ては、カメラなどの移動方向と逆向きの範囲を動きベク
トル探索範囲とする。 【効果】動きベクトル演算量を従来の全探索法の１／２
〜１／４に削減できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、前画像と現画像を
用いたフレーム間予測を用いて入力画像の圧縮符号化を
行うビデオ符号化装置に係り、特に装置自身が移動体で
ある場合に有効な画像データの動き量検出処理を備えた
ビデオ符号化装置に関する。

【０００２】

【従来の技術】近年、ＩＳＤＮを中心とするデジタル回
線による動画像通信サービスが始まっている。これらに
はテレビ会議システムやテレビ電話などのマルチメディ
アサービスがあり、それぞれの規格として国際標準のＣ
ＣＩＴＴ勧告Ｈ．２６１(テレビ会議)やＨ．２６３(次
世代テレビ会議)、ＭＰＥＧ(Moving Picture Image Cod
ing Experts Group)などが定められている。

【０００３】これらの規格において、符号化の際のフレ
ーム間予測では、動き補償を用いている。動き補償は、
連続するフレームデータにおいてフレーム間の差分値計
算の際に画像の動き成分を考慮に入れる為に用いる。実
際には符号化の際に動きベクトルを検出し、復号化の際
に補償を行っている。また動きベクトルは、画像内をあ
る一定のデータの集まりであるマクロブロックの単位に
分割して、そのマクロブロック毎に適用される。

【０００４】例えば、Ｈ．２６１，Ｈ．２６３はそれぞ
れ優れた符号化及び復号化手法ではあるが、いずれもそ
の起源をＩＳＤＮを中心とした定地点用のものであるた
め、移動体で画像通信をする場合については不十分な場
合がある。

【０００５】移動体画像通信を考えた場合、移動体その
ものにカメラを装備する必要がある。また、そのカメラ
から取り込んだ画像も移動体自身の移動により多くの影
響を受ける。このような場合、前述の勧告Ｈ．２６１、
Ｈ．２６３に従ったシステムでは、前画像と現在の画像
の差分値を用いたフレーム間予測を用いている。このた
め、わずかな移動や装置に与えられる手ブレなどによ
り、前画面との差分値は非常に大きくなる。結果として
符合量も増大し、一定時間内に送信できるフレーム数が
減少する（フレームレートの低下）ため、極端に性能が
劣化する。

【０００６】従来の方法では、入力画素の前画像に対す
る移動成分（動きベクトル）を求めるために、前画面の
同座標の周囲をくまなく探索し、最も近い値をもつ画素
を検出し、動きベクトルを設定する。

【０００７】例えば、ＣＣＩＴＴ勧告Ｈ．２６１におけ
る動きベクトル検出では、マクロブロック単位（１６×
１６画素のデータ）で前画面の同一位置だけではなく、
水平及び垂直に±１５画素範囲をずらして、動きベクト
ルを求める。ただし、動き補償は探索範囲を定めている
だけである。

【０００８】動きベクトルの探索方法には、主に２つの
方法がある。１つは全探索法で、もう１つは多段探索法
である。

【０００９】全探索法を、図１に示す。この方法は、計
算対象のマクロブロック（１６×１６画素）を±１５画
素の範囲において、同図の（Ａ）、（Ｂ）、（Ｃ）の順
で示したように１画素ずつずらして、それぞれの位置に
おいて参照画像である前フレームの画像データとの差分
値の累積値を求める。画像単位の移動では、例えば同図
の（Ｂ）に示すように、１画素ずつ横方向にずらしてい
き、横方向が終了したら、横方向は最初の位置で縦方向
に１画素ずれた位置に戻す。さらに横方向に１データづ
つずらしていき、また端まで到達したら最初のマクロブ
ロックと同じ横方向の位置であって更に縦方向に１画素
分ずれた位置に移動し、という様にそれぞれの地点にお
ける画像の類似度としての差分値の累積値を求める。

【００１０】結果として、同図（Ｄ）に矢印で示したよ
うに範囲をくまなく移動して、その中で最も累積値の低
い、つまり類似度の高いブロックに対する計算対象マク
ロブロックからの移動ベクトルを動きベクトルとする方
法である。なお、図１では参照画像の探索範囲として３
×３個のマクロブロックの範囲を示してある。

【００１１】しかし、この方法では常に一定の範囲を探
索することとなる。定地点でのテレビ会議ではこの方法
が妥当ではあるが、移動体における画像通信の場合はカ
メラ自身が移動することから、動きベクトル探索結果は
カメラの移動方向に依存したものになる可能性が高い。

【００１２】一方、多段探索法の場合は、予め設定され
た数種類の異なる位置にあるマクロブロックを代表点と
して、これらのマクロブロックと、基準となる計算対象
マクロブロックとの比較計算をする。さらに、それらの
中で最も類似したマクロブロックの周囲に、より適当な
マクロブロックがあると推定し、その周囲をさらに細か
く探索し、最終結果を動きベクトルとするものである。
これも全探索法と同様に、カメラそのものの移動を考慮
に入れた方法ではない。

【００１３】

【発明が解決しようとする課題】前述した全探索法で
は、規定された探索範囲の中でもっとも類似した値をも
つブロックを選びだすことができる。このため画像デー
タの圧縮そのものには有効であるが、選択範囲をくまな
く検索するため演算量が極めて大きく、処理速度が問題
となる。これは、探索範囲の増大と共により大きな問題
に発展する。この問題を解決するためには演算器そのも
の処理速度や画像メモリの動作速度を向上させるか、並
列に処理できるようにするために演算器自身の回路規模
を増大させる必要がある。

【００１４】しかし、モバイル環境での画像通信を考え
た場合には、演算器の処理速度の増大は消費電力の増加
につながり、回路規模の増大も装置全体のサイズから考
えて難しく、いずれも困難である。

【００１５】これに対して、多段検索法の場合は一度に
演算すべき対象のブロックが少ないため演算量などの面
から見て有効であるが、動き量の検出精度が全探索法に
比較して劣化する。また、ノイズなどにより探索の初期
段階で精度を落とす可能性がある。これらもモバイル環
境下では問題となってくる。

【００１６】そこで、本発明の目的は、雑音信号が比較
的入りやすく、カメラ自身が移動する状況が起こりうる
モバイル環境下において、検出精度を落とさずに演算処
理を低く保つことができる画像データの動き量検出処理
を備えたビデオ符号化装置を提供することにある。

【００１７】

【課題を解決するための手段】本発明に係るビデオ符号
化装置は、画像取り込み用入力装置すなわちカメラと、
このカメラからのアナログ画像信号をディジタル画像デ
ータに変換するＡ／Ｄ変換器と、Ａ／Ｄ変換器からのデ
ィジタル画像データを画像圧縮フォーマット、例えばＭ
ＰＥＧなどに規定されたブロック画像データに変換する
フォーマット変換を行い、フォーマット変換された画像
データを現フレーム画像としてフレームメモリなどに蓄
積し、同様にして別のフレームメモリに蓄積されている
前フレーム画像と現フレーム画像とを用いて動き補償の
ための動きベクトルを求め、この動きベクトルにより相
関の高い位置の画像データを用いて得られる動き補償後
のフレーム間予測の差分値を直交変換し、量子化した
後、可変長符号化して符号化画像データを送出する処理
機能を有する符号化手段と、からなるビデオ符号化装置
において、次のように構成することを特徴とするもので
ある。

【００１８】すなわち、画像取り込み用入力装置である
カメラのフレーム毎の移動方向を検出するセンサを設
け、このセンサの移動方向情報により、前記動きベクト
ルを求めるための計算に用いる前フレーム画像すなわち
参照画像の探索対象範囲をカメラの移動方向と逆方向の
限定領域に制限するようにしたものである。

【００１９】ここで、移動方向を検出する前記センサが
上下方向または左右方向を検出する場合、前記限定領域
は、前フレーム画像全体の１／２である下半分、上半
分、右半分、左半分のいずれかの領域であって、検出さ
れた前記入力装置の移動方向と逆方向に在る領域であ
る。

【００２０】また、移動方向を検出する前記センサが上
下方向および左右方向を検出する場合、前記限定領域
は、前フレーム画像全体の１／４である右下半分、左下
半分、右上半分、左上半分のいずれかの領域であって、
検出された前記入力装置の移動方向と逆方向に在る領域
とすればよい。

【００２１】

【発明の実施の形態】以下、本発明に係るビデオ符号化
装置の好適な実施形態について説明する。モバイル環境
下において、カメラ自身の移動が発生した場合を想定し
て説明する。このような状況では、あるフレームはひと
つ前のフレームを移動したものに近いものになるはずで
ある。しかも、その方向はカメラの移動方向に対して反
対になることがほとんどである。

【００２２】このことを、図２を用いて説明する。被写
体２００をカメラ２０１で撮影した場合の撮影領域を２
０７とする。図２（Ａ）でカメラ２０１の撮影した画像
が２０２であるとする。この後、カメラ自身が撮影を継
続したまま２０３の方向に移動したとする。移動した結
果、図２（Ｂ）の位置となり、カメラ２０１の撮影した
画像は２０５に示したようになる。

【００２３】ここで、画像２０２と２０５を比較すると
明らかなように、この２つのフレーム間における動きベ
クトル方向は、ほとんどの場合、カメラの移動方向２０
３と反対向きの方向２０６になる。しかし、前述した全
探索法も多段探索法もこのようなカメラ自身の移動を全
く考慮にいれてなく、カメラ自身の移動情報を利用して
いない。

【００２４】これに対して本発明に係るビデオ符号化装
置における画像データの動き検出処理は、カメラの移動
方向を考慮した動き検出である。つまり、符号化装置全
体にカメラ（もしくは装置全体）の移動方向を検知する
センサを取り付け、センサによって検出されたカメラ自
身の移動方向データを、動きベクトル検出器そのものに
与えることにより、動きベクトル検出における探索範囲
をカメラの移動方向と反対側の所定の限定領域に制限す
るというものである。なお、ここで用いるセンサは、あ
くまでも移動方向を検出できるものであればよく、移動
距離に関しては検出する必要はない。

【００２５】この検出方法を用いた場合には、動きベク
トルを可能性の高い範囲に限定して探索することになる
ため、限定した探索範囲以外のノイズによって誤った動
きベクトルを検出することがなくなる。

【００２６】一般的には、画像内部でカメラの移動方向
と反対側に動く被写体が存在する場合はほとんどなく、
画像全体で考えると効果的な場合が大部分である。従っ
て、本発明に係るビデオ符号化装置では、ノイズに強
く、演算量をおさえることができるので、今後さらなる
市場の拡大が予想される例えばモバイルコンピュータや
携帯電話における画像通信において、送信装置が送信中
に移動を行う場合に好適にである。

【００２７】

【実施例】次に、本発明に係るビデオ符号化装置の具体
的な実施例につき、添付図面を参照しながら以下詳細に
説明する。

【００２８】＜実施例１＞図３は、本発明に係るビデオ
符号化装置の一実施例を示すブロック構成図であり、画
像通信の動き補償フレーム間予測符号化装置に適用した
例である。

【００２９】図３において、参照符号３０１は画像取り
込み用カメラを示し、このカメラ３０１で撮影されたア
ナログ画像信号は、アナログ／ディジタル（Ａ／Ｄ）変
換器３０２によりディジタル画像データに変換される。
このディジタル画像データは画像のフォーマット変換器
３０３により、それぞれの画像圧縮フォーマットに規定
されたブロック画像データに変換される。

【００３０】さらに、このブロック画像データは画像メ
モリ３０４に蓄積される。ここで、画像メモリとしては
３０４、３０５の２つが存在する。本実施例では、画像
メモリ３０４に現フレームの画像データが蓄積されてお
り、このデータは前フレームの画像データが蓄積されて
いる画像参照用メモリ３０５のデータと共に動きベクト
ル演算回路３０６に供給される。

【００３１】また、このとき画像データの流れとは別
に、カメラ３０１（または装置内）に取り付けられたカ
メラの移動方向を検出するセンサ３０７で検出した移動
方向データは、カメラの画像データの取り込みと同じタ
イミングで動きベクトル制御回路３０８に供給される。

【００３２】動きベクトル演算回路３０６では、移動方
向センサ３０７の出力により動き補償の探索範囲が制限
される。この場合の探索範囲は移動方向センサ３０７が
上下または左右方向のみの検知の場合は半分の探索範
囲、上下左右を検出できるものの場合は１／４の探索範
囲となる。

【００３３】さらに動きベクトル演算回路３０６では、
現フレーム画像が蓄積されている画像メモリ３０４より
取り出したマクロブロックと、前フレーム画像が蓄積さ
れている画像メモリ３０５より制限された探索範囲の参
照画像データを順次取り出して双方の相関を算出する。
相関の最も高い値を持つ位置のベクトルが動きベクトル
となる。算出された動きベクトルは、動きベクトル制御
回路３０８に再び供給される。

【００３４】動きベクトル制御回路３０８では、動きベ
クトル補正した位置の参照画像データを参照画像メモリ
３０５より読み出して、差分値演算器３０９に与えるよ
うに制御する。このときの画像データは、参照画像デー
タ内において、動きベクトルの示す位置を中心データと
した画像ブロックである。差分値演算器３０９は、動き
補償後のフレーム間予測の差分値を計算する。このとき
の差分値は、動きベクトル補正した位置を用いない場合
と比べて、より相関の高いマクロブロックとの差分値に
なるため、より小さく圧縮に効果的な値を得ることがで
きる。

【００３５】求められた差分値は、直交変換器３１０で
直交変換され、量子化器３１１により量子化された後、
可変長符号化回路３１6において符号化される。

【００３６】可変長符号化では発生頻度に応じた符合が
割り当てられ、頻度の高いものはより短い符合となりデ
ータの圧縮率を高めている。

【００３７】また、量子化器３１１で量子化されたデー
タは同時にローカルデコーダ３１２に供給される。ロー
カルデコーダ３１２は、逆量子化器３１３や逆直交変換
器３１４から構成され、量子化器３１１で量子化された
データは逆量子化、逆直交変換などが行なわれる。そし
て、参照画像用メモリ３０５の動きベクトル補償後の予
測画像データと加算器３１５で加算されて再構成された
画像データが、再び参照用画像用メモリ３０５に蓄積さ
れる。この時のデータは、ちょうど送信する画像信号の
伸張側で構成する画像データ（送信画像）に相当してお
り、次のフレームを符号化処理する際に使用される。

【００３８】結果として動きベクトル検出における範囲
は、図４に示す様に表現できる。それぞれ前フレームデ
ータ４０１、符号化対象マクロブロック４０４、符号化
対象フレームデータ４０５、その際にカメラの移動方向
を４０６とする。全探索法を用いた場合には、図４
（Ａ）に示すように前フレームデータ４０１に対して、
規格通りに全探索法における動きベクトル探索範囲４０
２の全範囲を探索しなければならないが、本実施例の場
合には図４（Ｂ）に示すように、カメラの移動方向４０
６と反対の方向に在る動きベクトル探索範囲４０２の半
分の範囲４０３の探索で済ませることができる。

【００３９】この処理を実現するには、カメラそのもの
の移動方向を検出できるセンサが必要であるが、移動量
に関する情報は特に必要としない。この場合、センサと
してはデジタルビデオカメラ装置などに用いられている
角速度センサが候補としてあげられるが、同様の機能が
実現できれば他のセンサでも適用できる。また、上下の
移動または左右の２つのセンサを用いることで処理量削
減により有効である。検出装置そのものについては、角
速度とその方向を検出するセンサを用いる。

【００４０】＜実施例２＞図５は、本発明に係るビデオ
符号化装置の別の実施例を示す図であり、動きベクトル
検出の部分についての説明図である。なお、本実施例の
装置構成は、前記実施例の図３に示した構成と同様であ
るが、後述する図６に示したようにセンサを２個設けて
いる点が相違する。

【００４１】本実施例では、動きベクトル検出部分に関
して、より内容を具体的に図５を用いて説明する。図５
において、計算対象マクロブロック５０３の中心画素の
座標を（０，０）とし、右方向を“正”、左方向を
“負”、上方向を“正”、下方向を“負”とする。

【００４２】探索範囲は、中心点より±１５画素の範囲
を想定する。また、カメラ自身の移動方向を検出するセ
ンサとしては上下用と左右用の両方を用いるものとす
る。さらに、動きベクトル制御回路において対応するタ
イミングでカメラ自身の移動方向が上下用センサからの
データ５０１、左右用センサからのデータ５０２として
それぞれのセンサから与えられるものとする。

【００４３】上下用センサからのデータ５０１ではカメ
ラが１フレーム前の状態より下方向に移動したことを示
し、左右用センサからのデータ５０２は同様に右方向に
移動したことを示している。このことから、カメラは１
フレーム前と比較して右下方向５０４に移動したことに
なる。

【００４４】カメラが右下方向５０４に移動した場合に
は、類似度の高いマクロブロックの存在する可能性を考
え、カメラの移動方向と反対側の領域５０５に限定して
動きベクトル演算回路で探索することになる。

【００４５】より一般化すると、上下・左右センサの入
力をそれぞれ｛ｘ，ｙ｝とすると、センサ入力が｛ａ，
ｂ｝である場合は、｛−ａ，−ｂ｝を含む範囲を検索範
囲と設定すると表現できる。ここでａ，ｂは、“＋”，
“−”など方向のみを表す。

【００４６】また、限定した範囲内においては、全探索
法で誤差を最小限におさえるように動きベクトルの探索
を行う。本実施例の方法により、全探索法と比較した場
合には、１／４の処理量で動きベクトル検出を行うこと
ができる。

【００４７】この動作を実現するためのブロック図を、
図６に示す。図６では、図３におけるカメラ３０１、移
動方向センサ３０７を除くすべてのブロックが画像符号
化装置６０６に含まれる。カメラ６０１は、撮影した画
像データを入力画像データとして画像符号化装置６０６
に供給する。また同時に、カメラ６０１と連動した移動
方向センサ（左右用６０２、上下用６０３）の出力デー
タである左右・上下の移動方向データも、共に画像符号
化装置６０６の中の動きベクトル制御回路部６０５に供
給される。

【００４８】画像符号化装置６０６では、これら２つの
センサ６０２，６０３からのデータを用いて動きベクト
ル演算回路６０５で探索範囲制限つきの動きベクトル計
算を行わせる。

【００４９】以上、本発明の好適な実施例について説明
したが、本発明は前記実施例に限定されることなく、本
発明の精神を逸脱しない範囲内において種種の設計変更
をなし得ることは勿論である。例えば、図３における画
像メモリ３０４，３０５としてＲＡＭ（Random Access
Memory）を用い、演算処理回路に関しては高速なプロセ
ッサを用いることで、画像取り込み用カメラ３０１、Ａ
／Ｄ変換器３０２、移動方向センサ３０７を除きソフト
ウェアによって実現することができることは、勿論であ
る。また、本発明は複数の装置により構成されるシステ
ムに適用しても、１つの機器からなる装置に適用しても
良い。更に、本発明はシステムあるいは装置にプログラ
ムを供給することにより同様の結果を得られる場合にも
適用できることは言うまでもない。

【００５０】

【発明の効果】以上の説明から明らかなように、本発明
によれば、フレーム間相関を用いるビデオ符号化装置に
おける動きベクトル探索において、カメラなどの撮像装
置が移動している場合でも演算量の増大を防ぎ、滑らか
な画像を得ることができる。その場合の演算量は、全探
索法の１／２〜１／４程度に削減できる。また、より細
かなセンサを用いることで、さらに演算量を削減でき
る。

【００５１】さらに予め動きベクトルの探索範囲を可能
性の高い部分に制限することから、非制限領域における
ノイズなのどによる誤った動きベクトルの設定を防ぐこ
とができる。このような面からは、精度にも効果がある
場合もある。

【図面の簡単な説明】

【図１】従来の全探索法における動きベクトル探索の振
る舞いを示す説明図である。

【図２】カメラ自身が移動した場合の、カメラの移動方
向と取り込み画像の移動方向の関係を説明する図であ
る。

【図３】本発明に係るビデオ符号化装置の一実施例を示
すブロック図である。

【図４】動きベクトル探索範囲を示す説明図であり、
（Ａ）は従来の場合の探索範囲、（Ｂ）は図３に示した
本発明に係る装置の場合の探索範囲である。

【図５】本発明に係るビデオ符号化装置の別の実施例を
示す図であり、カメラの移動方向センサを２方向用いた
場合の動きベクトル探索範囲の一例を説明する図。

【図６】図５の動きベクトル探索単位を適用するビデオ
符号化装置のブロック構成図である。

【符号の説明】

２００…被写体、２０１…カメラ、２０２…取り込み画
像、２０３…カメラの移動方向、２０５…取り込み画
像、２０６…取り込み画像の移動方向、２０７…撮影範
囲、３０１…カメラ、３０２…ディジタル／アナログ変
換器、３０３…画像フォーマット変換器、３０４…画像
メモリ、３０５…画像メモリ、３０６…動きベクトル演
算回路、３０７…移動方向センサ、３０８…動きベクト
ル制御回路、３０９…差分演算、３１０…量子化器、３
１１…直交演算器、３１２…ローカルデコーダ、３１３
…逆量子化器、３１４…逆直交変換器、３１５…加算
器、３１６…可変長符号化器、４０１…参照画像デー
タ、４０２…全探索法の動きベクトル探索範囲、４０３
…本発明装置の動きベクトル探索範囲、４０４…演算対
象マクロブロック、４０５…現在の入力画像データ、４
０６…カメラの移動方向、５０１…移動方向センサ（上
下）出力、５０２…移動方向センサ（左右）出力、５０
３…演算対象マクロブロック、５０４…カメラの移動方
向、５０５…制限された探索範囲、６０１…カメラ、６
０２…移動方向センサ（左右）、６０３…移動方向セン
サ（左右）、６０４…動きベクトル制御回路、６０５…
動きベクトル演算回路、６０６…画像符号化装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中川 哲也 東京都小平市上水本町五丁目20番１号 株 式会社日立製作所半導体グループ内 Ｆターム(参考） 5C059 KK15 LA01 MA00 MA05 MA23 MB04 NN03 NN21 NN28 NN50 PP04 5J064 AA02 BA09 BA13 BA16 BC01 BC06 BC08 BC16 BD02

Claims (3)

【特許請求の範囲】
1. 【請求項１】画像取り込み用入力装置と、 該入力装置からのアナログ画像信号をディジタル画像デ
   ータに変換するＡ／Ｄ変換器と、 該Ａ／Ｄ変換器からのディジタル画像データを画像圧縮
   フォーマットに規定されたブロック画像データに変換す
   るフォーマット変換を行い、該フォーマット変換された
   画像データを現フレーム画像として蓄積し、同様にして
   蓄積されている前フレーム画像と現フレーム画像とを用
   いて動き補償のための動きベクトルを求め、該動きベク
   トルにより相関の高い位置の画像データを用いて得られ
   る動き補償後のフレーム間予測の差分値を直交変換し、
   量子化した後、可変長符号化して符号化画像データを送
   出する処理機能を有する符号化手段と、からなるビデオ
   符号化装置において、 画像取り込み用入力装置のフレーム毎の移動方向を検出
   するセンサを設け、 該センサの移動方向情報により、前記動きベクトルを求
   めるための計算に用いる前フレーム画像の探索対象範囲
   を前記入力装置の移動方向と逆方向の限定領域に制限す
   ることを特徴とするビデオ符号化装置。
2. 【請求項２】移動方向を検出する前記センサが上下方向
   または左右方向を検出する場合、前記限定領域は、前フ
   レーム画像全体の１／２である下半分、上半分、右半
   分、左半分のいずれかの領域であって、検出された前記
   入力装置の移動方向と逆方向に在る領域とする請求項１
   記載のビデオ符号化装置。
3. 【請求項３】移動方向を検出する前記センサが上下方向
   および左右方向を検出する場合、前記限定領域は、前フ
   レーム画像全体の１／４である右下半分、左下半分、右
   上半分、左上半分のいずれかの領域であって、検出され
   た前記入力装置の移動方向と逆方向に在る領域とする請
   求項１記載のビデオ符号化装置。