JP2002165222A - 動画像情報の高性能符号圧縮システム - Google Patents

Abstract

(57)【要約】 【課題】 情報伝送量に制約の有る画像伝送路におい
て、動画の画像情報を圧縮低減し、伝送遅延時間を短縮
する。又、システムを構成するハードウェアを削減した
い。 【解決手段】 画像の中で重要性の高い部分、例えば喋
りを伴う唇の動きを含んだ顔と、重要性の低い部分、例
えば人の顔以外の背景を区別して、これらの情報処理に
重み付けすることにより情報伝送効率を高める。Ｂフレ
ームの差分情報を強制的に全て零値の画像とすることに
より、伝送元の画像を最も少ない情報により、伝送先で
復元できる。又、符号器から離散コサイン変換部と量子
化部を省略できて、なおかつ従来方式との互換も保証さ
れる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビ電話等に必
要とされる、ビットレートの低減をする動画像情報の符
号圧縮システムに関する。即ち、画像情報のなかで重要
性の高い部分例えばテレビ電話等における喋りに伴う唇
の動きを含んだ顔と、重要性の低い部分例えば人の顔以
外の背景を区別し、これらの情報処理に重み付けして情
報伝送効率を良くしたり、伝送容量に制約のある在来の
電話回線に対応すべく圧縮した最小限の画像情報伝送量
で、自然の会話に近い表情、特に喋りに合った唇の動き
即ちリップ同期を実現するようにした動画像情報の高性
能符号圧縮システムを開示している。

【０００２】

【従来の技術】従来のテレビ電話等に見られる画像は、
電話回線という制約のなかで伝送可能な情報量の許容範
囲内に収納できるように、画像情報の間引きをして劣化
させた画像であり、テレビの動画というよりは、間欠的
変化を伝送する静止画の連続に近いものであり、いわば
電話中の送話者の顔写真を電話の音声から少し遅れて電
送写真即ちＦＡＸで届けている感覚であった。それは、
動画機能よりも各フレーム毎の画質維持を優先し、静止
画になった際の画質を維持するために、毎秒２５フレー
ム（欧州、ロシアのＰＡＬ，ＳＥＣＡＭ方式テレビ）若
しくは毎秒３０フレーム（日米諸国のＮＴＳＣ方式テレ
ビ）送るべきテレビ画像をコマ落としにして、テレビ本
来の持つ動画機能を大幅に低減し妥協していた。そして
画像は、大多数のフレームを間引きしてもなお音声より
も情報量が多く、その処理と伝送に時間を要し、遅れて
受信されるので唇の動きは喋りと一致していなかった。
逆に、遅れて受信される画像に合わせるように、音声を
強制的に（遅らせて）同期させる方法を取った場合、会
話の応答が遅れるため、ちょうどテレビの衛星中継に見
られるように、非常にちぐはぐな会話になってしまう。

【０００３】

【発明が解決しようとする課題】しかし、テレビ電話等
で用いる画像は、必ずしも劇場上映用の高品位な映画の
画質を目標にする必要性は無く、むしろ送話者の喋りに
合った唇の動きが見られれば、唇の動きを伴った顔以外
部分は毎秒２４コマの映画や毎秒２５又は３０フレーム
のテレビ程度にまで高忠実度を維持した動きの再現を追
求しなくともテレビ電話本来の目的は達成できる。

【０００４】そして、テレビ電話の画面においては、テ
レビ電話の本来の目的に沿って、画面中の被写体の顔の
輪郭等を含んだ特定の領域別の重要性の有無を考慮し、
それに基づいて各部の信号処理に重み付けし、必要最小
限の情報量に圧縮してもなお、テレビ電話の本来の目的
に沿った、テレビ電話会談の雰囲気を損なわないよう
な、動画像情報の高性能符号圧縮システムも望まれてい
た。

【０００５】本発明では、例えばテレビ電話等の本来の
目的に沿って、画面中から受信者の興味関心の薄い部分
と、興味関心を持たれやすく目立つ顔の部分だけを特定
領域として区別することや、毎秒２４コマの映画や毎秒
２５又は３０フレームのテレビ程度にまで高忠実度を維
持した動きを再現し、唇の動きを音声と一致させたリッ
プ同期を可能にすることも目的としている。例えば、テ
レビ電話等の画面に対して、人間の心理に沿って興味関
心の有無に基づく重み付け処理を施すことにより、有限
かつ貴重な伝送経路に占有する動画の画像情報量を圧縮
し、情報伝送効率を高めようとすることを目的としてい
る。

【０００６】先ず、請求項１に対応する課題として、伝
送経路等の情報取り扱い量に制約のある場合には、伝送
情報に重み付けし、可能な限りの間引き処理を施す必要
があるものの、前記重み付けするための選別基準が必須
要件となる。しかし、その選別基準として、前記主なる
被写体を取り囲むウインドウを設定した場合、そのウイ
ンドウが前記主なる被写体の動きに追随する手段の確立
が課題であった。

【０００７】そのため、請求項１に係る発明では、ウイ
ンドウを主なる被写体の動きに追随させることによっ
て、そのウインドウに収まる画像部分の動画像情報を重
み付けするための選別基準を明確にし、なおかつ前記ウ
インドウが前記主なる被写体の動きに追随させ、確実に
その動画像情報に重み付けできるようにすることを目的
としている。

【０００８】次に、請求項２に対応する課題として、テ
レビ電話等の用途においては、人の顔を主体とするのみ
ならず、話す人の手等に見られる身振り手振りの動作を
伴う対象部までの動画像情報に対しても重み付けし、リ
アルタイムできれいに見たいという要望があった。しか
し、従来はその人の手などの動きにまで追随するウイン
ドウは設定されておらず、従ってその対象部まで確実に
動画像情報に重み付けできるものではなかった。

【０００９】そのため、請求項２に係る発明では、身振
り手振りの動作を伴う対象部までの動画像情報に対して
も、確実に重み付けするための選別基準を、周辺動きウ
インドウとして明確にし、なおかつその周辺動きウイン
ドウがその人の手などの動きに追随させ、人の顔を主体
として身振り手振りの動作を伴う対象部まで確実にその
動画像情報に重み付けできるようにすることを目的とし
ている。

【００１０】次に、請求項３に対応する課題として、例
えば自動車に載置して用いられる移動テレビ電話におい
て、流れ行く背景が映り込んでいる場合に、その背景の
動きが激しく動画像情報量が多いので、その情報量を大
幅に削減したいという課題があった。しかし、その背景
の動きが激しくその情報量を大幅に削減したい場合を特
定し、かつ適切に処理する手段が未確立であった。請求
項３に係る発明は、その背景の動きが激しくその情報量
を大幅に削減したい場合を特定し、かつ適切に処理し、
重要でない背景の動画像を見苦しくならない程度に適宜
に間引きする手段を確立することを目的としている。

【００１１】次に、請求項４に対応する課題は、動画像
における動き情報を抽出し、既に復号された参照画像か
ら動き補償して合成される予測画像との差分画像を圧縮
・伝送する符号方式において、復号器側において再生さ
れる動画像の画質を改善する手段を確立することであ
る。このことに関し、差分画像を圧縮する際に混入する
ノイズは、圧縮率を高める程多くなり、その結果、復号
器側における復号画像の画質の低下を招くが、このこと
はさらに、この画質が低下した復号画像に基づいて合成
される予測画像の予測精度をも低下させるため、差分画
像情報が増加し、さらなる圧縮率の向上が要求される悪
循環を招くという問題点があった。

【００１２】請求項４に係る発明では、時間的に前後す
る二つの画像フレームをもとに合成される予測画像を画
像復元に用いるＢフレーム画像は、他の画像フレームの
復号に関与しないため他の画像フレームの画質に影響を
与えないという特徴を利用し、このＢフレームの差分画
像情報を強制的にゼロにすることにより、Ｂフレームに
費やされる情報量を最小限に抑え、その分画質に直接的
影響を与えるＩフレームやＰフレームに、より多い情報
量を割り当てることを可能にすることを目的としてい
る。

【００１３】次に、請求項５に対応する課題は、画像情
報を符号化して伝送し、これを復号した復元画像に含ま
れる符号化ノイズに対するノイズ削減効果は、輝度信号
と色差信号を比べた場合、「色差信号でのノイズ削減効
果」の方が、人の目の性質上、視覚的により高く奏効す
ることがわかっており、「色差信号に効率的なノイズ削
減」を施す手段を確立することである。

【００１４】そして、Ｈ．２６３プラス規格で既に「正
式にオプション採用されている色差信号へのノイズ削減
手段」も確立されてはいるが、この「正式にオプション
採用されている色差信号へのノイズ削減手段」が装備さ
れていない画像情報符号化伝送システムにおいても、よ
り簡単な構成による別の方法でなる「色差信号へのノイ
ズ削減手段」を提供することを目的としている。

【００１５】次に、請求項６及び請求項７に対応する課
題は、符号器における情報圧縮処理のレート制御機構で
ある。それが必要とされる理由は二つあって、一つは伝
送経路の情報伝送容量の制約に対応するためであり、二
つめは復号器側で動画像を再生する速度を一定ならしめ
るべく各画像フレームのビット長を可能な限り平均化す
るためである。

【００１６】そこで従来のレート制御方式では、国際電
気通信連合ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅ
ｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）が公開
しているＶｉｄｅｏ Ｃｏｄｅｃ Ｔｅｓｔ Ｍｏｄｅ
ｌ，Ｎｅａｒ−Ｔｅｒｍ，Ｖｅｒｓｉｏｎ１１（以下、
ＴＭＮ−１１と呼ぶ）という、Ｈ．２６３プラス規格に
準拠した動画像情報圧縮ソフトウェアプログラムにおい
て採用されている数種類の方式が存在していた。

【００１７】しかし、従来のレート制御方式では、カメ
ラ入力画像が前記符号器、伝送経路及び前記復号器を経
由して復号画像となって出力されるまでの間に発生する
遅延時間とコマ落ちを最小限にするための、遅延時間を
厳密に制御する機能までは具備しておらず、この遅延時
間が問題とされ、遅延の無い音声に対して、口の動きを
映した動画像の遅れから、口の動きと音声が一致しない
リップ同期という課題を呈した。しかも、前記各画像フ
レームのビット長を高精度で平均化するためには、非常
に複雑な計算が必要であり、しかもその計算処理のため
にさらなる前記遅延時間の発生が避けられなかった。

【００１８】そこで、請求項６及び請求項７に係る発明
では、前記各画像フレームのビット長を高精度で平均化
するために、従来は不可欠とされていた非常に複雑な計
算を、簡単な計算に置き換えることにより、前記の計算
処理のために要する前記遅延時間を減少させ、リップ同
期が実現できるシステムを提供することを目的としてい
る。

【００１９】次に、請求項８及び請求項９に対応する課
題は、複数のハードウェア・モジュールを相互に有機的
に結合させてシステム構成した場合、相互の関連によ
り、他のハードウェア・モジュールの都合に合わせた設
計を余儀なくされるので、システム全体の設計が完成す
るまでに要する時間を短縮するのが困難という欠点があ
った。当然に一箇所の設計変更は全体に波及するので、
設計上の制約も多かった。

【００２０】そこで、請求項８及び請求項９に係る発明
では、複数のハードウェア・モジュールを相互に有機的
結合させず、即ちデータ連絡に関する横のつながりを無
くし、縦のつながりだけで制御中枢部に直結し、その制
御中枢部に制御されるようにしている。具体的には、複
数のハードウェア・モジュールに対する入出力データは
全てメモリに一時格納し、複数のハードウェア・モジュ
ールの動作スケジュールと共に前記入出力データを集中
制御装置で制御する構成とすることにより、複数のハー
ドウェア・モジュールの動作を相互依存でなく各自独立
したものとし、そうすることにより夫々のハードウェア
・モジュールの設計の独立性も得られ、設計上の制約条
件も格段に少なくなり、複数の設計者が夫々を分担して
設計することにより、システム全体の設計に対する所要
時間の短縮を目的としている。

【００２１】次に、請求項１０に対応する課題は、ウイ
ンドウＭＳＰＡ（Ｍｅｍｏｒｙ Ｓｈａｒｉｎｇ Ｐｒ
ｏｃｅｓｓｏｒ Ａｒｒａｙ）の特徴である、高い「並
列効率」を落すことなく、前記外部メモリから「探索デ
ータ」と参照データを逐次的に入力し、「ウインドウ並
列処理」を実行する手段が必要とされていたが、それが
今まで無かった。

【００２２】そこで、請求項１０の発明では、高い並列
効率を落すことなく、前記外部メモリから探索データと
参照データを逐次的に入力し、ウインドウ並列処理を実
行する手段を確立することを目的としている。

【００２３】次に、請求項１１に対応する課題として、
動画像情報の符号器及び復号器で用いられる二次元離散
コサイン変換器、量子化器、逆量子化器及び二次元離散
コサイン逆変換器までは、離散コサイン変換と量子化と
いう二つの処理を行う装置を組み合わせる構成により実
現させようとする研究が行われている。しかし、その理
論的に模索中の構成を実現するため実際のところは、外
部メモリからのデータ転送手段等に対して、従来のもの
に無かった何らかの新しい構成により組み合わせ、目的
とするところを完成させるような、全体として効率の良
い手段がもとめられている。

【００２４】そこで、請求項１１の発明では、外部メモ
リからのデータの取り組み、これら二次元離散コサイン
変換及び量子化を行い、外部メモリにデータを格納する
処理と同様に、外部メモリからのデータの取り組み、こ
れら逆量子化と二次元離散コサイン逆変換を行い、外部
メモリにデータを格納する処理を、データ転送レートを
落すことなく実行する、効率的な手段を確立することを
目的としている。

【００２５】

【課題を解決するための手段】前記目的を達成するため
に、請求項１の発明では、認識処理中の動画像の画面上
で移動自在の特定領域即ち優先的な情報処理を施される
ウインドウ（２１）を構成する全画像を矩形の小ブロッ
クに分割して逐次処理を行う方式の下でブロックの動画
像の動きに伴った動きベクトルを利用して、次のフレー
ムのウインドウの位置を推定し、主なる被写体の動きに
ウインドウ（２１）を追随させるようにした。

【００２６】このようにしたことにより、動画像情報を
重み付けするための選別基準を前記ウインドウ（２１）
として明確にし、なおかつ前記ウインドウ（２１）が前
記主なる被写体の動きに追随するので、確実にその動画
像情報に重み付けができる。

【００２７】又、請求項２の発明では、前フレーム画像
と現フレーム画像の差分が所定の閾値以上であることを
条件に動作を伴い前記主なる被写体に次ぐ重要性を持つ
対象部を囲んで変動自在の領域即ち前記特定領域に準じ
て優先的な情報処理を施される周辺動きウインドウ（５
１）を構成する全画像を矩形の小ブロックに分割して逐
次処理を行う方式の下でブロックの動画像に伴った動き
ベクトルを利用して、次のフレームの周辺動きウインド
ウの位置及び領域を推定し、前記変動自在の領域にまで
周辺動きウインドウ（５１）を追随させるようにした。

【００２８】このようにしたことにより、例えば人の顔
を主体とするのみならず、身振り手振りの動作を伴う対
象部までの動画像情報に対して重み付けするための選別
基準を、前記周辺動きウインドウとして明確にし、なお
かつ前記周辺動きウインドウがその人の手などの動きに
追随させ、人の顔を主体として身振り手振りの動作を伴
う対象部まで確実にその動画像情報に重み付けができ
る。

【００２９】又、請求項３の発明では、前記ウインドウ
（２１）と前記周辺動きウインドウ（５１）の枠で被写
体と背景を区別し、その背景の動きが激しく動画像情報
量の多い場合には前記背景の動き量を低減して背景画質
をわざと劣化させる演算、即ち現フレームのマクロブロ
ック画像に、そのマクロブロック画像と同一の位置にあ
る前画像フレームのデータを所定の割合で加算し混合す
る時間方向フィルタを備え、前記背景の動画像情報量を
削減する。

【００３０】このようにしたことにより、背景の動きが
激しくその情報量を大幅に削減したい場合を特定し、か
つ適切に処理し、重要でない背景の動画像を見苦しくな
らない程度に適宜に間引きできる。

【００３１】又、請求項４に係る発明では、現フレーム
画像と前参照フレーム画像と後参照フレーム画像を入力
して動き予測、動き補償及び予測方式決定を行う動き予
測機能部と、その動き予測機能部から出力される予測画
像と前記現フレーム画像との差分情報を入力してその差
分情報の全画素値を強制的にゼロにする全画素値ゼロ化
機能部と、その全画素値ゼロ化機能部から出力されるゼ
ロ化全画素情報を入力し、前記動き予測機能部が決定し
た予測方式により動画像の次の動きを予測しながら前記
ゼロ化全画素情報を符号化する符号生成部を具備してな
る符号器と、その符号器により符号圧縮して送信され伝
送経路を経て送り届けられた動画像情報を受信して復号
する復号部と、その復号部から出力される復号信号を入
力して逆量子化する逆量子化部と、その逆量子化部から
出力される逆量子化信号を入力して離散コサイン逆変換
することにより前記差分画像に復元する離散コサイン逆
変換部と、その復元差分画像と前記予測方式により予測
された予測画像を足し合わせて復号画像を出力する加算
部を具備してなる復号器を備え、Ｂフレーム処理するよ
うにした。

【００３２】そして、前後の参照フレームの画像情報と
の差分情報として、現フレームを情報圧縮するＢフレー
ムの符号方式において、従来のもののようにその差分情
報自体は送信せず、差分計算の種類、即ち順方向予測、
逆方向の予測又は両方向予測のみを送信するＢフレーム
情報圧縮法を確立した。このようにしたことにより、前
記動画像の動きが目くるめく激しい場合は、前記差分画
像の情報量も多くなるが、前記差分画像の情報量を最小
ならしめるべく、全画素値を強制的にゼロにすることに
って、伝送元の画像を最も少ない情報により、伝送先で
復元できる。

【００３３】又、請求項５に係る発明では、前記予測画
像を使わずに現マクロブロック画像を直接符号化するイ
ントラマクロブロックの場合にのみ輝度信号と色差信号
を四捨五入により量子化し、前記イントラマクロブロッ
ク以外の場合には輝度信号を切り下げにより量子化し色
差信号は四捨五入により量子化し、輝度信号と色差信号
に同一の量子化レベルを適用したまま色差信号のノイズ
を低減する。

【００３４】そして、輝度信号と二つの色差信号の符号
器における量子化方法を変えることにより、復号器にお
いて同じ量子化レベルで復号した場合に、色差信号のノ
イズを軽減することを可能とし、復号画像の視覚的画像
品質を向上させる量子化法を確立している。このように
したことにより、従来より簡単な構成で、効率的に色差
信号のノイズ削減効果を発揮できる。従って、人の目の
性質上、視覚的により高い画質が得られる。

【００３５】又、請求項６に係る発明では、符号化され
た動画像情報のビット量を通信バッファ残留ビット量と
比較する比較手段と、その比較手段の比較結果により前
記残留ビット量が枯渇しないようにフレームの目標ビッ
ト量を制御する制御手段と、その制御手段による制御結
果を用いて、カメラ入力画像が前記符号器、伝送経路及
び前記復号器を経由して復号画像となって出力されるま
での間に発生する遅延時間とコマ落ちを最小限にする、
フレームレベルレート制御における、フレームの目標ビ
ット量の計算手段を備えた。

【００３６】又、請求項７に係る発明では、フレームの
最初のマクロブロックに適用する量子化レベルを、前フ
レームの各マクロブロックの量子化レベルの重み付き平
均を用いて算出する第一の計算手段と、二番目以降のマ
クロブロックに適用する量子化レベルの微調整量を、前
記目標ビット量、現マクロブロックまでの実際の符号量
及び前記最初のマクロブロックに適用する量子化レベル
を用いて算出する第二の計算手段を備えた。

【００３７】そして、請求項６及び請求項７に係る発明
では、画像の符号化、情報の転送及び符号化に要する遅
延時間を最小限に抑えながら、コマ落ち数を最小限に抑
えるように、各フレーム毎の最適な目標符号ビット量を
求め（以下、この処理をフレームレベルレート制御と呼
ぶ）、それ以降の各マクロブロックにおいて量子化レベ
ルを最適調整する（以下、この処理をマクロブロックレ
ベルレート制御と称す）。この方法は少ない計算量にも
拘らず、優れた制御能力を発揮する。このようにしたこ
とにより、前記各画像フレームのビット長を高精度で平
均化するために、従来は不可欠とされていた非常に複雑
な計算を、簡単な計算に置き換えることにより、前記の
計算処理のためにする前記遅延時間を減少させ、リップ
同期を実現できる。

【００３８】又、請求項８に係る発明では、画像フレー
ム情報を保存するメモリと、各々が独立して動作するハ
ードウェア・モジュールをデータバスを介して結合し、
前記メモリと前記各ハードウェア・モジュールとの間の
データの流れ及び動作スケジュールを制御する集中制御
装置、即ちＡＧＵモジュールが前記各ハードウェア・モ
ジュールに制御バスを介して結合したシステム・アーキ
テクチャにより構成された符号器及び復号器を備えた。

【００３９】このようにしたことにより、柔軟性と高速
性を有し、低消費電力で動作する小さな回路規模のハー
ドウェア・モジュールがバス結合され、それらの動作ス
ケジュールとメモリデータとの間のデータの流れを制御
するＡＧＵモジュールにより、動画像圧縮に最適なシス
テム・アーキテクチュアが確立した。

【００４０】又、請求項９に係る発明では、画像を複数
のブロックに分割しそのブロックの座標単位の情報を処
理するブロック方式に適合するアドレス構成のメモリ領
域でなる外部メモリと、メモリアクセスのためのアドレ
ス生成を前記マクロブロックの座標単位、ブロック単
位、画素単位で可能にした命令及び前記各ハードウェア
・モジュールの実行制御の命令プログラムを格納したＲ
ＯＭを備えた集中制御装置を有するようにした。

【００４１】そして、個々のモジュールの動作開始と停
止やメモリへのデータ入出力の制御など全体の動作の集
中制御を行うプロセッサとして、メモリアドレスのため
のアドレス生成をマクロブロック単位、ブロック単位及
び画素単位で可能とした。このようにしたことにより、
複数のハードウェア・モジュールの夫々のハードウェア
・モジュールの設計の独立性も得られ、設計上の制約条
件も格段に少なくなり、複数の設計者が夫々を分担して
設計することにより、システム全体の設計に対する所要
時間を短縮できる。

【００４２】請求項１０に係る発明では、前記外部メモ
リと、そのメモリから前記マクロブロックのデータをマ
クロブロック毎に逐次入力するデータ形式変換用のバッ
ファと、そのバッファから出力される３ポートのデータ
を供給される３２個の並列アレー状に接続されたプロセ
ッサ要素でなるウインドウ・メモリ・シェアリング・プ
ロセッサー・アレー・アーキテクチャと、そのプロセッ
サ要素のデータを超高速並列演算する演算手段と、現フ
レームのマクロブロックが前フレームのどの位置から移
動してきたものかを表す動きベクトルを探索する動きベ
クトル探索回路を備えた。

【００４３】そして、夫々のハードウェア・モジュール
の中でも、全体の８０％以上の処理手数が必要な動きベ
クトル探索回路に要求される、複数のプロセッサを効率
良く動作させる構成が確立した。このようにしたことに
より、高い並列効率を落すことなく、前記外部メモリか
ら探索データと参照データを逐次的に入力し、ウインド
ウ並列処理を実行できる。

【００４４】次に、請求項１１に係る発明では、前記外
部メモリと、そのメモリから縦８×横８＝６４画素でな
る前記マクロブロックのデータをマクロブロック毎に逐
次入力し、データ転送レートを落すことなく、逐次的な
データを並列データに変換する２組のデータ形式変換手
段と、そのデータ形式変換手段を介して前記並列データ
を二次元離散コサイン変換を行うプロセッサー・アレー
と、そのプロセッサー・アレーからの二次元離散コサイ
ン変換出力を入力してこれを量子化し前記外部メモリに
逐次的にデータ格納するためにデータ出力する量子化モ
ジュールを備えた。

【００４５】そして、動きベクトルの次に多くの計算量
を必要とするモジュールである、離散コサイン変換及び
量子化回路と、これらの逆の操作である逆量子化回路及
び逆離散コサイン変換モジュールにおいて、高速動作を
損なうことなく、外部メモリに蓄えられたデータを逐次
的に、読み、並列処理し、書き込みする。このようにし
たことにより、高いデータ転送レート及び並列効率を落
すことなく、前記外部メモリから画素データを逐次的に
入力し、並列処理を実行する手段が確立した。

【００４６】

【発明の実施の形態】以下、図１乃至図２１に沿って、
本発明による実施形態について説明する。図１はウイン
ドウの説明図であり、顔のウインドウ２１と、背景画像
２２に識別して、画像情報に重み付けし、顔のウインド
ウ２１は手厚く、逆に背景画像２２はわざと画質を落と
して情報量を少なくしている。又、顔のウインドウ２１
は揺動する顔の動きに追随する機構により、最新位置に
更新され続ける。

【００４７】認識処理中の動画像の画面上で移動自在の
特定領域即ち優先的な情報処理を施される顔のウインド
ウ２１を構成する全画像を矩形の小ブロックに分割して
逐次分割を行う方式の下でブロックの動画像の動きに伴
った動きベクトルを利用して、次のフレームの顔のウイ
ンドウの位置を推定し、主なる被写体の動きに顔のウイ
ンドウ２１を追随させるようにした。

【００４８】又、通信当初は中央位置に固定形状の顔の
ウインドウ２１を設定し、そのウインドウ２１の内部の
マクロブロックの動きベクトルの中で、ゼロでないマク
ロブロックの平均値を計算して、それをウインドウ２１
の動き方向と見なして、ウインドウ２１の位置を更新す
る。当初、人物の顔が画面の中央に位置せず、ウインド
ウ２１の位置が人物の顔と一致していない場合にも、一
旦動きベクトルをもつ顔の一部がウインドウ２１の内部
に入ると、ウインドウ２１の動きベクトルの作用によっ
て、ウインドウ２１は逐次人物の顔に近づき、最終的に
は顔と一致する。

【００４９】このようにしたことにより、動画像情報を
重み付けするための選別基準をウインドウ２１として明
確にし、かつそのウインドウ２１が顔の動きに追随する
ので、確実にその動画像情報に重み付けできる。

【００５０】ここで、前記ＩＴＵ標準で要求されてい
る、ブロック単位の処理に関して定義しておく。尚、以
下の数字は縦×横の画素数を示す。動画像の１フレーム
は、８×８画素でなるブロックと呼ばれる小単位から構
成され、さらに１６×１６画素の輝度信号Ｙと８×８画
素の２つの色差信号Ｃｒ，Ｃｂからなる領域をマクロブ
ロックと呼ぶ。従って、マクロブロックとは４つの隣接
する輝度信号Ｙと、１つづつの色差信号Ｃｒ，Ｃｂの合
計６つのブロックで構成されている。

【００５１】前記ＩＴＵ標準で採用されている１フレー
ムの標準の画素数は、１４４×１７６画素の輝度信号Ｙ
と、７２×８８画素の２つの色差信号Ｃｒ，Ｃｂでな
る、４分の１共通中間フォーマットＱＣＩＦ（Ｑｕａｒ
ｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆ
ｏｒｍａｔ）を始め、ＣＩＦ（Ｙ：２８８×３５２画
素，Ｃｒ／Ｃｂ：１４４×１７６画素）や、４ＣＩＦ
（Ｙ：５７６×７０４画素，Ｃｒ／Ｃｂ：２８８×３５
２画素）等の数種類が存在しており、本発明は前記ＩＴ
Ｕ標準で使用が認められている全てのフレームサイズを
対象とし、前記マクロブロック及びブロック単位で信号
処理する規定を適用又は準用する制約の範囲内で実施す
る。このような制約条件の範囲内での画質向上こそが新
規な本発明の要旨である。

【００５２】次に、図２は顔のウインドウと周辺動きウ
インドウの説明図であり、これは、比較的顔の動きが少
ない時、対話者の関心が顔の周辺の手などに集まるの
で、その関心に答えようとしたものである。具体的動作
は、前フレーム画像と現フレーム画像の差分を求め、そ
の差分値が所定の閾値以上となるような動作を伴い、顔
に次ぐ重要性を持つ腕等の対象部を囲んで１６×１６画
素の大きさの画像ブロック（以下、マクロブロックと呼
ぶ）又は８×８画素の大きさの画像ブロック（以下、ブ
ロックと呼ぶ）からなり、変動自在の領域である周辺動
きウインドウ５１が、優先的な情報処理を施される。

【００５３】そして、その周辺動きウインドウ５１を構
成する前記全画像を矩形の小ブロックに分割して逐次分
割を行う方式の下でブロックの動画像に伴った動きベク
トルを利用して、次のフレームの周辺動きウインドウの
位置及び領域を推定し、前記変動自在の領域にまで周辺
動きウインドウ５１を追随させるようにした。周辺動き
ウインドウ５１は、顔のウインドウ２１とは異なる別も
のであり、前フレーム画像と現フレーム画像の差分があ
る閾値より大きな領域という原理で算出し、しかも任意
の形状に適宜変化するものである。

【００５４】この周辺動きウインドウ５１は顔の動きが
激しい時は顔のウインドウ２１に近づき、顔の動きがほ
とんど無い時は顔の周辺をカバーするように、閾値を適
応的に変える。特に手を動かした場合などは、周辺動き
ウインドウ５１がこの手の動きをカバーすることができ
る。このようにしたことにより、人の顔を主体とするの
みならず、身振り手振りの動作を伴う対象部までの動画
像情報に対して重み付けするための選別基準を、周辺動
きウインドウ５１として明確にし、なおかつ周辺動きウ
インドウ５１がその人の手などの動きに追随させ、人の
顔を主体として身振り手振りの動作を伴う対象部まで確
実にその動画像情報に重み付けできる。

【００５５】次に、図３は背景の情報量を削減する方法
の説明図であり、顔のウインドウ２１の他、さらに周辺
動きウインドウ５１の枠でも背景を区別しているが、そ
の点に関しては図２でも説明した通りである。そして、
その背景の動きが激しく動画像情報量の多い場合には前
記背景の動き量を低減して背景画質をわざと劣化される
演算、即ち現フレームのマクロブロック画像に、そのマ
クロブロック画像と同一の位置にある前画像フレームの
データを所定の割合で加算し混合する時間方向フィルタ
（図示せず）を備え、前記背景の動画像情報量を削減す
る。

【００５６】顔のウインドウ２１と周辺動きウインドウ
５１を合わせて、両方の領域は手厚く、逆にそれ以外の
背景画像２２はわざと画質を落して情報量を少なくさせ
るために、時間方向のフィルタを施すのである。ここで
は、現フレームのマクロブロックそのものを処理する代
わりに、同位置の前画像フレーム（以下、「前フレー
ム」又は「前参照フレーム」とも称す）のマクロブロッ
クと現フレームのマクロブロックから、重みをつけて平
均化して導出されるマクロブロックを利用する。平均的
な重みでは、同位置の前フレームのマクロブロックと現
フレームの画素値の平均値が考えられる。極端な場合は
前フレームのマクロブロックだけに置き換えた場合は、
平均画面は静止画のようになる。このように背景画像の
ノイズや動きを抑制することにより、少ない情報割り当
てを背景画面に限定し、顔及び周辺領域に多くの情報割
り当てが可能になる。

【００５７】このようにして、伝送情報量を多く費やす
激しい動画の画像情報は時間フィルタを通過することに
より、画質を適度に劣化させる代わりに情報量を激減で
きる。この情報量激減処理を経た画像を復号して再現す
ると、早い動きで変化する場面でのみ少し画質劣化した
印象を受ける程度で済む。具体的には、走っている自動
車内でこのテレビ電話を用いて送信した場合に、送話者
の背景として写りこむ車窓から流れて見える風景が少し
ぼやける程度である。このようにしたことにより、背景
の動きが激しくその情報量を大幅に削減したい場合を特
定し、かつ適切に処理し、重要でない背景の動画像の情
報量を見苦しくならない程度に適宜に間引きできる。

【００５８】ここで、予めＩフレーム、Ｐフレーム及び
Ｂフレームの関係を説明しておく。Ｉフレームは、現入
力フレームの画像情報のみを使って符号化するため、そ
の画像は、それ以前の復号画像の画質に依存しない。Ｐ
フレームは、前参照フレーム（現フレームの直前の復号
されたＩフレーム又はＰフレーム）の画像をもとに、動
き予測器で求めた各マクロブロックの動きベクトルによ
って動き補償された予測画像を生成し、この予測画像と
現入力フレームの画像との差分画像の情報を圧縮（離散
コサイン変換、量子化、可変長符号化）して復号器に送
信する。

【００５９】復号器では、この差分画像情報の圧縮符号
を復号（離散コサイン逆変換、逆量子化、可変長復号
化）し、これとは別に符号器から送信される動きベクト
ルによって動き補償された予測画像（符号器側で生成す
るものと同一）に足し合わせることによって、現Ｐフレ
ームを復号する（復号Ｐフレーム＝予測画像＋復号差分
画像）。ただし、復号差分画像には圧縮符号化に伴うノ
イズが混入している。復号されたＰフレームの画質は、
予測画像の予測精度（予測画像と現入力フレームの画像
の類似度）に大きく依存するので、予測画像のもととな
る前参照フレームの画質の直接的な影響を受ける。

【００６０】つまり、前参照フレームの画質が悪いと、
復号される現Ｐフレームの画質も悪くなり、さらにそれ
以降のＰフレームの画質も連鎖的に悪影響を及ぼす。逆
に、Ｐフレームの画質の向上は、それを参照するフレー
ムの画質をも向上させ、さらにそれ以降のフレームの画
質にも連鎖的に向上させる。Ｂフレームは、時間的に前
後する２つの参照フレーム（現フレームの直前及び直後
に復号されたＩフレーム又はＰフレーム）の画像をもと
に、前記同様の予測画像の生成、更には現入力フレーム
との差分画像情報の圧縮符号を復号器に送信する。

【００６１】復号器では前記同様の復号化された差分情
報を符号器から別に送信される動きベクトル及び予測方
式（順方向予測、逆方向予測、両方向予測）情報をもと
に生成される予測画像（符号器で生成されるものと同
一）に足し合わせることで現Ｂフレームを復号する。Ｂ
フレームがＰフレームと違う点は、２つの参照フレーム
をもとに予測画像を生成するため、Ｐフレームに比べ予
測の精度が上がり、差分画像の圧縮符号の量が小さいと
いう点の他に、Ｂフレーム自体は参照フレームにはなら
ないため、Ｂフレームの画質の劣化は他の（それ以降
の）フレーム画質に悪影響を及ぼさないという点であ
る。ただし、Ｂフレームの画質自体は、Ｐフレーム同
様、その参照フレームの画質の影響を大きく受ける。

【００６２】次に、図４はＢフレーム処理による情報量
を削減する方法の説明図であり、各処理過程における信
号及び処理の名称を記載し、必ずしも各信号処理の機能
部だけの名称を記載したものではない。従って各処理に
関して、説明の必要に応じて機能部の名称にだけ符号を
つけている。先ず図４（ａ）に示す符号器においては、
現フレーム画像と前参照フレーム画像と後参照フレーム
画像を動き予測機能部４１へ入力する。この動き予測機
能部４１では動き予測、動き補償及び予測方式決定を行
う。そして、その動き予測機能部４１から出力される予
測画像と現フレーム画像との差分画像の情報を全画素値
ゼロ化機能部４２へ入力し、その差分情報の全画素値を
強制的にゼロにする。

【００６３】そして、その全画素値ゼロ化機能部４２か
ら出力されるゼロ化全画素情報は離散コサイン変換部４
３を経由し、量子化部４４を経て符号生成部４５に入力
される。符号生成部４５は動き予測機能部４１が決定し
た予測方式により動画像の次の動きを予測しながら前記
ゼロ化全画素情報を符号化する。尚、符号器全体の構成
は図１１に示すブロック図に沿って後述し、図１２で復
号器のブロック図を、図１３で符号器／復号器兼用一体
のブロック図を示し、それらに沿って後述するので、こ
こではＢフレーム処理における信号の流れを示して、そ
の作用を説明する。

【００６４】次に図４（ｂ）に示す復号器では、符号器
により符号圧縮して送信され伝送経路１００を経て送り
届けられた動画像情報を受信して復号する復号部４６を
経て、その復号部４６から復号信号を逆量子化部４７へ
入力して逆量子化する。そして、その逆量子化部４７か
ら出力される逆量子化信号を離散コサイン逆変換部４８
へ入力して離散コサイン逆変換することにより前記差分
画像に復元し、その復元差分画像と前記予測方式により
予測された予測画像で足し合わせて復号画像を出力す
る。

【００６５】一般的に使われている動画像圧縮方式にお
いては、現入力フレームの画像情報を直接符号化するＩ
フレーム、現フレームの画像情報を前参照フレームの画
像情報から予測し、その予測画像との差分画像を符号化
するＰフレーム、及び時間的に前後する二つの参照フレ
ームの画像情報から合成される予測画像との差分画像を
符号化するＢフレームが存在する。ここで言う「参照フ
レーム」とは、既に復号されたＩフレーム又はＰフレー
ムを指す。又、ここで言う「予測画像」とは、参照フレ
ームと現入力フレームの間で発生した動きを各々マクロ
ブロック単位で予測し、その動き量を参照フレームにお
いて補償した画像を指す。最近では、Ｈ．２６３やＨ．
２６３プラス規格では、Ｂフレームとその後のＰフレー
ムを同時にマクロブロック単位で符号化するＰＢフレー
ム符号方式も提唱されている。

【００６６】従来のＢフレーム又は、ＰＢフレーム符号
方式におけるＢフレームの予測方法として、以下の三種
類が存在する。 （１）前の参照フレームを予測する場合に用いる順方向
予測 （２）後の参照フレームを予測する場合に用いる逆方向
予測 （３）前後の参照フレームを両方向予測する場合に用い
る両方向予測 従来は、現入力フレーム画像と予測画像のずれを補正す
るために、これらの差分画像を符号化し、復号器に送信
していたが、図４（ａ）に示すようにこの差分画像を強
制的に全てゼロ値の画像とし、実質的には前記三種類の
Ｂフレームの予測方法のみを情報として送信することに
よって、Ｂフレームの情報量を激減させる方法を示して
いる。

【００６７】Ｂフレームは、前にも説明した通り、他の
フレームを符号化する上での参照フレームにはならない
ので、たとえＢフレームの画質が多少劣化したとして
も、それ以降のフレームの符号化には影響を与えない
他、Ｂフレームの情報量を激減させたことによりＰフレ
ームの情報量をこの分増やすことにより、結果的にＰフ
レームの画質が向上し、前にも説明した通り、動画像全
体としての画質の向上にもつながる。

【００６８】又、Ｂフレームの差分画像を強制的に全て
ゼロ値の画像とすることにより、図４（ａ）の破線で囲
った離散コサイン変換部４３及び量子化部４４を必要と
せず、ハードウェアの削減につながる。尚、この新しい
Ｂフレームの符号化方法を復号器側で導入することによ
る復号器側の構成の変更は必要なく、従来規格との互換
性は完全に保たれている。このようにしたことにより、
前記動画像の動きが目くるめく激しい場合は、前記差分
画像の情報量も多くなるが、前記差分画像の情報量を最
小ならしめるべく、全画素値を強制的にゼロにすること
にって、伝送元の画像を最も少ない情報により、伝送先
で復元できる。

【００６９】ここで、画像の色差信号のノイズを低減
し、復号画像の視覚的画像品質を向上させる量子化法に
ついて説明する。復号器によって再生される画像の品質
は、一般的に輝度信号と二つの色差信号に圧縮符号化さ
れる過程で挿入されるノイズの量によってきまるが、人
間の視覚は特に色差信号に敏感であり、これらの色差信
号のノイズを軽減することが、視覚的画像品質の向上に
つながることが知られている。

【００７０】従来の量子化法は、離散コサイン変換され
た周波数成分データを、指定された量子化レベルによっ
て、以下のような計算式によって変換する。 ｜Ｌ｜＝［（｜Ｃ｜−Ｑ・ｓ・（ｐ＋ｆ））／（Ｑ・
ｓ）］ ここで、｜Ｌ｜は量子化されたデータの絶対値、｜Ｃ｜
はもとのデータの絶対値、Ｑは量子化レベル、ｓは量子
化レベル補正値、ｐは逆量子化補正値、ｆは丸め補正パ
ラメータ、［ ］は実数から整数への切り下げによる変
換演算を示す。

【００７１】逆量子化補正値ｐ及び量子化レベル補正値
ｓは、各動画像符号化規格によって明示されている。
Ｈ．２６３及びＨ．２６３プラス規格においては、逆量
子化補正値ｐはマクロブロックの符号化方式と周波数成
分データの種類により、０（イントラマクロブロックの
直流成分の場合）又は０，５（それ以外の場合）の値を
取り、量子化レベル補正値ｓは２を取るように定められ
ている。ここで言う、イントラマクロブロックとは、予
測画像を使わず現マクロブロック画像を直接符号化する
マクロブロックを指す。

【００７２】一方、丸め補正パラメータｆは、規格で定
められておらず、自由に設定できる値である。ｆ＝０，
５の場合は四捨五入による量子化を意味し、ｆ＝０の場
合は切り下げによる量子化を意味する。ＴＭＦ−１１に
おいて採用されている従来の量子化方法では、丸め補正
パラメータｆは、各マクロブロックの符号化方式によ
り、０，５（イントラマクロブロックの場合）又は０，
２５（それ以外の場合）に設定されており、輝度信号及
び二つの色差信号に共通のｆ値が適用されている。

【００７３】本発明では、このｆ値を輝度信号と色差信
号で異なるものを設定することにより、輝度信号と色差
信号に同一の量子化レベルを適用したまま、色差信号の
ノイズを大幅に軽減することに成功している。具体的に
は、以下に示すようにｆ値を決定する。 （１）イントラマクロブロックの場合、従来通りｆ＝
０，５（四捨五入による量子化）に設定。 （２）それ以外の場合、輝度信号にはｆ＝０（切り下
げ）を、色差信号にはｆ＝０，５（四捨五入）を適用す
る。

【００７４】輝度信号の量子化において切り下げを用い
ることは、量子化ノイズが増加するため、従来では全く
考えられなかった方法である。しかし、輝度信号の切り
下げによる量子化は、０の値をとる量子化周波数成分の
個数を飛躍的に増加させる効果があり、そのため圧縮比
が著しく向上し、量子化レベルの相対的な低下を引き起
こす。量子化レベルの低下は量子化のノイズ増加傾向を
ある程度相殺し、最終的な量子化ノイズは、僅か０，０
ｄＢ乃至０，３ｄＢ程度と従来方式のものとほとんど変
わらないことが確認されている。逆に色差信号の量子化
において四捨五入を適用することで、色差信号のノイズ
は、１，２ｄＢ乃至１，３ｄＢ程度が改善され、全体と
してのノイズ比も０，３ｄＢ程改善される。さらに、色
差信号のノイズが大幅に減ることにより、色の再現がよ
り正確になり、視覚的画像品質も大幅に改善される。従
って、従来より簡単な構成で、効率的に色差信号でのノ
イズ削減効果を発揮し、人の目の性質上、Ｓ／Ｎ比の数
値的改善レベル以上に視覚的実質上の画質向上を得られ
る。

【００７５】次に、ここではイントラマクロブロックの
ＤＣ係数（８×８ブロックの左上隅の値）の量子化、即
ちＤＣ係数を８で割って、端数を四捨五入するが、前記
ＤＣ係数は、受信した量子化値に８を掛けて求めてい
る。従って、［逆量子化値］＝８×［量子化値］とな
る。又、前記予測画像を使わずに現マクロブロック（１
６×１６又は８×８）画像を直接符号化するイントラマ
クロブロックの場合にのみ輝度信号と色差信号を四捨五
入により量子化する。そして、前記イントラマクロブロ
ック以外の場合には輝度信号を切り下げにより量子化し
色差信号は四捨五入により量子化する。

【００７６】このようにしたことにより、輝度信号と色
差信号に同一の量子化レベルを適用したまま色差信号の
ノイズを低減できる。計測上、同一レベルのノイズ低減
ならば輝度信号よりも色差信号のノイズを低減させたほ
うが、視覚上の効果が高い。従って、従来より簡単な構
成で、効率的に色差信号でのノイズ削減効果を発揮し、
人の目の性質上、Ｓ／Ｎ比の数値的改善レベル以上に視
覚的実質上の画質向上に寄与する。

【００７７】次に、図５はフレームレベルレートに関す
る条件及び変数の一覧図であり、図６はフレームレベル
レート制御の処理流れ図である。図５（ａ）はフレーム
レベルレート制御における目標ビット量を計算する上で
考慮する条件を示しており、１秒当りの画面数Ｇは、符
号器側の動画像入力源（カメラ、ビデオ）によって決ま
り、一般的には２５乃至３０の値をとる。出力画像の１
秒当りの画面数Ｆは、入力画像の１秒当りの画面数Ｇ以
下の値をとり、ＦとＧは整数比であるとする。

【００７８】ここで、１出力画像フレーム当りの画面数
Ｃは、次の出力フレームがＰＢフレーム符号方式の場合
はＣ＝２となり、次の出力フレームがＩフレーム又はＰ
フレーム符号方式の場合はＣ＝１となる。又、復号器の
１秒当りの再生可能な最大画面数Ｈは、Ｆ以上の値をと
るものとする。又、保証する最大フレーム遅延時間Ｄ
は、符号器側における画像入力から復号器側における画
像再生に要する遅延時間を、入力画面周期（１／Ｇ）秒
を単位時間として表したものである。この遅延時間は、
各画面の符号化情報の送信に要する時間に依存する他、
符号器及び復号器の処理遅延時間にも依存するが、ここ
では、これら処理遅延時間は無視するものとする。尚、
Ｄが満たすべき条件については後述する。

【００７９】図５（ｂ）は図５（ａ）の条件より定まる
三つの変数を表す。Ｅは通信路の帯域を１００％使用す
るための最小ビット量である。実際の符号ビット量がＥ
を下回ると、出力情報を蓄えている通信バッファが空に
なるアンダーフローという現象を起こし、通信速度の実
効値が下がり、結果的に画質の劣化を招く。ここで、Ｌ
はフレーム遅延時間Ｄを保証し得る最大のビット量であ
る。実際の符号ビット量がＬを上回ると、復号器におけ
る再生画像の遅延がＤを超えてしまう。尚、アンダーフ
ロー現象が少ない安定した動画像通信をおこないながら
フレーム遅延時間Ｄを保証するためには、ＬはＥ以上の
値である必要があるため、図５（ａ）におけるＤが満た
すべき条件式Ｄ≧（２Ｃ−１）Ｇ／Ｆ−１が与えられて
いる。又、Ｋは１フレーム当りの割り当てビット量であ
り、Ｅ以上Ｌ以下の値を設定する。尚、ここにおけるｓ
は、０から１の間の実効値をとる定数である。

【００８０】図５（ｃ）は、各画像フレームの符号ビッ
ト量に依存する変数である。そして、図５（ａ）（ｂ）
（ｃ）に表れる変数Ｒ，Ｇ，Ｆ，Ｃ，Ｈ，Ｄ，Ｅ，Ｌ，
Ｋ，Ｗ，Ｂ，Ｕ，Ｔは全て整数値へ近似する。このこと
により、以下のフレームレベル制御の処理が全て整数演
算で行うことが可能であり、ハードウェア実現を容易に
する。

【００８１】それから、図６はフレームレベルレート制
御の処理流れ図を示す。図６（Ｓ６１）では、通信バッ
ファ残留ビット量Ｗを０に設定し、始めの入力画面を１
フレームとして符号化する。図６（Ｓ６２）では、現フ
レームのビット量Ｂが正値かどうかを判断する。Ｂが正
値ならば、現フレームの符号化処理時間をＣ／Ｆ秒と
し、この間に送信されるビット量をＲ・Ｃ／Ｆに設定す
る。Ｂが０ならば、現フレームはスキップされていると
判断し、符号化処理時間を入力画面周期と同じ１／Ｇ秒
とし、この間に送信されるビット量ＵをＲ／Ｇに設定す
る。図６（Ｓ６３）では、通信バッファ残留ビット量Ｗ
に現フレームのビット量Ｂを加算した値が、現フレーム
の符号化処理時間の間に通信バッファから送信されたビ
ット量Ｕを比べＷ値を更新する。

【００８２】図６（Ｓ６４）では、次フレームの目標ビ
ット量Ｔを計算するが、この時にＷとＬ−Ｅ，ＦとＨの
夫々の大小関係を調べる。通常はＷ＜Ｌ−Ｅが成り立
ち、この時は１フレーム当りの割り当てビット量Ｋから
通信バッファ残留ビット量Ｗを引いたものをＴに設定す
る。しかし、Ｗ≧Ｌ−Ｅの場合、現フレームが保証する
フレーム遅延時間以内では復号器で再生できず、保証す
る遅延時間以上の遅れが一時的に生じる（以下、このこ
とを「過剰遅延状態」と呼ぶ）。その後符号器側では、
この一時的な過剰遅状態は解消されるようにＫが設定さ
れており、復号器の１秒当りの再生可能な最大画面数Ｈ
が出力画像の１秒当りの画面数Ｆよりも大きければ、復
号器側でもこの過剰遅延状態は解消される。

【００８３】ところが、このＨがＦに等しい場合、たと
えこの一時的な過剰遅延状態が符号器側で解消されたと
しても、復号器側では解消することが出来ず、過剰遅延
状態が持続する恐れがある。そして、一時的な過剰遅延
状態はほとんど知覚できないが、過剰遅延状態が持続し
た場合は、その大きな遅延が問題となる場合が多く、従
ってＷ≧Ｌ−ＥかつＦ＝Ｈの場合はＴ＝０とする。図６
（Ｓ６５）においてＴが正値の場合は、通常処理とし
て、次の（Ｇ／Ｆ−１）フレームをスキップし、その後
のＣ個（次フレームがＩ又はＰフレームの場合はＣ＝
１，ＰＢフレームの場合はＣ＝２）の入力画面を符号化
する。Ｔの値が０又は負の場合は、次の入力画面一つを
符号化せずにスキップする。そして、スキップした場合
のフレームのビット量Ｂ＝０となる。

【００８４】このように、符号化器側における画像入力
から復号器側における画像再生までに要する遅延時間を
厳密な制御を可能とし、しかも出力画面のコマ落ちが起
きた場合も、従来はＣ・Ｇ／Ｆ個の画面のコマ落ちする
のに対し、本発明では１画面だけのコマ落ちに抑えるた
め、全体的にコマ落ちする画面数も少なくなり、安定し
た動画像の通信が可能となる。

【００８５】又、符号化された動画像情報の現フレーム
のビット量Ｂを通信バッファ残留ビット量Ｗと比較する
比較手段を図６（Ｓ６２）（Ｓ６３）に示し、その比較
手段の比較結果により、前記残留ビット量Ｗが枯渇しな
いように次フレームの目標ビット量Ｔを制御する制御手
段を図６（Ｓ６４）（Ｓ６５）に示している。その制御
手段による制御結果を用いて、カメラ入力画像が前記符
号器、伝送経路１００及び前記復号器を経由して復号画
像となって出力されるまでの間に発生する遅延時間とコ
マ落ちを最小限にする、フレームレベルレート制御にお
ける、次フレームの目標ビット量Ｔの計算手段を確立し
ている。このようにしたことにより、実行通信速度を低
下させる通信バッファのアンダーフローや再生画像の遅
延といった、従来では十分に制御できなかった現象を、
極めて簡単な計算により、高い制御能力を有し、リップ
同期を実現できる。

【００８６】次に、図７、図８、図９、及び図１０によ
り、符号ビット量を指標としたマクロブロックレベルレ
ート制御方法について説明する。図７は、マクロブロッ
クレベルレートに関する変数及び定数の一覧図であり、
特に前フレームの符号化マクロブロックの量子化レベル
の平均値Ｑａは、符号化されたマクロブロック（イント
ラマクロブロックでなく、量子化周波数成分及び動きベ
クトル成分がすべてゼロのマクロブロックは符号化され
ないとする）に適用されたマクロブロック数で割った値
である。

【００８７】図８に示すように、現フレームの最初（ｉ
＝１）のマクロブロックに適用する量子化レベルの初期
値Ｑを、前フレームの各マクロブロックの量子化レベル
の重み付き平均Ｑａを用いて算出する第一の計算手段
（Ｓ１）を構成している。そして図８（Ｓ３）におい
て、２番目以降（ｉ＝２，３乃至Ｎ）のマクロブロック
に適用する量子化レベルの微調整量を、前記目標ビット
量、現マクロブロックまでの実際の符号量及び最初（ｉ
＝１）のマクロブロックに適用する量子化レベルを用い
て算出する第二の計算手段に関しては、図９及び図１０
に示すように構成している。

【００８８】図８はマクロブロックレベルレート制御の
処理流れ図である。ただし、最初の入力画面の１フレー
ム符号化には、このマクロブロックレベルレート制御は
適用されず、この場合は量子化レベルはある特定の値に
固定する。図８（Ｓ１）では前フレームの状態を調べ
る。前フレームが最初のＩフレームかあるいはスキップ
された（Ｂ’＝０）場合は、前フレームの量子化レベル
の初期値Ｑ’をそのまま現フレームの量子化レベルの初
期値Ｑとする。前記以外の場合、前フレームの符号化マ
クロブロックの量子化レベルの平均値Ｑａに、前フレー
ムの目標ビット量Ｔ’に対する実際の符号化ビット量
Ｂ’の割合Ｂ’／Ｔ’を掛けた値を、関数ＣＱの引数と
し、関数ＣＱの出力を現フレームの量子化レベルの初期
値Ｑとする。

【００８９】ここで、図９はマクロブロックレベルレー
ト制御における関数ＣＱ（ｘ）の定義を説明する図であ
り、関数ＣＱは、図９に示すように、引数ｘが量子化レ
ベルの許容最大値Ｑｍｉｎを下回る場合はＱｍｉｎを出
力し、ｘが許容範囲内であればそのままの値を出力する
「クリッピング」関数である。前フレームにおいて目標
ビット量よりも実際の符号ビット量が大きい場合は、量
子化レベルの初期値をＱａよりも高く設定し、逆に目標
ビット量よりも実際の符号ビット量が小さい場合は、Ｑ
ａよりも低く設定するることにより、このマクロブロッ
クレベルレート制御の「制御速度」を適応的に調整し、
その制御能力を向上させている。

【００９０】又、この他に図８（Ｓ４）において必要と
なる、非ゼロ量子化周波数成分１個当りの平均ビット量
の予測値Ｊを計算する。この計算では、前フレームにお
いて、周波数成分に費やした全ビット量を非ゼロ量子化
周波数成分の個数で割った値Ｊ’を用い、ＪとＪ’を
ｔ：（１−ｔ）の比で足し合わせた値を新しいＪの値と
する。ｔは０以上１以下の実数値をとる定数とする。図
８（Ｓ２）では現フレームの目標ビット量Ｔが正値であ
れば、実際に現フレームの符号化処理を行い、そうでな
ければ直接図８（Ｓ６）に行く。

【００９１】図８（Ｓ３）では各マクロブロック（ｉ）
（ｉ＝１，２乃至Ｎ）における圧縮符号化処理の前半部
であり、前述の差分画像に対し離散コサイン変換を行
い、その周波数成分を量子化レベルｑを用いて量子化を
行う。図８（Ｓ４）では量子化レベルｑを適切な値に更
新する。尚、この部分の処理の詳細は図１０に示してい
るので、それに沿って後述する。図８（Ｓ５）では各マ
クロブロック（ｉ）における圧縮符号化処理の後半部で
あり、可変長符号化を行い、Ｂの値をマクロブロック
（ｉ）の符号を含むものに更新する。さらに、逆量子
化、離散コサイン復元画像を生成する。図８（Ｓ６）で
は全てのマクロブロックの処理が終わり、現フレームの
符号が完成した後に、Ｑ’，Ｂ’Ｔ’の値に置き換え、
次フレームの処理に備える。以上の処理は全て整数演算
によって実現する。

【００９２】そして、図１０は各マクロブロック（ｉ）
における量子化レベルｑの更新計算処理の流れ図であ
り、順番は前後するが図８（Ｓ４）での処理の詳細説明
である。図１０（Ｓ７）では、先ず各マクロブロック
（ｉ）が符号化されるかどうかを判断する。マクロブロ
ックが符号化されない条件は、イントラマクロブロック
でなく、量子化周波数成分及び動きベクトル成分が全て
ゼロであることである。もし、符号化されない場合は、
量子化レベルｑの更新は行わない。

【００９３】図１０（Ｓ８）ではマクロブロック（ｉ）
が符号化される場合に、先ず量子化レベルｑの更新計算
の指標となる４つの変数ｄ，ｈ，ａ，ｅを計算する。ｄ
は現マクロブロック（ｉ）のビット量の予測値であり、
現マクロブロック（ｉ）の非量子化周波数成分の個数ｚ
に前記（Ｓ６１）で計算した非零量子化周波数成分１個
当りの平均ビット量Ｊを掛けた値に、周波数成分以外の
予想ビット量Ｖを足した値とする。周波数成分以外の予
想ビット量Ｖは、予め実験的に求めた値を用いる。ｈは
残り（未処理）のマクロブロックが消費するビット量の
予測値であり、残量ビット予測値である。ａはマクロブ
ロック（ｉ）以降消費できるビット残量値であり、残量
ビット許容値である。ｅは各マクロブロック（ｉ）が同
一の符号ビット量を発生すると仮定した時の残り（未処
理）のマクロブロックが消費するビット量の目標値であ
り、残量ビット目標値である。ビット残量値ａがビット
残量予測値ｅよりも大幅に大きい場合は、量子化レベル
ｑを下げて情報発生量を増やし、逆にビット残量値ａが
ビット残量予測値ｅよりも大幅に小さい場合には、量子
化レベルｑを下げて情報発生量を抑えることを行う。

【００９４】図１０（Ｓ９）ではパラメータｂ１，ｂ２
を求める。ｂ１は現在の量子化レベルｑが最初のマクロ
ブロックに適用された量子化レベルの初期値Ｑよりも大
きい時に、ｑがそれ以上大きくなり難くするように作用
するバイアスであり、ｂ２はｑがＱよりも小さくなり難
くするように作用するバイアスである。図１０（Ｓ１
０）ではパラメータｃ１，ｃ２を求める。ここの計算で
使う定数ｆは、レート制御の感度を調整するパラメータ
であり、通常１，０以上の値を使う。又、定数ｇはバイ
アスｂ１，ｂ２の作用の強さを調整するパラメータであ
り、通常０，０以上の値を使う。

【００９５】図１０（Ｓ１１）では実際の量子化レベル
ｑの更新を行う。ここでは以下の条件１乃至条件４を考
慮する。 条件１： ｑ＜Ｑかつａ＜ｈ 真の場合、ｑにｑ１を足
した値をｑ’の値とする。偽の場合は、条件２を評価す
る。 条件２： ｅ＞ａ・ｃ１ 真の場合、ｑにｑ１を足した
値をｑ’の値とする。偽の場合は、条件３を評価する。 条件３： ｅ・ｃ２＞ａ 真の場合、条件４を評価す
る。偽の場合は、ｑをｑ’の値とする。 条件４： Ｗ＋Ｂ＜Ｕ 真の場合、ｑにｑ２を足し、そ
れ以外の場合はｑをそのままにする。偽の場合は、ｑを
ｑ’の値とする。ただし、０＜ｑ１≦ｑｍａｘ及びｑｍ
ｉｎ≦ｑ２＜０を満たすとする。又、Ｗは図５（ｃ）に
示した通信バッファ残留ビット量であり、Ｕは図５
（ｃ）に示した現フレームの符号化処理時間中に送信さ
れるビット量である。

【００９６】最後に、前記４つの条件の評価によって計
算したｑ’の値を関数ＣＱによりクリッピングした値を
ｑの更新値とする。尚、Ｈ．２６３及びＨ．２６３プラ
スにおいて規定されている量子化レベルの許容最大値Ｑ
ｍａｘは３１、最小値Ｑｍｉｎは１に設定されており、
連続する２つのマクロブロックの量子化レベルの変化量
の許容最大値ｑｍａｘは＋２、変化量の許容最小値ｑｍ
ｉｎは−２に設定されている。以上の処理は全て整数演
算又は固定小数点によって実現する。このようにしたこ
とにより、前記各画像フレームのビット長を高精度で平
均化するために、従来は不可欠とされていた非常に複雑
な計算を、簡単な計算に置き換えることにより、前記の
計算処理のためにする前記遅延時間を減少させ、リップ
同期を実現できる。

【００９７】そして、一実施形態として、動画像情報の
高性能符号圧縮システムを構成するＳｙｓｔｅｍ Ｍｅ
ｍｏｒｙ Ｓｈａｒｉｎｇ Ｐｒｏｃｅｓｓｏｒ Ａｒ
ｒａｙ即ちシステム化されたメモリ共有型プロセッサア
レー方式（以下、システムＭＳＰＡとも称す）のアーキ
テクチャに基づいた保存するメモリと、低ビットレート
ビデオ符号のためのシステムを図に沿って説明する。

【００９８】図１１は符号器、図１２は復号器、図１３
は符号器／復号器兼用一体のブロック図である。図１３
において、５はテレビカメラであり人の顔を主体とする
動画の映像信号をカメラインターフェース６を介してデ
ータバス２へ入力する。データバス２はホストインター
フェース７を介してホストコンピュータ８が接続され、
Ａｄｒｅｓｓ Ｇｅｎｅｒａｔｉｏｎ Ｕｎｉｔ即ち集
中制御装置（以下、ＡＧＵと称す）３及びメモリ１との
間でデータの交換がなされる。又、ＡＧＵ３及びメモリ
１と協同して試験動作させられるので、設計及び試作段
階での動作試験を実行し易くなっている。ＡＧＵ３はメ
モリ１とは別に基本動作をプログラムされたＲＯＭ９と
も接続され、制御バス４を介して制御信号を前記各ハー
ドウェア・モジュール（以下、「モジュール」又は「各
要素」若しくは「要素」とも称する）に伝え、動画の高
性能符号圧縮システムを機能させる。

【００９９】尚、本実施形態におけるメモリ１として、
Ｄ（ダイナミック）ＲＡＭを用いて、十分な結果を得て
おり、その旨を各図に亘り記載しているが、本発明にお
いては、符号化された動画像情報を適宜に書き込み即読
み出し自在なメモリ手段であれば、前記ＤＲＡＭに限定
しないで実施可能であり、そのような実施形態であって
も当然に本発明の要旨に含まれるものと看做し得る。

【０１００】前記各要素はデータバス２を介して動画の
画像情報を共有し、制御バス４にチップ外部で接続して
いるメモリ１を介してのみ、前記各要素間のデータ転送
を行い、前記各要素とメモリ１のデータ転送はＡＧＵ３
及びＲＯＭ９により制御される。これが、前記システム
ＭＳＰＡ最大の特徴であり、このように前記各要素間の
データ転送を全てメモリ経由で行うことにより、前記各
要素間の処理依存関係をメモリ１へＡＧＵ３がメモリア
クセスする際の、時分割処理の時間割だけで決定でき
る。

【０１０１】又、前記各要素として図１１乃至図１３に
示すものが有り、それぞれは前記各要素間の処理依存関
係に配慮することなく独立した設計によるものをデータ
バス２と制御バス４を介して並列接続し、全体を構成す
る。従って、前記各要素ごとにそれぞれ別の設計者が同
時進行させられるため、システム全体のプログラム構成
が大規模であるにもかかわらず設計の所要時間は短くて
済む。又、前記各要素に設計変更があれば、ＡＧＵ３の
プログラム変更で柔軟に対応できる。動きベクトル探索
部１０は、図示せぬ予測決定部を備え、顔のウインドウ
２１の画像の平均移動量を算出し、その平均移動量に顔
のウインドウ２１を追随して移動させる。そして、撮影
された人の顔の揺動に合わせて、遅延無き高画質な領域
を移動させるために前記平均移動量から近未来の動きを
予測し、顔のウインドウ２１を先回りさせる。

【０１０２】以後、主にウインドウＭＳＰＡの説明をす
る。画像フレーム情報を保存するメモリ１と、各々が独
立して動作するハードウェア・モジュールをデータバス
２を介して結合し、メモリ１と前記各ハードウェア・モ
ジュールとの間のデータの流れ及び動作スケジュールを
制御するＡＧＵ３が前記各ハードウェア・モジュールに
制御バス４を介して結合したシステム・アーキテクチャ
により前記符号器及び前記復号器を構成している。

【０１０３】又、本実施形態のテレビ電話にあっては、
図１３のブロック図に示す符号器／復号器兼用一体、即
ち送信と受信の双方向にかかわる装置を一体にまとめた
構成になっている。図１１に符号器、図１２には復号器
を区別して夫々単独の構成も示し、それらの重複部は適
宜説明を省略する。図１１に示す符号器のシステムに
は、外部にアドレス１８ビットでデータ１６ビットの４
メガビット容量でアクセス時間が４０ナノ秒のメモリ１
であり、ＱＣＩＦ（１７６×１４４画素）の４フレーム
分のデータが格納できる。図１１において、テレビカメ
ラ５からのデータがメモリ１に蓄えられながら、同様に
１６×１６画素からなるマクロブロック毎に順次圧縮処
理される。

【０１０４】先ず、動きベクトル探索部１０では、処理
するマクロブロックが前フレームのどの位置から動いた
ものかを探索し、動きベクトルとして出力する。この
時、顔のウインドウ２１や周辺動きウインドウ５１に属
さないマクロブロックについては、図示せぬ時間フィル
タの作用により画像情報を劣化させる。又、前記時間フ
ィルタ等に静止画の画像情報が入力された場合は、元通
りの画像情報そのままで出力され、逆に動きの激しい映
像の画像情報が入力された場合は、その動きが緩和され
たように情報操作される。このようにして、伝送情報量
を多く費やす激しい動画の画像情報は前記時間フィルタ
を通過することにより、画質を適度に劣化される代わり
に情報量を激減できる。この情報量激減処理を経た画像
を復号して再現すると、早い動きで変化する場面でのみ
少し画質劣化した印象を受ける程度で済む。具体的には
走っている自動車内でこのテレビ電話を用いて送信した
場合に、送話者の背景として写り込む車窓から流れて見
える風景が少しぼやける程度である。

【０１０５】又、動き補償部１１では、得られた動きベ
クトルを利用して、処理中の現フレームのマクロブロッ
クと、それが移動してきたと思われる前フレームの領域
との差分データを生成し、メモリ１に書き込む。離散コ
サイン（逆）変換部／（逆）量子化部１２では、メモリ
１から読み込まれる差分データをマクロブロックの４分
の１である８×８画素のブロック毎に、離散コサイン変
換により、８×８画素の周波数成分を求め、さらにマク
ロブロック毎に量子化ステップに基づく、表現ビット数
を変化させる量子化の操作を高速に行い、その結果はメ
モリ１に出力される。

【０１０６】そして、可変長符号器１３では、メモリ１
から読み込まれる、量子化されてビット低減された差分
データの周波数成分に適切な符号に割り当て、図示せぬ
内部バッファに蓄える。その内部バッファは外部に一定
の伝送レートで符号化データを出力する。又、離散コサ
イン（逆）変換部／（逆）量子化部１２は、例えば３５
２×２８８画素でなる１枚の画像を８×８画素の画素ブ
ロックに分割し、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉ
ｎｅ Ｔｒａｎｓｆｏｒｍ）離散コサイン変換（以下、
ＤＣＴ変換とも称する）により、周波数成分を分解（直
交変換）し、高周波項を丸めて情報圧縮し、ＤＣＴ変換
後の各係数をある除数で割り算を行い、余りを丸める。
これらは、符号処理では順方向に、復号処理では逆方向
に機能させる。尚、図１２の復号器では前記順方向の変
換が無いので離散コサイン逆変換部／逆量子化部１２ｂ
が配設されている。

【０１０７】又、離散コサイン（逆）変換部／（逆）量
子化部１２と、Ｐマクロブロック再構築部１４と、Ｂマ
クロブロック推定部１５ａと、ブロック歪除去フィルタ
１６は量子化周波数成分から現マクロブロックを再構築
する過程で機能し、次のフレームの圧縮処理に用いられ
る。そして、離散コサイン逆変換部／逆量子化部１２で
は離散コサイン及び量子化の逆操作として、差分データ
の周波数成分の量子化データをメモリ１から入力して、
逆量子化操作により、元のビットに復元し、更に離散コ
サイン逆変換によって、元の差分データに復元し、メモ
リ１に結果を格納する。

【０１０８】又、Ｐマクロブロック再構築部１４は、図
１１、図１２、図１３に共通したもので、ここでは、メ
モリ１から差分データと動きベクトルから求められる前
フレームのデータを読み出し、加算することによって現
フレームのマクロブロックデータを復元し、メモリ１に
書き込む。

【０１０９】又、図１３にはＢマクロブロック推定部／
再構築部１５があり、夫々ＰフレームとＢフレームを処
理するが、図１１に示す符号器ではＢマクロブロック推
定部１５ａを配設し、図１２に示す復号器ではＢマクロ
ブロック再構築部１５ｂを配設している。符号器ではＢ
マクロブロック推定部１５ａで、メモリ１から再構築さ
れたＰマクロブロックとそれが移動してきた前フレーム
のマクロブロックをメモリ１から読み出し、前フレーム
から前向きに推定されるＢマクロブロックデータと両方
を混合して推定されるＢマクロブロックを構築し、実際
にテレビカメラ５から入力されたＢマクロブロックとの
類似度を比較する。これらの中でどれが最適であるかマ
クロブロック毎に判定して、その情報だけを可変長符号
器１３を介して送信する。又、復号器ではＢマクロブロ
ック再構築部１５ｂにより、実際にＢフレームのデータ
を再現する。

【０１１０】ブロック歪み除去フィルタ１６は、図１
１、図１２、図１３に共通したもので、メモリ１から復
元されたＰマクロブロックを読み出し、ブロック歪除去
フィルタ１６の作用により、マクロブロックのつなぎ目
に見苦しく生じる碁盤目状のノイズを除去し、メモリ１
に書き込む。

【０１１１】又、ＡＧＵ３は、各モジュールの実行制御
と各モジュールとメモリ１との間のデータのやり取りを
制御する。そのＡＧＵ３はＲＯＭ９に格納されたプログ
ラムに従って動作し、そのプログラム命令としては、メ
モリ１のアドレス発生やメモリ１のアクセス制御などか
らできている。

【０１１２】又、ホストインターフェース７は、ＡＧＵ
３のＲＯＭ９に代わって外部のホストコンピュータ８か
らの命令をシステムに入力し、各モジュールの実行制御
やメモリ１とホストコンピュータ８との間のデータ転送
を行う。このように、ウインドウＭＳＰＡは、全て夫々
の機能を高速で実行するハードウェア・モジュール（各
要素）がデータバス２を介して外部のメモリ１に接続さ
れている。即ち、前記各要素は外部のメモリ１から入力
データを受け取り、処理を行い、その結果を再び外部の
メモリ１へ出力する形式になっている。従って、前記各
要素間の直接のデータの受け渡しは無く、必ずメモリ１
を介して行う。又、ＡＧＵ３はＲＯＭ９からの命令によ
って、前記各要素とメモリ１のデータ転送を制御する。
尚、２個のメモリ１が符号器用と復号器用に夫々割り当
てられているが、合計で２個分の応答処理能力が備えら
れていれば、必ずしも２個でなくても良い。

【０１１３】これが、前記ウインドウＭＳＰＡの最大の
特徴であり、このように前記各要素間のデータ転送を全
てメモリ経由で行うことにより、前記各要素間の処理依
存関係をメモリ１へのアクセスのＡＧＵ３の時間割だけ
で決定できる。前記各要素間の処理依存関係はＡＧＵ３
で決まるため、前記各要素は独立に設計したものをデー
タバスとコントロールバスを介して並列接続し、全体を
構成する。このようにしたことにより、複数の前記各要
素の夫々の設計の独立性も得られ、設計上の制約条件も
格段に少なくなり、かつ複数の設計者が夫々を分担して
同時進行で設計することにより、システム全体が大規模
であるにもかかわらず、その設計に対する所要時間は短
くて済む。

【０１１４】又、前記各要素の処理依存関係はＡＧＵ３
のプログラムによって柔軟に設計することができる。実
際の設計では、各ＰフレームとＢフレームのマクロブロ
ックの処理を１５，６２５クロックで終了する必要があ
る。しかし、動きベクトル探索処理は、データ入出力の
ためのメモリ１のアクセス時間は少ないものの、処理時
間が長くかかり、動きベクトル探索処理全体で１３，０
００クロックの時間が必要である。それ以外の処理は夫
々ハードウェア機構で構成されるため、残り全部でも１
５，６２５クロック内での処理が可能である。動きベク
トル探索処理とそれ以外の処理をマクロブロック毎のパ
イプライン並列処理を行う。即ち、１フレームに含まれ
る１００のマクロブロックの圧縮処理を順々に実行する
が、動きベクトル探索処理を１５，６２５クロック内で
実行した後に、次の１５，６２５クロックの動きベクト
ル探索処理を始めるという要領である。

【０１１５】このようにして、ほとんどの周期では、動
きベクトル探索処理とその他の処理が同時に実行される
ことになる。これらのパイプライン処理もＡＧＵ３のプ
ログラムにより、本発明のアーキテクチャでは柔軟に設
計することが可能である。

【０１１６】又、前記各要素の全ての入出力データがメ
モリ１に格納されているため、外部からの試験を簡単に
させている。実際、ホストコンピュータ８からホストイ
ンターフェース７を介して、ＡＧＵ３からの命令を発す
ることにより、ホストコンピュータ８からメモリ１のデ
ータ設定、前記各要素の処理実行後に、メモリ１のデー
タをホストコンピュータ８へ読み込んで検査することを
可能にしている。更に、前記各要素の内部データもホス
トコンピュータ８に読みだせるような検査プログラムを
装備することにより、検査が容易な構成に成っている。

【０１１７】そして、前記各要素は夫々の動作に依存関
係が無く、動作する要素にのみクロックを供給し、それ
以外の要素は動作させる必要もないので、そのことによ
り、システム全体の消費電力を低減できる。

【０１１８】次に図１２に沿って、復号器に固有の説明
をする。可変長復号器１７で復号された周波数領域の差
分データは符号器のＢマクロブロック再構築部１５ｂ及
びブロック歪除去フィルタ１６により、実際にＢフレー
ムのデータを復元する。そして、符号器と同様に、独立
して動作する前記各要素がメモリ１からデータを受け取
り、そのデータを処理した後にメモリ１に戻して格納す
る。これらの制御をＡＧＵ３が制御している。最終的な
再生画像は、ＬＣＤインターフェース１８を通して、外
部に接続されたＬＣＤ１９上に映し出される。

【０１１９】次に、図１４は集中制御装置（ＡＧＵ３）
のブロック図であり、実行／テストモード切替スイッチ
３０がホストコンピュータ８からホストインターフェー
ス７を介しての命令（ＰＣ命令と図示）により、実行又
はテストモードの何れかに決定され、ＲＯＭ９の命令プ
ログラムの内容を、命令解読実行制御装置３１により、
実行指示され、メモリの読み込み／書き込み繰り返し命
令制御部３２及び繰り返し命令開始アドレスレジスタ３
３の作用により、メモリ１との間でアドレス制御された
データ交換を行う。これらにより、メモリ１のアドレス
の生成、メモリアクセス制御信号の生成、前記各要素の
演算開始、停止信号の生成を行う。尚、繰り返し命令開
始アドレスレジスタ３３と、レジスタファイル３４は主
に汎用レジスタで構成され、８連の４ビットレジスタ２
組、８連の２ビットレジスタ１組、８連の１ビットレジ
スタ１組を備えている（詳細は図示せず）。

【０１２０】又、図１５は外部メモリ１のメモリ領域の
構成図であり、前記各ハードウェア・モジュールの実行
制御の命令プログラムを格納したＲＯＭ９の命令に対応
して、画像を複数のブロックに分割し、そのブロックの
座標単位の情報を処理するブロック方式に適合するアド
レス構成にしている。図１５に示す、行アドレス及び列
アドレスをメモリアドレスで指定するように、ＡＧＵ３
のメモリ読み込み／書き込み繰り返し命令制御部３２に
より制御される。

【０１２１】前記メモリ領域でなる外部のメモリ１と、
メモリアクセスのためのアドレス生成を前記マクロブロ
ックの座標単位、ブロック単位、画素単位で可能にした
命令はＲＯＭ９に格納されており、このＲＯＭ９は図１
１、図１２、図１３に示すようにＡＧＵ３の外部に配設
されていても良い。尚、実際のハードウェアの配置はこ
れらのブロック図の配置とは異なっているのが普通であ
る。

【０１２２】又、メモリ１のメモリ空間は、アドレス１
８ビットが図１５に示すように、フレーム上位１ビッ
ト、マクロブロック位置のＸ座標とＹ座標を表す４ビッ
トと４ビットからなる９ビットの行アドレスとフレーム
下位ビットと、ブロック位置のＸ座標とＹ座標を表す２
ビットと１ビット、画素位置のＸ座標とＹ座標を表す２
ビットと３ビットからなる９ビットの列アドレスで区切
られる。ただし、ブロック位置は輝度信号Ｙの情報のた
めの（０，０）（０，１）（１，０）（１，１）で表さ
れる４つの領域の他に、色差信号Ｃｒ，Ｃｂの情報のた
めのブロックが（０，２）（１，２）の領域に割り当て
られている。又、データは１６ビットであるため、Ｘ座
標方向に隣り合う２画素の８ビットデータに１つのアド
レスが割り当てられている。このため、画素位置のＸ座
標は８画素分にも拘らず、２ビットしか割り当てられて
いない。

【０１２３】そして、命令は２７ビット長の長さで表さ
れ、 （１）メモリアクセス開始アドレス命令 （２）メモリ読み込みループ命令 （３）メモリ書き込みループ命令 （４）ＡＧＵレジスタ制御命令 （５）サブルーチン命令及び条件分岐命令 （６）ホストコンピュータ発行特殊命令 が含まれている。前記（１）のメモリアクセス開始アド
レス命令はメモリ読み込みや書き込みのための、ループ
命令を実行する前に発行して、ループ命令実行のための
開始アドレスを設定する。このことにより、絶対番地の
指定や、現在処理中のマクロブロックからの相対的な位
置の指定や、現在処理中のマクロブロックから動きベク
トル分の偏移を指定できる。前記（２）（３）のメモリ
読み込み／書き込みループ命令は、矩形領域の複数のマ
クロブロックレベルでの繰り返し、矩形領域の複数のブ
ロックレベルでの繰り返し、矩形領域の複数の画素レベ
ルでの繰り返しのためのループ機構を備えているため、
通常は繰り返し文で複雑に記述されるループ制御が、前
記（２）（３）のメモリ読み込み／書き込みループ命令
を利用して簡単に行える。例えば、あるフレームデータ
の読み書きや、あるマクロブロックデータの読み書き
や、ある矩形領域の画素の読み書きが、１つのメモリ読
み込み／書き込みループ命令で実行可能である。（４）
ＡＧＵレジスタ制御命令は、ＡＧＵ３によるモジュール
（要素）の実行順序の制御のために利用される補助レジ
スタのデータのセットやクリアなどの命令である。
（５）のサブルーチン命令及び条件分岐命令は、ＡＧＵ
３のプログラム制御のための命令である。（６）のホス
トコンピュータ８が発行する特殊命令には、プログラム
ＲＯＭ９に基づいて動作する実行モードに代わって、ホ
ストコンピュータからの命令を受け付けるテストモード
でのみ有効な命令である。その中には、指定したステッ
プ数だけ実行するステップ実行命令なども含まれてい
る。テストモードでは、（１）から（３）までのすべて
の命令がホストコンピュータから発行可能になる。

【０１２４】従って、テストモードで、ホストコンピュ
ータ８からメモリ１へ画像データを書き込み、実行モー
ドに変換してある要素を動作させ、再びテストモードに
戻して、メモリ１に書き込まれた演算結果をホストコン
ピュータ８に読み出すことができる。このようにして、
前記各要素レベルでの動作検証が可能になる。ホストコ
ンピュータ８発行の特殊命令には、前記各要素の内部状
態を読み出す命令もあり、同様な方法によって、前記各
要素の回路レベルでの動作検証も可能にしている。

【０１２５】ここで、「動きベクトル探索モジュール
（要素）」について説明する。動きベクトル探索は、処
理する現フレームのマクロブロック毎に、前のフレーム
におけるマクロブロックの位置の周辺で、一番類似する
１６×１６の画素領域を探索する。実際の探索は、現在
の位置から上下、左右方向に夫々最大で１６画素移動す
る４８×４８の画素範囲で、補間処理を利用して画素半
分の分解能で行っている。この範囲内の任意の１６×１
６画素領域と、現フレームのマクロブロックの画素との
間で、画素毎の差分から、それらの絶対値の総和ＳＡＤ
（Ｓｕｍ ｏｆＡｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃ
ｅ）（以下、ＳＡＤと称す）を求める。この操作を全て
の可能性について行い、その中で最小のものも見出し
て、その領域を処理マクロブロックが移動してきた前フ
レームでの位置とする。又、処理マクロブロックの位置
とその位置から動きベクトルを求める。この操作は、４
８×４８の探索領域に１６×１６のウインドウ領域を設
定して、前記ＳＡＤを求めるウインドウ処理を、探索領
域全体に施すというもので、画像処理特有のウインドウ
処理の一つの形と言える。

【０１２６】従来、このウインドウ処理に適する構成法
に、ウインドウＭＳＰＡがあり、本発明ではそのウイン
ドウＭＳＰＡの特徴である高い並列効率を落すことな
く、メモリから探索データと参照データを逐次的に入力
し、ウインドウ並列処理を行う。このようにして、従来
の動画像圧縮処理のハードウェア実現における処理の高
速化の問題を解決している。

【０１２７】次に、図１６は動きベクトル探索回路図で
あり、画像データを記憶しておく外部のメモリ１と、そ
のメモリから前記マクロブロックのデータをマクロブロ
ック毎に逐次入力するデータ形式変換用のバッファ４０
がデータバス２に接続され、相互にデータの交換を行
う。そして、そのバッファ３９から内部バス４０を介し
て出力される３ポートのデータは、３２個の並列アレー
状に接続されたプロセッサ要素１０１，１０２乃至１３
２でなるウインドウＭＳＰＡに供給される。

【０１２８】そのプロセッサ要素１０１乃至１３２のデ
ータを超高速並列演算する加算器４４により、現フレー
ムのマクロブロックが前フレームのどの位置から移動し
てきたものか表す動きベクトルを探索する動きベクトル
探索回路を構成している。例えば、プロセッサ要素１０
１乃至１３２には探索データと参照データの２つの画素
値を入力して、減算と絶対値操作を行い、ある地点まで
のＳＡＤに加算する操作を行っており、この３２個のプ
ロセッサ要素１０１乃至１３２でなるウインドウＭＳＰ
Ａは、並列に動作して１０８９回のウインドウ処理を行
う。１回のウインドウ処理で１６×１６＝２５６回のＳ
ＡＤ処理が必要であるため、全部の探索には、１０８９
×２５６＝２７８，７８４回のＳＡＤ操作が必要であ
る。

【０１２９】実際は、３２個のプロセッサ要素（プロセ
ッサアレーとも称す）が１クロックでＳＡＤ操作を並列
に行っているので、速くとも２７８，７８４回／３２個
＝８，７１２クロックが必要である。常に３２個のプロ
セッサアレーが動作することは不可能であるが、このシ
ステムでは１３，０００クロックの時間で動きベクトル
探索を実行することを可能にしている。

【０１３０】このようにしたことにより、高い並列効率
を落すことなく、メモリ１から探索データと参照データ
を逐次的に入力し、「ウインドウ並列処理」を実行する
手段が確立した。その「ウインドウ並列処理」とは、画
像処理で広く利用される処理で、ある広い画面領域にお
いて、狭いウインドウ２１をくまなく上下左右に動かし
て、画像の認識及び情報加工処理することを意味する
が、ある特定の画素に着目すると、ウインドウ２１の中
でいろいろな位置に含まれるので、その画素の所属する
位置毎に１回づつ所定の計算処理を実行するものとすれ
ば、その所定計算処理を前記位置が変わる毎にやり直す
重複の無駄があった。

【０１３１】そこで、前記重複の無駄を省くべく、ウイ
ンドウ２１を上下左右に動かして何度も所定計算処理を
やり直す代わりに、複数のプロセッサで並列に同時処理
することにより、重複計算しないようにして並列効率を
高めるアレー処理法がウインドウＭＳＰＡにより確立さ
れている。尚、ここで言う「並列効率」とは、ｎ個のプ
ロセッサで並列に同時処理する時に１個で処理する場合
の１／ｎ倍に処理時間の短縮された場合を理想的な１０
０％として、そうならない度合いを効率としたものであ
る。又、前記重複計算しないようにして「並列効率」を
高めるアレー処理法に関しては、既に公表済みなので説
明を省略する。

【０１３２】次に、図１６に示した動きベクトル探索回
路図は、前記「ウインドウ並列処理」に用いられていた
「既成のウインドウＭＳＰＡ」を「動きベクトル探索」
に適用したことこそが、従来例の無い新規な発明であ
る。この「動きベクトル探索」とは、１６×１６画素の
マクロブロック単位で、輝度信号Ｙについてのみ行うも
ので、あるマクロブロックが前フレームのどの位置から
移動してきたかを探索する。

【０１３３】次に、図１７は離散コサイン変換器及び量
子化器のブロック図であり、それらの順動作と逆動作を
説明する。メモリ１に格納されている８×８＝６４画素
のブロックデータは、データバス２を介して逐次的に逆
量子化器５３及び離散コサイン変換／逆変換器５６に入
力される。逆量子化器５３及び量子化器５８は、１クロ
ック周期で１データを処理できる程高度にパイプライン
化されたモジュールであり、高速動作を損なうことのな
いように設計されている。

【０１３４】又、データ形式変換器５５は、離散コサイ
ン変換／逆変換器５６のためのビット並列データ形式か
らビット直列データ形式への変換器である。離散コサイ
ン変換又は逆変換は、通常の二次元処理を２回の一次元
処理に分解し、転置換操作バッファ５７はこの際に必要
となる８×８データの転置換操作を行う。そこで、デー
タ形式変換器５５の詳細を図１８に示し、動作の説明を
する。先ず入力線６１から１６ビットでなるビット並列
データが１クロック毎に入力され、レジスタ６２及びレ
ジスタ６３で合計の１６のレジスタに格納されて行く。
レジスタ６２又はレジスタ６３に８つのデータが揃った
時点で、これらのレジスタから同時にビット直列形式で
データが接続線６４，６５を通して出力され、入力切替
スイッチ６６によってレジスタ６２又はレジスタ６３の
出力データが選択される。

【０１３５】ここで、データ形式変換器に２組のレジス
タ６２，６３を備えている点に着目して、さらに説明す
る。２組のレジスタ６２，６３を用いることにより、デ
ータ形式変換器への入力データの受入れ、シフト操作を
伴う下位桁から上位桁へのデータ群の転送という２つの
処理を同時に並列実行させ、データ処理の高速化を図っ
ている。図１８において、動作タイミングで８クロック
に区切って、動作を説明する。 １）最初の８クロックでは、１６ビットのデータが逐次
レジスタ６２にデータ０乃至７の順で入力される。 ２）次の８クロックでは、レジスタ６２へのデータ入力
ではなく、８区画のレジスタの最下位だけを集めた８個
のデータがレジスタから出力され、それと同時に各区画
のレジスタの夫々のデータは下位方向へとシフトされ
る。このようにして入力された並列データを８つまとめ
て、下位ビットのデータから上位ビットのデータに逐次
出力される。この間、レジスタ６２へのデータ格納を禁
止しているとすれば、次の８クロック分をレジスタ６３
が代わりに格納する必要がある。このように、データ形
式変換器５５へ、２組のレジスタ６２，６３を入力切替
スイッチ６６の作用で交互に用い、メモリ１からの入力
データを連続的に受入れて、パイプライン並列によるデ
ータ処理の高速化、即ちデータ転送レートを落すことな
く、逐次的なデータを並列データに変換する２組のデー
タ形式変換手段を構成している。

【０１３６】ここで言うデータ転送レートとは、毎秒何
ビットのデータを転送できるか、その速度のことであ
る。又、逐次的なデータでは、ある１本の線を介して１
ビットづつ転送するが、例えば１００万ビット／秒のデ
ータ転送レートを必要とする場合、１０万ビット／秒の
データ転送レートの線を１０本並列に用いれば良いこと
になる。

【０１３７】又、図１９で離散コサイン変換／逆変換器
のブロック図に示すように、８つのビット順列データが
入力処理部７１に入力し、８つの１６ビット累積加算器
７２を通って、最終的に出力処理部７３に入力する。

【０１３８】又、図２０で離散コサイン変換／逆変換器
における入力処理部のブロック図に詳細を示すように８
つのビット直列入力データは、ビット直列加算器８１及
びビット直列減算器８２に入力し、これらの出力は８つ
のビット分散計算用ＲＯＭ８３に入力する。さらに、８
つの入力データは直接別の８つのビット分散計算用ＲＯ
Ｍ８４に入力する。これら二組のＲＯＭ出力は切替信号
８５によって制御される切替スイッチ８６によって選択
される。この切替信号８５としては離散コサイン変換が
実行されている場合は「０」が、離散コサイン逆変換が
実行されている場合は「１」が入力される。

【０１３９】又、図２１で離散コサイン変換／逆変換器
における出力処理部のブロック図に詳細を示すように８
つのビット並列入力データは、ビット並列加算器９１及
びビット並列減算器９２に入力する。これら二組のＲＯ
Ｍ出力は切替信号９３によって制御される切替スイッチ
９４によって選択される。切替信号９３は離散コサイン
変換が実行されている場合は「０」が、離散コサイン逆
変換が実行されている場合は「１」が入力される。切替
スイッチ９４の出力は８つのレジスタ９５に入力し、こ
れらのレジスタから逐次的に出力線９６を通して出力さ
れる。

【０１４０】ここで、テレビ電話に付属するテレビカメ
ラで撮影された送話者の顔を主体とする映像信号を、電
話回線により受話者へ伝送する前に以下の信号処理を説
明する。尚、双方向通信のため、送信と受信の往復分の
情報伝送が同一経路で同時になされるが、ここでその双
方向通信に関する説明は省略する。従来からあるＩＴＵ
国際規格Ｈ．２６３準拠の低ビットレート動画像伝送の
信号処理回路がベースになっている。そのベースに追加
する機能として、映像信号から顔の部分を抽出して顔の
ウインドウ２１を構成し、顔の動きに追随して顔のウイ
ンドウ２１を移動させる機構と、顔以外の背景部分の動
きを抑制する時間フィルタ機能と、伝送遅延の小さな新
たな伝送レート制御のための機構があり、これらにより
動画の画像情報に対して適切な圧縮の信号処理を施す。

【０１４１】前記ベースに追加する機能として、まずテ
レビカメラ等により入力された映像信号を認識処理し、
その動画像の画面上で移動自在の特定領域でなる顔のウ
インドウ２１を構成する画素が顔の動きに伴って生じる
動きベクトルの平均値を算出する演算プログラムがあ
る。話し手を聴き手がその肉眼で視野に捕らえている場
合はその話し手の顔の動きに聴き手が視線を追随させる
事により、話し手の顔を常に聴き手の視野の中心に位置
付ける。この行為は人の肉眼における視野の中心付近が
最も解像力に優れているので、興味ある対象物を鮮明に
見るために視野の中心に位置付けて、価値ある有効な情
報を漏らさず最大限に収集しようとする、本能的かつ無
意識又は必要を感じて意識した行動である。このように
話し手の顔を、聴き手の目が解像力に優れている顔のウ
インドウ２１の中心に（画面の中心ではない）位置付け
ようとする行動を、それに該当する第１の知能を備えた
電子機械装置に置き換えるために、その人の顔を含む顔
のウインドウ２１の動きベクトルの平均値を算出する演
算プログラム、前記平均値に対応して顔のウインドウ２
１を移動させるウインドウ位置制御プログラムが機能す
る。

【０１４２】又、第２の知能として顔のウインドウ２１
以外の背景画像２２の動きが激しく動画像情報の多い場
合には、その背景画像２２の動き量を相当に低減して画
質を落とす演算プログラムでなる符号化アルゴリズムが
ある。この演算プログラムは順次継続する前後のフレー
ムで同一位置の各画素を示す情報をそれぞれ足して２で
割った値が後のフレームの画像情報に置き換えることに
より、符号化された動画像情報量を抑制している。情報
量を抑制する事により、伝送容量に制約のある伝送経路
での画像伝送遅延を最小化する出力伝送レートの制御機
構を持つ顔強調型Ｈ．２６３プラス符号化アルゴリズム
と、実行順序の決定及びデータの授受のタイミングを変
更可能なプログラムの機能により、見た目に歴然と顔を
鮮明でかつ自然な動きにし、そうでありながらも背景画
像２２の画質劣化は極端なものでなく、僅かにぼやける
程度に済ませられる。

【０１４３】顔のウインドウ２１は送話者の顔の輪郭を
略中心に補足し、顔のウインドウ２１以外の背景画像２
２の情報量を粗にし、顔のウインドウ２１内の情報量を
蜜に維持し、これら映像信号の持つ画像情報量の総和を
極小にする。これにより、電話回線の制約条件にも当て
はまる情報量となる。又、送話者の喋りに伴って揺動す
る顔の動きに追随して顔のウインドウ２１を移動させる
顔のウインドウ位置制御プログラムにより、ウインドウ
２１が最新位置に更新され続ける。従って、常に顔だけ
は家庭用白黒テレビで視聴している人物の顔に近い鮮明
でかつ自然な動きを伴った映像であり、なおかつ背景の
無駄な情報に関しては極限まで圧縮できるので伝送効率
が高く維持できる。

【０１４４】次に、テレビ電話では送信できる情報量が
決まっているので、視聴者に影響の無い動画像情報は徹
底的に圧縮する必要がある。そして、部分的には無視で
きない情報でも、それが全体に及ぼす影響が少ない場合
は、あえて削除した方が、他の重要情報を増加でき、結
果的には全体の性能を向上できる。

【０１４５】又、Ｂフレーム情報における差分全画素情
報のゼロ化や、イントラマクロブロック以外の輝度信号
のデータの切り下げによる量子化も、動画像情報の大幅
な情報量の削減になる。これらの操作はそれ自体は画像
の劣化の原因になるが、それよりは削減された情報量の
分だけたのデータの情報量を増加できるため、結果的に
は画質の向上になっている。

【０１４６】次に、唇の動きと音声を一致させるリップ
同期の方法であるが、新しく開発した「レート制御方
式」により、１フレーム即ち動画の構成単位画像（テレ
ビでは毎秒２５枚若しくは３０枚）当たりの符号量を平
準化し、その所定の符号量例えば１１２バイトと、単位
時間当たりの伝達可能情報量例えば伝送レート２７Ｋｂ
ｓから予測できる通信遅延時間を「レート制御機構」に
折り込み済であり、例えば常に１０フレーム分の通信遅
延時間が発生すると予測されていれば、その分を過去か
ら現在までの変化量から未来を予測して情報加工する。
多少の予想外れが発生しても実用上何ら問題ない程度の
範囲内で、未来を予測しているので、本発明の一実施形
態での加工済情報では、遅延無く受信される音声に対し
て常に３フレーム以内の画像の遅延に抑えることに成功
した。

【０１４７】これらの知能を多く取り入れたテレビ電話
であっても、その知能を実現するためのハードウェアが
高速で動作しない場合は、１秒間のフレーム数を落すし
か方法が無い。そうしたコマ落ちしたテレビ画像では、
それだけで自然な雰囲気の対談でなくなってしまう。新
しく開発したウインドウＭＳＰＡや、それの構成要素で
あるＡＧＵ集中制御装置、動きベクトル探索回路、離散
コサイン変換と量子化回路及び逆量子化回路と離散コサ
イン逆変換は、目的のハードウェアを回路規模が小さい
低コストな回路で目的を達成する回路を示している。

【０１４８】要するに、テレビ電話を鮮明かつ自然に見
せるために、 （ａ）顔という見たい部分だけを強調する、オブジェク
ト別の重要性に関する重み付け。 （ｂ）全体の画面を鮮明にするための、無駄な情報量の
削減。 （ｃ）画面と音声とを同期させて自然な雰囲気を作り出
すための、画像処理で発生する遅延時間の最小化。 （ｄ）自然な速度で動作する画面を作り出すための、低
コストでしかも高速の動作するハードウェア構成。 からなる画像情報伝送システムなのである。

【０１４９】尚、前記テレビ電話は本発明の一実施形態
に過ぎず、その効率良い動画像情報の符号圧縮システム
の適用範囲は無限にある。そして、その利用者にとって
興味関心の薄いとみなされる部分の画質を劣化させ、そ
の代わりに興味関心の集中する部分の画質を維持するよ
うにし、目くるめく流れ過ぎる無駄な部分の画質を必要
最小限の情報量にまで圧縮してもなお、本来の画像伝送
の目的に沿った、画像の雰囲気が損なわれないような、
自然の動きを実現したものは、本発明の要件に含まれる
ものと看做し得る。

【０１５０】

【発明の効果】請求項１に係る発明によれば、動画像情
報を重み付けするための選別基準を前記ウインドウとし
て明確にし、なおかつ前記ウインドウが前記主なる被写
体の動きに追随するので、確実にその動画像情報に重み
付けできる。

【０１５１】又、請求項２に係る発明によれば、人の顔
を主体とするのみならず、身振り手振りの動作を伴う対
象部までの動画像情報に対して重み付けするための選別
基準を、前記周辺動きウインドウとして明確にし、なお
かつ前記周辺動きウインドウがその人の手などの動きに
追随させ、人の顔を主体として身振り手振りの動作を伴
う対象部まで確実にその動画像情報に重み付けできる。

【０１５２】又、請求項３に係る発明によれば、背景の
動きが激しくその情報量を大幅に削減したい場合を特定
し、かつ適切に処理し、重要でない背景の動画像を見苦
しくならない程度に適宜に間引きできる。

【０１５３】又、請求項４に係る発明によれば、前記動
画像の動きが目くるめく激しい場合は、前記差分画像の
情報量も多くなるが、Ｂフレームに関しては、前記差分
画像の情報量を最小ならしめるべく、差分全画素値を強
制的にゼロにすることにって、伝送元の画像を最も少な
い情報により、伝送先で復元できる。

【０１５４】又、請求項５に係る発明によれば、従来よ
り簡単な構成で、効率的に色差信号でのノイズ削減効果
を発揮できる。従って、人の目の性質上、視覚的により
高い画質を得られる。

【０１５５】又、請求項６及び請求項７に係る発明によ
れば、前記各画像フレームのビット長を高精度で平均化
するために、従来は不可欠とされていた非常に複雑な計
算を、簡単な計算に置き換えることにより、前記の計算
処理のためにする前記遅延時間を減少させ、リップ同期
を実現できる。

【０１５６】又、請求項８及び請求項９に係る発明によ
れば、複数のハードウェア・モジュールの夫々の設計の
独立性も得られ、設計上の制約条件も格段に少なくな
り、複数の設計者が夫々を分担して設計することによ
り、システム全体の設計に対する所要時間を短縮でき
る。

【０１５７】又、請求項１０に係る発明によれば、高い
並列効率を落すことなく、前記外部メモリから探索デー
タと参照データを逐次的に入力し、ウインドウ並列処理
を実行できる。

【０１５８】又、請求項１１に係る発明によれば、デー
タ転送レートを落すことなく、前記外部メモリからデー
タを逐次的に入力し、二次元離散コサイン変換器及び量
子化と逆量子化と二次元離散コサイン逆変換を実行でき
る。

【０１５９】本発明は、以上説明したように構成した動
画像情報の高性能符号圧縮システムとしたから、光ファ
イバー以前の既成の電話回線等に用いて最大の効果を発
揮できる。即ち、周波数帯域を限定した話し声のみを効
率的に伝送することを前提に構築されている、無線も含
めた従来の電話回線網の情報伝送容量の制約の範囲内で
も、十分に実用性を維持したテレビ画像の伝送を、それ
と同伴して伝送される音声とリップ同期させるのみなら
ず、光速度で届く電磁波の絶対的速度からも、画像伝送
の遅延を略無くし、天文学的距離で無い限りは、略自然
なテレビ対談を可能ならしめた。

【０１６０】尚、前記した従来の電話回線網で効果的な
本発明は、将来の光ファイバー網に対しても有効であ
る。即ち、高速大容量化する伝送経路においては、この
発明を用いたテレビ電話による通信の加入件数の増大を
可能ならしめる。従って、より一般大衆にまでその利便
性をもたらす。

【０１６１】又、本発明のシステムを、例えば１２８Ｍ
ビットＤＲＡＭと組み合わせた録画再生装置に応用すれ
ば、音声込みの動画像を毎秒３４Ｋビットのデータ量に
圧縮し、１時間の記録再生できるので、従来のビデオテ
ープレコーダのテープ駆動装置も不要となり、その記録
再生装置を格安で製造できる。前記同様の理由により、
ＲＯＭ画像再生装置も手軽に普及させられる。これらの
応用範囲は子供の玩具から、視聴覚教材、生活必需品及
び公の営造物に至るまで、応用範囲とその利便性は計り
知れない。

【図面の簡単な説明】

【図１】顔のウインドウの説明図である。

【図２】顔のウインドウと周辺動きウインドウの説明図
である。

【図３】背景の情報量を削減する方法の説明図である。

【図４】Ｂフレーム処理による情報量を削減する方法の
説明図である。

【図５】フレームレベルレートに関する条件及び変数の
一覧図である。

【図６】フレームレベルレート制御の処理流れ図であ
る。

【図７】マクロブロックレベルレートに関する変数及び
定数の一覧図である。

【図８】マクロブロックレベルレート制御の処理流れ図
である。

【図９】マクロブロックレベルレート制御における関数
ＣＱ（ｘ）の定義を説明する図である。

【図１０】マクロブロック（ｉ）における量子化レベル
ｑの更新計算処理の流れ図である。

【図１１】符号器のブロック図である。

【図１２】復号器のブロック図である。

【図１３】符号器／復号器兼用一体のブロック図であ
る。

【図１４】集中制御装置（ＡＧＵ）のブロック図であ
る。

【図１５】外部メモリのメモリ領域の構成図である。

【図１６】動きベクトル探索回路図である。

【図１７】離散コサイン変換器及び量子化器のブロック
図である。

【図１８】データ形式変換器のブロック図である。

【図１９】離散コサイン変換／逆変換器のブロック図で
ある。

【図２０】離散コサイン変換／逆変換器における入力処
理部のブロック図である。

【図２１】離散コサイン変換／逆変換器における出力処
理部のブロック図である。

【符号の説明】

１，メモリ ２，データバス ３，ＡＧＵ ４，制御バス ８，９，ＲＯＭ １０，動きベクトル探索部 ２１，ウインドウ ２２，背景画像 ３９，５７，バッファ ４１，動き予測機能部 ４２，全画素値ゼロ化機能部 ４５，符号生成部 ４６，復号部 ４７，逆量子化部 ４８，離散コサイン逆変換部 ４４，４９，加算部 ５１，周辺動きウインドウ ５５，データ形式変換器 ５６，離散コサイン変換／逆変換器 １０１，１０２，…，１３２，プロセッサ要素

───────────────────────────────────────────────────── フロントページの続き (72)発明者 伊 藤 和 人 埼玉県浦和市下大久保255番 埼玉大学電 気電子システム工学科内 (72)発明者 大 塚 友 彦 東京都八王子市椚田町1220番２号 東京工 業高等専門学校電気工学科内 (72)発明者 トリオ・アディノ 東京都目黒区大岡山二丁目12番１号 東京 工業大学理工学研究科電気電子工学専攻内 (72)発明者 チャワリット・ホンサワイック 東京都目黒区大岡山二丁目12番１号 東京 工業大学理工学研究科電気電子工学専攻内 Ｆターム(参考） 5C059 KK00 KK13 KK15 MA14 MA23 MC11 NN21 PP05 PP06 PP07 SS07 TA00 TA43 TA45 TA60 TA69 TB07 TB08 TC12 TC13 TC15 TC19 TC20 TC27 TC34 TC37 TC38 TC39 TD11 TD16 UA02 UA36 UA38 5J064 AA02 BA01 BA16 BB01 BB03 BC01 BC08 BC16 BD02

Claims (11)

【特許請求の範囲】
1. 【請求項１】 認識処理中の動画像の画面上で移動自在
   の特定領域即ち優先的な情報処理を施されるウインドウ
   （２１）を構成する全画像を矩形の小ブロックに分割し
   て逐次処理を行う方式の下で、ブロックの動画像の動き
   に伴った動きベクトルを利用して、次のフレームの顔の
   ウインドウの位置を推定し、主なる被写体の動きにウイ
   ンドウ（２１）を追随させることを特徴とする動画像情
   報の高性能符号圧縮システム。
2. 【請求項２】 前フレーム画像と現フレーム画像の差分
   が所定の閾値以上であることを条件に動作を伴い前記主
   なる被写体に次ぐ重要性を持つ対象部を囲んで変動自在
   の領域即ち前記特定領域に準じて優先的な情報処理を施
   される周辺動きウインドウ（５１）を構成する全画像を
   矩形の小ブロックに分割して逐次処理を行う方式の下
   で、ブロックの動画像に伴った動きベクトルを利用し
   て、次のフレームの周辺動きウインドウの位置及び領域
   を推定し、前記変動自在の領域にまで周辺動きウインド
   ウ（５１）を追随させることを特徴とする動画像情報の
   高性能符号圧縮システム。
3. 【請求項３】 前記ウインドウ（２１）と前記周辺動き
   ウインドウ（５１）の枠で被写体と背景を区別し、その
   背景の動きが激しく動画像情報量の多い場合には前記背
   景の動き量を低減して背景画質をわざと劣化させる演
   算、即ち現フレームのマクロブロック画像に、そのマク
   ロブロック画像と同一の位置にある前画像フレームのデ
   ータを所定の割合で加算し混合する時間方向フィルタを
   備え、前記背景の動画像情報量を削減することを特徴と
   する請求項１又は請求項２に記載の動画像情報の高性能
   符号圧縮システム。
4. 【請求項４】 現フレーム画像と前参照フレーム画像と
   後参照フレーム画像を入力して動き予測、動き補償及び
   予測方式決定を行う動き予測機能部と、その動き予測機
   能部から出力される予測画像と前記現フレーム画像との
   差分情報を入力してその差分情報の全画素値を強制的に
   ゼロにする全画素値ゼロ化機能部と、その全画素値ゼロ
   化機能部から出力されるゼロ化全画素情報を入力し、前
   記動き予測機能部が決定した予測方式により動画像の次
   の動きを予測しながら前記ゼロ化全画素情報を符号化す
   る符号生成部を具備してなる符号器と、その符号器によ
   り符号圧縮して送信され伝送経路を経て送り届けられた
   動画像情報を受信して復号する復号部と、その復号部か
   ら出力される復号信号を入力して逆量子化する逆量子化
   部と、その逆量子化部から出力される逆量子化信号を入
   力して離散コサイン逆変換することにより前記差分画像
   に復元する離散コサイン逆変換部と、その復元差分画像
   と前記予測方式により予測された予測画像を足し合わせ
   て復号画像を出力する加算部を具備してなる復号器を備
   え、Ｂフレーム処理することを特徴とする動画像情報の
   高性能符号圧縮システム。
5. 【請求項５】 前記予測画像を使わずに現マクロブロッ
   ク画像を直接符号化するイントラマクロブロックの場合
   にのみ輝度信号と色差信号を四捨五入により量子化し、
   前記イントラマクロブロック以外の場合には輝度信号を
   切り下げにより量子化し色差信号は四捨五入により量子
   化し、輝度信号と色差信号に同一の量子化レベルを適用
   したまま色差信号のノイズを低減することを特徴とする
   動画像情報の高性能符号圧縮システム。
6. 【請求項６】 符号化された動画像情報のビット量を通
   信バッファ残留ビット量と比較する比較手段と、その比
   較手段の比較結果により前記残留ビット量が枯渇しない
   ようにフレームの目標ビット量を制御する制御手段と、
   その制御手段による制御結果を用いて、カメラ入力画像
   が前記符号器、伝送経路及び前記復号器を経由して復号
   画像となって出力されるまでの間に発生する遅延時間と
   コマ落ちを最小限にする、フレームレベルレート制御に
   おける、フレームの目標ビット量の計算手段を備えたこ
   とを特徴とする動画像情報の高性能符号圧縮システム。
7. 【請求項７】 フレームの最初のマクロブロックに適用
   する量子化レベルを、前フレームの各マクロブロックの
   量子化レベルの重み付き平均を用いて算出する第一の計
   算手段と、二番目以降のマクロブロックに適用する量子
   化レベルの微調整量を、前記目標ビット量、現マクロブ
   ロックまでの実際の符号量及び前記最初のマクロブロッ
   クに適用する量子化レベルを用いて算出する第二の計算
   手段を備えたことを特徴とする動画像情報の高性能符号
   圧縮システム。
8. 【請求項８】 画像フレーム情報を保存するメモリと、
   各々が独立して動作するハードウェア・モジュールをデ
   ータバスを介して結合し、前記メモリと前記各ハードウ
   ェア・モジュールとの間のデータの流れ及び動作スケジ
   ュールを制御する集中制御装置が前記各ハードウェア・
   モジュールに制御バスを介して結合したシステム・アー
   キテクチャにより構成された符号器及び復号器を備えた
   ことを特徴とする動画像情報の高性能符号圧縮システ
   ム。
9. 【請求項９】 画像を複数のブロックに分割しそのブロ
   ックの座標単位の情報を処理するブロック方式に適合す
   るアドレス構成のメモリ領域でなる外部メモリと、メモ
   リアクセスのためのアドレス生成を前記マクロブロック
   の座標単位、ブロック単位、画素単位で可能にした命令
   及び前記各ハードウェア・モジュールの実行制御の命令
   プログラムを格納したＲＯＭを備えた集中制御装置を有
   することを特徴とする請求項７又は請求項８に記載の動
   画像情報の高性能符号圧縮システム。
10. 【請求項１０】 前記外部メモリと、そのメモリから前
    記マクロブロックのデータをマクロブロック毎に逐次入
    力するデータ形式変換用のバッファと、そのバッファか
    ら出力される３ポートのデータを供給される３２個の並
    列アレー状に接続されたプロセッサ要素でなるウインド
    ウ・メモリ・シェアリング・プロセッサー・アレー・ア
    ーキテクチャと、そのプロセッサ要素のデータを超高速
    並列演算する演算手段と、現フレームのマクロブロック
    が前フレームのどの位置から移動してきたものか表す動
    きベクトルを探索する動きベクトル探索回路を備えたこ
    とを特徴とする請求項１乃至請求項９の何れかの請求項
    に記載の動画像情報の高性能符号圧縮システム。
11. 【請求項１１】 前記外部メモリと、そのメモリから縦
    ８横８都合６４画素でなる前記マクロブロックのデータ
    をマクロブロック毎に逐次入力し、データ転送レートを
    落すことなく、逐次的なデータを並列データに変換する
    ２組のデータ形式変換手段と、そのデータ形式変換手段
    を介して前記並列データを二次元離散コサイン変換を行
    うプロセッサー・アレーと、そのプロセッサー・アレー
    からの二次元離散コサイン変換出力を入力してこれを量
    子化し前記外部メモリに逐次的にデータ格納するために
    データ出力する量子化モジュールを備えたことを特徴と
    する請求項１乃至請求項１０の何れかの請求項に記載の
    動画像情報の高性能符号圧縮システム。