JP2000188760A

JP2000188760A - 映像符号変換方法及び装置

Info

Publication number: JP2000188760A
Application number: JP36516098A
Authority: JP
Inventors: Junichi Kimura; 淳一木村; Hitoshi Takaya; 仁志貴家; Taizo Kinoshita; 泰三木下; Satoru Date; 哲伊達
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1998-12-22
Filing date: 1998-12-22
Publication date: 2000-07-04

Abstract

(57)【要約】【課題】回路規模が小さい新規の映像符号変換方法及び
装置を提供すること。【解決手段】映像符号に対してＤＣＴ領域で動き補償に
よるフレーム間フレーム内変換を行なう変換回路と、映
像符号を一時保持することによって映像符号を所定の時
間遅らせるバッファと、当該変換回路とバッファの出力
信号を選択して切り換える合成回路とによって構成し、
映像符号変換をＤＣＴ領域のまま行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を圧縮符号化
する技術に係り、特にフレーム間符号化した画像をフレ
ーム内符号化画像に変換する映像符号変換方法及び装置
に関する。

【０００２】

【従来の技術】動画像は、その情報量が膨大であり、デ
ジタル化して伝送、蓄積するために高能率符号化によっ
て情報量を圧縮することが必要となる。高能率符号化の
国際標準が国際電気通信連合の電気通信標準化部門（Ｉ
ＴＵ−Ｔ）や国際標準化機構（ＩＳＯ）及び国際電気標
準会議（ＩＥＣ）の連合によって幾つか設定されてお
り、例えば、ＩＴＵ−Ｔによる狭帯域伝送を対象にした
Ｈ．２６１及びＨ．２６３やＩＳＯ／ＩＥＣによる一般
的なＭＰＥＧ１及び適用範囲を広くしたＭＰＥＧ２等が
ある。

【０００３】これらの国際標準方式には、いずれも動き
補償フレーム間予測符号化によるフレーム間符号化技術
が用いられ、これにフレーム単独で即ちフレームの画面
内で符号化を行なうフレーム内符号化技術が併用され
る。

【０００４】図２２に符号化した動画像のフレーム構成
を示す。まず、第１のフレームは、フレーム内符号化で
符号化され、Ｉピクチャとなる。フレーム内符号化は、
先に挙げた国際標準のいずれにおいても、直交変換の一
種である離散コサイン変換（以下「ＤＣＴ(Discrete co
sine transform）」という）によって行なわれる。画像
の８画素×８画素のブロック単位にＤＣＴが適用され
る。ブロックの６４の画素は、ＤＣＴによって６４個の
周波数成分（ＤＣＴ係数）に変換される。ＤＣＴ係数
は、続いて可変長符号によって符号化される。

【０００５】第２フレーム以降は、多くのフレームが
（方式によっては全てのフレームが）直前の符号化画像
を参照画像として利用して予測符号化を行なうフレーム
間符号化によって符号化され、Ｐピクチャとなる。具体
的には、画像の１６画素×１６画素のマクロブロック単
位に参照画像から１６×１６画素の予測画像を抽出し、
符号化するマクロブロックと予測画像との差を取る、即
ち対応する画素毎に差をとることにより生成した１６×
１６画素の差分画像を符号化する。差分画像の符号化
は、フレーム内符号化と同様に、分割した８×８画素毎
にＤＣＴを施すことによって行なわれる。なお、フレー
ム間符号化が行なわれても、フレーム内の一部に適応的
にフレーム内符号化が行なわれれる場合があるが、フレ
ーム内符号化を含んでも総称して「フレーム間符号化」
と云うこととする。

【０００６】上記の予測画像の抽出は、参照画像上で、
符号化するマクロブロックと同じ画面位置周辺から最適
な（通常は予測誤差が最小となる）部分を探し出すこと
によってなされる。この予測画像の参照画像上での位置
を表すために、符号化するマクロブロックの画面位置か
らの動きベクトル（垂直水平の２次元）を用いる。この
ようにして動き補償フレーム間符号化により、符号化さ
れた差分画像と動きベクトルが生成され、これらから映
像符号が生成される。

【０００７】復号は、Ｉピクチャから出発し、これにフ
レームが進む毎に差分画像を累積していくことによって
参照画像を生成していき、前のフレームの参照画像から
動きベクトルによって位置が修正された予測画像を取り
出し、その予測画像に現在のフレームの差分画像を加え
て再生画像を得ることによって行なわれる。

【０００８】動きベクトルの精度には、整数画素精度の
場合と予測精度の向上を目的とした半画素精度（ハーフ
ペル）との場合の２種類がある。整数画素精度の場合に
は、動きベクトルの示す各画素が予測画像となるが、ハ
ーフペルの場合は、詳細説明を省略するが、動きベクト
ルの示す半画素を、２画素間又は４画素間の平均とす
る。

【０００９】以上は輝度信号の符号化方法であるが、２
成分の色信号（色差信号）についても同様の処理が行わ
れる。但し、色差信号の解像度（画素数）が垂直、水平
とも輝度信号の１／２であるため、動き補償が８×８画
素単位で輝度信号と連動して行なわれる。

【００１０】また、標準方式によっては、時間的に前後
のフレームから予測（前方向予測／後方向予測／双方向
予測切換）を行うＢなピクチャも存在するが、これはＰ
ピクチャの処理の延長として処理ができるので説明を省
略する。

【００１１】以上のように、動き補償フレーム間符号化
によって生成されるＰピクチャは、差分画像の累積によ
って生成される。従って、直前の参照画像がないとＰピ
クチャを復号化・再生することができない。例えば、図
２２の６番目のフレーム（Ｐピクチャ）を復号化しよう
とすると、第１フレームからの累積によらないと、即ち
第１フレームまで遡らないと復号化することができな
い。先に挙げたＭＰＥＧ１，ＭＰＥＧ２では、通常０．
５秒周期（１５フレーム周期）程度でＩピクチャが挿入
されるが、Ｈ．２６１，Ｈ．２６３を用いたリアルタイ
ムの通信等では、通常、第１フレームがＩピクチャとし
て符号化された後は全てＰピクチャ（又はＢピクチャ）
として符号化されることが多い。

【００１２】そこで、図２２に示したフレーム構成の映
像符号が、例えばディジタル放送によるもので、その映
像の途中から、例として第５フレームから録画すると
き、そのまま録画したのではそれ以前の第１〜第４フレ
ームの映像が録画されないので第１フレームのＩピクチ
ャが欠落し、録画した映像を再生することができない。
従って、録画に先立って録画開始の第５フレームをＩピ
クチャに変換しておく必要がある。即ち、Ｉ1，Ｐ2，Ｐ
3，Ｐ4，Ｐ5，Ｐ6のように構成されている映像符号をＩ
1，Ｐ2，Ｐ3，Ｐ4，Ｉ5，Ｐ6の構成に変える必要があ
る。

【００１３】このような変換が必要になる場合は、その
他に、シーン変化の大きい静止画（フレーム）を取り出
し、それを縮小画像にして一画面中に並べる場合やフレ
ームを間引きして早送り再生を行なう場合など多数あ
る。

【００１４】さて、映像符号の途中のＰピクチャをＩピ
クチャに変換する従来の装置の例として、図２３に示す
符号変換装置１がある。入力された映像符号２（符号レ
ベルの信号）は、復号化回路３において復号化処理さ
れ、一旦、再生映像４になる。同時に復号化回路３は、
復号化処理時に用いた動きベクトル５を出力する。再生
映像４は、画素レベルの信号であり、そのまま表示可能
となる信号である。

【００１５】再生映像４を再び符号化する過程で、途中
がＩピクチャとして符号化され、その他がＰピクチャと
して符号化され、それによって変換が行なわれる。Ｉピ
クチャとしての符号化は、外部からの選択信号106によ
る制御のもとで行なわれる。選択信号106は、上記の例
では、録画開始を示す信号やシーン変化信号などであ
る。再生映像４の符号化は、再符号化回路６によって行
なわれ、変換された映像符号７（符号レベルの信号）が
出力される。

【００１６】復号化回路３の詳細を図２４に示す。この
回路は一般的に用いられる標準的な復号化回路である。
入力された映像符号２は、可変長復号化回路（ＶＬＤ）
２０において解読される。解読された符号化差分画像の
ＤＣＴ係数２１は、逆量子化回路（ｉＱ）２２に入力さ
れる。また、同時に解読された動きベクトル５は、動き
補償回路（ＭＣ）２８に与えられるとともに復号化回路
外へ送られる。ＤＣＴ係数２１は、逆量子化回路２２に
よって逆量子化されて差分ＤＣＴ係数２３となり、係数
２３は続いて逆ＤＣＴ変換（ｉＤＣＴ）回路２４に入力
され、差分画像２５となる。

【００１７】フレームメモリ（ＦＭ）２６にはその直前
に復号化した参照画像が格納されており、動き補償回路
２８は、動きベクトル５の値に応じて画像信号２７をフ
レームメモリ２６から読み出し、予測信号２９を出力す
る。動きベクトルが整数精度の場合は、８×８画素の予
測画像２９に対し８×８個の画素の画像信号２７を読み
出し、ハーフペルの場合は、８×８画素の予測画像２９
に対し、ハーフペルの計算に必要な個数、即ち９×８、
８×９又は９×９個のいずれかの画素の画像信号２７を
読み出す。

【００１８】差分画像２５と予測画像２９は、加算回路
３０にて画素毎に加算され、画素レベルの再生画像４と
なる。再生画像４は、フレームメモリ２６に書き込ま
れ、次のフレームの参照画像となる。

【００１９】次に、再符号化回路６の詳細を図２５に示
す。この回路も、制御回路７１に選択信号106を入力す
ることの他は、一般的に用いられる標準的な符号化回路
である。入力された再生画像４は、差分回路４０で予測
画像４１との差分がとられ、差分画像４２が生成され
る。

【００２０】フレーム間予測モードにしてＰピクチャを
出力するときは、スイッチ７０が閉じられ、参照画像か
らの予測画像４１が差分回路４０に供給される。予測画
像４１は、参照画像が格納されているフレームメモリ５
４から読み出した信号に対して動き補償回路５６が位置
の修正を行なったものである。回路５６は、動きベクト
ル５を使って位置の修正を行なう。

【００２１】一方、フレーム内予測モードにしてＩピク
チャを出力するときは、スイッチ７０が切られ、予測画
像４１は、差分回路４０に送られず、加算回路にも送ら
れない。そのため、差分回路４０及び加算回路５２の出
力信号は、差分ではなく、画像そのもとなる。

【００２２】スイッチ７０は制御回路７１により制御さ
れる。制御回路には選択信号106が入力される。選択信
号106がフレーム内符号化を指示したときには、スイッ
チ７０は切断状態になり、映像信号はＩピクチャにな
る。フレーム間符号化を行なうときは、制御回路７１
は、画像の状況により適宜接続／切断を選択する。

【００２３】フレーム間符号化のときの差分画像４２
は、ＤＣＴ回路４３にてＤＣＴ係数４４に変換される。
ＤＣＴ係数４４は、量子化回路４５にて量子化されたＤ
ＣＴ係数４６となり、続いてＤＣＴ係数４６は、可変長
符号化回路４７にて動きベクトル５及び符号化モード等
の情報と共に符号化され、映像符号７が出力される。

【００２４】一般に、画像信号は、その周波数成分が低
周波成分に偏る性質がある。そのため、量子化されたＤ
ＣＴ係数の高次部分は、０である確率が非常に高い。こ
の性質を利用して大幅な情報量削減が行なわれる。量子
化回路４５によって量子化されたＤＣＴ係数４６は、逆
量子化回路４８にて逆量子化され、続いて逆ＤＣＴ変換
回路５０を経て再生差分画像５１となる。再生差分画像
５１は、加算回路５２にて先の予測画像４１と加算さ
れ、再生画像５３となる。再生画像５３は、次のフレー
ムの符号化時の参照画像としてフレームメモリ５４に格
納される。

【００２５】フレーム内符号化のときは、差分回路４０
及び逆ＤＣＴ変換回路５０の出力は画像となり、情報量
削減がフレーム面内で行なわれる。こうした処理により
映像符号の中の符号化のモードを変更することができ
る。具体的には、符号中のＰピクチャをＩピクチャに変
更することができる。

【００２６】

【発明が解決しようとする課題】上記のＰピクチャをＩ
ピクチャに変換する映像符号変換装置には、以下の問題
点がある。第１は、画素レベルまで復号化することによ
って情報量が増大した後で再符号化を行なうため、処理
量が多くなって回路規模が増大するという問題点であ
る。第２は、変換された映像符号を送信する送信装置と
同装置からの映像符号を受ける複数の受信装置とによっ
て構成される映像システムの問題点で、そのようなシス
テムでは受信装置が個々独立に映像符号変換を要求する
（選択信号を発信する）ので、受信装置毎に映像符号変
換装置を設けざるを得なく、システムの回路規模増大が
避けられないという問題点である。

【００２７】本発明の目的は、従来技術の前記問題点を
解決し、回路規模の小さい新規の映像符号変換方法及び
装置を提供することにある。

【００２８】

【課題を解決するための手段】上記の従来の変換過程
は、符号化されているＤＣＴ領域の符号レベルの信号を
逆ＤＣＴ変換によって一旦画素レベルの信号にし、この
画素レベル信号を再びＤＣＴ変換してＤＣＴ領域の符号
レベル信号にする過程になっている。一方、ＤＣＴ領域
のままフレーム間フレーム内変換を行なう処理のアルゴ
リズム及びその構成が電子情報通信学会主催の第１２回
ディジタル信号処理シンポジウム第Ｃ７−４号第５９７
頁〜第６０２頁（平成９年１１月）に記載のＤＣＴ領域
での解像度変換法の中に見られる。

【００２９】本発明者は、この処理手法を利用すること
により、一旦画素レベルにすることなくＤＣＴ領域のま
まフレーム間フレーム内変換を行ない、変換の必要がな
いときは入力の映像符号をそのまま用いることによって
映像符号変換装置を構成可能であることを見い出した。
この構成により、全ての映像符号を一旦画素レベルの再
生画像にしてから再び符号化を行なう従来の方法に比
べ、回路規模を著しく低減することができる。即ち、本
発明の映像符号変換装置は、映像符号に対してＤＣＴ領
域で動き補償フレーム間フレーム内変換を行なう変換回
路と、映像符号を一時保持することによって映像符号を
所定の時間遅らせるバッファと、変換回路とバッファの
出力信号を選択して切り換える合成回路とをもって構成
することを特徴とする。

【００３０】なお、変換回路とバッファの出力信号は、
常に同時に存在するので、複数の受信装置を配置する場
合、複数の受信装置でフレーム間フレーム内変換回路を
共有し、受信装置毎に備えるのを合成回路のみとするこ
とが可能になる。これによって、回路規模低減の効果を
一層高めることができる。

【００３１】

【発明の実施の形態】以下、本発明に係る映像符号変換
方法及び装置を図面に示した幾つかの実施例による発明
の実施の形態を参照して更に詳細に説明する。

【００３２】

【実施例】＜実施例１＞図１において、101は、入力の
映像符号２に対してフレーム間フレーム内変換を行なう
回路、105は、映像符号２を一時保持することによって
同映像符号を所定の時間遅らせるバッファ、104は、フ
レーム間フレーム内変換回路101の出力信号であるフレ
ーム内信号102とバッファ105の出力信号である映像符号
103のいずれかを選択して映像符号７を出力する合成回
路、100は、回路101，104，105からなる映像符号変換装
置を示す。

【００３３】フレーム間フレーム内変換回路101の出力
するフレーム内信号102は、具体的には、画面を８×８
のブロックに分割し、各ブロックをＤＣＴで変換したと
きのＤＣＴ係数列である。なお、変換回路101の変換処
理で時間遅れが生じるので、バッファ105は、入力の映
像符号２をその遅れに合わせるために用いられる。バッ
ファ105に格納された映像符号２が読み出されて映像符
号103になる。合成回路104は、外部から入力されるフレ
ーム内／フレーム間の選択信号106に応じて、フレーム
内信号102と映像符号103のいずれかを選択し、選択した
信号がフレーム内信号102の場合はそれを可変長符号化
し、更にヘッダ等の情報を付加する。それによってフレ
ーム内信号102は、フレーム内符号化の映像符号にな
り、映像符号７として出力される。選択した信号が映像
符号103の場合は、映像符号103がそのまま映像符号７と
して出力される。

【００３４】フレーム間フレーム内変換回路101の詳細
構成を図２に示す。入力された映像符号２は、可変長復
号化回路２０にて復号化され、ＤＣＴ係数２１になる。
ＤＣＴ係数２１は、逆量子化回路２２の処理で差分ＤＣ
Ｔ係数２３になる。

【００３５】ＤＣＴ領域動き補償回路（ＤＣＴ−ＭＣ）
201は、以下に述べるＤＣＴ領域の予測画像、即ち予測
ＤＣＴ係数202を出力するもので、図２４の動き補償回
路２８の動作をＤＣＴ領域で行なう。動きベクトル５
は、動き補償回路201に供給される。なお、動き補償回
路201の詳細構成を後で説明する。補償回路201は、動き
ベクトル５の値に応じて、参照画像のＤＣＴ係数（参照
画像をフレーム内符号化したときのＤＣＴ係数列）が格
納されているフレームメモリ205から、予測画像の処理
部分のＤＣＴ係数206を読み出し、これに対して後述す
る変換を施すことによって予測ＤＣＴ係数（８×８画素
の予測画像をＤＣＴ変換した信号）202を出力する。

【００３６】差分ＤＣＴ係数２３と予測ＤＣＴ係数202
は、その周波数成分毎に加算回路203で加算され、再生
ＤＣＴ係数となる。この再生ＤＣＴ係数は、動き補償を
施された後のＤＣＴ係数であるから、再生画像にＤＣＴ
変換を施した信号、即ち上記のフレーム内信号102であ
る。

【００３７】ＤＣＴ領域動き補償回路201の詳細構成を
説明する前に、その処理のアルゴリズムを説明する。こ
の変換アルゴリズムは、前掲の文献に示されているもの
を使用した。

【００３８】アルゴリズムの理解を容易にするために、
まず、画素領域における処理内容を図３，４を用いて説
明し、次にそれらをＤＣＴ係数領域に適用した場合の方
法を説明する。現在フレームにおける８×８画素のブロ
ックに対応する予測画像の生成には、参照画像のブロッ
クが重なる４つの符号化するブロック（図３の左側参
照）の信号を利用する。その重なる位置は、動きベクト
ルの大きさによって変化する。即ち、動きベクトルによ
ってどのように重なるかが定まる。従って、参照画像の
ブロックを動きベクトルを用いてずらし、符号化するブ
ロックに完全に重なるようにすれば補償が行なわれたこ
とになる。

【００３９】なお、利用するブロックの数は、ベクトル
の水平又は垂直成分が８の整数倍である場合は、２又は
１に縮退するが、以下の説明ではより一般的な場合、即
ち各成分とも８の整数倍でない場合を仮定して説明を行
う。

【００４０】この場合、画素領域において、４つのブロ
ックＢ１〜Ｂ４の縦横斜め線を施した部分が用いられ
る。Ｂ１〜Ｂ４を図３の右側に示したＢref１〜Ｂref４
のようにそれぞれ平行移動し、不要画素部分に０を補填
した後、Ｂref１〜Ｂref４を加え合わせることにより、
完全に重なった（画素領域での）予測画像のブロック
（以下に述べるＢref）が求まり、予測画像が生成され
る。

【００４１】ＢからＢrefへの変換は、図４に示すよう
に、変換を施す部分のサイズ（図４の例ではｗ×ｈ画
素）に応じたマトリクスを２回乗ずることにより実現す
る。サイズは、動きベクトルに対応している。図４の例
では、図の下部分にあるマトリクスＶ(ｈ）をＢ１の左
から乗じ、更に、右からマトリクスＨ(ｗ）を乗ずるこ
とにより、Ｂref１が生成される。同様にして、Ｂref２
〜Ｂref４が式(１)のように記述される。

【００４２】

【数１】

【００４３】こうして生成されたＢref１〜Ｂref４をマ
トリクス加算（以下単に「加算」又は「和」という）す
ることにより、４つのブロックに分割されていた画素を
一つのブロックＢrefにまとめることができる。Ｂrefか
ら予測画像が生成される。

【００４４】以上は画素領域での処理であるが、ＤＣＴ
領域では式(１）最終式の両辺にＤＣＴを施すことによ
って実現される。具体的には、式(２）に示すように、
Ｂref１〜Ｂref４をＤＣＴで変換した係数の和となる。
和のＤＣＴ(Ｂref）がＤＣＴ領域の処理で得られること
を以下に述べる。

【００４５】

【数２】

【００４６】まず、式(１）の例えば最上式のＢref１に
ついては、Ｂref１にＤＣＴ変換を施したＤＣＴ(Ｂref
１）が、結局Ｖ(ｈ)，Ｂ１，Ｈ(ｗ）の各々にＤＣＴを
施した後にそれぞれを乗ずることによって得られること
が式(３）に示される。

【００４７】次に、Ｂref２〜Ｂref４についても同様
に、マトリクス及びブロックの各々にＤＣＴを施した後
にそれぞれを乗ずることにより、それらのＤＣＴ変換が
得られることが示される。

【００４８】

【数３】

【００４９】一方、ＤＣＴ(Ｖ(ｈ)），ＤＣＴ(Ｈ(ｗ)）
等は、ｈやｗが定まれば決まる固定マトリクスであり、
ｈ，ｗの値はそれぞれ１〜７の範囲をとるため、ＤＣＴ
(Ｖ(ｈ)）及びＤＣＴ(Ｈ(ｗ)）等としてそれぞれ７種類
合計１４種類のマトリクスを用意すればよい。

【００５０】以上から、Ｂ１〜Ｂ４のＤＣＴ係数である
ＤＣＴ(Ｂ１）〜ＤＣＴ(Ｂ４）を記憶しておくことによ
り、それぞれにＤＣＴ(Ｖ(ｈ)），ＤＣＴ(Ｈ(ｗ)）等を
乗じてＤＣＴ(Ｂref１）〜ＤＣＴ(Ｂref４）が得られ、
これらを加算することよってＤＣＴ(Ｂref）が得られる
ことが分かる。ＤＣＴ(Ｂ１）〜ＤＣＴ(Ｂ４）は、ＤＣ
Ｔ領域の信号であり、従って、ＤＣＴ領域で、即ちＤＣ
Ｔの逆変換を行わなくても予測ＤＣＴ係数を生成するこ
とができることが分かる。

【００５１】上記の説明は、動きベクトルの精度が整数
精度の場合である。詳細な説明を省略するが、予測画像
にハーフペルが用いられる場合も、８×８画素の予測画
像生成に９×９画素の信号を利用して同様に予測ＤＣＴ
係数が生成される。

【００５２】図２に示したのＤＣＴ領域動き補償回路20
1は、上記のアルゴリズムを実現する回路で、その詳細
を図５に示す。入力されたフレームメモリ205出力のＤ
ＣＴ係数206即ちＤＣＴ(Ｂ１)〜ＤＣＴ(Ｂ４）は、一旦
メモリ120に蓄積される。一方、ＤＣＴ＿Ｈテーブル133
及びＤＣＴ＿Ｖテーブル137には、動きベクトルに対応
したＤＣＴ係数のマトリクス、例えばＤＣＴ(Ｈ
(ｗ)），ＤＣＴ(Ｖ(ｈ)）等が格納されている。また、
コントロール回路140は、動きベクトル５に応じてメモ
リ120，124，130及びテーブル133，137の動作を制御す
る。

【００５３】上記の２つのマトリクスの各要素は、動き
ベクトル５が入力されたときのコントロール回路140の
制御により、後述する順序で読み出される。まず、メモ
リ120から読み出されたＤＣＴ係数206と、テーブル133
からのマトリクス要素とが積和演算器122によって積演
算され、結果がメモリ124の値に累積され、続いて累積
結果が入力に戻されて積演算に加算される。この一連の
演算により、例えば、式(３）のＤＣＴ(Ｂ１)・ＤＣＴ
(Ｈ(ｗ)）に相当する部分の演算が完了する。

【００５４】同様に積和演算器126とメモリ130により、
式(３）のＤＣＴ(Ｖ(ｈ)）との演算に相当する演算が行
われ、メモリ130にＤＣＴ(Bref１）が蓄えられる。次の
Ｂ２に関する演算のときに、蓄えられているＤＣＴ(Bre
f１）に演算結果を累積し、ＤＣＴ(Bref１)＋ＤＣＴ(Br
ef２）を得、続いてそれにＢ３，Ｂ４に関する演算結果
を累積する。このようにして、式(２）の加算を同時に
実行することができる。

【００５５】図６は、積和演算器122，126に入力するデ
ータの順番を示した図である。同図の上部に、マトリク
スＡとマトリクスＢのマトリクス積算を行ない、マトリ
クスＣを得る例を示している。ここで、例えばＡＨ１
は、左側のマトリクスＡの第１行目の８データを左から
順番に処理することを表わし、ＢＶ１は、右側マトリク
スＢの第１列目の８データを上から順番に処理すること
を表わしている。図６の下部には各データの読出タイミ
ングを示している。まず、マトリクスＡの第１行（ＡＨ
１）とマトリクスＢの第１列（ＢＶ１）のデータを順に
読出し、順次ＡＨ１のデータとＢＶ１の対応するデータ
同士を積算・累積することによりＣ１１が得られ、メモ
リ１２４に格納される。以下、ＢＶ１は同じデータを繰
り返し使用し、マトリクスＡはＡＨ２，ＡＨ３，…と順
次データを読み出し演算を行なうことにより、Ｃ２１〜
Ｃ８１のデータが得られる。同様の処理をＢＶ２，ＢＶ
３，…に対して行なうことにより、全てのマトリクスＣ
の要素が得られる。

【００５６】図６に示した演算は、マトリクスＡの全て
の要素を用いて計算しているが、先に触れたように、画
像信号のＤＣＴ係数の有効成分（非零の係数）は、ＤＣ
Ｔ係数206が図６のマトリクスＡであるとして、図６の
マトリクスＡの左上即ち低域成分に集中する傾向があ
り、逆にマトリクスＡの右下方は、全て０である確率が
高い。例えば，ＡＨ７，ＡＨ８が全て０であったときに
は、図６にてＡＨ７，ＡＨ８の部分の演算結果は必ず０
になるため、処理を省略することができる。それによっ
て総演算時間を短縮することができる。同様にＡＶ７，
ＡＶ８（マトリクスＡの右側２列）が０の場合はＡＨ１
〜８の最後の２要素に関する演算結果は必ず０となるた
め、ＡＨ１〜８のの演算を先頭の６要素だけ行なうこと
により処理時間を短縮することができる。

【００５７】次に、図１の合成回路104の詳細を図７に
示す。入力されたフレーム内信号102は、可変長符号化
回路111においてフレーム内可変長符号化される。即
ち、フレーム内符号化された映像符号112に変換され
る。可変長符号回路111は、フレーム内符号化用の符号
のみを持つ。映像符号112は、所定の時間遅延した入力
の映像符号２である映像符号103と共に選択回路115に入
力される。選択回路115は、選択信号106の指示に従っ
て、フレーム内符号化された映像符号112と、映像符号1
03即ちフレーム間符号化による映像符号103とをフレー
ム単位に切り替えて映像符号７として出力する。

【００５８】このようにして、フレーム間符号化による
フレーム（Ｐピクチャ）の内、選択信号106によって選
択されたフレームがフレーム内符号化されたＩピクチャ
に変換され、途中の一部がＩピクチャになったフレーム
のシーケンス（列）が合成される。

【００５９】なお、このようなフレームのシーケンスか
らなる映像符号７が正しく復号化されるために、映像符
号103の情報を映像符号112に反映させる必要がある。こ
の処理を制御回路113が行なう。制御回路113は、映像符
号103の中から必要な情報を取り出し、制御信号114を介
して可変長符号化回路111に通知する。

【００６０】これらの情報の例として、フレームの時間
情報（復号時刻や再生時刻の管理のためのタイムスタン
プ等）、画像サイズ、画像の構成（アスペクトレシオ、
インタレース／プログレッシブ等）、色信号の特性（変
換法、サンプリング位置等）等のシーケンス全体に共通
な項目がある。中でも画像サイズとフレームの時間情報
は必須の情報である。画像サイズの情報は、変換装置10
0の処理過程で必須であるため、可変長符号回路111へ別
途通知することができるが、フレームの時間情報は制御
回路113にて通知する必要がある。フレーム内符号化さ
れたフレームが、シーケンスの途中からアクセスされた
り、このフレーム以前のフレームを破棄して新たに先頭
フレームとするような操作を行なう必要がある場合に
は、シーケンス全体に共通な項目をフレーム内符号化に
よる映像符号112の各フレームの先頭部に付加する必要
がある。

【００６１】なお、以上のフレーム間フレーム内変換が
行なわれると、変換したフレームの符号量が異なること
になる。一般的に、フレーム内符号化の方が予測効率が
低いため、上記の変換処理により符号量が増大する傾向
にある。一方、フレーム内信号102即ち再生ＤＣＴ信号
に逆ＤＣＴ変換を適用することにより再生画像が得られ
るが、得られた画像（フレーム内再生画像）は、フレー
ム内変換をせずにそのまま復号化した場合の画像（フレ
ーム間再生画像）とほぼ同じになる。従って、ほぼ同じ
再生画像でありながらフレーム内符号化の変換によって
符号量が増えることになり、符号量の削減が望まれる。

【００６２】フレーム内符号化後の符号量を削減する方
法として、フレーム間フレーム内変換回路101が出力す
るフレーム内信号102（再生ＤＣＴ信号）を量子化をし
たり、同信号の高周波成分を０に置き換えたりする手法
がある。但し、これらの符号量削減によって画質が変化
する場合がある。また、この手法による画像を最初の予
測信号として用いると、以降のフレームの画像は、全て
本来のフレーム間再生画像とは異なることになる。この
ように画質の変化は、引き続くフレーム間符号化の画像
に継承されるが、変化は引き続くフレーム毎に一定であ
り、累積されることがないため、画質を大きく劣化させ
ることはない。この画質の変化は、量子化の粗さの程度
に依存する。

【００６３】なお、次にフレーム内符号化変換を選択す
るときには、その前の符号化変換の画質の変化が影響し
ない。そのため、次のフレーム内符号化選択時に画質の
変化が表われないように符号化変換を行なうことも可能
である。このように、フレーム間フレーム内変換回路10
1から出力されるフレーム内信号102を符号化変換後に量
子化したり、高周波成分を０に置き換えたりする場合も
本発明に包含される。

【００６４】＜実施例２＞符号蓄積機能を持つ映像符号
変換装置の実施例を図８に示す。同図において、303
は、フレーム間フレーム内変換回路101の出力のフレー
ム内信号102を蓄積する蓄積装置、305は、バッファ105
の出力の映像符号103を蓄積する蓄積装置、301は、蓄積
装置303，305によって時間の遅れを持った映像符号７を
出力する映像符号変換部、300は、映像符号変換部301及
び蓄積装置303，305からなる、蓄積機能を有する映像符
号変換装置である。なお、蓄積装置303に書き込まれ、
読み出されるフレーム内信号102を改めてフレーム内符
号302といい、蓄積装置305に書き込まれ、読み出される
映像符号103を改めてフレー間符号304ということとす
る。

【００６５】図９は、映像符号変換部301の詳細図であ
る。同図において、310は、フレーム内信号102を蓄積装
置302にフレーム内符号302として入力すると共に蓄積装
置303から読み出したフレーム内符号302を合成回路104
へ供給する切り換えスイッチ、312は、映像符号103を蓄
積装置305にフレーム間符号304として入力すると共に蓄
積装置305から読み出したフレーム間符号304を合成回路
104へ供給する切り換えスイッチである。変換部301は、
スイッチ310，312がある他は図１に示した映像符号化変
換装置100と同じである。

【００６６】符号蓄積時にスイッチ310，312は、それぞ
れ左側へ接続され、フレーム内信号102即ちフレーム内
符号302が蓄積装置303に供給され、更に映像符号103即
ちフレーム間符号304が蓄積装置305へ書き込まれる。蓄
積後の適当な時刻の読出時に、スイッチ310，312はそれ
ぞれ右側へ接続され、蓄積されていたフレーム内信号10
2及び映像符号103が合成回路104に供給される。合成回
路104は、読み出されたフレーム内信号102を可変長符号
化し、その映像符号及びフレーム間符号304のいずれか
を選択して映像符号７を合成する。

【００６７】映像符号変換装置300の動作の例を図１０
に示す。数字はフレーム番号を表わし、添字のｉは、Ｉ
ピクチャに変換されたフレームであることを表わす。入
力された映像符号２は、図１０上部のフレーム内符号30
2、フレーム間符号304に示すように蓄積される。即ち、
フレーム間符号は、全フレームが蓄積装置305に蓄積さ
れ、フレーム内符号は、フレーム１，６，１１が蓄積装
置303に蓄積される。このように蓄積された信号を読み
出し合成する例を図１０下部に映像出力符号７例として
５通りを示す。

【００６８】映像符号７例１：フレーム間符号をそのま
ま出力、映像符号７例２：シーケンス途中（６番目）から始まる
シーケンスを出力、映像符号７例３：シーケンス途中（１１番目）から始ま
るシーケンスを出力、映像符号７例４：シーケンス途中でフレーム内符号され
たフレームを含むシーケンスを出力（この場合はシーケ
ンスのランダムアクセスが容易となる）、映像符号７例５：フレーム内符号のみから構成されるシ
ーケンスを出力。

【００６９】なお、以下の変形例も本発明に包含される
ことが明白である。蓄積装置303，305に適用可能な具体
的な媒体として、ＶＴＲ、ハードディスク、光ディス
ク、ＤＶＤ−ＲＡＭ、ＣＤ−Ｒ、ＤＲＡＭやフラッシュ
メモリ等の半導体メモリ、磁気記憶装置などがある。蓄
積装置303及び蓄積装置305は、同一の媒体でも、別の媒
体でも構わない。更に、蓄積装置303，305は、単一の蓄
積装置を共用しても構わない。また、蓄積装置303，305
が同時に読み書きすることができる機能を持つ場合に
は、符号302，304を双方向の信号とし、スイッチ310，3
12を同時に双方向に信号伝送をする機能を持つスイッチ
とすることにより、符号を記録しながら、同時に読み出
し変換を行なうことが可能になる。更に、蓄積装置の数
に拘らず、符号302，304やスイッチ310,312からの符号3
11，313（図９参照）等は、物理的に１つの信号線に時
分割多重することも可能である。

【００７０】蓄積装置303へフレーム内信号102である再
生ＤＣＴ符号を入力するときに、同再生ＤＣＴ符号を可
変長符号化して情報量を圧縮し、映像符号化した後に記
録しても構わない。情報量圧縮により少ない容量の蓄積
装置を適用することができ、より多くの画像を記録する
ことが可能となる。なお、この記録時の可変長符号化に
よる符号構成は、合成回路104内の可変長符号回路111
（図７参照）の符号化による符号構成とは異なっていて
も、また、同じでも構わない。同じ場合は、可変長符号
回路111の大部分の回路や処理を省略することができ、
制御情報114による符号修正だけが必要になる。更に、
この符号修正（符号化するフレームの時間情報等）を蓄
積装置303へ記録するときに付加することにより、合成
回路104内の可変長符号回路111を全て削除することもで
きる。

【００７１】スイッチ310，312は、それぞれの３接点の
うち任意の２点を接続する構成でも構わない。即ち、変
換部301は、先に説明した動作に加え、信号102と符号10
3を合成回路104に直接供給するように切り換える機能を
持つことになる。こうすることにより、変換部301は、
図１の変換装置100と同じ動作をすることができる。更
に、スイッチ310及びスイッチ312は、先の説明では常に
連携して動作することを前提としていたが、それぞれが
独立に動作しても構わない。

【００７２】入力の映像符号２を蓄積装置305に蓄積す
る場合には、バッファ105を取り除いても構わない。但
し、符号302と符号304の各フレームの対応付けを行なう
機能が必要となる。

【００７３】先の説明では、変換時にはフレーム内符号
302とフレーム間符号304の双方を読出し、合成回路104
の内部で選択／破棄を行なっていたが、選択信号106を
蓄積装置303，305の制御に適用することにより、破棄対
象の信号を蓄積装置303，305から読み出さないようにし
てもよい。こうした構成をとることにより、蓄積装置30
3，305を１つで共有した場合には、蓄積装置の読み書き
速度が遅くなって遅いアクセス速度の媒体を使用するこ
とができるようになるため、蓄積媒体の選択の幅が増え
る効果や、より高いビットレートの符号の蓄積が可能に
なる効果、或いは蓄積装置の構成が簡単になる効果があ
る。同様に、符号302，304等を時分割多重している場合
も、破棄する信号の読出を予め中止することにより、伝
送線路の伝送速度を低減したり或いはバス幅を低減した
りすることができるようになり、回路規模を低減する効
果を得ることができる。

【００７４】＜実施例３＞図９の変換部301に解像度変
換機能を持たせた実施例を図１１に示す。同図におい
て、402は、フレーム内信号である再生ＤＣＴ信号に対
して解像度変換を施す回路、401は、解像度変換回路402
を備えた映像符号変換部である。解像度変換回路402の
構成を図１２に示す。スイッチ310からのフレーム内符
号302である符号311（再生ＤＣＴ信号）は、スイッチ41
0を介して解像度変換後の再生ＤＣＴ信号403となる。制
御回路411は、入力された再生ＤＣＴ信号のＤＣＴ係数
のマトリクス位置から、解像度を変換するために使用し
ない位置のＤＣＴ係数をスイッチ410を開にして切断す
る。使用しない位置のＤＣＴ係数を除くことによって解
像度変換が行なわれ、解像度変換後の信号が再生ＤＣＴ
信号403として得られる。

【００７５】ＤＣＴ係数の選択の例を図１３に示す。８
×８のＤＣＴ係数は、図１３の左端図のように表わすこ
とができる。同図の１つの小さな四角は、１つのＤＣＴ
係数を表わす。６４個の係数を同図のように配置した場
合、左上のＤＣＴ係数は直流成分、右側が水平高周波成
分、下側が垂直高周波成分となる。

【００７６】８×８のＤＣＴ係数を８×８の逆ＤＣＴに
て変換すると、例えば中央の左側図の８×８再生画像が
得られる。８×８のＤＣＴ係数の低周波側（同左側図の
左上部）の４×４のみを取り出し、これに対し４×４の
逆ＤＣＴを行なうと、右端図のように４×４に縮小され
た再生画像が得られる。

【００７７】このようにして低周波側のＤＣＴ係数のみ
を選択することにより、Ｎ／８倍（Ｎ＝１，２，・・
・，７）に画像を縮小することができる。図１２の制御
回路411では、入力される６４個のＤＣＴ係数のうち、
所望の解像度に必要なＮ×Ｎ個のＤＣＴ係数のみを選択
するように動作する。

【００７８】なお、Ｎ＞８として、Ｎ×ＮのＤＣＴ係数
の低周波部分８×８に入力のＤＣＴ係数をそのまま配置
し、残りの部分（Ｎ×Ｎ−６４個）のＤＣＴ係数を０と
することにより、画像拡大の解像度変換を実施すること
ができる。そのようにして生成したＮ×ＮのＤＣＴ係数
に逆ＤＣＴ変換を施すことによって拡大した画像を得る
ことができる。また、Ｎ＝８とする場合には、スイッチ
410は閉じたままとなり、解像度変換が行なわれない。

【００７９】映像符号変換部401の動作の例を図１４に
示す。入力されたフレーム間符号の映像符号２は、その
全てのフレームがフレーム内符号302（再生ＤＣＴ信
号）に変換される。変換された再生ＤＣＴ信号は、元の
解像度の信号として蓄積されており、合成時に解像度変
換回路402により元の大きさ又は縮小され、可変長符号
化される。図１４の映像符号７の例１では、元の大きさ
のフレーム内符号（１ｉ）の直後に縮小されたフレーム
内符号（１ｓ）が挿入され、以降はフレーム間符号化さ
れたフレームが続いている。例１のような符号では、受
信側にて通常に再生しつつ、部分的に（例えばフレーム
１）送られてくる縮小画像を記録あるいは検索等の目的
で記録しておくことができる。また、このストリームが
放送形態で常時伝送されてくる場合には、受信端末がこ
の縮小画像のみを抽出し、画面に表示し、番組の概要を
伝えることにより視聴者の利便を図ることができる。特
に、縮小画像を送ることにより、受信端末にて画像縮小
処理を行なう必要がなくなるため、受信端末の回路規
模、動作速度を低速化することが可能となる。なお、図
１４の例１の符号を受信して動画として再生するには、
受信端末に縮小画像部分の符号を除去する機能を持つ必
要がある。こうした受信端末も本発明に含まれることは
明白である。

【００８０】縮小画像符号と縮小画像の符号が挿入され
ていない符号である動画符号とは、システムレイヤで多
重化して伝送することが可能である。システムレイヤと
してはISO/IEC 11172-1（ＭＰＥＧ１システム）、ISO/I
EC 13818-1（ＭＰＥＧ２システム）、ITU-T H.221（Ｉ
ＳＤＮテレビ電話用多重化）、ITU-T H.223（アナログ
モデム向けテレビ電話用多重化）、ITU-T H.225（ＬＡ
Ｎ向けテレビ電話用多重化）等の国際標準がある。シス
テムレイヤでの多重化伝送には、その他にＩＰ（Intern
et Protocol）パケットやＡＴＭ（Asynchronous Transf
er Mode）セル等のパケット伝送を適用することができ
る。

【００８１】このとき、受信端末側では、該当するシス
テムレイヤから所望の符号を分離する分離回路を備える
ことにより、通常の再生回路（動画像に挿入された縮小
画像を除去する機能のない再生回路）を用いて動画を再
生することが可能となる。以上に関係する種々の装置、
即ち、縮小画像符号と動画符号をシステムレイヤで多重
化する多重装置や変換装置及び多重伝送装置、多重化し
た符号を受ける受信端末、縮小画像符号と動画符号をシ
ステムレイヤで多重化して伝送する画像伝送システム及
び画像通信システムは、本発明に包含される。

【００８２】図１４の映像符号７の例２は、フレーム間
符号の各フレームを縮小画像のフレーム内符号に変換し
た例である。一般にフレーム内符号は、フレーム間符号
よりも再生処理が簡単であり、しかも例２の場合には画
像サイズが小さいためさらに再生に必要な処理量は少な
くて済む。従って、例２の符号の受信再生装置は、通常
の再生装置に比較してはるかに簡単になり、例えば低速
のプロセッサによるソフトウェア処理が可能になった
り、プロセッサが複数の処理を同時に（時分割で）行な
っている場合に他の処理に十分な処理量を割り当てた上
で再生を行なうことができる利点がある。

【００８３】図１４の出力符号７の例３は、例２の符号
のフレームを幾つか間引くことにより、更に再生時の処
理量、伝送符号量を削減したものである。なお、例２、
例３の符号も例１の場合の変形例として用いることが可
能である。

【００８４】＜実施例４＞図１１に示した変換部401を
有する映像符号変換装置300の変形例を図１５に示す。
同図において、551は、フレーム内符号302から映像シー
ケンスのシーンチェンジ個所を検出し、選択信号106を
出力する認識回路、550は、映像符号変換装置300に認識
回路551を加えた映像符号変換装置である。図１１の変
換部401を有する変換装置300では、外部からの選択信号
106によって選択されフレーム、即ちユーザが指定した
フレームがフレーム内符号に変換されたが、本実施例の
変換装置550では、変換装置内にて自動的にフレーム内
符号にするフレームを決定し、変換を行なう。具体的に
は、映像シーケンスのシーンチェンジ個所を検出し、新
たなシーンの第１フレームをフレーム内符号に変換す
る。

【００８５】入力された映像符号２は、図１１の場合と
同様、変換部401にてフレーム内符号（再生ＤＣＴ信
号）302に変換されて蓄積装置303に蓄積される一方、時
間の遅れを持った元のフレーム間符号304となって蓄積
装置305に蓄積される。再生ＤＣＴ信号302は、蓄積され
ると同時に認識回路551に入力され、シーンチェンジが
検出される。シーンチェンジと判定された場合は、選択
信号106によってシーンチェンジ直後のフレームに対し
てフレーム内符号が選択される。

【００８６】このように、各シーンの先頭フレームをフ
レーム内符号化することにより、各シーンを独立に再生
することができ、ランダムアクセスや検索等の用途で利
便が図れる。

【００８７】図１６は、認識回路551の詳細図である。
入力された再生ＤＣＴ信号302は、メモリ560に格納され
ている前のフレームの再生ＤＣＴ信号561と比較回路562
によって比較され、比較結果が選択信号106として出力
される。比較される再生ＤＣＴ信号302は、同時にメモ
リ560に記憶され、次のフレームの比較で再生ＤＣＴ信
号561として用いられる。

【００８８】なお、比較の尺度として、時間的に異なる
２つのフレームの中の空間的に対応する信号同士の差分
の大きさが用いられる。差分の大きさは、具体的には、
同じ画面位置のブロックの直流成分の差分の絶対値又は
二乗値を累積することによって求められる。差分の大き
さの求め方は、その他に、差分が所定の値より大きいブ
ロックの個数を計数したり、対応するブロックの周波数
分布（有効なＤＣＴ係数の分布する範囲）の差異を調べ
ること等がある。

【００８９】こうした比較は、画素領域でも可能である
が、先に延べた手法のようにＤＣＴ係数領域、即ち周波
数領域で比較を行なうことにより、より精度の高い比較
を行うことができる。

【００９０】シーンチェンジの比較結果による符号変換
の例を図１７に示す。例１は、シーンチェンジ直後のフ
レーム（５、９）をフレーム内符号に変換した例、例２
は、シーンチェンジ直後のフレームをフレーム内符号に
変換した上で、記録、検索用にその縮小画像を挿入した
例、例３は、フレーム内符号には変換せずに、縮小画像
のみを挿入した例である。いずれの場合も先の図１４の
例に対する変形例として用いることができる。

【００９１】なお、シーンチェンジが発生すると、その
部分においてフレーム間の相関が少なくなるため、フレ
ーム間符号化を行なうよりもフレーム内符号化を行なう
方が発生符号量が少なくなることがある。例えば、例１
の符号の符号量（ビットレート）が元の符号304の符号
量よりも少なくなる場合がある。

【００９２】図１５では、再生ＤＣＴ信号302及び符号3
04は、それぞれ蓄積装置303，305に蓄積した上で処理を
行なっているが、リアルタイムで処理する場合等では、
同蓄積装置としてバッファ（メモリ）を用いることによ
り、変換装置550がより簡単な構成になる。また、認識
結果を別の蓄積装置、蓄積装置303又は蓄積装置305のい
ずれかに記憶し、蓄積装置から符号を読み出し、合成す
るときには認識処理を行なわない手法も本発明に含まれ
る。

【００９３】認識回路551は、シーンチェンジを検出す
ることを前提としたが、逆にシーンに変化がないところ
（静止画）を検出し、これらに対してフレーム内符号又
は縮小画像フレーム内符号を多重、挿入することによっ
て伝送シーケンスの概要を容易に再生、検索することが
可能となる。

【００９４】＜実施例５＞図１１及び図１５に示した映
像符号変換部401が出力する映像符号７即ち縮小画像を
含む動画符号を受信するための受信装置の構成例を図１
８に示す。入力された映像符号７は、符号分離回路601
にて解読され、動画符号（縮小画像でない部分）602と
縮小画像符号612に分離され、それぞれスイッチ603，61
3を介して蓄積装置620，630に記録される。記録された
信号は各記録装置から読み出され、スイッチ603，613を
介してそれぞれ復号化回路605及び復号化回路615に入力
され、再生される。

【００９５】復号化回路605は、図２４に示した復号化
回路３と同じ構成であり、一般の動画像符号の復号化を
行う。復号化回路615は、縮小フレーム内符号を復号す
るため、図２４の復号化回路３が有するのと同じ可変長
復号化回路２０及び逆量子化回路２２と、逆ＤＣＴ変換
回路２４と類似のＮ×Ｎデータの逆ＤＣＴ変換を行なう
回路とから構成される。

【００９６】復号化回路605，615の出力は、それぞれ再
生画像606及び縮小再生画像616であり、双方とも選択表
示回路607に入力される。縮小再生画像616は、同時にメ
モリ（図示せず）にも記憶され、複数の縮小再生画像を
表示するときには同メモリに記憶された信号を読み出
す。選択表示回路607では、外部からの選択信号609によ
っていずれかの画像が選択され、画像信号608となる。
画像信号608が表示装置（図示せず）に送られ、画像表
示される。選択表示回路607が画面の画素単位で選択を
行なうことにより、以下のような画像表示を行うことが
できる。

【００９７】例１動画像のみ表示例２動画像を背景として、縮小画像を画面の一部に表
示例３縮小画像を１枚以上表示例４縮小画像を１枚以上表示し、それら画像の一部又
は全部を定期的に更新することによる疑似動画の表示なお、動画をリアルタイムで表示する場合には、受信装
置600は、蓄積装置620又は蓄積装置630を省いた構成と
することが可能である。更に、復号化回路605，615を統
合し、一つの復号化回路を時分割によって動画像と縮小
画像で共用するようにしても構わない。

【００９８】＜実施例６＞本発明を画像伝送システムに
適用した例を図１９に示す。同図において、700は、図
１１の変換部401を有する映像符号変換装置300と図１８
の受信装置600を用いた画像伝送システムである。送信
する画像は、送信装置701において映像信号からフレー
ム間符号に符号化される。送信装置701の構成は、図２
５に示した再符号化回路６とほぼ同じである。符号化さ
れた画像の映像符号710は、中継装置702を経由して受信
装置704-1〜704-Nへ伝送される。

【００９９】中継装置702は、フレーム間フレーム内変
換を行なう映像符号装置300の回路を備えており、各受
信装置から送られるてくる選択信号106-1〜106-Nに応じ
た映像符号７-1〜７-Nを出力する。中継装置702内の変
換装置703は、図１１に示したフレーム間フレーム内変
換回路101、バッファ105、スイッチ310，312、解像度変
換回路402及び図８に示した蓄積装置303，305の各１台
と、Ｎ台の合成回路104とからなる。合成回路104は、各
受信装置毎に設けているが、その他の回路は、それぞれ
Ｎ個の受信装置に共用で使われる。従来の中継装置では
その他の回路がそれぞれＮ台必要であり、従って、本発
明により回路規模が大幅に低減される。

【０１００】図１９の画像伝送システム700では、視聴
者は、中継装置702内の変換装置703に貯えられた符号の
任意の部分から再生することができる。また、縮小画像
等を含む符号を選択し、受信装置600内にて自由な画面
配置で表示することが可能となる。

【０１０１】なお、上記画像伝送システムでは、中継装
置702に入力されるフレーム間符号の映像符号２は１種
類であったが、複数種類（Ｍ種類）の映像符号を伝送す
るようにシステムを構成することが可能である。それに
は、Ｍ台の中継装置702を用意し、Ｍ種類の映像符号
（番組）をそれぞれの中継装置に入力し、各受信装置が
Ｍ台の中継装置のいずれかを選択することができるよう
に各受信装置に切り換え回路を備えればよい。

【０１０２】また、映像符号７-1〜７-Nは、それぞれが
独立の伝送路を介して各受信装置に伝送されても構わな
い、Ｎ未満の伝送路を用い、幾つかの映像符号を多重化
して伝送しても構わない。

【０１０３】＜実施例７＞本発明を多地点画像通信に応
用した例を図２０に示す。多地点画像通信システム800
は、受信装置600の他に送信装置802を持つ端末802-1〜8
02-Nと、複数の地点に配置した端末810-1〜810-Nの相互
通信の制御を行なう多地点通信制御装置803と、端末810
-1〜810-Nの送信装置802-1〜802-Nが出力するフレーム
間符号化した映像符号710-1〜710-Nの映像符号変換を行
なう変換装置804-1〜804-Nとからなる。

【０１０４】変換装置804-1〜804-Nは、図１及び図１１
に示した変換装置100，300と同様の処理を行なう装置
で、フレーム間符号103-1〜103-Nと、フレーム内符号10
2-1〜102-Nと、縮小画像フレーム内符号403-1〜403-Nを
出力する。これら映像符号は、多地点通信制御装置803
に入力される。

【０１０５】多地点通信制御装置803は、ある１台の端
末（例えば810-1）に対して、通信を行なっている相手
（複数、例えば810-2〜810-N）の映像符号の内、フレー
ム間符号、フレーム内符号、縮小画像フレーム内符号の
いずれかを通信者の指示（選択信号106-1）に従って選
択し、通信者へ伝送する。

【０１０６】図２０の多地点画像通信システム800の動
作例及びその動作時の表示画面を図２１に示す。図２１
下部のタイムチャートは、複数の相手（７地点）と多地
点テレビ会議を行なっている場合を取上げ、複数の映像
符号（動画３，静止画４）を多重化して１つの映像符号
として受け取るときの符号構成を示している。通信者
は、最初の時点（タイムチャート左端）ではＡ，Ｂ，Ｃ
の３地点から動画を受け取り、残りの４地点からは静止
画（準動画）を受け取っている。その場合の表示画面を
図２１の上部左に示す。次に通信者は、タイムチャート
に示すように、通信の途中で選択信号106を用いてＣ地
点の動画をＤ地点の動画に変更し、また、Ｂ地点の動画
をＥ地点の動画に変更する。動画の変更時には新しい地
点から符号の先頭はフレーム内符号化となる。この結
果、受信画面は、映像が途切れたり、大きく乱れたりす
ることなく、図２１の上部右に示す画面に切り替わる。

【０１０７】なお、以下の変形例も本発明に含まれる。
選択している相手先の画面であることを示す文字、記号
又は符号等を画面に表示することにより、容易に選択先
を確認することができる。また、表示する動画の選択先
を変更した場合（例えばＣ→Ｄ）、画面の切り替わりを
知らせるために、特殊な画像、例えば青一色の画像をＣ
とＤの画像の間に挿入したり、Ｄの画像に切り替わって
からしばらくの間、画面が切り替わったことが分かる表
示をする、例えば切換を示す文字、記号、符号を表示し
たり、画面枠部分を特定の色にする又は輝度の枠を付加
するなどをすることにより、画面の内容が切り替わった
ことを明確に通知することができる。

【０１０８】図２０の構成は、多地点テレビ会議を実施
するシステムであるが、同様の構成で多地点の監視シス
テムを実現することもできる。例えば、端末810-1を監
視センタ、他の端末810-2〜810-Nを監視カメラにしてシ
ステムを構成することができる。その場合、監視センタ
の端末810-1の送信装置802-1及び他の端末810-2〜810-N
の受信装置600-2〜600-Nは、削除することが可能であ
る。

【０１０９】

【発明の効果】本発明によれば、映像符号のフレーム間
フレーム内変換をＤＣＴの領域で行ない、変換を行なわ
ない場合は、映像符号をそのまま出力するので、変換の
有無に拘らず一旦画素レベルの再生画像にしてから再び
符号化を行なう従来に比べ、回路規模を著しく低減する
ことができる。また、複数の受信装置でフレーム間フレ
ーム内変換回路を共有することが可能となるので、多数
の受信装置を配置する場合に回路規模低減の効果を一層
高めることができる。なお、フレーム間フレーム内変換
回路にはＤＣＴ領域での解像度変換回路を採用可能であ
り、画像の縮小拡大の機能を容易に付加することができ
る。

【図面の簡単な説明】

【図１】本発明に係る映像符号変換装置の第１の実施例
を説明するためのブロック図。

【図２】第１の実施例のフレーム間フレーム内変換回路
を説明するためのブロック図。

【図３】ＤＣＴ領域における動き補償を説明するための
図。

【図４】ＤＣＴ領域における動き補償の変換の手順を説
明するための図。

【図５】第１の実施例のフレーム間フレーム内変換回路
に用いるＤＣＴ領域動き補償回路を説明するためのブロ
ック図。

【図６】図５のＤＣＴ領域動き補償回路の処理手順を説
明するための図。

【図７】第１の実施例の合成回路を説明するためのブロ
ック図。

【図８】本発明の第２の実施例を説明するためのブロッ
ク図。

【図９】第２の実施例の映像符号変換部を説明するため
のブロック図。

【図１０】第２の実施例の映像符号変換部の動作を説明
するための図。

【図１１】本発明の第３の実施例を説明するためのブロ
ック図。

【図１２】第３の実施例の解像度変換回路を説明するた
めのブロック図。

【図１３】解像度変換を説明するための図。

【図１４】第３の実施例の解像度変換回路の動作を説明
するための図。

【図１５】本発明の第４の実施例を説明するためのブロ
ック図。

【図１６】第４の実施例の認識回路を説明するためのブ
ロック図。

【図１７】第４の実施例の動作を説明するための図。

【図１８】本発明の第５の実施例を説明するためのブロ
ック図。

【図１９】本発明の第６の実施例を説明するためのブロ
ック図。

【図２０】本発明の第７の実施例を説明するためのブロ
ック図。

【図２１】第７の実施例の動作を説明するための図。

【図２２】動き補償フレーム間予測符号化の概念を説明
するための図。

【図２３】従来の映像符号変換装置を説明するためのブ
ロック図。

【図２４】従来の映像符号変換装置の復号化回路を説明
するためのブロック図。

【図２５】従来の映像符号変換装置の再符号化回路を説
明するためのブロック図。

【符号の説明】

２，７，103…映像符号、２０…可変長復号回路、２２
…逆量子化回路、100…映像符号変換装置、101…フレー
ム間フレーム内変換回路、102…フレーム内信号（再生
ＤＣＴ信号）、104…合成回路、105…バッファ、106…
選択信号、111…可変長符号化回路、113…制御回路、11
5…選択回路、201…ＤＣＴ領域動き補償回路、203…加
算回路、205…フレームメモリ、402…解像度変換回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者伊達哲東京都国分寺市東恋ヶ窪一丁目280番地株式会社日立製作所中央研究所内Ｆターム(参考） 5C057 AA01 AA06 CC04 EA02 EA07 EB18 ED01 ED07 EJ02 EK02 EL01 EM02 EM04 EM07 EM14 GF07 GG01 GL00 5C059 KK38 LB05 MA05 MA23 MC00 MC34 PP05 PP06 SS02 SS07 SS13 TA19 TA47 TB04 TC01 UA34

Claims

【特許請求の範囲】

【請求項１】ＤＣＴ（Discrete cosine transform）
変換によってフレーム内符号化された少なくとも１個の
フレームと、ＤＣＴ変換及び動き補償の組合わせによっ
てフレーム間符号化された複数のフレームとからなる動
画像の映像符号を入力し、フレーム間符号化された複数
のフレームの中の一部をフレーム内符号化されたフレー
ムに変換して出力する変換方法であって、前記フレーム間符号化された複数のフレームをＤＣＴ領
域でフレーム内符号化フレームに変換する工程と、前記
映像符号を一時保持する工程と、フレーム間フレーム内
符号変換工程によって得た映像符号と一時保持した映像
符号のいずれか一方を選択して出力する工程とからなる
ことを特徴とする映像符号変換方法。
【請求項２】ＤＣＴ（Discrete cosine transform）
変換によってフレーム内符号化された少なくとも１個の
フレームと、ＤＣＴ変換及び動き補償の組合わせによっ
てフレーム間符号化された複数のフレームとからなる動
画像の映像符号を入力し、フレーム間符号化された複数
のフレームの中の一部をフレーム内符号化されたフレー
ムに変換して出力する変換装置であって、前記フレーム間符号化された複数のフレームをＤＣＴ領
域でフレーム内符号化フレームに変換するフレーム間フ
レーム内符号変換回路と、前記映像符号を一時保持する
バッファと、フレーム間フレーム内符号変換回路の出力
の映像符号とバッファ内の映像符号のいずれか一方を選
択して出力する合成回路とをもって構成することを特徴
とする映像符号変換装置。
【請求項３】前記フレーム間フレーム内符号変換回路
と前記合成回路との間にフレーム間フレーム内符号変換
回路の出力の映像符号の解像度を変化させる解像度変換
回路を更に付加してなり、当該解像度変換回路は、解像
度変化によってサイズが任意に縮小拡大した画像の映像
符号を出力するものであり、合成回路が選択するフレー
ム間フレーム内符号変換回路の出力の映像符号が解像度
変換回路を経た映像符号であることを特徴とする請求項
２に記載の映像符号変換装置。