JP2004357313A - 画像情報処理装置及び画像情報処理方法 - Google Patents

Abstract

【課題】 フレーム間圧縮処理が施された圧縮画像のスイッチングをスムーズに行える。また、静止画像から動画像までの広範囲の画像や、フリーフォマットの画像や、転送レートに依存しない画像や、スケーラブルフォーマットの画像に画像処理を施すことができる。
【解決手段】 マトリックススイッチャ１は、複数の圧縮画像を選択的に取り込むと共に、ＧＯＰ内でＰフレームをＩフレーム化し、かつＢフレームの予測データの変更を行う。デコーダ２は、上記圧縮画像を元の画像に復元するように伸張する。入力バッファメモリ部３は、上記画像信号をコンポーネント信号に変換すると共に、転送レートを変換する。画像処理部４は、上記画像信号に各種画像情報処理を施す。エンコーダ５は、上記画像処理信号を圧縮する。出力バッファメモリ部６は、圧縮画像処理信号である送り出しデータの転送レートを変換する。制御部７は、マトリックススイッチャ１、デコーダ２、入力バッファメモリ部３、画像処理部４、エンコーダ５及び出力バッファメモリ部６の各処理を制御する。
【選択図】 図１

Description

本発明は、映像信号の合成、変形、色変換等の処理を行う画像情報処理装置に関する。

画像情報処理装置は、多数の入力画像信号から複数の画像信号を選択しながら、画像の合成や色変換や幾何変換等の画像処理を行っていた。例えば、上記画像情報処理装置は、２つの系統の画像信号を切り替え手段であるスイッチャを用いて、指定されたフレームで切り替えながら合成していた。

この画像情報処理装置は、図１７に示すように、標準フォーマットの画像信号である複合（以下、コンポジットといい、図中、Compositeと記す。）信号、Ｙ／Ｃ信号、コンポーネント（図中、Componentと記す。）信号をスイッチャ１４１を介して受け取る。この画像情報処理装置では、上記画像処理をコンポーネント信号に施すようにしている。このため、コンポーネント信号でないＹ／Ｃ信号、コンポジット信号を、スイッチャ１４１以降でコンポーネント信号に変換する必要がある。先ず、コンポジット信号は、Ｙ／Ｃ分離回路１４２でＹ、Ｃ信号に分離された後、デコーダ１４３で、コンポーネント信号であるＹ、Ｒ−Ｙ、Ｂ−Ｙ信号に変換される。Ｙ／Ｃ信号は、デコーダ１４３で、コンポーネント信号に変換される。デコーダ１４３の出力であるコンポーネント信号は、Ａ／Ｄ変換回路１４４に供給される。Ａ／Ｄ変換回路１４４は、書き込みクロック生成回路１４５のクロックに基づいて上記コンポーネント信号をディジタル信号に変換する。このディジタルコンポーネント信号は、フレームシンクロナイザ１４６に供給される。フレームシンクロナイザ１４６は、スイッチャ１４１が上記標準フォーマットの映像信号から生成した外部クロック（図中、EXT keyと記す。）信号に基づいて、上記ディジタルコンポーネント信号を内部のフレームメモリ内に書き込むと共に、読みだして、後述するディジタルマルチエフェクト（Digital Multi Effect、以下ＤＭＥという。）処理に適する信号にするため、そのフレーム位置やカラーサブキャリアの位相等を調整する。このフレームシンクロナイザ１４６の出力であるディジタルコンポーネント信号は、スイッチャ１４７に供給される。Ｙ／Ｃ分離回路１４８、デコーダ１４９、Ａ／Ｄ変換回路１５０、書き込みクロック生成回路１５１及びフレームシンクロナイザ１５２も上述したと同様の処理をスイッチャ１４１を介したもう一方の系の標準フォーマットの映像信号に施す。そして、フレームシンクロナイザ１５２の出力であるディジタルコンポーネント信号もスイッチャ１４７に供給される。このスイッチャ１４７には、カラー背景信号、カラーバー信号及びグリッド信号等のテストパターン信号を発生するテストパターン信号発生回路１５３からＹ、Ｒ−Ｙ、Ｂ−Ｙのディジタルコンポーネント信号も供給される。スイッチャ１４７を介したディジタルコンポーネント信号は、２次元可変ローパスフィルタ（ＬＰＦ）１５４に供給される。この２次元可変ＬＰＦ１５４は、ディジタルコンポーネント信号にエリアシングを発生させないように、該ディジタルコンポーネント信号の高域成分を除去する。高域成分が除去されたディジタルコンポーネント信号は、フィールドメモリ１５５に供給される。このフィールドメモリ１５５には、システムコントローラ１５７から書き込み及び読み出しアドレスがＤＭＥ処理部１５８を介して供給される。このＤＭＥ処理部１５８は、システムコントローラ１５７の指示に従って、上記画像の合成や色変換や幾何変換等の画像処理をディジタルコンポーネント信号に施す。このため、システムコントローラ１５７は、ＤＭＥ処理部１５８に所望のＤＭＥ処理に必要とされるデータを供給する。そして、ＤＭＥ処理部１５８は、システムコントローラ１５７から供給されるアドレス及びデータに従って、２次元可変ＬＰＦ１５４を介したディジタルコンポーネント信号に、フィールドメモリ１５５を用いて、上記画像情報処理を施す。ここで、上記ディジタルコンポーネント信号に、例えば変形処理を施す場合、フィールドメモリ１５５から読み出される信号には、ピクセルの抜けが発生する。このため、フィールドメモリ１５５から読み出された信号は、補間処理回路１５６に供給され、所定の補間処理が施される。補間処理回路１５６の出力信号であるＤＭＥ処理信号は、データ混合回路１５９に供給される。このデータ混合回路１５９には、システムコントローラ１５７から、ＤＭＥ処理回路１５８に供給されるのと同じアドレスとデータも供給されており、上記ＤＭＥ処理信号と混合される。このデータ混合回路１５９の出力信号である混合出力信号は、合成回路１６１に供給される。この合成回路１６１には、フィールド遅延回路１６０で遅延された上記ディジタルコンポーネント信号も供給されており、上記混合出力信号に合成される。この合成回路１６１の合成出力が画像情報処理が施された信号であり、Ｄ／Ａ変換回路１６２でアナログ信号に変換され、アナログのコンポジット信号、Ｙ／Ｃ信号及びコンポーネント信号の形で出力される。

ところで、図１７に示したような従来の画像情報処理装置は、入出力信号を標準のコンポジット信号、Ｙ／Ｃ信号、コンポーネント信号に限定していた。標準の映像信号から外れるような、解像度の異なる画像や、転送レートの異なる画像や、画像サイズの異なる画像を扱えなかった。また、同じ画像信号でも、例えばＨＤＴＶ方式とＮＴＳＣ方式のように方式が異なると、同じ装置で処理ができなくなった。すなわち、従来の画像情報処理装置では、解像度に依存しないようないわゆるフリーフォーマットの画像信号や、転送レートに依存しないような画像信号や、画像サイズに依存しないようないわゆるスケラーブルフォーマットの画像信号や、方式の異なる画像信号を取り扱うことができなかった。また、当然ながら、圧縮画像が扱えなかったので、フレーム間圧縮処理をしたような圧縮画像の切り替えがスムーズに行えなかった。

本発明は、上記実情に鑑みてなされたものであり、解像度に依存しないようないわゆるフリーフォマットの画像信号や、転送レートに依存しないような画像信号や、画像サイズに依存しないようないわゆるスケーラブルフォーマットの画像信号や、方式の異なる画像信号にも種々の画像処理を施すことができ、またフレーム間圧縮処理が施されたような圧縮画像のスイッチングをスムーズに行える画像情報処理装置の提供を目的とする。

本発明に係る画像情報処理装置は、フレーム間圧縮処理が施された複数の圧縮画像を選択的に取り込むと共に、所定のフレーム数単位でフレーム間順方向予測符号化画像をフレーム内符号化画像化し、かつ双方向予測符号化画像の予測データの変更を行う選択手段と、上記選択手段で選択された圧縮画像信号を伸張する伸張手段と、上記伸張手段から出力された画像信号を入出力する第１の入出力手段と、上記第１の入出力手段から出力された画像信号に種々の画像処理を施して画像処理信号を出力する画像処理手段と、上記画像処理手段から出力された画像処理信号を圧縮し圧縮画像処理信号を出力する圧縮手段と、上記圧縮手段から出力された上記圧縮画像処理信号を入出力する第２の入出力手段と、上記選択手段の選択処理、上記伸張手段の伸張処理、上記第１の入出力手段の入出力処理、上記画像処理手段の画像処理、上記圧縮手段の圧縮処理、上記第２の入出力手段の入出力処理を制御する制御手段とを有することにより上記課題を解決する。

この場合、上記選択手段は、上記制御手段の制御により、上記双方向予測符号化画像の予測データの変更に伴う情報量増加を抑える。

また、上記伸張手段は、上記入力された圧縮画像信号から、圧縮／非圧縮状態識別情報、圧縮方式情報、水平・垂直方向の画素数に応じる画像サイズ情報、処理領域を決定する処理画面サイズ情報、画像方式情報、入出力信号レート情報からなる属性情報を読み出し、上記制御手段に供給する。

また、上記第１の入出力手段は、上記画像信号の方式を変換する方式変換部と、上記画像信号の画像サイズとは無関係で、かつ十分な容量を持つ記憶部とを有して成る。

また、上記第２の入出力手段は、上記画像信号の画像サイズとは無関係で、かつ十分な容量を持つ記憶部を有して成る。また、上記圧縮手段は、上記画像信号の方式を変換する方式変換部を有して成る。

本発明に係る画像情報処理装置は、選択手段がフレーム間圧縮処理が施された複数の圧縮画像を選択的に取り込むと共に、所定のフレーム数単位でフレーム間順方向予測符号化画像をフレーム内符号化画像化し、かつ双方向予測符号化画像の予測データの変更を行うので、フレーム間圧縮処理が施された圧縮画像の切り替えをスムーズに行える。また、上記伸張手段が入力圧縮画像信号を伸張して画像信号を出力し、上記第１の入出力手段が上記制御手段の制御により上記画像信号を入出力し、上記画像処理手段が上記画像信号に種々の画像処理を施して画像処理信号を出力し、上記圧縮手段が上記画像処理信号を圧縮し、上記第２の入出力手段が上記圧縮画像処理信号を入出力するので、解像度に依存しないようないわゆるフリーフォマットの画像信号や、転送レートに依存しないような画像信号や、画像サイズに依存しないようないわゆるスケーラブルフォーマットの画像信号や、方式の異なる画像信号にも種々の画像処理を施すことができる。

本発明に係る画像情報処理装置によれば、選択手段がフレーム間圧縮処理が施された複数の圧縮画像を選択的に取り込むと共に、所定のフレーム数単位でフレーム間順方向予測符号化画像をフレーム内符号化画像化し、かつ双方向予測符号化画像の予測データの変更を行うので、フレーム間圧縮処理が施されたような圧縮画像のスイッチングをスムーズに行える。また、また、静止画像から動画像までの広範囲の画像や、解像度に依存しないフリーフォーマット画像や、転送レートに依存しない画像や、画像サイズに依存しないスケーラブルフォーマット画像に色変換、合成、編集等の画像処理を施すことができる。

以下、本発明に係る画像情報処理装置の実施例について図面を参照しながら説明する。この実施例は、静止画像から動画像までの広範囲の画像の生成、色変換、合成、編集等の画像情報処理を行う画像情報処理装置であり、例えばフレーム間圧縮処理が施された圧縮画像信号を取り扱うことができる。フレーム間圧縮処理が施された画像としては、ＭＰＥＧ（Moving Picture Coding Experts Group、蓄積用動画像符号化の検討組織）で標準化されたような符号化方法で圧縮された画像がある。また、上記画像情報処理装置は、ＪＰＥＧ（Joint Photographic Coding Experts Group、カラー静止画像符号化の検討組織)で標準化された符号化方法で圧縮された画像も取り扱うことができる。

先ず、本実施例の構成について説明する前に、ＭＰＥＧにより標準化された画像圧縮処理について説明しておく。この画像圧縮処理により圧縮された画像には、フレーム符号化画像であるＩ（Intra）ピクチャ、フレーム間順方向予測符号化画像であるＰ（Predictive）ピクチャ、双方向予測符号化画像であるＢ（Bidirectional Predictive）ピクチャの３種類がある。以下では、説明の簡略化のために、これらＩピクチャ、Ｐピクチャ及びＢピクチャを、Ｉフレーム、Ｐフレーム及びＢフレームとして説明する。すなわち、Ｉフレームはフレーム内圧縮されたフレーム、Ｐフレームは前のＩフレームの予測情報を用い圧縮されたフレーム、Ｂフレームは前後のフレームであるＩフレームとＰフレームの予測情報を用い圧縮されたフレームである。圧縮画像は、これらのフレームの集合からなるグループオブピクチャ（Group of Pictures、以下ＧＯＰという。）と呼ばれる圧縮単位からなる。ＧＯＰは、一つのＩフレームを有し、例えば、“ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ”のように１５フレームからなる。

そして、上記画像情報処理装置は、図１に示すように、例えばＶＴＲやデータレコーダのような複数の外部入力装置から供給される複数の上記圧縮画像を選択的に取り込むと共に、上記ＧＯＰ内でＰフレームをＩフレーム化し、かつＢフレームの予測データの変更を行うマトリックススイッチャ１と、上記圧縮画像を元の画像に復元するように伸張するデコーダ２と、デコーダ２で伸張された画像信号をＹ、Ｒ−Ｙ、Ｇ−Ｙ又はＲ、Ｇ、Ｂのコンポーネント信号に変換すると共に、上記画像信号の転送レートを変換する機能を有する入力バッファメモリ部３と、入力バッファメモリ部３の出力信号である画像信号に色変換や変形や縮小や幾何変換等の各種画像情報処理を施す機能を有する画像処理部４と、画像処理部４の出力信号である画像処理信号を圧縮する機能を有するエンコーダ５と、エンコーダ５の圧縮画像処理信号である送り出しデータの転送レートを変換する機能を有する出力バッファメモリ部６と、マトリックススイッチャ１、デコーダ２、入力バッファメモリ部３、画像処理部４、エンコーダ５及び出力バッファメモリ部６の各処理を制御する制御部７とを有している。また、この画像情報処理装置には、処理パラメータや処理制御データを外部から与える手段であるキーボード８と、処理結果や入力画像を表示するモニター９が接続されている。

マトリックススイッチャ１は、図２に示すように、クロスポイントスイッチ１０と、ＧＯＰ再構成部１１及び１２と、合成部１３とからなる。クロスポイントスイッチ１０は、上記複数の外部入力装置からの複数の圧縮画像を入力し、制御部７の指示でその内の例えば２系統を選択する。ＧＯＰ再構成部１１及び１２は、例えば一方の連続画像をあるＧＯＰの途中で切り、他方の画像と接続する際に、途中から切られた一方の画像の不完全なＧＯＰを完全なＧＯＰに再構成する。合成部１３は、ＧＯＰ再構成部１１及び１２で再構成された２つのＧＯＰ画像を接続する。

ＧＯＰ再構成部１１及び１２は、図３に示すように、入力側バッファメモリ１４と、可変長符号復号器１５と、逆量子化器１６と、加算器１７と、バッファメモリ１８と、量子化器１９と、前向き補償回路２０と、後ろ向き補償回路２１と、フレームメモリ２２と、フレームメモリ２３と、ワークメモリ２４と、予測データ修正回路２５と、符号化器２６と、ＧＯＰ組立回路２７と、ワークメモリ／出力側バッファメモリ２８とから構成される。

入力側バッファメモリ１４は、後段の処理に必要な圧縮画像のデータを一時的に蓄える。可変長符号復号器１５は、可変長符号化されている上記圧縮画像データを復号する。逆量子化器１６は、可変長符号復号器１５で復号された画像データに量子化テーブルの逆数を掛け周波数領域の値に戻す。前向き補償回路２０は、フレームメモリ２２から時間の流れと同じ方向である前向き方向の逆量子化された画像データを取り出して画像を再構成する。後ろ向き補償回路２１は、フレームメモリ２３から時間の流れと逆方向である後ろ向き方向の逆量子化された画像データを取り出して画像を再構成する。加算器１７は、前向き補償回路２０及び後ろ向き補償回路２３から出力された再構成画像データと逆量子化器１６の処理結果である画像データとを加算する。バッファメモリ１８は、後段の処理で必要な例えば１ＧＯＰ分のデータを一時的に蓄える。量子化器１９は、バッファメモリ１８から取り出した上記加算画像データに、量子化テーブルの係数で各離散的コサイン変換値を掛ける処理を行うと共に、最終的なＧＯＰ総データ量を、予め決められたある一定値（基準データ量）以内に収める処理も行う。予測データ修正回路２５は、Ｂフレームの圧縮画像データを、前向き、及び後ろ向き予測データを追加／削除し修正する。ワークメモリ２４は、予測データ修正回路２５が予測したＢフレーム圧縮画像データに修正処理を施すためのワークメモリである。符号化器２６は、量子化したデータをハフマン符号とランレングス符号に変換する。ＧＯＰ組立回路２７は、基準データ量超えの判定、復号、再量子化、ハフマン・テーブル更新、符号化などの機能を有し、予測データ修正回路２５で修正された符号化データと、修正する必要のない他のデータとから新しいＧＯＰを再構成し、組み立てる。ワークメモリ／出力側バッファメモリ２８は、ＧＯＰ組立回路２７の組立処理を行うワークエリアの機能と、あるまとまった結果が得られ出力されるまで処理結果データを蓄えるメモリの機能を有する。

次に、上述したように構成されたマトリックススイッチャ１の動作について説明する。図２に示したクロスポイントスイッチ１０は、複数の外部入力装置より供給される複数の圧縮画像データから、制御部７の指示に従い、例えば２つの圧縮画像データを選択する。フレーム間圧縮をした圧縮画像データを扱う場合、クロスポイントスイッチ１０は選択の切り替えを切り替えフレームを含むＧＯＰの最後で行う。正確なフレーム切り替えは、後段のＧＯＰ再構成部１１及び１２で行われる。ここで、二つの画像を切り替え、一つの連続画像にする場合、既に選択されている画像を既存画像、新たに選択される画像を新画像と呼ぶことにする。既存画像は、ＧＯＰ再構成部１１又は１２を通り、合成部１３を通り、出力される。切り替え前では、ＧＯＰ再構成処理や合成処理は必要ないため既存画像はこれらを単に通過するだけである。

切り替え指示がくると、新画像は既存画像が供給されていない方のＧＯＰ再構成部１１又は１２に入力され、それぞれ指定されたフレームで切り替えられるよう、既存画像は指定フレームで終る新たなＧＯＰに、また、新画像は指定フレームで始まる新たなＧＯＰに再構成される。合成部１３はそれぞれの画像をＧＯＰ単位で接続し一つの連続画像にする。

ここで、ＧＯＰ再構成部１１及び１２の動作の詳細を、図３乃至図１０を参照しながら説明する。

図３において、入力側バッファメモリ１４、可変長符号復号器１５、逆量子化器１６、加算器１７、バッファメモリ１８及び量子化器１９からなる系と、閉ループを構成する加算器１７、フレームメモリ２３、フレームメモリ２２、前向き補償回路２０及び後ろ向き補償回路２１とからなる系とは、ＰフレームからＩフレームを生成するパスである。後述するように、新たにＩフレームを作る場合は前向き補償回路２０だけを、また、Ｂフレームの予測情報を修正するためにＰフレームをＩフレーム化する場合は前向き補償回路２０と後ろ向き補償回路２１の両方を用いる。

ＰフレームからＩフレームを生成するには、前のＩフレームを使いＰフレームをＩフレーム化すればよい。このＰフレームのＩフレーム化と後述のＢフレームの予測情報修正について説明する。

一つのＧＯＰは、一つのＩフレームを有し、例えば、“ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ”のように１５フレームからなることについては上述した。このＧＯＰのフレーム列の符号化順序は図４の（Ａ）に示すようになり、入力順序は図４の（Ｂ）に示すようになる。入力順序は、“ＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰ”であるが、符号化順序は、Ｉが先頭に来るようにＩとＰを前にずらし、“ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ”となる。

マトリックススイッチャ１に入力された上記圧縮画像データのＧＯＰは、可変長符号復号器１５で図４の（Ａ）に示すような符号化順序を解かれ、図４の（Ｂ）に示すような入力順序とされている。図５にこの入力順序とされたＧＯＰの“ＩＢＢＰ”部分を取り出して示す。もちろん、各フレームは、左から入力順序で配列され、符号化を解かれた周波数領域のスペクトル値である。

ＩフレームＦ_Ｉのスペクトル値を、予測ベクトルを持つＰフレームＦ_Ｐのブロックのスペクトル値に加算する。ここで、ブロックは、８×８の６４画素分のスペクトル値から成る。動きベクトルである上記予測ベクトルは、ＩフレームＦ_ＩのあるブロックがＰフレームＦ_Ｐのあるブロックとある誤差内で同じであるという対応関係を示し、ＩフレームＦ_Ｉからそのブロックを持って来ることにより、対応するＰフレームＦ_Ｐのブロックが再生できる。この操作を全ブロックについて行うと、ＰフレームをＩフレーム化できる。可変長符号復号器１５、ワークメモリ２４及び予測データ修正回路２５からなる系は、前向き予測情報の埋め込み、又は、後ろ向き予測情報の埋め込み等、ＢフレームＦ_Ｂ１及びＦ_Ｂ２の修正を行う。前向きと後ろ向き両方の予測情報がある場合、どちらか一方のみにする。この操作は予測データ修正回路２５で行われる。ＢフレームＦ_Ｂ１及びＦ_Ｂ２の修正は、上述のＩフレーム化した後のフレームＦ_Ｐ’の情報を用いて行う。これは、Ｉフレーム化したフレームＦ_Ｐ’を捨てる前に、Ｂフレーム再生に必要な情報をＢフレームＦ_Ｂ１及びＦ_Ｂ２に移すために必要である。具体的には、ベクトル情報に基づきＩフレーム化したフレームＦ_Ｐ’からスペクトル値を移動し、フレーム間の依存関係をなくす処理を行う。このように、ＰフレームＦ_ＰのＩフレーム化には、二つの目的がある。一つは、ＢフレームＦ_Ｂ１及びＦ_Ｂ２の予測情報修正のため捨てるＰフレームＦ_ＰをＩフレーム化することと、もう一つはＩフレームＦ_Ｉを捨てるためにＰフレームＦ_Ｐから新たなＩフレームＦ_Ｐ’を作ることである。また、ＩフレームＦ_ＩからＢフレームＦ_Ｂ１及びＦ_Ｂ２に予測ブロックのスペクトル値を供給しているのは、伸張の際の操作である。ここでは、フレームの圧縮情報を予測情報としている。ＰフレームやＢフレームの予測情報には、動きベクトルを用いて差分化してから量子化した情報と、動きベクトルを用いない情報の２つがある。ＢフレームＦ_Ｂ１及びＦ_Ｂ２の予測情報修正はＩフレームＦ_ＩあるいはＰフレームＦ_Ｐを捨てる時に必要になる。ＩフレームＦ_ＩやＰフレームＦ_Ｐには動きベクトルを求めた元データ（動きベクトルを用いない情報）があるので、これをＢフレームＦ_Ｂ１及びＦ_Ｂ２に埋め込む必要がある。これが、動きベクトルを用い差分化してから量子化した情報を、動きベクトルを用いない情報に修正する理由である。Ｐフレームに元データがあるとは限らず、最悪の場合、Ｉフレームまでさかのぼることも有り得る。このようにして、ＧＯＰ再構成部１１及び１２は、ＰフレームのＩフレーム化とＢフレームの予測情報修正を行っている。

そして、このＧＯＰ再構成部１１及び１２は、符号化順序が“ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ”であるようなＧＯＰのフレーム列を切り替え位置の違いによって図６及び図７に示すように再構成する。なお、ここではＧＯＰ再構成部１１が上記既存画像を図６のように、ＧＯＰ再構成部１２が上記新画像を図７のように再構成する。また、例えば、ＧＯＰ再構成部１１及び１２は、Ｐフレームがなく、ＩフレームとＢフレームだけから構成されている“ＩＢＢＢＩＢＢＢＩＢＢＢＩＢＢＢ”であるようなＧＯＰのフレーム列を切り替え位置の違いによって図８及び図９に示すように再構成する。なお、ここではＧＯＰ再構成部１１が上記既存画像を図８のように、ＧＯＰ再構成部１２が上記新画像を図９のように再構成する。

図６及び図７に示したＧＯＰ再構成処理の例では、既存画像のＰフレームを捨て、Ｂフレームに後ろ向き予測情報を加える処理と、新画像のＰフレームをＩフレームにし、Ｂフレームに前向き予測情報を加える処理をする。上記既存画像の処理では、前のＩフレームから次のＰフレームをＩフレーム化し、これを順次繰り返し対象のＰフレームをＩフレーム化し、これを用いてＢフレームの予測情報を修正する。また、上記新画像の処理では、前のＩフレームから対象のＰフレームをＩフレーム化し、前のＩフレームの情報を用いＢフレームの予測情報を修正する。

また、図８及び図９に示したＧＯＰ再構成処理の例では、Ｐフレームが存在しないので、ＰフレームからＩフレームを作る必要がないが、Ｂフレームの修正のためＰフレームからＩフレームを生成するパスでＩフレームをワークメモリ２４に持って来る。

これらの処理が施された処理フレームデータは、ワークメモリ２４から符号化器２６に供給されてハフマン符号とランレングス符号に変換されてから、ワークメモリ／出力側バッファメモリ２８に入る。ワークメモリ／出力側バッファメモリ２８には、入力側バッファメモリ１４の出力も供給される。この入力側バッファメモリ１４から直接供給されるデータは、ＧＯＰの再構成において、処理する必要のない未処理フレームデータである。ワークメモリ／出力側バッファメモリ２８の出力データは、ＧＯＰ組立回路２７に入る。このＧＯＰ組立回路２７は、上記処理フレームデータと上記未処理フレームデータを組合せ、新たなＧＯＰを作る。ここで、不要となったフレーム情報が捨てられる。あるいは入力側バッファメモリ１４の出力で選択的に捨てることもできる。

以下、ＧＯＰ再構成部１１及び１２が行う上記図６及び図７、上記図８及び図９の二つの例について詳しく説明する。

図６の（Ａ）は、上記既存画像のＧＯＰの入力順序フレーム列の後半部分ｆ，ｄ，ｈ，ｉ，ｇ，ｋ，ｌ，ｊ，ｎ，ｏ，ｍと、切り替え位置Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４，Ｓ_５，Ｓ_６，Ｓ_７，Ｓ_８を示す。ここで、ｄ，ｇ，ｊ，ｍは、Ｐフレームであり、ｆ，ｈ，ｉ，ｋ，ｌ，ｎ，ｏはＢフレームである。また、各切り替え位置Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４，Ｓ_５，Ｓ_６，Ｓ_７，Ｓ_８での切り替えは、制御部７により指示される。図６の（Ｂ）乃至図６の（Ｉ）には、切り替え位置Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４，Ｓ_５，Ｓ_６，Ｓ_７，Ｓ_８が指示された場合のＧＯＰ再構成部１１で行われる再構成処理の様子を示す。ここで、ＧＯＰの基本的な符号化順序は、Ｂフレームであるｈ，ｉを符号化するにはＰフレームであるｇフレームが既に分かっていなければならないので、ｈ，ｉよりもｇを早く符号化するため、Ｐフレームであるｇを前のＰフレームの位置に移動した順序となる。Ｐフレームのｊ，ｍも同様である。

制御部７からの指示により図６の（Ａ）のように切り替え位置Ｓ_１が示されると、ＧＯＰ再構成部１１では特に、上記基本的な符号化順序を変更することなく、図６の（Ｂ）に示すように、ＧＯＰ単位での切り替えを行う。

上記切り替え位置Ｓ_２が示されると、ＧＯＰ再構成部１１は図６の（Ｃ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｎ，ｏにＰフレームであるｍの後ろ向き予測情報を加え、修正ｎ’，ｏ’としてから該ｍを捨てる。後ろ向き予測情報を加えるのは、Ｂフレームのｎとｏに実際のブロック画像情報を加えることによって、ｎとｏからｍによって与えられたベクトル情報を削除するためである。Ｐフレームのブロック画像情報は、ＩフレームとＰフレームとの差分値を、あるいはＰフレームの値を離散的コサイン変換したものである。ＩフレームとＰフレームの差分値を離散的コサイン変換する場合は、ＧＯＰ内に以前のＩフレームとＰフレームから対象のＰフレームであるｍの画像を再構成する必要がある。つまり、ＧＯＰ内の前からＢフレームの予測情報付加に必要なＰフレームまでのすべてをＩフレームから一時的にＩフレーム化する。

上記切り替え位置Ｓ_３が示されると、ＧＯＰ再構成部１１は図６の（Ｄ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｎにＰフレームであるｍの後ろ向き予測情報を加え、ｎ’に修正してから、ｏ’とｍを捨てる。

上記切り替え位置Ｓ_４が示されると、ＧＯＰ再構成部１１は図６の（Ｅ）に示すように、上記基本的な符号化順序とされたフレーム列の、ｎ，ｍ，ｏを捨てる。

上記切り替え位置Ｓ_５が示されると、ＧＯＰ再構成部１１は図６の（Ｆ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｋ，ｌにＰフレームであるｊの後向き予測を加え、修正ｋ’，ｌ’としてから、ｊ，ｎ，ｏ，ｍを捨てる。

上記切り替え位置Ｓ_６が示されると、ＧＯＰ再構成部１１は図６の（Ｇ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｋにＰフレームであるｊの後向き予測を加え、修正ｋ’としてから、ｌ，ｊ，ｎ，ｏ，ｍを捨てる。

上記切り替え位置Ｓ_７が示されると、ＧＯＰ再構成部１１は図６の（Ｈ）に示すように、上記基本的な符号化順序とされたフレーム列のｋ，ｌ，ｊ，ｎ，ｍ，ｏを捨てる。

上記切り替え位置Ｓ_８が示されると、ＧＯＰ再構成部１１は図６の（Ｉ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｈ，ｉにＰフレームであるｇの後向き予測情報を加え、修正ｈ’、ｉ’としてからｇ，ｋ，ｌ，ｊ，ｎ，ｍ，ｏを捨てる。

図７の（Ａ）は、上記新画像のＧＯＰの入力順序フレーム列の前半部分ｂ，ｃ，ａ，ｅ、ｆ，ｄ，ｈ，ｉ，ｇ，ｋと、切り替え位置ｓ_１，ｓ_２，ｓ_３，ｓ_４，ｓ_５，ｓ_６，ｓ_７，ｓ_８を示す。ここで、ａはＩフレームであり、ｄ，ｇ，ｊはＰフレームであり、ｂ，ｃ，ｅ，ｆ，ｈ，ｉ，ｋはＢフレームである。また、各切り替え位置ｓ_１，ｓ_２，ｓ_３，ｓ_４，ｓ_５，ｓ_６，ｓ_７，ｓ_８での切り替えは、制御部７により指示される。図７の（Ｂ）乃至図７の（Ｉ）には、切り替え位置ｓ_１，ｓ_２，ｓ_３，ｓ_４，ｓ_５，ｓ_６，ｓ_７，ｓ_８の場合のＧＯＰ再構成部１２で行われる再構成処理の様子を示す。また、ＧＯＰの基本的な符号化順序は、Ｉフレームであるａが先頭になるように、該ａとＰフレームであるｄ，ｇ，ｊを前のＩ又はＰフレームの位置に移動した順序となる。

制御部７からの指示により、図７の（Ａ）のように切り替え位置ｓ_１が示されると、ＧＯＰ再構成部１２では特に、上記符号化順序を変更することなく、ＧＯＰ単位での切り替えを行う。

上記切り替え位置ｓ_２が示されると、ＧＯＰ再構成部１２は図７の（Ｃ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｂを捨てる。

上記切り替え位置ｓ_３が示されると、ＧＯＰ再構成部１２は図７の（Ｄ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｂ，ｃを捨てる。

上記切り替え位置ｓ_４が示されると、ＧＯＰ再構成部１２は図７の（Ｅ）に示すように、上記基本的な符号化順序とされたフレーム列のＰフレームであるｄをＩフレーム化し、ＢフレームであるｅとｆにＩフレームであるａの前向き予測情報を加え、修正ｅ’，ｆ’としてから、ａ，ｂ，ｃを捨てる。前向き予測情報を加えるのは、Ｂフレームのｅとｆに実際のブロック画像情報を加えることによって、ｅとｆからａによって与えられたベクトル情報を削除するためである。

上記切り替え位置ｓ_５が示されると、ＧＯＰ再構成部１２は図７の（Ｆ）に示すように、上記基本的な符号化順序とされたフレーム列のＰフレームであるｄをＩフレーム化し、ＢフレームであるｆにＩフレームであるａの前向き予測情報を加え、修正ｆ’としてから、ａ，ｂ，ｃ，ｅを捨てる。

上記切り替え位置ｓ_６が示されると、ＧＯＰ再構成部１２は図７の（Ｇ）に示すように、上記基本的な符号化順序とされたフレーム列のＰフレームであるｄをＩフレーム化し、ａ，ｂ，ｃ，ｅ，ｆを捨てる。

上記切り替え位置ｓ_７が示されると、ＧＯＰ再構成部１２は図７の（Ｈ）に示すように、上記基本的な符号化順序とされたフレーム列のＰフレームであるｇをＩフレーム化し、ｈとｉにｄの前向き予測情報を加え、修正ｈ’，ｉ’としてから、ａ，ｂ，ｃ，ｄ，ｅ，ｆを捨てる。

上記切り替え位置ｓ_８が示されると、ＧＯＰ再構成部１２は図７の（Ｉ）に示すように、上記基本的な符号化順序とされたフレーム列のＰフレームであるｇをＩフレーム化し、ｉにｄの前向き予測情報を加え、修正ｉ’としてから、ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｈを捨てる。

このように、ＧＯＰ再構成部１１及び１２は、既存画像及び新画像をそれぞれ独立に再構成する。そして、合成部１３は、それぞれの画像をＧＯＰ単位で接続し、一つの連続画像にする。

図８の（Ａ）は、上記既存画像のＧＯＰの入力順序フレーム列の後半部分ｈ，ｅ，ｊ，ｋ，ｌ，ｉ，ｏ，ｐ，ｑ，ｍと、切り替え位置Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４，Ｓ_５，Ｓ_６，Ｓ_７，Ｓ_８を示す。ここで、ｅ，ｉ，ｍはＩフレームであり、ｈ，ｊ，ｋ，ｌ，ｏ，ｐ，ｑはＢフレームである。また、各切り替え位置Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４，Ｓ_５，Ｓ_６，Ｓ_７，Ｓ_８での切り替えは、制御部７の指示により示される。図８の（Ｂ）乃至図８の（Ｉ）には、切り替え位置Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４，Ｓ_５，Ｓ_６，Ｓ_７，Ｓ_８の場合のＧＯＰ再構成部１１で行われるＧＯＰ再構成の様子を示す。ここで、ＧＯＰの基本的な符号化順序は、Ｉフレームであるｅ，ｉ，ｍを前のＩフレームの位置に移動した順序となる。

制御部７の指示により図８の（Ａ）のように切り替え位置Ｓ_１が示されると、ＧＯＰ再構成部１１では特に、上記基本的な符号化順序を変更することなく、図８の（Ｂ）に示すように、ＧＯＰ単位での切り替えを行う。

上記切り替え位置Ｓ_２が示されると、ＧＯＰ再構成部１１は、図８の（Ｃ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｏ，ｐ，ｑにＩフレームであるｍの後ろ向き予測情報を加え、修正ｏ’，ｐ’，ｑ’としてからｍを捨てる。

上記切り替え位置Ｓ_３が示されると、ＧＯＰ再構成部１１は、図８の（Ｄ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｏ，ｐにＩフレームであるｍの後ろ向き予測情報を加え、修正ｏ’，ｐ’としてからｍ，ｑを捨てる。

上記切り替え位置Ｓ_４が示されると、ＧＯＰ再構成部１１は、図８の（Ｅ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｏにＩフレームであるｍの後ろ向き予測情報を加え、修正ｏ’としてからｍ、ｐ，ｑを捨てる。

上記切り替え位置Ｓ_５が示されると、ＧＯＰ再構成部１１は、図８の（Ｆ）に示すように、上記基本的な符号化順序とされたフレーム列のｏ，ｐ，ｑ，ｍを捨てる。

上記切り替え位置Ｓ_６が示されると、ＧＯＰ再構成部１１は、図８の（Ｇ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｊ，ｋ，ｌにＩフレームであるｉの後ろ向き予測情報を加え、修正ｊ’，ｋ’，ｌ’としてから、ｉ，ｏ，ｐ，ｑ，ｍを捨てる。

上記切り替え位置Ｓ_７が示されると、ＧＯＰ再構成部１１は、図８の（Ｈ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｊ，ｋ，にＩフレームであるｉの後ろ向き予測情報を加え、修正ｊ’，ｋ’としてから、ｌ，ｉ，ｏ，ｐ，ｑ，ｍを捨てる。

上記切り替え位置Ｓ_８が示されると、ＧＯＰ再構成部１１は、図８の（Ｉ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｊにＩフレームであるｉの後ろ向き予測情報を加え、修正ｊとしてから、ｋ，ｌ，ｉ，ｏ，ｐ，ｑ，ｍを捨てる。

図９の（Ａ）は、上記新画像のＧＯＰの入力順序フレーム列の前半部分ｂ，ｃ，ｄ，ａ，ｆ，ｇ，ｈ，ｅ，ｊ，ｋと、切り替え位置ｓ_１，ｓ_２，ｓ_３，ｓ_４，ｓ_５，ｓ_６，ｓ_７，ｓ_８を示す。ここで、ａ，ｅはＩフレームであり、ｂ，ｃ，ｄ，ｆ，ｇ，ｈ，ｊ，ｋはＢフレームである。また、各切り替え位置ｓ_１，ｓ_２，ｓ_３，ｓ_４，ｓ_５，ｓ_６，ｓ_７，ｓ_８での切り替えは、制御部７により指示される。図９の（Ｂ）乃至図９の（Ｉ）には、切り替え位置ｓ_１，ｓ_２，ｓ_３，ｓ_４，ｓ_５，ｓ_６，ｓ_７，ｓ_８の場合のＧＯＰ再構成部１２で行われるＧＯＰ再構成処理の様子を示す。また、ＧＯＰの基本的な符号化順序は、Ｉフレームであるａ，ｅ，ｉを前のＩフレームの位置に移動した順序となる。

制御部７の指示により、図９の（Ａ）のように切り替え位置ｓ_１が示されると、ＧＯＰ再構成部１２では特に、上記符号化順序を変更することなく、ＧＯＰ単位での切り替えを行う。

上記切り替え位置ｓ_２が示されると、ＧＯＰ再構成部１２は図９の（Ｃ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｂを捨てる。

上記切り替え位置ｓ_３が示されると、ＧＯＰ再構成部１２は図９の（Ｄ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｂ，ｃを捨てる。

上記切り替え位置ｓ_４が示されると、ＧＯＰ再構成部１２は図９の（Ｅ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｂ，ｃ，ｄを捨てる。

上記切り替え位置ｓ_５が示されると、ＧＯＰ再構成部１２は図９の（Ｆ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｆ，ｇ，ｈにａの前向き予測情報を加え、修正ｆ’，ｇ’，ｈ’としてから、ｂ，ｃ，ｄ，ａを捨てる。

上記切り替え位置ｓ_６が示されると、ＧＯＰ再構成部１２は図９の（Ｇ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｇ，ｈにＩフレームであるａの前向き予測情報を加え、修正ｇ’，ｈ’としてから、ｂ，ｃ，ｄ，ａ，ｆを捨てる。

上記切り替え位置ｓ_７が示されると、ＧＯＰ再構成部１２は図９の（Ｈ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｈにＩフレームであるａの前向き予測情報を加え、修正ｈ’としてから、ｂ，ｃ，ｄ，ａ，ｆ，ｇを捨てる。

上記切り替え位置ｓ_８が示されると、ＧＯＰ再構成部１２は図９の（Ｉ）に示すように、上記基本的な符号化順序とされたフレーム列のｂ，ｃ，ｄ，ａ，ｆ，ｇ，ｈを捨てる。

このように、ＧＯＰ再構成部１１及び１２は、既存画像及び新画像をそれぞれ独立に再構成する。そして、合成部１３は、それぞれの画像をＧＯＰ単位で接続し、一つの連続画像にする。

ここで、ＧＯＰ再構成部１１及び１２で行われるＧＯＰ組替えに伴いＧＯＰの総データ量が予め決められたデータ総量である基準データ量を超える場合が生じる。この場合は、ＧＯＰ組立部２７は、上記処理フレームデータと上記未処理フレームデータからなる総データ量を基準データ量以内に収めるためのデータ圧縮処理を行う。このＧＯＰ組立部２７のデータ圧縮処理を図１０のフローチャートを参照しながら説明する。

先ず、ＧＯＰ組立部２７は、ステップＳＴ１に示すように、ワークメモリ／出力側バッファメモリ２８に格納されている処理対象のＧＯＰの総データ量を算出する。そして、算出したＧＯＰの総データ量が予め決められた基準データ量以下か否かをステップＳＴ２で判定する。ここで、基準データ量は、ＧＯＰを構成するフレーム数により変わる。上記ＧＯＰの総データ量が上記基準データ以下である場合、ＧＯＰ組立回路２７は、ステップＳＴ３に進み、上記ＧＯＰの総データをワークメモリ／出力側バッファメモリ２８から読み出して、後段の合成部１３に供給する。このステップＳＴ３の処理が完了すればＧＯＰ組立部２７のデータ圧縮処理は終了する。

しかし、ステップＳＴ２でＧＯＰの総データ量が基準データ量よりも大きいと判断すると、ＧＯＰ組立回路２７は、ステップＳＴ４に進み、ワークメモリ／出力側バッファメモリ２８からＧＯＰの総データを読み出した後、ステップＳＴ５に示すように、該読みだしたＧＯＰの総データを可変長符号復号器で復号化する。そして、ＧＯＰ組立回路２７は、復号化したＧＯＰの総データのデータ量が基準データ量以下になるように、ステップＳＴ６で再度量子化を行いデータ量を修正する。その後、ＧＯＰ組立回路２７は、上記データ量が修正されたＧＯＰデータをステップＳＴ７で符号化し、ワークメモリ／出力側バッファメモリ２８に戻してから、ステップＳＴ８に示すように、該再量子化されたＧＯＰデータをワークメモリ／出力側バッファメモリ２８から読み出す。

ステップＳＴ８で読み出されたＧＯＰデータは、ステップＳＴ１に戻り総データ量が算出される。その後は、ステップＳＴ２で該データ量が基準データ以下か否かの判断を受け、ＹＥＳが判断されれば、ステップＳＴ３で合成部１３に供給される。ＮＯが判断されれば、ステップＳＴ４からステップＳＴ８の処理を繰り返す。

ここで、ステップＳＴ６で行われる再量子化は、量子化器１９で用いた量子化テーブルの各係数に重み係数を掛けることにより、割当ビット数を減らす。この再量子化は、Ｉフレーム、Ｐフレーム及びＢフレームの全てに対して行う。上記重み係数は、基準データ量を総データ量で割り算した値に定数を掛けたものを用いる。定数は、符号化する際に基準データ量を超えないように定める。

ＧＯＰ総データ量を基準データ量以内に収めるには、さらに符号化器２６のハフマンテーブルの更新機能を用意し、符号化する際の基準データ超えが生じないようにする処置をとってもよい。

このようにして、マトリックススイッチャ１は、フレーム間圧縮処理をした圧縮画像の切り替えを、指定したフレームで正確に行える。また、切り替え後の圧縮画像は、伸張処理に影響を及ぼさない。また、切り替え後のＧＯＰのフレーム構成が同じである必要はない。また、切り替え画像のＧＯＰの位相は一致する必要はない。切り替え合成後の画像のＧＯＰ情報量の増加を抑えられる。また、画像の伸張を不要として、カット編集を行える。

次に、本実施例の画像情報処理装置は、上述したマトリックススイッチャ１によって上述したように接続された上記圧縮画像データを図１に示したデコーダ２により、元の画像に復元する。また、デコーダ２は、圧縮画像を元の画像に復元する機能の他、入力信号から画像信号と音声信号とそれらの属性情報を分離する機能と、制御部７との通信機能も備えている。

ここで、属性情報とは信号の性質や特徴を示す情報で、例えば画像信号の場合、圧縮／非圧縮状態識別情報、圧縮方式情報、水平・垂直方向の画素数に応じる画像サイズ情報、処理領域を指定する処理画面サイズ情報、例えばＮＴＳＣ、ＰＡＬ、ＲＧＢ等の画像方式情報、入出力信号レート情報等がある。この属性情報は、制御部７経由でデコーダ２に与えることもできる。

具体的に、デコーダ２は、制御部７の指示に従い伸張方法を換えながら外部入力装置からの圧縮画像信号を伸張する。属性情報の圧縮／非圧縮状態識別情報で非圧縮状態とされた伸張する必要のない画像には圧縮処理を施さないで、バイパスする。

このデコーダ２は、図１１に示すように、例えばハフマン復号化等の復号化を行う復号器３１と、ＩＤＣＴ回路３２と、逆ブロック化回路３３からなり、上記ＪＰＥＧで標準化された符号化方法によって圧縮された画像をデコードするＪＰＥＧ用デコーダ３０と、バッファメモリ４１と、可変長符号復号器４２と、逆量子化器４３と、ＩＤＣＴ回路４４と、加算器４５と、前向き補償回路４６と、前向き＋後向き補償回路４７と、後ろ向き補償回路４８と、フレームメモリ４９と、フレームメモリ５０とからなり、上記ＭＰＥＧで標準化された符号化方法で圧縮された画像をデコードするＭＰＥＧ用デコーダ４０とを有して構成される。

ＪＰＥＧ用デコーダ３０とＭＰＥＧ用デコーダ４０の入力側には、どちらのデコーダにデータを通すかを選択するデコーダ選択器３４が設けられている。また、このＪＰＥＧ用デコーダ３０とＭＰＥＧ用デコーダ４０の出力側には、出力選択器３５が設けられている。

ＪＰＥＧ用デコーダ３０の復号器３１は、例えばハフマン符号化されたデータを復号化する。ＩＤＣＴ回路３２は、上記復号化データに離散的コサイン逆変換処理を施す。逆ブロック化回路３３は、ブロック化されていたデータを元に戻し一枚の画像にする。

ＭＰＥＧ用デコーダ４０のバッファメモリ４１は、後段のデコード処理に必要なデータを一時的に蓄える。可変長符号復号器４２は、可変長で符号化されたデータを復号化する。逆量子化器４３は、可変長符号復号器４２の出力データに量子化数を掛け周波数領域の値に戻す。ＩＤＣＴ回路４４は、逆量子化器４３の出力データに離散的コサイン逆変換処理を施す。前向き補償回路４６は、フレームメモリ４９から時間の流れと同じ方向である前向き方向の画像情報を取り出して画像を再構成する。後ろ向き補償回路４８は、フレームメモリ５０から時間の流れと逆方向である後ろ向き方向の画像情報を取り出して画像を再構成する。前向き＋後ろ向き補償回路４７は、フレームメモリ４９とフレームメモリ５０から上記両方向の画像情報を取り出して画像を再構成する。加算器４５は、前向き補償回路４６、前向き＋後ろ向き補償回路４７及び後ろ向き補償回路４８から出力された再構成画像とＩＤＣＴ回路４４の処理結果の画像を加算する。このデコーダ２の伸張処理は、例えば８×８画素ブロック単位であるような任意の大きさの画像も受け入れられるようにパラメトリックになっており、属性情報の画像サイズ情報に従い指定された大きさの画像を伸張できる。例えば８×８画素ブロックで端数のでる画像の場合は、ダミーデータを付加し端数のでない大きさにして処理する。

次に、入力バッファメモリ部３は、上記画像信号を例えばコンポーネント信号に変換すると共に上記画像信号の転送レートを変換する機能の他、制御部６との通信機能も備える。

入力バッファメモリ部３は、図１２に示すように、方式変換エンコーダ５１と、レート変換機能付バッファメモリ５２とから構成される。方式変換エンコーダ５１は、デコーダ２で伸張されたコンポジット信号や、Ｙ／Ｃ信号を本装置の内部処理で取り扱われるＹ、Ｒ−Ｙ、Ｇ−Ｙ又はＲ、Ｇ、Ｂ等のコンポーネント信号に変換する。この方式変換は、制御部７から与えられる属性情報の画像サイズ情報と画像方式情報に従い処理される。ただし、単なるフレームの切り換えの場合等には、コンポジット信号、Ｙ／Ｃ信号のままでもよいので、コンポーネント信号への変換は不要となる。

また、レート変換機能付バッファメモリ５２は、上記画像信号の画像サイズとは無関係で、かつ十分な容量を持っている。レート変換機能付バッファメモリ５２への書き込みは、該バッファメモリ５２への入力のレートで行い、読み出しは内部の処理レートで行う。上記バッファメモリ５２への入力のレートは、方式変換エンコーダ５１の出力レートである。書き込みレートに対して読み出しレートが速い場合は、読み出しの途中で待ち状態が入る。レート変換機能付バッファメモリ５２は、２枚のメモリから成り、一方が書き込みメモリの時、もう一方は読み出しメモリになる。読み出し／書き込みの役割は交互に入れ替わる。すなわち、レート変換機能付バッファメモリ５２は、ダブルバッファメモリ構造をとる。二つのメモリのそれぞれは、独立に働くアドレス生成器を持つ。入力レートは制御部７から与えられる属性情報の画像入出力レート情報に従いそれぞれのメモリにあるアドレス生成器がアドレスを生成する。アドレス生成ブロックの大きさとブロックアドレスの間隔を調整することによりさまざまなレートの入力を処理系の内部レートに変換できる。なお、本実施例では、画像データをブロックで扱うので、上記レートは時間の平均レートである。

画像処理部４は、画像の生成や合成やペイントや特殊効果等の画像処理を行う機能の他、制御部７との通信機能も備えている。

この画像処理部４は、図１３に示すように、色変換回路５３と、可変タップ低域フィルタ５４と、画像メモリ５５と、補間フィルタ５６と、合成回路５７と、アドレス生成器５８と、画像処理制御部５９とから構成される。

色変換回路５３は、画像処理制御部５９の指示に従い画像の各画素の色を変える。一般に、各色はＲ、Ｇ、ＢあるいはＹ、Ｒ−Ｙ、Ｂ−Ｙの３色からなり、その混合比を変えることにより色変換される。可変タップ低域通過フィルタ５４は、縮小処理に先だってアンチエリアシング処理を行うための低域通過フィルタ機能を備える。この可変タップ低域通過フィルタ５４は、画像処理制御部５９の指示に従い、タップ係数を変えられるので、縮小の程度に応じ、作用する低域範囲を変えられる。また、上記低域通過フィルタ機能は、特殊効果の一つであるデフォーカスと呼ばれるぼかし処理にも用いられる。画像メモリ５５は、幾何学変換と呼ばれる座標変換を行うためのワーキングメモリである。変換のためのアドレスは、アドレス生成器５８で生成される。補間フィルタ５６は、座標変換により生じた空の画素を周囲の画素値を用い穴埋めするための補間機能を有する。合成回路５７は、複数の処理画像を合成する。アドレス生成器５８は、画像メモリ５５上の画像を幾何学変換するためのアドレスを生成する。画像処理制御部５９は、色変換回路５３、可変タップ低域通過フィルタ５４、アドレス生成器５８、補間フィルタ５６、合成回路５７に制御信号を出し処理を指示する。この画像処理制御部５９には、制御部７からの制御信号が供給されている。ここで、画像の処理範囲や画像をメモリにしまう領域は、制御部７から伝えられる属性情報の処理画面サイズ情報と画像サイズ情報に従ったパラメータにより設定される。これにより任意のサイズの画像を任意の処理画面サイズで処理できる。

エンコーダ５は、上記画像信号を圧縮する機能の他、画像方式変換機能と、制御部７との通信機能も備えている。ここで、エンコーダ５は、制御部７の指示に従い圧縮方法を変えながら画像を圧縮するが、圧縮する必要のない画像はバイパスする。また、エンコーダ５は、上記画像方式変換機能により、上述したコンポーネントによる画像方式を制御部７から供給される属性情報の画像方式情報に従った出力画像方式に変換する。この変換も制御部７からの属性情報の画像サイズ情報に従い処理されるので任意の画像を扱うことができる。属性情報の伝達は、制御部７との通信機能を用いて行われる。

このエンコーダ５は、図１４に示すように、デコーダ２と同様に、ＪＰＥＧ用エンコーダ６０と、ＭＰＥＧ用エンコーダ７０の２系統から構成される。これら２系統は、エンコーダ選択器３６で分かれ、出力選択器３７で一緒になる。また、エンコーダ選択器３６の前には、上記画像方式変換機能を実行する方式変換デコーダ３８を備えている。

ＪＰＥＧ用エンコーダ６０は、ブロック化回路６１と、ＤＣＴ回路６２と、量子化器６３と、ハフマン符号化器６４と、ランレングス符号化器６５と、マルチプレックス回路６６とからなる。

一方、ＭＰＥＧ用エンコーダ７０は、バッファメモリ７１と、ＤＣＴ回路７２と、量子化器７３と、ハフマン符号化器７４と、バッファメモリ７５と、動きベクトル検出回路７６と、前向き予測回路７７と、後ろ向き予測回路７８と、フレームメモリ７９と、フレームメモリ８０と、逆量子化器８１と、ＩＤＣＴ回路８２とからなる。

これら２つのエンコーダ６０又は７０の選択は、エンコーダ選択器３６が制御部７から供給される属性情報の圧縮方式情報に従って行う。

ＪＰＥＧ用エンコーダ６０のブロック化回路６１は、一枚の画像を小さなブロック、例えば８×８画素からなるブロックに分割する。ＤＣＴ回路６２は、例えば８×８画素からなる各ブロックに離散的コサイン変換処理を施す。量子化器６３は、各ブロック毎の６４個の画素データのパワーを量子化係数で割り、量子化する。ハフマン符号化器６４は、量子化器６３の出力である例えば６４個のスペクトルの内の直流成分をハフマン符号にする。ランレングス符号化器６５は、量子化した残りの交流成分をランレングス符号にする。マルチプレックス回路６６は、ハフマン符号化されたデータとランレングス符号化されたデータを選択合成する。

ＭＰＥＧ用エンコーダ７０のバッファメモリ７１は、エンコード処理で必要とされるデータを一時的に蓄える。一般には、１ＧＯＰ分のデータを蓄える。ＤＣＴ回路７２は、上記ＤＣＴ回路６２と同様、離散的コサイン変換処理を行う。量子化器７３は、量子化数で各離散的コサイン変換値を割る処理をする。ハフマン符号化器７４は、量子化したデータをハフマン符号にする。バッファメモリ７５は、所定のまとまった結果が得られ、出力されるまで、処理結果データを蓄える。動きベクトル検出回路７６は、参照フレームと呼ばれる基準の画像のブロック（一般には１６×１６画素から成る）が、別の画像のどの位置に移動したか、すなわち移動ベクトルを求める。前向き予測回路７７は、フレームメモリ８０から時間的に以前の画像から求めたベクトルに対応するブロックを抜き出す。後ろ向き予測回路７８は、フレームメモリ７９から時間的に以後の画像から求めたベクトルに対応するブロックを抜き出す。逆量子化器８１は、ＢフレームやＰフレームに相当する符号化フレームを作るために、量子化器７３での量子化を解く。ＩＤＣＴ回路８２は、同じくＤＣＴ回路７２での離散的コサイン変換処理を解くため、離散的コサイン逆変換処理を行う。フレームメモリ７９とフレームメモリ８０は、逆量子化器８１とＩＤＣＴ回路８２で再生された画像を、それぞれ、前向き予測回路７７と後ろ向き予測回路７８で行われる予測処理のために蓄える。バッファメモリ７１とＤＣＴ回路７２の間に設けられた減算器８３には、切り換えスイッチ８４の選択片ａが接続されている。切り換えスイッチ８４の被選択端子ｂには“０”が供給され、被選択端子ｃには前向き予測回路７７の出力が供給され、被選択端子ｅには後ろ向き予測回路７８の出力が供給される。また、被選択端子ｄには前向き予測回路７７の出力と後ろ向き予測回路７８の出力を加算する加算器８５の加算出力が供給される。したがって、減算器８３は、バッファメモリ７１の出力から、切り換えスイッチ８４で切り換えられた上記被選択端子ｂ、ｃ、ｄ又はｅの出力を減算する。すなわち、減算器８３は、符号化されるフレームから、予測できなかった場合は“０”を、前向き予測のみの場合は前向き予測値（抜き出されたブロック値）を、前向きと後ろ向きの予測がある場合は２つの合成値を、後ろ向き予測値のみの場合は後ろ向き予測値を引く。加算器８５は、前向きと後ろ向きの予測値を加算合成する。加算器８６は、前後の予測フレームの平均で予測フレームを作り予測する方式の場合、選択片ａ、被選択端子ｂ及びｃを持つ切り換えスイッチ８７と共に用いられ、フレーム加算を行う。

出力バッファメモリ部６は、エンコーダ５からの送り出しデータの転送レートを変換する機能の他、制御部７との通信機能を備える。

この出力バッファメモリ部６は、図１５に示すように、レート変換機能付バッファメモリ８９で構成される。レート変換機能付バッファメモリ８９は、圧縮した画像あるいは出力画像をレート調整のため一旦蓄える。このレート変換機能付バッファメモリ８９は、上記入力バッファメモリ部３のレート変換機能付バッファメモリ５２と同様に、上記画像信号の画像サイズとは無関係で、かつ十分な容量を持ち、ダブルバッファメモリ方式であり、それぞれのメモリは独立に動作するアドレス生成器を持つ。入力レートは、制御部７から与えられる属性情報の画像サイズ情報と画像入出力レート情報に従いそれぞれのメモリにあるアドレス生成器がアドレスを生成する。アドレス生成ブロックの大きさとブロックアドレスの間隔を調整することにより処理系の内部レートをさまざまなレートの出力レートに変換できる。すなわち、この出力バッファメモリ部５でも任意のレート変換を行える。

制御部７は、マトリックススイッチャ１、デコーダ２、入力バッファメモリ部３、画像処理部４、エンコーダ５、出力バッファメモリ部６の各処理を制御する機能を有する。

以上のように構成された画像情報処理装置の動作を以下に説明する。

マトリックススイッチャ１で上述したように、取り込まれ、切り換え選択された圧縮画像信号は、データの先頭に、圧縮／非圧縮状態識別情報、圧縮方式情報、水平・垂直方向の画素数に応じる画像サイズ情報、処理領域を決定する処理画面サイズ情報、例えばＮＴＳＣ、ＰＡＬ、ＲＧＢ等の画像方式情報、入出力信号レート情報等の属性情報が入ったヘッダ情報を持つ。

デコーダ２は、上記ヘッダ情報を読み、制御部７に上記画像属性情報を送る。制御部７は、上記属性情報から、圧縮／非圧縮識別情報、圧縮方式情報、画像サイズ情報をデコーダ２に再び送る。デコーダ２は、制御部７から上記属性情報を受け取らないで、デコーダ２自身が読み取った上記属性情報をそのまま使うことも変更することもできる。また、上記属性情報は、キーボード８から与えることもできる。制御部７は、上記属性情報の画像サイズ情報、画像方式情報、画像入出力レート情報を入力バッファメモリ部３に供給する。また、制御部７は、上記属性情報の画像サイズ情報、処理画面サイズ情報を画像処理部４に供給する。また、制御部７は、上記属性情報の圧縮／非圧縮状態識別情報、圧縮方式情報、画像サイズ情報、画像方式情報をエンコーダ５に供給する。また、制御部７は、上記属性情報の画像サイズ情報、画像入出力レート情報を出力バッファメモリ部６に供給する。

上記制御部７から切り換えの指示がマトリックススイッチャ１に供給されると、マトリックススイッチャ１は、上述したように、ＧＯＰの単位で圧縮画像データを切り替える。

デコーダ２は、制御部７からの属性情報に従い、伸張処理が不要な信号をそのまま入力バッファメモリ部３に出力する一方、伸張処理が必要な信号には選択情報に従い選択した伸張処理を施す。伸張処理は、画像サイズ情報に従い処理する範囲を決める。これによりデコーダ２は、任意の大きさの画像を伸張できる。

入力バッファメモリ部３は、制御部７からの画像方式情報に従い方式変換エンコーダ５１を使って、コンポジット信号又はＹ／Ｃ信号の上記画像信号を内部処理に適したコンポーネント信号に方式変換する。この方式変換処理の際、制御部７からの画像サイズ情報に従い処理範囲を決める。これによりこの入力バッファメモリ部３での方式変換処理も、任意の大きさの画像に対して有効になる。コンポーネント信号は、内部処理レートに変換されるためレート変換機能付バッファメモリ５２に入力レートで書き込まれ、改めて内部レートで読み出される。このレート変換機能付バッファメモリ５２は、上述したように画像サイズとは無関係で、かつ十分な容量を持ち、ダブルバッファ構造とされ、それぞれ独立のアドレス生成器があり、異なるブロックレートで読み書きされる。アドレス生成器で生成するアドレス領域は制御部７からの画像サイズ情報に従い決定されるので、この入力バッファメモリ部３での転送レートの変換は、任意の大きさの画像に対しても有効となる。

画像処理部４は、制御部７からの画像サイズ情報に従い、任意の大きさの画像をしまう画像メモリ５５の領域を指定して確保したり読み書きするアドレス範囲を決める。これにより画像処理部４は、任意の大きさの画像に画像処理を施すことができる。また、制御部７からの処理画面サイズ情報に従い画像処理範囲を決める。これにより画像処理部４は、指定した範囲の処理だけに処理系リソースを使うことができ、従来結果に反映されなかった処理に使われた無駄な処理系リソースを他の処理に有効利用できるようになった。

ここで、この画像処理部４の画像処理について説明する。入力バッファメモリ部３の出力である画像信号は、画像処理部４に供給される。画像処理部４に入った上記画像信号には、制御部７の指示に従った各種画像処理が施される。画像処理部４には、図１３に示したように、この画像処理部４内の制御を行う画像処理制御部５９がある。画素や複数画素ブロック単位の色変換は、画像処理制御部５９の指示に従い色変換回路５３で行われる。色変換が必要ない場合、色変換回路５３は画像処理制御部５９の指示で上記画像信号をバイパスする。色変換回路５３を介した画像信号は、可変タップ低域フィルタ５４に供給され、後述する後段の回路で行われる変形や縮小に備えて、高域の信号が除去される。この高域の信号の除去処理は、変形や縮小処理に伴い周波数的に高域信号が低域信号にエリアシング等の悪影響を及ぼすのを防ぐために必要である。どの程度、高域信号を除去するかは、画像処理制御部５９が変形や縮小の程度に依存して、除去する高域幅を指示することによって行われる。帯域制限する必要がない場合、画像処理制御部５９の指示でこの処理機能は、バイパスされる。可変タップ低域フィルタ５４を介した画像信号は、画像メモリ５５に供給される。この画像メモリ５５は、２次元及び３次元幾何変換を行うためのワーキングメモリである。幾何変換を行うアドレス生成は、アドレス生成器５８で行われ、画像メモリ５５に供給される。アドレス生成器５８でどのようなアドレスを生成するかは、画像処理制御部５９が指示する。この指示は、モデリングデータと変換則データで行うのが一般的である。画像メモリ５５から読み出されたデータ群は、一般にラスターデータとしては不完全で画素の抜けがたくさん存在する。この抜けを周囲の画素を用い埋める補間処理を補間フィルタ５６で行う。画像処理制御部５９が補間の精度を指示する。補間方法には、最近傍法、線形補間法、３次補間法などがあり、後者ほど精度の高い補間値が得られる。抜けを補間で埋めたラスター信号は、合成回路５７に供給される。この合成回路５７は、複数の処理画像を２次元あるいは３次元的に合成する。合成の際の奥行き情報等の制御信号は、画像処理制御部５９が供給する。合成の最終段で画像は２次元画像にされ、モニター９に表示される。

また、上記２次元画像は、エンコーダ５に供給され、方式変換され圧縮される。コンポーネント信号からの方式変換は、制御部７から供給される属性情報の画像方式情報に従い決められる。圧縮するか否かや圧縮方式は制御部７から供給される属性情報の圧縮／非圧縮状態識別情報及び圧縮方式情報に従い決められる。方式変換処理と圧縮処理が必要でない場合は処理されないで出力バッファメモリ部６に送られる。方式変換処理と圧縮処理の際、制御部７からの画像サイズ情報に従い指定された画像範囲の処理が行われる。これによりエンコーダ５でも任意の大きさの画像を取り扱える。

エンコーダ５の出力は、出力バッファメモリ部６に入る。出力バッファメモリ部６は、入力バッファメモリ部３のレート変換機能付バッファメモリ５２と同様の、画像サイズとは無関係で、かつ十分な容量を持ち、ダブルバッファ構造とされ、それぞれ独立のアドレス生成器があり、異なるブロックレートで読み書きされるレート変換機能付バッファメモリ８９を備えているので、送り出しデータのレート変換を行える。アドレス生成器で生成するアドレス領域は制御部７からの画像サイズ情報に従い決定されるので、この出力バッファメモリ部６でも任意の大きさの画像のレートを変換することができる。

以上のように、本実施例の画像情報処理装置は、解像度、転送レート、画像サイズに依存しない画像の入出力や処理を可能とすると共に、フレーム間圧縮処理をしたような圧縮画像の切り替えをスムーズに正確に行える。特に、上述したマトリックススイッチャ１を備えることにより、切り替え後の圧縮画像は、伸張処理に影響を及ぼさない。また、切り替え後のＧＯＰのフレーム構成が同じである必要はない。また、切り替え画像のＧＯＰの位相は一致する必要はない。切り替え合成後の画像のＧＯＰ情報量の増加を抑えられる。また、画像の伸張を不要として、カット編集を行える。

次に、本発明に係る画像情報処理装置の実施例の変形例を図１６を参照しながら説明する。この変形例は、ハード処理部１００と、ソフト処理部１１０と、入出力制御部１２０と、データ記憶部１３０とから成る。

この変形例は、処理をハード処理部１００とソフト処理部１１０に分けることにより、装置の全体処理の柔軟性と拡張性を高めている。ハード処理部１００は、主としてフィルタ等機械的処理やソフト処理で負荷が大きい処理を行う。ソフト処理部１１０はインテリジェントな処理や拡張性に富む処理を行う。

ハード処理部１００は、上記図１を用いて説明した上記実施例の画像情報処理装置とほぼ同様の構成である。すなわち、二つの外部入力装置１０１及び１０２から供給される複数の圧縮画像は、マトリックススイッチャ１で切り換えられて、デコーダ２に供給され、該デコーダ２で伸張される。このデコーダ２で、伸張された画像信号は、入力バッファメモリ部３に供給される。入力バッファメモリ部３を介した信号は、色変換器５３、可変タップ低域フィルタ５４、フレームメモリ５５、補間フィルタ５６、合成回路５７及びアドレス生成器５８で構成される画像処理部４に供給される。これら各部は、ソフト処理の際、ハードの各機能を、ソフトから利用できるハードモジュールとしてできるように、ローカルバス１０３で接続されている。画像処理部４で画像処理された画像信号は、エンコーダ５、出力バッファメモリ部６を介して外部出力装置１０４に出力される。ここで、上記各部は、ハードモジュール制御部１０５で制御される。

ソフト処理部１１０は、ＣＰＵ１１１、キャッシュメモリ１１２、主メモリ１１３、ＣＰＵバス１１４、メモリバス制御部１１５から成る。メモリバス制御部１１５は、ローカルバス１０３と、ハードモジュール制御部１０５に接続されており、ローカルバス１０３に画像データを、ハードモジュール制御部１０５に制御信号を伝送している。メモリバス制御部１１５は、ペリフェラルバス１１６経由でグラフィックモニタ制御部１２１と、メディア制御部１２２と、スイッチャ制御部１２３と、スモールコンピュータシステムインターフェース（以下ＳＣＳＩという。）アダプタ１２４と、操作パネル１２５とに接続されている。グラフィックモニタ制御部１２１は、ビデオメモリを内蔵しており、グラフィックモニタ１２６の表示制御を該ビデオメモリを用いて行う。メディア制御部１２２は、例えばＶＴＲやデータレコーダのような外部入力装置１０１及び１０２や、例えばＶＴＲやデータレコーダのような外部出力装置１０４の画像情報入出力タイミングを制御する。スイッチャ制御部１２３は、マトリックススイッチャ７０を制御する。ＳＣＳＩアダプタ１２４は、ＳＣＳＩバス１２７で結ばれた光磁気ディスク（図中、ＭＯと記す。）装置１３１、ＣＤ−ＲＯＭ１３２、ハードディスク装置（図中、ＨＤＤと記す。）１３３等のデータ記憶装置のインターフェースである。操作パネル１２５は、画像情報の処理や入出力を指示するのに用いられる。

ソフトから利用できるハードモジュールを実現する方法は、ＣＰＵ１１１で実行中のプログラムからサブルーチンライブラリがコールされると、そのサブルーチンライブラリがソフトライブラリの場合は、リンク時に決定された対応するプログラムアドレスにジャンプし実行される。また、サブルーチンライブラリがハードライブラリの場合も、リンク時に決定されたハードモジュールに対応するアドレスにジャンプする。ハードモジュールに対応するアドレスには、ハードモジュールに必要なデータを送り、実行を起動し、実行終了を確認しソフトウェアのメインプログラムに実行を戻す手続きが格納されている。例えば、ハードモジュールとして可変タップ低域フィルタ３４がコールされた場合、ＣＰＵ１１１の指示で主メモリ１１３からデータがメモリバス制御部１１５とローカルバス１０３経由で可変タップ低域フィルタ３４に送られる。次に、ＣＰＵ１１１は、メモリバス制御部１１５とローカルバス１０３経由で可変タップ低域フィルタ３４に実行を指示する。ＣＰＵ１１１は、実行終了を確認し、処理済みデータを、ローカルバス１０３と、メモリバス制御部１１５経由え主メモリ１１３に回収する。そして、メインプログラムに戻り、次のステップの実行に移る。

以上のように、図１６に示した変形例である画像情報処理装置は、装置の全体処理の柔軟性と拡張性を高めながら、静止画像から動画像までの広範囲の画像や、解像度に依存しないフリーフォーマット画像や、転送レートや画像サイズの異なるスケーラブル・フォーマット画像に生成、色変換、合成、編集等の画像処理を施すことができる。また、フレーム間圧縮処理をしたような圧縮画像の切り替えをスムーズに正確に行える。

なお、他の変形例としては、ＣＰＵ１１１とキャッシュメモリ１１２からなるユニットを複数用いてＣＰＵバス１１４に接続するような装置が考えられる。このため、この他の変形例は、負荷が重いときに、並列処理を行うことにより、負荷を軽減できる。

本発明の実施例の画像情報処理装置の概略的な構成を示すブロック図である。 図１に示した上記画像情報処理装置のマトリックススイッチャの詳細な構成を示すブロック図である。 図２に示したマトリックススイッチャのＧＯＰ再構成部の詳細な構成を示すブロック図である。 ＧＯＰの符号化順序と入力順序を示す図である。 図４に示したＧＯＰの入力順序の“ＩＢＢＰ”部分の拡大図である。 符号化順序が“ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ”であるＧＯＰのフレーム列に対するマトリックススイッチャのＧＯＰ再構成部の動作を説明するための図である。 符号化順序が“ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ”であるＧＯＰのフレーム列に対するマトリックススイッチャのＧＯＰ再構成部の動作を説明するための図である。 符号化順序が“ＩＢＢＢＩＢＢＢＩＢＢＢＩＢＢＢ”であるＧＯＰのフレーム列に対するマトリックススイッチャのＧＯＰ再構成部の動作を説明するための図である。 符号化順序が“ＩＢＢＢＩＢＢＢＩＢＢＢＩＢＢＢ”であるＧＯＰのフレーム列に対するマトリックススイッチャのＧＯＰ再構成部の動作を説明するための図である。 ＧＯＰ再構成部のデータ圧縮処理を説明するための図である。 図１に示した上記画像情報処理装置のデコーダの詳細な構成を示すブロック図である。 図１に示した上記画像情報処理装置の入力バッファメモリの詳細な構成を示すブロック図である。 図１に示した上記画像情報処理装置の画像処理部の詳細な構成を示すブロック図である。 図１に示した上記画像情報処理装置のエンコーダの詳細な構成を示すブロック図である。 図１に示した上記画像情報処理装置の出力バッファメモリの詳細な構成を示すブロック図である。 本発明の他の実施例の画像情報処理装置の詳細な構成を示すブロック図である。 従来の画像情報処理装置の構成を示すブロック図である。

符号の説明

１ マトリックススイッチャ、２ デコーダ、３ 入力バッファメモリ部、４ 画像処理部、５ エンコーダ、６ 出力バッファメモリ部、７ 制御部

Claims (6)

1. フレーム間圧縮処理が施された複数の圧縮画像を選択的に取り込むと共に、所定のフレーム数単位でフレーム間順方向予測符号化画像をフレーム内符号化画像化し、かつ双方向予測符号化画像の予測データの変更を行う選択手段と、
   上記選択手段で選択された圧縮画像信号を伸張する伸張手段と、
   上記伸張手段から出力された画像信号を入出力する第１の入出力手段と、
   上記第１の入出力手段から出力された画像信号に種々の画像処理を施して画像処理信号を出力する画像処理手段と、
   上記画像処理手段から出力された画像処理信号を圧縮し圧縮画像処理信号を出力する圧縮手段と、
   上記圧縮手段から出力された上記圧縮画像処理信号を入出力する第２の入出力手段と、
   上記選択手段の選択処理、上記伸張手段の伸張処理、上記第１の入出力手段の入出力処理、上記画像処理手段の画像処理、上記圧縮手段の圧縮処理、上記第２の入出力手段の入出力処理を制御する制御手段と
   を有することを特徴とする画像情報処理装置。
2. 上記選択手段は、上記双方向予測符号化画像の予測データの変更に伴う情報量増加を抑えることを特徴とする請求項１記載の画像情報処理装置。
3. 上記伸張手段は、上記入力された圧縮画像信号から、圧縮／非圧縮状態識別情報、圧縮方式情報、水平・垂直方向の画素数に応じる画像サイズ情報、処理領域を決定する処理画面サイズ情報、画像方式情報、入出力信号レート情報からなる属性情報を読み出し、上記制御手段に供給することを特徴とする請求項１記載の画像情報処理装置。
4. 上記第１の入出力手段は、上記画像信号の方式を変換する方式変換部と、上記画像信号の画像サイズとは無関係で、かつ十分な容量を持つ記憶部とを有して成ることを特徴とする請求項１記載の画像情報処理装置。
5. 上記第２の入出力手段は、上記画像信号の画像サイズとは無関係で、かつ十分な容量を持つ記憶部を有して成ることを特徴とする請求項１記載の画像情報処理装置。
6. 上記圧縮手段は、上記画像信号の方式を変換する方式変換部を有して成ることを特徴とする請求項１記載の画像情報処理装置。

Images