JP2007116723A

JP2007116723A - 階層画像を用いる映像信号変換装置

Info

Publication number: JP2007116723A
Application number: JP2006314966A
Authority: JP
Inventors: Tsutomu Uenoyama; 上野山　　努; Daisaku Komiya; 大作小宮
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-02-27
Filing date: 2006-11-22
Publication date: 2007-05-10
Anticipated expiration: 2017-06-16
Also published as: JP4526529B2

Abstract

【課題】映像信号変換における符号化時の動きベクトル検出に係る計算量を削減し、なおかつ精度の高い動きベクトルを検出すること。
【解決手段】階層的逆ＤＣＴ手段が、ＤＣＴ係数に対して低周波部分から段階的に逆ＤＣＴを施し、探索対象画像フレームと参照画像フレームの両方に対して、低演算負荷で解像度を落とした（画素数を減らした）複数の解像度の画像を生成する。映像符号化部は、最初に低い解像度の画像を用いて粗い動きベクトルの情報を計算し、その粗い動きベクトルに基づき探索範囲を狭めながら計算に用いる画像を段階的に解像度の高いものにして動きベクトルの精度を高め、最終的に原画像の解像度における動きベクトルを得る。
【選択図】図１７

Description

本発明は、デジタル映像信号の変換処理を行なう映像信号変換装置とその映像信号変換方法、並びにそれを用いた映像提供システムに関し、特に、コンポーネント形式や圧縮フォーマットの異なるデジタル映像信号間の直接変換を可能にしたものである。

近年、デジタル映像信号を扱う映像機器が増加している。このデジタル映像信号としては、従来からカラーコンポーネント信号が多く使われている。カラーコンポーネント信号とは、映像信号を、１つの輝度信号Ｙと２つの色差信号Ｃｒ、Ｃｂとに分けて扱う信号の形式である。カラーコンポーネント信号には、次に説明するように、輝度信号と色差信号との標本化周波数の比を異にする複数の形式が存在する。

第１の形式は４：４：４である。これは図３０（Ｂ）に示すように、Ｙ１画素に対しＣｒ、Ｃｂが１画素ずつ対応するものである。１フレームの情報を４：４：４で表すと、図３０（Ａ）に示す通り、Ｙ、Ｃｒ、Ｃｂが同じ情報量になる。
第２の形式は４：２：２である。これは図３１（Ｂ）に示す様に、横に並んだ２画素のＹに対し、Ｃｒ、Ｃｂが１画素ずつ対応するものである。１フレームの情報を４：２：２で表すと、図３１（Ａ）に示す通り、Ｃｒ、Ｃｂの情報量がそれぞれＹの情報量の１／２になる。

第３の形式は４：２：０である。これは図３２（Ｂ）に示す様に、縦・横２画素ずつ並んだ４画素のＹに対し、Ｃｒ、Ｃｂが１画素ずつ対応するものである。１フレームの情報を４：２：０で表すと、図３２（Ａ）に示す通り、Ｃｒ、Ｃｂの情報量がそれぞれＹの情報量の１／４になる。

第４の形式は４：１：１である。これは図３３（Ｂ）に示す様に、横に並んだ４画素のＹに対し、Ｃｒ、Ｃｂが１画素ずつ対応するものである。１フレームの情報を４：１：１で表すと、図３３（Ａ）に示す通り、Ｃｒ、Ｃｂの情報量がそれぞれＹの情報量の１／４になる。

そして近年、このようなデジタル映像信号を民生のビデオテープレコーダ付きカメラなどのビデオ機器や、パーソナルコンピュータで扱うことが可能となり、そのための機器も急速に普及している。

このようなパーソナルコンピュータや民生ビデオ機器で扱うデジタル映像信号は、標準化された圧縮形式で映像信号が圧縮されている。この圧縮形式の中の２種類について、次に説明する。

第１の圧縮形式は、ＭＰＥＧ１、ＭＰＥＧ２である。これらの圧縮形式は、コンピュータで利用する映像信号に多く用いられる。ＭＰＥＧ１、ＭＰＥＧ２は共に、動き補償によるフレーム間の時間的な冗長度の削減と、ＤＣＴ（離散コサイン変換）によるフレーム内の空間的な冗長度の削減と、可変長符号化による符号量削減とを組み合わせた画像圧縮の規格である。ＭＰＥＧ１については（非特許文献１）に、、ＭＰＥＧ２については（非特許文献２）にその内容が説明されているため、ここでは詳細な説明を省略する。

従来、これらＭＰＥＧ１またはＭＰＥＧ２形式の映像データを生成するには、一般に図３４に示すような過程を経ていた。即ち、アナログの信号出力しか持たないビデオテーププレーヤ、ビデオカメラなどのアナログビデオ機器101の場合には、出力されたアナログビデオ信号をアナログ→デジタル変換器102で変換して非圧縮デジタルビデオ信号を生成する。また、デジタルの信号出力を持つデジタルビデオ機器103からは直接非圧縮のデジタルビデオ信号を出力する。

これらの非圧縮デジタルビデオ信号をＭＰＥＧエンコーダ104に入力し、ＭＰＥＧエンコーダ104がＭＰＥＧデータを生成する、という手順により、ＭＰＥＧデータを生成していた。

このＭＰＥＧエンコーダ104へ入力される非圧縮のデジタルビデオ信号には、４：２：２もしくは４：４：４のカラーコンポーネント信号が用いられる。また、生成されるＭＰＥＧ１のデータすべてと、ＭＰＥＧ２のデータの多くは、４：２：０である。

第２の圧縮形式は、ＤＶ、ＤＶＣ、ＤＶＣＰＲＯ、ＤＶｃａｍなどである。これらは民生のビデオ機器を含むデジタルビデオ機器に用いられる映像信号の形式であり、信号のデータ構造や圧縮形式が殆ど同じものであるため、以降はこれらを纏めてＤＶと記述する。ＤＶは、１９９６年に制定されたビデオカセットレコーダ向けの規格である、「Specifications of Consumer-Use Digital VCRs (HD Digital VCR Conference, 1996)」に準拠した規格であり、ＤＶの映像信号を扱うビデオ機器は近年急速に普及している。ＤＶの映像信号を扱うビデオ機器として、民生向けビデオカメラも急速に普及が進んでおり、一般の人々がＤＶの映像信号を生成することも安価かつ容易に可能である。

このＤＶは、ＤＣＴによるフレーム内の冗長度削減と可変長符号化による符号量削減とを組み合わせた圧縮形式であり、この映像信号では、さらに圧縮信号に対して、フレーム内でマクロブロック単位にデータの位置を変えるシャフリングの処理が施されている。

ＤＶの映像信号を扱うビデオ機器の入出力に用いられる映像信号は４：２：２あるいは４：４：４であり、この機器の内部でのＤＶは４：１：１である場合が多い。

ＤＶの映像信号は、前記のＭＰＥＧ１、ＭＰＥＧ２の映像信号と比較して、１）データがフレームごとに独立しているため、フレーム単位のカット＆ペーストなどの映像の編集を容易に行なうことができる。

２）単位フレーム当たりの符号量が多い（ＭＰＥＧの６倍程度）ため、一般に高画質である、という性質を有する。

この画質が高く編集が容易なＤＶの映像信号は、コンピュータに入力することも可能になっている。そして、コンピュータ上で映像を扱うユーザからは、入力・編集・蓄積には、高画質で処理の簡単なＤＶデータを用い、ネットワークなどを介して映像を他のコンピュータに提供する場合には、符号量の少ないＭＰＥＧデータを用いるという使い分けの要求が高まっている。

従来、ＤＶデータからＭＰＥＧデータを生成するには、図３４の構成において、ＤＶを扱うビデオ機器をデジタルビデオ機器103として用い、これをＭＰＥＧエンコーダ104に接続する必要があった。そのため、ＤＶのビデオ機器とＭＰＥＧエンコーダとの２つのハードウェアが必要となり、コストが高くなった。
「ISO/IEC 11172-2 "Information technology - Coding of moving pictures and associated audio for digital strage media at up to about 1,5Mbit/s - Part 2: Video"」「ISO/IEC 13818-2 "Information technology - Generic coding of moving Pictures and associated audio information - Part 2: Video"」

一方、コンピュータに入力されたＤＶデータを、ソフトウェアでＭＰＥＧデータに直接変換した場合は、変換のための専用のハードウェアが不要になり、映像信号の変換を安価に実施できると考えられる。しかしながら、ソフトウェアによるＤＶデータのＭＰＥＧデータへの直接変換は、従来次のような課題が存在するため、実現が困難であった。即ち、（課題１）ＤＶに用いられている４：１：１カラーコンポーネント信号をＭＰＥＧに用いられている４：２：０カラーコンポーネント信号に直接変換する方法がない。

（課題２）ＤＶのデコードとＭＰＥＧのエンコードとをそれぞれ行なった場合、処理量が多いため、一般のコンピュータでは非常に長い処理時間を要する。

本発明は、こうした従来の課題を解決するものであり、形式の異なるカラーコンポーネント信号間の直接変換を行ない、また、圧縮フォーマットが異なる映像信号間の直接変換を行なう映像信号変換装置とその映像信号変換方法とを提供し、さらに、利用者が求めるフォーマットの映像信号を供給する映像提供システムを提供することを目的としている。

そこで、本発明では、映像信号のカラーコンポーネント信号形式を変換する映像信号変換装置を、デジタル映像信号を入力する入力手段と、入力された映像信号の輝度信号を格納する輝度信号フレームメモリと、入力された映像信号の色差信号を格納する入力色差信号フレームメモリと、入力された映像信号の色差信号を変換する色差信号変換手段と、色差信号変換手段により変換された色差信号を格納する出力色差信号フレームメモリと、輝度信号フレームメモリに格納された輝度信号と出力色差信号フレームメモリに格納された色差信号とを組み合わせてデジタル映像信号を出力する出力手段とで構成している。

また、本発明のカラーコンポーネント信号形式を変換する映像信号変換方法では、４：１：１形式のカラーコンポーネント信号の色差信号に対して、この色差信号の特定の行の画素値を選択したり、２つの行の画素値の平均を取るなどして、縦方向の解像度を２分の１にし、画素値を隣の列に複写したり、線形補間などを行なうことによって横方向の解像度を２倍にしている。

また、本発明では、圧縮フォーマットが異なるデジタル映像信号間の変換を行なう映像信号変換装置を、映像信号を入出力する入出力手段と、入力した圧縮されている映像信号を復号する映像復号化手段と、復号された映像信号のコンポーネント信号形式を変換するコンポーネント信号変換手段と、コンポーネント信号変換手段により変換された映像信号を圧縮し符号化する映像符号化手段とで構成し、このコンポーネント信号変換手段を、カラーコンポーネント信号形式を変換する本発明の映像信号変換装置で構成している。

また、この映像信号変換装置を、映像信号を入出力する入出力手段と、入力した圧縮されている映像信号を復号するとともに、復号の過程で映像信号のコンポーネント信号形式を変換する映像復号化手段と、コンポーネント信号形式が変換された映像信号を圧縮し符号化する映像符号化手段とで構成している。

さらに、本発明では、デジタル映像をユーザの要求するフォーマットの映像信号で提供する映像提供システムを、デジタル信号を伝送するネットワークと、ネットワークを介してデジタル映像を取得し、取得したデジタル映像を再生する映像再生端末と、デジタル映像を蓄積して映像再生端末に提供する映像提供部と、映像提供部にネットワークを介してデジタル映像を入力する映像入力部とで構成し、映像提供部には、ネットワークに接続してデジタル映像の入出力を行なう通信手段と、デジタル映像を蓄積する映像蓄積手段と、デジタル映像の圧縮フォーマットを変換する映像信号変換手段と、通信手段、映像蓄積手段及び映像信号変換手段を制御する制御手段とを設け、この映像信号変換手段を、圧縮フォーマットが異なるデジタル映像信号間の変換を行なう本発明の映像信号変換装置で構成している。

そのため、カラーコンポーネント信号形式を変換する映像信号変換装置は、本発明の映像信号変換方法を用いて、４：１：１形式のカラーコンポーネント信号を４：２：０形式のカラーコンポーネント信号に直接変換することができ、また、圧縮フォーマットが異なるデジタル映像信号間の変換を行なう映像信号変換装置は、４：１：１形式のＤＶＣフォーマットの映像信号を、４：２：０形式のＭＰＥＧフォーマットの映像信号に直接変換することができる。

また、この装置を用いた映像提供システムは、映像再生端末の再生能力に応じたフォーマットで映像を提供することができる。

本発明の映像信号変換装置は、カラーコンポーネント信号の形式を直接変換することができ、また、圧縮フォーマットの異なる映像信号間の変換を直接行なうことができる。

また、本発明の映像信号変換方法は、カラーコンポーネント信号の形式を効率的且つ高精度に変換することを可能にする。

また、本発明の映像提供システムは、単一のフォーマットで入力された映像信号を、複数の形式で提供することができる。

本願第一の発明は、デジタル映像信号のカラーコンポーネント信号形式を変換する映像信号変換装置であって、デジタル映像信号を入力する入力手段と、入力された映像信号の輝度信号を格納する輝度信号フレームメモリと、入力された映像信号の色差信号を格納する入力色差信号フレームメモリと、入力された映像信号の色差信号を変換する色差信号変換手段と、色差信号変換手段により変換された色差信号を格納する出力色差信号フレームメモリと、輝度信号フレームメモリに格納された輝度信号と出力色差信号フレームメモリに格納された色差信号とを組み合わせてデジタル映像信号を出力する出力手段とを設けたものであり、カラーコンポーネント信号の形式を直接変換することができる。

また、本願第２の発明は、前記色差信号変換手段が、入力された映像信号の色差信号を４：１：１コンポーネント信号形式から４：２：０コンポーネント信号形式の色差信号に変換するようにしたものであり、ＤＶＣフォーマットの映像信号をＭＰＥＧフォーマットの映像信号に変換する場合のコンポーネント信号の形式を変換することができる。

また、本願第３の発明は、前記色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号から縦方向に１画素おきに間引いた画素を取り出して縦方向の画素数を２分の１にし、取り出した画素を横方向に複写して横方向の画素数を２倍にするようにしたものであり、色差信号の変換に特別の演算が不要であるため、処理負担が少なくて済む。

また、本願第４の発明は、前記色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の縦方向に隣り合う２つの画素値の平均値を求め、これを１つの画素値とすることにより縦方向の画素数を２分の１にし、この平均値である１つの画素値を横方向に複写して横方向の画素数を２倍にするようにしたものであり、変換の際の演算量が少なく、変換に要する処理負担が小さい。

また、本願第５の発明は、前記色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の縦方向に隣り合う２つの画素値の平均値を求め、これを１つの画素値とすることにより縦方向の画素数を２分の１にし、この平均値である１つの画素値と、横方向に隣り合う前記平均値である１つの画素値との平均値を画素値として横方向に補間することにより横方向の画素数を２倍にするようにしたものであり、画素間の画素値の変化が滑らかとなり、データ圧縮のためにＤＣＴを施した場合に、圧縮効率が向上する。

また、本願第６の発明は、前記色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の縦方向に隣り合う２つの画素値の平均値を求め、横方向に隣り合う２つの前記平均値を用いて横方向の線形補間を行なうことにより、横方向の画素数を２倍にし、縦方向の画素数を２分の１にするようにしたものであり、画素間の画素値の変化がより滑らかとなり、ＤＣＴを施した場合の圧縮効率が一層向上する。

また、本願第７の発明は、入力色差信号フレームメモリ内の指定された色差信号の画素に対応する輝度信号の画素値を輝度信号フレームメモリから参照する輝度信号参照手段を設け、色差信号変換手段が、輝度信号参照手段を介して参照した輝度信号の値を利用して、色差信号の変換を行なうようにしたものであり、自然画像では色の変化と輝度の変化とが関係しているため、輝度を加味して色差信号の変換を行なうことにより、自然な色の変化を示す映像への変換が可能となる。

また、本願第８の発明は、色差信号変換手段が、入力色差信号フレームメモリの横方向に隣り合う２つの画素の間に、この２つの画素に対応する輝度信号の画素値の比に基づいて色差信号の画素値を線形補間し、横方向の画素数を２倍にするようにしたものであり、補間する画素の色差信号が隣り合う画素の輝度を参考にして決められる。

また、本願第９の発明は、色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の縦方向に隣り合う２つの画素値の平均値を求め、これを１つの画素値とすることにより縦方向の画素数を２分の１にし、横方向に隣り合う２つの平均値の画素の間に、この２つの平均値の算出に用いた画素に対応する輝度信号の画素値の比に基づいて色差信号の画素値を線形補間し、横方向の画素数を２倍にするようにしたものであり、横方向の画素数を増やすために内挿する画素の画素値を輝度信号の変化と関連付けることができる。

また、本願第１０の発明は、色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の横方向に隣り合う２つの画素に対して、この２つの画素に対応する輝度信号の画素値の比に比例した線形補間を行なうことにより、横方向の色差信号の画素数を２倍にするようにしたものであり、横方向のすべての画素の画素値を、輝度信号を利用した線形補間で求めることにより、輝度と関連付けることができる。

また、本願第１１の発明は、色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の縦、横２つずつから成る４つの画素を、横方向には１画素分ずつずらしながら、縦方向には２画素分ずつずらしながら順次選択し、選択した４つの画素に対応する輝度信号の画素値の比に比例した線形補間を行なうことにより、横方向の色差信号の画素数を２倍にし、縦方向の色差信号の画素数を２分の１にするようにしたものであり、縦方向及び横方向の色差信号の画素値を、輝度信号の変化と関連付けることができる。

また、本願第１２の発明は、デジタル映像信号の４：１：１形式のカラーコンポーネント信号を４：２：０形式のカラーコンポーネント信号に変換する映像信号変換方法であって、４：１：１形式のカラーコンポーネント信号の色差信号に対して、この色差信号の２ｎ行または２ｎ＋１行（但し、ｎは整数）のいずれか一方の画素値を用いることによって、縦方向の解像度を２分の１にし、前記画素値を左または右隣りの列に複写することによって、横方向の解像度を２倍にするようにしたものであり、特別の演算を行なうことなく、コンポーネント信号形式の変換が可能である。

また、本願第１３の発明は、同様の映像信号変換方法において、４：１：１形式のカラーコンポーネント信号の色差信号に対して、この色差信号の２ｎ行と２ｎ＋１行、または２ｎ＋１行と２（ｎ＋１）行の縦方向に隣り合う２つの画素値の平均値を求めることによって、縦方向の解像度を２分の１にし、この平均値を左または右隣りの列に複写することによって、横方向の解像度を２倍にするようにしたものであり、少ない演算量でコンポーネント信号の形式を変換することができる。

また、本願第１４の発明は、同様の映像信号変換方法において、４：１：１形式のカラーコンポーネント信号の色差信号に対して、この色差信号の２ｎ行と２ｎ＋１行、または２ｎ＋１行と２（ｎ＋１）行の縦方向に隣り合う２つの画素値の平均値を求めることによって、縦方向の解像度を２分の１にし、横方法に隣り合う２つの平均値の平均値を求め、これを画素値として隣り合う２つの平均値の間に補間することによって、横方向の解像度を２倍にするようにしたものであり、画素間の画素値の変化を滑らかにすることができる。

また、本願第１５の発明は、同様の映像信号変換方法において、４：１：１形式のカラーコンポーネント信号の色差信号に対して、この色差信号の２ｎ行と２ｎ＋１行、または２ｎ＋１行と２（ｎ＋１）行の縦方向に隣り合う２つの画素値の平均値を求め、横方向に隣り合うこの２つの平均値を用いて線形補間を行なうことによって、横方向の解像度を２倍にし、縦方向の解像度を２分の１にするようにしたものであり、画素間の画素値の変化をより滑らかにすることができる。

また、本願第１６の発明は、同様の映像信号変換方法において、４：１：１形式のカラーコンポーネント信号の色差信号に対して、この色差信号の２ｎ行と２ｎ＋１行、または２ｎ＋１行と２（ｎ＋１）行の縦方向に隣り合う２つの画素値の平均値を求めることによって、縦方向の解像度を２分の１にし、横方向に隣り合う２つのこの平均値の算出に用いた画素に対応する輝度信号の画素値の比に基づいて色差信号を線形補間し、得られた画素値を２つの平均値の間に内挿することによって、横方向の解像度を２倍にするようにしたものであり、横方向に内挿する画素の画素値を、輝度信号の変化に関連付けているため、自然で精細な映像への変換が可能となる。

また、本願第１７の発明は、同様の映像信号変換方法において、４：１：１形式のカラーコンポーネント信号の色差信号に対して、この色差信号の２ｎ行と２ｎ＋１行、または２ｎ＋１行と２（ｎ＋１）行の上及び隣接する列の上で互いに隣り合う合計４つの画素を順次選択し、この４つの画素に対応する輝度信号の画素値の比に比例した線形補間を行なうことにより、色差信号の横方向の解像度を２倍にし、縦方向の解像度を２分の１にするようにしたものであり、縦方向及び横方向の色差信号の画素値を、輝度信号の変化に関連付けることができるため、より自然で精細な映像への変換が可能となる。

また、本願第１８の発明は、圧縮フォーマットが異なるデジタル映像信号間の変換を行なう映像信号変換装置であって、映像信号を入出力する入出力手段と、入力した圧縮されている映像信号を復号する映像復号化手段と、復号された映像信号のコンポーネント信号形式を変換するコンポーネント信号変換手段と、コンポーネント信号変換手段により変換された映像信号を圧縮し符号化する映像符号化手段とを設け、コンポーネント信号変換手段を、請求項１乃至１１に記載の映像信号変換装置で構成したものであり、入力した圧縮フォーマットの映像信号が復号され、次いでコンポーネント信号形式が変換され、その後、所定の圧縮フォーマットに変換される。

また、本願第１９の発明は、前記映像復号化手段に、入力された映像信号に対して情報の並べ替えを行なう前処理手段と、前処理手段により並び替えられた情報を可変長復号する可変長復号化手段と、可変長復号化手段により可変長復号された情報を逆量子化する逆量子化手段と、逆量子化手段により逆量子化された情報に対して逆ＤＣＴ処理を施す逆ＤＣＴ処理手段とを設け、前記映像符号化手段に、コンポーネント信号変換手段の出力を格納する入力バッファと、入力バッファに格納された情報に対してＤＣＴ処理や量子化を行なうＤＣＴ圧縮手段と、ＤＣＴ圧縮手段の出力を非圧縮情報に伸張する逆ＤＣＴ伸長手段と、逆ＤＣＴ伸長手段の出力を格納するフレームメモリと、動きベクトルを求めフレーム間差分を求める動き予測手段と、符号化の種類を選択する符号選択手段と、符号選択手段の出力に対して可変長符号化処理を施す可変長符号化手段と、最終的な圧縮フォーマットの信号を生成する構造符号化手段と、映像符号化手段の各手段の動作を制御する符号化制御手段とを設けたものであり、ＤＶＣフォーマットなどの直交変換圧縮されたデジタル映像信号をＭＰＥＧフォーマットなどの動き補償付き直交変換圧縮されたデジタル映像信号に直接変換することができる。

また、本願第２０の発明は、圧縮フォーマットが異なるデジタル映像信号間の変換を行なう映像信号変換装置であって、映像信号を入出力する入出力手段と、入力した圧縮されている映像信号を復号するとともに、復号の過程で映像信号のコンポーネント信号形式を変換する映像復号化手段と、コンポーネント信号形式が変換された映像信号を圧縮し符号化する映像符号化手段とを設けたものであり、入力した圧縮フォーマットの映像信号が復号と同時にコンポーネント信号形式が変換され、次いで、所定の圧縮フォーマットに変換される。

また、本願第２１の発明は、映像復号化手段に、入力された映像信号に対して情報の並べ替えを行なう前処理手段と、前処理手段により並び替えられた情報を可変長復号する可変長復号化手段と、可変長復号化手段により可変長復号された情報を逆量子化して輝度信号及び色差信号のＤＣＴ係数を再生する逆量子化手段と、再生された色差信号のＤＣＴ係数を間引き、または補間してＤＣＴ係数の解像度を変更するＤＣＴ係数変換手段と、逆量子化手段から出力された輝度信号のＤＣＴ係数とＤＣＴ係数変換手段から出力された色差信号のＤＣＴ係数とに対して逆ＤＣＴ処理を施す逆ＤＣＴ処理手段とを設け、映像符号化手段に、映像復号化手段の出力を格納する入力バッファと、入力バッファに格納された情報に対してＤＣＴ処理や量子化を行なうＤＣＴ圧縮手段と、ＤＣＴ圧縮手段の出力を非圧縮情報に伸張する逆ＤＣＴ伸長手段と、逆ＤＣＴ伸長手段の出力を格納するフレームメモリと、動きベクトルを求めフレーム間差分を求める動き予測手段と、符号化の種類を選択する符号選択手段と、符号選択手段の出力に対して可変長符号化処理を施す可変長符号化手段と、最終的な圧縮フォーマットの信号を生成する構造符号化手段と、映像符号化手段の各手段の動作を制御する符号化制御手段とを設けたものであり、映像復号化手段において、コンポーネント形式の変換が復号処理の中間情報であるＤＣＴ係数の段階で行なわれる。この映像復号化手段で復号化された非圧縮コンポーネント信号を映像符号化手段が圧縮符号化することにより、ＤＶＣフォーマットなどのデジタル映像信号からＭＰＥＧフォーマットなどのデジタル映像信号への直接変換が可能になる。

また、本願第２２の発明は、ＤＣＴ係数変換手段が、色差信号のＤＣＴ係数で構成されるＤＣＴブロックから、低周波部分を含む縦方向の半分のＤＣＴ係数を抜き出し、抜き出したＤＣＴ係数の横方向に値が０のＤＣＴ係数を同数だけ付け足して、元のＤＣＴブロックに比べて、縦方向のＤＣＴ係数の数が半分で、横方向のＤＣＴ係数の数が２倍のＤＣＴブロックを生成するようにしたものであり、このように色差信号のＤＣＴ係数における解像度を変換することにより、４：１：１形式の映像信号を４：２：０形式の非圧縮映像信号に変換することが可能になる。

また、本願第２３の発明は、映像復号化手段が、入力したＤＣＴ処理が施された圧縮映像信号の輝度信号のＤＣＴ係数を映像符号化手段に送るように構成し、映像符号化手段に、映像復号化手段から送られたＤＣＴ係数を格納するＤＣＴ係数バッファと、ＤＣＴ係数バッファに格納されたＤＣＴ係数に対して低周波成分から段階的に逆ＤＣＴを施し、解像度の異なる複数の画像である階層画像を生成する階層的逆ＤＣＴ処理手段とを設け、動き予測手段が、階層的逆ＤＣＴ処理手段で生成された階層画像を用いて動きベクトルを求めるようにしたものであり、入力映像信号の復号過程で得られる輝度信号のＤＣＴ係数を、映像符号化手段における階層画像の生成に利用することによって、処理量及び処理時間の短縮を図ることができる。

また、本願第２４の発明は、映像復号化手段が、入力したＤＣＴ処理が施された圧縮映像信号の輝度信号のＤＣＴ係数を映像符号化手段に送るように構成し、映像符号化手段に、映像復号化手段から送られたＤＣＴ係数を格納するＤＣＴ係数バッファと、ＤＣＴ係数バッファに格納されたＤＣＴ係数の一部に対して一次元の逆ＤＣＴ処理を施し、２方向の一次元情報を生成する１次元逆ＤＣＴ処理手段とを設け、動き予測手段が、１次元逆ＤＣＴ処理手段で生成された２方向の一次元情報を用いて動きベクトルを求めるようにしたものであり、動きベクトルの検出に要する演算量を削減することができる。

また、本願第２５の発明は、この映像信号変換装置が、ＤＶＣフォーマットの映像信号を入力し、ＭＰＥＧフォーマットの映像信号に変換して出力するようにしたものであり、高画質なＤＶＣフォーマットの映像信号を、通信に適したＭＰＥＧフォーマットの映像信号に変換することができる。

また、本願第２６の発明は、ＤＶＣフォーマットの映像信号をＭＰＥＧフォーマットの映像信号に変換する映像信号変換方法であって、ＤＶＣフォーマットの映像信号の復号処理中に再生する色差信号のＤＣＴ係数を間引き、または補間してＤＣＴ係数の解像度を変換し、解像度を変換した色差信号のＤＣＴ係数と輝度信号のＤＣＴ係数とに逆ＤＣＴ処理を施して４：２：０形式の非圧縮コンポーネント信号を復号し、この非圧縮コンポーネント信号をＭＰＥＧフォーマットの映像信号に符号化するようにしたものであり、ＤＶＣフォーマットの復号と併せて、信号形式が４：２：０形式に変換されるため、少ない処理工程でＤＶＣフォーマットからＭＰＥＧフォーマットへの変換が可能になる。

また、本願第２７の発明は、ＤＣＴ係数の解像度の変換に際して、色差信号のＤＣＴ係数で構成されるＤＣＴブロックから、低周波部分を含む縦方向の半分のＤＣＴ係数を抜き出し、抜き出したＤＣＴ係数の横方向に値が０のＤＣＴ係数を同数だけ付け足して、元のＤＣＴブロックに比べて、縦方向のＤＣＴ係数の数が半分で、横方向のＤＣＴ係数の数が２倍のＤＣＴブロックを生成するようにしたものであり、色の変化が滑らかな画質に変換することができる。

また、本願第２８の発明は、デジタル映像をユーザの要求するフォーマットの映像信号で提供する映像提供システムであって、デジタル信号を伝送するネットワークと、ネットワークを介してデジタル映像を取得し、取得したデジタル映像を再生する映像再生端末と、デジタル映像を蓄積して映像再生端末に提供する映像提供部と、映像提供部にネットワークを介してデジタル映像を入力する映像入力部とを設け、映像提供部に、ネットワークに接続してデジタル映像の入出力を行なう通信手段と、デジタル映像を蓄積する映像蓄積手段と、デジタル映像の圧縮フォーマットを変換する映像信号変換手段と、通信手段、映像蓄積手段及び映像信号変換手段を制御する制御手段とを設け、映像信号変換手段を、請求項１８乃至２５の映像信号変換装置によって構成したものであり、映像再生端末に対して、その要求するフォーマットのデジタル映像を提供することができる。

また、本願第２９の発明は、映像信号変換手段が、入力したデジタル映像のフォーマットを変換し、映像蓄積手段に、１つのデジタル映像に関して各種のフォーマットの映像信号が蓄積されるようにしたものであり、映像再生端末が要求するフォーマットのデジタル映像を、映像蓄積手段に蓄積されている中から選んで提供することができる。

また、本願第３０の発明は、映像信号変換手段が、映像蓄積手段から読出されて映像再生端末に出力されるデジタル映像のフォーマットを、ユーザの要求に応じて変換するようにしたものであり、蓄積されているデジタル映像のフォーマットが、そのデジタル映像を映像再生端末に送出する際に、リアルタイムで変換される。

以下、本発明の実施の形態について図面を用いて説明する。

（第１の実施の形態）
第１の実施形態では、４：１：１コンポーネント信号を４：２：０コンポーネント信号に直接変換する映像信号変換装置とその映像信号変換方法について説明する。

この装置は、機能ブロックとして、図１に示すように、４：１：１コンポーネント映像信号が入力する入力手段201と、入力したコンポーネント信号のＹ信号を格納するＹフレームメモリ301と、入力したコンポーネント信号のＣｒ信号を格納する入力Ｃｒフレームメモリ302と、入力したコンポーネント信号のＣｂ信号を格納する入力Ｃｂフレームメモリ303と、出力する映像信号の形式に合わせて色差信号を変換する色差信号変換手段401と、変換されたＣｒ信号を格納する出力Ｃｒフレームメモリ304と、変換されたＣｂ信号を格納する出力Ｃｂフレームメモリ305と、４：２：０コンポーネント信号を出力する出力手段202とを備えている。

次に、この装置の動作を説明する。全体の処理の流れを図２に示す。この装置は、この図２の流れで映像信号の変換を行なう。

ステップ101：最初に、入力手段201が、１フレーム分の４：１：１コンポーネント映像信号を入力し、Ｙ信号をＹフレームメモリ301に、Ｃｒ信号、Ｃｂ信号を、それぞれ入力Ｃｒフレームメモリ302、入力Ｃｂフレームメモリ303に格納する。

ステップ102：次に色差信号変換手段401が、入力Ｃｒフレームメモリ302と入力Ｃｂフレームメモリ303とに格納された色差信号を４：２：０の色差信号に変換し、変換結果を出力Ｃｒフレームメモリ304と出力Ｃｂフレームメモリ305とに格納する。

ステップ103：次に出力手段102が、Ｙフレームメモリ301に格納されたＹ信号と出力Ｃｒフレームメモリ304に格納されたＣｒ信号と出力Ｃｂフレームメモリ305に格納されたＣｂ信号とを組み合わせて４：２：０コンポーネント信号として出力する。

ステップ104：そして、処理したフレームが、動画の最終フレームであれば処理を終了し、そうでなければ、次のフレームに対して同様の処理を行なう（ステップ101に戻る）。

上記の処理における色差信号変換処理（ステップ102）について、次に説明する。

図３は、（Ａ）コンポーネント信号のＹ信号の一部、（Ｂ）そのＹ信号に対応する４：１：１のＣｒ、Ｃｂ信号、（Ｃ）そのＹ信号に対応する４：２：０のＣｒ、Ｃｂ信号を示す図である。図３（Ａ）において、Ｙ_x,_yは、フレームの左上を始点としたときの画素単位のＸ座標、Ｙ座標がそれぞれｘ，ｙの画素における輝度値を表す。即ち、図３（Ａ）に示したＹ信号は、フレームの左上から縦４画素、横８画素の部分を取り出して示したものである。また、図３（Ｂ）、（Ｃ）において、Ｕⁱ _x,_y、はＣｒフレーム中のＸ座標、Ｙ座標がそれぞれｘ，ｙの画素における色差Ｃｒの値を示し、Ｖⁱ _x,_yはＣｂフレーム中のＸ座標、Ｙ座標がそれぞれｘ，ｙの画素における色差Ｃｂの値を示す。また、Ｕⁱ _x,_y、Ｖⁱ _x,_yのうち、ｉが１のものは入力フレームの値、即ち４：１：１の色差信号を表し、ｉが２のものは出力フレームの値、即ち４：２：０の色差信号を表す。

ここで説明する色差信号変換処理（ステップ102）は、図３におけるＵ¹、Ｖ¹からＵ²、Ｖ²を求める処理に他ならない。この処理は複数の方法によって行なうことができる。以下にその方法をそれぞれ説明する。

以下の説明では、図３を用いて、フレームの一部の色差信号の変換を例として示すが、同様の処理をフレームの他の部分に施すことにより、フレーム全体について色差信号の変換が可能であることは明らかである。

（色差信号変換の方法１）
第１の方法は、入力の色差信号に対して、縦方向の解像度を、入力の色差信号の中の奇数、あるいは偶数番目の色差信号の値を用いることで半減させ、横方向の解像度を、左側の色差信号の値をそのまま用いることで２倍にするものである。即ち、この変換方法によれば、図３のＵ²、Ｖ²は次の式（数式１）による計算で求めることができる。
U² _2x,_y = U² _2x+1,_y = U¹ _x,_2y
V² _2x,_y = V² _2x+1,_y = V¹ _x,_2y （数式１）
ここで、ｘとｙは正の整数値である。

ところで、一般に、ＤＶフォーマットで記録される４：１：１の色差信号は、ＤＶフォーマットで記録するデジタルビデオ機器に入力される４：２：２の色差信号の隣り合う２つの色差信号値の右側を取り除いて生成される。この例を図４に示す。図４（Ａ）は、このデジタルビデオ機器に入力されるＹ信号を示し、図４（Ｂ）は、それに対応する４：２：２の色差信号を示している。このとき、ＤＶフォーマットとして記録される４：１：１の色差信号は、図４（Ｃ）に示すように、図４（Ｂ）の色差信号を横方向に１つおきに間引いたものとなる。

この実施形態の色差信号変換の第１の方法は、ＤＶフォーマットの映像信号の元となる４：２：２信号から考えた場合に、その情報を加工せず用いていると見ることができる（図３（Ｃ）のＵ² ₀,₀、Ｕ² ₂,₀は、それぞれ図４（Ｂ）のＵ¹ ₀,₀、Ｕ¹ ₂,₀をそのまま用いることになる）から、４：２：２信号に忠実な色情報を変換後の信号に残すことができるという有効な性質を有する。

また、この変換方法では、色差信号の変換に演算が不要であるため、処理の負担を最も軽減できるという有効な性質も有する。

（色差信号変換の方法２）
第２の方法は、入力の色差信号に対して、縦方向の解像度を、縦に隣り合う２つの色差信号の平均を求めることで半減させ、横方向の解像度を、左側の色差信号の値をそのまま用いることで２倍にするものである。即ち、この変換方法によれば、図３のＵ²、Ｖ²は次の式（数式２）による計算で求めることができる。
U² _2x,_y = U² _2x+1,_y = (U¹ _x,_2y + U¹ _x,_2y+1)/2
V² _2x,_y = V² _2x+1,_y = (V¹ _x,_2y + V¹ _x,_2y+1)/2 （数式２）
ここで、ｘとｙは正の整数値である。

この変換方法は、第１の変換方法と比較すると、全ての入力された色差信号を用いて変換を行なっており、入力の色差信号にノイズが加わっている場合、変換後の色差信号に対するノイズの影響を軽減するという有効な性質を有する。また、この変換方法は、入力の色差信号の情報を全て用いた中では、本来の情報をできる限り保存しており、画質的に本来の画像に忠実な高い画質が得られるという有効な性質を有する。また、計算が簡単なため、変換に要する処理負担を軽減するという有効な性質を有する。

（色差信号変換の方法３）
第３の方法は、入力の色差信号に対して、縦方向の解像度を第２の方法と同様にして半減させ、また、横方向の解像度を、横に隣り合う２つの色差信号の平均値をその中間に内挿する色差信号の値とすることで２倍にする方法である。即ち、この変換方法によれば、図３のＵ²、Ｖ²は次の式（数式３）による計算で求めることができる。
U² _2x,_y = (U¹ _x,_2y ＋ U¹ _x,_2y+1)/2
U² _2x+1,_y = (αU² _2x,_y + (1-α)U² _2(x+1),_y)/2
V² _2x,_y = (V¹ _x,_2y + V¹ _x,_2y+1)/2
V² _2x+1,_y = (αV² _2x,_y + (1-α)V² _2(x+1),_y)/2 （数式３）
ここで、ｘとｙは正の整数値である。

また、αは０から１までの間の任意の値を持つ定数である。例えばαに０．５を用いた場合、内挿される色差信号は、その両隣の色差信号のちょうど平均となる。なお、この変換方法において、色差信号をフレームの右端において補間する場合には、（数式３）による内挿が適用できない。このよう部分は、左側の色差信号の値をそのまま用いるなどの方法により外挿を行なう。

この変換手法は、例えば図３のＵ² ₀,₀ とＵ² ₂,₀の値が大きく異なる場合でも、Ｕ² ₁,₀にその間の値が内挿されるため、変化が滑らかになり、ＤＣＴを施した場合に、低周波部分に情報がより集中するため、圧縮効率が向上するという有効な性質を有する。

（色差信号変換の方法４）
第４の方法は、入力する色差信号の縦方向及び横方向の値を合成して求めた中間値を色差信号の出力とし、その合成における色差信号の配合比率を違えた中間値を横方向に補間する方法である。即ち、この変換方法によれば、図３のＵ²、Ｖ²は次の式（数式４）による計算で求めることができる。
U² _2x,_y =(3A + B)/4
U² _2x+1,_y =(A + 3B)/4
A = (U¹ _x,_2y + U¹ _x,_2y+1)/2
B = (U¹ _x+1,_2y + U¹ _x+1,_2y+1)/2
V² _2x,_y = (C + 3D)/4
V² _2x+1,_y = (3C + D)/4
C = (V¹ _x,_2y + V¹ _x,_2y+1)/2
D = (V¹ _x+1,_2y + V¹ _x+1,_2y+1)/2 （数式４）
ここで、ｘとｙは正の整数値である。

この変換方法は、出力する全ての色差信号を線形補間により求めているため、特に色差信号の変化が滑らかであり、ＤＣＴを用いた圧縮を行なう際に、圧縮効率が向上するという有効な性質を有する。

次に、上記の４種類の変換方法により色差信号を変換する具体例を示す。これら４種類の変換方法のいずれを用いた場合でも、２種類の色差信号Ｃｒ、Ｃｂは同様に変換することができるため、以下に示す具体例ではＣｒ信号の変換のみについて説明する。Ｃｂ信号について変換を行なった場合でも、以下に示す具体例と同様の結果を得ることができることは明らかである。

図５、図６及び図７は、異なる４：１：１のＣｒ信号が入力したとき、それぞれの変換方法で、その変換結果がどのように変わるかを示している。図５、図６及び図７において、（Ａ）は入力された４：１：１のＣｒ信号であり、（Ｂ）は第１の変換方法により変換した４：２：０のＣｒ信号、（Ｃ）は第２の変換方法により変換した４：２：０のＣｒ信号、（Ｄ）は第３の変換方法により変換した４：２：０のＣｒ信号、また、（Ｅ）は第４の変換方法により変換した４：２：０のＣｒ信号を示している。それぞれの例において、個々の升目が１つのＣｒ信号の画素を示し、升目の中の数値が画素値を表す。また、これらのＣｒ信号は、全て、Ｃｒ信号のフレームの左上端から一部を抜き出したものとする。即ち、全ての例において、左上の升目がＣｒ信号のフレームの左上端の画素を表す。これらの例の変換結果は、それぞれの変換方法の式により求めた値であるが、小数点以下は四捨五入して整数値で表している。なお、画素値として「−」の記号が記入されている画素は、画素値がこの例にない他の部分の画素の値により変化するため、この例では確定しないことを表している。

上記３種類の例における、各変換方法による変換結果の特徴を次に述べる。

第１の変換方法及び第２の変換方法による変換結果では、横に隣り合う２つの画素値が全て等しくなる。

さらに、第１の変換方法による変換結果では、入力のＣｒ信号の中で参照しないライン（水平方向の画素の並び）、即ち、この具体例では２番目及び４番目のラインの画素値は、出力されるＣｒ信号の画素値に影響を与えない。例えば、図５の入力Ｃｒ信号（Ａ）の１ライン目と図６の入力Ｃｒ信号（Ａ）の１ライン目と図７の入力信号（Ａ）の１ライン目の画素値は全て同じであり、それぞれ２ライン目の画素値は異なる。このような３種類の入力に対して、第１の変換方法では、その変換結果がすべて同じになる。即ち、図５、図６及び図７の第１の変換方法による変換結果（Ｂ）において、１ライン目の画素値は全て同じになっている。

また、第３の変換方法による変換結果では、横方向に偶数番目の画素値が、左右の画素値の間の値で、かつ左右の画素値から常に一定の比率（この具体例では左右とも０．５）の値が内挿されている。また、その左右の画素値、即ち横方向に奇数番目の画素値は、入力信号の縦に隣り合う２つの画素値の平均値となっている。この２点が第３の変換方法の特徴である。

また、第４の変換方法では、入力の画素値がそのまま反映されない点に特徴がある。これを、図６を用いて説明する。入力信号（Ａ）において、上半分に注目した場合、左側の縦２画素の平均値は０と２００の平均で１００、右側の縦２画素の平均値は１００と０の平均で５０となり、左側の平均値と右側の平均値との差は５０となる。

一方、下半分に注目した場合、左側の縦２画素の平均値は１００と０の平均で５０、右側の縦２画素の平均値は０と０の平均で０となり、左側の平均値と右側の平均値との差は、上半分と同様５０となる。

このように差が等しい入力に対して、例えば第３の変換方法による変換では２つの変換結果は同じ差となる。具体的には図６（Ｄ）において、左上端の画素値は１００、その右隣の画素値は７５でその差は２５である。そして、その下側のラインにおいても、左端が５０、その右隣が２５で、その差は２５となる。

一方、第４の変換方法による変換結果においては、上側が８８と６３でその差が２５であるのに対し、下側が４４と３１でその差が１３となる。

以上説明したように、この実施形態に示した装置と変換の方法とを用いれば、４：１：１コンポーネント信号を直接４：２：０信号に変換することが可能である。

（第２の実施の形態）
第２の実施形態では、４：１：１コンポーネント信号を４：２：０コンポーネント信号に変換する場合に、対応する画素の輝度信号（Ｙ信号）の値を利用して色差信号の変換を行なう映像信号変換装置とその映像信号変換方法について説明する。

この装置は、図８に示すように、Ｙフレームメモリ301からＹ信号を読み出して色差信号変換手段401に提供するＹ信号参照手段402を備えている。その他の構成は第１の実施形態（図１）と変わりがない。

次に、この装置の動作を説明する。全体の処理の流れは、図２に示す、第１の実施形態の処理の流れと同一である。全体の処理の中で、色差信号変換処理（ステップ102）が第１の実施形態と異なる。この装置では、色差信号変換処理（ステップ102）において、色差信号変換手段402が、Ｙ信号参照手段402を介して、変換すべき色差信号に対応する輝度信号の画素値を参照し、それを色差信号の変換に用いる。

次に、この装置における上記色差信号変換処理（ステップ102）の２種類の変換方法を、図３に示すコンポーネント信号の一部を用いて具体的に説明する。

（色差信号変換の方法５）
第１の方法は、入力の色差信号に対して、縦方向の解像度を、入力の色差信号の中の奇数、あるいは偶数番目の色差信号の値を用いることで半減させ、横方向の解像度を、入力の各画素の右側に値を内挿することにより２倍にするものである。そして、この方法においては、右側に内挿する画素の値を求める際に、参照する左右の色差信号の画素に対応する輝度信号を用いて、参照する比を決定する。即ち、この変換方法によれば、図３のＵ²、Ｖ²は次の式（数式５）による計算で求めることができる。
U² _2x,_y = (U¹ _x,_2y + U¹ _x,_2y+1)/2
U² _2x+1,_y = (U¹ _x,_2y×B)/2(A+B) + (U¹ _x+1,_2y×A)/2(A+B)
+ (U¹ _x,_2y+1×D)/2(C+D) + (U¹ _x+1,_2y+1×C)/2(C+D)
V² _2x,_y = (V¹ _x,_2y + V¹ _x,_2y+1)/2
V² _2x+1,_y = (V¹ _x,_2y×B)/2(A+B) + (V¹ _x+1,_2y×A)/2(A+B)
+ (V¹ _x,_2y+1×D)/2(C+D) + (V¹ _x+1,_2y+1×C)/2(C+D)
A = ((Y_4x,_2y + Y_4x+1,_2y) - Y_4x+3,_2y))²
B = ((Y_4(x+1),_2y + Y_4(x+1),_2y) - (Y_4(x+1)+2,_2y + Y_4(x+1)+3,_2y))²
C = ((Y_4x,_2y+1 + Y_4x+1,_2y+1) - (Y_4x+2,_2y+1 + Y_4x+3,_2y+1))²
D = ((Y_4(x+1),_2y+1 + Y_4(x+1),_2y+1)
- (Y_4(x+1)+2,_2y+1 + Y_4(x+1)+3,_2y+1))² （数式５）
ここで、ｘとｙは正の整数値である。

自然画像においては、一般に、輝度情報と色情報との間に相関がある場合が多い。即ち、色が変化する場合には、輝度も変化する場合が多い。このような自然画像の特徴を考慮した場合、この変換方法は、変換結果として自然で、より精細な色差信号が得られるという有効な性質を有する。

（色差信号変換の方法６）
第２の方法は、第１の実施形態の第４の変換方法（色差信号変換の方法４）と同様に、縦方向及び横方向の色差信号を合成して求めた中間値を色差信号の出力とし、その合成における色差信号の配合比率を違えた中間値を横方向に補間する方法である。色差信号変換の方法４と異なる点は、合成における配合比率を輝度信号と関連付けて決めている点である。即ち、この変換方法によれば、図３のＵ２、Ｖ２は次の式（数式６）による計算で求めることができる。
U² _2x,_y = (U¹ _x,_2y×B)/2(A+B) + (U¹ _x+1,_2y×A)/2(A+B)
+ (U¹ _x,_2y+1×F)/2(E+F) + (U¹ _x+1,_2y+1×E)/2(E+F)
U² _2x+1,_y = (U¹ _x,_2y×D)/2(C+D) + (U¹ _x+1,_2y×C)/2(C+D)
+ (U¹ _x,_2y+1×H)/2(G+H) + (U¹ _x+1,_2y+1×G)/2(G+H)
V² _2x,_y = (V¹ _x,_2y×B)/2(A+B) + (V¹ _x+1,_2y×A)/2(A+B)
+ (V¹ _x,_2y+1×F)/2(E+F) + (V¹ _x+1,_2y+1×E)/2(E+F)
V² _2x+1,_y = (V¹ _x,_2y×D)/2(C+D) + (V¹ _x+1,_2y×C)/2(C+D)
+ (V¹ _x,_2y+1×H)/2(G+H) + (V¹ _x+1,_2y+1×G)/2(G+H)
A = ((Y_4x,_2y + Y_4x+1,_2y + Y_4x+2,_2y + Y_4x+3,_2y)
- 2(Y_4x,_2y + Y_4x+1,_2y))²
B = ((Y_4(x+1),_2y + Y_4(x+1)+1,_2y + Y_4(x+1)+2,_2y + Y_4(x+1)+3,_2y)
- 2(Y_4x,_2y + Y_4x+1,_2y))²
C = ((Y_4x,_2y + Y_4x+1,_2y + Y_4x+2,_2y + Y_4x+3,_2y)
- 2(Y_4x+2,_2y + Y_4x+3,_3y))²
D = ((Y_4(x+1),_2y + Y_4(x+1)+1,_2y + Y_4(x+1)+2,_2y + Y_4(x+1)+3,_2y)
- 2(Y_4x+2,_2y + Y_4x+3,_2y))²
E = ((Y_4x,_2y+1 + Y_4x+1,_2y+1 + Y_4x+2,_2y+1 + Y_4x+3,_2y+1)
- 2(Y_4x,_2y+1 + Y_4x+1,_2y+1))²
F = ((Y_4(x+1),_2y+1 + Y_4(x+1)+1,_2y+1 + Y_4(x+1)+2,_2y+1
+ Y_4(x+1)+3,_2y+1) - 2(Y_4x,_2y+1 + Y_4x+1,_2y+1))²
G = ((Y_4x,_2y+1 + Y_4x+1,_2y+1 + Y_4x+2,_2y+1 + Y_4x+3,_2y+1)
- 2(Y_4x+2,_2y+1 + Y_4x+3,_2y+1))²
H = ((Y_4(x+1),_2y+1 + Y_4(x+1)+1,_2y+1 + Y_4(x+1)+2,_2y+1
+ Y_4(x+1)+3,_2y+1) - 2(Y_4x+2,_2y+1 + Y_4x+3,_2y+1))²
（数式６）
ここで、ｘとｙは正の整数値である。また、Ａ〜Ｈの値としてそれぞれ上記の式の平方根を用いることも可能である。

この変換方法は、この実施形態の第１の変換方法（色差信号変換の方法５）と同様に、輝度の変化を利用しているため、自然で精細な色差信号が得られる。さらに加えて、より滑らかな色差信号を得ることができるため、ＤＣＴなどの直交変換による圧縮において圧縮効率の向上が可能になる。

次に、この実施形態の装置によるコンポーネント信号の変換処理の具体例を図９に示す。この具体例では、第１の実施形態の具体例と同様にＣｒ信号の変換についてのみ説明するが、Ｃｂ信号の変換も同様に可能である。図９（Ａ）は入力された４：１：１のＹ信号であり、図９（Ｂ）はそのＹ信号に対応する４：１：１のＣｒ信号を示している。図９（Ｃ）は、この入力信号に対して、この実施形態の第１の変換方法により変換した４：２：０のＣｒ信号を示し、図９（Ｄ）は、この実施形態の第２の変換方法により変換した４：２：０のＣｒ信号を示している。また、図９（Ｅ）は、参考として第１の実施形態の第１の変換方法により変換した４：２：０のＣｒ信号を示している。

この例では、第１の実施形態の具体例と同様に、個々の升目が１つのＣｒ信号もしくはＹ信号の画素を示し、升目の中の数値が画素値を表す。また、これらのＣｒ信号もしくはＹ信号は全て、フレームの左上端から一部を抜き出したものとする。これらの例の変換結果は、それぞれの変換方法の式により求めた値であるが、小数点以下は四捨五入して整数値で表している。また画素値として「−」の記号が記入されている画素は、画素値がこの例にない他の部分の画素の値により変化するため、この例では確定しないことを表す。

まず、この実施形態の第１の方法による変換結果を説明する。第１の実施形態による変換結果（Ｅ）が、右２画素同士と左２画素同士の値が同じで、値は中央（２画素目と３画素目との間）で分かれているのに対し、この実施形態の第１の変換方法によれば、１画素目と２画素目との間で値が分かれている。ＤＶフォーマットが生成される前の４：２：２の入力において、輝度に対応した色変化をしていた場合（図９（Ａ）の輝度２００に対応するＣｒ画素値が０、輝度１００に対応するＣｒ画素値が２００）を考えると、１画素目と２画素目との間で値が分かれている方が、本来の入力に忠実な値であることが分かる。

次に、この実施形態の第２の方法による変換結果を説明する。この変換結果も、第１の変換結果（Ｃ）と同様、１画素目と２画素目で値が変化している。ただし、第１の変換結果（Ｃ）と比較して、変化の度合い（２つの画素値の差）は、この変換結果の方が小さい。このことにより、色差信号について低周波成分が増し、ＤＣＴなどの直交変換の圧縮効率を向上させることが可能となる。

以上説明したとおり、この実施形態に示した装置と変換方法を用いれば、４：１：１のコンポーネント信号を４：２：０のコンポーネント信号に直接変換することが可能となり、さらに、輝度信号の変化と色差信号の変化との間に相関がある自然画像を入力した場合、自然で精細な色差信号を得ることが可能となる。

（第３の実施の形態）
第３の実施形態では、ＤＶＣフォーマットなどの直交変換圧縮されたデジタル圧縮映像信号を、ＭＰＥＧ２フォーマットなどの動き補償付き直交変換圧縮されたデジタル圧縮映像信号に変換する映像信号変換装置について説明する。

この映像信号変換装置は、図１０に示すように、デジタル圧縮映像信号が入力し、変換されたデジタル圧縮映像信号が出力される入出力部1000と、入力した圧縮映像信号を非圧縮コンポーネント信号に復号する映像復号部2000と、形式の異なるコンポーネント信号間の直接変換を行なうコンポーネント信号変換部3000と、変換されたコンポーネント信号を圧縮映像信号に変換する映像符号部4000とから構成されている。

そして、入出力部1000は、ＤＶＣフォーマットのデジタル圧縮映像信号が入力する入力手段1001と、ＭＰＥＧフォーマットのデジタル圧縮映像信号を出力する出力手段1002とを備え、映像復号部2000は、シャフリングされている圧縮映像信号をデシャフリングする前処理手段2001と、圧縮映像信号を可変長復号してＤＣＴ係数の量子化値を得る可変長復号手段2002と、この量子化値を逆量子化してＤＣＴ係数を得る逆量子化手段2003と、ＤＣＴ係数を基に非圧縮映像信号を生成する逆ＤＣＴ処理手段2004とを備え、映像符号部4000は、符号化するフレームの種類を指定する符号化制御手段4001と、入力する非圧縮映像信号を格納する入力バッファ4002と、非圧縮映像信号にＤＣＴ処理を施し、ＤＣＴ係数を量子化テーブルの値で除算して量子化値を得るＤＣＴ圧縮手段4003と、ＤＣＴ圧縮手段4003の出力を非圧縮信号に戻す逆ＤＣＴ伸張手段4004と、非圧縮信号に戻された映像信号を格納するフレームメモリ4005と、フレームメモリ4005に格納された映像信号と入力バッファ4002に格納された映像信号とから画像の動きを予測し、動きベクトルと画素値の差分とを求める動き予測部4100と、動き予測を用いた符号化を行なうかどうかを選択する符号選択手段4006と、符号選択手段4006から渡された情報を可変長符号化する可変長符号手段4007と、可変長符号手段4007から出力される可変長符号化データを用いてＭＰＥＧフォーマットを生成する構造符号化手段4008とを備えている。また、コンポーネント信号変換部3000には、第１または第２の実施形態に示した映像信号変換装置を用いる。

次に、この装置の動作を説明する。この装置の全体の処理は、図１１に示す流れに沿って行なわれる。

ステップ1100：最初に、入力手段1001より入力されたＤＶＣフォーマットの映像信号を映像復号部2000が復号して非圧縮の映像信号とし、ステップ1200：復号された非圧縮映像信号の形式を、コンポーネント信号変換部3000が４：１：１から４：２：０に変換し、ステップ1300：４：２：０に変換されたコンポーネント信号を、映像符号部4000がＭＰＥＧフォーマットに圧縮符号化し、出力手段1002を介して出力する。

また、上記の処理は、それぞれの処理（ステップ1100〜ステップ1300）を並行して行なうことも可能である。即ち、映像復号部2000が入力映像信号の全てを完全に復号する前に、復号が済んだ一部のデータを先にコンポーネント信号変換部3000が変換し、映像符号部4000がＭＰＥＧフォーマットに圧縮符号化することが可能である。

次に、上記の処理のうち、映像の復号処理（ステップ1100）と映像の符号処理（ステップ1300）とについて詳しく説明する。

まず、映像の復号処理（ステップ1100）について詳しく説明する。最初に、ＤＶＣフォーマットについて簡単に説明する。ＤＶＣフォーマットは、４：１：１コンポーネント信号に対して８画素×８画素のブロックごとにＤＣＴを施し、ＤＣＴ係数を量子化し、これを可変長符号化した符号が記録されているフォーマットである。

また、ＤＶＣフォーマットの１フレームは、４つの輝度信号のＤＣＴブロックとそれに対応する２つの色差信号のＤＣＴブロックとを組とするマクロブロック、さらに複数のマクロブロックの集合であるスーパーブロックの集合によって構成されている。そして、１フレーム内でマクロブロックやスーパーブロックの記録位置を本来のフレームの位置と変えるシャフリング処理が施されている。

図１２は、この装置の映像の復号処理の流れを示すフローチャートである。この装置の映像復号部2000は、次の様に復号を行なう。

ステップ1101：シャフリングされた圧縮信号を、前処理手段2001がデシャッフリングし、フレームごとに、全てのマクロブロックの情報を本来の映像の位置に配置し、ステップ1102：可変長復号手段2002が、可変長復号してＤＣＴ係数の量子化値の情報に変換し、ステップ1103：逆量子化手段2003が、可変長復号された情報を逆量子化してＤＣＴ係数を求める。

ステップ1104：逆ＤＣＴ処理手段2004が、ＤＣＴ係数より各画素の画素値を求めて、非圧縮映像信号を生成する。

次に、映像の符号処理（ステップ1300）について説明する。図１３は、この装置の映像の符号処理の流れを示すフローチャートである。この装置の映像符号部4000は、次の様にＭＰＥＧフォーマットの映像信号を生成する。

ステップ1301：最初に、ＤＣＴ圧縮手段4003が、入力バッファ4002より入力した非圧縮映像信号にＤＣＴ処理を施し、ＤＣＴ係数を量子化する。

ステップ1302：符号化制御手段4001が、ＤＣＴ圧縮手段4003で処理された信号のエンコードされるべきフレームの種類、即ちＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれかのタイプを選択し、選択されたタイプがＩピクチャであれば、符号選択手段4006は、ＤＣＴ圧縮手段4003が入力バッファ4002のデータについて処理した出力を可変長符号手段4006に渡す。（ステップ1306から処理を続ける）

ステップ1303：選択されたタイプがＰピクチャまたはＢピクチャであれば、動き予測部4100は、フレームメモリ4004に格納された前フレームの映像信号と入力バッファ4002に格納された現フレームの映像信号とから動き予測を行ない、動きベクトルと画素値の差分情報とを求める。そして、動きベクトルと、ＤＣＴ圧縮手段4003でＤＣＴ・量子化処理した（またはＤＣＴ・量子化処理しない）差分情報とを符号選択手段4006に渡す。

ステップ1304：次に、逆ＤＣＴ伸張手段4004が、ＤＣＴ圧縮手段4003の出力を逆量子化・逆ＤＣＴ処理し、フレームメモリ4005に、このフレームの再現した非圧縮映像信号を格納する。

ステップ1305：符号選択手段4005は、マクロブロック毎に動き予測を用いた符号化をするか否かを選択し、動き予測を用いる場合は、動き予測部4100から渡された該当マクロブロックの情報を可変長符号手段4007に渡し、動き予測を用いない場合は、入力バッファ4002のデータについて処理したＤＣＴ圧縮手段4002の出力における該当マクロブロックの情報を可変長符号手段4007に渡す。

ステップ1306：そして、可変長符号手段4007は、符号選択手段4005から渡された情報を可変長符号化する。

ステップ1307：最後に、可変長符号手段4007が符号化した可変長符号に対し、構造符号化手段4008が、ＭＰＥＧデータとして必要なヘッダを付加するなどしてＭＰＥＧフォーマットを生成する。

この処理の流れによって、ＭＰＥＧ１及びＭＰＥＧ２のＭＰＥＧフォーマットを生成することが可能である。

次に、上記映像圧縮処理（ステップ1300）の内、動き予測処理（ステップ1303）における動きベクトル計算処理について詳しく説明する。

動きベクトルの計算には、該当するマクロブロックの画素値を探索範囲の全ての箇所の画素値と比較して、それぞれの箇所における画素値の平均誤差を求め、そのマクロブロックの元の位置と最も誤差の少ない箇所の位置との差を動きベクトルとする方法（全探索）を始めとして、種々の方法を用いることができる。この実施形態では、階層画像を用いた段階的な動き情報の探索による計算方法を説明する。

この計算方法は、対象画像フレームと参照する画像のフレームとの両方に対して、解像度を落とした（画素数を減らした）複数の画像を生成し、低い解像度の画像から粗い動きベクトルの情報を計算し、計算に用いる画像を順次解像度の高いものにして動きベクトルの精度を高める方法である。この実施形態では上記の解像度を落とした複数の画像を階層画像と呼ぶ。この計算方法は、自然画像において、大きい物体の動きに当たる粗い動きベクトルを最初に求め、それを基に段階的に精度の高い動きベクトルの計算を行なうため、精度の高い動きベクトルを得ることができ、ＭＰＥＧ符号化時に圧縮効率を上げることができ、結果として画質を向上させることができる方法である。

ここで、階層画像とその生成方法について簡単に説明する。図１４は、階層画像の例を示す図である。図１４において、最初に、入力される原画像10000から、間引き処理（ダウンサンプリング）により解像度を２分の１に下げた１／２画像が生成され、さらに１／２画像に対して同様のダウンサンプリングを行なう、という手順を繰り返すことで、階層画像が生成される。このとき、ダウンサンプリングとしては、低周波通過フィルタ（ＬＰＦ）で縦方向、横方向共に空間周波数帯域を２分の１にした後、１つおきに画素を間引く、という処理を用いることができる。

この装置において、この計算方法を実現するための、動き予測部4100について詳しく説明する。

最初に、動き予測部4100の構成を図１５を用いて説明する。図１５に示すように、動き予測部4100は、階層画像を生成する階層画像生成手段4101と、生成された階層画像を格納する階層画像メモリ4102と、階層画像を用いて低い解像度から段階的に動きベクトルを検出する動き検出手段4103と、動き検出手段4103が検出した段階的な動きベクトルを格納する動き情報一時格納手段4104と、画像圧縮に用いる最終的な動きベクトルを生成する動きベクトル生成手段4105と、この動きベクトルを基に圧縮すべき画像信号のフレーム間差分を求める差分情報生成手段4106とを備えている。

次に、動き予測部4100の処理について、図１６のフローチャートを基に説明する。

ステップ2000：階層画像生成手段4101は、入力バッファ4002及びフレームメモリ4005から得た画像データを用いて、対象画像及び参照画像の階層画像を生成し、階層画像メモリ4102に格納する。

ステップ2100：動き検出手段4103は、先ず、対象画像における１／８画像の画素を縦１６画素×横１６画素の２５６画素ずつに分割して検索対象ブロックとし、検索対象ブロック毎に、参照画像における１／８画像とのマッチングを取り、動きベクトルを求める。求めた動きベクトルは動き情報一時格納手段4104に格納する。

次に、動き検出手段4103は、対象の１／４画像を縦１６画素×横１６画素ずつに分割して検索対象ブロックとし、参照画像の１／４画像とのマッチングを取り、動きベクトルを求める。このとき、先に求めた１／８画像の対応するブロックの動きベクトルを動きベクトル候補として用い、動きベクトル候補周辺からマッチングを行なうことで、探索範囲を狭める。

動き検出手段4103は、このような階層的な動き予測を順次より大きい階層画像に対して行ない、最後に原画像に対する動きベクトルを求める。

ステップ2200：動きベクトル生成手段4105は、原画像に対して検出された動きベクトルを最終的な動きベクトルの値として設定する。

ステップ2300：差分情報生成手段4106は、入力バッファ4002及びフレームメモリ4005から入力した画像データを基に、対象画像の各マクロブロックの画素値と、動きベクトルで示された対応する参照画像のブロックの画素値との差分を計算する。

この階層画像を用いた動き予測によれば、動きベクトル導出に必要な計算量を効果的に削減することができる。また、粗い画像から順次動きベクトルの精度を上げているため、画像の大きな動きに忠実な、自然な動きを表現する動きベクトルを求めることができ、動きベクトルの精度を高めることができる。

なお、動き予測部4100の動きベクトル導出処理としては、上記の例の他、既存の階層的な動きベクトル検出方法を用いることも可能である。

こうした処理により、精度の高い動きベクトルを検出することができ、結果として、生成するＭＰＥＧフォーマットの圧縮画像の画質を高めることができる。
以上説明したように、この装置によれば、ＤＶＣフォーマットの圧縮映像を、高画質なＭＰＥＧ１、あるいはＭＰＥＧ２のフォーマットに直接変換することができる。

（第４の実施の形態）
第４の実施形態では、ＤＶＣフォーマットなどの直交変換圧縮されたデジタル圧縮映像信号を、ＭＰＥＧ２フォーマットなどの動き補償付き直交変換圧縮されたデジタル圧縮映像信号に変換する映像信号変換装置であって、ＤＶＣフォーマットの輝度信号のＤＣＴ係数を、ＭＰＥＧフォーマットの生成に利用する装置について説明する。

この装置は、図１７に示すように、映像符号部4000が、映像復号部2000の逆量子化手段2003から送られた輝度信号のＤＣＴ係数を格納するＤＣＴ係数バッファ4009と、ＤＣＴ係数バッファ4009に格納されたＤＣＴ係数を処理して階層画像を生成する階層的逆ＤＣＴ手段4010とを備えている。また、映像符号部4000の動き予測部4100は、図１８に示すように、第３の実施形態の動き予測部（図１５）が有していた階層画像生成手段4101を備えていない。その他の構成は第３の実施形態（図１０）と変わりがない。

次に、この装置の動作を説明する。この装置の動作の特徴は、輝度信号を、映像復号部2000がＤＣＴ係数のまま直接映像符号部4000に出力し、映像符号部4000の階層的逆ＤＣＴ手段4010が、そのＤＣＴ係数から階層画像を直接生成する点である。そのため、この装置では、第３の実施形態の装置で必要であったダウンサンプリングによる階層画像生成処理が不要になるため、処理時間の短縮を実現することができる。

この装置における全体の処理の流れは、第３の実施形態の全体の処理の流れと同じである。即ち、この装置における全体の処理の流れは図１１のフローチャートの通りである。

この装置の処理が、第３の実施形態に示した処理と異なる点は、ＤＶＣフォーマットの復号処理（ステップ1100）とＭＰＥＧフォーマットの圧縮処理（ステップ1300）とである。

図１９に、この装置における映像信号復号処理（ステップ1100）の処理の流れを示す。この装置の映像復号部2000は、図１９に示す流れでＤＶＣフォーマットの復号（伸長）を行なう。

ステップ1111：シャフリングされた圧縮信号を、前処理手段2001がデシャッフリングし、フレームごとに、全てのマクロブロックの情報を本来の映像の位置に配置し、ステップ1112：可変長復号手段2002が、可変長復号してＤＣＴ係数の量子化値の情報に変換し、ステップ1113：逆量子化手段2003が、可変長復号された情報を逆量子化してＤＣＴ係数を求め、ステップ1114：処理中のＤＣＴブロックが輝度信号ならば、ステップ1115：逆量子化手段2003が、求めたＤＣＴ係数をＤＣＴ係数バッファ4009に格納する。

ステップ1116：また、処理中のＤＣＴブロックが色差信号ならば、逆ＤＣＴ処理手段2004は、逆ＤＣＴによりＤＣＴ係数から各画素の画素値を求めて、非圧縮映像信号を生成する。

この非圧縮の色差信号は、コンポーネント信号変換部3000で形式が変換された後、映像符号部4000の入力バッファ4002に格納される。

図２０に、この装置における映像信号圧縮処理（ステップ1300）の流れを示す。この装置の映像符号部4000は、図２０の流れに沿ってＭＰＥＧフォーマットの生成を行なう。

ステップ1311：ＤＣＴ圧縮手段4003は、処理するＤＣＴブロックが、入力バッファ4002から入力した色差信号であれば、
ステップ1312：そのブロックのデータをＤＣＴ変換する。

ステップ1313：次に、符号化制御手段4001が、エンコードするフレームの種類、即ちＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれかのタイプを選択し、ステップ1314：選択されたタイプがＩピクチャであれば、ＤＣＴ圧縮手段4003は、変換した色差信号のＤＣＴ係数及びＤＣＴ係数バッファ4009から読み出した輝度信号のＤＣＴ係数を量子化し、量子化された信号を符号選択手段4005が、可変長符号手段4006に渡す。（ステップ1319から処理を続ける）

ステップ1315：選択されたタイプがＰピクチャまたはＢピクチャであれば、ＤＣＴ係数バッファ4009に格納されたＤＣＴ係数に対して、階層的逆ＤＣＴ処理手段4010が後で説明する階層的逆ＤＣＴ処理を行ない、階層画像を生成して動き予測部4100に渡す。

ステップ1316：動き予測部4100は、フレームメモリ4004に格納された映像信号と階層的逆ＤＣＴ処理手段4010から渡された階層画像とから動き予測を行ない、動きベクトルと画素値の差分情報とを求める。そして、動きベクトルと、ＤＣＴ圧縮手段4003でＤＣＴ・量子化処理した差分情報とを符号選択手段4006に渡す。

ステップ1317：次に、逆ＤＣＴ伸張手段4004が、ＤＣＴ圧縮手段4003の出力を逆量子化・逆ＤＣＴ処理し、フレームメモリ4005に、このフレームの再現した非圧縮映像信号を格納する。

ステップ1318：符号選択手段4006は、マクロブロック毎に動き予測を用いた符号化をするか否かを選択し、動き予測を用いる場合は、動き予測部4100から渡された該当マクロブロックの情報を可変長符号手段4007に渡し、動き補償を用いない場合は、入力バッファ4002及びＤＣＴ係数バッファ4009のデータについて処理したＤＣＴ圧縮手段4002の出力における該当マクロブロックの情報を可変長符号手段4007に渡す。

ステップ1319：可変長符号手段4007は、符号選択手段4006から渡された情報を可変長符号化する。

ステップ1320：最後に、構造符号化手段4008が、可変長符号手段4007が符号化した可変長符号に対し、ＭＰＥＧデータとして必要なヘッダを付加するなどしてＭＰＥＧフォーマットを生成する。

ここで、階層的逆ＤＣＴ処理（ステップ1315）について説明する。

階層的逆ＤＣＴ処理とは、ＤＶＣフォーマットの信号に含まれるＤＣＴ係数に対して、低周波部分から段階的に逆ＤＣＴを施し、複数の解像度の画像を生成する処理である。これを図２１を用いて説明する。

図２１は、左側に、ＤＶＣフォーマットの信号に含まれるＤＣＴ係数の一部を抜き出したものを示し、右側に、復号された画像を示している。各ＤＣＴブロックの黒色部分が、その段階で逆ＤＣＴされるべき係数である。即ち、第１段階としてＤＣＴ係数の直流（０，０）成分のみを抜き出し、画像を復号する。ＤＣＴの直流成分はそのまま１／８画像10030を構成する。次に、左上、つまり低周波部分４画素を逆ＤＣＴして１／４画像10020を生成する。同様に、１／２画像10010、原画像10000を生成する。

また、図２２に示すように、解像度の高い画像を生成する場合に、その一段階前の復号された画像を用い、その画像との差分、即ち図２２のＤＣＴ係数の黒色部分のみを逆ＤＣＴし、加えることで、さらに演算量を削減することも可能である。

動き予測部4100が、生成された階層画像を用いて、動きベクトルと画素値の差分情報とを求める動作は、第３の実施形態と変わりがない。

以上説明したように、この実施形態の装置では、ＤＶＣフォーマットの輝度信号のＤＣＴ係数をＭＰＥＧフォーマットの作成に利用しているため、処理量の削減が可能となる。また、階層的逆ＤＣＴ処理では、ＤＶＣフォーマットの復号における逆ＤＣＴとほぼ同じ演算量で、ＭＰＥＧ符号時に必要となる階層画像を生成することができ、効果的に処理を削減することができる。

（第５の実施の形態）
第５の実施形態では、ＤＶＣフォーマットなどの直交変換圧縮されたデジタル圧縮映像信号を、ＭＰＥＧ２フォーマットなどの動き補償付き直交変換圧縮されたデジタル圧縮映像信号に変換する映像信号変換装置であって、動きベクトルの検出処理を少ない演算量で行なうことができる装置について説明する。

この装置は、図２３に示すように、第４の実施形態の装置（図１７）と異なり、映像符号部4000が、階層的逆ＤＣＴ手段4010に代わり、１次元の逆ＤＣＴ処理を行なう１次元逆ＤＣＴ手段4011を備えている。また、映像符号部4000の動き予測部4100は、図２４に示すように、第４の実施形態（図１８）において具備していた階層画像メモリ4102を備えていない。その他の構成は第４の実施形態と変わりがない。

次に、この装置の動作について説明する。この装置では、動きベクトル検出処理の動作が、第４の実施形態と異なる。この装置では、ＤＶＣフォーマットに含まれる輝度信号のＤＣＴ係数に対して、縦方向、横方向それぞれに一次元の逆ＤＣＴ処理を施し、それぞれ一次元の画素のデータによる動きベクトルを検出し、それを組み合わせて２次元の動きベクトルを導出することにより、動きベクトルを検出している。

具体的な処理の流れを説明する。全体の処理の流れは、第３ないしは第４の実施形態と同様である。即ち、全体の処理の流れは、図１１に示すとおりである。また、映像復号処理（ステップ1100）は、第４の実施形態（図１９）と同じであり、映像符号処理（ステップ1300）のみが第４の実施形態と異なっている。この装置における映像符号処理（ステップ1300）の流れを図２５に示す。この装置の映像符号部4000は、図２５の流れに沿って映像符号処理を行なう。

ステップ1321：ＤＣＴ圧縮手段4003は、処理するＤＣＴブロックが、入力バッファ4002から入力した色差信号であれば、ステップ1322：そのブロックのデータをＤＣＴ変換する。

ステップ1323：次に、符号化制御手段4001が、エンコードするフレームの種類、即ちＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれかのタイプを選択し、ステップ1324：選択されたタイプがＩピクチャであれば、ＤＣＴ圧縮手段4003は、変換した色差信号のＤＣＴ係数及びＤＣＴ係数バッファ4009から読み出した輝度信号のＤＣＴ係数を量子化し、符号選択手段4005が、量子化された信号を可変長符号手段4006に渡す。（ステップ1329から処理を続ける）ステップ1325：選択されたタイプがＰピクチャまたはＢピクチャであれば、ＤＣＴ係数バッファ4009に格納されたＤＣＴ係数に対して、１次元逆ＤＣＴ処理手段4011が後で説明する一次元逆ＤＣＴ処理を行ない、生成した一次元情報を動き予測部4100に渡す。

ステップ1326：動き予測部4100は、フレームメモリ4005に格納された映像信号と１次元逆ＤＣＴ処理手段4011から渡された一次元情報とから動き予測を行ない、動きベクトルと画素値の差分情報とを求める。そして、動きベクトルと、ＤＣＴ圧縮手段4003でＤＣＴ・量子化処理した差分情報とを符号選択手段4006に渡す。

ステップ1327：次に、逆ＤＣＴ伸張手段4004が、ＤＣＴ圧縮手段4003の出力を逆量子化・逆ＤＣＴ処理し、フレームメモリ4005に、このフレームの再現した非圧縮映像信号を格納する。

ステップ1328：符号選択手段4006は、マクロブロック毎に動き予測を用いた符号化をするか否かを選択し、動き予測を用いる場合は、動き予測部4100から渡された該当マクロブロックの情報を可変長符号手段4007に渡し、動き予測を用いない場合は、入力バッファ4002及びＤＣＴ係数バッファ4009のデータについて処理したＤＣＴ圧縮手段4002の出力における該当マクロブロックの情報を可変長符号手段4007に渡す。

ステップ1329：可変長符号手段4007は、符号選択手段4006から渡された情報を可変長符号化する。

ステップ1330：最後に可変長符号手段4007が符号化した可変長符号に対し、構造符号化手段4008が、ＭＰＥＧデータとして必要なヘッダを付加するなどしてＭＰＥＧフォーマットを生成する。

ここで、一次元逆ＤＣＴ処理（ステップ1325）と、一次元情報による動き予測（ステップ1326）について説明する。この処理は、従来２次元の画像そのままで動き予測をしていたものを、２方向の１次元の情報を２次元画像を代表する情報として、動き予測に用いるものである。

図２６は、１次元逆ＤＣＴと、この処理で得られた１次元情報を用いて行なう動き予測の方法について、概念的に簡単に示した図である。１次元逆ＤＣＴでは、個々のＤＣＴブロックに対して、ｘ方向のみの周波数成分とｙ方向のみの周波数成分とのそれぞれに、１次元の逆ＤＣＴを施し、１つのＤＣＴブロックのｘ方向及びｙ方向に対して、それぞれ１×８個の１次元の画素値を生成する。ここでは、これを１次元情報と呼ぶ。これをマクロブロック単位で組み合わせると、１マクロブロックは２×２個のブロックで構成されているから、ｘ方向及びｙ方向のそれぞれに対して、２×１６個の１次元の画素値が組み合わされた１マクロブロック分の１次元情報ができる。

同じように、１フレームを構成するブロックの１次元情報を組み合わせて、ｘ方向及びｙ方向の１フレーム分の１次元情報を作成する。

次いで、ｘ方向ｙ方向のそれぞれにおいて、１マクロブロック分の１次元情報と１フレーム分の１次元情報とのパターンマッチングを行ない、１次元の動きベクトルを検出する。即ち、ｘ方向の１次元情報による動きベクトルは、ｘ方向の値のみを利用し、ｙ方向の１次元情報による動きベクトルは、ｙ方向の値のみを利用して、１マクロブロック分の一次元情報との平均誤差が最小となるフレーム位置を求め、そのマクロブロックの元の位置との差を検出する。

そして、こうして求めたそれぞれの方向の動きベクトルを、動きベクトル候補とし、双方の動きベクトル候補における予測誤差（平均誤差）を比較して、予測誤差の少ない動きベクトルを選択する。

次いで、選択されなかった方向については、選択された方向の動きベクトルに対応した箇所に範囲を限定して、パターンマッチングを行ない、再度動きベクトルを検出する。こうして検出した２方向の動きベクトルを合成して、実際の動きベクトルとする。

この処理を用いると、パターンマッチングの際に必要な差分の絶対値を求める計算の回数を大幅に削減することが可能となる。例えば、１つのマクロブロックの１回のパターンマッチングにおいて、従来は１６画素×１６画素、即ち２５６画素について差分の絶対値を求める必要があったが、この処理によれば、各方向の動きベクトル候補の検出として、２画素×１６画素、即ち３２画素について差分の絶対値を求めるだけでよい。

また、最終的な、選択されなかった方向についてのパターンマッチングは、範囲を限定した、一方向のみのパターンマッチングであるため、計算量は少ない。そのため、結果として、動きベクトル検出のパターンマッチングに要する計算量を１／８近くにまで削減することができる。

なお、この処理におけるパターンマッチングとして、全探索のほか、第３の実施形態のように階層的な処理など、２次元の動きベクトル検出で用いられている処理を用いることもできる。

以上説明したように、この実施形態によれば、ＤＶＣフォーマットに含まれるＤＣＴ係数を利用することにより、動きベクトル検出に要する計算量を大幅に削減することが可能となる。

（第６の実施の形態）
第６の実施形態では、クライアントが要求するフォーマットの映像信号を提供する多フォーマット映像提供システムについて説明する。

このシステムは、コンピュータのクライアントサーバシステムであり、図２７に示すように、クライアントのコンピュータから成る映像再生端末5000と、映像提供用のサーバから成る映像提供部7000と、映像提供部7000に蓄積される映像を入力する映像入力部8000と、各部を結ぶネットワーク6000とを備えており、映像提供部7000は、映像を通信する通信手段7100と、映像を蓄積する映像蓄積手段7300と、映像信号のフォーマットを変換する映像信号変換手段7200と、各手段の動作を制御する制御手段7400とを備えている。映像提供部7000の映像信号変換手段7200には、第３乃至第５の実施形態の映像信号変換装置が使われる。

映像入力部8000は、ＤＶＣフォーマットの映像信号を入力し、映像提供部7000は、ＤＶＣ、ＭＰＥＧ１またはＭＰＥＧ２のいずれかのフォーマットの映像信号を出力する。

次に、このシステムの動作を説明する。図２８は、このシステムの映像提供部7000の処理動作手順を示しており、図２８（Ａ）は映像入力処理、図２８（Ｂ）は映像出力処理の流れを示すフローチャートである。

映像の入力は、次に示す流れで行なわれる。

ステップ3000：制御手段7400は、通信手段7100を介して、映像入力部8000からの映像入力要求を受け付けると、入力許可信号を映像入力部8000に対して送り、ステップ3100：映像入力部8000から、通信手段7100を介して入力されたＤＶＣフォーマットの映像信号を映像蓄積手段7300に蓄積する。

ステップ3200：制御手段7400は、映像信号変換手段7200に対して、映像信号のフォーマットの変換を指示し、映像信号変換手段7200は、映像蓄積手段7300に蓄積された映像信号を読み出して、ＭＰＥＧ１及びＭＰＥＧ２のフォーマットに変換する。変換されたＭＰＥＧ１及びＭＰＥＧ２フォーマットの映像信号は、ＤＶＣフォーマットの映像信号とともに、映像蓄積手段7300に蓄積される。

また、映像提供部7000は、次の流れで映像を出力する。

ステップ4000：制御手段7400は、通信手段7100を介して、映像再生端末5000からの映像出力要求を受け付けると、出力許可信号を映像再生端末5000に送り、ステップ4100：映像蓄積手段7300に蓄積されている、要求されたフォーマットの映像信号を、通信手段7100を介して、映像再生端末5000に出力する。

このシステムでは、ＤＶＣフォーマットなど、単一のフォーマットで入力された映像を、再生する端末に応じて、他のフォーマットで提供することが可能である。

また、映像信号変換処理が実時間以上の速度で行なえる場合は、図２９に示す手順で映像入力処理及び映像出力処理を行なう。映像入力処理は、図２９（Ａ）に示すように、ステップ5000：制御手段7400は、通信手段7100を介して、映像入力部8000からの映像入力要求を受け付けると、入力許可信号を映像入力部8000に対して送り、ステップ5100：映像入力部8000から、通信手段7100を介して入力されたＤＶＣフォーマットの映像信号を映像蓄積手段7300に蓄積する。

また、映像出力処理は、図２９（Ｂ）に示すように、
ステップ6000：制御手段7400は、通信手段7100を介して、映像再生端末5000からの映像出力要求を受け付けると、出力許可信号を映像再生端末5000に送り、ステップ6100：要求された映像信号のフォーマットがＤＶＣフォーマットであれば、ステップ6300：映像蓄積手段7300に蓄積されている映像信号を、通信手段7100を介して、映像再生端末5000に出力する。

また、ステップ6100において、要求された映像信号のフォーマットがＤＶＣフォーマット以外であれば、ステップ6200：制御手段7400は、映像信号変換手段7200に対して、フォーマットの変換を指示し、映像信号変換手段7200は、映像蓄積手段7300に蓄積された映像信号を読み出して、要求されたＭＰＥＧ１またはＭＰＥＧ２のフォーマットに変換する。

ステップ6300：制御手段7400は、変換された映像信号を、通信手段7100を介して、映像再生端末5000に出力する。

このように、この場合には、映像出力時に、映像再生端末5000が要求したフォーマットの映像信号にリアルタイムで変換しながら出力する。この場合、映像信号変換手段7200は、通信手段7100とも直接接続されていることが望ましい。

（第７の実施の形態）
第７の実施形態では、復号処理の中間情報であるＤＣＴ係数を変換することにより、カラーコンポーネント形式の変換を行なう映像信号変換装置と、その映像信号変換方法について説明する。

この映像信号変換装置は、映像信号を非圧縮コンポーネント信号に復号してからカラーコンポーネント形式を変換する第３の実施形態の装置（図１０）と異なり、映像信号の復号化の過程で得られるＤＣＴ係数を用いてカラーコンポーネント形式を変換する。そのため、この装置では、図３５に示すように、コンポーネント信号変換部3000に代わるものとして、映像復号部2000に、コンポーネント形式の変換に合わせてＤＣＴ係数の配列を変更するＤＣＴ係数変換手段2005が設けられており、映像復号部2000からは、カラーコンポーネント形式が変換された非圧縮コンポーネント信号が出力される。その他の構成は第３の実施形態と変わりがない。

次に、この装置の動作について説明する。この装置では、ＤＶＣフォーマットに含まれる色差信号のＤＣＴ係数を間引くことによって縦方向のＤＣＴ係数の解像度を半分にし、横方向に０を補間することによって横方向のＤＣＴ係数の解像度を２倍にし、こうして解像度を変えたＤＣＴ係数に逆ＤＣＴ処理を施して、ＭＰＥＧ２などのカラーコンポーネント形式に変換している。

具体的な処理の流れを説明する。図３６は、本装置の全体の処理の流れを示すフローチャートである。この内、映像符号処理（ステップ1300）は、第３の実施形態の動作（図１１のステップ1300）と同じであり、映像復号処理（ステップ1100）のみが第３の実施形態と異なっている。

この装置における映像復号処理（ステップ1100）は、図３７に示す手順で行なわれる。この映像復号処理手順のうち、デシャッフル（ステップ1101）、可変長復号（ステップ1102）、逆量子化処理（ステップ1103）は、第３の実施形態の動作（図１２のステップ1101、1102、1103）と同じであり、ＤＣＴ係数変換処理（ステップ1105）及び逆ＤＣＴ処理（ステップ1106）のみが第３の実施形態と異なっている。この装置の映像復号部2000は、図３７の流れに沿って映像復号処理を行なう。

ステップ1101：シャフリングされた圧縮信号を、前処理手段2001がデシャッフリングし、フレームごとに、全てのマクロブロックの情報を本来の映像の位置に配置し、ステップ1102：可変長復号手段2002が、可変長復号してＤＣＴ係数の量子化値の情報に変換し、ステップ1103：逆量子化手段2003が、可変長復号された情報を逆量子化してＤＣＴ係数を求める。逆量子化手段2003は、求めた輝度信号のＤＣＴ係数を逆ＤＣＴ処理手段2004に出力し、求めた色差信号のＤＣＴ係数をＤＣＴ係数変換手段2005に出力する。

ステップ1105：ＤＣＴ係数変換手段2005は、色差信号のＤＣＴ係数に対してＤＣＴ係数変換処理を施し、色差信号のＤＣＴブロックの縦の解像度を半分にし、横の解像度を２倍にする。

ステップ1106：逆ＤＣＴ処理手段2004は、逆量子化手段2003から出力されたＤＣＴ係数により輝度信号に関する各画素の画素値を求め、また、ＤＣＴ係数変換手段2005から出力されたＤＣＴ係数により色差信号に関する各画素の画素値を求めて、非圧縮映像信号を生成する。

ここで、ＤＣＴ係数変換処理（ステップ1105）及び逆ＤＣＴ処理（ステップ1106）について説明する。この処理は、第３の実施形態の装置で非圧縮映像信号に対して行なっていたコンポーネント形式変換を、復号処理の中間情報であるＤＣＴ係数の段階で行なう処理である。

図３８は、ＤＣＴ係数変換処理及び逆ＤＣＴ処理による、４：１：１形式から４：２：０形式へのコンポーネント形式変換について、概念的に簡単に示した図である。

ＤＣＴ係数変換処理では、４：１：１形式の色差信号の横８×縦８のＤＣＴブロックから、縦方向に低周波部分の半分（横８×縦４）のＤＣＴ係数を抜き出すことで縦方向の解像度を半分にする。そして、横方向のＤＣＴ係数を２倍にし、新しく増やした横８×縦４のＤＣＴ係数の値を０にすることで、横方向の解像度を２倍にする。

逆ＤＣＴ処理では、ＤＣＴ係数変換処理により生成された横１６×縦４のＤＣＴ係数の集まりを１つの新たなＤＣＴブロックとして、縦１６×横４の２次元逆ＤＣＴ処理を行なう。この逆ＤＣＴ処理により生成された縦１６×横４の信号が、４：２：０形式の非圧縮色差信号となる。

このように、このＤＣＴ係数変換処理では、４：１：１形式のＤＣＴブロックから、主要な色差情報の全てを含む低周波部分の横８×縦４のＤＣＴ係数をそのまま抜き出しているため、変換後の色の変化が滑らかであり、自然な画質の画像が得られる。また、横方向に増やした横８×縦４のＤＣＴ係数は、高周波部分に付け足しているため、その値を０にしても人の目にはそれ程目立たない。従って、このＤＣＴ係数変換処理により、違和感の無い変換後の画質が得られる。

なお、輝度信号に対する逆ＤＣＴ処理は、第３の実施形態と同様に行なわれ、逆量子化手段2003から出力されたＤＣＴ係数に対して、縦８×横８のＤＣＴブロック単位で２次元逆ＤＣＴ処理が施され、縦８×横８の単位で非圧縮輝度信号が算出される。

以上説明したように、この実施形態の映像信号変換では、ＤＶＣフォーマットに含まれるＤＣＴ係数を利用することにより、簡単な構成でカラーコンポーネント形式を変換することができ、また、自然な画質への変換が可能である。

なお、この実施の形態で説明した、ＤＣＴ係数変換処理と逆ＤＣＴ処理とは、第４あるいは第５の実施の形態の装置に適用することもできる。

第１の実施形態の映像信号変換装置の構成を示す機能ブロック図、第１の実施形態の映像信号変換装置における全体の処理の流れを示すフローチャート、輝度信号（Ａ）とそれに対応する４：１：１形式の色差信号（Ｂ）と４：２：０形式の色差信号（Ｃ）の例、ＤＶＣ形式の映像信号を生成するために入力する４：２：２コンポーネント信号と、生成される４：１：１コンポーネント信号の例、第１の実施形態の映像信号変換装置への色差信号の第１の入力例とそれに対する出力結果、第１の実施形態の映像信号変換装置への色差信号の第２の入力例とそれに対する出力結果、第１の実施形態の映像信号変換装置への色差信号の第３の入力例とそれに対する出力結果、第２の実施形態の映像信号変換装置の構成を示す機能ブロック図、第２の実施形態の映像信号変換装置への色差信号の入力例とそれに対する出力結果、第３の実施形態の映像信号変換装置の構成を示す機能ブロック図、第３の実施形態の映像信号変換装置における全体の処理の流れを示すフローチャート、第３の実施形態の映像信号変換装置におけるＤＶＣ復号処理の流れを示すフローチャート、第３の実施形態の映像信号変換装置におけるＭＰＥＧ符号処理の流れを示すフローチャート、階層画像の例、第３の実施形態の映像信号変換装置における動き予測部の機能ブロック図、前記動き予測処理の処理の流れを示すフローチャート、第４の実施形態の映像信号変換装置の構成を示す機能ブロック図、第４の実施形態の映像信号変換装置における動き予測部の機能ブロック図、第４の実施形態の映像信号変換装置におけるＤＶＣ復号処理の流れを示すフローチャート、第４の実施形態の映像信号変換装置におけるＭＰＥＧ符号処理の流れを示すフローチャート、第４の実施形態の映像信号変換装置における階層画像の作成方法を説明する図、第４の実施形態の映像信号変換装置における階層画像の他の作成方法を説明する図、第５の実施形態の映像信号変換装置の構成を示す機能ブロック図、第５の実施形態の映像信号変換装置における動き予測部の機能ブロック図、第５の実施形態の映像信号変換装置におけるＭＰＥＧ符号処理の流れを示すフローチャート、第５の実施形態の映像信号変換装置における動き予測処理の概念図、第６の実施形態の映像提供システムの構成図、第６の実施形態の映像提供システムにおける映像入力処理と映像提供処理の流れを示すフローチャート、第６の実施形態の映像提供システムにおける他の映像入力処理と映像提供処理の流れを示すフローチャート、４：４：４カラーコンポーネント信号の説明図、４：２：２カラーコンポーネント信号の説明図、４：２：０カラーコンポーネント信号の説明図、４：１：１カラーコンポーネント信号の説明図、従来のＭＰＥＧデータ生成のための装置の構成図、第７の実施形態の映像信号変換装置の構成を示す機能ブロック図、第７の実施形態の映像信号変換装置における全体の処理の流れを示すフローチャート、第７の実施形態の映像信号変換装置におけるＤＶＣ復号処理の流れを示すフローチャート、第７の実施形態の映像信号変換装置におけるコンポーネント形式変換の方法を示す図である。

符号の説明

101 アナログビデオ機器
102 アナログ→デジタル変換器
103 デジタルビデオ機器
104 ＭＰＥＧエンコーダ
201 入力手段
202 出力手段
301 Ｙフレームメモリ
302 入力Ｃｒフレームメモリ
303 入力Ｃｂフレームメモリ
304 出力Ｃｒフレームメモリ
305 出力Ｃｂフレームメモリ
401 色差信号変換手段
402 Ｙ信号参照手段
1000 入出力部
1001 入力手段
1002 出力手段
2000 映像復号部
2001 前処理手段
2002 可変長符号手段
2003 逆量子化手段
2004 逆ＤＣＴ処理手段
2005 ＤＣＴ係数変換手段
3000 コンポーネント信号変換部
4000 映像符号部
4001 符号化制御手段
4002 入力バッファ
4003 ＤＣＴ圧縮手段
4004 逆ＤＣＴ伸長手段
4005 フレームメモリ
4006 符号選択手段
4007 可変長符号手段
4008 構造符号手段
4009 ＤＣＴ係数バッファ
4010 階層的逆ＤＣＴ処理手段
4011 １次元逆ＤＣＴ処理手段
4100 動き予測部
4101 階層画像生成手段
4102 階層画像メモリ
4103 動き検出手段
4104 動き情報一時格納手段
4105 動きベクトル生成手段
4106 差分情報生成手段
5000 映像再生端末
6000 ネットワーク
7000 映像提供部
7100 通信手段
7200 映像信号変換手段
7300 映像蓄積手段
7400 制御手段
8000 映像入力部
10000 原画像
10010 １／２画像
10020 １／４画像
10030 １／８画像

Claims

圧縮フォーマットが異なるデジタル映像信号間の変換を行なう映像信号変換装置であって、
映像信号を入出力する入出力手段と、
入力した圧縮されている映像信号を復号する映像復号化手段と、
復号された前記映像信号のコンポーネント信号形式を変換するコンポーネント信号変換手段と、
前記コンポーネント信号変換手段により変換された映像信号を圧縮し符号化する映像符号化手段とを備え、
前記映像復号化手段が、入力したＤＣＴ処理が施された圧縮映像信号の輝度信号のＤＣＴ係数を前記映像符号化手段に送り、
前記映像符号化手段が、前記映像復号化手段から送られた前記ＤＣＴ係数を格納するＤＣＴ係数バッファと、前記ＤＣＴ係数バッファに格納されたＤＣＴ係数に対して低周波成分から段階的に逆ＤＣＴを施し、解像度の異なる複数の画像である階層画像を生成する階層的逆ＤＣＴ処理手段と、前記階層的逆ＤＣＴ処理手段で生成された前記階層画像を用いて動きベクトルを求める動き予測手段を有する映像信号変換装置。