JP4014263B2 - 映像信号変換装置及び映像信号変換方法 - Google Patents
映像信号変換装置及び映像信号変換方法 Download PDFInfo
- Publication number
- JP4014263B2 JP4014263B2 JP28316497A JP28316497A JP4014263B2 JP 4014263 B2 JP4014263 B2 JP 4014263B2 JP 28316497 A JP28316497 A JP 28316497A JP 28316497 A JP28316497 A JP 28316497A JP 4014263 B2 JP4014263 B2 JP 4014263B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- macroblock
- video signal
- identified
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、圧縮されているデジタル映像信号を異なる圧縮フォーマットのデジタル映像信号に変換する映像信号変換装置とその映像信号変換方法に関し、特に、変換前の映像信号の動きフラグを利用して、変換後の映像信号の符号化を効率化するものである。
【０００２】
【従来の技術】
近年、マルチメディアの時代を迎えて、テレビやパソコン端末で見たい動画を見たいときに見ることができるビデオ・オン・デマンドシステムを目指す研究開発が、多方面で盛んに行なわれている。
【０００３】
本発明者等を含むグループでは、このビデオ・オン・デマンドシステムの一つとして、デジタルビデオカメラから取り込んだ動画を編集し、映像信号の圧縮フォーマットを変換して、パソコン端末などに配信するシステムを開発し、実用化している。
【０００４】
デジタルビデオカメラでは、デジタルビデオ機器向けの規格であるＤＶ方式で圧縮された映像信号が記録される。このＤＶ方式は、１９９６年に制定されたビデオカセットレコーダ向けの規格である、「Specifications of Consumer-Use Digital VCRs (HD Digital VCR Conference, 1996)」に準拠した規格であり、ＤＣＴ（離散コサイン変換）によるフレーム内の空間的な冗長度の削減と、可変長符号化による符号量削減とを組み合わせて、画像圧縮が図られる。
【０００５】
ＤＶ方式の映像データは、図１２（ａ）に示すように、１マクロブロックが、横に並ぶ４つの輝度信号ブロック（ブロックは８×８の画素から成る）と、同じ位置に相当する２種類の色差信号（ＣＲ，ＣＢ）ブロックとから成り、４：１：１のカラーコンポーネント形式を有している。また、図１２（ｂ）に示すように、このマクロブロックが２７個集まってスーパーブロックを構成し、５×１０のスーパーブロックにより１フレームが構成される。
【０００６】
このＤＶ方式では、ＤＣＴによる圧縮処理を行なう場合に、各ブロックの単位でフィールドモードとフレームモードとを適応的に選択することができる。カメラからは、インターレース走査（飛び越し走査）により１／６０秒ごとにフィールド単位の動画像情報が出力され、画像の動きが少ない場合には、連続する２枚のフィールド画面から、１／３０秒ごとのフレーム画面が合成され、このフレーム画面に対してＤＣＴ処理が施される（フレームＤＣＴモード）。一方、画像の動きが大きい場合には、フィールド画面を対象としてＤＣＴ処理が施される（フィールドＤＣＴモード）。
【０００７】
画像の動きは、画面の一部だけで生じる場合があるため、このフレームＤＣＴモード及びフィールドＤＣＴモードは、ブロックの単位で適応的に選択することができる。そして、１マクロブロック分の情報の中には、そこに含まれる６個のブロックの各々に対するＤＣＴ処理が、フレームモードまたはフィールドモードのいずれで行なわれたかを表す動きフラグ（１＝動き大＝フィールドモード、０＝動き小＝フレームモード）が挿入され、このＤＶ方式で圧縮された映像信号を復号する場合に、この動きフラグが参照される。
【０００８】
このＤＶ方式で圧縮された映像データは、パソコン端末などに配信するために、ＭＰＥＧ１またはＭＰＥＧ２方式の圧縮符号に変換される。こうした変換は、一般的には、ＤＶ方式の映像データを復号して非圧縮のフレーム画像の映像信号を生成する処理と、生成された非圧縮映像信号をＭＰＥＧ方式で圧縮符号化する処理とによって行なわれる。
【０００９】
ＭＰＥＧ１、ＭＰＥＧ２の圧縮方式は、コンピュータで利用する映像信号に多く用いられており、ＤＣＴ（離散コサイン変換）によるフレーム内の空間的な冗長度の削減と、可変長符号化による符号量削減と、さらに、動き補償によるフレーム間の時間的な冗長度の削減とを組み合わせて、画像データが圧縮される。そのため、フレーム当たりの符号量は、ＤＶ方式で圧縮された映像データの１／６程度に減少し、ネットワークを通じて映像信号を伝送することが容易になる。
【００１０】
ＭＰＥＧ１については「ISO/IEC 11172-2 "Information technology - Coding of moving pictures and associated audio for digital strage media at up to about 1,5Mbit/s - Part 2: Video"」、ＭＰＥＧ２については「ISO/IEC 13818-2 "Information technology - Generic coding of moving Pictures and associated audio information - Part 2: Video"」にその内容が詳しく説明されている。
【００１１】
ＭＰＥＧ方式の映像データは、図１３に示すように、１マクロブロックが、隣り合った上下４つの輝度信号ブロックと、同じ位置に相当する２種類の色差信号（ＣＲ、ＣＢ）ブロックとから成り、４：２：０のカラーコンポーネント形式を有している。また、このマクロブロックが走査順に並んでスライスを構成し、複数のスライスで１フレームが構成される。
【００１２】
ＭＰＥＧ１方式では、フィールドごとの符号化は行なわれず、すべてフレーム単位で処理される。従って、処理時間は短くて済むが、１／６０秒の撮影時間差を有する２枚のフィールド画面から合成された１フレーム画面を、そのままの形で圧縮符号化するため、画像の動きが早い場合には、再生したときの画像品質が低下する。
【００１３】
ＭＰＥＧ２方式では、この点が改められ、符号化に際して、フィールドモードとフレームモードとを適応的に選択することができる。この場合、非圧縮のフレーム画面からフィールド画面を抜き出して、このフィールド画面全体をフィールドモードで符号化したり、または、マクロブロックの単位でフィールドモードを適用したりすることができ、さらに、圧縮符号化におけるＤＣＴ処理だけ、あるいは動き予測の処理だけをフィールドモードの対象とすることもできる。
【００１４】
しかし、フィールドモードによる処理は、フレームモードに比べて、演算量が増え、処理時間が掛かる。そのため、ＭＰＥＧ２では、動きが激しい画像部分にだけフィールドモードを適用して、演算量の増大を最小限に抑えながら画像品質の向上を図ることが重要になる。
【００１５】
このフィールドモードを適用する領域を選択するため、従来は、例えば特開平８−４６９７１に記載されているように、非圧縮の１枚のフレーム画面から２枚のフィールド画面を区分し、１枚目のフィールド画面と２枚目のフィールド画面との間で、各マクロブロックを対象として動き予測を行なっている。そして、各マクロブロックにおける動きベクトルを検出し、この動きベクトルの大小によって、各マクロブロックに対しフィールドモードまたはフレームモードのいずれを適用するかを判定している。
【００１６】
また、特開平７−３２２２６８に記載されているように、このモード判定のために検出されたフィールド間の動きベクトルを利用して、フレーム間の動きベクトルを算出することにより、処理効率の向上を図ることも行なわれている。
【００１７】
【発明が解決しようとする課題】
しかし、いずれにしても、これらのモード選択方法は、フィールドモードまたはフレームモードの適用を決めるために、フィールド画面の全面に渡って動き予測を行なうことが必要であり、そのために演算量が増大し、処理に時間が掛かるという問題点を有している。また、これらの処理をハードウエアで実施する場合には、回路規模の拡大が避けられない。
【００１８】
本発明は、こうした問題点を解決するものであり、ＤＶ方式で圧縮符号化されたデジタル映像信号をＭＰＥＧ方式で圧縮符号化されたデジタル映像信号に変換する場合に、ＤＶ方式の動きフラグを利用して、ＭＰＥＧ方式での圧縮符号化を効率化した映像信号変換装置を提供し、また、その映像信号変換方法を提供することを目的としている。
【００１９】
【課題を解決するための手段】
そこで、本発明では、ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換装置において、符号化に際して、ＤＶデータに含まれる動きフラグの情報を利用して、マクロブロック単位もしくはピクチャ単位でのＤＣＴ処理モードまたは動き予測モードの適応的な切替え、マクロブロックに対する動き探索範囲の切替え、あるいはマクロブロックに対するイントラモード／インタモードの適用の切替えを行なう処理モード選択手段を設けている。
【００２０】
また、本発明では、ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換方法において、ＤＶデータに含まれる動きフラグの情報に基づいて、マクロブロック単位もしくはピクチャ単位でＤＣＴ処理モードまたは動き予測モードを適応的に切替えたり、マクロブロックに対する動き探索範囲や、マクロブロックに対するイントラモード／インタモードの適用を適応的に切替えている。
【００２１】
そのため、演算量を増やすことなく、高画質のＭＰＥＧデータへの変換を行なうことができる。
【００２２】
【発明の実施の形態】
本発明の請求項１に記載の発明は、ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換装置において、ＤＶデータに含まれる、使用されているＤＣＴのモードを示す動きフラグの情報に基づいてＭＰＥＧフォーマットの符号化方法を選択する処理モード選択手段を設けたものであり、ＤＶデータの動きフラグ情報をＭＰＥＧ符号化に利用することにより、ＭＰＥＧデータへの変換を効率化することができる。また、処理モード選択手段が、動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対する動き予測としてフィールド予測を選択し、動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対する動き予測としてフレーム予測を選択するようにしたことにより、演算量を増やすことなく、マクロブロックに対する動き予測をフレームモードまたはフィールドモードに適応的に切替えることができる。
【００２６】
請求項２に記載の発明は、処理モード選択手段として、復号化された映像信号からフレーム構造またはフィールド構造のマクロブロックを抽出し、参照画像からフレーム構造またはフィールド構造の画像を抽出するマクロブロック抽出手段と、動きフラグの情報から識別したマクロブロックの動きが大であるとき、マクロブロック抽出手段に対して、フィールド構造のマクロブロックとフィールド構造の参照画像とを抽出するように制御し、動きフラグの情報から識別したマクロブロックの動きが大でないとき、マクロブロック抽出手段に対して、フレーム構造のマクロブロックとフレーム構造の参照画像とを抽出するように制御する予測モード制御手段とを設け、抽出された参照画像を対象として、抽出されたマクロブロックの動き探索を行なうようにしたものであり、動き予測の対象画像及び参照画像として、フレームモードの場合はフレーム構造の画像、フィールドモードの場合はフィールド構造の画像がそれぞれ抽出され、抽出された画像に対して共通する動き予測が行なわれる。
【００２７】
請求項３に記載の発明は、処理モード選択手段が、動きフラグの情報から識別したピクチャの動きが大であるとき、そのピクチャに対して、フィールドモードのＤＣＴ処理と動き予測におけるフィールド予測とを選択し、動きフラグの情報から識別したピクチャの動きが大でないとき、そのピクチャに対して、フレームモードのＤＣＴ処理と動き予測におけるフレーム予測とを選択するようにしたものであり、演算量を増やすことなく、ピクチャに対するフレームモードによる処理またはフィールドモードによる処理を適応的に切替えることができる。
【００２８】
請求項４に記載の発明は、処理モード選択手段として、復号化された映像信号からフレーム構造またはフィールド構造のピクチャを生成するピクチャ生成手段と、動きフラグの情報から識別したピクチャの動きが大であるとき、ピクチャ生成手段に対して、フィールド構造のピクチャを生成するように制御し、動きフラグの情報から識別したピクチャの動きが大でないとき、ピクチャ生成手段に対して、フレーム構造のピクチャを生成するように制御するピクチャ生成制御手段とを設け、ピクチャ生成手段で生成されたピクチャに対して、ＤＣＴ処理と動き予測とを行なうようにしたものであり、ピクチャの生成だけがフレームモードまたはフィールドモードで切替えられ、生成されたピクチャに対して共通するＤＣＴ処理及び動き予測が行なわれる。
【００２９】
請求項５に記載の発明は、処理モード選択手段が、動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対する動き予測の探索範囲として広い範囲を指定し、動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対する動き予測の探索範囲として狭い範囲を指定するようにしたものであり、動きフラグの情報を利用することにより、動き予測の精度を落とすことなく、動き予測に伴う演算量を削減することができる。
【００３０】
請求項６に記載の発明は、処理モード選択手段が、動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対してイントラモードを適用し、動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対してインタモードを適用するようにしたものであり、マクロブロックに対するイントラモードまたはインタモードの適応的な切替えを、動きフラグの情報を利用して実行しているため、演算量を減らすことができ、また、動きが小さいマクロブロックに絞ってインタモードを適用しているため、探索域を狭めることができ、演算量を削減することができる。
【００３１】
請求項７に記載の発明は、処理モード選択手段が、動きフラグの情報に含まれる輝度ブロックの動きフラグに着目してマクロブロックの動きの大小を識別するようにしたものであり、高い精度でマクロブロックの動きを識別することができる。
【００３２】
請求項８に記載の発明は、処理モード選択手段が、１マクロブロックに含まれる４個の輝度ブロックの内、所定数の輝度ブロックの動きフラグが動き大を表しているとき、マクロブロックの動きを大と識別するようにしたものであり、符号化の処理効率と画質との兼ね合いで、この数が決められる。
【００３３】
請求項９に記載の発明は、処理モード選択手段が、動きフラグの情報に含まれる色差ブロックの動きフラグに着目し、１マクロブロックに含まれる２個の色差ブロックの内、少なくとも１つの色差ブロックの動きフラグが動き大を表していなければ、マクロブロックの動きを大と識別しないようにしたものであり、被写体の輝度変化を被写体の動きと判断してしまう誤りを、色差ブロックの動きフラグを見ることにより、正すことができる。
【００３４】
請求項１０に記載の発明は、処理モード選択手段が、１マクロブロックに含まれる４個の輝度ブロックの内、所定数の輝度ブロックの動きフラグが動き大を表し、且つ、そのマクロブロックに含まれる２個の色差ブロックの内、少なくとも１つの色差ブロックの動きフラグが動き大を表しているとき、そのマクロブロックの動きを大と識別するようにしたものであり、動きフラグの情報から画像の動きを適切に判断することができる。
【００３７】
請求項１１に記載の発明は、ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換方法において、ＤＶデータに含まれるＤＣＴモードを示す動きフラグの情報に基づいてＭＰＥＧフォーマットでの符号化方法を変更するようにしたものであり、ＤＶデータの動きフラグ情報をＭＰＥＧ符号化に利用することにより、圧縮符号化を効率化することができる。また、動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対する動き予測としてフィールド予測を適用し、動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対する動き予測としてフレーム予測を適用するようにしたことにより、演算量を増やすことなく、マクロブロックに対する動き予測をフレームモードまたはフィールドモードに適応的に切替えることができる。
【００３８】
請求項１２に記載の発明は、動きフラグの情報から識別したピクチャの動きが大であるとき、そのピクチャに対して、フィールドモードのＤＣＴ処理と動き予測におけるフィールド予測とを適用し、動きフラグの情報から識別したピクチャの動きが大でないとき、そのピクチャに対して、フレームモードのＤＣＴ処理と動き予測におけるフレーム予測とを適用するようにしたものであり、演算量を増やすことなく、ピクチャ単位のフレームモード処理またはフィールドモード処理を適応的に切替えることができる。
【００３９】
請求項１３に記載の発明は、動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対する動き予測の探索範囲として広い範囲を設定し、動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対する動き予測の探索範囲として狭い範囲を設定するようにしたものであり、動き予測に伴う演算量を削減することができる。
【００４０】
請求項１４に記載の発明は、動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対してイントラモードを適用し、動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対してインタモードを適用するようにしたものであり、イントラモードまたはインタモードの適応的な切替えに動きフラグの情報を利用し、また、動きが小さいマクロブロックに絞ってインタモードを適用しているため、演算量の大幅削減を図ることができる。
【００４１】
請求項１５に記載の発明は、動きフラグの情報に含まれる輝度ブロックの動きフラグに着目し、１マクロブロックに含まれる４個の輝度ブロックの内、所定数の輝度ブロックの動きフラグが動き大を表しているとき、マクロブロックの動きを大と識別するようにしたものであり、画像の動きを的確に識別することができる。
【００４２】
請求項１６に記載の発明は、動きフラグの情報に含まれる色差ブロックの動きフラグに着目し、１マクロブロックに含まれる２個の色差ブロックの内、少なくとも１つの色差ブロックの動きフラグが動き大を表していなければ、マクロブロックの動きを大と識別しないようにしたものであり、被写体の輝度変化を被写体の動きと判断してしまう誤りを、色差ブロックの動きフラグを見ることにより、正すことができる。
【００４３】
請求項１７に記載の発明は、動きフラグの情報に含まれる輝度ブロック及び色差ブロックの動きフラグに着目し、１マクロブロックに含まれる４個の輝度ブロックの内、所定数の輝度ブロックの動きフラグが動き大を表し、且つ、そのマクロブロックに含まれる２個の色差ブロックの内、少なくとも１つの色差ブロックの動きフラグが動き大を表しているとき、このマクロブロックの動きを大と識別するようにしたものであり、動きフラグの情報から画像の動きを適切に判断することができる。
【００４４】
以下、本発明の実施の形態について、図面を用いて説明する。
【００４５】
（第１の実施形態）
第１の実施形態の映像信号変換装置は、ＤＶデータの動きフラグを利用して、圧縮符号化におけるＤＣＴ処理をマクロブロック単位でフレームモードまたはフィールドモードに切替える。
【００４６】
この装置は、図１に示すように、ＤＶ方式で圧縮された映像信号を復号して非圧縮映像信号を出力する映像復号部11と、非圧縮映像信号をＭＰＥＧ２方式で圧縮符号化する映像符号化部15とで構成され、映像復号部11は、圧縮映像信号を可変長復号する可変長復号手段12と、各マクロブロックの情報から、そのマクロブロックに含まれる各ブロックの動きフラグを抽出して出力する動きフラグ抽出手段14と、可変長復号された後、逆量子化されたデータに逆ＤＣＴ処理を施して非圧縮映像信号を生成する逆直交変換手段13とを備え、また、映像符号化部15は、映像復号部11から送られて来る各ブロックの動きフラグに基づいてマクロブロックに対する処理モードを決定する処理モード決定手段16と、入力する映像信号に対して、決定された処理モードに基づいてＤＣＴ処理を施す直交変換手段17と、マクロブロックの動き予測を行ない、動きベクトルや、参照画像との差分情報を出力する動き予測手段18と、量子化されたＤＣＴ係数を可変長符号化する可変長符号化手段19とを備えている。
【００４７】
また、直交変換手段17は、図２に示すように、入力するフレーム単位の非圧縮映像信号からマクロブロックを抽出するマクロブロック抽出手段21と、マクロブロックからフレームモード用のＤＣＴブロックを抽出するフレームモードＤＣＴブロック抽出手段23と、マクロブロックからフィールドモード用のＤＣＴブロックを抽出するフィールドモードＤＣＴブロック抽出手段24と、処理モード決定手段16で決定された処理モード情報に基づいてフレームモードＤＣＴブロック抽出手段23またはフィールドモードＤＣＴブロック抽出手段24の一方に対してＤＣＴブロックの抽出動作を指令する変換モード制御手段22と、フレームモードＤＣＴブロック抽出手段23またはフィールドモードＤＣＴブロック抽出手段24により抽出されたＤＣＴブロックに対してＤＣＴ処理を施すＤＣＴ手段25と、ＤＣＴ処理で得られたＤＣＴ係数がマクロブロック単位に纏まるまで格納するマクロブロック格納手段26と、マクロブロック単位のＤＣＴ係数がフレーム単位に纏まるまで格納するフレームバッファ27とを具備している。
【００４８】
この装置では、映像復号部11の可変長復号手段12が、ＤＶ方式で圧縮されている映像信号を可変長復号し、また、フラグ抽出手段14が、可変長復号されたマクロブロックに含まれている各ブロックの動きフラグを抽出して、その動きフラグ情報を逆直交変換手段13と映像符号化部15とに出力する。
【００４９】
逆直交変換手段13は、可変長復号された後、逆量子化されたマクロブロックのデータに対して逆ＤＣＴ処理を施し、映像信号を復号化する。そして、動きフラグ情報から、マクロブロックに含まれる各ブロックのデータがフレームモードのデータであるか、フィールドモードのデータであるかを判別し、フレーム単位の非圧縮映像信号を構成し直して、映像符号化部15に出力する。
【００５０】
動きフラグ情報が入力した映像符号化部15の処理モード決定手段16は、マクロブロックに含まれる４つの輝度信号ブロック及び２つの色差信号（ＣＲ，ＣＢ）ブロックの中で、例えば、１つ以上の輝度信号ブロックの動きフラグが「動き大」を表す「１」である場合に、そのマクロブロックの処理モードをフィールドモードと決定し、それ以外の場合に、そのマクロブロックの処理モードをフレームモードと決定する。
【００５１】
直交変換手段17のマクロブロック抽出手段21は、映像復号部11より入力する１フレーム分の非圧縮映像信号からマクロブロックを抽出する。変換モード制御手段22は、処理モード決定手段16で決定された処理モードがフレームモードである場合には、フレームモードＤＣＴブロック抽出手段23に対して、マクロブロック抽出手段21で抽出されたマクロブロックからＤＣＴブロックを抽出するように指令する。
【００５２】
この指令を受けたフレームモードＤＣＴブロック抽出手段23は、図３（ａ）に示すように、マクロブロックをフレーム構造のブロック単位に分割し、その各フレームモードＤＣＴブロックをＤＣＴ手段25に順次出力する。
【００５３】
また、変換モード制御手段22は、処理モード決定手段16で決定された処理モードがフィールドモードである場合には、フィールドモードＤＣＴブロック抽出手段24に対して、マクロブロック抽出手段21で抽出されたマクロブロックからＤＣＴブロックを抽出するように指令する。
【００５４】
この指令を受けたフィールドモードＤＣＴブロック抽出手段24は、図３（ｂ）に示すように、マクロブロックの左右の各半分から奇数ライン、偶数ラインのデータを寄せ集めて、フィールド構造のフィールドモードＤＣＴブロックを生成し、ＤＣＴ手段25に順次出力する。
【００５５】
ＤＣＴ手段25は、フレームモードＤＣＴブロック抽出手段23及びフィールドモードＤＣＴブロック抽出手段24から出力された各ＤＣＴブロックのデータに対して、全く同じようにＤＣＴ処理を施す。ＤＣＴ処理で得られたＤＣＴ係数は、マクロブロック格納手段26でマクロブロック単位に集められ、フレームバッファ27でフレーム単位に集められた後、可変長符号化手段19に出力される。
【００５６】
また、動き予測手段18は、よく知られているように、直交変換手段17から出力されたＤＣＴ係数に逆ＤＣＴ処理を施して参照画像を復元し、入力したマクロブロックのデータと参照画像とのマッチングを取ることによりマクロブロックの動きベクトルを検出する。そして、このマクロブロックと動き補償された参照画像のマクロブロックとの差分画像を演算して直交変換手段17に出力する。差分画像のデータは直交変換手段17のＤＣＴ手段25でＤＣＴ処理され、ＤＣＴ係数に変換される。
【００５７】
直交変換手段17から出力されたＤＣＴ係数は、量子化された後、可変長符号化手段19で可変長符号化され、各マクロブロックの処理モードを表す処理モード情報や動きベクトルなどと併せて、ＭＰＥＧ２で符号化された圧縮映像信号として出力される。
【００５８】
このように、この実施形態の装置では、ＤＶデータに含まれる動きフラグの状態に基づいて、ＭＰＥＧ２エンコードのＤＣＴ処理を、マクロブロック単位でフレームモードまたはフィールドモードに切替えており、ＭＰＥＧ画像の高画質化を可能にするマクロブロック単位での適応的なモード選択を、演算量を増やすことなく、実施することができる。
【００５９】
なお、処理モード決定手段16では、ＤＶデータの動きフラグ情報から、上述した基準以外の基準に基づいて処理モードを決定することもできる。ＤＶデータのマクロブロックには、４つの輝度信号ブロックと２つの色差信号（ＣＲ，ＣＢ）ブロックとが含まれており、映像復号部11から与えられる動きフラグ情報には、１つのマクロブロック当たり、これら６つのブロックの動きフラグの情報が含まれている。処理モード決定手段16は、この６つのブロックの動きフラグから、ＭＰＥＧ２符号化のモード選択の単位であるマクロブロックの処理モードを決定することになる。
【００６０】
輝度信号ブロックや色差信号ブロックの動きフラグは、そのブロックでの輝度信号や色差信号の時間変化の大小を表しているが、これは、多くの場合、画像の動きの有無に関係している。この内、輝度信号ブロックの各々がカバーする領域は、１つの色差信号ブロックがカバーしている領域の１／４であるから、輝度信号ブロックの動きフラグは、色差信号ブロックの動きフラグに比べて、緻密な情報を提供してくれる。従って、マクロブロックの処理モードの決定に当たっては、先ず、輝度信号ブロックの動きフラグに着目する。
【００６１】
上述した基準では、輝度信号ブロックの１つ以上の動きフラグが「１」である場合に、マクロブロックの処理モードをフィールドモードと決定し、それ以外の場合に、マクロブロックの処理モードをフレームモードと決定している。しかし、フィールドモードで処理するマクロブロックの数はできるだけ少ない方が圧縮符号化の処理効率が向上する（但し、反対に画質は低下する）から、輝度信号ブロックの２つ以上の動きフラグが「１」である場合に、マクロブロックの処理モードをフィールドモードとし、それ以外はフレームモードとしたり、さらに条件を絞って、４つの輝度信号ブロックの動きフラグのすべてが「１」である場合にだけ、マクロブロックの処理モードをフィールドモードとし、輝度信号ブロックの動きフラグが１つでも「０」の場合は、マクロブロックの処理モードをフレームモードとする基準を採用することもできる。
【００６２】
また、フラッシュを浴びた被写体の画像のように、被写体が動いていなくても、輝度信号の時間変化が大きく現れる場合がある。こうしたときでも色差信号は変化しないから、色差信号ブロックの動きフラグに着目して、色差信号ブロックの１つ以上の動きフラグが「１」でなければ、マクロブロックの処理モードとしてフィールドモードを選択しない、と決めることにより、輝度の変化だけで画像の動きを判定する場合の誤りを補正することができる。
【００６３】
従って、フィールドモードのマクロブロックをできるだけ減らして、処理効率の向上を目指す場合には、これらの基準を組み合わせて、４つの輝度信号ブロックの動きフラグのすべてが「１」で、且つ、色差信号ブロックの動きフラグの１つ以上が「１」のときだけ、マクロブロックの処理モードをフィールドモードとし、それ以外の場合は、すべてフレームモードとすることが適当である。
【００６４】
（第２の実施形態）
第２の実施形態の映像信号変換装置は、ＤＶデータの動きフラグを利用して、圧縮符号化における動き予測をマクロブロック単位でフレームモードまたはフィールドモードに切替える。
【００６５】
この装置では、図４に示すように、映像符号化部15の処理モード決定手段16で決定された処理モードが動き予測手段18に入力し、動き予測手段18は、この処理モードに基づいてマクロブロックの動き予測を行ない、動きベクトルや、参照画像との差分情報を出力する。
【００６６】
この動き予測手段18は、図５に示すように、対象画像からフレーム構造またはフィールド構造のマクロブロックを抽出するとともに、１フレーム前の画像が格納された映像バッファからフレーム構造またはフィールド構造の参照画像を抽出するマクロブロック抽出手段41と、処理モード決定手段16で決定された処理モードに基づいてマクロブロック抽出手段41における抽出動作を制御する予測モード制御手段42と、対象画像のマクロブロックの動きベクトルを検出する動き探索手段43と、対象画像のマクロブロックと動き補償された参照画像のマクロブロックとの差分情報を生成する差分画像生成手段44と、差分情報と動きベクトルとから次の参照画像となる対象画像を復元する画像復元手段45とを具備している。
【００６７】
なお、この装置の直交変換手段17は、入力する映像信号に対してＤＣＴ処理を行なう通常の直交変換手段であり、図２の構成から変換モード制御手段22及びフィールドモードＤＣＴブロック抽出手段24を除いたものに相当している。
【００６８】
この装置では、処理モード決定手段16で決定された処理モードがフレームモードである場合に、予測モード制御手段42が、マクロブロック抽出手段41に対して、フレーム予測用のブロックタイプを抽出するように指令する。この指令を受けたマクロブロック抽出手段41は、図６（ａ）に示すように、入力する対象画像からフレーム構造のマクロブロックを抽出し、また、映像バッファに格納された１フレーム前の画像からフレーム構造の参照画像を抽出する。
【００６９】
動き探索手段43は、参照画像上に探索領域を定め、探索領域の画像データと対象画像のマクロブロックの画像データとのマッチングを取りながら、それらの差分が最も小さい参照画像上のマクロブロックを探索し、対象画像のマクロブロックの動きベクトルを検出する。
【００７０】
差分画像生成手段44は、対象画像のマクロブロックと、動きベクトルが指し示す参照画像のマクロブロックとの差分を演算する。この差分データは、直交変換手段17のＤＣＴ手段25でＤＣＴ係数に変換された後、量子化され、さらに可変長符号化手段19で可変長符号化され、処理モード情報や動きベクトルなどと共にマクロブロック単位に纏められて、圧縮映像信号として出力される。
【００７１】
画像復元手段45は、差分データのＤＣＴ係数や動きベクトルから対象画像のフレーム画像を復元し、映像バッファに格納する。この画像は、次の参照画像として用いられる。
【００７２】
また、予測モード制御手段42は、処理モード決定手段16で決定された処理モードがフィールドモードである場合には、マクロブロック抽出手段41に対して、フィールド予測用のブロックタイプを抽出するように指令する。この指令を受けたマクロブロック抽出手段41は、図６（ｂ）に示すように、対象画像のマクロブロックから奇数ラインだけを抽出したフィールド構造の第１の半マクロブロックと、偶数ラインだけを抽出したフィールド構造の第２の半マクロブロックとを生成し、また、参照画像の奇数ラインだけを抽出した第１のフィールド構造の参照画像（第１のフィールド画像）と偶数ラインだけを抽出した第２のフィールド構造の参照画像（第２のフィールド画像）とを生成する。
【００７３】
動き探索手段43は、第１のフィールド画像上に定めた探索領域と対象画像の第１の半マクロブロックとのマッチングを取り、それらの画像データの差分が最も小さい第１のフィールド画像上の位置を探索して、第１の半マクロブロックの動きベクトルを求め、次いで、対象画像の第２の半マクロブロックと参照画像の第２のフィールド画像との間で同様の処理を行ない、第２の半マクロブロックの動きベクトルを求める。こうして、フィールド予測モードの場合には、対象画像の１つのマクロブロック当たり、２本の動きベクトルが検出される。
【００７４】
差分画像生成手段44は、対象画像の第１の半マクロブロックと、動きベクトルが指し示す第１のフィールド画像上の半マクロブロックとの差分を演算し、次いで、対象画像の第２の半マクロブロックと、動きベクトルが指し示す第２のフィールド画像上の半マクロブロックとの差分を演算する。
【００７５】
これらの差分データは、順次、直交変換手段17のＤＣＴ手段25でＤＣＴ係数に変換された後、量子化され、さらに可変長符号化手段19で可変長符号化され、処理モード情報や動きベクトルなどと共にマクロブロック単位に纏められて、圧縮映像信号として出力される。
【００７６】
画像復元手段45は、各差分データのＤＣＴ係数や２本の動きベクトルから対象画像のフレーム画像を復元し、映像バッファに格納する。この画像は、次の参照画像として用いられる。
【００７７】
このように、この実施形態の装置では、ＤＶデータに含まれる動きフラグの状態に基づいて、ＭＰＥＧ２エンコードの動き予測処理をマクロブロック単位でフレームモードまたはフィールドモードに切替えており、ＭＰＥＧ画像の高画質化を可能にするマクロブロック単位での適応的なモード選択を、演算量を増やすことなく、実施することができる。
【００７８】
（第３の実施形態）
第３の実施形態の映像信号変換装置は、ＤＶデータの動きフラグを利用して、圧縮符号化におけるフレームモードまたはフィールドモードの選択をピクチャ単位で切替える。
【００７９】
この装置の映像符号化部15は、図７に示すように、映像復号部11より送られて来る非圧縮映像信号からフレーム構造のピクチャまたはフィールド構造のピクチャを生成するピクチャ生成手段51と、映像復号部11より送られて来る動きフラグ情報に基づいて圧縮符号化の処理モードを決定し、ピクチャ生成手段51におけるピクチャの生成を制御する処理モード決定手段52と、直交変換手段53、動き予測手段54及び可変長符号化手段55とを備えている。
【００８０】
この装置の直交変換手段53は、入力する映像信号に対してＤＣＴ処理を行なう通常の直交変換手段であり、図２の構成から変換モード制御手段22及びフィールドモードＤＣＴブロック抽出手段24を除いたものに相当している。また、動き予測手段54は、対象画像のマクロブロックの動き予測を行ない、動きベクトルや参照画像との差分情報を出力する通常の動き予測手段であり、図３の構成から予測モード制御手段42を除いたものに相当している。
【００８１】
この装置の処理モード決定手段52は、映像復号部11より送られて来る１フレームごとの動きフラグ情報から、「動き大」を表す「１」の動きフラグ数をカウントする。そして、その数が予め設定した所定値以下の場合は、圧縮符号化の処理モードをフレームモードと決定し、フィールド構造のピクチャの生成をピクチャ生成手段51に指令する。また、「１」の動きフラグ数が所定値を超えた場合は、圧縮符号化の処理モードをフィールドモードと決定し、ピクチャ生成手段51にフィールド構造のピクチャの生成を指令する。
【００８２】
ピクチャ生成手段51は、フレームモードが指令された場合には、図８（ａ）に示すように、映像復号部11より送られて来る非圧縮映像信号をフレーム画像のまま出力し、また、フィールドモードが指令された場合には、図８（ｂ）に示すように、フレーム画像の奇数ラインを寄せ集めた第１のフィールド画像と、偶数ラインを寄せ集めた第２のフィールド画像とを順次出力する。
【００８３】
直交変換手段53及び動き予測手段54は、ピクチャ生成手段51から出力されたそれぞれの画像に対して、通常のＤＣＴ処理あるいは動き予測処理を行なう。従って、ピクチャ生成手段51からフレーム画像が出力されたときは、フレームモードでの圧縮符号化が行なわれ、その符号化データとフレームモードを表す処理モード情報とが出力される。また、ピクチャ生成手段51からフィールド画像が出力されたときは、フィールドモードでの圧縮符号化が行なわれ、その符号化データとフィールドモードを表す処理モード情報とが出力される。
【００８４】
このように、この実施形態の装置では、ＤＶデータに含まれる動きフラグの情報に基づいて、ＭＰＥＧ２エンコードの方法をピクチャ単位でフレームモードまたはフィールドモードに切替えており、ピクチャ単位での適応的なモード選択を、演算量を増やすことなく行なうことができる。
【００８５】
（第４の実施形態）
第４の実施形態の映像信号変換装置は、ＤＶデータの動きフラグ情報を利用して、動き探索の探索範囲を切替える。
【００８６】
この装置の動き予測手段18は、図９に示すように、対象画像からマクロブロックを抽出し、また、映像バッファから参照画像を抽出するマクロブロック抽出手段41と、動きフラグ情報に基づいて動き探索の探索範囲を制御する探索範囲制御手段61と、探索範囲制御手段61により範囲が指定された参照画像の探索領域に対して動き探索を行ない、対象画像のマクロブロックの動きベクトルを検出する動き探索手段43と、対象画像のマクロブロックと動き補償された参照画像のマクロブロックとの差分情報を生成する差分画像生成手段44と、差分情報と動きベクトルとから次の参照画像となる対象画像を復元する画像復元手段45とを具備している。
【００８７】
この装置では、動き予測を行なう場合の動き探索の範囲が探索範囲制御手段61により制御される。探索範囲制御手段61は、映像復号部11から送られてくる動きフラグ情報を参照し、マクロブロック抽出手段41で抽出された対象画像のマクロブロックに対応する動きフラグ情報の中に「動き大」を表す「１」の動きフラグが含まれている場合は、動き探索手段43に対して、参照画像の広い探索領域を探索するように指令し、また、対象画像のマクロブロックに対応する動きフラグ情報の中に「１」の動きフラグが含まれていない場合は、動き探索手段43に対して、参照画像の狭い探索領域を探索するように指令する。
【００８８】
これを受けた動き探索手段43は、広い探索領域の探索が指令された場合には、図１０（ａ）に示すように、対象画像のマクロブロック位置71を中心とする参照画像の１０２４×１０２４の画素範囲（但し、この値は補間画素を含めた０．５ピクセルを単位とする画素数）を探索範囲72として、対象画像のマクロブロックの動き探索を行ない、動きベクトルを検出する。この探索範囲は、通常の動き予測における探索範囲と同じである。
【００８９】
また、動き探索手段43は、狭い探索領域の探索が指令された場合には、図１０（ｂ）に示すように、対象画像のマクロブロック位置71を中心とする参照画像の１０２４×２５６の画素範囲を探索範囲72として、対象画像のマクロブロックの動き探索を行ない、動きベクトルを検出する。また、このとき、図１０（ｃ）に示すように、対象画像のマクロブロック位置71を中心とする参照画像の２５６×２５６の画素範囲を探索範囲72として、対象画像のマクロブロックの動き探索を行なうこととしてもよい。
【００９０】
従って、動きフラグ情報から、対象画像のマクロブロックの動きが小さいと判断される場合には、探索範囲は、図１０（ｂ）の場合では１／４に狭まり、また、図１０（ｃ）の場合では１／１６に狭まり、その分、動き探索に要する演算量が減少する。また、このときの対象画像のマクロブロックの動きは小さいから、この狭い探索範囲の中で動きベクトルを見つけることが可能であり、動き予測の精度の低下を招来する惧れはほとんど無い。
【００９１】
なお、図１０（ｂ）において、探索範囲を縦方向にだけ狭めているのは、動きフラグが、直接的には、画面の縦方向に交互に並ぶ奇数ラインと偶数ラインとの変化（動き）の大小を表しているからであり、動きフラグから画像の動きが小さいと判断されるとき、画像の横方向の動きよりも、画像の縦方向の動きが小さいことが確実だからである。従って、図１０（ｂ）と図１０（ｃ）との探索範囲を比べた場合には、図１０（ｂ）の探索範囲を採用した方が高画質を得ることができる。
【００９２】
このように、この装置では、ＤＶデータの動きフラグに基づいて対象画像のマクロブロックにおける動きの大小を予想し、動きが大きいと予想される場合には、広い探索範囲、つまり、通常の探索範囲を設定し、動きが小さいと予想される場合には、狭い探索範囲を設定している。そのため、動き探索の精度を落とすことなく、動き探索での演算量を削減することができる。
【００９３】
この装置は、ＤＶデータをＭＰＥＧ２データに変換する装置に適用できるだけで無く、ＤＶデータをＭＰＥＧ１データに変換する装置にも適用することができ、また、第２の実施形態の装置と組み合わせることも可能である。
【００９４】
（第５の実施形態）
第５の実施形態の映像信号変換装置は、ＤＶデータの動きフラグ情報を利用して、ＭＰＥＧ符号化するマクロブロックに対して動き予測を適用するかどうかを判定する。
【００９５】
この装置は、図１１に示すように、非圧縮映像信号をＭＰＥＧ方式で圧縮符号化する映像符号化部15が、非圧縮映像信号にＤＣＴ処理を施す直交変換手段53と、非圧縮映像信号のマクロブロックの動き予測を行ない、動きベクトルや、参照画像との差分情報を出力する動き予測手段54と、量子化されたＤＣＴ係数を可変長符号化する可変長符号化手段55と、動きフラグ情報を基に、符号化するマクロブロックに対して動き予測を適用するかどうかを決定する処理モード選択手段81とを具備している。
【００９６】
この装置の処理モード決定手段81は、映像復号部11から送られてくる動きフラグ情報に基づいて、符号化する各マクロブロックに対して、動き予測を伴わないイントラ（フレーム内）モード、または動き予測を伴うインタ（フレーム間）モードのいずれを適用するかを決定し、動き予測手段54と可変長符号化手段55とに伝える。このとき、処理モード決定手段81は、動きフラグ情報から見て、動きが大きいと判断されるマクロブロックにはイントラモードを適用し、動きが小さいと判断されるマクロブロックにはインタモードを適用する決定を行なう。
【００９７】
この決定を受けて、動き予測手段54は、インタモードが適用されるマクロブロックに対してのみ動き予測を行ない、動きベクトルと差分情報とを出力する。
【００９８】
また、可変長符号化手段55は、イントラモードで処理されたマクロブロックにはイントラモード用の可変長符号化を行ない、インタモードで処理されたマクロブロックにはインタモード用の可変長符号化を行なう。
【００９９】
このように、この装置では、符号化するマクロブロックに対して、ＤＶデータの動きフラグ情報を基に、イントラモードまたはインタモードを適応的に適用しており、このモード選択のための特別の演算を必要としない。また、このとき、インタモードを、符号化するマクロブロックの動きが小さい場合に限って適用しているため、動き予測における動き探索の範囲を狭く限定することができ、圧縮符号化に伴う演算量を大幅に削減することができる。
【０１００】
この装置は、ＤＶデータをＭＰＥＧ１やＭＰＥＧ２データに変換する装置に適用することができる。
【０１０１】
【発明の効果】
以上の説明から明らかなように、本発明の映像信号変換装置は、ＤＶデータの動きフラグ情報をＭＰＥＧ符号化に利用することにより、高画質をもたらすＭＰＥＧデータへの変換を、演算量の増加を伴わずに、実現することができる。
【０１０２】
また、本発明の映像信号変換方法は、ＤＶフォーマットからＭＰＥＧフォーマットに変換する場合に、少ない演算量で、高画質をもたらすＭＰＥＧデータを生成することができる。
【図面の簡単な説明】
【図１】第１の実施形態の映像信号変換装置の構成を示すブロック図、
【図２】第１の実施形態の映像信号変換装置における直交変換手段の構成を示すブロック図、
【図３】フレームＤＣＴ及びフィールドＤＣＴの説明図、
【図４】第２の実施形態の映像信号変換装置の構成を示すブロック図、
【図５】第２の実施形態の映像信号変換装置における動き予測手段の構成を示すブロック図、
【図６】フレーム構造及びフィールド構造の対象画像並びに参照画像の説明図、
【図７】第３の実施形態の映像信号変換装置における映像符号化部の構成を示すブロック図、
【図８】フレーム構造及びフィールド構造のピクチャの説明図、
【図９】第４の実施形態の映像信号変換装置における動き予測手段の構成を示すブロック図、
【図１０】参照画像の探索域の説明図、
【図１１】第５の実施形態の映像信号変換装置における映像符号化部の構成を示すブロック図、
【図１２】ＤＶフォーマットの説明図、
【図１３】ＭＰＥＧフォーマットの説明図である。
【符号の説明】
11 映像復号部
12 可変長復号手段
13 逆直交変換手段
14 動きフラグ抽出手段
15 映像符号化部
16 処理モード決定手段
17 直交変換手段
18 動き予測手段
19 可変長符号化手段
21 マクロブロック抽出手段
22 変換モード制御手段
23 フレームモードＤＣＴブロック抽出手段
24 フィールドモードＤＣＴブロック抽出手段
25 ＤＣＴ手段
26 マクロブロック格納手段
27 フレームバッファ
41 マクロブロック抽出手段
42 予測モード制御手段
43 動き探索手段
44 差分画像生成手段
45 画像復元手段
51 ピクチャ生成手段
52 処理モード決定手段
53 直交変換手段
54 動き予測手段
55 可変長符号化手段
61 探索範囲制御手段
71 マクロブロック
72 探索範囲
81 処理モード決定手段
【発明の属する技術分野】
本発明は、圧縮されているデジタル映像信号を異なる圧縮フォーマットのデジタル映像信号に変換する映像信号変換装置とその映像信号変換方法に関し、特に、変換前の映像信号の動きフラグを利用して、変換後の映像信号の符号化を効率化するものである。
【０００２】
【従来の技術】
近年、マルチメディアの時代を迎えて、テレビやパソコン端末で見たい動画を見たいときに見ることができるビデオ・オン・デマンドシステムを目指す研究開発が、多方面で盛んに行なわれている。
【０００３】
本発明者等を含むグループでは、このビデオ・オン・デマンドシステムの一つとして、デジタルビデオカメラから取り込んだ動画を編集し、映像信号の圧縮フォーマットを変換して、パソコン端末などに配信するシステムを開発し、実用化している。
【０００４】
デジタルビデオカメラでは、デジタルビデオ機器向けの規格であるＤＶ方式で圧縮された映像信号が記録される。このＤＶ方式は、１９９６年に制定されたビデオカセットレコーダ向けの規格である、「Specifications of Consumer-Use Digital VCRs (HD Digital VCR Conference, 1996)」に準拠した規格であり、ＤＣＴ（離散コサイン変換）によるフレーム内の空間的な冗長度の削減と、可変長符号化による符号量削減とを組み合わせて、画像圧縮が図られる。
【０００５】
ＤＶ方式の映像データは、図１２（ａ）に示すように、１マクロブロックが、横に並ぶ４つの輝度信号ブロック（ブロックは８×８の画素から成る）と、同じ位置に相当する２種類の色差信号（ＣＲ，ＣＢ）ブロックとから成り、４：１：１のカラーコンポーネント形式を有している。また、図１２（ｂ）に示すように、このマクロブロックが２７個集まってスーパーブロックを構成し、５×１０のスーパーブロックにより１フレームが構成される。
【０００６】
このＤＶ方式では、ＤＣＴによる圧縮処理を行なう場合に、各ブロックの単位でフィールドモードとフレームモードとを適応的に選択することができる。カメラからは、インターレース走査（飛び越し走査）により１／６０秒ごとにフィールド単位の動画像情報が出力され、画像の動きが少ない場合には、連続する２枚のフィールド画面から、１／３０秒ごとのフレーム画面が合成され、このフレーム画面に対してＤＣＴ処理が施される（フレームＤＣＴモード）。一方、画像の動きが大きい場合には、フィールド画面を対象としてＤＣＴ処理が施される（フィールドＤＣＴモード）。
【０００７】
画像の動きは、画面の一部だけで生じる場合があるため、このフレームＤＣＴモード及びフィールドＤＣＴモードは、ブロックの単位で適応的に選択することができる。そして、１マクロブロック分の情報の中には、そこに含まれる６個のブロックの各々に対するＤＣＴ処理が、フレームモードまたはフィールドモードのいずれで行なわれたかを表す動きフラグ（１＝動き大＝フィールドモード、０＝動き小＝フレームモード）が挿入され、このＤＶ方式で圧縮された映像信号を復号する場合に、この動きフラグが参照される。
【０００８】
このＤＶ方式で圧縮された映像データは、パソコン端末などに配信するために、ＭＰＥＧ１またはＭＰＥＧ２方式の圧縮符号に変換される。こうした変換は、一般的には、ＤＶ方式の映像データを復号して非圧縮のフレーム画像の映像信号を生成する処理と、生成された非圧縮映像信号をＭＰＥＧ方式で圧縮符号化する処理とによって行なわれる。
【０００９】
ＭＰＥＧ１、ＭＰＥＧ２の圧縮方式は、コンピュータで利用する映像信号に多く用いられており、ＤＣＴ（離散コサイン変換）によるフレーム内の空間的な冗長度の削減と、可変長符号化による符号量削減と、さらに、動き補償によるフレーム間の時間的な冗長度の削減とを組み合わせて、画像データが圧縮される。そのため、フレーム当たりの符号量は、ＤＶ方式で圧縮された映像データの１／６程度に減少し、ネットワークを通じて映像信号を伝送することが容易になる。
【００１０】
ＭＰＥＧ１については「ISO/IEC 11172-2 "Information technology - Coding of moving pictures and associated audio for digital strage media at up to about 1,5Mbit/s - Part 2: Video"」、ＭＰＥＧ２については「ISO/IEC 13818-2 "Information technology - Generic coding of moving Pictures and associated audio information - Part 2: Video"」にその内容が詳しく説明されている。
【００１１】
ＭＰＥＧ方式の映像データは、図１３に示すように、１マクロブロックが、隣り合った上下４つの輝度信号ブロックと、同じ位置に相当する２種類の色差信号（ＣＲ、ＣＢ）ブロックとから成り、４：２：０のカラーコンポーネント形式を有している。また、このマクロブロックが走査順に並んでスライスを構成し、複数のスライスで１フレームが構成される。
【００１２】
ＭＰＥＧ１方式では、フィールドごとの符号化は行なわれず、すべてフレーム単位で処理される。従って、処理時間は短くて済むが、１／６０秒の撮影時間差を有する２枚のフィールド画面から合成された１フレーム画面を、そのままの形で圧縮符号化するため、画像の動きが早い場合には、再生したときの画像品質が低下する。
【００１３】
ＭＰＥＧ２方式では、この点が改められ、符号化に際して、フィールドモードとフレームモードとを適応的に選択することができる。この場合、非圧縮のフレーム画面からフィールド画面を抜き出して、このフィールド画面全体をフィールドモードで符号化したり、または、マクロブロックの単位でフィールドモードを適用したりすることができ、さらに、圧縮符号化におけるＤＣＴ処理だけ、あるいは動き予測の処理だけをフィールドモードの対象とすることもできる。
【００１４】
しかし、フィールドモードによる処理は、フレームモードに比べて、演算量が増え、処理時間が掛かる。そのため、ＭＰＥＧ２では、動きが激しい画像部分にだけフィールドモードを適用して、演算量の増大を最小限に抑えながら画像品質の向上を図ることが重要になる。
【００１５】
このフィールドモードを適用する領域を選択するため、従来は、例えば特開平８−４６９７１に記載されているように、非圧縮の１枚のフレーム画面から２枚のフィールド画面を区分し、１枚目のフィールド画面と２枚目のフィールド画面との間で、各マクロブロックを対象として動き予測を行なっている。そして、各マクロブロックにおける動きベクトルを検出し、この動きベクトルの大小によって、各マクロブロックに対しフィールドモードまたはフレームモードのいずれを適用するかを判定している。
【００１６】
また、特開平７−３２２２６８に記載されているように、このモード判定のために検出されたフィールド間の動きベクトルを利用して、フレーム間の動きベクトルを算出することにより、処理効率の向上を図ることも行なわれている。
【００１７】
【発明が解決しようとする課題】
しかし、いずれにしても、これらのモード選択方法は、フィールドモードまたはフレームモードの適用を決めるために、フィールド画面の全面に渡って動き予測を行なうことが必要であり、そのために演算量が増大し、処理に時間が掛かるという問題点を有している。また、これらの処理をハードウエアで実施する場合には、回路規模の拡大が避けられない。
【００１８】
本発明は、こうした問題点を解決するものであり、ＤＶ方式で圧縮符号化されたデジタル映像信号をＭＰＥＧ方式で圧縮符号化されたデジタル映像信号に変換する場合に、ＤＶ方式の動きフラグを利用して、ＭＰＥＧ方式での圧縮符号化を効率化した映像信号変換装置を提供し、また、その映像信号変換方法を提供することを目的としている。
【００１９】
【課題を解決するための手段】
そこで、本発明では、ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換装置において、符号化に際して、ＤＶデータに含まれる動きフラグの情報を利用して、マクロブロック単位もしくはピクチャ単位でのＤＣＴ処理モードまたは動き予測モードの適応的な切替え、マクロブロックに対する動き探索範囲の切替え、あるいはマクロブロックに対するイントラモード／インタモードの適用の切替えを行なう処理モード選択手段を設けている。
【００２０】
また、本発明では、ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換方法において、ＤＶデータに含まれる動きフラグの情報に基づいて、マクロブロック単位もしくはピクチャ単位でＤＣＴ処理モードまたは動き予測モードを適応的に切替えたり、マクロブロックに対する動き探索範囲や、マクロブロックに対するイントラモード／インタモードの適用を適応的に切替えている。
【００２１】
そのため、演算量を増やすことなく、高画質のＭＰＥＧデータへの変換を行なうことができる。
【００２２】
【発明の実施の形態】
本発明の請求項１に記載の発明は、ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換装置において、ＤＶデータに含まれる、使用されているＤＣＴのモードを示す動きフラグの情報に基づいてＭＰＥＧフォーマットの符号化方法を選択する処理モード選択手段を設けたものであり、ＤＶデータの動きフラグ情報をＭＰＥＧ符号化に利用することにより、ＭＰＥＧデータへの変換を効率化することができる。また、処理モード選択手段が、動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対する動き予測としてフィールド予測を選択し、動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対する動き予測としてフレーム予測を選択するようにしたことにより、演算量を増やすことなく、マクロブロックに対する動き予測をフレームモードまたはフィールドモードに適応的に切替えることができる。
【００２６】
請求項２に記載の発明は、処理モード選択手段として、復号化された映像信号からフレーム構造またはフィールド構造のマクロブロックを抽出し、参照画像からフレーム構造またはフィールド構造の画像を抽出するマクロブロック抽出手段と、動きフラグの情報から識別したマクロブロックの動きが大であるとき、マクロブロック抽出手段に対して、フィールド構造のマクロブロックとフィールド構造の参照画像とを抽出するように制御し、動きフラグの情報から識別したマクロブロックの動きが大でないとき、マクロブロック抽出手段に対して、フレーム構造のマクロブロックとフレーム構造の参照画像とを抽出するように制御する予測モード制御手段とを設け、抽出された参照画像を対象として、抽出されたマクロブロックの動き探索を行なうようにしたものであり、動き予測の対象画像及び参照画像として、フレームモードの場合はフレーム構造の画像、フィールドモードの場合はフィールド構造の画像がそれぞれ抽出され、抽出された画像に対して共通する動き予測が行なわれる。
【００２７】
請求項３に記載の発明は、処理モード選択手段が、動きフラグの情報から識別したピクチャの動きが大であるとき、そのピクチャに対して、フィールドモードのＤＣＴ処理と動き予測におけるフィールド予測とを選択し、動きフラグの情報から識別したピクチャの動きが大でないとき、そのピクチャに対して、フレームモードのＤＣＴ処理と動き予測におけるフレーム予測とを選択するようにしたものであり、演算量を増やすことなく、ピクチャに対するフレームモードによる処理またはフィールドモードによる処理を適応的に切替えることができる。
【００２８】
請求項４に記載の発明は、処理モード選択手段として、復号化された映像信号からフレーム構造またはフィールド構造のピクチャを生成するピクチャ生成手段と、動きフラグの情報から識別したピクチャの動きが大であるとき、ピクチャ生成手段に対して、フィールド構造のピクチャを生成するように制御し、動きフラグの情報から識別したピクチャの動きが大でないとき、ピクチャ生成手段に対して、フレーム構造のピクチャを生成するように制御するピクチャ生成制御手段とを設け、ピクチャ生成手段で生成されたピクチャに対して、ＤＣＴ処理と動き予測とを行なうようにしたものであり、ピクチャの生成だけがフレームモードまたはフィールドモードで切替えられ、生成されたピクチャに対して共通するＤＣＴ処理及び動き予測が行なわれる。
【００２９】
請求項５に記載の発明は、処理モード選択手段が、動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対する動き予測の探索範囲として広い範囲を指定し、動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対する動き予測の探索範囲として狭い範囲を指定するようにしたものであり、動きフラグの情報を利用することにより、動き予測の精度を落とすことなく、動き予測に伴う演算量を削減することができる。
【００３０】
請求項６に記載の発明は、処理モード選択手段が、動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対してイントラモードを適用し、動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対してインタモードを適用するようにしたものであり、マクロブロックに対するイントラモードまたはインタモードの適応的な切替えを、動きフラグの情報を利用して実行しているため、演算量を減らすことができ、また、動きが小さいマクロブロックに絞ってインタモードを適用しているため、探索域を狭めることができ、演算量を削減することができる。
【００３１】
請求項７に記載の発明は、処理モード選択手段が、動きフラグの情報に含まれる輝度ブロックの動きフラグに着目してマクロブロックの動きの大小を識別するようにしたものであり、高い精度でマクロブロックの動きを識別することができる。
【００３２】
請求項８に記載の発明は、処理モード選択手段が、１マクロブロックに含まれる４個の輝度ブロックの内、所定数の輝度ブロックの動きフラグが動き大を表しているとき、マクロブロックの動きを大と識別するようにしたものであり、符号化の処理効率と画質との兼ね合いで、この数が決められる。
【００３３】
請求項９に記載の発明は、処理モード選択手段が、動きフラグの情報に含まれる色差ブロックの動きフラグに着目し、１マクロブロックに含まれる２個の色差ブロックの内、少なくとも１つの色差ブロックの動きフラグが動き大を表していなければ、マクロブロックの動きを大と識別しないようにしたものであり、被写体の輝度変化を被写体の動きと判断してしまう誤りを、色差ブロックの動きフラグを見ることにより、正すことができる。
【００３４】
請求項１０に記載の発明は、処理モード選択手段が、１マクロブロックに含まれる４個の輝度ブロックの内、所定数の輝度ブロックの動きフラグが動き大を表し、且つ、そのマクロブロックに含まれる２個の色差ブロックの内、少なくとも１つの色差ブロックの動きフラグが動き大を表しているとき、そのマクロブロックの動きを大と識別するようにしたものであり、動きフラグの情報から画像の動きを適切に判断することができる。
【００３７】
請求項１１に記載の発明は、ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換方法において、ＤＶデータに含まれるＤＣＴモードを示す動きフラグの情報に基づいてＭＰＥＧフォーマットでの符号化方法を変更するようにしたものであり、ＤＶデータの動きフラグ情報をＭＰＥＧ符号化に利用することにより、圧縮符号化を効率化することができる。また、動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対する動き予測としてフィールド予測を適用し、動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対する動き予測としてフレーム予測を適用するようにしたことにより、演算量を増やすことなく、マクロブロックに対する動き予測をフレームモードまたはフィールドモードに適応的に切替えることができる。
【００３８】
請求項１２に記載の発明は、動きフラグの情報から識別したピクチャの動きが大であるとき、そのピクチャに対して、フィールドモードのＤＣＴ処理と動き予測におけるフィールド予測とを適用し、動きフラグの情報から識別したピクチャの動きが大でないとき、そのピクチャに対して、フレームモードのＤＣＴ処理と動き予測におけるフレーム予測とを適用するようにしたものであり、演算量を増やすことなく、ピクチャ単位のフレームモード処理またはフィールドモード処理を適応的に切替えることができる。
【００３９】
請求項１３に記載の発明は、動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対する動き予測の探索範囲として広い範囲を設定し、動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対する動き予測の探索範囲として狭い範囲を設定するようにしたものであり、動き予測に伴う演算量を削減することができる。
【００４０】
請求項１４に記載の発明は、動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対してイントラモードを適用し、動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対してインタモードを適用するようにしたものであり、イントラモードまたはインタモードの適応的な切替えに動きフラグの情報を利用し、また、動きが小さいマクロブロックに絞ってインタモードを適用しているため、演算量の大幅削減を図ることができる。
【００４１】
請求項１５に記載の発明は、動きフラグの情報に含まれる輝度ブロックの動きフラグに着目し、１マクロブロックに含まれる４個の輝度ブロックの内、所定数の輝度ブロックの動きフラグが動き大を表しているとき、マクロブロックの動きを大と識別するようにしたものであり、画像の動きを的確に識別することができる。
【００４２】
請求項１６に記載の発明は、動きフラグの情報に含まれる色差ブロックの動きフラグに着目し、１マクロブロックに含まれる２個の色差ブロックの内、少なくとも１つの色差ブロックの動きフラグが動き大を表していなければ、マクロブロックの動きを大と識別しないようにしたものであり、被写体の輝度変化を被写体の動きと判断してしまう誤りを、色差ブロックの動きフラグを見ることにより、正すことができる。
【００４３】
請求項１７に記載の発明は、動きフラグの情報に含まれる輝度ブロック及び色差ブロックの動きフラグに着目し、１マクロブロックに含まれる４個の輝度ブロックの内、所定数の輝度ブロックの動きフラグが動き大を表し、且つ、そのマクロブロックに含まれる２個の色差ブロックの内、少なくとも１つの色差ブロックの動きフラグが動き大を表しているとき、このマクロブロックの動きを大と識別するようにしたものであり、動きフラグの情報から画像の動きを適切に判断することができる。
【００４４】
以下、本発明の実施の形態について、図面を用いて説明する。
【００４５】
（第１の実施形態）
第１の実施形態の映像信号変換装置は、ＤＶデータの動きフラグを利用して、圧縮符号化におけるＤＣＴ処理をマクロブロック単位でフレームモードまたはフィールドモードに切替える。
【００４６】
この装置は、図１に示すように、ＤＶ方式で圧縮された映像信号を復号して非圧縮映像信号を出力する映像復号部11と、非圧縮映像信号をＭＰＥＧ２方式で圧縮符号化する映像符号化部15とで構成され、映像復号部11は、圧縮映像信号を可変長復号する可変長復号手段12と、各マクロブロックの情報から、そのマクロブロックに含まれる各ブロックの動きフラグを抽出して出力する動きフラグ抽出手段14と、可変長復号された後、逆量子化されたデータに逆ＤＣＴ処理を施して非圧縮映像信号を生成する逆直交変換手段13とを備え、また、映像符号化部15は、映像復号部11から送られて来る各ブロックの動きフラグに基づいてマクロブロックに対する処理モードを決定する処理モード決定手段16と、入力する映像信号に対して、決定された処理モードに基づいてＤＣＴ処理を施す直交変換手段17と、マクロブロックの動き予測を行ない、動きベクトルや、参照画像との差分情報を出力する動き予測手段18と、量子化されたＤＣＴ係数を可変長符号化する可変長符号化手段19とを備えている。
【００４７】
また、直交変換手段17は、図２に示すように、入力するフレーム単位の非圧縮映像信号からマクロブロックを抽出するマクロブロック抽出手段21と、マクロブロックからフレームモード用のＤＣＴブロックを抽出するフレームモードＤＣＴブロック抽出手段23と、マクロブロックからフィールドモード用のＤＣＴブロックを抽出するフィールドモードＤＣＴブロック抽出手段24と、処理モード決定手段16で決定された処理モード情報に基づいてフレームモードＤＣＴブロック抽出手段23またはフィールドモードＤＣＴブロック抽出手段24の一方に対してＤＣＴブロックの抽出動作を指令する変換モード制御手段22と、フレームモードＤＣＴブロック抽出手段23またはフィールドモードＤＣＴブロック抽出手段24により抽出されたＤＣＴブロックに対してＤＣＴ処理を施すＤＣＴ手段25と、ＤＣＴ処理で得られたＤＣＴ係数がマクロブロック単位に纏まるまで格納するマクロブロック格納手段26と、マクロブロック単位のＤＣＴ係数がフレーム単位に纏まるまで格納するフレームバッファ27とを具備している。
【００４８】
この装置では、映像復号部11の可変長復号手段12が、ＤＶ方式で圧縮されている映像信号を可変長復号し、また、フラグ抽出手段14が、可変長復号されたマクロブロックに含まれている各ブロックの動きフラグを抽出して、その動きフラグ情報を逆直交変換手段13と映像符号化部15とに出力する。
【００４９】
逆直交変換手段13は、可変長復号された後、逆量子化されたマクロブロックのデータに対して逆ＤＣＴ処理を施し、映像信号を復号化する。そして、動きフラグ情報から、マクロブロックに含まれる各ブロックのデータがフレームモードのデータであるか、フィールドモードのデータであるかを判別し、フレーム単位の非圧縮映像信号を構成し直して、映像符号化部15に出力する。
【００５０】
動きフラグ情報が入力した映像符号化部15の処理モード決定手段16は、マクロブロックに含まれる４つの輝度信号ブロック及び２つの色差信号（ＣＲ，ＣＢ）ブロックの中で、例えば、１つ以上の輝度信号ブロックの動きフラグが「動き大」を表す「１」である場合に、そのマクロブロックの処理モードをフィールドモードと決定し、それ以外の場合に、そのマクロブロックの処理モードをフレームモードと決定する。
【００５１】
直交変換手段17のマクロブロック抽出手段21は、映像復号部11より入力する１フレーム分の非圧縮映像信号からマクロブロックを抽出する。変換モード制御手段22は、処理モード決定手段16で決定された処理モードがフレームモードである場合には、フレームモードＤＣＴブロック抽出手段23に対して、マクロブロック抽出手段21で抽出されたマクロブロックからＤＣＴブロックを抽出するように指令する。
【００５２】
この指令を受けたフレームモードＤＣＴブロック抽出手段23は、図３（ａ）に示すように、マクロブロックをフレーム構造のブロック単位に分割し、その各フレームモードＤＣＴブロックをＤＣＴ手段25に順次出力する。
【００５３】
また、変換モード制御手段22は、処理モード決定手段16で決定された処理モードがフィールドモードである場合には、フィールドモードＤＣＴブロック抽出手段24に対して、マクロブロック抽出手段21で抽出されたマクロブロックからＤＣＴブロックを抽出するように指令する。
【００５４】
この指令を受けたフィールドモードＤＣＴブロック抽出手段24は、図３（ｂ）に示すように、マクロブロックの左右の各半分から奇数ライン、偶数ラインのデータを寄せ集めて、フィールド構造のフィールドモードＤＣＴブロックを生成し、ＤＣＴ手段25に順次出力する。
【００５５】
ＤＣＴ手段25は、フレームモードＤＣＴブロック抽出手段23及びフィールドモードＤＣＴブロック抽出手段24から出力された各ＤＣＴブロックのデータに対して、全く同じようにＤＣＴ処理を施す。ＤＣＴ処理で得られたＤＣＴ係数は、マクロブロック格納手段26でマクロブロック単位に集められ、フレームバッファ27でフレーム単位に集められた後、可変長符号化手段19に出力される。
【００５６】
また、動き予測手段18は、よく知られているように、直交変換手段17から出力されたＤＣＴ係数に逆ＤＣＴ処理を施して参照画像を復元し、入力したマクロブロックのデータと参照画像とのマッチングを取ることによりマクロブロックの動きベクトルを検出する。そして、このマクロブロックと動き補償された参照画像のマクロブロックとの差分画像を演算して直交変換手段17に出力する。差分画像のデータは直交変換手段17のＤＣＴ手段25でＤＣＴ処理され、ＤＣＴ係数に変換される。
【００５７】
直交変換手段17から出力されたＤＣＴ係数は、量子化された後、可変長符号化手段19で可変長符号化され、各マクロブロックの処理モードを表す処理モード情報や動きベクトルなどと併せて、ＭＰＥＧ２で符号化された圧縮映像信号として出力される。
【００５８】
このように、この実施形態の装置では、ＤＶデータに含まれる動きフラグの状態に基づいて、ＭＰＥＧ２エンコードのＤＣＴ処理を、マクロブロック単位でフレームモードまたはフィールドモードに切替えており、ＭＰＥＧ画像の高画質化を可能にするマクロブロック単位での適応的なモード選択を、演算量を増やすことなく、実施することができる。
【００５９】
なお、処理モード決定手段16では、ＤＶデータの動きフラグ情報から、上述した基準以外の基準に基づいて処理モードを決定することもできる。ＤＶデータのマクロブロックには、４つの輝度信号ブロックと２つの色差信号（ＣＲ，ＣＢ）ブロックとが含まれており、映像復号部11から与えられる動きフラグ情報には、１つのマクロブロック当たり、これら６つのブロックの動きフラグの情報が含まれている。処理モード決定手段16は、この６つのブロックの動きフラグから、ＭＰＥＧ２符号化のモード選択の単位であるマクロブロックの処理モードを決定することになる。
【００６０】
輝度信号ブロックや色差信号ブロックの動きフラグは、そのブロックでの輝度信号や色差信号の時間変化の大小を表しているが、これは、多くの場合、画像の動きの有無に関係している。この内、輝度信号ブロックの各々がカバーする領域は、１つの色差信号ブロックがカバーしている領域の１／４であるから、輝度信号ブロックの動きフラグは、色差信号ブロックの動きフラグに比べて、緻密な情報を提供してくれる。従って、マクロブロックの処理モードの決定に当たっては、先ず、輝度信号ブロックの動きフラグに着目する。
【００６１】
上述した基準では、輝度信号ブロックの１つ以上の動きフラグが「１」である場合に、マクロブロックの処理モードをフィールドモードと決定し、それ以外の場合に、マクロブロックの処理モードをフレームモードと決定している。しかし、フィールドモードで処理するマクロブロックの数はできるだけ少ない方が圧縮符号化の処理効率が向上する（但し、反対に画質は低下する）から、輝度信号ブロックの２つ以上の動きフラグが「１」である場合に、マクロブロックの処理モードをフィールドモードとし、それ以外はフレームモードとしたり、さらに条件を絞って、４つの輝度信号ブロックの動きフラグのすべてが「１」である場合にだけ、マクロブロックの処理モードをフィールドモードとし、輝度信号ブロックの動きフラグが１つでも「０」の場合は、マクロブロックの処理モードをフレームモードとする基準を採用することもできる。
【００６２】
また、フラッシュを浴びた被写体の画像のように、被写体が動いていなくても、輝度信号の時間変化が大きく現れる場合がある。こうしたときでも色差信号は変化しないから、色差信号ブロックの動きフラグに着目して、色差信号ブロックの１つ以上の動きフラグが「１」でなければ、マクロブロックの処理モードとしてフィールドモードを選択しない、と決めることにより、輝度の変化だけで画像の動きを判定する場合の誤りを補正することができる。
【００６３】
従って、フィールドモードのマクロブロックをできるだけ減らして、処理効率の向上を目指す場合には、これらの基準を組み合わせて、４つの輝度信号ブロックの動きフラグのすべてが「１」で、且つ、色差信号ブロックの動きフラグの１つ以上が「１」のときだけ、マクロブロックの処理モードをフィールドモードとし、それ以外の場合は、すべてフレームモードとすることが適当である。
【００６４】
（第２の実施形態）
第２の実施形態の映像信号変換装置は、ＤＶデータの動きフラグを利用して、圧縮符号化における動き予測をマクロブロック単位でフレームモードまたはフィールドモードに切替える。
【００６５】
この装置では、図４に示すように、映像符号化部15の処理モード決定手段16で決定された処理モードが動き予測手段18に入力し、動き予測手段18は、この処理モードに基づいてマクロブロックの動き予測を行ない、動きベクトルや、参照画像との差分情報を出力する。
【００６６】
この動き予測手段18は、図５に示すように、対象画像からフレーム構造またはフィールド構造のマクロブロックを抽出するとともに、１フレーム前の画像が格納された映像バッファからフレーム構造またはフィールド構造の参照画像を抽出するマクロブロック抽出手段41と、処理モード決定手段16で決定された処理モードに基づいてマクロブロック抽出手段41における抽出動作を制御する予測モード制御手段42と、対象画像のマクロブロックの動きベクトルを検出する動き探索手段43と、対象画像のマクロブロックと動き補償された参照画像のマクロブロックとの差分情報を生成する差分画像生成手段44と、差分情報と動きベクトルとから次の参照画像となる対象画像を復元する画像復元手段45とを具備している。
【００６７】
なお、この装置の直交変換手段17は、入力する映像信号に対してＤＣＴ処理を行なう通常の直交変換手段であり、図２の構成から変換モード制御手段22及びフィールドモードＤＣＴブロック抽出手段24を除いたものに相当している。
【００６８】
この装置では、処理モード決定手段16で決定された処理モードがフレームモードである場合に、予測モード制御手段42が、マクロブロック抽出手段41に対して、フレーム予測用のブロックタイプを抽出するように指令する。この指令を受けたマクロブロック抽出手段41は、図６（ａ）に示すように、入力する対象画像からフレーム構造のマクロブロックを抽出し、また、映像バッファに格納された１フレーム前の画像からフレーム構造の参照画像を抽出する。
【００６９】
動き探索手段43は、参照画像上に探索領域を定め、探索領域の画像データと対象画像のマクロブロックの画像データとのマッチングを取りながら、それらの差分が最も小さい参照画像上のマクロブロックを探索し、対象画像のマクロブロックの動きベクトルを検出する。
【００７０】
差分画像生成手段44は、対象画像のマクロブロックと、動きベクトルが指し示す参照画像のマクロブロックとの差分を演算する。この差分データは、直交変換手段17のＤＣＴ手段25でＤＣＴ係数に変換された後、量子化され、さらに可変長符号化手段19で可変長符号化され、処理モード情報や動きベクトルなどと共にマクロブロック単位に纏められて、圧縮映像信号として出力される。
【００７１】
画像復元手段45は、差分データのＤＣＴ係数や動きベクトルから対象画像のフレーム画像を復元し、映像バッファに格納する。この画像は、次の参照画像として用いられる。
【００７２】
また、予測モード制御手段42は、処理モード決定手段16で決定された処理モードがフィールドモードである場合には、マクロブロック抽出手段41に対して、フィールド予測用のブロックタイプを抽出するように指令する。この指令を受けたマクロブロック抽出手段41は、図６（ｂ）に示すように、対象画像のマクロブロックから奇数ラインだけを抽出したフィールド構造の第１の半マクロブロックと、偶数ラインだけを抽出したフィールド構造の第２の半マクロブロックとを生成し、また、参照画像の奇数ラインだけを抽出した第１のフィールド構造の参照画像（第１のフィールド画像）と偶数ラインだけを抽出した第２のフィールド構造の参照画像（第２のフィールド画像）とを生成する。
【００７３】
動き探索手段43は、第１のフィールド画像上に定めた探索領域と対象画像の第１の半マクロブロックとのマッチングを取り、それらの画像データの差分が最も小さい第１のフィールド画像上の位置を探索して、第１の半マクロブロックの動きベクトルを求め、次いで、対象画像の第２の半マクロブロックと参照画像の第２のフィールド画像との間で同様の処理を行ない、第２の半マクロブロックの動きベクトルを求める。こうして、フィールド予測モードの場合には、対象画像の１つのマクロブロック当たり、２本の動きベクトルが検出される。
【００７４】
差分画像生成手段44は、対象画像の第１の半マクロブロックと、動きベクトルが指し示す第１のフィールド画像上の半マクロブロックとの差分を演算し、次いで、対象画像の第２の半マクロブロックと、動きベクトルが指し示す第２のフィールド画像上の半マクロブロックとの差分を演算する。
【００７５】
これらの差分データは、順次、直交変換手段17のＤＣＴ手段25でＤＣＴ係数に変換された後、量子化され、さらに可変長符号化手段19で可変長符号化され、処理モード情報や動きベクトルなどと共にマクロブロック単位に纏められて、圧縮映像信号として出力される。
【００７６】
画像復元手段45は、各差分データのＤＣＴ係数や２本の動きベクトルから対象画像のフレーム画像を復元し、映像バッファに格納する。この画像は、次の参照画像として用いられる。
【００７７】
このように、この実施形態の装置では、ＤＶデータに含まれる動きフラグの状態に基づいて、ＭＰＥＧ２エンコードの動き予測処理をマクロブロック単位でフレームモードまたはフィールドモードに切替えており、ＭＰＥＧ画像の高画質化を可能にするマクロブロック単位での適応的なモード選択を、演算量を増やすことなく、実施することができる。
【００７８】
（第３の実施形態）
第３の実施形態の映像信号変換装置は、ＤＶデータの動きフラグを利用して、圧縮符号化におけるフレームモードまたはフィールドモードの選択をピクチャ単位で切替える。
【００７９】
この装置の映像符号化部15は、図７に示すように、映像復号部11より送られて来る非圧縮映像信号からフレーム構造のピクチャまたはフィールド構造のピクチャを生成するピクチャ生成手段51と、映像復号部11より送られて来る動きフラグ情報に基づいて圧縮符号化の処理モードを決定し、ピクチャ生成手段51におけるピクチャの生成を制御する処理モード決定手段52と、直交変換手段53、動き予測手段54及び可変長符号化手段55とを備えている。
【００８０】
この装置の直交変換手段53は、入力する映像信号に対してＤＣＴ処理を行なう通常の直交変換手段であり、図２の構成から変換モード制御手段22及びフィールドモードＤＣＴブロック抽出手段24を除いたものに相当している。また、動き予測手段54は、対象画像のマクロブロックの動き予測を行ない、動きベクトルや参照画像との差分情報を出力する通常の動き予測手段であり、図３の構成から予測モード制御手段42を除いたものに相当している。
【００８１】
この装置の処理モード決定手段52は、映像復号部11より送られて来る１フレームごとの動きフラグ情報から、「動き大」を表す「１」の動きフラグ数をカウントする。そして、その数が予め設定した所定値以下の場合は、圧縮符号化の処理モードをフレームモードと決定し、フィールド構造のピクチャの生成をピクチャ生成手段51に指令する。また、「１」の動きフラグ数が所定値を超えた場合は、圧縮符号化の処理モードをフィールドモードと決定し、ピクチャ生成手段51にフィールド構造のピクチャの生成を指令する。
【００８２】
ピクチャ生成手段51は、フレームモードが指令された場合には、図８（ａ）に示すように、映像復号部11より送られて来る非圧縮映像信号をフレーム画像のまま出力し、また、フィールドモードが指令された場合には、図８（ｂ）に示すように、フレーム画像の奇数ラインを寄せ集めた第１のフィールド画像と、偶数ラインを寄せ集めた第２のフィールド画像とを順次出力する。
【００８３】
直交変換手段53及び動き予測手段54は、ピクチャ生成手段51から出力されたそれぞれの画像に対して、通常のＤＣＴ処理あるいは動き予測処理を行なう。従って、ピクチャ生成手段51からフレーム画像が出力されたときは、フレームモードでの圧縮符号化が行なわれ、その符号化データとフレームモードを表す処理モード情報とが出力される。また、ピクチャ生成手段51からフィールド画像が出力されたときは、フィールドモードでの圧縮符号化が行なわれ、その符号化データとフィールドモードを表す処理モード情報とが出力される。
【００８４】
このように、この実施形態の装置では、ＤＶデータに含まれる動きフラグの情報に基づいて、ＭＰＥＧ２エンコードの方法をピクチャ単位でフレームモードまたはフィールドモードに切替えており、ピクチャ単位での適応的なモード選択を、演算量を増やすことなく行なうことができる。
【００８５】
（第４の実施形態）
第４の実施形態の映像信号変換装置は、ＤＶデータの動きフラグ情報を利用して、動き探索の探索範囲を切替える。
【００８６】
この装置の動き予測手段18は、図９に示すように、対象画像からマクロブロックを抽出し、また、映像バッファから参照画像を抽出するマクロブロック抽出手段41と、動きフラグ情報に基づいて動き探索の探索範囲を制御する探索範囲制御手段61と、探索範囲制御手段61により範囲が指定された参照画像の探索領域に対して動き探索を行ない、対象画像のマクロブロックの動きベクトルを検出する動き探索手段43と、対象画像のマクロブロックと動き補償された参照画像のマクロブロックとの差分情報を生成する差分画像生成手段44と、差分情報と動きベクトルとから次の参照画像となる対象画像を復元する画像復元手段45とを具備している。
【００８７】
この装置では、動き予測を行なう場合の動き探索の範囲が探索範囲制御手段61により制御される。探索範囲制御手段61は、映像復号部11から送られてくる動きフラグ情報を参照し、マクロブロック抽出手段41で抽出された対象画像のマクロブロックに対応する動きフラグ情報の中に「動き大」を表す「１」の動きフラグが含まれている場合は、動き探索手段43に対して、参照画像の広い探索領域を探索するように指令し、また、対象画像のマクロブロックに対応する動きフラグ情報の中に「１」の動きフラグが含まれていない場合は、動き探索手段43に対して、参照画像の狭い探索領域を探索するように指令する。
【００８８】
これを受けた動き探索手段43は、広い探索領域の探索が指令された場合には、図１０（ａ）に示すように、対象画像のマクロブロック位置71を中心とする参照画像の１０２４×１０２４の画素範囲（但し、この値は補間画素を含めた０．５ピクセルを単位とする画素数）を探索範囲72として、対象画像のマクロブロックの動き探索を行ない、動きベクトルを検出する。この探索範囲は、通常の動き予測における探索範囲と同じである。
【００８９】
また、動き探索手段43は、狭い探索領域の探索が指令された場合には、図１０（ｂ）に示すように、対象画像のマクロブロック位置71を中心とする参照画像の１０２４×２５６の画素範囲を探索範囲72として、対象画像のマクロブロックの動き探索を行ない、動きベクトルを検出する。また、このとき、図１０（ｃ）に示すように、対象画像のマクロブロック位置71を中心とする参照画像の２５６×２５６の画素範囲を探索範囲72として、対象画像のマクロブロックの動き探索を行なうこととしてもよい。
【００９０】
従って、動きフラグ情報から、対象画像のマクロブロックの動きが小さいと判断される場合には、探索範囲は、図１０（ｂ）の場合では１／４に狭まり、また、図１０（ｃ）の場合では１／１６に狭まり、その分、動き探索に要する演算量が減少する。また、このときの対象画像のマクロブロックの動きは小さいから、この狭い探索範囲の中で動きベクトルを見つけることが可能であり、動き予測の精度の低下を招来する惧れはほとんど無い。
【００９１】
なお、図１０（ｂ）において、探索範囲を縦方向にだけ狭めているのは、動きフラグが、直接的には、画面の縦方向に交互に並ぶ奇数ラインと偶数ラインとの変化（動き）の大小を表しているからであり、動きフラグから画像の動きが小さいと判断されるとき、画像の横方向の動きよりも、画像の縦方向の動きが小さいことが確実だからである。従って、図１０（ｂ）と図１０（ｃ）との探索範囲を比べた場合には、図１０（ｂ）の探索範囲を採用した方が高画質を得ることができる。
【００９２】
このように、この装置では、ＤＶデータの動きフラグに基づいて対象画像のマクロブロックにおける動きの大小を予想し、動きが大きいと予想される場合には、広い探索範囲、つまり、通常の探索範囲を設定し、動きが小さいと予想される場合には、狭い探索範囲を設定している。そのため、動き探索の精度を落とすことなく、動き探索での演算量を削減することができる。
【００９３】
この装置は、ＤＶデータをＭＰＥＧ２データに変換する装置に適用できるだけで無く、ＤＶデータをＭＰＥＧ１データに変換する装置にも適用することができ、また、第２の実施形態の装置と組み合わせることも可能である。
【００９４】
（第５の実施形態）
第５の実施形態の映像信号変換装置は、ＤＶデータの動きフラグ情報を利用して、ＭＰＥＧ符号化するマクロブロックに対して動き予測を適用するかどうかを判定する。
【００９５】
この装置は、図１１に示すように、非圧縮映像信号をＭＰＥＧ方式で圧縮符号化する映像符号化部15が、非圧縮映像信号にＤＣＴ処理を施す直交変換手段53と、非圧縮映像信号のマクロブロックの動き予測を行ない、動きベクトルや、参照画像との差分情報を出力する動き予測手段54と、量子化されたＤＣＴ係数を可変長符号化する可変長符号化手段55と、動きフラグ情報を基に、符号化するマクロブロックに対して動き予測を適用するかどうかを決定する処理モード選択手段81とを具備している。
【００９６】
この装置の処理モード決定手段81は、映像復号部11から送られてくる動きフラグ情報に基づいて、符号化する各マクロブロックに対して、動き予測を伴わないイントラ（フレーム内）モード、または動き予測を伴うインタ（フレーム間）モードのいずれを適用するかを決定し、動き予測手段54と可変長符号化手段55とに伝える。このとき、処理モード決定手段81は、動きフラグ情報から見て、動きが大きいと判断されるマクロブロックにはイントラモードを適用し、動きが小さいと判断されるマクロブロックにはインタモードを適用する決定を行なう。
【００９７】
この決定を受けて、動き予測手段54は、インタモードが適用されるマクロブロックに対してのみ動き予測を行ない、動きベクトルと差分情報とを出力する。
【００９８】
また、可変長符号化手段55は、イントラモードで処理されたマクロブロックにはイントラモード用の可変長符号化を行ない、インタモードで処理されたマクロブロックにはインタモード用の可変長符号化を行なう。
【００９９】
このように、この装置では、符号化するマクロブロックに対して、ＤＶデータの動きフラグ情報を基に、イントラモードまたはインタモードを適応的に適用しており、このモード選択のための特別の演算を必要としない。また、このとき、インタモードを、符号化するマクロブロックの動きが小さい場合に限って適用しているため、動き予測における動き探索の範囲を狭く限定することができ、圧縮符号化に伴う演算量を大幅に削減することができる。
【０１００】
この装置は、ＤＶデータをＭＰＥＧ１やＭＰＥＧ２データに変換する装置に適用することができる。
【０１０１】
【発明の効果】
以上の説明から明らかなように、本発明の映像信号変換装置は、ＤＶデータの動きフラグ情報をＭＰＥＧ符号化に利用することにより、高画質をもたらすＭＰＥＧデータへの変換を、演算量の増加を伴わずに、実現することができる。
【０１０２】
また、本発明の映像信号変換方法は、ＤＶフォーマットからＭＰＥＧフォーマットに変換する場合に、少ない演算量で、高画質をもたらすＭＰＥＧデータを生成することができる。
【図面の簡単な説明】
【図１】第１の実施形態の映像信号変換装置の構成を示すブロック図、
【図２】第１の実施形態の映像信号変換装置における直交変換手段の構成を示すブロック図、
【図３】フレームＤＣＴ及びフィールドＤＣＴの説明図、
【図４】第２の実施形態の映像信号変換装置の構成を示すブロック図、
【図５】第２の実施形態の映像信号変換装置における動き予測手段の構成を示すブロック図、
【図６】フレーム構造及びフィールド構造の対象画像並びに参照画像の説明図、
【図７】第３の実施形態の映像信号変換装置における映像符号化部の構成を示すブロック図、
【図８】フレーム構造及びフィールド構造のピクチャの説明図、
【図９】第４の実施形態の映像信号変換装置における動き予測手段の構成を示すブロック図、
【図１０】参照画像の探索域の説明図、
【図１１】第５の実施形態の映像信号変換装置における映像符号化部の構成を示すブロック図、
【図１２】ＤＶフォーマットの説明図、
【図１３】ＭＰＥＧフォーマットの説明図である。
【符号の説明】
11 映像復号部
12 可変長復号手段
13 逆直交変換手段
14 動きフラグ抽出手段
15 映像符号化部
16 処理モード決定手段
17 直交変換手段
18 動き予測手段
19 可変長符号化手段
21 マクロブロック抽出手段
22 変換モード制御手段
23 フレームモードＤＣＴブロック抽出手段
24 フィールドモードＤＣＴブロック抽出手段
25 ＤＣＴ手段
26 マクロブロック格納手段
27 フレームバッファ
41 マクロブロック抽出手段
42 予測モード制御手段
43 動き探索手段
44 差分画像生成手段
45 画像復元手段
51 ピクチャ生成手段
52 処理モード決定手段
53 直交変換手段
54 動き予測手段
55 可変長符号化手段
61 探索範囲制御手段
71 マクロブロック
72 探索範囲
81 処理モード決定手段
Claims (17)
- ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換装置において、
ＤＶデータに含まれる、使用されているＤＣＴのモードを示す動きフラグの情報に基づいてＭＰＥＧフォーマットの符号化方法を選択する処理モード選択手段を備え、
前記処理モード選択手段が、前記動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対する動き予測としてフィールド予測を選択し、前記動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対する動き予測としてフレーム予測を選択することを特徴とする映像信号変換装置。 - 前記処理モード選択手段が、復号化された映像信号からフレーム構造またはフィールド構造のマクロブロックを抽出し、参照画像からフレーム構造またはフィールド構造の画像を抽出するマクロブロック抽出手段と、
前記動きフラグの情報から識別したマクロブロックの動きが大であるとき、前記マクロブロック抽出手段に対して、フィールド構造のマクロブロックとフィールド構造の参照画像とを抽出するように制御し、前記動きフラグの情報から識別したマクロブロックの動きが大でないとき、前記マクロブロック抽出手段に対して、フレーム構造のマクロブロックとフレーム構造の参照画像とを抽出するように制御する予測モード制御手段とを具備し、
抽出された前記参照画像を対象として、抽出された前記マクロブロックの動き探索が行なわれることを特徴とする請求項１に記載の映像信号変換装置。 - ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換装置において、
ＤＶデータに含まれる、使用されているＤＣＴのモードを示す動きフラグの情報に基づいてＭＰＥＧフォーマットの符号化方法を選択する処理モード選択手段を備え、
前記処理モード選択手段が、前記動きフラグの情報から識別したピクチャの動きが大であるとき、そのピクチャに対して、フィールドモードのＤＣＴ処理と動き予測におけるフィールド予測とを選択し、前記動きフラグの情報から識別したピクチャの動きが大でないとき、そのピクチャに対して、フレームモードのＤＣＴ処理と動き予測におけるフレーム予測とを選択することを特徴とする映像信号変換装置。 - 前記処理モード選択手段が、復号化された映像信号からフレーム構造またはフィールド構造のピクチャを生成するピクチャ生成手段と、前記動きフラグの情報から識別したピクチャの動きが大であるとき、前記ピクチャ生成手段に対して、フィールド構造のピクチャを生成するように制御し、前記動きフラグの情報から識別したピクチャの動きが大でないとき、前記ピクチャ生成手段に対して、フレーム構造のピクチャを生成するように制御するピクチャ生成制御手段とを具備し、前記ピクチャ生成手段で生成されたピクチャに対して、ＤＣＴ処理と動き予測とが行なわれることを特徴とする請求項３に記載の映像信号変換装置。
- ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換装置において、
ＤＶデータに含まれる、使用されているＤＣＴのモードを示す動きフラグの情報に基づいてＭＰＥＧフォーマットの符号化方法を選択する処理モード選択手段を備え、
前記処理モード選択手段が、前記動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対する動き予測の探索範囲として広い範囲を指定し、前記動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対する動き予測の探索範囲として狭い範囲を指定することを特徴とする映像信号変換装置。 - ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換装置において、
ＤＶデータに含まれる、使用されているＤＣＴのモードを示す動きフラグの情報に基づいてＭＰＥＧフォーマットの符号化方法を選択する処理モード選択手段を備え、
前記処理モード選択手段が、前記動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対してイントラモードを適用し、前記動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対してインタモードを適用することを特徴とする映像信号変換装置。 - 前記処理モード選択手段が、前記動きフラグの情報に含まれる輝度ブロックの動きフラグに着目して前記マクロブロックの動きの大小を識別することを特徴とする請求項１、２、５または６に記載の映像信号変換装置。
- 前記処理モード選択手段が、１マクロブロックに含まれる４個の前記輝度ブロックの内、所定数の輝度ブロックの動きフラグが動き大を表しているとき、前記マクロブロックの動きを大と識別することを特徴とする請求項７に記載の映像信号変換装置。
- 前記処理モード選択手段が、前記動きフラグの情報に含まれる色差ブロックの動きフラグに着目し、１マクロブロックに含まれる２個の色差ブロックの内、少なくとも１つの色差ブロックの動きフラグが動き大を表していなければ、前記マクロブロックの動きを大と識別しないことを特徴とする請求項１、２、５または６に記載の映像信号変換装置。
- 前記処理モード選択手段が、１マクロブロックに含まれる４個の輝度ブロックの内、所定数の輝度ブロックの動きフラグが動き大を表し、且つ、前記マクロブロックに含まれる２個の色差ブロックの内、少なくとも１つの色差ブロックの動きフラグが動き大を表しているとき、前記マクロブロックの動きを大と識別することを特徴とする請求項１、２、５または６に記載の映像信号変換装置。
- ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換方法において、
ＤＶデータに含まれるＤＣＴモードを示す動きフラグの情報に基づいてＭＰＥＧフォーマットでの符号化方法を変更する処理として、前記動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対する動き予測としてフィールド予測を適用し、前記動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対する動き予測としてフレーム予測を適用することを特徴とする映像信号変換方法。 - ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換方法において、
ＤＶデータに含まれるＤＣＴモードを示す動きフラグの情報に基づいてＭＰＥＧフォーマットでの符号化方法を変更する処理として、前記動きフラグの情報から識別したピクチャの動きが大であるとき、そのピクチャに対して、フィールドモードのＤＣＴ処理と動き予測におけるフィールド予測とを適用し、前記動きフラグの情報から識別したピクチャの動きが大でないとき、そのピクチャに対して、フレームモードのＤＣＴ処理と動き予測におけるフレーム予測とを適用することを特徴とする映像信号変換方法。 - ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換方法において、
ＤＶデータに含まれるＤＣＴモードを示す動きフラグの情報に基づいてＭＰＥＧフォーマットでの符号化方法を変更する処理として、前記動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対する動き予測の探索範囲として広い範囲を設定し、前記動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対する動き予測の探索範囲として狭い範囲を設定することを特徴とする映像信号変換方法。 - ＤＶフォーマットで符号化されたＤＶデータを復号化した後、ＭＰＥＧフォーマットで符号化してＭＰＥＧデータを生成する映像信号変換方法において、
ＤＶデータに含まれるＤＣＴモードを示す動きフラグの情報に基づいてＭＰＥＧフォーマットでの符号化方法を変更する処理として、前記動きフラグの情報から識別したマクロブロックの動きが大であるとき、そのマクロブロックに対してイントラモードを適用し、前記動きフラグの情報から識別したマクロブロックの動きが大でないとき、そのマクロブロックに対してインタモードを適用することを特徴とする映像信号変換方法。 - 前記動きフラグの情報に含まれる輝度ブロックの動きフラグに着目し、１マクロブロックに含まれる４個の輝度ブロックの内、所定数の輝度ブロックの動きフラグが動き大を表しているとき、前記マクロブロックの動きを大と識別することを特徴とする請求項１１、１３または１４に記載の映像信号変換方法。
- 前記動きフラグの情報に含まれる色差ブロックの動きフラグに着目し、１マクロブロックに含まれる２個の色差ブロックの内、少なくとも１つの色差ブロックの動きフラグが動き大を表していなければ、前記マクロブロックの動きを大と識別しないことを特徴とする請求項１１、１３または１４に記載の映像信号変換方法。
- 前記動きフラグの情報に含まれる輝度ブロック及び色差ブロックの動きフラグに着目し、１マクロブロックに含まれる４個の輝度ブロックの内、所定数の輝度ブロックの動きフラグが動き大を表し、且つ、前記マクロブロックに含まれる２個の色差ブロックの内、少なくとも１つの色差ブロックの動きフラグが動き大を表しているとき、前記マクロブロックの動きを大と識別することを特徴とする請求項１１、１３または１４に記載の映像信号変換方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28316497A JP4014263B2 (ja) | 1997-10-01 | 1997-10-01 | 映像信号変換装置及び映像信号変換方法 |
| DE1998636609 DE69836609T2 (de) | 1997-10-01 | 1998-09-30 | Umwandlung von in DV-Format kodierten Videodaten in MPEG-Format |
| EP19980307932 EP0907287B1 (en) | 1997-10-01 | 1998-09-30 | Conversion of DV format encoded video data into MPEG format |
| US09/164,334 US6421385B1 (en) | 1997-10-01 | 1998-10-01 | Apparatus and method for efficient conversion of DV (digital video) format encoded video data into MPEG format encoded video data by utilizing motion flag information contained in the DV data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28316497A JP4014263B2 (ja) | 1997-10-01 | 1997-10-01 | 映像信号変換装置及び映像信号変換方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11112973A JPH11112973A (ja) | 1999-04-23 |
| JP4014263B2 true JP4014263B2 (ja) | 2007-11-28 |
Family
ID=17662022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28316497A Expired - Lifetime JP4014263B2 (ja) | 1997-10-01 | 1997-10-01 | 映像信号変換装置及び映像信号変換方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6421385B1 (ja) |
| EP (1) | EP0907287B1 (ja) |
| JP (1) | JP4014263B2 (ja) |
| DE (1) | DE69836609T2 (ja) |
Families Citing this family (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7263127B1 (en) | 1998-04-02 | 2007-08-28 | Intel Corporation | Method and apparatus for simplifying frame-based motion estimation |
| US6904174B1 (en) * | 1998-12-11 | 2005-06-07 | Intel Corporation | Simplified predictive video encoder |
| KR20010032337A (ko) * | 1998-09-22 | 2001-04-16 | 마츠시타 덴끼 산교 가부시키가이샤 | 영상신호 부호화방법, 영상신호 부호화장치 및 프로그램기록매체 |
| JP3850015B2 (ja) * | 1999-04-08 | 2006-11-29 | 松下電器産業株式会社 | ディジタルビデオ信号記録再生装置および伝送装置 |
| US6718378B1 (en) * | 1999-04-30 | 2004-04-06 | Canon Kabushiki Kaisha | Device management information processing apparatus method and storage medium |
| JP4168304B2 (ja) * | 1999-09-16 | 2008-10-22 | ソニー株式会社 | 情報出力装置、情報報知方法および情報信号供給経路選択方法 |
| JP2001218213A (ja) * | 2000-01-31 | 2001-08-10 | Mitsubishi Electric Corp | 画像信号変換符号化装置 |
| US6940911B2 (en) * | 2000-03-14 | 2005-09-06 | Victor Company Of Japan, Ltd. | Variable picture rate coding/decoding method and apparatus |
| JP4913273B2 (ja) * | 2000-03-15 | 2012-04-11 | ソニー株式会社 | 映像信号処理装置および映像信号処理方法 |
| FI115946B (fi) * | 2000-05-05 | 2005-08-15 | Nokia Corp | Menetelmä virheiden havaitsemiseksi videoinformaatiosta |
| US6628709B2 (en) * | 2000-12-21 | 2003-09-30 | Matsushita Electric Corporation Of America | Bit number prediction for VLC coded DCT coefficients and its application in DV encoding/transcoding |
| US7035468B2 (en) * | 2001-04-20 | 2006-04-25 | Front Porch Digital Inc. | Methods and apparatus for archiving, indexing and accessing audio and video data |
| JP2002354428A (ja) * | 2001-05-29 | 2002-12-06 | Matsushita Electric Ind Co Ltd | Ｄｖｍｐｅｇ変換装置 |
| WO2002100112A1 (en) * | 2001-06-03 | 2002-12-12 | Seelive Ltd. | System and method for rapid video compression |
| IL160476A0 (en) * | 2001-08-23 | 2004-07-25 | Polycom Inc | System and method for video error concealment |
| JP3797208B2 (ja) * | 2001-11-30 | 2006-07-12 | 日本ビクター株式会社 | カラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法 |
| JP4447197B2 (ja) * | 2002-01-07 | 2010-04-07 | 三菱電機株式会社 | 動画像符号化装置および動画像復号装置 |
| US20040125204A1 (en) * | 2002-12-27 | 2004-07-01 | Yoshihisa Yamada | Moving picture coding apparatus and moving picture decoding apparatus |
| US7009655B2 (en) * | 2002-07-23 | 2006-03-07 | Mediostream, Inc. | Method and system for direct recording of video information onto a disk medium |
| US20040066466A1 (en) * | 2002-10-08 | 2004-04-08 | Macinnis Alexander | Progressive conversion of interlaced video based on coded bitstream analysis |
| US9314691B2 (en) | 2002-12-10 | 2016-04-19 | Sony Computer Entertainment America Llc | System and method for compressing video frames or portions thereof based on feedback information from a client device |
| US20090118019A1 (en) | 2002-12-10 | 2009-05-07 | Onlive, Inc. | System for streaming databases serving real-time applications used through streaming interactive video |
| US8366552B2 (en) | 2002-12-10 | 2013-02-05 | Ol2, Inc. | System and method for multi-stream video compression |
| US9077991B2 (en) | 2002-12-10 | 2015-07-07 | Sony Computer Entertainment America Llc | System and method for utilizing forward error correction with video compression |
| US8964830B2 (en) | 2002-12-10 | 2015-02-24 | Ol2, Inc. | System and method for multi-stream video compression using multiple encoding formats |
| US9192859B2 (en) | 2002-12-10 | 2015-11-24 | Sony Computer Entertainment America Llc | System and method for compressing video based on latency measurements and other feedback |
| US10201760B2 (en) * | 2002-12-10 | 2019-02-12 | Sony Interactive Entertainment America Llc | System and method for compressing video based on detected intraframe motion |
| US9108107B2 (en) | 2002-12-10 | 2015-08-18 | Sony Computer Entertainment America Llc | Hosting and broadcasting virtual events using streaming interactive video |
| US8711923B2 (en) | 2002-12-10 | 2014-04-29 | Ol2, Inc. | System and method for selecting a video encoding format based on feedback data |
| US8526490B2 (en) | 2002-12-10 | 2013-09-03 | Ol2, Inc. | System and method for video compression using feedback including data related to the successful receipt of video content |
| US9446305B2 (en) | 2002-12-10 | 2016-09-20 | Sony Interactive Entertainment America Llc | System and method for improving the graphics performance of hosted applications |
| US9061207B2 (en) | 2002-12-10 | 2015-06-23 | Sony Computer Entertainment America Llc | Temporary decoder apparatus and method |
| US8549574B2 (en) | 2002-12-10 | 2013-10-01 | Ol2, Inc. | Method of combining linear content and interactive content compressed together as streaming interactive video |
| US9138644B2 (en) | 2002-12-10 | 2015-09-22 | Sony Computer Entertainment America Llc | System and method for accelerated machine switching |
| KR101104828B1 (ko) | 2004-12-09 | 2012-01-16 | 삼성전자주식회사 | 움직임 벡터 연산 장치 및 그 방법 |
| EP1842378A1 (en) * | 2005-01-24 | 2007-10-10 | Thomson Licensing | Method, apparatus and system for visual inspection of transcoded video |
| US7512752B2 (en) * | 2005-05-31 | 2009-03-31 | Broadcom Corporation | Systems, methods, and apparatus for pixel fetch request interface |
| KR100662616B1 (ko) * | 2006-01-17 | 2007-01-02 | 삼성전자주식회사 | 필름 영상 제공방법 및 그 필름 영상을 제공하는영상표시장치 |
| US20080229210A1 (en) * | 2007-03-14 | 2008-09-18 | Akiko Bamba | Display processing system |
| WO2008126225A1 (ja) * | 2007-03-29 | 2008-10-23 | Pioneer Corporation | 動画像再符号化装置及び方法 |
| US9168457B2 (en) | 2010-09-14 | 2015-10-27 | Sony Computer Entertainment America Llc | System and method for retaining system state |
| US8743952B2 (en) * | 2007-12-18 | 2014-06-03 | Vixs Systems, Inc | Direct mode module with motion flag precoding and methods for use therewith |
| US8275033B2 (en) * | 2008-01-15 | 2012-09-25 | Sony Corporation | Picture mode selection for video transcoding |
| JP5499035B2 (ja) * | 2009-07-29 | 2014-05-21 | パナソニック株式会社 | 画像符号化方法、画像符号化装置、プログラムおよび集積回路 |
| US8923405B1 (en) * | 2010-01-25 | 2014-12-30 | Ambarella, Inc. | Memory access ordering for a transformation |
| JP2011259205A (ja) * | 2010-06-09 | 2011-12-22 | Sony Corp | 画像復号化装置と画像符号化装置およびその方法とプログラム |
| JP5336003B2 (ja) * | 2011-06-15 | 2013-11-06 | パナソニック株式会社 | 動画像符号化装置 |
| JP5760950B2 (ja) * | 2011-10-28 | 2015-08-12 | 富士通株式会社 | 動画像再符号化装置、動画像再符号化方法及び動画像再符号化用コンピュータプログラム |
| CN103702058B (zh) * | 2012-09-27 | 2015-09-16 | 珠海扬智电子科技有限公司 | 解交错运算的宏块状态辨识方法与影像处理装置 |
| CN103618900B (zh) * | 2013-11-21 | 2016-08-17 | 北京工业大学 | 基于编码信息的视频感兴趣区域提取方法 |
| WO2016143972A1 (ko) * | 2015-03-11 | 2016-09-15 | 엘지전자(주) | 비디오 신호의 인코딩/디코딩 방법 및 장치 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3245977B2 (ja) * | 1992-06-30 | 2002-01-15 | ソニー株式会社 | ディジタル画像信号の伝送装置 |
| JPH07322268A (ja) | 1994-05-25 | 1995-12-08 | Sony Corp | 符号化装置 |
| JPH0846971A (ja) * | 1994-07-29 | 1996-02-16 | Sharp Corp | 動画像符号化装置 |
| JP3336754B2 (ja) * | 1994-08-19 | 2002-10-21 | ソニー株式会社 | デジタルビデオ信号の記録方法及び記録装置 |
| KR0156186B1 (ko) * | 1995-09-05 | 1998-11-16 | 구자홍 | 디지탈 영상데이타의 복호화장치 및 방법 |
| CN1150766C (zh) * | 1995-10-06 | 2004-05-19 | 松下电器产业株式会社 | 利用转换图象压缩格式处理压缩视频数据的系统、装置和方法 |
| US6141447A (en) * | 1996-11-21 | 2000-10-31 | C-Cube Microsystems, Inc. | Compressed video transcoder |
| JP3164031B2 (ja) * | 1997-05-30 | 2001-05-08 | 日本ビクター株式会社 | 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体 |
| US6057884A (en) * | 1997-06-05 | 2000-05-02 | General Instrument Corporation | Temporal and spatial scaleable coding for video object planes |
| US6128047A (en) * | 1998-05-20 | 2000-10-03 | Sony Corporation | Motion estimation process and system using sparse search block-matching and integral projection |
-
1997
- 1997-10-01 JP JP28316497A patent/JP4014263B2/ja not_active Expired - Lifetime
-
1998
- 1998-09-30 DE DE1998636609 patent/DE69836609T2/de not_active Expired - Fee Related
- 1998-09-30 EP EP19980307932 patent/EP0907287B1/en not_active Expired - Lifetime
- 1998-10-01 US US09/164,334 patent/US6421385B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| DE69836609T2 (de) | 2007-10-25 |
| DE69836609D1 (de) | 2007-01-25 |
| EP0907287A3 (en) | 2001-04-18 |
| EP0907287A2 (en) | 1999-04-07 |
| JPH11112973A (ja) | 1999-04-23 |
| US6421385B1 (en) | 2002-07-16 |
| EP0907287B1 (en) | 2006-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4014263B2 (ja) | 映像信号変換装置及び映像信号変換方法 | |
| KR100504641B1 (ko) | 화상 부호화 장치 및 화상 부호화 방법 | |
| JP3092280B2 (ja) | 画像信号の高能率符号化及び復号化装置 | |
| JP2001238218A (ja) | 信号変換装置及び方法 | |
| JP3331351B2 (ja) | 画像データ符号化方法及び装置 | |
| WO2012098845A1 (ja) | 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置 | |
| KR100945826B1 (ko) | 화상 정보 복호 방법 및 장치 | |
| JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
| JPH0818979A (ja) | 画像処理装置 | |
| JP2933561B2 (ja) | 動画符号変換装置 | |
| KR100364748B1 (ko) | 영상 변환 부호화 장치 | |
| JP3599942B2 (ja) | 動画像符号化方法、及び動画像符号化装置 | |
| WO1996033573A1 (en) | Device and method for coding moving image | |
| JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP2005532716A (ja) | 動画像符号化装置及び方法 | |
| JPH09261530A (ja) | 映像記録装置 | |
| JP2868445B2 (ja) | 動画像圧縮方法および装置 | |
| JP3356413B2 (ja) | 画像復号化方法及び装置 | |
| JPH0698311A (ja) | 画像信号の高能率符号化及び復号化装置 | |
| JP3166835B2 (ja) | 動画像の高能率符号化方法及び装置 | |
| JP3416505B2 (ja) | 動画像復号化方法 | |
| GB2379820A (en) | Interpolating values for sub-pixels | |
| JP3481112B2 (ja) | 動画像復号化装置 | |
| JPH10126749A (ja) | 順次走査変換装置 | |
| JPH0630332A (ja) | 動画像の符号化及び復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040609 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070718 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070814 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070911 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |