JP2005347955A

JP2005347955A - 信号処理装置及び信号処理方法

Info

Publication number: JP2005347955A
Application number: JP2004163559A
Authority: JP
Inventors: Shingo Nozawa; 慎吾野澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-06-01
Filing date: 2004-06-01
Publication date: 2005-12-15
Anticipated expiration: 2024-06-01
Also published as: US20050265448A1; JP4262139B2; CN1705366A; US7756203B2; CN100433821C

Abstract

【課題】３０フレーム毎秒の一般的なＭＰＥＧストリームに符号化した２４フレーム毎秒の映像を、再符号化することなく２４フレーム毎秒のＭＰＥＧストリームに変換可能な信号処理技術を提供する。
【解決手段】第１のフレームレートの動画像データを第２のフレームレートの動画像データに変換する変換部１０２と、前記動画像データを画像間の相関を用いて高能率符号化する符号化１０３とを有する信号処理装置であって、前記変換部１０２は、所定の割合で直前の画像を繰り返す複製画像を挿入し、前記符号化部１０３は、前記変換部１０２により挿入された複製画像を除去しても、前記第２のフレームレートの動画像データを前記第１のフレームレートの動画像データに変換する際に、画像間相関を保持することが可能な態様で前記複製画像を符号化する。
【選択図】図１

Description

本発明は信号処理装置及び信号処理方法に関し、特に、圧縮符号化された動画像ストリームデータを処理するために用いて好適なものである。

従来、近年、デジタル信号処理技術の進歩により、動画像や静止画像、音声等、大量のデジタル情報を高能率符号化し、小型磁気媒体、小型光媒体への記録や通信媒体での伝送を行うことが可能となっている。そして、このような技術を応用し、容易に高品位な映像を撮影して即座に情報媒体へ出力できる撮像装置などの開発が行われている。

特に、昨今の動画像の符号化には、ＭＰＥＧ符号化技術が使われている。ＭＰＥＧ符号化は画面内の相関を用いて符号化するフレーム内符号化方式と、前後の画面間の相関を用いて符号化するフレーム間符号化方式とを使い、符号レートを大幅に削減することができるため、ＤＶＤに代表される映像再生装置や、ビデオカメラなどの撮像装置に広く用いられている。

ところで、日本や米国などのテレビ規格では、１秒間に約３０フレームのフレームレートが用いられているが、映画で用いるフィルム素材の映像は、１秒間に約２４フレームのフレームレートが一般的である。そのため、１秒あたり２４フレームの映像を１フレームあたり約３０フレームに変換し、フィルム素材映像とテレビ映像の互換性を高めてＭＰＥＧ符号化する技術が知られている（例えば、特許文献１にて提案されている「画像圧縮符号化装置」）。

このような１秒あたり約２４フレームの映像信号を３０フレームに変換する技術として、２−３プルダウンとよばれる方式が知られており、映画などのフィルム素材をテレビ向けの映像に変換される場合に多用されている技術である。

図６は２−３プルダウン処理を説明する図である。
図６において、９０１〜９１０は１秒あたり約２４フレームの映像のフィールド列である。このフィールド列を１秒あたり約３０フレームに変換したフィールド列が９１１〜９２２である。

フィールド９０１、９０２を９１１、９１２に、フィールド９０３、９０４を９１３、９１４、９１５に、というように入力映像２フィールドずつを、出力映像２フィールドと３フィールドの繰り返しになるように変換してゆく。この繰り返しにより入力４フィールド毎に出力５フィールドが生成され、２４フレーム毎秒から３０フレーム毎秒への変換を実現する。

この時、２フィールドから３フィールドに変換された際の１番目と３番目のフィールドは同一のデータである。例えば、フィールド９１３と９１５はともにフィールド９０３をもとにしている。同様にフィールド９１８と９２０も同一のデータである。

このように、レート変換した映像信号をＭＰＥＧ符号化して記録する場合、２−３プルダウン映像の冗長性を取り除くため、top field first、repeat first fieldというパラメータが用いられることがある。

パラメータrepeat first fieldが「０」の場合２フィールド構成を示し、「１」の場合３フィールド構成を示す。前述のように３フィールド構成の場合、１番目と３番目のフィールドは同一でなので、３番目のフィールドについては画像データを生成しない。一方、パラメータtop field firstは、トップ、ボトムいずれのフィールドが時間的に先であるかを示し、０の場合ボトムフィールドが先、１の場合トップフィールドが先を示している。

このような従来の装置では、前述のパラメータを組み合わせて用いることにより、ストリームの複雑さが増し、復号処理に負担を与えてしまうという問題があった。すなわち、生成されたストリームを正常に復号するためには、前述のパラメータを判別し、復号処理側で、複製フィールドを挿入する必要がある。そのため、ＭＰＥＧを部分的に実装する復号装置やシステムでは正常に再生できない場合があった。

より平易な従来の方法として、前述の２−３プルダウン映像をそのまま符号化する方法があった。この方法は、プルダウン後の３０フレーム毎秒の映像そのものをストリームとするので、復号処理に何ら負担は発生しない利点がある。

特開２０００-０４１２４４号公報

しかしながら、前述のように、２−３プルダウンした３０フレームの映像信号をそのままＭＰＥＧ符号化して記録した場合、再生時にプルダウン前の冗長性のない２４フレーム毎秒のストリームに再変換することが困難であった。

何故ならば、ＭＰＥＧ特有の画像間相関を用いた符号化により、挿入したフレームが他のフレームから参照されている場合、この挿入したフレームをそのまま取り除くとこのフレームを参照しているフレームのデータをデコードできなくなってしまうため、挿入したフレームを取り除くことができないためである。
従って、２−３プルダウン後にＭＰＥＧ符号化された映像信号からＭＰＥＧ符号化された形態の２４フレームの映像信号を得るためには、３０フレーム毎秒のまま一旦復号し、復号後に挿入したフレームを除去し、再度符号化する必要がある。そのため、膨大な処理時間を要する上に、再符号化による画質劣化を免れない問題点があった。

本発明はかかる問題点に鑑みなされたものであり、第１のフレームレートの動画像データを第２のフレームレートの動画像データのストリームに符号化した後に、再符号化することなく前記第１のフレームレートの動画像データに変換可能な信号処理技術を提供することを目的としている。

本発明の信号処理装置は、第１のフレームレートの第１の動画像データに対し、所定のタイミングで新たなフレームを挿入することにより第２のフレームレートの第２の動画像データに変換する変換手段と、前記変換手段から出力された第２の動画像データを、フレーム間予測符号化において参照されない第１のフレームタイプと参照される第２のフレームタイプとに分類し、フレーム内符号化とフレーム間予測符号化とを選択的に用いて符号化する符号化手段と、前記第２の動画像データのうち、前記変換手段により挿入されたフレームを特定のフレームタイプに分類して符号化するよう前記符号化手段を制御する制御手段とを備えることを特徴としている。
また、本発明の他の特徴とするところは、前記制御手段は、前記挿入されたフレームを前記第１のフレームタイプに分類して符号化するよう前記符号化手段を制御することを特徴としている。
また、本発明のその他の特徴とするところは、前記変換手段は、直前のフレームの画像と同じ画像を前記新たなフレームとして挿入し、前記制御手段は、前記新たに挿入したフレームあるいはその直前のフレームの少なくとも一方を、前記第１のフレームタイプに分類して符号化するよう前記符号化手段を制御することを特徴としている。
また、本発明のその他の特徴とするところは、前記変換手段は、直前のフレームの画像と同じ画像を前記新たなフレームとして挿入し、前記制御手段は、前記新たに挿入したフレーム及びその直前のフレームの両方を、前記第２のフレームタイプに分類して符号化するよう前記符号化手段を制御することを特徴としている。
また、本発明のその他の特徴とするところは、前記変換手段は、直前のフレームの画像と同じ画像を前記新たなフレームとして挿入し、前記制御手段は、前記新たに挿入したフレームあるいはその直前のフレームの少なくとも一方を、前記フレーム間予測符号化にて符号化するよう前記符号化手段を制御することを特徴としている。
また、本発明のその他の特徴とするところは、前記符号化手段は、ＭＰＥＧ符号化を行い、前記第１のフレームタイプはＢピクチャ、前記第２のフレームタイプはＩピクチャまたはＰピクチャとすることを特徴としている。
また、本発明のその他の特徴とするところは、前記符号化手段が出力する符号化信号列を記録媒体に記録及び再生する記録再生手段と、記録媒体から再生された符号化信号列を受け取り、前記新たに挿入したフレームあるいはその直前のフレームのいずれか一方に相当するデータを前記符号化信号列から除去して出力する出力手段とを有することを特徴としている。
また、本発明のその他の特徴とするところは、前記出力手段は、符号化信号列中のタイムスタンプ情報を書き換え、前記第１のフレームレートに適合する符号化信号列として出力することを特徴としている。
また、本発明のその他の特徴とするところは、前記符号化手段は、前記出力手段が除去すべき画像を識別するフラグ情報を符号化信号列中に付加することを特徴としている。
また、本発明のその他の特徴とするところは、前記符号化手段は、前記変換手段の変換単位とするフレーム数の整数倍のフレーム毎にＧＯＰを生成することを特徴としている。

本発明の信号処理方法は、第１のフレームレートの第１の動画像データに対し、所定のタイミングで新たなフレームを挿入することにより第２のフレームレートの第２の動画像データに変換する変換工程と、前記変換工程から出力された第２の動画像データを、フレーム間予測符号化において参照されない第１のフレームタイプと参照される第２のフレームタイプとに分類し、フレーム内符号化とフレーム間予測符号化とを選択的に用いて符号化する符号化工程と、前記第２の動画像データのうち、前記変換工程により挿入されたフレームを特定のフレームタイプに分類して符号化するよう前記符号化工程を制御する制御工程とを備えることを特徴としている。

本発明のコンピュータプログラムは、第１のフレームレートの第１の動画像データに対し、所定のタイミングで新たなフレームを挿入することにより第２のフレームレートの第２の動画像データに変換する変換工程と、前記変換工程から出力された第２の動画像データを、フレーム間予測符号化において参照されない第１のフレームタイプと参照される第２のフレームタイプとに分類し、フレーム内符号化とフレーム間予測符号化とを選択的に用いて符号化する符号化工程と、前記第２の動画像データのうち、前記変換工程により挿入されたフレームを特定のフレームタイプに分類して符号化するよう前記符号化工程を制御する制御工程とをコンピュータに実行させることを特徴としている。

本発明の記録媒体は、前記に記載のコンピュータプログラムを記録したことを特徴としている。

本発明によれば、第１のフレームレートの動画像データを第２のフレームレートの動画像データに変換する変換手段と、前記動画像データを画像間の相関を用いて高能率符号化する符号化手段とを有し、前記変換手段は、所定の割合で直前の画像を繰り返す複製画像を挿入し、前記符号化手段は、前記変換手段により挿入された複製画像を除去しても、前記第２のフレームレートの動画像データを前記第１のフレームレートの動画像データに変換する際に、画像間相関を保持することが可能な態様で前記複製画像を符号化するようにしたので、３０フレーム毎秒の一般的なＭＰＥＧストリームに符号化した２４フレーム毎秒の映像を、再符号化することなく２４フレーム毎秒のＭＰＥＧストリームに変換可能な信号処理技術を提供することができる。
また、本発明の他の特徴によれば、３０フレーム毎秒への変換で生じる冗長フレームを、画像間相関における参照を受けない画像タイプ（Ｂピクチャ）として符号化するようにしたので、ストリームから除去しても参照関係を壊さず、容易に２４フレーム毎秒ストリームに再変換可能である。
また、本発明の他の構成によれば、３０フレーム毎秒への変換で生じる冗長フレームとその直前のフレームの両方を、画像間相関における参照を受ける画像タイプ（ＩピクチャまたはＰピクチャ）として連続して符号化するようにしたので、一方をストリームから除去しても参照関係を壊さず、２４フレーム毎秒ストリームに容易に変換することができる。

以下、添付図面に従って本発明の信号処理装置及び信号処理方法にかかる実施の形態を詳細に説明する。
（第１の実施の形態）
図１は、本実施の形態における装置のブロック構成図を示している。図１において、１０１は映像信号入力端子、１０２は変換部、１０３は符号化部、１０４は記録媒体１０５への読み書きをアクセスする記録再生部、１０５は書き込み可能なディスクや磁気テープ等の記録媒体、１０６はストリームを出力端子１０７へ出力する出力部、１０７はIEEE1394やUSBなどの出力端子、１０８は各ブロックを制御する制御部１０８である。

映像信号入力端子１０１から入力される、１秒あたり２４フレームのフレームレートを有する映像信号は変換部１０２に供給される。変換部１０２は、４フレーム毎に１枚の複製画像を挿入して、４フレームの映像信号を５フレームの映像信号とすることにより、１秒あたり３０フレームの映像信号に変換する。

図２は、変換部１０２による変換処理の例を示す図である。フレーム２０１に対して複製画像２０２を挿入、フレーム２０３に対し複製画像２０４を挿入、フレーム２０５に対し複製画像２０６を挿入するというように、４フレーム毎に複製画像を１枚挿入することにより、４フレームの映像信号を５フレームの映像信号に変換するようにしている。複製画像を挿入するタイミングは、制御部１０８から指示される。

なお、映像入力部１０１としては、２４フレーム／秒の映像を入力するものであれば良く、例えば、２４フレーム／秒で映像を撮像する撮像装置（或いは撮像手段）、又は、２４フレーム／秒の映画素材のフィルムを順次読取るフィルムスキャナで良い。また、素材となるデータがネットワーク上に存在するのであればネットワークインタフェースと見ることもできる。

レート変換された映像信号は、変換部１０２から符号化部１０３に供給される。符号化部１０３は、ISO/IEC１３８１８-２に記載のＭＰＥＧ符号化処理によって映像信号を圧縮したストリームを生成し、記録再生部１０４に供給する。

この時、符号化部１０３は、制御部１０８から供給されるパラメータに基づいて圧縮を行う。たとえば、画像ごとの符号化方式を指定する画像タイプなどのパラメータを受け取る。画像タイプには、フレーム単独に符号化を行うＩピクチャ、前の（過去の）画像を参照して符号化するＰピクチャ、前後の画像を参照して符号化するＢピクチャがある。また、Ｉピクチャ及びＰピクチャは、他のＰピクチャやＢピクチャから参照を受けるのに対し、Ｂピクチャは他の画像から参照を受けないという特徴を持つ。

制御部１０８は、前記変換部１０２で生成された複製画像、たとえば、図２における画像２０２、２０４、２０６に対して、Ｂピクチャとして符号化を行うように指示する。すなわち、冗長フレームである画像２０２、２０４、２０６を、参照を受けない画像タイプとすることにより、ストリームから後でこれら冗長フレーム２０２、２０４、２０６を除去しても影響が広がらないようにしている。

符号化部１０３で生成されたストリームは、記録再生部１０４を経て、記録媒体１０５に格納される。このようにして記録されたストリームは、同じく記録再生部１０４を経て読み出され、出力部１０６に供給される。出力部１０６は、制御部１０８からの指示に従い、３０フレーム毎秒のストリームを２４フレーム毎秒のストリームに変換し、出力端子１０７へ出力する。

出力部１０６は、供給される３０フレーム毎秒のストリームから前記複製画像２０２、２０４、２０６に相当する符号列を除去し、タイムスタンプ等のパラメータを２４フレーム毎秒に適合するよう書き換えることで、２４フレーム毎秒のストリームへと変換する。除去する画像は所定の位置に決まるよう定められるので、制御部１０８が計算して求めても良いし、あらかじめ前記符号化部１０３が該当する画像にフラグ情報を埋め込んでおき、それを制御部１０８が識別しても良い。

なお、出力部１０６は、除去処理をせずに３０フレーム毎秒のストリームをそのまま出力端子に出力するモードを持ち、制御部１０８によってモードの切り替えを指示される構成であっても良い。

図５は、本実施の形態における画像処理をパーソナルコンピュータ等の汎用情報処理装置上で実施する場合の構成を示している。
図５において、１は装置全体の制御を司るＣＰＵ、２はＢＩＯＳやブートプログラムを記憶しているＲＯＭ、３はワークエリアとして使用するＲＡＭである。４はＯＳ、並びに実施の形態における符号化、並びに、変換にかかる制御プログラム、更には、各ストリームを記憶保持する記憶装置（ハードディスク等）である。５は映画で用いるフィルム素材を順次読取る映像入力部である。

映像入力部５としては、２４フレーム／秒の映像を入力するものであれば良く、例えば、２４フレーム／秒で映像を撮像する撮像装置（或いは撮像手段）、又は、２４フレーム／秒の映画素材のフィルムを順次読取るフィルムスキャナで良い。また、素材となるデータがネットワーク上に存在するのであればネットワークインタフェースと見ることもできる。

６は変換部であり、７は符号化部である。なお、最近のＰＣでは、処理能力が非常に高くなってきているので、変換部６、符号化部７に相当する処理をソフトウェア処理で実現しても良い。８はストリームを出力する出力部である。出力部８の出力先はネットワーク上に存在するのであれば（例えば、ファイルサーバ等）であれば、この出力部はネットワークインタフェースとなる。

かかる構成において、本装置に電源を投入し、ＯＳがＲＡＭ３にロードされ、実施の形態におけるアプリケーションをＲＡＭ３にロードすることで、先に説明した図１に応じた処理を行い、外部記憶装置４（図１における記録媒体１０５に相当する）に記憶することになる。なお、図１では、映像信号入力端子１０１よりフィルム素材の２４フレーム／秒の映像信号を入力するものとしたが、外部記憶装置４に記憶されていても構わない。

（第２の実施の形態）
次に、本発明の信号処理装置及び信号処理方法の第２の実施の形態を説明する。本第２の実施の形態におけるブロック構成は前記第１の実施の形態を示す図１と同じである。以下、第１の実施の形態と動作の異なる変換部、出力部、制御部１０８を中心に説明する。

前記第１の実施の形態においては、ＩピクチャとＰピクチャ、及びＰピクチャとＰピクチャの間隔を５フレームとした。ＭＰＥＧでは、Ｍ＝５のＧＯＰ構成と呼ばれる。これは、４フレームを５フレームに変換する際に挿入した複製画像を確実にＢピクチャとするためである。しかしながら、Ｍ＝３のＧＯＰ構成が一般に用いられており、第１の実施の形態はこれに対応できない。本第２の実施の形態は、Ｍ＝３のＧＯＰ構成に対応する装置を説明する。

図３は、変換部１０２による変換処理の例を示す図である。フレーム３０１に対して複製画像３０２を挿入、フレーム３０３に対し複製画像３０４を挿入、フレーム３０５に対し複製画像３０６を挿入、というような処理を行って、４フレームずつを５フレームに変換するようにしている。複製画像３０２、３０４、３０６を挿入するタイミングは、制御部１０８から指示される。

制御部１０８は、前記変換部１０２で生成された複製画像、あるいはその直前の画像すなわち複製の元画像のいずれか一方に対して、Ｂピクチャとしての符号化を指示する。たとえば、図３における複製画像３０２、３０４と、複製画像３０６の直前の画像３０５に対して、Ｂピクチャを指定する。すなわち、冗長フレームとして除去可能な画像は、複製画像そのものだけではなく、複製の元となった画像であっても良いので、ＧＯＰ構成などにより好適な方の画像をＢピクチャと指定すれば良い。

出力部１０６は、供給される３０フレーム毎秒のストリームから前記複製画像あるいはその直前の画像に相当する符号列を除去し、タイムスタンプ等のパラメータを２４フレーム毎秒に適合するよう書き換えることで、２４フレーム毎秒のストリームへと変換する。

以上のように、後で除去しうるＢピクチャに、複製画像だけでなくその直前の画像を対象に加えることで、Ｍ＝３のＧＯＰ構成に適応できる。また、４フレームを５フレームに変換する変換単位を３回繰り返し、すなわち１２フレームを１５フレームに変換する毎にＧＯＰを形成することで、一般的なＧＯＰのフレーム総数Ｎ＝１５に適応できる。

（第３の実施の形態）
続いて、本発明の第３の実施の形態を説明する。本第３の実施の形態におけるブロック構成は前記第１の実施の形態を示す図１と同じである。以下、第１の実施の形態と動作の異なる変換部、出力部、制御部を中心に説明する。

前記第１の実施の形態は、除去しうる冗長フレームとしてＢピクチャを用いているが、本第３の実施の形態は、除去しうる冗長フレームとしてＰピクチャを用いる構成を説明する。

図４は、変換部１０２による変換処理の例を示す図である。フレーム４０１に対して複製画像４０２を挿入、フレーム４０３に対し複製画像４０４を挿入、フレーム４０５に対し複製画像４０６を挿入、というように４フレームずつを５フレームに変換する。複製画像を挿入するタイミングは、制御部１０８から指示される。

制御部１０８は、前記変換部１０２で生成された複製画像に対してＰピクチャ、複製画像の直前の画像すなわち複製の元画像に対してＩピクチャまたはＰピクチャとしての符号化を指示する。

たとえば、図４における複製画像４０２、４０４、４０６に対してＰピクチャ、複製画像の直前の画像４０１、４０３、４０５に対して、ＩピクチャまたはＰピクチャを指定する。すなわち、他のフレームから参照を受ける画像タイプ（Ｉピクチャ、Ｐピクチャ）を連続して配置することで、冗長フレームとして複製画像（Ｐピクチャ）を除去しても、直前の画像（ＩピクチャまたはＰピクチャ）がその代替として参照を受けることができる。

出力部１０６は、供給される３０フレーム毎秒のストリームから前記複製画像に相当する符号列を除去し、タイムスタンプ等のパラメータを２４フレーム毎秒に適合するよう書き換えることで、２４フレーム毎秒のストリームへと変換する。
以上のように、後で除去しうる複製画像をＰピクチャとする構成も本発明の適応範囲である。

（本発明の他の実施の形態）
以上、第１〜第３実施の形態を説明したが、先に説明したように、実施の形態における機能実現手段は、映像入力手段（撮像手段）を有する撮像装置に限らず、パーソナルコンピュータ等の汎用情報処理装置でもって実現できることは明らかである。すなわち、本発明はコンピュータ用のユーティリティアプリケーションプログラムをもその範疇とする。また、通常、コンピュータプログラムは、ＣＤＲＯＭ等のコンピュータ可読記憶媒体に記憶され、それをコンピュータにセットし、システムにコピーもしくはインストールすることで実行可能となるわけであるから、かかるコンピュータ可読記憶媒体をもその範疇とするのは明らかである。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合にも本発明に含まれる。

本発明の実施の形態における画像処理装置のブロック構成図である。第１の実施の形態における変換部の処理を説明するための図である。第２の実施の形態における変換部の処理を説明するための図である。第３の実施の形態における変換部の処理を説明するための図である。ソフトウェアを介在させて処理する場合の装置構成を示す図である。２−３プルダウン処理による、フレーム構成とＭＰＥＧストリームの構造を示す図である。

符号の説明

１０１映像信号入力端子
１０２変換部
１０３符号化部
１０４記録再生部
１０５記録媒体
１０６出力部
１０７出力端子
１０８制御部

Claims

第１のフレームレートの第１の動画像データに対し、所定のタイミングで新たなフレームを挿入することにより第２のフレームレートの第２の動画像データに変換する変換手段と、
前記変換手段から出力された第２の動画像データを、フレーム間予測符号化において参照されない第１のフレームタイプと参照される第２のフレームタイプとに分類し、フレーム内符号化とフレーム間予測符号化とを選択的に用いて符号化する符号化手段と、
前記第２の動画像データのうち、前記変換手段により挿入されたフレームを特定のフレームタイプに分類して符号化するよう前記符号化手段を制御する制御手段とを備えることを特徴とする信号処理装置。
前記制御手段は、前記挿入されたフレームを前記第１のフレームタイプに分類して符号化するよう前記符号化手段を制御することを特徴とする請求項１に記載の信号処理装置。
前記変換手段は、直前のフレームの画像と同じ画像を前記新たなフレームとして挿入し、前記制御手段は、前記新たに挿入したフレームあるいはその直前のフレームの少なくとも一方を、前記第１のフレームタイプに分類して符号化するよう前記符号化手段を制御することを特徴とする請求項１に記載の信号処理装置。
前記変換手段は、直前のフレームの画像と同じ画像を前記新たなフレームとして挿入し、前記制御手段は、前記新たに挿入したフレーム及びその直前のフレームの両方を、前記第２のフレームタイプに分類して符号化するよう前記符号化手段を制御することを特徴とする請求項１に記載の信号処理装置。
前記変換手段は、直前のフレームの画像と同じ画像を前記新たなフレームとして挿入し、前記制御手段は、前記新たに挿入したフレームあるいはその直前のフレームの少なくとも一方を、前記フレーム間予測符号化にて符号化するよう前記符号化手段を制御することを特徴とする請求項１に記載の信号処理装置。
前記符号化手段は、ＭＰＥＧ符号化を行い、前記第１のフレームタイプはＢピクチャ、前記第２のフレームタイプはＩピクチャまたはＰピクチャとすることを特徴とする請求項１〜５の何れか１項に記載の信号処理装置。
前記符号化手段が出力する符号化信号列を記録媒体に記録及び再生する記録再生手段と、記録媒体から再生された符号化信号列を受け取り、前記新たに挿入したフレームあるいはその直前のフレームのいずれか一方に相当するデータを前記符号化信号列から除去して出力する出力手段とを有することを特徴とする請求項３〜５のいずれか１項に記載の信号処理装置。
前記出力手段は、符号化信号列中のタイムスタンプ情報を書き換え、前記第１のフレームレートに適合する符号化信号列として出力することを特徴とする請求項７に記載の信号処理装置。
前記符号化手段は、前記出力手段が除去すべき画像を識別するフラグ情報を符号化信号列中に付加することを特徴とする７または８に記載の信号処理装置。
前記符号化手段は、前記変換手段の変換単位とするフレーム数の整数倍のフレーム毎にＧＯＰを生成することを特徴とする請求項６記載の信号処理装置。
第１のフレームレートの第１の動画像データに対し、所定のタイミングで新たなフレームを挿入することにより第２のフレームレートの第２の動画像データに変換する変換工程と、
前記変換工程から出力された第２の動画像データを、フレーム間予測符号化において参照されない第１のフレームタイプと参照される第２のフレームタイプとに分類し、フレーム内符号化とフレーム間予測符号化とを選択的に用いて符号化する符号化工程と、
前記第２の動画像データのうち、前記変換工程により挿入されたフレームを特定のフレームタイプに分類して符号化するよう前記符号化工程を制御する制御工程とを有することを特徴とする信号処理方法。
前記制御工程は、前記挿入されたフレームを前記第１のフレームタイプに分類して符号化するよう前記符号化工程を制御することを特徴とする請求項１１に記載の信号処理方法。
前記変換工程は、直前のフレームの画像と同じ画像を前記新たなフレームとして挿入し、前記制御工程は、前記新たに挿入したフレームあるいはその直前のフレームの少なくとも一方を、前記第１のフレームタイプに分類して符号化するよう前記符号化工程を制御することを特徴とする請求項１１に記載の信号処理方法。
前記変換工程は、直前のフレームの画像と同じ画像を前記新たなフレームとして挿入し、前記制御工程は、前記新たに挿入したフレーム及びその直前のフレームの両方を、前記第２のフレームタイプに分類して符号化するよう前記符号化工程を制御することを特徴とする請求項１１に記載の信号処理方法。
前記変換工程は、直前のフレームの画像と同じ画像を前記新たなフレームとして挿入し、前記制御工程は、前記新たに挿入したフレームあるいはその直前のフレームの少なくとも一方を、前記フレーム間予測符号化にて符号化するよう前記符号化工程を制御することを特徴とする請求項１１に記載の信号処理方法。
前記符号化工程は、ＭＰＥＧ符号化を行い、前記第１のフレームタイプはＢピクチャ、前記第２のフレームタイプはＩピクチャまたはＰピクチャとすることを特徴とする請求項１１〜１５の何れか１項に記載の信号処理方法。
前記符号化工程が出力する符号化信号列を記録媒体に記録及び再生する記録再生工程と、記録媒体から再生された符号化信号列を受け取り、前記新たに挿入したフレームあるいはその直前のフレームのいずれか一方に相当するデータを前記符号化信号列から除去して出力する出力工程とを有することを特徴とする請求項１３〜１５のいずれか１項に記載の信号処理方法。
前記出力工程は、符号化信号列中のタイムスタンプ情報を書き換え、前記第１のフレームレートに適合する符号化信号列として出力することを特徴とする請求項１７に記載の信号処理方法。
前記符号化工程は、前記出力工程が除去すべき画像を識別するフラグ情報を符号化信号列中に付加することを特徴とする１７または１８に記載の信号処理方法。
前記符号化工程は、前記変換工程の変換単位とするフレーム数の整数倍のフレーム毎にＧＯＰを生成することを特徴とする請求項１６記載の信号処理方法。
第１のフレームレートの第１の動画像データに対し、所定のタイミングで新たなフレームを挿入することにより第２のフレームレートの第２の動画像データに変換する変換工程と、
前記変換工程から出力された第２の動画像データを、フレーム間予測符号化において参照されない第１のフレームタイプと参照される第２のフレームタイプとに分類し、フレーム内符号化とフレーム間予測符号化とを選択的に用いて符号化する符号化工程と、
前記第２の動画像データのうち、前記変換工程により挿入されたフレームを特定のフレームタイプに分類して符号化するよう前記符号化工程を制御する制御工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
前記請求項２１に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。