JP4003267B2 - Video information processing apparatus and method - Google Patents

Video information processing apparatus and method Download PDF

Info

Publication number
JP4003267B2
JP4003267B2 JP33967597A JP33967597A JP4003267B2 JP 4003267 B2 JP4003267 B2 JP 4003267B2 JP 33967597 A JP33967597 A JP 33967597A JP 33967597 A JP33967597 A JP 33967597A JP 4003267 B2 JP4003267 B2 JP 4003267B2
Authority
JP
Japan
Prior art keywords
frame
progressive
drop
interlaced
interlace
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP33967597A
Other languages
Japanese (ja)
Other versions
JPH11177987A (en
Inventor
亜旗 米田
孝夫 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP33967597A priority Critical patent/JP4003267B2/en
Publication of JPH11177987A publication Critical patent/JPH11177987A/en
Application granted granted Critical
Publication of JP4003267B2 publication Critical patent/JP4003267B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は映像情報を符号化する映像情報処理装置に構成に関する。
【０００２】
【従来の技術】
近年のデジタル技術の発達により、従来ではアナログの形でしか扱えなかった、ビデオ映像のような映像情報も、デジタルの形で扱えるようになってきた。また、パーソナルコンピュータの高性能化により、デジタル化された映像情報を、パーソナルコンピュータによって処理できるようになってきた。
【０００３】
NTSCのようなアナログ映像信号を、一般に販売されているパーソナルコンピュータ用の画像取り込み装置(以下、キャプチャーカード)でデジタルデータに変換したときのデータ構造を、図11で説明する。NTSC信号では、映像は偶数フィールドと、奇数フィールドで構成されている。偶数フィールドと奇数フィールドは、空間的には1ライン分のずれがあり、また時間的には、６０分の１秒分のずれがある。このようなNTSC信号の偶数フィールドと奇数フィールドを、通常のキャプチャーカードでは、奇数フィールドと偶数フィールドがライン毎に組み合わさった、1101のような１枚のフレームとして、３０分の１秒に一枚の間隔で、コンピュータ内に取り込む。このように、本来時間的にも空間的にもずれている二枚のフィールドを、一枚のフレームとして取り扱うとき、そのフレームを、インタレースフレームという。すなわち、現在普及しているキャプチャーカードでは、NTSC信号を、インタレースフレームとしてデジタル化してコンピュータ内に取り込む。
【０００４】
上記したようなキャプチャーカードを用い、コンピュータ内に取り込んだインタレースフレームを符号化し、符号化映像情報として出力する映像情報処理装置の従来技術による例を、図を用いて説明する。図12は、従来技術による映像情報処理装置の構成を説明する図である。1201は、インターレース映像出力手段であり、インタレースフレームを出力するもので、一般にはキャプチャーカード等で実現され、NTSC信号を入力し、デジタル化した後にインタレースフレームとして出力するものである。1202は映像符号化手段であり、インタレース映像入力手段(1201)から入力されたインタレースフレームを、符号化し、符号化映像情報とするものである。本例では、インタレースフレームを、そのままインタレースフレームとして、符号化するものとする。例えば、MPEG2(Moving Picture ExpertGroup)の符号化規格によれば、符号化された映像情報が、インタレースフレームであることを示す符号が用意されているので、このような符号化手段を本例は想定している。しかし、それ以外の、例えば、インタレースフレームをフィールドに分割し、フィールド毎に符号化するような符号化手段を適用したとしても、従来技術を説明できる。このことは後に説明する。図13は、従来技術による映像情報処理装置の動作を説明する図である。
【０００５】
上記のように構成された従来技術による映像情報処理装置を、図12と図13を用いて説明する。まず、NTSC信号がインタレース映像出力手段(1201)に入力され、インタレース映像出力手段(1201)は、これをデジタル化し、インタレースフレームとして出力する。映像符号化手段(1202)は、上記インタレースフレームを符号化し、符号化されたインタレースフレームとして、出力する。これを繰り返す。
【０００６】
上記のように出力された符号化されたインタレースフレームが復号化される様子を説明するのが、図14である。符号化されたインタレースフレームは、映像復号化手段によって、インタレースフレームに復元される。このインタレーストフレームを、NTSC出力手段が、偶数フィールドと奇数フィールドとに分割し、アナログ信号にして出力する。
【０００７】
【発明が解決しようとする課題】
従来技術による映像情報処理装置は、前述の例で説明したように、インタレースフレームを、そのまま符号化するものであった。このような方式は、インタレース映像出力手段が、確実に、すべてのフレームを出力することが条件となる。もし、インタレース映像出力手段が、コマ落としなどをしてしまい、それを符号化しなければならない場合には、従来技術では本質的な問題を有している。
【０００８】
図15は、上記の問題を説明するための図である。図15では、６枚のフィールドで構成されるNTSC信号がインタレース映像出力手段に入力されたものとする。６枚のフィールドの時間的な並びを示すため、1〜6の番号を示した。1がもっとも過去の映像であり、6がもっとも新しい映像である。上記のごとく６枚のフィールド(1〜6)が、インタレース映像出力手段に入力されたが、符号化の負荷が高く、デジタル化したインタレース映像のバッファが足らなくなった、等の理由により、コマ落ちし、６枚のフィールドのうち、中心の二枚(3,4)がインタレースフレームにならなかったものとする。すなわち、本来なら３枚のインタレースフレームが出力されるところが、２枚しか出力されなかった。そこで、映像符号化手段は、コマ落ちしたフレームに対して、「前回のフレームと同一」という符号を出力し(図15のb)、符号化映像情報とした。
【０００９】
上記のごとく符号化された映像情報を復号化される様子を説明するのが、図16である。上記で符号化された映像情報は、映像復号化手段によりインタレースフレームに復号化されるが、符号化映像のbは、「前回のフレームと同一」という符号なので、最初の一枚のインタレースフレームが、コピーされ、二枚目のインタレースフレームとして使用される。このように復号化されたインタレースフレームを、NTSC出力手段が、偶数フィールドと奇数フィールドとに分割し、アナログ信号にして出力する。この時、最初のインタレースフレームは、「1,2」という時間的に変化するフィールドを持っており、２枚目のフレームは、最初のフレームを、コピーして使用するので、二枚目のフレームも、「1,2」と時間的に変化するフィールドを持つこととなる。これをNTSC信号として出力すると、最初、「1,2」とフィールドを出力した後に、もう一度、「1」のフィールドを出力する。これは、瞬間的にだが、「過去に戻る」こととなり、動きのある映像を出力すると、「1,2」と動いた映像が「1」で戻るので、映像が「ちらつく」という問題が発生してしまう。
【００１０】
図16で示した問題を回避するため、図15におけるbを、「偶数、奇数フィールドとも、前回の偶数フィールドと同じ」という符号とする。すなわち、図16で示した問題は、そもそも時間的に異なる２つのフィールドを持つフレームを、そのままコピーして使用したことに起因するものであるから、単一のフィールドをコピーして使用すれば、問題は回避できるはずである。
【００１１】
上記のごとく符号化された映像情報を復号化される様子を説明するのが、図17である。上記で符号化された映像情報は、映像復号化手段によりインタレースフレームに復号化されるが、符号化映像のbは、「偶数、奇数フィールドとも、前回の偶数フィールドと同じ」という符号なので、最初の一枚のインタレースフレームのうち、偶数フィールドのみコピーされ、二枚目のインタレースフレームとして使用される。このように復号化されたインタレースフレームを、NTSC出力手段が、偶数フィールドと奇数フィールドとに分割し、アナログ信号にして出力する。この時、２枚目のフレームは、最初のフレームのうち、偶数フィールドを二回コピーして使用するので、二枚目のフレームは、「2,2」と、時間的に変化しない、同一のフィールドを持つこととなる。これをNTSC信号として出力すると、時間的には、「1,2,2,2,5,6」となり、「過去に戻る」ことはなくなるので、図16のように、「ちらつく」という問題は回避できる。しかし、空間的には、本来、偶数フィールドにある画像を、奇数フィールド、すなわち１ライン上に表示することになるので(図17のX)、画像が上下に「ゆれる」という問題が発生する。これは、静止している映像を出力すると、特に顕著に知覚される問題である。
【００１２】
上記した従来の技術による例では、映像符号化手段としては、インタレースフレームを、そのままインタレースフレームとして、符号化するものとしたが、それ以外の、例えば、インタレースフレームをフィールドに分割し、フィールド毎に符号化するような符号化手段を適用したとしても、上記と同様の問題が発生することは、いうまでもない。また、本例では、コマ落ちした部分に対して、「前回のフレームと同じ」あるいは「前回のフィールドと同じ」という符号を用いるものとしたが、符号を用いず、前回のフレーム、あるいはフィールドと同じ映像をそのまま用いてコマ落ちした部分を符号化しても、当然ながら同様の問題が発生する。また、「前回のフレームと同じ」という符号ではなく、「次回のフレームと同じ」という符号を用いたとしても、やはり、同様の問題が発生する。すなわち、コマ落ちした部分を補うのに使用するフィールドが、コマ落ちした部分のフィールドと、偶数、奇数が異なれば、空間的な問題が発生し、偶数、奇数をあわせようとすると、時間的な問題が発生するのである。 本発明は、従来の映像情報処理装置が有していた前記の問題に鑑み、システムの負荷変動によりコマ落ちが発生しても、「ちらつき」や「ゆれ」といった問題を回避しつつ、コマ落ち部分を補うことを可能とすることを目的とするものである。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、請求項１、及び請求項３にかかる映像情報処理装置は、すべてのインタレースフレームを、一旦、フレームを構成するフィールドのうちの一枚をプログレッシブ変換することでプログレッシブフレームにし、そのプログレッシブフレームをインタレースフレームとして処理し、コマ落ち部にはコマ落ちの直前あるいは直後のフレームをコピーして補うことを特徴とするものである。
【００１４】
また、請求項２にかかる映像情報処理装置は、コマ落ちがあった場合にのみ、コマ落ちの直前あるいは直後のインタレースフレームを、一旦、フレームを構成するフィールドのうちの一枚をプログレッシブ変換することでプログレッシブフレームにし、そのプログレッシブフレームをインタレースフレームとして処理し、コマ落ち部には、コマ落ちの直前あるいは直後のフレームをコピーして補うことを特徴とするものである。
【００１５】
また、請求項４にかかる映像情報処理装置は、コマ落ちがあった場合にのみ、コマ落ちの直前あるいは直後のフィールドをプログレッシブ変換することでプログレッシブフレームにし、コマ落ち部には、このプログレッシブフレームをインタレースフレームとして処理することで補うことを特徴とするものである。
【００１６】
また、請求項５、及び請求項７にかかる映像情報処理方法は、すべてのインタレースフレームを、一旦、フレームを構成するフィールドのうちの一枚をプログレッシブ変換することでプログレッシブフレームにし、そのプログレッシブフレームをインタレースフレームとして処理し、コマ落ち部にはコマ落ちの直前あるいは直後のフレームをコピーして補うことを特徴とするものである。
【００１７】
また、請求項６にかかる映像情報処理方法は、コマ落ちがあった場合にのみ、コマ落ちの直前あるいは直後のインタレースフレームを、一旦、フレームを構成するフィールドのうちの一枚をプログレッシブ変換することでプログレッシブフレームにし、そのプログレッシブフレームをインタレースフレームとして処理し、コマ落ち部には、コマ落ちの直前あるいは直後のフレームをコピーして補うことを特徴とするものである。
【００１８】
また、請求項８にかかる映像情報処理方法は、コマ落ちがあった場合にのみ、コマ落ちの直前あるいは直後のフィールドをプログレッシブ変換することでプログレッシブフレームにし、コマ落ち部には、このプログレッシブフレームをインタレースフレームとして処理することで補うことを特徴とするものである。
【００１９】
【発明の実施の形態】
（実施の形態１）
本発明の実施の形態１による映像情報処理装置は、すべてのインタレースフレームのフィールドを一旦プログレッシブフレームに変換し、それをインタレースフレームとして符号化するものである。
【００２０】
図1は、本発明の第１の実施の形態における映像情報処理装置の構成図であり、図2は、同装置の動作を説明する図である。図中、101はインターレース映像出力手段であり、インターレースフレームを出力するもので、一般にはキャプチャーカード等で実現され、NTSC信号を入力し、デジタル化した後にインタレースフレームとして出力するものである。102は映像符号化手段であり、プログレッシブ変換手段(104)が変換したプログレッシブフレームを、インタレースフレームとして、符号化するものである。また、コマ落ち検出手段が(103)がプログレッシブ変換手段が出力したプログレッシブフレームのコマ落ちを検出すると、コマ落ち部分に、「コマ落ちの直前のインタレースフレームと同一」という符号を出力するものである。103はコマ落ち検出手段であり、プログレッシブ変換手段(104)が出力するプログレッシブフレームのコマ落ちを検出するものである。104は、プログレッシブ変換手段であり、インタレース映像出力手段(101)が出力したインタレースフレームを構成するフィールドのうち、一枚のフィールドを、プログレッシブフレームに変換するものである。ここで、フィールドをプログレッシブフレームに変換する様子を、図3で示す。図3では、フィールド２の、間隙となっているラインを補間することで、プログレッシブフレームに変換している。フィールド２のピクセルａは、隣あう上下のラインを構成するピクセルの平均をとることで作成している。これをフィールド内補間という。また、フィールド２のピクセルｂは、先立つフィールド１から、対応する位置のピクセルをコピーすることで作成している。これをフィールド間補間という。フィールド間補間をすれば厳密にプログレッシブフレームの解像度が倍になるが、動きのある部分でフィールド間補間をすると、像が２重となり、見づらい画像となる。フィールド内補間の場合は、解像度は落ちるが、動きのある部分でも適応できる。このように、フィールドをライン補間してプログレッシブフレームにする技術については、多くの研究がなされている。本例のプログレッシブ変換手段(104)は、いずれかの方法を用いて、インタレースフレームを構成するフィールドのうち、偶数フィールドを、プログレッシブフレームに変換するものとする。上記の例でもわかるように、変換されたプログレッシブフレームは、垂直解像度は倍になっているが、時間的には、偶数フィールドの時点での時間成分のみを持つものとなる。
【００２１】
上記のように構成された第１の実施の形態における映像情報処理装置の動作を、図1と図2を用いて説明する。まず、NTSC信号がインタレース映像出力手段(101)に入力され、インタレース映像出力手段(101)は、これをデジタル化し、インタレースフレームとして出力する。ここでは、「1,2,3,4,5,6,7,8」の順序でフィールドが入力されたが、コマ落ちが起こり、本来ならば４枚出力されるはずのインタレースフレームが、「1,2」と、「3,4」と、「7,8」の時間要素を持つ三枚しか、出力されなかった。このインタレースフレームを、プログレッシブ変換手段(104)が、偶数フィールドのみ、プログレッシブフレームにする。偶数フィールドのみをプログレッシブフレームにするので、垂直解像度は倍だが、時間要素は「2」と「4」と「8」である、プログレッシブフレームが３枚出力される。このプログレッシブフレームを、映像符号化手段(102)が、インターレースフレームとして、符号化し、「a」と「b」と「d」を得る。また、コマ落ち検出手段(103)は、プログレッシブフレームに付与されたタイムスタンプを読み取ることで、コマ落ちが発生したことを検出する。コマ落ち検出手段(103)からの指示により、映像符号化手段(102)は、「b」と同一であるという、「c」という符号を出力する。
【００２２】
上記のように出力された符号化されたインタレースフレームが復号化される様子を説明するのが、図4である。符号化されたインタレースフレームは、映像復号化手段によって、インタレースフレームに復元される。このインタレーストフレームを、NTSC出力手段が、偶数フィールドと奇数フィールドとに分割し、アナログ信号にして出力する。このとき、「c」は、「b」と同じであるという符号になっており、また、「a」と「b」と「d」は、一度プログレッシブフレームに変換した画像を、インタレースフレームとして符号化したものであるから、垂直解像度はフィールドの倍になっているものの、時間的要素は「2」と「4」と「8」しかない。したがって、再生される映像の時間的要素は、「2,2,4,4,4,4,8,8」となる。すなわち、従来の技術で問題となった、「時間が戻る」ことによる「ちらつき」の問題が解決でき、さらに、プログレッシブフレームに変換することで垂直解像度を補間しているので、本来偶数フィールドで表示すべき画像を奇数フィールドで表示することによる「ゆれ」の問題も解決できる。
【００２３】
なお、本例では、偶数フィールドをプログレッシブ変換するものとしたが、これは、奇数フィールドをプログレッシブ変換することもできる。また、本例では、コマ落ち検出手段が、プログレッシブフレームに付与されたタイムスタンプを読み取ることでコマ落ちを検出するものとしたが、プログレッシブ変換手段、あるいはインタレース映像出力手段から、コマ落ちした情報を得ても実現できる。また、本例では、映像符号化手段としては、プログレッシブフレームを、インタレースフレームとして、符号化するものとしたが、それ以外の、例えば、プログレッシブフレームをライン毎に分割してフィールドとし、フィールド毎に符号化するような符号化手段を適用したとしても、本発明は適用できる。また、本例では、コマ落ちした部分に対して、「前回のフレームと同じ」という符号を用いるものとしたが、符号を用いず、前回のフレーム、と同じ映像をそのまま用いてコマ落ちした部分を符号化しても、当然ながら問題は解決できる。また、「前回のフレームと同じ」という符号ではなく、「次回のフレームと同じ」という符号を用いたとしても、やはり、問題は解決できる。
【００２４】
さらに、本実施の形態では、出力されたインタレースフレームの処理として、画像の符号化を行うものとしたが、本発明はこのような処理に限定されるものではない。符号化処理ではなく、一般的な画像処理においても、本実施の形態で示したような本発明の実施が行えることはいうまでもない。その場合、コマ落ち部には、「直前、あるいは直後と同一」という符号を用いるのではなく、直前、あるいは直後のフレームをコピーし、コマ落ちを補う、コマ落ち対処手段、等を用意すればよい。
【００２５】
（実施の形態２）
本発明の実施の形態２による映像情報処理装置は、コマ落ちがあった時に、コマ落ちの直前あるいは直後のインタレースフレームのみ、フィールドを一旦プログレッシブフレームに変換し、それをインタレースフレームとして符号化し、且つ、コマ落ち部分には、プログレッシブフレームに変換した画像と同一であるという符号を出力するものでる。
【００２６】
図5は、本発明の第２の実施の形態における映像情報処理装置の構成図であり、図6は、同装置の動作を説明する図である。図中、501は映像符号化手段であり、インタレース映像出力手段(101)が出力したインタレースフレームを符号化するものであり、且つ、コマ落ち検出部(502)がインタレースフレームのコマ落ちを検出すると、コマ落ちの直前のインタレースフレームに関してはこれを符号化せず、代わりにプログレッシブ変換手段(503)が出力したプログレッシブフレームを、インタレースフレームとして、符号化し、さらに、コマ落ち部分に関しては、「直前のインタレースフレームと同一」という符号を出力するものである。502はコマ落ち検出手段であり、インタレース映像出力手段(101)が出力したインタレースフレームのコマ落ちを検出するものである。503は、プログレッシブ変換手段であり、コマ落ち検出手段(502)がコマ落ちを検出すると、コマ落ち部分の直前のインタレースフレームを構成するフィールドのうち、偶数フィールドを、プログレッシブフレームに変換し、出力するものである。フィールドをプログレッシブフレームに変換する方法については、実施の形態１で説明した方法と同じである。その他の構成要素については実施の形態１と同様であるので、説明は割愛する。
【００２７】
上記のように構成された第２の実施の形態における映像情報処理装置の動作を、図5と図6を用いて説明する。まず、NTSC信号がインタレース映像出力手段(101)に入力され、インタレース映像出力手段(101)は、これをデジタル化し、インタレースフレームとして出力する。ここでは、「1,2,3,4,5,6,7,8」の順序でフィールドが入力されたが、コマ落ちが起こり、本来ならば４枚出力されるはずのインタレースフレームが、「1,2」と、「3,4」と、「7,8」の時間要素を持つ三枚しか、出力されなかった。このコマ落ちを、コマ落ち検出手段(502)が、インタレースフレームに付与されたタイムスタンプを読み取ることで検出し、プログレッシブ変換手段(503)に対して、変換の指示を出す。プログレッシブ変換手段(503)は、変換の指示を受けて、コマ落ち部分の直前のインタレースフレームの、偶数フィールドのみ、プログレッシブフレームにする。偶数フィールドのみをプログレッシブフレームにするので、垂直解像度は倍だが、時間要素は「4」である、プログレッシブフレームが一枚出力される。一方、映像符号化手段(501)は、コマ落ち検出手段(502)のコマ落ちの指示を受け、コマ落ち部分の直前のインタレースフレーム(3,4)に関しては符号化せず、代わりにプログレッシブ変換手段(503)が出力したプログレッシブフレームを、インタレースフレームとして、符号化する(図中の「b」)。また、コマ落ち部分に関しては、「直前のインタレースフレームと同一」という符号(図中の「c」)を出力する。さらに、その後のインタレースフレーム(7,8)については、通常どおり、インタレースフレームとして、符号化する(図中の「d」)。
【００２８】
上記のように出力された符号化されたインタレースフレームが復号化される様子を説明するのが、図7である。符号化されたインタレースフレームは、映像復号化手段によって、インタレースフレームに復元される。このインタレーストフレームを、NTSC出力手段が、偶数フィールドと奇数フィールドとに分割し、アナログ信号にして出力する。このとき、「c」は、「b」と同じであるという符号になっており、また、「b」は、一度プログレッシブフレームに変換した画像を、インタレースフレームとして符号化したものであるから、垂直解像度はフィールドの倍になっているものの、時間的要素は「4」しかない。したがって、再生される映像の時間的要素は、「1,2,4,4,4,4,7,8」となる。すなわち、従来の技術で問題となった、「ちらつき」の問題が解決でき、さらに、プログレッシブフレームに変換することで垂直解像度を補間しているので、本来偶数フィールドで表示すべき画像を奇数フィールドで表示することによる「ゆれ」の問題も解決できる。さらに、実施の形態１では、すべてのフレームの偶数フィールドをプログレッシブ変換していたため、すべてのフレームの時間的要素が半分となり、コマ落ちが発生しなかったとしても、本来1/60秒に一回動くはずの映像が、1/30秒に一回となり、動きがカクカクするという問題を有していたが、本実施の形態では、コマ落ちが発生した場合にのみ、プログレッシブ変換を行うので、コマ落ちが発生しない限り、1/60秒の滑らかな再生が実現できる。さらに、コマ落ちが生じた時のみプログレッシブ変換を行うことで、毎フレームごとにプログレッシブ変換を行う場合に比べ、計算機資源の節約が図れるという利点もある。
【００２９】
なお、本例では、偶数フィールドをプログレッシブ変換するものとしたが、これは、奇数フィールドをプログレッシブ変換することもできる。また、本例では、映像符号化手段としては、プログレッシブフレームを、インタレースフレームとして、符号化するものとしたが、それ以外の、例えば、プログレッシブフレームをライン毎に分割してフィールドとし、フィールド毎に符号化するような符号化手段を適用したとしても、本発明は適用できる。また、本例では、コマ落ちした部分に対して、「前回のフレームと同じ」という符号を用いるものとしたが、符号を用いず、前回のフレーム、と同じ映像をそのまま用いてコマ落ちした部分を符号化しても、当然ながら問題は解決できる。また、コマ落ち部分の直前のインタレースフレームをプログレッシブ変換するのではなく、コマ落ち部分の直後のインタレースフレームをプログレッシブ変換し、コマ落ち部分には、「前回のフレームと同じ」という符号ではなく、「次回のフレームと同じ」という符号を用いても、問題は解決できる。
【００３０】
（実施の形態３）
本発明の実施の形態３による映像情報処理装置は、コマ落ちがあった時に、コマ落ちの直前あるいは直後のインタレースフレームの、コマ落ち部分に時間的に近いフィールドを、一旦プログレッシブフレームに変換し、それをインタレースフレームとして符号化して、コマ落ち部分の符号として用いるものである。
【００３１】
図8は、本発明の第２の実施の形態における映像情報処理装置の構成図であり、図9は、同装置の動作を説明する図である。図中、801は映像符号化手段であり、インタレース映像出力手段(101)が出力したインタレースフレームを符号化するものであり、且つ、コマ落ち検出部(502)がインタレースフレームのコマ落ちを検出すると、コマ落ち部分の符号として、ダミー用符号出力手段(802)が出力したダミー用の符号を用いるものである。802は、ダミー用符号出力手段であり、コマ落ち検出部(502)がインタレースフレームのコマ落ちを検出すると、コマ落ち部分の直前のインタレースフレームを構成するフィールドのうち、コマ落ち部に時間的に近いフィールド、すなわち、この場合は偶数フィールドを、プログレッシブフレームに変換し、その画像を符号化して、出力するものである。フィールドをプログレッシブフレームに変換する方法については、実施の形態１で説明した方法と同じである。その他の構成要素については実施の形態２と同様であるので、説明は割愛する。
【００３２】
上記のように構成された第３の実施の形態における映像情報処理装置の動作を、図8と図9を用いて説明する。まず、NTSC信号がインタレース映像出力手段(101)に入力され、インタレース映像出力手段(101)は、これをデジタル化し、インタレースフレームとして出力する。ここでは、「1,2,3,4,5,6,7,8」の順序でフィールドが入力されたが、コマ落ちが起こり、本来ならば４枚出力されるはずのインタレースフレームが、「1,2」と、「3,4」と、「7,8」の時間要素を持つ三枚しか、出力されなかった。このコマ落ちを、コマ落ち検出手段(502)が、インタレースフレームに付与されたタイムスタンプを読み取ることで検出し、ダミー用符号出力手段(802)に対して、ダミー用符号出力の指示を出す。ダミー用符号出力手段(802)は、上記の指示を受けて、コマ落ち部分の直前のインタレースフレームの、偶数フィールドを、プログレッシブフレームにする。偶数フィールドのみをプログレッシブフレームにするので、垂直解像度は倍だが、時間要素は「4」である。このプログレッシブフレームを、インタレースフレームとして、符号化して、出力する。一方、映像符号化手段(801)は、コマ落ち検出手段(502)のコマ落ちの指示を受け、コマ落ち部分に、ダミー用符号出力手段(802)が出力したダミー用符号を出力する(図中の「c」)。さらに、その後のインタレースフレーム(7,8)については、通常どおり、インタレースフレームとして、符号化する(図中の「d」)。
【００３３】
上記のように出力された符号化されたインタレースフレームが復号化される様子を説明するのが、図10である。符号化されたインタレースフレームは、映像復号化手段によって、インタレースフレームに復元される。このインタレーストフレームを、NTSC出力手段が、偶数フィールドと奇数フィールドとに分割し、アナログ信号にして出力する。このとき、「c」は、一度プログレッシブフレームに変換した画像を、インタレースフレームとして符号化したものであるから、垂直解像度はフィールドの倍になっているものの、時間的要素は「4」しかない。したがって、再生される映像の時間的要素は、「1,2,3,4,4,4,7,8」となる。すなわち、従来の技術で問題となった、「ちらつき」の問題が解決でき、さらに、プログレッシブフレームに変換することで垂直解像度を補間しているので、本来偶数フィールドで表示すべき画像を奇数フィールドで表示することによる「ゆれ」の問題も解決できる。さらに、実施の形態２では、コマ落ちの直前のフィールドをプログレッシブフレームに変換していたため、コマ落ち部分と合わせて多くの時間成分が失われていたという問題を有していたが、本実施の形態では、コマ落ち部分のみ時間成分が失われるので、滑らかな再生が実現できる。
【００３４】
なお、本例では、ダミー用符号出力手段と映像符号化手段としては、プログレッシブフレームを、インタレースフレームとして、符号化するものとしたが、それ以外の、例えば、プログレッシブフレームをライン毎に分割してフィールドとし、フィールド毎に符号化するような符号化手段を適用したとしても、本発明は適用できる。また、本例では、コマ落ちした部分に対して、まず、コマ落ちの直前のフィールドをプログレッシブフレームに変換し、その画像をインタレースフレームとして符号化した符号を用いていたが、本発明を実装する処理系に、「前回のフィールドをプログレッシブ変換したものと同一(あるいは、前回のフィールドのライン補間したものと同一)」という符号が用意されていれば、そのような符号をそのまま用いてもよい。また、コマ落ち部分の直前のフィールドをプログレッシブ変換するのではなく、コマ落ち部分の直後のフィールドをプログレッシブ変換し、それを符号化し、コマ落ち部分に用いても、問題は解決できる。その場合、変換するフィールドは、奇数フィールドとなる。
【００３５】
さらに、本実施の形態では、出力されたインタレースフレームの処理として、画像の符号化を行うものとしたが、本発明はこのような処理に限定されるものではない。符号化処理ではなく、一般的な画像処理においても、本実施の形態で示したような本発明の実施が行えることはいうまでもない。その場合、ダミー用符号出力手段の代わりに、直前、あるいは直後のフィールドをプログレッシブ変換し、その画像をコマ落ちを補う、コマ落ち対処手段、等を用意すればよい。
【００３６】
さらに、これまで述べた本発明の方法を、プログラム製品として実現し、それをフロッピーディスクやその他の記憶媒体などに格納して配布した場合や、コンピュータネットワーク等の媒体を通じて配布した場合などでも、本発明が有効であることは言うまでもない。
【００３７】
【発明の効果】
以上のように、本発明の請求項１にかかる映像情報処理装置は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記n枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換手段と、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出手段と、上記プログレッシブフレームを、n枚のフィールドから構成されるインタレースフレームとして符号化し、映像符号を出力する符号化手段であり、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ち部分にはコマ落ち部分の直前あるいは直後の上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化手段とを備えたことを特徴とすることで、インタレースフレームを符号化する際に、コマ落ちが発生し、そのコマ落ちを直前あるいは直後のフレームあるいはフィールドをコピーして補う場合に発生する「ちらつき」や「ゆれ」といった問題を解決することができる。
【００３８】
請求項２にかかる映像情報処理装置は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記インタレースフレームのコマ落ちを検出するコマ落ち検出手段と、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを、上記インタレースフレームを構成するn枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換手段と、上記インタレースフレームを符号化し、映像符号を出力する符号化手段であり、上記コマ落ち検出手段がコマ落ちを検出すると、上記インタレースフレームに代わり対応する上記プログレッシブフレームをn枚のフィールドから構成されるインタレースフレームとして符号化し、且つコマ落ち部分には上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化手段とを備えたことを特徴とすることで、コマ落ちがない部分は1/60fpsの滑らかな動きを保ちつつ、また、プログレッ シブ変換のための計算機資源を節約した上で、請求項１で述べた効果を実現できる。
【００３９】
請求項３にかかる映像情報処理装置は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記n 枚のフィールドのうち 1 枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換手段と、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出手段と、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ち部の画像として、コマ落ち部の直前あるいは直後の上記プログレッシブフレームをコピーして補うコマ落ち対処手段と、上記プログレッシブ変換手段及びコマ落ち対処手段とが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理手段とを備えたことを特徴とすることで、インタレースフレームを処理する際に、コマ落ちが発生し、そのコマ落ちを直前あるいは直後のフレームあるいはフィールドをコピーして補う場合に発生する「ちらつき」や「ゆれ」と いった問題を解決することができる。
【００４０】
請求項４にかかる映像情報処理装置は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記インタレースフレームのコマ落ちを検出するコマ落ち検出手段と、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを構成する n 枚のフィールドのうち、時間的にコマ落ち部に近い一枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換し、コマ落ち部の画像を該画像で補うコマ落ち対処手段と、上記インタレース映像出力手段及びコマ落ち対処手段とが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理手段とを備えたことを特徴とすることで、時間的成分の欠落をコマ落ち部分のみにとどめ、請求項３で述べた効果を実現できる。
【００４１】
請求項５にかかる映像情報処理方法は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記n 枚のフィールドのうち 1 枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換ステップと、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出ステップと、上記プログレッシブフレームを、 n 枚のフィールドから構成されるインタレースフレームとして符号化し、映像符号を出力する符号化ステップであり、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ち部分にはコマ落ち部分の直前あるいは直後の上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化ステップとを備えたことを特徴とすることで、インタレースフレームを符号化する際に、コマ落ちが発生し、そのコマ落ちを直前あるいは直後のフレームあるいはフィールドをコピーして補う場合に発生する「ちらつき」や「ゆれ」といった問題を解決することができる。
【００４２】
請求項６にかかる映像情報処理方法は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記インタレースフレームのコマ落ちを検出するコマ落ち検出ステップと、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを、上記インタレースフレームを構成するn枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換ステップと、上記インタレースフレームを符号化し、映像符号を出力する符号化ステップであり、上記コマ落ち検出ステップがコマ落ちを検出すると、上記インタレースフレームに代わり対応する上記プログレッシブフレームを n 枚のフィールドから構成されるインタレースフレームとして符号化し、且つコマ落ち部分には上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化ステップとを備えたことを特徴とすることで、コマ落ちがない部分は 1/60fps の滑らかな動きを保ちつつ、また、プログレッシブ変換のための計算機資源を節約した上で、請求項５で述べた効果を実現できる。
【００４３】
請求項７にかかる映像情報処理方法は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記n枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換ステップと、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出ステップと、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ち部の画像として、コマ落ち部の直前あるいは直後の上記プログレッシブフレームをコピーして補うコマ落ち対処ステップと、上記プログレッシブ変換ステップ及びコマ落ち対処ステップとが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理ステップとを備えたことを特徴とすることで、インタレースフレームを処理する際に、コマ落ちが発生し、そのコマ落ちを直前あるいは直後のフレームあるいはフィールドをコピーして補う場合に発生する「ちらつき」や「ゆれ」といった問題を解決することができる。
【００４４】
請求項８にかかる映像情報処理方法は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記インタレースフレームのコマ落ちを検出するコマ落ち検出ステップと、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを構成するn枚のフィールドのうち、時間的にコマ落ち部に近い一枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換し、コマ落ち部の画像を該画像で補うコマ落ち対処ステップと、上記インタレース映像出力ステップ及びコマ落ち対処ステップとが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理ステップとを備えたことを特徴とすることで、時間的成分の欠落をコマ落ち部分のみにとどめ、請求項７で述べた効果を実現できる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態の映像情報処理装置の構成図
【図２】 本発明の第１の実施の形態の映像情報処理装置の動作を説明する図
【図３】 プログレッシブ変換を説明する図
【図４】 本発明の第１の実施の形態の映像情報処理装置で符号化した映像符号化情報を復号化した時の動作を説明する図
【図５】 本発明の第２の実施の形態の映像情報処理装置の構成図
【図６】 本発明の第２の実施の形態の映像情報処理装置の動作を説明する図
【図７】 本発明の第２の実施の形態の映像情報処理装置で符号化した映像符号化情報を復号化した時の動作を説明する図
【図８】 本発明の第３の実施の形態の映像情報処理装置の構成図
【図９】 本発明の第３の実施の形態の映像情報処理装置の動作を説明する図
【図１０】 本発明の第３の実施の形態の映像情報処理装置で符号化した映像符号化情報を復号化した時の動作を説明する図
【図１１】 インタレースフレームを説明する図
【図１２】 従来技術による映像情報処理装置の構成図
【図１３】 従来技術による映像情報処理装置の動作を説明する図
【図１４】 従来技術による映像情報処理装置で符号化した映像符号化情報を復号化した時の動作を説明する図
【図１５】 従来技術による映像情報処理装置においてコマ落ちが発生した時の動作を説明する図
【図１６】 従来技術による映像情報処理装置で符号化した映像符号化情報を復号化した際の不具合を説明する第１の図
【図１７】 従来技術による映像情報処理装置で符号化した映像符号化情報を復号化した際の不具合を説明する第２の図
【符号の説明】
１０１ インタレース映像出力手段
１０２ 映像符号化手段
１０３ コマ落ち検出手段
１０４ プログレッシブ変換手段[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a configuration of a video information processing apparatus that encodes video information.
[0002]
[Prior art]
  With the recent development of digital technology, video information such as video images, which could only be handled in analog form in the past, can now be handled in digital form. Also, with the enhancement of the performance of personal computers, digitized video information can be processed by personal computers.
[0003]
  A data structure when an analog video signal such as NTSC is converted into digital data by a generally-available personal computer image capturing device (hereinafter referred to as a capture card) will be described with reference to FIG. In the NTSC signal, an image is composed of an even field and an odd field. The even field and the odd field are spatially shifted by one line, and are temporally shifted by 1/60 second. Such an NTSC signal even field and odd field are combined into one frame such as 1101 in which the odd field and even field are combined for each line in a normal capture card. At intervals of. Thus, when two fields that are originally shifted in time and space are handled as one frame, the frame is called an interlaced frame. In other words, in the capture cards that are currently popular, NTSC signals are digitized as interlaced frames and captured in a computer.
[0004]
  An example of a conventional video information processing apparatus that uses a capture card as described above to encode an interlaced frame captured in a computer and outputs it as encoded video information will be described with reference to the drawings. FIG. 12 is a diagram for explaining the configuration of a video information processing apparatus according to the prior art. 1201 is an interlaced video output means for outputting an interlaced frame, which is generally realized by a capture card or the like. The NTSC signal is input, digitized, and output as an interlaced frame. Reference numeral 1202 denotes video encoding means, which encodes the interlace frame input from the interlace video input means (1201) to obtain encoded video information. In this example, the interlace frame is encoded as it is as an interlace frame. For example, according to the MPEG2 (Moving Picture Expert Group) encoding standard, a code indicating that the encoded video information is an interlaced frame is prepared. Assumed. However, the prior art can be explained even when other encoding means such as, for example, an interlaced frame is divided into fields and encoded for each field is applied. This will be explained later. FIG. 13 is a diagram for explaining the operation of the conventional video information processing apparatus.
[0005]
  A conventional video information processing apparatus configured as described above will be described with reference to FIGS. First, the NTSC signal is input to the interlaced video output means (1201), and the interlaced video output means (1201) digitizes it and outputs it as an interlaced frame. The video encoding means (1202) encodes the interlace frame and outputs it as an encoded interlace frame. Repeat this.
[0006]
  FIG. 14 illustrates how the encoded interlace frame output as described above is decoded. The encoded interlaced frame is restored to the interlaced frame by the video decoding means. The interlaced frame is divided into an even field and an odd field by the NTSC output means and output as an analog signal.
[0007]
[Problems to be solved by the invention]
  The video information processing apparatus according to the prior art encodes an interlace frame as it is, as described in the above example. Such a method requires that the interlaced video output means reliably outputs all the frames. If the interlaced video output means drops a frame and must encode it, the conventional technique has an essential problem.
[0008]
  FIG. 15 is a diagram for explaining the above problem. In FIG. 15, it is assumed that an NTSC signal composed of six fields is input to the interlaced video output means. Numbers 1 to 6 are shown to show the temporal arrangement of the six fields. 1 is the oldest video and 6 is the newest video. As described above, six fields (1 to 6) are input to the interlaced video output means, but the encoding load is high and there are not enough buffers for digitized interlaced video. Assume that frames are dropped and two of the six fields (3,4) are not interlaced. That is, only two frames were output where three interlace frames were output. Therefore, the video encoding means outputs a code “same as the previous frame” for the frame where the frame is dropped (b in FIG. 15), and sets it as encoded video information.
[0009]
  FIG. 16 illustrates how the video information encoded as described above is decoded. The video information encoded above is decoded into an interlaced frame by the video decoding means, but b of the encoded video is a code “same as the previous frame”. The frame is copied and used as the second interlaced frame. The NTSC output means divides the interlace frame decoded in this way into an even field and an odd field and outputs it as an analog signal. At this time, the first interlaced frame has a time-varying field of “1, 2”, and the second frame is used by copying the first frame. The frame also has a field that changes in time as “1, 2”. When this is output as an NTSC signal, the field “1, 2” is output first, and then the field “1” is output again. Although this is instantaneous, it will be "returning to the past", and if a moving image is output, the image that moved "1, 2" will return with "1", causing the problem that the image "flickers" Resulting in.
[0010]
  In order to avoid the problem shown in FIG. 16, b in FIG. 15 is denoted by a sign “both even and odd fields are the same as the previous even field”. That is, since the problem shown in FIG. 16 originates from the fact that a frame having two fields that are temporally different from each other is copied and used as it is, if a single field is copied and used, The problem should be avoidable.
[0011]
  FIG. 17 illustrates how the video information encoded as described above is decoded. The video information encoded above is decoded into an interlaced frame by the video decoding means, but b of the encoded video is a code that is “same as the previous even field in both the even and odd fields”. Of the first interlaced frame, only the even field is copied and used as the second interlaced frame. The NTSC output means divides the interlace frame decoded in this way into an even field and an odd field and outputs it as an analog signal. At this time, since the second frame is used by copying the even field twice in the first frame, the second frame is the same as “2, 2”, which does not change in time. You will have a field. If this is output as an NTSC signal, it will be “1,2,2,2,5,6” in time and will not “go back to the past”, so the problem of “flickering” as shown in FIG. Can be avoided. However, spatially, since an image originally in an even field is displayed on an odd field, that is, one line (X in FIG. 17), there arises a problem that the image “sway” up and down. This is a problem that is particularly noticeable when a still image is output.
[0012]
  In the above prior art example, as the video encoding means, the interlace frame is encoded as it is as the interlace frame, but other than that, for example, the interlace frame is divided into fields, It goes without saying that the same problem as described above occurs even when encoding means for encoding each field is applied. Also, in this example, the symbols “same as the previous frame” or “same as the previous field” are used for the dropped frame part, but the previous frame or field is used without using the code. Even if the same video is used as it is and a frame missing part is encoded, the same problem naturally occurs. Further, even if the code “same as the next frame” is used instead of the code “same as the previous frame”, the same problem occurs. That is, if the field used to compensate for the dropped frame is different from the field where the dropped frame is even and odd, a spatial problem occurs. Problems arise. In view of the above-described problems of conventional video information processing apparatuses, the present invention avoids problems such as “flickering” and “swaying” even if frame dropping occurs due to system load fluctuations. It is intended to make it possible to supplement the part.
[0013]
[Means for Solving the Problems]
  In order to achieve the object, claim 1 andClaim 3The video information processing apparatus according to the present invention converts all interlaced frames into a progressive frame by progressively converting one of the fields constituting the frame, processes the progressive frame as an interlaced frame, and drops frames. The part is characterized in that the frame immediately before or after the frame drop is copied and compensated.
[0014]
  Further, the video information processing apparatus according to claim 2 progressively converts one of the fields constituting the frame to the interlace frame immediately before or after the frame drop only when the frame drop occurs. Thus, a progressive frame is formed, the progressive frame is processed as an interlaced frame, and the frame drop portion is supplemented by copying a frame immediately before or after the frame drop.
[0015]
  Also,Claim 4The video information processing device according to (2), only when there is a frame drop, converts the field immediately before or after the frame drop into a progressive frame by progressive conversion, and processes this progressive frame as an interlaced frame at the frame drop part. It is characterized by making up for it.
[0016]
  Also,Claim 5,as well asClaim 7According to the video information processing method, all interlaced frames are converted into progressive frames by progressively converting one of the fields constituting the frames, and the progressive frames are processed as interlaced frames. The part is characterized in that the frame immediately before or after the frame drop is copied and compensated.
[0017]
  Also,Claim 6In the video information processing method, only when there is a frame drop, the interlace frame immediately before or after the frame drop is temporarily converted into a progressive frame by progressively converting one of the fields constituting the frame. The progressive frame is processed as an interlaced frame, and the frame drop portion is supplemented by copying the frame immediately before or after the frame drop.
[0018]
  Also,Claim 8In the video information processing method, only when there is a frame drop, the field immediately before or after the frame drop is converted into a progressive frame by progressive conversion, and this progressive frame is processed as an interlaced frame in the frame drop part. It is characterized by making up for it.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
  (Embodiment 1)
  The video information processing apparatus according to Embodiment 1 of the present invention converts all interlace frame fields into progressive frames and encodes them as interlace frames.
[0020]
  FIG. 1 is a block diagram of a video information processing apparatus according to the first embodiment of the present invention, and FIG. 2 is a diagram for explaining the operation of the apparatus. In the figure, reference numeral 101 denotes an interlaced video output means for outputting an interlaced frame, which is generally realized by a capture card or the like, which inputs an NTSC signal, digitizes it, and outputs it as an interlaced frame. Reference numeral 102 denotes video encoding means, which encodes the progressive frame converted by the progressive conversion means (104) as an interlaced frame. Also, when the frame drop detection means (103) detects the frame drop of the progressive frame output by the progressive conversion means, it outputs a code “same as the interlace frame immediately before the frame drop” to the frame drop portion. is there. Reference numeral 103 denotes frame drop detection means for detecting frame drop in the progressive frame output by the progressive conversion means (104). 104 is a progressive conversion means for converting one field out of the fields constituting the interlace frame output by the interlace video output means (101) into a progressive frame. Here, FIG. 3 shows how a field is converted into a progressive frame. In FIG. 3, the lines in the field 2 are converted into progressive frames by interpolating the gap lines. The pixel a in the field 2 is created by taking the average of the pixels constituting the adjacent upper and lower lines. This is called intra-field interpolation. The pixel b in the field 2 is created by copying the pixel at the corresponding position from the preceding field 1. This is called inter-field interpolation. Inter-field interpolation strictly doubles the resolution of a progressive frame, but inter-field interpolation at a moving part causes the image to be doubled and viewed.ZIt becomes an image. In the case of intra-field interpolation, the resolution is lowered, but it can be applied even in a portion with motion. As described above, much research has been conducted on a technique for making a progressive frame by line-interpolating a field. It is assumed that the progressive conversion means (104) of this example converts an even field among the fields constituting the interlaced frame into a progressive frame using any method. As can be seen from the above example, the converted progressive frame has double the vertical resolution but temporally has only the time component at the time of the even field.
[0021]
  The operation of the video information processing apparatus in the first embodiment configured as described above will be described with reference to FIGS. First, the NTSC signal is input to the interlaced video output means (101), and the interlaced video output means (101) digitizes it and outputs it as an interlaced frame. Here, the fields are input in the order of “1,2,3,4,5,6,7,8”, but frame dropping occurs, and the interlace frame that should be output by 4 frames is Only three images with time elements of “1,2”, “3,4”, and “7,8” were output. The progressive conversion means (104) makes this interlaced frame a progressive frame only for even fields. Since only the even field is a progressive frame, the vertical resolution is doubled, but three progressive frames with time elements “2”, “4”, and “8” are output. The progressive frame is encoded by the video encoding means (102) as an interlaced frame to obtain “a”, “b”, and “d”. The frame drop detection means (103) detects that a frame drop has occurred by reading the time stamp given to the progressive frame. In response to an instruction from the frame drop detection means (103), the video encoding means (102) outputs a code “c” which is the same as “b”.
[0022]
  FIG. 4 illustrates how the encoded interlace frame output as described above is decoded. The encoded interlaced frame is restored to the interlaced frame by the video decoding means. The interlaced frame is divided into an even field and an odd field by the NTSC output means and output as an analog signal. At this time, “c” has the same sign as “b”, and “a”, “b”, and “d” are images that have been converted into progressive frames as interlaced frames. Since it is encoded, the vertical resolution is twice that of the field, but the temporal elements are only “2”, “4”, and “8”. Therefore, the temporal element of the reproduced video is “2,2,4,4,4,4,8,8”. In other words, the problem of “flickering” due to “returning time”, which was a problem with the conventional technology, can be solved, and furthermore, the vertical resolution is interpolated by converting to progressive frames, so it is originally displayed in even fields. The problem of “sway” caused by displaying an image to be displayed in an odd field can be solved.
[0023]
  In this example, the even field is progressively converted. However, the odd field can also be progressively converted. Further, in this example, the frame drop detection means detects the frame drop by reading the time stamp given to the progressive frame, but the frame drop information from the progressive conversion means or the interlaced video output means. It can also be realized. In this example, as the video encoding means, the progressive frame is encoded as an interlaced frame. However, other than that, for example, the progressive frame is divided into lines to form fields, The present invention can be applied even if encoding means for encoding is applied. Also, in this example, the code “same as the previous frame” is used for the dropped frame part, but the frame is dropped using the same image as the previous frame without using the code. Of course, the problem can also be solved by encoding. Further, even if the code “same as the next frame” is used instead of the code “same as the previous frame”, the problem can be solved.
[0024]
  Furthermore, in the present embodiment, the image is encoded as the processing of the output interlace frame, but the present invention is not limited to such processing. It goes without saying that the present invention as shown in the present embodiment can be implemented not only in the encoding process but also in general image processing. In that case, instead of using the symbol “same as immediately before or immediately after” for the frame drop part, if the frame immediately before or immediately after is copied to compensate for the frame drop, a frame drop countermeasure means, etc. are prepared. Good.
[0025]
  (Embodiment 2)
  The video information processing apparatus according to Embodiment 2 of the present invention, when there is a frame drop, converts only the interlace frame immediately before or after the frame drop into a progressive frame and encodes it as an interlace frame. In addition, a code indicating that the image is the same as the image converted into the progressive frame is output to the frame drop portion.
[0026]
  FIG. 5 is a block diagram of a video information processing apparatus according to the second embodiment of the present invention, and FIG. 6 is a diagram for explaining the operation of the apparatus. In the figure, reference numeral 501 denotes a video encoding means for encoding the interlaced frame output by the interlaced video output means (101), and the frame drop detection unit (502) detects the frame drop of the interlace frame. Is detected, the interlace frame immediately before the dropped frame is not encoded. Instead, the progressive frame output from the progressive conversion means (503) is encoded as an interlaced frame. Outputs a code “same as the previous interlaced frame”. Reference numeral 502 denotes frame drop detection means for detecting frame drop in the interlaced frame output by the interlace video output means (101). 503 is a progressive conversion means. When the frame drop detection means (502) detects a frame drop, an even field among the fields constituting the interlace frame immediately before the frame drop portion is converted into a progressive frame and output. To do. The method for converting a field into a progressive frame is the same as the method described in the first embodiment. Since other components are the same as those in the first embodiment, description thereof is omitted.
[0027]
  The operation of the video information processing apparatus in the second embodiment configured as described above will be described with reference to FIGS. First, the NTSC signal is input to the interlaced video output means (101), and the interlaced video output means (101) digitizes it and outputs it as an interlaced frame. Here, the fields are input in the order of “1,2,3,4,5,6,7,8”, but frame dropping occurs, and the interlace frame that should be output by 4 frames is Only three images with time elements of “1,2”, “3,4”, and “7,8” were output. The frame drop detection means (502) detects this frame drop by reading the time stamp given to the interlace frame, and issues a conversion instruction to the progressive conversion means (503). In response to the conversion instruction, the progressive conversion means (503) converts only the even field of the interlace frame immediately before the frame drop portion into a progressive frame. Since only the even field is a progressive frame, a single progressive frame with a vertical resolution of 2 but a time element of “4” is output. On the other hand, the video encoding means (501) receives the frame drop detection instruction from the frame drop detection means (502), does not encode the interlace frame (3,4) immediately before the frame drop portion, and instead progressives. The progressive frame output from the conversion means (503) is encoded as an interlaced frame (“b” in the figure). In addition, for the frame drop portion, a code (“c” in the figure) “same as the previous interlace frame” is output. Further, subsequent interlace frames (7, 8) are encoded as interlace frames as usual ("d" in the figure).
[0028]
  FIG. 7 illustrates how the encoded interlace frame output as described above is decoded. The encoded interlaced frame is restored to the interlaced frame by the video decoding means. The interlaced frame is divided into an even field and an odd field by the NTSC output means and output as an analog signal. At this time, “c” has the same sign as “b”, and “b” is an image that has been converted into a progressive frame and encoded as an interlaced frame. Although the vertical resolution is twice that of the field, the temporal factor is only “4”. Therefore, the temporal element of the reproduced video is “1,2,4,4,4,4,7,8”. In other words, the problem of “flicker”, which has been a problem with the conventional technology, can be solved, and further, the vertical resolution is interpolated by converting to progressive frames. The problem of “swaying” due to display can also be solved. Furthermore, in the first embodiment, since even fields of all frames are progressively converted, the temporal element of all frames is halved, and even if no frame drop occurs, it is essentially once every 1/60 seconds. The video that should move was once every 1/30 seconds, and the motion was jerky.However, in this embodiment, progressive conversion is performed only when a frame drop occurs. As long as no drop occurs, 1/60 second smooth playback can be achieved. Furthermore, by performing progressive conversion only when a frame drop occurs, there is an advantage that computer resources can be saved compared to the case of performing progressive conversion every frame.
[0029]
  In this example, the even field is progressively converted. However, the odd field can also be progressively converted. In this example, as the video encoding means, the progressive frame is encoded as an interlaced frame. However, other than that, for example, the progressive frame is divided into lines to form fields, The present invention can be applied even if encoding means for encoding is applied. Also, in this example, the code “same as the previous frame” is used for the dropped frame part, but the frame is dropped using the same image as the previous frame without using the code. Of course, the problem can also be solved by encoding. Also, instead of progressively converting the interlace frame immediately before the frame drop part, the interlace frame immediately after the frame drop part is progressively converted, and the frame drop part does not have the same sign as “previous frame”. The problem can also be solved by using the sign “same as the next frame”.
[0030]
  (Embodiment 3)
  When there is a frame drop, the video information processing apparatus according to Embodiment 3 of the present invention temporarily converts a field close in time to a frame drop portion immediately before or immediately after a frame drop into a progressive frame. These are encoded as an interlaced frame and used as a code for a dropped frame part.
[0031]
  FIG. 8 is a configuration diagram of a video information processing apparatus according to the second embodiment of the present invention, and FIG. 9 is a diagram for explaining the operation of the apparatus. In the figure, reference numeral 801 denotes video encoding means for encoding the interlaced frame output by the interlaced video output means (101), and the frame drop detection unit (502) detects the frame drop of the interlace frame. Is detected, the dummy code output by the dummy code output means (802) is used as the code for the dropped frame portion. 802 is a dummy code output means. When the frame drop detection unit (502) detects a frame drop of the interlace frame, the time in the frame drop part of the field constituting the interlace frame immediately before the frame drop part is displayed. Field, that is, even field in this case, is converted into a progressive frame, and the image is encoded and output. The method for converting a field into a progressive frame is the same as the method described in the first embodiment. Since other components are the same as those in the second embodiment, description thereof is omitted.
[0032]
  The operation of the video information processing apparatus in the third embodiment configured as described above will be described with reference to FIGS. First, the NTSC signal is input to the interlaced video output means (101), and the interlaced video output means (101) digitizes it and outputs it as an interlaced frame. Here, the fields are input in the order of “1,2,3,4,5,6,7,8”, but frame dropping occurs, and the interlace frame that should be output by 4 frames is Only three images with time elements of “1,2”, “3,4”, and “7,8” were output. The frame drop detection means (502) detects this frame drop by reading the time stamp given to the interlace frame, and issues a dummy code output instruction to the dummy code output means (802). . In response to the above instruction, the dummy code output means (802) sets the even field of the interlace frame immediately before the frame drop portion as a progressive frame. Since only the even field is a progressive frame, the vertical resolution is double, but the time element is “4”. The progressive frame is encoded as an interlaced frame and output. On the other hand, the video encoding means (801) receives the frame drop instruction from the frame drop detection means (502), and outputs the dummy code output by the dummy code output means (802) to the frame drop portion (FIG. Inside "c"). Further, subsequent interlace frames (7, 8) are encoded as interlace frames as usual ("d" in the figure).
[0033]
  FIG. 10 illustrates how the encoded interlaced frame output as described above is decoded. The encoded interlaced frame is restored to the interlaced frame by the video decoding means. The interlaced frame is divided into an even field and an odd field by the NTSC output means and output as an analog signal. At this time, “c” is an image that has been converted into a progressive frame and encoded as an interlaced frame. Therefore, although the vertical resolution is double the field, the temporal element is only “4”. . Therefore, the temporal element of the reproduced video is “1,2,3,4,4,4,7,8”. In other words, the problem of “flicker”, which has been a problem with the conventional technology, can be solved, and further, the vertical resolution is interpolated by converting to progressive frames. The problem of “swaying” due to display can also be solved. Furthermore, in the second embodiment, since the field immediately before the frame drop was converted to a progressive frame, there was a problem that many time components were lost together with the frame drop portion. In the form, since the time component is lost only in the frame dropping portion, smooth reproduction can be realized.
[0034]
  In this example, the dummy code output unit and the video encoding unit encode the progressive frame as an interlaced frame, but other than that, for example, the progressive frame is divided for each line. The present invention can be applied even if encoding means for encoding each field is applied. In this example, for the part where the frame was dropped, first, the field immediately before the frame drop was converted to a progressive frame, and the image was encoded as an interlaced frame. If a code “same as progressive conversion of previous field (or same as line interpolation of previous field)” is prepared in the processing system to be used, such a code may be used as it is. . Further, the problem can be solved even if the field immediately before the frame drop portion is not subjected to the progressive conversion, but the field immediately after the frame drop portion is subjected to the progressive conversion, encoded, and used for the frame drop portion. In this case, the field to be converted is an odd field.
[0035]
  Furthermore, in the present embodiment, the image is encoded as the processing of the output interlace frame, but the present invention is not limited to such processing. It goes without saying that the present invention as shown in the present embodiment can be implemented not only in the encoding process but also in general image processing. In that case, instead of the dummy code output means, it is only necessary to prepare a frame dropping countermeasure means for performing progressive conversion on the immediately preceding or following field and compensating for the dropped frame in the image.
[0036]
  Furthermore, even when the method of the present invention described so far is realized as a program product and stored and distributed in a floppy disk or other storage medium, or distributed through a medium such as a computer network, the present method can be used. Needless to say, the invention is effective.
[0037]
【The invention's effect】
  As described above, the video information processing apparatus according to claim 1 of the present invention includes interlaced video output means for outputting an interlaced frame composed of n fields, and one of the n fields. Progressive conversion means for converting the field into a progressive frame by interpolating the line by n times, frame drop detection means for detecting the frame drop of the progressive frame, and an interlace frame comprising the progressive frame composed of n fields When the frame drop detection unit detects a frame drop, the frame drop portion is the same image as the progressive frame immediately before or immediately after the frame drop portion. And a video encoding means for outputting a code to be used as a video code As a result, when coding interlaced frames, frame dropping occurs, and problems such as “flickering” and “swaying” that occur when copying the frame or field immediately before or immediately after the frame dropping are compensated for. Can be solved.
[0038]
  According to a second aspect of the present invention, there is provided a video information processing apparatus comprising: an interlaced video output unit that outputs an interlace frame composed of n fields; a frame drop detection unit that detects a frame drop of the interlace frame; When the drop detection means detects a frame drop, a progressive frame is obtained by interpolating the interlace frame immediately before or after the frame drop by n-fold line interpolation of one of the n fields constituting the interlace frame. And a progressive conversion means for converting the interlace frame into an encoding means for encoding the interlace frame and outputting a video code. When the frame drop detection means detects a frame drop, the progressive frame corresponding to the interlace frame is detected instead of the interlace frame. An interlaced frame consisting of n fields And a video encoding means for outputting a code indicating that the image is the same image as the progressive frame and generating a video code in the dropped frame portion. The effect described in claim 1 can be realized while maintaining a smooth movement of 1/60 fps in the non-existing portion and saving computer resources for progressive conversion.
[0039]
  According to a third aspect of the present invention, there is provided a video information processing apparatus, comprising:n Out of field 1 SheetsConvert fields to progressive frames by interpolating lines by n timesA progressive conversion means, a frame drop detection means for detecting a frame drop in the progressive frame, and the frame drop detection means when the frame drop detection means detects a frame drop. Frame drop countermeasure means for copying and supplementing a frame, and image processing means for performing image processing with the frame output from the progressive conversion means and the frame drop countermeasure means as an interlaced frame When processing interlaced frames, frame dropping occurs, and flickering or shaking occurs when copying the frame or field immediately before or immediately after the frame dropping. Can solve such problems.
[0040]
  A video information processing apparatus according to claim 4 is an interlaced video output means for outputting an interlaced frame composed of n fields;A frame drop detection means for detecting a frame drop in an interlace frame, and when the frame drop detection means detects a frame drop, the interlace frame immediately before or after the frame drop is formed. n One of the fields is close to the drop-out part in timeThe field is converted to a progressive frame by n-time line interpolation., The image of the dropped frame partThe above-mentioned means for dealing with dropped frames and the aboveInterlaced video output meansAnd an image processing means for performing image processing with the frame output by the frame drop countermeasure means as an interlaced frame,It is possible to achieve the effect described in claim 3 by limiting the lack of temporal components only to the frame dropping part..
[0041]
  A video information processing method according to claim 5 is an interlaced video output step of outputting an interlaced frame composed of n fields.n Out of field 1 SheetsConvert fields to progressive frames by interpolating lines by n timesA progressive conversion step, a frame drop detection step for detecting frame drop of the progressive frame, and the progressive frame, n This is an encoding step for encoding as an interlaced frame composed of a plurality of fields and outputting a video code. When the frame drop detection step detects a frame drop, the frame drop portion immediately before or immediately after the frame drop portion is detected. And a video encoding step for outputting a code indicating that the image is the same as the progressive frame and generating a video code, thereby dropping frames when encoding an interlaced frame. , Can solve the problems such as "flicker" and "sway" that occur when copying the frame or field immediately before or after the frame drop..
[0042]
  A video information processing method according to claim 6 is an interlaced video output step of outputting an interlaced frame composed of n fields.When the frame drop detection step for detecting frame drop of an interlace frame and the frame drop detection step detects a frame drop, the interlace frame immediately before or after the frame drop constitutes the interlace frame.Progressive conversion step of converting one field out of n fields to a progressive frame by interpolating n times the line,Encode the above interlaced frame,It is an encoding step for outputting a video code, and when the frame drop detection step detects a frame drop,Instead of the interlaced frame, the corresponding progressive frame n A video encoding step of encoding as an interlaced frame composed of a plurality of fields, and outputting a code indicating that the same image as the progressive frame is output to a frame drop portion as a video code. So, the part where there is no frame drop 1 / 60fps The effect described in claim 5 can be realized while maintaining the smooth movement of the computer and saving computer resources for progressive conversion..
[0043]
  The video information processing method according to claim 7 includes an interlaced video output step of outputting an interlaced frame composed of n fields,the aboveProgressive conversion step of converting one field out of n fields into a progressive frame by interpolating n times the line, and the aboveFrame drop detection step for detecting frame drop of a progressive frame,When the frame drop detection step detects a frame drop,As an image of a frame drop part, a frame output by the frame drop countermeasure step that compensates by copying the progressive frame immediately before or after the frame drop part, and the frame output by the progressive conversion step and the frame drop countermeasure step as an interlaced frame, And an image processing step for performing image processing. When interlaced frames are processed, frame dropping occurs, and the frame or field immediately before or immediately after is copied to compensate for the frame dropping. Can solve problems such as flickering and shaking.
[0044]
  The video information processing method according to claim 8 includes an interlaced video output step of outputting an interlace frame composed of n fields, a frame drop detection step of detecting a frame drop of the interlace frame, and the frame When the drop detection step detects a frame drop, it interpolates n times the one field close to the frame drop part in time among the n fields that make up the interlace frame immediately before or after the frame drop. To convert to progressive frameAn image processing step for performing image processing using the frame output from the frame dropout step for supplementing the image of the frame dropout portion with the image and the interlaced video output step and the frame dropout response step as an interlaced frame.With the feature that it is equipped with, the lack of temporal component is limited only to the frame drop part,Claim 7The effect described in can be realized.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a video information processing apparatus according to a first embodiment of this invention.
FIG. 2 is a diagram for explaining the operation of the video information processing apparatus according to the first embodiment of this invention;
FIG. 3 is a diagram for explaining progressive conversion.
FIG. 4 is a diagram for explaining an operation when video encoded information encoded by the video information processing apparatus according to the first embodiment of the present invention is decoded.
FIG. 5 is a configuration diagram of a video information processing apparatus according to a second embodiment of this invention.
FIG. 6 is a diagram for explaining the operation of the video information processing apparatus according to the second embodiment of the present invention;
FIG. 7 is a diagram illustrating an operation when video encoded information encoded by the video information processing apparatus according to the second embodiment of the present invention is decoded.
FIG. 8 is a configuration diagram of a video information processing apparatus according to a third embodiment of this invention.
FIG. 9 is a diagram for explaining the operation of the video information processing apparatus according to the third embodiment of the present invention;
FIG. 10 is a diagram for explaining an operation when video encoded information encoded by the video information processing apparatus according to the third embodiment of the present invention is decoded.
FIG. 11 is a diagram illustrating an interlaced frame
FIG. 12 is a block diagram of a conventional video information processing apparatus.
FIG. 13 is a diagram for explaining the operation of a video information processing apparatus according to the prior art.
FIG. 14 is a diagram for explaining an operation when video encoded information encoded by a video information processing apparatus according to the prior art is decoded.
FIG. 15 is a diagram for explaining an operation when a frame drop occurs in a conventional video information processing apparatus;
FIG. 16 is a first diagram for explaining a malfunction when video encoded information encoded by a video information processing apparatus according to the prior art is decoded;
FIG. 17 is a second diagram for explaining a malfunction when video encoded information encoded by a video information processing apparatus according to the prior art is decoded;
[Explanation of symbols]
  101 Interlaced video output means
  102 Video encoding means
  103 Frame drop detection means
  104 progressive conversion means

Claims (8)

n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記n枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換手段と、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出手段と、上記プログレッシブフレームを、n枚のフィールドから構成されるインタレースフレームとして符号化し、映像符号を出力する符号化手段であり、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ち部分にはコマ落ち部分の直前あるいは直後の上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化手段とを備えたことを特徴とする映像情報処理装置。interlaced video output means for outputting an interlaced frame composed of n fields, progressive conversion means for converting one of the n fields into a progressive frame by interpolating n times the line, and Frame drop detection means for detecting frame drop of the progressive frame, and coding means for encoding the progressive frame as an interlaced frame composed of n fields and outputting a video code, the frame drop detection When the means detects a frame drop, the frame drop part is provided with a video encoding means for outputting a code indicating that it is the same image as the progressive frame immediately before or after the frame drop part and making it a video code. A featured video information processing device. n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記インタレースフレームのコマ落ちを検出するコマ落ち検出手段と、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを、上記インタレースフレームを構成するn枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換手段と、上記インタレース映像出力手段が出力したインタレースフレームを符号化し、映像符号を出力する符号化手段であり、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームに代わり対応する上記プログレッシブフレームをn枚のフィールドから構成されるインタレースフレームとして符号化し、且つコマ落ち部分には上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化手段とを備えたことを特徴とする映像情報処理装置。An interlaced video output means for outputting an interlace frame composed of n fields, a frame drop detection means for detecting a frame drop in the interlace frame, and a frame drop detection means when the frame drop detection means detects a frame drop. Progressive conversion means for converting the interlace frame immediately before or after a fall into a progressive frame by interpolating one field out of n fields constituting the interlace frame by n times the line, and the interlace Encoding means that encodes the interlaced frame output by the video output means and outputs the video code. When the frame drop detection means detects a frame drop, it corresponds to the interlace frame immediately before or after the frame drop. The above progressive frame to n fields Video information characterized by comprising video encoding means for encoding as a configured interlaced frame and outputting a code indicating that the same image as the above-mentioned progressive frame is output to a frame drop portion as a video code Processing equipment. n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記n枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換手段と、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出手段と、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ち部の画像として、コマ落ち部の直前あるいは直後の上記プログレッシブフレームをコピーして補うコマ落ち対処手段と、上記プログレッシブ変換手段及びコマ落ち対処手段とが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理手段とを備えたことを特徴とする映像情報処理装置。interlaced video output means for outputting an interlaced frame composed of n fields, progressive conversion means for converting one of the n fields into a progressive frame by interpolating n times the line, and When the frame drop detection means for detecting the frame drop of the progressive frame and the frame drop detection means detect the frame drop, the progressive frame immediately before or immediately after the frame drop portion is copied and compensated as an image of the frame drop portion. An image information processing apparatus, comprising: a frame dropping unit, and an image processing unit that performs image processing using the frames output from the progressive conversion unit and the frame dropping unit as an interlaced frame. n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記インタレースフレームのコマ落ちを検出するコマ落ち検出手段と、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを構成するn枚のフィールドのうち、時間的にコマ落ち部に近い一枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換し、コマ落ち部の画像を該画像で補うコマ落ち対処手段と、上記インタレース映像出力手段及びコマ落ち対処手段とが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理手段とを備えたことを特徴とする映像情報処理装置。An interlaced video output means for outputting an interlace frame composed of n fields, a frame drop detection means for detecting a frame drop in the interlace frame, and a frame drop detection means when the frame drop detection means detects a frame drop. Of the n fields that make up the interlace frame immediately before or after the drop, one field that is close to the frame drop part in time is converted to a progressive frame by n-line interpolation, and the frame drop part is converted. A frame drop countermeasure unit that supplements the image with the image, and an image processing unit that performs image processing using the frame output by the interlaced video output unit and the frame drop counter unit as an interlaced frame. Video information processing device. n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記n枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換ステップと、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出ステップと、上記プログレッシブフレームを、n枚のフィールドから構成されるインタレースフレームとして符号化し、映像符号を出力する符号化ステップであり、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ち部分にはコマ落ち部分の直前あるいは直後の上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化ステップとを備えたことを特徴とする映像情報処理方法。an interlaced video output step for outputting an interlaced frame composed of n fields, and a progressive conversion step for converting one of the n fields into a progressive frame by interpolating n times the line, A frame drop detection step for detecting a frame drop in the progressive frame, and a coding step for encoding the progressive frame as an interlaced frame composed of n fields and outputting a video code. When the step detects a frame drop, the frame drop portion includes a video encoding step that outputs a code that is the same image as the progressive frame immediately before or immediately after the frame drop portion and sets it as a video code. A characteristic video information processing method. n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記インタレースフレームのコマ落ちを検出するコマ落ち検出ステップと、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを、上記インタレースフレームを構成するn枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換ステップと、上記インタレース映像出力ステップが出力するインタレースフレームを符号化し、映像符号を出力する符号化ステップであり、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームに代わり対応する上記プログレッシブフレームをn枚のフィールドから構成されるインタレースフレームとして符号化し、且つコマ落ち部分には上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化ステップとを備えたことを特徴とする映像情報処理方法。An interlaced video output step for outputting an interlace frame composed of n fields, a frame drop detection step for detecting a frame drop in the interlace frame, and a frame drop detection step when a frame drop detection is detected. A progressive conversion step of converting the interlace frame immediately before or after the fall into a progressive frame by interpolating one field out of n fields constituting the interlace frame by n-fold line interpolation, and the interlace This is an encoding step that encodes the interlace frame output by the video output step and outputs the video code. When the frame drop detection step detects a frame drop, it corresponds to the interlace frame immediately before or after the frame drop. Progressive above A video encoding step of encoding a frame as an interlaced frame composed of n fields, and outputting a code indicating that the same image as the progressive frame is output to a frame drop portion as a video code And a video information processing method. n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記n枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換ステップと、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出ステップと、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ち部の画像として、コマ落ち部の直前あるいは直後の上記プログレッシブフレームをコピーして補うコマ落ち対処ステップと、上記プログレッシブ変換ステップ及びコマ落ち対処ステップとが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理ステップとを備えたことを特徴とする映像情報処理方法。an interlaced video output step for outputting an interlaced frame composed of n fields, and a progressive conversion step for converting one of the n fields into a progressive frame by interpolating n times the line, When the frame drop detection step for detecting the frame drop of the progressive frame and the frame drop detection step detects the frame drop, the progressive frame immediately before or immediately after the frame drop portion is copied and compensated as an image of the frame drop portion. An image information processing method, comprising: a frame dropping step, and an image processing step for performing image processing using the frames output from the progressive conversion step and the frame dropping countermeasure step as interlaced frames. n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記インタレースフレームのコマ落ちを検出するコマ落ち検出ステップと、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを構成するn枚のフィールドのうち、時間的にコマ落ち部に近い一枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換し、コマ落ち部の画像を該画像で補うコマ落ち対処ステップと、上記インタレース映像出力ステップ及びコマ落ち対処ステップとが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理ステップとを備えたことを特徴とする映像情報処理方法。An interlaced video output step for outputting an interlace frame composed of n fields, a frame drop detection step for detecting a frame drop in the interlace frame, and a frame drop detection step when a frame drop detection is detected. Of the n fields that make up the interlace frame immediately before or after the drop, one field that is close to the frame drop part in time is converted to a progressive frame by n-line interpolation, and the frame drop part is converted. An image processing step for performing image processing using the frame output from the interlaced video output step and the frame loss countermeasure step as an interlaced frame. Video information processing method.
JP33967597A 1997-12-10 1997-12-10 Video information processing apparatus and method Expired - Fee Related JP4003267B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33967597A JP4003267B2 (en) 1997-12-10 1997-12-10 Video information processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33967597A JP4003267B2 (en) 1997-12-10 1997-12-10 Video information processing apparatus and method

Publications (2)

Publication Number Publication Date
JPH11177987A JPH11177987A (en) 1999-07-02
JP4003267B2 true JP4003267B2 (en) 2007-11-07

Family

ID=18329745

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33967597A Expired - Fee Related JP4003267B2 (en) 1997-12-10 1997-12-10 Video information processing apparatus and method

Country Status (1)

Country Link
JP (1) JP4003267B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI114527B (en) 2002-01-23 2004-10-29 Nokia Corp Grouping of picture frames in video encoding
KR100959573B1 (en) * 2002-01-23 2010-05-27 노키아 코포레이션 Grouping of image frames in video coding
JP2006033219A (en) * 2004-07-14 2006-02-02 Ricoh Co Ltd Image processing apparatus, interpolation frame generating method, program, and information recording medium

Also Published As

Publication number Publication date
JPH11177987A (en) 1999-07-02

Similar Documents

Publication Publication Date Title
US5754248A (en) Universal video disc record and playback employing motion signals for high quality playback of non-film sources
US7196731B2 (en) Method and apparatus of adaptive de-interlacing of dynamic image
KR100385968B1 (en) Receiver and display method for simultaneously displaying signals with different display formats and / or frame rates
US6118488A (en) Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
EP0818933B1 (en) Video signal converter and television signal processing apparatus
EP2094018A1 (en) Encoding apparatus for high frame rate videos, method and program
US7880808B2 (en) Video signal processing apparatus to generate both progressive and interlace video signals
US6784921B2 (en) Film mode detection method using periodic pattern of video sequence
US7250983B2 (en) System and method for overlaying images from multiple video sources on a display device
US20010016107A1 (en) Video signal reproducing apparatus
US20100277613A1 (en) Image recording device and image reproduction device
US6243140B1 (en) Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion
JP4003267B2 (en) Video information processing apparatus and method
US20050094030A1 (en) Method and/or circuitry for video frame rate and/or size conversion
US6791622B2 (en) Methods and apparatus for providing video still frame and video capture features from interlaced video signals
US20050025462A1 (en) Method and apparatus for equipping personal digital product with functions of recording and displaying of the digital video/audio multi-media
WO2005057579A1 (en) Data storage medium storing multiple video data with different formats and apparatus for reproducing data from data storage medium
JP4487804B2 (en) Image signal conversion method and image signal conversion apparatus
US20080225162A1 (en) Method and Apparatus for Deinterlaccing of Video Usung Motion Compensated Temporal Interpolation
JP2007074455A (en) Image recording and reproducing device
JP3601330B2 (en) Video signal playback device
JP2007295226A (en) Video processor
JP4656759B2 (en) Scanning line converter
JP4212212B2 (en) Image signal processing device
Ackerman Film sequence detection and removal in DTV format and standards conversion

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040909

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20041014

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061003

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070813

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees