JP2011041306A - 映像信号のデインタレース - Google Patents
映像信号のデインタレース Download PDFInfo
- Publication number
- JP2011041306A JP2011041306A JP2010215968A JP2010215968A JP2011041306A JP 2011041306 A JP2011041306 A JP 2011041306A JP 2010215968 A JP2010215968 A JP 2010215968A JP 2010215968 A JP2010215968 A JP 2010215968A JP 2011041306 A JP2011041306 A JP 2011041306A
- Authority
- JP
- Japan
- Prior art keywords
- line
- pixels
- pixel
- image field
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】インタレース画像フィールドをデインタレースしてノンインターレース画像フレームを得るデインタレース構成の実現を大幅に簡素化する。
【解決手段】各画像フィールドの空白線を除去し(110)、かつ各画像フィールドの残りの線の画素の2分の1を除去し(120)、それによって、半数の線(つまり約2分の1の垂直解像度)および半数の画素(つまり約2分の1の水平解像度)を持つ画像フレームを得る。空白線の除去は、空白線の位置の線の画素値を隣接する線の画素値から補間し、補間された線を維持し、隣接する線を除去し、それによって隣接する画像フィールド間の2分の1の線位置差によって生じる垂直ジッタを実質的に減少することを含むことができる。
【選択図】図2
【解決手段】各画像フィールドの空白線を除去し(110)、かつ各画像フィールドの残りの線の画素の2分の1を除去し(120)、それによって、半数の線(つまり約2分の1の垂直解像度)および半数の画素(つまり約2分の1の水平解像度)を持つ画像フレームを得る。空白線の除去は、空白線の位置の線の画素値を隣接する線の画素値から補間し、補間された線を維持し、隣接する線を除去し、それによって隣接する画像フィールド間の2分の1の線位置差によって生じる垂直ジッタを実質的に減少することを含むことができる。
【選択図】図2
Description
本出願は、1999年4月19日に出願された米国仮出願第60/129,934号の特典を請求する。
本発明は、映像信号のデインタレース(de-interlacing)に関する。
動画像は、フィルムから生成されるか、電子映像情報から生成されるかにかかわらず、順次投影される一連のフレームの画像情報、つまり制御された速度で進行する一連の静止画像を備えている。映像は、視聴者が個々のフレーム映像のちらつきを知覚しないように充分高い速度で、例えば毎秒60フレームで表示される。
技術、帯域幅、またはその他の制限のため、情報を全速で伝送することができない場合、映像を受入れ不可能な程度にまでは劣化しない、低い速度で情報を伝送する方法が使用される。歴史的にテレビジョン信号は、画像の情報の視聴者の知覚を高めるために、インタレース形式で符号化されてきた。例えば、NTSC方式で伝送されるテレビジョン信号は、毎秒60のインタレースフィールドを含み、連続する2つのフィールドで、一般的に4:3の横対縦のアスペクト比の1つの完全なフレームの画像情報を形成する。インタレース形式とは、図1の2つの連続インタレースフィールドの簡略図にあるように、画像情報の各フレームが2フィールドの画像情報に分割され、各フィールドがフレーム内の画像情報の線の半分を含むことを意味する。例えばNTSC方式では、各フレームは480本の水平線で捕捉され、各フィールドで240本が伝送される。つまり、1つのフィールドで偶数番号の線が伝送され、次の連続フィールドで奇数番号の線が伝送され、等々となる。図解のため、図1にはより少数の線を示す。
デジタルビデオ用のATSC標準をはじめ、多くの新しい映像標準は、それが提供する表示品質上の利点のため、インタレース画像を利用する。他方、コンピュータモニタおよび特定の高品位テレビジョンなど現代のディスプレイ装置は、画像が線またはフィールドをインタレースすることなく一連のフレームとして表示される、順次走査を採用している。つまり、各フレームが映像の全ての水平線を含む。したがって、順次ディスプレイは、同等のインタレースディスプレイの2倍の数である、毎秒60フレームの速度で1フレームにつき480本の水平線を表示する。
インタレース画像符号化形式で受信した映像を順次走査ディスプレイに表示するには、インタレース映像信号の順次映像信号への変換、つまりインタレース画像から一連の順次画像を形成することが必要である。全解像度での(つまり画像の細部の損失がない)そのような変換に関連する問題は、結果的に得られる順次画像がインタレース画像に含まれる情報の2倍の量の情報を必要とすること、およびフィールドの映像情報(フィールドメモリ)およびフレームの映像情報(フレームメモリ)を格納するために、厖大なメモリが必要なことである。また、映像データの1つの形式から他の形式への変換は計算集約的であり、映像データの様々な補間およびその他の組合せを、一般的に1フィールドにつき数百万回行なわなければならない。
そのような全解像度変換を実行する装置は、非常に複雑かつ高価である。変換計算によって処理したときに、しばしば不快なアーチファクトつまり2つの場所に現れる物体あるいはスミアパターンまたは擾乱パターンを発生させるフィールド間の画像の移動のため、追加的問題も起こる。従来の解決策は、これらの問題を克服しようと試みるにあたって変換プロセスの複雑さを増加させ、したがってその費用を増大させる傾向がある。
主要ソフトウェア会社によって提案された“bob”デインタレース技術の例のように、いわゆる“簡素化”デインタレース方式が提案された場合でさえも、プロセスが計算集約的であることに変わりはない。“bob”技術では、各フィールドの空白線は消去されるが、その後、線の半数の消去により失われた垂直解像度および縦横比を回復する試みの中で“欠落した”線を埋めるために、“2倍ズーム(times-two zoom)”プロセスによって復元することが事実上求められる。これは、“欠落した”線の各画素をそれに隣接する2本の線の画素値から計算する、計算集約的プロセスを必要とする。さらに、各水平線の全画素内容が維持され、それによって、各水平線の全画素内容のためのメモリストレージを含めて少なくとも全フィールドメモリ、あるいは高速実時間補間計算が提供されない場合には全フレームメモリが要求される。
したがって、インタレース画像フィールドをノンインターレース画像フレームに変換するための簡素化された方法が必要である。結果的に得られる画像フレームの解像度が低下しても、そのような方法は計算の簡素化という利点をもたらすことが望ましい。
この目的のために、本発明の一連のインタレース画像フィールドを一連のノンインターレース画像フレームに変換する方法は、各画像フィールドの各空白線を除去し、それによって、各画像フィールド内で空白線と交互に存在し一連の画素を含む各画像フィールドの各線を維持することと、各画像フィールドの各維持線の前記一連の画素のうち半数の画素を除去することと、を備える。
本発明の別の態様によると、一連のインタレース画像フィールドを一連のノンインターレース画像フレームに変換する機械可読コンピュータ命令で符号化される記憶媒体は、コンピュータに各画像フィールドの各空白線を除去させ、それによって、各画像フィールド内で空白線と交互に存在し一連の画素を含む各画像フィールドの各線を維持する手段と、コンピュータに各画像フィールドの各維持線の前記一連の画素のうち半数の画素を除去させる手段と、を備える。
本発明の好適な実施形態の詳細な記述は、図面と併せて読むと、いっそう容易に、かつより深く理解されるであろう。
図2は、本発明に係るデインタレース構成の略ブロック図であり、これは、簡素化された計算プロセスを実現することが望ましく、かつ全フィールド格納メモリまたは全フレーム格納メモリの必要性を避けることが望ましい。プロセスは、交互に存在し、合わせて1つの画像フレームを構成する、インタレース画像フィールドAおよびインタレース画像フィールドBと識別される一連の画像フィールドを含む、インタレース原画像信号100で始まる。例えば図1に示すように、インタレース画像フィールドAは画像の奇数番号の線を含み、インタレース画像フィールドBは画像の偶数番号の線を含む。完全な画像は、例えば交互の画像フィールドA−B−A−B−A−B・・・の連続によって提供される。インタレース画像フィールドAおよびBの各々の交互の線だけが実際に映像または画像情報、つまり値を持つ画素を含むので、それらの間の線は映像または画像情報、つまり画素値を含まず、空白線と呼ばれる。空白線(つまりフィールドAの偶数番号の線およびフィールドBの奇数番号の線)は除去または消去され110、画素情報を含む線だけが残る。全解像度で完全な線に対して全画素数を含む残りの線は、2分の1に収縮される120。線がアナログ映像画素を含む場合、線の“収縮”は、アナログ信号が通常標本化される率の2分の1の標本化率で規則的な時間間隔で、アナログ信号を標本化することによって行われる。線がデジタル映像画素を含む場合、つまり線が画素値を表す一連のデジタル語である場合、デジタル語の2分の1が除去または消去される。1つおきのアナログ標本またはデジタル語、つまり交互の画素を維持することが好ましい。
例えば、毎秒60フィールドの速度で線240本×720画素の2つのインタレースフィールドから形成される標準精細度NTSCインタレース画像は、毎秒30フレームの速度で線480本×720画素のインタレースフレームを生成する。従来のノンインターレースまたは順次走査への完全変換では、標準精細度NTSCインタレースフィールドは、毎秒60フレームの速度で順次走査される線480本×720画素のフレームに変換される。本発明による上述の変換では、標準精細度NTSCインタレースフィールドは、毎秒60フレームの速度で線240本×360画素のフレームに、つまり標準NTSC画像より高いフレーム速度であるが、縮小された解像度で変換される。
ここで使用する場合、画像および/または情報は、画像フィールドまたはフレームとしてインタレース形式であるかノンインターレース形式であるかにかかわらず、ディスプレイ装置に表示されるものに関して相互に置換可能に使用され、静止画像か動画像かにかかわらず、カメラ、コンピュータ、またはその他の発生源のいずれによって生成されたかにかかわらず、真実か、具象か抽象か、あるいは随意かにかかわらず、英数字または数学的表記法などの記号または文字を含むか否かにかかわらず、白黒、モノクローム、ポリクローム、またはフルカラーのいずれで表示されるかにかかわらず、視覚的イメージおよび映像を含み、ただしそれのみに限定されず、ユーザが希望する幅広い様々なディスプレイの全てを包含するように意図されている。
一般的に、画像に不快なアーチファクトを引き起こす望ましくないエーリアシングを生じることなく、垂直および水平方向の各々で画像を適切に縮小するために、垂直および水平方向の両方で画像の低域フィルタリングを実行して、そのようなエーリアシングを発生させる信号の高周波数成分を除去する必要がある。しかし、今日生成される映像の大部分は、そのようなフィルタリングを行うことなく、容認される品質の画像を得ることができる。高い時間周波数および空間周波数が存在する場合、例えば非常に高速で移動する尖鋭なエッジが発生するときには、フィルタリングされていない画像にアーチファクトが形成されることがある。相対的に低い周波数が存在する画像、例えば、動きの遅いまたは静止した物体の画像では、エーリアシングは最小限である。
前述の方法は、一連のインタレース画像フィールドを、原インタレース画像または同等の順次走査画像の約2分の1の垂直解像度および2分の1の水平解像度を有する一連のノンインターレースまたは順次走査画像フレームに充分に変換する。結果的に得られる連続したノンインターレース画像フレームは、テレビジョンまたはテレビジョン型ディスプレイ、あるいはコンピュータモニタまたはディスプレイ、あるいは類似物のいずれにおけるかにかかわらず、特定のテレビジョンで行われるような、ときどき“ピックス−イン−ピックス(pix−in−pix)”と呼ばれる、より小さい画像をずっと大きい画像のディスプレイに挿入するなどの特定の適用分野に、またはコンピュータディスプレイまたは安価なビデオカムコーダのビューファインダに見られるような小型スクリーンディスプレイにおけるテキストページ内の画像に適しており、垂直ジッタが視聴者にとって明らかとなるような他の適用分野には適さないかもしれない。この理由は、2つの連続するインタレース画像フィールドAおよびBの一部分の連続する線の相対的空間位置を示す線図である、図3を考察することによって理解することができる。
図3で、奇数番号の線だけを含むフィールドAは画素情報を含む線a、b、c、d、eを含み、画素情報を含むフィールドBの対応する偶数番号の線a、b、c、d、eから垂直方向にわずかにずれている。インタレース画像として表示されたとき、フィールドAの線はフィールドBの空白を埋め、フィールドBの線はフィールドBの空白を埋め、画像フレームを完成する。空白線の除去110によって収縮し、画像フレームとして表示した場合、フィールドAおよびBの線は事実上、線の2分の1づつ偏移または位置ずれし、したがってフレーム画像は、フレーム間で、例えば毎秒60回といったフレーム速度で、線の2分の1の寸法だけ上下に移動する。この垂直移動が観察者に知覚されるほどディスプレイが大きい場合、その移動は不快とみなされるかもしれず、したがって除去することが望ましい。
図4は、1つの画像フィールドの一部の一連の画素を含む線、また上述の垂直ジッタを引き起こす線の約2分の1の空間偏移または位置ずれを除去する、その変換の相対的空間位置を示す線図である。適切な変換(またはフィルタリング)は、簡単な平均化などによって、2つのNTSCインタレースフィールドのうちの一方の2つの隣接する線の画素を補間し、それらの代わりに平均線を使用するものである。変換が例えば図4のようにフィールドBの線で行われる場合、平均化による補間は、フィールドBの隣接する線aおよびbの値を加算し、和を2で割ることによって行われ、その結果が、変換またはフィルタリング後のフィールドBの平均線a´である。同様に、フィールドBの線bおよびcは同じく平均化されて、変換フィールドBの平均線b´を生じる。
線の各々に沿って対応する水平方向の位置における画素の値が変換されて、変換後の線のその特定位置における画素の画素値を生じることが好ましい。また、画素値の変換は、水平線に沿った画素数を削減し、それによって変換される画素値の数を削減した後で行うことが好ましい。アナログ映像情報の場合、隣接する線の画素値は、入力信号の和を2分の1に減衰したものを出力として提供する、抵抗器ネットワークなどの加算ネットワークによって平均化することができるが、各隣接線の画素値からの貢献が均等に加重される限り、減衰は2または特定の値である必要はない。デジタル映像情報の場合、隣接する線の対応する水平方向の位置における画素を表すデジタル語の画素値をデジタル加算し、次いで2で割る。また、空白線の除去は、各線の画素数の削減より先に行うことが好ましい。
したがって、画素情報を含む隣接する線、つまり交互インタレースフィールドの交互の線に対応する画素の値は、補間などによって、例えば平均化によって変換され、非変換フィールドの線から垂直方向の線間隔の約2分の1だけ垂直方向に偏移された、画素情報を含む新しい線が生成される。交互に1つおきのインタレースフィールドから導出された変換後の線を含むフレームが、残りのインタレースフィールドから導出された非変換フレームと交互に表示されたとき、各フレームは、水平方向および垂直方向の両方で、先行フレームおよび後続フレームと適切に整列する。適切に整列した線により、映像は、原インタレース映像信号のフィールド速度(例えば毎秒60)で、ただし、水平方向および垂直方向に2分の1の解像度で、ノンインターレース(つまり順次走査)画像フレームとして表示することができる。
インタレース画像フィールドをノンインターレース画像フレームに変換する際に実行する演算の回数が実質的に削減されることと、削減された画素数にこれらの演算を実行することと、また必要な演算が非常に簡単であることによって、本発明から特定の利点が得られる。先行技術のデインタレース方式は、水平方向に全ての画素を維持し、全てのインタレースフィールドの全ての空白線を補間線で埋めて垂直方向に補間して、“ズームした”または全解像度のノンインターレースのフレームを生成するので、これらの利点をもたらすことができない。例えば、結果的に得られる画像は、先行技術の“bob”方式で“補間重複方法を用いて垂直方向に2倍(2×)にズームしなければならない”。
本発明のこれらの利点は、本発明を、従来のマイクロプロセッサのアーキテクチャの一部に見られるような、単一命令複数データ(SIMD)コンピュータアーキテクチャを利用して実現するのに特にふさわしいものにする。SIMDプロセッサ(コンピュータ)は、他の並列プロセッサと同様に、複数のデジタルデータに同時並列演算を実行するように構成される。したがって、本書で交互のインタレース画像フィールドの隣接する線の画素値のフィルタリングまたは変換について述べたように、インタレース映像情報のデインタレースにおける複数の画素値の変換は、複数の画素に同時に行われる。
例えば、8バイトのデジタル情報に対し同時に並列演算を実行するプロセッサは、各々720画素を含む2本の線を、わずか90回の演算サイクルで360画素を含む単一の線に変換(例えば平均化)することができる。この場合、画素数の2分の1の削減120は変換演算の前に生ずる。変換演算では、プロセッサは、各プロセッサ演算サイクル中に8個の画素に平行して演算を行うので、各組の画素に2サイクル(例えば1サイクルをADD演算、1サイクルをSHIFT演算)を行うと、結果的に1本の線につき必要な演算サイクルは90回となる。この変換を、毎秒、30の交互フィールドの240本の線に実行するためには、毎秒240×30×90=648,000回の演算が必要なだけであり、これは毎秒数億回の演算サイクルで作動するプロセッサにとっては、非常に小さい演算数であり、したがって本発明は、例えばコンピュータまたはデジタルテレビ受像機内のマイクロプロセッサなど、他の作業に従事するプロセッサの背景処理として実行するのに有利である。パイプラインアーキテクチャの各変換を処理するためには、4つのサイクル、例えばFETCH(取り出し)、ADD(加算)、SHIFT(桁移動)、およびSTORE(格納)が必要になるかもしれず、これらは、変換データが4つのサイクルに利用可能になる時間を遅らせるが、計算サイクル数は増加させないことが注目される。
図5は、図4の画像フィールドBなど、インタレース画像フィールドの2つの隣接する画素包含線を変換する処理演算の表現を示す線図である。図5に示す画素情報を含む線の部分において、各方形は水平方向の画素数の削減120後の画素値を表しており、したがって交互位置の画素のみ、例えば偶数番号の画素が残っている。したがって、線aおよびbは各々、偶数番号の画素40a、42a、44a...、54aおよび40b、42b、44b...、54bを含む。特に、8個の画素が8バイト並列プロセッサによって並列で処理される状態が示されている。
線aおよびbの各々の8個の画素の画素値は一つに加算されて、それらの8個の和を生成し、それらは、線aおよびbの画素値が8ビットデジタル語の場合、オーバフロービット位置が必要であるため、8個の9ビットの和を生成する。8個の和は次に、例えば純粋(8−4−2−1)または変形バイナリ、2の補数、2進化10進数、グレイコード等々、利用される特定の形式の2進符号化に適した方法で、各々2で除算される。2による除算は、例えば値が純粋バイナリ(つまり8−4−2−1)ビット加重で表される場合、各和を1ビットづつ右に桁移動するのと同様に簡単である。1ビット右に桁移動することは、単純に、各値の最下位ビット(LSB)が脱落し、9ビット語のうちの残りの8個の最上位ビット(MSB)を8ビットの商として使用することであることに注意されたい。その結果は、インタレース画像フィールドの2つの隣接線のそれぞれの8バイト部分から並列して生成された、処理後または変換後の画素値40´、42´、44´...、54´の最終線の8バイト部分である。
本発明は、コンピュータ実現プロセス(単数または複数)として、および/またはそのようなコンピュータ実現プロセス(単数または複数)を実現する装置として具現化することができ、またコンピュータプログラム又はその他の機械可読命令(ここでは“コンピュータプログラム”という)を含む有形記憶媒体の形で具現化することもでき、ここでコンピュータプログラムがコンピュータまたはその他のプロセッサ(ここでは“コンピュータ”という)にロードされ、かつ/またはコンピュータによって実行されるときに、コンピュータは本発明を実施する装置になる。そのようなコンピュータプログラムを含む記憶媒体として、例えば、フロッピー(登録商標)ディスクおよびディスケット、コンパクトディスク(CD)−ROM(書込み可能か否かにかかわらず)、DVDデジタルディスク、RAMおよびROMメモリ、コンピュータハードドライブおよびバックアップドライブ、ならびにコンピュータによって読取り可能なその他の任意の記憶媒体がある。本発明はまた、例えば記憶媒体に格納されるか、それとも導電体、光ファイバ、またはその他の光伝導体などの伝送媒体により、または電磁放射によって伝送されるかにかかわらず、コンピュータプログラムの形で具現化することもでき、その場合、コンピュータプログラムはコンピュータにロードされ、かつ/またはコンピュータによって実行されるときに、コンピュータは、本発明を実施する装置になる。本発明は、特に本発明を実施するように構成された汎用マイクロプロセッサまたはデジタルプロセッサ上に実現することができる。汎用マイクロプロセッサを使用する場合、コンピュータプログラムコードは、特定の論理回路構成を形成するようにマイクロプロセッサの回路を構成する。
図6Aは、コンピュータまたはプロセッサ210を使用する実施形態200における本発明の実現のブロック図である。全てコンピュータ210の制御下で、60Hzのフィールド速度で入力するインタレース映像信号は、アナログ・デジタル(A/D)変換器220に加えられ、これは一連のデジタル語を含むそれらの標本化されたデジタル表現を生成し、これはアドレス指定可能なメモリ240に格納される。コンピュータ210は、中央処理装置(CPU)212および従来通り並列データ処理を行う演算論理回路(ALU)214を含む。図6Aの細い矢印は、制御のためにコンピュータ210のCPU212によって生成されるクロック信号、制御信号、およびメモリアドレスのための信号路を表し、太い両端矢印は、メモリ240によって生成され、コンピュータ210のALU214に提供されるデジタルデータ語、およびALU214によって生成され、格納するためにアドレス指定可能なメモリ240に提供されるデジタルデータ語のためのデータバスを表す。選択された画素値を表す処理後のデジタル語は、全て本発明に従って、CPU212によって呼び出されるアドレス指定可能なメモリ240のメモリアドレス場所から生成され、アナログ順次映像信号出力をそこから生成するデジタル・アナログ(D/A)変換器230に加えられる。
SIMD並列処理能力を含むコアを有する市販のプロセッサとして、インテル・ペンティアム(登録商標)II及びインテル・ペンティアム(登録商標)IIIマイクロプロセッサ、並びにMMX命令セットを実行する同等のプロセッサのみならず、モトローラG4パワーPC型のマイクロプロセッサ、およびその他の任意のプロセッサがあるが、背景で並列処理演算を実行するデジタル信号処理エンジンを含むものが好ましい。各プロセッサにおいて、本発明によるデインタレース処理は、本発明の方法を実行するようにプロセッサを構成するソフトウェアプログラムの制御下で実行することができる。実際、本発明の演算は、計算集約性が先行技術のデインタレース方式よりずっと低いので、本発明によるデインタレースは、プロセッサの主要機能の背景操作として有利に実行されることができ、したがって追加ハードウェアが必要なく、それによって追加の複雑さ及びコストが回避される。
図6Bは、デジタル映像データの処理を示す、図6Aのコンピュータ実施形態200のメモリ240の実現の概念的ブロック図である。A/D変換器220からのインタレース映像信号の画素値を表すデジタル語は、インタレースフィールドAからのものである場合にはフィールドメモリ242aに、インタレースフィールドBからのものである場合にはフィールドメモリ242bに格納される。フィールドメモリ242a、242bは、例えばNTSCビデオシステムでは、各々720個の8ビット画素の水平線480本を格納するのに充分なアドレス指定可能な記憶場所を有する、各々アドレス指定可能なランダムアクセスメモリ(RAM)である。インタレースフィールドの線は1つおきに空白であり、つまり画素情報が含まれないので、空白線は無視され、非空白線からの画素値が、インタレースフィールドAからのものである場合には、半フィールドメモリ244aに、インタレースフィールドBからのものである場合には、半フィールドメモリ244bに転送される。各半フィールドメモリ244a、244bは、NTSCビデオの場合、各々720個の8ビット画素の水平線240本を格納するのに充分なアドレス指定可能な記憶場所を有するアドレス指定可能なRAMである。
メモリ244a、244bに格納された各線の映像画素は、それぞれ水平方向のフィルタリングが行われて、半分の画素数を持つ映像データの線を生成し、インタレースフィールドAからのものである場合には1/4フィールドメモリ246aに、インタレースフィールドBからのものである場合には1/4フィールドメモリ246bに格納される。各1/4フィールドメモリ246a、246bは、NTSCビデオの場合、各々360個の8ビット画素の水平線240本を格納するのに充分なアドレス指定可能な記憶場所を有するアドレス指定可能なRAMである。さらに、上述の1/2線の垂直ジッタを解消するために、フィールドの1つからの線に垂直方向のフィルタリングも行う。図6Bで、インタレースフィールドBからの隣接線が1/4フィールドメモリ246bから検索され、垂直方向のフィルタリングが行われて置換線が生成され、これは1/4フィールドメモリ248に格納される。図6Bのデータの流れを表す矢印は、メモリ200内の1つのメモリから次のメモリを直接指し示しているが、1つのメモリによって生成されたデジタル画素データは、実際にはALU214に転送され、そこで水平または垂直フィルタリングが行われ、それから再びメモリ200内の次のメモリに転送されて格納されることがある。1/4フィールドメモリ248は、NTSCビデオの場合、各々360個の8ビット画素の水平線240本を格納するのに充分なアドレス指定可能な記憶場所を有するアドレス指定可能なRAMである。最後に、インタレースフィールドAおよびBから導出された処理後の線は、メモリ246aおよび248から交互に結合ノード250に生成される。結合ノードは、メモリ246aおよび248の出力がいわゆるトライステート型である場合には単純接続とすることができ、トライステート型でない場合には、一緒に合わせて順次映像信号出力を提供するために、マルチプレクサとすることができる。例えばNTSCビデオでは、各々360画素の線240本を有する順次映像フレームは、60Hzのフレーム速度で生成される。
メモリ200の現実的実現では、より少量のメモリが利用されることに注意されたい。例えば、コンピュータ210がメモリ200をアドレス指定して制御し、A/D変換器220からの入力デジタル画像データの線を1つおきにのみ格納し、それによって、空白線の画素位置のデータを単に格納しないことにより空白線を除去し、希望する線のみを半フィールドメモリ244a、244bに直接格納する場合、フィールドメモリ242a、242bは除去することができる。さらに、水平方向のフィルタリングが画素を1つおきに除去することを含む場合にも、半フィールドメモリ244a、244bを除去することができ、その場合コンピュータ210がメモリ200をアドレス指定して制御し、A/D変換器220からの入力デジタル画像データの線を1つおきにのみ格納し、それによって、空白線の画素位置のデータを単に格納しないことにより空白線を除去し、希望する線の1つおきの画素のみを1/4フィールドメモリ246a、246bに格納する。したがって、メモリ200の機能は、各々360画素の線240本、つまり合計して360個の8ビットの画素の線720本の3/4フィールドメモリのみによって提供することができ、これは従来のデインタレース構成に要求されるよりかなり小さいメモリである。実際には、より洗練されたメモリ制御およびアドレス指定により、メモリ246bおよび248の機能は、2つの1/4フィールドメモリおよび幾つかの線メモリのみによって、つまり合計して各々360画素の線484本のみによって提供することができる。垂直方向のフィルタリングまたは両方でより洗練されたフィルタリングが使用される場合、追加メモリ及び/又はより洗練されたメモリアドレス指定および制御が使用される。
図7は、本発明の方法を示す流れ図である。この方法は、デジタル映像形式であることが好ましいが、アナログ映像かデジタル映像形式かにかかわらず、インタレース映像フィールドを受け取り300、かつ各インタレース映像フィールドから空白線を除去する310のことを含む。空白線の除去310は、1つおきの線つまり空白線を単に脱落することを含むか、あるいは隣接する非空白線のフィルタリングを含むことができ、そうしたフィルタリングは線の補間、平均化、脱落、および類似物を含むことができる。したがって、各々480本の線のインタレースフィールドは、NTSC形式では、各々240本の線のフィールドに削減される。各インタレースフィールドの維持された非空白線をフィルタリングして320、水平方向のその画素の数を2分の1だけ減少することは、1つおきの画素つまり偶数番号または奇数番号の画素を単に脱落することを含むか、または隣接する画素をフィルタリングすることを含み、そのようなフィルタリングは、交互の画素の補間、平均化、脱落、および類似物を含むことができる。維持すべき画素の値、ならびに直前および直後の画素の値を例えば平均化によって補間して、維持する画素の値を入手し、それによって1つおきの画素を単に脱落することによって得られる結果より大幅に細部を保持し易くすることが好ましい。したがって、各々720画素のNTSC線は、各々360画素の線に削減される。1つのインタレースフィールド、例えばフィールドBをフィルタリングして330、それらの線を他のフィールド、例えばフィールドAの対応する線と整列させ、それによって、インタレースフィールドの線の交互に現れる性質によって生じる1/2線の垂直ジッタを除去することにより、受け取ったインタレース映像のフィールド速度と同一フレーム速度で、順次またはノンインターレース映像フレームが生成される340。フィルタリング330は、1つのインタレースフィールドの2つの隣接する非空白線に沿った同様の位置の画素の値を補間して、同じフィールドで補間される2つの線の間に位置する1本の線に沿った同じ位置の画素の値を生成することが好ましい。そのような補間が、隣接する線に沿って対応する位置の2つの画素の値を平均化することを含むことも、また好ましい。
本発明を、上記の例示的な実施形態に関連して説明したが、請求の範囲によって規定する本発明の範囲および精神内の変形は当業者には明らかであろう。例えば、各フィールドからの空白線の除去は、2本またはそれ以上の線の画素値を格納し、各線に沿った画素値の半分を除去し、かつ加算または平均化、またはその他の方法でフィルタリングまたは補間するなどによって、交互のフィールドの隣接する線の画素値を変換するように構成された特定のハードウェアのみならず、そのような機能を提供するように構成された特定のハードウェアでも実行することができる。特に、画素値の格納および各線の交互の画素値の除去は単に、特定の水平線の8ビット画素値をそのデータ入力で受け取り、かつ入力データ語をそのようなデータ語がその入力に加えられた速度の2分の1の速度で格納するようにクロックが発信される8ビット幅のシフトレジスタによって達成することができる。
さらに、1本の線の画素またはそのような線の画素を表現する一連のデジタル語の画素の2分の1を除去する演算は、付近の画素の値をフィルタリングまたは補間することによって達成され、この用語は相互に置換可能であり、かつ1つおきの画素を脱落したり、2つまたはそれ以上の隣接または付近の画素の値を平均化するなど(2つの画素の平均または3つの画素の平均など)の演算を含むことをも意図している。
Claims (8)
- 第一フレームレートを有する一連のインタレース画像フィールドを一連のノンインターレース画像フレームに変換する方法であって、
各画像フィールドの各空白線を除去し、各画像フィールド内で前記空白線と交互に存在していた、一連の画素を含む各画像フィールドの各線を維持することと、
各画像フィールドの各維持線の前記一連の画素のうち1つおきの画素を除去することであって、前記維持線がアナログ画素を含む場合、当該除去は、前記第一フレームレートの2分の1の標本化率で且つ規則的な時間間隔で、アナログ信号を標本化することを含み、前記維持線が前記画素値を表すデジタル語を含む場合、当該除去は、前記デジタル語の2分の1を消去することを含む、各画像フィールドの各維持線の前記一連の画素のうち1つおきの画素を除去することと、
1つおきの画像フィールドの各維持線の残りの画素の各々を、各維持線について、隣接する維持線の対応する残りの画素を加算して和を平均化することでフィルタリングし、フィルタリングされた維持線を該フィルタリングにより得られた結果線で置き換えて、前記結果線が、前記1つおきの画像フィールドにおける非補間画像フィールドの維持線から垂直方向の線間隔の2分の1だけ垂直方向に偏移された画素値を含み、且つ前記1つおきの画像フィールド内の前記結果線が、対応する交互の画像フィールド内の対応する維持線と整列するようにすることで、前記第一フレームレートにおける前記一連のノンインターレース画像フレームを生成することと、を備える方法。 - 前記1つおきの画素の除去が、前記一連の画素のうち少なくとも2つの隣接する画素を補間することを含む、請求項1に記載の方法。
- 前記各空白線の除去が、画素を含む2つの隣接する線の対応する画素の値から画素値を補間し、前記補間した画素値を維持し、画素値を含む2つの隣接線を除去することを含む、請求項1に記載の方法。
- 前記1つおきの画素の除去が、前記画素値の補間に先行する、請求項3に記載の方法。
- 内部に記録されたプログラムを含むコンピュータ読取り可能な記録媒体であって、前記プログラムは、同時にnビットのデジタル情報の並列演算を実行可能なコンピュータに、第一フレームレートを有する一連のインタレース画像フィールドを前記第一フレームレートを有する一連のノンインターレース画像フレームに変換させるプログラムであり、
コンピュータに各画像フィールドの各空白線を除去させ、それによって、各画像フィールド内で前記空白線と交互に存在していた、一連のn個の画素を含む各画像フィールドの各nビット線を維持する手段と、
前記コンピュータに、各画像フィールドの各維持nビット線の前記一連の画素のうち1つおきの画素を除去させる手段と、
前記コンピュータに、1つおきの画像フィールドの各維持nビット線の残りの画素の各々を、隣接する維持nビット線の対応する残りの画素を用いてフィルタリングさせ、結果的に得られるnビット線でフィルタリングされた維持nビット線を置き換えて、前記1つおきの画像フィールド内の前記結果的に得られるnビット線が、対応する交互の画像フィールド内の対応する維持線と整列されるようにさせる手段とを備え、
前記コンピュータにフィルタリングさせる手段は、n+1ビットを有するビット線を得るために、前記コンピュータに、第一レジスタにおける第一維持nビット線と、第二レジスタにおける隣接する維持nビット線とを加算させる手段と、前記結果的に得られるnビット線を得るために、前記コンピュータに、前記n+1ビット線における前記ビットを1ビット右に桁移動する手段とを更に含む、コンピュータ読取り可能な記憶媒体。 - 前記コンピュータに各空白線を除去させる前記手段が、前記コンピュータに、画素を含む2つの隣接する線の対応する画素の値から画素値を補間させて、1行の画素値を入手させる手段と、前記コンピュータに、前記入手した画素値を維持させる手段と、前記コンピュータに、画素を含む前記2つの隣接する線を除去させる手段とを含む、請求項5に記載のコンピュータ読取り可能な記憶媒体。
- 前記残りの画素の各々の前記フィルタリングは、前記一連の画素のうち少なくとも2つの隣接する画素を補間することを含む、請求項1に記載の方法。
- 前記維持線が前記アナログ画素を含む場合、前記平均化は加算ネットワークによってなされる、請求項1に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12993499P | 1999-04-19 | 1999-04-19 | |
US09/491,709 US6456329B1 (en) | 1999-04-19 | 2000-01-26 | De-interlacing of video signals |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000613205A Division JP2002542741A (ja) | 1999-04-19 | 2000-04-19 | 映像信号のデインタレース |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011041306A true JP2011041306A (ja) | 2011-02-24 |
Family
ID=26828043
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000613205A Pending JP2002542741A (ja) | 1999-04-19 | 2000-04-19 | 映像信号のデインタレース |
JP2010215968A Pending JP2011041306A (ja) | 1999-04-19 | 2010-09-27 | 映像信号のデインタレース |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000613205A Pending JP2002542741A (ja) | 1999-04-19 | 2000-04-19 | 映像信号のデインタレース |
Country Status (4)
Country | Link |
---|---|
US (1) | US6456329B1 (ja) |
EP (1) | EP1088455A4 (ja) |
JP (2) | JP2002542741A (ja) |
WO (1) | WO2000064192A1 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100420982B1 (ko) * | 1999-01-05 | 2004-03-02 | 인피네온 테크놀로지스 아게 | 디지털 tv 시스템을 위한 신호 처리 장치 |
JP2000350168A (ja) * | 1999-06-02 | 2000-12-15 | Seiko Epson Corp | 画像信号処理方法および画像信号処理装置 |
US6909469B2 (en) * | 1999-08-11 | 2005-06-21 | Silicon Image, Inc. | Interlace motion artifact detection using vertical frequency detection and analysis |
US6680752B1 (en) * | 2000-03-31 | 2004-01-20 | Ati International Srl | Method and apparatus for deinterlacing video |
WO2001080559A2 (en) * | 2000-04-18 | 2001-10-25 | Silicon Image | Method, system and apparatus for identifying the source type and quality level of a video sequence |
GB2362731B (en) * | 2000-05-23 | 2004-10-06 | Advanced Risc Mach Ltd | Parallel processing of multiple data values within a data word |
US6972801B1 (en) * | 2000-10-20 | 2005-12-06 | Intervideo, Inc. | System and method for deinterlacing a video signal for display on progressive display devices |
US6573941B1 (en) * | 2002-04-22 | 2003-06-03 | Thomson Licensing Sa | Low bit rate compression format conversion for improved resolution |
WO2003045056A1 (en) * | 2001-11-20 | 2003-05-30 | Thomson Licensing S.A. | Low bit rate compression format conversion for improved resolution |
US6954219B2 (en) * | 2001-12-12 | 2005-10-11 | Stmicroelectronics, Inc. | Method and system of continuously scaling video images |
JP3666463B2 (ja) * | 2002-03-13 | 2005-06-29 | 日本電気株式会社 | 光導波路デバイスおよび光導波路デバイスの製造方法 |
EP1361750A1 (en) * | 2002-05-08 | 2003-11-12 | Koninklijke Philips Electronics N.V. | Video and text display |
US6894726B2 (en) * | 2002-07-05 | 2005-05-17 | Thomson Licensing S.A. | High-definition de-interlacing and frame doubling circuit and method |
KR100486284B1 (ko) * | 2002-11-22 | 2005-04-29 | 삼성전자주식회사 | 연속되는 두 개의 디인터레이스 프레임들을 출력할 수있는 디인터레이스 장치 및 디인터레이스 방법 |
US7391469B2 (en) * | 2003-10-05 | 2008-06-24 | Mediatek Inc. | Method and apparatus for video decoding and de-interlacing |
JP2007067923A (ja) * | 2005-08-31 | 2007-03-15 | Toshiba Corp | 情報処理装置およびプログラム |
TW200837691A (en) * | 2007-03-06 | 2008-09-16 | Sunplus Technology Co Ltd | Method and system for processing image data in LCD by integrating de-interlace and overdrive operations |
US8115863B2 (en) * | 2007-04-04 | 2012-02-14 | Freescale Semiconductor, Inc. | Video de-interlacer using pixel trajectory |
US8233086B2 (en) * | 2007-06-08 | 2012-07-31 | Nintendo Co., Ltd. | Process for digitizing video over analog component video cables |
US8300987B2 (en) * | 2007-09-28 | 2012-10-30 | Ati Technologies Ulc | Apparatus and method for generating a detail-enhanced upscaled image |
US8964117B2 (en) | 2007-09-28 | 2015-02-24 | Ati Technologies Ulc | Single-pass motion adaptive deinterlacer and method therefore |
US8259228B2 (en) * | 2007-12-10 | 2012-09-04 | Ati Technologies Ulc | Method and apparatus for high quality video motion adaptive edge-directional deinterlacing |
US8396129B2 (en) * | 2007-12-28 | 2013-03-12 | Ati Technologies Ulc | Apparatus and method for single-pass, gradient-based motion compensated image rate conversion |
TW201002055A (en) * | 2008-06-24 | 2010-01-01 | Sunplus Technology Co Ltd | Image format conversion system |
JP5803184B2 (ja) * | 2010-11-19 | 2015-11-04 | 株式会社リコー | 画像投影装置、メモリアクセス方法 |
JP7163145B2 (ja) * | 2018-11-13 | 2022-10-31 | 株式会社東芝 | 映像処理装置、映像処理方法、およびプログラム |
CN111325655A (zh) * | 2018-12-14 | 2020-06-23 | 中强光电股份有限公司 | 影像处理系统及其影像处理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH089343A (ja) * | 1994-06-20 | 1996-01-12 | Fujitsu General Ltd | 映像信号変換装置 |
JPH08335062A (ja) * | 1995-06-06 | 1996-12-17 | Fujitsu Ltd | 走査方式変換方法、走査方式変換装置及び画像表示装置 |
JPH1098733A (ja) * | 1996-09-20 | 1998-04-14 | Matsushita Electric Ind Co Ltd | 映像信号処理装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4603350A (en) * | 1984-12-21 | 1986-07-29 | Rca Corporation | Interlaced digital video input filter/decimator and/or expander/interpolator filter |
JPH02254883A (ja) * | 1989-03-28 | 1990-10-15 | Nec Corp | ノンインタレース縮小表示変換器 |
US5097257A (en) * | 1989-12-26 | 1992-03-17 | Apple Computer, Inc. | Apparatus for providing output filtering from a frame buffer storing both video and graphics signals |
US5134480A (en) | 1990-08-31 | 1992-07-28 | The Trustees Of Columbia University In The City Of New York | Time-recursive deinterlace processing for television-type signals |
US5305104A (en) | 1992-07-27 | 1994-04-19 | The Trustees Of Columbia University In The City Of New York | Digitally assisted motion compensated deinterlacing for enhanced definition television |
US5473382A (en) | 1992-11-04 | 1995-12-05 | Hitachi, Ltd. | Video signal converting apparatus for converting an interlace video signal into a non-interlace video signal for reduction |
JPH06268905A (ja) * | 1993-03-16 | 1994-09-22 | Mitsubishi Electric Corp | 映像信号縮小装置 |
US5473381A (en) * | 1993-08-07 | 1995-12-05 | Goldstar Co., Ltd. | Apparatus for converting frame format of a television signal to a display format for a high definition television (HDTV) receiver |
JPH08171364A (ja) * | 1994-12-16 | 1996-07-02 | Matsushita Electric Ind Co Ltd | 液晶駆動装置 |
GB9504307D0 (en) * | 1995-03-03 | 1995-04-19 | Philips Electronics Uk Ltd | Video image processing |
KR100416370B1 (ko) * | 1995-11-08 | 2004-04-30 | 제너시스 마이크로칩 인코포레이티드 | 비디오필드들을순차주사비디오프레임들로디인터레이싱하기위한방법및장치 |
US5838385A (en) * | 1996-08-30 | 1998-11-17 | Texas Instruments Incorporated | Sampling analog video signal for secondary images |
-
2000
- 2000-01-26 US US09/491,709 patent/US6456329B1/en not_active Expired - Lifetime
- 2000-04-19 WO PCT/US2000/010697 patent/WO2000064192A1/en active Application Filing
- 2000-04-19 JP JP2000613205A patent/JP2002542741A/ja active Pending
- 2000-04-19 EP EP00928261A patent/EP1088455A4/en not_active Withdrawn
-
2010
- 2010-09-27 JP JP2010215968A patent/JP2011041306A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH089343A (ja) * | 1994-06-20 | 1996-01-12 | Fujitsu General Ltd | 映像信号変換装置 |
JPH08335062A (ja) * | 1995-06-06 | 1996-12-17 | Fujitsu Ltd | 走査方式変換方法、走査方式変換装置及び画像表示装置 |
JPH1098733A (ja) * | 1996-09-20 | 1998-04-14 | Matsushita Electric Ind Co Ltd | 映像信号処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US6456329B1 (en) | 2002-09-24 |
EP1088455A4 (en) | 2005-01-19 |
EP1088455A1 (en) | 2001-04-04 |
WO2000064192A1 (en) | 2000-10-26 |
JP2002542741A (ja) | 2002-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011041306A (ja) | 映像信号のデインタレース | |
US6411333B1 (en) | Format conversion using patch-based filtering | |
US6118488A (en) | Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection | |
US6556193B1 (en) | De-interlacing video images using patch-based processing | |
US6269484B1 (en) | Method and apparatus for de-interlacing interlaced content using motion vectors in compressed video streams | |
WO2000060856A1 (en) | Efficient image scaling for scan rate conversion | |
JPS63313981A (ja) | ディジタルテレビジョン画像の動きベクトル処理装置 | |
JP3310665B2 (ja) | 高精細度テレビジョン | |
JP5133038B2 (ja) | 画像復元方法および画像復元装置 | |
JP2520301B2 (ja) | 静止画像フリッカ抑制方法 | |
JP3172169B2 (ja) | 動き情報を動き情報信号に変換する装置 | |
JP2000253365A (ja) | 解像度変換方法および解像度変換装置 | |
JP4217543B2 (ja) | 動き情報処理装置及び方法 | |
WO2012157618A1 (ja) | 映像信号処理装置および表示装置 | |
JP2782766B2 (ja) | 動画静止画変換方法 | |
US7113222B2 (en) | Method and apparatus for converting an interlace image to a progressive image | |
JP4470323B2 (ja) | 画像変換装置および方法 | |
KR100827214B1 (ko) | 비디오 스캔 레이트 전환을 위한 움직임 보상 업컨버전 | |
JP3178665B2 (ja) | 画像サイズ変換方法とそのための装置 | |
JP4470324B2 (ja) | 画像信号変換装置および方法 | |
EP0763933B1 (en) | Method for detecting motion in a video signal | |
JPH0693773B2 (ja) | 走査線数の拡大方法 | |
US20100066901A1 (en) | Apparatus and method for processing video data | |
JP2007019708A (ja) | 画像処理装置 | |
JP3444170B2 (ja) | フィールド画像補間方法及びフィールド画像補間装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110906 |