JP2007274221A - 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム - Google Patents

補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム Download PDF

Info

Publication number
JP2007274221A
JP2007274221A JP2006095941A JP2006095941A JP2007274221A JP 2007274221 A JP2007274221 A JP 2007274221A JP 2006095941 A JP2006095941 A JP 2006095941A JP 2006095941 A JP2006095941 A JP 2006095941A JP 2007274221 A JP2007274221 A JP 2007274221A
Authority
JP
Japan
Prior art keywords
region
motion vector
area
interpolation
mismatch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006095941A
Other languages
English (en)
Other versions
JP4417918B2 (ja
Inventor
Kazuyasu Owaki
一泰 大脇
Takeshi Ito
伊藤　　剛
Sunao Mishima
直 三島
Yasutoyo Takeyama
泰豊 武山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006095941A priority Critical patent/JP4417918B2/ja
Priority to US11/674,503 priority patent/US7936950B2/en
Priority to KR20070019581A priority patent/KR100870278B1/ko
Priority to EP20070250809 priority patent/EP1841234A3/en
Priority to CNA2007100850557A priority patent/CN101047779A/zh
Publication of JP2007274221A publication Critical patent/JP2007274221A/ja
Application granted granted Critical
Publication of JP4417918B2 publication Critical patent/JP4417918B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

【課題】正しい動きベクトルを検出し、精度よく補間フレームを生成することのできる補間フレーム作成装置を提供する。
【解決手段】補間フレームの補間領域に対応する第１参照フレーム中の第１参照領域と第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定手段１０２と、第１参照領域と第２参照領域の一致領域に対応する補間領域中の一致領域に対し、補間領域に対して算出された動きベクトルを付与する一致動きベクトル付与手段１０４と、第１参照領域と第２参照領域の不一致領域に対応する補間領域中の不一致領域に付与すべき不一致動きベクトルを、補間領域中の不一致領域の周囲の補間領域に基づいて決定する不一致動きベクトル決定手段１０６と、一致動きベクトルおよび不一致動きベクトルに基づいて、補間フレームを生成する動き補償手段１０８とを備えた。
【選択図】 図１

Description

本発明は、第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラムに関するものである。
一般に、画像表示装置としては画像の書き込み後、蛍光体の残光時間のみ発光し続けるインパルス型表示装置（例えばＣＲＴやフィールドエミッション型表示装置（ＦＥＤ）と、新たに画像の書き込みが行われるまで前フレームの表示を保持し続けるホールド型表示装置（例えば液晶表示装置（ＬＣＤ）、エレクトロルミネッセンスディスプレイ（ＥＬＤ）など）の２種類がある。
ホールド型表示装置の問題点の一つは、動画表示に生じるボケ現象である。ボケ現象の発生は、複数フレームにわたる画像中に動体が存在し、その動体の動きに観察者の眼が追随した場合、複数フレームの画像が重なって網膜上に映し出されることに起因する。
表示画像が前フレームから次のフレームへ切り換わる期間までは、同じ前フレームの画像が表示され続けられているにもかかわらず、眼は次フレームの画像の表示を予測して、前フレーム画像上を動体の移動方向に移動しながら観察してしまう。すなわち、眼の追随運動は連続性があり、フレーム間隔より細かいサンプリングを行うため、結果として隣接する二つのフレームの間の画像を埋めるように視認することで、ボケとして観察される。
この問題を解決するためには、表示のフレーム間隔を短くすればよい。これにより、表示フレーム数の少ない動画における不自然な動きを改善することもできる。その具体的な手法として、ＭＰＥＧ２（Motion Picture Experts Group phase 2）で用いられている動き補償を利用して補間画像を作成し、隣接するフレーム間で補間を行うことが考えられる。
動き補償では、ブロックマッチングによって検出される動きベクトルが用いられる。しかし、ＭＰＥＧ２ではブロック単位で画像を作成するため、ブロック内に動きの異なる複数のオブジェクトが含まれている場合、相関のある部分と相関のない部分が発生し、相関のない部分によりブロック歪が生じる。
こうした問題を解決するフレーム補間方法が開示されている（例えば、「特許文献１」参照）。１ブロック内を複数の領域に分割し、それぞれの領域に対して動きベクトルを求める。これにより、ブロック内の動きの異なるオブジェクトが含まれている場合のブロック歪を低減することができる。また、閾値によるブロック内での領域分割に適した動きベクトル検出方法を用いるとともに、領域分割後の画素ブロックに対しても適した動きベクトル検出方法を用いることで、領域毎に最適な動きベクトルを検出することができる。
特開２００４−１０４６５６号公報
上記の方法により、ブロック歪による画質劣化は低減できる。しかし、上記の方法においても、陰面(オクルージョン)領域においては、正しい動きベクトルを求めることができない。
本発明は、上記に鑑みてなされたものであって、正しい動きベクトルを検出することのできる動きベクトル検出装置、動きベクトル検出方法および動きベクトル検出プログラムおよびこの動きベクトルにより精度よく補間フレームを生成することのできる補間フレーム作成装置、補間フレーム作成方法および補間フレーム作成プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成装置であって、前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出手段と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定手段と、前記領域判定手段により一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与手段と、前記領域判定手段により不一致と判定された領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定する不一致動きベクトル決定手段と、前記一致動きベクトル付与手段により付与された前記一致動きベクトルおよび前記不一致動きベクトル決定手段により決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償手段とを備えたことを特徴とする。
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成装置であって、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出手段と、前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定手段と、前記領域判定手段により一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与する一致動きベクトル付与手段と、前記領域判定手段により不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定する不一致動きベクトル決定手段と、前記一致動きベクトル付与手段により付与された前記一致動きベクトルおよび前記不一致動きベクトル決定手段により決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償手段とを備えたことを特徴とする。
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームの動きベクトルを検出する動きベクトル検出装置であって、前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出手段と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定手段と、前記領域判定手段により一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与手段と、前記領域判定手段により不一致と判定された領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定する不一致動きベクトル決定手段とを備えたことを特徴とする。
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の動きベクトルを検出する動きベクトル検出装置であって、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出手段と、前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定手段と、前記領域判定手段により一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与する一致動きベクトル付与手段と、前記領域判定手段により不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定する不一致動きベクトル決定手段とを備えたことを特徴とする。
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成方法であって、前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定する不一致動きベクトル決定ステップと、前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップとを有する。
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成方法であって、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定する不一致動きベクトル決定ステップと、前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップとを有することを特徴とする。
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームの動きベクトルを検出する動きベクトル検出方法であって、前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定する不一致動きベクトル決定ステップとを有することを特徴とする。
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の動きベクトルを検出する動きベクトル検出方法であって、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定する不一致動きベクトル決定ステップとを有することを特徴とする。
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成処理をコンピュータに実行させる補間フレーム作成プログラムであって、前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて4一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定する不一致動きベクトル決定ステップと、前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップとを有することを特徴とする。
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成処理をコンピュータに実行させる補間フレーム作成プログラムであって、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定する不一致動きベクトル決定ステップと、前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップとを有することを特徴とする。
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームの動きベクトル検出処理をコンピュータに実行させる動きベクトル検出プログラムであって、前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定する不一致動きベクトル決定ステップとを有することを特徴とする。
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームの動きベクトル検出処理をコンピュータに実行させる動きベクトル検出プログラムであって、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定する不一致動きベクトル決定ステップとを有することを特徴とする。
本発明にかかる補間フレーム作成装置によれば、補間領域動きベクトル算出手段が、補間フレームを分割して得られる補間領域の動きベクトルを算出し、領域判定手段が、補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の第１参照フレーム中の第１参照領域と、補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定し、一致動きベクトル付与手段が、領域判定手段により一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する補間領域中の一致領域に対し、当該補間領域に割り当てられている動きベクトルを付与し、不一致動きベクトル決定手段が、領域判定手段により不一致と判定された領域である第１参照領域中の不一致領域と第２参照領域中の不一致領域の組み合わせに対応する補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定し、動き補償手段が、一致動きベクトル付与手段により付与された一致動きベクトルおよび不一致動きベクトル決定手段により決定された不一致動きベクトルに基づいて、補間フレームを生成するので、正しい動きベクトルを検出し、精度よく補間フレームを生成することができるという効果を奏する。
また、本発明の他の形態にかかる補間フレーム作成装置によれば、第１参照領域動きベクトル算出手段が、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出し、領域判定手段が、第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定し、一致動きベクトル付与手段が、領域判定手段により一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与し、不一致動きベクトル決定手段が、領域判定手段により不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定し、動き補償手段が、一致動きベクトル付与手段により付与された一致動きベクトルおよび不一致動きベクトル決定手段により決定された不一致動きベクトルに基づいて、補間フレームを生成するので、正しい動きベクトルを検出し、精度よく補間フレームを生成することができるという効果を奏する。
また、本発明の他の形態にかかる動きベクトル検出装置によれば、補間領域動きベクトル算出手段が、補間フレームを分割して得られる補間領域の動きベクトルを算出し、領域判定手段が、補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の第１参照フレーム中の第１参照領域と、補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定し、一致動きベクトル付与手段が、領域判定手段により一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する補間領域中の一致領域に対し、当該補間領域に割り当てられている動きベクトルを付与し、不一致動きベクトル決定手段が、領域判定手段により不一致と判定された領域である第１参照領域中の不一致領域と第２参照領域中の不一致領域の組み合わせに対応する補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定するので、正しい動きベクトルを精度よく検出することができるという効果を奏する。
また、本発明の他の形態にかかる動きベクトル検出装置によれば、第１参照領域動きベクトル算出手段が、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出し、領域判定手段が、第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定し、一致動きベクトル付与手段が、領域判定手段により一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与し、不一致動きベクトル決定手段が、領域判定手段により不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定するので、正しい動きベクトルを精度よく検出することができるという効果を奏する。
また、本発明の他の形態にかかる補間フレーム作成方法によれば、補間領域動きベクトル算出ステップにおいて、補間フレームを分割して得られる補間領域の動きベクトルを算出し、領域判定ステップにおいて、補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の第１参照フレーム中の第１参照領域と、補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定し、一致動きベクトル付与ステップにおいて、領域判定ステップにおいて4一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する補間領域中の一致領域に対し、当該補間領域に割り当てられている動きベクトルを付与し、不一致動きベクトル決定ステップにおいて、領域判定ステップにおいて不一致と判定された領域である第１参照領域中の不一致領域と第２参照領域中の不一致領域の組み合わせに対応する補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定し、動き補償ステップにおいて、一致動きベクトル付与ステップにおいて付与された一致動きベクトルおよび不一致動きベクトル決定ステップにおいて決定された不一致動きベクトルに基づいて、補間フレームを生成するので、正しい動きベクトルを検出し、精度よく補間フレームを生成することができるという効果を奏する。
また、本発明の他の形態にかかる補間フレーム作成方法によれば、第１参照領域動きベクトル算出ステップにおいて、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出し、領域判定ステップにおいて、第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定し、一致動きベクトル付与ステップにおいて、領域判定ステップにおいて一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与し、不一致動きベクトル決定ステップにおいて、領域判定ステップにおいて不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定し、動き補償ステップにおいて、一致動きベクトル付与ステップにおいて付与された一致動きベクトルおよび不一致動きベクトル決定ステップにおいて決定された不一致動きベクトルに基づいて、補間フレームを生成するので、正しい動きベクトルを検出し、精度よく補間フレームを生成することができるという効果を奏する。
また、本発明の他の形態にかかる動きベクトル検出方法によれば、補間領域動きベクトル算出ステップにおいて、補間フレームを分割して得られる補間領域の動きベクトルを算出し、領域判定ステップにおいて、補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の第１参照フレーム中の第１参照領域と、補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定し、一致動きベクトル付与ステップにおいて、領域判定ステップにおいて一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する補間領域中の一致領域に対し、当該補間領域に割り当てられている動きベクトルを付与し、不一致動きベクトル決定ステップにおいて、領域判定ステップにおいて不一致と判定された領域である第１参照領域中の不一致領域と第２参照領域中の不一致領域の組み合わせに対応する補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定するので、正しい動きベクトルを精度よく検出することができるという効果を奏する。
また、本発明の他の形態にかかる動きベクトルを検出する動きベクトル検出方法によれば、第１参照領域動きベクトル算出ステップにおいて、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出し、領域判定ステップにおいて、第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定し一致動きベクトル付与ステップにおいて、領域判定ステップにおいて一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与し、不一致動きベクトル決定ステップにおいて、領域判定ステップにおいて不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定するので、正しい動きベクトルを精度よく検出することができるという効果を奏する。
また、本発明の他の形態にかかる補間フレーム作成プログラムによれば、補間領域動きベクトル算出ステップにおいて、補間フレームを分割して得られる補間領域の動きベクトルを算出し、領域判定ステップにおいて、補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の第１参照フレーム中の第１参照領域と、補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定し、一致動きベクトル付与ステップにおいて、領域判定ステップにおいて4一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する補間領域中の一致領域に対し、当該補間領域に割り当てられている動きベクトルを付与し、不一致動きベクトル決定ステップにおいて、領域判定ステップにおいて不一致と判定された領域である第１参照領域中の不一致領域と第２参照領域中の不一致領域の組み合わせに対応する補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定し、動き補償ステップにおいて、一致動きベクトル付与ステップにおいて付与された一致動きベクトルおよび不一致動きベクトル決定ステップにおいて決定された不一致動きベクトルに基づいて、補間フレームを生成するので、正しい動きベクトルを検出し、精度よく補間フレームを生成することができるという効果を奏する。
また、本発明の他の形態にかかる補間フレーム作成プログラムによれば、第１参照領域動きベクトル算出ステップにおいて、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出し、領域判定ステップにおいて、第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定し一致動きベクトル付与ステップにおいて、領域判定ステップにおいて一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与し、不一致動きベクトル決定ステップにおいて、領域判定ステップにおいて不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定し、動き補償ステップにおいて、一致動きベクトル付与ステップにおいて付与された一致動きベクトルおよび不一致動きベクトル決定ステップにおいて決定された不一致動きベクトルに基づいて、補間フレームを生成するので、正しい動きベクトルを検出し、精度よく補間フレームを生成することができるという効果を奏する。
また、本発明の他の形態にかかる動きベクトル検出プログラムによれば、補間領域動きベクトル算出ステップにおいて、補間フレームを分割して得られる補間領域の動きベクトルを算出し、領域判定ステップにおいて、補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の第１参照フレーム中の第１参照領域と、補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定し、一致動きベクトル付与ステップにおいて、領域判定ステップにおいて一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する補間領域中の一致領域に対し、当該補間領域に割り当てられている動きベクトルを付与し、不一致動きベクトル決定ステップにおいて、領域判定ステップにおいて不一致と判定された領域である第１参照領域中の不一致領域と第２参照領域中の不一致領域の組み合わせに対応する補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定するので、正しい動きベクトルを精度よく検出することができるという効果を奏する。
また、本発明の他の形態にかかる動きベクトル検出プログラムによれば、第１参照領域動きベクトル算出ステップにおいて、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出し、領域判定ステップにおいて、第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定し、一致動きベクトル付与ステップにおいて、領域判定ステップにおいて一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与し、不一致動きベクトル決定ステップにおいて、領域判定ステップにおいて不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定するので、正しい動きベクトルを精度よく検出することができるという効果を奏する。
以下に、本発明にかかる補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
（実施の形態１）
図１は、実施の形態１にかかる補間フレーム作成装置１０の機能構成を示すブロック図である。補間フレーム作成装置１０は、補間フレームを作成する。図２は、補間フレームを説明するための図である。図２は、入力画像に含まれる連続する２つのフレーム、すなわち第１参照フレーム２００と、第２参照フレーム３００を示している。本実施の形態においては、第１参照フレーム２００と第２参照フレーム３００との間を補間する補間フレーム４００を作成する場合を例に説明する。
なお、補間フレーム作成装置１０が作成する補間フレームは、異なる２つのフレーム間の時間的中心にある必要はなく、異なる２つのフレーム間を補間するフレームであればよく、本実施の形態に限定されるものではない。また、異なる２つのフレーム間に生成、挿入する補間フレームは何枚であってもよい。
再び説明を図１に戻す。補間フレーム作成装置１０は、動き推定部１００と、領域判定部１０２と、一致動きベクトル付与部１０４と、不一致動きベクトル付与部１０６と、動き補償部１０８と、フレームメモリ１１０とを備えている。
動き推定部１００は、第１参照フレーム２００から第２参照フレーム３００への動き推定を行う。図３および図４は、動き推定を説明するための図である。このように、第１参照フレーム２００を複数のマクロブロック、すなわち第１参照領域２１０に分割する。本実施の形態にかかる動き推定部１００は、４×４の１６個のマクロブロックに分割する。各マクロブロックには、４×４の２５画素が含まれている。動き推定部１００は、第１参照領域２１０と第２参照フレーム３００中の第２参照領域３１０との間の相関を判定し、相関に基づいて動きベクトルを算出する。ここで、第２参照領域３１０とは、第１参照領域２１０と同一形状同一サイズの領域である。
領域判定部１０２は、動き推定部１００によりマクロブロックに対して算出された動きベクトルに基づいて、第１参照領域２１０中の各画素と第２参照フレーム３００中の対応する画素との相関値を算出する。具体的には、第１参照領域中の所定の画素と、この第１参照領域に対して算出された動きベクトルにより第２参照フレーム３００中の画素を特定する。そして、これら２つの画素の相関値を算出する。この相関値に基づいて、各マクロブロックを相関の高い高相関領域と、相関の低い低相関領域とに分割する。
一致動きベクトル付与部１０４は、領域判定部１０２により高相関領域と判定された領域に対し、動き推定部１００により算出された動きベクトルを付与する。不一致動きベクトル付与部１０６は、領域判定部１０２により低相関領域と判定された領域に対し、周辺のマクロブロックに割り当てられた動きベクトルを付与する。動き補償部１０８は、一致動きベクトル付与部１０４および動き補償部１０８により付与された動きベクトルをスケール変換し、スケール変換後の動きベクトルに基づいて補間フレームを作成する。
図５は、補間フレーム作成装置１０による補間フレーム作成処理を示すフローチャートである。まず、動き推定部１００は、フレームメモリ１１０から第１参照フレーム２００および第２参照フレーム３００を取得し、第１参照フレーム２００から第２参照フレーム３００への動き推定を行う（ステップＳ１００）。次に、領域判定部１０２は、動き推定部１００による動き推定結果に基づいて、領域判定を行う（ステップＳ１０２）。
次に、一致動きベクトル付与部１０４は、高相関領域に対し、動き推定部１００により算出された動きベクトルを付与する（ステップＳ１０４）。次に、不一致動きベクトル付与部１０６は、低相関領域に対し、周辺のマクロブロックの動きベクトルを付与する（ステップＳ１０６）。次に、動き補償部１０８は、一致動きベクトル付与部１０４および不一致動きベクトル付与部１０６により付与された動きベクトルに基づいて、動き補償を行う。すなわち、補間フレームを生成する（ステップＳ１０８）。以上で、補間フレーム作成装置１０による補間フレーム作成処理が完了する。
図６は、第１参照フレーム２００および第２参照フレーム３００の一例を示す図である。第１参照フレーム２００および第２参照フレーム３００には、背景５００とオブジェクト５１０とが含まれている。さらに、オブジェクト５１０は、フレーム中右側に移動している。以下、図６に示す第１参照フレーム２００および第２参照フレーム３００の間の補間フレームを作成する場合について各処理を具体的に説明する。
図７は、動き推定処理（ステップＳ１００）における詳細な処理を示すフローチャートである。動き推定部１００は、まず第１参照フレーム２００を動き推定処理の対象となるｎ個の参照領域に分割する（ステップ１１０）。具体的には、図６に示す第１参照フレーム２００を図４に示すような１６個の第１参照領域に分割する。
次に、第１参照フレーム２００から１つの第１参照領域Ｒ１（ｉ）を抽出する（ステップＳ１１２）。次に、抽出した参照領域Ｒ１（ｉ）と最も相関の高い第２参照領域Ｒ２（ｉ）を抽出し、動きベクトルＭＶ（ｉ）を求める（ステップＳ１１４）。以上の処理が行われていない第１参照領域が存在する場合には（ステップＳ１１６，Ｎｏ）、ｉの値を１加算し（ステップＳ１１８）、ステップＳ１１２へ進む。ステップＳ１１２およびＳ１１４の処理がすべての第１参照領域に対して行われると（ステップＳ１１６，Ｙｅｓ）、動き推定処理（ステップＳ１００）が完了する。
なお、最も相関の高い第２参照領域Ｒ２（ｉ）を求める処理には、例えば、第１参照領域中の画素と第２参照領域中の対応する画素の絶対差分和を利用してもよい。具体的には、第１参照領域と第２参照領域のすべての画素に対して各絶対差分和を算出する。そして、絶対差分和が予め定めた閾値未満となる画素、すなわち相関の高い画素の数を算出する。この画素の数が最も大きくなる第２参照領域を最も相関の高い第２参照領域として算出する。
図８および図９は、図６に示す第１参照フレーム２００および第２参照フレーム３００に対する動き推定処理の結果を示す図である。本例においては、ともに背景５００のうち同一の部分を含む参照領域から動きベクトルＭＶ１（ＭＶ１＝０）が算出される。例えば、第１参照領域２２１および第２参照領域３２１は背景５００の同一の部分を含み、動きベクトルＭＶ１が算出される。さらに、ともにオブジェクト５１０の同一の部分を含む領域からは、０以外の動きベクトルＭＶ２が算出される。例えば、第１参照領域２２０および第２参照領域３２０は、オブジェクト５１０の同一の部分を含み、動きベクトルＭＶ２が算出される。
図１０は、領域判定（ステップＳ１０２）における詳細な処理を示すフローチャートである。領域判定部１０２は、まず第１参照フレーム２００および第２参照フレーム３００のすべての画素に不一致領域と設定する（ステップＳ１２０）。次に、動き推定部１００により算出された動きベクトルＭＶ（ｉ）により求まる第１参照領域Ｒ１（ｉ）と第２参照領域Ｒ２（ｉ）のペアにおいて、対応する画素ごとに相関演算を行う（ステップＳ１２２）。
次に、相関演算結果に基づいて、両画素が一致するか否かを判定し、一致すると判定された画素を不一致領域から一致関領域に変更する（ステップＳ１２４）。以上の処理が行われていない第１参照領域Ｒ１（ｉ）が存在する場合には（ステップＳ１２６，Ｎｏ）、ｉの値を１加算し（ステップＳ１２８）、ステップＳ１２２へ進む。ステップＳ１２２およびステップＳ１２４の処理がすべての第１参照領域に対して行われると（ステップＳ１２６，Ｙｅｓ）、領域判定処理（ステップＳ１０２）が完了する。
図１１は、図９に示す動きベクトルＭＶ２が付与された第１参照領域２２０と、この第１参照領域２２０に対応する第２参照領域３２０の間の相関演算を説明するための図である。図１１上段の数値は、輝度値を示している。
領域判定部１０２は、第１参照領域２２０と第２参照領域３２０の相関を判定するために、第１参照領域２２０と第２参照領域３２０の対応する画素毎に輝度値による相関演算を行う。具体的には、輝度値の絶対差分値を算出する。図１１の下段は、演算結果、すなわち絶対差分値を示している。
第１参照領域２２０と第２参照領域３２０とは、主にオブジェクト５１０の画像を含み、この部分の対応する画素の輝度値は一致している。したがって、絶対差分値は「０」になる。しかし、第１参照領域２２０と第２参照領域３２０に含まれる背景５００の部分は背景５００のうち異なる部分であるため画素の輝度値は一致せず、絶対差分値は「０」にならない。図１１の例においては、第１参照領域２２０および第２参照領域３２０それぞれの左上および左下の１画素が背景部分に対応する画素であり、この画素のみ絶対差分値が「２４」となっている。
図１２は、図１１の相関演算により得られた一致領域および不一致領域を示す図である。図１１に示す第１参照領域２２０と第２参照領域３２０においては、それぞれの左上および左下の１画素がそれぞれ不一致領域２２２ａ，２２２ｂ，３２２ａ，３２２ｂとなる。残りの画素はすべて一致領域２２４，３２４となる。なお、一致領域と不一致領域の決定には閾値を利用する。絶対差分値が予め定めた閾値未満である場合、すなわち相関が高いである場合は、一致領域と判定する。閾値以上である場合、すなわち相関が低い場合は不一致領域と判定する。
図１３は、第１参照領域２２０の左隣の第１参照領域２３０における領域判定結果を示す図である。このように、第１参照領域２３０においては、背景５００の部分は、第２参照フレーム３００中の背景５００の部分と一致し一致領域となる。一方、オブジェクト５１０の部分は、第２参照フレーム３００においては、背景５００になっているため一致せず不一致領域となっている。
図１４は、図８に示す第１参照フレーム２００全体の領域判定結果を示す図である。このように、複数の第１参照領域は、それぞれ画素単位で一致領域と不一致領域に分けられる。一致動きベクトル付与処理（ステップＳ１０４）においては、一致領域に対し、動き推定部１００により当該一致領域を含む第１参照領域に対して算出された動きベクトルを付与する。一致領域は、対応する画素同士が一致している領域であり、すなわち動きベクトルが正しく算出されている領域である。この領域には、動き推定処理（ステップＳ１００）において動き推定部１００により算出された動きベクトルが適しているので、この動きベクトルを付与する。
図１５は、不一致動きベクトル付与処理（ステップＳ１０６）における詳細な処理を示すフローチャートである。まず、第１参照フレーム２００から不一致領域Ｐ１を抽出する（ステップＳ１４０）。次に、不一致領域Ｐ１に隣接する第１参照領域の動きベクトルＭＶｋ（ｋ＝１〜Ｓ、Ｓは不一致領域Ｐ１に隣接する第１参照領域の動きベクトルＭＶの数）を抽出する（ステップＳ１４２）。ここでは、隣接する第１参照領域のすべての動きベクトルを抽出する。例えば、２つの動きベクトルが存在する場合には、この２つの動きベクトルを抽出する。また、隣接する第１参照領域がすべて同じ動きベクトルである場合には、この１つの動きベクトルを抽出する。
次に、不一致領域中の各画素Ｐ１ｐ（ｐは、不一致領域Ｐ１中の画素）に、抽出された動きベクトルＭＶｋを適用し、第２参照フレーム３００中の対応する画素Ｐ２ｐｋ（ｋは、動きベクトルＭＶｋのｋに対応する）を抽出する（ステップＳ１４４）。すなわち、画素Ｐ２ｐｋは、抽出された動きベクトルと同じ数だけ抽出される。
次に、画素Ｐ１ｐと抽出された画素Ｐ２ｐｋの間の相関演算を行う（ステップＳ１４６）。具体的には、画素Ｐ１ｐと画素Ｐ２ｐｋの輝度値の絶対差分値を算出する。次に、相関演算結果に基づいて、動きベクトルＭＶｋのうち画素Ｐ１ｐに適した動きベクトルを選出する（ステップＳ１４８）。具体的には、絶対差分を算出する。複数の動きベクトルが抽出されている場合には、各動きベクトルに対して算出された絶対差分値のうち最も小さい絶対差分値に対応する動きベクトルを選出する。すなわち、最も相関の高いものを選出する。
以上の処理を不一致領域中のすべての画素に対して行い（ステップＳ１５０，Ｙｅｓ）、不一致動きベクトル付与処理（ステップＳ１０６）が完了する。なお、処理の行われていない画素が存在する場合には（ステップＳ１５０，Ｎｏ）、ｐの値を１加算して（ステップＳ１５２）、ステップＳ１４４へ進む。
図１６を参照しつつ具体的に説明する。例えば、第１参照領域２２０に含まれる左上の１画素および左下の１画素の不一致領域に対して抽出される動きベクトルは、第１参照領域２２０に隣接する８個の第１参照領域それぞれの動きベクトルである。これらはいずれもＭＶ１である。したがって、第１参照領域２２０の不一致領域２２２ａ，２２２ｂに対しては、動きベクトルＭＶ１が付与される。
一方、第１参照領域２３０に含まれる右端中央１画素の不一致領域２３２に対して抽出される動きベクトルは、第１参照領域２３０に隣接する８個の第１参照領域それぞれの動きベクトルである。すなわち、動きベクトルＭＶ１および動きベクトルＭＶ２が抽出される。
この場合には、まず、不一致領域２３２の画素と、当該画素と動きベクトルＭＶ１とにより定まる第２参照フレーム３００中の画素との相関演算を行う。同様に、不一致領域２３２の画素と、当該画素と動きベクトルＭＶ２とにより定まる第２参照フレーム３００中の画素との相関演算を行う。このうち最も小さい絶対差分値に対応する動きベクトル、すなわち最も高い相関の得られた動きベクトルを選出する。なお、本例においては、動きベクトルＭＶ２に対する相関が最も高く、動きベクトルＭＶ２が選出される。
このように、本実施の形態にかかる補間フレーム作成装置１０によれば、マクロブロックよりも小さい単位で、動きベクトルを割り当てることができる。さらに、以上の処理により算出した動きベクトルをスケール変換することにより、補間フレーム中の所定の領域に画像を割り当てる。これにより、より精度よく補間フレームを作成することができる。
各フレーム中の連続した領域には、同一の動きベクトルが割り当てられている場合が多いことから、実施の形態においては、不一致領域の動きベクトル候補として隣接する領域の動きベクトルを選出することとした。これにより、不一致領域ごとに再び動き推定などの処理を行う必要がなく、処理の効率化を図ることができる。
また、第１参照フレーム２００および第２参照フレーム３００が３つ以上の動きベクトルを含む場合にも、補間フレーム作成装置１０により小領域ごとに動きベクトルを算出することができる。
図１７は、３つの動きベクトルを含む第１参照フレーム２００および第２参照フレーム３００を示す図である。図１７に示す第１参照フレーム２００は、背景５００と、第１オブジェクト５１０と、第２オブジェクト５１２とを含む例を示す。背景５００は、動きベクトルＭＶ１の領域である。第１オブジェクト５１０は、動きベクトルＭＶ２の領域である。第２オブジェクト５１２は、動きベクトルＭＶ３の領域である。図１８は、図１７に示す第１参照フレーム２００から第２参照フレーム３００への動きベクトルを示す図である。
例えば、図１８に示す第１参照領域２４０に着目する。図１９は、第１参照領域２４０の領域判定の結果を示す図である。このように、第１参照領域２４０においては、第１オブジェクト５１０に対応する画素が一致領域２４４と判定され、これ以外の領域は不一致領域２４２と判定される。
不一致領域２４２に対する動きベクトル付与処理においては、図１８に示す第１参照領域２４０に隣接する８個の第１参照領域の動きベクトルが抽出される。すなわち、動きベクトルＭＶ１，ＭＶ２およびＭＶ３が抽出される。不一致領域２４２中の各画素と、各動きベクトルＭＶ１，ＭＶ２およびＭＶ３により定まる第２参照フレーム中の画素との間の相関値演算を行い、最も相関の高い動きベクトルを、不一致領域２４２の各画素に対する動きベクトルとして選択する。なお、第１参照領域２４０の不一致領域２４２のうち背景５００に対応する領域には、以上の処理により動きベクトルＭＶ１が付与される。第１オブジェクト５１０に対応する領域には、以上の処理により動きベクトルＭＶ２が付与される。
このように、画素単位で動きベクトルを付与することができるので、精度よく動きベクトルを特定することができる。さらにこの動きベクトルを利用することにより、高精度な補間フレームを生成することができる。
図２０は、実施の形態１にかかる補間フレーム作成装置１０のハードウェア構成を示す図である。補間フレーム作成装置１０は、ハードウェア構成として、補間フレーム作成装置１０における補間フレーム作成処理を実行する補間フレーム作成プログラムなどが格納されているＲＯＭ５２と、ＲＯＭ５２内のプログラムに従って補間フレーム作成装置１０の各部を制御するＣＰＵ５１と、補間フレーム作成装置１０の制御に必要な種々のデータを記憶するＲＡＭ５３と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５７と、各部を接続するバス６２とを備えている。
先に述べた補間フレーム作成装置１０における補間フレーム作成プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。
この場合には、補間フレーム作成プログラムは、補間フレーム作成装置１０において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。
また、本実施の形態の補間フレーム作成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。
そうした第１の変更例としては、本実施の形態においては、不一致動きベクトル付与部１０６は、不一致領域に隣接する領域の動きベクトルを、不一致領域に対する動きベクトル候補として抽出したが、このとき抽出する動きベクトルは、不一致領域の動きベクトルとなり得る可能性のあるものであればよく、実施の形態に限定されるものではない。
例えば、対象とする画像の特徴から不一致領域からある程度はなれた領域に同一の動きベクトルが存在する可能性があると考えられる場合には、隣接する領域のみでなく、所定の距離内の領域に対する動きベクトルをさらに候補として抽出してもよい。これにより、より精度よく動きベクトルを選出することができる。
また、第２の変更例としては、本実施の形態においては、一致動きベクトル付与部１０４が一致領域に動き推定部１００により算出された動きベクトルを付与し、不一致動きベクトル付与部１０６が、不一致領域に隣接する参照領域の動きベクトルを付与したが、これにかえて、初めにすべての参照領域に動き推定部１００により算出された動きベクトルを付与しておいてもよい。そして、領域判定部１０２により不一致領域と判定され、異なる動きベクトルを付与する場合に、すでに付与されている動きベクトルに変えて、適切な動きベクトルを付与する。これにより、処理の効率化を図れる場合がある
また、第３の変更例としては、不一致領域のサイズが予め定めたサイズ未満である場合には、不一致領域と見なさず周辺の一致領域に含めることとしてもよい。
例えば、不一致領域を構成する画素数が１画素など極端に小さい場合には、この画素に対する動きベクトルを精度よく検出することが困難な場合がある。そこで、このように小さい画素は、不一致領域として処理するのではなく、周辺の一致領域と同様の処理を行うことする。
これにより、ノイズにより不一致領域と判定された領域など誤って不一致領域と判定されていた領域を一致領域に変更することができ、動きベクトル検出の精度を向上させることができる。
また、他の例としては、不一致領域中に一致領域が点在していた場合に、動きベクトル不採用領域を動きベクトル採用領域に修正してもよい。具体的な処理としては、動きベクトル採用領域と動きベクトル不採用領域の２値を用いた、孤立点除去や、モルフォロジなどのフィルタを用いて孤立点の除去を行う。なお、大きな領域を孤立点として除去すると、実在する小領域を除去してしまう場合があるので注意する必要がある。
また、第４の変更例としては、本実施の形態においては、領域判定部１０２は、相関値と閾値との比較により一致するか否かを判定したが、このときの閾値は、特に限定されるものではない。例えば、閾値は、絶対値で設定してもよく、また他の例としては、相対値で設定してもよい。
さらに、閾値はフレームごとに異ならせてもよい。例えば、暗いシーンであれば、閾値を下げてもよい。これにより、暗いシーンにおいても、異なる動きの領域を精度よく判別することができる。また、エッジ部分に対し閾値を上げることとしてもよい。これにより、エッジ部分も精度よく判別することができる。
また、第５の変更例としては、本実施の形態においては、領域判定部１０２は、輝度情報の相関値を算出したが、これにかえて色情報の相関値を算出してもよい。
（実施の形態２）
次に、実施の形態２にかかる補間フレーム作成装置１０について説明する。実施の形態２にかかる補間フレーム作成装置１０においては、不一致動きベクトル付与部１０６は、不一致領域のうち適切な動きベクトルが見つからなかった領域、すなわち未検出領域を特定する。また、動き補償部１０８は、未検出領域には隣接する領域の動きベクトルを付与するのにかえて、隣接する画素の平均値を割り当てる。
図２１は、実施の形態２にかかる補間フレーム作成装置１０による補間フレーム作成処理に含まれる不一致動きベクトル付与処理（ステップＳ１０６）における詳細な処理を示すフローチャートである。本実施の形態においては、最も適した動きベクトルを算出した後（ステップＳ１４８）、この動きベクトルにより定まる第１参照フレーム２００中の画素Ｐ１ｐと第２参照フレーム３００中の画素Ｐ２ｐｋとの間の絶対差分値と予め定めた閾値とを比較する。絶対差分値が閾値未満である場合、すなわち相関が高い場合には、この動きベクトルを画素Ｐ１ｐに対する動きベクトルと決定する（ステップＳ１５６）。一方、絶対差分値が閾値以上である場合、すなわち相関が低い場合には、この動きベクトルは利用せず、画素Ｐ１ｐを未検出領域と決定する（ステップＳ１５８）。
なお、未検出領域に対応する補間フレーム中の領域に対しては、動き補償処理（ステップＳ１０８）において、動き補償部１０８により隣接する第１参照領域中の画素の平均値が付与される。
不一致領域が、当該不一致領域を含むフレームにおいて新たに出現したオブジェクトに対応する領域である場合や、ノイズに対応する領域であるには、隣接する第１参照領域いずれの動きベクトルも不一致領域の本来の動きベクトルとは一致しない。このように、隣接する第１参照領域の動きベクトルから不一致領域に適した動きベクトルを選出できない場合がある。この場合、隣接する第１参照領域の動きベクトルを不一致領域の動きベクトルとして付与するのは好ましくない。そこで、実施の形態２にかかる補間フレーム作成装置１０においては、このような場合には、隣接する第１参照領域の動きベクトルは利用しないこととした。これにより、動きベクトルの誤検出を低減することができる。さらに、誤って検出した動きベクトルを利用することにより不適切な補間フレームを作成するのを防ぐことができる。
なお、実施の形態２にかかる補間フレーム作成装置１０のこれ以外の構成および処理は、実施の形態１にかかる補間フレーム作成装置１０の構成および処理と同様である。
実施の形態２にかかる補間フレーム作成装置１０の第１の変更例としては、実施の形態２にかかる補間フレーム作成装置１０においては、動き補償部１０８は、未検出領域に対しては、隣接する第１参照領域中の画素の平均値を割り当てたが、これにかえてメディアン値を割り当ててもよい。
また、第２の変更例としては、動き補償部１０８は、未検出領域に対しては、当該未検出領域を含む第１参照領域に対して動き推定部１００により算出された動きベクトルを割り当ててもよい。
（実施の形態３）
図２２は、実施の形態３にかかる動きベクトル検出装置１２の機能構成を示すブロック図である。動きベクトル検出装置１２は、動き推定部１００と、領域判定部１０２と、一致動きベクトル付与部１０４と、不一致動きベクトル付与部１０６と、フレームメモリ１１０とを備えている。なお、各部の機能は、実施の形態１にかかる対応する各部の機能と同様である。実施の形態１にかかる補間フレーム作成装置１０は、一致動きベクトル付与部１０４および不一致動きベクトル付与部１０６により付与された動きベクトルに基づいて、補間フレームを生成したが、実施の形態３にかかる動きベクトル検出装置１２は、動きベクトル付与までの処理を行う。実施の形態３にかかる動きベクトル検出装置１２によれば、マクロブロックよりも小さい領域単位で精度よく動きベクトルを算出することができる。
（実施の形態４）
次に、実施の形態４にかかる補間フレーム作成装置１０について説明する。実施の形態４にかかる補間フレーム作成装置１０は、補間フレームをマクロブロック単位に分割し、補間フレーム中のマクロブロックを基準として、第１参照フレーム２００および第２参照フレーム３００の動き推定を行う。
このように、補間フレーム４００を領域分割するので、作成される補間フレーム４００上に重複して画像が作成されたり、画像が作成されない領域が生じたりすることがなく、精度の高い補間フレームを作成することができる。
実施の形態４にかかる補間フレーム作成装置１０は、実施の形態１にかかる補間フレーム作成装置１０と同様、動き推定部１００と、領域判定部１０２と、一致動きベクトル付与部１０４と、不一致動きベクトル付与部１０６と、動き補償部１０８と、フレームメモリ１１０とを備えている。各部の処理については後述する。
図２３は、補間フレーム作成装置１０の動き推定部１００の処理を説明するための図である。図２３に示すように動き推定部１００は、補間フレーム４００をマクロブロック単位に分割し、複数の補間領域４１０を得る。そして、この補間領域４１０を基準として第１参照フレーム２００中の第１参照領域２５０と第２参照フレーム３００中の第２参照領域３５０の動き推定を行う。ここで、第１参照領域２５０および第２参照領域３５０は、いずれも補間領域４１０と同一形状同一サイズの領域である。
また、実施の形態４にかかる領域判定部１０２は、補間フレーム中の各領域が一致領域であるか不一致領域であるかを判定する。そして、一致動きベクトル付与部１０４は、補間フレーム中の一致領域に動きベクトルを付与し、不一致動きベクトル付与部１０６は、補間フレーム中の不一致領域に動きベクトルを付与する。
図２４は、実施の形態４にかかる補間フレーム作成装置１０による補間フレーム作成処理を示すフローチャートである。まず、動き推定部１００は、補間フレームを分割し、補間領域を得る（ステップＳ２００）。次に、領域判定部１０２は、補間領域を基準として動き推定を行う（ステップＳ２０２）。次に、領域判定部１０２は、領域判定を行う（ステップＳ２０４）。
次に、一致動きベクトル付与部１０４は、一致領域に対し動き推定部１００により算出された動きベクトルを付与する（ステップＳ２０６）。次に、不一致動きベクトル付与部１０６は、不一致領域に対し、隣接する補間領域に付与された動きベクトルを付与する（ステップＳ２０８）。次に、動き補償部１０８は、一致動きベクトル付与部１０４により付与された動きベクトルおよび不一致動きベクトル付与部１０６により付与された動きベクトルを利用して動き補償を行い、補間フレームを作成する（ステップＳ２１０）。以上で、実施の形態４にかかる補間フレーム作成装置１０による補間フレーム作成処理が完了する。
図２５は、図２４を参照しつつ説明した動き推定処理（ステップＳ２０２）における詳細な処理を示すフローチャートである。まず、補間フレーム４００に含まれる複数の補間領域のうちから１つの補間領域Ｒ０（ｉ）を抽出する（ステップＳ２１０）。次に、補間領域Ｒ０（ｉ）を中心として特定される第１参照領域Ｒ１（ｉ）と第２参照領域Ｒ２（ｉ）のペアのうち最も相関の高いペアを抽出し、このペアにより動きベクトルＭＶｉを求める（ステップＳ２１２）。
以上の処理をすべての補間領域に対して行い（ステップＳ２１４，Ｙｅｓ）、動き推定処理（ステップＳ２０２）が完了する。なお、処理されていない補間領域が存在する場合には（ステップＳ２１４，Ｎｏ）、ｉの値を１加算し（ステップＳ２１６）、ステップＳ２１０へ戻る。
図２６は、図２４を参照しつつ説明した領域判定処理（ステップＳ２０４）における詳細な処理を示すフローチャートである。まず、領域判定部１０２は、第１参照フレームおよび第２参照フレーム中のすべての画素を不一致領域とする（ステップＳ２２０）。次に、所定の補間領域に対応する第１参照領域Ｒ１（ｉ）と第２参照領域Ｒ２（ｉ）の対応する画素ごとに相関判定を行う（ステップＳ２２２）。次に、相関演算結果に基づいて、両画素が一致するか否かを判定し、一致すると判定された画素を不一致領域から一致関領域に変更する（ステップＳ２２４）。
以上の処理が行われていない補間参照領域が存在する場合には（ステップＳ２２６，Ｎｏ）、ｉの値を１加算し（ステップＳ２２８）、ステップＳ２２２へ進む。ステップＳ２２２およびステップＳ１２４の処理がすべての補間領域に対して行われると（ステップＳ２２６，Ｙｅｓ）、領域判定処理（ステップＳ２０４）が完了する。
図２７および図２８は、領域判定処理（ステップＳ２０４）を具体的に説明するための図である。図２７に示すように補間領域４２０と、これに対応する第１参照領域２６０および第２参照領域３６０に対し領域判定を行った場合、オブジェクト５１０の部分は一致領域となる。ただし第１参照領域２６０に含まれる背景部分と第２参照領域３６０に含まれる背景部分とは背景５００のうち異なる部分であるためこれらは不一致領域となる。したがって、図２８に示すように対応する補間領域４２０も同様に、オブジェクトに対応する領域が一致領域４２４となり、背景に対応する領域が不一致領域４２２ａ，４２２ｂとなる。
図２９は、不一致動きベクトル付与処理（ステップＳ２０８）における詳細な処理を示すフローチャートである。まず、補間フレーム４００から不一致領域ＨＰ０を抽出する（ステップＳ２４０）。次に、不一致領域ＨＰ０に隣接する第１参照領域の動きベクトルＭＶｋ（ｋ＝１〜Ｓ、Ｓは不一致領域Ｈ１周辺に存在する動きベクトルＭＶの数）を抽出する（ステップＳ２４２）。ここでは、隣接する補間領域のすべての動きベクトルを抽出する。例えば、２つの動きベクトルが存在する場合には、この２つの動きベクトルを抽出する。また、隣接する補間領域がすべて同じ動きベクトルである場合には、この１つの動きベクトルを抽出する。
次に、不一致領域ＨＰ０中の各画素ＨＰ０ｐ（ｐは、不一致領域ＨＰ０中の画素）に、抽出された動きベクトルＭＶｋを適用し、第１参照フレーム２００中の画素Ｈ１ｋと第２参照フレーム３００中の対応する画素Ｈ２ｋ（ｋは、動きベクトルＭＶｋのｋに対応する）を抽出する（ステップＳ２４４）。すなわち、画素Ｈ１ｋと画素Ｈ２ｋのペアは、抽出された動きベクトルと同じ数だけ抽出される。
次に、画素Ｈ１ｋと画素Ｈ２ｋの間の相関演算を行う（ステップＳ２４６）。具体的には、画素Ｈ１ｋと画素Ｈ２ｋの輝度値の絶対差分値を算出する。次に、相関演算結果に基づいて、動きベクトルＭＶｋのうち画素ＨＰ０ｐに適した動きベクトルを選出する（ステップＳ２４８）。具体的には、絶対差分を算出する。複数の動きベクトルが抽出されている場合には、各動きベクトルに対して算出された絶対差分値のうち最も小さい絶対差分値に対応する動きベクトルを選出する。すなわち、最も相関の高いものを選出する。
以上の処理を不一致領域中のすべての画素に対して行い（ステップＳ２５０，Ｙｅｓ）、不一致動きベクトル付与処理（ステップＳ２０８）が完了する。なお、処理の行われていない画素が存在する場合には（ステップＳ２５０，Ｎｏ）、ｐの値を１加算して（ステップＳ２５２）、ステップＳ２４４へ進む。
図３０は、不一致領域動きベクトル付与処理（ステップＳ２０８）を具体的に説明するための図である。図３０に示す各補間領域には、動き推定部１００により算出された動きベクトルを示している。また、領域判定の結果が示されている。例えば、補間領域４２０の左上１画素および右下１画素の不一致領域４２２ａ，４２２ｂに対しては、隣接する補間領域の動きベクトルＭＶ１が抽出される。
この場合、隣接する８個の補間領域いずれの動きベクトルもＭＶ１である。したがって、動きベクトルＭＶ１を補間領域４２０の不一致領域４２２ａ，４２２ｂの動きベクトルと決定する。一方、補間領域４３０の右端中央の不一致領域４３２に対しては、隣接する補間領域の動きベクトルＭＶ１，ＭＶ２が抽出される。この場合、各動きベクトルに対して相関判定を行い、高い相関の得られた動きベクトルが選出される。本例においては、動きベクトルＭＶ２が選出される。
実施の形態４にかかる補間フレーム作成装置１０のこれ以外の構成および処理は、他の実施の形態にかかる補間フレーム作成装置１０の構成および処理と同様である。
（実施の形態５）
次に、実施の形態５にかかる補間フレーム作成装置１０について説明する。実施の形態５にかかる補間フレーム作成装置１０は実施の形態４にかかる補間フレーム作成装置１０と同様、補間フレーム４００を基準として第１参照フレーム２００と第２参照フレーム３００の動き推定を行う。実施の形態５にかかる補間フレーム作成装置１０は、さらに第１参照フレーム２００および第２参照フレーム３００以外のフレームを利用して不一致領域に付与する動きベクトルを決定する。
一般に動画像においては、２枚のフレームからは動きベクトルを検出することのできない、いわゆる陰面領域が存在する場合がある。実施の形態５にかかる補間フレーム作成装置１０は、このような陰面領域に対しても複数のフレームを利用することにより適切な画像を割り当てることができる。
図３１は、実施の形態５にかかる補間フレーム作成装置１０が対象とする参照フレームを示す図である。実施の形態５にかかる補間フレーム作成装置１０は、第１参照フレーム２００と第２参照フレーム３００の間の補間フレーム４００および第１参照フレーム２００と第２参照フレーム３００に加えて、第１参照フレーム２００よりも時間的に前のフレームである第３参照フレーム６００および第２参照フレーム３００よりも時間的に後のフレームである第４参照フレーム７００を利用する。
図３２は、実施の形態５にかかる補間フレーム作成装置１０による補間フレーム作成処理のうち不一致領域動きベクトル付与処理（ステップＳ２０８）における詳細な処理を示すフローチャートである。不一致領域ＨＰ０に隣接する補間領域の動きベクトルを抽出した後（ステップＳ２４２）、各動きベクトルＭＶｋに対し、第１から第４参照フレームからそれぞれ不一致領域ＨＰ０中の画素ＨＰ０ｐに対応する画素ＨＰ１ｋ，ＨＰ２ｋ，ＨＰ３ｋ，ＨＰ４ｋを抽出する（ステップＳ２６０）。
次に、第１参照フレーム２００中の画素ＨＰ１ｋと第２参照フレーム３００中の画素ＨＰ２ｋの相関演算を行う（ステップＳ２６２）。次に、第１参照フレーム２００中の画素ＨＰ１ｋと第３参照フレーム６００中の画素ＨＰ３ｋの相関演算を行う（ステップＳ２６４）。次に、第２参照フレーム３００中の画素ＨＰ２ｋと第４参照フレーム７００中の画素ＨＰ４ｋの相関演算を行う（ステップＳ２６６）。
以上の相関結果に基づいて、最も相関の高い画素の組み合わせに対応する動きベクトルを画素ＨＰ０ｐに付与すべき動きベクトルとして選出する（ステップＳ２６８）。以上の処理を不一致領域ＨＰ０中のすべての画素に対して行い（ステップＳ２７０，Ｙｅｓ）、不一致領域動きベクトル付与処理（ステップＳ２０８）が完了する。
図３３は、オブジェクト５２０が移動する様子を示す動画像である。図３３に示す動画像に対する不一致領域動きベクトル付与処理（ステップＳ２０８）を具体的に説明する。図３４は、図３３に示す動画像に対し領域判定を行った結果を示す図である。補間フレーム４００は、図３４に示すように、一致領域４０２と不一致領域４０４とに分類される。このうち、画素ＨＰ０１の動きベクトル算出においては、ＨＰ３２とＨＰ１２の相関演算結果が最も相関の高くなる。そこで、画素ＨＰ０１には、ＨＰ３２とＨＰ１２に対応する動きベクトルＭＶ１０が選出される。
なお、実施の形態５にかかる補間フレーム作成装置１０のこれ以外の構成および処理は、実施の形態４にかかる補間フレーム作成装置１０の構成および処理と同様である。
（実施の形態６）
次に、実施の形態６にかかる補間フレーム作成装置１０について説明する。図３５は、実施の形態６にかかる補間フレーム作成装置１０による不一致領域動きベクトル付与処理（ステップＳ２０８）における詳細な処理を示すフローチャートである。各フレーム中の画素同士の相関演算結果に基づいて、動きベクトルを選出した後（ステップＳ２６８）、この動きベクトルにより定まる２つの画素の間の絶対差分値と予め定めた閾値とを比較する。絶対差分値が閾値未満である場合、すなわち相関が高い場合には（ステップＳ２８０，Ｙｅｓ）、この動きベクトルを画素ＨＰ０ｐに対する動きベクトルと決定する（ステップＳ２８２）。一方、絶対差分値が閾値以上である場合、すなわち相関が低い場合には（ステップＳ２８０，Ｎｏ）、この動きベクトルは利用せず、画素ＨＰ０ｐを未検出領域と決定する（ステップＳ２８４）。
未検出領域に対応する補間フレーム中の領域に対しては、動き補償処理（ステップＳ２１０）において、不一致領域を利用した動き推定により動きベクトルが決定される。図３６は、不一致領域を利用した動き推定処理を説明するための図である。このように、例えば、補間フレーム４００の不一致領域中の画素ＨＰ０２、第１参照フレーム２００の不一致領域および第３参照フレーム６００を用いた動き推定を行う。また補間フレーム４００の不一致領域中の画素ＨＰ０２、第２参照フレーム３００の不一致領域および第４参照フレーム７００を用いた動き推定を行う。そして、動き推定の結果に基づいて、動きベクトルを決定する。
このように、第１参照フレームと第３参照フレームの低相関領域のみを使用するという制限を設けることにより、処理対象の領域を制限することができるので、処理効率を向上させることができる。さらに、動き推定の精度を向上させることができる。
なお、実施の形態６にかかる補間フレーム作成装置１０のこれ以外の構成および処理は、実施の形態４および実施の形態５にかかる補間フレーム作成装置１０の構成および処理と同様である。
実施の形態６の変更例としては、実施の形態４と実施の形態６にかかる不一致動きベクトル付与処理（ステップＳ２０８）を組み合わせてもよい。具体的には、まず実施の形態４において説明した不一致動きベクトル付与処理（ステップＳ２０８）のように第１参照フレームおよび第２参照フレームを利用して動きベクトルを選出する。そして、この動きベクトルの相関が低い場合には、実施の形態６において説明した不一致ベクトル付与処理（ステップＳ２０８）のように第３参照フレームおよび第４参照フレームを加えて、動きベクトルを選出する。これにより、ベクトル検出の精度を向上させることができる。さらに、精度の高い補間フレームを生成することができる。
実施の形態１にかかる補間フレーム作成装置１０の機能構成を示すブロック図である。 補間フレームを説明するための図である。 動き推定を説明するための図である。 動き推定を説明するための図である。 補間フレーム作成装置１０による補間フレーム作成処理を示すフローチャートである。 第１参照フレーム２００および第２参照フレーム３００の一例を示す図である。 動き推定処理（ステップＳ１００）における詳細な処理を示すフローチャートである。 図６に示す第１参照フレーム２００および第２参照フレーム３００に対する動き推定処理の結果を示す図である。 図６に示す第１参照フレーム２００および第２参照フレーム３００に対する動き推定処理の結果を示す図である。 領域判定（ステップＳ１０２）における詳細な処理を示すフローチャートである。 図９に示す動きベクトルＭＶ２が付与された第１参照領域２２０と、この第１参照領域２２０に対応する第２参照領域３２０の間の相関演算を説明するための図である。 図１１の相関演算により得られた一致領域および不一致領域を示す図である。 第１参照領域２２０の左隣の第１参照領域２３０における領域判定結果を示す図である。 図８に示す第１参照フレーム２００全体の領域判定結果を示す図である。 不一致動きベクトル付与処理（ステップＳ１０６）における詳細な処理を示すフローチャートである。 第１参照フレーム２００の一致領域および不一致領域を示す図である。 ３つの動きベクトルを含む第１参照フレーム２００および第２参照フレーム３００を示す図である。 図１７に示す第１参照フレーム２００から第２参照フレーム３００への動きベクトルを示す図である。 第１参照領域２４０の領域判定の結果を示す図である。 実施の形態１にかかる補間フレーム作成装置１０のハードウェア構成を示す図である。 実施の形態２にかかる補間フレーム作成装置１０による補間フレーム作成処理に含まれる不一致動きベクトル付与処理（ステップＳ１０６）における詳細な処理を示すフローチャートである。 実施の形態３にかかる動きベクトル検出装置１２の機能構成を示すブロック図である。 補間フレーム作成装置１０の動き推定部１００の処理を説明するための図である。 実施の形態４にかかる補間フレーム作成装置１０による補間フレーム作成処理を示すフローチャートである。 図２４を参照しつつ説明した動き推定処理（ステップＳ２０２）における詳細な処理を示すフローチャートである。 図２４を参照しつつ説明した領域判定処理（ステップＳ２０４）における詳細な処理を示すフローチャートである。 領域判定処理（ステップＳ２０４）を具体的に説明するための図である。 領域判定処理（ステップＳ２０４）を具体的に説明するための図である。 不一致動きベクトル付与処理（ステップＳ２０８）における詳細な処理を示すフローチャートである。 不一致領域動きベクトル付与処理（ステップＳ２０８）を具体的に説明するための図である。 実施の形態５にかかる補間フレーム作成装置１０が対象とする参照フレームを示す図である。 実施の形態５にかかる補間フレーム作成装置１０による補間フレーム作成処理のうち不一致領域動きベクトル付与処理（ステップＳ２０８）における詳細な処理を示すフローチャートである。 オブジェクト５２０が移動する様子を示す動画像である。 図３３に示す動画像に対し領域判定を行った結果を示す図である。 実施の形態６にかかる補間フレーム作成装置１０による不一致領域動きベクトル付与処理（ステップＳ２０８）における詳細な処理を示すフローチャートである。 不一致領域を利用した動き推定処理を説明するための図である。
符号の説明
１０ 補間フレーム作成装置
１２ 動きベクトル検出装置
５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５７ 通信Ｉ／Ｆ
６２ バス
１００ 動き推定部
１０２ 領域判定部
１０４ 一致動きベクトル付与部
１０６ 不一致動きベクトル付与部
１０８ 動き補償部
１１０ フレームメモリ
２００ 第１参照フレーム
３００ 第２参照フレーム
４００ 補間フレーム
６００ 第３参照フレーム
７００ 第４参照フレーム

Claims (37)

  1. 第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成装置であって、
    前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出手段と、
    前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定手段と、
    前記領域判定手段により一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与手段と、
    前記領域判定手段により不一致と判定された領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定する不一致動きベクトル決定手段と、
    前記一致動きベクトル付与手段により付与された前記一致動きベクトルおよび前記不一致動きベクトル決定手段により決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償手段と
    を備えたことを特徴とする補間フレーム作成装置。
  2. 前記不一致動きベクトル決定手段は、前記補間領域の前記不一致領域に隣接する補間領域に基づいて、前記不一致動きベクトルを決定することを特徴とする請求項１に記載の補間フレーム作成装置。
  3. 前記不一致動きベクトル決定手段は、前記補間領域中の前記不一致領域の周辺の補間領域に割り当てられている動きベクトルに基づいて、前記不一致動きベクトルを決定することを特徴とする請求項１または２に記載の補間フレーム作成装置。
  4. 前記不一致動きベクトル決定手段は、前記補間領域の前記不一致領域の周辺の補間領域の動きベクトルのうちいずれか１つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項３に記載の補間フレーム作成装置。
  5. 前記不一致動きベクトル決定手段は、前記補間領域の前記不一致領域の周辺の補間領域の動きベクトルが複数ある場合に、前記不一致領域と複数の動きベクトルそれぞれとにより定まる前記第１参照領域中の領域と前記第２参照領域中の領域の相関に基づいて、複数の動きベクトルのうち１つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項４に記載の補間フレーム作成装置。
  6. 前記不一致動きベクトル決定手段は、最も高い相関が得られた動きベクトルを前記不一致動きベクトルとして決定することを特徴とする請求項５に記載の補間フレーム作成装置。
  7. 前記不一致動きベクトル決定手段は、前記補間領域の前記不一致領域の周辺の補間領域の動きベクトルが複数ある場合に、前記不一致領域と複数の動きベクトルそれぞれとにより定まる前記第１参照領域中の領域、前記第２参照領域中の領域および第３参照領域中の領域の相関に基づいて、複数の動きベクトルのうち１つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項５または６に記載の補間フレーム作成装置。
  8. 前記不一致動きベクトル決定手段は、前記補間領域の前記不一致領域の周辺の補間領域の動きベクトルが複数ある場合に、前記不一致領域と複数の動きベクトルそれぞれとにより定まる前記第１参照領域中の前記不一致領域、前記第２参照領域中の前記不一致領域および第３参照領域中の領域の相関に基づいて、複数の動きベクトルのうち１つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項７に記載の補間フレーム作成装置。
  9. 前記領域判定手段は、前記補間領域の動きベクトルにより定まる前記第１参照領域中の領域と前記第２参照領域中の領域の間の相関と、予め定めた閾値を比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項１から８のいずれか一項に記載の補間フレーム作成装置。
  10. 前記領域判定手段は、前記補間領域の動きベクトルにより定まる前記第１参照領域中の領域の輝度値と前記第２参照領域中の領域の輝度値との間の相関と、予め定めた閾値とを比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項９に記載の補間フレーム作成装置。
  11. 前記領域判定手段は、前記補間領域の動きベクトルにより定まる前記第１参照領域中の領域の色値と前記第２参照領域中の領域の色値との間の相関と、予め定めた閾値とを比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項９に記載の補間フレーム作成装置。
  12. 前記不一致動きベクトル決定手段は、前記領域判定手段により不一致と判定された前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域との間の相関が予め定められた閾値より大きい場合に、前記補間領域の不一致領域の周囲の補間領域に基づいて、不一致動きベクトルを決定することを特徴とする請求項１から１１のいずれか一項に記載の補間フレーム作成装置。
  13. 前記不一致動きベクトル決定手段は、前記領域判定手段により不一致と判定された前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域との間の相関が予め定められた閾値より小さい領域に対し、前記不一致補間領域と複数の動きベクトルそれぞれとにより定まる前記第１参照領域中の領域、前記第２参照領域中の領域および第３参照領域中の領域の相関に基づいて、複数の動きベクトルのうち１つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項１２に記載の補間フレーム作成装置。
  14. 前記動き補償手段は、前記領域判定手段により不一致と判定された前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域との間の相関が予め定められた閾値より小さい領域に対し、前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域の不一致領域に対し、当該不一致領域の周囲の補間領域の画素の平均値またはメディアン値を割り当てることを特徴とする請求項１２に記載の補間フレーム作成装置。
  15. 前記一致動きベクトル付与手段は、前記領域判定手段により不一致と判定された前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域との組み合わせに対応する前記補間領域中の不一致領域に含まれる画素の数が予め定められた閾値よりも小さい場合に、前記補間領域中の前記不一致領域を一致領域に変更し、当該一致領域に対し、当該一致領域を含む前記補間領域に割り当てられている動きベクトルを付与することを特徴とする請求項１から１４のいずれか一項に記載の補間フレーム作成装置。
  16. 第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成装置であって、
    第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出手段と、
    前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定手段と、
    前記領域判定手段により一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与する一致動きベクトル付与手段と、
    前記領域判定手段により不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定する不一致動きベクトル決定手段と、
    前記一致動きベクトル付与手段により付与された前記一致動きベクトルおよび前記不一致動きベクトル決定手段により決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償手段と
    を備えたことを特徴とする補間フレーム作成装置。
  17. 前記不一致動きベクトル決定手段は、前記不一致領域に隣接する第１参照領域に基づいて、前記不一致動きベクトルを決定することを特徴とする請求項１６に記載の補間フレーム作成装置。
  18. 前記不一致動きベクトル決定手段は、前記不一致領域の周辺の第１参照領域に割り当てられている動きベクトルに基づいて、前記不一致動きベクトルを決定することを特徴とする請求項１６または１７に記載の補間フレーム作成装置。
  19. 前記不一致動きベクトル決定手段は、前記不一致領域の周辺の第１参照領域の動きベクトルのうちいずれか１つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項１８に記載の補間フレーム作成装置。
  20. 前記不一致動きベクトル決定手段は、前記不一致領域の周辺の第１参照領域の動きベクトルが複数ある場合に、前記不一致領域と複数の動きベクトルそれぞれとにより定まる前記第１参照領域中の領域と前記第２参照領域中の領域の相関に基づいて、複数の動きベクトルのうち１つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項１９に記載の補間フレーム作成装置。
  21. 前記不一致動きベクトル決定手段は、最も高い相関が得られた動きベクトルを前記不一致動きベクトルとして決定することを特徴とする請求項２０に記載の補間フレーム作成装置。
  22. 前記領域判定手段は、前記第１参照領域中の領域と、前記第２参照領域中の対応する領域の間の相関と、予め定めた閾値を比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項１６から２１のいずれか一項に記載の補間フレーム作成装置。
  23. 前記領域判定手段は、前記補間領域の動きベクトルにより定まる前記第１参照領域中の領域の輝度値と前記第２参照領域中の領域の輝度値との間の相関と、予め定めた閾値とを比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項２２に記載の補間フレーム作成装置。
  24. 前記領域判定手段は、前記補間領域の動きベクトルにより定まる前記第１参照領域中の領域の色値と前記第２参照領域中の領域の色値との間の相関と、予め定めた閾値とを比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項２２に記載の補間フレーム作成装置。
  25. 前記不一致動きベクトル決定手段は、前記領域判定手段により不一致と判定された前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域との間の相関が予め定められた閾値より大きい場合に、前記第１参照領域中の不一致領域の周囲の第１参照領域に基づいて前記不一致動きベクトルを決定することを特徴とする請求項１６から２４のいずれか一項に記載の補間フレーム作成装置。
  26. 前記動き補償手段は、前記領域判定手段により不一致と判定された前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域との間の相関が予め定められた閾値より小さい領域に対し、前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域の不一致領域に対し、当該不一致領域の周囲の補間領域の画素の平均値またはメディアン値を割り当てることを特徴とする請求項２５に記載の補間フレーム作成装置。
  27. 前記一致動きベクトル付与手段は、前記領域判定手段により不一致と判定された前記第１参照領域中の不一致領域に含まれる画素の数が予め定められた閾値よりも小さい場合に、前記補間領域中の前記不一致領域を一致領域に変更し、当該一致領域に対し、当該一致領域を含む前記補間領域に割り当てられている動きベクトルを付与することを特徴とする請求項１６から２６のいずれか一項に記載の補間フレーム作成装置。
  28. 第１参照フレームと第２参照フレームの間の補間フレームの動きベクトルを検出する動きベクトル検出装置であって、
    前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出手段と、
    前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定手段と、
    前記領域判定手段により一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与手段と、
    前記領域判定手段により不一致と判定された領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定する不一致動きベクトル決定手段と
    を備えたことを特徴とする動きベクトル検出装置。
  29. 第１参照フレームと第２参照フレームの間の動きベクトルを検出する動きベクトル検出装置であって、
    第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出手段と、
    前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定手段と、
    前記領域判定手段により一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与する一致動きベクトル付与手段と、
    前記領域判定手段により不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定する不一致動きベクトル決定手段と
    を備えたことを特徴とする動きベクトル検出装置。
  30. 第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成方法であって、
    前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、
    前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、
    前記領域判定ステップにおいて一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与ステップと、
    前記領域判定ステップにおいて不一致と判定された領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定する不一致動きベクトル決定ステップと、
    前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
    を有することを特徴とする補間フレーム作成方法。
  31. 第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成方法であって、
    第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、
    前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、
    前記領域判定ステップにおいて一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与する一致動きベクトル付与ステップと、
    前記領域判定ステップにおいて不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定する不一致動きベクトル決定ステップと、
    前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
    を有することを特徴とする補間フレーム作成方法。
  32. 第１参照フレームと第２参照フレームの間の補間フレームの動きベクトルを検出する動きベクトル検出方法であって、
    前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、
    前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、
    前記領域判定ステップにおいて一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与ステップと、
    前記領域判定ステップにおいて不一致と判定された領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定する不一致動きベクトル決定ステップと
    を有することを特徴とする動きベクトル検出方法。
  33. 第１参照フレームと第２参照フレームの間の動きベクトルを検出する動きベクトル検出方法であって、
    第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、
    前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、
    前記領域判定ステップにおいて一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与する一致動きベクトル付与ステップと、
    前記領域判定ステップにおいて不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定する不一致動きベクトル決定ステップと
    を有することを特徴とする動きベクトル検出方法。
  34. 第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成処理をコンピュータに実行させる補間フレーム作成プログラムであって、
    前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、
    前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、
    前記領域判定ステップにおいて4一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与ステップと、
    前記領域判定ステップにおいて不一致と判定された領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定する不一致動きベクトル決定ステップと、
    前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
    を有することを特徴とする補間フレーム作成プログラム。
  35. 第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成処理をコンピュータに実行させる補間フレーム作成プログラムであって、
    第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、
    前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、
    前記領域判定ステップにおいて一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与する一致動きベクトル付与ステップと、
    前記領域判定ステップにおいて不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定する不一致動きベクトル決定ステップと、
    前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
    を有することを特徴とする補間フレーム作成プログラム。
  36. 第１参照フレームと第２参照フレームの間の補間フレームの動きベクトル検出処理をコンピュータに実行させる動きベクトル検出プログラムであって、
    前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、
    前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、
    前記領域判定ステップにおいて一致と判定された領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与ステップと、
    前記領域判定ステップにおいて不一致と判定された領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域に基づいて決定する不一致動きベクトル決定ステップと
    を有することを特徴とする動きベクトル検出プログラム。
  37. 第１参照フレームと第２参照フレームの間の補間フレームの動きベクトル検出処理をコンピュータに実行させる動きベクトル検出プログラムであって、
    第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、
    前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域が一致するか否かを判定する領域判定ステップと、
    前記領域判定ステップにおいて一致と判定された第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に割り当てられている動きベクトルを付与する一致動きベクトル付与ステップと、
    前記領域判定ステップにおいて不一致と判定された第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照に基づいて決定する不一致動きベクトル決定ステップと
    を有することを特徴とする動きベクトル検出プログラム。
JP2006095941A 2006-03-30 2006-03-30 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム Active JP4417918B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006095941A JP4417918B2 (ja) 2006-03-30 2006-03-30 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
US11/674,503 US7936950B2 (en) 2006-03-30 2007-02-13 Apparatus for creating interpolation frame
KR20070019581A KR100870278B1 (ko) 2006-03-30 2007-02-27 보간 프레임 작성 장치
EP20070250809 EP1841234A3 (en) 2006-03-30 2007-02-27 Apparatus for creating interpolation frame
CNA2007100850557A CN101047779A (zh) 2006-03-30 2007-02-28 用于创建内插帧的设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006095941A JP4417918B2 (ja) 2006-03-30 2006-03-30 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム

Publications (2)

Publication Number Publication Date
JP2007274221A true JP2007274221A (ja) 2007-10-18
JP4417918B2 JP4417918B2 (ja) 2010-02-17

Family

ID=38190603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006095941A Active JP4417918B2 (ja) 2006-03-30 2006-03-30 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム

Country Status (5)

Country Link
US (1) US7936950B2 (ja)
EP (1) EP1841234A3 (ja)
JP (1) JP4417918B2 (ja)
KR (1) KR100870278B1 (ja)
CN (1) CN101047779A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012034327A (ja) * 2010-07-06 2012-02-16 Mitsubishi Electric Corp フレーム補間装置及び方法、並びにプログラム及び記録媒体
CN101753795B (zh) * 2008-12-16 2012-05-16 晨星软件研发(深圳)有限公司 用以决定插补画面的移动向量的影像处理方法及其相关装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763917B1 (ko) * 2006-06-21 2007-10-05 삼성전자주식회사 고속으로 움직임을 추정하는 방법 및 장치
JP4322904B2 (ja) * 2006-09-19 2009-09-02 株式会社東芝 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
KR20090104050A (ko) * 2006-12-21 2009-10-05 톰슨 라이센싱 비디오 이미지의 블럭을 디코딩하는 방법
JP5106203B2 (ja) * 2008-03-27 2012-12-26 株式会社東芝 補間画像生成装置、方法およびプログラム
US9001271B2 (en) * 2008-06-20 2015-04-07 Mediatek Inc. Method and related apparatus for generating interpolated frame according to spatial relationship result and temporal matching difference
CN101626508A (zh) * 2008-07-11 2010-01-13 宝利微电子系统控股公司 一种判断帧率提升中闭塞区域的方法
TWI423666B (zh) * 2008-12-31 2014-01-11 Altek Corp Image elimination method for image sequence
KR101573400B1 (ko) * 2009-02-18 2015-12-02 삼성디스플레이 주식회사 액정 표시 장치 및 그 구동 방법
US8289444B2 (en) * 2009-05-06 2012-10-16 Samsung Electronics Co., Ltd. System and method for reducing visible halo in digital video with covering and uncovering detection
CA2714932A1 (en) * 2009-09-23 2011-03-23 Her Majesty The Queen In The Right Of Canada As Represented By The Minister Of Industry Image interpolation for motion/disparity compensation
TWI408621B (zh) * 2009-11-17 2013-09-11 Mstar Semiconductor Inc 影像插補處理裝置及其方法
KR101138922B1 (ko) 2010-07-07 2012-05-14 중앙대학교 산학협력단 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치 및 방법
JP5791241B2 (ja) * 2010-07-16 2015-10-07 キヤノン株式会社 画像処理方法、画像処理装置、およびプログラム
EP2421266A1 (en) * 2010-08-19 2012-02-22 Thomson Licensing Method for reconstructing a current block of an image and corresponding encoding method, corresponding devices as well as storage medium carrying an images encoded in a bit stream
CN102413270B (zh) * 2011-11-21 2014-02-19 晶门科技（深圳）有限公司 校正边界区域运动向量的方法和装置
TW201322777A (zh) * 2011-11-25 2013-06-01 Novatek Microelectronics Corp 偵測背景移動向量的方法
CN112770015B (zh) * 2020-12-29 2022-09-13 紫光展锐(重庆)科技有限公司 一种数据处理方法及相关装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5400076A (en) * 1991-11-30 1995-03-21 Sony Corporation Compressed motion picture signal expander with error concealment
JPH08149421A (ja) * 1994-11-22 1996-06-07 Oki Electric Ind Co Ltd 動きベクトルを用いた動き内挿方法および動き内挿回路
JP3573176B2 (ja) * 1995-12-15 2004-10-06 Ｋｄｄｉ株式会社 動画像符号化方法及び装置
JP4092778B2 (ja) 1997-06-04 2008-05-28 株式会社日立製作所 画像信号の方式変換装置及びテレビジョン受像機
EP0883298A3 (en) 1997-06-04 2000-03-29 Hitachi, Ltd. Conversion apparatus for image signals and TV receiver
JP3840129B2 (ja) * 2002-03-15 2006-11-01 株式会社東芝 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム
JP2003339029A (ja) * 2002-05-20 2003-11-28 Sony Corp 動きベクトル補正回路及び方法
JP4198550B2 (ja) * 2002-09-10 2008-12-17 株式会社東芝 フレーム補間方法およびこのフレーム補間方法を用いた装置
JP3898606B2 (ja) 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
JP4053490B2 (ja) * 2003-03-25 2008-02-27 株式会社東芝 フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置
JP4220284B2 (ja) * 2003-03-28 2009-02-04 株式会社東芝 フレーム補間方法、装置及びこれを用いた画像表示システム
JP4080951B2 (ja) * 2003-05-30 2008-04-23 株式会社東芝 フレーム補間方法及び装置並びに画像表示システム
US7336707B2 (en) * 2003-06-06 2008-02-26 Samsung Electronics Co., Ltd. Method and apparatus for detecting improper area for motion compensation in video signal
KR100657261B1 (ko) * 2003-12-10 2006-12-14 삼성전자주식회사 적응적 움직임 보상 보간 방법 및 장치
JP4198608B2 (ja) 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
EP1578137A2 (en) * 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
JP4198624B2 (ja) 2004-03-29 2008-12-17 株式会社東芝 補間画像生成装置、方法およびプログラム
JP4398925B2 (ja) * 2005-03-31 2010-01-13 株式会社東芝 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753795B (zh) * 2008-12-16 2012-05-16 晨星软件研发(深圳)有限公司 用以决定插补画面的移动向量的影像处理方法及其相关装置
JP2012034327A (ja) * 2010-07-06 2012-02-16 Mitsubishi Electric Corp フレーム補間装置及び方法、並びにプログラム及び記録媒体

Also Published As

Publication number Publication date
KR20070098496A (ko) 2007-10-05
KR100870278B1 (ko) 2008-11-25
EP1841234A3 (en) 2011-03-16
US7936950B2 (en) 2011-05-03
EP1841234A2 (en) 2007-10-03
CN101047779A (zh) 2007-10-03
US20070230830A1 (en) 2007-10-04
JP4417918B2 (ja) 2010-02-17

Similar Documents

Publication Publication Date Title
JP4417918B2 (ja) 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
JP4398925B2 (ja) 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム
CN101422047B (zh) 图像边界处的运动估计方法及显示设备
JP4322904B2 (ja) 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
JP5506800B2 (ja) フレーム補間装置及びフレーム補間方法
RU2454721C2 (ru) Устройство и способ для формирования изображения, программа для его реализации и носитель информации, который хранит программу
US8355596B2 (en) Image generation method and apparatus, program therefor, and storage medium which stores the program
KR101756842B1 (ko) 영상 프레임의 보간 방법 및 장치
US20180144485A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP2001084366A (ja) 画像補間装置
KR100855976B1 (ko) 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법
JP5198543B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP4385077B1 (ja) 動きベクトル検出装置および画像処理装置
WO2012066866A1 (ja) 動きベクトル検出装置、動きベクトル検出方法、フレーム補間装置及びフレーム補間方法
US9106926B1 (en) Using double confirmation of motion vectors to determine occluded regions in images
JP2008242839A (ja) 画像処理装置及びその方法
KR20050081730A (ko) 움직임 보상 기반의 영상 신호 프레임율 변환 방법
JP2012185655A (ja) 画像処理装置、画像処理方法および画像処理プログラム
EP2424243B1 (en) Motion estimation using integral projection
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP6708131B2 (ja) 映像処理装置、映像処理方法及びプログラム
KR20090084311A (ko) 프레임 레이트 변환 방법
JP4250598B2 (ja) 動き補償型ｉｐ変換処理装置及び動き補償型ｉｐ変換処理方法
JP5824937B2 (ja) 動きベクトル導出装置および方法
JP2010016447A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091126

R151 Written notification of patent or utility model registration

Ref document number: 4417918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

Free format text: JAPANESE INTERMEDIATE CODE: R313121

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250