JP2012034233A - 補間フレーム生成装置及び補間フレーム生成方法 - Google Patents
補間フレーム生成装置及び補間フレーム生成方法 Download PDFInfo
- Publication number
- JP2012034233A JP2012034233A JP2010172748A JP2010172748A JP2012034233A JP 2012034233 A JP2012034233 A JP 2012034233A JP 2010172748 A JP2010172748 A JP 2010172748A JP 2010172748 A JP2010172748 A JP 2010172748A JP 2012034233 A JP2012034233 A JP 2012034233A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- frames
- motion vector
- unit
- reading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 239000013598 vector Substances 0.000 claims abstract description 138
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 238000010586 diagram Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 206010047571 Visual impairment Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000872 buffer Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
【課題】良好な補間フレームを生成することができる補間フレーム生成装置及び補間フレーム生成方法の提供。
【解決手段】上記の課題を解決するために、本実施形態の補間フレーム生成装置は、入力手段と、読込手段と、検出手段と、生成手段とを備える。ここで入力手段には複数のフレームが入力され、読込手段は、入力手段に入力された複数のフレームのうち、2以上のフレームを読み込む。検出手段は、読み込まれた前記2以上のフレームのフレーム間の動きベクトルを検出する。生成手段は、検出された前記動きベクトルと、読み込まれた前記フレームとに基づいて補間フレームを生成する。また読込手段は、検出手段が検出した動きベクトルの方向に応じた方向で、前記2以上のフレームを読み込む。
【選択図】 図2
【解決手段】上記の課題を解決するために、本実施形態の補間フレーム生成装置は、入力手段と、読込手段と、検出手段と、生成手段とを備える。ここで入力手段には複数のフレームが入力され、読込手段は、入力手段に入力された複数のフレームのうち、2以上のフレームを読み込む。検出手段は、読み込まれた前記2以上のフレームのフレーム間の動きベクトルを検出する。生成手段は、検出された前記動きベクトルと、読み込まれた前記フレームとに基づいて補間フレームを生成する。また読込手段は、検出手段が検出した動きベクトルの方向に応じた方向で、前記2以上のフレームを読み込む。
【選択図】 図2
Description
補間フレーム生成装置及び補間フレーム生成方法に関する。
表示装置が動画像を表示する場合、当該表示装置は例えば60フレーム/秒のレートでフレームを表示する。つまり表示装置は、1フレームを1/60秒間表示し続ける。ここで、LCD等のホールド式の表示装置に動画像を表示すると、ユーザには1フレーム前の画像が残像として視覚され、映像中の物体の動きが不自然に見えることがある。そして、この残像は1フレームの表示期間が長いほど顕著に現れる。
このような残像現象を抑制するために、連続する2つのフレームの間に補間フレームを挿入し、1フレームの表示期間を短くする方法が知られている。この方法では、まず前後フレームの2枚又はそれ以上のフレームに対し、各フレームを構成する画像ブロックのマッチング処理が実行され、各画像ブロックのフレーム間での動きベクトルが検出される。なお動きベクトルの検出の際には、例えば前フレームのある座標の画素が、後フレームの何れの座標に移動したかが検出される。そして各ブロックの動きベクトルと入力フレームとに基づいて、入力フレーム間に挿入する新たな補間フレームが生成される。
ところで、動きベクトル検出の際には、当該検出に係る処理量を軽減するために、後フレームの座標のうち、前フレームのある座標から一定範囲内にある座標の画素を動きベクトルの検出対象とする場合がある。そして、このように一定範囲を動きベクトルの検出対象とした場合であっても、良好な補間フレームを生成できることが好ましい。
そこで本発明の実施形態は、良好な補間フレームを生成することができる補間フレーム生成装置及び補間フレーム生成方法の提供を目的とする。
上記の課題を解決するために、本実施形態の補間フレーム生成装置は、入力手段と、読込手段と、検出手段と、生成手段とを備える。ここで入力手段には複数のフレームが入力され、読込手段は、入力手段に入力された複数のフレームのうち、2以上のフレームを読み込む。検出手段は、読み込まれた前記2以上のフレームのフレーム間の動きベクトルを検出する。生成手段は、検出された前記動きベクトルと、読み込まれた前記フレームとに基づいて補間フレームを生成する。また読込手段は、検出手段が検出した動きベクトルの方向に応じた方向で、前記2以上のフレームを読み込む。
以下、図面を参照して一実施形態を説明する。
図1(A)は、実施形態に係る補間フレーム生成装置の利用形態例を示す図である。ここで補間フレーム生成装置は、例えばテレビ装置100として実現されている。
図1(A)は、実施形態に係る補間フレーム生成装置の利用形態例を示す図である。ここで補間フレーム生成装置は、例えばテレビ装置100として実現されている。
テレビ装置100は、受信部110及び表示部170等を備える。そしてテレビ装置100は、受信部110で受信したテレビ放送等の映像を表示部170に表示する機能を有する。またテレビ装置100は、入力された映像のフレームのうちの複数のフレームに基づいて、これらのフレームの間に表示するための1以上の補間フレームを生成する。そしてテレビ装置100は、フレーム間に補間フレームを挿入した映像を表示部170に表示することができる。
ここでテレビ装置100は、例えば入力された2つのフレームに基づいて、当該2つのフレーム間の補間フレームを生成する。N番目のフレームA1とN+1番目のフレームA2とが入力されると、当該フレームA1及びA2を解析してこれら夫々のフレームを構成する画像ブロックのマッチング処理を行い、フレーム間での画像ブロックの動きベクトルA3を検出する。そしてテレビ装置100は、動きベクトルA3と、フレームA1及びA2とに基づいて、補間フレームA4を生成する。そしてテレビ装置100は、入力フレーム間に補間フレームを挿入することにより、入力された映像データのフレーム数よりも大きなフレーム数の映像を表示する。
図1(B)は、テレビ装置100によるマッチング処理の処理例を示す図である。テレビ装置100は、例えば、N番目のフレームB1とN+1番目のフレームB2の2枚のフレーム、又はそれ以上のフレーム間で、フレームを構成する画像ブロックのマッチングを行う。なおマッチングとは、あるフレームにおける一定サイズ(解像度)の画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。
マッチングでは、前フレーム中の画像ブロック内と、後フレーム中のいずれかの画像ブロック内とで、互いに同一位置にある画素間の差分を計算する。そして、当該差分を累積した値(SAD:Sum of Absolute Difference)が最小となる後フレームの画像ブロックが、前フレーム中の画像ブロックに最も類似する画像ブロックとして検出される。そして、前フレーム中の画像ブロックと、後フレーム中の画像ブロックのうち前フレームの画像ブロックに最も類似する画像ブロックとの位置の差が動きベクトルとして検出される。
ここで、例えばフレームB1の画像ブロックB3がマッチング対象の画像ブロックである場合、テレビ装置100は、フレームB2を構成する画像ブロックのうち、ブロックB3の位置(座標)から一定画素数分の距離内の領域である領域B4内にある画像ブロックB5乃至B12を、ブロックB3のマッチングの対象ブロックとする。そしてここでは、ブロックB3に対して最も相関が高い(類似する)ブロックとしてブロックB12が検出され、ブロックB3とブロックB12との位置の差B13が動きベクトルとして検出される。
なお、テレビ装置100において、動きベクトルの検出対象となる領域B4は、例えば垂直方向の長さよりも水平方向の長さが長い横長の領域となっている。これは、一般的な映像においては垂直方向の動きよりも水平方向の動きが大きい傾向があるからであり、動きベクトルの検出範囲を横長とすることで、水平方向に対する大きな動きを検出することができる。しかしながら映像において、垂直方向の動きが領域B4の垂直方向の大きさよりも大きいと、当該垂直方向の動きを検出できない恐れがある。
これに対し本実施例のテレビ装置100は、フレームの方向を好適な方向にして読み込むことにより、動きベクトルの検出精度を向上させ、良好な補間フレームを生成することができる。
次に図2を参照してテレビ装置100のシステム構成例を説明する。
テレビ装置100は、受信部110、デコード部120、フレームメモリ130、補間処理部140、ホスト部150、映像出力部160、表示部170等を備える。ここで受信部110は、テレビ放送等の映像を受信する機能を有する。また受信部110は、例えばIPテレビ等の映像を受信してもよい。そして受信部110は、映像データが入力されると、当該映像データをデコード部120に出力する。
テレビ装置100は、受信部110、デコード部120、フレームメモリ130、補間処理部140、ホスト部150、映像出力部160、表示部170等を備える。ここで受信部110は、テレビ放送等の映像を受信する機能を有する。また受信部110は、例えばIPテレビ等の映像を受信してもよい。そして受信部110は、映像データが入力されると、当該映像データをデコード部120に出力する。
デコード部120は、入力された映像データをデコードし、複数のフレームを生成する。そしてデコード部120は、生成したフレームをフレームメモリ130に出力する。
フレームメモリ130は、デコード部120から入力された複数のフレームをバッファする。またフレームメモリ130には、補間処理部140から補間フレームが入力される。そしてフレームメモリ130は、デコード部120から入力されたフレームと、補間処理部140から入力されたフレームとを映像出力部160に出力する。
補間処理部140は、読込・書込部141、動きベクトル検出部142、動きベクトル解析部143、ベクトル情報格納部144、補間フレーム生成部145等を備える。そして補間処理部140は、フレームメモリ130にバッファされているフレームのうち2のフレームを、ホスト150からの指示に基づいて読み込み、当該2のフレームの間に表示するための補間フレームを生成し、フレームメモリ130に書き込む機能を有する。
読込・書込部141は、フレームメモリ130からのフレームの読み込み、及び当該フレームメモリ130への補間フレームの書き込みを行う。フレームを読み込む場合、読込・書込部141は、ホスト150からの指示に基づき、動きベクトル検出部142が検出した動きベクトルの方向に応じた方向でフレームを読み込む。即ち、ホスト150から例えばフレームの方向(向き)を変えて読み込む指示を受けた場合、読込・書込部141は、当該指示に従って、フレームを当該フレームの方向を変えて読み込む。なおフレームの方向を変えた読み込みについては図3を参照して後述する。
一方、読込・書込部141は、ホスト150から例えばフレームの方向を変えることなく読み込む指示を受けた場合、読込・書込部141はフレームの方向を変えることなくフレームを読み込む。そして読込・書込部141は、読み込んだフレームを動きベクトル検出部142と補間フレーム生成部145とに出力する。なお読込・書込部141は、補間フレームを生成するための2以上のフレームを、当該2以上のフレーム毎に読み込む。
また読込・書込部141は、フレームメモリ130に補間フレームを書き込む場合にも、ホスト150の指示に応じた書き込み処理を行う。即ち読込・書込部141は、フレームの方向(向き)を変えてフレームを読み込んだ場合、当該読み込んだフレームに基づいて生成された補間フレームを、当該補間フレームの方向が、デコード部120からフレームメモリ130に入力されるフレームと同じ方向となるように、当該補間フレームをフレームメモリ130に書き込む。フレーム書込の際のフレームの向きについては図3を参照して後述する。
動きベクトル検出部142は、読込・書込部141が読み込んだ2以上のフレームのうちの何れかのフレームとフレームとの間の動きベクトルを検出する。つまり動きベクトル検出部142は、読み込んだフレームに対して前述のブロックマッチングを行うことにより、画像ブロックのフレーム間の動きベクトルを検出する。そして動きベクトル検出部142は、検出した動きベクトルを動きベクトル解析部143と補間フレーム生成部145とに出力する。
動きベクトル解析部143は、動きベクトル検出部142から入力された動きベクトル解析する。ここで動きベクトル解析部143は、例えばフレーム間の動きベクトルの平均値や、動きベクトルの水平方向又は垂直方向に対する動き量の最大値、フレームの中央部付近における動きベクトルの動き量等を解析する。そしてベクトル解析結果144aをベクトル情報格納部144に格納させる。
補間フレーム生成部145は、読込・書込部141から入力されたフレームと、動きベクトル検出部142から入力された動きベクトルとに基づいて、1以上の補間フレームを生成する。そして補間フレーム生成部145は、生成した補間フレームを読込・書込部141に出力する。
ホスト150は、読込・書込部141に対して、フレームメモリ130からのフレームの読込及び書込を指示する。ここでホスト150は、ベクトル情報格納部144に格納されたベクトル解析結果144aに応じた読込及び書込を、読込・書込部141に指示する。例えばホスト150は、読込・書込部141が読み込んだフレームについての動きベクトル解析結果144aが、垂直方向の動き量が大きいことを示している場合、次に読み込むべきフレームを、当該フレームの方向を変えて読み込むように読込・書込部141に指示する。即ちホスト150は、動きベクトル検出部142が検出した動きベクトルの方向及び動き量に応じた方向でのフレームの読み込みを読込・書込部141に指示する。
またホスト150は、方向を変えて読み込んだフレームに基づいた補間フレームが、補間フレーム生成部145から読込・書込部141に入力された場合、当該入力された補間フレームを、通常の方向、即ちフレームメモリ130に格納されているフレームの方向と同じ方向でフレームメモリ130に書き込むよう読込・書込部141に指示する。
映像出力部160は、フレームメモリ130から入力されたフレームを、ディスプレイ用の信号に変換して表示部170に出力する。そして表示部170は、当該信号に基づいた映像を表示する。
次に図3を参照して、動きベクトル解析部143による動きベクトルの解析例を説明する。
図3(A)に示す例では、動きベクトル解析部143は、動きベクトル検出部142が検出した、領域J1乃至Jnごとの動きベクトルを解析する。そして動きベクトル解析部143は、例えば領域J1乃至Jnの動きベクトルの何れかが、フレームの垂直方向(長方形のフレームにおける短手方向)に対して一定値以上の動き量であるか否かを判別する。
図3(A)に示す例では、動きベクトル解析部143は、動きベクトル検出部142が検出した、領域J1乃至Jnごとの動きベクトルを解析する。そして動きベクトル解析部143は、例えば領域J1乃至Jnの動きベクトルの何れかが、フレームの垂直方向(長方形のフレームにおける短手方向)に対して一定値以上の動き量であるか否かを判別する。
あるいは動きベクトル解析部143は、例えば領域J1乃至Jnの動きベクトルの平均を計算し、当該動きベクトルの平均の垂直方向の大きさが一定値以上であるか、又は当該動きベクトルの平均の垂直方向の大きさが水平方向の大きさの一定倍率以上であるかを判別する。
図3(B)に示す例では、動きベクトル解析部143は、動きベクトル検出部142が検出した動きベクトルのうち、領域L1内の動きベクトルを解析する。なお当該領域L1は、例えば夫々のフレームの中心画素L2から一定距離内の領域である。動きベクトル解析部143は、当該領域L1内の動きベクトルのうちの何れかの動きベクトルの垂直方向に対する動き量が閾値以上であるか、または当該領域L1内の動きベクトルの平均をとった動きベクトルの垂直方向に対する動き量が一定値以上である等を判別する。
なおここで示した処理例はあくまで例に過ぎず、テレビ装置100は、少なくとも検出した動きベクトルの垂直方向の動き量に基づいて、垂直方向の動きが大きいか否かを判別すればよい。
次に図4を参照して、読込・書込部141によるフレームメモリ130に対する読込・書込例を説明する。
図4(A)は、読込・書込部141によるフレームの読込処理例を示す図である。ここでフレームC1は複数の画素C2を含んでいる。そして読込・書込部141は、フレームC1の画素C2を例えばC3乃至C5に示すように走査して読み込むことにより、フレームC1を異なる方向で読み込むことができる。
図4(A)は、読込・書込部141によるフレームの読込処理例を示す図である。ここでフレームC1は複数の画素C2を含んでいる。そして読込・書込部141は、フレームC1の画素C2を例えばC3乃至C5に示すように走査して読み込むことにより、フレームC1を異なる方向で読み込むことができる。
図4(B)は、フレームC1をC3の方向に走査した場合に読み込まれるフレームD1を示す図である。ここでフレームC1をC3の方向、即ちフレームC1の左上の画素を始点として、当該左上画素の行を左から右に走査し、順次下の行を走査すると、当該走査により読込・書込部141に読み込まれるフレームD1は、元のフレームC1と同じ方向のフレームとなる。
図4(C)は、フレームC1をC4の方向に走査した場合に読み込まれるフレームD2を示す図である。ここでフレームC1をC4の方向、即ちフレームC1の右上の画素を始点として当該右上画素の列を上から下に走査し、順次左の列を上から下に走査すると、当該走査により読込・書込部141に読み込まれるフレームD2は、元のフレームC1を反時計回りに90度回転された方向のフレームとなる。
図4(D)は、フレームC1をC5の方向に走査した場合に読み込まれるフレームD3を示す図である。ここでフレームC1をC5方向、即ちフレームC1の右上の画素を始点として当該右上画素の行を左方向に走査し、順次下の行を右から左へ走査していくと、当該走査により読込・書込部141に読み込まれるフレームD3は、元のフレームC1を左右反転させた方向のフレームとなる。
図4(E)に示すフレームE1乃至E3は、図4(B)乃至(D)に示されるフレームD1乃至D3に夫々基づいて生成された補間フレームの書込処理例を示す図である。なお、図4(E)におけるフレームE1は、フレームD1と同様の方向で読み込まれたフレームを元に生成された補間フレーム、フレームE2は、フレームD2と同様の方向で読み込まれたフレームを元に生成された補間フレーム、フレームE3は、フレームD3と同様の方向で読み込まれたフレームを元に生成された補間フレームを示している。
ここで、フレームE1は、E11の方向でフレームメモリ130に書き込むことにより、当該フレームE1を、フレームE4と同様の方向でフレームメモリ130に格納させることができる。即ち、デコード部120からフレームメモリ130に入力されるフレームの画像と、フレームE1の画像との方向を対応させることができる。また、フレームE2はE21の方向で、フレームE3はE31の方向でフレームメモリ130に書き込むことにより、フレームメモリ130にバッファされる、デコード部120から入力されるフレームの画像と、当該メモリ130に書き込む補間フレームの画像との方向を対応させることができる。
次に図5を参照して、フレーム間の垂直方向の動きが小さい場合の、読込・書込部141によるフレームの読込処理例を説明する。
例えばデコード部120からフレームメモリ130に、N−1番目のフレームF1、N番目のフレームF2、N+1番目のフレームF3が入力される場合、読込・書込部141は、まずフレームF1及びF2を読み込み、動きベクトル検出部142は当該フレームF1とフレームF2との間の動きベクトルF4を検出する。ここで当該動きベクトルF4は水平方向の動き量が大きい。そしてテレビ装置100は、水平方向に対しては動きベクトルの検出範囲が広い。そのため、読込・書込部141は、次に読み込むフレームF2及びF3を、当該フレームF2及びF3の方向を変えることなく読み込む。
例えばデコード部120からフレームメモリ130に、N−1番目のフレームF1、N番目のフレームF2、N+1番目のフレームF3が入力される場合、読込・書込部141は、まずフレームF1及びF2を読み込み、動きベクトル検出部142は当該フレームF1とフレームF2との間の動きベクトルF4を検出する。ここで当該動きベクトルF4は水平方向の動き量が大きい。そしてテレビ装置100は、水平方向に対しては動きベクトルの検出範囲が広い。そのため、読込・書込部141は、次に読み込むフレームF2及びF3を、当該フレームF2及びF3の方向を変えることなく読み込む。
次に図6を参照して、フレーム間の垂直方向の動きが大きい場合の、読込・書込部141によるフレームの読込処理例を説明する。
例えばデコード部120からフレームメモリ130に、N−1番目のフレームG1、N番目のフレームG2、N+1番目のフレームG3が入力される場合、動きベクトル検出部142はまずフレームG1とフレームG2との間の動きベクトルG4を検出する。ここで当該動きベクトルG4は垂直方向の動き量が大きく、また水平方向の動き量が小さい。そしてテレビ装置100は、垂直方向に対する動きベクトルの検出範囲が、水平方向に対する動きベクトルの検出範囲よりも狭い。
例えばデコード部120からフレームメモリ130に、N−1番目のフレームG1、N番目のフレームG2、N+1番目のフレームG3が入力される場合、動きベクトル検出部142はまずフレームG1とフレームG2との間の動きベクトルG4を検出する。ここで当該動きベクトルG4は垂直方向の動き量が大きく、また水平方向の動き量が小さい。そしてテレビ装置100は、垂直方向に対する動きベクトルの検出範囲が、水平方向に対する動きベクトルの検出範囲よりも狭い。
そのため、読込・書込部141は、次に読み込むフレームG2及びG3を、当該フレームG2及びG3の方向を90度回転させて読み込む。つまり読込・書込部141は、動きベクトル検出部142が検出した動きベクトルの、フレームの垂直方向(長方形のフレームの短手方向)に対する動き量に応じて、フレームを90度回転させた方向又は回転させない方向で読み込むことができる。
そして読込・書込部141に90度回転されて読み込まれたフレームG21とG31との間の動きベクトルG41は、水平方向に対する動き量が大きく、垂直方向に対する動き量が小さい。このため、テレビ装置100による動きベクトルの検出範囲が水平方向に対して広い場合、テレビ装置100は当該動きベクトルG41を良好に検出できる。
次に図7を参照して、フレームの映像中に方向の異なる動きがある場合の、読込・書込部141によるフレームの読込処理例を説明する。
例えばフレームメモリ130に、N−1番目のフレームH1、N番目のフレームH2、N+1番目のフレームH3が入力される場合、動きベクトル検出部142はまずフレームH1とフレームH2との間の動きベクトルH4及びH5を検出する。ここで当該動きベクトルH4は垂直方向の動き量が大きく、一方動きベクトルH5は垂直方向の動き量が小さい。また、動きベクトルH4は、フレームの一部の領域である領域J10とJ11との間で、動きベクトルH5はフレームの一部の領域である領域J20とJ21との間で検出されている。
例えばフレームメモリ130に、N−1番目のフレームH1、N番目のフレームH2、N+1番目のフレームH3が入力される場合、動きベクトル検出部142はまずフレームH1とフレームH2との間の動きベクトルH4及びH5を検出する。ここで当該動きベクトルH4は垂直方向の動き量が大きく、一方動きベクトルH5は垂直方向の動き量が小さい。また、動きベクトルH4は、フレームの一部の領域である領域J10とJ11との間で、動きベクトルH5はフレームの一部の領域である領域J20とJ21との間で検出されている。
ここで読込・書込部141は、次に読み込むフレームH2及びH3を、当該フレームH2及びH3の領域J11及びJ12の方向を90度変えて、領域J21及びJ22の方向を変えることなく読み込む。つまり動きベクトル検出部142は、フレームに含まれる複数の領域の夫々におけるフレーム間の動きベクトルを検出して、読込・書込部141は、これら複数の領域の夫々におけるフレーム間の動きベクトルの方向及び動き量に応じた方向で、これら複数の領域を夫々読み込むことができる。
そして読込・書込部141に90度回転されて読み込まれた領域J15とJ16との間の動きベクトルH41は、水平方向に対する動き量が大きく、垂直方向に対する動き量が小さい。また方向を変えることなく読込・書込部141に読み込まれた領域J25とJ26との間の動きベクトルH51は、水平方向に対する動き量が大きく、垂直方向に対する動き量が小さい。このため、テレビ装置100による動きベクトルの検出範囲が垂直方向よりも水平方向に対して広い場合、テレビ装置100は当該動きベクトルH41及びH51を良好に検出できる。
なお図5乃至図7において、読込・書込部141は連続する2つのフレームを読み込み、動きベクトル検出部142は当該2つのフレーム間の動きベクトルを検出するとして説明したが、例えば読込・書込部141は2よりも多い複数のフレームを読み込み、動きベクトル検出部142は当該複数フレームのうちの何れかのフレーム間の動きベクトルを検出してもよい。そしてこの場合にも読込・書込部141は、検出された動きベクトルに応じた方向で次のフレームを読み込むことができる。
次に図8を参照して、テレビ装置100による映像表示に係る処理フロー例を説明する。
まず受信部110が受信した映像データがデコード部120に入力される(S801)。続いてデコード部120は、入力された映像データをデコードして(S802)、デコードされたフレームをフレームメモリ130に出力する。次にフレームメモリ130は、デコード部120から入力されたフレームを格納する(S803)。
まず受信部110が受信した映像データがデコード部120に入力される(S801)。続いてデコード部120は、入力された映像データをデコードして(S802)、デコードされたフレームをフレームメモリ130に出力する。次にフレームメモリ130は、デコード部120から入力されたフレームを格納する(S803)。
ここでテレビ装置100は、補間フレーム生成処理を行い、フレームメモリ130に格納されたフレームに基づいて補間フレームを生成し、当該生成した補間フレームをフレームメモリ130に書き込む(S804)。なお補間フレーム生成処理については図9を参照して後述する。そして補間フレームが書き込まれると、フレームメモリ130は、デコード部120から入力されたフレームの間に当該補間フレームを挿入して、これらフレームを映像出力部160に出力する(S805)。映像出力部160は入力されたフレームからディスプレイ表示用の信号を生成して当該生成した信号を表示部170に出力し、表示部170は当該信号に基づいた映像を表示する(S806)。
次に図9を参照して、テレビ装置100による補間フレーム生成に係る処理例を説明する。
まずホスト150は、ベクトル情報格納部144に格納されたベクトル解析結果144aを参照する(S901)。なおここでベクトル解析結果144aとは、過去に読込・書込部141に読み込まれたフレーム間の動きベクトルについての、ベクトル解析部143により解析された解析結果である。そしてホスト150が、例えば過去に動きベクトルを解析したフレーム対について、N回(N対)連続で垂直方向の動きが大きいと判別した場合(S902)、読込・書込部141は、フレームメモリ130に格納されたフレームを90度回転させて次のフレーム対を読み込む(S903)。
まずホスト150は、ベクトル情報格納部144に格納されたベクトル解析結果144aを参照する(S901)。なおここでベクトル解析結果144aとは、過去に読込・書込部141に読み込まれたフレーム間の動きベクトルについての、ベクトル解析部143により解析された解析結果である。そしてホスト150が、例えば過去に動きベクトルを解析したフレーム対について、N回(N対)連続で垂直方向の動きが大きいと判別した場合(S902)、読込・書込部141は、フレームメモリ130に格納されたフレームを90度回転させて次のフレーム対を読み込む(S903)。
一方、S902にて垂直方向の動きが大きいフレーム対がN回(N対)連続していない場合(S902のNo)、読込・書込部141は次のフレーム対を、フレームメモリ130に格納されているフレームの方向と同一の方向で読み込む(S904)。
なお、ここで垂直方向とは長方形のフレームにおける短手方向を指し、水平方向とは長手方向を指す。即ち、例えばフレームを90度回転させて読み込んだ場合、当該フレームにおける垂直方向は、フレームを回転させずに読み込んだ場合の垂直方向と異なる方向となるが、ここではフレームの短手方向を垂直として記載する。
またテレビ装置100はS902において、例えば図3で説明したように、検出された動きベクトルのうちの何れかベクトルの垂直成分や、検出された動きベクトルの垂直成分の平均等に基づいて、垂直方向の動きが大きいか否かを判別する。そしてこの判別手法は、少なくとも検出された動きベクトルの垂直方向の動き量に基づいた判別であれば、どのような手法であっても構わない。また、読込・書込部141は必ずしもフレームを対で読み込む必要はなく、2よりも多いフレームを読み込んでもよい。
動きベクトル検出部142は、読込・書込部141が読み込んだフレームのフレーム間の動きベクトルを検出する(S906)。そして動きベクトル解析部143は、動きベクトル検出部142が検出された動きベクトルを解析し、動きベクトルの動き量等についての動きベクトル解析結果を、ベクトル情報格納部144に格納させる(S907)。
次に補間フレーム生成部145は、読込・書込部に読み込まれた複数のフレームと、動きベクトル検出部142が検出した、当該複数のフレーム間の動きベクトルとに基づいて、当該複数のフレーム間を補間する補間フレームを生成する(S908)。補間フレームが生成されるとホスト150は、当該補間フレームの元となったフレームを読み込んだ方向を判別する。ここでホスト150は、フレームの方向を変えて読み込んでいた場合(S909のYes)、生成した補間フレームの方向を、フレームメモリ130に格納されているフレームの方向と対応する方向に戻して書き込むよう読込・書込部141に指示する。
そして読込・書込部141は、フレームの方向を戻して書き込む指示を受けると、当該指示に従った方向で補間フレームをフレームメモリ130に書き込む(S910)。一方S909においてフレームの方向を変えずに読み込んでいた場合(S909のNo)、ホスト150は、読み込んだフレームと同じ向きでの書き込みを読込・書込部141に指示し、読込・書込部141は当該指示に従ってフレームをフレームメモリ130に書き込む(S911)。
そしてホスト150は、次に補間フレームを生成すべきフレームがフレームメモリ130に格納されているか否かを判別し、次フレームがある場合(S912のYes)、S901の処理を実行する。一方、次フレームがない場合(S912のNo)、当該補間フレーム生成に係る処理は完了する。
なお図9に示す処理フロー例において読込・書込部141は、Nフレーム連続で垂直方向の動きが大きい場合に、フレームの方向を90度変えて読み込むとして説明したが、例えば過去に動きベクトルを検出したN対のフレームのうち一定数以上のフレーム対において動きベクトルの垂直成分が大きい場合に、次のフレームの方向を変えて読み込んでもよい。
また、図9に示すフロー例では、フレームを90度回転させて読み込んでいる場合に、垂直方向の動きが大きくないと一度でも判別した場合、メモリに格納されたフレームと同じ方向でフレームを読み込むとしているが、例えばフレームを90度回転させて読み込んでいる場合にM回連続して垂直方向の動きが大きくないと判別した場合にメモリ内のフレームと同じ方向でフレームを読み込んでもよい。
また、例えば右から左への動きに対する動きベクトル検出範囲が広い場合、左右の動きベクトルの動き量に応じて、フレームの左右の方向を入れ替えて読み込んでもよい。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
100…テレビ装置、110…受信部、120…デコード部、130…フレームメモリ、140…補間処理部、141…読込・書込部、142…動きベクトル検出部、143…動きベクトル解析部、144…ベクトル情報格納部、145…補間フレーム生成部、150…ホスト、160…映像出力部、170…表示部、
Claims (9)
- 複数のフレームが入力される入力手段と、
前記入力手段に入力された複数のフレームのうち、2以上のフレームを読み込む読込手段と、
読み込まれた前記2以上のフレームのフレーム間の動きベクトルを検出する検出手段と、
検出された前記動きベクトルと、読み込まれた前記フレームとに基づいて補間フレームを生成する生成手段と
を備え、
前記読込手段は、前記検出手段が検出した動きベクトルの方向に応じた方向で、前記2以上のフレームを読み込む、補間フレーム生成装置。 - 前記入力手段には、長方形の前記フレームが入力され、
前記読込手段は、前記検出手段が検出した動きベクトルの、前記フレームの短手方向に対する動き量に応じた方向で前記2以上のフレームを読み込む、請求項1記載の補間フレーム生成装置。 - 前記入力手段には、長方形の前記フレームが入力され、
前記読込手段は、前記検出手段が検出した動きベクトルの、前記フレームの短手方向に対する動き量に応じて90度異なる方向で前記2以上のフレームを読み込む、請求項1記載の補間フレーム生成装置。 - 前記入力手段には、長方形の前記フレームが入力され、
前記読込手段は、前記検出手段が検出した動きベクトルのうち前記フレームの中心から一定距離の領域における動きベクトルの、前記フレームの短手方向に対する動き量に応じた方向で前記2以上のフレームを読み込む、請求項1記載の補間フレーム生成装置。 - 前記検出手段は、前記フレームに含まれる複数の領域の夫々におけるフレーム間の動きベクトルを検出し、
前記読込手段は、前記検出手段が検出した、前記領域の夫々におけるフレーム間の動きベクトルの方向に応じた方向で前記夫々の領域を読み込む、請求項1記載の補間フレーム生成装置。 - 前記生成手段が生成した前記補間フレームを、前記入力手段に入力されたフレームの方向と対応する方向で出力する出力手段を更に備える、請求項1記載の補間フレーム生成装置。
- 前記入力手段に入力されたフレームと、前記生成手段が生成した前記補間フレームとの映像を表示する表示装置を更に備える、請求項1記載の補間フレーム生成装置。
- 複数のフレームが入力されることと、
前記入力手段に入力された複数のフレームから、2以上のフレーム毎にフレームを読み込むことと、
読み込まれた前記フレーム間の動きベクトルを検出することと、
検出された前記動きベクトルと、読み込まれた前記フレームとに基づいて補間フレームを生成することと
検出された動きベクトルの方向に応じた方向で、2以上のフレーム毎にフレームを読み込むこと
を備える補間フレーム生成方法。 - 長方形の前記フレームが複数入力されることと、
検出された動きベクトルの、前記フレームの短手方向に対する動き量に応じた方向で、2以上のフレームを読み込むことと
を備える、請求項8記載の補間フレーム生成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010172748A JP2012034233A (ja) | 2010-07-30 | 2010-07-30 | 補間フレーム生成装置及び補間フレーム生成方法 |
US13/099,788 US20120026390A1 (en) | 2010-07-30 | 2011-05-03 | Interpolation Frame Generating Apparatus and Interpolation Frame Generating Method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010172748A JP2012034233A (ja) | 2010-07-30 | 2010-07-30 | 補間フレーム生成装置及び補間フレーム生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012034233A true JP2012034233A (ja) | 2012-02-16 |
Family
ID=45526370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010172748A Pending JP2012034233A (ja) | 2010-07-30 | 2010-07-30 | 補間フレーム生成装置及び補間フレーム生成方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120026390A1 (ja) |
JP (1) | JP2012034233A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140170087A1 (en) | 2012-12-17 | 2014-06-19 | Raul G. Cuero | Uv-resistant microbes and uv-blocking microbial extract |
US10757324B2 (en) * | 2018-08-03 | 2020-08-25 | Semiconductor Components Industries, Llc | Transform processors for gradually switching between image transforms |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07162864A (ja) * | 1993-12-08 | 1995-06-23 | Ricoh Co Ltd | 動きベクトル検出方法 |
JP2810528B2 (ja) * | 1990-11-14 | 1998-10-15 | シャープ株式会社 | 動き補償フレーム間予測符号化における動きベクトルの探索回路 |
JP3538055B2 (ja) * | 1999-02-15 | 2004-06-14 | 日本電気株式会社 | 動きベクトル検出装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009060377A (ja) * | 2007-08-31 | 2009-03-19 | Toshiba Corp | 補間フレーム生成装置及び補間フレーム生成方法 |
JP5315162B2 (ja) * | 2009-08-05 | 2013-10-16 | 株式会社日立製作所 | 映像処理装置及び映像処理方法 |
-
2010
- 2010-07-30 JP JP2010172748A patent/JP2012034233A/ja active Pending
-
2011
- 2011-05-03 US US13/099,788 patent/US20120026390A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2810528B2 (ja) * | 1990-11-14 | 1998-10-15 | シャープ株式会社 | 動き補償フレーム間予測符号化における動きベクトルの探索回路 |
JPH07162864A (ja) * | 1993-12-08 | 1995-06-23 | Ricoh Co Ltd | 動きベクトル検出方法 |
JP3538055B2 (ja) * | 1999-02-15 | 2004-06-14 | 日本電気株式会社 | 動きベクトル検出装置 |
Also Published As
Publication number | Publication date |
---|---|
US20120026390A1 (en) | 2012-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4869045B2 (ja) | 補間フレーム作成方法および補間フレーム作成装置 | |
JP4869049B2 (ja) | 補間フレーム画像作成方法および補間フレーム画像作成装置 | |
RU2011118876A (ru) | Устройство воспроизведения, способ воспроизведения и программа для стереоскопического воспроизведения | |
JP2008160591A (ja) | テレビジョン受信機及びそのフレームレート変換方法 | |
JP2010056694A (ja) | 映像信号処理装置、画像表示装置および映像信号処理方法 | |
JP4431089B2 (ja) | 映像補間装置、フレームレート変換装置および映像表示装置 | |
JP2015056695A (ja) | 動画再生装置 | |
CN101420615B (zh) | 检测视频场序的方法和装置及视频处理系统 | |
US20150145892A1 (en) | Display apparatus for configuring a video wall, display system, and control method thereof | |
JP2012034233A (ja) | 補間フレーム生成装置及び補間フレーム生成方法 | |
JP2005268912A (ja) | フレーム補間のための画像処理装置およびそれを備えた表示装置 | |
JP5318811B2 (ja) | 2次元/3次元映像処理装置および映像表示装置 | |
KR101180606B1 (ko) | 프레임 보간 장치 | |
JP5219646B2 (ja) | 映像処理装置及び映像処理装置の制御方法 | |
JP2019193144A (ja) | 投影装置およびその制御方法 | |
TWI331473B (ja) | ||
JP4736456B2 (ja) | 走査線補間装置、映像表示装置、映像信号処理装置 | |
JP2010283895A (ja) | 映像信号処理装置、画像表示装置および映像信号処理方法 | |
JP5077037B2 (ja) | 画像処理装置 | |
JP2007060104A (ja) | 自己相関値算出方法及び補間画素生成方法、それらの装置並びにそれらのプログラム | |
JP2008199097A (ja) | 映像処理装置、映像処理方法、プログラム、記録媒体、携帯端末、及び、受信装置 | |
JP2010098513A (ja) | 補間画像生成装置及び補間画像生成方法 | |
JP2007082096A (ja) | フレーム周波数変換方法、フレーム周波数変換装置及びフレーム周波数変換プログラム | |
JP5124008B2 (ja) | 画像表示方法及び画像表示装置並びにプログラム | |
JP4708811B2 (ja) | インターレス画像データをプログレッシブ画像データに変換する方法、その装置及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120221 |