JP2011035612A - Frame rate converter and display device mounted by the same - Google Patents
Frame rate converter and display device mounted by the same Download PDFInfo
- Publication number
- JP2011035612A JP2011035612A JP2009179185A JP2009179185A JP2011035612A JP 2011035612 A JP2011035612 A JP 2011035612A JP 2009179185 A JP2009179185 A JP 2009179185A JP 2009179185 A JP2009179185 A JP 2009179185A JP 2011035612 A JP2011035612 A JP 2011035612A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- pixel
- interpolation
- interpolation frame
- information area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、補間フレームを挿入することによりフレームレートを変換するフレームレート変換装置、およびそれを搭載した表示装置に関する。 The present invention relates to a frame rate conversion device that converts a frame rate by inserting an interpolation frame, and a display device equipped with the frame rate conversion device.
近年、フレーム補間技術を用いて動画像のコマ数を増やし、より滑らかで残像感の少ない動画像を生成する手法が実用化されている。たとえば、毎秒60フレーム(60Hz)の動画像を2倍速または4倍速して、120Hzまたは240Hzの動画像に変換して表示する技術も実用化されている。補間フレームの生成手法として、連続するフレーム間の動きベクトルを用いる手法が注目されている(たとえば、特許文献1、2参照)。 In recent years, a technique for increasing the number of frames of a moving image by using a frame interpolation technique and generating a moving image with smoother and less afterimage has been put into practical use. For example, a technique of converting a moving image of 60 frames (60 Hz) per second to a moving image of 120 Hz or 240 Hz at a double speed or a quadruple speed and displaying it has been put into practical use. As a method for generating an interpolated frame, a method that uses a motion vector between consecutive frames has attracted attention (see, for example, Patent Documents 1 and 2).
日本では2006年4月からワンセグ放送が開始されている。ワンセグ放送は、携帯電話機などの携帯機器を主な受信対象とする狭帯域を利用した放送である。ワンセグ放送では、通常、毎秒15フレーム(15Hz)で映像が送信されるため、そのコマ数を増加させる必要性が高い。 In Japan, 1Seg broadcasting has started in April 2006. One-segment broadcasting is a broadcast that uses a narrow band mainly for portable devices such as mobile phones. In one-segment broadcasting, since video is normally transmitted at 15 frames per second (15 Hz), it is highly necessary to increase the number of frames.
ディスプレイに表示される画面上には、OSD(On Screen Display)領域が設定されることがある。たとえば、テレビ映像が表示される画面上に設定されたOSD領域に、チャンネル情報が表示されてもよい。また、ワンセグ放送により受信した映像を携帯電話機のディスプレイに表示させる場合、その画面上に設定されたOSD領域に、電波状況情報、電池残量情報などが表示されてもよい。 An OSD (On Screen Display) area may be set on the screen displayed on the display. For example, channel information may be displayed in an OSD area set on a screen on which a television image is displayed. In addition, when video received by one-segment broadcasting is displayed on a display of a mobile phone, radio wave status information, battery remaining amount information, and the like may be displayed in the OSD area set on the screen.
OSD領域に表示される文字や記号は、比較的変化が少ない情報である。たとえば、チャンネル情報は、チャンネルが切り替えられない限り変化しない。ここで、OSD領域が設定された映像に、上記フレーム補間技術を適用した場合にて、当該OSD領域内の画素に補間エラーが発生すると、その画素ノイズは目立ちやすいものとなる。OSD領域は、もともと変化が少ない領域であるため、動きがある領域と比較して、画素ノイズが目立ちやすいためである。 The characters and symbols displayed in the OSD area are information with relatively little change. For example, the channel information does not change unless the channel is switched. Here, when the frame interpolation technique is applied to a video in which an OSD area is set, if an interpolation error occurs in a pixel in the OSD area, the pixel noise becomes conspicuous. This is because the OSD area is originally an area with little change, and pixel noise is more conspicuous than an area with movement.
本発明はこうした状況に鑑みなされたものであり、その目的は、補間フレームの品質を向上させる技術を提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to provide a technique for improving the quality of an interpolation frame.
本発明のある態様のフレームレート変換装置は、入力される動画像のフレーム数を増加させて出力するフレームレート変換装置であって、動画像に含まれる第1フレームと第2フレームの少なくとも一方を参照して、それらフレーム間の補間フレームを生成する補間フレーム生成部と、所定の情報を重畳して表示するための情報領域を、画面内に設定する情報領域設定部と、を備える。補間フレーム生成部は、補間フレーム内の情報領域を、第1フレーム内または第2フレーム内の情報領域を複写して生成する。 A frame rate conversion apparatus according to an aspect of the present invention is a frame rate conversion apparatus that outputs an increased number of frames of an input moving image, and outputs at least one of a first frame and a second frame included in the moving image. With reference, an interpolation frame generating unit that generates an interpolated frame between these frames, and an information region setting unit that sets an information region for displaying predetermined information superimposed on the screen are provided. The interpolation frame generation unit generates the information area in the interpolation frame by copying the information area in the first frame or the second frame.
本発明の別の態様は、表示装置である。この装置は、上述したフレームレート変換装置と、フレームレート変換装置によりフレームレートが変換された画像を表示する表示部と、を備える。 Another embodiment of the present invention is a display device. This device includes the above-described frame rate conversion device and a display unit that displays an image whose frame rate has been converted by the frame rate conversion device.
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、補間フレームの品質を向上させることができる。 According to the present invention, the quality of an interpolation frame can be improved.
図1は、本発明の実施の形態に係るフレームレート変換装置100の構成を示す図である。当該フレームレート変換装置100は、入力される動画像のフレーム数を増加させて出力する。たとえば、動画像のフレーム数を2倍または4倍に増加させて出力する。
FIG. 1 is a diagram showing a configuration of a frame
当該フレームレート変換装置100は、補間フレーム生成部10、情報領域設定部20、フレーム記憶部30を備える。これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
The frame
補間フレーム生成部10は、動画像に含まれる第1フレームと第2フレームとの間の補間フレームを生成する。補間フレーム生成部10は、基本的に、第1フレームと第2フレームの両方を参照して、それらフレーム間の補間フレームを生成し、例外的に、第1フレームと第2フレームの一方を参照して、それらフレーム間の補間フレームを生成する。
The interpolation
以下、より具体的に説明する。補間フレーム生成部10は、動きベクトル検出部12および補間フレーム算出部14を含む。動きベクトル検出部12は、第1フレームと第2フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する。たとえば、画素単位の動きベクトルを二段階のブロックマッチングにより検出する。
More specific description will be given below. The interpolation
当該二段階のブロックマッチングの第一段階では、第1フレームを複数のブロック(たとえば、8×8または16×16のマクロブロック)に分割して、第2フレーム内において、当該各ブロックと一致または誤差が最小のブロックを探索する。 In the first stage of the two-stage block matching, the first frame is divided into a plurality of blocks (for example, 8 × 8 or 16 × 16 macroblocks), and is matched with the respective blocks in the second frame or Search for the block with the smallest error.
たとえば、第1フレーム内の対象ブロックと第2フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素の差分絶対値和または差分二乗和を求め、その値が最も小さい候補ブロックを、第2フレーム内の最適予測ブロックとする。また、第1フレーム内の対象ブロックと第2フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素が実質的に一致した数が最も多い候補ブロックを、第2フレーム内の最適予測ブロックとしてもよい。そして、第1フレーム内の各ブロックと、第2フレーム内の各最適予測ブロックとの動きベクトルを算出する。これにより、ブロック単位の動きベクトルを検出することができる。 For example, between the target block in the first frame and the candidate block in the second frame, a difference absolute value sum or a sum of squared differences of pixels at corresponding positions included in both is obtained, and a candidate block having the smallest value is obtained. The optimal prediction block in the second frame. In addition, the candidate block having the largest number of pixels corresponding to the corresponding positions included in both the target block in the first frame and the candidate block in the second frame is determined as the optimum in the second frame. It is good also as a prediction block. Then, a motion vector between each block in the first frame and each optimum prediction block in the second frame is calculated. Thereby, the motion vector of a block unit can be detected.
上記二段階のブロックマッチングの第二段階では、第1フレーム内の各ブロックと、第2フレーム内の各最適予測ブロックとの間で、画素値が実質的に一致しなかった画素の動きベクトルを求める。たとえば、上述した手法と同様の手法を用いて、第1フレーム内の各ブロック内の画素値が実質的に一致しなかった画素の領域と一致または誤差が最小の領域を、第2フレーム内において探索する。これにより、第1フレームと第2フレームとの間で、画素単位の動きベクトルを検出することができる。 In the second stage of the two-stage block matching, motion vectors of pixels whose pixel values do not substantially match between each block in the first frame and each optimum prediction block in the second frame are obtained. Ask. For example, by using a method similar to the above-described method, a region having the same or minimum error as the pixel region in which the pixel value in each block in the first frame does not substantially match is determined in the second frame. Explore. Thereby, the motion vector of a pixel unit can be detected between the first frame and the second frame.
補間フレーム算出部14は、補間フレーム内の各画素を通過する上記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第1フレーム内の画素および第2フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する。たとえば、両方の画素を合成して生成してもよいし、いずれか一方の画素を複写して生成してもよい。以下、図2、3を参照しながら両方の画素を合成して補間フレーム内の画素を生成する方法について説明する。
The interpolation
図2は、補間フレームの生成原理(2倍速変換)を示す図である。2倍速変換では、第1原フレームFo1と第2原フレームFo2との間に、一枚の補間フレームFiを挿入する必要がある。補間フレームFiは、第1原フレームFo1と第2原フレームFo2との時間間隔を二等分した時間位置に挿入される。 FIG. 2 is a diagram illustrating an interpolation frame generation principle (double speed conversion). In the double speed conversion, it is necessary to insert one interpolation frame Fi between the first original frame Fo1 and the second original frame Fo2. The interpolation frame Fi is inserted at a time position obtained by dividing the time interval between the first original frame Fo1 and the second original frame Fo2.
補間フレームFiの画素Piは、その画素Piを通過する動きベクトルmvの始点および終点に対応する、第1原フレームFo1の画素Po1および第2原フレームFo2の画素Po2を合成することにより生成される。たとえば、両者の画素値を平均して補間フレームFiの画素Piの画素値を算出してもよい。 The pixel Pi of the interpolation frame Fi is generated by combining the pixel Po1 of the first original frame Fo1 and the pixel Po2 of the second original frame Fo2 corresponding to the start point and end point of the motion vector mv passing through the pixel Pi. . For example, the pixel values of both pixels may be averaged to calculate the pixel value of the pixel Pi in the interpolation frame Fi.
ここで、補間フレームFiの画素Piを通過する動きベクトルmvを常に正確に求めることができれば、その動きベクトルmvの始点に対応する第1原フレームFo1の画素Po1を、そのまま補間フレームFiの画素Piに割り当ててもよい。しかしながら、動きベクトルmvが誤検出された場合、片方の画素Po1しか参照しないため、大きなノイズが発生しやすくなる。そこで、本実施の形態では、第1原フレームFo1の画素Po1および第2原フレームFo2の画素Po2の両方を参照する。 Here, if the motion vector mv passing through the pixel Pi of the interpolation frame Fi can always be accurately obtained, the pixel Po1 of the first original frame Fo1 corresponding to the start point of the motion vector mv is directly used as the pixel Pi of the interpolation frame Fi. May be assigned. However, when the motion vector mv is erroneously detected, only one pixel Po1 is referred to, so that large noise is likely to occur. Therefore, in the present embodiment, both the pixel Po1 of the first original frame Fo1 and the pixel Po2 of the second original frame Fo2 are referred to.
なお、補間フレームFiの対象画素を通過する動きベクトルが存在しない場合、たとえば、次のように処理する。すなわち、補間フレームFi内の周辺画素から空間的に補間した画素を当該対象画素に割り当てるか、補間フレームFiの対象画素と同じ位置の、第1原フレームFo1の画素および第2原フレームFo2の画素を合成した画素を当該対象画素に割り当てる。 If there is no motion vector that passes through the target pixel of the interpolation frame Fi, for example, the following processing is performed. That is, a pixel spatially interpolated from surrounding pixels in the interpolation frame Fi is assigned to the target pixel, or a pixel of the first original frame Fo1 and a pixel of the second original frame Fo2 at the same position as the target pixel of the interpolation frame Fi Is assigned to the target pixel.
図3は、補間フレームの生成原理(4倍速変換)を示す図である。4倍速変換では、第1原フレームFo1と第2原フレームFo2との間に、三枚の補間フレーム(第1補間フレームFi1、第2補間フレームFi2および第3補間フレームFi3)を挿入する必要がある。第1補間フレームFi1、第2補間フレームFi2および第3補間フレームFi3は、第1原フレームFo1と第2原フレームFo2との時間間隔を四等分した時間位置にそれぞれ挿入される。 FIG. 3 is a diagram showing the principle of interpolation frame generation (quadruple speed conversion). In the quadruple speed conversion, it is necessary to insert three interpolation frames (a first interpolation frame Fi1, a second interpolation frame Fi2, and a third interpolation frame Fi3) between the first original frame Fo1 and the second original frame Fo2. is there. The first interpolation frame Fi1, the second interpolation frame Fi2, and the third interpolation frame Fi3 are respectively inserted at time positions obtained by dividing the time interval between the first original frame Fo1 and the second original frame Fo2.
第1補間フレームFi1の画素Pi1は、その画素Pi1を通過する動きベクトルmvの始点および終点に対応する、第1原フレームFo1の画素Po1および第2原フレームFo2の画素Po2を合成することにより生成される。たとえば、両者の画素値を加重平均して、第1補間フレームFi1の画素Pi1の画素値を算出してもよい。すなわち、前者の画素値を3/4し、後者の画素値を1/4し、両者を加算する。 The pixel Pi1 of the first interpolation frame Fi1 is generated by combining the pixel Po1 of the first original frame Fo1 and the pixel Po2 of the second original frame Fo2 corresponding to the start point and end point of the motion vector mv passing through the pixel Pi1. Is done. For example, the pixel value of the pixel Pi1 of the first interpolation frame Fi1 may be calculated by weighted averaging of both pixel values. That is, the former pixel value is 3/4, the latter pixel value is 1/4, and both are added.
第2補間フレームFi2の画素Pi2は、図2に示した補間フレームFiの画素Piと同様に生成することができる。第3補間フレームFi3の画素Pi3も、第1原フレームFo1の画素Po1および第2原フレームFo2の画素Po2を合成することにより生成される。たとえば、両者の画素値を加重平均して、第3補間フレームFi3の画素Pi3の画素値を算出してもよい。すなわち、前者の画素値を1/4し、後者の画素値を3/4し、両者を加算する。 The pixel Pi2 of the second interpolation frame Fi2 can be generated in the same manner as the pixel Pi of the interpolation frame Fi shown in FIG. The pixel Pi3 of the third interpolation frame Fi3 is also generated by combining the pixel Po1 of the first original frame Fo1 and the pixel Po2 of the second original frame Fo2. For example, the pixel value of the pixel Pi3 of the third interpolation frame Fi3 may be calculated by weighted averaging of both pixel values. That is, the former pixel value is ¼, the latter pixel value is ¾, and both are added.
次に、上記動画像が表示される画面内に、参照無効領域が設定される場合について説明する。たとえば、当該参照無効領域は、レターボックス形式で表示される画面内の上下の余白領域(たとえば、黒帯領域)や、ピラーボックス形式で表示される画面内の左右の余白領域や、ウインドウボックス形式で表示される画面内の上下左右の余白領域に設定される。これらの余白は、アスペクト比が異なる映像の互換性をとるために、放送局側または受信機側で挿入される。たとえば、4:3の映像を16:9の画面に表示させる場合、ピラーボックス形式が採用され、画面内の左右に黒帯が表示される。また、上記参照無効領域は、設計者によりあらかじめ設定されることも可能である。たとえば、ノイズが発生しやすい、画素または領域に設定される。 Next, a case where a reference invalid area is set in the screen on which the moving image is displayed will be described. For example, the reference invalid area includes the upper and lower margin areas (for example, black belt area) in the screen displayed in the letterbox format, the left and right margin areas in the screen displayed in the pillar box format, and the window box format. Is set to the top, bottom, left, and right margin areas in the screen. These margins are inserted on the broadcast station side or the receiver side in order to ensure compatibility of images with different aspect ratios. For example, when a 4: 3 video is displayed on a 16: 9 screen, a pillar box format is adopted, and black bands are displayed on the left and right sides of the screen. The reference invalid area can be set in advance by a designer. For example, it is set to a pixel or a region where noise is likely to occur.
以下、図4、図5を参照して、画面内に参照無効領域が設定されている場合における、補間フレーム算出部14による画素生成処理について説明する。図4は、画面40内に参照無効領域42a、42bが設定されている場合における、補間フレーム算出部14による画素生成処理の4つのケースを模試的に示す図である。図5は、補間フレーム算出部14による画素生成処理の4つのケースをまとめた図表である。
Hereinafter, with reference to FIG. 4 and FIG. 5, the pixel generation processing by the interpolation
図4に示す画面40はピラーボックス形式の画面であり、当該画面40は、映像が表示される有効領域41と、その左右の余白領域である参照無効領域42a、42bとに分割される。なお、画面40外の領域は、参照無効領域42a、42bと同様に扱う。
The
ケースaは、補間フレームFi内の対象画素Pia、第1原フレームFo1内の参照画素Po1aおよび第2原フレームFo2内の参照画素Po2aのすべてが有効領域41に存在するケースである。すなわち、補間フレーム算出部14は、補間フレームFi内の対象画素Piaを通過する上記動きベクトルの始点および終点に対応する、第1原フレームFo1内の画素Po1aおよび第2原フレームFo2内の画素Po2aの両方が有効領域41に存在する場合、両方の画素Po1a、Po2aを参照して、対象画素Piaを生成する。たとえば、両方の画素Po1a、Po2aを合成(たとえば、平均)した画素を、補間フレームFi内の対象画素Piaに割り当てる。
Case a is a case where the target pixel Pia in the interpolation frame Fi, the reference pixel Po1a in the first original frame Fo1, and the reference pixel Po2a in the second original frame Fo2 are all present in the
ケースbは、補間フレームFiの対象画素Pibが参照無効領域42a、42bに存在するケースである。すなわち、補間フレーム算出部14は、補間フレームFi内の対象画素Pibが参照無効領域42a、42bに存在する場合、対象画素Pibの位置に対応または一致する、第1原フレームFo1内の画素および第2原フレームFo2内の画素の少なくとも一方を参照して、対象画素Pibを生成する。たとえば、原フレームFo1内の当該画素を、補間フレームFi内の対象画素Pibに複写する。また、第2原フレームFo2内の当該画素を複写してもよい。また、第1原フレームFo1内の当該画素および第2原フレーム内の当該画素を合成(たとえば、平均)した画素を、補間フレームFi内の対象画素Pibに複写してもよい。
Case b is a case where the target pixel Pib of the interpolation frame Fi exists in the reference
なお、ケースbでは、補間フレームFi内の対象画素Pibを通過する上記動きベクトルの始点および終点に対応する、第1原フレームFo1内の画素Po1bおよび第2原フレームFo2内の画素Po2bは、有効領域41に存在するか参照無効領域42a、42bに存在するかを問わず、いずれも参照されない。
In case b, the pixel Po1b in the first original frame Fo1 and the pixel Po2b in the second original frame Fo2 corresponding to the start and end points of the motion vector passing through the target pixel Pib in the interpolation frame Fi are valid. Regardless of whether it exists in the
ケースcは、補間フレームFi内の対象画素Picが有効領域41に存在し、第1原フレームFo1内の参照画素Po1cおよび第2原フレームFo2内の参照画素Po2cの一方が有効領域41に存在し、他方が参照無効領域42a、42bに存在するケースである。すなわち、補間フレーム算出部14は、補間フレームFi内の対象画素Picを通過する上記動きベクトルの始点および終点に対応する、第1原フレームFo1内の画素Po1cおよび第2原フレームFo2内の画素Po2cの一方が参照無効領域42a、42bに存在する場合、他方を参照して対象画素Picを生成する。図4では、参照無効領域42a、42bに存在するほうの第1原フレームFo1内の画素Po1cを参照せず、参照無効領域42a、42bに存在しないほうの第2原フレームFo2内の画素Po2cを参照して、対象画素Picを生成する。図4では、参照無効領域42a、42bに存在しないほうの第2原フレームFo2内の画素Po2cを、補間フレームFi内の対象画素Picに複写する。
In the case c, the target pixel Pic in the interpolation frame Fi exists in the
ケースdは、補間フレームFi内の対象画素Pidが有効領域41に存在し、第1原フレームFo1内の参照画素Po1dおよび第2原フレームFo2内の参照画素Po2dの両方が参照無効領域42a、42b(画面40外の領域を含む)に存在するケースである。すなわち、補間フレーム算出部14は、補間フレームFi内の対象画素Pidを通過する上記動きベクトルの始点および終点に対応する、第1原フレームFo1内の画素Po1dおよび第2原フレームFo2内の画素Po2dの両方が参照無効領域42a、42bに存在する場合、対象画素Pidの位置に対応または一致する、第1原フレームFo1内の画素および第2原フレームFo2内の画素の少なくとも一方を参照して、対象画素Pidを生成する。たとえば、両方の画素を合成(たとえば、平均)して生成してもよいし、いずれか一方の画素を複写して生成してもよい。
In the case d, the target pixel Pid in the interpolation frame Fi exists in the
すなわち、ケースdでは上記動きベクトルをゼロと考える。なお、補間フレームFi内の対象画素Pidを通過する上記動きベクトルの始点および終点に対応する、第1原フレームFo1内の画素Po1dおよび第2原フレームFo2内の画素Po2dは、いずれも参照されない。 That is, in case d, the motion vector is considered to be zero. Note that neither the pixel Po1d in the first original frame Fo1 nor the pixel Po2d in the second original frame Fo2 corresponding to the start point and end point of the motion vector passing through the target pixel Pid in the interpolation frame Fi is referred to.
図1に戻り、情報領域設定部20は、所定の情報を重畳して表示するための情報領域を、画面内に設定し、その位置を補間フレーム算出部14に設定する。たとえば、補間フレーム算出部14内のレジスタに、当該情報領域とすべき画素位置を設定する。
Returning to FIG. 1, the information
当該情報領域は、OSD領域であってもよい。上記所定の情報は、文字(数字を含む)、記号、アイコンなどで表現され、たとえば、チャンネル情報、音量情報、日付情報、時刻情報、電波状況情報、電池残量情報、未読メール有無情報などが該当する。これらのうち、電波状況情報、電池残量情報、および未読メール有無情報は、携帯電話機などの携帯機器でワンセグ放送を受信して表示する場合に、その画面内に表示されることが可能である。なお、情報領域設定部20は、当該情報領域を一画面内に複数箇所、設定してもよい。
The information area may be an OSD area. The predetermined information is expressed by letters (including numbers), symbols, icons, etc., for example, channel information, volume information, date information, time information, radio wave status information, battery remaining information, unread mail presence information, etc. Applicable. Among these, the radio wave status information, the remaining battery level information, and the unread mail presence / absence information can be displayed on the screen when the one-segment broadcasting is received and displayed by a portable device such as a cellular phone. . The information
情報領域設定部20は、外部(たとえば、後述する図7の主制御部300)からの領域情報に応じて、上記情報領域を設定する。たとえば、当該主制御部300がワンセグ放送により受信した映像に、チャンネル情報を事後的に重畳させる場合、次のような領域情報を生成し、情報領域設定部20に通知する。当該領域情報には、チャンネル情報を重畳させた位置を示す位置情報、ならびにそのチャンネル情報の表示を開始するフレームおよびその表示を終了するフレームを特定するためのフレーム情報とが含まれる。当該領域情報は、主制御部300から情報領域設定部20に、I2Cなどを利用して伝達される。
The information
本実施の形態では、情報領域設定部20により設定された情報領域は、上記参照無効領域に自動的に設定される。したがって、補間フレーム算出部14は、補間フレーム内の上記情報領域に含まれる対象画素を、第1フレーム(たとえば、補間フレームに対する前フレーム)内の当該対象画素の位置に対応する画素を参照して生成する(上記ケースb)。たとえば、第1フレーム内の当該画素を複写して、補間フレーム内の当該対象画素を生成する。これらの処理が、補間フレーム内の上記情報領域に含まれる全画素に対して実行されることにより、第1フレーム内の上記情報領域が補間フレーム内の上記情報領域に複写される。なお、補間フレーム算出部14は、補間フレーム内の上記情報領域に含まれる対象画素を、第2フレーム(たとえば、補間フレームに対する後フレーム)内の当該対象画素の位置に対応する画素を参照して生成してもよい。
In the present embodiment, the information area set by the information
また、補間フレーム算出部14は、補間フレーム内の上記情報領域に含まれない対象画素の動きベクトルにより特定される、第1フレーム内の画素および第2フレーム内の画素の一方が上記情報領域に存在する場合、上記情報領域に存在するほうの画素を参照せず、上記情報領域に存在しないほうの画素を参照して、当該対象画素を生成する(ケースc)。
In addition, the interpolation
また、補間フレーム算出部14は、補間フレーム内の上記情報領域に含まれない対象画素の動きベクトルにより特定される、第1フレーム内の画素および第2フレーム内の画素の両方が上記情報領域に存在する場合、上記対象画素の位置に対応する、第1フレーム内の画素および第2フレーム内の画素の少なくとも一方を参照して、上記対象画素を生成する(ケースd)。たとえば、両方の画素を合成(たとえば、平均)して生成してもよいし、いずれか一方の画素を複写して生成してもよい。
In addition, the interpolation
フレーム記憶部30は、外部から入力される動画像に含まれる原フレーム、および補間フレーム生成部10により生成される補間フレームを一時記憶し、それらフレームを表示順にしたがい外部(たとえば、表示パネル)に出力する。
The
図6は、画面60内に重畳されて表示されるチャンネル情報61と、当該チャンネル情報61を含むOSD領域62を示す図である。図6(a)は、画面60内に重畳されて表示されるチャンネル情報61を示し、図6(b)は、画面60内のOSD領域62を示す。
FIG. 6 is a diagram showing
図6(a)において、画面60内の右上隅にチャンネル情報61(ここでは、1ch)が表示される。このチャンネル情報61は、放送局側により付加された情報ではなく、受信機側により事後的に付加される情報である。図6(b)において、このチャンネル情報61を含む小領域がOSD領域62に設定される。これにより、当該小領域は上記参照無効領域となる。
In FIG. 6A, channel information 61 (here, 1ch) is displayed in the upper right corner of the
以上説明したように本実施の形態によれば、上述した動きベクトルを用いる補間フレーム技術を用いて補間フレームを生成する場合において、上記情報領域を設定した場合、第1フレームの当該情報領域を複写して、補間フレームの当該情報領域を生成することにより、補間フレームの品質を向上させることができる。 As described above, according to the present embodiment, when the interpolation frame is generated using the above-described interpolation frame technique using the motion vector, when the information area is set, the information area of the first frame is copied. Thus, the quality of the interpolation frame can be improved by generating the information area of the interpolation frame.
すなわち、上記情報領域に表示される文字、記号、アイコンなどは、比較的変化が少ない情報であり、動きがある領域に発生するノイズと比較し、当該情報領域に発生するノイズは目立ちやすいものとなる。静止している期間が長い上記情報領域内の画素は、前フレームの同じ位置の画素を踏襲したほうが、上述した動きベクトルを用いた補間演算により生成するより、高精度を実現しやすい。また、単純に前フレームの画素値を踏襲すれば、演算量を低減させることもできる。 That is, the characters, symbols, icons, etc. displayed in the information area are information with relatively little change, and the noise generated in the information area is more conspicuous than the noise generated in the area with movement. Become. For pixels in the information area having a long stationary period, it is easier to achieve high accuracy if the pixels at the same position in the previous frame are followed by the interpolation calculation using the motion vector described above. Also, if the pixel value of the previous frame is simply followed, the amount of calculation can be reduced.
また、上記情報領域は、元の映像と異なる内容を表示している領域であり、元の映像を表示している領域の画素を生成する際、当該情報領域に含まれる画素を誤って参照すると、ノイズが発生しやすくなる。この点、上記情報領域を上記参照無効領域とすることにより、当該ノイズの発生を抑制することができる。 In addition, the information area is an area displaying content different from the original video, and when the pixel of the area displaying the original video is generated, the pixel included in the information area is erroneously referred to. , Noise is likely to occur. In this regard, the occurrence of the noise can be suppressed by setting the information area as the reference invalid area.
図7は、実施の形態に係るフレームレート変換装置100を搭載した、表示装置500を示す図である。表示装置500は、ワンセグ放送を受信し、表示再生する機能を搭載した機器である。たとえば、ワンセグ放送の受信再生専用機であってもよいし、その機能を搭載した携帯電話機、PDA、携帯型音楽プレーヤ、電子辞書、カーナビゲーション装置などであってもよい。
FIG. 7 is a diagram showing a
当該表示装置500は、アンテナ200、主制御部300、フレームレート変換装置100および表示部400を備える。主制御部300は、受信部310、復号部320およびフレームレート変換部330を含む。受信部310は、アンテナ200を介してワンセグ放送を受信し、選択されたチャンネルの信号を復調して、復号部320へ出力する。
The
復号部320は、受信部310から入力される符号化データを復号する。ワンセグ放送画像の符号化には、AVC/H.264規格が採用されている。復号部320は、復号したフレームをフレームレート変換部330に出力する。なお、復号されたフレームがフレームレート変換部330に入力される前に、実際は図示しないスケーラによる解像度変換が施されるが、ここではそれに注目しないため、省略している。
The
フレームレート変換部330は、入力されるフレームを単純に複写して、フレーム数を増加させる。ここでは、15Hzの動画像の各フレームを3回複写してフレーム数を4倍にすることにより、15Hzの動画像を60Hzの動画像に変換する。なお、単純に複写するのではなく、増加させるべきフレームの少なくとも一枚について、連続する二枚の原フレームを簡易合成することにより、生成してもよい。たとえば、一方の原フレームの上部領域と他方の原フレームの下部領域を空間的に合成してもよい。
The frame
フレームレート変換装置100は、上述した実施の形態で説明した手法を用いて、フレームレート変換部330から入力される動画像を2倍速変換または4倍速変換する。なお、上記情報領域は倍速変換されない。表示部400は、フレームレート変換装置100により倍速変換された動画像を表示する。
The frame
以上説明したようにワンセグ放送を受信して表示再生する表示装置500に、実施の形態に係るフレームレート変換装置100を搭載することにより、ワンセグ映像の画質を向上させることができる。なお、図7では既存の主制御部300に対して、フレームレート変換装置100を追加することにより、ワンセグ映像の倍速変換を実現する例を示したが、主制御部300内に、フレームレート変換部330の代わりに、フレームレート変換装置100が初めから搭載されてもよい。
As described above, the image quality of the one-segment video can be improved by mounting the frame
以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on some embodiments. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are also within the scope of the present invention. is there.
たとえば、上記実施の形態では、二段階のブロックマッチングにより画素単位の動きベクトルを検出する手法を説明したが、一回のブロックマッチングにより得られるブロック単位の動きベクトルを用いて、補間フレーム内の各画素を通過する動きベクトルを求めてよい。また、ブロックマッチングではなく、勾配法を用いて画素単位の動きベクトルを検出してもよい。 For example, in the above embodiment, a method for detecting a pixel-based motion vector by two-stage block matching has been described. However, each block in an interpolation frame is detected using a block-based motion vector obtained by one block matching. A motion vector passing through the pixel may be obtained. Further, instead of block matching, a motion vector for each pixel may be detected using a gradient method.
また、上記実施の形態では、補間フレーム内の上記情報領域以外の画素を、上記動きベクトルを用いた補間演算により生成する例を説明した。この点、当該情報領域以外の画素を、当該画素の位置と対応または一致する、第1原フレーム内の画素および第2原フレーム内の画素を合成して生成してもよい。 In the above embodiment, an example has been described in which pixels other than the information area in the interpolation frame are generated by the interpolation calculation using the motion vector. In this regard, pixels other than the information area may be generated by combining the pixels in the first original frame and the pixels in the second original frame that correspond to or coincide with the positions of the pixels.
また、上記実施の形態では、ワンセグ放送される動画像を倍速変換する例を説明したが、本発明に係るフレームレート変換装置100は、その用途に限定されることなく、様々な動画像のフレームレート変換に適用可能である。とくに、低スペックなカメラで撮影された動画像など、低フレームレートの動画像への適用に有効である。たとえば、15Hz未満の動画像のフレームレート変換にも適用可能である。
In the above-described embodiment, an example in which a one-segment broadcast moving image is converted at double speed has been described. However, the frame
10 補間フレーム生成部、 12 動きベクトル検出部、 14 補間フレーム算出部、 20 情報領域設定部、 30 フレーム記憶部、 100 フレームレート変換装置、 200 アンテナ、 300 主制御部、 310 受信部、 320 復号部、 330 フレームレート変換部、 400 表示部、 500 表示装置。
DESCRIPTION OF
Claims (5)
前記動画像に含まれる第1フレームと第2フレームの少なくとも一方を参照して、それらフレーム間の補間フレームを生成する補間フレーム生成部と、
所定の情報を重畳して表示するための情報領域を、画面内に設定する情報領域設定部と、を備え、
前記補間フレーム生成部は、前記補間フレーム内の前記情報領域を、前記第1フレーム内または前記第2フレーム内の前記情報領域を複写して生成することを特徴とするフレームレート変換装置。 A frame rate conversion device that increases the number of frames of an input moving image and outputs the frame,
An interpolation frame generation unit that generates an interpolation frame between the frames by referring to at least one of the first frame and the second frame included in the moving image;
An information area setting unit that sets an information area for displaying predetermined information superimposed on the screen, and
The frame rate conversion device, wherein the interpolation frame generation unit generates the information area in the interpolation frame by copying the information area in the first frame or the second frame.
前記第1フレームと前記第2フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記補間フレーム内の各画素を通過する前記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、前記第1フレーム内の画素および前記第2フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の各画素を生成する補間フレーム算出部と、を含み、
前記補間フレーム算出部は、前記補間フレーム内の前記情報領域に含まれる対象画素を、前記第1フレーム内または前記第2フレーム内の当該対象画素の位置に対応する画素を参照して生成することを特徴とする請求項1に記載のフレームレート変換装置。 The interpolation frame generation unit
A motion vector detection unit that detects a motion vector in units of blocks or pixels between the first frame and the second frame;
The motion vector passing through each pixel in the interpolation frame is specified, and at least one of the pixel in the first frame and the pixel in the second frame corresponding to the start point and the end point of the motion vector is referred to An interpolation frame calculation unit for generating each pixel in the interpolation frame,
The interpolation frame calculation unit generates a target pixel included in the information area in the interpolation frame with reference to a pixel corresponding to the position of the target pixel in the first frame or the second frame. The frame rate conversion apparatus according to claim 1.
前記フレームレート変換装置によりフレームレートが変換された画像を表示する表示部と、
を備えることを特徴とする表示装置。 The frame rate conversion device according to any one of claims 1 to 4,
A display unit for displaying an image whose frame rate has been converted by the frame rate conversion device;
A display device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009179185A JP2011035612A (en) | 2009-07-31 | 2009-07-31 | Frame rate converter and display device mounted by the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009179185A JP2011035612A (en) | 2009-07-31 | 2009-07-31 | Frame rate converter and display device mounted by the same |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011035612A true JP2011035612A (en) | 2011-02-17 |
Family
ID=43764257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009179185A Pending JP2011035612A (en) | 2009-07-31 | 2009-07-31 | Frame rate converter and display device mounted by the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011035612A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011205474A (en) * | 2010-03-26 | 2011-10-13 | Victor Co Of Japan Ltd | Video signal processing apparatus and method |
CN106973234A (en) * | 2017-04-28 | 2017-07-21 | 努比亚技术有限公司 | A kind of video capture method and terminal |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005287049A (en) * | 2004-03-30 | 2005-10-13 | Matsushita Electric Ind Co Ltd | Motion compensation method and apparatus at vector-based image borders |
JP2008118620A (en) * | 2007-08-06 | 2008-05-22 | Sharp Corp | Image display and displaying method, image processor and processing method |
JP2008160591A (en) * | 2006-12-25 | 2008-07-10 | Hitachi Ltd | Television receiver and frame rate conversion method therefor |
JP2009055340A (en) * | 2007-08-27 | 2009-03-12 | Sharp Corp | Image display device and method, and image processing apparatus and method |
-
2009
- 2009-07-31 JP JP2009179185A patent/JP2011035612A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005287049A (en) * | 2004-03-30 | 2005-10-13 | Matsushita Electric Ind Co Ltd | Motion compensation method and apparatus at vector-based image borders |
JP2008160591A (en) * | 2006-12-25 | 2008-07-10 | Hitachi Ltd | Television receiver and frame rate conversion method therefor |
JP2008118620A (en) * | 2007-08-06 | 2008-05-22 | Sharp Corp | Image display and displaying method, image processor and processing method |
JP2009055340A (en) * | 2007-08-27 | 2009-03-12 | Sharp Corp | Image display device and method, and image processing apparatus and method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011205474A (en) * | 2010-03-26 | 2011-10-13 | Victor Co Of Japan Ltd | Video signal processing apparatus and method |
CN106973234A (en) * | 2017-04-28 | 2017-07-21 | 努比亚技术有限公司 | A kind of video capture method and terminal |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011035655A (en) | Frame rate conversion apparatus and display apparatus equipped therewith | |
US20140119675A1 (en) | Image processing apparatus and control method thereof | |
US20090059074A1 (en) | Display apparatus | |
US20100142619A1 (en) | Apparatus and method for processing image | |
US20080063308A1 (en) | Frame interpolating circuit, frame interpolating method, and display apparatus | |
US20080159395A1 (en) | Video signal processing circuit, video signal processing apparatus, and video signal processing method | |
JP2008252591A (en) | Interpolation frame generation device, interpolation frame generation method, and broadcast receiver | |
US8363160B2 (en) | Caption detection device, caption detection method, and pull-down signal detection apparatus | |
US8432495B2 (en) | Video processor and video processing method | |
JP2011035612A (en) | Frame rate converter and display device mounted by the same | |
US10382782B2 (en) | Image frame interpolation apparatus, display apparatus and control method thereof | |
KR101180606B1 (en) | Frame interpolating apparatus | |
CN101212637A (en) | Video signal processing circuit, video signal processor, and video signal processing method | |
JP2011205519A (en) | Frame rate conversion circuit | |
JP2010055001A (en) | Video signal processing apparatus and video signal processing method | |
JP2014071164A (en) | Display method and display system | |
JP2003009094A (en) | Device and method for processing video signal, recording medium and program | |
JP2011211499A (en) | Frame rate conversion circuit and display device mounting the same | |
JP2011035595A (en) | Interpolation frame generation device and display device mounted by the same | |
JP2009156976A (en) | Image processor and image processing method | |
US7583324B2 (en) | Video data processing method and apparatus for processing video data | |
JP2009206940A (en) | Interpolation frame generation circuit and frame interpolation apparatus | |
JP2011035656A (en) | Interpolation frame generator and display device mounted by the same | |
US20100110293A1 (en) | Apparatus and method for determining noise | |
JP2014045425A (en) | Electronic device and control method of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20110615 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120706 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20130128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130820 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140204 |