JP2011035612A - Frame rate converter and display device mounted by the same - Google Patents

Frame rate converter and display device mounted by the same Download PDF

Info

Publication number
JP2011035612A
JP2011035612A JP2009179185A JP2009179185A JP2011035612A JP 2011035612 A JP2011035612 A JP 2011035612A JP 2009179185 A JP2009179185 A JP 2009179185A JP 2009179185 A JP2009179185 A JP 2009179185A JP 2011035612 A JP2011035612 A JP 2011035612A
Authority
JP
Japan
Prior art keywords
frame
pixel
interpolation
interpolation frame
information area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009179185A
Other languages
Japanese (ja)
Inventor
Tomoji Otowa
智司 音羽
Riichi Furukawa
利一 古川
Yoshinao Hiranuma
義直 平沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
System Solutions Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Sanyo Semiconductor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd, Sanyo Semiconductor Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2009179185A priority Critical patent/JP2011035612A/en
Publication of JP2011035612A publication Critical patent/JP2011035612A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technique for improving the quality of an interpolation frame. <P>SOLUTION: The frame rate converter 100 which increases the number of frames of an input moving image and outputs them includes: an interpolation frame generation part 10; and an information area setting part 20. The interpolation frame generation part 10 refers to at least one of a first frame and a second frame contained in the moving image to generate an interpolation frame between these frames. The information area setting part 20 establishes an information area for superimposing and displaying predetermined information in a screen. The interpolation frame generation part 10 copies the information area in the first frame or the second frame to generate an information area of in the interpolation frame. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、補間フレームを挿入することによりフレームレートを変換するフレームレート変換装置、およびそれを搭載した表示装置に関する。   The present invention relates to a frame rate conversion device that converts a frame rate by inserting an interpolation frame, and a display device equipped with the frame rate conversion device.

近年、フレーム補間技術を用いて動画像のコマ数を増やし、より滑らかで残像感の少ない動画像を生成する手法が実用化されている。たとえば、毎秒60フレーム(60Hz)の動画像を2倍速または4倍速して、120Hzまたは240Hzの動画像に変換して表示する技術も実用化されている。補間フレームの生成手法として、連続するフレーム間の動きベクトルを用いる手法が注目されている(たとえば、特許文献1、2参照)。   In recent years, a technique for increasing the number of frames of a moving image by using a frame interpolation technique and generating a moving image with smoother and less afterimage has been put into practical use. For example, a technique of converting a moving image of 60 frames (60 Hz) per second to a moving image of 120 Hz or 240 Hz at a double speed or a quadruple speed and displaying it has been put into practical use. As a method for generating an interpolated frame, a method that uses a motion vector between consecutive frames has attracted attention (see, for example, Patent Documents 1 and 2).

日本では2006年4月からワンセグ放送が開始されている。ワンセグ放送は、携帯電話機などの携帯機器を主な受信対象とする狭帯域を利用した放送である。ワンセグ放送では、通常、毎秒15フレーム(15Hz)で映像が送信されるため、そのコマ数を増加させる必要性が高い。   In Japan, 1Seg broadcasting has started in April 2006. One-segment broadcasting is a broadcast that uses a narrow band mainly for portable devices such as mobile phones. In one-segment broadcasting, since video is normally transmitted at 15 frames per second (15 Hz), it is highly necessary to increase the number of frames.

特開2009−71842号公報JP 2009-71842 A 特開2009−21868号公報JP 2009-21868 A

ディスプレイに表示される画面上には、OSD(On Screen Display)領域が設定されることがある。たとえば、テレビ映像が表示される画面上に設定されたOSD領域に、チャンネル情報が表示されてもよい。また、ワンセグ放送により受信した映像を携帯電話機のディスプレイに表示させる場合、その画面上に設定されたOSD領域に、電波状況情報、電池残量情報などが表示されてもよい。   An OSD (On Screen Display) area may be set on the screen displayed on the display. For example, channel information may be displayed in an OSD area set on a screen on which a television image is displayed. In addition, when video received by one-segment broadcasting is displayed on a display of a mobile phone, radio wave status information, battery remaining amount information, and the like may be displayed in the OSD area set on the screen.

OSD領域に表示される文字や記号は、比較的変化が少ない情報である。たとえば、チャンネル情報は、チャンネルが切り替えられない限り変化しない。ここで、OSD領域が設定された映像に、上記フレーム補間技術を適用した場合にて、当該OSD領域内の画素に補間エラーが発生すると、その画素ノイズは目立ちやすいものとなる。OSD領域は、もともと変化が少ない領域であるため、動きがある領域と比較して、画素ノイズが目立ちやすいためである。   The characters and symbols displayed in the OSD area are information with relatively little change. For example, the channel information does not change unless the channel is switched. Here, when the frame interpolation technique is applied to a video in which an OSD area is set, if an interpolation error occurs in a pixel in the OSD area, the pixel noise becomes conspicuous. This is because the OSD area is originally an area with little change, and pixel noise is more conspicuous than an area with movement.

本発明はこうした状況に鑑みなされたものであり、その目的は、補間フレームの品質を向上させる技術を提供することにある。   The present invention has been made in view of such circumstances, and an object thereof is to provide a technique for improving the quality of an interpolation frame.

本発明のある態様のフレームレート変換装置は、入力される動画像のフレーム数を増加させて出力するフレームレート変換装置であって、動画像に含まれる第1フレームと第2フレームの少なくとも一方を参照して、それらフレーム間の補間フレームを生成する補間フレーム生成部と、所定の情報を重畳して表示するための情報領域を、画面内に設定する情報領域設定部と、を備える。補間フレーム生成部は、補間フレーム内の情報領域を、第1フレーム内または第2フレーム内の情報領域を複写して生成する。   A frame rate conversion apparatus according to an aspect of the present invention is a frame rate conversion apparatus that outputs an increased number of frames of an input moving image, and outputs at least one of a first frame and a second frame included in the moving image. With reference, an interpolation frame generating unit that generates an interpolated frame between these frames, and an information region setting unit that sets an information region for displaying predetermined information superimposed on the screen are provided. The interpolation frame generation unit generates the information area in the interpolation frame by copying the information area in the first frame or the second frame.

本発明の別の態様は、表示装置である。この装置は、上述したフレームレート変換装置と、フレームレート変換装置によりフレームレートが変換された画像を表示する表示部と、を備える。   Another embodiment of the present invention is a display device. This device includes the above-described frame rate conversion device and a display unit that displays an image whose frame rate has been converted by the frame rate conversion device.

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。   It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.

本発明によれば、補間フレームの品質を向上させることができる。   According to the present invention, the quality of an interpolation frame can be improved.

本発明の実施の形態に係るフレームレート変換装置の構成を示す図である。It is a figure which shows the structure of the frame rate conversion apparatus which concerns on embodiment of this invention. 補間フレームの生成原理(2倍速変換)を示す図である。It is a figure which shows the production | generation principle (double speed conversion) of an interpolation frame. 補間フレームの生成原理(4倍速変換)を示す図である。It is a figure which shows the production | generation principle (4 time speed conversion) of an interpolation frame. 画面内に参照無効領域が設定されている場合における、補間フレーム算出部による画素生成処理の4つのケースを模試的に示す図である。It is a figure which shows typically four cases of the pixel generation process by the interpolation frame calculation part in case the reference invalid area | region is set in the screen. 補間フレーム算出部による画素生成処理の4つのケースをまとめた図表である。6 is a chart summarizing four cases of pixel generation processing by an interpolation frame calculation unit. 画面内に重畳されて表示されるチャンネル情報と、当該チャンネル情報を含むOSD領域を示す図である。図6(a)は、画面内に重畳されて表示されるチャンネル情報を示し、図6(b)は、画面内のOSD領域を示す。It is a figure which shows the OSD area | region which contains the channel information superimposed on a screen, and the said channel information. FIG. 6A shows channel information displayed superimposed on the screen, and FIG. 6B shows an OSD area in the screen. 実施の形態に係るフレームレート変換装置を搭載した、表示装置を示す図である。It is a figure which shows the display apparatus carrying the frame rate conversion apparatus which concerns on embodiment.

図1は、本発明の実施の形態に係るフレームレート変換装置100の構成を示す図である。当該フレームレート変換装置100は、入力される動画像のフレーム数を増加させて出力する。たとえば、動画像のフレーム数を2倍または4倍に増加させて出力する。   FIG. 1 is a diagram showing a configuration of a frame rate conversion apparatus 100 according to an embodiment of the present invention. The frame rate conversion apparatus 100 increases the number of input moving image frames and outputs them. For example, the number of frames of a moving image is increased by 2 or 4 and output.

当該フレームレート変換装置100は、補間フレーム生成部10、情報領域設定部20、フレーム記憶部30を備える。これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。   The frame rate conversion apparatus 100 includes an interpolation frame generation unit 10, an information area setting unit 20, and a frame storage unit 30. These configurations can be realized by an arbitrary processor, memory, or other LSI in terms of hardware, and are realized by a program loaded in the memory in terms of software, but here, functions realized by their cooperation. Draw a block. Therefore, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

補間フレーム生成部10は、動画像に含まれる第1フレームと第2フレームとの間の補間フレームを生成する。補間フレーム生成部10は、基本的に、第1フレームと第2フレームの両方を参照して、それらフレーム間の補間フレームを生成し、例外的に、第1フレームと第2フレームの一方を参照して、それらフレーム間の補間フレームを生成する。   The interpolation frame generation unit 10 generates an interpolation frame between the first frame and the second frame included in the moving image. The interpolation frame generation unit 10 basically refers to both the first frame and the second frame, generates an interpolation frame between these frames, and exceptionally refers to one of the first frame and the second frame. Then, an interpolated frame between these frames is generated.

以下、より具体的に説明する。補間フレーム生成部10は、動きベクトル検出部12および補間フレーム算出部14を含む。動きベクトル検出部12は、第1フレームと第2フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する。たとえば、画素単位の動きベクトルを二段階のブロックマッチングにより検出する。   More specific description will be given below. The interpolation frame generation unit 10 includes a motion vector detection unit 12 and an interpolation frame calculation unit 14. The motion vector detection unit 12 detects a motion vector in block units or pixel units between the first frame and the second frame. For example, pixel-by-pixel motion vectors are detected by two-stage block matching.

当該二段階のブロックマッチングの第一段階では、第1フレームを複数のブロック(たとえば、8×8または16×16のマクロブロック)に分割して、第2フレーム内において、当該各ブロックと一致または誤差が最小のブロックを探索する。   In the first stage of the two-stage block matching, the first frame is divided into a plurality of blocks (for example, 8 × 8 or 16 × 16 macroblocks), and is matched with the respective blocks in the second frame or Search for the block with the smallest error.

たとえば、第1フレーム内の対象ブロックと第2フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素の差分絶対値和または差分二乗和を求め、その値が最も小さい候補ブロックを、第2フレーム内の最適予測ブロックとする。また、第1フレーム内の対象ブロックと第2フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素が実質的に一致した数が最も多い候補ブロックを、第2フレーム内の最適予測ブロックとしてもよい。そして、第1フレーム内の各ブロックと、第2フレーム内の各最適予測ブロックとの動きベクトルを算出する。これにより、ブロック単位の動きベクトルを検出することができる。   For example, between the target block in the first frame and the candidate block in the second frame, a difference absolute value sum or a sum of squared differences of pixels at corresponding positions included in both is obtained, and a candidate block having the smallest value is obtained. The optimal prediction block in the second frame. In addition, the candidate block having the largest number of pixels corresponding to the corresponding positions included in both the target block in the first frame and the candidate block in the second frame is determined as the optimum in the second frame. It is good also as a prediction block. Then, a motion vector between each block in the first frame and each optimum prediction block in the second frame is calculated. Thereby, the motion vector of a block unit can be detected.

上記二段階のブロックマッチングの第二段階では、第1フレーム内の各ブロックと、第2フレーム内の各最適予測ブロックとの間で、画素値が実質的に一致しなかった画素の動きベクトルを求める。たとえば、上述した手法と同様の手法を用いて、第1フレーム内の各ブロック内の画素値が実質的に一致しなかった画素の領域と一致または誤差が最小の領域を、第2フレーム内において探索する。これにより、第1フレームと第2フレームとの間で、画素単位の動きベクトルを検出することができる。   In the second stage of the two-stage block matching, motion vectors of pixels whose pixel values do not substantially match between each block in the first frame and each optimum prediction block in the second frame are obtained. Ask. For example, by using a method similar to the above-described method, a region having the same or minimum error as the pixel region in which the pixel value in each block in the first frame does not substantially match is determined in the second frame. Explore. Thereby, the motion vector of a pixel unit can be detected between the first frame and the second frame.

補間フレーム算出部14は、補間フレーム内の各画素を通過する上記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第1フレーム内の画素および第2フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する。たとえば、両方の画素を合成して生成してもよいし、いずれか一方の画素を複写して生成してもよい。以下、図2、3を参照しながら両方の画素を合成して補間フレーム内の画素を生成する方法について説明する。   The interpolation frame calculation unit 14 specifies each of the motion vectors that pass through each pixel in the interpolation frame, and at least of the pixels in the first frame and the pixels in the second frame corresponding to the start point and the end point of the motion vector. One pixel is generated with reference to one of the interpolation frames. For example, both pixels may be combined and generated, or one of the pixels may be copied and generated. In the following, a method for generating a pixel in an interpolation frame by combining both pixels will be described with reference to FIGS.

図2は、補間フレームの生成原理(2倍速変換)を示す図である。2倍速変換では、第1原フレームFo1と第2原フレームFo2との間に、一枚の補間フレームFiを挿入する必要がある。補間フレームFiは、第1原フレームFo1と第2原フレームFo2との時間間隔を二等分した時間位置に挿入される。   FIG. 2 is a diagram illustrating an interpolation frame generation principle (double speed conversion). In the double speed conversion, it is necessary to insert one interpolation frame Fi between the first original frame Fo1 and the second original frame Fo2. The interpolation frame Fi is inserted at a time position obtained by dividing the time interval between the first original frame Fo1 and the second original frame Fo2.

補間フレームFiの画素Piは、その画素Piを通過する動きベクトルmvの始点および終点に対応する、第1原フレームFo1の画素Po1および第2原フレームFo2の画素Po2を合成することにより生成される。たとえば、両者の画素値を平均して補間フレームFiの画素Piの画素値を算出してもよい。   The pixel Pi of the interpolation frame Fi is generated by combining the pixel Po1 of the first original frame Fo1 and the pixel Po2 of the second original frame Fo2 corresponding to the start point and end point of the motion vector mv passing through the pixel Pi. . For example, the pixel values of both pixels may be averaged to calculate the pixel value of the pixel Pi in the interpolation frame Fi.

ここで、補間フレームFiの画素Piを通過する動きベクトルmvを常に正確に求めることができれば、その動きベクトルmvの始点に対応する第1原フレームFo1の画素Po1を、そのまま補間フレームFiの画素Piに割り当ててもよい。しかしながら、動きベクトルmvが誤検出された場合、片方の画素Po1しか参照しないため、大きなノイズが発生しやすくなる。そこで、本実施の形態では、第1原フレームFo1の画素Po1および第2原フレームFo2の画素Po2の両方を参照する。   Here, if the motion vector mv passing through the pixel Pi of the interpolation frame Fi can always be accurately obtained, the pixel Po1 of the first original frame Fo1 corresponding to the start point of the motion vector mv is directly used as the pixel Pi of the interpolation frame Fi. May be assigned. However, when the motion vector mv is erroneously detected, only one pixel Po1 is referred to, so that large noise is likely to occur. Therefore, in the present embodiment, both the pixel Po1 of the first original frame Fo1 and the pixel Po2 of the second original frame Fo2 are referred to.

なお、補間フレームFiの対象画素を通過する動きベクトルが存在しない場合、たとえば、次のように処理する。すなわち、補間フレームFi内の周辺画素から空間的に補間した画素を当該対象画素に割り当てるか、補間フレームFiの対象画素と同じ位置の、第1原フレームFo1の画素および第2原フレームFo2の画素を合成した画素を当該対象画素に割り当てる。   If there is no motion vector that passes through the target pixel of the interpolation frame Fi, for example, the following processing is performed. That is, a pixel spatially interpolated from surrounding pixels in the interpolation frame Fi is assigned to the target pixel, or a pixel of the first original frame Fo1 and a pixel of the second original frame Fo2 at the same position as the target pixel of the interpolation frame Fi Is assigned to the target pixel.

図3は、補間フレームの生成原理(4倍速変換)を示す図である。4倍速変換では、第1原フレームFo1と第2原フレームFo2との間に、三枚の補間フレーム(第1補間フレームFi1、第2補間フレームFi2および第3補間フレームFi3)を挿入する必要がある。第1補間フレームFi1、第2補間フレームFi2および第3補間フレームFi3は、第1原フレームFo1と第2原フレームFo2との時間間隔を四等分した時間位置にそれぞれ挿入される。   FIG. 3 is a diagram showing the principle of interpolation frame generation (quadruple speed conversion). In the quadruple speed conversion, it is necessary to insert three interpolation frames (a first interpolation frame Fi1, a second interpolation frame Fi2, and a third interpolation frame Fi3) between the first original frame Fo1 and the second original frame Fo2. is there. The first interpolation frame Fi1, the second interpolation frame Fi2, and the third interpolation frame Fi3 are respectively inserted at time positions obtained by dividing the time interval between the first original frame Fo1 and the second original frame Fo2.

第1補間フレームFi1の画素Pi1は、その画素Pi1を通過する動きベクトルmvの始点および終点に対応する、第1原フレームFo1の画素Po1および第2原フレームFo2の画素Po2を合成することにより生成される。たとえば、両者の画素値を加重平均して、第1補間フレームFi1の画素Pi1の画素値を算出してもよい。すなわち、前者の画素値を3/4し、後者の画素値を1/4し、両者を加算する。   The pixel Pi1 of the first interpolation frame Fi1 is generated by combining the pixel Po1 of the first original frame Fo1 and the pixel Po2 of the second original frame Fo2 corresponding to the start point and end point of the motion vector mv passing through the pixel Pi1. Is done. For example, the pixel value of the pixel Pi1 of the first interpolation frame Fi1 may be calculated by weighted averaging of both pixel values. That is, the former pixel value is 3/4, the latter pixel value is 1/4, and both are added.

第2補間フレームFi2の画素Pi2は、図2に示した補間フレームFiの画素Piと同様に生成することができる。第3補間フレームFi3の画素Pi3も、第1原フレームFo1の画素Po1および第2原フレームFo2の画素Po2を合成することにより生成される。たとえば、両者の画素値を加重平均して、第3補間フレームFi3の画素Pi3の画素値を算出してもよい。すなわち、前者の画素値を1/4し、後者の画素値を3/4し、両者を加算する。   The pixel Pi2 of the second interpolation frame Fi2 can be generated in the same manner as the pixel Pi of the interpolation frame Fi shown in FIG. The pixel Pi3 of the third interpolation frame Fi3 is also generated by combining the pixel Po1 of the first original frame Fo1 and the pixel Po2 of the second original frame Fo2. For example, the pixel value of the pixel Pi3 of the third interpolation frame Fi3 may be calculated by weighted averaging of both pixel values. That is, the former pixel value is ¼, the latter pixel value is ¾, and both are added.

次に、上記動画像が表示される画面内に、参照無効領域が設定される場合について説明する。たとえば、当該参照無効領域は、レターボックス形式で表示される画面内の上下の余白領域(たとえば、黒帯領域)や、ピラーボックス形式で表示される画面内の左右の余白領域や、ウインドウボックス形式で表示される画面内の上下左右の余白領域に設定される。これらの余白は、アスペクト比が異なる映像の互換性をとるために、放送局側または受信機側で挿入される。たとえば、4:3の映像を16:9の画面に表示させる場合、ピラーボックス形式が採用され、画面内の左右に黒帯が表示される。また、上記参照無効領域は、設計者によりあらかじめ設定されることも可能である。たとえば、ノイズが発生しやすい、画素または領域に設定される。   Next, a case where a reference invalid area is set in the screen on which the moving image is displayed will be described. For example, the reference invalid area includes the upper and lower margin areas (for example, black belt area) in the screen displayed in the letterbox format, the left and right margin areas in the screen displayed in the pillar box format, and the window box format. Is set to the top, bottom, left, and right margin areas in the screen. These margins are inserted on the broadcast station side or the receiver side in order to ensure compatibility of images with different aspect ratios. For example, when a 4: 3 video is displayed on a 16: 9 screen, a pillar box format is adopted, and black bands are displayed on the left and right sides of the screen. The reference invalid area can be set in advance by a designer. For example, it is set to a pixel or a region where noise is likely to occur.

以下、図4、図5を参照して、画面内に参照無効領域が設定されている場合における、補間フレーム算出部14による画素生成処理について説明する。図4は、画面40内に参照無効領域42a、42bが設定されている場合における、補間フレーム算出部14による画素生成処理の4つのケースを模試的に示す図である。図5は、補間フレーム算出部14による画素生成処理の4つのケースをまとめた図表である。   Hereinafter, with reference to FIG. 4 and FIG. 5, the pixel generation processing by the interpolation frame calculation unit 14 when the reference invalid area is set in the screen will be described. FIG. 4 is a diagram schematically showing four cases of pixel generation processing by the interpolation frame calculation unit 14 when the reference invalid areas 42 a and 42 b are set in the screen 40. FIG. 5 is a table summarizing four cases of pixel generation processing by the interpolation frame calculation unit 14.

図4に示す画面40はピラーボックス形式の画面であり、当該画面40は、映像が表示される有効領域41と、その左右の余白領域である参照無効領域42a、42bとに分割される。なお、画面40外の領域は、参照無効領域42a、42bと同様に扱う。   The screen 40 shown in FIG. 4 is a pillar box format screen, and the screen 40 is divided into an effective area 41 where video is displayed and reference invalid areas 42a and 42b which are left and right margin areas. The area outside the screen 40 is handled in the same manner as the reference invalid areas 42a and 42b.

ケースaは、補間フレームFi内の対象画素Pia、第1原フレームFo1内の参照画素Po1aおよび第2原フレームFo2内の参照画素Po2aのすべてが有効領域41に存在するケースである。すなわち、補間フレーム算出部14は、補間フレームFi内の対象画素Piaを通過する上記動きベクトルの始点および終点に対応する、第1原フレームFo1内の画素Po1aおよび第2原フレームFo2内の画素Po2aの両方が有効領域41に存在する場合、両方の画素Po1a、Po2aを参照して、対象画素Piaを生成する。たとえば、両方の画素Po1a、Po2aを合成(たとえば、平均)した画素を、補間フレームFi内の対象画素Piaに割り当てる。   Case a is a case where the target pixel Pia in the interpolation frame Fi, the reference pixel Po1a in the first original frame Fo1, and the reference pixel Po2a in the second original frame Fo2 are all present in the effective region 41. That is, the interpolation frame calculation unit 14 corresponds to the pixel Po1a in the first original frame Fo1 and the pixel Po2a in the second original frame Fo2 corresponding to the start point and end point of the motion vector passing through the target pixel Pia in the interpolation frame Fi. Are present in the effective area 41, the target pixel Pia is generated with reference to both the pixels Po1a and Po2a. For example, a pixel obtained by combining (for example, averaging) both the pixels Po1a and Po2a is assigned to the target pixel Pia in the interpolation frame Fi.

ケースbは、補間フレームFiの対象画素Pibが参照無効領域42a、42bに存在するケースである。すなわち、補間フレーム算出部14は、補間フレームFi内の対象画素Pibが参照無効領域42a、42bに存在する場合、対象画素Pibの位置に対応または一致する、第1原フレームFo1内の画素および第2原フレームFo2内の画素の少なくとも一方を参照して、対象画素Pibを生成する。たとえば、原フレームFo1内の当該画素を、補間フレームFi内の対象画素Pibに複写する。また、第2原フレームFo2内の当該画素を複写してもよい。また、第1原フレームFo1内の当該画素および第2原フレーム内の当該画素を合成(たとえば、平均)した画素を、補間フレームFi内の対象画素Pibに複写してもよい。   Case b is a case where the target pixel Pib of the interpolation frame Fi exists in the reference invalid areas 42a and 42b. That is, when the target pixel Pib in the interpolation frame Fi exists in the reference invalid regions 42a and 42b, the interpolation frame calculation unit 14 corresponds to or matches the position of the target pixel Pib and the pixels in the first original frame Fo1. The target pixel Pib is generated with reference to at least one of the pixels in the two original frames Fo2. For example, the pixel in the original frame Fo1 is copied to the target pixel Pib in the interpolation frame Fi. Further, the pixel in the second original frame Fo2 may be copied. Further, a pixel obtained by combining (for example, averaging) the pixel in the first original frame Fo1 and the pixel in the second original frame may be copied to the target pixel Pib in the interpolation frame Fi.

なお、ケースbでは、補間フレームFi内の対象画素Pibを通過する上記動きベクトルの始点および終点に対応する、第1原フレームFo1内の画素Po1bおよび第2原フレームFo2内の画素Po2bは、有効領域41に存在するか参照無効領域42a、42bに存在するかを問わず、いずれも参照されない。   In case b, the pixel Po1b in the first original frame Fo1 and the pixel Po2b in the second original frame Fo2 corresponding to the start and end points of the motion vector passing through the target pixel Pib in the interpolation frame Fi are valid. Regardless of whether it exists in the area 41 or in the reference invalid areas 42a and 42b, none is referred to.

ケースcは、補間フレームFi内の対象画素Picが有効領域41に存在し、第1原フレームFo1内の参照画素Po1cおよび第2原フレームFo2内の参照画素Po2cの一方が有効領域41に存在し、他方が参照無効領域42a、42bに存在するケースである。すなわち、補間フレーム算出部14は、補間フレームFi内の対象画素Picを通過する上記動きベクトルの始点および終点に対応する、第1原フレームFo1内の画素Po1cおよび第2原フレームFo2内の画素Po2cの一方が参照無効領域42a、42bに存在する場合、他方を参照して対象画素Picを生成する。図4では、参照無効領域42a、42bに存在するほうの第1原フレームFo1内の画素Po1cを参照せず、参照無効領域42a、42bに存在しないほうの第2原フレームFo2内の画素Po2cを参照して、対象画素Picを生成する。図4では、参照無効領域42a、42bに存在しないほうの第2原フレームFo2内の画素Po2cを、補間フレームFi内の対象画素Picに複写する。   In the case c, the target pixel Pic in the interpolation frame Fi exists in the effective region 41, and one of the reference pixel Po1c in the first original frame Fo1 and the reference pixel Po2c in the second original frame Fo2 exists in the effective region 41. The other is in the reference invalid areas 42a and 42b. That is, the interpolation frame calculation unit 14 corresponds to the pixel Po1c in the first original frame Fo1 and the pixel Po2c in the second original frame Fo2 corresponding to the start point and end point of the motion vector passing through the target pixel Pic in the interpolation frame Fi. Is present in the reference invalid areas 42a and 42b, the other pixel is referenced to generate the target pixel Pic. In FIG. 4, the pixel Po1c in the first original frame Fo1 existing in the reference invalid area 42a, 42b is not referred to, and the pixel Po2c in the second original frame Fo2 not present in the reference invalid area 42a, 42b is referred to. With reference, the target pixel Pic is generated. In FIG. 4, the pixel Po2c in the second original frame Fo2 that does not exist in the reference invalid areas 42a and 42b is copied to the target pixel Pic in the interpolation frame Fi.

ケースdは、補間フレームFi内の対象画素Pidが有効領域41に存在し、第1原フレームFo1内の参照画素Po1dおよび第2原フレームFo2内の参照画素Po2dの両方が参照無効領域42a、42b(画面40外の領域を含む)に存在するケースである。すなわち、補間フレーム算出部14は、補間フレームFi内の対象画素Pidを通過する上記動きベクトルの始点および終点に対応する、第1原フレームFo1内の画素Po1dおよび第2原フレームFo2内の画素Po2dの両方が参照無効領域42a、42bに存在する場合、対象画素Pidの位置に対応または一致する、第1原フレームFo1内の画素および第2原フレームFo2内の画素の少なくとも一方を参照して、対象画素Pidを生成する。たとえば、両方の画素を合成(たとえば、平均)して生成してもよいし、いずれか一方の画素を複写して生成してもよい。   In the case d, the target pixel Pid in the interpolation frame Fi exists in the effective area 41, and both the reference pixel Po1d in the first original frame Fo1 and the reference pixel Po2d in the second original frame Fo2 are reference invalid areas 42a and 42b. (Including the area outside the screen 40). That is, the interpolation frame calculation unit 14 corresponds to the pixel Po1d in the first original frame Fo1 and the pixel Po2d in the second original frame Fo2 corresponding to the start point and end point of the motion vector passing through the target pixel Pid in the interpolation frame Fi. Are both present in the reference invalid regions 42a and 42b, referring to at least one of the pixels in the first original frame Fo1 and the pixels in the second original frame Fo2 corresponding to or coincident with the position of the target pixel Pid, A target pixel Pid is generated. For example, both pixels may be combined (for example, averaged) or may be generated by copying one of the pixels.

すなわち、ケースdでは上記動きベクトルをゼロと考える。なお、補間フレームFi内の対象画素Pidを通過する上記動きベクトルの始点および終点に対応する、第1原フレームFo1内の画素Po1dおよび第2原フレームFo2内の画素Po2dは、いずれも参照されない。   That is, in case d, the motion vector is considered to be zero. Note that neither the pixel Po1d in the first original frame Fo1 nor the pixel Po2d in the second original frame Fo2 corresponding to the start point and end point of the motion vector passing through the target pixel Pid in the interpolation frame Fi is referred to.

図1に戻り、情報領域設定部20は、所定の情報を重畳して表示するための情報領域を、画面内に設定し、その位置を補間フレーム算出部14に設定する。たとえば、補間フレーム算出部14内のレジスタに、当該情報領域とすべき画素位置を設定する。   Returning to FIG. 1, the information area setting unit 20 sets an information area for displaying predetermined information superimposed on the screen, and sets the position in the interpolation frame calculation unit 14. For example, the pixel position to be the information area is set in the register in the interpolation frame calculation unit 14.

当該情報領域は、OSD領域であってもよい。上記所定の情報は、文字(数字を含む)、記号、アイコンなどで表現され、たとえば、チャンネル情報、音量情報、日付情報、時刻情報、電波状況情報、電池残量情報、未読メール有無情報などが該当する。これらのうち、電波状況情報、電池残量情報、および未読メール有無情報は、携帯電話機などの携帯機器でワンセグ放送を受信して表示する場合に、その画面内に表示されることが可能である。なお、情報領域設定部20は、当該情報領域を一画面内に複数箇所、設定してもよい。   The information area may be an OSD area. The predetermined information is expressed by letters (including numbers), symbols, icons, etc., for example, channel information, volume information, date information, time information, radio wave status information, battery remaining information, unread mail presence information, etc. Applicable. Among these, the radio wave status information, the remaining battery level information, and the unread mail presence / absence information can be displayed on the screen when the one-segment broadcasting is received and displayed by a portable device such as a cellular phone. . The information area setting unit 20 may set a plurality of information areas in one screen.

情報領域設定部20は、外部(たとえば、後述する図7の主制御部300)からの領域情報に応じて、上記情報領域を設定する。たとえば、当該主制御部300がワンセグ放送により受信した映像に、チャンネル情報を事後的に重畳させる場合、次のような領域情報を生成し、情報領域設定部20に通知する。当該領域情報には、チャンネル情報を重畳させた位置を示す位置情報、ならびにそのチャンネル情報の表示を開始するフレームおよびその表示を終了するフレームを特定するためのフレーム情報とが含まれる。当該領域情報は、主制御部300から情報領域設定部20に、I2Cなどを利用して伝達される。   The information area setting unit 20 sets the information area according to area information from the outside (for example, main control unit 300 in FIG. 7 described later). For example, when channel information is to be superimposed on video received by the one-segment broadcasting by the main control unit 300, the following region information is generated and notified to the information region setting unit 20. The area information includes position information indicating a position where channel information is superimposed, and frame information for specifying a frame for starting display of the channel information and a frame for ending the display. The area information is transmitted from the main control unit 300 to the information area setting unit 20 using I2C or the like.

本実施の形態では、情報領域設定部20により設定された情報領域は、上記参照無効領域に自動的に設定される。したがって、補間フレーム算出部14は、補間フレーム内の上記情報領域に含まれる対象画素を、第1フレーム(たとえば、補間フレームに対する前フレーム)内の当該対象画素の位置に対応する画素を参照して生成する(上記ケースb)。たとえば、第1フレーム内の当該画素を複写して、補間フレーム内の当該対象画素を生成する。これらの処理が、補間フレーム内の上記情報領域に含まれる全画素に対して実行されることにより、第1フレーム内の上記情報領域が補間フレーム内の上記情報領域に複写される。なお、補間フレーム算出部14は、補間フレーム内の上記情報領域に含まれる対象画素を、第2フレーム(たとえば、補間フレームに対する後フレーム)内の当該対象画素の位置に対応する画素を参照して生成してもよい。   In the present embodiment, the information area set by the information area setting unit 20 is automatically set as the reference invalid area. Therefore, the interpolation frame calculation unit 14 refers to the pixel corresponding to the position of the target pixel in the first frame (for example, the previous frame with respect to the interpolation frame) for the target pixel included in the information area in the interpolation frame. (Case b). For example, the pixel in the first frame is copied to generate the target pixel in the interpolation frame. By executing these processes for all the pixels included in the information area in the interpolation frame, the information area in the first frame is copied to the information area in the interpolation frame. The interpolation frame calculation unit 14 refers to the pixel corresponding to the position of the target pixel in the second frame (for example, a subsequent frame to the interpolation frame) with respect to the target pixel included in the information area in the interpolation frame. It may be generated.

また、補間フレーム算出部14は、補間フレーム内の上記情報領域に含まれない対象画素の動きベクトルにより特定される、第1フレーム内の画素および第2フレーム内の画素の一方が上記情報領域に存在する場合、上記情報領域に存在するほうの画素を参照せず、上記情報領域に存在しないほうの画素を参照して、当該対象画素を生成する(ケースc)。   In addition, the interpolation frame calculation unit 14 determines that one of the pixel in the first frame and the pixel in the second frame specified by the motion vector of the target pixel not included in the information region in the interpolation frame is in the information region. If it exists, the target pixel is generated with reference to the pixel that does not exist in the information area without referring to the pixel that exists in the information area (case c).

また、補間フレーム算出部14は、補間フレーム内の上記情報領域に含まれない対象画素の動きベクトルにより特定される、第1フレーム内の画素および第2フレーム内の画素の両方が上記情報領域に存在する場合、上記対象画素の位置に対応する、第1フレーム内の画素および第2フレーム内の画素の少なくとも一方を参照して、上記対象画素を生成する(ケースd)。たとえば、両方の画素を合成(たとえば、平均)して生成してもよいし、いずれか一方の画素を複写して生成してもよい。   In addition, the interpolation frame calculation unit 14 determines that both the pixels in the first frame and the pixels in the second frame specified by the motion vector of the target pixel not included in the information area in the interpolation frame are in the information area. If it exists, the target pixel is generated with reference to at least one of the pixel in the first frame and the pixel in the second frame corresponding to the position of the target pixel (case d). For example, both pixels may be combined (for example, averaged) or may be generated by copying one of the pixels.

フレーム記憶部30は、外部から入力される動画像に含まれる原フレーム、および補間フレーム生成部10により生成される補間フレームを一時記憶し、それらフレームを表示順にしたがい外部(たとえば、表示パネル)に出力する。   The frame storage unit 30 temporarily stores an original frame included in a moving image input from the outside and an interpolation frame generated by the interpolation frame generation unit 10 and externally (for example, a display panel) according to the display order of the frames. Output.

図6は、画面60内に重畳されて表示されるチャンネル情報61と、当該チャンネル情報61を含むOSD領域62を示す図である。図6(a)は、画面60内に重畳されて表示されるチャンネル情報61を示し、図6(b)は、画面60内のOSD領域62を示す。   FIG. 6 is a diagram showing channel information 61 displayed superimposed on the screen 60 and an OSD area 62 including the channel information 61. 6A shows the channel information 61 displayed superimposed on the screen 60, and FIG. 6B shows the OSD area 62 in the screen 60.

図6(a)において、画面60内の右上隅にチャンネル情報61(ここでは、1ch)が表示される。このチャンネル情報61は、放送局側により付加された情報ではなく、受信機側により事後的に付加される情報である。図6(b)において、このチャンネル情報61を含む小領域がOSD領域62に設定される。これにより、当該小領域は上記参照無効領域となる。   In FIG. 6A, channel information 61 (here, 1ch) is displayed in the upper right corner of the screen 60. This channel information 61 is not information added by the broadcasting station side but information added afterwards by the receiver side. In FIG. 6B, a small area including the channel information 61 is set in the OSD area 62. Thereby, the small area becomes the reference invalid area.

以上説明したように本実施の形態によれば、上述した動きベクトルを用いる補間フレーム技術を用いて補間フレームを生成する場合において、上記情報領域を設定した場合、第1フレームの当該情報領域を複写して、補間フレームの当該情報領域を生成することにより、補間フレームの品質を向上させることができる。   As described above, according to the present embodiment, when the interpolation frame is generated using the above-described interpolation frame technique using the motion vector, when the information area is set, the information area of the first frame is copied. Thus, the quality of the interpolation frame can be improved by generating the information area of the interpolation frame.

すなわち、上記情報領域に表示される文字、記号、アイコンなどは、比較的変化が少ない情報であり、動きがある領域に発生するノイズと比較し、当該情報領域に発生するノイズは目立ちやすいものとなる。静止している期間が長い上記情報領域内の画素は、前フレームの同じ位置の画素を踏襲したほうが、上述した動きベクトルを用いた補間演算により生成するより、高精度を実現しやすい。また、単純に前フレームの画素値を踏襲すれば、演算量を低減させることもできる。   That is, the characters, symbols, icons, etc. displayed in the information area are information with relatively little change, and the noise generated in the information area is more conspicuous than the noise generated in the area with movement. Become. For pixels in the information area having a long stationary period, it is easier to achieve high accuracy if the pixels at the same position in the previous frame are followed by the interpolation calculation using the motion vector described above. Also, if the pixel value of the previous frame is simply followed, the amount of calculation can be reduced.

また、上記情報領域は、元の映像と異なる内容を表示している領域であり、元の映像を表示している領域の画素を生成する際、当該情報領域に含まれる画素を誤って参照すると、ノイズが発生しやすくなる。この点、上記情報領域を上記参照無効領域とすることにより、当該ノイズの発生を抑制することができる。   In addition, the information area is an area displaying content different from the original video, and when the pixel of the area displaying the original video is generated, the pixel included in the information area is erroneously referred to. , Noise is likely to occur. In this regard, the occurrence of the noise can be suppressed by setting the information area as the reference invalid area.

図7は、実施の形態に係るフレームレート変換装置100を搭載した、表示装置500を示す図である。表示装置500は、ワンセグ放送を受信し、表示再生する機能を搭載した機器である。たとえば、ワンセグ放送の受信再生専用機であってもよいし、その機能を搭載した携帯電話機、PDA、携帯型音楽プレーヤ、電子辞書、カーナビゲーション装置などであってもよい。   FIG. 7 is a diagram showing a display device 500 equipped with the frame rate conversion device 100 according to the embodiment. The display device 500 is a device equipped with a function of receiving one-segment broadcasting and displaying and reproducing it. For example, it may be a one-seg broadcast reception / playback machine, or may be a mobile phone, PDA, portable music player, electronic dictionary, car navigation device, or the like equipped with the function.

当該表示装置500は、アンテナ200、主制御部300、フレームレート変換装置100および表示部400を備える。主制御部300は、受信部310、復号部320およびフレームレート変換部330を含む。受信部310は、アンテナ200を介してワンセグ放送を受信し、選択されたチャンネルの信号を復調して、復号部320へ出力する。   The display device 500 includes an antenna 200, a main control unit 300, a frame rate conversion device 100, and a display unit 400. Main controller 300 includes a receiver 310, a decoder 320 and a frame rate converter 330. The receiving unit 310 receives the one-segment broadcast via the antenna 200, demodulates the signal of the selected channel, and outputs the demodulated signal to the decoding unit 320.

復号部320は、受信部310から入力される符号化データを復号する。ワンセグ放送画像の符号化には、AVC/H.264規格が採用されている。復号部320は、復号したフレームをフレームレート変換部330に出力する。なお、復号されたフレームがフレームレート変換部330に入力される前に、実際は図示しないスケーラによる解像度変換が施されるが、ここではそれに注目しないため、省略している。   The decoding unit 320 decodes the encoded data input from the receiving unit 310. For encoding one-segment broadcasting images, AVC / H. H.264 standard is adopted. Decoding section 320 outputs the decoded frame to frame rate conversion section 330. Note that resolution conversion by a scaler (not shown) is actually performed before the decoded frame is input to the frame rate conversion unit 330, but is omitted here because it is not noted here.

フレームレート変換部330は、入力されるフレームを単純に複写して、フレーム数を増加させる。ここでは、15Hzの動画像の各フレームを3回複写してフレーム数を4倍にすることにより、15Hzの動画像を60Hzの動画像に変換する。なお、単純に複写するのではなく、増加させるべきフレームの少なくとも一枚について、連続する二枚の原フレームを簡易合成することにより、生成してもよい。たとえば、一方の原フレームの上部領域と他方の原フレームの下部領域を空間的に合成してもよい。   The frame rate conversion unit 330 simply copies the input frame to increase the number of frames. Here, each frame of a 15 Hz moving image is copied three times and the number of frames is quadrupled to convert the 15 Hz moving image into a 60 Hz moving image. Instead of simply copying, at least one frame to be increased may be generated by simply combining two consecutive original frames. For example, the upper region of one original frame and the lower region of the other original frame may be spatially combined.

フレームレート変換装置100は、上述した実施の形態で説明した手法を用いて、フレームレート変換部330から入力される動画像を2倍速変換または4倍速変換する。なお、上記情報領域は倍速変換されない。表示部400は、フレームレート変換装置100により倍速変換された動画像を表示する。   The frame rate conversion apparatus 100 performs the double speed conversion or the quadruple speed conversion on the moving image input from the frame rate conversion unit 330 using the method described in the above embodiment. Note that the information area is not double-speed converted. The display unit 400 displays the moving image that has been double-speed converted by the frame rate conversion apparatus 100.

以上説明したようにワンセグ放送を受信して表示再生する表示装置500に、実施の形態に係るフレームレート変換装置100を搭載することにより、ワンセグ映像の画質を向上させることができる。なお、図7では既存の主制御部300に対して、フレームレート変換装置100を追加することにより、ワンセグ映像の倍速変換を実現する例を示したが、主制御部300内に、フレームレート変換部330の代わりに、フレームレート変換装置100が初めから搭載されてもよい。   As described above, the image quality of the one-segment video can be improved by mounting the frame rate conversion device 100 according to the embodiment on the display device 500 that receives and displays the one-segment broadcast. 7 shows an example in which double-speed conversion of one-segment video is realized by adding the frame rate conversion device 100 to the existing main control unit 300. However, frame rate conversion is performed in the main control unit 300. Instead of the unit 330, the frame rate conversion apparatus 100 may be mounted from the beginning.

以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。   The present invention has been described based on some embodiments. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are also within the scope of the present invention. is there.

たとえば、上記実施の形態では、二段階のブロックマッチングにより画素単位の動きベクトルを検出する手法を説明したが、一回のブロックマッチングにより得られるブロック単位の動きベクトルを用いて、補間フレーム内の各画素を通過する動きベクトルを求めてよい。また、ブロックマッチングではなく、勾配法を用いて画素単位の動きベクトルを検出してもよい。   For example, in the above embodiment, a method for detecting a pixel-based motion vector by two-stage block matching has been described. However, each block in an interpolation frame is detected using a block-based motion vector obtained by one block matching. A motion vector passing through the pixel may be obtained. Further, instead of block matching, a motion vector for each pixel may be detected using a gradient method.

また、上記実施の形態では、補間フレーム内の上記情報領域以外の画素を、上記動きベクトルを用いた補間演算により生成する例を説明した。この点、当該情報領域以外の画素を、当該画素の位置と対応または一致する、第1原フレーム内の画素および第2原フレーム内の画素を合成して生成してもよい。   In the above embodiment, an example has been described in which pixels other than the information area in the interpolation frame are generated by the interpolation calculation using the motion vector. In this regard, pixels other than the information area may be generated by combining the pixels in the first original frame and the pixels in the second original frame that correspond to or coincide with the positions of the pixels.

また、上記実施の形態では、ワンセグ放送される動画像を倍速変換する例を説明したが、本発明に係るフレームレート変換装置100は、その用途に限定されることなく、様々な動画像のフレームレート変換に適用可能である。とくに、低スペックなカメラで撮影された動画像など、低フレームレートの動画像への適用に有効である。たとえば、15Hz未満の動画像のフレームレート変換にも適用可能である。   In the above-described embodiment, an example in which a one-segment broadcast moving image is converted at double speed has been described. However, the frame rate conversion apparatus 100 according to the present invention is not limited to the application, and various moving image frames are used. Applicable for rate conversion. In particular, it is effective for application to moving images with a low frame rate, such as moving images taken with a low-spec camera. For example, it can also be applied to frame rate conversion of moving images of less than 15 Hz.

10 補間フレーム生成部、 12 動きベクトル検出部、 14 補間フレーム算出部、 20 情報領域設定部、 30 フレーム記憶部、 100 フレームレート変換装置、 200 アンテナ、 300 主制御部、 310 受信部、 320 復号部、 330 フレームレート変換部、 400 表示部、 500 表示装置。   DESCRIPTION OF SYMBOLS 10 interpolation frame production | generation part, 12 motion vector detection part, 14 interpolation frame calculation part, 20 information area setting part, 30 frame memory | storage part, 100 frame rate conversion apparatus, 200 antenna, 300 main control part, 310 receiving part, 320 decoding part 330 frame rate conversion unit, 400 display unit, 500 display device.

Claims (5)

入力される動画像のフレーム数を増加させて出力するフレームレート変換装置であって、
前記動画像に含まれる第1フレームと第2フレームの少なくとも一方を参照して、それらフレーム間の補間フレームを生成する補間フレーム生成部と、
所定の情報を重畳して表示するための情報領域を、画面内に設定する情報領域設定部と、を備え、
前記補間フレーム生成部は、前記補間フレーム内の前記情報領域を、前記第1フレーム内または前記第2フレーム内の前記情報領域を複写して生成することを特徴とするフレームレート変換装置。
A frame rate conversion device that increases the number of frames of an input moving image and outputs the frame,
An interpolation frame generation unit that generates an interpolation frame between the frames by referring to at least one of the first frame and the second frame included in the moving image;
An information area setting unit that sets an information area for displaying predetermined information superimposed on the screen, and
The frame rate conversion device, wherein the interpolation frame generation unit generates the information area in the interpolation frame by copying the information area in the first frame or the second frame.
前記補間フレーム生成部は、
前記第1フレームと前記第2フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記補間フレーム内の各画素を通過する前記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、前記第1フレーム内の画素および前記第2フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の各画素を生成する補間フレーム算出部と、を含み、
前記補間フレーム算出部は、前記補間フレーム内の前記情報領域に含まれる対象画素を、前記第1フレーム内または前記第2フレーム内の当該対象画素の位置に対応する画素を参照して生成することを特徴とする請求項1に記載のフレームレート変換装置。
The interpolation frame generation unit
A motion vector detection unit that detects a motion vector in units of blocks or pixels between the first frame and the second frame;
The motion vector passing through each pixel in the interpolation frame is specified, and at least one of the pixel in the first frame and the pixel in the second frame corresponding to the start point and the end point of the motion vector is referred to An interpolation frame calculation unit for generating each pixel in the interpolation frame,
The interpolation frame calculation unit generates a target pixel included in the information area in the interpolation frame with reference to a pixel corresponding to the position of the target pixel in the first frame or the second frame. The frame rate conversion apparatus according to claim 1.
前記補間フレーム算出部は、前記補間フレーム内の前記情報領域に含まれない対象画素の動きベクトルにより特定される、前記第1フレーム内の画素および前記第2フレーム内の画素の一方が前記情報領域に存在する場合、前記情報領域に存在するほうの画素を参照せず、前記情報領域に存在しないほうの画素を参照して、前記対象画素を生成することを特徴とする請求項2に記載のフレームレート変換装置。   In the interpolation frame calculation unit, one of a pixel in the first frame and a pixel in the second frame specified by a motion vector of a target pixel not included in the information region in the interpolation frame is the information region. 3. The target pixel is generated by referring to a pixel that does not exist in the information area without referring to a pixel that exists in the information area. Frame rate conversion device. 前記補間フレーム生成部は、前記補間フレーム内の前記情報領域に含まれない対象画素の動きベクトルにより特定される、前記第1フレーム内の画素および前記第2フレーム内の画素の両方が前記情報領域に存在する場合、前記対象画素の位置に対応する、前記第1フレーム内の画素および前記第2フレーム内の画素の少なくとも一方を参照して、前記対象画素を生成することを特徴とする請求項2または3に記載のフレームレート変換装置。   The interpolation frame generation unit is configured to specify both a pixel in the first frame and a pixel in the second frame specified by a motion vector of a target pixel not included in the information area in the interpolation frame. The target pixel is generated with reference to at least one of the pixel in the first frame and the pixel in the second frame corresponding to the position of the target pixel. 4. The frame rate conversion device according to 2 or 3. 請求項1から4のいずれかに記載のフレームレート変換装置と、
前記フレームレート変換装置によりフレームレートが変換された画像を表示する表示部と、
を備えることを特徴とする表示装置。
The frame rate conversion device according to any one of claims 1 to 4,
A display unit for displaying an image whose frame rate has been converted by the frame rate conversion device;
A display device comprising:
JP2009179185A 2009-07-31 2009-07-31 Frame rate converter and display device mounted by the same Pending JP2011035612A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009179185A JP2011035612A (en) 2009-07-31 2009-07-31 Frame rate converter and display device mounted by the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009179185A JP2011035612A (en) 2009-07-31 2009-07-31 Frame rate converter and display device mounted by the same

Publications (1)

Publication Number Publication Date
JP2011035612A true JP2011035612A (en) 2011-02-17

Family

ID=43764257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009179185A Pending JP2011035612A (en) 2009-07-31 2009-07-31 Frame rate converter and display device mounted by the same

Country Status (1)

Country Link
JP (1) JP2011035612A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205474A (en) * 2010-03-26 2011-10-13 Victor Co Of Japan Ltd Video signal processing apparatus and method
CN106973234A (en) * 2017-04-28 2017-07-21 努比亚技术有限公司 A kind of video capture method and terminal

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005287049A (en) * 2004-03-30 2005-10-13 Matsushita Electric Ind Co Ltd Motion compensation method and apparatus at vector-based image borders
JP2008118620A (en) * 2007-08-06 2008-05-22 Sharp Corp Image display and displaying method, image processor and processing method
JP2008160591A (en) * 2006-12-25 2008-07-10 Hitachi Ltd Television receiver and frame rate conversion method therefor
JP2009055340A (en) * 2007-08-27 2009-03-12 Sharp Corp Image display device and method, and image processing apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005287049A (en) * 2004-03-30 2005-10-13 Matsushita Electric Ind Co Ltd Motion compensation method and apparatus at vector-based image borders
JP2008160591A (en) * 2006-12-25 2008-07-10 Hitachi Ltd Television receiver and frame rate conversion method therefor
JP2008118620A (en) * 2007-08-06 2008-05-22 Sharp Corp Image display and displaying method, image processor and processing method
JP2009055340A (en) * 2007-08-27 2009-03-12 Sharp Corp Image display device and method, and image processing apparatus and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205474A (en) * 2010-03-26 2011-10-13 Victor Co Of Japan Ltd Video signal processing apparatus and method
CN106973234A (en) * 2017-04-28 2017-07-21 努比亚技术有限公司 A kind of video capture method and terminal

Similar Documents

Publication Publication Date Title
JP2011035655A (en) Frame rate conversion apparatus and display apparatus equipped therewith
US20140119675A1 (en) Image processing apparatus and control method thereof
US20090059074A1 (en) Display apparatus
US20100142619A1 (en) Apparatus and method for processing image
US20080063308A1 (en) Frame interpolating circuit, frame interpolating method, and display apparatus
US20080159395A1 (en) Video signal processing circuit, video signal processing apparatus, and video signal processing method
JP2008252591A (en) Interpolation frame generation device, interpolation frame generation method, and broadcast receiver
US8363160B2 (en) Caption detection device, caption detection method, and pull-down signal detection apparatus
US8432495B2 (en) Video processor and video processing method
JP2011035612A (en) Frame rate converter and display device mounted by the same
US10382782B2 (en) Image frame interpolation apparatus, display apparatus and control method thereof
KR101180606B1 (en) Frame interpolating apparatus
CN101212637A (en) Video signal processing circuit, video signal processor, and video signal processing method
JP2011205519A (en) Frame rate conversion circuit
JP2010055001A (en) Video signal processing apparatus and video signal processing method
JP2014071164A (en) Display method and display system
JP2003009094A (en) Device and method for processing video signal, recording medium and program
JP2011211499A (en) Frame rate conversion circuit and display device mounting the same
JP2011035595A (en) Interpolation frame generation device and display device mounted by the same
JP2009156976A (en) Image processor and image processing method
US7583324B2 (en) Video data processing method and apparatus for processing video data
JP2009206940A (en) Interpolation frame generation circuit and frame interpolation apparatus
JP2011035656A (en) Interpolation frame generator and display device mounted by the same
US20100110293A1 (en) Apparatus and method for determining noise
JP2014045425A (en) Electronic device and control method of the same

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120706

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130820

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140204