JP2011205474A - Video signal processing apparatus and method - Google Patents

Video signal processing apparatus and method Download PDF

Info

Publication number
JP2011205474A
JP2011205474A JP2010071779A JP2010071779A JP2011205474A JP 2011205474 A JP2011205474 A JP 2011205474A JP 2010071779 A JP2010071779 A JP 2010071779A JP 2010071779 A JP2010071779 A JP 2010071779A JP 2011205474 A JP2011205474 A JP 2011205474A
Authority
JP
Japan
Prior art keywords
pixel data
interpolation
frame
generating
interpolated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010071779A
Other languages
Japanese (ja)
Other versions
JP5526918B2 (en
Inventor
Maki Koizumi
真季 小泉
Tomoyuki Shishido
智之 宍戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2010071779A priority Critical patent/JP5526918B2/en
Publication of JP2011205474A publication Critical patent/JP2011205474A/en
Application granted granted Critical
Publication of JP5526918B2 publication Critical patent/JP5526918B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a video signal processing apparatus capable of suppressing expansion in circuit scale without reducing a performance for generating an interpolation frame so much.SOLUTION: A motion vector detection unit 2 detects a motion vector MV. Delay units 31, 32 generate a plurality of pixel data items within each of two real frames required for generating interpolation pixel data. Determination units 33-35 determine whether or not the situation occurs where pixel data in one frame, among the pixel data in the two real frames for generating the interpolation pixel data in accordance with the motion vector MV are not generated by the delay units 31, 32. Interpolation pixel data generation units 36-38 generate the interpolation pixel data using the pixel data in the other frame between the two real frames, excepting the pixel data in the one frame when such a situation occurs.

Description

本発明は、フレームレート変換装置やフィルムジャダ除去装置のような映像信号の実フレーム間に補間フレームを内挿する映像信号処理装置及び方法に関する。   The present invention relates to a video signal processing apparatus and method for interpolating an interpolated frame between real frames of a video signal, such as a frame rate converting apparatus and a film judder removing apparatus.

液晶パネルを用いた画像表示装置で動画像を表示すると残像が生じやすい。そこで、残像を低減させるため、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、例えば垂直周波数６０Ｈｚのフレームレートを２倍の１２０Ｈｚまたはそれ以上の垂直周波数に変換して画像表示することが行われている。フレームレート変換を行う映像信号処理装置においては、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、実フレーム間に内挿する補間フレームを生成する。   When a moving image is displayed on an image display device using a liquid crystal panel, an afterimage tends to occur. Therefore, in order to reduce the afterimage, an interpolation frame is interpolated between the actual frames of the video signal to increase the number of frames. For example, the frame rate at a vertical frequency of 60 Hz is converted to a double vertical frequency of 120 Hz or higher. It is done to display. In a video signal processing apparatus that performs frame rate conversion, a motion vector of an image is detected, each interpolation pixel is generated using the motion vector, and an interpolation frame that is interpolated between actual frames is generated.

また、フィルム画像を例えば２−３プルダウンによって垂直周波数６０Ｈｚの映像信号に変換した場合、画像の動きに不自然さが発生しやすい。この画像の動きの不自然さをフィルムジャダと称している。フィルムジャダを除去（軽減）するために、実フレーム間に補間フレームを内挿するフィルムジャダ除去装置がある。フィルムジャダ除去装置においても、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、補間フレームを生成する。なお、フィルムジャダ除去装置では、フレームレートを変換しない場合と変換する場合がある。   In addition, when a film image is converted into a video signal having a vertical frequency of 60 Hz by, for example, 2-3 pulldown, unnaturalness is likely to occur in the motion of the image. This unnatural motion of the image is called film judder. In order to remove (reduce) film judder, there is a film judder removal apparatus that interpolates an interpolation frame between actual frames. Also in the film judder removal apparatus, a motion vector of an image is detected, each interpolation pixel is generated using the motion vector, and an interpolation frame is generated. Note that the film judder removal apparatus may or may not convert the frame rate.

特開２００６−３３７４４８号公報JP 2006-337448 A

画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、補間フレームを生成する映像信号処理装置においては、高画質な映像とするため、誤補間を極力少なくすることが求められる。誤補間を少なくして補間フレームを生成する性能を向上させるには、一般的に、動きベクトル検出部や、動きベクトルに基づいて補間画素データを生成する補間部の回路規模が増大する。しかしながら、動きベクトル検出部や補間部の回路規模を大きくするとコストが高くなってしまう。そこで、補間フレームを生成する性能をさほど落とすことなく回路規模の増大を抑えることができる映像信号処理装置及び方法が求められる。   In a video signal processing device that detects a motion vector of an image, generates each interpolation pixel using the motion vector, and generates an interpolation frame, it is required to reduce erroneous interpolation as much as possible in order to obtain a high-quality video. . In order to improve the performance of generating an interpolation frame by reducing erroneous interpolation, the circuit scale of a motion vector detection unit and an interpolation unit that generates interpolation pixel data based on a motion vector generally increases. However, if the circuit scales of the motion vector detection unit and the interpolation unit are increased, the cost increases. Accordingly, there is a need for a video signal processing apparatus and method that can suppress an increase in circuit scale without significantly reducing the performance of generating an interpolation frame.

本発明はこのような問題点に鑑みなされたものであり、補間フレームを生成する性能をさほど落とすことなく回路規模の増大を抑えることができる映像信号処理装置及び方法を提供することを目的とする。   The present invention has been made in view of such problems, and an object of the present invention is to provide a video signal processing apparatus and method capable of suppressing an increase in circuit scale without significantly reducing the performance of generating an interpolation frame. .

本発明は、上述した従来の技術の課題を解決するため、入力された映像信号における少なくとも２つの実フレーム内の画素データを用いて、前記２つの実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出部（２）と、前記補間画素データを生成する際に必要な前記２つの実フレームそれぞれのフレーム内の複数の画素データを生成する画素データ生成部（３１，３２）と、前記動きベクトルに応じて前記補間画素データを生成するための前記２つの実フレーム内の画素データの内、一方のフレーム内の画素データが前記画素データ生成部によって生成されない状況が発生するか否かを判定する判定部（３３〜３５）と、前記判定部が、前記状況が発生しないと判定した場合には、前記２つの実フレーム内の画素データを用いて前記補間画素データを生成し、前記判定部が、前記状況が発生すると判定した場合には、前記一方のフレームの画素データを除く前記２つの実フレームの内の他方のフレーム内の画素データを用いて前記補間画素データを生成する補間画素データ生成部（３６〜３８）とを備えることを特徴とする映像信号処理装置を提供する。   In order to solve the above-described problems of the prior art, the present invention forms an interpolated frame to be interpolated between the two actual frames using pixel data in at least two actual frames in the input video signal. A motion vector detection unit (2) for detecting a motion vector necessary for generating interpolation pixel data, and a plurality of pixel data in each of the two actual frames required for generating the interpolation pixel data. Of the pixel data in one of the two actual frames for generating the interpolated pixel data according to the motion vector, the pixel data in one frame is the pixel data generating unit (31, 32) to be generated A determination unit (33 to 35) that determines whether or not a situation that is not generated by the data generation unit occurs, and the determination unit determines that the situation does not occur If it is determined that the interpolated pixel data is generated using the pixel data in the two actual frames, and the determination unit determines that the situation occurs, the pixel data of the one frame is excluded. Provided is an image signal processing device comprising an interpolation pixel data generation unit (36-38) that generates the interpolation pixel data using pixel data in the other of the two actual frames. .

上記の構成において、前記補間画素データ生成部は、前記判定部が、前記状況が発生すると判定した場合には、前記他方のフレーム内の画素データのみを用いて前記補間画素データを生成する。
また、前記補間画素データ生成部は、前記判定部が、前記状況が発生すると判定した場合には、前記他方のフレーム内の画素データと、前記補間画素データと同一の水平及び垂直位置にある画素データとを混合して、前記補間画素データを生成する。 In the above configuration, the interpolation pixel data generation unit generates the interpolation pixel data using only the pixel data in the other frame when the determination unit determines that the situation occurs.
Further, the interpolation pixel data generation unit, when the determination unit determines that the situation occurs, the pixel data in the other frame and pixels at the same horizontal and vertical positions as the interpolation pixel data The interpolated pixel data is generated by mixing the data.

また、本発明は、上述した従来の技術の課題を解決するため、入力された映像信号における少なくとも２つの実フレーム内の画素データを用いて、前記２つの実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出ステップと、前記補間画素データを生成する際に必要な前記２つの実フレームそれぞれのフレーム内の複数の画素データを生成する画素データ生成ステップと、前記動きベクトルに応じて前記補間画素データを生成するための前記２つの実フレーム内の画素データの内、一方のフレーム内の画素データが前記画素データ生成ステップにて生成されない状況が発生するか否かを判定する判定ステップと、前記判定ステップにて前記状況が発生しないと判定された場合には、前記２つの実フレーム内の画素データを用いて前記補間画素データを生成し、前記判定ステップにて前記状況が発生すると判定された場合には、前記一方のフレームの画素データを除く前記２つの実フレームの内の他方のフレーム内の画素データを用いて前記補間画素データを生成する補間画素データ生成ステップとを含むことを特徴とする映像信号処理方法を提供する。   In addition, in order to solve the above-described problems of the related art, the present invention uses the pixel data in at least two actual frames in the input video signal to interpolate an interpolation frame between the two actual frames. A motion vector detecting step for detecting a motion vector necessary for generating the interpolated pixel data to be configured; and generating a plurality of pixel data in each of the two actual frames required for generating the interpolated pixel data Pixel data generation step, and pixel data in one of the two actual frames for generating the interpolation pixel data in accordance with the motion vector is generated in the pixel data generation step A determination step for determining whether or not a situation that is not performed occurs, and the determination step determines that the situation does not occur. In the case where the interpolated pixel data is generated using the pixel data in the two real frames, and the determination step determines that the situation occurs, the pixel data of the one frame is And an interpolation pixel data generation step of generating the interpolation pixel data using pixel data in the other of the two actual frames except for the video signal processing method.

上記の構成において、前記補間画素データ生成ステップは、前記判定ステップにて前記状況が発生すると判定された場合には、前記他方のフレーム内の画素データのみを用いて前記補間画素データを生成する。
また、前記補間画素データ生成ステップは、前記判定ステップにて前記状況が発生すると判定された場合には、前記他方のフレーム内の画素データと、前記補間画素データと同一の水平及び垂直位置にある画素データとを混合して、前記補間画素データを生成する。 In the above configuration, the interpolation pixel data generation step generates the interpolation pixel data using only the pixel data in the other frame when it is determined in the determination step that the situation occurs.
In the interpolation pixel data generation step, when it is determined in the determination step that the situation occurs, the pixel data in the other frame is in the same horizontal and vertical positions as the interpolation pixel data. The interpolated pixel data is generated by mixing the pixel data.

本発明の映像信号処理装置及び方法によれば、補間フレームを生成する性能をさほど落とすことなく回路規模の増大を抑えることができる。   According to the video signal processing apparatus and method of the present invention, it is possible to suppress an increase in circuit scale without significantly reducing the performance of generating an interpolation frame.

本発明の映像信号処理装置の一実施形態を示すブロック図である。It is a block diagram which shows one Embodiment of the video signal processing apparatus of this invention. 図１における動きベクトル検出部２の動作を説明するための図である。It is a figure for demonstrating operation | movement of the motion vector detection part 2 in FIG. 図１における遅延部３１，３２の具体的構成例を示すブロック図である。FIG. 3 is a block diagram illustrating a specific configuration example of delay units 31 and 32 in FIG. 1. 一実施形態による補間画素の生成方法を説明するための図である。It is a figure for demonstrating the production | generation method of the interpolation pixel by one Embodiment.

以下、本発明の映像信号処理装置について、添付図面を参照して説明する。図１に示す本発明の一実施形態は、映像信号処理装置の一例として、映像信号の実フレーム間に３フレーム分の補間フレームを内挿して、フレームレートを４倍に変換するフレームレート変換装置を示している。本発明の映像信号処理装置は、フレームレート変換装置に限定されるものではなく、フィルムジャダ除去装置であってもよく、映像信号の実フレーム間に補間フレームを内挿するものであればよい。   The video signal processing apparatus of the present invention will be described below with reference to the accompanying drawings. The embodiment of the present invention shown in FIG. 1 is a frame rate conversion device that interpolates three interpolated frames between real frames of a video signal and converts the frame rate to four times as an example of a video signal processing device. Is shown. The video signal processing apparatus of the present invention is not limited to the frame rate conversion apparatus, and may be a film judder removal apparatus, as long as it interpolates interpolation frames between actual frames of the video signal.

図１において、６０Ｈｚのフレーム周波数を有する映像信号Ｓinの各画素データは、フレームメモリ１，動きベクトル検出部２，補間部３，フレーム周波数変換部４に順次入力される。フレーム周波数変換部４は時系列変換メモリによって構成されている。フレームメモリ１は入力された画素データを１フレーム遅延して出力する。入力された映像信号Ｓinの現在フレームをＦ０、フレームメモリ１より出力された現在フレームより１フレーム前のフレームをＦ１とする。現在フレームＦ０及びフレームＦ１は実フレームである。   In FIG. 1, each pixel data of the video signal Sin having a frame frequency of 60 Hz is sequentially input to the frame memory 1, the motion vector detection unit 2, the interpolation unit 3, and the frame frequency conversion unit 4. The frame frequency conversion unit 4 includes a time series conversion memory. The frame memory 1 outputs the input pixel data with a delay of one frame. The current frame of the input video signal Sin is F0, and the frame one frame before the current frame output from the frame memory 1 is F1. The current frame F0 and the frame F1 are actual frames.

動きベクトル検出部２は、例えばマッチング法を用い、現在フレームＦ０とフレームＦ１の画素データを用いて、現在フレームＦ０とフレームＦ１との間に内挿する補間フレームの各補間画素データを生成するための動きベクトルＭＶを検出する。特に図示しないが、動きベクトル検出部２は複数のラインメモリと画素遅延器、画素データの差分を求める減算器等を含んで構成される。動きベクトルＭＶは、遅延部３１，３２及び判定部３３〜３５に入力される。現在フレームＦ０とフレームＦ１に加えて、フレームＦ１よりも過去のフレームを用いて動きベクトルＭＶを検出してもよい。   The motion vector detection unit 2 uses, for example, a matching method to generate each interpolation pixel data of an interpolation frame to be interpolated between the current frame F0 and the frame F1, using the pixel data of the current frame F0 and the frame F1. The motion vector MV is detected. Although not particularly illustrated, the motion vector detection unit 2 includes a plurality of line memories, a pixel delay unit, a subtractor for obtaining a difference between pixel data, and the like. The motion vector MV is input to the delay units 31 and 32 and the determination units 33 to 35. In addition to the current frame F0 and the frame F1, the motion vector MV may be detected using a frame earlier than the frame F1.

図２に示すように、現在フレームＦ０と１フレーム前のフレームＦ１との間に３つの補間フレームＦi1，Ｆi2，Ｆi3を挿入する場合、現在フレームＦ０の画素データＰf00とフレームＦ１の画素データＰf10との間には、破線で示す補間画素データＰfi1，Ｐfi2，Ｐfi3を挿入する必要がある。動きベクトル検出部２は、画素データＰf00と画素データＰf10との中央に位置する補間画素データＰfi2を生成するための動きベクトルＭＶi2を生成する。そして、動きベクトル検出部２は、動きベクトルＭＶi2をずらすことによって、補間画素データＰfi1を生成するための動きベクトルＭＶi1と間画素データＰfi3を生成するための動きベクトルＭＶi3とを生成する。動きベクトルＭＶは動きベクトルＭＶi1〜ＭＶi3の総称である。   As shown in FIG. 2, when three interpolation frames Fi1, Fi2, and Fi3 are inserted between the current frame F0 and the previous frame F1, the pixel data Pf00 of the current frame F0 and the pixel data Pf10 of the frame F1 It is necessary to insert interpolated pixel data Pfi1, Pfi2, and Pfi3 indicated by broken lines between. The motion vector detection unit 2 generates a motion vector MVi2 for generating interpolated pixel data Pfi2 located at the center of the pixel data Pf00 and the pixel data Pf10. Then, the motion vector detection unit 2 generates a motion vector MVi1 for generating the interpolated pixel data Pfi1 and a motion vector MVi3 for generating the inter-pixel data Pfi3 by shifting the motion vector MVi2. The motion vector MV is a general term for the motion vectors MVi1 to MVi3.

遅延部３１は、入力された現在フレームＦ０の画素データＰf0を水平方向に画素単位で順次遅延させ、ライン単位で順次遅延させることによって、補間画素データＰfi1，Ｐfi2，Ｐfi3を生成するのに必要な現在フレームＦ０上の複数の画素データを生成する。同様に、遅延部３２は、入力されたフレームＦ１の画素データＰf1を水平方向に画素単位で順次遅延させ、ライン単位で順次遅延させることによって、補間画素データＰfi1，Ｐfi2，Ｐfi3を生成するのに必要なフレームＦ１上の複数の画素データを生成する。即ち、遅延部３１，３２は、補間画素データを生成する際に必要な２つの実フレームそれぞれのフレーム内の複数の画素データを生成する画素データ生成部となっている。   The delay unit 31 is necessary to generate the interpolated pixel data Pfi1, Pfi2, and Pfi3 by sequentially delaying the input pixel data Pf0 of the current frame F0 in the horizontal direction in units of pixels and sequentially in units of lines. A plurality of pixel data on the current frame F0 are generated. Similarly, the delay unit 32 generates the interpolated pixel data Pfi1, Pfi2, and Pfi3 by sequentially delaying the pixel data Pf1 of the input frame F1 in the horizontal direction in units of pixels and sequentially in units of lines. A plurality of pixel data on the necessary frame F1 are generated. In other words, the delay units 31 and 32 are pixel data generation units that generate a plurality of pixel data in each of the two actual frames necessary for generating the interpolation pixel data.

図３を用いて遅延部３１，３２の具体的構成例について説明する。遅延部３１と遅延部３２とは同一の構成である。遅延部３１には現在フレームＦ０の画素データＰf0が順次入力され、遅延部３２にはフレームメモリ１より出力されたフレームＦ１の画素データＰf1が順次入力される。画素データＰf0は図２における画素データＰf0-4，Ｐf0-3，Ｐf0-2，Ｐf0-1，Ｐf00，Ｐf01，Ｐf02…等の任意の画素データであり、画素データＰf1は図２における画素データＰf1-4，Ｐf1-3，Ｐf1-2，Ｐf1-1，Ｐf10，Ｐf11，Ｐf12…等の任意の画素データである。   A specific configuration example of the delay units 31 and 32 will be described with reference to FIG. The delay unit 31 and the delay unit 32 have the same configuration. The pixel data Pf0 of the current frame F0 is sequentially input to the delay unit 31, and the pixel data Pf1 of the frame F1 output from the frame memory 1 is sequentially input to the delay unit 32. The pixel data Pf0 is arbitrary pixel data such as the pixel data Pf0-4, Pf0-3, Pf0-2, Pf0-1, Pf00, Pf01, Pf02, etc. in FIG. 2, and the pixel data Pf1 is the pixel data Pf1 in FIG. -4, Pf1-3, Pf1-2, Pf1-1, Pf10, Pf11, Pf12...

以下、代表して画素データＰf0が入力される遅延部３１について説明する。図３において、ラインメモリ３０１1〜３０１mのｍ個（ｍは２以上の整数）のラインメモリが直列に接続されており、入力された画素データＰf0はラインメモリ３０１1〜３０１mによって１ラインずつ遅延される。画素データＰf0は直列に接続された画素遅延器３０２01〜３０２0nのｎ個（ｎは２以上の整数）の画素遅延器によって１画素ずつ遅延される。ラインメモリ３０１1より出力された画素データは直列に接続された画素遅延器３０２11〜３０２1nによって１画素ずつ遅延される。ラインメモリ３０１1〜３０１m間の図示を省略しているラインメモリより出力された画素データも同様にｎ個の画素遅延器によって１画素ずつ遅延される。ラインメモリ３０１mより出力された画素データは直列に接続された画素遅延器３０２m1〜３０２mnによって１画素ずつ遅延される。 Hereinafter, the delay unit 31 to which the pixel data Pf0 is input will be described as a representative. In FIG. 3, m line memories (m is an integer of 2 or more) of line memories 301 1 to 301 m are connected in series, and input pixel data Pf 0 is one line by the line memories 301 1 to 301 m . Delayed by one. Pixel data Pf0 is n connections pixel delay units 302 01 to 302 0n in series (n is an integer of 2 or more) are delayed by one pixel by pixel delayer. Pixel data output from the line memory 301 1 is delayed by one pixel by the pixel connected to the delay unit 302 11 to 302 1n in series. Similarly, pixel data output from a line memory (not shown ) between the line memories 301 1 to 301 m is also delayed pixel by pixel by n pixel delay units. Pixel data output from the line memory 301 m is delayed pixel by pixel by pixel delay units 302 m1 to 302 mn connected in series.

図３に示すラインメモリの数ｍ及び画素遅延器の数ｎは、動きベクトルＭＶが示すシフト量に基づいて補間画素データＰfi1，Ｐfi2，Ｐfi3を生成する際に必要な水平方向及び垂直方向の画素データ数となるよう設定すればよい。数ｍ，ｎは任意の数であり、補間フレームを生成する性能（補間画素データ生成の精度）と回路規模との双方を考慮して最適な数とする。   The number m of line memories and the number n of pixel delays shown in FIG. 3 are the pixels in the horizontal and vertical directions necessary for generating the interpolated pixel data Pfi1, Pfi2, Pfi3 based on the shift amount indicated by the motion vector MV. What is necessary is just to set so that it may become the number of data. The numbers m and n are arbitrary numbers, and are optimal numbers in consideration of both the performance of generating an interpolation frame (accuracy of generating interpolation pixel data) and the circuit scale.

画素遅延器３０２01〜３０２0n，３０２11〜３０２1n，…，３０２m1〜３０２mnより出力された画素データは選択部３０３に入力される。選択部３０３には、動きベクトル検出部２より出力された動きベクトルＭＶi1〜ＭＶi3が入力される。遅延部３１内の選択部３０３は、動きベクトルＭＶi1が示すシフト量に基づいて補間画素データＰfi1を生成するのに必要な現在フレームＦ０の画素データＰf0と、動きベクトルＭＶi2が示すシフト量に基づいて補間画素データＰfi2を生成するのに必要な現在フレームＦ０の画素データＰf0と、動きベクトルＭＶi3が示すシフト量に基づいて補間画素データＰfi3を生成するのに必要な現在フレームＦ０の画素データＰf0とを選択して出力する。 Pixel delay units 302 01 ~302 0n, 302 11 ~302 1n, ..., pixel data output from the 302 m1 to 302 mn are input to the selection unit 303. The selection unit 303 receives the motion vectors MVi1 to MVi3 output from the motion vector detection unit 2. The selection unit 303 in the delay unit 31 is based on the pixel data Pf0 of the current frame F0 necessary for generating the interpolation pixel data Pfi1 based on the shift amount indicated by the motion vector MVi1 and the shift amount indicated by the motion vector MVi2. Pixel data Pf0 of the current frame F0 necessary for generating the interpolation pixel data Pfi2 and pixel data Pf0 of the current frame F0 required for generating the interpolation pixel data Pfi3 based on the shift amount indicated by the motion vector MVi3 Select and output.

遅延部３２内の選択部３０３は、動きベクトルＭＶi1が示すシフト量に基づいて補間画素データＰfi1を生成するのに必要なフレームＦ１の画素データＰf1と、動きベクトルＭＶi2が示すシフト量に基づいて補間画素データＰfi2を生成するのに必要なフレームＦ１の画素データＰf1と、動きベクトルＭＶi3が示すシフト量に基づいて補間画素データＰfi3を生成するのに必要なフレームＦ１の画素データＰf1とを選択して出力する。   The selection unit 303 in the delay unit 32 performs interpolation based on the pixel data Pf1 of the frame F1 necessary for generating the interpolation pixel data Pfi1 based on the shift amount indicated by the motion vector MVi1 and the shift amount indicated by the motion vector MVi2. The pixel data Pf1 of the frame F1 necessary for generating the pixel data Pfi2 and the pixel data Pf1 of the frame F1 required for generating the interpolation pixel data Pfi3 based on the shift amount indicated by the motion vector MVi3 are selected. Output.

図２の例では、遅延部３１内の選択部３０３は、画素データＰf0-1，Ｐf0-2，Ｐf0-3を選択して出力し、遅延部３２内の選択部３０３は、画素データＰf13，Ｐf12，Ｐf11を選択して出力する。ここでは、遅延部３１，３２で一対の画素データを出力する場合を説明したが、後述するように、動きベクトルＭＶに基づいて本来必要とする一対の画素データの内の一方の画素データが遅延部３１，３２より出力されない場合がある。   In the example of FIG. 2, the selection unit 303 in the delay unit 31 selects and outputs the pixel data Pf0-1, Pf0-2, Pf0-3, and the selection unit 303 in the delay unit 32 includes the pixel data Pf13, Pf12 and Pf11 are selected and output. Here, the case where a pair of pixel data is output by the delay units 31 and 32 has been described. However, as will be described later, one pixel data of a pair of pixel data originally required based on the motion vector MV is delayed. In some cases, the signals are not output from the units 31 and 32.

図４に示すように、遅延部３１で生成する画素データＰf0が水平方向に画素データＰf0-4から画素データＰf04までの範囲であり、遅延部３２で生成する画素データＰf1が水平方向に画素データＰf1-4から画素データＰf14までの範囲であるとする。実際には水平方向の画素範囲はもっと広いがここでは簡略化のため９画素分の画素データＰf0，Ｐf1としている。この場合、動きベクトルＭＶi1に基づいて遅延部３１，３２が本来出力すべき一対の画素データは画素データＰf0-2，Ｐf16であるが、画素データＰf16は二点鎖線で示しているように、遅延部３２から出力されない画素データである。同様に、動きベクトルＭＶi3に基づいて遅延部３１，３２が本来出力すべき一対の画素データは画素データＰf0-6，Ｐf12であるが、画素データＰf0-6は二点鎖線で示しているように、遅延部３１から出力されない画素データである。   As shown in FIG. 4, the pixel data Pf0 generated by the delay unit 31 is in the range from the pixel data Pf0-4 to the pixel data Pf04 in the horizontal direction, and the pixel data Pf1 generated by the delay unit 32 is the pixel data in the horizontal direction. It is assumed that the range is from Pf1-4 to pixel data Pf14. Actually, the pixel range in the horizontal direction is wider, but here pixel data Pf0 and Pf1 for nine pixels are used for simplification. In this case, the pair of pixel data that the delay units 31 and 32 should originally output based on the motion vector MVi1 are the pixel data Pf0-2 and Pf16, but the pixel data Pf16 is delayed as shown by the two-dot chain line. Pixel data that is not output from the unit 32. Similarly, a pair of pixel data that should be output by the delay units 31 and 32 based on the motion vector MVi3 is pixel data Pf0-6 and Pf12, but the pixel data Pf0-6 is indicated by a two-dot chain line. Pixel data not output from the delay unit 31.

図４では、水平方向の場合について示したが、垂直方向でも一方の画素データが遅延部３１，３２から出力されないことが起こり得る。   Although FIG. 4 shows the case of the horizontal direction, it is possible that one pixel data is not output from the delay units 31 and 32 even in the vertical direction.

図１の判定部３３〜３５は、動きベクトルＭＶに応じて補間画素データＰfi1，Ｐfi2，Ｐfi3を生成するための２つの実フレーム内の画素データの内、一方のフレーム内の画素データが遅延部３１，３２によって生成されない状況が発生するか否かを判定する。判定部３３〜３５は、遅延部３１，３２が水平方向及び垂直方向のどれだけの範囲で補間画素データを生成するための画素データを生成するかが分かっているため、入力された動きベクトルＭＶに基づいて上記の状況が発生するか否かを判定することができる。   1 determine the pixel data in one frame out of the pixel data in two real frames for generating the interpolation pixel data Pfi1, Pfi2, and Pfi3 according to the motion vector MV. It is determined whether or not a situation that is not generated by 31 and 32 occurs. Since the determination units 33 to 35 know how much the delay units 31 and 32 generate pixel data for generating interpolation pixel data in the horizontal direction and the vertical direction, the input motion vector MV Based on the above, it can be determined whether or not the above situation occurs.

判定部３３〜３５は、一方の画素データが出力されない場合が発生すると判定した場合、現在フレームＦ０とフレームＦ１の内のいずれの画素データが出力され、いずれの画素データが出力されないかを示す判定信号を生成して補間画素データ生成部３６〜３８に供給する。補間画素データ生成部３６は補間画素データＰfi1を生成する。補間画素データ生成部３７は補間画素データＰfi2を生成する。補間画素データ生成部３８は補間画素データＰfi3を生成する。   When the determination units 33 to 35 determine that one of the pixel data is not output, the determination indicates which pixel data in the current frame F0 and the frame F1 is output and which pixel data is not output. A signal is generated and supplied to the interpolation pixel data generation units 36-38. The interpolation pixel data generation unit 36 generates interpolation pixel data Pfi1. The interpolation pixel data generation unit 37 generates interpolation pixel data Pfi2. The interpolation pixel data generation unit 38 generates interpolation pixel data Pfi3.

図１では、補間画素データ生成部３７に判定信号を供給する判定部３４を設けているが、現在フレームＦ０とフレームＦ１との中央に位置する補間フレームＦi2の補間画素データＰfi2を生成する場合には、遅延部３１，３２からは必ず一対の画素データが出力されることになる。従って、判定部３４を削除してもよい。   In FIG. 1, the determination unit 34 for supplying a determination signal to the interpolation pixel data generation unit 37 is provided. However, when the interpolation pixel data Pfi2 of the interpolation frame Fi2 located at the center between the current frame F0 and the frame F1 is generated. Therefore, a pair of pixel data is always output from the delay units 31 and 32. Therefore, the determination unit 34 may be deleted.

補間画素データ生成部３６〜３８は、遅延部３１，３２から一対の画素データが供給される場合には、一対の画素データを距離に応じて適応混合して補間画素データＰfi1〜Ｐfi3を生成する。図２の場合、補間画素データ生成部３６は、（２／３×Ｐf0-1＋１／３×Ｐf13）を演算して補間画素データＰfi1を生成し、補間画素データ生成部３７は、（１／２×Ｐf0-2＋１／２×Ｐf12）を演算して補間画素データＰfi2を生成し、補間画素データ生成部３８は、（１／３×Ｐf0-3＋２／３×Ｐf11）を演算して補間画素データＰfi3を生成すればよい。   When a pair of pixel data is supplied from the delay units 31 and 32, the interpolation pixel data generation units 36 to 38 adaptively mix the pair of pixel data according to the distance to generate the interpolation pixel data Pfi1 to Pfi3. . In the case of FIG. 2, the interpolation pixel data generation unit 36 calculates (2/3 × Pf0-1 + 1/3 × Pf13) to generate interpolation pixel data Pfi1, and the interpolation pixel data generation unit 37 calculates (1/2 * Pf0-2 + 1/2 * Pf12) is generated to generate the interpolation pixel data Pfi2, and the interpolation pixel data generation unit 38 calculates (1/3 * Pf0-3 + 2/3 * Pf11) to calculate the interpolation pixel data Pfi3. Should be generated.

図４の場合には、補間画素データ生成部３６は、画素データＰf0-2をそのまま補間画素データＰfi1とし、補間画素データ生成部３８は、画素データＰf12をそのまま補間画素データＰfi3とする。このように、本実施形態においては、補間画素データＰfi1，Ｐfi3を生成する際に、本来使用すべき一対の画素データの内の一方の画素データが存在しない場合に、補間画素データＰfi1，Ｐfi3に距離が近い一方の画素データのみを用いて補間画素データＰfi1，Ｐfi3を生成する。   In the case of FIG. 4, the interpolation pixel data generation unit 36 uses the pixel data Pf0-2 as it is as the interpolation pixel data Pfi1, and the interpolation pixel data generation unit 38 sets the pixel data Pf12 as it is as the interpolation pixel data Pfi3. As described above, in the present embodiment, when the interpolation pixel data Pfi1 and Pfi3 are generated, if one of the pair of pixel data to be originally used does not exist, the interpolation pixel data Pfi1 and Pfi3 Interpolated pixel data Pfi1 and Pfi3 are generated using only one pixel data having a short distance.

一方の画素データをそのまま補間画素データＰfi1，Ｐfi3とすると誤補間となる可能性が高い場合には、一方の画素データと他の画素データとを混合して補間画素データＰfi1，Ｐfi3を生成することが好ましい。他の画素データの好適な例としては、補間画素データＰfi1，Ｐfi3と同一の水平及び垂直位置にある画素データＰf00，Ｐf10である。画素データＰf00，Ｐf10は、静止画補間のときに補間画素データＰfi1〜Ｐfi3を生成する際に用いられる画素データである。この場合、遅延部３１，３２より補間画素データ生成部３６，３８に画素データＰf00，Ｐf10を供給すればよい。   If one of the pixel data is directly used as the interpolation pixel data Pfi1 and Pfi3, if there is a high possibility of erroneous interpolation, one pixel data and the other pixel data are mixed to generate the interpolation pixel data Pfi1 and Pfi3. Is preferred. Other preferable pixel data is pixel data Pf00 and Pf10 at the same horizontal and vertical positions as the interpolation pixel data Pfi1 and Pfi3. The pixel data Pf00 and Pf10 are pixel data used when generating the interpolated pixel data Pfi1 to Pfi3 at the time of still image interpolation. In this case, the pixel data Pf00 and Pf10 may be supplied from the delay units 31 and 32 to the interpolation pixel data generation units 36 and 38.

補間画素データ生成部３６，３８は、動きベクトル検出部２によって動きが所定の値より大きいと判定された場合に上記の一方の画素データと画素データＰf00，Ｐf10とを混合することが好ましい。動きが所定の値より大きい場合に上記の一方の画素データに対して画素データＰf00，Ｐf10を混合すると、補間における破綻の可能性を少なくすることができる。   The interpolated pixel data generation units 36 and 38 preferably mix the one pixel data and the pixel data Pf00 and Pf10 when the motion vector detection unit 2 determines that the motion is greater than a predetermined value. If the pixel data Pf00 and Pf10 are mixed with the one of the pixel data when the movement is larger than a predetermined value, the possibility of failure in interpolation can be reduced.

本実施形態では２つの実フレーム内の画素データを用いて補間画素データＰfi1〜Ｐfi3を生成しているが、３つ以上の実フレーム内の画素データを用いて補間画素データＰfi1〜Ｐfi3を生成してもよい。   In this embodiment, the interpolated pixel data Pfi1 to Pfi3 are generated using pixel data in two real frames, but the interpolated pixel data Pfi1 to Pfi3 are generated using pixel data in three or more real frames. May be.

フレーム周波数変換部４には、フレームＦ０の画素データと補間画素データ生成部３６〜３８より出力された補間画素データＰfi1，Ｐfi2，Ｐfi3とが順次入力される。フレーム周波数変換部４は、順次入力されるフレームＦ０の画素データに基づいて実フレームであるフレームＦ０の画像データと、順次入力される補間画素データＰfi1に基づいて補間フレームである補間フレームＦi1の画像データと、順次入力される補間画素データＰfi2に基づいて補間フレームである補間フレームＦi2の画像データと、順次入力される補間画素データＰfi3に基づいて補間フレームである補間フレームＦi3の画像データとを生成する。   The frame frequency conversion unit 4 is sequentially input with the pixel data of the frame F0 and the interpolation pixel data Pfi1, Pfi2, and Pfi3 output from the interpolation pixel data generation units 36 to 38. The frame frequency conversion unit 4 is an image data of a frame F0 that is an actual frame based on pixel data of a frame F0 that is sequentially input, and an image of an interpolation frame Fi1 that is an interpolation frame based on the interpolation pixel data Pfi1 that is sequentially input. Data, image data of an interpolation frame Fi2 that is an interpolation frame based on sequentially input interpolation pixel data Pfi2, and image data of an interpolation frame Fi3 that is an interpolation frame based on sequentially input interpolation pixel data Pfi3 To do.

そして、フレーム周波数変換部４は、フレームＦ０の画像データと補間フレームＦi1〜Ｆi3の画像データとを、周波数２４０Ｈｚで補間フレームＦi3，補間フレームＦi2，補間フレームＦi1，フレームＦ０の順で出力して、２４０Ｈｚのフレーム周波数を有する映像信号Ｓoutを出力する。   Then, the frame frequency conversion unit 4 outputs the image data of the frame F0 and the image data of the interpolation frames Fi1 to Fi3 in the order of the interpolation frame Fi3, the interpolation frame Fi2, the interpolation frame Fi1, and the frame F0 at a frequency of 240 Hz. A video signal Sout having a frame frequency of 240 Hz is output.

本発明は以上説明した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本実施形態では、映像信号処理装置の一例としてフレームレートを４倍に変換するフレームレート変換装置について説明したが、フレームレートを３倍に変換するフレームレート変換装置であってもよい。本発明の映像信号処理装置をフレームレート変換装置に適用する場合には、フレームレートを３倍以上に変換するフレームレート変換装置に用いて好適である。   The present invention is not limited to the embodiments described above, and various modifications can be made without departing from the scope of the present invention. In the present embodiment, the frame rate conversion device that converts the frame rate to four times has been described as an example of the video signal processing device. However, the frame rate conversion device that converts the frame rate to three times may be used. When the video signal processing apparatus of the present invention is applied to a frame rate conversion apparatus, it is suitable for use in a frame rate conversion apparatus that converts the frame rate to three times or more.

１ フレームメモリ
２ 動きベクトル検出部
３ 補間部
４ フレーム周波数変換部
３１，３２ 遅延部（画素データ生成部）
３３〜３５ 判定部
３６〜３８ 補間画素データ生成部 DESCRIPTION OF SYMBOLS 1 Frame memory 2 Motion vector detection part 3 Interpolation part 4 Frame frequency conversion part 31, 32 Delay part (pixel data generation part)
33 to 35 determination unit 36 to 38 Interpolated pixel data generation unit

Claims (6)

入力された映像信号における少なくとも２つの実フレーム内の画素データを用いて、前記２つの実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出部と、
前記補間画素データを生成する際に必要な前記２つの実フレームそれぞれのフレーム内の複数の画素データを生成する画素データ生成部と、
前記動きベクトルに応じて前記補間画素データを生成するための前記２つの実フレーム内の画素データの内、一方のフレーム内の画素データが前記画素データ生成部によって生成されない状況が発生するか否かを判定する判定部と、
前記判定部が、前記状況が発生しないと判定した場合には、前記２つの実フレーム内の画素データを用いて前記補間画素データを生成し、前記判定部が、前記状況が発生すると判定した場合には、前記一方のフレームの画素データを除く前記２つの実フレームの内の他方のフレーム内の画素データを用いて前記補間画素データを生成する補間画素データ生成部と
を備えることを特徴とする映像信号処理装置。 A motion for detecting a motion vector necessary for generating interpolated pixel data constituting an interpolated frame to be interpolated between the two real frames using pixel data in at least two real frames in the input video signal A vector detector;
A pixel data generation unit for generating a plurality of pixel data in each of the two real frames necessary for generating the interpolation pixel data;
Whether or not a situation occurs in which pixel data in one of the two actual frames for generating the interpolated pixel data according to the motion vector is not generated by the pixel data generation unit A determination unit for determining
When the determination unit determines that the situation does not occur, the interpolation pixel data is generated using pixel data in the two real frames, and the determination unit determines that the situation occurs Includes an interpolation pixel data generation unit that generates the interpolation pixel data using pixel data in the other of the two real frames excluding the pixel data of the one frame. Video signal processing device. 前記補間画素データ生成部は、前記判定部が、前記状況が発生すると判定した場合には、前記他方のフレーム内の画素データのみを用いて前記補間画素データを生成することを特徴とする請求項１記載の映像信号処理装置。   The interpolation pixel data generation unit generates the interpolation pixel data using only pixel data in the other frame when the determination unit determines that the situation occurs. The video signal processing apparatus according to 1. 前記補間画素データ生成部は、前記判定部が、前記状況が発生すると判定した場合には、前記他方のフレーム内の画素データと、前記補間画素データと同一の水平及び垂直位置にある画素データとを混合して、前記補間画素データを生成することを特徴とする請求項１記載の映像信号処理装置。   The interpolation pixel data generation unit, when the determination unit determines that the situation occurs, pixel data in the other frame, pixel data at the same horizontal and vertical positions as the interpolation pixel data, and The video signal processing apparatus according to claim 1, wherein the interpolated pixel data is generated by mixing the data. 入力された映像信号における少なくとも２つの実フレーム内の画素データを用いて、前記２つの実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出ステップと、
前記補間画素データを生成する際に必要な前記２つの実フレームそれぞれのフレーム内の複数の画素データを生成する画素データ生成ステップと、
前記動きベクトルに応じて前記補間画素データを生成するための前記２つの実フレーム内の画素データの内、一方のフレーム内の画素データが前記画素データ生成ステップにて生成されない状況が発生するか否かを判定する判定ステップと、
前記判定ステップにて前記状況が発生しないと判定された場合には、前記２つの実フレーム内の画素データを用いて前記補間画素データを生成し、前記判定ステップにて前記状況が発生すると判定された場合には、前記一方のフレームの画素データを除く前記２つの実フレームの内の他方のフレーム内の画素データを用いて前記補間画素データを生成する補間画素データ生成ステップと
を含むことを特徴とする映像信号処理方法。 A motion for detecting a motion vector necessary for generating interpolated pixel data constituting an interpolated frame to be interpolated between the two real frames using pixel data in at least two real frames in the input video signal A vector detection step;
A pixel data generation step for generating a plurality of pixel data in each of the two real frames necessary for generating the interpolation pixel data;
Whether or not a situation occurs in which pixel data in one of the two actual frames for generating the interpolated pixel data according to the motion vector is not generated in the pixel data generating step. A determination step for determining whether or not
If it is determined in the determination step that the situation does not occur, the interpolated pixel data is generated using pixel data in the two actual frames, and it is determined that the situation occurs in the determination step. An interpolated pixel data generating step of generating the interpolated pixel data using pixel data in the other of the two real frames excluding the pixel data of the one frame. A video signal processing method. 前記補間画素データ生成ステップは、前記判定ステップにて前記状況が発生すると判定された場合には、前記他方のフレーム内の画素データのみを用いて前記補間画素データを生成することを特徴とする請求項４記載の映像信号処理方法。   The interpolation pixel data generation step generates the interpolation pixel data using only pixel data in the other frame when it is determined in the determination step that the situation occurs. Item 5. The video signal processing method according to Item 4. 前記補間画素データ生成ステップは、前記判定ステップにて前記状況が発生すると判定された場合には、前記他方のフレーム内の画素データと、前記補間画素データと同一の水平及び垂直位置にある画素データとを混合して、前記補間画素データを生成することを特徴とする請求項４１記載の映像信号処理方法。   In the interpolation pixel data generation step, when it is determined in the determination step that the situation occurs, the pixel data in the other frame and pixel data at the same horizontal and vertical positions as the interpolation pixel data 42. The video signal processing method according to claim 41, wherein the interpolated pixel data is generated by mixing the data.
JP2010071779A 2010-03-26 2010-03-26 Video signal processing apparatus and method Active JP5526918B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010071779A JP5526918B2 (en) 2010-03-26 2010-03-26 Video signal processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010071779A JP5526918B2 (en) 2010-03-26 2010-03-26 Video signal processing apparatus and method

Publications (2)

Publication Number Publication Date
JP2011205474A true JP2011205474A (en) 2011-10-13
JP5526918B2 JP5526918B2 (en) 2014-06-18

Family

ID=44881620

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010071779A Active JP5526918B2 (en) 2010-03-26 2010-03-26 Video signal processing apparatus and method

Country Status (1)

Country Link
JP (1) JP5526918B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012017753A1 (en) 2011-09-21 2013-03-21 Hitachi Automotive Systems, Ltd. Sealing arrangement for an electronic control device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003299035A (en) * 2002-04-03 2003-10-17 Sony Corp Pixel interpolation processing device and method
JP2008263391A (en) * 2007-04-12 2008-10-30 Hitachi Ltd Video processing apparatus
JP2011035612A (en) * 2009-07-31 2011-02-17 Sanyo Electric Co Ltd Frame rate converter and display device mounted by the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003299035A (en) * 2002-04-03 2003-10-17 Sony Corp Pixel interpolation processing device and method
JP2008263391A (en) * 2007-04-12 2008-10-30 Hitachi Ltd Video processing apparatus
JP2011035612A (en) * 2009-07-31 2011-02-17 Sanyo Electric Co Ltd Frame rate converter and display device mounted by the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012017753A1 (en) 2011-09-21 2013-03-21 Hitachi Automotive Systems, Ltd. Sealing arrangement for an electronic control device

Also Published As

Publication number Publication date
JP5526918B2 (en) 2014-06-18

Similar Documents

Publication Publication Date Title
JP4692913B2 (en) Frame rate conversion apparatus and method
US20120093231A1 (en) Image processing apparatus and image processing method
JP2006352611A (en) Picture interpolator, frame rate changer and picture display
JP5526918B2 (en) Video signal processing apparatus and method
JP5318811B2 (en) 2D / 3D video processing device and video display device
JP6904192B2 (en) Interpolation frame generator
JP5803500B2 (en) Motion vector detection apparatus and method
WO2014129528A1 (en) Video signal processing device and method
JP2007288483A (en) Image converting apparatus
KR101361649B1 (en) Video signal processor
JP4735779B2 (en) Interpolated pixel data generation apparatus and method
JP2010263468A (en) Frame rate converting apparatus and method
JP2006148827A (en) Scanning line interpolating device, and scanning line interpolating method
JP5891913B2 (en) Video signal processing apparatus and method
JP2011216935A (en) Video processing device and video display device
JP5867289B2 (en) Motion vector generation apparatus and method
JP2013074384A (en) Image processing apparatus and image processing method
JP2020061693A (en) Interpolation frame generation device and method
JP2004096223A (en) Video signal converting method and apparatus thereof
JP2005151393A (en) Image signal processing circuit
JP2013201607A (en) Motion vector correction device and method, and, video signal processing device and method
JP2010246064A (en) Video signal delay selection circuit and motion compensation interpolation circuit using the same
JP2010246065A (en) Video signal delay selection circuit and motion compensation interpolation circuit using the same
JP2005311526A (en) Video output device and video output method
JP2009077034A (en) Video signal processor and video signal processing method

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120329

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130709

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140331

R150 Certificate of patent or registration of utility model

Ref document number: 5526918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150