JP2017092851A - Interpolation ratio determination apparatus and program - Google Patents

Interpolation ratio determination apparatus and program Download PDF

Info

Publication number
JP2017092851A
JP2017092851A JP2015223836A JP2015223836A JP2017092851A JP 2017092851 A JP2017092851 A JP 2017092851A JP 2015223836 A JP2015223836 A JP 2015223836A JP 2015223836 A JP2015223836 A JP 2015223836A JP 2017092851 A JP2017092851 A JP 2017092851A
Authority
JP
Japan
Prior art keywords
frame
interpolation
interpolated
ratio
interpolated frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015223836A
Other languages
Japanese (ja)
Other versions
JP6604828B2 (en
Inventor
康孝 松尾
Yasutaka Matsuo
康孝 松尾
慎平 根本
Shimpei Nemoto
慎平 根本
境田 慎一
Shinichi Sakaida
慎一 境田
菊文 神田
Kikufumi Kanda
菊文 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Priority to JP2015223836A priority Critical patent/JP6604828B2/en
Publication of JP2017092851A publication Critical patent/JP2017092851A/en
Application granted granted Critical
Publication of JP6604828B2 publication Critical patent/JP6604828B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To suppress an artifact by considering a visual integrating effect.SOLUTION: An interpolation ratio determining apparatus 1 comprises: an interpolated frame selection unit 11 that selects an interpolated frame to be used for generating an interpolation frame from an original frame before the frame rate conversion; and an interpolation ratio determination unit 12 that determines the interpolation ratio of the interpolated frame. The interpolated frame selector 11 sets the original frame located in the future as the time direction of the interpolation frame as the reference frame, and selects the original frame included within the retention time of a past visual sense memory from the position of the reference frame and the reference frame as the interpolated frame. The interpolation ratio determination unit 12 determines a value obtained by normalizing the reciprocal of the distance from the interpolation frame position to the position of each interpolated frame as the interpolation ratio of each interpolated frame.SELECTED DRAWING: Figure 1

Description

本発明は、線形補間によりフレーム内挿する際の被内挿フレームの内挿比(重み係数)を決定する内挿比決定装置及びプログラムに関する。   The present invention relates to an interpolation ratio determination apparatus and program for determining an interpolation ratio (weighting coefficient) of an interpolated frame when performing frame interpolation by linear interpolation.

従来、フレームレートを変換する一般的な手法として、線形補間によるフレーム内挿法が知られている(例えば、非特許文献1参照)。この内挿法では、時間方向の内挿フレーム位置に対して、前後に位置する入力映像のフレームに、距離に応じた重み(内挿比)を乗じて加算する線形フィルタ処理により、内挿フレームを生成する。   Conventionally, a frame interpolation method based on linear interpolation is known as a general method for converting a frame rate (see, for example, Non-Patent Document 1). In this interpolation method, an interpolation frame is obtained by linear filter processing for multiplying and adding a weight (interpolation ratio) corresponding to a distance to a frame of an input video positioned before and after the interpolation frame position in the time direction. Is generated.

線形補間によるフレーム内挿法を用いたフレームレート拡大例としては、テレビで映像の動きを滑らかに見せるための60フィールド/秒から120又は240フレーム/秒へのフレーム変換が挙げられる。   As an example of the frame rate expansion using the frame interpolation method by linear interpolation, there is a frame conversion from 60 fields / second to 120 or 240 frames / second in order to make the motion of the video appear smooth on a television.

「ハイビジョン技術」、日本放送出版協会、1988年11月"Hi-Vision Technology", Japan Broadcasting Publishing Association, November 1988

従来の線形補間によるフレーム内挿法では、内挿フレーム位置からその前後フレームの位置までの距離の割合の逆数を正規化したものを内挿比として内挿フレームを生成する。しかし、視覚の積分効果を考慮していないため、動領域が多重像に見えるアーティファクトが発生するおそれがあった。この実例として、映画館で映画を見る場合が挙げられる。映画館では、特に周辺視におけるフリッカ防止のために、24フレーム/秒の映像を0次ホールドして複数回照射する。しかし、特に映画のエンドロールで字幕が下から上にスクロールする際(コントラストのはっきりしたオブジェクトが追随視可能な速度で動く場合)に、文字が多重像に見えるアーティファクトが発生する。これは視覚の積分効果を考慮しておらず、視覚感覚記憶の保持時間内にオブジェクト位置が異なる複数のフレーム画像を照射するために発生する。   In a conventional frame interpolation method using linear interpolation, an interpolation frame is generated with an interpolation ratio obtained by normalizing the reciprocal of the ratio of the distance from the interpolation frame position to the position of the preceding and succeeding frames. However, since the visual integration effect is not taken into consideration, there is a possibility that an artifact in which the moving area appears as a multiple image may occur. An example of this is when watching a movie in a movie theater. In a movie theater, in order to prevent flicker particularly in peripheral vision, an image of 24 frames / second is held in zero order and irradiated multiple times. However, particularly when the subtitle scrolls from bottom to top in the end roll of a movie (when an object with high contrast moves at a speed at which it can be followed), artifacts appear that the characters appear as multiple images. This does not take into account the visual integration effect, and occurs because a plurality of frame images with different object positions are irradiated within the holding time of the visual sense memory.

かかる事情に鑑みてなされた本発明の目的は、視覚の積分効果を考慮することにより、アーティファクトを抑制することが可能な内挿比決定装置及びプログラムを提供することにある。   An object of the present invention made in view of such circumstances is to provide an interpolation ratio determination device and a program that can suppress artifacts by considering visual integration effects.

上記課題を解決するため、本発明に係る内挿比決定装置は、線形補間によりフレーム内挿する際の被内挿フレームの内挿比を決定する内挿比決定装置であって、フレームレート変換前の元フレームから、内挿フレームの生成に用いられる被内挿フレームを選択する被内挿フレーム選択部と、前記被内挿フレームの内挿比を決定する内挿比決定部と、を備え、前記被内挿フレーム選択部は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間内に含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、前記内挿比決定部は、内挿フレーム位置から各被内挿フレームの位置までの距離の逆数を正規化した値を、各被内挿フレームの内挿比として決定することを特徴とする。   In order to solve the above problems, an interpolation ratio determining apparatus according to the present invention is an interpolation ratio determining apparatus that determines an interpolation ratio of a frame to be interpolated when performing frame interpolation by linear interpolation. An interpolated frame selecting unit that selects an interpolated frame used for generating an interpolated frame from a previous original frame; and an interpolation ratio determining unit that determines an interpolated ratio of the interpolated frame. The interpolated frame selection unit uses an original frame located in the future as a time direction of the interpolation frame as a reference frame, and an original frame included in a holding time of the past visual sense memory from the position of the reference frame, And the reference frame as an interpolated frame, and the interpolation ratio determining unit calculates a value obtained by normalizing a reciprocal of a distance from the position of the interpolated frame to the position of each interpolated frame. Interpolation ratio And determining by.

また、本発明に係る内挿比決定装置は、線形補間によりフレーム内挿する際の被内挿フレームの内挿比を決定する内挿比決定装置であって、フレームレート変換前の元フレームから、内挿フレームの生成に用いられる被内挿フレームを選択する被内挿フレーム選択部と、前記被内挿フレームの内挿比を決定する内挿比決定部と、を備え、前記被内挿フレーム選択部は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームのシャッタ開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、前記内挿比決定部は、内挿フレーム位置から各被内挿フレームの位置までの距離に、視覚的感覚記憶の保持時間T内に含まれるシャッタ開口率範囲の重みをかけた値の逆数を正規化した値を、各被内挿フレームの内挿比として決定することを特徴とする。   An interpolation ratio determining apparatus according to the present invention is an interpolation ratio determining apparatus that determines an interpolation ratio of an interpolated frame when performing frame interpolation by linear interpolation, and is based on an original frame before frame rate conversion. An interpolated frame selecting unit that selects an interpolated frame used for generating an interpolated frame; and an interpolation ratio determining unit that determines an interpolated ratio of the interpolated frame. The frame selection unit uses the original frame located in the future as the time direction of the interpolation frame as a reference frame, and the shutter opening ratio range within the holding time of the past visual sensory memory from the position through the shutter opening ratio range of the reference frame. The original frame including at least a part of the reference frame and the reference frame are selected as interpolated frames, and the interpolation ratio determination unit is configured to view the distance from the interpolated frame position to the position of each interpolated frame. The normalized value of the reciprocal of the value obtained by multiplying the weight of the shutter opening ratio range included in the holding time within T of sensory memory, and determines the interpolation ratio for each of the interpolation frame.

また、本発明に係る内挿比決定装置は、線形補間によりフレーム内挿する際の被内挿フレームの内挿比を決定する内挿比決定装置であって、フレームレート変換前の元フレームから、内挿フレームの生成に用いられる被内挿フレームを選択する被内挿フレーム選択部と、前記被内挿フレームの内挿比を決定する内挿比決定部と、を備え、前記被内挿フレーム選択部は、シャッタ開口率が閾値以下である場合には、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間内に含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、前記シャッタ開口率が前記閾値を超える場合には、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームのシャッタ開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、前記内挿比決定部は、前記シャッタ開口率が前記閾値以下である場合には、内挿フレーム位置から各被内挿フレームの位置までの距離の逆数を正規化した値を、各被内挿フレームの内挿比として決定し、前記シャッタ開口率が前記閾値を超える場合には、内挿フレーム位置から各被内挿フレームの位置までの距離に、視覚的感覚記憶の保持時間T内に含まれるシャッタ開口率範囲の重みをかけた値の逆数を正規化した値を、各被内挿フレームの内挿比として決定することを特徴とする。   An interpolation ratio determining apparatus according to the present invention is an interpolation ratio determining apparatus that determines an interpolation ratio of an interpolated frame when performing frame interpolation by linear interpolation, and is based on an original frame before frame rate conversion. An interpolated frame selecting unit that selects an interpolated frame used for generating an interpolated frame; and an interpolation ratio determining unit that determines an interpolated ratio of the interpolated frame. When the shutter aperture ratio is less than or equal to the threshold value, the frame selection unit uses the original frame positioned in the future as the time direction of the interpolation frame as a reference frame, and the time for holding the past visual sense memory from the position of the reference frame If the original frame included in the frame and the reference frame are selected as the interpolated frame and the shutter aperture ratio exceeds the threshold, the original frame positioned in the future as the time direction of the interpolated frame A reference frame, an original frame including at least a part of the shutter aperture ratio range within the holding time of the past visual sensory memory from a position after passing through the shutter aperture ratio range of the reference frame, and the reference frame as an interpolated frame And the interpolation ratio determination unit normalizes the reciprocal of the distance from the interpolation frame position to the position of each interpolated frame when the shutter aperture ratio is less than or equal to the threshold. It is determined as an interpolation ratio of each interpolated frame, and when the shutter aperture ratio exceeds the threshold value, the visual sensory memory retention time is set at the distance from the interpolated frame position to the position of each interpolated frame. A value obtained by normalizing the reciprocal of the weighted value of the shutter aperture ratio range included in T is determined as the interpolation ratio of each interpolated frame.

また、本発明に係る内挿比決定装置は、シャッタ開口率が閾値を超えるか否かを判定する処理選択部を更に備えることを特徴とする。   In addition, the interpolation ratio determination device according to the present invention further includes a process selection unit that determines whether or not the shutter aperture ratio exceeds a threshold value.

また、本発明に係る内挿比決定装置は、シャッタ開口率が不明な場合には、前記シャッタ開口率を100%とみなすことを特徴とする。   The interpolation ratio determining apparatus according to the present invention is characterized in that when the shutter aperture ratio is unknown, the shutter aperture ratio is regarded as 100%.

また、本発明に係るプログラムは、コンピュータを、上記内挿比決定装置として機能させることを特徴とする。   A program according to the present invention causes a computer to function as the interpolation ratio determining device.

本発明によれば、視覚の積分効果を考慮することにより、アーティファクトを抑制し、フレームレート変換時の主観画質を向上させることができるようになる。   According to the present invention, artifacts can be suppressed and the subjective image quality at the time of frame rate conversion can be improved by considering the visual integration effect.

本発明の第1の実施形態に係る内挿比決定装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the interpolation ratio determination apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る内挿比決定装置の処理を説明する図である。It is a figure explaining the process of the interpolation ratio determination apparatus which concerns on the 1st Embodiment of this invention. 本発明の第2の実施形態に係る内挿比決定装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the interpolation ratio determination apparatus which concerns on the 2nd Embodiment of this invention. 本発明の第2の実施形態に係る内挿比決定装置の処理を説明する図である。It is a figure explaining the process of the interpolation ratio determination apparatus which concerns on the 2nd Embodiment of this invention. 本発明の第3の実施形態に係る内挿比決定装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the interpolation ratio determination apparatus which concerns on the 3rd Embodiment of this invention.

以下、本発明の実施形態について、図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

(第1の実施形態)
まず、本発明の第1の実施形態について説明する。図1に本発明の第1の実施形態に係る内挿比決定装置の構成例を示す。図1に示す内挿比決定装置1は、被内挿フレーム選択部11と、内挿比決定部12とを備える。内挿比決定装置1は、線形補間によりフレーム内挿するフレームレート変換において、フレームレート変換情報に基づき、視覚の積分効果を考慮して被内挿フレームを選択し、選択した被内挿フレームの内挿比(重み係数)を決定する装置である。
(First embodiment)
First, a first embodiment of the present invention will be described. FIG. 1 shows a configuration example of an interpolation ratio determining apparatus according to the first embodiment of the present invention. The interpolation ratio determining apparatus 1 shown in FIG. 1 includes an interpolated frame selecting unit 11 and an interpolation ratio determining unit 12. The interpolation ratio determination apparatus 1 selects an interpolated frame in consideration of the visual integration effect based on the frame rate conversion information in the frame rate conversion for interpolating the frame by linear interpolation, and selects the selected interpolated frame. It is a device for determining an interpolation ratio (weighting factor).

フレームレート変換情報とは、フレームレート変換前後のフレームレートを示す情報である。   The frame rate conversion information is information indicating the frame rate before and after frame rate conversion.

被内挿フレームとは、フレームレート変換前のフレーム(元フレーム)のうち、内挿フレームの生成に用いられるフレームのことをいう。   The interpolated frame refers to a frame used for generating an interpolated frame among frames (original frames) before frame rate conversion.

視覚の積分効果とは、アイコニックメモリと呼ばれるもので、EriksenとCollinsは2枚の画像を任意時間間隔で提示する実験により、視覚的感覚記憶の保持時間Tが約0.1秒であることを示している。詳細については、C. W. Eriksen, J. F. Collins, "Some temporal characteristics of visual pattern perception", Journal of Experimental Psychology, Vol. 74. Issue 4, pp. 476-484, Aug. 1967を参照されたい。   The visual integration effect is called iconic memory. Eriksen and Collins have a visual sensory memory retention time T of about 0.1 seconds based on an experiment in which two images are presented at arbitrary time intervals. Is shown. For details, see C. W. Eriksen, J. F. Collins, “Some temporal characteristics of visual pattern perception”, Journal of Experimental Psychology, Vol. 74. Issue 4, pp. 476-484, Aug. 1967.

被内挿フレーム選択部11は、フレームレート変換情報から、フレームレートを変換するために内挿される内挿フレームの位置を決定し、内挿フレーム位置を示す内挿フレーム位置情報を内挿比決定部12に出力する。なお、内挿フレーム位置情報は外部から入力するようにしてもよいが、以下の実施形態では被内挿フレーム選択部11が生成するものとする。   The interpolated frame selection unit 11 determines the position of the interpolation frame to be interpolated for converting the frame rate from the frame rate conversion information, and determines the interpolation frame position information indicating the interpolation frame position. To the unit 12. Note that the interpolation frame position information may be input from the outside, but in the following embodiments, the interpolation frame selection unit 11 generates the interpolation frame position information.

また、被内挿フレーム選択部11は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間T内に含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択する。そして、被内挿フレームを示す被内挿フレーム情報を内挿比決定部12に出力する。   Further, the interpolated frame selection unit 11 uses an original frame located in the future as the time direction of the interpolated frame as a reference frame, and includes elements included in the holding time T of the past visual sense memory from the position of the reference frame. The frame and the reference frame are selected as interpolated frames. The interpolated frame information indicating the interpolated frame is output to the interpolation ratio determining unit 12.

内挿比決定部12は、被内挿フレーム選択部11から入力された内挿フレーム位置情報及び被内挿フレーム情報に基づき、各被内挿フレームの内挿比を決定し、各被内挿フレームの内挿比を示す内挿比情報を内挿比決定装置1の外部に出力する。各被内挿フレームの内挿比は、内挿フレームの位置から各被内挿フレームの位置までの時間的距離の逆数を正規化した値とする。   The interpolation ratio determination unit 12 determines the interpolation ratio of each interpolation frame based on the interpolation frame position information and the interpolation frame information input from the interpolation frame selection unit 11, and each interpolation The interpolation ratio information indicating the interpolation ratio of the frame is output to the outside of the interpolation ratio determining apparatus 1. The interpolation ratio of each interpolated frame is a value obtained by normalizing the reciprocal of the temporal distance from the position of the interpolated frame to the position of each interpolated frame.

具体例として、24フレーム/秒の映像を120フレーム/秒にフレームレート変換する場合の処理について、図2を参照して説明する。   As a specific example, a process in the case of converting a frame rate of 24 frames / second to 120 frames / second will be described with reference to FIG.

図2のF1〜F5はフレームレート変換前の24フレーム/秒の映像の各フレーム(元フレーム)の位置(標本位置)を示している。この24フレーム/秒の映像を120フレーム/秒に変換する場合、各元フレームの間に4枚の内挿フレームを内挿することになる。すなわち、図2では各目盛りの位置にフレームが内挿されることになるが、内挿フレームは代表してFIのみ示し、この内挿フレームFIに対する被内挿フレームの選択処理及び内挿比決定処理について説明する。 F 1 to F 5 in FIG. 2 indicate the positions (sample positions) of each frame (original frame) of the 24 frames / second video before the frame rate conversion. When this 24 frames / second video is converted to 120 frames / second, four interpolated frames are interpolated between each original frame. That is, so that the frame is inserted into the position of each in FIG. 2 scale, the interpolation frame represents only F I as a representative, the selection process and interpolation ratio of the interpolation frame for the interpolation frame F I The determination process will be described.

被内挿フレーム選択部11は、図2に示すように内挿フレームFIの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間T内に含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択する。基準フレームは内挿フレームFIの時間方向として未来に位置する元フレームであればよいが、ここでは内挿フレームFIの時間方向として最近傍の未来に位置する元フレームF4を基準フレームとする。また、図2ではT=0.1秒とする。元フレームF4の位置から過去の保持時間Tに含まれる元フレームはF2,F3であるため、元フレームF2,F3,F4を被内挿フレームとして選択する。 The interpolation frame selecting unit 11, the original frame located in the future as a time direction interpolation frame F I as shown in FIG. 2 as a reference frame, the retention time in the past visual sensory memory from the position of the reference frame The original frame included in T and the reference frame are selected as interpolated frames. The reference frame may be an original frame positioned in the future as the time direction of the interpolation frame F I , but here, the original frame F 4 positioned in the nearest future as the time direction of the interpolation frame F I is defined as the reference frame. To do. In FIG. 2, T = 0.1 seconds. Since the original frames included in the past holding time T from the position of the original frame F 4 are F 2 and F 3 , the original frames F 2 , F 3 and F 4 are selected as the interpolation frames.

そして、内挿比決定部12は、内挿フレームFIの位置から各被内挿フレームF2,F3,F4の位置までの時間的距離の逆数を正規化した値を、各被内挿フレームの内挿比に決定する。フレームレート変換後のフレーム間の時間的距離(1/120秒間)を1とすると、内挿フレームFIの位置から各被内挿フレームF2,F3,F4の位置までの時間的距離はそれぞれ7,2,3となる。内挿比決定部12は、それらの逆数である1/7,1/2,1/3を合計が1になるように正規化して、被内挿フレームのF2,F3,F4の内挿比をF2:F3:F4=0.146:0.342:0.512に決定する。 Then, the interpolation ratio determination unit 12 normalizes the reciprocal of the temporal distance from the position of the interpolation frame F I to the positions of the interpolation frames F 2 , F 3 , and F 4 . The interpolation ratio of the insertion frame is determined. If the temporal distance between the frames after the frame rate conversion of (1/120 sec) to 1, the temporal distance from the position of the interpolation frame F I to the position of each of the interpolation frame F 2, F 3, F 4 Are 7, 2, and 3, respectively. The interpolation ratio determination unit 12 normalizes the reciprocals of 1/7, 1/2, and 1/3 so that the sum is 1, and calculates F 2 , F 3 , and F 4 of the interpolated frame. The interpolation ratio is determined as F 2 : F 3 : F 4 = 0.146: 0.342: 0.512.

上述したように、内挿比決定装置1は、従来法のように内挿フレームに隣接する前後の元フレームを被内挿フレームとするわけではなく、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間内に含まれる元フレーム、及び該基準フレームを被内挿フレームとする。そのため、視覚の積分効果を考慮することができ、アーティファクトを抑制し、フレームレート変換時の主観画質を向上させることができるようになる。   As described above, the interpolation ratio determination apparatus 1 does not use the previous and subsequent original frames adjacent to the interpolation frame as the interpolated frame as in the conventional method, but is positioned in the future as the time direction of the interpolation frame. The original frame is set as a reference frame, and the original frame included in the holding time of the visual sense memory in the past from the position of the reference frame and the reference frame are set as an interpolated frame. Therefore, visual integration effects can be taken into account, artifacts can be suppressed, and subjective image quality during frame rate conversion can be improved.

(第2の実施形態)
つぎに、本発明の第2の実施形態について説明する。図3に本発明の第2の実施形態に係る内挿比決定装置の構成例を示す。図3に示す内挿比決定装置2は、被内挿フレーム選択部11と、内挿比決定部12とを備える。内挿比決定装置2は、線形補間によりフレーム内挿するフレームレート変換において、フレームレート変換情報及びシャッタ開口率情報に基づき、視覚の積分効果を考慮して被内挿フレームを選択し、選択した被内挿フレームの内挿比を決定する装置である。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. FIG. 3 shows a configuration example of an interpolation ratio determining apparatus according to the second embodiment of the present invention. The interpolation ratio determination device 2 shown in FIG. 3 includes an interpolation frame selection unit 11 and an interpolation ratio determination unit 12. The interpolation ratio determination device 2 selects and selects an interpolated frame in consideration of the visual integration effect based on frame rate conversion information and shutter aperture ratio information in frame rate conversion for frame interpolation by linear interpolation. It is an apparatus for determining an interpolation ratio of an interpolated frame.

被内挿フレーム選択部11は、フレームレート変換情報から、フレームレートを変換するために内挿される内挿フレームの位置を決定する。そして、シャッタ開口率情報に基づき、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームのシャッタ開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間T内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択する。   The interpolated frame selection unit 11 determines the position of the interpolated frame to be interpolated for converting the frame rate from the frame rate conversion information. Then, based on the shutter aperture ratio information, an original frame positioned in the future as the time direction of the interpolation frame is set as a reference frame, and the past visual sensory memory retention time T from the position after passing through the shutter aperture ratio range of the reference frame. The original frame including at least a part of the shutter aperture ratio range and the reference frame are selected as the interpolated frame.

ここで、シャッタ開口率情報とは、フレームレート変換前の映像の撮影時のシャッタ開口率を示す情報である。また、シャッタ開口率範囲とは、元フレームの位置から、次の元フレームまでの時間的距離にシャッタ開口率を乗じた位置までのことをいう。   Here, the shutter aperture ratio information is information indicating the shutter aperture ratio at the time of shooting a video before frame rate conversion. The shutter aperture ratio range refers to a range from the position of the original frame to the position obtained by multiplying the time distance from the original frame to the shutter aperture ratio.

内挿比決定部12は、被内挿フレーム選択部11から入力された内挿フレーム位置情報及び被内挿フレーム情報と、外部から入力されたシャッタ開口率情報とに基づき、各被内挿フレームの内挿比を決定し、各被内挿フレームの内挿比を示す内挿比情報を内挿比決定装置2の外部に出力する。内挿比は、内挿フレームの位置から各被内挿フレームの位置までの距離に、視覚的感覚記憶の保持時間T内に含まれるシャッタ開口率範囲の重みをかけた値の逆数を正規化した値とする。   The interpolation ratio determination unit 12 determines each interpolation frame based on the interpolation frame position information and the interpolation frame information input from the interpolation frame selection unit 11 and the shutter aperture ratio information input from the outside. And the interpolation ratio information indicating the interpolation ratio of each interpolated frame is output to the outside of the interpolation ratio determining apparatus 2. The interpolation ratio normalizes the reciprocal of the value obtained by multiplying the distance from the position of the interpolated frame to the position of each interpolated frame by the weight of the shutter aperture ratio range included in the holding time T of the visual sense memory. Value.

なお、シャッタ開口率は50%以上であることが多いため、シャッタ開口率情報が入力されない場合、又はシャッタ開口率が不明な場合には、内挿比決定装置2は、シャッタ開口率を100%とみなして処理を行うようにしてもよい。この場合、被内挿フレーム選択部11は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの100%開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間T内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択する。内挿比決定部12は、内挿フレームの位置から各被内挿フレームの位置までの距離に、視覚的感覚記憶の保持時間T内に含まれる100%開口率範囲の重みをかけた値の逆数を正規化した値を、各被内挿フレームの内挿比に決定する。   Since the shutter aperture ratio is often 50% or more, when the shutter aperture ratio information is not input or when the shutter aperture ratio is unknown, the interpolation ratio determination device 2 sets the shutter aperture ratio to 100%. It may be assumed that the processing is performed. In this case, the interpolated frame selection unit 11 uses the original frame located in the future as the time direction of the interpolated frame as a reference frame, and stores the past visual sense memory from the position after passing through the 100% aperture ratio range of the reference frame. The original frame including at least a part of the shutter aperture ratio range within the holding time T and the reference frame are selected as the interpolated frame. The interpolation ratio determination unit 12 is a value obtained by multiplying the distance from the position of the interpolation frame to the position of each interpolated frame by the weight of the 100% aperture ratio range included in the holding time T of the visual sense memory. A value obtained by normalizing the reciprocal is determined as the interpolation ratio of each interpolated frame.

具体例として、24フレーム/秒の映像を120フレーム/秒に変換する場合の処理について、図4を参照して説明する。図4(a)はシャッタ開口率が100%である場合を示しており、図4(b)はシャッタ開口率が50%である場合を示している。   As a specific example, processing in the case of converting a video of 24 frames / second to 120 frames / second will be described with reference to FIG. FIG. 4A shows a case where the shutter aperture ratio is 100%, and FIG. 4B shows a case where the shutter aperture ratio is 50%.

図4のF1〜F5はフレームレート変換前の24フレーム/秒の映像の各フレーム(元フレーム)の位置(標本位置)を示している。この24フレーム/秒の映像を120フレーム/秒に変換する場合、各元フレームの間に4枚の内挿フレームを内挿することになる。すなわち、図4では各目盛りの位置にフレームが内挿されることになるが、内挿フレームは代表してFIのみ示し、この内挿フレームFIに対する被内挿フレームの選択処理及び内挿比決定処理について説明する。 F 1 to F 5 in FIG. 4 indicate the positions (sample positions) of the respective frames (original frames) of the 24 frames / second video before the frame rate conversion. When this 24 frames / second video is converted to 120 frames / second, four interpolated frames are interpolated between each original frame. That is, so that the frame is inserted into the position of each in FIG. 4 scale, the interpolation frame represents only F I as a representative, the selection process and interpolation ratio of the interpolation frame for the interpolation frame F I The determination process will be described.

被内挿フレーム選択部11は、図4に示すように内挿フレームFIの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームのシャッタ開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間T内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択する。基準フレームは内挿フレームFIの時間方向として未来に位置する元フレームであればよいが、ここでは内挿フレームFIの時間方向として最近傍の未来に位置する元フレームF4を基準フレームとする。また、図4ではT=0.1秒とする。図4(a)(b)ともに、元フレームF4の位置から過去の保持時間Tに含まれる元フレームはF2,F3であるため、元フレームF2,F3,F4を被内挿フレームとして選択する。 The interpolation frame selecting unit 11, the original frame located in the future as a time direction interpolation frame F I 4 as a reference frame, past visual from a position through the shutter opening ratio range of the reference frame The original frame in which at least a part of the shutter aperture ratio range is included within the holding time T of the subjective sense memory and the reference frame are selected as the interpolated frame. The reference frame may be an original frame positioned in the future as the time direction of the interpolation frame F I , but here, the original frame F 4 positioned in the nearest future as the time direction of the interpolation frame F I is defined as the reference frame. To do. In FIG. 4, T = 0.1 seconds. 4A and 4B, since the original frames included in the past holding time T from the position of the original frame F 4 are F 2 and F 3 , the original frames F 2 , F 3 and F 4 are included. Select as an insertion frame.

そして、内挿比決定部12は、内挿フレームFIの位置から各被内挿フレームF2,F3,F4の位置までの距離に、視覚的感覚記憶の保持時間T内に含まれるシャッタ開口率範囲の重みをかけた値の逆数を正規化した値を、各被内挿フレームの内挿比に決定する。 The interpolation ratio determination unit 12 includes the distance from the position of the interpolation frame F I to the positions of the interpolated frames F 2 , F 3 , and F 4 within the holding time T of the visual sensory memory. A value obtained by normalizing the reciprocal of the weighted value of the shutter aperture ratio range is determined as the interpolation ratio of each interpolated frame.

図4(a)の場合、内挿フレームFIの位置から各被内挿フレームF2,F3,F4の位置までの時間的距離はそれぞれ7,2,3であり、基準フレームF4のシャッタ開口率範囲を経た位置から過去の0.1秒間に含まれる、被内挿フレームF2,F3,F4のシャッタ開口率範囲はそれぞれ40%,100%,100%である。よって、積分効果影響範囲の重みはその逆数の2.5,1,1となる。内挿比決定部12は、1/(7×2.5),1/(2×1),1/(3×1)を合計が1になるように正規化して、被内挿フレームのF2,F3,F4の内挿比をF2:F3:F4=0.064:0.562:0.374に決定する。 In the case of FIG. 4A, the temporal distances from the position of the interpolated frame F I to the positions of the interpolated frames F 2 , F 3 , F 4 are 7 , 2 , 3 respectively, and the reference frame F 4 The shutter aperture ratio ranges of the interpolated frames F 2 , F 3 , and F 4 included in the past 0.1 second from the position that has passed through the shutter aperture ratio range are 40%, 100%, and 100%, respectively. Therefore, the weight of the integral effect influence range is 2.5, 1, 1 which is the reciprocal thereof. The interpolation ratio determining unit 12 normalizes 1 / (7 × 2.5), 1 / (2 × 1), 1 / (3 × 1) so that the sum is 1, and calculates the interpolation frame. The interpolation ratio of F 2 , F 3 and F 4 is determined as F 2 : F 3 : F 4 = 0.064: 0.562: 0.374.

図4(b)の場合、内挿フレームFIの位置から各被内挿フレームF2,F3,F4の位置までの時間的距離はそれぞれ7,2,3であり、基準フレームF4のシャッタ開口率範囲を経た位置から過去の0.1秒間に含まれる、被内挿フレームF2,F3,F4のシャッタ開口率範囲はそれぞれ40%,50%,50%である。よって、積分効果影響範囲の重みはその逆数の2.5,2,2となる。内挿比決定部12は、1/(7×2.5),1/(2×2),1/(3×2)を合計が1になるように正規化して、被内挿フレームのF2,F3,F4の内挿比をF2:F3:F4=0.120:0.528:0.352に決定する。 In the case of FIG. 4B, the temporal distances from the position of the interpolation frame F I to the positions of the interpolated frames F 2 , F 3 , F 4 are 7 , 2 , 3 respectively, and the reference frame F 4 The shutter aperture ratio ranges of the interpolated frames F 2 , F 3 , and F 4 included in the past 0.1 second from the position after passing through the shutter aperture ratio range are 40%, 50%, and 50%, respectively. Therefore, the weight of the integral effect influence range is 2.5, 2, 2 which is the reciprocal thereof. The interpolation ratio determination unit 12 normalizes 1 / (7 × 2.5), 1 / (2 × 2), 1 / (3 × 2) so that the sum is 1, and calculates the interpolation frame. The interpolation ratio of F 2 , F 3 and F 4 is determined as F 2 : F 3 : F 4 = 0.120: 0.528: 0.352.

上述したように、内挿比決定装置2は、視覚の積分効果に加えてフレームレート変換前の映像のシャッタ開口率を考慮して被内挿フレームの選択及び内挿比の決定を行う。そのため、内挿比決定装置2は、更に主観画質を向上させることができるようになる。   As described above, the interpolation ratio determination device 2 selects the interpolation frame and determines the interpolation ratio in consideration of the shutter aperture ratio of the video before the frame rate conversion in addition to the visual integration effect. Therefore, the interpolation ratio determination device 2 can further improve the subjective image quality.

(第3の実施形態)
つぎに、本発明の第3の実施形態について説明する。図5に本発明の第3の実施形態に係る内挿比決定装置の構成例を示す。図5に示す内挿比決定装置3は、被内挿フレーム選択部11と、内挿比決定部12と、処理選択部13とを備える。内挿比決定装置3は、線形補間によりフレーム内挿するフレームレート変換において、フレームレート変換情報及びシャッタ開口率情報に基づき、視覚の積分効果を考慮して被内挿フレームを選択し、選択した被内挿フレームの内挿比を決定する装置である。
(Third embodiment)
Next, a third embodiment of the present invention will be described. FIG. 5 shows a configuration example of an interpolation ratio determining apparatus according to the third embodiment of the present invention. The interpolation ratio determination device 3 illustrated in FIG. 5 includes an interpolation frame selection unit 11, an interpolation ratio determination unit 12, and a process selection unit 13. The interpolation ratio determination device 3 selects and selects the interpolated frame in consideration of the visual integration effect based on the frame rate conversion information and the shutter aperture ratio information in the frame rate conversion for interpolating the frame by linear interpolation. It is an apparatus for determining an interpolation ratio of an interpolated frame.

処理選択部13は、シャッタ開口率情報を入力して、シャッタ開口率が閾値を超えるか否かを判定し、判定結果を示す判定情報を被内挿フレーム選択部11に出力する。   The process selection unit 13 receives the shutter aperture ratio information, determines whether or not the shutter aperture ratio exceeds a threshold value, and outputs determination information indicating the determination result to the interpolated frame selection unit 11.

シャッタ開口率が閾値以下である場合には、被内挿フレームの動領域に含まれる空間高周波成分のパワーが高い場合が多く、動領域のエッジが多重像に見えるアーティファクトが発生する可能性が高いため、平滑化効果の高い方法を選択することが望ましい。そこで、シャッタ開口率が閾値以下である場合には、第1の実施形態と同一の処理を行うようにする。   When the shutter aperture ratio is less than or equal to the threshold value, the power of the spatial high-frequency component contained in the moving area of the interpolated frame is often high, and there is a high possibility that artifacts in which the edges of the moving area appear as multiple images will occur. Therefore, it is desirable to select a method with a high smoothing effect. Therefore, when the shutter aperture ratio is less than or equal to the threshold value, the same processing as in the first embodiment is performed.

すなわち、シャッタ開口率が閾値以下である場合には、被内挿フレーム選択部11は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間T内に含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択する。そして内挿比決定部12は、内挿フレームの位置から各被内挿フレームの位置までの時間的距離の逆数を正規化した値を各被内挿フレームの内挿比として決定する。   That is, when the shutter aperture ratio is less than or equal to the threshold value, the interpolated frame selection unit 11 uses the original frame positioned in the future as the time direction of the interpolated frame as the reference frame, and the past visual from the position of the reference frame. The original frame and the reference frame included in the holding time T of the subjective sensory memory are selected as the interpolated frame. Then, the interpolation ratio determination unit 12 determines a value obtained by normalizing the reciprocal of the temporal distance from the position of the interpolation frame to the position of each interpolation frame as the interpolation ratio of each interpolation frame.

一方、シャッタ開口率が閾値を超える場合には、被内挿フレームの動領域に含まれる空間高周波成分のパワーが低い場合が多く、動領域がぼやけて見えるため、平滑化効果の低い方法を選択することが望ましい。そこで、シャッタ開口率が閾値以下である場合には、第2の実施形態と同一の処理を行うようにする。   On the other hand, when the shutter aperture ratio exceeds the threshold value, the power of the spatial high-frequency component contained in the moving area of the interpolated frame is often low, and the moving area appears blurred, so select a method with a low smoothing effect. It is desirable to do. Therefore, when the shutter aperture ratio is less than or equal to the threshold value, the same processing as in the second embodiment is performed.

すなわち、シャッタ開口率が閾値を超える場合には、被内挿フレーム選択部11は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームのシャッタ開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間T内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択する。そして内挿比決定部12は、内挿フレームの位置から各被内挿フレームの位置までの距離に、視覚的感覚記憶の保持時間T内に含まれるシャッタ開口率範囲の重みをかけた値の逆数を正規化した値を各被内挿フレームの内挿比として決定する。   That is, when the shutter aperture ratio exceeds the threshold, the interpolated frame selection unit 11 uses the original frame positioned in the future as the time direction of the interpolated frame as the reference frame, and passes through the shutter aperture ratio range of the reference frame. The original frame including at least a part of the shutter aperture ratio range within the holding time T of the past visual sense memory from the position and the reference frame are selected as the interpolated frame. Then, the interpolation ratio determination unit 12 multiplies the distance from the position of the interpolated frame to the position of each interpolated frame by multiplying the weight of the shutter aperture ratio range included in the holding time T of the visual sense memory. A value obtained by normalizing the reciprocal is determined as an interpolation ratio of each interpolated frame.

上述したように、内挿比決定装置3は、視覚の積分効果を考慮しつつ、シャッタ開口率が低い(閾値以下である)場合には、平滑化効果が高くなるように内挿比を決定し、シャッタ開口率が高い(閾値を超える)場合には、平滑化効果が高くならないように内挿比を決定する。そのため、内挿比決定装置3は、内挿比決定装置1,2よりも更に主観画質を向上させることができるようになる。   As described above, the interpolation ratio determination device 3 determines the interpolation ratio so that the smoothing effect is high when the shutter aperture ratio is low (below the threshold) while considering the visual integration effect. When the shutter aperture ratio is high (exceeding the threshold value), the interpolation ratio is determined so that the smoothing effect does not increase. Therefore, the interpolation ratio determination device 3 can improve the subjective image quality more than the interpolation ratio determination devices 1 and 2.

なお、上述した内挿比決定装置1,2,3として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、内挿比決定装置1,2,3の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。   It should be noted that a computer can be suitably used to function as the above-described interpolation ratio determining devices 1, 2, 3, and such a computer realizes each function of the interpolation ratio determining devices 1, 2, 3. This can be realized by storing a program describing the processing contents in a storage unit of the computer, and reading and executing the program by the CPU of the computer. This program can be recorded on a computer-readable recording medium.

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。   Although the above embodiment has been described as a representative example, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes can be made without departing from the scope of the claims. For example, a plurality of constituent blocks described in the embodiments can be combined into one, or one constituent block can be divided.

1,2,3 内挿比決定装置
11 被内挿フレーム選択部
12 内挿比決定部
13 処理選択部
1, 2, 3 Interpolation ratio determination device 11 Interpolated frame selection unit 12 Interpolation ratio determination unit 13 Process selection unit

Claims (6)

線形補間によりフレーム内挿する際の被内挿フレームの内挿比を決定する内挿比決定装置であって、
フレームレート変換前の元フレームから、内挿フレームの生成に用いられる被内挿フレームを選択する被内挿フレーム選択部と、
前記被内挿フレームの内挿比を決定する内挿比決定部と、を備え、
前記被内挿フレーム選択部は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間内に含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、
前記内挿比決定部は、内挿フレーム位置から各被内挿フレームの位置までの距離の逆数を正規化した値を、各被内挿フレームの内挿比として決定することを特徴とする内挿比決定装置。
An interpolation ratio determination device for determining an interpolation ratio of an interpolated frame when performing frame interpolation by linear interpolation,
An interpolated frame selection unit that selects an interpolated frame used for generating an interpolated frame from an original frame before frame rate conversion;
An interpolation ratio determining unit that determines an interpolation ratio of the interpolated frame,
The interpolated frame selection unit uses an original frame located in the future as a time direction of the interpolated frame as a reference frame, an original frame included in a holding time of the past visual sense memory from the position of the reference frame, and Selecting the reference frame as an interpolated frame;
The interpolation ratio determining unit determines a value obtained by normalizing a reciprocal of a distance from an interpolation frame position to each interpolated frame position as an interpolation ratio of each interpolated frame. Insertion ratio determining device.
線形補間によりフレーム内挿する際の被内挿フレームの内挿比を決定する内挿比決定装置であって、
フレームレート変換前の元フレームから、内挿フレームの生成に用いられる被内挿フレームを選択する被内挿フレーム選択部と、
前記被内挿フレームの内挿比を決定する内挿比決定部と、を備え、
前記被内挿フレーム選択部は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームのシャッタ開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、
前記内挿比決定部は、内挿フレーム位置から各被内挿フレームの位置までの距離に、視覚的感覚記憶の保持時間T内に含まれるシャッタ開口率範囲の重みをかけた値の逆数を正規化した値を、各被内挿フレームの内挿比として決定することを特徴とする内挿比決定装置。
An interpolation ratio determination device for determining an interpolation ratio of an interpolated frame when performing frame interpolation by linear interpolation,
An interpolated frame selection unit that selects an interpolated frame used for generating an interpolated frame from an original frame before frame rate conversion;
An interpolation ratio determining unit that determines an interpolation ratio of the interpolated frame,
The interpolated frame selection unit uses an original frame located in the future as a time direction of the interpolated frame as a reference frame, and within a holding time of the past visual sense memory from a position through the shutter aperture ratio range of the reference frame. Selecting an original frame including at least a part of the shutter aperture ratio range and the reference frame as an interpolated frame;
The interpolation ratio determination unit calculates a reciprocal of a value obtained by multiplying the distance from the interpolation frame position to the position of each interpolated frame by the weight of the shutter aperture ratio range included in the holding time T of the visual sense memory. An interpolation ratio determining apparatus, wherein a normalized value is determined as an interpolation ratio of each interpolated frame.
線形補間によりフレーム内挿する際の被内挿フレームの内挿比を決定する内挿比決定装置であって、
フレームレート変換前の元フレームから、内挿フレームの生成に用いられる被内挿フレームを選択する被内挿フレーム選択部と、
前記被内挿フレームの内挿比を決定する内挿比決定部と、を備え、
前記被内挿フレーム選択部は、シャッタ開口率が閾値以下である場合には、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間内に含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、前記シャッタ開口率が前記閾値を超える場合には、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームのシャッタ開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、
前記内挿比決定部は、前記シャッタ開口率が前記閾値以下である場合には、内挿フレーム位置から各被内挿フレームの位置までの距離の逆数を正規化した値を、各被内挿フレームの内挿比として決定し、前記シャッタ開口率が前記閾値を超える場合には、内挿フレーム位置から各被内挿フレームの位置までの距離に、視覚的感覚記憶の保持時間T内に含まれるシャッタ開口率範囲の重みをかけた値の逆数を正規化した値を、各被内挿フレームの内挿比として決定することを特徴とする内挿比決定装置。
An interpolation ratio determination device for determining an interpolation ratio of an interpolated frame when performing frame interpolation by linear interpolation,
An interpolated frame selection unit that selects an interpolated frame used for generating an interpolated frame from an original frame before frame rate conversion;
An interpolation ratio determining unit that determines an interpolation ratio of the interpolated frame,
When the shutter aperture ratio is less than or equal to the threshold value, the interpolated frame selection unit uses the original frame positioned in the future as the time direction of the interpolated frame as a reference frame, and the past visual sense from the position of the reference frame. If the original frame included in the storage retention time and the reference frame are selected as the interpolated frame and the shutter aperture ratio exceeds the threshold, the original frame positioned in the future as the time direction of the interpolated frame As a reference frame, an original frame including at least a part of the shutter aperture ratio range within the holding time of the past visual sensory memory from the position through the shutter aperture ratio range of the reference frame, and the reference frame to be interpolated Select as frame,
When the shutter aperture ratio is less than or equal to the threshold value, the interpolation ratio determination unit calculates a value obtained by normalizing the reciprocal of the distance from the interpolation frame position to the position of each interpolation frame. When the shutter aperture ratio exceeds the threshold, the distance from the interpolation frame position to the position of each interpolated frame is included in the visual sensory memory retention time T. An interpolation ratio determination device that determines a value obtained by normalizing a reciprocal of a weighted value of the shutter aperture ratio range as an interpolation ratio of each interpolated frame.
シャッタ開口率が閾値を超えるか否かを判定する処理選択部を更に備えることを特徴とする、請求項3に記載の内挿比決定装置。   The interpolation ratio determination apparatus according to claim 3, further comprising a process selection unit that determines whether or not the shutter aperture ratio exceeds a threshold value. シャッタ開口率が不明な場合には、前記シャッタ開口率を100%とみなすことを特徴とする、請求項2から4のいずれか一項に記載の内挿比決定装置。   The interpolation ratio determination device according to any one of claims 2 to 4, wherein when the shutter aperture ratio is unknown, the shutter aperture ratio is regarded as 100%. コンピュータを、請求項1から5のいずれか一項に記載の内挿比決定装置として機能させるためのプログラム。   The program for functioning a computer as an interpolation ratio determination apparatus as described in any one of Claims 1-5.
JP2015223836A 2015-11-16 2015-11-16 Interpolation ratio determination device and program Active JP6604828B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015223836A JP6604828B2 (en) 2015-11-16 2015-11-16 Interpolation ratio determination device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015223836A JP6604828B2 (en) 2015-11-16 2015-11-16 Interpolation ratio determination device and program

Publications (2)

Publication Number Publication Date
JP2017092851A true JP2017092851A (en) 2017-05-25
JP6604828B2 JP6604828B2 (en) 2019-11-13

Family

ID=58768455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015223836A Active JP6604828B2 (en) 2015-11-16 2015-11-16 Interpolation ratio determination device and program

Country Status (1)

Country Link
JP (1) JP6604828B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199140A (en) * 2020-09-09 2021-01-08 Oppo广东移动通信有限公司 Application frame insertion method and related device
CN114938461A (en) * 2022-04-01 2022-08-23 网宿科技股份有限公司 Video processing method, device and equipment and readable storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359775A (en) * 2001-03-28 2002-12-13 Sanyo Electric Co Ltd Telecine conversion method
JP2012169701A (en) * 2011-02-09 2012-09-06 Canon Inc Image processing device, image processing method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359775A (en) * 2001-03-28 2002-12-13 Sanyo Electric Co Ltd Telecine conversion method
JP2012169701A (en) * 2011-02-09 2012-09-06 Canon Inc Image processing device, image processing method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199140A (en) * 2020-09-09 2021-01-08 Oppo广东移动通信有限公司 Application frame insertion method and related device
CN114938461A (en) * 2022-04-01 2022-08-23 网宿科技股份有限公司 Video processing method, device and equipment and readable storage medium

Also Published As

Publication number Publication date
JP6604828B2 (en) 2019-11-13

Similar Documents

Publication Publication Date Title
CN106504278B (en) High dynamic range tone mapping
JP5243833B2 (en) Image signal processing circuit, image display device, and image signal processing method
JP4973031B2 (en) Noise suppression method, noise suppression method program, recording medium recording noise suppression method program, and noise suppression device
US20100067818A1 (en) System and method for high quality image and video upscaling
CN102256056A (en) Image processing apparatus, image processing method, and program
JP6160292B2 (en) Image correction apparatus, imaging apparatus, and computer program for image correction
US9471958B2 (en) Image processing method and apparatus
CN112055249B (en) Video frame interpolation method and device
JP2009534900A (en) Interpolated image generation method and system
US8606032B2 (en) Image processing method, device and program to process a moving image
JP6604828B2 (en) Interpolation ratio determination device and program
US20160343115A1 (en) Image processing method, image processing apparatus, image capturing apparatus, image processing program and non-transitory computer-readable storage medium
ES2567444T3 (en) Image processing method and device, image processing program, and recording medium containing the program
US9275468B2 (en) Fallback detection in motion estimation
JP2012109656A (en) Image processing apparatus and method, and image display unit and method
US20150213581A1 (en) Method and apparatus for image quality enhancement using phase modulation of high frequency elements
JP2010226646A (en) Video processing apparatus
JP5050637B2 (en) VIDEO SIGNAL PROCESSING DEVICE, VIDEO SIGNAL PROCESSING METHOD, VIDEO SIGNAL PROCESSING METHOD PROGRAM, AND RECORDING MEDIUM CONTAINING VIDEO SIGNAL PROCESSING METHOD PROGRAM
JP6650232B2 (en) Frame rate expansion device and program
JP2010219807A (en) Image processing device and image processing method
WO2014115522A1 (en) Frame rate converter, frame rate conversion method, and display device and image-capturing device provided with frame rate converter
JP6574682B2 (en) Contrast correction apparatus and program
JP2007179211A (en) Image processing device, image processing method, and program for it
JP6135937B2 (en) Image processing method and image processing apparatus
US10382710B2 (en) Image processing apparatus, image capturing apparatus, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191015

R150 Certificate of patent or registration of utility model

Ref document number: 6604828

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250