JP2017092851A - Interpolation ratio determination apparatus and program - Google Patents
Interpolation ratio determination apparatus and program Download PDFInfo
- Publication number
- JP2017092851A JP2017092851A JP2015223836A JP2015223836A JP2017092851A JP 2017092851 A JP2017092851 A JP 2017092851A JP 2015223836 A JP2015223836 A JP 2015223836A JP 2015223836 A JP2015223836 A JP 2015223836A JP 2017092851 A JP2017092851 A JP 2017092851A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- interpolation
- interpolated
- ratio
- interpolated frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 39
- 238000006243 chemical reaction Methods 0.000 claims abstract description 25
- 230000014759 maintenance of location Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 18
- 230000001953 sensory effect Effects 0.000 claims description 11
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 18
- 230000010354 integration Effects 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000009499 grossing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Television Systems (AREA)
Abstract
Description
本発明は、線形補間によりフレーム内挿する際の被内挿フレームの内挿比(重み係数)を決定する内挿比決定装置及びプログラムに関する。 The present invention relates to an interpolation ratio determination apparatus and program for determining an interpolation ratio (weighting coefficient) of an interpolated frame when performing frame interpolation by linear interpolation.
従来、フレームレートを変換する一般的な手法として、線形補間によるフレーム内挿法が知られている(例えば、非特許文献1参照)。この内挿法では、時間方向の内挿フレーム位置に対して、前後に位置する入力映像のフレームに、距離に応じた重み(内挿比)を乗じて加算する線形フィルタ処理により、内挿フレームを生成する。 Conventionally, a frame interpolation method based on linear interpolation is known as a general method for converting a frame rate (see, for example, Non-Patent Document 1). In this interpolation method, an interpolation frame is obtained by linear filter processing for multiplying and adding a weight (interpolation ratio) corresponding to a distance to a frame of an input video positioned before and after the interpolation frame position in the time direction. Is generated.
線形補間によるフレーム内挿法を用いたフレームレート拡大例としては、テレビで映像の動きを滑らかに見せるための60フィールド/秒から120又は240フレーム/秒へのフレーム変換が挙げられる。 As an example of the frame rate expansion using the frame interpolation method by linear interpolation, there is a frame conversion from 60 fields / second to 120 or 240 frames / second in order to make the motion of the video appear smooth on a television.
従来の線形補間によるフレーム内挿法では、内挿フレーム位置からその前後フレームの位置までの距離の割合の逆数を正規化したものを内挿比として内挿フレームを生成する。しかし、視覚の積分効果を考慮していないため、動領域が多重像に見えるアーティファクトが発生するおそれがあった。この実例として、映画館で映画を見る場合が挙げられる。映画館では、特に周辺視におけるフリッカ防止のために、24フレーム/秒の映像を0次ホールドして複数回照射する。しかし、特に映画のエンドロールで字幕が下から上にスクロールする際(コントラストのはっきりしたオブジェクトが追随視可能な速度で動く場合)に、文字が多重像に見えるアーティファクトが発生する。これは視覚の積分効果を考慮しておらず、視覚感覚記憶の保持時間内にオブジェクト位置が異なる複数のフレーム画像を照射するために発生する。 In a conventional frame interpolation method using linear interpolation, an interpolation frame is generated with an interpolation ratio obtained by normalizing the reciprocal of the ratio of the distance from the interpolation frame position to the position of the preceding and succeeding frames. However, since the visual integration effect is not taken into consideration, there is a possibility that an artifact in which the moving area appears as a multiple image may occur. An example of this is when watching a movie in a movie theater. In a movie theater, in order to prevent flicker particularly in peripheral vision, an image of 24 frames / second is held in zero order and irradiated multiple times. However, particularly when the subtitle scrolls from bottom to top in the end roll of a movie (when an object with high contrast moves at a speed at which it can be followed), artifacts appear that the characters appear as multiple images. This does not take into account the visual integration effect, and occurs because a plurality of frame images with different object positions are irradiated within the holding time of the visual sense memory.
かかる事情に鑑みてなされた本発明の目的は、視覚の積分効果を考慮することにより、アーティファクトを抑制することが可能な内挿比決定装置及びプログラムを提供することにある。 An object of the present invention made in view of such circumstances is to provide an interpolation ratio determination device and a program that can suppress artifacts by considering visual integration effects.
上記課題を解決するため、本発明に係る内挿比決定装置は、線形補間によりフレーム内挿する際の被内挿フレームの内挿比を決定する内挿比決定装置であって、フレームレート変換前の元フレームから、内挿フレームの生成に用いられる被内挿フレームを選択する被内挿フレーム選択部と、前記被内挿フレームの内挿比を決定する内挿比決定部と、を備え、前記被内挿フレーム選択部は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間内に含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、前記内挿比決定部は、内挿フレーム位置から各被内挿フレームの位置までの距離の逆数を正規化した値を、各被内挿フレームの内挿比として決定することを特徴とする。 In order to solve the above problems, an interpolation ratio determining apparatus according to the present invention is an interpolation ratio determining apparatus that determines an interpolation ratio of a frame to be interpolated when performing frame interpolation by linear interpolation. An interpolated frame selecting unit that selects an interpolated frame used for generating an interpolated frame from a previous original frame; and an interpolation ratio determining unit that determines an interpolated ratio of the interpolated frame. The interpolated frame selection unit uses an original frame located in the future as a time direction of the interpolation frame as a reference frame, and an original frame included in a holding time of the past visual sense memory from the position of the reference frame, And the reference frame as an interpolated frame, and the interpolation ratio determining unit calculates a value obtained by normalizing a reciprocal of a distance from the position of the interpolated frame to the position of each interpolated frame. Interpolation ratio And determining by.
また、本発明に係る内挿比決定装置は、線形補間によりフレーム内挿する際の被内挿フレームの内挿比を決定する内挿比決定装置であって、フレームレート変換前の元フレームから、内挿フレームの生成に用いられる被内挿フレームを選択する被内挿フレーム選択部と、前記被内挿フレームの内挿比を決定する内挿比決定部と、を備え、前記被内挿フレーム選択部は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームのシャッタ開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、前記内挿比決定部は、内挿フレーム位置から各被内挿フレームの位置までの距離に、視覚的感覚記憶の保持時間T内に含まれるシャッタ開口率範囲の重みをかけた値の逆数を正規化した値を、各被内挿フレームの内挿比として決定することを特徴とする。 An interpolation ratio determining apparatus according to the present invention is an interpolation ratio determining apparatus that determines an interpolation ratio of an interpolated frame when performing frame interpolation by linear interpolation, and is based on an original frame before frame rate conversion. An interpolated frame selecting unit that selects an interpolated frame used for generating an interpolated frame; and an interpolation ratio determining unit that determines an interpolated ratio of the interpolated frame. The frame selection unit uses the original frame located in the future as the time direction of the interpolation frame as a reference frame, and the shutter opening ratio range within the holding time of the past visual sensory memory from the position through the shutter opening ratio range of the reference frame. The original frame including at least a part of the reference frame and the reference frame are selected as interpolated frames, and the interpolation ratio determination unit is configured to view the distance from the interpolated frame position to the position of each interpolated frame. The normalized value of the reciprocal of the value obtained by multiplying the weight of the shutter opening ratio range included in the holding time within T of sensory memory, and determines the interpolation ratio for each of the interpolation frame.
また、本発明に係る内挿比決定装置は、線形補間によりフレーム内挿する際の被内挿フレームの内挿比を決定する内挿比決定装置であって、フレームレート変換前の元フレームから、内挿フレームの生成に用いられる被内挿フレームを選択する被内挿フレーム選択部と、前記被内挿フレームの内挿比を決定する内挿比決定部と、を備え、前記被内挿フレーム選択部は、シャッタ開口率が閾値以下である場合には、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間内に含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、前記シャッタ開口率が前記閾値を超える場合には、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームのシャッタ開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、前記内挿比決定部は、前記シャッタ開口率が前記閾値以下である場合には、内挿フレーム位置から各被内挿フレームの位置までの距離の逆数を正規化した値を、各被内挿フレームの内挿比として決定し、前記シャッタ開口率が前記閾値を超える場合には、内挿フレーム位置から各被内挿フレームの位置までの距離に、視覚的感覚記憶の保持時間T内に含まれるシャッタ開口率範囲の重みをかけた値の逆数を正規化した値を、各被内挿フレームの内挿比として決定することを特徴とする。 An interpolation ratio determining apparatus according to the present invention is an interpolation ratio determining apparatus that determines an interpolation ratio of an interpolated frame when performing frame interpolation by linear interpolation, and is based on an original frame before frame rate conversion. An interpolated frame selecting unit that selects an interpolated frame used for generating an interpolated frame; and an interpolation ratio determining unit that determines an interpolated ratio of the interpolated frame. When the shutter aperture ratio is less than or equal to the threshold value, the frame selection unit uses the original frame positioned in the future as the time direction of the interpolation frame as a reference frame, and the time for holding the past visual sense memory from the position of the reference frame If the original frame included in the frame and the reference frame are selected as the interpolated frame and the shutter aperture ratio exceeds the threshold, the original frame positioned in the future as the time direction of the interpolated frame A reference frame, an original frame including at least a part of the shutter aperture ratio range within the holding time of the past visual sensory memory from a position after passing through the shutter aperture ratio range of the reference frame, and the reference frame as an interpolated frame And the interpolation ratio determination unit normalizes the reciprocal of the distance from the interpolation frame position to the position of each interpolated frame when the shutter aperture ratio is less than or equal to the threshold. It is determined as an interpolation ratio of each interpolated frame, and when the shutter aperture ratio exceeds the threshold value, the visual sensory memory retention time is set at the distance from the interpolated frame position to the position of each interpolated frame. A value obtained by normalizing the reciprocal of the weighted value of the shutter aperture ratio range included in T is determined as the interpolation ratio of each interpolated frame.
また、本発明に係る内挿比決定装置は、シャッタ開口率が閾値を超えるか否かを判定する処理選択部を更に備えることを特徴とする。 In addition, the interpolation ratio determination device according to the present invention further includes a process selection unit that determines whether or not the shutter aperture ratio exceeds a threshold value.
また、本発明に係る内挿比決定装置は、シャッタ開口率が不明な場合には、前記シャッタ開口率を100%とみなすことを特徴とする。 The interpolation ratio determining apparatus according to the present invention is characterized in that when the shutter aperture ratio is unknown, the shutter aperture ratio is regarded as 100%.
また、本発明に係るプログラムは、コンピュータを、上記内挿比決定装置として機能させることを特徴とする。 A program according to the present invention causes a computer to function as the interpolation ratio determining device.
本発明によれば、視覚の積分効果を考慮することにより、アーティファクトを抑制し、フレームレート変換時の主観画質を向上させることができるようになる。 According to the present invention, artifacts can be suppressed and the subjective image quality at the time of frame rate conversion can be improved by considering the visual integration effect.
以下、本発明の実施形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(第1の実施形態)
まず、本発明の第1の実施形態について説明する。図1に本発明の第1の実施形態に係る内挿比決定装置の構成例を示す。図1に示す内挿比決定装置1は、被内挿フレーム選択部11と、内挿比決定部12とを備える。内挿比決定装置1は、線形補間によりフレーム内挿するフレームレート変換において、フレームレート変換情報に基づき、視覚の積分効果を考慮して被内挿フレームを選択し、選択した被内挿フレームの内挿比(重み係数)を決定する装置である。
(First embodiment)
First, a first embodiment of the present invention will be described. FIG. 1 shows a configuration example of an interpolation ratio determining apparatus according to the first embodiment of the present invention. The interpolation ratio determining apparatus 1 shown in FIG. 1 includes an interpolated
フレームレート変換情報とは、フレームレート変換前後のフレームレートを示す情報である。 The frame rate conversion information is information indicating the frame rate before and after frame rate conversion.
被内挿フレームとは、フレームレート変換前のフレーム(元フレーム)のうち、内挿フレームの生成に用いられるフレームのことをいう。 The interpolated frame refers to a frame used for generating an interpolated frame among frames (original frames) before frame rate conversion.
視覚の積分効果とは、アイコニックメモリと呼ばれるもので、EriksenとCollinsは2枚の画像を任意時間間隔で提示する実験により、視覚的感覚記憶の保持時間Tが約0.1秒であることを示している。詳細については、C. W. Eriksen, J. F. Collins, "Some temporal characteristics of visual pattern perception", Journal of Experimental Psychology, Vol. 74. Issue 4, pp. 476-484, Aug. 1967を参照されたい。 The visual integration effect is called iconic memory. Eriksen and Collins have a visual sensory memory retention time T of about 0.1 seconds based on an experiment in which two images are presented at arbitrary time intervals. Is shown. For details, see C. W. Eriksen, J. F. Collins, “Some temporal characteristics of visual pattern perception”, Journal of Experimental Psychology, Vol. 74. Issue 4, pp. 476-484, Aug. 1967.
被内挿フレーム選択部11は、フレームレート変換情報から、フレームレートを変換するために内挿される内挿フレームの位置を決定し、内挿フレーム位置を示す内挿フレーム位置情報を内挿比決定部12に出力する。なお、内挿フレーム位置情報は外部から入力するようにしてもよいが、以下の実施形態では被内挿フレーム選択部11が生成するものとする。
The interpolated
また、被内挿フレーム選択部11は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間T内に含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択する。そして、被内挿フレームを示す被内挿フレーム情報を内挿比決定部12に出力する。
Further, the interpolated
内挿比決定部12は、被内挿フレーム選択部11から入力された内挿フレーム位置情報及び被内挿フレーム情報に基づき、各被内挿フレームの内挿比を決定し、各被内挿フレームの内挿比を示す内挿比情報を内挿比決定装置1の外部に出力する。各被内挿フレームの内挿比は、内挿フレームの位置から各被内挿フレームの位置までの時間的距離の逆数を正規化した値とする。
The interpolation
具体例として、24フレーム/秒の映像を120フレーム/秒にフレームレート変換する場合の処理について、図2を参照して説明する。 As a specific example, a process in the case of converting a frame rate of 24 frames / second to 120 frames / second will be described with reference to FIG.
図2のF1〜F5はフレームレート変換前の24フレーム/秒の映像の各フレーム(元フレーム)の位置(標本位置)を示している。この24フレーム/秒の映像を120フレーム/秒に変換する場合、各元フレームの間に4枚の内挿フレームを内挿することになる。すなわち、図2では各目盛りの位置にフレームが内挿されることになるが、内挿フレームは代表してFIのみ示し、この内挿フレームFIに対する被内挿フレームの選択処理及び内挿比決定処理について説明する。 F 1 to F 5 in FIG. 2 indicate the positions (sample positions) of each frame (original frame) of the 24 frames / second video before the frame rate conversion. When this 24 frames / second video is converted to 120 frames / second, four interpolated frames are interpolated between each original frame. That is, so that the frame is inserted into the position of each in FIG. 2 scale, the interpolation frame represents only F I as a representative, the selection process and interpolation ratio of the interpolation frame for the interpolation frame F I The determination process will be described.
被内挿フレーム選択部11は、図2に示すように内挿フレームFIの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間T内に含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択する。基準フレームは内挿フレームFIの時間方向として未来に位置する元フレームであればよいが、ここでは内挿フレームFIの時間方向として最近傍の未来に位置する元フレームF4を基準フレームとする。また、図2ではT=0.1秒とする。元フレームF4の位置から過去の保持時間Tに含まれる元フレームはF2,F3であるため、元フレームF2,F3,F4を被内挿フレームとして選択する。
The interpolation
そして、内挿比決定部12は、内挿フレームFIの位置から各被内挿フレームF2,F3,F4の位置までの時間的距離の逆数を正規化した値を、各被内挿フレームの内挿比に決定する。フレームレート変換後のフレーム間の時間的距離(1/120秒間)を1とすると、内挿フレームFIの位置から各被内挿フレームF2,F3,F4の位置までの時間的距離はそれぞれ7,2,3となる。内挿比決定部12は、それらの逆数である1/7,1/2,1/3を合計が1になるように正規化して、被内挿フレームのF2,F3,F4の内挿比をF2:F3:F4=0.146:0.342:0.512に決定する。
Then, the interpolation
上述したように、内挿比決定装置1は、従来法のように内挿フレームに隣接する前後の元フレームを被内挿フレームとするわけではなく、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間内に含まれる元フレーム、及び該基準フレームを被内挿フレームとする。そのため、視覚の積分効果を考慮することができ、アーティファクトを抑制し、フレームレート変換時の主観画質を向上させることができるようになる。 As described above, the interpolation ratio determination apparatus 1 does not use the previous and subsequent original frames adjacent to the interpolation frame as the interpolated frame as in the conventional method, but is positioned in the future as the time direction of the interpolation frame. The original frame is set as a reference frame, and the original frame included in the holding time of the visual sense memory in the past from the position of the reference frame and the reference frame are set as an interpolated frame. Therefore, visual integration effects can be taken into account, artifacts can be suppressed, and subjective image quality during frame rate conversion can be improved.
(第2の実施形態)
つぎに、本発明の第2の実施形態について説明する。図3に本発明の第2の実施形態に係る内挿比決定装置の構成例を示す。図3に示す内挿比決定装置2は、被内挿フレーム選択部11と、内挿比決定部12とを備える。内挿比決定装置2は、線形補間によりフレーム内挿するフレームレート変換において、フレームレート変換情報及びシャッタ開口率情報に基づき、視覚の積分効果を考慮して被内挿フレームを選択し、選択した被内挿フレームの内挿比を決定する装置である。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. FIG. 3 shows a configuration example of an interpolation ratio determining apparatus according to the second embodiment of the present invention. The interpolation
被内挿フレーム選択部11は、フレームレート変換情報から、フレームレートを変換するために内挿される内挿フレームの位置を決定する。そして、シャッタ開口率情報に基づき、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームのシャッタ開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間T内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択する。
The interpolated
ここで、シャッタ開口率情報とは、フレームレート変換前の映像の撮影時のシャッタ開口率を示す情報である。また、シャッタ開口率範囲とは、元フレームの位置から、次の元フレームまでの時間的距離にシャッタ開口率を乗じた位置までのことをいう。 Here, the shutter aperture ratio information is information indicating the shutter aperture ratio at the time of shooting a video before frame rate conversion. The shutter aperture ratio range refers to a range from the position of the original frame to the position obtained by multiplying the time distance from the original frame to the shutter aperture ratio.
内挿比決定部12は、被内挿フレーム選択部11から入力された内挿フレーム位置情報及び被内挿フレーム情報と、外部から入力されたシャッタ開口率情報とに基づき、各被内挿フレームの内挿比を決定し、各被内挿フレームの内挿比を示す内挿比情報を内挿比決定装置2の外部に出力する。内挿比は、内挿フレームの位置から各被内挿フレームの位置までの距離に、視覚的感覚記憶の保持時間T内に含まれるシャッタ開口率範囲の重みをかけた値の逆数を正規化した値とする。
The interpolation
なお、シャッタ開口率は50%以上であることが多いため、シャッタ開口率情報が入力されない場合、又はシャッタ開口率が不明な場合には、内挿比決定装置2は、シャッタ開口率を100%とみなして処理を行うようにしてもよい。この場合、被内挿フレーム選択部11は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの100%開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間T内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択する。内挿比決定部12は、内挿フレームの位置から各被内挿フレームの位置までの距離に、視覚的感覚記憶の保持時間T内に含まれる100%開口率範囲の重みをかけた値の逆数を正規化した値を、各被内挿フレームの内挿比に決定する。
Since the shutter aperture ratio is often 50% or more, when the shutter aperture ratio information is not input or when the shutter aperture ratio is unknown, the interpolation
具体例として、24フレーム/秒の映像を120フレーム/秒に変換する場合の処理について、図4を参照して説明する。図4(a)はシャッタ開口率が100%である場合を示しており、図4(b)はシャッタ開口率が50%である場合を示している。 As a specific example, processing in the case of converting a video of 24 frames / second to 120 frames / second will be described with reference to FIG. FIG. 4A shows a case where the shutter aperture ratio is 100%, and FIG. 4B shows a case where the shutter aperture ratio is 50%.
図4のF1〜F5はフレームレート変換前の24フレーム/秒の映像の各フレーム(元フレーム)の位置(標本位置)を示している。この24フレーム/秒の映像を120フレーム/秒に変換する場合、各元フレームの間に4枚の内挿フレームを内挿することになる。すなわち、図4では各目盛りの位置にフレームが内挿されることになるが、内挿フレームは代表してFIのみ示し、この内挿フレームFIに対する被内挿フレームの選択処理及び内挿比決定処理について説明する。 F 1 to F 5 in FIG. 4 indicate the positions (sample positions) of the respective frames (original frames) of the 24 frames / second video before the frame rate conversion. When this 24 frames / second video is converted to 120 frames / second, four interpolated frames are interpolated between each original frame. That is, so that the frame is inserted into the position of each in FIG. 4 scale, the interpolation frame represents only F I as a representative, the selection process and interpolation ratio of the interpolation frame for the interpolation frame F I The determination process will be described.
被内挿フレーム選択部11は、図4に示すように内挿フレームFIの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームのシャッタ開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間T内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択する。基準フレームは内挿フレームFIの時間方向として未来に位置する元フレームであればよいが、ここでは内挿フレームFIの時間方向として最近傍の未来に位置する元フレームF4を基準フレームとする。また、図4ではT=0.1秒とする。図4(a)(b)ともに、元フレームF4の位置から過去の保持時間Tに含まれる元フレームはF2,F3であるため、元フレームF2,F3,F4を被内挿フレームとして選択する。
The interpolation
そして、内挿比決定部12は、内挿フレームFIの位置から各被内挿フレームF2,F3,F4の位置までの距離に、視覚的感覚記憶の保持時間T内に含まれるシャッタ開口率範囲の重みをかけた値の逆数を正規化した値を、各被内挿フレームの内挿比に決定する。
The interpolation
図4(a)の場合、内挿フレームFIの位置から各被内挿フレームF2,F3,F4の位置までの時間的距離はそれぞれ7,2,3であり、基準フレームF4のシャッタ開口率範囲を経た位置から過去の0.1秒間に含まれる、被内挿フレームF2,F3,F4のシャッタ開口率範囲はそれぞれ40%,100%,100%である。よって、積分効果影響範囲の重みはその逆数の2.5,1,1となる。内挿比決定部12は、1/(7×2.5),1/(2×1),1/(3×1)を合計が1になるように正規化して、被内挿フレームのF2,F3,F4の内挿比をF2:F3:F4=0.064:0.562:0.374に決定する。
In the case of FIG. 4A, the temporal distances from the position of the interpolated frame F I to the positions of the interpolated frames F 2 , F 3 , F 4 are 7 , 2 , 3 respectively, and the reference frame F 4 The shutter aperture ratio ranges of the interpolated frames F 2 , F 3 , and F 4 included in the past 0.1 second from the position that has passed through the shutter aperture ratio range are 40%, 100%, and 100%, respectively. Therefore, the weight of the integral effect influence range is 2.5, 1, 1 which is the reciprocal thereof. The interpolation
図4(b)の場合、内挿フレームFIの位置から各被内挿フレームF2,F3,F4の位置までの時間的距離はそれぞれ7,2,3であり、基準フレームF4のシャッタ開口率範囲を経た位置から過去の0.1秒間に含まれる、被内挿フレームF2,F3,F4のシャッタ開口率範囲はそれぞれ40%,50%,50%である。よって、積分効果影響範囲の重みはその逆数の2.5,2,2となる。内挿比決定部12は、1/(7×2.5),1/(2×2),1/(3×2)を合計が1になるように正規化して、被内挿フレームのF2,F3,F4の内挿比をF2:F3:F4=0.120:0.528:0.352に決定する。
In the case of FIG. 4B, the temporal distances from the position of the interpolation frame F I to the positions of the interpolated frames F 2 , F 3 , F 4 are 7 , 2 , 3 respectively, and the reference frame F 4 The shutter aperture ratio ranges of the interpolated frames F 2 , F 3 , and F 4 included in the past 0.1 second from the position after passing through the shutter aperture ratio range are 40%, 50%, and 50%, respectively. Therefore, the weight of the integral effect influence range is 2.5, 2, 2 which is the reciprocal thereof. The interpolation
上述したように、内挿比決定装置2は、視覚の積分効果に加えてフレームレート変換前の映像のシャッタ開口率を考慮して被内挿フレームの選択及び内挿比の決定を行う。そのため、内挿比決定装置2は、更に主観画質を向上させることができるようになる。
As described above, the interpolation
(第3の実施形態)
つぎに、本発明の第3の実施形態について説明する。図5に本発明の第3の実施形態に係る内挿比決定装置の構成例を示す。図5に示す内挿比決定装置3は、被内挿フレーム選択部11と、内挿比決定部12と、処理選択部13とを備える。内挿比決定装置3は、線形補間によりフレーム内挿するフレームレート変換において、フレームレート変換情報及びシャッタ開口率情報に基づき、視覚の積分効果を考慮して被内挿フレームを選択し、選択した被内挿フレームの内挿比を決定する装置である。
(Third embodiment)
Next, a third embodiment of the present invention will be described. FIG. 5 shows a configuration example of an interpolation ratio determining apparatus according to the third embodiment of the present invention. The interpolation ratio determination device 3 illustrated in FIG. 5 includes an interpolation
処理選択部13は、シャッタ開口率情報を入力して、シャッタ開口率が閾値を超えるか否かを判定し、判定結果を示す判定情報を被内挿フレーム選択部11に出力する。
The
シャッタ開口率が閾値以下である場合には、被内挿フレームの動領域に含まれる空間高周波成分のパワーが高い場合が多く、動領域のエッジが多重像に見えるアーティファクトが発生する可能性が高いため、平滑化効果の高い方法を選択することが望ましい。そこで、シャッタ開口率が閾値以下である場合には、第1の実施形態と同一の処理を行うようにする。 When the shutter aperture ratio is less than or equal to the threshold value, the power of the spatial high-frequency component contained in the moving area of the interpolated frame is often high, and there is a high possibility that artifacts in which the edges of the moving area appear as multiple images will occur. Therefore, it is desirable to select a method with a high smoothing effect. Therefore, when the shutter aperture ratio is less than or equal to the threshold value, the same processing as in the first embodiment is performed.
すなわち、シャッタ開口率が閾値以下である場合には、被内挿フレーム選択部11は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間T内に含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択する。そして内挿比決定部12は、内挿フレームの位置から各被内挿フレームの位置までの時間的距離の逆数を正規化した値を各被内挿フレームの内挿比として決定する。
That is, when the shutter aperture ratio is less than or equal to the threshold value, the interpolated
一方、シャッタ開口率が閾値を超える場合には、被内挿フレームの動領域に含まれる空間高周波成分のパワーが低い場合が多く、動領域がぼやけて見えるため、平滑化効果の低い方法を選択することが望ましい。そこで、シャッタ開口率が閾値以下である場合には、第2の実施形態と同一の処理を行うようにする。 On the other hand, when the shutter aperture ratio exceeds the threshold value, the power of the spatial high-frequency component contained in the moving area of the interpolated frame is often low, and the moving area appears blurred, so select a method with a low smoothing effect. It is desirable to do. Therefore, when the shutter aperture ratio is less than or equal to the threshold value, the same processing as in the second embodiment is performed.
すなわち、シャッタ開口率が閾値を超える場合には、被内挿フレーム選択部11は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームのシャッタ開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間T内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択する。そして内挿比決定部12は、内挿フレームの位置から各被内挿フレームの位置までの距離に、視覚的感覚記憶の保持時間T内に含まれるシャッタ開口率範囲の重みをかけた値の逆数を正規化した値を各被内挿フレームの内挿比として決定する。
That is, when the shutter aperture ratio exceeds the threshold, the interpolated
上述したように、内挿比決定装置3は、視覚の積分効果を考慮しつつ、シャッタ開口率が低い(閾値以下である)場合には、平滑化効果が高くなるように内挿比を決定し、シャッタ開口率が高い(閾値を超える)場合には、平滑化効果が高くならないように内挿比を決定する。そのため、内挿比決定装置3は、内挿比決定装置1,2よりも更に主観画質を向上させることができるようになる。
As described above, the interpolation ratio determination device 3 determines the interpolation ratio so that the smoothing effect is high when the shutter aperture ratio is low (below the threshold) while considering the visual integration effect. When the shutter aperture ratio is high (exceeding the threshold value), the interpolation ratio is determined so that the smoothing effect does not increase. Therefore, the interpolation ratio determination device 3 can improve the subjective image quality more than the interpolation
なお、上述した内挿比決定装置1,2,3として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、内挿比決定装置1,2,3の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
It should be noted that a computer can be suitably used to function as the above-described interpolation
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。 Although the above embodiment has been described as a representative example, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes can be made without departing from the scope of the claims. For example, a plurality of constituent blocks described in the embodiments can be combined into one, or one constituent block can be divided.
1,2,3 内挿比決定装置
11 被内挿フレーム選択部
12 内挿比決定部
13 処理選択部
1, 2, 3 Interpolation
Claims (6)
フレームレート変換前の元フレームから、内挿フレームの生成に用いられる被内挿フレームを選択する被内挿フレーム選択部と、
前記被内挿フレームの内挿比を決定する内挿比決定部と、を備え、
前記被内挿フレーム選択部は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間内に含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、
前記内挿比決定部は、内挿フレーム位置から各被内挿フレームの位置までの距離の逆数を正規化した値を、各被内挿フレームの内挿比として決定することを特徴とする内挿比決定装置。 An interpolation ratio determination device for determining an interpolation ratio of an interpolated frame when performing frame interpolation by linear interpolation,
An interpolated frame selection unit that selects an interpolated frame used for generating an interpolated frame from an original frame before frame rate conversion;
An interpolation ratio determining unit that determines an interpolation ratio of the interpolated frame,
The interpolated frame selection unit uses an original frame located in the future as a time direction of the interpolated frame as a reference frame, an original frame included in a holding time of the past visual sense memory from the position of the reference frame, and Selecting the reference frame as an interpolated frame;
The interpolation ratio determining unit determines a value obtained by normalizing a reciprocal of a distance from an interpolation frame position to each interpolated frame position as an interpolation ratio of each interpolated frame. Insertion ratio determining device.
フレームレート変換前の元フレームから、内挿フレームの生成に用いられる被内挿フレームを選択する被内挿フレーム選択部と、
前記被内挿フレームの内挿比を決定する内挿比決定部と、を備え、
前記被内挿フレーム選択部は、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームのシャッタ開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、
前記内挿比決定部は、内挿フレーム位置から各被内挿フレームの位置までの距離に、視覚的感覚記憶の保持時間T内に含まれるシャッタ開口率範囲の重みをかけた値の逆数を正規化した値を、各被内挿フレームの内挿比として決定することを特徴とする内挿比決定装置。 An interpolation ratio determination device for determining an interpolation ratio of an interpolated frame when performing frame interpolation by linear interpolation,
An interpolated frame selection unit that selects an interpolated frame used for generating an interpolated frame from an original frame before frame rate conversion;
An interpolation ratio determining unit that determines an interpolation ratio of the interpolated frame,
The interpolated frame selection unit uses an original frame located in the future as a time direction of the interpolated frame as a reference frame, and within a holding time of the past visual sense memory from a position through the shutter aperture ratio range of the reference frame. Selecting an original frame including at least a part of the shutter aperture ratio range and the reference frame as an interpolated frame;
The interpolation ratio determination unit calculates a reciprocal of a value obtained by multiplying the distance from the interpolation frame position to the position of each interpolated frame by the weight of the shutter aperture ratio range included in the holding time T of the visual sense memory. An interpolation ratio determining apparatus, wherein a normalized value is determined as an interpolation ratio of each interpolated frame.
フレームレート変換前の元フレームから、内挿フレームの生成に用いられる被内挿フレームを選択する被内挿フレーム選択部と、
前記被内挿フレームの内挿比を決定する内挿比決定部と、を備え、
前記被内挿フレーム選択部は、シャッタ開口率が閾値以下である場合には、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームの位置から過去の視覚的感覚記憶の保持時間内に含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、前記シャッタ開口率が前記閾値を超える場合には、内挿フレームの時間方向として未来に位置する元フレームを基準フレームとし、該基準フレームのシャッタ開口率範囲を経た位置から過去の視覚的感覚記憶の保持時間内にシャッタ開口率範囲の少なくとも一部が含まれる元フレーム、及び該基準フレームを被内挿フレームとして選択し、
前記内挿比決定部は、前記シャッタ開口率が前記閾値以下である場合には、内挿フレーム位置から各被内挿フレームの位置までの距離の逆数を正規化した値を、各被内挿フレームの内挿比として決定し、前記シャッタ開口率が前記閾値を超える場合には、内挿フレーム位置から各被内挿フレームの位置までの距離に、視覚的感覚記憶の保持時間T内に含まれるシャッタ開口率範囲の重みをかけた値の逆数を正規化した値を、各被内挿フレームの内挿比として決定することを特徴とする内挿比決定装置。 An interpolation ratio determination device for determining an interpolation ratio of an interpolated frame when performing frame interpolation by linear interpolation,
An interpolated frame selection unit that selects an interpolated frame used for generating an interpolated frame from an original frame before frame rate conversion;
An interpolation ratio determining unit that determines an interpolation ratio of the interpolated frame,
When the shutter aperture ratio is less than or equal to the threshold value, the interpolated frame selection unit uses the original frame positioned in the future as the time direction of the interpolated frame as a reference frame, and the past visual sense from the position of the reference frame. If the original frame included in the storage retention time and the reference frame are selected as the interpolated frame and the shutter aperture ratio exceeds the threshold, the original frame positioned in the future as the time direction of the interpolated frame As a reference frame, an original frame including at least a part of the shutter aperture ratio range within the holding time of the past visual sensory memory from the position through the shutter aperture ratio range of the reference frame, and the reference frame to be interpolated Select as frame,
When the shutter aperture ratio is less than or equal to the threshold value, the interpolation ratio determination unit calculates a value obtained by normalizing the reciprocal of the distance from the interpolation frame position to the position of each interpolation frame. When the shutter aperture ratio exceeds the threshold, the distance from the interpolation frame position to the position of each interpolated frame is included in the visual sensory memory retention time T. An interpolation ratio determination device that determines a value obtained by normalizing a reciprocal of a weighted value of the shutter aperture ratio range as an interpolation ratio of each interpolated frame.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015223836A JP6604828B2 (en) | 2015-11-16 | 2015-11-16 | Interpolation ratio determination device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015223836A JP6604828B2 (en) | 2015-11-16 | 2015-11-16 | Interpolation ratio determination device and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017092851A true JP2017092851A (en) | 2017-05-25 |
JP6604828B2 JP6604828B2 (en) | 2019-11-13 |
Family
ID=58768455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015223836A Active JP6604828B2 (en) | 2015-11-16 | 2015-11-16 | Interpolation ratio determination device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6604828B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112199140A (en) * | 2020-09-09 | 2021-01-08 | Oppo广东移动通信有限公司 | Application frame insertion method and related device |
CN114938461A (en) * | 2022-04-01 | 2022-08-23 | 网宿科技股份有限公司 | Video processing method, device and equipment and readable storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002359775A (en) * | 2001-03-28 | 2002-12-13 | Sanyo Electric Co Ltd | Telecine conversion method |
JP2012169701A (en) * | 2011-02-09 | 2012-09-06 | Canon Inc | Image processing device, image processing method, and program |
-
2015
- 2015-11-16 JP JP2015223836A patent/JP6604828B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002359775A (en) * | 2001-03-28 | 2002-12-13 | Sanyo Electric Co Ltd | Telecine conversion method |
JP2012169701A (en) * | 2011-02-09 | 2012-09-06 | Canon Inc | Image processing device, image processing method, and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112199140A (en) * | 2020-09-09 | 2021-01-08 | Oppo广东移动通信有限公司 | Application frame insertion method and related device |
CN114938461A (en) * | 2022-04-01 | 2022-08-23 | 网宿科技股份有限公司 | Video processing method, device and equipment and readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP6604828B2 (en) | 2019-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106504278B (en) | High dynamic range tone mapping | |
JP5243833B2 (en) | Image signal processing circuit, image display device, and image signal processing method | |
JP4973031B2 (en) | Noise suppression method, noise suppression method program, recording medium recording noise suppression method program, and noise suppression device | |
US20100067818A1 (en) | System and method for high quality image and video upscaling | |
CN102256056A (en) | Image processing apparatus, image processing method, and program | |
JP6160292B2 (en) | Image correction apparatus, imaging apparatus, and computer program for image correction | |
US9471958B2 (en) | Image processing method and apparatus | |
CN112055249B (en) | Video frame interpolation method and device | |
JP2009534900A (en) | Interpolated image generation method and system | |
US8606032B2 (en) | Image processing method, device and program to process a moving image | |
JP6604828B2 (en) | Interpolation ratio determination device and program | |
US20160343115A1 (en) | Image processing method, image processing apparatus, image capturing apparatus, image processing program and non-transitory computer-readable storage medium | |
ES2567444T3 (en) | Image processing method and device, image processing program, and recording medium containing the program | |
US9275468B2 (en) | Fallback detection in motion estimation | |
JP2012109656A (en) | Image processing apparatus and method, and image display unit and method | |
US20150213581A1 (en) | Method and apparatus for image quality enhancement using phase modulation of high frequency elements | |
JP2010226646A (en) | Video processing apparatus | |
JP5050637B2 (en) | VIDEO SIGNAL PROCESSING DEVICE, VIDEO SIGNAL PROCESSING METHOD, VIDEO SIGNAL PROCESSING METHOD PROGRAM, AND RECORDING MEDIUM CONTAINING VIDEO SIGNAL PROCESSING METHOD PROGRAM | |
JP6650232B2 (en) | Frame rate expansion device and program | |
JP2010219807A (en) | Image processing device and image processing method | |
WO2014115522A1 (en) | Frame rate converter, frame rate conversion method, and display device and image-capturing device provided with frame rate converter | |
JP6574682B2 (en) | Contrast correction apparatus and program | |
JP2007179211A (en) | Image processing device, image processing method, and program for it | |
JP6135937B2 (en) | Image processing method and image processing apparatus | |
US10382710B2 (en) | Image processing apparatus, image capturing apparatus, and non-transitory computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181001 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190917 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191015 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6604828 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |