CN112789848B - 插补帧生成装置及方法 - Google Patents

Abstract

相位信息生成部(3)生成表示插补帧的相位的相位信息(i)。提取像素决定部(4)生成为了生成插补像素(Pi)而检测出的运动矢量(MV)与第一帧和第二帧交叉的第一运动矢量交叉像素和第二运动矢量交叉像素(P0、P1)，基于运动矢量交叉像素(P0、P1)来决定提取像素(P0I、P1I)。插补相位选择部(5)根据相位信息(i)以及第一运动矢量交叉像素和第二运动矢量交叉像素(P0、P1)是否在有效像素范围外区域，来选择插补相位。插补像素生成部(60)基于第一提取像素和第二提取像素(P0I、P1I)及插补相位生成插补像素(Pi)。

Description

插补帧生成装置及方法

技术领域

本公开涉及用于生成内插在一对实际帧之间的插补帧的插补帧生成装置和方法。

背景技术

近年来，在电视机等影像处理装置中，一般进行将插补帧插入到输入影像的帧间并输出的所谓的帧率转换。这样，通过以比输入的帧率高的帧率进行输出，能够提供平滑且模糊少的动态图像。根据输入影像的连续的帧间的差异推定帧间的运动矢量，并根据该运动矢量和前后的帧来生成要插入的插补帧(参考专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2008-245135号公报

发明内容

在插补帧内的插补像素的生成中，需要基于运动矢量选择的一对实际帧双方的像素。然而，有时基于运动矢量选择的像素位于实际帧的有效像素范围外区域。在这样的情况下，需要进行某些处理来生成插补像素。

专利文献1所记载的方法是仅使用基于运动矢量选择的一对实际帧双方的像素中的位于有效像素范围的实际帧内的像素来生成插补像素的所谓单侧插补。即，如果检测到正确的运动矢量，则生成适当的插补像素，但在帧的端部难以检测出正确的运动矢量，如果误检测出运动矢量，则视觉上的不协调感增大。

实施方式的目的在于，提供一种即使在为了生成插补像素而根据运动矢量选择的像素位于实际帧的有效像素范围外区域的情况下，也能够生成视觉上的不协调感少的插补像素的插补帧生成装置和方法，。

根据实施方式的一个形式，提供一种插补帧生成装置，具备：相位信息生成部，其生成表示在影像信号中的时间方向上相邻的第一帧和第二帧之间内插的插补帧的相位的相位信息；提取像素决定部，其生成为了生成所述插补帧内的插补像素而检测出的运动矢量与所述第一帧交叉的第一运动矢量交叉像素，生成所述运动矢量与所述第二帧交叉的第二运动矢量交叉像素，基于所述第一运动矢量交叉像素决定第一提取像素，基于所述第二运动矢量交叉像素决定第二提取像素；插补相位选择部，其基于由所述相位信息确定的所述插补帧的相位以及所述第一运动矢量交叉像素和所述第二运动矢量交叉像素是否在有效像素范围外区域，来选择插补相位；以及插补像素生成部，其基于所述第一提取像素和第二提取像素及所述插补相位来生成所述插补像素。

根据实施方式的一个形式，提供一种插补帧生成方法，生成表示在影像信号中的时间方向上相邻的第一帧和第二帧之间内插的插补帧的相位的相位信息，生成为了生成所述插补帧内的插补像素而检测出的运动矢量与所述第一帧交叉的第一运动矢量交叉像素，生成所述运动矢量与所述第二帧交叉的第二运动矢量交叉像素，基于所述第一运动矢量交叉像素决定第一提取像素，基于所述第二运动矢量交叉像素决定第二提取像素，基于所述相位信息以及所述第一运动矢量交叉像素和所述第二运动矢量交叉像素是否在有效像素范围外区域，来选择插补相位，基于所述插补相位和所述第一提取像素及第二提取像素来生成所述插补像素。

根据实施方式，即使在基于运动矢量选择的像素位于实际帧的有效像素范围外区域的情况下，也能够生成视觉上的不协调感少的插补像素。

附图说明

图1是表示具备一实施方式的插补帧生成装置的帧率转换装置的概略结构的框图。

图2是表示用于生成插补像素的像素位于实际帧的有效像素范围的状态的一例的图。

图3是表示用于生成插补像素的像素位于实际帧的有效像素范围外区域的状态的一例的图。

图4是表示提取像素决定部的动作的一例的图。

图5是表示提取像素决定部的动作的一例的图。

图6是表示提取像素决定部的动作的一例的图。

图7是表示提取像素决定部的动作的一例的图。

图8是表示提取像素决定部的动作的一例的图。

图9是表示插补相位选择部的动作的一例的图。

图10是表示插补相位选择部的动作的一例的图。

图11是表示插补相位选择部的动作的一例的图。

图12是表示插补相位选择部的动作的一例的图。

图13是表示一实施方式的插补帧生成装置100的动作以及一实施方式的插补帧生成方法的流程图。

图14是表示插补相位选择部5的插补相位选择信号的选择条件的表。

具体实施方式

以下，参照附图对一实施方式的插补帧生成装置及方法进行说明。首先，使用图1，对具备一实施方式的插补帧生成装置100的帧率转换装置的概略结构及动作进行说明。

图1是表示本实施方式中的插补帧生成装置100的概略结构的框图。如图1所示，插补帧生成装置100具备运动矢量检测部1、帧存储器2、相位信息生成部3、提取像素决定部4、插补相位选择部5、插补帧内插部6。在图1中，运动矢量检测部1和帧存储器2依次被输入构成输入影像信号Sin的各帧f0(第一帧)的像素的像素值。输入影像信号Sin的帧率(帧频率)例如是24Hz。帧f0是实际帧，将帧f0设为当前帧。帧存储器2存储帧f0的全部像素的像素值。

帧存储器2使帧f0延迟1帧期间，对于帧f0将1帧前的帧f1(第二帧)供给至运动矢量检测部1。在此，1帧期间是指为了将1帧的全部像素值输入至帧存储器2而需要的期间。供给至运动矢量检测部1的帧f1的帧率是24Hz。帧f1是实际帧。帧存储器2以帧率120Hz读出帧f1，并供给至插补帧内插部6。即，使用帧存储器2进行帧率的转换。帧存储器2是临时存储装置，例如可以由RAM(Random Access Memory：随机存取存储器)构成。

向运动矢量检测部1供给的帧f1与向插补帧内插部6供给的帧f1的帧率不同，但两者为相同帧的信号，因此将双方称为帧f1。

帧f0由帧存储器2延迟，转换为帧率120Hz，并被供给至插补帧内插部6。由帧存储器2延迟的时间相当于运动矢量检测部1检测后述的运动矢量MV所需的时间。例如，由帧存储器2延迟的时间可以相当于数十行。在此，1行表示输入影像信号Sin的水平方向的像素数，相当于1行的时间是指将1行的像素值输入帧存储器2所需的时间。

向帧存储器2输入的帧f0与向插补帧内插部6供给的帧f0错开数十行左右的时间量，帧率不同，但两者是相同帧的信号，因此将双方称为帧f0。

运动矢量检测部1计算出由帧f0内的多个像素构成的块与由帧f1内的多个像素构成的块的差分值，并基于差分值小的方向，检测运动矢量MV。

此外，由多个像素构成的块间的差分值的计算方法使用各种公知技术即可。例如，也可以算出帧f0内的像素与帧f1内的像素的像素值的差分值，算出该差分值的绝对值，按每个块求出该差分值的总和，由此算出块间的差分值。

运动矢量MV被暂时写入帧存储器2，转换速率以与帧率120Hz的帧对应，并供给至提取像素决定部4。从运动矢量检测部1输出的运动矢量MV和向提取像素决定部4供给的运动矢量MV的速率不同，但两者为相同的运动矢量，因此将双方称为运动矢量MV。

在此，将本实施方式中的插补帧生成装置100生成的帧设为插补帧fi。如上所述，帧存储器2以120Hz的帧率读出帧f0和帧f1，并将这些帧供给至插补帧内插部6。因此，插补帧内插部6在将帧f0与帧f1的相位差设为1的情况下，在帧f0与帧f1之间插入4枚相位分别相差0.2的插补帧fi，生成帧率120Hz的输出影像信号Sout。

图2表示运动矢量交叉像素P0和运动矢量交叉像素P1位于有效像素范围的例子。将为了生成插补帧fi内的插补像素Pi而检测出的运动矢量MV和帧f0如图2所示那样在图上交叉的位置设为运动矢量交叉像素P0。将为了生成插补帧fi内的插补像素Pi而检测出的运动矢量MV和帧f1如图2所示那样在图上交叉的位置设为运动矢量交叉像素P1。

以全HD(full HD)的影像信号为例，1帧的有效像素范围是水平1920像素、垂直1080像素的区域。有效像素范围外区域是1帧的显示区域中的有效像素范围的外部的区域，是不存在能够生成正确的插补像素Pi的像素的区域。在水平1920像素、垂直1080像素的帧的内部，例如存在帧的上下端部成为一样的黑信箱(letterbox)形式的图像。在影像信号是由这样的图像构成的信号的情况下，无法使用黑的像素来生成正确的插补像素Pi。在帧的一部分成为黑等固定色、固定亮度或固定像素值的像素的情况下，固定色、固定亮度或固定像素值的像素以外的区域成为有效像素范围。

插补帧内插部6具备插补像素生成部60。假设将运动矢量MV直接供给至插补像素生成部60，则如图2所示，插补像素生成部60使用运动矢量交叉像素P0和P1的像素的像素值，生成插补帧fi内的插补像素Pi。

图3表示运动矢量交叉像素P0位于帧f0的有效像素范围外区域的例子。当插补像素生成部60想要直接使用运动矢量MV来生成插补像素Pi时，由于运动矢量交叉像素P0或P1位于有效像素范围外区域，所以有时无法生成适当的插补像素Pi。

再次返回图1，说明即使在基于运动矢量MV选择的像素位于帧f0或帧f1的有效像素范围外区域的情况下，用于生成视觉上的不协调感少的插补像素Pi的具体的结构。

在图1中，对帧存储器2以及相位信息生成部3供给用于决定表示帧f0与插补帧fi的相位差的相位信息i的输入定时信号cnt。输入定时信号cnt例如能够由表示插补帧fi内的水平方向的位置的水平计数器以及在水平计数器复位的每个定时递增的垂直计数器构成。在此，水平计数器复位的定时是指，输入影像信号Sin中的任意1行的全部像素值被输入到帧存储器2，下一行的最初的像素值被输入到帧存储器2的定时。当输入影像信号Sin的垂直同步信号复位时，垂直计数器的值重置为0。垂直同步信号复位的定时是指，输入影像信号Sin中的任意帧的全部像素值被输入到帧存储器2，下一帧的最初的像素值被输入到帧存储器2的定时。

相位信息生成部3基于输入定时信号cnt生成相位信息i。在将帧f0与帧f1的相位差设为1的情况下，相位信息i能够设为0以上且小于1的范围(0≤i＜1)的值。例如，在垂直计数器的上限是有效像素范围的垂直行数的情况下，相位信息生成部3能够生成将垂直计数器除以有效像素范围的垂直行数而得的值作为相位信息i。相位信息生成部3将生成的相位信息i供给至提取像素决定部4和插补相位选择部5。

分别从帧存储器2向提取像素决定部4供给运动矢量MV，从相位信息生成部3向提取像素决定部4供给相位信息i。提取像素决定部4基于运动矢量MV和相位信息i，决定帧f0中的表示用于生成插补像素Pi的像素的提取像素P0I和帧f1中的表示用于生成插补像素Pi的像素的提取像素P1I。

图4表示运动矢量交叉像素P0和运动矢量交叉像素P1位于有效像素范围的情况下的提取像素决定部4的动作。如图4所示，提取像素决定部4计算出与帧f1的相位差是与相位信息i的值相同的值d、且与帧f0的相位差为从1减去相位信息i的值而得的值(1-d)的插补帧fi的相位。在此，帧f0的相位与帧f1的相位的相位差是1。

如图4所示，提取像素决定部4计算出为了生成插补像素Pi而检测到的运动矢量MV与帧f0交叉的运动矢量交叉像素P0。提取像素决定部4计算出为了生成插补像素Pi而检测到的运动矢量MV与帧f1交叉的运动矢量交叉像素P1。

提取像素决定部4生成有效像素范围外标志flg0作为表示运动矢量交叉像素P0是否在有效像素范围外区域的信号。提取像素决定部4生成有效像素范围外标志flg1作为表示运动矢量交叉像素P1是否在有效像素范围外区域的信号。在有效像素范围外标志flg0的值为0的情况下，表示运动矢量交叉像素P0位于有效像素范围，在有效像素范围外标志flg0的值为1的情况下，表示运动矢量交叉像素P0位于有效像素范围外区域。在有效像素范围外标志flg1的值为0的情况下，表示运动矢量交叉像素P1位于有效像素范围，在有效像素范围外标志flg1的值为1的情况下，表示运动矢量交叉像素P1位于有效像素范围外区域。

如图4所示，在运动矢量交叉像素P0是有效像素范围的像素P02的情况下，提取像素决定部4将有效像素范围外标志flg0的值设定为表示有效像素范围的0，将像素P02决定为提取像素P0I。

图5表示运动矢量交叉像素P0位于有效像素范围外区域且运动矢量交叉像素P1位于有效像素范围的情况下的提取像素决定部4的动作的一例。如图5所示，在运动矢量交叉像素P0是有效像素范围外区域的位置P0(-5)的情况下，提取像素决定部4将提取像素P0I决定为帧f0的有效像素范围的预定的位置，将有效像素范围外标志flg0的值设定为表示有效像素范围外区域的1。

例如如图5所示，提取像素决定部4将帧f0的有效像素范围的预定的像素设为仅具有水平方向分量的运动矢量MV与有效像素范围的轮廓交叉的像素P00，并将像素P00决定为提取像素P0I。

图6表示运动矢量交叉像素P0位于有效像素范围外区域且运动矢量交叉像素P1位于有效像素范围的情况下的提取像素决定部4的动作的另一例。例如，如图6所示，提取像素决定部4将帧f0的有效像素范围的预定的像素设为与插补像素Pi相同位置的帧f0的像素P02，并将像素P02决定为提取像素P0I。提取像素决定部4也可以将帧f0的有效像素范围的预定的像素决定为与之前叙述的像素P00等不同的像素。

如图4所示，在运动矢量交叉像素P1是有效像素范围的像素P113的情况下，提取像素决定部4将有效像素范围外标志flg1的值设定为表示有效像素范围的0，并将像素P113决定为提取像素P1I。

图7表示运动矢量交叉像素P0位于有效像素范围且运动矢量交叉像素P1位于有效像素范围外区域的情况下的提取像素决定部4的动作的一例。如图7所示，在运动矢量交叉像素P1是有效像素范围外区域的像素P1(-2)的情况下，提取像素决定部4将提取像素P1I决定为帧f1的有效像素范围的预定的像素，并将有效像素范围外标志flg1的值设定为表示有效像素范围外区域的1。

例如，如图7所示，提取像素决定部4将帧f1的有效像素范围的预定的像素设为仅具有水平方向分量的运动矢量MV与有效像素范围的轮廓交叉的像素P10，并将像素P10决定为提取像素P1I。

图8表示运动矢量交叉像素P0位于有效像素范围且运动矢量交叉像素P1位于有效像素范围外区域的情况下的提取像素决定部4的动作的另一例。例如，如图8所示，提取像素决定部4将帧f1的有效像素范围的预定的像素设为与插补像素Pi相同位置的帧f1的像素P12，并将像素P12决定为提取像素P1I。提取像素决定部4也可以将帧f1的有效像素范围的预定的像素决定为与之前叙述的像素P10等不同的像素。

作为到此为止的提取像素决定部4的说明，如图4～图8所示，仅叙述了运动矢量MV仅具有水平方向分量的情况，但运动矢量检测部1检测仅具有垂直方向的分量的运动矢量MV。另外，运动矢量检测部1检测具有水平方向和垂直方向的分量的运动矢量MV。在运动矢量MV仅具有垂直方向的分量的情况下，或者在运动矢量MV具有水平方向和垂直方向的分量的情况下，提取像素决定部4只要将运动矢量MV所通过的有效像素范围的最端部的像素作为有效像素范围的预定的像素即可。此外，运动矢量MV所通过的有效像素范围的最端部的像素是运动矢量MV与有效像素范围的轮廓交叉的像素。

提取像素决定部4决定的提取像素P0I能够由以插补像素Pi为基准指示帧f0内的提取像素的位置的水平方向以及垂直方向的矢量构成。提取像素决定部4决定的提取像素P1I能够由以插补像素Pi为基准指示帧f1内的提取像素的位置的水平方向以及垂直方向的矢量构成。

提取像素决定部4将所确定的提取像素P0I和提取像素P1I作为提取像素信号供给至插补像素生成部60。提取像素决定部4将所设置的有效像素范围外标志flg0和有效像素范围外标志flg1作为有效像素范围外信号供给至插补相位选择部5。

从相位信息生成部3向插补相位选择部5供给相位信息i，从提取像素决定部4将有效像素范围外标志flg0以及有效像素范围外标志flg1作为有效像素范围外信号供给至插补相位选择部5。如图4所示，插补相位选择部5计算出与帧f1的相位差为与相位信息i的值相同的值d、且与帧f0的相位差为从1减去相位信息i的值而得的值(1-d)的插补帧fi的相位。在此，帧f0的相位与帧f1的相位的相位差为1。将用于插补的像素所属的帧的相位设为插补相位，插补相位选择部5选择插补相位。

图9表示运动矢量交叉像素P0位于有效像素范围外区域且运动矢量交叉像素P1位于有效像素范围的情况下的插补相位选择部5的动作的一例。图14是表示插补相位选择部5的插补相位选择信号sel的选择条件的表。图9和图14表示以下的情况：有效像素范围外标志flg0的值是表示有效像素范围外区域的1，且有效像素范围外标志flg1的值是表示有效像素范围的0，且具有指向有效像素范围外区域的标志的帧f0与插补帧fi的相位差(1-d)大于阈值th((1-d)＞th)。在这种情况下，插补相位选择部5仅选择帧f1作为插补相位。

图10表示运动矢量交叉像素P0位于有效像素范围且运动矢量交叉像素P1位于有效像素范围外区域的情况下的插补相位选择部5的动作的一例。图10和图14表示以下的情况：有效像素范围外标志flg0的值是表示有效像素范围的0，且有效像素范围外标志flg1的值是表示有效像素范围外区域的1，且具有指向有效像素范围外区域的标志的帧f1与插补帧fi的相位差d大于阈值(d＞th)。在这种情况下，插补相位选择部5仅选择帧f0作为插补相位。

在除此以外的全部情况下，如图14所示，插补相位选择部5选择帧f0和帧f1两者作为插补相位。

图11表示运动矢量交叉像素P0位于有效像素范围外区域且运动矢量交叉像素P1位于有效像素范围的情况下的插补相位选择部5的动作的另一例。图11和图14表示以下的情况：有效像素范围外标志flg0的值是表示有效像素范围外区域的1，且有效像素范围外标志flg1的值是表示有效像素范围的0，且具有指向有效像素范围外区域的标志的帧f0与插补帧fi的相位差(1-d)小于阈值th((1-d)≤th)。在这种情况下，插补相位选择部5选择帧f0和帧f1两者作为插补相位。

图12表示运动矢量交叉像素P0位于有效像素范围且运动矢量交叉像素P1位于有效像素范围外区域的情况下的插补相位选择部5的动作的另一例。图12和图14表示以下的情况：有效像素范围外标志flg0的值是表示有效像素范围的0，且有效像素范围外标志flg1的值是表示有效像素范围外区域的1，且具有指向有效像素范围外区域的标志的帧f1与插补帧fi的相位差d大于阈值th(d≤th)。在这种情况下，插补相位选择部5选择帧f0和帧f1两者作为插补相位。

图4和图14表示以下的情况：有效像素范围外标志flg0的值是表示有效像素范围的0，并且有效像素范围外标志flg1的值是表示有效像素范围的0。在这种情况下，插补相位选择部5选择帧f0和帧f1两者作为插补相位。

插补相位选择部5能够将与实际帧和插补帧fi的相位差进行比较的阈值th设定为0以上且小于1的范围(0≤i＜1)。为了减轻在插补中使用相关性低的像素而产生的视觉上的不协调感，优选将阈值th设定为小于0.5的值。另外，将通过2-3下拉处理使帧率24Hz的原画即电影(film)影像转换为帧率60Hz而得的影像再进一步地通过帧插补技术等转换为帧率120Hz的情况下，原画的帧与最接近原画的插补帧的相位差为0.2。因此，通过将阈值th设定为0.2，能够进一步减轻视觉上的不协调感。在此，设帧f0的相位与帧f1的相位的相位差为1。

插补相位选择部5也可以根据运动矢量MV的可靠度、运动矢量MV的1帧内的直方图的偏差情况等因素，使与实际帧和插补帧fi的相位差进行比较的阈值th变动。运动矢量MV的可靠度例如可以设为运动矢量MV的大小越大则可靠度越低。运动矢量MV的可靠度也可以通过使用其他的公知技术来求出。运动矢量MV的1帧内的直方图的偏差情况例如也可以使用方差或标准偏差等统计值来求出。

插补相位选择部5将以上那样选择出的、仅将帧f0作为插补相位的信号、或者仅将帧f1作为插补相位的信号、或者将帧f0和帧f1两者作为插补相位的信号中的某一个作为插补相位选择信号sel。插补相位选择部5将插补相位选择信号sel供给至插补像素生成部60。

分别从提取像素决定部4对插补像素生成部60供给提取像素信号P0I和P1I，从插补相位选择部5对插补像素生成部60供给插补相位选择信号sel。插补像素生成部60基于提取像素信号P0I、提取像素信号P1I以及插补相位选择信号sel，生成插补帧fi内的各插补像素Pi。

在插补相位选择信号sel将图4及图11及图12所示的帧f0与帧f1作为插补相位的情况下，插补像素生成部60将提取像素信号P0I的像素值与提取像素信号P1I的像素值混合，生成插补像素Pi。

在插补相位选择信号sel仅将图9所示的帧f1作为插补相位的情况下，插补像素生成部60生成与帧f1的提取像素信号P1I的像素值相同的值的插补像素Pi。

在插补相位选择信号sel仅将图10所示的帧f0设为插补相位的情况下，插补像素生成部60生成与帧f0的提取像素信号P0I的像素值相同的值的插补像素Pi。

插补像素生成部60通过生成插补帧fi内的全部的插补像素Pi来生成插补帧fi。

插补帧内插部6在时间方向上相邻的帧f0与帧f1之间，在与帧f1的相位差为d的相位内插插补帧fi。

从图9～图12可以看出以下内容。根据本实施方式的插补帧生成装置100和方法，在为了生成插补像素而根据运动矢量选择的像素位于实际帧的有效像素范围外区域的情况下，并且在从指向有效像素范围外区域的像素所属的相位到插补帧的距离小于预定值的情况下，置换为有效像素范围的像素并作为在插补中使用的像素而提取。根据本实施方式的插补帧生成装置100和方法，在为了生成插补像素而根据运动矢量选择的像素位于实际帧的有效像素范围外区域的情况下，并且从指向有效像素范围外区域的像素所属的相位到插补帧的距离为预定值以上的情况下，仅使用指向有效像素范围的像素进行插补。因此，根据实施方式的插补帧生成装置100以及方法，能够生成视觉上的不协调感少的插补像素。

使用图13所示的流程图，重新说明本实施方式的插补帧生成装置100的动作以及插补帧生成装置100中执行的插补帧生成方法的处理。

在图13中，如果向运动矢量检测部1供给输入影像信号Sin而开始处理，则插补帧生成装置100开始插补帧生成的处理。在步骤S1中，运动矢量检测部1基于帧f0和帧f1的像素，检测用于生成各插补帧fi的各插补像素Pi的运动矢量MV。在步骤S2中，相位信息生成部3根据输入定时信号cnt生成相位信息i。

在步骤S3中，提取像素决定部4基于运动矢量MV和相位信息i计算出运动矢量交叉像素P0和P1。在步骤S4中，在运动矢量交叉像素P0和P1位于有效像素范围的情况下，提取像素决定部4将运动矢量交叉像素P0和P1确定为提取像素信号P0I和P1I。在步骤S4中，在运动矢量交叉像素P0和P1位于有效像素范围外区域的情况下，提取像素决定部4将有效像素范围的预定的像素确定为提取像素信号P0I和P1I。

在步骤S5中，在运动矢量交叉像素P0和P1位于有效像素范围内的情况下，提取像素决定部4将具有运动矢量交叉像素P0和P1的帧的有效像素范围外信号flg0和flg1设定为0。在步骤S5中，在运动矢量交叉像素P0和P1位于有效像素范围外区域的情况下，提取像素决定部4将具有运动矢量交叉像素P0和P1的帧的有效像素范围外信号flg0和flg1设定为1。步骤S4和步骤S5也可以调换处理的顺序。

在步骤S6中，插补相位选择部5将有效像素范围外信号flg0和flg1表示有效像素范围外区域的帧的相位与由相位信息i确定的插补帧fi的相位之间的相位差和阈值进行比较，由此选择插补相位，生成插补相位选择信号sel。

在步骤S7中，插补像素生成部60使用插补相位选择信号sel表示的插补相位的提取像素信号P0I和P1I所示的像素的像素值来生成插补像素Pi。在步骤S8中，插补像素生成部60判定是否生成了插补帧fi内的全部的插补像素Pi。如果在步骤S8中没有生成全部的插补像素Pi(步骤S8的“否”)，则反复进行步骤S1～S7的处理。

如果在步骤S8中生成了全部的插补像素Pi(步骤S8的“是”)，则在步骤S9中，插补像素生成部60判定是否持续地输入了输入影像信号Sin。在步骤S9中，如果持续地输入了输入影像信号Sin(步骤S9的“是”)，则反复进行步骤S1～步骤S8的处理。在步骤S9中，如果没有持续地输入输入影像信号Sin(步骤S9的“否”)，则插补像素生成部60结束插补帧生成的处理。

图1所示的帧率转换装置(插补帧生成装置100)可以由硬件(电路)构成，也可以由软件(计算机程序)构成至少一部分。在构成帧率转换装置(插补帧生成装置100)的基础上，硬件和软件的区分使用是任意的。例如，运动矢量检测部1、相位信息生成部3、提取像素决定部4、插补相位选择部5、插补帧内插部6也可以由ASIC(面向特定用途的集成电路)、PLD(可编程逻辑器件)或FPGA(现场可编程门阵列)等硬件构成。

也可以将计算机程序(帧率转换程序或插补帧生成程序)加载到主存储器并由CPU(Central Processing Unit：中央处理器)执行，由此使计算机执行图13所示的处理。计算机程序可以存储在非临时存储介质中，也可以通过互联网等通信线路向计算机发送。

本申请的公开与2018年10月12日申请的日本特愿2018-193038号所记载的主题相关，它们的全部公开内容通过引用而援引于此。

工业上的可利用性

本申请的公开能够应用在用于生成在一对实际帧间内插的插补帧的插补帧生成装置。

Claims (4)

1.一种插补帧生成装置，其特征在于，具备：

相位信息生成部，其生成表示在影像信号中的时间方向上相邻的第一帧与第二帧之间内插的插补帧的相位的相位信息；

提取像素决定部，其基于为了生成所述插补帧内的插补像素而检测出的运动矢量和所述相位信息来生成所述运动矢量与所述第一帧交叉的第一运动矢量交叉像素，基于所述运动矢量和所述相位信息来生成所述运动矢量与所述第二帧交叉的第二运动矢量交叉像素，基于所述第一运动矢量交叉像素决定第一提取像素，基于所述第二运动矢量交叉像素决定第二提取像素；

插补相位选择部，其基于由所述相位信息确定的所述插补帧的相位以及所述第一运动矢量交叉像素和所述第二运动矢量交叉像素是否在有效像素范围外区域，来选择用于插补的像素所属的帧；以及

插补像素生成部，其基于所述第一提取像素和第二提取像素及所述用于插补的像素所属的帧来生成所述插补像素，并生成所述插补帧，

在所述第一运动矢量交叉像素位于有效像素范围外区域，且所述第二运动矢量交叉像素位于有效像素范围，且所述第一帧的相位与所述插补帧的相位的相位差大于预定值的情况下，所述插补相位选择部仅将所述第二帧选择为所述用于插补的像素所属的帧，在所述第一运动矢量交叉像素位于有效像素范围，且所述第二运动矢量交叉像素位于有效像素范围外区域，且所述第二帧的相位与所述插补帧的相位的相位差大于所述预定值的情况下，所述插补相位选择部仅将所述第一帧选择为所述用于插补的像素所属的帧，在除此以外的情况下，所述插补相位选择部将所述第一帧和所述第二帧选择为所述用于插补的像素所属的帧，

在所述插补相位选择部仅将所述第二帧选择为所述用于插补的像素所属的帧的情况下，所述插补像素生成部仅使用所述第二提取像素的像素值来生成所述插补像素，在仅将所述第一帧选择为所述用于插补的像素所属的帧的情况下，所述插补像素生成部仅使用所述第一提取像素的像素值来生成所述插补像素，在将所述第一帧和所述第二帧选择为所述用于插补的像素所属的帧的情况下，所述插补像素生成部使用所述第一提取像素的像素值和所述第二提取像素的像素值来生成所述插补像素。

2.根据权利要求1所述的插补帧生成装置，其特征在于，

所述插补相位选择部将所述预定值设为比所述第一帧的相位与所述第二帧的相位的相位差除以2而得的值小的值。

3.根据权利要求1或2所述的插补帧生成装置，其特征在于，

在所述第一运动矢量交叉像素为有效像素范围的情况下，所述提取像素决定部将所述第一运动矢量交叉像素决定为所述第一提取像素，在所述第一运动矢量交叉像素为有效像素范围外区域的情况下，所述提取像素决定部将有效像素范围的预定的像素决定为所述第一提取像素，在所述第二运动矢量交叉像素为有效像素范围的情况下，所述提取像素决定部将所述第二运动矢量交叉像素决定为所述第二提取像素，在所述第二运动矢量交叉像素为有效像素范围外区域的情况下，所述提取像素决定部将有效像素范围的预定的像素决定为所述第二提取像素。

4.一种插补帧生成方法，其特征在于，

生成表示在影像信号中的时间方向上相邻的第一帧与第二帧之间内插的插补帧的相位的相位信息，

基于为了生成所述插补帧内的插补像素而检测出的运动矢量和所述相位信息来生成所述运动矢量与所述第一帧交叉的第一运动矢量交叉像素，基于所述运动矢量和所述相位信息来生成所述运动矢量与所述第二帧交叉的第二运动矢量交叉像素，基于所述第一运动矢量交叉像素决定第一提取像素，基于所述第二运动矢量交叉像素决定第二提取像素，

基于由所述相位信息确定的所述插补帧的相位以及所述第一运动矢量交叉像素和所述第二运动矢量交叉像素是否在有效像素范围外区域，来选择用于插补的像素所属的帧，

基于所述第一提取像素和第二提取像素及所述用于插补的像素所属的帧来生成所述插补像素，并生成所述插补帧，

在所述第一运动矢量交叉像素位于有效像素范围外区域，且所述第二运动矢量交叉像素位于有效像素范围，且所述第一帧的相位与所述插补帧的相位的相位差大于预定值的情况下，仅将所述第二帧选择为所述用于插补的像素所属的帧，在所述第一运动矢量交叉像素位于有效像素范围，且所述第二运动矢量交叉像素位于有效像素范围外区域，且所述第二帧的相位与所述插补帧的相位的相位差大于所述预定值的情况下，仅将所述第一帧选择为所述用于插补的像素所属的帧，在除此以外的情况下，将所述第一帧和所述第二帧选择为所述用于插补的像素所属的帧，

在仅将所述第二帧选择为所述用于插补的像素所属的帧的情况下，仅使用所述第二提取像素的像素值来生成所述插补像素，在仅将所述第一帧选择为所述用于插补的像素所属的帧的情况下，仅使用所述第一提取像素的像素值来生成所述插补像素，在将所述第一帧和所述第二帧选择为所述用于插补的像素所属的帧的情况下，使用所述第一提取像素的像素值和所述第二提取像素的像素值来生成所述插补像素。