CN111052184A - 动态图像处理装置、显示装置、动态图像处理方法以及控制程序 - Google Patents

Abstract

动态图像中的物体识别用的计算成本与现有相比降低。处理由多个帧构成的动态图像的信号处理部(10)包括：物体识别部(13)，其识别在所述动态图像中被表现的物体；区域设定部(12)，其基于所述动态图像中的第N帧中的所述物体的图像的、第N+1帧中的位置，设定在第N+1帧中作为所述物体识别部(13)的识别对象的区域即识别对象区域，N为自然数。

Description

动态图像处理装置、显示装置、动态图像处理方法以及控制 程序

技术领域

以下的公开涉及一种处理由多个帧构成的动态图像的动态图像处理装置等。

背景技术

近年来，已经提出了各种动态图像处理技术。作为示例，专利文献1中公开的技术目的在于，检测动态图像中移动的物体(移动物体)的图像，高精度地识别该移动物体的种类或属性。

具体地，专利文献1的物体识别装置包括：(i)物体检测部，其检测动态图像中的移动物体、(ii)流线计算部，其求出移动物体的流线、以及(iii)物体识别部，其基于移动物体的流线的形状识别该移动物体的种类或物体的属性。

现有技术文献

专利文献

专利文献1：日本国公开专利公报“2016-57998号公报(2016年4月21日公开)”

发明内容

本发明所要解决的技术问题

然而，专利文献1的技术不旨在执行用于物体识别的高精度的图像识别(示例：使用深度学习技术的图像识别)。另一方面，若要执行这种高精度的图像识别，则在专利文献1的技术中会造成用于动态图像中的物体识别的计算成本变得非常高。本公开的一形态的目的在于，与现有相比，用于动态图像中的物体识别的计算成本降低。

用于解决技术问题的技术方案

为了解决上述技术问题，本公开的一形态涉及的动态图像处理装置，其处理由多个帧构成的动态图像，所述动态图像处理装置包括：物体识别部，其识别在所述动态图像中被表现的物体；区域设定部，其基于所述动态图像中的第N帧(N为自然数)中的所述物体的图像的、第N+1帧中的位置，设定在第N+1帧中作为所述物体识别部的识别对象的区域即识别对象区域。

此外，为了解决上述技术问题，本公开的一形态涉及的动态图像处理方法，其处理由多个帧构成的动态图像，所述动态图像处理方法包括：物体识别工序，在所述物体识别工序中识别在所述动态图像中被表现的物体；区域设定工序，在所述区域设定工序中基于所述动态图像中的第N帧(N为自然数)中的所述物体的图像的、第N+1帧中的位置，设定在第N+1帧中作为所述物体识别部的识别对象的区域即识别对象区域。

有益效果

根据本公开的一个形态的动态图像处理装置，与现有相比，可以降低用于动态图像中的物体识别的计算成本。此外，根据本公开的一形态的动态图像处理方法，也可以获得同样的效果。

附图说明

图1是表示显示装置的要部的构成的功能模块图。

图2是用于说明运动矢量的概略图。

图3是用于说明第N帧中的识别对象区域的图。

图4是例示图1的显示装置中的直方图生成处理的流程的图。

图5的(a)和(b)分别是用于说明块包含条件的图。

图6的(a)和(b)分别表示由直方图生成处理获得的两个直方图的示例图。

图7的(a)～(c)分别表示在直方图生成处理中使用或设定的数据的示例图。

图8是例示图1的显示装置中的直方图解析处理的流程的图。

图9是表示多个识别对象区域候选的一示例图。

图10是表示对多个识别对象区域候选进行物体识别的结果的一示例图。

图11是用于说明第N+1帧中的识别对象区域的差异的图。图12的(a)和(b)分别是例示第二实施方式中的第N-1帧和第N帧之间的两个直方图的每一个的值的分布的变化图。

图13是表示在第二实施方式中，扩大第N帧中的识别对象区域而设定第N+1帧中的识别对象区域候选的示例图。

图14是表示第三实施方式涉及的动态图像处理装置的要部的构成的功能模块图。

图15是表示第四实施方式涉及的动态图像处理装置的要部的构成的功能模块图。

具体实施方式

〔第一实施方式〕

以下，基于图1～图11详细说明第一实施方式。首先，参照图1陈述第一实施方式的显示装置1的概要。图1是表示显示装置1的要部的构成的功能模块图。

(显示装置1的概要)

显示装置1包括信号处理部10(动态图像处理装置)、显示部80以及存储部90。作为示例，显示装置1可以是电视或PC(Personal Computer，个人计算机)。或者，显示装置1也可以是多功能型移动电话(智能手机)或平板电脑等便携式信息终端等。

如下所述，在显示装置1中，在信号处理部10对动态图像(输入图像图像、输入影像信号)实施处理，并且处理后的动态图像(输出动态图像、输出影像信号)被输出在显示部80。显示部80是显示动态图像的构件，例如，可以是液晶显示器或有机EL(Electro-Luminescence，电致发光)显示器。

在第一实施方式中，为了便于说明，输入动态图像也称为动态图像A，输出动态图像也称为动态图像C。在第一实施方式中，例示了在信号处理部10中在动态图像C之前生成动态图像B(中间的动态图像)的情况。另外，第一实施方式中的各动态图像由多个帧构成。

信号处理部10是作为统括性地控制显示装置1的各部分的控制部(未图示)的一部分而设置。可以通过由CPU(Central Processing Unit:中央处理单元)执行存储在存储部90中的程序来实现该控制部的功能。稍后详细陈述信号处理部10的各部分的功能。存储部90用于存储由信号处理部10执行的各种程序以及被程序使用的数据。

在第一实施方式中，例示了从外部向信号处理部10(更具体地，稍后说明的帧率转换部11)提供动态图像A的情况。也可以通过由例如显示装置1的调谐器(未图示)接收及解码来自外部的广播波(电波)，而在显示装置1的内部生成动态图像A。在这种情况下，动态图像A从调谐器提供给信号处理部10。

动态图像A是作为信号处理部10中处理的对象的动态图像。作为示例，动态图像A的分辨率可以是4K2K(水平像素数3840×垂直像素数2160)。但是，第一实施方式中陈述的各动态图像的分辨率不限定于上述，也可以适当地设定。例如，动态图像A的分辨率也可以是全HD(水平像素数1920×垂直像素数1080)，也可以是8K4K(水平像素数7680×垂直像素数4320)。

当动态图像A预先存储在存储部90中时，信号处理部10也可以从存储部90获得动态图像A。或者，信号处理部10也可以从连接到显示装置1的外部装置(示例：数字电影摄影机)获得动态图像A。

如下所述，信号处理部10处理作为输入动态图像的动态图像A，并生成作为输出动态图像的动态图像C。然后，信号处理部10(更具体地，稍后说明的画质校正部14)将动态图像C提供给显示部80。因此，在显示部80可以显示动态图像C。另外，控制显示部80的动作的显示控制部(未图示)可以设置在信号处理部10中，也可以设置在显示部80自身中。

(信号处理部10)

接着，陈述信号处理部10的具体构成。如图1所示，信号处理部10包括帧率转换部11、窗口设定部12(区域设定部)、物体识别部13以及画质校正部14。

如下所述，窗口设定部12和物体识别部13是本公开的一个形态涉及的动态图像处理装置的主要部分。窗口设定部12和物体识别部13也可以统称为“识别处理部”。在图1和稍后说明的各附图中，为了便于说明，识别处理部线由虚线表示。

帧率转换部11包括插值图像生成部111和运动矢量计算部112。将动态图像A提供给插值图像生成部111和运动矢量计算部112中的每一个。

插值图像生成部111增加动态图像A的帧率。具体地，插值图像生成部111从动态图像A中提取构成该动态图像A的多个帧中的每一个。由插值图像生成部111提取的各帧可以存储在例如帧存储器(未图示)中。该帧存储器可以设置在帧率转换部11，也可以设置在帧率转换部11的外部。

然后，插值图像生成部111使用公知的算法，并基于所述帧而生成插帧(中间帧)。例如，插值图像生成部111可以使用如下所述的运动矢量来生成插帧。然后，插值图像生成部111通过在每个规定的帧间隔将插帧插入到动态图像A中来增加动态图像A的帧率。

以下，插值图像生成部111中处理后的动态图像也称为动态图像B。作为示例，帧率转换部11可以使动态图像A的帧率增加两倍。例如，当动态图像A的帧率是60fps(framesper second，每秒帧数)时，插值图像生成部111生成具有120fps帧率的动态图像B。

但是，帧率转换部11中的帧率的转换倍率不限定于上述示例，也可以适当地设定。此外，在第一实施方式中陈述的各动态图像的帧率也不限定于上述示例。作为示例，帧率转换部11也可以通过相对于帧率为24fps的动态图像A使帧率增加10倍来生成帧率为240fps的动态图像B。

通过设置插值图像生成部111，可以将显示部80所显示的动态图像的帧率转换为与显示部80的性能规格对应的帧率。然而，如稍后说明的第三实施方式等所示，希望注意，插值图像生成部111不是信号处理部10中必须的构成要素。这是因为，例如，如果动态图像A的帧率已经是与显示部80的性能规格相对应的帧率，则无需在插值图像生成部111中生成动态图像B(转换动态图像A的帧率)。

插值图像生成部111将动态图像B提供给画质校正部14。此外，插值图像生成部111将动态图像B的至少一部分提供给物体识别部13。在第一实施方式中，例示了从插值图像生成部111向物体识别部13提供整体动态图像B的情况。

运动矢量计算部112通过解析动态图像A(更具体地，存储在帧存储器中的动态图像A的各帧)来计算(检测)运动矢量。可以使用公知的算法来计算运动矢量计算部112中的运动矢量。

另外，在从信号处理部10中排除插值图像生成部111的情况下，可以将从动态图像A提取各帧的功能赋予给运动矢量计算部112。进一步地，如稍后说明的第四实施方式所示，可以进一步从信号处理部10中排除运动矢量计算部112。即，希望注意，帧率转换部11(插值图像生成部111和运动矢量计算部112)不是信号处理部10必须的构成要素。

接着，说明运动矢量。首先，考虑构成动态图像(示例：动态图像A)的各帧在空间上被分割为多个块(区域)的情况。运动矢量是表示与在一帧(示例：基准帧)中的块(更具体地，位于块内的虚拟对象)和在该一帧之后的另一帧(示例：基准帧的下一帧)中的对应块的位置偏差的矢量。

即，运动矢量是表示一帧中的块移动到后续的另一帧中的哪个位置的矢量。运动矢量是作为表示上述块的移动量的指标而被使用。

图2是用于说明运动矢量的概略图。如图2所示，动态图像所包含的各帧均匀地被分割为水平方向的长度(分辨率)为a、垂直方向的长度为b的块。此处，动态图像的水平像素数表示为H，垂直像素数表示为V。另外，水平方向也称为x方向，垂直方向也称为y方向。

在这种情况下，各帧在水平方向上被分割为(H/a)，并且在垂直方向上被分割为(V/b)。即，各帧被分割为(H/a)×(V/b)个块。另外，a、b、H和V的值可以分别任意地设定。作为示例，当a＝b＝1时，一个块与一个像素一致。

此处，图2中的块之一表示为Block(i，j)。i和j分别是表示各帧中的水平方向和垂直方向上的位置的指标(序列号)。i是xy坐标中的x方向分量(以下也称为x分量)的序号。此外，j是xy坐标中的y方向分量(以下也称为y分量)的序号。

此外，在图2的纸面上的各块中，位于最左上方的块设为Block(0,0)。此外，在图2中，(i)水平方向上的块序列号设定为从左侧向右侧逐个增加，(ii)垂直方向上的块序列号设定为从上侧到下侧逐个增加。因此，如果I＝H/a-1，且J＝V/b-1，则“0≤i≤I，且0≤j≤J”。

如图2所示，Block(i，j)的运动矢量表示为MV(i，j)＝(MVx(i，j)，MVy(i，j))。MVx是运动矢量MV的x分量，此外，MVy是运动矢量MV的y分量。因此，运动矢量MV也可以统一表示为MV＝(MVx，MVy)。

运动矢量计算部112计算图2中的各块的运动矢量(MVx，MVy)。然后，运动矢量计算部112将该运动矢量(MVx，MVy)提供给插值图像生成部111和窗口设定部12。

窗口设定部12包括直方图生成部121和直方图解析部122。如下所述，窗口设定部12基于在动态图像(示例：动态图像B)的第N帧(N为自然数)(当前帧)中表现的物体的图像的、第N+1帧(下一帧)中的位置，设定该第N+1帧中的识别对象区域。另外，识别对象区域指作为由物体识别部13识别的物体的识别对象的区域。

更具体地，窗口设定部12基于动态图像的运动矢量中的、第N帧中的识别对象区域所包括的运动矢量(识别对象区域中的运动矢量)，设定第N+1帧中的识别对象区域。如下所述，第N帧中的识别对象区域包括物体的图像的至少一部分。

图3是用于说明第N帧中的识别对象区域的图。图3中的Window(x0：x1，y0：y1)是表示四个点(x0，y0)、(x0，y1)、(x1，y1)和(x1，y0)作为顶点的四边形(矩形，长方形)(也参照稍后说明的图5等)。以下，Window(x0：x1，y0：y1)也简称为“窗口”。x0和x1分别是满足0≤x0和x1≤H-1的整数。此外，y0和y1分别是满足0≤y0和y1≤V-1的整数。

在图3中例示了两个物体OBJ(示例：云)和OBJ2(示例：新月)的图像在第N帧中表现的情况。在第一实施方式中，说明将物体OBJ作为由物体识别部13的识别对象来处理的情况。在这种情况下，如下所述，Window(x0：x1，y0：y1)是第N帧中的识别对象区域。在图3的示例中，Window(x0：x1，y0：y1)包括物体OBJ的图像整体和OBJ的图像的背景BG。

窗口设定部12基于Window(x0：x1，y0：y1)中包括的运动矢量(MVx，MVy)设定第N+1帧中的识别对象区域。稍后说明窗口设定部12的识别对象区域的具体的设定方法(即，直方图生成部121和直方图解析部122的具体的动作)。

物体识别部13识别在动态图像(示例：动态图像B)中表现的物体。更具体地，如图3所示，物体识别部13识别第N帧中的识别对象区域即Window(x0：x1，y0：y1)中包括的物体OBJ。更具体地，物体识别部13检测物体OBJ的图像，并确定该物体OBJ所属的物体的类别(以下，物体类别)。例如，物体识别部13确定物体OBJ的物体类别是云。

由物体识别部13的物体识别方法(物体类别的确定方法)可以使用任何方法。作为示例，物体识别方法也可以利用深度学习(deep learning)(也被称为深层学习)技术。但是，也可以采用其它公知的物体识别方法。

在第一实施方式中例示了物体识别部13进行使用深度学习技术等神经网络的机械学习的情况。在这种情况下，只要使物体识别部13使用多个物体的图像(示例：稍后说明的参考图像)而预先进行机械学习，以获得用于识别物体(确定物体类别)的模型即可。以下，将该模型被称为学习完毕模型。

在以下说明中，假设物体识别部13包括学习完毕模型。物体识别部13可以通过将OBJ与学习完毕模型进行对照来识别物体OBJ(能够确定OBJ的物体类别)。

通过使用深度学习技术，与其他公知的物体识别方法相比较，可以高精度地进行物体识别部13的物体识别。特别地，在通过使用足够的硬件资源的学习来使物体识别部13获得学习完毕模型的情况下，可以更高精度地识别物体。

另外，当使用深度学习技术时，显示装置1的设计者不必预先准备用于识别物体的模型。因此，可以根据机械学习的结果获得与广范围的物体的质感对应的学习完毕模型。

然而，已知利用深度学习技术等神经网络获得的学习完毕模型的物体识别是计算成本比较高的处理。然而，如上所述，物体识别部13只要仅对第N帧中的识别对象区域进行物体的识别即可。即，物体识别部13不需要对第N帧的区域整体执行物体识别。如此，通过预先缩小作为物体识别部13进行物体的识别的对象的区域，可以有效地减少用于物体识别的计算成本。

物体识别部13生成表示Window(x0：x1，y0：y1)中的物体OBJ的识别结果的物体识别信息，并将该物体识别信息提供给画质校正部14。物体识别信息可以用作表示物体OBJ的质感的指标之一。

画质校正部14处理上述动态图像B并生成动态图像C(输出动态图像)。然后，画质校正部14将动态图像C提供给显示部80。画质校正部14可以根据显示部80的性能规格对动态图像B实施公知的图像质量校正处理。作为图像质量校正处理的示例，可以例举颜色校正、对比度校正、边缘校正以及图像质量锐化等处理。

进一步地，在第一实施方式中，画质校正部14可以基于从物体识别部13获得的物体识别信息(即，根据物体识别部13的识别结果)来处理动态图像B。即，也可以使画质校正部14处理动态图像B，以更有效地表现物体OBJ的质感。根据该处理，可以提高在动态图像C中表现的物体OBJ的质感。

在现有中，为了充分表现在动态图像中表现的物体的质感，通过具有非常高分辨率的相机(摄像装置)拍摄以及记录动态图像，需要将高分辨率格式的影像信号输入到显示装置1(影像显示装置)在显示器上显示高分辨率格式的影像信号(示例：使用8K4K级别的分辨率格式)。或者，即使当动态图像的分辨率非常高时，在提供由不可逆压缩生存的压缩动态图像数据(稍后说明)的情况下，在对该压缩动态图像数据解码时会发生动态图像的劣化。在这种情况下，该劣化导致动态图像中质感的表现性降低。如上所述，在现有中，不容易在动态图像中有效地表现质感。

但是，根据画质校正部14，(i)即使在动态图像的分辨率不一定足够高的情况下，或者(ii)即使在压缩动态图像数据的解码时发生动态图像的劣化的情况下，也可以有效地表现物体的质感。即，可以以与现有相比简单的构成的方式提供能够充分表现物体质感的动态图像。

作为示例，在物体OBJ的物体类别被确定为“云”的情况下，在画质校正部14中执行规定的动态图像处理(示例：轮廓校正)，以提高云的“蓬松”质感(表示轻的原材料感)。

(窗口设定部12中的直方图生成处理的流程)

接着，将具体说明窗口设定部12中的直方图生成部121以及直方图解析部122各自的动作。首先，陈述直方图生成器121的动作。图4是例示直方图生成部121及其周边的功能部的处理流程S1～S3b的流程图。图4的处理也称为直方图生成处理。

直方图生成部121对包括在动态图像中的各帧(每次输入一帧动态图像)执行直方图生成处理。以下，例示直方图生成部121处理动态图像的第N帧的情况。

首先，在S1中，第N帧中的识别对象区域即Window(x0：x1，y0：y1)由稍后说明的直方图解析部122设定。在后述的图8中陈述(特别地，参照图8的处理S16)直方图解析部122设定Window(x0：x1，y0：y1)的方法。

限定Window(x0：x1，y0：y1)的四个值“x0，x1，y0，y1”在输入第N帧的有效数据的期间(有效数据期间)之前被设定，并且直到直方图生成处理完成保持不变。稍后说明的图7的(a)例示了表示四个值“x0，x1，y0，y1”的表。图7是表示在直方图生成处理中使用或设定的数据的示例的表。

以下，如图7的(a)所示，设x0＝300，y0＝600，x1＝400，y1＝700。另外，在图7的(a)中，为了方便起见，添加下标“Window”以表示这四个参数限定的窗口。

接着，直方图生成部121生成表示关于包括在Window(x0：x1，y0：y1)中的运动矢量的水平分量和垂直分量每一个的统计值的直方图。

以下，运动矢量的水平分量的直方图称为HistogramH。HistogramH将运动矢量的水平分量设为级别(横轴的值)。此外，运动矢量的垂直分量的直方图称为HistogramV。HistogramV将运动矢量的垂直分量设为级别。

首先，在S2中，直方图生成部121将HistogramH和HistogramV初始化。即，直方图生成部121在所有级别的HistogramH和HistogramV中将数量(纵轴的值)设置为0(清除)。换而言之，直方图生成部121将HistogramH和HistogramV的所有数量设定为空集(Φ)。

图4中的S3a到S3b是在整个上述有效数据期间(即，第N帧整体)对每个Block(i，j)逐次进行的处理。S3a/S3b是表示垂直方向上的处理的循环(循环1)。随着在垂直期间在垂直方向上扫描动态图像而进行循环1。

即，在循环1中，j＝0,1,2,3,...,J(＝V/b-1)，j逐一递增，并且选择Block(i，j)。另外，i的值在循环2(稍后说明)中设定。然后，按照选择Block(i，j)的顺序逐次重复循环1内所包括的各处理(S4a～S4b)。

S4a/S4b是表示水平方向上的处理的循环(循环2)。随着在水平期间在水平方向上扫描动态图像而进行循环2。即，在循环2中，在循环1中设定的规定的j的情况下，作为i＝0,1,2,3，...,I(＝H/a-1)，i逐一增加，并选择Block(i，j)。然后，按照选择Block(i，j)的顺序逐次重复循环2内所包括的各处理(S5～S7)。

在S5中，运动矢量计算部112检测Block(i，j)的运动矢量(MVx，MVy)。如上所述，可以使用根据S5的插值图像生成部111中的运动向量(MVx，MVy)来生成插帧。但是，插值图像生成部111中的插帧的生成处理不对直方图生成处理的结果造成影响。

在S6中，直方图生成部121判断S5中的处理对象(运动矢量(MVx，MVy)的检测对象)即Block(i，j)是否包含在Window(x0：x1，y0：y1)内。即，直方图生成部121判断是否满足条件

这种条件(以下，称为块包含条件)。

图5的(a)和图5的(b)是用于说明块包含条件的图。如上所述，Block(i，j)是具有a×b像素大小的区域。具体地，Block(i，j)的大小例如是8×8像素或16×16像素的大小。即，以Block(i，j)的大小与上述物体OBJ的图像相比足够小的方式设定a和b的值。因此，Block(i，j)的大小与Window(x0：x1，y0：y1)(包括物体OBJ的图像的区域)相比也足够小(也参照上述图3)。

因此，上述块包含条件可以近似地重写为，例如以下第一判断条件：

(第一判断条件)：“(x0≤a×i)∧(a×(i+1)≤x1)∧(y0≤b×j)∧(b×(j+1)≤y1)为真”。

因此，直方图生成部121也可以使用第一判断条件来判断是否满足块包含条件。在图5的(a)中，通过相对于规定的Window(x0：x1，y0：y1)的对角线表示满足第一判断条件的块。在图5的(a)的示例中，判断由对角线表示的12个(＝4×3个)块满足块包含条件。

或者，上述块包含条件可以近似地重写为，例如是以下第二判断条件：

(第二判断条件)：“(x0≤a×(i+1))∧(a×i≤x1)∧(y0≤b×(j+1))∧(b×j≤y1)为真”。

因此，直方图生成部121可以使用第二判断条件来判断是否满足块包含条件。在图5的(b)中，通过相对于与图5的(a)同样的Window(x0：x1，y0：y1)的对角线表示满足第二判断条件的块。

在图5的(b)的示例中，判断由对角线表示的30个(＝5×6个)块满足块包含条件。如此，根据第二判断条件，可以判断与第一判断条件相比更多的块满足块包含条件。在块包含条件的判断中，使用第一判断条件还是第二判断条件可以由显示装置1的设计者适当地选择。

在Block(i，j)满足块包含条件的情况下(S6中的是)，进入到以下的S7。另一方面，在Block(i，j)不满足块包含条件的情况下(S6中的否)，则进入到S4b。即，不执行S7。

在S7中，直方图生成部121针对Window(x0：x1，y0：y1)的Block(i，j)中的每一个，获得运动矢量计算部112检测到的运动矢量(MVx，MVy)。然后，直方图生成部121从运动矢量(MVx，MVy)获得各分量MVx和MVy的值(将运动矢量分解为水平分量和垂直分量)。

在第一实施方式中，HistogramH使用按一个像素单位的分量MVx的每个值作为级别。因此，当在一个Block(i，j)中存在规定的MVx值时，直方图生成器121将在HistogramH中的该MVx的值例如四舍五入后的整数值所表示的级别的数量只加1。

例如，在一个Block(i，j)中，当MVx＝-1时(当检测到表示向x方向的负方向上的移动量为1像区域的运动矢量的x分量MVx时)，将HistogramH中的“级别-1”的数量加法计数为1。

此外，HistogramV使用一个像素单位的分量MVy的每个值作为级别。因此，当在一个Block(i，j)中存在规定的MVy值时，直方图生成器121将在HistogramV中的该MVy的值例如四舍五入后的整数值所表示的级别的数量只加1。例如，在一个Block(i，j)中，当MVy＝-1时(当检测到表示向y方向的正方向的移动量为1像区域的运动矢量的y分量MVy时)，将HistogramV中的“级别-1”的数量加法计数为1。

然后，随着上述循环2/1的完成，直方图生成处理完成。另外，直方图生成处理的完成与上述帧率转换处理的完成并行。

图6的(a)和6的(b)分别表示在直方图生成处理完成时获得的HistogramH和HistogramV的示例。图6表示相对于图3中的第N帧而获得的两个直方图(HistogramH和HistogramV)。

图7的(b)和7的(c)分别例示了表示图6中的各级别的HistogramH和HistogramV中的数量的表格。图7的(b)和7的(c)中，为了方便起见，附加下标“Histogram_N”以表示各数值是相对于第N帧而获得的直方图。此外，以下，为了便于说明，MVx和MVy的每个级别适当地由字母“x”和“y”简单地表示。

如图6的(a)所示，在HistogramH中，在级别x＝7(稍后说明的MVxP1)中，x方向上的最大数量(第一最高数量的峰值)(以下，也称为第一峰值数量)。具体地，x方向上的第一峰值数量是10。以下，具有第一峰值数量的级别被称为第一峰值级别。

此外，如图6的(b)所示，在HistogramV中，在级别y＝-5(后面说明的MVyP1)中存在y方向上的最大数量(第一峰值数量)。具体而言，y方向的第一峰值数量为7。

“X＝7是x方向上的第一个峰值级别，且y＝-5是y方向上的第一个峰值级别”的事实表示为，图3的OBJ的代表运动矢量是“在x方向的正方向上移动7个像区域，且在y方向的负方向上移动5个像区域”的运动。

进一步地，如图6的(a)所示，在HistogramH中，在级别x＝0(后面说明的MVxP2)中，在x方向中存在第二高数量的峰值(以下也称为第二峰值数量)。具体地，x方向上的第二峰值数量是5。以下，具有第二峰值数量的级别被称为第二峰值级别。

此外，如图6的(b)所示，在HistogramV中，在级别y＝0(稍后说明的MVxP2)中，在y方向上存在第二峰值数量。具体而言，y方向的第二峰值数量为4。

“x＝0是x方向上的第二峰值级别，且y＝0是y方向上的第二峰值级别”的事实表示图3中的背景BG几乎是静止的(x方向或y方向中的任何一个几乎不移动)。

(窗口设定部12中的直方图解析处理的流程)

接着，陈述直方图解析部122的动作。图8是表示直方图解析部122及其周边的功能部的处理流程S11～S16的流程图。图8的处理也称为直方图解析处理。直方图解析处理是在完成上述直方图生成处理之后(换而言之，在帧率转换处理完成之后)进行。

在S11中，直方图解析部122获得在上述直方图生成处理中由直方图生成部121生成的HistogramH和HistogramV。然后，直方图解析部122针对HistogramH和HistogramV中的每一个搜索数量分布的峰值级别(获得数量峰值(最大值)的级别)。峰值级别的搜索也可以使用公知的算法。

例如，通过重复“发现具有第一峰值数量(整体的最大数量)的级别(第一峰值级别)。接着，发现具有不与上述级别(第一峰值级别)相邻的、第二高的数量(第二峰值数量)的级别(第二峰值级别)。接着，发现具有不与上述级别(第一～二峰值级别)相邻的、第三高的数量(第三峰值数量)的级别(第三峰值级别)。…(以下省略)”的处理，可以搜索Np个峰值级别。

以下，考虑HistogramH和HistogramV中的每一个具有Np个峰值级别的情况。此外，x方向上的第k峰值级别表示为MVxPk，y方向上的第m峰值级别表示为MVyPm。这里，1≤k≤Np且1≤m≤Np。

作为示例，考虑直方图解析部122通过上述处理针对图6中的HistogramH和HistogramV中的每一个搜索Np＝2的峰值级别的情况。

直方图解析部122针对HistogramH发现MVxP1＝7(第一峰值数量＝10)、MVxP2＝0(第二峰值数量＝5)(参照图6的(a)和图7的(b))。此外，直方图解析部122针对HistogramV发现MVyP1＝-5(第一峰值数量＝7)和MVyP2＝0(第二峰值数量＝4)(参照图6的(b)和图7的(c))。

在S12中，直方图解析部122使用在S11中获得的MVxPk和MVyPm来计算物体的移动量的估计值(以下，称为移动量估计值)。具体地，直方图解析部122计算Np×Np＝Np²种移动量估计值。更具体地，直方图解析部122将Np种MVxPk和Np种MVyPm值组合来计算移动量估计值作为二维矢量。

例如，直方图解析部122使用Np个MVxPk的值的每一个设为移动量估计值的x分量，且将Np个MVyPm值的每一个设为移动量估计值的y分量来计算(设定)移动量估计值。在上述示例的情况下，直方图解析部122按

(MVxP1，MVyP1)＝(7，-5)；

(MVxP1，MVyP2)＝(7,0)；

(MVxP2，MVyP1)＝(0，-5)；

(MVxP2，MVyP2)＝(0,0)来计算四种移动量估计值。

但是，直方图解析部122不一定需要计算Np²种(所有组合)的移动量估计值。例如，直方图解析部122也可以通过进行一些估计来排除Np种MVxPk值和Np种MVyPm值的组合的一部分。在这种情况下，由于移动量估计值的数量可以少于Np²，因此可以降低用于计算移动量估计值的计算成本。

在S13中，直方图解析部122使用在S12中获得的Np²种移动量估计值，并基于Window(x0：x1，y0：y1)(第N帧中的识别对象区域)来设定Np²种的区域Region(x0'：x1'，y0'：y1')。Region(x0'：x1'，y0'：y1')表示四个点(x0'，y0')，(x0'，y1')，(x1'，y1')，(x1'，y0')设为顶点的四边形(矩形，长方形)。

多个Region(x0'：x1'，y0'：y1')中的每一个是第N+1帧中的识别对象区域的候选。因此，Region(x0'：x1'，y0'：y1')也被称为识别对象区域候选。在第一实施方式中，Region(x0'：x1'，y0'：y1')是使Window(x0：x1，y0：y1)只平行移动移动量估计值的区域。

也就是说，Region(x0'：x1'，y0'：y1')也可以被理解为在保持Window(x0：x1，y0：y1)的形状的同时，跟随物体的移动而设定的区域。

具体地，直方图解析部122通过计算四个值x0’、x1'、y0'和y1'来设定Region(x0'：x1'，y0'：y1')。更具体地，直方图解析部122按x0'＝x0+MVxPk(k＝1,2，...，Np)；

x1'＝x1+MVxPk(k＝1,2，...，Np)；

y0'＝y0+MVyPm(m＝1,2，...，Np)；

y1'＝y1+MVyPm(m＝1,2，...，Np)来计算Np²种的“x0'，x1'，y0'，y1’的设置(即，设定Np²种的识别对象区域候选)。

以下，将参照图9说明使用上述具体的数值的示例。图9是表示直方图解析部122设定的四种Region(x0'：x1'，y0'：y1')(即，多个识别对象区域候选的示例)的图。

(“k＝1，m＝1”的情况)

直方图解析部122在“k＝1，m＝1”的情况下，按

x0'＝x0+7；

x1'＝x1+7；

y0'＝y0-5；

y1'＝y1-5来设定Region(x0'，x1'，y0'，y1')。以下，该识别对象区域候选被称为第一识别对象区域候选。第一识别对象区域候选是使Window(x0：x1，y0：y1)在x方向和y方向上移动的区域。

(“k＝2，m＝1”的情况)

直方图分析单元122在“k＝2，m＝1”的情况下，按

x0'＝x0；

x1'＝x1；

y0'＝y0-5；

y1'＝y1-5；

来设定Region(x0'：x1'，y0'：y1')。以下，该识别对象区域候选被称为第二识别对象区域候选。第二识别对象区域候选是使Window(x0：x1，y0：y1)只在y方向上移动的区域。

(“k＝1，m＝2”的情况)

直方图分析单元122在“k＝1，m＝2”的情况下

x0'＝x0+7；

x1'＝x1+7；

y0'＝y0；

y1'＝y1；

来设定Region(x0'，x1'，y0'，y1')。以下，该识别对象区域候选被称为第三识别对象区域候选。第三识别对象区域候选是使Window(x0：x1，y0：y1)只在x方向上移动的区域。

(“k＝2，m＝2”的情况)

直方图解析部122在“k＝2，m＝2”的情况下按

x0'＝x0；

x1'＝x1；

y0'＝y0；

y1'＝y1；

来设定Region(x0'，x1'，y0'，y1')。以下，该识别对象区域候选被称为第四识别对象区域候选。第四识别对象区域候选是与Window(x0：x1，y0：y1)相同的区域。

在S14(物体识别工序)中，物体识别部13将多个Region(x0'：x1'，y0'：y1')中的每一个(第一识别对象区域候选～第四识别对象区域候选中的每一个)作为对象而进行物体的识别。如上所述，从提高物体识别的精度的观点来看，物体识别部13通过深度学习技术等CNN(Convolutional Neural Network，卷积神经网络)进行物体的识别。

通过成为物体识别部13的识别对象的区域缩小到第一识别对象区域候选～第四识别对象区域候选，与帧整体成为识别对象的情况相比，可以有效地降低物体识别部13中的物体识别的计算成本。如上所述，由于通过CNN的识别物体是计算成本高的处理，这一点特别有益。

此外，通过CNN的识别不限定于物体的识别。例如，可以通过CNN的识别进一步执行场景识别或原材料识别等。

然而，作为物体的识别方法，已知SIFT、SURF和HOG等计算成本比较低的方法(示例：使用局部特征提取的方法)。在使用这种方法的情况下，可以将帧整体设为识别对象，但是难以获得足够的物体识别的精度。

显示装置1的构成是由本申请的发明人(下文中，发明人)基于“提高物体识别的精度的同时，降低用于物体识别的计算成本”的思想新想到的。更具体地，发明人基于该想法想到了显示装置1的窗口设定部12的具体的构成。

在S15中，物体识别部13在第N+1帧中，从第一识别对象区域候选～第四识别对象区域候选的每一个确定识别对象区域候补，该识别对象区域候补包括在第N帧中确定的物体的图像的至少一部分。例如，物体识别部13从对第一识别对象区域候选～第四识别对象区域候选的每一个的物体识别结果确定一个结果作为正确答案。

例如，在通过CNN进行图像分类的情况下，物体识别的结果一般作为各分类(各物体的类别)以及该分类概率的多个设置而获得。因此，在针对第一识别对象区域候选～第四识别对象区域候选中的每一个的物体识别结果中，可以将最大的分类概率获得的分类确定为正确答案。

然而，考虑到当前帧图像和前一帧图像之间存在连续性的情况(即，在动态图像中没有场景变化等的情况)。在这种情况下，可以期待当前帧中的物体的识别结果与前一帧中的物体的识别结果存在连续性。因此，可以校正分类概率，以存储前一帧中的物体的识别结果(分类名称)，并且在当前帧中添加相同分类的分类概率。因此，与前一帧相同分类的物体容易被确定为当前帧中的正确答案(该物体容易被确定)。

图10例示了物体识别部13在S15中物体识别的结果的示例。在图10的示例中，物体识别部13对第N+1帧中的第一识别对象区域候选～第四识别对象区域候选中的每一个进行物体检测。

结果，物体识别部13识别出与第N帧相同的物体OBJ的图像整体包括在第一识别对象Region(“k＝1，m＝1”的情况下的Region(x0'：x1'，y0'：y1'))。

在S16(区域设定步骤)中，直方图解析部122将第一识别对象区域候选～第四识别对象区域候选中、物体OBJ的图像的至少一部分所包括的识别对象区域候选(即，S15中物体识别部13确定的识别对象区域候补)作为第N帧中的识别对象区域而设定。

图10例示了直方图解析部122在S16中的区域设定的结果的示例。在上述示例的情况下，直方图解析部122基于S15中的物体识别的结果，将作为第一识别对象区域候补的Region(x0'，x1'，y0'，y1')作为第N+1帧中的识别对象区域，即Window(x0'：x1'，y0'：y1')而设定。

即，直方图解析部122将Window(x0'：x1'，y0'：y1')设定为Window(x0'：x1'，y0'：y1')＝Region(x0+7：x1+7，y0-5：y1-5)。

根据S16，跟随一帧中的物体OBJ的移动，也可以在第N+1帧中设定与第N帧中的识别对象区域相同形状的识别对象区域。因此，在第N+1帧中也可以与进行第N帧中同样的、物体OBJ的识别。

因此，通过以“第一帧→第二帧→......→第N帧→第N+1帧→”的顺序执行直方图生成处理和直方图解析处理来执行当前帧中的物体识别的同时，可以跟随该物体的移动之后设定下一帧的识别对象区域。因此，可以在跟随移动物体的同时在各帧中识别该物体。

(显示装置1的效果)

如上所述，根据显示装置1，可以由窗口设定部12基于动态图像的第N+1帧中的物体的位置(即，物体的识别结果)来设定第N+1帧中的识别对象区域。因此，不需要使物体识别部13对动态图像的各帧整体进行物体识别。结果，与现有相比，可以降低用于动态图像中的物体识别的计算成本。

具体地，窗口设定部12基于包括在第N帧中的识别对象区域中的运动矢量(更具体地，表示运动矢量的水平分量和垂直分量的每一个分布的HistogrmH和HistogrmV)，来设定第N+1帧中的识别对象区域。因此，可以跟随在帧之间移动的物体(示例：OBJ)的同时，设定在各帧中的识别对象区域(更具体地，识别对象区域候选)。

作为示例，窗口设定部12可以基于运动矢量的分量的分布中的最大值(示例：x方向和y方向中的每一个中的各峰值数量)来设定第N+1帧中的识别对象区域。具体地，窗口设定部12可以使用上述MVxPk和MVyPm(在x方向和y方向中的每一个方向上具有各峰值数量的各峰值级别)，设定第N+1帧中的识别对象区域。由此，由于着眼于物体的代表的移动，因此可以更有效地跟随该物体。

(各帧中的识别对象区域)

另外，在进行深度学习的情况下，需要对多个参考图像(用于识别多个物体中的每一个的学习用图像)进行学习。例如，可以从称为“ImageNet”的图像数据库获得参考图像。或者，可以将从上述图像数据库学习的现有CNN模型作为基础来进行深度学习。

准备大量参考图像，以便能够学习多个物体的每一个的状态。此处，在参考图像中，很少反映未被取幅的物体。这是因为，当生成参考图像时，执行拍摄或拍摄之后的图像处理以避免这种映入。

因此，显示装置1中的识别对象的图像(各帧的识别对象区域)也与参考图像同样，根据物体是否被适当地取幅，该物体的识别精度被大大地左右。因此，重要的是适当地设定各帧的识别对象区域Window(x0：x1，y0：y1)。换而言之，重要的是适当地设定各帧的识别对象区域候选Region(x0'：x1'，y0'：y1')。

图11是用于说明第N+1帧中的识别对象区域的差异的图。与上述图10同样的Region(x0'：x1'，y0'：y1')(第一识别区域候选)包括物体OBJ的图像整体(物体OBJ的图像整体被框住)，可以高精度地识别如上所述的物体OBJ。

另一方面，图11中的区域NR1是包括物体OBJ的图像整体，并且比第一识别区域候选(包括第一识别区域候选在内的区域)宽的区域。在区域NR1中，相对于噪声区域(存在背景或其他框住的物体的图像的区域)的大小，物体区域的大小(存在物体OBJ的图像的区域)比较小。因此，在区域NR1中，物体OBJ的识别精度降低的可能性很高。

因此，为了提高物体OBJ的识别精度，优选地，如第一识别区域候选那样，相对于噪声区域的大小，物体区域在一定程度上增大。但是，请注意，根据区域NR1，与以下陈述的区域NR2和区域NR3相比，可以进一步提高物体OBJ的识别精度。这是因为物体OBJ的整体形状(轮廓)被表示在区域NR1中。

此外，图11中的区域NR2是包括物体OBJ的图像的一部分，并且比第一识别区域候选(包括在第一识别区域候选内的区域)窄的区域。在区域NR2中，物体OBJ的图像的一部分被框出。因此，由于物体OBJ的整体形状未在区域NR2中被表示，因此难以判别物体OBJ的整体形状。在区域NR2中，与区域NR1的情况相比，物体OBJ的识别精度降低的可能性更高。

此外，图11中的区域NR3比区域NR2宽，但是是与区域NR2相比，物体OBJ的图像的被框出的程度显著的区域。在区域NR3中，物体OBJ的整体形状更难以判别。因此，在区域NR3中，与区域NR2的情况相比，物体OBJ的识别精度进一步降低的可能性很高。

根据以上，从提高物体OBJ的识别精度的观点出发，优选的是，各帧中的识别对象区域包括物体OBJ的图像整体。即，优选地，(i)第N帧中的识别对象区域包括物体OBJ的图像整体，以及(ii)通过区域设定部，多个识别对象区域候选中的、包括第N+1帧中的物体OBJ的图像整体的识别对象区域候选作为第N+1帧中的识别对象区域而设定。

此外，从进一步提高物体OBJ的识别精度的观点来看，更优选地，在各帧中的识别对象区域中，相对于噪声区域的大小，使物体区域在一定程度上增大。作为示例，优选地，在各帧中的识别对象区域中，物体区域具有大于噪声区域的区域。

但是，如上所述，请注意，只要物体OBJ的图像的至少一部分包括在各帧中的识别对象区域中即可。这是因为通过利用深度学习而进行高精度的物体识别，即使在这样的识别对象区域中也可以进行物体识别。

即，(i)第N帧中的识别对象区域包括物体OBJ的图像的至少一部分，以及(ii)通过区域设定部，只要多个识别对象区域候选中的、包括第N+1帧中的物体OBJ的图像的至少一部分的识别对象区域候选作为第N+1帧中的识别对象区域而设定即可。

[第二实施方式]

关于第二实施方式，若基于图12以及图13进行说明则如下所述。另外，为了便于说明，对与在实施方式1中说明的构件具有相同功能的构件，标注相同的附图标记，省略其说明。在第二实施方式中，如以下第一示例～第五示例说明第一实施方式的各种变更。

(第一示例)

在第一实施方式中，将作为二维矢量的运动矢量分解为两个分量(水平分量和垂直分量)以生成两个一维直方图(水平分量的直方图HistogramH和垂直分量的直方图HistogramV)(示例：图4的S3a)。然后，将该两个直方图作为解析对象(示例：图8中的S11和S12)。

但是，不是一定需要将运动矢量分解为各分量。直方图生成部121可以生成表示运动矢量的两个分量的分布的一个二维直方图。在这种情况下，直方图解析部122可以将该二维直方图作为解析对象来搜索上述峰值级别。

通过将一个二维直方图作为解析对象，与将两个一维直方图作为解析对象的情况相比，可以有效地缩小移动量估计值。以下，陈述该理由。

如第一实施方式中所述，在一维直方图的情况下，关于x分量和y分量中的每一个搜索Np个峰值级别。然后，组合x分量的峰值级别和y分量的峰值级别来计算作为二维矢量的移动量估计值。因此，作为二维矢量的移动量估计值以Np²种计算。

另一方面，在二维直方图的情况下，Np个峰值级别是作为二维矢量的设置而搜索获得。因此，作为二维矢量的移动量估计值为Np种。即，与一维直方图的情况相比，可以减少移动量估计值的数量。但是，在二维直方图的情况下，与一维直方图的情况相比，峰值类搜索算法复杂。因此，与一维直方图的情况相比，用于搜索峰值级别的计算量趋于增加。

如上所述，通过使用二维直方图，由于可以减少移动量估计值的数量，从而可以减少识别对象区域候选的数量。结果，可以更有效地减少图8的S14中的处理(物体识别)的计算成本。

(第二示例)

在第一实施方式中，仅使用移动量估计值(MVxPk和MVyPm的组合)计算x0’、x1'、y0'、y1'，并且设定Region(x0'：x1'，y0'：y1)(图8的S13)。

但是，也可以进一步导入随机值(随机项)，并且添加和设定第N+1帧中的多个识别对象区域候选。具体地，直方图解析部122也可以按

X0'’＝x0'+Rand1；

X1'’＝x1'+Rand2；

Y0'’＝y0'+Rand3；

Y1'’＝y1'+Rand4；

计算X0”，x1”，y0”，y1”。

此处，Rand1～Rand4的每一个是以0为中心值的一定范围的整数的随机值。然后，直方图解析部122可以添加多个Region(x0”：x1”，y0”：y1”)作为第N+1帧中的识别对象区域候选而设定。

当以这种方式设定第N+1帧中的识别对象区域候选时，与第一实施方式相比，用于设定识别对象区域候选的计算成本以及添加而设定的多个识别对象区域候选中的物体识别的计算成本增加。然而，根据Region(x0”：x1”，y0”：y1”)，Region(x0'：x1'，y0'：y1')的周边区域可以包括在识别对象区域候选中。

因此，例如，没有适当地设定移动量估计值(在移动量估计值中出现估计误差)，即使在Region(x0'：x1'，y0'：y1')不能适当地进行物体OBJ的跟随的情况下，也可以期望提高物体识别的精度。

(第三示例)

在第一实施方式中，多个Region(x0'：x1'，y0'：y1')(识别对象区域候选)中的一个作为第N+1帧中的Window(x0'：x1'，y0'：y1')(第N+1帧中的识别对象区域)而设定(图8中的处理S16)。

然而，可以在动态图像的输入开始时以及该动态图像的场景变化时等通过另一种方法设定识别对象区域。即，也可以通过另一种方法来设定第一帧(初始帧)的识别对象区域。例如，也可以将第一帧内的任意区域随机地设定为识别对象区域。

具体地，直方图解析部122也可以按

x0＝Rand(0～H-1)；

x1＝Rand(0～H-1)；

y0＝Rand(0～V-1)；

y1＝Rand(0～V-1)来计算第一帧中的x0、x1、y0和y1。

另外，Rand(a到b)是输出a以上且b以下的整数值范围内的随机值的函数。然后，直方图解析部122可以将Window(x0：x1，y0：y1)设定为第一帧中的识别对象区域。

这样，通过在直方图解析部122中设定第一帧中的识别对象区域，通过上述图4和图8中的处理，可以进行第二帧以后的物体的识别和识别对象区域的设定。

另外，也可以通过用户输入操作来设定(选择)第一帧中的识别对象区域。直方图解析部122可以使用由用户选择的x0、x1、y0和y1的值来设定作为第一帧中的识别对象区域的Window(x0：x1，y0：y1)。

(第四示例)

在第一实施方式中，对作为识别对象的一个物体(示例：OBJ)(以下称为第一物体)设置一个识别对象区域(以下称为第一物体用识别对象区域)。然后，使用第一物体用识别对象区域在跟随第一物体的同时对该第一物体进行识别。

但是，在动态图像的各帧中，可以对多个物体中的每一个各设置一个专用的识别对象区域。例如，在图3的示例中，可以对与第一物体不同的第二物体(示例：OBJ2)进一步设置专用的识别对象区域(以下，第二物体用识别对象区域)。

在这种情况下，显示装置1可以针对第一物体用识别对象区域和第二物体用识别对象区域中的每一个同时(并列地)进行上述图4和图8的处理。由此，对于存在于动态图像的各帧中的两个物体(第一物体和第二物体)中的每一个，可以在跟随各物体的同时进行识别。这样，通过根据成为识别对象的物体的数量设置多个识别对象区域，可以在跟随多个物体中的每一个的同时识别各物体。

此外，当识别多个物体时，考虑存在具有分类概率特别低的物体的情况。在这种情况下，可以如第三示例中那样，初始化与该物体对应的识别对象区域。因此，期望提高分类概率低的物体的识别精度。另外，可以在动态图像的中间的帧中设定用于识别新出现的物体的识别对象区域。

或者，对于与分类概率特别低的物体对应的识别对象区域，也可以删除该识别对象区域，并且中止后续该物体的识别。由此，可以选择性地仅跟随多个物体中识别精度在一定程度上高的物体。因此，可以在识别多个物体时减少用于物体识别的计算成本。

(第五示例)

在第一实施方式中，多个Region(x0'：x1'，y0'：y1')设定为使Window(x0：x1，y0：y1)平行移动的区域。即，第N+1帧中的识别对象区域候选作为与第N帧中的识别对象区域相同的大小且相同形状的区域(与第N帧中的识别对象区域全等的区域)而设定。

但是，第N+1帧中的识别对象区域候选(i)可以不设定为与第N帧中的识别对象区域不同的大小，(ii)也可以设定为与第N帧中的识别对象区域不同的形状。

例如，可以通过扩大或缩小第N帧中的识别对象区域来设定具有与该识别对象区域不同的大小的、第N+1帧中的识别对象区域候选。或者，可以通过变形第N帧中的识别对象区域来设定具有与该识别对象区域不同的形状的、第N+1帧中的识别对象区域候选。

作为示例，如上述第二示例那样，在设定Region(x0'：x1'，y0'：y1')的情况下，获得具有与第N帧中的识别对象区域不同的大小和形状的、第N+1帧中的识别对象区域候选。

此外，直方图解析部122可以根据第N-1帧(前一帧)和第N帧(当前帧)之间的HistogramH和HistogramV的分布的变化，扩大第N帧中的识别对象区域而设定第N+1帧(下一帧)中的识别对象区域候选。

图12是表示第N-1帧和第N帧之间的HistogramH和HistogramV的每一个的值(数量)的分布的变化的示例的曲线图。在图12中，(a)表示HistogramH中的分布变化，(b)表示HistogramV中的分布变化。

在图12中，σ表示第N-1帧中的HistogramH和HistogramV的标准偏差。此外，σ'表示第N帧中HistogramH和HistogramV的标准偏差。

在以下说明中，为了方便，在x方向和y方向上的任一方向上，标准偏差由相同的符号(σ和σ')表示。但是，请注意，对于x方向和y方向中的每一个，标准偏差可以是不同的值。

因此，例如，第N-1帧中的HistogramH的标准偏差设为σx，并且第N-1帧中的HistogramV的标准偏差设为σy，可以区别表现第N-1帧中的各直方图的标准偏差。同样地，第N帧中的HistogramH的标准偏差设为σ'x，第N帧中的HistogramV的标准偏差可以设为σ'y，可以区分表现第N帧中的各直方图的标准偏差。

根据图12，σ'>σ。这表明第N帧中与第N-1帧相比分布宽。这启示了第N-1帧中的物体的图像在第N帧中被扩大。因此，如果在动态图像中没有场景变化等，则预测与第N帧中的该物体的图像相比，第N+1帧中的物体的图像被进一步扩大。

因此，当σ'>σ时，如图13所示，通过直方图解析部122使第N帧中的识别对象区域即Window(x0：x1，y0：y1)平行移动和扩大，可以设定第N+1帧中的识别对象区域候选即Region(x0'：x1'，y0'：y1')。图13是表示扩大第N帧中的识别对象区域而设定第N+1帧中的识别对象区域候选的示例的图。

这样，如果扩大当前帧中的识别对象区域而设定下一帧中的识别对象区域候选，则可以根据在帧之间被扩大的物体(示例：OBJ)的大小的增加来设定识别对象区域候选的大小。因此，即使在帧之间物体被扩大的情况下，也可以提高该物体的跟随性和识别精度。

此外，在σ'<σ的情况下，考虑到第N-1帧中的物体的图像在第N帧中被缩小。因此，在σ'<σ的情况下，直方图解析部122可以通过平行移动以及缩小第N帧中的识别对象区域来设定第N+1帧中的识别对象区域候选。由此，即使在帧之间物体被缩小的情况下，也可以提高该物体的跟随性和识别精度。

这样，直方图解析部122可以根据σ'和σ的大小关系，对第N帧中的识别对象区域进行扩大或缩小中的一种的处理而设定第N+1帧(下一帧)中的识别对象区域候选。

作为示例，直方图解析部122可以将第N帧中的识别对象区域在水平方向和垂直方向中的每一个的的长度乘以α，而设定第N+1帧中的识别对象区域候选在水平方向和垂直方向上的每一个的长度。以下，α也被称为扩大倍率。

可以基于σ'和σ来设定α的值。作为示例，可以作为α＝σ'/σ而设定。在这种情况下，如果σ'>σ，由于α>1，则第N帧中的识别对象区域被扩大。另一方面，如果σ'<σ，由于α<1，则第N帧中的识别对象区域被缩小。

如上所述，第N+1帧中的识别对象区域候选可以通过对第N帧中的识别对象区域实施(i)平行移动和(i)扩大或缩小中的任一方来设定。

本说明书中的“扩大”和“缩小”包括α＝1的情况(当第N帧中的识别对象区域和第N+1帧中的识别对象区域候选为相同的大小的情况)。第一实施方式的情况相当于α＝1的情况。

因此，通过直方图解析部122使第N帧中的上述识别对象区域平行移动，且扩大或缩小平行移动后的该识别对象区域，来设定第N+1帧中的多个上述识别对象区域候选。

进一步地，在水平方向和垂直方向中，识别对象区域的长度可以以不同的比率扩大或缩小。作为示例，可以对x方向和y方向单独设定扩大倍率。例如，若x方向上的扩大倍率是αx，则可以设定αx＝σ'x/σx。同样地，若y方向上的扩大倍率是αy，则可以设定αy＝σ'y/σy。

另外，上述“将第N帧中的识别对象区域在水平方向和垂直方向上的每一个的长度乘以α”的示例假设为可以认为αx＝αy的情况。通常，σx≠σy且σ'x≠σ'y，但是，如果帧之间的物体的扩大或缩小的纵横比是一定的，则αx≈αy的关系成立。因此，近似地，可以认为αx＝αy。

如上所述，第N+1帧中的识别对象区域候选可以不限定于与第N帧中的识别对象区域相似的区域。

因此，直方图解析部122只要以区域设定部具有第N帧中的识别对象区域(矩形)和第N+1帧中的识别对象区域(矩形)相互平行的边的方式设定各帧中的识别对象区域即可。由此，通过计算成本比较低的运算(示例：平行移动和扩大/缩小)来设定各帧中的识别对象区域。

[变形例]

在上述第五示例中，例示了通过对第N帧中的识别对象区域实施平行移动和扩大/缩小来设定第N帧中的识别对象区域的情况。

但是，除了第N帧中的识别对象区域的平行移动和扩大/缩小之外，也可以通过进一步旋转该识别对象区域来设定第N帧中的识别对象区域。即，第N+1帧中的识别对象区域候选可以作为与第N帧中的识别对象区域相似的区域而设定。也就是说，直方图解析部122可以通过对第N帧中的识别对象区域实施相似转换来设定第N+1帧中的识别对象区域候选。

进一步地，如上所述，在水平方向和垂直方向中，也可以以不同的比率扩大或缩小识别对象区域的长度。因此，第N+1帧中的识别对象区域候选可以不限于与第N帧中的识别对象区域相似的区域。因此，直方图解析部122可以通过对第N帧中的识别对象区域实施线性转换来设定第N+1帧中的识别对象区域候选。

另外，直方图解析部122可以通过对第N帧中的识别对象区域实施仿射转换来设定第N+1帧中的识别对象区域候选。

[第三实施方式]

关于第三实施方式，若基于图14进行说明则如下所述。图14是表示第三实施方式的信号处理部30(动态图像处理装置)的要部的构成的功能框图。将第三实施方式的显示装置称为显示装置3。在图14中，由于图示被省略的位置与上述图1的显示装置1同样，因此省略其说明。关于这点，在以下陈述的第四实施方式中也是同样的。

信号处理部30构成为，在第一实施方式的信号处理部10中去除插值图像生成部111。在信号处理部中，由于去除插值图像生成部111，因此不进行动态图像A(输入动态图像)的帧率的转换。即，不生成动态图像B。在信号处理部30中，将上述动态图像A(输入动态图像)提供给运动矢量计算部112、物体识别部13和画质校正部14中的每一个。

在第三实施方式中，运动矢量计算部112从动态图像A中提取各帧，并计算该动态图像的运动矢量。然后，窗口设定部12在动态图像A的各帧中设定识别对象区域。因此，物体识别部13对在动态图像A的各帧中被设定的识别对象区域进行物体识别。

接着，画质校正部14通过根据物体识别部13的识别结果处理动态图像A，而生成作为输出动态图像的动态图像C。然后，画质校正部14将该动态图像C提供给显示部80。

如上所述，在本公开的一个形态涉及的动态图像处理装置(示例：信号处理部30)中，不包括上述识别处理部中的构成要素的一部分(示例：插值图像生成部111)也可以省略。根据信号处理部30，与上述第一实施方式相比，可以简化动态图像处理装置的构成。

[第四实施方式]

关于第四实施方式，若基于图15进行说明则如下所述。图15是表示第四实施方式的信号处理部40(动态图像处理装置)的要部的构成的功能框图。第四实施方式的显示装置称为显示装置4。

如上所述，可以通过由预定的编码方式压缩的动态图像的数据进行解码来生成动态图像A。以下，由预定的编码方式压缩的动态图像(示例：动态图像A)的数据称为压缩动态图像数据。

在第四实施方式中，考虑了表示用于压缩的运动矢量的信息(运动矢量信息)被预先包括在压缩动态图像数据中。另外，作为包括该运动矢量信息的压缩动态图像数据的格式的示例可以例举为MPEG4。

信号处理部40构成为，在第三实施方式的信号处理部30中去除运动矢量计算部112。即，在信号处理部30中，与上述第三实施方式相比，进一步简化了动态图像处理装置的构成。

在信号处理部40中，动态图像A被提供给窗口设定部12、物体识别部13以及画质校正部14的每一个。在第四实施方式的窗口设定部12中，直方图生成部121通过获得包括在上述压缩动态图像数据中的运动矢量信息来检测动态图像A的运动矢量。

如上所述，当在压缩动态图像数据中包括运动矢量信息时，在本公开的一形态涉及的动态图像处理装置中可以省略计算运动矢量的处理。因此，进一步简化了动态图像处理装置的构成。

[基于软件的实现例]

显示装置1/3/4的控制Block(尤其是信号处理部10/30/40)可以由形成在集成电路(IC芯片)等中的逻辑电路(硬件)实现，也可以通过使用CPU(Central Processing Unit：中央处理单元)的软件来实现。

在后者的情况下，显示装置1/3/4包括：CPU，其执行作为用于实现各功能的软件的程序的命令；ROM(Read Only Memory：只读存储器)或者存储装置(这些被称为“存储介质”)，其储存上述程序和各种数据以供计算机(或CPU)能够读取；RAM(Random Access:随机存取存储器)，其展开所述程序等。然后，通过计算机(或CPU)从所述存储介质读取所述程序并执行程序来实现本公开的目的。作为所述记录介质，可以使用例如磁带、磁盘、卡、半导体存储器、可编程逻辑电路等的“非暂时性有形介质”。此外，所述程序可以经由能够发送该程序的任意传输介质(通信网络，广播波等)提供给计算机。另外，本公开的一个形态也可以以所述程序通过电子传输来具体化、并嵌入在载波中的数据信号的形式来实现。

[总结]

本公开的形态一涉及的动态图像处理装置(信号处理部10)是用于处理由多个帧构成的动态图像，所述动态图像处理装置包括：物体识别部(13)，其识别在所述动态图像中被表现的物体(OBJ)；区域设定部(窗口设定部12)，其基于所述动态图像中的第N帧(N为自然数)中的所述物体的图像的、第N+1帧中的位置，设定在第N+1帧中作为所述物体识别部的识别对象的区域即识别对象区域(Window(x0'：x1'、y0'：y1'))。

根据上述构成，可以基于第N+1帧中的位置追随帧之间移动的物体并且设定识别对象区域。因此，通过在区域设定部中设定第N+1帧中的识别对象区域，无需使物体识别部对第N+1帧整体进行物体识别。

因此，可以按“第一帧→第二帧→......→第N帧→第N+1帧→”的顺序进行设定当前帧中的物体识别和下一帧的识别对象区域。因此，由于不需要对各帧整体进行物体识别，因此，与现有相比，可以降低物体识别用的计算成本。

本公开的形态二涉及的动态图像处理装置优选为，在上述形态一中，在第N帧中的所述识别对象区域(Window(x0：x1、y0：y1))包括所述物体的图像的至少一部分，所述区域设定部基于所述动态图像的运动矢量中、第N帧中的所述识别对象区域所包括的运动矢量来设定第N+1帧中的识别对象区域。

根据上述构成，可以基于运动矢量追随帧之间移动的物体并且设定识别对象区域。

本公开的形态三涉及的动态图像处理装置优选为，在上述形态二中，所述区域设定部基于第N帧中的所述识别对象区域以及包括在所述识别对象区域的所述运动矢量来设定第N+1帧中的识别对象区域的候选即多个识别对象区域候选，所述物体识别部识别在第N+1帧中多个所述识别对象区域候选中的任意一个是否包括在所述物体的图像中的至少一部分，所述区域设定部将多个识别对象区域候选中的、在第N+1帧中包括所述物体的图像的至少一部分的识别对象区域候选作为第N+1帧中的识别对象区域而设定。

根据上述构成，可以根据多个识别对象区域候选中的每一个的识别结果来设定识别对象区域。因此，可以更有效地追随帧之间移动的物体。

本公开的形态四涉及的动态图像处理装置优选为，在上述形态三中，所述区域设定部基于包括在第N帧中的所述识别对象区域的、所述运动矢量的分量的分布的统计值来设定第N+1帧中的多个所述识别对象区域候选。

根据上述构成，由于可以基于统计值而着眼于物体的运动，因此，可以更有效地追随该物体。

本公开的形态五涉及的动态图像处理装置优选为，在上述形态四中，所述区域设定部基于包括在第N帧中的所述识别对象区域的、所述运动矢量的分量的分布中的最大值来设定第N+1帧中的多个所述识别对象区域候选。

根据上述构成，由于可以基于极大值而着眼于物体的代表性的运动，因此，可以更有效地追随该物体。

本公开的形态六涉及的动态图像处理装置优选为，在上述形态三至上述形态五的任一项中，第N帧中的所述识别对象区域包括所述物体的图像整体，所述区域设定部将多个所述识别对象区域候选中的、第N+1帧中包括所述物体的图像整体的识别对象区域候选作为第N+1帧中的识别对象区域而设定。

根据上述构成，在第N帧以及第N+1帧的识别对象区域中，由于表现了物体整体的形状(轮廓)，因此，可以提高物体识别部对物体的识别精度。

本公开的形态七涉及的动态图像处理装置优选为，在上述形态一至上述形态六的任一项中，所述区域设定部设定矩形的区域作为所述识别对象区域，以第N帧中的所述矩形和第N+1帧中的所述矩形具有相互平行的边的方式设定各帧中的所述识别对象区域。

根据上述构成，通过例如第N帧中的记识别对象区域的平行移动以及扩大/缩小可以设定第N+1帧的识别对象区域。即，通过计算成本比较低的运算，可以设定各帧中的识别对象区域。

本公开的形态八涉及的动态图像处理装置优选为，在上述形态一至上述形态七的任一项中，所述物体识别部包括使用多个物体的图像而学习的学习完毕模型。

根据上述构成，通过使用由深度学习技术等CNN获得的学习完毕模型，可以提高物体的识别精度。通过将识别对象缩小到仅有识别对象区域候选，可以有效地降低使用学习完毕模型的物体识别用的计算成本。

本公开的形态九涉及的动态图像处理装置优选为，在上述形态一至上述形态八的任一项中，所述动态图像处理装置进一步包括：画质校正部，其根据所述物体识别部的识别结果来处理所述动态图像。

根据上述构成，可以根据物体的识别结果进行动态图像处理。例如，可以进行动态图像处理，以便更有效地表现物体的质感。因此，可以提高在动态图像中表现的物体的质感。

本公开的形态十涉及的显示装置(1)优选为，包括上述形态一至上述形态九的任一项涉及的动态图像处理装置。

根据上述构成，可以起到与本公开的一形态涉及的动态图像处理装置同样的效果。

本公开的形态十一涉及的动态图像处理方法，其处理由多个帧构成的动态图像，所述动态图像处理方法包括：物体识别工序，在所述物体识别工序中识别在所述动态图像中被表现的物体；区域设定工序，在所述区域设定工序中基于所述动态图像中的第N帧(N为自然数)中的所述物体的图像的、第N+1帧中的位置，设定在第N+1帧中作为所述物体识别工序的识别对象的区域即识别对象区域。

根据上述构成，可以起到与本公开的一形态涉及的动态图像处理装置同样的效果。

本发明的各形态的动态图像处理装置也可以由计算机实现，在这种情况下，通过使计算机作为上述动态图像处理装置所具备的各部分(软件要素)进行操作从而利用计算机实现上述控制装置的控制程序以及储存有该程序的计算机可读取的记录介质也包含于本公开的范围之内。

〔附记事项〕

本公开不限于上述各实施方式，能在权利要求所示的范围中进行各种变更，将在不同的实施方式中分别公开的技术手段适当组合而得到的实施方式也包含于本公开的技术范围。进一步地，能够通过组合各实施方式分别公开的技术手段来形成新的技术特征。

(相关申请的相互参照)

本申请是主张2017年6月15日提出的日本专利申请：特愿2017-117742的优先权的利益，通过在此参照，从而其全部内容被援引于本申请中。

附图标记说明

1,3,4 显示装置

10,30,40 信号处理部(动态图像处理装置)

12 窗口设定部(区域设定部)

13 物体识别部

14 画质校正部

Window(x0：x1，y0：y1) 第N帧中的识别对象区域

Window(x0'：x1'，y0'：y1') 第N+1帧中的识别对象区域

Region(x0'：x1'，y0'：y1') 第N+1帧中的识别对象区域候选

OBJ，OBJ2 物体

Claims (12)

1.一种动态图像处理装置，其处理由多个帧构成的动态图像，其特征在于，所述动态图像处理装置包括：

物体识别部，其识别在所述动态图像中被表现的物体；

区域设定部，其基于所述动态图像的第N帧中的所述物体的图像的、第N+1帧中的位置，设定在第N+1帧中作为所述物体识别部的识别对象的区域即识别对象区域，其中N为自然数。

2.根据权利要求1所述的动态图像处理装置，其特征在于，

在第N帧中的所述识别对象区域包括所述物体的图像的至少一部分，

所述区域设定部基于所述动态图像的运动矢量中、第N帧中的所述识别对象区域所包括的运动矢量来设定第N+1帧中的识别对象区域。

3.根据权利要求2所述的动态图像处理装置，其特征在于，

所述区域设定部基于第N帧中的所述识别对象区域以及包括在所述识别对象区域的所述运动矢量来设定第N+1帧中的识别对象区域的候选即多个识别对象区域候选，

所述物体识别部识别在第N+1帧中多个所述识别对象区域候选中的任意一个是否包括所述物体的图像中的至少一部分，

所述区域设定部将多个识别对象区域候选中的、在第N+1帧中包括所述物体的图像的至少一部分的识别对象区域候选作为第N+1帧中的识别对象区域而设定。

4.根据权利要求3所述的动态图像处理装置，其特征在于，所述区域设定部基于包括在第N帧中的所述识别对象区域的、所述运动矢量的分量的分布的统计值来设定第N+1帧中的多个所述识别对象区域候选。

5.根据权利要求4所述的动态图像处理装置，其特征在于，所述区域设定部基于包括在第N帧中的所述识别对象区域的、所述运动矢量的分量的分布中的最大值来设定第N+1帧中的多个所述识别对象区域候选。

6.根据权利要求3～5中任一项所述的动态图像处理装置，其特征在于，第N帧中的所述识别对象区域包括所述物体的图像整体，

所述区域设定部将多个所述识别对象区域候选中的、第N+1帧中包括所述物体的图像整体的识别对象区域候选作为第N+1帧中的识别对象区域而设定。

7.根据权利要求1～6中任一项所述的动态图像处理装置，其特征在于，所述区域设定部设定矩形的区域作为所述识别对象区域，以第N帧中的所述矩形和第N+1帧中的所述矩形具有相互平行的边的方式设定各帧中的所述识别对象区域。

8.根据权利要求1～7中任一项所述的动态图像处理装置，其特征在于，所述物体识别部包括使用多个物体的图像而学习的学习完毕模型。

9.根据权利要求1～8中任一项所述的动态图像处理装置，其特征在于，所述动态图像处理装置进一步包括：画质校正部，其根据所述物体识别部的识别结果来处理所述动态图像。

10.一种显示装置，其特征在于，所述显示装置包括权利要求1～9中任一项所述的动态图像处理装置。

11.一种动态图像处理方法，其是用于处理由多个帧构成的动态图像，其特征在于，

所述动态图像处理方法包括：

物体识别工序，识别在所述动态图像中被表现的物体；

区域设定工序，基于所述动态图像中的第N帧中的所述物体的图像的、第N+1帧中的位置，设定在第N+1帧中作为所述物体识别工序中的识别对象的区域即识别对象区域，

其中N为自然数。

12.一种控制程序，其是用于使计算机作为如权利要求1所述的动态图像处理装置发挥功能的控制程序，

所述控制程序特征在于，用于使计算机作为所述区域设定部以及所述物体识别部发挥功能。

Images