CN115643456A - 一种视频播放方法、装置、设备、存储介质及程序产品 - Google Patents

Abstract

本公开提供了一种视频播放方法、装置、设备、存储介质及程序产品，涉及数据处理技术领域，尤其涉及视频处理技术领域。具体实现方案为：获得视频中视频帧内目标区域的区域特征；以屏幕中播放器的宽高比为区域大小基准，并以所包含目标区域的数量最大化为区域选择准则，根据所获得的区域特征确定视频帧中的待显示区域；在所述播放器中播放所述视频中视频帧内的待显示区域。应用本公开实施例提供的视频播放方案，能够解决视频宽高比和终端的屏幕宽高比不一致的问题。

Description

一种视频播放方法、装置、设备、存储介质及程序产品

技术领域

本公开涉及数据处理技术领域，尤其涉及视频处理技术领域，特别涉及一种视频播放方法、装置、设备、存储介质及程序产品。

背景技术

常见的视频宽高比往往大于1，例如4:3、16:9等，而大多数手机、平板电脑等终端的屏幕宽高比往往小于1，可见视频宽高比和终端的屏幕宽高比不一致。

发明内容

本公开提供了一种视频播放方法、装置、设备、存储介质及程序产品。

根据本公开的一方面，提供了一种视频播放方法，包括：

获得视频中视频帧内目标区域的区域特征，其中，所述目标区域为：对视频帧中内容具有表征性的区域；

以屏幕中播放器的宽高比为区域大小基准，并以所包含目标区域的数量最大化为区域选择准则，根据所获得的区域特征确定视频帧中的待显示区域；

在所述播放器中播放所述视频中视频帧内的待显示区域。

根据本公开的另一方面，提供了一种视频播放装置，包括：

特征获得模块，用于获得视频中视频帧内目标区域的区域特征，其中，所述目标区域为：对视频帧中内容具有表征性的区域；

区域确定模块，用于以屏幕中播放器的宽高比为区域大小基准，并以所包含目标区域的数量最大化为区域选择准则，根据所获得的区域特征确定视频帧中的待显示区域；

视频播放模块，用于在所述播放器中播放所述视频中视频帧内的待显示区域。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述视频播放方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述视频播放方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行上述视频播放方法。

由以上可见，应用本公开实施例提供的方案播放视频时，根据屏幕中播放器的宽高比以及视频帧内目标区域的区域特征确定视频帧中的待显示区域，从而在播放器中播放视频中视频帧内的待显示区域。由于待显示区域是以播放器的宽高比为区域大小基准确定的，因此，待显示区域的宽高比与播放器的宽高比一致，这样能够在播放器的整个播放区域播放视频，从而提高用户的观看体验，提高用户粘性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1a为本公开实施例提供的第一种视频播放方法的流程示意图；

图1b为本公开实施例提供的第一种播放器的界面示意图；

图1c为本公开实施例提供的第二种播放器的界面示意图；

图1d为本公开实施例提供的一种视觉显著区域的区域特征的热点图；

图2为本公开实施例提供的第二种视频播放方法的流程示意图；

图3为本公开实施例提供的第三种视频播放方法的流程示意图；

图4为本公开实施例提供的第四种视频播放方法的流程示意图；

图5为本公开实施例提供的第五种视频播放方法的流程示意图；

图6为本公开实施例提供的第六种视频播放方法的流程示意图；

图7为本公开实施例提供的第七种视频播放方法的流程示意图；

图8为本公开实施例提供的第一种视频播放装置的结构示意图；

图9是用来实现本公开实施例的视频播放方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

首先，对本公开实施例所提供方案的执行主体以及应用场景进行说明。

本公开实施例所提供方案的执行主体为客户端，客户端中集成有播放器，服务器中存储有视频。用户在通过客户端观看视频时，客户端可以从服务器中获取视频，并调用所集成的播放器，为用户播放视频。

下面通过具体实施例对本公开提供的视频播放方法、装置、电子设备以及存储介质分别进行详细说明。

参见图1a，图1a为本公开实施例提供的第一种视频播放方法的流程示意图，本实施例中，上述方法包括以下步骤S101-S103。

步骤S101：获得视频中视频帧内目标区域的区域特征。

其中，上述视频帧可以是视频中的一帧关键帧，也可以是连续多帧关键帧，还可以是视频中的随机选取的一帧或多帧非关键帧。

目标区域为：对视频帧中内容具有表征性的区域。

上述目标区域的区域特征可以用于表征目标区域的区域位置。

具体的，可以通过以下两种实现方式中任一种获得上述目标区域的区域特征。

第一种实现方式中，客户端可以从服务器中获得待播放的视频，并在所获得视频中选择一帧或多帧视频帧，对所选择的各个帧视频帧进行特征提取，从而得到视频帧中目标区域的区域特征。

第二种实现方式中，服务器可以预先提取视频中视频帧内目标区域的区域特征，这样客户端在从服务器中获取待播放的视频时，可以获得该视频中视频帧内目标区域的区域特征。

提取目标区域的区域特征可以通过现有的特征提取方式实现，这里不再详述。

步骤S102：以屏幕中播放器的宽高比为区域大小基准，并以所包含目标区域的数量最大化为区域选择准则，根据所获得的区域特征确定视频帧中的待显示区域。

其中，上述播放器的宽高比可以预先设置，还可以通过用户根据自身喜好调整得到。

例如，图1b、1c分别为用户调整前后的播放器的界面示意图。用户在观看播放器显示的界面时，可以拖动黑色播放区域的边框，从而调整播放器的宽高比。

具体的，在确定待显示区域时，可以确定视频帧中待显示区域的大小以及位置。在确定待显示区域的大小以及位置时，可以首先确定待显示区域的大小，再根据待显示区域的大小以及目标区域的区域特征确定待显示区域的区域位置，还可以根据上述区域大小基准、区域选择准则以及目标区域的区域特征，综合确定待显示区域的区域大小以及位置。

确定待显示区域的具体实现方式可参见后续图2、图5、图6、图7所示实施例，这里暂不详述。

步骤S103：在播放器中播放视频中视频帧内的待显示区域。

具体的，在上述视频帧为上述视频中的单帧视频帧时，在确定该视频帧中的待显示区域后，可以在其他视频帧中确定与该视频帧中待显示区域相同位置的区域，作为其他视频帧的待显示区域，从而在播放视频时，显示每一帧视频帧的待显示区域。

在上述视频帧为多帧视频帧时，可以根据多帧视频帧中待显示区域的位置，确定最终的待显示区域，从而在播放视频时，显示每一帧视频帧中最终的待显示区域。

本公开的一个实施例中，可以通过以下两种实现方式中任一种确定最终的待显示区域。

第一种实现方式中，可以计算多帧视频帧中待显示区域的位置的均值，作为最终的待显示区域的位置。

第二种实现方式中，可以确定位置相近的多个待显示区域，从这多个待显示区域中选择一个区域或者计算均值，从而确定最终的待显示区域。

由以上可见，应用本公开实施例提供的方案播放视频时，根据屏幕中播放器的宽高比以及视频帧内目标区域的区域特征确定视频帧中的待显示区域，从而在播放器中播放视频中视频帧内的待显示区域。由于待显示区域是以播放器的宽高比为区域大小基准确定的，因此，待显示区域的宽高比与播放器的宽高比一致，这样能够在播放器的整个播放区域播放视频，从而提高用户的观看体验，提高用户粘性。

另外，本方案中，针对不同宽高比的播放器，可以以不同宽高比为区域大小基准，确定适应于不同播放器的待显示区域，因此，本公开实施例提供的视频播放方案能够适应于多种宽高比的播放器，相比于现有技术中使用全黑或者全白区域填充屏幕，本方案能够扩大视频在终端中的播放区域，从而提升用户体验。

本公开的一个实施例中，上述视频中视频帧内目标区域的区域特征可以存储于服务器中，客户端在获得视频时，可以获得该视频中视频帧对应的区域特征，并结合客户端自身播放器的宽高比，确定视频帧的待显示区域，从而播放视频中视频帧内的待显示区域，这样服务器中无需存储多份不同宽高比的视频，从而能够节省服务器中的存储空间。

本公开的一个实施例中，上述视频帧包括：视频中的当前关键帧和当前关键帧之前和/或之后的多个关键帧。

客户端从服务器中获得的视频通常为编码后的视频，客户端获得编码后的视频后，需要对视频进行解码。视频在服务器中编码、在客户端中解码的过程中，视频中的各视频帧通常存在编码损失，而视频帧中关键帧的编码损失通常小于非关键帧的编码损失。鉴于此，利用视频中多个关键帧内目标区域的区域特征，能够尽可能提高所确定待显示区域的准确性，这样在播放器中播放视频，能够尽可能提高用户的观看体验，提高用户粘性。

本公开的一个实施例中，上述目标区域包括以下区域中至少一种：

视觉显著区域、对象区域、文本区域。

上述视觉显著区域为视觉显著程度较强的区域。

在获得视频帧内视觉显著区域的区域特征时，可以将视频帧划分为多个子区域，并计算用于表征各个子区域的视觉显著程度的视觉显著参数，针对每一子区域，若该子区域的视觉显著参数大于预设阈值，则确定该子区域为视觉显著区域，该子区域的视觉显著参数可以作为该子区域的区域特征。

如图1d所示，图1d为一种视觉显著区域的区域特征的热点图，图1d中每一像素点对应上述视频帧中一个子区域，在判断子区域的视觉显著参数时，若该子区域的视觉显著参数大于预设阈值，则在热点图中将该子区域对应的像素点的像素值确定为1，否则确定为0。

图1d中存在32*16个像素点，每一像素点的像素值为1或0，这样仅需一个512bit的bitset即可表示整个视频帧的视觉显著特征，相比于上述视频，视觉显著特征所占空间极小。

上述对象区域可以包括多种对象所在的区域，例如，人脸区域、人体区域或者其他对象所在的区域。

上述对象区域的区域特征可以以视频帧中的两组二维坐标表示，这两组二维坐标可以是对象区域的斜对角的两个区域端点所在的坐标，也可以是对象区域的中心坐标以及区域宽高。

另外，上述每一二维坐标中的每一坐标值的大小可以设置为2Bytes，这样一组二维坐标可以表示尺寸为65535*65535的视频帧中的任一点，即可以表示8K画质的视频中视频帧内的任一点，因此，对象区域的区域特征所在空间也极小。

上述文本区域可以包括字幕所在区域以及标题所在区域，还可以包括视频帧中出现的其他文字所在区域。

与上述对象区域相类似，上述文本区域的区域特征也可以以视频帧中的两组二维坐标表示。

本方案中，上述三种区域对视频帧中内容均具有较强的表征性，因此，获得上述三种区域中至少一种，利用这三种区域中至少一种区域的区域特征确定视频帧，能够准确确定视频帧中的待显示区域，从而在播放器中播放视频中视频帧内的待显示区域，能够为用户展示内容丰富的视频内容，从而提高用户的观看体验，提高用户粘性。

从上述实施例中可以看出，上述视频帧中可以存在多种类别的目标区域，因此，可以获得多种类别的目标区域的区域特征，这样在根据所获得的区域特征确定视频帧中的待显示区域时，可以使用所获得的各种类别中任一种类别的目标区域的区域特征确定待显示区域，也可以使用多种类别的目标区域的区域特征确定待显示区域。

下面对使用一种类别的目标区域的区域特征确定待显示区域的具体实现方式进行说明。

本公开的一个实施例中，参见图2，提供了第二种视频播放方法的流程示意图，本实施例中，上述方法包括以下步骤S201-S205。

步骤S201：获得视频中视频帧内目标区域的区域特征。

本步骤与上述步骤S101相同，这里不再赘述。

步骤S202：根据视频帧的大小，确定满足屏幕中播放器的宽高比的最大区域尺寸。

具体的，可以通过以下两种实现方式中任一种确定上述最大区域尺寸。

第一种实现方式中，在已知播放器的宽高比以及视频帧的大小的情况下，可以在两个尺寸维度中任选一个维度作为基准维度，另一维度作为校对维度，将视频帧中基准维度的大小作为上述最大区域尺寸中基准维度的大小，根据视频帧中基准维度的大小以及播放器的宽高比，计算上述最大区域尺寸的校对维度的大小，并比较计算得到的第一尺寸大小以及视频帧中校对维度的第二尺寸大小，若第一尺寸大小大于第二尺寸大小，则说明计算得到的最大区域尺寸大于视频帧的尺寸，此时，将基准维度和校对维度对调，重新计算最大区域尺寸；若第一尺寸大小小于等于第二尺寸大小，则计算得到的两个维度的尺寸大小即为最大区域尺寸。

例如，若上述播放器的宽高比为3:4，视频帧的尺寸为36*24，选择宽度维度作为基准维度，高度维度作为校对维度，则可以确定最大区域尺寸中的宽为36，根据视频帧的宽以及播放器的宽高比，可以计算得到上述最大区域尺寸的高为48，即计算得到的最大区域尺寸为36*48。由于最大区域尺寸的高大于视频帧的高，因此，需要将基准维度和校对维度对调，重新计算最大区域尺寸，即将高度维度作为基准维度，宽度维度作为校对维度，这种情况下，计算得到的最大区域尺寸为18*24。

第二种实现方式中，可以在上述视频帧中随机生成一个宽高比为播放器宽高比的显示框，并放大该显示框，直至该显示框的两条宽与视频帧的宽重合、或者该显示框的两条高与视频帧的高重合，此时该显示框的尺寸即为上述最大区域尺寸。

步骤S203：根据该类别的目标区域的区域特征，在视频帧中确定包含该类别的目标区域且尺寸为最大区域尺寸的候选区域。

具体的，根据该类别的目标区域的区域特征，可以确定该类别的各个目标区域的区域位置，从而根据各个目标区域的区域位置以及上述最大区域尺寸，确定多个候选区域。

步骤S204：从候选区域中确定包含该类别的完整目标区域的数量最多的区域，根据所确定的区域得到视频帧中的待显示区域。

具体的，在确定出多个候选区域后，可以检测各个候选区域中包括的待类别的完整目标区域的数量，从而在各个候选区域中确定出最大数量对应的候选区域。

在确定出最大数量对应的候选区域后，可以直接将该区域作为视频帧中的待显示区域，还可以通过后续图3或图4所示实施例中各步骤调整所确定区域的位置，得到调整后的待显示区域。

步骤S205：在播放器中播放视频中视频帧内的待显示区域。

本步骤与上述步骤S103相同，这里不再赘述。

由以上可见，应用本公开实施例提供的方案播放视频时，根据视频帧的大小确定上述最大区域尺寸，这样能够尽可能多的向用户展示视频帧中的内容。确定最大区域尺寸后，在视频帧中确定包含目标区域且尺寸为最大区域尺寸的候选区域，从各候选区域中确定包含最多数量的完整目标区域的区域，根据所确定区域得到待显示区域，这样能够使得待显示区域包含尽可能多的目标区域，从而为用户展示视频帧中内容较为丰富的区域。

在获得视频帧中的待显示区域后，还可以根据视频帧的各种目标区域的区域特征调整待显示区域的位置，以提高待显示区域的可观赏性。

本公开的一个实施例中，参见图3，提供了第三种视频播放方法的流程示意图，本实施例中，上述方法包括以下步骤S301-S307。

步骤S301：获得视频中视频帧内目标区域的区域特征。

步骤S302：根据视频帧的大小，确定满足屏幕中播放器的宽高比的最大区域尺寸。

步骤S303：根据该类别的目标区域的区域特征，在视频帧中确定包含该类别的目标区域且尺寸为最大区域尺寸的候选区域。

步骤S304：从候选区域中确定包含该类别的完整目标区域的数量最多的区域，根据所确定的区域得到视频帧中的待显示区域。

上述步骤S301-S304分别与上述步骤S201-S204相同，这里不再赘述。

步骤S305：根据第一特征所表征的区域位置，检测待显示区域中该类别的目标区域是否完整，若不完整，则执行步骤S306。

其中，第一特征为：该类别的目标区域的特征。

具体的，根据第一特征，可以确定目标区域的区域位置，从而根据目标区域的区域位置检测待显示区域中目标区域是否完整。

本公开的一个实施例中，可以通过以下两种实现方式检测待显示区域中目标区域是否完整。

第一种实现方式中，针对每一目标区域，可以检测该目标区域内的像素点是否均属于待显示区域或者均属于待显示区域，若存在一个目标区域中部分像素点属于待显示区域，部分像素点不属于待显示区域，则说明该目标区域不完整。

第二种实现方式中，还可以判断待显示区域的边界像素点是否属于目标区域，若属于，则说明待显示区域与目标区域相交，所相交的目标区域不完整。

步骤S306：根据不完整区域的区域位置，调整待显示区域的位置和/或尺寸，得到所包含的该类别的目标区域均完整的待显示区域。

根据不完整区域的区域位置调整待显示区域可以通过现有技术实现，这里不再详述。

步骤S307：在播放器中播放视频中视频帧内的待显示区域。

由以上可见，应用本公开实施例提供的方案播放视频时，调整待显示区域的位置和/或尺寸，使得待显示区域所包含的该类别的目标区域均为完整的目标区域，这样在播放视频时，能够避免向用户展示不完整的目标区域，从而能够提高用户的观看体验。

在调整待显示区域的区域位置时，还可以基于其他类别的目标区域的区域特征进行调整。

本公开的一个实施例中，参见图4，提供了第四种视频播放方法的流程示意图，本实施例中，上述方法包括以下步骤S401-S407。

步骤S401：获得视频中视频帧内目标区域的区域特征。

步骤S402：根据视频帧的大小，确定满足屏幕中播放器的宽高比的最大区域尺寸。

步骤S403：根据该类别的目标区域的区域特征，在视频帧中确定包含该类别的目标区域且尺寸为最大区域尺寸的候选区域。

步骤S404：从候选区域中确定包含该类别的完整目标区域的数量最多的区域，根据所确定的区域得到视频帧中的待显示区域。

上述步骤S401-S404分别与上述步骤S201-S204相同，这里不再赘述。

步骤S405：根据第二特征所表征的区域位置，检测待显示区域中其他类别的目标区域是否完整，若不完整，则执行步骤S406，其中，第二特征为：其他类别的目标区域的特征。

步骤S406：根据不完整区域的区域位置，调整待显示区域的位置和/或尺寸，得到所包含的各类别的目标区域均完整的待显示区域。

上述步骤S405、S406分别与上述步骤S305、S306相同，这里不再赘述。

步骤S407：在播放器中播放视频中视频帧内的待显示区域。

由以上可见，应用本公开实施例提供的方案播放视频时，调整待显示区域的位置和/或尺寸，使得待显示区域所包含的各类别的目标区域均为完整的目标区域，这样在播放视频时，能够避免向用户展示不完整的目标区域，从而能够提高用户的观看体验。

若上述最大数量对应的候选区域有多个，则可以获得多个待显示区域。这种情况下，可以在这多个待显示区域中随机选择最终的待显示区域，还可以通过以下图5所示实施例中步骤S505选择最终的待显示区域。

本公开的一个实施例中，参见图5，提供了第五种视频播放方法的流程示意图，本实施例中，上述方法包括以下步骤S501-S506。

步骤S501：获得视频中视频帧内目标区域的区域特征。

步骤S502：根据视频帧的大小，确定满足屏幕中播放器的宽高比的最大区域尺寸。

步骤S503：根据该类别的目标区域的区域特征，在视频帧中确定包含该类别的目标区域且尺寸为最大区域尺寸的候选区域。

步骤S504：从候选区域中确定包含该类别的完整目标区域的数量最多的区域，根据所确定的区域得到视频帧中的待显示区域。

上述步骤S501-S504分别与上述步骤S201-S204相同，这里不再赘述。

步骤S505：在待显示区域的数量大于1的情况，根据各待显示区域的视觉显著程度，从各待显示区域中选择最终的待显示区域。

具体的，可以获得表征各待显示区域的视觉显著程度的视觉显著参数，并根据各待显示区域的视觉显著参数，从各待显示区域中，选择视觉显著参数数值最大的待显示区域，作为最终的待显示区域。

本公开的一个实施例中，可以通过以下两种实现方式中任一种获得待显示区域的视觉显著参数。

第一种实现方式中，可以通过现有技术，计算待显示区域这一整个区域的视觉显著参数。

第二种实现方式中，可以获得视频帧内视觉显著区域的区域特征，根据该区域特征，确定视频帧内的视觉显著区域，这样能够确定待显示区域内包含的视觉显著区域的数量或者面积等，这样可以将待显示区域内包含的视觉显著区域的数量或者面积作为该待显示区域的视觉显著参数。

步骤S506：在播放器中播放视频中视频帧内的待显示区域。

本步骤与上述步骤S103相同，这里不再赘述。

由以上可见，应用本公开实施例提供的方案播放视频时，在待显示区域的数量大于1的情况下，根据各待显示区域的视觉显著程度，能够从各待显示区域中准确选择出最终的待显示区域，从而在播放器中播放视频帧中视频帧内的待显示区域，能够提高用户的观看体验。

视频帧内的目标区域的数量可能较多，例如，上述目标区域可以是人脸区域，上述视频帧中可能包含多个人脸区域。这种情况下，在确定待显示区域之前，可以预先过滤掉其中部分区域，仅根据剩余部分的目标区域的区域特征确定待显示区域。

本公开的一个实施例中，参见图6，提供了第六种视频播放方法的流程示意图，本实施例中，上述方法包括以下步骤S601-S606。

步骤S601：获得视频中视频帧内目标区域的区域特征。

步骤S602：根据视频帧的大小，确定满足屏幕中播放器的宽高比的最大区域尺寸。

上述步骤S601、S602分别与上述步骤S201、S202相同，这里不再赘述。

步骤S603：根据该类别的目标区域的区域特征所表征的区域面积，确定该类别的目标区域中显著区域。

具体的，根据该类别的目标区域的区域特征，可以在视频帧中确定该类别的目标区域，并计算该类别的每一目标区域的区域面积，根据该类别的各个目标区域的区域面积，确定该类别的目标区域中的显著区域。

本公开的一个实施例中，在确定上述显著区域时，可以确定区域面积大于预设面积阈值的目标区域为显著区域，还可以确定区域面积最大的预设数量个目标区域为显著区域。

另外，在根据该类别的目标区域的区域特征确定目标区域之后，还可以计算该类别的每一目标区域在视频帧中的面积占比，根据该类别的各个目标区域的面积占比确定上述显著区域。

步骤S604：根据该类别的显著区域的区域特征，在视频帧中确定包含该类别的显著区域且尺寸为最大区域尺寸的候选区域。

步骤S605：从候选区域中确定包含该类别的完整显著区域的数量最多的区域，根据所选择的区域得到视频帧中的待显示区域。

步骤S606：在播放器中播放视频中视频帧内的待显示区域。

上述步骤S604-S606分别与上述步骤S203-S205相类似，这里不再赘述。

由以上可见，应用本公开实施例提供的方案播放视频时，根据各个目标区域的区域面积，从多个目标区域中筛选出显著区域，根据显著区域的区域特征确定待显示区域。上述显著区域可以理解为对视频帧中内容的表征性较强的区域，目标区域中其他区域可以理解为对视频帧中内容的表征性较弱的区域，仅使用显著区域的区域特征确定待显示区域，在保证待显示区域的准确性的前提下，还能够提高待显示区域的确定效率，从而能够提高视频播放的效率。

下面对使用多种类别的目标区域的区域特征确定待显示区域的具体实现方式进行说明。

本公开的一个实施例中，参见图7，提供了第七种视频播放方法的流程示意图，本实施例中，上述方法包括以下步骤S701-S705。

步骤S701：获得视频中视频帧内目标区域的区域特征。

本步骤与上述步骤S101相同，这里不再赘述。

步骤S702：按照区域的不同类别的优先级由高到低的顺序，根据所获得的区域特征，检测视频帧中是否存在当前优先级的目标类别的目标区域，若存在，则执行步骤S703，若不存在，则执行步骤S704。

本公开的一个实施例中，上述不同类别的优先级依据视频的内容类别确定。

例如，上述目标区域可以包括人脸所在区域、人体所在区域、车辆所在区域，若视频的内容类别为舞蹈类，则可以确定人体所在区域这一类别的优先级最高，若视频的内容类别为汽车类，则可以确定车辆所在区域这一类别的优先级最高。

本方案中，根据视频的内容类别确定区域的不同类别的优先级，这样能够优先考虑与视频的内容类别密切相关的区域的区域特征，从而能够准确确定出待显示区域。

另外，上述不同类别的优先级还可以是人为预设的。

具体的，上述当前优先级的初始值为最高优先级，在获得视频中视频帧内目标区域的区域特征后，按照区域类别的优先级由高到低的顺序，可以首先检测视频帧中是否存在最高优先级的目标类别的目标区域，若存在，则执行步骤S703，若不存在，则执行步骤S704。

例如，若上述区域类别的优先级由高到低分别为：人脸所在区域、人体所在区域、车辆所在区域，上述获得的区域特征为人体所在区域以及车辆所在区域这两个区域的区域特征，则可以检测到视频帧中不存在最高优先级的人脸所在区域，此时，执行步骤S704。

若上述获得的区域特征为人脸所在区域以及人体所在区域这两个区域的区域特征，则可以检测到视频帧中存在最高优先级的人脸所在区域，此时，执行步骤S703。

步骤S703：以屏幕中播放器的宽高比为区域大小基准，并以所包含的目标类别的目标区域的数量最大化为区域选择准则，根据目标类别的目标区域的区域特征确定视频帧中的待显示区域。

本步骤与上述步骤S102相类似，这里不再赘述。

步骤S704：将当前优先级调整为下一优先级，并返回步骤S702。

步骤S705：在播放器中播放视频中视频帧内的待显示区域。

本步骤与上述步骤S103相同，这里不再赘述。

由以上可见，应用本公开实施例提供的方案播放视频时，上述区域的不同类别的优先级，可以理解为用户期望关注的区域的排列顺序，利用区域的不同类别的优先级，能够在所获得的区域特征对应的目标区域中确定优先级最高的目标类别的目标区域，根据所确定的优先级较高的目标类别的目标区域的区域特征，确定视频帧中的待显示区域，这样在播放器中播放视频中视频帧内的待显示区域，能够向用户展示视频帧中用户最期望关注的区域，从而提高用户的观看体验。

与上述视频播放方法相对应，本公开实施例还提供了一种视频播放装置。

本公开的一个实施例中，参见图8，提供了第一种视频播放装置的结构示意图，本实施例中，上述装置包括：

特征获得模块801，用于获得视频中视频帧内目标区域的区域特征，其中，所述目标区域为：对视频帧中内容具有表征性的区域；

区域确定模块802，用于以屏幕中播放器的宽高比为区域大小基准，并以所包含目标区域的数量最大化为区域选择准则，根据所获得的区域特征确定视频帧中的待显示区域；

视频播放模块803，用于在所述播放器中播放所述视频中视频帧内的待显示区域。

由以上可见，应用本公开实施例提供的方案播放视频时，根据屏幕中播放器的宽高比以及视频帧内目标区域的区域特征确定视频帧中的待显示区域，从而在播放器中播放视频中视频帧内的待显示区域。由于待显示区域是以播放器的宽高比为区域大小基准确定的，因此，待显示区域的宽高比与播放器的宽高比一致，这样能够在播放器的整个播放区域播放视频，从而提高用户的观看体验，提高用户粘性。

另外，本方案中，针对不同宽高比的播放器，可以以不同宽高比为区域大小基准，确定适应于不同播放器的待显示区域，因此，本公开实施例提供的视频播放方案能够适应于多种宽高比的播放器，相比于现有技术中使用全黑或者全白区域填充屏幕，本方案能够扩大视频在终端中的播放区域，从而提升用户体验。

本公开的一个实施例中，上述视频中视频帧内目标区域的区域特征可以存储于服务器中，客户端在获得视频时，可以获得该视频中视频帧对应的区域特征，并结合客户端自身播放器的宽高比，确定视频帧的待显示区域，从而播放视频中视频帧内的待显示区域，这样服务器中无需存储多份不同宽高比的视频，从而能够节省服务器中的存储空间。

本公开的一个实施例中，所述视频帧中存在多种类别的目标区域；

所述特征获得模块801，具体用于：

针对每一类别，按照以下方式确定视频帧中的待显示区域：

根据视频帧的大小，确定满足屏幕中播放器的宽高比的最大区域尺寸；

根据该类别的目标区域的区域特征，在视频帧中确定包含该类别的目标区域且尺寸为所述最大区域尺寸的候选区域；

从候选区域中确定包含该类别的完整目标区域的数量最多的区域，根据所确定的区域得到视频帧中的待显示区域。

由以上可见，应用本公开实施例提供的方案播放视频时，根据视频帧的大小确定上述最大区域尺寸，这样能够尽可能多的向用户展示视频帧中的内容。确定最大区域尺寸后，在视频帧中确定包含目标区域且尺寸为最大区域尺寸的候选区域，从各候选区域中确定包含最多数量的完整目标区域的区域，根据所确定区域得到待显示区域，这样能够使得待显示区域包含尽可能多的目标区域，从而为用户展示视频帧中内容较为丰富的区域。

本公开的一个实施例中，所述特征获得模块801，还包括：

根据第一特征所表征的区域位置，检测所述待显示区域中该类别的目标区域是否完整，其中，第一特征为：该类别的目标区域的特征；

若不完整，根据不完整区域的区域位置，调整所述待显示区域的位置和/或尺寸，得到所包含的该类别的目标区域均完整的待显示区域。

由以上可见，应用本公开实施例提供的方案播放视频时，调整待显示区域的位置和/或尺寸，使得待显示区域所包含的该类别的目标区域均为完整的目标区域，这样在播放视频时，能够避免向用户展示不完整的目标区域，从而能够提高用户的观看体验。

本公开的一个实施例中，所述特征获得模块801，还包括：

根据第二特征所表征的区域位置，检测所述待显示区域中其他类别的目标区域是否完整，其中，第二特征为：其他类别的目标区域的特征；

若不完整，根据不完整区域的区域位置，调整所述待显示区域的位置和/或尺寸，得到所包含的各类别的目标区域均完整的待显示区域。

由以上可见，应用本公开实施例提供的方案播放视频时，调整待显示区域的位置和/或尺寸，使得待显示区域所包含的各类别的目标区域均为完整的目标区域，这样在播放视频时，能够避免向用户展示不完整的目标区域，从而能够提高用户的观看体验。

本公开的一个实施例中，所述特征获得模块801，还包括：

在所述待显示区域的数量大于1的情况，根据各所述待显示区域的视觉显著程度，从各所述待显示区域中选择最终的待显示区域，或从各所述待显示区域中随机选择最终的待显示区域。

由以上可见，应用本公开实施例提供的方案播放视频时，在待显示区域的数量大于1的情况下，根据各待显示区域的视觉显著程度，能够从各待显示区域中准确选择出最终的待显示区域，从而在播放器中播放视频帧中视频帧内的待显示区域，能够提高用户的观看体验。

本公开的一个实施例中，所述特征获得模块801，具体用于：

根据该类别的目标区域的区域特征所表征的区域面积，确定该类别的目标区域中显著区域；

根据该类别的显著区域的区域特征，在视频帧中确定包含该类别的显著区域且尺寸为所述最大区域尺寸的候选区域；

从候选区域中确定包含该类别的完整显著区域的数量最多的区域，根据所选择的区域得到视频帧中的待显示区域。

由以上可见，应用本公开实施例提供的方案播放视频时，根据各个目标区域的区域面积，从多个目标区域中筛选出显著区域，根据显著区域的区域特征确定待显示区域。上述显著区域可以理解为对视频帧中内容的表征性较强的区域，目标区域中其他区域可以理解为对视频帧中内容的表征性较弱的区域，仅使用显著区域的区域特征确定待显示区域，在保证待显示区域的准确性的前提下，还能够提高待显示区域的确定效率，从而能够提高视频播放的效率。

本公开的一个实施例中，所述区域确定模块802，具体用于：

按照区域的不同类别的优先级由高到低的顺序，根据所获得的区域特征，检测视频帧中是否存在当前优先级的目标类别的目标区域；

若存在，以屏幕中播放器的宽高比为区域大小基准，并以所包含的所述目标类别的目标区域的数量最大化为区域选择准则，根据所述目标类别的目标区域的区域特征确定视频帧中的待显示区域；

若不存在，将所述当前优先级调整为下一优先级，并执行所述根据所获得的区域特征，检测视频帧中是否存在当前优先级的目标类别的目标区域的步骤。

由以上可见，应用本公开实施例提供的方案播放视频时，上述区域的不同类别的优先级，可以理解为用户期望关注的区域的排列顺序，利用区域的不同类别的优先级，能够在所获得的区域特征对应的目标区域中确定优先级最高的目标类别的目标区域，根据所确定的优先级较高的目标类别的目标区域的区域特征，确定视频帧中的待显示区域，这样在播放器中播放视频中视频帧内的待显示区域，能够向用户展示视频帧中用户最期望关注的区域，从而提高用户的观看体验。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

本公开的一个实施例中，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述方法实施例中任一视频播放方法。

本公开的一个实施例中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述方法实施例中任一视频播放方法。

本公开的一个实施例中，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现前述方法实施例中任一视频播放方法。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

需要说明的是，本实施例中的人头模型并不是针对某一特定用户的人头模型，并不能反映出某一特定用户的个人信息。

需要说明的是，本实施例中的二维人脸图像来自于公开数据集。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如视频播放方法。例如，在一些实施例中，视频播放方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的视频播放方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频播放方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (20)

1.一种视频播放方法，包括：

获得视频中视频帧内目标区域的区域特征，其中，所述目标区域为：对视频帧中内容具有表征性的区域；

以屏幕中播放器的宽高比为区域大小基准，并以所包含目标区域的数量最大化为区域选择准则，根据所获得的区域特征确定视频帧中的待显示区域；

在所述播放器中播放所述视频中视频帧内的待显示区域。

2.根据权利要求1所述的方法，其中，所述视频帧中存在多种类别的目标区域；

所述以屏幕中播放器的宽高比为区域大小基准，并以所包含目标区域的数量最大化为区域选择准则，根据所获得的区域特征确定视频帧中的待显示区域，包括：

针对每一类别，按照以下方式确定视频帧中的待显示区域：

根据视频帧的大小，确定满足屏幕中播放器的宽高比的最大区域尺寸；

根据该类别的目标区域的区域特征，在视频帧中确定包含该类别的目标区域且尺寸为所述最大区域尺寸的候选区域；

从候选区域中确定包含该类别的完整目标区域的数量最多的区域，根据所确定的区域得到视频帧中的待显示区域。

3.根据权利要求2所述的方法，所述方法还包括：

根据第一特征所表征的区域位置，检测所述待显示区域中该类别的目标区域是否完整，其中，第一特征为：该类别的目标区域的特征；

若不完整，根据不完整区域的区域位置，调整所述待显示区域的位置和/或尺寸，得到所包含的该类别的目标区域均完整的待显示区域。

4.根据权利要求2或3所述的方法，所述方法还包括：

根据第二特征所表征的区域位置，检测所述待显示区域中其他类别的目标区域是否完整，其中，第二特征为：其他类别的目标区域的特征；

若不完整，根据不完整区域的区域位置，调整所述待显示区域的位置和/或尺寸，得到所包含的各类别的目标区域均完整的待显示区域。

5.根据权利要求2或3所述的方法，所述方法还包括：

在所述待显示区域的数量大于1的情况，根据各所述待显示区域的视觉显著程度，从各所述待显示区域中选择最终的待显示区域，或从各所述待显示区域中随机选择最终的待显示区域。

6.根据权利要求2或3所述的方法，其中，所述根据该类别的目标区域的区域特征，在视频帧中确定包含该类别的目标区域且尺寸为所述最大区域尺寸的候选区域，包括：

根据该类别的目标区域的区域特征所表征的区域面积，确定该类别的目标区域中显著区域；

根据该类别的显著区域的区域特征，在视频帧中确定包含该类别的显著区域且尺寸为所述最大区域尺寸的候选区域；

所述从候选区域中确定包含该类别的完整目标区域的数量最多的区域，根据所选择的区域得到视频帧中的待显示区域，包括：

从候选区域中确定包含该类别的完整显著区域的数量最多的区域，根据所选择的区域得到视频帧中的待显示区域。

7.根据权利要求1所述的方法，其中，所述以屏幕中播放器的宽高比为区域大小基准，并以所包含目标区域的数量最大化为区域选择准则，根据所获得的区域特征确定视频帧中的待显示区域，包括：

按照区域的不同类别的优先级由高到低的顺序，根据所获得的区域特征，检测视频帧中是否存在当前优先级的目标类别的目标区域；

若存在，以屏幕中播放器的宽高比为区域大小基准，并以所包含的所述目标类别的目标区域的数量最大化为区域选择准则，根据所述目标类别的目标区域的区域特征确定视频帧中的待显示区域；

若不存在，将所述当前优先级调整为下一优先级，并执行所述根据所获得的区域特征，检测视频帧中是否存在当前优先级的目标类别的目标区域的步骤。

8.根据权利要求7所述的方法，其中，

不同类别的优先级依据视频的内容类别确定。

9.根据权利要求1-3中任一项所述的方法，其中，所述目标区域包括以下区域中至少一种：

视觉显著区域、对象区域、文本区域。

10.根据权利要求1-3中任一项所述的方法，其中，

所述视频帧包括：所述视频中的当前关键帧和所述当前关键帧之前和/或之后的多个关键帧。

11.一种视频播放装置，包括：

特征获得模块，用于获得视频中视频帧内目标区域的区域特征，其中，所述目标区域为：对视频帧中内容具有表征性的区域；

区域确定模块，用于以屏幕中播放器的宽高比为区域大小基准，并以所包含目标区域的数量最大化为区域选择准则，根据所获得的区域特征确定视频帧中的待显示区域；

视频播放模块，用于在所述播放器中播放所述视频中视频帧内的待显示区域。

12.根据权利要求11所述的装置，其中，所述视频帧中存在多种类别的目标区域；

所述特征获得模块，具体用于：

针对每一类别，按照以下方式确定视频帧中的待显示区域：

根据视频帧的大小，确定满足屏幕中播放器的宽高比的最大区域尺寸；

根据该类别的目标区域的区域特征，在视频帧中确定包含该类别的目标区域且尺寸为所述最大区域尺寸的候选区域；

从候选区域中确定包含该类别的完整目标区域的数量最多的区域，根据所确定的区域得到视频帧中的待显示区域。

13.根据权利要求12所述的装置，所述特征获得模块，还包括：

根据第一特征所表征的区域位置，检测所述待显示区域中该类别的目标区域是否完整，其中，第一特征为：该类别的目标区域的特征；

若不完整，根据不完整区域的区域位置，调整所述待显示区域的位置和/或尺寸，得到所包含的该类别的目标区域均完整的待显示区域。

14.根据权利要求12或13所述的装置，所述特征获得模块，还包括：

根据第二特征所表征的区域位置，检测所述待显示区域中其他类别的目标区域是否完整，其中，第二特征为：其他类别的目标区域的特征；

若不完整，根据不完整区域的区域位置，调整所述待显示区域的位置和/或尺寸，得到所包含的各类别的目标区域均完整的待显示区域。

15.根据权利要求12或13所述的装置，所述特征获得模块，还包括：

在所述待显示区域的数量大于1的情况，根据各所述待显示区域的视觉显著程度，从各所述待显示区域中选择最终的待显示区域，或从各所述待显示区域中随机选择最终的待显示区域。

16.根据权利要求12或13所述的装置，其中，所述特征获得模块，具体用于：

根据该类别的目标区域的区域特征所表征的区域面积，确定该类别的目标区域中显著区域；

根据该类别的显著区域的区域特征，在视频帧中确定包含该类别的显著区域且尺寸为所述最大区域尺寸的候选区域；

从候选区域中确定包含该类别的完整显著区域的数量最多的区域，根据所选择的区域得到视频帧中的待显示区域。

17.根据权利要求11所述的装置，其中，所述区域确定模块，具体用于：

按照区域的不同类别的优先级由高到低的顺序，根据所获得的区域特征，检测视频帧中是否存在当前优先级的目标类别的目标区域；

若存在，以屏幕中播放器的宽高比为区域大小基准，并以所包含的所述目标类别的目标区域的数量最大化为区域选择准则，根据所述目标类别的目标区域的区域特征确定视频帧中的待显示区域；

若不存在，将所述当前优先级调整为下一优先级，并执行所述根据所获得的区域特征，检测视频帧中是否存在当前优先级的目标类别的目标区域的步骤。

18.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。

19.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。

20.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。

Images