CN114339371A - 视频显示方法、装置、设备及存储介质 - Google Patents

视频显示方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114339371A
CN114339371A CN202111680845.6A CN202111680845A CN114339371A CN 114339371 A CN114339371 A CN 114339371A CN 202111680845 A CN202111680845 A CN 202111680845A CN 114339371 A CN114339371 A CN 114339371A
Authority
CN
China
Prior art keywords
video
determining
key picture
picture
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111680845.6A
Other languages
English (en)
Inventor
杨洁
牛冰峰
曾轶
张文晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Music Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Music Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Music Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202111680845.6A priority Critical patent/CN114339371A/zh
Publication of CN114339371A publication Critical patent/CN114339371A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明属于视频显示技术领域,公开了一种视频显示方法、装置、设备及存储介质。该方法包括:获取多路视频;确定关键画面;当任一路视频中出现所述关键画面时,根据所述关键画面确定显示区域;根据所述显示区域显示所述任一路视频。通过上述方式,判断多路视频中是否出现关键画面,当出现时,确定对应视频的显示区域,从而在多画同看的过程中出现关键画面时只在显示区域中显示,从而能够突出关键画面,使得用户不会错过关键性画面。

Description

视频显示方法、装置、设备及存储介质
技术领域
本发明涉及视频显示技术领域,尤其涉及一种视频显示方法、装置、设备及存储介质。
背景技术
随着人们对在线视频媒体使用越来越频繁,对视频内容的使用场景和要求越来越多,例如当跨年时,各家电视台同时播放跨年晚会,喜欢的明星可能汇聚在不同的电视台,因此就可能希望同时观看多家电视台的节目。
在现有方案中:应用程序提供“多画同看”或“画中画”的功能,可支持同时选择多个想看的视频源,按应用程序提前规定好的布局方式,同时观看多个不同的视频。当选择某个视频作为主要播放界面时,其他视频静音播放,避免对观看体验的干扰。由于大部分用户使用“多画同看”功能中,视觉焦点往往只能停留在一个视频画面内,这就导致当其他视频有高潮或想看等关键性的内容时,很容易错过这些画面。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种视频显示方法、装置、设备及存储介质,旨在解决现有技术中如何避免在多画同看的过程中错过想看的关键性画面或精彩瞬间的技术问题。
为实现上述目的,本发明提供了一种视频显示方法,所述方法包括以下步骤:
获取多路视频;
确定关键画面;
当任一路视频中出现所述关键画面时,根据所述关键画面确定显示区域;
根据所述显示区域显示所述任一路视频。
可选地,所述当任一路视频中出现所述关键画面时,根据所述关键画面确定显示区域,包括:
根据所述关键画面确定用户偏好内容的显示区域;
确定出现所述关键画面的视频的视频播放区域;
获取所述视频播放区域的显示边界阈值,根据所述显示边界阈值确定所述用户偏好内容的显示区域在所述视频播放区域的位置信息;
根据所述位置信息对所述用户偏好内容的显示区域进行调整,得到显示区域。
可选地,所述根据所述关键画面确定用户偏好内容的显示区域,包括:
根据所述关键画面确定所述用户偏好内容的特征对象在所述关键画面中的像素坐标;
根据所述关键画面确定边缘线段,并根据边缘线段确定的用户偏好内容包围区域;
当所述像素坐标处于用户偏好内容包围区域时,判定所述用户偏好内容包围区域为显示区域。
可选地,所述根据所述关键画面确定边缘线段,并根据边缘线段确定的用户偏好内容包围区域,包括:
将所述关键画面转换为黑白图像;
对所述黑白图像进行降噪处理,得到降噪黑白图像;
确定所述降噪黑白图像中的边缘线段;
判断所述边缘线段是否形成包围区域;
当形成包围区域时,获取所述包围区域的区域面积;
将所述区域面积大于预设面积的包围区域作为用户偏好内容包围区域。
可选地,所述确定关键画面,包括:
获取所述多路视频的预设画面标签;
确定所述预设画面标签对应的的视听时长、视听数量、收藏数量以及评论数量;
根据所述视听时长、所述视听数量、所述收藏数量以及所述评论数量得到所述预设画面标签的感兴趣权值;
根据所述感兴趣权值以及所述多路视频中的对象图像确定所述多路视频中的关键画面。
可选地,所述根据所述视听时长、所述视听数量、所述收藏数量以及所述评论数量得到所述预设画面标签的感兴趣权值的步骤包括:
确定所述视听时长、所述视听数量、所述收藏数量以及所述评论数量对应的权重系数;
基于所述权重系数对所述视听时长、所述视听数量、所述收藏数量以及所述评论数量进行加权求和,得到所述预设画面标签的感兴趣权值。
可选地,所述根据所述感兴趣权值以及所述多路视频中的对象图像确定所述多路视频中的关键画面,包括:
根据所述感兴趣权值确定用户偏好内容;
根据所述用户偏好内容确定对应的特征对象特征;
识别所述多路视频中的对象图像,并基于对象图像确定视频对象特征;
将所述视频对象特征与所述特征对象特征进行匹配,得到匹配结果;
根据所述匹配结果确定关键画面。
此外,为实现上述目的,本发明还提出一种视频显示装置,所述视频显示装置包括:
视频获取模块,用于获取多路视频;
画面确定模块,用于确定关键画面;
区域确定模块,用于当任一路视频中出现所述关键画面时,根据所述关键画面确定显示区域;
视频显示模块,用于根据所述显示区域显示所述任一路视频。
此外,为实现上述目的,本发明还提出一种视频显示设备,所述视频显示设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频显示程序,所述视频显示程序配置为实现如上文所述的视频显示方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有视频显示程序,所述视频显示程序被处理器执行时实现如上文所述的视频显示方法的步骤。
本发明通过获取多路视频;确定关键画面;当任一路视频中出现所述关键画面时,根据所述关键画面确定显示区域;根据所述显示区域显示所述任一路视频。通过上述方式,判断多路视频中是否出现关键画面,当出现时,确定对应视频的显示区域,从而在多画同看的过程中出现关键画面时只在显示区域中显示,从而能够突出关键画面,使得用户不会错过关键性画面。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的视频显示设备的结构示意图;
图2为本发明视频显示方法第一实施例的流程示意图;
图3为本发明视频显示方法一实施例的两视频同看示意图;
图4为本发明视频显示方法一实施例的三视频同看示意图;
图5为本发明视频显示方法一实施例的四视频同看示意图;
图6为本发明视频显示方法一实施例的横竖同看示意图;
图7为本发明视频显示方法第二实施例在步骤S20的流程示意图;
图8为本发明视频显示方法第三实施例在步骤S30的流程示意图;
图9为本发明视频显示装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的视频显示设备结构示意图。
如图1所示,该视频显示设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对视频显示设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频显示程序。
在图1所示的视频显示设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明视频显示设备中的处理器1001、存储器1005可以设置在视频显示设备中,所述视频显示设备通过处理器1001调用存储器1005中存储的视频显示程序,并执行本发明实施例提供的视频显示方法。
本发明实施例提供了一种视频显示方法,参照图2,图2为本发明一种视频显示方法第一实施例的流程示意图。
本实施例中,所述视频显示方法包括以下步骤:
步骤S10:获取多路视频。
需要说明的是,本实施例的执行主体为运行在终端设备上的应用程序,终端设备包括智能手机、平板电脑等可以运行智能操作系统的设备。智能操作系统包括IOS、Android等,本实施例不加以限制。
可以理解的是,当用户需要同时观看多个视频时,应用程序则根据用户在设备上的选择操作(例如滑动、点按等)确定待观看的视频,然后从视频服务器中获取对应的视频,从而同时获得多路视频。多路视频中包括主视频以及副视频,应用程序首先会提示用户选取主视频,主视频是指在终端设备的显示屏中显示面积最大的视频,并且移动终端会播放主视频的音频。在同时观看多个视频时,主视频只能同时存在一个。副视频是指在终端设备的显示屏中不作为主要播放的视频,副视频相对于主视频的显示区域较小,副视频可以同时存在多个,并且在同时观看时,副视频会执行静音操作。
需要说明的是,当用户选择同时观看多个视频时,终端设备会将显示区域划分为主视角区域以及副视角区域,主视角区域的显示面积大于副视角区域的显示面积,主视角区域中只能同时播放一个主视频,而副视角区域中可以同时播放多个副视频。根据选择视频的数量以及视频长宽比例,终端设备会选择对应的布局方式进行画面布局。
如图3所示,当两个视频同时播放时,两个视频的长度均小于宽度,两个视频中包括一个主视频和一个副视频,主视频在左侧较大的主视角区域显示,副视频在右侧较小的副视角区域显示,主视角区域与副视角区域可以调换位置,即主视角区域可以在终端设备上的右侧显示,副视角区域可以在终端设备上的左侧显示,调换位置后,主视角区域与副视角区域的显示面积不会改变。
如图4所示,当三个视频同时播放时,三个视频的长度均小于宽度,三个视频中包括一个主视频和两个副视频(副视频1和副视频2),主视频在主视角区域中显示,两个副视频在副视角区域中上下排列显示。
如图5所示,当四个视频同时播放时,三个视频的长度均小于宽度,四个视频中包括一个主视频和三个副视频(副视频1、副视频2和副视频3),主视频在主视角区域中显示,三个副视频在副视角区域中上下排列显示。
如图6所示,主视角区域与副视角区域中的视频均可以横竖屏切换,当副视频的长度大于宽度时,副视角区域则会将切换为竖屏显示,从而能够适应不同的视频比例。
步骤S20:确定关键画面。
可以理解的是,应用程序中记录了用户的听歌行为等数据,用户听歌行为数据包括用户的对不同明星的听歌时长、听歌数量、收藏歌曲数量、评论数量等,从而从用户听歌行为数据中确定用户听歌时长最长的明星,确定用户听歌数量最多的明星,确定用户收藏歌曲数量最多的明星,确定评论数量最多的明星。并根据听歌时长、听歌数量、收藏歌曲数量、评论数量的权重确定对应的明星权重,例如,听歌时长权重>听歌数量权重>收藏歌曲数量权重>评论数量权重,听歌时长最长的明星为明星A,听歌数量最多的明星为明星B,收藏歌曲数量最多的明星为明星C,评论数量最多的明星为明星D,则对应的明星权重为:明星A>明星B>明星C>明星D,通过明星权重对明星的重要程度进行排序。若排序中存在相同明星,例如明星A与明星D为同一明星,则权重最高的为准,调整后的排序为:明星A>明星B>明星C。以上仅为举例说明,本实施例不加以限制。
在具体实现中,应用程序中还保存有用户设定的偏好数据,当用户选择多个视频同时观看时,提示用户设定偏好数据。偏好数据中包括用户喜爱明星的排序,例如:1.明星Q,2.明星P,3.明星M。以上仅为举例说明,本实施例不加以限制。
需要说明的是,在根据用户听歌行为数据以及偏好数据得到对应的明星排序后,首先对将两排序基础合并,用户设定的排序权重最高,用户设定的明星排序先于根据用户听歌行为数据得到的排序,例如,用户设定的排序为明星Q>明星P>明星M,根据用户听歌行为数据得到的排序为明星A>明星B>明星C,则基础合并后的明星排序为明星Q>明星P>明星M>明星A>明星B>明星C。由于用户的喜好会表现在用户的听歌行为中,因此根据用户听歌行为数据得到排序中的明星可能会与用户设定的明星排序重复,则以排序高的为准,并去掉重复排序。例如,在排序明星Q>明星P>明星M>明星A>明星B>明星C中,明星P与明星B为同一明星,则去重后的排序为明星Q>明星P>明星M>明星A>明星C。以上仅为举例说明,本实施例不加以限制。
进一步地,若用户没有听歌行为数据,则只以用户设定的偏好数据确定明星排序;若用户没有设定偏好数据,则只以听歌行为数据确定明星排序。若没有听歌行为数据和偏好数据,则不触发关键画面识别逻辑。
需要说明的是,关键画面是指用户喜好明星的显示画面。当任一视频中出现人像时,识别人像对应的明星或素人,排除素人的人像,将识别出的明星与上述的明星排序进行匹配,若匹配成功,则说明多路视频中有至少一路视频正在显示关键画面。
可以理解的是,用户可以为每路视频单独设定偏好数据,从而每路视频均可以存在单独的明星偏好排序。当明星排序生成后,用户可以手动调整明星偏好排序。
进一步地,偏好数据中还可以包括喜爱歌曲,此时可以根据听歌行为确定听歌时长最长的歌曲、听歌次数最多的歌曲、收藏歌曲,并将上述歌曲加入到喜爱歌曲中。虽然副视频保持静音状态,但终端设备会根据副视频的音频识别歌曲,当识别出的歌曲在喜爱歌曲中时,则判定此视频正在显示关键画面。
步骤S30:当任一路视频中出现所述关键画面时,根据所述关键画面确定显示区域。
需要说明的是,由于关键画面中会出现多余的画面,例如背景过多、用户偏好明星周围的无关人员过多,因此为了避免其他影响因素对用户观看体验的影响,对关键画面进行剪裁,将多余背景以及无关人员剪裁掉,留下仅包含用户偏好明星的区域,即显示区域。
步骤S40:根据所述显示区域显示所述任一路视频。
可以理解的是,将多余背景以及无关人员的画面剪裁掉留下的显示区域,其显示面积相较于原关键画面过小,此时会将显示区域中的画面放大,可以有用户提前设定选择保留用户偏好明星的上半身、或全身,当用户选择保留上半身时,则将显示区域中明星的下半身剪裁掉,并等比例放大剪裁掉的画面,使之尽可能填满原显示区域。同理,用户选择保留全身时,则不再对显示区域中的画面进行剪裁,直接对显示区域中的画面进行等比例放大,使之尽可能填满原显示区域。
在具体实现中,由于副视频处于静音状态,因此当副视频中出现关键画面时,副视频所在的副视角区域会显示提醒特效,提醒特效包括发亮、画面抖动、呼吸灯特效等。不同排序的明星可对应不同的提醒特效,例如排序1至3的明星出现时,副视频对应的副视角区域发亮,排序4至6的明星出现时,副视频对应的副视角区域画面抖动,排序7及以后的明星出现时,副视频对应的副视角区域展示呼吸灯特效。以上仅为举例说明,本实施例不加以限制。
可以理解的是,发亮、画面抖动、呼吸灯特效等特效中选取任意一种为默认特效,当上述关键画面不为明星出场时,则展示默认特效。
本实施例获取多路视频;确定关键画面;当任一路视频中出现所述关键画面时,根据所述关键画面确定显示区域;根据所述显示区域显示所述任一路视频。通过上述方式,判断多路视频中是否出现关键画面,当出现时,确定对应视频的显示区域,从而在多画同看的过程中出现关键画面时只在显示区域中显示,从而能够突出关键画面,使得用户不会错过关键性画面。
参考图7,图7为本发明一种视频显示方法第二实施例的流程示意图。
基于上述第一实施例,本实施例视频显示方法在所述步骤S20,包括:
步骤S21:获取所述多路视频的预设画面标签。
需要说明的是,应用程序在从视频服务器获取视频数据时,视频服务器同时将该视频的预设画面标签发送至应用程序,应用程序展示预设画面标签并让用户进行选择。预设画面标签是指视频中会出现的明星画面或精彩画面,例如,明星A出场、明星B演唱《XX》等,以上仅为举例说明,本实施例不加以限制。
步骤S22:确定所述预设画面标签对应的的视听时长、视听数量、收藏数量以及评论数量。
可以理解的是,首先获取用户视听行为数据,用户视听行为数据中包括明星歌曲、视频的视听时长、视听数量、收藏数量、评论数量以及观看视频的历史记录等,在用户视听行为数据中查找与预设画面标签关联的视听行为,视听行为包括预设画面标签对应明星的歌曲、视频的视听时长、视听数量、收藏数量、评论数量等。当存在上述行为时,表明用户对预设画面标签中对应的明星存在好感或爱好听此明星的歌曲。
需要说明的是,视听时长包括听歌总时长、视频观看总时长;视听数量包括听歌数量以及视频观看数量;收藏数量包括歌曲收藏数量以及视频收藏数量;评论数量包括歌曲评论区的评论条数以及视频评论区的评论条数。
步骤S23:根据所述视听时长、所述视听数量、所述收藏数量以及所述评论数量得到所述预设画面标签的感兴趣权值。
进一步地,所述根据所述视听时长、所述视听数量、所述收藏数量以及所述评论数量得到所述预设画面标签的感兴趣权值的步骤包括:确定所述视听时长、所述视听数量、所述收藏数量以及所述评论数量对应的权重系数;基于所述权重系数对所述视听时长、所述视听数量、所述收藏数量以及所述评论数量进行加权求和,得到所述预设画面标签的感兴趣权值。
在具体实现中,视听时长的权重系数为第一权重,视听数量的权重系数为第二权重,收藏数量的权重系数为第三权重,评论数量的权重系数为第四权重,感兴趣权值的计算公式如下:
W=Q1×T+Q2×A+Q3×S+Q4×P 公式1;
其中,W为感兴趣权值,Q1为第一权重,Q2为第二权重,Q3为第三权重,Q4为第四权重,T为视听时长,A为视听数量,S为收藏数量,P为评论数量。
在具体实现中,当存在预设画面标签对应明星的用户视听行为时,则需要基于用户视听行为确定用户对明星的感兴趣程度,感兴趣程度可以通过感兴趣权值来体现。
需要说明的是,当不存在预设画面标签对应明星的用户视听行为时,可结合用户过往对其他明星的视听数据,计算用户感兴趣的明星排序,再计算可选择的明星与用户感兴趣明星的关联性,关联性计算包括年代、地域、曲风类型等,预估用户对于可选择列表中明星的感兴趣程度,关联性越大,感兴趣程度越高,排序越靠前。
步骤S24:根据所述感兴趣权值以及所述多路视频中的对象图像确定所述多路视频中的关键画面。
进一步地,所述根据所述感兴趣权值以及所述多路视频中的对象图像确定所述多路视频中的关键画面,包括:根据所述感兴趣权值确定用户偏好内容;根据所述用户偏好内容确定对应的特征对象特征;识别所述多路视频中的对象图像,并基于对象图像确定视频对象特征;将所述视频对象特征与所述特征对象特征进行匹配,得到匹配结果;根据所述匹配结果确定关键画面。
在具体实现中,根据公式1确定每个预设画面标签对应明星的感兴趣权值后,根据感兴趣权值的大小对预设画面标签进行排序,从而得到画面标签排序。预设画面标签的感兴趣权值越大,用户对此预设画面标签对应明星的感兴趣程度越高。
可以理解的是,视频在播放时,对应的画面上会显示对应的画面标签排序,基于用户的选择得到用户偏好内容。用户偏好内容为用户从画面标签排序中选择的内容,内容可以为明星出场、歌曲演唱等。
需要说明的是,在确定用户偏好内容为与明星相关联后,从明星人脸匹配库中选择该明星的对应的目标人脸特征,该明星的目标人脸特征由该明星的历史照片、视频得到。特征对象特征包括该明星的对应的目标人脸特征。
可以理解的是,在视频画面播放过程中,实时获取视频中出现对象图像的视频对象特征,当特征对象为明星时,则视频中的对象图像为所有出现的人脸图像,视频对象特征为视频中所有人脸的特征,然后将视频对象特征与特征对象特征通过预设匹配模型进行匹配,得到匹配结果。匹配结果中包括匹配度,当匹配度大于等于阈值时,统计该特征对象连续出现的时长,当时长超过N秒时,则标记该视频出现关键画面。若未超过N秒,则剔除该明星数据,降低误入镜影响识别率的可能性。若人脸匹配度小于阈值时,则判定视频中未显示关键画面。
本实施例通过获取所述多路视频的预设画面标签;确定所述预设画面标签对应的的视听时长、视听数量、收藏数量以及评论数量;根据所述视听时长、所述视听数量、所述收藏数量以及所述评论数量得到所述预设画面标签的感兴趣权值;根据所述感兴趣权值以及所述多路视频中的对象图像确定所述多路视频中的关键画面。通过上述方式,基于视频的预设画面标签对应的视听时长、视听数量、收藏数量以及评论数量对预设画面标签进行排序,用户从预设画面标签排序中选择自己偏好的内容,并识别视频中是否出现此内容关联的画面,从而判断视频中是否正在显示关键画面,当显示关键画面,则提醒用户进行观看,从而可以避免用户错过想观看的内容。
参考图8,图8为本发明一种视频显示方法第三实施例的流程示意图。
基于上述第一实施例,本实施例视频显示方法在所述步骤S30,包括:
步骤S31:根据所述关键画面确定用户偏好内容的显示区域。
需要说明的是,显示区域是指用户偏好内容在视频中显示的区域,当用户偏好内容与明星相关时,则显示区域根据明星在视频中的人像轮廓确定。
进一步地,为了得到更加准确的显示区域,所述根据所述关键画面确定用户偏好内容的显示区域,包括:根据所述关键画面确定所述用户偏好内容的特征对象在所述关键画面中的像素坐标;根据所述关键画面确定边缘线段,并根据边缘线段确定的用户偏好内容包围区域;当所述像素坐标处于用户偏好内容包围区域时,判定所述用户偏好内容包围区域为显示区域。
在具体实现中,若用户偏好内容与明星相关时,关键画面中则已经识别出了明星人脸(即特征对象),则可以根据确定明星人脸在关键画面中的像素坐标。但显示区域中不仅包括人脸还包括明星身体的区域,因此需要确定明星整体的区域。
进一步地,所述根据所述关键画面确定边缘线段,并根据边缘线段确定的人像包围区域,包括:将所述关键画面转换为黑白图像;对所述黑白图像进行降噪处理,得到降噪黑白图像;确定所述降噪黑白图像中的边缘线段;判断所述边缘线段是否形成包围区域;当形成包围区域时,获取所述包围区域的区域面积;将所述区域面积大于预设面积的包围区域作为用户偏好内容包围区域。
需要说明的是,首先将关键画面二值化,从而将关键画面转换为黑白图像,接着对黑白图像进行降噪处理,得到降噪黑白图像,降噪采用均值滤波的方式,滤波公式如下:
Figure BDA0003447118380000121
在公式2中,(x,y)为黑白图像中的像素点,g为均值滤波后的像素值,S为黑白图像,f(x,y)为像素点所在3*3像素块的像素值,M为像素块像素点的数量,M通常取值9。
将黑白图像降噪后,基于预设边缘检测算法确定降噪黑白图像中的边缘线段,并基于边缘线确定被边缘线段包围的区域(即包围区域),当边缘线段形成包围区域时,获取此包围区域的区域面积,区域面积可以通过边缘包围区域中的像素点确定,最后将区域面积大于预设面积的包围区域作为用户偏好内容包围区域。但人像包围区域并不一定是明星的人像区域,此时根据特征对象的像素坐标确定其所在的用户偏好内容包围区域,将此用户偏好内容包围区域确定为显示区域。
确定显示区域后,弹窗提示用户是否仅播放显示区域,若用户选择是,则视频边缘沿着显示区域自适应变化形状,可每隔500ms秒更新显示区域,从而动态跟踪明星的运动轨迹。也可以对关键画面进行模糊处理作为底图,将显示区域中的人像放大作为前景,从而突出明星的人像显示。还可以基于显示区域对关键画面进行剪裁,增大明星人像在关键画面中的比例。
需要说明的是,用户还可以设置“关键画面出现时自动切换主视角”,若用户开启此功能,则当副视频出现关键画面时,自动将该副视频移动至主视角区域,并开始播放音频。
步骤S32:确定出现所述关键画面的视频的视频播放区域。
在具体实现中,多路视频中包括主视频以及副视频,而主视频与副视频对应的视频播放区域并不相同,视频播放区域是指视频在终端设备显示屏上的播放区域。
步骤S33:获取所述视频播放区域的显示边界阈值,根据所述显示边界阈值确定所述显示区域在所述视频播放区域的位置信息。
需要说明的是,显示边界阈值是指视频播放区域的边界像素坐标,例如,终端设备的屏幕分辨率为1920*1080,主视频的视频播放区域对应的四个顶点的像素坐标为(0,180)、(1280,180)、(0,900)、(900,1280),连接这四个点形成矩形的视频播放区域,矩形边上的像素坐标即为显示边界阈值。
可以理解的是,显示区域处于视频播放区域中,位置信息是指显示区域的像素坐标。
步骤S34:根据所述位置信息对所述显示区域进行调整,得到显示区域。
在具体实现中,可能由于明星在关键画面中的比例较小,导致显示区域也会较小,较小的显示区域会影响用户的观看体验,因此需要对显示区域进行调整。在调整时,等比例放大显示区域,并且不超出视频播放区域的显示边界。从而得到最终的的显示区域。
本实施例根据所述关键画面确定用户偏好内容的显示区域;确定出现所述关键画面的视频的视频播放区域;获取所述视频播放区域的显示边界阈值,根据所述显示边界阈值确定所述显示区域在所述视频播放区域的位置信息;根据所述位置信息对所述显示区域进行调整,得到显示区域。通过上述方式,在确定显示区域后,基于显示边界阈值对显示区域进行调整,从而能够以最佳的观看画面显示视频,提升了用户体验。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有视频显示程序,所述视频显示程序被处理器执行时实现如上文所述的视频显示方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
参照图9,图9为本发明视频显示装置第一实施例的结构框图。
如图9所示,本发明实施例提出的视频显示装置包括:
视频获取模块10,用于获取多路视频。
画面确定模块20,用于确定关键画面。
区域确定模块30,用于当任一路视频中出现所述关键画面时,根据所述关键画面确定显示区域。
视频显示模块40,用于根据所述显示区域显示所述任一路视频。
在一实施例中,所述区域确定模块30,还用于根据所述关键画面确定用户偏好内容的显示区域;确定出现所述关键画面的视频的视频播放区域;获取所述视频播放区域的显示边界阈值,根据所述显示边界阈值确定所述用户偏好内容的显示区域在所述视频播放区域的位置信息;根据所述位置信息对所述用户偏好内容的显示区域进行调整,得到显示区域。
在一实施例中,所述区域确定模块30,还用于根据所述关键画面确定所述用户偏好内容的特征对象在所述关键画面中的像素坐标;根据所述关键画面确定边缘线段,并根据边缘线段确定的用户偏好内容包围区域;当所述像素坐标处于用户偏好内容包围区域时,判定所述用户偏好内容包围区域为显示区域。
在一实施例中,所述区域确定模块30,还用于将所述关键画面转换为黑白图像;对所述黑白图像进行降噪处理,得到降噪黑白图像;确定所述降噪黑白图像中的边缘线段;判断所述边缘线段是否形成包围区域;当形成包围区域时,获取所述包围区域的区域面积;将所述区域面积大于预设面积的包围区域作为用户偏好内容包围区域。
在一实施例中,所述画面确定模块20,还用于获取所述多路视频的预设画面标签;确定所述预设画面标签对应的的视听时长、视听数量、收藏数量以及评论数量;根据所述视听时长、所述视听数量、所述收藏数量以及所述评论数量得到所述预设画面标签的感兴趣权值;根据所述感兴趣权值以及所述多路视频中的对象图像确定所述多路视频中的关键画面。
在一实施例中,所述画面确定模块20,还用于确定所述视听时长、所述视听数量、所述收藏数量以及所述评论数量对应的权重系数;基于所述权重系数对所述视听时长、所述视听数量、所述收藏数量以及所述评论数量进行加权求和,得到所述预设画面标签的感兴趣权值。
在一实施例中,所述画面确定模块20,还用于根据所述感兴趣权值确定用户偏好内容;根据所述用户偏好内容确定对应的特征对象特征;识别所述多路视频中的对象图像,并基于对象图像确定视频对象特征;将所述视频对象特征与所述特征对象特征进行匹配,得到匹配结果;根据所述匹配结果确定关键画面。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
本实施例通过获取多路视频;确定关键画面;当任一路视频中出现所述关键画面时,根据所述关键画面确定显示区域;根据所述显示区域显示所述任一路视频。通过上述方式,判断多路视频中是否出现关键画面,当出现时,确定对应视频的显示区域,从而在多画同看的过程中出现关键画面时只在显示区域中显示,从而能够突出关键画面,使得用户不会错过关键性画面。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的视频显示方法,此处不再赘述。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视频显示方法,其特征在于,所述视频显示方法包括:
获取多路视频;
确定关键画面;
当任一路视频中出现所述关键画面时,根据所述关键画面确定显示区域;
根据所述显示区域显示所述任一路视频。
2.如权利要求1所述的方法,其特征在于,所述当任一路视频中出现所述关键画面时,根据所述关键画面确定显示区域,包括:
根据所述关键画面确定用户偏好内容的显示区域;
确定出现所述关键画面的视频的视频播放区域;
获取所述视频播放区域的显示边界阈值,根据所述显示边界阈值确定所述用户偏好内容的显示区域在所述视频播放区域的位置信息;
根据所述位置信息对所述用户偏好内容的显示区域进行调整,得到显示区域。
3.如权利要求2所述的方法,其特征在于,所述根据所述关键画面确定用户偏好内容的显示区域,包括:
根据所述关键画面确定所述用户偏好内容的特征对象在所述关键画面中的像素坐标;
根据所述关键画面确定边缘线段,并根据边缘线段确定的用户偏好内容包围区域;
当所述像素坐标处于用户偏好内容包围区域时,判定所述用户偏好内容包围区域为显示区域。
4.如权利要求3所述的方法,其特征在于,所述根据所述关键画面确定边缘线段,并根据边缘线段确定的用户偏好内容包围区域,包括:
将所述关键画面转换为黑白图像;
对所述黑白图像进行降噪处理,得到降噪黑白图像;
确定所述降噪黑白图像中的边缘线段;
判断所述边缘线段是否形成包围区域;
当形成包围区域时,获取所述包围区域的区域面积;
将所述区域面积大于预设面积的包围区域作为用户偏好内容包围区域。
5.如权利要求1所述的方法,其特征在于,所述确定关键画面,包括:
获取所述多路视频的预设画面标签;
确定所述预设画面标签对应的的视听时长、视听数量、收藏数量以及评论数量;
根据所述视听时长、所述视听数量、所述收藏数量以及所述评论数量得到所述预设画面标签的感兴趣权值;
根据所述感兴趣权值以及所述多路视频中的对象图像确定所述多路视频中的关键画面。
6.如权利要求5所述的方法,其特征在于,所述根据所述视听时长、所述视听数量、所述收藏数量以及所述评论数量得到所述预设画面标签的感兴趣权值的步骤包括:
确定所述视听时长、所述视听数量、所述收藏数量以及所述评论数量对应的权重系数;
基于所述权重系数对所述视听时长、所述视听数量、所述收藏数量以及所述评论数量进行加权求和,得到所述预设画面标签的感兴趣权值。
7.如权利要求5所述的方法,其特征在于,所述根据所述感兴趣权值以及所述多路视频中的对象图像确定所述多路视频中的关键画面,包括:
根据所述感兴趣权值确定用户偏好内容;
根据所述用户偏好内容确定对应的特征对象特征;
识别所述多路视频中的对象图像,并基于对象图像确定视频对象特征;
将所述视频对象特征与所述特征对象特征进行匹配,得到匹配结果;
根据所述匹配结果确定关键画面。
8.一种视频显示装置,其特征在于,所述视频显示装置包括:
视频获取模块,用于获取多路视频;
画面确定模块,用于确定关键画面;
区域确定模块,用于当任一路视频中出现所述关键画面时,根据所述关键画面确定显示区域;
视频显示模块,用于根据所述显示区域显示所述任一路视频。
9.一种视频显示设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频显示程序,所述视频显示程序配置为实现如权利要求1至7中任一项所述的视频显示方法。
10.一种存储介质,其特征在于,所述存储介质上存储有视频显示程序,所述视频显示程序被处理器执行时实现如权利要求1至7任一项所述的视频显示方法。
CN202111680845.6A 2021-12-30 2021-12-30 视频显示方法、装置、设备及存储介质 Pending CN114339371A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111680845.6A CN114339371A (zh) 2021-12-30 2021-12-30 视频显示方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111680845.6A CN114339371A (zh) 2021-12-30 2021-12-30 视频显示方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114339371A true CN114339371A (zh) 2022-04-12

Family

ID=81022905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111680845.6A Pending CN114339371A (zh) 2021-12-30 2021-12-30 视频显示方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114339371A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115373548A (zh) * 2022-08-25 2022-11-22 汉桑(南京)科技股份有限公司 一种显示内容调整方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161493A (ja) * 2009-01-06 2010-07-22 Canon Inc 画像表示装置及び画像表示方法
CN102215217A (zh) * 2010-04-07 2011-10-12 苹果公司 在通话期间建立视频会议
CN104182751A (zh) * 2014-07-25 2014-12-03 小米科技有限责任公司 目标物边缘提取方法和装置
US20160134925A1 (en) * 2014-11-10 2016-05-12 Samsung Electronics Co., Ltd. Display apparatus and display method
CN108353207A (zh) * 2015-09-23 2018-07-31 乐威指南公司 在来自多频道的节目中检测事件的系统和方法
CN108401134A (zh) * 2012-12-25 2018-08-14 Vid拓展公司 播放视频的方法、终端和系统
CN110998566A (zh) * 2017-06-30 2020-04-10 Pcms控股公司 基于眼睛跟踪和生理测量而生成和显示360度视频的方法和装置
US20200151888A1 (en) * 2019-12-25 2020-05-14 Beijing Hengfengzhiyuan Technology Co., Ltd. Intelligent method for viewing surveillance videos with improved efficiency
KR102183473B1 (ko) * 2020-07-22 2020-11-27 (주)대교씨엔에스 영상 모니터링 방법 및 장치
CN112738629A (zh) * 2020-12-29 2021-04-30 北京达佳互联信息技术有限公司 视频展示方法、装置、电子设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161493A (ja) * 2009-01-06 2010-07-22 Canon Inc 画像表示装置及び画像表示方法
CN102215217A (zh) * 2010-04-07 2011-10-12 苹果公司 在通话期间建立视频会议
CN108401134A (zh) * 2012-12-25 2018-08-14 Vid拓展公司 播放视频的方法、终端和系统
CN104182751A (zh) * 2014-07-25 2014-12-03 小米科技有限责任公司 目标物边缘提取方法和装置
US20160134925A1 (en) * 2014-11-10 2016-05-12 Samsung Electronics Co., Ltd. Display apparatus and display method
CN108353207A (zh) * 2015-09-23 2018-07-31 乐威指南公司 在来自多频道的节目中检测事件的系统和方法
CN110998566A (zh) * 2017-06-30 2020-04-10 Pcms控股公司 基于眼睛跟踪和生理测量而生成和显示360度视频的方法和装置
US20200151888A1 (en) * 2019-12-25 2020-05-14 Beijing Hengfengzhiyuan Technology Co., Ltd. Intelligent method for viewing surveillance videos with improved efficiency
KR102183473B1 (ko) * 2020-07-22 2020-11-27 (주)대교씨엔에스 영상 모니터링 방법 및 장치
CN112738629A (zh) * 2020-12-29 2021-04-30 北京达佳互联信息技术有限公司 视频展示方法、装置、电子设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115373548A (zh) * 2022-08-25 2022-11-22 汉桑(南京)科技股份有限公司 一种显示内容调整方法和系统

Similar Documents

Publication Publication Date Title
CN108322788B (zh) 一种视频直播中的广告展示方法及装置
US9654844B2 (en) Methods and apparatus for content interaction
KR101605983B1 (ko) 얼굴 검출을 이용한 이미지 재구성
US11317139B2 (en) Control method and apparatus
CN106576184B (zh) 信息处理装置、显示装置、信息处理方法、程序和信息处理系统
US8416332B2 (en) Information processing apparatus, information processing method, and program
US8331760B2 (en) Adaptive video zoom
US20070291134A1 (en) Image editing method and apparatus
US20100057722A1 (en) Image processing apparatus, method, and computer program product
CN110213661A (zh) 全视频化的控制方法、智能电视及计算机可读存储介质
KR101895846B1 (ko) 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화
CN103686344A (zh) 增强视频系统及方法
US20140223474A1 (en) Interactive media systems
CN111757175A (zh) 视频处理方法及装置
JP2011019192A (ja) 画像表示装置
JP2009201041A (ja) コンテンツ検索装置およびその表示方法
CN111757174A (zh) 用于视频音画质匹配的方法及装置、电子设备
JP2021509201A (ja) 映像前処理方法、装置及びコンピュータプログラム
CN113542833A (zh) 基于人脸识别的视频播放方法、装置、设备及存储介质
CN114339371A (zh) 视频显示方法、装置、设备及存储介质
CN114297433A (zh) 问答结果的搜索方法、装置、设备及存储介质
CN110099298B (zh) 多媒体内容处理方法及终端设备
CN110418148B (zh) 视频生成方法、视频生成设备及可读存储介质
JP4185790B2 (ja) テレビジョン放送受信機
CN113709544A (zh) 视频的播放方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination