CN111225266B - 用户界面交互方法和系统 - Google Patents

用户界面交互方法和系统 Download PDF

Info

Publication number
CN111225266B
CN111225266B CN202010115402.1A CN202010115402A CN111225266B CN 111225266 B CN111225266 B CN 111225266B CN 202010115402 A CN202010115402 A CN 202010115402A CN 111225266 B CN111225266 B CN 111225266B
Authority
CN
China
Prior art keywords
target
information
video
click event
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010115402.1A
Other languages
English (en)
Other versions
CN111225266A (zh
Inventor
时英选
余露露
李超然
陈志伟
高龙文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202010115402.1A priority Critical patent/CN111225266B/zh
Publication of CN111225266A publication Critical patent/CN111225266A/zh
Priority to US17/180,026 priority patent/US11442606B2/en
Application granted granted Critical
Publication of CN111225266B publication Critical patent/CN111225266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2408—Monitoring of the upstream path of the transmission network, e.g. client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8583—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by creating hot-spots

Abstract

本申请实施例提供了一种用户界面交互方法，所述方法包括：视频播放区域内播放目标视频，所述目标视频包括至少一个视频帧；监听所述视频播放区域内的点击事件；确定与所述点击事件对应的目标视频帧，所述目标视频帧位于所述至少一个视频帧中；确定所述点击事件的事件位置；根据所述点击事件的事件位置，判断所述点击事件是否位于所述目标视频帧中的目标对象的目标区域；及如果所述点击事件位于所述目标对象的目标区域，则执行与所述目标对象关联的正向激励操作。本申请实施例有效地提高了交互效率和用户的使用体验。

Description

用户界面交互方法和系统
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种用户界面交互方法、系 统、设备及计算机可读存储介质。
背景技术
近年来，用户与平板电脑、手机、电视机等电子设备的互动性越来也多， 比如，通过在电子设备上安装内容应用程序访问电影、电视节目等内容。为了 增强互动性，内容应用程序通过设置有“转发”、“收藏”、“投币”等各类功能 按钮。当用户通过上述功能按钮进行互动操作时，至少需要执行如下步骤：通 过交互操作退出全屏模式或部分浮现指定交互窗口/按钮；在退出全屏模式或部 分浮现指定交互窗口/按钮的情形下，查找到上述功能按钮并基于上述功能按钮 进行相应的正向激励操作，如：点赞、收藏、投币等。上述互动操作需要退出 全屏模式或部分浮现指定交互窗口/按钮的步骤，导致了交互效率低下和用户体验差。
发明内容
本申请实施例的目的是提供一种用户界面交互方法、系统、计算机设备及 计算机可读存储介质，用于解决交互效率低下和用户体验差的问题。
本申请实施例的一个方面提供了一种用户界面交互方法，所述方法包括： 视频播放区域内播放目标视频，所述目标视频包括至少一个视频帧；监听所述 视频播放区域内的点击事件；确定与所述点击事件对应的目标视频帧，所述目 标视频帧位于所述至少一个视频帧中；确定所述点击事件的事件位置；根据所 述点击事件的事件位置，判断所述点击事件是否位于所述目标视频帧中的目标 对象的目标区域；及如果所述点击事件位于所述目标对象的目标区域，则执行 与所述目标对象关联的正向激励操作。
可选的，还包括：获取所述目标视频的每个视频帧的视频帧信息；其中， 所述每个视频帧的视频帧信息包括在相应视频帧中的至少一个对象的对象类型 信息、位置信息和时间戳信息。
可选的，获取所述目标视频的每个视频帧的视频帧信息，包括：接收服务 器提供的目标视频的各个对象的对象信息；所述对象信息包括相应对象的对象 类型信息、位置信息和时间戳信息，其中，当若干个同类对象分别一一对应地 位于若干个连续视频帧的相邻位置处，所述若干个同类对象的对象信息通过单 一数组保存，所述单一数组包括所述若干个同类对象的对象类型信息、所述若 干个同类对象在所述若干个连续视频帧中的平均位置信息、所述若干个连续视 频帧的首帧时间信息和所述若干个连续视频帧的尾帧时间信息；将所述目标视 频的各个对象的对象信息与相应的一个或多个视频帧进行关联，以得到所述每 个视频帧的视频帧信息。
可选的，所述目标视频的各个对象的对象信息是通过对象识别模型对所述 每个视频帧进行对象识别得到的。
可选的，确定与所述点击事件对应的目标视频帧，包括：根据所述点击事 件的事件时间和所述目标视频的播放时间，确定与所述点击事件对应的所述目 标视频帧。
可选的，根据所述点击事件的事件位置，判断所述点击事件是否位于所述 目标视频帧中的目标对象的目标区域，包括：根据所述点击事件的事件位置和 所述目标对象的目标位置信息，判断所述点击事件是否位于所述目标对象的目 标区域；其中，所述目标对象的目标位置信息用于指示所述目标区域。
可选的，如果所述点击事件位于所述目标对象的目标区域，则执行与所述 目标对象关联的正向激励操作，包括：确定所述目标对象的目标对象类型；及 根据所述目标对象的目标对象类型，执行与所述目标对象的目标对象类型关联 的正向激励操作。
本申请实施例的一个方面又提供了一种用户界面交互系统，所述用户界面 交互系统包括：播放模块，用于在视频播放区域内播放目标视频，所述目标视 频包括至少一个视频帧；监听模块，用于监听所述视频播放区域内的点击事件； 第一确定模块，用于确定与所述点击事件对应的目标视频帧，所述目标视频帧 位于所述至少一个视频帧中；第二确定模块，用于确定所述点击事件的事件位 置；判断模块，用于根据所述点击事件的事件位置，判断所述点击事件是否位 于所述目标视频帧中的目标对象的目标区域；执行模块，用于如果所述点击事 件位于所述目标对象的目标区域，则执行与所述目标对象关联的正向激励操作。
本申请实施例的一个方面又提供了一种计算机设备，包括存储器、处理器 以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述 计算机程序时实现如上述用户界面交互方法的步骤。
本申请实施例的一个方面又提供了一种计算机可读存储介质，包括存储器、 处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执 行所述计算机程序时实现如上述用户界面交互方法的步骤。
本申请实施例提供的用户界面交互方法、系统、设备及计算机可读存储介 质，使得用户在看到视频的播放画面中有目标对象时，可以直接点击这个目标 对象以完成相应的正向激励操作，其不仅提高了界面交互操作的便捷性，而且 增加了视频的趣味性和融入感。本申请避免了互动操作中需要退出全屏模式或 部分浮现指定交互窗口/按钮的步骤，有效提高了交互操作效率和用户的使用体 验。
附图说明
图1示意性示出了根据本申请实施例的用户界面交互方法的应用环境图；
图2示意性示出了根据本申请实施例一的用户界面交互方法的流程图；
图3为展示了现有技术的交互操作界面的示意图；
图4为展示了含有一个或多个对象的目标视频帧的示意图；
图5为展示了含有一个或多个对象的目标视频帧的另一示意图；
图6为展示了含有一个或多个对象的目标视频帧的另一示意图；
图7为展示了含有一个或多个对象的目标视频帧的另一示意图；
图8为展示了含有一个或多个对象的目标视频帧的另一示意图；
图9示意性示出了根据本申请实施例一的用户界面交互方法的另一流程 图；
图10示意性示出了根据本申请实施例二的用户界面交互方法的流程图；
图11为图10中步骤S1000的子步骤图；
图12示意性示出了根据本申请实施例三的用户界面交互系统的框图；及
图13示意性示出了根据本申请实施例四的适于实现用户界面交互方法的 计算机设备的硬件架构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅 用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通 技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申 请保护的范围。
需要说明的是，在本申请实施例中涉及“第一”、“第二”等的描述仅用于 描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术 特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括 至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须 是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或 无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范 围之内。
图1示意性示出了根据本申请实施例的用户界面交互方法的环境应用示意 图。在示例性的实施例中，内容提供者3可以通过网络4连接多个计算机设备 2。
内容提供者3可以通过一个或多个网络4提供服务。网络4可以包括各种 网络设备，例如路由器，交换机，多路复用器，集线器，调制解调器，网桥， 中继器，防火墙，代理设备和/或等等。网络4可以包括物理链路，例如同轴电 缆链路，双绞线电缆链路，光纤链路，它们的组合和/或类似物。网络4可以包 括无线链路，例如蜂窝链路，卫星链路，Wi-Fi链路和/或类似物。
内容提供者3，可以由多个服务器组成，用于为计算机设备2提供网上信 息浏览服务以及媒体流数据，所述媒体流数据包括音频流数据或视频流数据。 该多个服务器可以包括虚拟化计算实例。虚拟化计算实例可以包括虚拟机，诸 如计算机系统的仿真，操作系统，服务器等。服务器可以基于定义用于仿真的 特定软件(例如，操作系统，专用应用程序，服务器)的虚拟映像和/或其他数 据来加载虚拟机。随着对不同类型的处理服务的需求改变，可以在一个或多个 服务器上加载和/或终止不同的虚拟机。可以实现管理程序以管理同一服务器上 的不同虚拟机的使用。
计算机设备2，可以被配置为访问内容提供者3的内容和服务。计算机设 备2可以包括任何类型的计算设备，诸如移动设备，平板设备，膝上型计算机， 机顶盒，智能电视等。
计算机设备2可以与一个或多个用户相关联。单个用户可以使用计算机设 备2中的一个或多个来访问内容提供者3。计算机设备2可以使用不同的网络 来访问内容提供者3。
计算机设备2可以安装有内容应用程序(如，视频播放器)21访问内容或 媒体(例如，电影、电视节目等)。所述内容可以页面方式呈现，可以包括视频， 音频，评论，文本数据和/或类似物。计算机设备2可以包括用户接口22，该用 户接口22可以包括输入元件。例如，输入元素可以被配置为接收用户指令，所 述用户指令可以使计算机设备2执行各类操作。
实施例一
图2示意性示出了根据本申请实施例一的用户界面交互方法的流程图。可 以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以 计算机设备2为执行主体进行示例性描述。
如图2所示，该用户界面交互方法可以包括步骤S200～S210，其中：
步骤S200，在视频播放区域内播放目标视频，所述目标视频包括至少一个 视频帧。
很多视频平台设置有“点赞”、“收藏”和“转发”等功能按钮。用户可以 通过这些功能按钮收藏和分享喜欢的作品，以及为创作者带来更多的人气和流 量。以bilibili为例，用户可以通过bilibili客户端和bilibili服务端互动操作，如 对自己喜欢的某个视频进行“点赞“、”投币“和”收藏“等。但是，通过bilibili 客户端上的功能按钮实现上述互动操作，需要退出全屏模式或部分浮现指定交 互窗口/按钮，继而在如图3所示的图像界面下执行交互操作，交互效率低下和 用户体验差。
在本申请实施例中，可以在视频的部分或全部视频帧中加载用于正向激励 操作的对象，如“点赞”、“转发”等图案。这样，当用户看到视频的播放画面 中有某个图案时，可以基于鼠标或触摸屏等输入元件直接点击这个图案，以完 成相应的正向激励操作，其不仅提高了界面交互操作的便捷性，而且增加了视 频的趣味性和融入感。所述目标视频即属于这类视频，它的一些视频帧中具有 一个或多个对象，如：图4、5所示的“点赞”图案、“投币”图案和“收藏” 图案，图6所示的“点赞+投币+收藏”的三连图案，图7所示的“球球大家三 连趴！！！”文字图案，图8所示的“点赞”、“转发”、“收藏”、“特别关注”文字 图案。
所述一个或多个对象可以是由视频提供者主动加入到目标视频中的，可以 是由内容提供方3加入到目标视频中的，当然，也可以是由计算机设备2加入 到目标视频中的。
步骤S202，监听所述视频播放区域内的点击事件。
所述点击事件是指基于点击操作生成的事件。
计算机设备2可以通过事件监视器从外围设备接口接收事件信息，如：点 击事件的事件信息。所述点击事件的事件信息可以包括在触摸屏上触发的点击 事件的事件信息、通过鼠标上触发的点击事件的事件信息，或者在其他外围设 备触发的点击事件的事件信息。所述事件监视器是用于监视键盘、鼠标、触摸 屏等的输入操作的功能组件。
步骤S204，确定与所述点击事件对应的目标视频帧，所述目标视频帧位于 所述至少一个视频帧中。
所述点击事件的事件信息中包括所述点击事件的事件时间。所述点击事件 的事件时间与内容应用程序中播放的所述目标视频的播放时间(如，所述内容 应用程序的播放进度条对应的当前播放时间)是相同的或者是对应的。在示例 性的实施例中，为有效地确定与所述点击事件对应的目标视频帧，如图9所述， 步骤S204包括步骤S204'：根据所述点击事件的事件时间和所述目标视频的播 放时间，确定与所述点击事件对应的所述目标视频帧。即，计算机设备2可以 根据所述点击事件的事件时间确定所述点击事件的点击动作作用在所述目标视 频中的哪一个或哪一些视频帧中，并将这一个或这一些视频帧确定为目标视频 帧。上述方式可以有效提高所述目标视频帧的确定效率和准确度。需要说明的是，本申请不限于通过其他方式确定所述目标视频帧。
步骤S206，确定所述点击事件的事件位置。
所述点击事件的事件信息中包括所述点击事件的事件位置。
所述事件位置可以包括所述点击事件的实际坐标和所述点击事件在所述目 标视频帧中的相对位置。
步骤S208，根据所述点击事件的事件位置，判断所述点击事件是否位于所 述目标视频帧中的目标对象的目标区域。
所述目标对象可以是“点赞”、“转发”、“投币”、“收藏”等图案。
所述目标对象的目标区域，即这些图案所在或周围的视频画面子区域。例 如，所述目标对象为一个“点赞”图案，则所述目标对象的目标区域为这个“点 赞”图案所在的视频画面子区域。
例1：所述目标对象可以是计算机设备2对所述目标视频帧进行实时识别 得到的，相应的，所述目标对象的相关信息(目标对象类型、目标位置信息等) 是计算机设备2实时获取的。
例2：所述目标对象可以是通过其他设备对所述目标视频帧预先进行识别 得到的，相应的，所述目标对象的相关信息(目标对象类型、目标位置信息等) 是通过其他设备预先获取的。
在示例性的实施例中，为有效地确定所述点击事件是否位于所述目标对象 的目标区域，如图9所示，所述步骤S208包括步骤S208'：根据所述点击事件 的事件位置和所述目标对象的目标位置信息，判断所述点击事件是否位于所述 目标对象的目标区域。其中，所述目标对象的目标位置信息用于指示所述目标 区域。
所述目标对象的目标位置信息可以包括以下信息：所述目标对象的中心点 在所述目标视频帧中的横轴坐标、所述目标对象的中心点在所述目标视频帧中 的纵轴坐标、以所述目标对象的中心点为圆心的半径大小。通过上述信息得到 的圆形区域至少可以完全覆盖所述目标对象。所述圆形区域可以作为所述目标 对象的目标区域。
所述目标对象的目标位置信息可以包括以下信息：所述目标对象的中心点 在所述目标视频帧中的横轴坐标、所述目标对象的中心点在所述目标视频帧中 的纵轴坐标、以所述目标对象的中心点的左偏移尺寸、右偏移尺寸、上偏移尺 寸和下偏移尺寸。通过上述信息得到的矩阵区域至少可以完全覆盖所述目标对 象。所述矩阵区域可以作为所述目标对象的目标区域。
以上示例性的列举了用于描述所述目标对象的目标位置信息的信息。需要 说明的是，上述信息均是相对值，这些信息是随着所述目标视频帧的显示大小 做同比例或非同比例的缩放操作。
步骤S210，如果所述点击事件位于所述目标对象的目标区域，则执行与所 述目标对象关联的正向激励操作。
所述正向激励操作包括点赞、转发、投币、收藏以及组合等具有正向激励 作用的操作。
在示例性的实施例中，如图9所示，所述步骤S210可以包括步骤 S210A～S210B，其中：步骤S210A，确定所述目标对象的目标对象类型；步骤 S210B，根据所述目标对象的目标对象类型，执行与所述目标对象的目标对象 类型关联的正向激励操作。
例如，如果所述目标对象为图4、5中的“点赞”图案，其目标对象类型为 “点赞”，则计算机设备2执行点赞操作，以将所述点赞信息发送到内容提供商 3中。所述内容提供商3根据接收到的点赞信息更新所述目标视频的点赞数量， 并将该更新后的点赞数量发送到各个终端，如计算机设备2中。
例如，如果所述目标对象为图6中的“点赞+投币+收藏”的三连图案，其 目标对象类型为“点赞+投币+收藏”，则计算机设备2执行点赞操作、投币操 作和收藏操作。
例如，如果所述目标对象为图7中的“球球大家三连趴！！！”文字图案，其 目标对象类型为“点赞+投币+收藏”，则计算机设备2执行点赞操作、投币操 作和收藏操作。
例如，如果所述目标对象为图8中的“特别关注”文字图案，其目标对象 类型为“特别关注”，则计算机设备2执行特征关注操作，如将所述目标视频的 视频信息或UP主加入到特别关注列表中。
例如，如果所述目标对象为“转发”图案(未图示)，其目标对象类型为“转 发”，则计算机设备2执行转发操作。例如，计算机设备2生成携带有目标视频 相关信息的页面，并通过所述内容应用程序将该页面发送到其他用户端，或通 过第三方程序(例如，邮箱程序、聊天程序)将该页面发送到其他用户端。
通过上述用户界面交互方法，当用户看到目标视频的播放画面中有目标对 象(如，“点赞”图案)时，可以基于鼠标或触摸屏等输入元件直接点击这个目 标对象，以完成相应的正向激励操作，其不仅缩短了交互步骤和提高了界面交 互操作的便捷性，而且增加了视频的趣味性和融入感。在不需要退出全屏模式 或部分浮现指定交互窗口/按钮甚至中断目标视频的播放的情况下，可以完成点 赞、转发和收藏等正向激励操作。本实施例有效提高了交互操作效率和用户的 使用体验。另外，还减少传统交互操作所增加的用户在交互过程中的操作时间， 有效节省了交互操作消耗的电能。
由于本实施例有效地降低了“点赞”、“转发”和“收藏”等正向激励操作 的操作与时间成本，一定程度上能够增加用户对创作者进行赞赏的几率。为用 户带来便利，为UP主(目标视频的提供者)带来更多流量和人气。可提升正 向激励/奖励互动，从而提升对视频内容的奖励反馈程度，对UP主形成更高的 激励，刺激整个视频平台用户的良性互动。
实施例二
图10示意性示出了根据本申请实施例二的用户界面交互方法的流程图。
如图10所示，该用户界面交互方法可以包括步骤S1000～S1016，其中：
步骤S1000，计算机设备2获取目标视频的每个视频帧的视频帧信息；其 中，所述每个视频帧的视频帧信息包括在相应视频帧中的至少一个对象的对象 类型信息、位置信息和时间戳信息。
计算机设备2可以通过对象识别模型对各个视频帧进行实时识别操作，得 到各个视频帧的视频帧信息；计算机设备2也可以通过其他设备中获取各个视 频帧的视频帧信息，例如，计算机设备2可以从内容提供商3中获取各个视频 帧的视频帧信息。
为了节省计算机设备2的计算资源，在示例性的实施例中，如图11所示， 步骤S1000可以包括步骤S1100～S1102，其中：步骤S1100，计算机设备2接 收服务器(如，内容提供商3)提供的所述目标视频的各个对象的对象信息； 步骤S1102，计算机设备2将所述目标视频的各个对象的对象信息与相应的一 个或多个视频帧进行关联，以得到所述每个视频帧的视频帧信息。
所述对象信息包括相应对象的对象类型信息、位置信息和时间戳信息，其 中，当若干个同类对象分别一一对应地位于若干个连续视频帧的相邻位置处， 所述若干个同类对象的对象信息通过单一数组保存，所述单一数组包括所述若 干个同类对象的对象类型信息、所述若干个同类对象在所述若干个连续视频帧 中的平均位置信息、所述若干个连续视频帧的首帧时间信息和所述若干个连续 视频帧的尾帧时间信息。
在示例性的实施例中，所述目标视频的各个对象的对象信息是通过对象识 别模型对所述每个视频帧进行对象识别得到的。所述对象识别模型可以是 YOLO(You OnlyLook Once)神经网络模型系列，也可以是SSD(Single Shot MultiBox Detector)和FastRCNN系列等用于对特定类别物体的类别检测和定 位的网络模型。
在示例性的实施例中，兼顾对象检测算法的准确性和效率，本实施例优先 使用YOLO神经网络模型用于对象识别操作。对于给定的图片，YOLO神经网 络模型可以检测出各个视频帧中的指定类别的对象以及对象的位置，并输出每 个对象的类别和每个对象所处的方框。
在示例性的实施例中，如果各个对象是由创作者插入到所述目标视频中的， 由于创作者对各个对象在所述目标视频中插入时间位置的不确定性，所以所述 目标视频的每个视频帧均需要被检测。如果各个对象在所述目标视频中的插入 事件时间是连续的且超过1秒钟，则可以首先对于目标视频每隔0.5s检测一次 来粗略确定图标的大体时间位置，如果检测到有，则在相邻的前后0.5s内再逐 帧检测，确保每一帧都能被检测出。
举例而言：
所述目标视频可以被单个设备或分布式设备进行离线识别操作。
所述单个设备或分布式设备可以通过YOLOv3神经网络模型对所述目标视 频的每一个视频帧中的对象(如，“点赞”图案、“转发”图案)进行检测、识 别和定位，并将已经检测到的对象的对象类型信息、位置信息和时间戳信息按 特定的数据格式保存上传到服务器(如，内容提供商3)中。
如果若干个同类对象分别一一对应地位于若干个连续视频帧的相邻位置 (它们抖动在预定范围之内)，则所述若干个同类对象的对象信息可以按特定的 数据格式保存。如，所述若干个同类对象的对象信息可以用下面数据格式保存 (cls，x，y，r，s_pts，e_pts)。
cls：同类对象的对象类型(如，多个对象中的每个对象均为图案相同的“点 赞”图案，则多个对象称之为多个同类对象)；
x：图标的横向位置(归一化)；
y：图标的纵向位置(归一化)；
r：包含图标的半径(按纵向归一化)；
s_pst：多个同类对象中的首个同类对象出现的时间点；
e_pst：多个同类对象中的最后一个同类对象出现的时间点；
比如，所述目标视频的若干个连续视频帧的正中心出现了“点赞”对象， 该处于正中心点的“点赞”对象的出现始于00：01：05.569并终于00：01：10.666， 该处于正中心点的“点赞”对象的区域半径大小为0.05，“点赞”对象的对象类 型为0，若干个连续视频帧的正中心的“点赞”对象的对象信息可以表示为： [0，0.5，0.5，0.05，65569，70666]。为了增加前后视频帧的稳定性，所述单个 设备或分布式设备可以将所述多个同类对象中的各个同类对象在相应视频帧中 的空间位置进行平均处理。相对于分别保存每一个视频帧中的对象的对象信息， 上述数据格式可以大量节约传输数据的大小，节省传输宽带，和提高计算机设 备2获取目标视频的各个对象的对象信息的效率。
所有计算机设备2可以从服务器(如，内容提供商3)获取目标视频的各 个对象的对象信息。由于所述目标视频的各个对象的对象信息是按照特殊数据 格式保存的，所以计算机设备2需要解析所述目标视频的各个对象的对象信息， 以及根据各个对象的对象信息中的时间戳信息，将解析后得到的各个对象的对 象信息还原到所述目标视频的各个视频帧中。
步骤S1002，计算机设备2在视频播放区域内播放目标视频。
所述目标视频的一些视频帧中具有一个或多个对象(如，图4所示的“点 赞”图案)。
步骤S1004，计算机设备2监听所述视频播放区域内的点击事件。
步骤S1006，计算机设备2根据所述点击事件的事件时间和所述目标视频 的播放时间，确定与所述点击事件对应的目标视频帧。
所述点击事件的事件信息中包括所述点击事件的事件时间。
所述点击事件的事件时间与内容应用程序中播放的所述目标视频的播放时 间(如，所述内容应用程序的播放进度条对应的当前播放时间)是相同的或者 是对应的。计算机设备2可以根据所述点击事件的事件时间确定所述点击事件 的点击动作作用在所述目标视频中的哪一个或哪一些视频帧中，并将这一个或 这一些视频帧确定为目标视频帧。上述方式可以有效提高所述目标视频帧的确 定效率和准确度。需要说明的是，本申请不限于通过其他方式确定所述目标视 频帧。
步骤S1008，计算机设备2确定所述点击事件的事件位置。
所述点击事件的事件信息中包括所述点击事件的事件位置。
所述事件位置可以包括所述点击事件的实际坐标和所述点击事件在所述目 标视频帧中的相对位置。
步骤S1010，计算机设备2根据所述点击事件的事件位置和所述目标视频 帧中的目标对象的目标位置信息，判断所述点击事件是否位于所述目标对象的 目标区域。如果确定所述点击事件位于所述目标对象的目标区域，则流程进入 步骤S1012；否则，流程进入步骤S1004。
如步骤S1000所述，所述目标对象的目标位置信息可以包括以下信息：所 述目标对象的中心点在所述目标视频帧中的横轴坐标、所述目标对象的中心点 在所述目标视频帧中的纵轴坐标、以所述目标对象的中心点为圆心的半径大小。 通过上述信息得到的圆形区域至少可以完全覆盖所述目标对象。所述圆形区域 可以作为所述目标对象的目标区域。
步骤S1012，计算机设备2确定所述目标对象的目标对象类型。
每个对象类型的标识是可以预先设置的，且不同对象对应不同的数值标识。 示例性的，如果目标对象信息中的目标对象类型的标识为“0”，则确定目标对 象类型为“点赞”；如果目标对象信息中的目标对象类型的标识为“1”，则确定 目标对象类型为“转发”。
步骤S1014，计算机设备2根据所述目标对象的目标对象类型，执行与所 述目标对象的目标对象类型关联的正向激励操作。
步骤S1014，计算机设备2判断所述目标视频是否播放完成。
如果确定所述目标视频已经播放完成，则流程结束；否则，流程进入步骤 S504。
实施例三
图12示意性示出了根据本申请实施例三的用户界面交互系统的框图，该用 户界面交互系统可以被分割成一个或多个程序模块，一个或者多个程序模块被 存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本 申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令 段，以下描述将具体介绍本实施例中各程序模块的功能。
如图12所示，该用户界面交互系统700可以包括播放模块1210、监听模 块1220、第一确定模块1230、第二确定模块1240、判断模块1250和执行模块 1260，其中：
播放模块1210，用于在视频播放区域内播放目标视频，所述目标视频包括 至少一个视频帧。
监听模块1220，用于监听所述视频播放区域内的点击事件。
第一确定模块1230，用于确定与所述点击事件对应的目标视频帧，所述目 标视频帧位于所述至少一个视频帧中。
第二确定模块1240，用于确定所述点击事件的事件位置；
判断模块1250，用于根据所述点击事件的事件位置，判断所述点击事件是 否位于所述目标视频帧中的目标对象的目标区域；及
执行模块1260，用于如果所述点击事件位于所述目标对象的目标区域，则 执行与所述目标对象关联的正向激励操作。
在示例性的实施例中，所述界面交互系统1200还包括获取模块(未标识)： 获取所述目标视频的每个视频帧的视频帧信息；其中，所述每个视频帧的视频 帧信息包括在相应视频帧中的至少一个对象的对象类型信息、位置信息和时间 戳信息。
在示例性的实施例中，所述获取模块还用于：接收服务器提供的所述目标 视频的各个对象的对象信息；所述对象信息包括相应对象的对象类型信息、位 置信息和时间戳信息，其中，当若干个同类对象分别一一对应地位于若干个连 续视频帧的相邻位置处，所述若干个同类对象的对象信息通过单一数组保存， 所述单一数组包括所述若干个同类对象的对象类型信息、所述若干个同类对象 在所述若干个连续视频帧中的平均位置信息、所述若干个连续视频帧的首帧时 间信息和所述若干个连续视频帧的尾帧时间信息；将所述目标视频的各个对象 的对象信息与相应的一个或多个视频帧进行关联，以得到所述每个视频帧的视 频帧信息。
在示例性的实施例中，所述目标视频的各个对象的对象信息是通过对象识 别模型对所述每个视频帧进行对象识别得到的。
在示例性的实施例中，第一确定模块1230，还用于：根据所述点击事件的 事件时间和所述目标视频的播放时间，确定与所述点击事件对应的所述目标视 频帧。
在示例性的实施例中，所述判断模块1250，还用于：根据所述点击事件的 事件位置和所述目标对象的目标位置信息，判断所述点击事件是否位于所述目 标对象的目标区域；其中，所述目标对象的目标位置信息用于指示所述目标区 域。
在示例性的实施例中，所述执行模块1260，还用于：确定所述目标对象的 目标对象类型；根据所述目标对象的目标对象类型，执行与所述目标对象的目 标对象类型关联的正向激励操作。
实施例四
图13示意性示出了根据本申请实施例四的适于实现用户界面交互方法的 计算机设备2的硬件架构示意图。本实施例中，计算机设备2是一种能够按照 事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可 以是智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式 服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所 组成的服务器集群)等。如图13所示，计算机设备6至少包括但不限于：可通 过系统总线相互通信链接存储器1310、处理器1320、网络接口1330。其中：
存储器1310至少包括一种类型的计算机可读存储介质，可读存储介质包括 闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问 存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可 擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储 器、磁盘、光盘等。在一些实施例中，存储器1310可以是计算机设备2的内部 存储模块，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器1310 也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式 硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital， 简称为SD)卡，闪存卡(Flash Card)等。当然，存储器1310还可以既包括计 算机设备2的内部存储模块也包括其外部存储设备。本实施例中，存储器1310 通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如用户界面 交互方法的程序代码等。此外，存储器1310还可以用于暂时地存储已经输出或 者将要输出的各类数据。
处理器1320在一些实施例中可以是中央处理器(Central Processing Unit， 简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理 器1320通常用于控制计算机设备2的总体操作，例如执行与计算机设备2进行 数据交互或者通信相关的控制和处理等。本实施例中，处理器1320用于运行存 储器1310中存储的程序代码或者处理数据。
网络接口1330可包括无线网络接口或有线网络接口，该网络接口1330通 常用于在计算机设备2与其他计算机设备之间建立通信链接。例如，网络接口 1330用于通过网络将计算机设备2与外部终端相连，在计算机设备2与外部终 端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、 互联网(Internet)、全球移动通讯系统(Global System of Mobile communication， 简称为GSM)、宽带码分多址(Wideband CodeDivision Multiple Access，简称 为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网 络。
需要指出的是，图13仅示出了具有部件1310-1330的计算机设备，但是应 理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部 件。
在本实施例中，存储于存储器1310中的用户界面交互方法还可以被分割为 一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器1320)所 执行，以完成本申请实施例。
实施例五
本申请还提供一种计算机可读存储介质，计算机可读存储介质其上存储有 计算机程序，计算机程序被处理器执行时实现实施例中的用户界面交互方法的 步骤。
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储 器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存 储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、 可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中， 计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的 硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的 外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart MediaCard，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存 卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内 部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用 于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中用户界面 交互方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已 经输出或者将要输出的各类数据。
显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步 骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分 布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程 序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且 在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它 们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个 集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结 合。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利 用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运 用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种用户界面交互方法，其特征在于，所述方法包括：
在视频播放区域内播放目标视频，所述目标视频包括至少一个视频帧；
监听所述视频播放区域内的点击事件；
确定与所述点击事件对应的目标视频帧，所述目标视频帧位于所述至少一个视频帧中；
确定所述点击事件的事件位置；
根据所述点击事件的事件位置，判断所述点击事件是否位于所述目标视频帧中的目标对象的目标区域；及
如果所述点击事件位于所述目标对象的目标区域，则执行与所述目标对象关联的正向激励操作；
所述方法还包括：
接收服务器提供的所述目标视频的各个对象的对象信息；所述对象信息包括相应对象的对象类型信息、位置信息和时间戳信息，其中，当若干个同类对象分别一一对应地位于若干个连续视频帧的相邻位置处，所述若干个同类对象的对象信息通过单一数组保存，所述单一数组包括所述若干个同类对象的对象类型信息、所述若干个同类对象在所述若干个连续视频帧中的平均位置信息、所述若干个连续视频帧的首帧时间信息和所述若干个连续视频帧的尾帧时间信息；
解析所述目标视频的各个对象的对象信息，以及根据各个对象的对象信息中的时间戳信息，将解析后得到的各个对象的对象信息还原到所述目标视频的各个视频帧中。
2.根据权利要求1所述的用户界面交互方法，其特征在于，所述目标视频的各个对象的对象信息是通过对象识别模型对所述每个视频帧进行对象识别得到的。
3.根据权利要求1～2任意一项所述的用户界面交互方法，其特征在于，确定与所述点击事件对应的目标视频帧，包括：
根据所述点击事件的事件时间和所述目标视频的播放时间，确定与所述点击事件对应的所述目标视频帧。
4.根据权利要求1～2任意一项所述的用户界面交互方法，其特征在于，根据所述点击事件的事件位置，判断所述点击事件是否位于所述目标视频帧中的目标对象的目标区域，包括：
根据所述点击事件的事件位置和所述目标对象的目标位置信息，判断所述点击事件是否位于所述目标对象的目标区域；其中，所述目标对象的目标位置信息用于指示所述目标区域。
5.根据权利要求1～2任意一项所述的用户界面交互方法，其特征在于，如果所述点击事件位于所述目标对象的目标区域，则执行与所述目标对象关联的正向激励操作，包括：
确定所述目标对象的目标对象类型；及
根据所述目标对象的目标对象类型，执行与所述目标对象的目标对象类型关联的正向激励操作。
6.一种用户界面交互系统，其特征在于，包括：
播放模块，用于在视频播放区域内播放目标视频，所述目标视频包括至少一个视频帧；
监听模块，用于监听所述视频播放区域内的点击事件；
第一确定模块，用于确定与所述点击事件对应的目标视频帧，所述目标视频帧位于所述至少一个视频帧中；
第二确定模块，用于确定所述点击事件的事件位置；
判断模块，用于根据所述点击事件的事件位置，判断所述点击事件是否位于所述目标视频帧中的目标对象的目标区域；及
执行模块，用于如果所述点击事件位于所述目标对象的目标区域，则执行与所述目标对象关联的正向激励操作；
获取模块，用于：接收服务器提供的所述目标视频的各个对象的对象信息；所述对象信息包括相应对象的对象类型信息、位置信息和时间戳信息，其中，当若干个同类对象分别一一对应地位于若干个连续视频帧的相邻位置处，所述若干个同类对象的对象信息通过单一数组保存，所述单一数组包括所述若干个同类对象的对象类型信息、所述若干个同类对象在所述若干个连续视频帧中的平均位置信息、所述若干个连续视频帧的首帧时间信息和所述若干个连续视频帧的尾帧时间信息；解析所述目标视频的各个对象的对象信息，以及根据各个对象的对象信息中的时间戳信息，将解析后得到的各个对象的对象信息还原到所述目标视频的各个视频帧中。
7.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现权利要求1～5中任一项所述的用户界面交互方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行权利要求1～5中任一项所述的用户界面交互方法的步骤。
CN202010115402.1A 2020-02-25 2020-02-25 用户界面交互方法和系统 Active CN111225266B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010115402.1A CN111225266B (zh) 2020-02-25 2020-02-25 用户界面交互方法和系统
US17/180,026 US11442606B2 (en) 2020-02-25 2021-02-19 User interface interaction method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010115402.1A CN111225266B (zh) 2020-02-25 2020-02-25 用户界面交互方法和系统

Publications (2)

Publication Number Publication Date
CN111225266A CN111225266A (zh) 2020-06-02
CN111225266B true CN111225266B (zh) 2022-03-15

Family

ID=70829724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010115402.1A Active CN111225266B (zh) 2020-02-25 2020-02-25 用户界面交互方法和系统

Country Status (2)

Country Link
US (1) US11442606B2 (zh)
CN (1) CN111225266B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095779A (zh) * 2021-11-17 2022-02-25 上海哔哩哔哩科技有限公司 基于蓝牙设备实现视频点击方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847998A (zh) * 2016-03-28 2016-08-10 乐视控股（北京）有限公司 一种视频播放方法、播放终端及媒体服务器
CN107888932A (zh) * 2017-10-20 2018-04-06 深圳思麦杰科技有限公司 一种基于浏览器的跨平台视频直播的系统及方法
CN109947988A (zh) * 2019-03-08 2019-06-28 百度在线网络技术（北京）有限公司 一种信息处理方法、装置、终端设备及服务器

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8243017B2 (en) * 2006-09-11 2012-08-14 Apple Inc. Menu overlay including context dependent menu icon
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US8442265B1 (en) * 2011-10-19 2013-05-14 Facebook Inc. Image selection from captured video sequence based on social components
US10079040B2 (en) * 2013-12-31 2018-09-18 Disney Enterprises, Inc. Systems and methods for video clip creation, curation, and interaction
US9928029B2 (en) * 2015-09-08 2018-03-27 Apple Inc. Device, method, and graphical user interface for providing audiovisual feedback
US10120531B2 (en) * 2015-09-08 2018-11-06 Apple Inc. User interfaces for navigating and playing content
US10506198B2 (en) * 2015-12-04 2019-12-10 Livestream LLC Video stream encoding system with live crop editing and recording
CN105812942A (zh) * 2016-03-31 2016-07-27 北京奇艺世纪科技有限公司 一种数据交互方法及装置
US20200066305A1 (en) * 2016-11-02 2020-02-27 Tomtom International B.V. Creating a Digital Media File with Highlights of Multiple Media Files Relating to a Same Period of Time
US20180316962A1 (en) * 2017-04-27 2018-11-01 Sling Media Pvt Ltd Methods and Systems for Effective Scrub Bar Navigation
US10976913B2 (en) * 2017-10-12 2021-04-13 Disney Enterprises, Inc. Enabling undo on scrubber/seekbar UI widgets
EP4365863A2 (en) * 2018-05-07 2024-05-08 Apple Inc. User interfaces for viewing live video feeds and recorded video
US10791312B2 (en) * 2018-07-16 2020-09-29 Gracenote, Inc. Modifying playback of replacement content responsive to detection of remote control signals that modify operation of the playback device
CN109040780A (zh) * 2018-08-07 2018-12-18 北京优酷科技有限公司 一种视频处理方法及服务器
CN113940088A (zh) * 2019-03-24 2022-01-14 苹果公司 用于查看和访问电子设备上的内容的用户界面
EP4231124A1 (en) * 2019-05-31 2023-08-23 Apple Inc. User interfaces for audio media control
CN110505512A (zh) * 2019-07-09 2019-11-26 咪咕视讯科技有限公司 全屏播放方法、终端设备及计算机可读存储介质
US11653066B2 (en) * 2019-10-25 2023-05-16 Duzy IOD, LLC Interactive digital media playback and transaction platform
US11051067B1 (en) * 2020-08-14 2021-06-29 Global Sports & Entertainment Marketing, LLC Interactive video overlay

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847998A (zh) * 2016-03-28 2016-08-10 乐视控股（北京）有限公司 一种视频播放方法、播放终端及媒体服务器
CN107888932A (zh) * 2017-10-20 2018-04-06 深圳思麦杰科技有限公司 一种基于浏览器的跨平台视频直播的系统及方法
CN109947988A (zh) * 2019-03-08 2019-06-28 百度在线网络技术（北京）有限公司 一种信息处理方法、装置、终端设备及服务器

Also Published As

Publication number Publication date
CN111225266A (zh) 2020-06-02
US20210263625A1 (en) 2021-08-26
US11442606B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
EP4087258A1 (en) Method and apparatus for displaying live broadcast data, and device and storage medium
CN110418151B (zh) 游戏直播中弹幕信息发送、处理方法、装置、设备、介质
US11800192B2 (en) Bullet screen processing method and apparatus, electronic device, and computer-readable storage medium
CN108721898B (zh) 帧率的确定方法和装置、存储介质、电子装置
CN111031376B (zh) 基于微信小程序的弹幕处理方法和系统
CN108600780B (zh) 用于推送信息的方法、电子设备、计算机可读介质
CN109388737B (zh) 一种内容项的曝光数据的发送方法、装置及存储介质
CN113253880A (zh) 互动场景的页面的处理方法、装置及存储介质
CN113014934A (zh) 产品展示方法、产品展示装置、计算机设备及存储介质
CN108319474B (zh) 一种页面信息生成方法、装置和设备
CN111225266B (zh) 用户界面交互方法和系统
CN111400575B (zh) 用户标识生成方法、用户识别方法及其装置
CN111353455A (zh) 视频内容确定方法及装置、存储介质及电子设备
CN114257873B (zh) 网络直播场景下的信息推送方法和卡片展示方法
CN113282268B (zh) 音效配置方法和装置、存储介质及电子设备
CN115225950A (zh) 视频的播放控制方法和装置
CN113515336B (zh) 直播间加入方法、创建方法、装置、设备及存储介质
CN113144606A (zh) 虚拟对象的技能触发方法及相关设备
CN112423099A (zh) 视频加载方法、装置和电子设备
CN111026558B (zh) 基于微信小程序的弹幕处理方法和系统
CN110856012B (zh) 虚拟产品分享到直播平台的方法、装置、设备及存储介质
US20230195276A1 (en) Method and system for displaying and interacting with comments
US20240163521A1 (en) Method and system for displaying information on page
CN115599252A (zh) 交互方法及装置
CN115827915A (zh) 一种基于弹幕热度的弹幕输入推荐方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant