CN114640863A - 直播间内的人物信息显示方法、系统、装置及计算机设备 - Google Patents
直播间内的人物信息显示方法、系统、装置及计算机设备 Download PDFInfo
- Publication number
- CN114640863A CN114640863A CN202210211951.8A CN202210211951A CN114640863A CN 114640863 A CN114640863 A CN 114640863A CN 202210211951 A CN202210211951 A CN 202210211951A CN 114640863 A CN114640863 A CN 114640863A
- Authority
- CN
- China
- Prior art keywords
- person
- live broadcast
- broadcast room
- information
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 238000012790 confirmation Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 14
- 239000007787 solid Substances 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000014759 maintenance of location Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请涉及网络直播技术领域,提出一种直播间内的人物信息显示方法、系统、装置及计算机设备,该方法包括:服务器在视频画面中进行人脸定位,得到第一人物对应的第一人脸图像;根据第一人脸图像得到第一人物对应的第一人物信息;发送人物信息显示指令至直播间内的客户端;直播间内的客户端响应于人物信息显示指令,获取目标视频流数据,将目标视频流数据输出至直播间界面中,目标视频流数据包括若干帧目标视频画面,目标视频画面为获取第一人物对应的第一人物信息显示位置,将第一人物信息添加至视频画面中的第一人物信息显示位置处得到的。相对于现有技术,本申请能够便于用户了解直播间中出现的人物,提高直播间对用户的吸引力。
Description
技术领域
本申请实施例涉及网络直播技术领域,尤其涉及一种直播间内的人物信息显示方法、系统、装置及计算机设备。
背景技术
随着直播产业的快速发展,越来越多的用户开始进入网络直播间,观看线上直播内容。线上直播的种类丰富多样,例如:购物直播、访谈直播以及娱乐直播等。
在网络直播过程中,主播客户端会实时采集音视频流数据,并将音视频流数据发送至服务器,加入直播间的观众客户端从服务器拉取该音视频流数据,再将其输出至直播间中。
目前,用户在直播中途进入直播间时,很难通过当前输出的音视频流数据,快速直观地了解直播间中出现的人物,因此,易降低直播间对用户的吸引力,导致用户流失,影响用户的观看时长和留存率。
发明内容
本申请实施例提供了一种直播间内的人物信息显示方法、系统、装置及计算机设备,可以解决用户无法快速直观了解直播间中出现的人物,影响用户的观看时长和留存率的技术问题,该技术方案如下:
第一方面,本申请实施例提供了一种直播间内的人物信息显示方法,包括步骤:
服务器响应于人物识别指令,获取直播间标识和所述直播间标识对应的视频流数据;其中,所述视频流数据中包括若干帧视频画面;
所述服务器在若干帧所述视频画面中进行人脸定位,得到第一人物对应的第一人脸图像;根据所述第一人物对应的第一人脸图像,得到所述第一人物对应的第一人物信息;生成并发送人物信息显示指令至直播间内的客户端;其中,所述第一人物包括新增在所述视频画面中的至少一个人物,所述直播间为所述直播间标识对应的直播间;
所述直播间内的客户端响应于所述人物信息显示指令,获取所述直播间标识对应的目标视频流数据,将所述目标视频流数据输出至所述直播间标识对应的直播间界面中;其中,所述目标视频流数据包括若干帧目标视频画面,所述目标视频画面为获取所述第一人物对应的第一人物信息显示位置,将所述第一人物对应的第一人物信息添加至所述视频画面中的所述第一人物对应的第一人物信息显示位置处得到的。
第二方面,本申请实施例提供了一种直播间内的人物信息显示系统,包括:服务器和客户端;
所述服务器用于响应于人物识别指令,获取直播间标识和所述直播间标识对应的视频流数据;其中,所述视频流数据中包括若干帧视频画面;
所述服务器用于在若干帧所述视频画面中进行人脸定位,得到第一人物对应的第一人脸图像;根据所述第一人物对应的第一人脸图像,得到所述第一人物对应的第一人物信息;生成并发送人物信息显示指令至直播间内的客户端;其中,所述第一人物包括新增在所述视频画面中的至少一个人物,所述直播间为所述直播间标识对应的直播间;
所述直播间内的客户端用于响应于所述人物信息显示指令,获取所述直播间标识对应的目标视频流数据,将所述目标视频流数据输出至所述直播间标识对应的直播间界面中;其中,所述目标视频流数据包括若干帧目标视频画面,所述目标视频画面为获取所述第一人物对应的第一人物信息显示位置,将所述第一人物对应的第一人物信息添加至所述视频画面中的所述第一人物对应的第一人物信息显示位置处得到的。
第三方面,本申请实施例提供了一种直播间内的人物信息显示装置,包括:
第一获取单元,用于服务器响应于人物识别指令,获取直播间标识和所述直播间标识对应的视频流数据;其中,所述视频流数据中包括若干帧视频画面;
第二获取单元,用于所述服务器在若干帧所述视频画面中进行人脸定位,得到第一人物对应的第一人脸图像;根据所述第一人物对应的第一人脸图像,得到所述第一人物对应的第一人物信息;生成并发送人物信息显示指令至直播间内的客户端;其中,所述第一人物包括新增在所述视频画面中的至少一个人物,所述直播间为所述直播间标识对应的直播间;
第一显示单元,用于所述直播间内的客户端响应于所述人物信息显示指令,获取所述直播间标识对应的目标视频流数据,将所述目标视频流数据输出至所述直播间标识对应的直播间界面中;其中,所述目标视频流数据包括若干帧目标视频画面,所述目标视频画面为获取所述第一人物对应的第一人物信息显示位置,将所述第一人物对应的第一人物信息添加至所述视频画面中的所述第一人物对应的第一人物信息显示位置处得到的。
第四方面,本申请实施例提供了一种计算机设备,处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述方法的步骤。
第五方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所述方法的步骤。
在本申请实施例中,服务器在响应于人物识别指令时,会通过在若干帧视频画面中进行人脸定位,确定视频画面中新增的至少一个人物,即第一人物,得到第一人物对应的第一人物图像,再根据第一人物对应的第一人物图像,得到第一人物对应的第一人物信息,生成并发送人物信息显示指令至直播间内的客户端,从而在直播间内的客户端响应于该人物信息显示指令时,获取包括若干帧目标视频画面的目标视频流数据,该目标视频画面为获取第一人物对应的第一人物信息显示位置,将第一人物对应的第一人物信息添加至视频画面中第一人物对应的第一人物信息显示位置处得到的,之后,直播间内的客户端将目标视频流数据输出至直播间界面中,达到在视频画面中显示人物信息的技术目的,使进入直播间的用户能够根据视频画面中已添加的人物信息,快速了解直播间中出现的人物,提高直播间对用户的吸引力,提升用户的观众时长和留存率,避免用户流失。
为了更好地理解和实施,下面结合附图详细说明本申请的技术方案。
附图说明
图1为本申请实施例提供的直播间内的人物信息显示方法的应用场景示意图;
图2为本申请第一实施例提供的直播间内的人物信息显示方法的流程示意图;
图3为本申请实施例提供的人物信息确认控件在直播间界面中的显示示意图;
图4为本申请第二实施例提供的直播间内的人物信息显示方法的流程示意图;
图5为本申请实施例提供的第一人物信息在视频画面中的显示示意图;
图6为本申请第三实施例提供的直播间内的人物信息显示方法的流程示意图;
图7为本申请第四实施例提供的直播间内的人物信息显示方法的流程示意图;
图8为本申请实施例提供的第一人物信息在视频画面中的另一显示示意图;
图9为本申请第五实施例提供的直播间内的人物信息显示方法的流程示意图;
图10为本申请实施例提供的第一人物信息在视频画面中的又一显示示意图;
图11为本申请第六实施例提供的直播间内的人物信息显示系统的结构示意图;
图12为本申请第七实施例提供的直播间内的人物信息显示装置的结构示意图;
图13为本申请第八实施例提供的计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本领域技术人员可以理解,本申请所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他诸如个人计算机、平板电脑之类的通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(PersonalCommunications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(GlobalPositioningSystem,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件,本质上是具备个人计算机等效能力的计算机设备,为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置,计算机程序存储于其存储器中,中央处理器将存储在外存中的程序调入内存中运行,执行程序中的指令,与输入输出设备交互,借此完成特定的功能。
需要指出的是,本申请所称的“服务器”这一概念,同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理,所述各服务器应是逻辑上的划分,在物理空间上,这些服务器既可以是互相独立但可通过接口调用的,也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通,而不应以此约束本申请的网络部署方式的实施方式。
请参阅图1,图1为本申请实施例提供的直播间内的人物信息显示方法的应用场景示意图,该应用场景包括本申请实施例提供的主播客户端101、服务器102和观众客户端103,主播客户端101与观众客户端103通过服务器102进行交互。
本申请实施例提出的客户端包括该主播客户端101和该观众客户端103。
需要指出的是,在现有技术中会存在对“客户端”这一概念的多种理解,例如:可以将其理解为安装在计算机设备中的应用程序,或者,也可以将其理解为相对应于服务器的硬件设备。
在本申请实施例中,所称的“客户端”是指相对应于服务器的硬件设备,更具体来说,是指计算机设备,例如:智能手机、智能交互平板以及个人计算机等。
在客户端为智能手机、智能交互平板等移动设备时,用户可以在客户端上安装匹配的移动端应用程序,也可以在客户端上访问Web端应用程序。
在客户端为个人计算机(PC机)等非移动设备时,用户可以在客户端上安装匹配的PC端应用程序,同样也可以在客户端上访问Web端应用程序。
其中,移动端应用程序是指可安装在移动设备中的应用程序,PC端应用程序是指可安装在非移动设备中的应用程序,Web端应用程序是指需通过浏览器访问的应用程序。
具体地,Web端应用程序依据客户端类型的差异,又可以分为移动版本和PC版本,两者的页面布局方式以及可提供的服务器支持可能存在差别。
在本申请实施例中,提供至用户的直播应用程序的类型分为移动端直播应用程序、PC端直播应用程序和Web端直播应用程序。用户可以依据其采用客户端的类型不同,自主选择其参与网络直播的方式。
本申请依据采用客户端的用户身份的不同,可以将客户端分为主播客户端101和观众客户端103。
其中,主播客户端101是指发送网络直播视频的一端,通常来说是网络直播中主播(即,直播主播用户)所采用的客户端。
观众客户端103是指接收和观看网络直播视频的一端,通常来说是网络直播中观看视频的观众(即,直播观众用户)所采用的客户端。
主播客户端101和观众客户端103所指向的硬件,本质上是指计算机设备,具体地,如图1所示,其可以是智能手机、智能交互平板和个人计算机等类型的计算机设备。主播客户端101和观众客户端103均可以通过公知的网络接入方式接入互联网,与服务器102建立数据通信链路。
服务器102作为一个业务服务器,其可以负责进一步连接起相关音频数据服务器、视频流服务器以及其他提供相关支持的服务器等,以此构成逻辑上相关联的服务机群,来为相关的终端设备,例如图1中所示的主播客户端101和观众客户端103提供服务。
本申请实施例中,主播客户端101与观众客户端103可以加入同一个直播间(即直播频道),上述的直播间是指依靠互联网技术实现的一种聊天室,通常具备音视频播控功能。主播用户通过主播客户端101在直播间内进行直播,观众客户端103的观众可以登录服务器102进入直播间观看上直播。
在直播间内,主播与观众之间可通过语音、视频、文字等公知的线上交互方式来实现互动,一般是主播以音视频流的形式为观众用户表演节目,并且在互动过程中还可产生经济交易行为。当然,直播间的应用形态并不局限于在线娱乐,也可推广到其他相关场景中,例如视频会议场景、产品推介销售场景以及其他任何需要类似互动的场景中。
具体地,观众观看直播的过程如下:观众可以点击访问安装在观众客户端103上的直播应用程序,并选择进入任意一个直播间,触发观众客户端103为该观众加载直播间界面,该直播间界面内包括若干交互组件,例如:视频窗口、虚拟礼物栏以及公屏等,通过加载这些交互组件可以使观众在直播间内观看直播,并进行多种线上互动,线上互动的方式包括但不限于赠送虚拟礼物以及公屏发言等。
目前,在网络直播场景下,主播经常会邀请嘉宾进入到直播间内,进行访谈直播、游戏直播以及产品销售直播等,因此,对于进入直播间的观众来说,其很难快速地了解直播间中出现的嘉宾(在本申请实施例中称之为人物),故会降低直播间对用户的吸引力。
此外,网络直播平台也会提供一些轮播直播间(即,轮播频道),轮播直播间内可以依序播放不同主播客户端采集的音视频流数据,观众在进入轮播直播间时,一方面其无法提前了解直播主题,另一方面其也很难快速地了解直播间中出现的人物,那么也将会降低轮播直播间对用户的吸引力。
基于上述,为解决用户无法快速直观了解直播间中出现的人物,影响用户的观看时长和留存率的技术问题,本申请实施例提供了一种直播间内的人物信息显示方法。请参阅图2,图2为本申请第一实施例提供的直播间内的人物信息显示方法的流程示意图,该方法包括如下步骤:
S101:服务器响应于人物识别指令,获取直播间标识和直播间标识对应的视频流数据;其中,视频流数据中包括若干帧视频画面。
S102:服务器在若干帧视频画面中进行人脸定位,得到第一人物对应的第一人脸图像;根据第一人物对应的第一人脸图像,得到第一人物对应的第一人物信息;生成并发送人物信息显示指令至直播间内的客户端;其中,第一人物包括新增在视频画面中的至少一个人物,直播间为直播间标识对应的直播间。
S103:直播间内的客户端响应于人物信息显示指令,获取直播间标识对应的目标视频流数据,将目标视频流数据输出至直播间标识对应的直播间界面中;其中,目标视频流数据包括若干帧目标视频画面,目标视频画面为获取第一人物对应的第一人物信息显示位置,将第一人物对应的第一人物信息添加至视频画面中的第一人物对应的第一人物信息显示位置处得到的。
在本实施例中,是从客户端和服务器两个执行主体对直播间内的人物信息显示方法进行描述的。其中,客户端包括主播客户端和观众客户端。
关于步骤S101,服务器响应于人物识别指令,获取直播间标识和直播间标识对应的视频流数据。
其中,该人物识别指令中至少包括直播间标识,该直播间标识为直播间(即,直播频道)对应的唯一标识。
服务器响应于该人物识别指令,解析该人物识别指令,获取直播间标识,再根据该直播间标识获取到该直播间标识对应的视频流数据。
直播间标识对应的视频流数据中包括若干帧直播间标识对应的视频画面。
下面将说明何种条件下会触发服务器生成该人物识别指令。
在一个可选的实施例中,步骤S101包括步骤S1011~S1012,具体如下:
S1011:服务器获取直播间标识对应的音频流数据;其中,音频流数据中包括若干段音频。
S1012:服务器监测若干段音频对应的语句中是否包含预设的第一语句或若干段音频对应的语句中是否包含与预设的第一语句语义相似的第二语句,若是,服务器发出人物识别指令。
服务器获取直播间标识对应的音频流数据,该音频流数据中包括若干段音频,服务器对若干段音频进行监测。
具体地,服务器先将若干段音频转化为对应的语句,监测若干段音频对应的语句中是否包含预设的第一语句,若是,服务器根据直播间标识,生成人物识别指令,发出人物识别指令。
或者,服务器先将若干段音频转化为对应的语句,对若干段音频对应的语句进行语义分析,监测若干段音频对应的语句中是否包含与预设的第一语句语义相似的第二语句,若是,服务器根据直播间标识,生成人物识别指令,发出人物识别指令。
其中,预设的第一语句可以由主播进行自定义配置,也可以是由服务器根据当前直播类型进行设定。
例如:若当前直播类型为访谈直播,预设的第一语句可以是“有请xxx嘉宾”等,此处仅为一个示例,实际应用过程中,可以通过预设多个第一语句,以触发服务器发出人物识别指令。
在另一个可选的实施例中,服务器响应于音视频流切换指令,获取直播间标识,根据直播间标识,生成人物识别指令。
其中,该音视频流切换指令为服务器确认该直播间标识为目标直播间标识以及该直播间内轮播的音视频流数据从第一主播客户端采集的音视频流数据切换为第二主播客户端采集的音视频流数据时生成的。其中,目标直播间标识对应的直播间为轮播直播间,
在本实施例中,当轮播直播间内切换播放的音视频流数据时,生成音视频流切换指令,从而使服务器响应于音视频流切换指令,生成人物识别指令,进而可以确认的是,本申请实施例提出的方法是可以适用于轮播场景中的。
关于步骤S102,服务器在若干帧视频画面中进行人脸定位,得到第一人物对应的第一人脸图像;根据第一人物对应的第一人脸图像,得到第一人物对应的第一人物信息;生成并发送人物信息显示指令至直播间内的客户端。
其中,第一人物包括新增在视频画面中的至少一个人物,直播间为直播间标识对应的直播间。
关于人脸定位可以采用任意一种现有的人脸定位算法,在此不进行限定,人脸定位算法会输出视频画面中的人脸区域,该人脸区域由人脸位置和人脸尺寸确定,在本申请实施例中,服务器每响应于该人物识别指令时,都会进行人脸定位,为避免重复获取人物信息,因而,服务器只获取第一人物对应的人脸区域,也即,新增在视频画面中的至少一个人物对应的人脸信息,根据第一人物对应的人脸区域和视频画面,得到第一人物对应的第一人脸图像。
下面说明如何根据第一人物对应的第一人脸图像,得到第一人物对应的第一人物信息。
在一个可选的实施例中,S102中根据第一人物对应的第一人脸图像,得到第一人物对应的第一人物信息,包括步骤:
S1021:服务器根据第一人物对应的第一人脸图像搜索预建立的人脸图像库;其中,人脸图像库中包括若干个人物对应的人物信息和若干个人物对应的人脸图像。
S1022:若第一人物对应的第一人脸图像与任意一个人物对应的人脸图像匹配,服务器获取对应的人物信息为第一人物对应的第一人物信息。
在本实施例中,会预建立人脸图像库,该人脸图像库的类型以及其如何进行信息存储在此不进行限定。
该预建立的人脸图像库中包括若干个人物对应的人物信息和若干个人物对应的人脸图像。可以理解的是,该预建立的人脸图像库中每个人物是有对应的人物标识的,服务器根据第一人物对应的第一人脸图像搜索该预建立的人脸图像库,判断第一人物对应的第一人脸图像是否与任意一个人物对应的人脸图像匹配,若是,则服务器获取对应的人物标识,并根据该人物标识,获取该人物标识对应的人物信息为第一人物对应的第一人物信息。
通过显示第一人物信息可以使用户及时了解该第一人物,关于第一人物信息中具体包括哪些内容将在后续进行说明。
若否,也即若第一人物对应的第一人脸图像与任意一个人物对应的人脸图像均未匹配,方法还包括步骤:
S1023:服务器根据第一人物对应的第一人脸图像搜索外部图像库;其中,服务器与外部图像库建立数据连接,外部图像库中至少包括若干幅图像和与图像相关的文字信息。
S1024:若第一人物对应的第一人脸图像与外部图像库中任意一张图像中呈现的人脸匹配,服务器获取外部图像库中与图像相关的文字信息,根据与图像相关的文字信息,得到第一人物对应的第一人物信息。
若在预建立的人脸图像库中未获取到第一人物对应的人物信息,服务器还会与外部图像库建立数据连接,根据第一人物对应的第一人脸图像搜索外部图像库。
外部图像库中存储的内容较为复杂,但至少需要包括若干幅图像和与图像相关的文字信息。
之后,服务器判断第一人物对应的第一人脸图像与外部图像库中任意一张图像中呈现的人脸匹配,若是,服务器获取外部图像库中与图像相关的文字信息,根据与图像相关的文字信息,得到第一人物对应的第一人物信息。
在一个可选的实施例中,服务器可以根据预设的语义分析算法,获取外部图像库中与图像相关的文字信息,之后再通过搜索网站搜索该与图像相关的文字信息,得到第一人物对应的第一人物信息。
在本实施例中,服务器能够在基于预建立的人脸图像库无法获取到第一人物对应的人物信息时,进一步拓展搜索途径,极大程度地满足人物信息的搜索需求,并且搜索到的第一人物对应的第一人物信息也可以进一步扩充预建立的人脸图像库。
在一个可选的实施例中,由于获取到的第一人物对应的第一人物信息易存在误差,因此,S102中生成并发送人物信息显示指令至直播间内的客户端之前,包括步骤:
服务器根据第一人物对应的第一人物信息,生成并发送人物信息确认指令至主播客户端;
主播客户端响应于人物信息确认指令,获取第一人物对应的第一人物信息和人物信息确认控件数据,根据第一人物对应的第一人物信息和人物信息确认控件数据,将呈现有第一人物对应的第一人物信息的人物信息确认控件显示在直播间界面中;主播客户端响应于对第一人物对应的第一人物信息的确认指令,发送人物信息确认完成指令至服务器。
其中,主播客户端为直播间标识对应的主播客户端,可以理解的是,该主播客户端是指创建该直播间的主播对应的主播客户端。
人物信息确认控件数据包括人物信息确认控件的显示数据和人物信息确认控件的功能数据。
人物信息确认控件的显示数据用于确认人物信息确认控件的显示样式、显示位置以及显示尺寸等,人物信息确认控件的功能数据用于实现人物信息的显示功能以及触发主播客户端生成对第一人物对应的第一人物信息的确认指令。
主播客户端根据第一人物对应的第一人物信息和人物信息确认控件数据,将呈现有第一人物对应的第一人物信息的人物信息确认控件显示在直播间界面中。
请参阅图3,图3为本申请实施例提供的人物信息确认控件在直播间界面中的显示示意图。可以看到,直播间界面3中显示有人物信息确认控件31,人物信息确认控件31中显示有第一人物对应的第一人物信息311和确认子控件312。此外,还显示有提示信息,如在访谈直播中,该提示信息可以为“请确认该嘉宾是否为“xxx””。主播通过点击确认子控件312,可以触发主播客户端生成对第一人物对应的第一人物信息的确认指令。
在一个可选的实施例中,S102中生成并发送人物信息显示指令至直播间内的客户端之前,包括步骤:主播客户端接收服务器发送的功能开启信息和功能开启确认控件数据,根据功能开启信息和功能开启确认控件数据,将呈现有功能开启信息的功能开启确认控件显示在直播间界面中;主播客户端响应于在直播间内开启人物信息显示功能的确认指令,发送人物信息显示开启指令至服务器。
其中,关于主播客户端不再进行解释说明。
功能开启信息用于提示主播在直播间内开启人物信息显示功能。
功能开启确认控件数据包括功能开启确认控件的功能数据和功能开启确认控件的显示数据。
功能开启确认控件的显示数据用于确定功能开启确认控件的显示样式、显示位置以及显示尺寸等。
功能开启确认控件的功能数据用于实现功能开启信息的显示功能以及触发主播客户端生成在直播间内开启人物信息显示功能的确认指令。
在本实施例中,在生成人物信息显示指令之前,需要主播对是否开启人物信息显示功能进行确认,从而能够进一步提升主播的开播体验,使其对直播间的功能有更多的控制权限。
关于步骤S103,直播间内的客户端响应于人物信息显示指令,获取直播间标识对应的目标视频流数据,将目标视频流数据输出至直播间标识对应的直播间界面中。
其中,直播间内的客户端包括主播客户端和观众客户端。
目标视频流数据包括若干帧目标视频画面。
目标视频画面为获取第一人物对应的第一人物信息显示位置,将第一人物对应的第一人物信息添加至视频画面中的第一人物对应的第一人物信息显示位置处得到的。
在本实施例中,对于如何获取第一人物对应的第一人物信息显示位置,以及如何将第一人物对应的第一人物信息添加至视频画面中的第一人物对应的第一人物信息显示位置处,不进行限定,将在后续实施例中进行详细说明。
在直播间内的客户端将目标视频流数据输出至直播间标识对应的直播间界面中后,直播间内的主播和观众都可以看到第一人物对应的第一人物信息。
在本申请实施例中,服务器在响应于人物识别指令时,会通过在若干帧视频画面中进行人脸定位,确定视频画面中新增的至少一个人物,即第一人物,得到第一人物对应的第一人物图像,再根据第一人物对应的第一人物图像,得到第一人物对应的第一人物信息,生成并发送人物信息显示指令至直播间内的客户端,从而在直播间内的客户端在响应于该人物信息显示指令时,获取包括若干帧目标视频画面的目标视频流数据,该目标视频画面为获取第一人物对应的第一人物信息显示位置,将第一人物对应的第一人物信息添加至视频画面中第一人物对应的第一人物信息显示位置处得到的,之后,直播间内的客户端将目标视频流数据输出至直播间界面中,达到在视频画面中显示人物信息的技术目的,使进入直播间的用户能够根据视频画面中已添加的人物信息,快速了解直播间中出现的人物,提高直播间对用户的吸引力,提升用户的观众时长和留存率,避免用户流失。
在一个可选的实施例中,由于视频画面的尺寸有限,因此难以使用户更进一步地了解人物信息,基于此,该方法还包括步骤:
S104:直播间内的客户端响应于对第一人物对应的第一人物信息的触发指令,获取第一人物对应的第二人物信息和第二人物信息显示控件数据,根据第一人物对应的第二人物信息和第二人物信息显示控件数据,将呈现有第一人物对应的第二人物信息的第二人物信息显示控件显示在直播间界面中;其中,第一人物对应的第二人物信息为第一人物对应的人物介绍详情信息。
该第一人物对应的第二人物信息可以是在服务器根据第一人物信息搜索现有的搜索网站后得到的人物介绍详情信息。
用户可以通过点击显示在直播间界面中的第一人物对应的第一人物信息,触发客户端生成对第一人物对应的第一人物信息的触发指令,客户端响应于该触发指令,通过获取第一人物对应的第二人物信息和第二人物信息显示控件数据,根据第一人物对应的第二人物信息和第二人物信息显示控件数据,将呈现有第一人物对应的第二人物信息的第二人物信息显示控件显示在直播间界面中。
其中,第二人物信息显示控件数据包括第二人物信息显示控件的显示数据和第二人物信息显示控件的功能数据。
第二人物信息显示控件的显示数据用于确定第二人物信息显示控件的显示样式、显示位置以及显示尺寸等。
第二人物信息显示控件的功能数据用于实现第二人物信息的显示功能。
在本实施例中,用户可以通过过点击显示在直播间界面中的第一人物对应的第一人物信息,进一步查看第一人物的详细介绍,更有利于用户了解直播间内的人物,不仅能够提升互动体验,还能够提升直播间的留存率和观看时长。
在一个可选的实施例中,S103中直播间内的客户端响应于人物信息显示指令之前,包括步骤:
若直播间标识为目标直播间标识,服务器根据第一人物对应的第一人脸图像,得到第一人物对应的第三人物信息;其中,第三人物信息包括第一人物对应的人物关注数量,第一人物对应的对战获胜概率以及第一人物对应的已收获虚拟礼物价值。
S103中直播间内的客户端响应于人物信息显示指令之后,包括步骤:
直播间内的客户端将第三人物信息添加至目标视频画面中,得到已添加第三人物信息的目标视频画面,将已添加第三人物信息的目标视频画面输出至直播间界面中。
目标直播间标识对应的直播间为轮播直播间,关于轮播直播间在前述已经解释说明,在此不进行复述。
在本实施例中,服务器根据第一人物对应的第一人脸图像,还会获取第一人物对应的第三人物信息。
在轮播直播间内,通常来说视频画面内呈现的是主播的影像,因此,第一人物通常是指创建直播间的主播。在一个可选的实施例中,第一人物对应的第三人物信息包括第一人物对应的人物关注数量,第一人物对应的对战获胜概率以及第一人物对应的已收获虚拟礼物价值。
为了便于观众快速了解主播,直播间内的客户端会将第三人物信息添加至目标视频画面中,得到已添加第三人物信息的目标视频画面,将已添加第三人物信息的目标视频画面输出至直播间界面中。
在一个可选的实施例中,直播间内的客户端将第三人物信息添加至目标视频画面中,包括步骤:
直播间内的客户端获取各个第三人物信息对应的显示参数,根据各个第三人物信息对应的显示参数,轮流添加第三人物信息至目标视频画面中。
在本实施例中,各个第三人物信息是轮流显示在目标视频画面上的。具体如何轮流显示基于各个第三人物信息对应的显示参数确定,该显示参数包括显示顺序、显示时长以及显示次数等。
各个第三人物信息对应的显示参数为根据各个第三人物信息对应的用户查看信息确定的。
具体地,对于轮流显示的各个第三人物信息,客户端会采集各个第三人物信息对应的查看次数,得到各个第三人物信息对应的用户查看信息,并将其发送至服务器,服务器统计不同客户端发送的各个第三人物信息对应的用户查看信息,从而再根据统计得到的各个第三人物信息对应的用户查看信息,确定各个第三人物信息对应的显示参数。
例如:若用户更多次查看第一人物对应的对战获胜概率,则可以将其显示顺序调至第一顺位、显示时长延长并增加显示次数等。
请参阅图4,图4为本申请第二实施例提供的直播间内的人物信息显示方法的流程示意图,包括如下步骤:
S201:服务器响应于人物识别指令,获取直播间标识和直播间标识对应的视频流数据;其中,视频流数据中包括若干帧视频画面。
S202:服务器在若干帧视频画面中进行人脸定位,得到第一人物对应的第一人脸图像;根据第一人物对应的第一人脸图像,得到第一人物对应的第一人物信息;生成并发送人物信息显示指令至直播间内的客户端;其中,第一人物包括新增在视频画面中的至少一个人物,直播间为直播间标识对应的直播间。
S203:直播间内的客户端响应于人物信息显示指令,获取第一人物对应的第一人物信息和若干帧视频画面;在视频画面中确定第一人物对应的第一人物信息显示位置,将第一人物对应的第一人物信息添加至视频画面中的第一人物对应的第一人物信息显示位置处,得到包括若干帧目标视频画面的目标视频流数据;将目标视频流数据输出至直播间标识对应的直播间界面中。
在本实施例中,步骤S201~S202与步骤S101~S102相同,不同点在于步骤S203,本实施例,在视频画面中确定第一人物对应的第一人物信息显示位置的执行主体以及将第一人物对应的第一人物信息添加至视频画面中的第一人物对应的第一人物信息显示位置处的执行主体为直播间内的客户端。
在一个可选的实施例中,也可以是主播客户端响应于人物信息显示指令,获取第一人物对应的第一人物信息和若干帧视频画面;主播客户端在视频画面中确定第一人物对应的第一人物信息显示位置,将第一人物对应的第一人物信息添加至视频画面中的第一人物对应的第一人物信息显示位置处,得到包括若干帧目标视频画面的目标视频流数据,将目标视频流数据发送至服务器。之后,直播间内的观众客户端从服务器获取直播间标识对应的目标视频流数据,将目标视频流数据输出至直播间标识对应的直播间界面中。
在后续详细说明中,关于如何在视频画面中确定第一人物对应的第一人物信息显示位置,以及如何将第一人物对应的第一人物信息添加至视频画面中的第一人物对应的第一人物信息显示位置处,既可以由主播客户端执行,也可以由直播间内的客户端分别执行,本申请实施例中,仅以由直播间内的客户端分别执行的角度展开具体说明,关于由主播客户端执行的角度不再重复阐述,对照参考即可。
在一个可选的实施例中,S203中将第一人物对应的第一人物信息添加至视频画面中的第一人物对应的第一人物信息显示位置处,包括步骤:
S2031:直播间内的客户端获取第一人物信息显示数据;其中,第一人物信息显示数据用于确认第一人物名称和第一人物身份的显示样式,人物信息显示数据为在服务器中默认配置的人物信息显示数据或主播自定义配置的人物信息显示数据。
S2032:直播间内的客户端根据人物信息显示数据,以显示样式将第一人物名称和第一人物身份添加至视频画面中的第一人物对应的第一人物信息显示位置处。
在本实施例中,第一人物对应的第一人物信息包括第一人物名称和第一人物身份。
对于第一人物信息的显示样式是基于第一人物信息显示数据确定的。
人物信息显示数据为在服务器中默认配置的人物信息显示数据或主播自定义配置的人物信息显示数据。
例如:人物信息显示数据可以限定第一人物名称的显示尺寸和第一人物身份的显示尺寸,以及第一人物身份的左边界与第一人物名称的右边界的距离等。
请参阅图5,图5为本申请实施例提供的第一人物信息在视频画面中的显示示意图。可以看到,视频画面5中显示有第一人物信息,第一人物信息包括第一人物名称51和第一人物身份52,第一人物名称51的显示尺寸大于第一人物身份52的显示尺寸,第一人物身份52的左边界与第一人物名称51的右边界存在一定距离。
在本实施例中,可以通过配置人物信息显示数据,控制第一人物信息的显示样式,进一步提升人物信息的展示效果。
在一个可选的实施例中,S102将目标视频流数据输出至直播间标识对应的直播间界面中之后,包括步骤:
S204:直播间内的客户端获取第二人物信息显示数据和已显示时长;其中,第二人物信息显示数据用于确认第一人物对应的第一人物信息的目标显示时长;
S205:若已显示时长达到目标显示时长,直播间内的客户端取消将第一人物对应的第一人物信息添加至视频画面中的第一人物对应的第一人物信息显示位置处。
在本实施例中,第二人物信息显示数据用于确认第一人物对应的第一人物信息的目标显示时长。
已显示时长为第一人物信息对应的已显示时长。
若已显示时长达到目标显示时长,直播间内的客户端取消将第一人物对应的第一人物信息添加至视频画面中的第一人物对应的第一人物信息显示位置处。
在本实施例中,可以通过配置第二人物信息显示数据,调整第一人物信息的显示时长,避免第一人物信息长时间的显示,对观看视频画面产生干扰,提高用户的直播体验。
请参阅图6,图6为本申请第三实施例提供的直播间内的人物信息显示方法的流程示意图,包括如下步骤:
S301:服务器响应于人物识别指令,获取直播间标识和直播间标识对应的视频流数据;其中,视频流数据中包括若干帧视频画面。
S302:服务器在若干帧视频画面中进行人脸定位,得到第一人物对应的第一人脸图像;根据第一人物对应的第一人脸图像,得到第一人物对应的第一人物信息;生成并发送人物信息显示指令至直播间内的客户端;其中,第一人物包括新增在视频画面中的至少一个人物,直播间为直播间标识对应的直播间。
S303:直播间内的客户端响应于人物信息显示指令,获取第一人物对应的第一人物信息和若干帧视频画面。
S304:直播间内的客户端获取第一人物对应的第一人脸图像,根据第一人物对应的第一人脸图像,在若干帧视频画面中确定第一人物,并获取第一人物在视频画面中对应的第一人物区域。
S305:直播间内的客户端根据视频画面和第一人物对应的第一人物区域,得到第一人物信息显示位置。
S306:直播间内的客户端将第一人物对应的第一人物信息添加至视频画面中的第一人物对应的第一人物信息显示位置处,得到包括若干帧目标视频画面的目标视频流数据;将目标视频流数据输出至直播间标识对应的直播间界面中。
在本实施例中,步骤S301~S302与步骤S201~S202相同,不同点在于步骤S303~S306,下面进行详细说明。
步骤S303~S306用于直播间内的客户端获取第一人物在视频画面中对应的第一人物区域。直播间内的客户端可以从服务器获取到了第一人物对应的第一人物信息,但是直播间内的客户端无法确认视频画面中的哪一人物为第一人物,进而则无法得到第一人物在视频画面中对应的第一人物区域。
关于步骤S303~S304,直播间内的客户端响应于人物信息显示指令,获取第一人物对应的第一人物信息和若干帧视频画面,并且,直播间内的客户端获取第一人物对应的第一人脸图像,根据第一人物对应的第一人脸图像,在若干帧视频画面中确定第一人物,并获取第一人物在视频画面中对应的第一人物区域。
该第一人物对应的第一人脸图像可以是直播间内的客户端通过在若干帧视频画面中进行人脸定位得到的,也可以是直播间内的客户端从服务器调取的。
根据第一人物对应的第一人脸图像,直播间内的客户端可以在若干帧视频画面中确定第一人物,从而得到第一人物在视频画面中对应的第一人物区域。
关于步骤S305,直播间内的客户端根据视频画面和第一人物对应的第一人物区域,得到第一人物信息显示位置。
在本实施例中,该第一人物信息显示位置可以是第一人物对应的第一人物区域内的任意位置。
在第四实施例和第五实施例中将展开说明如何在第一人物对应的第一人物区域内确定第一人物信息显示位置,以达到更好的人物信息显示效果,提高用户的直播观看体验。
请参阅图7,图7为本申请第四实施例提供的直播间内的人物信息显示方法的流程示意图,包括如下步骤:
S401:服务器响应于人物识别指令,获取直播间标识和直播间标识对应的视频流数据;其中,视频流数据中包括若干帧视频画面。
S402:服务器在若干帧视频画面中进行人脸定位,得到第一人物对应的第一人脸图像;根据第一人物对应的第一人脸图像,得到第一人物对应的第一人物信息;生成并发送人物信息显示指令至直播间内的客户端;其中,第一人物包括新增在视频画面中的至少一个人物,直播间为直播间标识对应的直播间。
S403:直播间内的客户端响应于人物信息显示指令,获取第一人物对应的第一人物信息和若干帧视频画面。
S404:直播间内的客户端获取第一人物在视频画面中对应的第一人物区域,根据视频画面和第一人物对应的第一人物区域,得到第一人物对应的第一人物图像。
S405:直播间内的客户端将第一人物对应的第一人物图像输入至预训练好的第一多头输出网络,得到第一人物对应的第一输出结果;其中,第一输出结果包括第一人物对应的胸口区域;第一人物对应的胸口区域由第一人物对应的胸口区域位置和第一人物对应的胸口区域尺寸确定。
S406:直播间内的客户端根据第一人物对应的胸口区域位置,得到第一人物信息在第一人物图像中的显示位置,根据第一人物信息在第一人物图像中的显示位置以及第一人物图像在视频画面中的显示位置,得到第一人物信息显示位置。
S407:直播间内的客户端将第一人物对应的第一人物信息添加至视频画面中的第一人物对应的第一人物信息显示位置处,得到包括若干帧目标视频画面的目标视频流数据;将目标视频流数据输出至直播间标识对应的直播间界面中。
在本实施例中,步骤S401~S402以及S407与步骤S301~S202以及S306相同,不同点在于步骤S403~S406,下面进行详细说明。
关于步骤S403~S404,直播间内的客户端响应于人物信息显示指令,获取第一人物对应的第一人物信息和若干帧视频画面,直播间内的客户端获取第一人物在视频画面中对应的第一人物区域,根据视频画面和第一人物对应的第一人物区域,得到第一人物对应的第一人物图像。
具体地,直播间内的客户端可以先在若干帧视频画面中进行活体识别,识别到活体区域,之后获取第一人物对应的第一人物头像,根据第一人物对应的第一人物头像,获取第一活体区域为第一人物在视频画面中对应的第一人物区域。
其中,第一活体区域中显示的人物头像与第一人物头像之间的匹配度需达到预设的匹配度阈值。
该第一人物区域包括第一人物区域在视频画面中的位置和第一人物区域在视频画面中的尺寸。
直播间内的客户端根据视频画面和第一人物对应的第一人物区域,得到第一人物对应的第一人物图像。
关于步骤S405,直播间内的客户端将第一人物对应的第一人物图像输入至预训练好的第一多头输出网络,得到第一人物对应的第一输出结果。
其中,第一输出结果包括第一人物对应的胸口区域,第一人物对应的胸口区域由第一人物对应的胸口区域位置和第一人物对应的胸口区域尺寸确定。
预训练好的第一多头输出网络可用于提取胸口区域,关于预训练好的第一多头输出网络的具体训练过程将在后续进行说明。
关于步骤S406,直播间内的客户端根据第一人物对应的胸口区域位置,得到第一人物信息在第一人物图像中的显示位置,根据第一人物信息在第一人物图像中的显示位置以及第一人物图像在视频画面中的显示位置,得到第一人物信息显示位置。
在本实施例中,直播间内的客户端可以直接将第一人物对应的胸口区域位置作为第一人物信息在第一人物图像中的显示位置。
之后,直播间内的客户端再根据第一人物信息在第一人物图像中的显示位置以及第一人物图像在视频画面中的显示位置,得到第一人物信息显示位置。
可以理解的是,第一人物图像在视频画面中的显示位置也即前述第一人物区域的位置。
请参阅图8,图8为本申请实施例提供的第一人物信息在视频画面中的另一显示示意图。可以看到图8中,视频画面8中的第一人物信息81在第一人物区域内,且显示在第一人物的胸口处。
在本实施例中,通过对第一人物信息显示位置进行限定,使得可以将第一人物信息显示至第一人物的胸口处,那么对于用户来说,可以更直观地确认第一人物信息是与第一人物相关的,有利于提高用户体验,并且,将第一人物信息显示至第一人物的胸口处能够避免影响用户正常观看直播内容。
在一个可选的实施例中,S405直播间内的客户端将第一人物对应的第一人物图像输入至预训练好的第一多头输出网络,包括步骤:
S4051:直播间内的客户端根据第一人物对应的第一人物图像,获取第一人物图像中已呈现的人体躯干点。
S4052:直播间内的客户端根据第一人物图像中已呈现的人体躯干点,确认第一人物图像中是否呈现有第一人物对应的上身区域。
S4053:若是,直播间内的客户端将第一人物对应的第一人物图像输入至预训练好的第一多头输出网络。
S4054:若否,直播间内的客户端获取第一人物图像中第一人物对应的头部区域位置;根据第一人物图像中第一人物对应的头部区域位置,得到第一人物信息在第一人物图像中的显示位置,根据第一人物信息在第一人物图像中的显示位置以及第一人物图像在视频画面中的显示位置,得到第一人物信息显示位置。
关于步骤S4051~S4052,直播间内的客户端先判断第一人物图像中是否呈现有第一人物对应的上身区域。
具体地,直播间内的客户端先根据第一人物对应的第一人物图像,获取第一人物图像中已呈现的人体躯干点。
其可以采用任意一种现有的人体躯干识别算法,获取第一人物图像中已呈现的人体躯干点。
之后,直播间内的客户端根据第一人物图像中已呈现的人体躯干点,确认第一人物图像中是否呈现有第一人物对应的上身区域。
若第一人物图像中已呈现的人体躯干点包含人体上身躯干点,则确认第一人物图像中呈现有第一人物对应的上身区域。
关于步骤S4053,若第一人物图像中呈现有第一人物对应的上身区域,直播间内的客户端将第一人物对应的第一人物图像输入至预训练好的第一多头输出网络。
关于步骤S4054,若第一人物图像中未呈现有第一人物对应的上身区域,直播间内的客户端获取第一人物图像中第一人物对应的头部区域位置;根据第一人物图像中第一人物对应的头部区域位置,得到第一人物信息在第一人物图像中的显示位置,根据第一人物信息在第一人物图像中的显示位置以及第一人物图像在视频画面中的显示位置,得到第一人物信息显示位置。
也就是说,在第一人物图像中未呈现有第一人物对应的上身区域时,无法将第一人物信息显示至第一人物的胸口处,此时,将通过获取第一人物图像中第一人物对应的头部区域位置,将第一人物信息显示至第一人物的头部处,例如:头部上方或者头部左右侧等。
在一个可选的实施例中,该第一输出结果还包括第一人物对应的手臂区域,第一人物对应的手臂区域由第一人物对应的手臂区域位置和第一人物对应的手臂区域尺寸确定,在S405中得到第一人物对应的第一输出结果之后,包括步骤:
S408:直播间内的客户端获取视频画面的尺寸,根据第一人物对应的胸口区域尺寸和视频画面的尺寸,得到第一人物对应的胸口区域的面积占比。
S406直播间内的客户端根据第一人物对应的胸口区域位置,得到第一人物信息在第一人物图像中的显示位置,包括步骤:
S4061:若第一人物对应的胸口区域的面积占比超过预设的第一比例,直播间内的客户端根据第一人物对应的胸口区域位置,得到第一人物信息在第一人物图像中的显示位置。
S4062:若第一人物对应的胸口区域的面积占比未超过预设的第一比例,直播间内的客户端根据第一人物对应的手臂区域尺寸和视频画面的尺寸,得到第一人物对应的手臂区域的面积占比;若第一人物对应的手臂区域的面积占比超过预设的第二比例,直播间内的客户端根据第一人物对应的手臂区域位置,得到第一人物信息在第一人物图像中的显示位置;若第一人物对应的手臂区域的面积占比未超过预设的第二比例,直播间内的客户端获取第一人物图像中第一人物对应的头部区域位置;根据第一人物图像中第一人物对应的头部区域位置,得到第一人物信息在第一人物图像中的显示位置。
关于步骤S408,直播间内的客户端获取视频画面的尺寸,根据第一人物对应的胸口区域尺寸与视频画面的尺寸之间的比值,得到第一人物对应的胸口区域的面积占比。
关于步骤S4061,若第一人物对应的胸口区域的面积占比超过预设的第一比例,意味着视频画面中所呈现的第一人物对应的胸口区域,能够确保第一人物信息的正常展示,从而,直播间内的客户端才会根据第一人物对应的胸口区域位置,得到第一人物信息在第一人物图像中的显示位置。
关于步骤S4062,若第一人物对应的胸口区域的面积占比未超过预设的第一比例,意味着视频画面中所呈现的第一人物对应的胸口区域过小,无法确保第一人物信息的正常展示,例如:在第一人物侧身面对采集视频流数据的摄像头时,就会导致第一人物对应的胸口区域的面积占比过小。
由于第一输出结果还包括第一人物对应的手臂区域,第一人物对应的手臂区域由第一人物对应的手臂区域位置和第一人物对应的手臂区域尺寸确定。因此,直播间内的客户端可以根据第一人物对应的手臂区域尺寸和视频画面的尺寸,得到第一人物对应的手臂区域的面积占比。
若第一人物对应的手臂区域的面积占比超过预设的第二比例,直播间内的客户端根据第一人物对应的手臂区域位置,得到第一人物信息在第一人物图像中的显示位置。即,将第一人物信息显示在第一人物的手臂上。
若第一人物对应的手臂区域的面积占比未超过预设的第二比例,直播间内的客户端获取第一人物图像中第一人物对应的头部区域位置;根据第一人物图像中第一人物对应的头部区域位置,得到第一人物信息在第一人物图像中的显示位置。即,将第一人物信息显示在第一人物的头部处,例如:头部上方或者头部左右侧等。
可以理解的是,将第一人物信息显示在第一人物的胸口处,更适合将第一人物信息横向排版,将第一人物信息显示在第一人物的手臂处,更适合将第一人物信息纵向排版。关于如何排版可以由客户端根据胸口区域的显示尺寸以及手臂区域的显示尺寸进行确定。
在一个可选的实施例中,第一输出结果还包括第一人物的上身衣物是否为纯色衣物以及纯色衣物的颜色,若第一人物对应的胸口区域的面积占比超过预设的第一比例且第一人物的上身衣物为纯色衣物,第一人物对应的第一人物信息在视频画面中的显示颜色为根据纯色衣物的颜色确定的。
具体地,第一人物对应的第一人物信息在视频画面中的显示颜色可以为纯色衣物颜色的对比色。
下面阐述一下第一多头输出网络的训练过程,首先需要采集若干张人物训练图像,该人物训练图像中需呈现有上身区域,之后对人物训练图像进行标注,标注内容包括:胸口区域、手臂区域、上身衣物是否为纯色衣物以及纯色衣物的颜色,之后,通过现有的神经网络训练算法,对第一多头输出网络进行训练,直至训练结果满足预设的训练终止条件,得到预训练好的第一多头输出网络。
请参阅图9,图9为本申请第五实施例提供的直播间内的人物信息显示方法的流程示意图,包括如下步骤:
S501:服务器响应于人物识别指令,获取直播间标识和直播间标识对应的视频流数据;其中,视频流数据中包括若干帧视频画面。
S502:服务器在若干帧视频画面中进行人脸定位,得到第一人物对应的第一人脸图像;根据第一人物对应的第一人脸图像,得到第一人物对应的第一人物信息;生成并发送人物信息显示指令至直播间内的客户端;其中,第一人物包括新增在视频画面中的至少一个人物,直播间为直播间标识对应的直播间。
S503:直播间内的客户端响应于人物信息显示指令,获取第一人物对应的第一人物信息和若干帧视频画面。
S504:直播间内的客户端获取第一人物在视频画面中对应的第一人物区域,根据视频画面和第一人物对应的第一人物区域,得到第一人物对应的第一人物图像。
S505:直播间内的客户端将第一人物对应的第一人物图像输入至预训练好的第二多头输出网络,得到第一人物对应的第二输出结果;其中,第二输出结果包括第一人物是否佩戴帽子以及第一人物对应的帽子区域;第一人物对应的帽子区域由第一人物对应的帽子区域位置和第一人物对应的帽子区域尺寸确定。
S506:若第二输出结果指示第一人物佩戴帽子,直播间内的客户端根据第一人物对应的帽子区域位置,得到第一人物信息在第一人物图像中的显示位置,根据第一人物信息在第一人物图像中的显示位置以及第一人物图像在视频画面中的显示位置,得到第一人物信息显示位置。
S507:直播间内的客户端将第一人物对应的第一人物信息添加至视频画面中的第一人物对应的第一人物信息显示位置处,得到包括若干帧目标视频画面的目标视频流数据;将目标视频流数据输出至直播间标识对应的直播间界面中。
在本实施例中,步骤S501~S504以及S507与步骤S401~S404以及S407相同,不同点在于步骤S505~S506,下面进行详细说明。
关于步骤S505,直播间内的客户端将第一人物对应的第一人物图像输入至预训练好的第二多头输出网络,得到第一人物对应的第二输出结果。
其中,第二输出结果包括第一人物是否佩戴帽子以及第一人物对应的帽子区域。
第一人物对应的帽子区域由第一人物对应的帽子区域位置和第一人物对应的帽子区域尺寸确定。
关于第二多头输出网络的训练过程如下:首先采集若干张人物训练图像,该人物训练图像中需呈现有头部区域,之后对人物训练图像进行标注,标注内容包括:是否佩戴帽子(包括实体帽子和虚拟帽子)以及帽子区域,之后,通过现有的神经网络训练算法,对第二多头输出网络进行训练,直至训练结果满足预设的训练终止条件,得到预训练好的第二多头输出网络。
关于步骤S506,若第二输出结果指示第一人物佩戴帽子,直播间内的客户端根据第一人物对应的帽子区域位置,得到第一人物信息在第一人物图像中的显示位置,根据第一人物信息在第一人物图像中的显示位置以及第一人物图像在视频画面中的显示位置,得到第一人物信息显示位置。
在本实施例中,直播间内的客户端可以直接将第一人物对应的帽子区域位置作为第一人物信息在第一人物图像中的显示位置。
之后,直播间内的客户端再根据第一人物信息在第一人物图像中的显示位置以及第一人物图像在视频画面中的显示位置,得到第一人物信息显示位置。
可以理解的是,第一人物图像在视频画面中的显示位置也即前述第一人物区域的位置。
请参阅图10,图10为本申请实施例提供的第一人物信息在视频画面中的又一显示示意图。可以看到图10中,视频画面10中的第一人物信息101在第一人物区域内,且显示在第一人物佩戴的帽子处。
在本实施例中,通过对第一人物信息显示位置进行限定,使得可以将第一人物信息显示至第一人物佩戴的帽子处,那么对于用户来说,可以更直观地确认第一人物信息是与第一人物相关的,有利于提高用户体验,并且,将第一人物信息显示至第一人物佩戴的帽子处能够避免影响用户正常观看直播内容。
在一个可选的实施例中,S505得到第一人物对应的第二输出结果之后,包括步骤:
S508:直播间内的客户端获取视频画面的尺寸,根据第一人物对应的帽子区域尺寸和视频画面的尺寸,得到第一人物对应的帽子区域的面积占比。
S506直播间内的客户端根据第一人物对应的帽子区域位置,得到第一人物信息在第一人物图像中的显示位置,包括步骤:
S5061:若第一人物对应的帽子区域的面积占比超过预设的第三比例,直播间内的客户端根据第一人物对应的帽子区域位置,得到第一人物信息在第一人物图像中的显示位置;
S5062:若第一人物对应的帽子区域的面积占比未超过预设的第三比例,直播间内的客户端将第一人物对应的第一人物图像输入至预训练好的第一多头输出网络,得到第一人物对应的第一输出结果,根据第一人物对应的第一输出结果,得到第一人物信息在第一人物图像中的显示位置。
关于步骤S508,直播间内的客户端获取视频画面的尺寸,根据第一人物对应的帽子区域尺寸与视频画面的尺寸之间的比值,得到第一人物对应的帽子区域的面积占比。
关于步骤S5061,若第一人物对应的帽子区域的面积占比超过预设的第三比例,意味着视频画面中所呈现的第一人物对应的帽子区域,能够确保第一人物信息的正常展示,从而,
直播间内的客户端才会根据第一人物对应的帽子区域位置,得到第一人物信息在第一人物图像中的显示位置。
关于步骤S5062,若第一人物对应的帽子区域的面积占比未超过预设的第三比例,意味着视频画面中所呈现的第一人物对应的帽子区域过小,无法确保第一人物信息的正常展示。
此时,直播间内的客户端将第一人物对应的第一人物图像输入至预训练好的第一多头输出网络,得到第一人物对应的第一输出结果,根据第一人物对应的第一输出结果,得到第一人物信息在第一人物图像中的显示位置。具体可以参见第四实施例中的相关步骤。
在一个可选的实施例中,第二输出结果还包括第一人物对应的帽子区域中是否显示有文字/图案以及文字/图案在第一人物对应的帽子区域中的面积占比。可以理解的是,若第二输出结果包含的内容更多,那么在训练第二多头输出网络之前,需要对人物训练图像进行更进一步的标注,标注内容包括:是否佩戴帽子(包括实体帽子和虚拟帽子)、帽子区域、帽子颜色、第一人物对应的帽子区域中是否显示有文字/图案以及文字/图案在第一人物对应的帽子区域中的面积占比。
若第一人物对应的帽子区域中未显示有文字/图案,第一人物对应的第一人物信息在视频画面中的显示颜色为根据第一人物的帽子颜色确定的。例如:第一人物对应的第一人物信息在视频画面中的显示颜色为第一人物的帽子颜色的对比色。
若第一人物对应的帽子区域中显示有文字/图案且文字/图案在第一人物对应的帽子区域中的面积占比未超过预设的第四比例,第一人物对应的第一人物信息在视频画面中的显示颜色为根据第一人物的帽子颜色确定的。
若第一人物对应的帽子区域中显示有文字/图案且文字/图案在第一人物对应的帽子区域中的面积占比超过预设的第四比例,该方法还包括步骤:直播间内的客户端根据第一人物对应的帽子区域和第一人物对应的第一人物图像,得到第一人物对应的帽子图像,将第一人物对应的帽子图像输入至预训练好的帽子生成网络,得到第一人物对应的目标帽子图像,将第一人物对应的目标帽子图像显示在第一人物对应的帽子区域上。
其中,目标帽子图像已去除文字/图案,第一人物对应的第一人物信息在视频画面中的显示颜色为根据第一人物的帽子颜色确定的。
在本实施例中,该帽子生成网络需与帽子鉴别网络组成对抗神经网络,一同进行对抗训练,使得预训练好的帽子生成网络不仅能够将帽子图像中带有的文字/图案去除,还能够使用户无法轻易察觉该目标帽子图像为虚拟生成的,从而达到更好的人物信息显示效果。
请参阅图11,图11为本申请第六实施例提供的直播间内的人物信息显示系统的结构示意图,该系统11包括:服务器111和客户端112;
所述服务器111用于响应于人物识别指令,获取直播间标识和所述直播间标识对应的视频流数据;其中,所述视频流数据中包括若干帧视频画面;
所述服务器111用于在若干帧所述视频画面中进行人脸定位,得到第一人物对应的第一人脸图像;根据所述第一人物对应的第一人脸图像,得到所述第一人物对应的第一人物信息;生成并发送人物信息显示指令至直播间内的客户端112;其中,所述第一人物包括新增在所述视频画面中的至少一个人物,所述直播间为所述直播间标识对应的直播间;
所述直播间内的客户端112用于响应于所述人物信息显示指令,获取所述直播间标识对应的目标视频流数据,将所述目标视频流数据输出至所述直播间标识对应的直播间界面中;其中,所述目标视频流数据包括若干帧目标视频画面,所述目标视频画面为获取所述第一人物对应的第一人物信息显示位置,将所述第一人物对应的第一人物信息添加至所述视频画面中的所述第一人物对应的第一人物信息显示位置处得到的。
上述实施例提供的直播间内的人物信息显示系统与直播间内的人物信息显示方法属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
请参阅图12,为本申请第七实施例提供的直播间内的人物信息显示装置的结构示意图。该装置可以通过软件、硬件或两者的结合实现成为计算机设备的全部或一部分。该装置12包括:
第一获取单元121,用于服务器响应于人物识别指令,获取直播间标识和所述直播间标识对应的视频流数据;其中,所述视频流数据中包括若干帧视频画面;
第二获取单元122,用于所述服务器在若干帧所述视频画面中进行人脸定位,得到第一人物对应的第一人脸图像;根据所述第一人物对应的第一人脸图像,得到所述第一人物对应的第一人物信息;生成并发送人物信息显示指令至直播间内的客户端;其中,所述第一人物包括新增在所述视频画面中的至少一个人物,所述直播间为所述直播间标识对应的直播间;
第一显示单元123,用于所述直播间内的客户端响应于所述人物信息显示指令,获取所述直播间标识对应的目标视频流数据,将所述目标视频流数据输出至所述直播间标识对应的直播间界面中;其中,所述目标视频流数据包括若干帧目标视频画面,所述目标视频画面为获取所述第一人物对应的第一人物信息显示位置,将所述第一人物对应的第一人物信息添加至所述视频画面中的所述第一人物对应的第一人物信息显示位置处得到的。
需要说明的是,上述实施例提供的直播间内的人物信息显示装置在执行直播间内的人物信息显示方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分为不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的直播间内的人物信息显示装置与直播间内的人物信息显示方法属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
请参阅图13,为本申请第八实施例提供的计算机设备的结构示意图。如图13所示,该计算机设备13可以包括:处理器130、存储器131以及存储在该存储器131并可以在该处理器130上运行的计算机程序132,例如:直播间内的人物信息显示程序;该处理器130执行该计算机程序132时实现上述第一实施例至第五实施例中的步骤。
其中,该处理器130可以包括一个或多个处理核心。处理器130利用各种接口和线路连接计算机设备13内的各个部分,通过运行或执行存储在存储器131内的指令、程序、代码集或指令集,以及调用存储器131内的数据,执行计算机设备13的各种功能和处理数据,可选的,处理器130可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programble LogicArray,PLA)中的至少一个硬件形式来实现。处理器130可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器130中,单独通过一块芯片进行实现。
其中,存储器131可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器131包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器131可用于存储指令、程序、代码、代码集或指令集。存储器131可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控指令等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器131可选的还可以是至少一个位于远离前述处理器130的存储装置。
本申请实施例还提供了一种计算机存储介质,该计算机存储介质可以存储有多条指令,该指令适用于由处理器加载并执行上述实施例的方法步骤,具体执行过程可以参见上述实施例的具体说明,在此不进行赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
本发明并不局限于上述实施方式,如果对本发明的各种改动或变形不脱离本发明的精神和范围,倘若这些改动和变形属于本发明的权利要求和等同技术范围之内,则本发明也意图包含这些改动和变形。
Claims (25)
1.一种直播间内的人物信息显示方法,其特征在于,所述方法包括步骤:
服务器响应于人物识别指令,获取直播间标识和所述直播间标识对应的视频流数据;其中,所述视频流数据中包括若干帧视频画面;
所述服务器在若干帧所述视频画面中进行人脸定位,得到第一人物对应的第一人脸图像;根据所述第一人物对应的第一人脸图像,得到所述第一人物对应的第一人物信息;生成并发送人物信息显示指令至直播间内的客户端;其中,所述第一人物包括新增在所述视频画面中的至少一个人物,所述直播间为所述直播间标识对应的直播间;
所述直播间内的客户端响应于所述人物信息显示指令,获取所述直播间标识对应的目标视频流数据,将所述目标视频流数据输出至所述直播间标识对应的直播间界面中;其中,所述目标视频流数据包括若干帧目标视频画面,所述目标视频画面为获取所述第一人物对应的第一人物信息显示位置,将所述第一人物对应的第一人物信息添加至所述视频画面中的所述第一人物对应的第一人物信息显示位置处得到的。
2.根据权利要求1所述的直播间内的人物信息显示方法,其特征在于,所述服务器响应于人物识别指令之前,包括步骤:
所述服务器获取所述直播间标识对应的音频流数据;其中,所述音频流数据中包括若干段音频;
所述服务器监测若干段所述音频对应的语句中是否包含预设的第一语句或若干段所述音频对应的语句中是否包含与所述预设的第一语句语义相似的第二语句,若是,所述服务器发出所述人物识别指令。
3.根据权利要求1所述的直播间内的人物信息显示方法,其特征在于,所述根据所述第一人物对应的第一人脸图像,得到所述第一人物对应的第一人物信息,包括步骤:
所述服务器根据所述第一人物对应的第一人脸图像搜索预建立的人脸图像库;其中,所述人脸图像库中包括若干个所述人物对应的人物信息和若干个所述人物对应的人脸图像;
若所述第一人物对应的第一人脸图像与任意一个所述人物对应的人脸图像匹配,所述服务器获取对应的人物信息为所述第一人物对应的第一人物信息。
4.根据权利要求3所述的直播间内的人物信息显示方法,其特征在于,若所述第一人物对应的第一人脸图像与任意一个所述人物对应的人脸图像均未匹配,所述方法还包括步骤:
所述服务器根据所述第一人物对应的第一人脸图像搜索外部图像库;其中,所述服务器与所述外部图像库建立数据连接,所述外部图像库中至少包括若干幅图像和与所述图像相关的文字信息;
若所述第一人物对应的第一人脸图像与所述外部图像库中任意一张所述图像中呈现的人脸匹配,所述服务器获取所述外部图像库中与所述图像相关的文字信息,根据与所述图像相关的文字信息,得到所述第一人物对应的第一人物信息。
5.根据权利要求1所述的直播间内的人物信息显示方法,其特征在于,所述生成并发送人物信息显示指令至直播间内的客户端之前,包括步骤:
所述服务器根据所述第一人物对应的第一人物信息,生成并发送人物信息确认指令至主播客户端;其中,所述主播客户端为所述直播间标识对应的主播客户端;
所述主播客户端响应于所述人物信息确认指令,获取所述第一人物对应的第一人物信息和人物信息确认控件数据,根据所述第一人物对应的第一人物信息和人物信息确认控件数据,将呈现有所述第一人物对应的第一人物信息的人物信息确认控件显示在所述直播间界面中;
所述主播客户端响应于对所述第一人物对应的第一人物信息的确认指令,发送人物信息确认完成指令至所述服务器。
6.根据权利要求1所述的直播间内的人物信息显示方法,其特征在于,所述生成并发送人物信息显示指令至直播间内的客户端之前,包括步骤:
主播客户端接收所述服务器发送的功能开启信息和功能开启确认控件数据,根据所述功能开启信息和功能开启确认控件数据,将呈现有所述功能开启信息的功能开启确认控件显示在所述直播间界面中;其中,所述主播客户端为所述直播间标识对应的主播客户端,所述功能开启信息用于提示主播在所述直播间内开启人物信息显示功能;
所述主播客户端响应于在所述直播间内开启人物信息显示功能的确认指令,发送人物信息显示开启指令至所述服务器。
7.根据权利要求1至6任意一项所述的直播间内的人物信息显示方法,其特征在于,所述获取所述直播间标识对应的目标视频流数据之前,包括步骤:
主播客户端获取所述第一人物对应的第一人物信息和若干帧所述视频画面;其中,所述主播客户端为所述直播间标识对应的主播客户端;
所述主播客户端在所述视频画面中确定所述第一人物对应的第一人物信息显示位置,将所述第一人物对应的第一人物信息添加至所述视频画面中的所述第一人物对应的第一人物信息显示位置处,得到包括若干帧所述目标视频画面的所述目标视频流数据,将所述目标视频流数据发送至所述服务器。
8.根据权利要求1至6任意一项所述的直播间内的人物信息显示方法,其特征在于,所述获取所述直播间标识对应的目标视频流数据,包括步骤:
所述直播间内的客户端获取所述第一人物对应的第一人物信息和若干帧所述视频画面;
所述直播间内的客户端在所述视频画面中确定所述第一人物对应的第一人物信息显示位置,将所述第一人物对应的第一人物信息添加至所述视频画面中的所述第一人物对应的第一人物信息显示位置处,得到包括若干帧所述目标视频画面的所述目标视频流数据。
9.根据权利要求8所述的直播间内的人物信息显示方法,其特征在于,所述第一人物对应的第一人物信息包括第一人物名称和第一人物身份;
所述将所述第一人物对应的第一人物信息添加至所述视频画面中的所述第一人物对应的第一人物信息显示位置处,包括步骤:
所述直播间内的客户端获取第一人物信息显示数据;其中,所述第一人物信息显示数据用于确认所述第一人物名称和所述第一人物身份的显示样式,所述人物信息显示数据为在所述服务器中默认配置的人物信息显示数据或主播自定义配置的人物信息显示数据;
所述直播间内的客户端根据所述人物信息显示数据,以所述显示样式将所述第一人物名称和所述第一人物身份添加至所述视频画面中的所述第一人物对应的第一人物信息显示位置处。
10.根据权利要求8所述的直播间内的人物信息显示方法,其特征在于,所述将所述目标视频流数据输出至所述直播间标识对应的直播间界面中之后,包括步骤:
所述直播间内的客户端获取第二人物信息显示数据和已显示时长;其中,所述第二人物信息显示数据用于确认所述第一人物对应的第一人物信息的目标显示时长;
若所述已显示时长达到所述目标显示时长,所述直播间内的客户端取消将所述第一人物对应的第一人物信息添加至所述视频画面中的所述第一人物对应的第一人物信息显示位置处。
11.根据权利要求1至6任意一项所述的直播间内的人物信息显示方法,其特征在于,所述方法还包括步骤:
所述直播间内的客户端响应于对所述第一人物对应的第一人物信息的触发指令,获取所述第一人物对应的第二人物信息和第二人物信息显示控件数据,根据所述第一人物对应的第二人物信息和第二人物信息显示控件数据,将呈现有所述第一人物对应的第二人物信息的第二人物信息显示控件显示在所述直播间界面中;其中,所述第一人物对应的第二人物信息为所述第一人物对应的人物介绍详情信息。
12.根据权利要求8所述的直播间内的人物信息显示方法,其特征在于,所述直播间内的客户端在所述视频画面中确定所述第一人物对应的第一人物信息显示位置,包括步骤:
所述直播间内的客户端获取所述第一人物对应的第一人脸图像,根据所述第一人物对应的第一人脸图像,在若干帧所述视频画面中确定所述第一人物,并获取所述第一人物在所述视频画面中对应的第一人物区域;
所述直播间内的客户端根据所述视频画面和所述第一人物对应的第一人物区域,得到所述第一人物信息显示位置。
13.根据权利要求8所述的直播间内的人物信息显示方法,其特征在于,所述直播间内的客户端在所述视频画面中确定所述第一人物对应的第一人物信息显示位置,包括步骤:
所述直播间内的客户端获取所述第一人物在所述视频画面中对应的第一人物区域,根据所述视频画面和所述第一人物对应的第一人物区域,得到所述第一人物对应的第一人物图像;
所述直播间内的客户端将所述第一人物对应的第一人物图像输入至预训练好的第一多头输出网络,得到所述第一人物对应的第一输出结果;其中,所述第一输出结果包括所述第一人物对应的胸口区域;所述第一人物对应的胸口区域由所述第一人物对应的胸口区域位置和所述第一人物对应的胸口区域尺寸确定;
所述直播间内的客户端根据所述第一人物对应的胸口区域位置,得到所述第一人物信息在所述第一人物图像中的显示位置,根据所述第一人物信息在所述第一人物图像中的显示位置以及所述第一人物图像在所述视频画面中的显示位置,得到所述第一人物信息显示位置。
14.根据权利要求13所述的直播间内的人物信息显示方法,其特征在于,所述直播间内的客户端将所述第一人物对应的第一人物图像输入至预训练好的第一多头输出网络,包括步骤:
所述直播间内的客户端根据所述第一人物对应的第一人物图像,获取所述第一人物图像中已呈现的人体躯干点;
所述直播间内的客户端根据所述第一人物图像中已呈现的人体躯干点,确认所述第一人物图像中是否呈现有所述第一人物对应的上身区域;
若是,所述直播间内的客户端将所述第一人物对应的第一人物图像输入至所述预训练好的第一多头输出网络;
若否,所述直播间内的客户端获取所述第一人物图像中所述第一人物对应的头部区域位置;根据所述第一人物图像中所述第一人物对应的头部区域位置,得到所述第一人物信息在所述第一人物图像中的显示位置,根据所述第一人物信息在所述第一人物图像中的显示位置以及所述第一人物图像在所述视频画面中的显示位置,得到所述第一人物信息显示位置。
15.根据权利要求13所述的直播间内的人物信息显示方法,其特征在于,所述第一输出结果还包括所述第一人物对应的手臂区域,所述第一人物对应的手臂区域由所述第一人物对应的手臂区域位置和所述第一人物对应的手臂区域尺寸确定;
所述得到所述第一人物对应的第一输出结果之后,包括步骤:
所述直播间内的客户端获取所述视频画面的尺寸,根据所述第一人物对应的胸口区域尺寸和所述视频画面的尺寸,得到所述第一人物对应的胸口区域的面积占比;
所述直播间内的客户端根据所述第一人物对应的胸口区域位置,得到所述第一人物信息在所述第一人物图像中的显示位置,包括步骤:
若所述第一人物对应的胸口区域的面积占比超过预设的第一比例,所述直播间内的客户端根据所述第一人物对应的胸口区域位置,得到所述第一人物信息在所述第一人物图像中的显示位置;
若所述第一人物对应的胸口区域的面积占比未超过所述预设的第一比例,所述直播间内的客户端根据所述第一人物对应的手臂区域尺寸和所述视频画面的尺寸,得到所述第一人物对应的手臂区域的面积占比;若所述第一人物对应的手臂区域的面积占比超过预设的第二比例,所述直播间内的客户端根据所述第一人物对应的手臂区域位置,得到所述第一人物信息在所述第一人物图像中的显示位置;若所述第一人物对应的手臂区域的面积占比未超过所述预设的第二比例,所述直播间内的客户端获取所述第一人物图像中所述第一人物对应的头部区域位置;根据所述第一人物图像中所述第一人物对应的头部区域位置,得到所述第一人物信息在所述第一人物图像中的显示位置。
16.根据权利要求15所述的直播间内的人物信息显示方法,其特征在于:所述第一输出结果还包括所述第一人物的上身衣物是否为纯色衣物以及所述纯色衣物的颜色,若所述第一人物对应的胸口区域的面积占比超过所述预设的第一比例且所述第一人物的上身衣物为纯色衣物,所述第一人物对应的第一人物信息在所述视频画面中的显示颜色为根据所述纯色衣物的颜色确定的。
17.根据权利要求8所述的直播间内的人物信息显示方法,其特征在于,所述直播间内的客户端在所述视频画面中确定所述第一人物对应的第一人物信息显示位置,包括步骤:
所述直播间内的客户端获取所述第一人物在所述视频画面中对应的第一人物区域,根据所述视频画面和所述第一人物对应的第一人物区域,得到所述第一人物对应的第一人物图像;
所述直播间内的客户端将所述第一人物对应的第一人物图像输入至预训练好的第二多头输出网络,得到所述第一人物对应的第二输出结果;其中,所述第二输出结果包括所述第一人物是否佩戴帽子以及所述第一人物对应的帽子区域;所述第一人物对应的帽子区域由所述第一人物对应的帽子区域位置和所述第一人物对应的帽子区域尺寸确定;
若所述第二输出结果指示所述第一人物佩戴帽子,所述直播间内的客户端根据所述第一人物对应的帽子区域位置,得到所述第一人物信息在所述第一人物图像中的显示位置,根据所述第一人物信息在所述第一人物图像中的显示位置以及所述第一人物图像在所述视频画面中的显示位置,得到所述第一人物信息显示位置。
18.根据权利要求17所述的直播间内的人物信息显示方法,其特征在于,所述得到所述第一人物对应的第二输出结果之后,包括步骤:
所述直播间内的客户端获取所述视频画面的尺寸,根据所述第一人物对应的帽子区域尺寸和所述视频画面的尺寸,得到所述第一人物对应的帽子区域的面积占比;
所述直播间内的客户端根据所述第一人物对应的帽子区域位置,得到所述第一人物信息在所述第一人物图像中的显示位置,包括步骤:
若所述第一人物对应的帽子区域的面积占比超过预设的第三比例,所述直播间内的客户端根据所述第一人物对应的帽子区域位置,得到所述第一人物信息在所述第一人物图像中的显示位置;
若所述第一人物对应的帽子区域的面积占比未超过所述预设的第三比例,所述直播间内的客户端将所述第一人物对应的第一人物图像输入至预训练好的第一多头输出网络,得到所述第一人物对应的第一输出结果,根据所述第一人物对应的第一输出结果,得到所述第一人物信息在所述第一人物图像中的显示位置。
19.根据权利要求17所述的直播间内的人物信息显示方法,其特征在于,所述第二输出结果还包括所述第一人物对应的帽子区域中是否显示有文字/图案以及所述文字/图案在所述第一人物对应的帽子区域中的面积占比;
若所述第一人物对应的帽子区域中未显示有文字/图案,所述第一人物对应的第一人物信息在所述视频画面中的显示颜色为根据所述第一人物的帽子颜色确定的;
若所述第一人物对应的帽子区域中显示有文字/图案且所述文字/图案在所述第一人物对应的帽子区域中的面积占比未超过预设的第四比例,所述第一人物对应的第一人物信息在所述视频画面中的显示颜色为根据所述第一人物的帽子颜色确定的;
若所述第一人物对应的帽子区域中显示有文字/图案且所述文字/图案在所述第一人物对应的帽子区域中的面积占比超过所述预设的第四比例,所述方法还包括步骤:所述直播间内的客户端根据所述第一人物对应的帽子区域和所述第一人物对应的第一人物图像,得到所述第一人物对应的帽子图像,将所述第一人物对应的帽子图像输入至预训练好的帽子生成网络,得到所述第一人物对应的目标帽子图像,将所述第一人物对应的目标帽子图像显示在所述第一人物对应的帽子区域上;其中,所述目标帽子图像已去除所述文字/图案,所述第一人物对应的第一人物信息在所述视频画面中的显示颜色为根据所述第一人物的帽子颜色确定的。
20.根据权利要求1至6任意一项所述的直播间内的人物信息显示方法,其特征在于,所述直播间内的客户端响应于所述人物信息显示指令之前,包括步骤:
若所述直播间标识为目标直播间标识,所述服务器根据所述第一人物对应的第一人脸图像,得到所述第一人物对应的第三人物信息;其中,所述第三人物信息包括所述第一人物对应的人物关注数量,所述第一人物对应的对战获胜概率以及所述第一人物对应的已收获虚拟礼物价值;
所述直播间内的客户端响应于所述人物信息显示指令之后,包括步骤:
所述直播间内的客户端将所述第三人物信息添加至所述目标视频画面中,得到已添加所述第三人物信息的所述目标视频画面,将已添加所述第三人物信息的所述目标视频画面输出至所述直播间界面中。
21.根据权利要求20所述的直播间内的人物信息显示方法,其特征在于,所述直播间内的客户端将所述第三人物信息添加至所述目标视频画面中,包括步骤:
所述直播间内的客户端获取各个所述第三人物信息对应的显示参数;其中,所述显示参数包括显示顺序、显示时长以及显示次数;各个所述第三人物信息对应的显示参数为根据各个所述第三人物信息对应的用户查看信息确定的;
所述直播间内的客户端根据各个所述第三人物信息对应的显示参数,轮流添加所述第三人物信息至所述目标视频画面中。
22.一种直播间内的人物信息显示系统,其特征在于,包括:服务器和客户端;
所述服务器用于响应于人物识别指令,获取直播间标识和所述直播间标识对应的视频流数据;其中,所述视频流数据中包括若干帧视频画面;
所述服务器用于在若干帧所述视频画面中进行人脸定位,得到第一人物对应的第一人脸图像;根据所述第一人物对应的第一人脸图像,得到所述第一人物对应的第一人物信息;生成并发送人物信息显示指令至直播间内的客户端;其中,所述第一人物包括新增在所述视频画面中的至少一个人物,所述直播间为所述直播间标识对应的直播间;
所述直播间内的客户端用于响应于所述人物信息显示指令,获取所述直播间标识对应的目标视频流数据,将所述目标视频流数据输出至所述直播间标识对应的直播间界面中;其中,所述目标视频流数据包括若干帧目标视频画面,所述目标视频画面为获取所述第一人物对应的第一人物信息显示位置,将所述第一人物对应的第一人物信息添加至所述视频画面中的所述第一人物对应的第一人物信息显示位置处得到的。
23.一种直播间内的人物信息显示装置,其特征在于,包括:
第一获取单元,用于服务器响应于人物识别指令,获取直播间标识和所述直播间标识对应的视频流数据;其中,所述视频流数据中包括若干帧视频画面;
第二获取单元,用于所述服务器在若干帧所述视频画面中进行人脸定位,得到第一人物对应的第一人脸图像;根据所述第一人物对应的第一人脸图像,得到所述第一人物对应的第一人物信息;生成并发送人物信息显示指令至直播间内的客户端;其中,所述第一人物包括新增在所述视频画面中的至少一个人物,所述直播间为所述直播间标识对应的直播间;
第一显示单元,用于所述直播间内的客户端响应于所述人物信息显示指令,获取所述直播间标识对应的目标视频流数据,将所述目标视频流数据输出至所述直播间标识对应的直播间界面中;其中,所述目标视频流数据包括若干帧目标视频画面,所述目标视频画面为获取所述第一人物对应的第一人物信息显示位置,将所述第一人物对应的第一人物信息添加至所述视频画面中的所述第一人物对应的第一人物信息显示位置处得到的。
24.一种计算机设备,包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至21任意一项所述方法的步骤。
25.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至21任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210211951.8A CN114640863A (zh) | 2022-03-04 | 2022-03-04 | 直播间内的人物信息显示方法、系统、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210211951.8A CN114640863A (zh) | 2022-03-04 | 2022-03-04 | 直播间内的人物信息显示方法、系统、装置及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114640863A true CN114640863A (zh) | 2022-06-17 |
Family
ID=81947830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210211951.8A Pending CN114640863A (zh) | 2022-03-04 | 2022-03-04 | 直播间内的人物信息显示方法、系统、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114640863A (zh) |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090324022A1 (en) * | 2008-06-25 | 2009-12-31 | Sony Ericsson Mobile Communications Ab | Method and Apparatus for Tagging Images and Providing Notifications When Images are Tagged |
US20120059953A1 (en) * | 2010-09-03 | 2012-03-08 | Rovi Technologies Corporation | Systems and methods for displaying personalized media content |
CN105069005A (zh) * | 2015-06-24 | 2015-11-18 | 青岛海尔智能家电科技有限公司 | 一种数据搜索方法和装置 |
US20160057488A1 (en) * | 2013-10-09 | 2016-02-25 | Disney Enterprises, Inc. | Method and System for Providing and Displaying Optional Overlays |
CN107027070A (zh) * | 2016-02-02 | 2017-08-08 | 中国电信股份有限公司 | 在视频中植入信息的方法、终端以及系统 |
CN107105340A (zh) * | 2017-03-21 | 2017-08-29 | 百度在线网络技术(北京)有限公司 | 基于人工智能的视频中显示人物信息方法、装置和系统 |
CN108401176A (zh) * | 2018-02-06 | 2018-08-14 | 北京奇虎科技有限公司 | 一种实现视频人物标注的方法和装置 |
CN108629224A (zh) * | 2017-03-15 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 信息呈现方法和装置 |
CN108713322A (zh) * | 2016-04-01 | 2018-10-26 | 英特尔公司 | 具有可选标记覆盖辅助图片的视频 |
CN110446104A (zh) * | 2019-08-30 | 2019-11-12 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置及存储介质 |
CN111210375A (zh) * | 2019-11-27 | 2020-05-29 | 重庆特斯联智慧科技股份有限公司 | 一种多功能便携式智慧安防一体机 |
CN111818378A (zh) * | 2020-07-14 | 2020-10-23 | 海信视像科技股份有限公司 | 显示设备及人物识别展示的方法 |
CN111901633A (zh) * | 2020-07-30 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 视频的播放处理方法、装置、电子设备及存储介质 |
CN112307823A (zh) * | 2019-07-30 | 2021-02-02 | 腾讯科技(深圳)有限公司 | 用于对视频中的对象进行标注的方法和设备 |
CN113490064A (zh) * | 2020-09-11 | 2021-10-08 | 青岛海信电子产业控股股份有限公司 | 一种视频播放方法和设备及服务器 |
CN113537207A (zh) * | 2020-12-22 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 视频处理方法、模型的训练方法、装置以及电子设备 |
TR2021016527A2 (tr) * | 2021-10-22 | 2021-11-22 | Siskon Enduestriyel Otomasyon Sistemleri Sanayi Ve Ticaret Anonim Sirketi | Ekrandaki̇ ki̇şi̇leri̇n ki̇mli̇ği̇ni̇ tespi̇t etmek i̇çi̇n bi̇r yüz tanima si̇stemi̇ |
CN113766297A (zh) * | 2021-05-27 | 2021-12-07 | 腾讯科技(深圳)有限公司 | 视频处理方法、播放终端及计算机可读存储介质 |
-
2022
- 2022-03-04 CN CN202210211951.8A patent/CN114640863A/zh active Pending
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090324022A1 (en) * | 2008-06-25 | 2009-12-31 | Sony Ericsson Mobile Communications Ab | Method and Apparatus for Tagging Images and Providing Notifications When Images are Tagged |
US20120059953A1 (en) * | 2010-09-03 | 2012-03-08 | Rovi Technologies Corporation | Systems and methods for displaying personalized media content |
US20160057488A1 (en) * | 2013-10-09 | 2016-02-25 | Disney Enterprises, Inc. | Method and System for Providing and Displaying Optional Overlays |
CN105069005A (zh) * | 2015-06-24 | 2015-11-18 | 青岛海尔智能家电科技有限公司 | 一种数据搜索方法和装置 |
CN107027070A (zh) * | 2016-02-02 | 2017-08-08 | 中国电信股份有限公司 | 在视频中植入信息的方法、终端以及系统 |
CN108713322A (zh) * | 2016-04-01 | 2018-10-26 | 英特尔公司 | 具有可选标记覆盖辅助图片的视频 |
CN108629224A (zh) * | 2017-03-15 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 信息呈现方法和装置 |
CN107105340A (zh) * | 2017-03-21 | 2017-08-29 | 百度在线网络技术(北京)有限公司 | 基于人工智能的视频中显示人物信息方法、装置和系统 |
CN108401176A (zh) * | 2018-02-06 | 2018-08-14 | 北京奇虎科技有限公司 | 一种实现视频人物标注的方法和装置 |
CN112307823A (zh) * | 2019-07-30 | 2021-02-02 | 腾讯科技(深圳)有限公司 | 用于对视频中的对象进行标注的方法和设备 |
CN110446104A (zh) * | 2019-08-30 | 2019-11-12 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置及存储介质 |
CN111210375A (zh) * | 2019-11-27 | 2020-05-29 | 重庆特斯联智慧科技股份有限公司 | 一种多功能便携式智慧安防一体机 |
CN111818378A (zh) * | 2020-07-14 | 2020-10-23 | 海信视像科技股份有限公司 | 显示设备及人物识别展示的方法 |
CN111901633A (zh) * | 2020-07-30 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 视频的播放处理方法、装置、电子设备及存储介质 |
CN113490064A (zh) * | 2020-09-11 | 2021-10-08 | 青岛海信电子产业控股股份有限公司 | 一种视频播放方法和设备及服务器 |
CN113537207A (zh) * | 2020-12-22 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 视频处理方法、模型的训练方法、装置以及电子设备 |
CN113766297A (zh) * | 2021-05-27 | 2021-12-07 | 腾讯科技(深圳)有限公司 | 视频处理方法、播放终端及计算机可读存储介质 |
TR2021016527A2 (tr) * | 2021-10-22 | 2021-11-22 | Siskon Enduestriyel Otomasyon Sistemleri Sanayi Ve Ticaret Anonim Sirketi | Ekrandaki̇ ki̇şi̇leri̇n ki̇mli̇ği̇ni̇ tespi̇t etmek i̇çi̇n bi̇r yüz tanima si̇stemi̇ |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210344991A1 (en) | Systems, methods, apparatus for the integration of mobile applications and an interactive content layer on a display | |
US20210019982A1 (en) | Systems and methods for gesture recognition and interactive video assisted gambling | |
US10499118B2 (en) | Virtual and augmented reality system and headset display | |
WO2019191082A2 (en) | Systems, methods, apparatus and machine learning for the combination and display of heterogeneous sources | |
CN108322474B (zh) | 基于共享桌面的虚拟现实系统、相关装置及方法 | |
CN113453030B (zh) | 直播中的音频交互方法、装置、计算机设备及存储介质 | |
CN113840154A (zh) | 基于虚拟礼物的直播互动方法、系统及计算机设备 | |
CN113965813A (zh) | 直播间内的视频播放方法、系统及计算机设备 | |
CN114666671B (zh) | 直播点赞互动方法、装置、设备及存储介质 | |
CN113938696B (zh) | 基于自定义虚拟礼物的直播互动方法、系统及计算机设备 | |
CN113824976A (zh) | 直播间内的进场秀显示方法、装置及计算机设备 | |
US10721281B2 (en) | Method, system and non-transitory computer-readable recording medium for providing a multilateral communication service | |
CN113938697A (zh) | 直播间内的虚拟发言方法、装置及计算机设备 | |
CN113891162B (zh) | 直播间加载方法、装置、计算机设备及存储介质 | |
CN114095772B (zh) | 连麦直播下的虚拟对象展示方法、系统及计算机设备 | |
CN115065838A (zh) | 直播间封面交互方法、系统、装置及电子设备 | |
CN114640863A (zh) | 直播间内的人物信息显示方法、系统、装置及计算机设备 | |
CN115002554A (zh) | 直播画面调整方法、系统、装置及计算机设备 | |
CN115134621A (zh) | 基于主副画面显示的直播对战互动方法、装置及电子设备 | |
CN114222151A (zh) | 开播交互动画的显示方法、装置及计算机设备 | |
CN114827645B (zh) | 基于蒙面互动的直播间进场方法、装置及计算机设备 | |
CN114513679B (zh) | 基于音频预播放的直播间推荐方法、系统及计算机设备 | |
CN114827642B (zh) | 直播间进场方法、装置、计算机设备及可读存储介质 | |
CN113596500B (zh) | 直播用户配对互动方法、装置、计算机设备及存储介质 | |
CN114268809B (zh) | 直播间内的公屏控制方法、装置、计算机设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |