CN106791906B - 一种多人网络直播方法、装置及其电子设备 - Google Patents
一种多人网络直播方法、装置及其电子设备 Download PDFInfo
- Publication number
- CN106791906B CN106791906B CN201611267831.0A CN201611267831A CN106791906B CN 106791906 B CN106791906 B CN 106791906B CN 201611267831 A CN201611267831 A CN 201611267831A CN 106791906 B CN106791906 B CN 106791906B
- Authority
- CN
- China
- Prior art keywords
- anchor
- user
- live broadcast
- information
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 131
- 230000005236 sound signal Effects 0.000 claims abstract description 134
- 238000013507 mapping Methods 0.000 claims description 98
- 210000003128 head Anatomy 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 19
- 210000005252 bulbus oculi Anatomy 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 210000001508 eye Anatomy 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 30
- 230000009466 transformation Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000013519 translation Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施方式公开了一种多人网络直播方法、装置及其电子设备,其中,一种多人网络直播方法包括:利用全景摄像设备环360度采集多个主播的图像信号,并利用音频采集设备同步采集每个主播的音频信号;根据所述环360度采集的多个主播的图像信号,获取包含有多个主播的全景视频图像信号;将包含有所述多个主播的全景视频图像信号和每个主播的音频信号发送给服务器,以使所述服务器将所述全景视频图像信号和每个所述主播的音频信号发送给直播客户端。本发明实施例通过将全景视频图像信号以及音频信号发送给直播客户端,为直播客户端在直播过程中切换主播提供了便利。
Description
技术领域
本发明实施方式涉及直播技术领域,特别是涉及一种多人网络直播方法、装置及其电子设备。
背景技术
随着网络直播视频节目这种新的视频形式的兴起,以及移动端直播的流行,人们开始越来越关注移动端网络直播视频。
当前的网络互联网直播方式,可以由一个主播进行直播,用户观看直播,用户和主播之间可通过语音、视频、文字和图片进行交流和互动。也可以由多个主播同时进行主播,目前的多人同时直播时采用的方式通常是轮麦或切换房间。轮麦即给每个主播轮流分配一段连麦时间,每一个时刻直播间内只能听到一个主播说话的声音。切换房间即每个主播在一个房间中,想看某一个主播就需要进入某个房间观看。
发明人在实现本发明实施例的过程中发现:在多个主播同时播放过程中,不同主播位于不同的房间,直播过程中不方便切换不同的主播。
发明内容
本发明实施方式提供一种多人网络直播方法、装置及其电子设备,以实现在多个主播同时播放过程中方便切换主播。
为解决上述技术问题,本发明实施方式采用的一个技术方案是提供:
一种多人网络直播方法,所述方法应用于直播采集端,所述直播采集端中包含有全景摄像设备和音频采集设备,多个主播分布在以所述全景摄像设备为圆心的圆周上,所述主播与所述音频采集设备相对应,所述方法包括:
利用所述全景摄像设备环360度采集所述多个主播的图像信号,并利用所述音频采集设备同步采集每个所述主播的音频信号;
根据所述环360度采集的所述多个主播的图像信号,获取包含有所述多个主播的全景视频图像信号;
将所述包含有所述多个主播的全景视频图像信号和每个所述主播的音频信号发送给服务器,以使所述服务器将所述全景视频图像信号和每个所述主播的音频信号发送给直播客户端。
可选地,所述多个主播均匀分布在以所述全景摄像设备为圆心的圆周上。
可选地,所述主播与所述音频采集设备一一对应。
可选地,所述方法还包括:
接收所述服务器发送的用户反馈信息,所述用户反馈信息与所述主播相对应;
将所述用户反馈信息提供给所述用户反馈信息对应的主播。
为解决上述技术问题,本发明实施方式采用的一个技术方案是提供:
一种多人网络直播方法,所述方法应用于服务器,所述方法包括:
接收直播采集端发送的全景视频图像信号和音频信号,其中,所述全景视频图像中包含有多个主播,所述多个主播位于所述全景视频图像中的不同预定区域,所述音频信号与所述主播相对应;
将所述全景视频图像信号和音频信号发送给直播客户端,以使所述直播客户端根据所述全景视频图像信号和音频信号进行直播播放。
可选地,所述方法还包括:
接收直播客户端发送的用户反馈信息,所述用户反馈信息与所述主播相对应;
将所述用户反馈信息发送所述直播采集端,以使所述直播采集端将所述用户反馈信息提供给对应的主播。
可选地,所述方法还包括:
获取用于指示直播开始的直播开启指示;
所述接收直播采集端发送的全景视频图像信号和音频信号包括:
在获取到所述直播开启指示时,接收直播采集端发送的全景视频图像信号和音频信号。
可选地,所述方法还包括:
获取直播配置信息,所述直播配置信息包括主播信息和视频地址信息,所述主播信息包括主播标识信息;
将所述主播信息发送给所述直播客户端;
所述接收直播采集端发送的全景视频图像信号和音频信号包括:
根据所述视频地址信息,接收直播采集端发送的全景视频图像信号和音频信号。
可选地,所述主播信息还包括以下信息中的至少一种:
每个所述主播与所述全景视频图像的区域对应关系、每个所述主播对应的主播说明信息,每个所述主播的颜色标识信息。
可选地,所述方法还包括:
获取主播切换指示,根据所述主播切换指示,向直播客户端发送主播切换指令。
为解决上述技术问题,本发明实施方式采用的一个技术方案是提供:
一种多人网络直播方法,所述方法应用于直播客户端,所述方法包括:
接收全景视频图像信号和音频信号,其中,所述全景视频图像中包含有多个主播,所述多个主播位于所述全景视频图像中的不同预定区域,所述音频信号与所述主播相对应;
对所述全景视频图像信号进行全景映射处理,获取全景映射图像;
确定用户的观看视角,根据所述用户的观看视角确定所述用户观看视角对应的全景映射图像区域;
根据所述全景影像图像区域,获取所述全景映射图像区域对应的主播对应的音频信号;
播放所述全景映射图像区域的图像和所述全景映射图像区域对应的主播对应的音频信号。
可选地,所述确定用户的观看视角,包括:
跟踪用户的眼球或头部姿态;根据所述眼球或头部转动的姿态信息,确定用户的观看视角;和/或
接收用户对直播客户端的触摸操作;根据所述触摸操作的移动方向与位移,确定用户的观看视角;和/或
获取直播客户端的空间姿态;根据所述空间姿态,确定用户的观看视角。
可选地,所述方法还包括:
接收服务器发送的主播信息;
根据所述服务器发送的主播信息,进行直播辅助显示。
可选地,所述主播信息包括每个所述主播与所述全景视频图像的区域对应关系;
在确定所述对应的全景映射图像区域后,所述方法还包括:
根据所述全景影像图像区域和所述区域对应关系,确定所述全景映射图像区域对应的主播。
可选地,所述主播信息还包括每个所述主播对应的主播说明信息;
所述方法还包括:
对所述播放的全景映射图像区域的图像进行人脸识别,确定播放界面中的人脸位置;
根据所述确定的人脸位置,确定所述播放界面中与所述人脸位置对应的说明信息位置;
在所述说明信息位置显示所述主播说明信息。
可选地,所述主播信息还包括每个所述主播对应的颜色标识信息;
所述进行直播辅助显示包括:
显示直播辅助信息,根据所述颜色标识信息,在所述直播辅助信息上添加该辅助信息对应的主播的颜色背景。
可选地,所述方法还包括:
接收服务器发送的切换指令,
根据所述切换指令,切换全景映射图像区域的图像,从而切换当前显示的主播。
可选地,所述方法还包括:
接收用户反馈信息,并发送所述用户反馈信息给服务器,所述用户反馈信息与所述主播相对应。
为解决上述技术问题,本发明实施方式采用的一个技术方案是提供:
一种多人网络直播装置,应用于直播采集端,所述直播采集端中包含有全景摄像设备和音频采集设备,多个主播分布在以所述全景摄像设备为圆心的圆周上,所述主播与所述音频采集设备相对应,所述装置包括:
获取单元,用于根据所述全景摄像设备环360度采集的所述多个主播的图像信号,获取包含有所述多个主播的全景视频图像信号;
发送单元,用于将所述包含有所述多个主播的全景视频图像信号和由所述音频设备采集的与所述多个主播的图像信号同步的每个所述主播的音频信号发送给服务器,以使所述服务器将所述全景视频图像信号和每个所述主播的音频信号发送给直播客户端。
可选地,所述装置还包括:
接收单元,用于接收所述服务器发送的用户反馈信息,所述用户反馈信息与所述主播相对应;
呈现单元,用于将所述用户反馈信息提供给所述用户反馈信息对应的主播。
为解决上述技术问题,本发明实施方式采用的一个技术方案是提供:
一种多人网络直播装置,应用于服务器,所述装置包括:
接收单元,用于接收直播采集端发送的全景视频图像信号和音频信号,其中,所述全景视频图像中包含有多个主播,所述多个主播位于所述全景视频图像中的不同预定区域,所述音频信号与所述主播相对应;
发送单元,用于将所述全景视频图像信号和音频信号发送给直播客户端,以使所述直播客户端根据所述全景视频图像信号和音频信号进行直播播放。
可选地,所述接收单元还用于:接收直播客户端发送的用户反馈信息,所述用户反馈信息与所述主播相对应;
所述发送单元还用于:将所述用户反馈信息发送所述直播采集端,以使所述直播采集端将所述用户反馈信息提供给对应的主播。
可选地,所述装置还包括:
获取单元,用于获取直播开启指示、直播配置信息和/或主播切换指示。
为解决上述技术问题,本发明实施方式采用的一个技术方案是提供:
一种多人网络直播装置,应用于直播客户端,所述装置包括:
接收单元,用于接收全景视频图像信号和音频信号,其中,所述全景视频图像中包含有多个主播,所述多个主播位于所述全景视频图像中的不同预定区域,所述音频信号与所述主播相对应;
映射单元,用于对所述全景视频图像信号进行全景映射处理,获取全景映射图像;
确定单元,用于确定用户的观看视角,根据所述用户的观看视角确定所述用户观看视角对应的全景映射图像区域;
获取单元,用于获取所述全景映射图像区域对应的主播对应的音频信号;
播放单元,用于播放所述全景映射图像区域的图像和所述全景映射图像区域对应的主播对应的音频信号。
可选地,所述确定单元具体用于:
跟踪用户的眼球或头部姿态,根据所述眼球或头部转动的姿态信息,确定用户的观看视角;和/或接收用户对直播客户端的触摸操作,根据所述触摸操作的移动方向与位移,确定用户的观看视角;和/或
获取直播客户端的空间姿态,根据所述空间姿态,确定用户的观看视角。
可选地,所述装置还包括:
主播信息显示单元,用于接收服务器发送的主播信息,并根据所述服务器发送的主播信息,进行直播辅助显示。
可选地,所述主播信息包括每个所述主播与所述全景视频图像的区域对应关系;
所述确定单元还用于:根据所述全景影像图像区域和所述区域对应关系,确定所述全景映射图像区域对应的主播。
可选地,所述主播信息还包括每个所述主播对应的主播说明信息,
所述装置还包括:
人脸识别单元,用于对所述播放的全景映射图像区域的图像进行人脸识别,确定播放界面中的人脸位置;
主播信息显示单元具体用于:根据所述确定的人脸位置,确定所述播放界面中与所述人脸位置对应的说明信息位置,并在所述说明信息位置显示所述主播说明信息。
可选地,所述主播信息还包括每个所述主播对应的颜色标识信息;
所述主播信息显示单元具体用于:显示直播辅助信息,并根据所述颜色标识信息,在所述直播辅助信息上添加该辅助信息对应的主播的颜色背景。
可选地,所述装置还包括:
切换单元,用于接收服务器发送的切换指令,并根据所述切换指令,切换全景映射图像区域的图像,从而切换当前显示的主播。
可选地,所述装置还包括:
发送单元,用于接收用户反馈信息,并发送所述用户反馈信息给服务器,所述用户反馈信息与所述主播相对应。
为解决上述技术问题,本发明实施方式采用的一个技术方案是提供:
一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够上述任一项所述的方法。
为解决上述技术问题,本发明实施方式采用的一个技术方案是提供:
一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机指令用于使所述计算机执行上述任一项所述的方法。
本发明实施方式的有益效果是:区别于现有技术,本发明实施例通过将全景视频图像信号以及音频信号发送给直播客户端,为直播客户端在直播过程中切换主播提供了便利。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本发明实施例的多人网络直播采集端示意图;
图2是本发明实施例多人网络直播方法流程示意图;
图3是本发明另一实施例多人网络直播方法流程示意图;
图4是本发明又一实施例多人网络直播方法流程示意图;
图5是本发明实施例的具体应用场景及流程示意图;
图6是本发明实施例多人网络直播装置示意图;
图7是本发明另一实施例多人网络直播装置示意图;
图8是本发明又一实施例多人网络直播装置示意图;
图9是本发明实施例一种多人网络直播的电子设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
图1为本发明实施例的多人网络直播采集端示意图,本发明实施例突破传统的录像设备架设方案,采用中心环形设备架设形式,即将全景摄像机置于圆形的圆心处,主播在圆环上分布,优选为均匀分布,同时进行多人网络直播的主播人数不限,一般可以为2-6人,两个人同时进行多人网络直播时主播之间夹角为180度,以此类推,三个人同时进行多人网络直播时主播之间夹角为120度,四人同时进行多人网络直播时主播之间夹角为90度,五人同时进行多人网络直播时,主播之间夹角为72度,六人同时进行多人网络直播时主播之间夹角为60度。如图1所示,为四人同时进行多人网络直播的直播采集端示意图,其中,多个主播分布在以所述全景摄像设备为圆心的圆周上,所述主播与所述音频采集设备相对应,每个主播面前有显示设备,显示直播信息和观众的评论信息,便于主播与用户进行互动;每个主播有一路单独的音频设备,形成一路单独的音频,目的是用于使用户端可以根据用户的观看视角切换相应音频。
在本发明实施例中,多人网络直播方法在直播客户端与服务器之间进行,分别由直播采集端、服务器及直播客户端执行,其中,服务器可以包括任何合适类型、具有用户交互装置和运算能力的处理器的设备,例如,台式计算机,服务器可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。直播客户端可以是手机、平板电脑、膝上型便携计算机及台式计算机等。直播客户端能够加载和显示网页页面的应用程序,比如网络直播类应用、语音类应用、视频类应用等,直播客户端均可以通过无线网络或者有线网络与直播服务器相连。
需要说明的是,如果不冲突,本发明实施例中的各个特征可以相互结合,均在本发明的保护范围之内。另外,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。
下面结合附图,对本发明实施例作进一步阐述。
图2为本发明实施例多人网络直播方法流程示意图,应用于上述图1所述的多人网络直播采集端,所述直播采集端中包含有全景摄像设备和音频采集设备,多个主播分布在以所述全景摄像设备为圆心的圆周上,所述主播与所述音频采集设备相对应,即每个主播都有其对应的音频采集设备,优选为一一对应。请参阅图2,该方法包括:
210、利用所述全景摄像设备环360度采集所述多个主播的图像信号,并利用所述音频采集设备同步采集每个所述主播的音频信号。
在本发明实施例中,可以利用全景摄像设备采集位于以全景摄像设备为圆心的圆周上的各个主播图像,其中,全景摄像设备可以360度旋转,采集位于圆周上各个主播的视频图像,其中,各个主播在圆周上均匀分布,各个主播的声音可以通过各个主播对应的音频设备采集,其中,一个主播对应一个音频设备,优选为一一对应,各个主播的声音单独采集,不做合成处理,为保证主播的图像与声音对应,在采集图像信号时同步采集音频信号。
220、根据所述环360度采集的所述多个主播的图像信号,获取包含有所述多个主播的全景视频图像信号。
在本发明实施例中,由于全景摄像设备环360度采集有多个主播的图像信号,可以利用采集的各个主播图像信号,进行全景拼接,得到全景视频图像信号,其中,全景视频图像信号中包含所述全景摄像设备采集的多个主播的图像信号。
当然,全景摄像设备可以为具有全景拍摄功能的摄像设备,可以直接输出全景视频图像,而不需要额外的图像处理。
还需要强调的是,因为直播时主播的站位固定,所以各个主播在全景视频图像上的区域是固定的,即各个主播均位于全景视频图像上各自对应的区域上。这样,服务器端和直播客户端均能够获得全景视频图像上每个区域为哪个主播。
在本发明实施例中,由于各个主播图像是全景摄像设备在不同角度下拍摄得到的,各个主播图像并不在同一投影平面上,如果对重叠的图像直接进行无缝拼接,会破坏实际景物的视觉一致性。因此,在全景拼接之前,可以先对图像进行投影变换,再进行拼接。投影变换可以采用平面投影。平面投影就是以序列图像中的一幅图像的坐标系为基准,将其他图像都投影变换到这个基准坐标系中,使相邻图像的重叠区对齐,由此形成的全景拼接为平面投影拼接。
在本发明实施例中,当各个主播的图像投影至同一投影平面后,在进行全景拼接过程中,可以对在各个主播的多幅图像根据平移模型或相似性模型进行配准,其中,图像的平移模型是指图像仅在两维空间发生了方向和方向的位移,如果摄像机仅仅发生了平移运动,则可以采用平移模型。图像的相似性模型是指摄像机本身除了平移运动外还可能发生旋转运动,同时,在存在场景的缩放时,还可以利用缩放因子多缩放运动进行描述,因此,当图像可能发生平移、旋转、缩放运动时,可以采用相似性模型。在对各个主播图像进行配准之后,可以采用图像融合技术将多个主播图像融合为全景图像。
230、将所述包含有所述多个主播的全景视频图像信号和每个所述主播的音频信号发送给服务器,以使所述服务器将所述全景视频图像信号和每个所述主播的音频信号发送给直播客户端。
在本发明实施例中,根据全景摄像设备环360度采集的各个主播的图像信号,通过全景拼接等处理得到的包含各个主播的全景视频图像信号,可以通过全景摄像设备发给服务器,同时,全景视频图像信号中各个主播对应的音频信号也发给服务器,以便于服务器可以将所述全景视频图像信号和每个所述主播的音频信号发送给直播客户端。
本发明实施例中,通过由直播采集端采集的各个主播的图像信号,得到全景视频图像信号,并将全景视频图像信号及各个主播的音频信号,发送至服务器,以使所述服务器将所述全景视频图像信号和每个所述主播的音频信号发送给直播客户端,为客户端在直播过程中切换主播提供了便利。
在本发明实施例,所述方法还包括:
接收所述服务器发送的用户反馈信息,所述用户反馈信息与所述主播相对应;
将所述用户反馈信息提供给所述用户反馈信息对应的主播。
在本发明实施例中,客户端在直播过程中,用户可以与主播之间进行互动,比如,送礼物或发表评论等,具体地,用户可以通过客户端发送用户反馈信息,用户反馈信息与主播相对应,比如,用户反馈信息可以包括发送给主播的礼物,客户端将接收到的用户反馈信息发送给服务器,并由服务器将所述用户反馈信息发送给直播采集端,直接采集端中还包括有与各个主播对应的显示设备,并可以通过各主播对应的显示设备将所述用户反馈信息提供给相应的主播。
图3为本发明另一实施例多人网络直播方法流程示意图,所述方法应用于服务器,请参阅图3,该方法包括:
310、接收直播采集端发送的全景视频图像信号和音频信号,其中,所述全景视频图像中包含有多个主播,所述多个主播位于所述全景视频图像中的不同预定区域,所述音频信号与所述主播相对应。
在本发明实施例中,可以通过服务器接收由直播采集端发送的全景视频图像信号和音频信号,其中,所述全景视频图像中包含有多个主播,所述多个主播位于所述全景视频图像中的不同预定区域,所述全景视频图像可以由全景摄像设备采集的各个主播的图像进行全景拼接而得到,所述音频信号可以由各个主播对应的音频设备采集并发送至服务器,其中,各个主播的图像信号与其音频信号同步采集,即由全景设备采集主播图像信号时,可以同步由音频设备采集主播的音频信号。
当然,全景摄像设备可以为具有全景拍摄功能的摄像设备,可以直接输出全景视频图像,而不需要额外的图像处理。
需要说明的是,在本发明实施例中,因为直播时主播的站位固定,所以各个主播在全景视频图像上的区域是固定的,即各个主播均位于全景视频图像上各自对应的区域上。这样,服务器端和直播客户端均能够获得全景视频图像上每个区域为哪个主播。
320、将所述全景视频图像信号和音频信号发送给直播客户端,以使所述直播客户端根据所述全景视频图像信号和音频信号进行直播播放。
在本发明实施例中,服务器可以直接将接收到全景视频图像信号和音频信号发送给直播客户端,其中,全景视频图像信号和音频信号可以分别发送。直接客户端可以根据所述全景视频图像信号和音频信号进行直播播放。
在本发明实施例中,服务器也可以根据所述各个主播音频信号及全景视频图像信号得到各个主播的视频流。服务器得到各个主播的视频流后,可以向客户端发送,其中,发送的视频流可以是任意一个主播的视频流,也可以是根据客户端的直播请求,发送与直播请求对应主播的视频流发送至客户端。
在本发明实施例中,所述方法还包括:
获取用于指示直播开始的直播开启指示;
所述接收直播采集端发送的全景视频图像信号和音频信号包括:
在获取到所述直播开启指示时,接收直播采集端发送的全景视频图像信号和音频信号。
其中,直播开启指示可以是工作人员直接输入的,也可以设置一个主持人后台,主持人后台与服务器通信连接,工作人员可以通过主持人后台对直播进行控制,例如,开启直播,向服务器发送直播开启指示。
在本发明实施例中,所述方法还包括:
获取直播配置信息,所述直播配置信息包括主播信息和视频地址信息,所述主播信息包括主播标识信息;
将所述主播信息发送给所述直播客户端;
所述接收直播采集端发送的全景视频图像信号和音频信号包括:
根据所述视频地址信息,接收直播采集端发送的全景视频图像信号和音频信号。
同上所述,在本发明实施例中,直播配置信息也可以由直播相关工作人员通过主持人后台发送给服务器。
在本发明实施例中,服务器接收的主播音频信号及主播图像信号,可以带有主播标识信息,即主播的身份标识,主播的身份标识可以由多人网络直播中的主持人后台进行分配,即明确哪些主播进行直播,同时,对于全景摄像设备采集的各个主播的图像信号,可以由主持人后台分配视频地址,以便服务器可以从所述视频流地址中获取全景视频图像信号和音频信号。
在本发明实施例中,所述主播信息还包括以下信息中的至少一种:
每个所述主播与所述全景视频图像的区域对应关系、每个所述主播对应的主播说明信息,每个所述主播的颜色标识信息。
主播与所述全景视频图像的区域对应关系用于告知各个主播都位于全景视频图像的哪个区域;主播说明信息用于显示给观看直播的用户各个主播的相关信息,颜色标识用于显示直播辅助信息。
在本发明实施例中,所述方法还包括:
接收直播客户端发送的用户反馈信息,所述用户反馈信息与所述主播相对应;
将所述用户反馈信息发送所述直播采集端,以使所述直播采集端将所述用户反馈信息提供给对应的主播。
在本发明实施例中,客户端在直播过程中,用户可以与主播之间进行互动,比如,送礼物或发表评论等,具体地,用户可以通过客户端发送用户反馈信息,用户反馈信息主播相对应,比如,用户反馈信息可以包括发送给主播的礼物,客户端将接收到的用户反馈信息发送给服务器,并由服务器将所述用户反馈信息发送给直播采集端,直接采集端中还包括有与各个主播对应的显示设备,并可以通过各主播对应的显示设备将所述用户反馈信息提供给相应的主播。
在本发明实施例中,为了识别不同的主播,可以由主持人后台为各个主播配置主播的颜色标识信息,即每个主播有对应的代表颜色,客户端在显示时,可利用所述代表颜色对所述各个主播分别进行渲染。
具体地,可以给每一个主播配置一个代表颜色,用代表颜色给主播的头像进行描边;当用户送礼物时,首先确定是送给哪个主播的,然后对礼物信息和效果做用该主播的代表颜色作为背景色进行处理;主播的代表颜色区别具体表现形式可以为用户的送礼物信息在公屏显示时会添加对应主播代表颜色的背景色,小礼物动画效果也添加主播代表颜色的背景色。房间大礼动画效果附带的文字标题信息可以添加对应主播代表颜色的背景色;全站大礼的动画效果所附带的标题信息也可添加对应主播代表颜色的背景色。送礼物信息,主播头像等均为直播辅助信息,均可以通过主播的颜色标识信息显示这些直播辅助信息。
在本发明实施例中,所述方法还包括:
获取主播切换指示,根据所述主播切换指示,向直播客户端发送主播切换指令。
在本发明实施例中,通过将接收的全景视频图像信号和每个所述主播的音频信号发送给直播客户端,为直播客户端在直播过程中切换主播提供了便利,同时,通过颜色区分不同的主播及反馈给主播的反馈信息,丰富了信息的表征方式。
图4为本发明又一实施例多人网络直播方法流程示意图,所述方法应用于直播客户端,请参阅图4,该方法包括:410、接收全景视频图像信号和音频信号,其中,所述全景视频图像中包含有多个主播,所述多个主播位于所述全景视频图像中的不同预定区域,所述音频信号与所述主播相对应;
在本发明实施例中,直播客户端可以从服务器接收全景视频图像信号和音频信号,其中,所述全景视频图像中包含有多个主播,所述多个主播位于所述全景视频图像中的不同预定区域,全景视频图像可以由直播采集端的全景摄像设备采集的各个主播的图像经过全景拼接而得到,音频信号可以由与主播对应的音频设备采集后通过服务器发送至直播客户端,所述音频信号与所述主播相对应,其中,每个主播的图像信号与音频信号保持同步。
当然,全景摄像设备可以为具有全景拍摄功能的摄像设备,可以直接输出全景视频图像,而不需要额外的图像处理。
需要说明的是,在本发明实施例中,因为直播时主播的站位固定,所以各个主播在全景视频图像上的区域是固定的,即各个主播均位于全景视频图像上各自对应的区域上。这样,服务器端和直播客户端均能够获得全景视频图像上每个区域为哪个主播。
420、对所述全景视频图像信号进行全景映射处理,获取全景映射图像;
在本发明实施例中,直播客户端对接收的全景视频图像信号进行全景映射处理,获取全景映射图像,其中,可以将全景视频图像信号映射至球面或圆柱面,用户可以位于球面或圆柱面的中心,从球面或圆柱面中心观看全景映射图像。
在本发明实施例中,可以将全景视频图像信号,比如,全景拼接得到的全景图像,映射至一个预定的球体,映射过程中,可以对全景图像中的各个像素点与球面上的各个位置进行映射,得到全景映射图像,该全景映射图像为包含各个主播图像的直播内容。
在本发明实施例中,在进行映射过程中,可以先进行映射坐标变换,比如,采用球面映射时,球面映射是模拟人眼观察的特性,将图像信息通过透视变换映射到眼球部分,构造成一个观察的球面。当各个主播的图像映射至同一球面时,需要进行配准及拼接融合。由于图像特征点较容易处理图像之间旋转、仿射、透视等变换关系,因而经常被使用,特征点包括图像的角点以及相对于其领域表现出某种奇异性的兴趣点。图像的拼接需要在图像序列中找到有效的特征匹配点。图像的特征点寻找直接影响图像拼接的精度和效率。对于图像序列,如果特征点个数≥4个,则很容易自动标定图像匹配点;如果特征点很少,图像拼接往往不能取得较为理想的效果。配准的目的是根据几何运动模型,将图像注册到同一个坐标系中;融合则可以将配准后的图像合成全景图像。在各个主播的多幅图像配准的过程中,可以采用仿射模型或透视模型。当图像可能发生平移、旋转、缩放运动时,可以采用相似性模型。图像的仿射模型是一个六参数的变换模型,即具有平行线变换成平行线,有限点映射到有限点的一般特性,具体表现可以是各个方向尺度变换系数一致的均匀尺度变换或变换系数不一致的非均与尺度变换及剪切变换等,可以描述平移运动、旋转运动以及小范围的缩放和变形。图像的透视模型是具有八个参数的变换模型,可以完美地表述各种表换,是一种最为精确变换模型。图像融合技术一般可分为非多分辨率技术和多分辨率技术两类。本领域普通技术人员可以在非多分辨率技术中选择平均值法、帽子函数法、加权平均法和中值滤波法等。也可以在多分辨率技术中选择高斯金字塔、拉普拉斯金字塔、对比度金字塔,梯度金字塔和小波等。
430、确定用户的观看视角,根据所述用户的观看视角确定所述用户观看视角对应的全景映射图像区域。
在本发明实施例中,确定用户的观看视角可以有多种实现方式,比如,对于佩带有虚拟现实设备(比如,VR眼镜)的用户,可以跟踪用户的眼球或头部姿态,比如,眼球或头部转动,并根据头部转动的姿态信息,比如,方向与角度,确定用户的观看视角;也可以通过对直播客户端进行触摸操作,并根据触摸操作的移动方向与位移,确定用户的观看视角;还可以通过获取直播客户端的空间姿态,根据所述空间姿态,确定用户的观看视角;比如,通过陀螺仪感应直播客户端的旋转角度,确定客户端的空间姿态,并根据空间姿态,确定用户的观看视角。
在本发明实施例中,确定用户的观看视角后,可以根据用户的观看视角确定其对应的全景映射图像区域,并根据主播与全景映射图像区域的对应关系确定全景映射图像区域对应的主播,其中,主播与全景映射图像区域的对应关系可通过服务器获知,区域可以根据主播的数量进行平均分配,比如,当两个主播同时进行多人网络直播时,则每个主播所对应的区域为以自己为中心左右90度;以此类推,当主播为人数为3人时,每个主播所划分到的区域为以自己为中心左右60度;当主播人数为4人时,每个主播对应的划分区域为以自己为中心左右45度;当主播人数为5人时,每个主播所对应的划分区域为以自己为中心左右36度;当主播为6人时,每个主播所对应的划分区域为以自己为中心左右30度。
在本发明实施例中,当用户需要切换观看的主播时,可以通过转动眼球或头部,并利用跟踪算法,获得眼球或头部转动的方向或角度,比如,用户正通过VR眼镜观看多人网络直播,此时,想要切换观看的主播,用户只需要转动头部,直播客户端可以通过跟踪算法,捕捉到用户的头部运动,比如,顺时针转动或逆时针转动,以及转动的角度。在本发明实施例中,由于主播与全景映射图像区域存在对应关系,比如,当有6个主播时,每个主播所对应的全景映射图像区域为主播中心左右30度,此时,如果用户转动的角度大于30度,则可以实现观看主播的切换。比如,顺时针旋转35度,则可以将当前观看的主播切换至位于当前主播顺时针上的下一个主播。在本发明实施中,也可以根据用户对直播客户端的操作,比如,在屏幕上的触摸操作直播客户端上显示的直播内容,通过移动显示内容的位置,实现主播的切换,比如,在屏幕上向左滑动,可以切换至当前主播逆时针方向上的主播,也可以旋转直播客户端,通过直播客户端的陀螺仪感应直播客户端的当前空间姿态,比如,是顺时针旋转还是逆时针旋转,并根据空间姿态进行主播的切换。
440、获取所述全景映射图像区域对应的主播对应的音频信号;
在本发明实施例中,由于每个主播对应有单独的音频信号,因此,当通过用户视角确定用户观看的全景映射图像区域时,即可以根据所述全景映射图像区域对应的主播来获取主播对应的音频信号,其中,不同全景映射图像区域对应不同的主播,不同的主播分别对应有不同的音频信号。
可以理解的是,音频信号可以和各个视角对应的全景映射区域对应,也可以和主播对应,即在确定区域后,可以获取该区域对应的音频信号,在确定区域后,也可进一步确定区域对应的主播,进一步获取主播对应的音频信号。
450、播放所述全景映射图像区域的图像和所述全景映射图像区域对应的主播对应的音频信号。
在本发明实施例中,直播客户端根据用户视角确定对应的全景映射图像区域,以及全景映射图像区域对应的主播后,可以播放所述全景映射图像区域的图像和所述全景映射图像区域对应的主播对应的音频信号,以便用户观看直播。
在本发明实施例中,通过确定用户的观看视角,根据所述用户的观看视角确定所述用户观看视角对应的全景映射图像区域及全景映射图像区域对应的主播,可以使用户通过观看视角的变化,方便地切换多人网络直播过程中的主播。
在本发明实施例中,所述方法还包括:
接收服务器发送的主播信息;
根据所述服务器发送的主播信息,进行直播辅助显示。其中直播辅助显示包括主播头像的显示,送礼物显示,通知显示等等。
其中,
主播信息包括每个所述主播与所述全景视频图像的区域对应关系;
在确定所述对应的全景映射图像区域后,所述方法还包括:
根据所述全景影像图像区域和所述区域对应关系,确定所述全景映射图像区域对应的主播。
主播信息还包括每个所述主播对应的主播说明信息;
所述方法还包括:
对所述播放的全景映射图像区域的图像进行人脸识别,确定播放界面中的人脸位置;
根据所述确定的人脸位置,确定所述播放界面中与所述人脸位置对应的说明信息位置;
在所述说明信息位置显示所述主播说明信息。
主播说明信息可以是主播的一些辅助介绍,例如身高、体重、爱好、出演过的影视节目等等,本发明对主播说明信息为何信息不做限定。
主播信息还包括每个所述主播对应的颜色标识信息;
所述进行直播辅助显示包括:
显示直播辅助信息,根据所述颜色标识信息,在所述直播辅助信息上添加该辅助信息对应的主播的颜色背景。
每个主播对应一种颜色,主播头像可以用这种颜色描边,直播辅助信息例如送礼物信息下可添加颜色背景,来标识该礼物为哪个主播的礼物。
在本发明实施例中,可以通过服务器自动切换主播,通过服务器自动切换主播时,所述方法还包括:接收服务器发送的切换指令,根据所述切换指令,切换全景映射图像区域,其中,服务器发送的切换指令,可以由主持人后台进行控制,通过主持人后台来决定当前由哪个主播进行直播,从而,可以由主持人后台决定各个主播的开播与结束。服务器根据主持人后台确定的主播,向直播客户端发送切换指令,其中,切换指令中包括切换前后的主播信息,客户端接收到切换指令后,根据切换指令中的主播信息切换全景映射图像区域的图像以及主播对应的音频信号。
可选的,在本发明实施例中,直播客户端还可以接收用户反馈信息,并向服务器发送用户反馈信息,用户反馈信息与主播对应,用户反馈信息可以包括发送给主播的礼物,也可以是用户进行的相关操作,比如,返回或清屏等。用户在通过直播客户端发送的用户反馈信息,可以通过转动头部进行操作,比如,在确定用户面对某个主播时,可以进一步跟踪用户头部运动确定用户希望执行的操作,比如,当用户面向某个主播时,向下低头45度的位置会出现“返回”、“礼物”和“清屏”按钮。当用户选中“礼物”按钮时弹出礼物栏,可进行送礼物操作,同时检测确定用户所面对的是哪个主播,用户送出的礼物直接送给该主播,送出的礼物中还可以包含有主播的代表颜色作为背景色。
在本发明实施例中,直播辅助显示可以为主播显示头像的描边,或者显示用户送给主播礼物的渲染信息,比如,显示礼物的背景颜色,或者主播的说明信息。
在本发明实施例中,显示主播的说明信息时,可以对所述播放的全景映射图像区域的图像进行人脸识别,确定播放界面中的人脸位置;根据所述确定的人脸位置,确定所述播放界面中与所述人脸位置对应的说明信息位置,比如,通过人脸识别出播放图像中的主播人脸位置,并在主播人脸右侧约15厘米处确定为主播信息显示位置,并在该位置显示主播的说明信息,比如,主播的基本信息(头像、昵称、魅力值)面板,面板有展开按钮,瞄点在按钮上停留完成加载动画后可将信息面板展开,显示更多主播相关信息,在用户头部离开该位置时,可相应地收起面板。
在本发明实施例中,在显示直播辅助信息时,比如,显示送给主播礼物的颜色,可以根据主播信息中主播对应的颜色标识信息,在所述送给主播的礼物上添加礼物对应的主播的颜色背景。
在本发明实施例中,在本发明实施例中,通过跟踪视角变化,实现主播切换,增加了用户在观看直播时的沉浸感和交互性,用户可以参与到直播的内容过程中,在观看时获得更大的参与感和趣味体验,而且,还可以通过转动头部或视角变化来给不同的主播赠送礼物,互动性更强。另外,通过颜色区分不同的主播及反馈给主播的反馈信息,丰富了信息的表征方式。
下面结合具体应用实例对上述各发明实施例进行举例,如图5所示,为本发明实施例的具体应用场景及流程示意图,请参阅图5,所述应用场景中分别包括直播采集端、服务器及直播客户端,其中,直播采集端包括全景摄像设备(VR摄像机)以及音频设备(收音设备),其中,收音设备分别与各个主播对应,VR摄像机用于拍摄各个主播的图像,各个主播位于以VR摄像机为圆心的圆周上,通过VR摄像机进行视频采集,通过收音设备采集音频,有几个主播就有几路音频,每一路音频单独采集,不做合成处理。直播采集端根据所述全景摄像设备环360度采集的所述多个主播的图像信号,获取包含有所述多个主播的全景视频图像信号,并将所述包含有所述多个主播的全景视频图像信号和由所述音频设备采集的与所述多个主播的图像信号同步的每个所述主播的音频信号发送给服务器,服务器将各个主播音频信号及全景视频图像信号发送给直播客户端,以及接收由直播客户端发送的用户反馈信息,并将用户反馈信息发送给主播,直播客户端接收全景视频图像信号和音频信号,并对全景视频图像信号进行全景映射处理,获取全景映射图像,同时,获取用户的头部转动或手动操作,确定用户的观看视角,并根据用户的观看视角确定用户观看视角对应的全景映射图像区域,并根据全景映射图像区域与主播的对应关系,确定所述全景映射图像区域对应的主播;确定当前用户观看的主播后,获取相应主播的音频信号,然后由直播客户端播放所述全景映射图像区域的图像和所述全景映射图像区域对应的主播对应的音频信号,同时,直播客户端可以将用户反馈信息发送给服务器。
在具体应用场景下,为了对直播过程进行控制,还可以有主持人后台,通过主持人后台可以控制直播开播,配置直播信息,具体地:
主持人后台可以用于配置主播的身份标识及视频流地址,并控制各个主播的开播与结束。
直播前,主持人后台首先进行直播配置,配置主播身份和视频流地址,并告知给服务器。并由主持人后台控制直播开启,当主持人后台指示直播开启时,服务器接到指示,开启直播,根据预先配置的视频源地址从VR摄像机端获取全景视频图像和音频。在直播过程中,平均分布于由VR摄像机为圆心的圆周上的各个主播图像由VR摄像机拍摄后,完成视频采集,将包含各个主播图像的图像信号通过全景拼接,获得全景视频图像信号,并将包含各个主播的全景视频信号发送至服务器,各个主播的音频信号由收音设备进行音频采集,并将各个主播的音频信号发送至服务器。服务器将全景视频信号和音频信号传输给直播客户端进行直播播放,服务器也可将全景视频信号和音频信号传输给主持人后台,便于主持人后台可以观看到直播情况,从而对直播过程进行控制。
同时,为了更好地标识各个主播,可以通过主持人后台为各个主播分配不同的代表颜色并通过主持人后台发送给服务器,从而可以用主播代表颜色对各个主播进行渲染,比如,对主播的头像进行描边,或者对主播的用户反馈信息以代表颜色作为背景色,另外,主持人后台也可以将主播的位置,即主播与全景视频图像区域的对应关系发送至服务器,其中,主播的位置即各个主播在圆周上覆盖的角度。
在本发明实施例中,主持人后台可以通过直播软件,比如,OBS,将直播视频源,即视频地址信息推送到服务器,同时,发送给服务器的信息还可以包括有直播开启指示、各个主播的身份标识、视频地址及主播的位置信息、主播说明信息,主播的颜色标识信息等。
直播过程中,如果用户需要切换主播,可以转动头部或进行手动操作,当然,也可以通过主持人后台切换主播,服务器根据主持人后台确定的主播,向直播客户端发送切换指令,其中,切换指令中包括切换前后的主播信息,客户端接收到切换指令后,根据切换指令中的主播信息切换全景映射图像区域的图像以及主播对应的音频信号。
在直播过程中,还可以通过直播客户端发送用户反馈信息给相应的主播,比如,用户通过操作直播客户端,发送礼物给特定的主播,服务器接收到直播客户端发送的用户反馈信息后,根据用户反馈信息所指向的主播,通过主播端的显示设备呈现给相应主播。
图6为本发明实施例多人网络直播装置示意图,所述多人网络直播装置600应用于直播采集端,所述直播采集端中包含有全景摄像设备和音频采集设备,多个主播分布在以所述全景摄像设备为圆心的圆周上,所述主播与所述音频采集设备相对应,如图6所示,所述多人网络直播装置600包括:
获取单元610,用于根据所述全景摄像设备环360度采集的所述多个主播的图像信号,获取包含有所述多个主播的全景视频图像信号;
发送单元620,用于将所述包含有所述多个主播的全景视频图像信号和由所述音频设备采集的与所述多个主播的图像信号同步的每个所述主播的音频信号发送给服务器,以使所述服务器将所述全景视频图像信号和每个所述主播的音频信号发送给直播客户端。
在本发明实施例中,所述装置600还包括:
接收单元630,用于接收所述服务器发送的用户反馈信息,所述用户反馈信息与所述主播相对应;
呈现单元640,用于将所述用户反馈信息提供给所述用户反馈信息对应的主播。
在本发明实施例中,获取单元610根据所述全景摄像设备环360度采集的所述多个主播的图像信号,获取包含有所述多个主播的全景视频图像信号;并提供给发送单元620,发送单元620将所述包含有所述多个主播的全景视频图像信号和由所述音频设备采集的与所述多个主播的图像信号同步的每个所述主播的音频信号发送给服务器,以使所述服务器将所述全景视频图像信号和每个所述主播的音频信号发送给直播客户端。在直播过程中,直播采集端可以通过接收单元630接收所述服务器发送的用户反馈信息,所述用户反馈信息与所述主播相对应;并通过呈现单元640将所述用户反馈信息提供给所述用户反馈信息对应的主播。
需要说明的是,由于本发明实施例的装置实施例与方法实施例基于相同的发明构思,方法实施例中的技术内容同样适用于装置实施例,因此,装置实施例中与方法实施例相同的技术内容在此不再赘述。
需要说明的是,在本发明实施例中,上述各个单元可以位于直播采集端的全景摄像设备,也可以位于音频设备,或者显示设备,其中,各个单元可以同时位于同一设备,也可以分别位于不同的设备,比如,获取单元610可以位于全景摄像设备,呈现单元640位于主播对应的显示设备,发送单元620可以分别位于全景摄像设备与音频设备,比如,全景摄像设备的发送单元用于发送全景视频信号,音频设备的发送单元肜于发送音频信号,上述各个单元也可以集成于一个单独的设备,分别与直播客户端的各个设备,比如,全景摄像设备、音频设备或显示设备连接,以便于从直播客户端的各个设备上接收信息及发送信息至各个设备。上述各个单元可以以软件模块的方式存在于上述各个装置中。
本发明实施例中,通过由直播采集端采集的各个主播的图像信号,得到全景视频图像信号,并将全景视频图像信号及各个主播的音频信号,发送至服务器,以使所述服务器将所述全景视频图像信号和每个所述主播的音频信号发送给直播客户端,为客户端在直播过程中切换主播提供了便利。
图7为本发明另一实施例多人网络直播装置示意图,所述多人网络直播装置700应用于服务器,请参阅图7,所述装置700包括:
接收单元710,用于接收直播采集端发送的全景视频图像信号和音频信号,其中,所述全景视频图像中包含有多个主播,所述多个主播位于所述全景视频图像中的不同预定区域,所述音频信号与所述主播相对应;
发送单元720,用于将所述全景视频图像信号和音频信号发送给直播客户端,以使所述直播客户端根据所述全景视频图像信号和音频信号进行直播播放。
在本发明实施例中,所述接收单元710还用于:接收直播客户端发送的用户反馈信息,所述用户反馈信息与所述主播相对应;
所述发送单元720还用于:将所述用户反馈信息发送所述直播采集端,以使所述直播采集端将所述用户反馈信息提供给对应的主播。
在本发明实施例中,所述装置700还包括:
获取单元730,用于获取直播开启指示、直播配置信息和/或主播切换指示。在本发明实施例中,服务器通过接收单元710接收直播采集端发送的全景视频图像信号和音频信号,所述全景视频图像信号包含有多个主播,所述音频信号与所述主播相对应;然后通过发送单元720将所述全景视频图像信号和音频信号发送给直播客户端,以使所述直播客户端根据所述全景视频图像信号和音频信号进行直播播放。在直播过程中,用户可以与主播进行互动,则接收单元710还可以接收直播客户端发送的用户反馈信息,所述用户反馈信息与所述主播相对应;然后由发送单元720将所述用户反馈信息发送所述直播采集端,以使所述直播采集端将所述用户反馈信息提供给对应的主播。
在本发明实施例中,获取单元730获取的直播配置信息包括主播信息和视频地址信息,所述主播信息包括主播标识信息,以及以下信息的至少一种信息:每个所述主播与所述全景视频图像的区域对应关系、每个所述主播对应的主播说明信息,每个所述主播的颜色标识信息。需要说明的是,由于本发明实施例的装置实施例与方法实施例基于相同的发明构思,方法实施例中的技术内容同样适用于装置实施例,因此,装置实施例中与方法实施例相同的技术内容在此不再赘述。
在本发明实施例中,通过将接收的全景视频图像信号和每个所述主播的音频信号发送给直播客户端,为直播客户端在直播过程中切换主播提供了便利。
图8为本发明又一实施例多人网络直播装置示意图,所述多人网络直播装置800应用于直播客户端,请参阅图8,所述装置800包括:
接收单元810,用于接收全景视频图像信号和音频信号,其中,所述全景视频图像中包含有多个主播,所述多个主播位于所述全景视频图像中的不同预定区域,所述音频信号与所述主播相对应;
映射单元820,用于对所述全景视频图像信号进行全景映射处理,获取全景映射图像;
确定单元830,用于确定用户的观看视角,根据所述用户的观看视角确定所述用户观看视角对应的全景映射图像区域;
获取单元840,用于获取所述全景映射图像区域对应的主播对应的音频信号;
播放单元850,用于播放所述全景映射图像区域的图像和所述全景映射图像区域对应的主播对应的音频信号。
在本发明实施例中,所述确定单元830具体用于:
跟踪用户的眼球或头部姿态,根据所述眼球或头部转动的姿态信息,确定用户的观看视角;和/或,
接收用户对直播客户端的触摸操作,根据所述触摸操作的移动方向与位移,确定用户的观看视角;和/或,
获取直播客户端的空间姿态,根据所述空间姿态,确定用户的观看视角。
在本发明实施例中,所述装置800还包括:
切换单元860,用于接收服务器发送的切换指令,并根据所述切换指令,切换全景映射图像区域的图像,从而切换当前显示的主播。
发送单元870,用于接收用户反馈信息,并发送所述用户反馈信息给服务器,所述用户反馈信息与所述主播相对应。
在本发明实施例中,所述装置800还包括:
主播信息显示单元880,用于接收服务器发送的主播信息,并根据所述服务器发送的主播信息,进行直播辅助显示。
其中,所述主播信息包括每个所述主播与所述全景视频图像的区域对应关系;
所述确定单元830还用于:根据所述全景影像图像区域和所述区域对应关系,确定所述全景映射图像区域对应的主播。
在本发明实施例中,所述主播信息还包括每个所述主播对应的主播说明信息,
所述装置还包括:
人脸识别单元890,用于对所述播放的全景映射图像区域的图像进行人脸识别,确定播放界面中的人脸位置;
主播信息显示单元880具体用于:根据所述确定的人脸位置,确定所述播放界面中与所述人脸位置对应的说明信息位置,并在所述说明信息位置显示所述主播说明信息。
在本发明实施例中,所述主播信息还包括每个所述主播对应的颜色标识信息;
所述主播信息显示单元880具体用于:显示直播辅助信息,并根据所述颜色标识信息,在所述直播辅助信息上添加该辅助信息对应的主播的颜色背景。在本发明实施例中,直播客户端的接收单元810接收到全景视频图像信号及音频信号后,提供给映射单元820进行全景映射处理,获取全景映射图像,然后,确定单元830可以根据用户的转动或手动操作,确定用户观看视角,并根据用户观看视角确定对应的全景映射图像区域,并根据全景映射图像区域与主播的对应关系,确定对应的主播,主播确定后,可以由获取单元840获取主播对应的音频信号,在获取主播音频信号之后,由播放单元850播放所述全景映射图像区域的图像和所述全景映射图像区域对应的主播对应的音频信号。在直播过程中,用户可以通过转动或手动操作,改变用户观看视角,从而切换观看的主播,也可以根据服务器发送的切换指令进行主播切换,此时,则由切换单元860接收服务器发送的切换指令,并根据所述切换指令,切换全景映射图像区域以及对应主播的音频信号。同时,在直播过程中,用户也可以与主播进行互动,此时,则由发送单元870发送用户反馈信息给服务器,其中,用户反馈信息与所述主播相对应。
需要说明的是,由于本发明实施例的装置实施例与方法实施例基于相同的发明构思,方法实施例中的技术内容同样适用于装置实施例,因此,装置实施例中与方法实施例相同的技术内容在此不再赘述。
在本发明实施例中,多人网络直播装置通过跟踪视角变化,实现主播切换,增加了用户在观看直播时的沉浸感和交互性,用户可以参与到直播的内容过程中,在观看时获得更大的参与感和趣味体验。
图9是本发明实施例提供的一种多人网络直播的电子设备900的硬件结构示意图,如图9所示,该电子设备900包括:
一个或多个处理器910以及存储器920,图9中以一个处理器910为例。
处理器910和存储器920可以通过总线或者其他方式连接,图9中以通过总线连接为例。
存储器920作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的一种多人网络直播方法对应的程序指令/单元(例如,附图6所示的各个单元,比如,610至640,附图7所示的各个单元,比如,710至730,或者,附图8所示的各个单元,810至890)。处理器910通过运行存储在存储器920中的非易失性软件程序、指令以及单元,从而执行各种功能应用以及数据处理,即实现上述方法实施例多人网络直播方法。
存储器920可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据多人网络直播装置的使用所创建的数据等。此外,存储器920可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器920可选包括相对于处理器910远程设置的存储器,这些远程存储器可以通过网络连接至多人网络直播装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器920中,当被所述一个或者多个处理器910执行时,执行上述任意方法实施例中的多人网络直播方法,例如,执行以上描述的图2中的方法步骤210至步骤230,或者,图3中的方法步骤310至步骤320,或者,图4中的方法步骤410至步骤450,或者,实现图6中的单元610-640的功能,或者,实现图7中的单元710-730的功能,实现图8中的单元810-890的功能。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
本发明实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放视频内容,一般也具备移动上网特性。该类设备包括:视频播放器,掌上游戏机,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
本申请实施例提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图9中的一个处理器910,可使得上述一个或多个处理器可执行上述任意方法实施例中的多人网络直播方法,例如,执行以上描述的图2中的方法步骤210至步骤230,或者,图3中的方法步骤310至步骤320,或者,图4中的方法步骤410至步骤450,或者,实现图6中的单元610-640的功能,或者,实现图7中的单元710-730的功能,实现图8中的单元810-890的功能。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;在本申请的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本申请的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (31)
1.一种多人网络直播方法,其特征在于,所述方法应用于直播采集端,所述直播采集端中包含有全景摄像设备和音频采集设备,多个主播分布在以所述全景摄像设备为圆心的圆周上,所述主播与所述音频采集设备相对应,所述方法包括:
利用所述全景摄像设备环360度采集所述多个主播的图像信号,并利用所述音频采集设备同步采集每个所述主播的音频信号;
根据所述环360度采集的所述多个主播的图像信号,获取包含有所述多个主播的全景视频图像信号;
将所述包含有所述多个主播的全景视频图像信号和每个所述主播的音频信号发送给服务器,以使所述服务器将所述全景视频图像信号和每个所述主播的音频信号发送给直播客户端;
接收所述服务器发送的用户反馈信息,所述用户反馈信息与所述主播相对应;
所述用户反馈信息为所述直播客户端向所述服务器发送的用户反馈信息,其中,所述直播客户端检测用户的向下低头动作,如果检测到所述用户的向下低头动作则显示反馈信息并根据用户的选择确认用户反馈信息,检测用户面对的主播,确定该主播与该用户反馈信息相对应。
2.根据权利要求1所述的方法,其特征在于,所述多个主播均匀分布在以所述全景摄像设备为圆心的圆周上。
3.根据权利要求1所述的方法,其特征在于,所述主播与所述音频采集设备一一对应。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
将所述用户反馈信息提供给所述用户反馈信息对应的主播。
5.一种多人网络直播方法,其特征在于,所述方法应用于服务器,所述方法包括:
接收直播采集端发送的全景视频图像信号和音频信号,其中,所述全景视频图像中包含有多个主播,所述多个主播位于所述全景视频图像中的不同预定区域,所述音频信号与所述主播相对应;
将所述全景视频图像信号和音频信号发送给直播客户端,以使所述直播客户端根据所述全景视频图像信号和音频信号进行直播播放;
接收所述直播客户端发送的用户反馈信息,所述用户反馈信息与所述主播相对应;
所述用户反馈信息为所述直播客户端向所述服务器发送的用户反馈信息,其中,所述直播客户端检测用户的向下低头动作,如果检测到所述用户的向下低头动作则显示反馈信息并根据用户的选择确认用户反馈信息,检测用户面对的主播,确定该主播与该用户反馈信息相对应。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
将所述用户反馈信息发送所述直播采集端,以使所述直播采集端将所述用户反馈信息提供给对应的主播。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
获取用于指示直播开始的直播开启指示;
所述接收直播采集端发送的全景视频图像信号和音频信号包括:
在获取到所述直播开启指示时,接收直播采集端发送的全景视频图像信号和音频信号。
8.根据权利要求5所述的方法,其特征在于,所述方法还包括:
获取直播配置信息,所述直播配置信息包括主播信息和视频地址信息,所述主播信息包括主播标识信息;
将所述主播信息发送给所述直播客户端;
所述接收直播采集端发送的全景视频图像信号和音频信号包括:
根据所述视频地址信息,接收直播采集端发送的全景视频图像信号和音频信号。
9.根据权利要求8所述的方法,其特征在于,
所述主播信息还包括以下信息中的至少一种:
每个所述主播与所述全景视频图像的区域对应关系、每个所述主播对应的主播说明信息,每个所述主播的颜色标识信息。
10.根据权利要求5至9任一项所述的方法,其特征在于,所述方法还包括:
获取主播切换指示,根据所述主播切换指示,向直播客户端发送主播切换指令。
11.一种多人网络直播方法,其特征在于,所述方法应用于直播客户端,所述方法包括:
接收全景视频图像信号和音频信号,其中,所述全景视频图像中包含有多个主播,所述多个主播位于所述全景视频图像中的不同预定区域,所述音频信号与所述主播相对应;
对所述全景视频图像信号进行全景映射处理,获取全景映射图像;
确定用户的观看视角,根据所述用户的观看视角确定所述用户观看视角对应的全景映射图像区域;
根据所述全景映射图像区域,获取所述全景映射图像区域对应的主播对应的音频信号;
播放所述全景映射图像区域的图像和所述全景映射图像区域对应的主播对应的音频信号;
检测用户的向下低头动作,如果检测到所述用户的向下低头动作则显示反馈信息并根据用户的选择确认用户反馈信息,检测用户面对的主播,确定该主播与该用户反馈信息相对应;
向服务器发送所述用户反馈信息,所述用户反馈信息与所述主播相对应。
12.根据权利要求11所述的方法,其特征在于,所述确定用户的观看视角,包括:
跟踪用户的眼球或头部姿态;根据所述眼球或头部转动的姿态信息,确定用户的观看视角;和/或
接收用户对直播客户端的触摸操作;根据所述触摸操作的移动方向与位移,确定用户的观看视角;和/或
获取直播客户端的空间姿态;根据所述空间姿态,确定用户的观看视角。
13.根据权利要求11所述的方法,其特征在于,所述方法还包括:
接收服务器发送的主播信息;
根据所述服务器发送的主播信息,进行直播辅助显示。
14.根据权利要求13所述的方法,其特征在于,所述主播信息包括每个所述主播与所述全景映射图像的区域对应关系;
在确定所述对应的全景映射图像区域后,所述方法还包括:
根据所述全景映射图像区域和所述区域对应关系,确定所述全景映射图像区域对应的主播。
15.根据权利要求14所述的方法,其特征在于,所述主播信息还包括每个所述主播对应的主播说明信息;
所述方法还包括:
对所述播放的全景映射图像区域的图像进行人脸识别,确定播放界面中的人脸位置;
根据所述确定的人脸位置,确定所述播放界面中与所述人脸位置对应的说明信息位置;
在所述说明信息位置显示所述主播说明信息。
16.根据权利要求14所述的方法,其特征在于,所述主播信息还包括每个所述主播对应的颜色标识信息;
所述进行直播辅助显示包括:
显示直播辅助信息,根据所述颜色标识信息,在所述直播辅助信息上添加该辅助信息对应的主播的颜色背景。
17.根据权利要求11-16任一项所述的方法,其特征在于,所述方法还包括:
接收服务器发送的切换指令,
根据所述切换指令,切换全景映射图像区域的图像,从而切换当前显示的主播。
18.一种多人网络直播装置,应用于直播采集端,其特征在于,所述直播采集端中包含有全景摄像设备和音频采集设备,多个主播分布在以所述全景摄像设备为圆心的圆周上,所述主播与所述音频采集设备相对应,所述装置包括:
获取单元,用于根据所述全景摄像设备环360度采集的所述多个主播的图像信号,获取包含有所述多个主播的全景视频图像信号;
发送单元,用于将所述包含有所述多个主播的全景视频图像信号和由所述音频设备采集的与所述多个主播的图像信号同步的每个所述主播的音频信号发送给服务器,以使所述服务器将所述全景视频图像信号和每个所述主播的音频信号发送给直播客户端;
接收单元,用于接收所述服务器发送的用户反馈信息,所述用户反馈信息与所述主播相对应;
所述用户反馈信息为所述直播客户端向所述服务器发送的用户反馈信息,其中,所述直播客户端检测用户的向下低头动作,如果检测到所述用户的向下低头动作则显示反馈信息并根据用户的选择确认用户反馈信息,检测用户面对的主播,确定该主播与该用户反馈信息相对应。
19.根据权利要求18所述的装置,其特征在于,所述装置还包括:
呈现单元,用于将所述用户反馈信息提供给所述用户反馈信息对应的主播。
20.一种多人网络直播装置,应用于服务器,其特征在于,所述装置包括:
接收单元,用于接收直播采集端发送的全景视频图像信号和音频信号,其中,所述全景视频图像中包含有多个主播,所述多个主播位于所述全景视频图像中的不同预定区域,所述音频信号与所述主播相对应;
接收直播客户端发送的用户反馈信息,所述用户反馈信息与所述主播相对应;
所述用户反馈信息为所述直播客户端向所述服务器发送的用户反馈信息,其中,所述直播客户端检测用户的向下低头动作,如果检测到所述用户的向下低头动作则显示反馈信息并根据用户的选择确认用户反馈信息,检测用户面对的主播,确定该主播与该用户反馈信息相对应;
发送单元,用于将所述全景视频图像信号和音频信号发送给直播客户端,以使所述直播客户端根据所述全景视频图像信号和音频信号进行直播播放。
21.根据权利要求20所述的装置,其特征在于,
所述发送单元还用于:将所述用户反馈信息发送所述直播采集端,以使所述直播采集端将所述用户反馈信息提供给对应的主播。
22.根据权利要求20所述的装置,其特征在于,所述装置还包括:
获取单元,用于获取直播开启指示、直播配置信息和/或主播切换指示。
23.一种多人网络直播装置,应用于直播客户端,其特征在于,所述装置包括:
接收单元,用于接收全景视频图像信号和音频信号,其中,所述全景视频图像中包含有多个主播,所述多个主播位于所述全景视频图像中的不同预定区域,所述音频信号与所述主播相对应;
映射单元,用于对所述全景视频图像信号进行全景映射处理,获取全景映射图像;
确定单元,用于确定用户的观看视角,根据所述用户的观看视角确定所述用户观看视角对应的全景映射图像区域;
获取单元,用于获取所述全景映射图像区域对应的主播对应的音频信号;
播放单元,用于播放所述全景映射图像区域的图像和所述全景映射图像区域对应的主播对应的音频信号;
检测用户的向下低头动作,如果检测到所述用户的向下低头动作则显示反馈信息并根据用户的选择确认用户反馈信息,检测用户面对的主播,确定该主播与该用户反馈信息相对应;
发送单元,用于向服务器发送所述用户反馈信息,所述用户反馈信息与所述主播相对应。
24.根据权利要求23所述的装置,其特征在于,所述确定单元具体用于:
跟踪用户的眼球或头部姿态,根据所述眼球或头部转动的姿态信息,确定用户的观看视角;和/或接收用户对直播客户端的触摸操作,根据所述触摸操作的移动方向与位移,确定用户的观看视角;和/或
获取直播客户端的空间姿态,根据所述空间姿态,确定用户的观看视角。
25.根据权利要求23所述的装置,其特征在于,所述装置还包括:
主播信息显示单元,用于接收服务器发送的主播信息,并根据所述服务器发送的主播信息,进行直播辅助显示。
26.根据权利要求25所述的装置,其特征在于,所述主播信息包括每个所述主播与所述全景映射图像的区域对应关系;
所述确定单元还用于:根据所述全景映射图像区域和所述区域对应关系,确定所述全景映射图像区域对应的主播。
27.根据权利要求26所述的装置,其特征在于,所述主播信息还包括每个所述主播对应的主播说明信息,
所述装置还包括:
人脸识别单元,用于对所述播放的全景映射图像区域的图像进行人脸识别,确定播放界面中的人脸位置;
主播信息显示单元具体用于:根据所述确定的人脸位置,确定所述播放界面中与所述人脸位置对应的说明信息位置,并在所述说明信息位置显示所述主播说明信息。
28.根据权利要求26所述的装置,其特征在于,所述主播信息还包括每个所述主播对应的颜色标识信息;
所述主播信息显示单元具体用于:显示直播辅助信息,并根据所述颜色标识信息,在所述直播辅助信息上添加该辅助信息对应的主播的颜色背景。
29.根据权利要求23-28任一项所述的装置,其特征在于,所述装置还包括:
切换单元,用于接收服务器发送的切换指令,并根据所述切换指令,切换全景映射图像区域的图像,从而切换当前显示的主播。
30.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-17任一项所述的方法。
31.一种非易失性计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机指令用于使所述计算机执行权利要求1-17任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611267831.0A CN106791906B (zh) | 2016-12-31 | 2016-12-31 | 一种多人网络直播方法、装置及其电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611267831.0A CN106791906B (zh) | 2016-12-31 | 2016-12-31 | 一种多人网络直播方法、装置及其电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106791906A CN106791906A (zh) | 2017-05-31 |
CN106791906B true CN106791906B (zh) | 2020-06-23 |
Family
ID=58952225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611267831.0A Active CN106791906B (zh) | 2016-12-31 | 2016-12-31 | 一种多人网络直播方法、装置及其电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106791906B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107438183A (zh) * | 2017-07-26 | 2017-12-05 | 北京暴风魔镜科技有限公司 | 一种虚拟人物直播方法、装置及系统 |
CN108616761B (zh) * | 2018-05-23 | 2021-03-16 | 广州方硅信息技术有限公司 | 多人视频交互方法、装置、系统、存储介质和计算机设备 |
CN111309225B (zh) * | 2020-01-20 | 2022-04-15 | 北京字节跳动网络技术有限公司 | 清屏处理方法及装置 |
CN111447462B (zh) * | 2020-05-20 | 2022-07-05 | 上海科技大学 | 基于视角切换的视频直播方法、系统、存储介质及终端 |
CN113301351B (zh) * | 2020-07-03 | 2023-02-24 | 阿里巴巴集团控股有限公司 | 视频播放方法、装置、电子设备及计算机存储介质 |
CN112218105B (zh) * | 2020-09-04 | 2022-09-02 | 北京达佳互联信息技术有限公司 | 一种多媒体业务的互动方法及装置 |
CN112104887B (zh) * | 2020-09-16 | 2022-05-17 | 广州方硅信息技术有限公司 | 视频来源校验方法、装置、设备及存储介质 |
CN113467675A (zh) * | 2021-05-31 | 2021-10-01 | 北京达佳互联信息技术有限公司 | 一种虚拟空间操作方法、装置、电子设备及存储介质 |
CN114827647B (zh) * | 2022-04-15 | 2024-03-19 | 北京百度网讯科技有限公司 | 直播数据生成方法、装置、设备、介质及程序产品 |
CN114866813A (zh) * | 2022-04-27 | 2022-08-05 | 北京金山云网络技术有限公司 | 全景直播系统、方法和装置、电子设备、存储介质 |
CN114866812A (zh) * | 2022-04-27 | 2022-08-05 | 北京金山云网络技术有限公司 | 全景直播系统、方法和装置、电子设备、存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101841694A (zh) * | 2009-03-19 | 2010-09-22 | 新奥特硅谷视频技术有限责任公司 | 一种法庭庭审全景视频图像转播方法 |
CN105491353A (zh) * | 2016-01-15 | 2016-04-13 | 广东小天才科技有限公司 | 一种远程监控方法和装置 |
CN105578199A (zh) * | 2016-02-22 | 2016-05-11 | 北京佰才邦技术有限公司 | 虚拟现实全景多媒体处理系统、方法及客户端设备 |
CN105847851A (zh) * | 2016-04-19 | 2016-08-10 | 北京金山安全软件有限公司 | 全景视频直播方法、装置和系统以及视频源控制设备 |
CN105872575A (zh) * | 2016-04-12 | 2016-08-17 | 乐视控股(北京)有限公司 | 基于虚拟现实的直播方法及装置 |
CN106101741A (zh) * | 2016-07-26 | 2016-11-09 | 武汉斗鱼网络科技有限公司 | 在网络视频直播平台上观看全景视频的方法及系统 |
CN106170094A (zh) * | 2016-09-07 | 2016-11-30 | 传线网络科技(上海)有限公司 | 全景视频的直播方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6669346B2 (en) * | 2000-05-15 | 2003-12-30 | Darrell J. Metcalf | Large-audience, positionable imaging and display system for exhibiting panoramic imagery, and multimedia content featuring a circularity of action |
GB2512621A (en) * | 2013-04-04 | 2014-10-08 | Sony Corp | A method and apparatus |
-
2016
- 2016-12-31 CN CN201611267831.0A patent/CN106791906B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101841694A (zh) * | 2009-03-19 | 2010-09-22 | 新奥特硅谷视频技术有限责任公司 | 一种法庭庭审全景视频图像转播方法 |
CN105491353A (zh) * | 2016-01-15 | 2016-04-13 | 广东小天才科技有限公司 | 一种远程监控方法和装置 |
CN105578199A (zh) * | 2016-02-22 | 2016-05-11 | 北京佰才邦技术有限公司 | 虚拟现实全景多媒体处理系统、方法及客户端设备 |
CN105872575A (zh) * | 2016-04-12 | 2016-08-17 | 乐视控股(北京)有限公司 | 基于虚拟现实的直播方法及装置 |
CN105847851A (zh) * | 2016-04-19 | 2016-08-10 | 北京金山安全软件有限公司 | 全景视频直播方法、装置和系统以及视频源控制设备 |
CN106101741A (zh) * | 2016-07-26 | 2016-11-09 | 武汉斗鱼网络科技有限公司 | 在网络视频直播平台上观看全景视频的方法及系统 |
CN106170094A (zh) * | 2016-09-07 | 2016-11-30 | 传线网络科技(上海)有限公司 | 全景视频的直播方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106791906A (zh) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106803966B (zh) | 一种多人网络直播方法、装置及其电子设备 | |
CN106791906B (zh) | 一种多人网络直播方法、装置及其电子设备 | |
CN106686397A (zh) | 一种多人网络直播方法、装置及其电子设备 | |
US9728011B2 (en) | System and method for implementing augmented reality via three-dimensional painting | |
US20220245859A1 (en) | Data processing method and electronic device | |
US9597590B2 (en) | Methods and apparatus for accessing peripheral content | |
CN108259921B (zh) | 一种基于场景切换的多角度直播系统及切换方法 | |
CN106730815B (zh) | 一种易实现的体感互动方法及系统 | |
US9392248B2 (en) | Dynamic POV composite 3D video system | |
WO2019221952A1 (en) | Viewing a virtual reality environment on a user device | |
US10764493B2 (en) | Display method and electronic device | |
CN107027014A (zh) | 一种动向智能投影系统及其方法 | |
CN114097248A (zh) | 一种视频流处理方法、装置、设备及介质 | |
JP7207913B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN113244616B (zh) | 基于虚拟场景的互动方法、装置、设备及可读存储介质 | |
JP2019114147A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
CN117085322B (zh) | 基于虚拟场景的互动观察方法、装置、设备及介质 | |
CN105939497A (zh) | 媒体串流系统及媒体串流方法 | |
JP2021034885A (ja) | 画像生成装置、画像表示装置および画像処理方法 | |
CN108184130B (zh) | 模拟器系统、直播方法、装置及存储介质 | |
CN112827166A (zh) | 基于牌类对象的交互方法、装置、计算机设备及存储介质 | |
US20240062479A1 (en) | Video playing method and apparatus, electronic device, and storage medium | |
WO2020206647A1 (zh) | 跟随用户运动控制播放视频内容的方法和装置 | |
JP2018033107A (ja) | 動画の配信装置及び配信方法 | |
JP2022073651A (ja) | 情報処理装置、情報処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |