CN113489935A - 一种视频交互方法及设备 - Google Patents
一种视频交互方法及设备 Download PDFInfo
- Publication number
- CN113489935A CN113489935A CN202010955334.XA CN202010955334A CN113489935A CN 113489935 A CN113489935 A CN 113489935A CN 202010955334 A CN202010955334 A CN 202010955334A CN 113489935 A CN113489935 A CN 113489935A
- Authority
- CN
- China
- Prior art keywords
- video
- video image
- client
- visual angle
- free viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000000007 visual effect Effects 0.000 claims description 65
- 230000000977 initiatory effect Effects 0.000 claims description 37
- 230000011218 segmentation Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000012790 confirmation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000007667 floating Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种视频交互方法及设备,通过将自由视点技术与视频交互技术相结合,使得任一客户端所处环境对应的图像可以提供至其他客户端,使得其他客户端想要切换观影视角时,可以为其他客户端切换观影视角,以便于为其他客户端提供所需的观影视角的视频图像;如此,可以打破传统二维视频内容的限制,使得视频交互的画面更加丰富,为用户提供沉浸式的交互服务,从而大大提高用户的体验感受。
Description
技术领域
本发明涉及自由视点技术领域,尤指一种视频交互方法及设备。
背景技术
随着科学技术的发展,实时对话交互系统应用于多个领域,但是传统的对话交互方法在应用时存在一定的局限性,例如在视频通话或电商直播中,用户看到的视频画面受到二维视频内容的限制,使用户无法自由地观看视频画面内的商品。
那么,如何在视频通话或电商直播中避免受到二维视频内容的限制,使得用户可以自由地观看视频画面内容,是本领域技术人员亟待解决的技术问题。
发明内容
本发明实施例提供了一种视频交互方法及设备,用以在视频通话或电商直播中避免受到二维视频内容的限制,使得用户可以自由地观看视频画面内容。
第一方面,本发明实施例提供了一种视频交互的方法,该方法包括:
接收视频交互请求;其中,所述视频交互请求为:多个客户端中视频交互的发起客户端发送的;所述视频交互请求包括:视频交互对象、以及第一观影视角对应的第一视频图像;
根据所述视频交互请求,从预先确定出的自由视点视频图像中确定出所述第一视频图像,并在各所述客户端之间建立所述视频交互时,将所述第一视频图像发送至至少部分客户端,以使所述至少部分客户端均显示所述第一视频图像;
在接收到包括从所述第一观影视角切换至第二观影视角的信息的视角切换指令时,从所述自由视点视频图像中确定出所述第二观影视角对应的第二视频图像,并发送至发起所述视角切换指令的客户端,以使发起所述视角切换指令的客户端显示所述第二视频图像。
例如,在视频交互为视频通话场景时,某个客户端在发送视角切换指令后,可以是每个客户端均同时切换至第二视频图像。
在视频交互为其他场景时,某个客户端在发送视角切换指令后,可以仅是发送视角切换指令的客户端显示第二视频图像,或者,发送视角切换指令的客户端、以及部分其他客户端显示第二视频图像。
第二方面,本发明实施例提供了一种自由视点服务器,包括:
存储器,被配置为存储程序指令;
处理器,被配置为调用所述存储器中存储的所述程序指令,按照获得的程序执行:
接收视频交互请求;其中,所述视频交互请求为:多个客户端中视频交互的发起客户端发送的;所述视频交互请求包括:视频交互对象、以及第一观影视角对应的第一视频图像;
根据所述视频交互请求,从预先确定出的自由视点视频图像中确定出所述第一视频图像,并在各所述客户端之间建立所述视频交互时,将所述第一视频图像发送至至少部分客户端,以使所述至少部分客户端均显示所述第一视频图像;
在接收到包括从所述第一观影视角切换至第二观影视角的信息的视角切换指令时,从所述自由视点视频图像中确定出所述第二观影视角对应的第二视频图像,并发送至发起所述视角切换指令的客户端,以使发起所述视角切换指令的客户端显示所述第二视频图像。
第三方面,本发明实施例提供了一种自由视点控制系统,包括:如本发明实施例提供的上述自由视点服务器。
本发明有益效果如下:
本发明实施例提供的一种视频交互方法及设备,通过将自由视点技术与视频交互技术相结合,使得任一客户端所处环境对应的图像可以提供至其他客户端,使得其他客户端想要切换观影视角时,可以为其他客户端切换观影视角,以便于为其他客户端提供所需的观影视角的视频图像;如此,可以打破传统二维视频内容的限制,使得视频交互的画面更加丰富,为用户提供沉浸式的交互服务,从而大大提高用户的体验感受。
附图说明
图1为本发明实施例中提供的一种视频交互的方法的流程图;
图2为本发明实施例中提供的对自由视点视频图像进行切分的示意图;
图3为本发明实施例中提供的具体实施例的流程图;
图4为本发明实施例中提供的一种自由视点服务器的结构示意图;
图5为本发明实施例中提供的一种自由视点控制系统的结构示意图;
图6为本发明实施例中提供的另一种自由视点控制系统的结构示意图。
具体实施方式
下面将结合附图,对本发明实施例提供的一种视频交互方法及设备的具体实施方式进行详细地说明。需要说明的是,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种视频交互方法,如图1所示,应用于自由视点服务器;该视频交互方法可以包括:
S101、接收视频交互请求;其中,视频交互请求为:多个客户端中视频交互的发起客户端发送的;视频交互请求包括:视频交互对象、以及第一观影视角对应的第一视频图像;
其中,在接收视频交互请求之前,可以首先确定出:
进行视频交互的各客户端均已接入自由视点服务器,以便于客户端与自由视点服务器可以进行交互。
S102、根据视频交互请求,从预先确定出的自由视点视频图像中确定出第一视频图像,并在各客户端之间建立视频交互时,将第一视频图像分别发送至至少部分客户端,以使至少部分客户端均显示第一视频图像;
其中,上述S102中提及的至少部分客户端,可以为:
全部客户端;
或,全部客户端中除发起客户端之外的其他全部客户端;
或,全部客户端中除发起客户端之外的部分客户端。
因此,上述S102中提及的至少部分客户端具体所表示的含义,可以根据实际需要进行确定,在此并不限定。
并且,建立视频交互的过程,可以参见现有技术,在此不再详述。
此外,对于视频交互的具体应用场景,可以包括:
场景1、直播场景。
例如,若视频交互为直播场景时,建立视频交互即为建立直播间;那么,在视频交互的过程中,客户端在显示第一视频图像的同时,还可以显示交互层,且交互层可以与第一视频图像进行交叠显示;并且,各客户端的使用者之间可以通过交互层进行文字、语音交流,实现视频交互。
并且,自由视点视频图像描述的内容可以包括发起客户端所处环境,同时,第一视频图像可以为描述发起客户端所处环境的图像。
场景2、单纯地视频通话场景。
例如,若视频交互为视频通话时,建立视频交互即为建立视频通话;那么,各客户端的使用者之间可以进行文字、语音交流,实现视频交互。
并且,自由视点视频图像描述的内容可以包括:发起客户端所处环境,还可以包括其他支持自由视点技术的客户端所处环境。
对应地,第一视频图像可以为描述发起客户端所处环境的图像,或者其他支持自由视点技术的客户端所处环境的图像,例如,发起客户端进行视频通话的对方客户端所处环境的图像。
场景3、多人观看同一视频时的视频通话场景。
例如,若视频交互为观看一视频(如篮球赛)时多人之间进行的视频通话时,建立视频交互即为在视频(即多人观看的篮球赛,为了便于说明,以下简称为背景视频)播放的基础上建立视频通话,且可以在显示背景视频的同时设置浮窗,以使多人之间的视频交互在浮窗内进行,这样:既不影响背景视频的显示和播放,也不影响多人之间的视频交互。
并且,自由视点视频图像描述的内容可以包括:发起客户端所处环境、其他支持自由视点技术的客户端所处环境、和/或观看的同一自由视点视频。
对应地,第一视频图像可以为描述发起客户端所处环境的图像;或者其他支持自由视点技术的客户端所处环境的图像,例如,发起客户端进行视频通话的对方客户端所处环境的图像;又或者为观看的同一自由视点视频。
当然,视频交互的具体应用场景并不限于上述三种,还可以应用至需要进行视频交流的场景,在此并不限定。
说明一点,在上述场景1和场景2中,自由视点视频图像描述的内容可以包括发起客户端所处环境,所以其他客户端可以对观看到的发起客户端的画面进行视角切换。
在上述场景3中,自由视点视频图像描述的内容还可以包括:多人观看的同一视频,所以各客户端可以对观看到的发起客户端的画面,和/或多人观看的同一视频进行视角切换。
并且,不管场景1、场景2或场景3,如果其他客户端中的某个或某些客户端也支持视角切换时,那么也可以对这些支持视角切换的客户端对应的画面进行视角切换。
S103、在接收到包括从第一观影视角切换至第二观影视角的信息的视角切换指令时,从自由视点视频图像中确定出第二观影视角对应的第二视频图像,并发送至发起视角切换指令的客户端,以使发起视角切换指令的客户端显示第二视频图像。
当然,在实际情况中,除了可以将第二视频图像发送至发起视角切换指令的客户端之外,还可以发送至其他的客户端。
例如,若视频交互为直播场景时,各第二客户端(全部客户端中除发起客户端之外的客户端)在访问发起客户端建立的直播间后,可以看到直播间内摆放的商品,某个第二客户端的使用者可以按照喜好要求,发起视角切换指令,以切换观看感兴趣的商品、以及切换商品的观看角度,仅让该第二客户端的使用者可以有身临其境如商场一样的感受。
又例如,若视频交互为视频通话时,视频通话建立后,假设在各客户端的显示界面均可以显示各客户端所处环境的画面,若某个客户端(如客户端A)的使用者想要观看另一个客户端(如客户端B)所处环境的其他角度时,客户端A的使用者可以发起视角切换指令,以便于进行观看角度的切换,不仅使得客户端A的使用者有如在客户端B的使用者身边的感受,还可以使得客户端B也能看到观看角度切换后的图像。
再例如,若视频交互为多人观看同一视频时的视频通话时,在背景视频显示的同时视频通话建立后,在各客户端的显示界面均可以显示:各客户端所处环境的画面、以及背景视频;
若假设客户端B所处环境的画面支持自由视点播放,且某个客户端(如客户端A)的使用者想要观看客户端B所处环境的其他角度时,客户端A的使用者可以发起视角切换指令,以便于进行观看角度的切换,使得客户端A的使用者有如在客户端B的使用者身边的感受;
若假设背景视频支持自由视点播放时,某个客户端(如客户端A)的使用者可以发起视角切换指令,以按照喜好要求,切换观看背景视频的角度,让客户端A和客户端B的使用者均可以有身临其境如一样的感受。
如此,通过将自由视点技术与视频交互技术相结合,使得任一客户端所处环境对应的图像可以提供至其他客户端,使得其他客户端想要切换观影视角时,可以为其他客户端切换观影视角,以便于为其他客户端提供所需的观影视角的视频图像;如此,可以打破传统二维视频内容的限制,使得视频交互的画面更加丰富,为用户提供沉浸式的交互服务,从而大大提高用户的体验感受。
可选地,在本发明实施例中,自由视点视频图像包括:按照预设的观影视角切分规则,切分出的多个观影视角对应的视频图像。
由于自由视点视频图像包括按照预设的观影视角切分规则,切分出的多个观影视角对应的视频图像,所以在自由视点服务器向客户端发送视频图像时,只是发送客户端所需要的那部分视频图像,而并不是将整个自由视点视频图像发送至客户端,所以在客户端访问自由视点服务器的过程中,可以避免出现超载的情况,从而提高客户端与自由视点服务器之间的交互效率。
可选地,在本发明实施例中,切分出的各观影视角对应的视频图像可以在不同的存储位置分别进行存储。
其中,在自由视点服务器中可以设置有多个子服务器,这些子服务器可以但不限于用于存储观影视角对应的视频图像,且子服务器的设置数量与切分出的视频图像的数量相同,以使得切分出的视频图像在不同的位置进行存储。
例如,假设将自由视点视频图像切分出N个观影视角对应的视频图像时,子服务器设置有N个,切分出的每一个视频图像存储于一个子服务器中。
在客户端访问自由视点服务器的过程中,若假设第一观影视角对应的第一视频图像存储于第i个子服务器中时,自由视点服务器可以将第i个子服务器中存储的视频图像提取出来,并作为第一视频图像发送至客户端。
如此,有利于将各观影视角对应的视频图像区分开来,将视频图像进行分流,以便于自由服务器快速有效地确定出第一观影视角对应的第一视频图像、以及第二观影视角对应的第二视频图像,从而在避免超载的同时,提高自由视点服务器与客户端之间的交互效率,实现支撑巨大访问量的自由视点实时交互服务。
可选地,在本发明实施例中,自由视点视频图像可以具体采用以下方式确定:
获取多个音视频采集设备采集到的客户端所处环境的音视频数据;
对获取到的音视频数据进行拼接处理,得到自由视点视频图像;
按照观影视角切分规则,将自由视点视频图像切分成多个观影视角对应的视频图像。
其中,在对获取到的音视频数据进行拼接处理时,可以采用现有技术中自由视点图像的拼接算法来实现,在此不再详述。
如此,通过对自由视点视频图像的确定,可以使得视频图像由原单视点的二维局限视频内容调整为三维立体视频内容,进而使得用户不需要依赖其他辅助设备,即可体验沉浸式、多角度的视频图像。
可选地,在本发明实施例中,观影视角切分规则包括:每间隔m°切分出一个视频图像,m为正数。
例如,如图2所示,m可以但不限于设置为15,也即:
0°至15°对应一个视频图像(可以称之为视频图像1),视频图像1存储于子服务器1中;
15°至30°对应一个视频图像(可以称之为视频图像2),视频图像2存储于子服务器2中;
30°至45°对应一个视频图像(可以称之为视频图像3),视频图像3存储于子服务器3中;
直至345°至360°对应一个视频图像(可以称之为视频图像N),视频图像N存储于子服务器N中。
当然,在实际情况中,在切分视频图像时,并不限于按照15°进行切分,m的设置可以根据自由视点服务器的访问量、访问速度、应用场景、以及子服务器的设置数量确定,在此并不限定。
可选地,在本发明实施例中,在接收视频交互请求之前,还包括:
在确定出自由视点视频图像时,确定包括观影视角和对应的视频图像的标识之间的对应关系的视频列表;
向发起客户端发送包括视频列表的消息;
其中,视频交互请求包括:第一视频图像的标识,且第一视频图像的标识为:发起客户端从视频列表中选择出的。
如此,使得自由视点服务器与发起客户端之间,仅发送视频列表即可,可以减少发送消息时所占用的资源、提高消息传输的效率。
对于视频列表而言,具体的形式可以但不限于表1所示。
表1
观影视角 | 视频图像的标识 |
0°-15° | XX001 |
15°-30° | XX002 |
... | ... |
345°-360° | XX00n |
表1中仅是以m为15为例示出的,但在实际情况中,m并不限于15,此处只是举例说明而已。
并且,视频图像的标识,可以设置为:数字、符号或数字和符号(如表1中所示)的组合,可以根据实际需要进行设置,在此并不限定。
具体地,在发起客户端收到视频列表时,发起客户端可以从视频列表中选择出所需要显示的某一观影视角对应的视频图像,假设:结合表1所示,需要选择的观影视角为20°时,那么对应的视频图像的标识应为XX002;
此时,发起客户端向自由视点服务器发送的视频交互请求中,可以包括该视频图像的标识,以便于自由视点服务器在接收到视频交互请求时,可以根据其中包括的视频图像的标识,确定出对应的视频图像存储在哪个子服务器中,进而从确定出的子服务器中提取出视频图像,发送至客户端。
其中,发起客户端在选择第一视频图像时,可以包括以下情况:
1、发起客户端随意地从视频列表中进行选择;
2、发起客户端根据各观影视角对应的视频图像所显示的内容进行选择;
例如,以视频交互为电商直播为例,发起客户端所处环境为:放置有多个装满商品的柜子的场景,为了使得其他客户端的用户首先可以浏览到更多的商品,发起客户端可以选择描述柜子的正面场景的视频图像作为第一视频图像。
可选地,在本发明实施例中,视角切换指令包括:第二观影视角对应的第二视频图像的标识;
其中,第二视频图像的标识为:在各客户端之间建立视频交互时,将视频列表分别发送至各客户端中除发起客户端之外的其他客户端,使得:任一客户端需要切换至第二观影视角时,该客户端根据第二观影视角从视频列表中选择出的。
当然,在实际情况中,在该客户端选择第二观影视角时,除了可以通过视频列表进行选择之外,还可以采用以下方式:
对于任一客户端(以下称之为客户端A)的使用者(简称为用户A),若客户端A具有触摸屏时,用户A可以通过在触摸屏上进行触摸滑动实现视角切换;
客户端A在接收到用户A的触摸滑动操作时,可以根据触摸滑动的程度,确定观影视角切换的角度;其中,触摸滑动的程度可以包括:滑动的距离、触摸的力度等;
客户端A再根据第一观影视角、以及观影视角切换的角度,确定第二观影视角。
说明一点,在采用这一方式时,对于客户端A而言并不需要视频列表,所以对于此种方式自由视点服务器并不需要向客户端A发送视频列表,从而,可以减少自由视点服务器与客户端A的交互次数,提高交互效率。
可选地,在本发明实施例中,根据视频交互请求,从预先确定出的自由视点视频图像中确定出第一视频图像,具体包括:
根据视频交互请求中包括的第一视频图像的标识,可以从自由视点视频图像中查找到对应的视频图像;
从查找到的对应的视频图像对应的子服务器中提取第一视频图像。
并且,从自由视点视频图像中确定出第二观影视角对应的第二视频图像,同样可以具体包括:
在视角切换指令包括第二视频图像的标识时,根据该第二视频图像的标识,可以从自由视点视频图像中查找到对应的视频图像,从查找到的对应的视频图像对应的子服务器中提取第二视频图像;
或者,在视角切换指令不包括第二视频图像的标识,但包括第二观影视角时,可以根据建立的视频列表确定第二观影视角对应的第二视频图像的标识;根据该第二视频图像的标识,可以从自由视点视频图像中查找到对应的视频图像,从查找到的对应的视频图像对应的子服务器中提取第二视频图像。
下面结合具体实施例,对视频交互的方法进行说明。
结合图3所示,以视频交互场景中,包括客户端A和客户端B两个客户端,且客户端A为发起者,视频交互场景为视频通话场景为例,以下步骤的执行者均为自由视点服务器。
S301、接收客户端A发送的视频通话请求,该视频通话请求中包括:客户端B的身份信息、以及客户端B的第一观影视角的第一视频图像的标识;
S302、从客户端B对应的自由视点视频图像中确定第一视频图像;
S303、向客户端B发送视频通话申请消息;
S304、接收客户端B反馈的确认消息;
S305、将第一视频图像发送至客户端A和客户端B,使得客户端A和客户端B均可以显示第一视频图像,完成客户端A和客户端B之间的视频通话的建立;
S306、接收客户端A发送的视角切换指令,该视角切换指令中包括从第一观影视角切换至第二观影视角的信息;
说明一点,发送视角切换指令的客户端除了可以是客户端A之外,还可以是客户端B。
S307、根据第二观影视角确定出第二视频图像,并分别发送至客户端A和客户端B,使得客户端A和客户端B将显示的第一视频图像切换至第二视频图像。
如果视频交互场景为多人观看同一自由视点视频时的视频通话场景时,具体过程与上述S301-S307的步骤类似,在此不再详述。
如果视频交互场景为直播场景时,具体过程可以包括:
过程1、接收客户端A发送的直播请求,该直播请求中包括:客户端A的第一观影视角的第一视频图像的标识;
过程2、从客户端A对应的自由视点视频图像中确定第一视频图像;
过程3、建立客户端A的直播间,向其他接入自由视点服务器的客户端展示直播间地址,并向客户端A反馈第一确认消息,且在该第一确认消息中包括第一视频图像,使得客户端A可以在直播间内显示第一视频图像;
过程4、接收客户端B发送的进入直播间的申请消息;
过程5、向客户端B反馈第二确认消息,并在第二确认消息中包括第一视频图像,使得客户端B进入至直播间,并显示第一视频图像;
过程6、接收客户端B发送的视角切换指令,该视角切换指令中包括从第一观影视角切换至第二观影视角的信息;
说明一点,发送视角切换指令的客户端除了可以是客户端B之外,还可以是客户端A。
过程7、根据第二观影视角确定出第二视频图像,并分别发送至客户端A和客户端B,使得客户端A和客户端B将显示的第一视频图像切换至第二视频图像。
当然,在实际情况中,在上述过程7中,还可以仅将第二视频图像发送至客户端B,使得客户端B显示第二视频图像,而客户端A依然显示第一视频图像。
如此,在加入直播间的客户端较多时,若每个客户端均调整观影视角时,会导致直播间内的视频图像的频繁切换,影响其他的客户端的观看感受和观看效果,所以,可以设置为仅切换自身客户端显示的图像,以避免出现频繁切换的问题。
基于同一发明构思,本发明实施例提供了一种自由视点服务器,该自由视点服务器的实现原理与前述视频交互的方法的实现原理类似,该自由视点服务器的具体实施方式可参见前述视频交互的方法的具体实施例,重复之处不再赘述。
具体地,本发明实施例提供的一种自由视点服务器,如图4所示,可以包括:
存储器401,被配置为存储程序指令;
处理器402,被配置为调用存储器401中存储的程序指令,按照获得的程序执行:
接收视频交互请求;其中,视频交互请求为:多个客户端中视频交互的发起客户端发送的;视频交互请求包括:视频交互对象、以及第一观影视角对应的第一视频图像;
根据视频交互请求,从预先确定出的自由视点视频图像中确定出第一视频图像,并在各客户端之间建立视频交互时,将第一视频图像发送至至少部分客户端,以使至少部分客户端均显示第一视频图像;
在接收到包括从第一观影视角切换至第二观影视角的信息的视角切换指令时,从自由视点视频图像中确定出第二观影视角对应的第二视频图像,并发送至发起视角切换指令的客户端,以使发起视角切换指令的客户端显示第二视频图像。
可选地,在本发明实施例中,自由视点视频图像包括:按照预设的观影视角切分规则,切分出的多个观影视角对应的视频图像。
其中,可选地,上述内容提及的各子服务器可以对应于存储器中的各存储区域,也即:在存储器中划分有多个存储区域,在不同的存储区域存储有切分后的不同的视频图像;
或者,上述内容提及的各子服务器还可以为独立于存储器而存在,也即:在自由视点服务器中除了包括存储器和处理器之外,还包括多个子服务器。
当然,在实际情况中,子服务器和存储器的设置关系,可以根据实际需要进行设置,在此并不限定。
基于同一发明构思,本发明实施例提供了一种自由视点控制系统,如图5所示,包括:如本发明实施例提供的上述自由视点服务器501。
可选地,在本发明实施例中,如图6所示,还包括:多个音视频采集设备502;
音视频采集设备502,被配置为:
采集音视频数据,并将采集到的音视频数据发送至自由视点服务器501,使得:自由视点服务器501对采集到的音视频数据进行处理后,得到自由视点视频图像,并在多个客户端503之间建立视频交互,且接收到任一客户端503发送视角切换指令时,从自由视点视频图像中确定出待切换的观影视角对应的视频图像,并至少提供至发起视角切换指令的客户端503。
其中,可选地,各音视频采集设备502在进行数据采集时,可以同时进行数据采集,以便于后续在进行处理后,得到自由视点视频图像。
说明一点,可选地,每一个音视频采集设备可以称之为一个视点,若该自由视点控制系统不支持目标跟踪显示时,每个视点对应一个观影视角;若该自由视点控制系统支持目标跟踪显示时,每个视点可以具有多个观影视角。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种视频交互的方法,其特征在于,该方法包括:
接收视频交互请求;其中,所述视频交互请求为:多个客户端中所述视频交互的发起客户端发送的;所述视频交互请求包括:视频交互对象、以及第一观影视角对应的第一视频图像;
根据所述视频交互请求,从预先确定出的自由视点视频图像中确定出所述第一视频图像,并在各所述客户端之间建立所述视频交互时,将所述第一视频图像发送至至少部分客户端,以使所述至少部分客户端均显示所述第一视频图像;
在接收到包括从所述第一观影视角切换至第二观影视角的信息的视角切换指令时,从所述自由视点视频图像中确定出所述第二观影视角对应的第二视频图像,并发送至发起所述视角切换指令的客户端,以使发起所述视角切换指令的客户端显示所述第二视频图像。
2.如权利要求1所述的方法,其特征在于,所述自由视点视频图像包括:按照预设的观影视角切分规则,切分出的多个观影视角对应的视频图像。
3.如权利要求2所述的方法,其特征在于,切分出的各所述观影视角对应的视频图像在不同的存储位置分别进行存储。
4.如权利要求2所述的方法,其特征在于,所述自由视点视频图像具体采用以下方式确定:
获取多个音视频采集设备采集到的所述客户端所处环境的音视频数据;
对获取到的音视频数据进行拼接处理,得到所述自由视点视频图像;
按照所述观影视角切分规则,将所述自由视点视频图像切分成多个观影视角对应的视频图像。
5.如权利要求1-4任一项所述的方法,其特征在于,所述观影视角切分规则包括:每间隔m°切分出一个视频图像,m为正数。
6.如权利要求1-4任一项所述的方法,其特征在于,在接收视频交互请求之前,还包括:
在确定出所述自由视点视频图像时,确定包括观影视角和对应的视频图像的标识之间的对应关系的视频列表;
向所述发起客户端发送包括所述视频列表的消息;
其中,所述视频交互请求包括:所述第一视频图像的标识,且所述第一视频图像的标识为:所述发起客户端从所述视频列表中选择出的。
7.如权利要求6所述的方法,其特征在于,所述视角切换指令包括:所述第二观影视角对应的所述第二视频图像的标识;
其中,所述第二视频图像的标识为:在各所述客户端之间建立所述视频交互时,将所述视频列表分别发送至各所述客户端中除所述发起客户端之外的其他客户端,使得:任一所述客户端需要切换至所述第二观影视角时,该所述客户端根据所述第二观影视角从所述视频列表中选择出的。
8.一种自由视点服务器,其特征在于,包括:
存储器,被配置为存储程序指令;
处理器,被配置为调用所述存储器中存储的所述程序指令,按照获得的程序执行:
接收视频交互请求;其中,所述视频交互请求为:多个客户端中视频交互的发起客户端发送的;所述视频交互请求包括:视频交互对象、以及第一观影视角对应的第一视频图像;
根据所述视频交互请求,从预先确定出的自由视点视频图像中确定出所述第一视频图像,并在各所述客户端之间建立所述视频交互时,将所述第一视频图像发送至至少部分客户端,以使所述至少部分客户端均显示所述第一视频图像;
在接收到包括从所述第一观影视角切换至第二观影视角的信息的视角切换指令时,从所述自由视点视频图像中确定出所述第二观影视角对应的第二视频图像,并发送至发起所述视角切换指令的客户端,以使发起所述视角切换指令的客户端显示所述第二视频图像。
9.如权利要求8所述的自由视点服务器,其特征在于,所述自由视点视频图像包括:按照预设的观影视角切分规则,切分出的多个观影视角对应的视频图像。
10.一种自由视点控制系统,其特征在于,包括:如权利要求8或9所述的自由视点服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010955334.XA CN113489935A (zh) | 2020-09-11 | 2020-09-11 | 一种视频交互方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010955334.XA CN113489935A (zh) | 2020-09-11 | 2020-09-11 | 一种视频交互方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113489935A true CN113489935A (zh) | 2021-10-08 |
Family
ID=77932582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010955334.XA Pending CN113489935A (zh) | 2020-09-11 | 2020-09-11 | 一种视频交互方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113489935A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013151212A1 (ko) * | 2012-04-02 | 2013-10-10 | Jo Hyun-Geun | 영상 통화 시스템에서의 뷰 포인트 원격 제어 방법 |
CN108124193A (zh) * | 2017-12-25 | 2018-06-05 | 中兴通讯股份有限公司 | 视频处理方法及装置 |
CN109089129A (zh) * | 2018-09-05 | 2018-12-25 | 南京爱布谷网络科技有限公司 | 一种稳健的多视频捆绑直播系统及其方法 |
KR20200045981A (ko) * | 2018-10-23 | 2020-05-06 | 주식회사 케이티 | 전방위 카메라를 이용한 영상통화 수행 방법, 장치 및 시스템 |
US20200177929A1 (en) * | 2018-11-30 | 2020-06-04 | Korea Electronics Technology Institute | Method and apparatus for providing free viewpoint video |
CN111447462A (zh) * | 2020-05-20 | 2020-07-24 | 上海科技大学 | 基于视角切换的视频直播方法、系统、存储介质及终端 |
CN111479163A (zh) * | 2020-05-14 | 2020-07-31 | 蔡萍萍 | 应用于电商直播的图像处理方法及用户终端 |
CN111629225A (zh) * | 2020-07-14 | 2020-09-04 | 腾讯科技(深圳)有限公司 | 虚拟场景直播的视角切换方法、装置、设备及存储介质 |
CN111641871A (zh) * | 2020-05-29 | 2020-09-08 | 广州华多网络科技有限公司 | 直播视频的展示方法、装置、终端和可读存储介质 |
-
2020
- 2020-09-11 CN CN202010955334.XA patent/CN113489935A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013151212A1 (ko) * | 2012-04-02 | 2013-10-10 | Jo Hyun-Geun | 영상 통화 시스템에서의 뷰 포인트 원격 제어 방법 |
CN108124193A (zh) * | 2017-12-25 | 2018-06-05 | 中兴通讯股份有限公司 | 视频处理方法及装置 |
CN109089129A (zh) * | 2018-09-05 | 2018-12-25 | 南京爱布谷网络科技有限公司 | 一种稳健的多视频捆绑直播系统及其方法 |
KR20200045981A (ko) * | 2018-10-23 | 2020-05-06 | 주식회사 케이티 | 전방위 카메라를 이용한 영상통화 수행 방법, 장치 및 시스템 |
US20200177929A1 (en) * | 2018-11-30 | 2020-06-04 | Korea Electronics Technology Institute | Method and apparatus for providing free viewpoint video |
CN111479163A (zh) * | 2020-05-14 | 2020-07-31 | 蔡萍萍 | 应用于电商直播的图像处理方法及用户终端 |
CN111447462A (zh) * | 2020-05-20 | 2020-07-24 | 上海科技大学 | 基于视角切换的视频直播方法、系统、存储介质及终端 |
CN111641871A (zh) * | 2020-05-29 | 2020-09-08 | 广州华多网络科技有限公司 | 直播视频的展示方法、装置、终端和可读存储介质 |
CN111629225A (zh) * | 2020-07-14 | 2020-09-04 | 腾讯科技(深圳)有限公司 | 虚拟场景直播的视角切换方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
胡彬彬;王晓东;王腾飞;蒋刚毅;: "多视点视频系统用户交互技术研究", 华中科技大学学报(自然科学版), no. 1 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112470482B (zh) | 视频播放方法、装置、终端及存储介质 | |
US20240214540A1 (en) | Method for transmitting panoramic videos, terminal and server | |
CN109104641B (zh) | 一种多主播直播间赠送虚拟礼物的方法及装置 | |
CN107360442A (zh) | 一种直播方法、装置及电子设备 | |
CN111343476A (zh) | 视频共享方法、装置、电子设备及存储介质 | |
CN110166764B (zh) | 虚拟现实vr直播中的视角同步方法及装置 | |
CN108696489B (zh) | 媒体信息的播放方法和装置 | |
CN111586452A (zh) | 用于跨设备互动的方法及装置、播放设备 | |
CN104185040A (zh) | 应用同步方法、应用服务器及终端 | |
CN108076379B (zh) | 多屏互动实现方法及装置 | |
CN111698521A (zh) | 网络直播方法和装置 | |
CN108401163B (zh) | 一种实现vr直播的方法、装置及ott业务系统 | |
CN113259764A (zh) | 视频的播放方法、播放装置、电子设备及系统 | |
EP2437512B1 (en) | Social television service | |
CN109389550B (zh) | 数据处理方法、装置和计算设备 | |
CN113784156A (zh) | 一种直播方法、装置、电子设备和存储介质 | |
CN113438550B (zh) | 一种视频播放方法、视频会议方法、直播方法及相关装置 | |
CN111083504B (zh) | 互动方法、装置、设备 | |
CN113489935A (zh) | 一种视频交互方法及设备 | |
CN110198457B (zh) | 视频播放方法及其设备、系统、存储介质、终端、服务器 | |
CN107333172B (zh) | 一种导播系统的导播方法及装置、电子设备 | |
CN113099281B (zh) | 视频互动方法、装置、存储介质及终端 | |
CN115686410A (zh) | 多视角视频显示系统 | |
EP2629512A1 (en) | Method and arrangement for generating and updating A composed video conversation | |
EP4002860A1 (en) | Method and device for processing public event by means of key distribution, and set top box |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |