CN106254893A - 主播类互动平台客户端场景切换方法及其装置、客户端 - Google Patents
主播类互动平台客户端场景切换方法及其装置、客户端 Download PDFInfo
- Publication number
- CN106254893A CN106254893A CN201511025647.0A CN201511025647A CN106254893A CN 106254893 A CN106254893 A CN 106254893A CN 201511025647 A CN201511025647 A CN 201511025647A CN 106254893 A CN106254893 A CN 106254893A
- Authority
- CN
- China
- Prior art keywords
- scene
- information
- parallax
- client
- main broadcaster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000003993 interaction Effects 0.000 title claims abstract description 44
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000012790 confirmation Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 11
- 230000008676 import Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 241000197727 Euscorpius alpha Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000737241 Cocos Species 0.000 description 1
- 244000283207 Indigofera tinctoria Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003197 gene knockdown Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
- H04N21/2541—Rights Management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种主播类互动平台客户端场景切换方法及其装置、客户端,其中,一种主播类互动平台客户端场景切换方法,包括:在当前场景下,向服务器请求场景列表,接收服务器返回的场景列表,并从所述场景列表中选择切换场景信息,在获得切换场景权限时,向服务器请求切换场景信息,接收服务器返回的场景信息,根据所述返回的场景信息对所述确认切换场景的客户端当前场景进行切换,或,根据所述返回的场景信息对与所述主播类互动平台连接的所有客户端的当前场景进行切换。本发明实现了主播类互动平台客户端场景切换功能,用户可以在观看过程中随意切换场景,提高了用户参与度,提升了用户体验。
Description
技术领域
本发明涉及媒体播放技术领域,尤其涉及主播类互动平台客户端场景切换方法及装置、客户端。
背景技术
目前主播直播类的互动平台均是在2D平面内,无立体感。目前的直播场景一般都是根据主播的直播环境而定,除非主播改变其所处场所及在场所中的位置,比如,主播由客厅转移至卧室,或由客厅的南侧转移至北侧……以更换直播环境,否则用户在此主播的直播间看到的都是同样的场景,单一乏味。
发明人在研究中发现,目前现有技术中用户不可以根据喜好随意切换场景,用户的参与度不高,而且,还不能对主播平台的所有客户端进行场景切换。
发明内容
本发明提供主播类互动平台客户端场景切换方法及其装置、客户端,实现了主播类互动平台客户端场景切换功能,用户可以在观看过程中不仅可以随意切换自己的场景,还可以对主播平台连接的其他客户端的场景进行切换,提高了用户参与度,提升了用户体验。
本发明实施例提供一种主播类互动平台客户端场景切换方法,其特征在于,包括:
在当前场景下,主播互动平台的任意一个或多个客户端向服务器请求场景列表;
所述请求场景列表的客户端接收服务器返回的场景列表,并从所述场景列表中选择切换场景信息;
所述请求场景列表的客户端中的一个客户端在获得切换场景权限时,向服务器请求切换场景信息;
主播互动平台的任意一个或多个客户端在确认切换场景时,接收服务器返回的场景信息,
根据所述返回的场景信息对所述确认切换场景的客户端当前场景进行切换;
或,根据所述返回的场景信息对与所述主播类互动平台连接的所有客户端的当前场景进行切换。
可选地,所述向服务器请求场景列表,具体为:
向服务器发送场景列表请求信息,所述场景列表请求信息中包含客户端标识。
可选地,所述请求场景列表的客户端中的一个客户端在获得切换场景权限时,向服务器请求切换场景信息,具体包括:
根据请求场景列表的客户端的付费信息,确定获得切换场景权限的客户端,
获得切换权限的客户端向服务器发送切换场景请求信息,所述切换场景请求信息中包含场景显示位置、场景显示尺寸和场景标识,以使得所述服务器根据所述切换场景请求信息返回场景信息。
可选地,所述根据所述返回的场景信息对所述请求场景列表的客户端中确认切换场景的客户端当前场景进行切换,具体为:
将所述返回的场景信息匹配各确认切换场景的客户端的显示屏,确定显示尺寸,并加载在显示位置;或者
所述根据所述返回的场景信息对与所述主播类互动平台连接的客户端的当前场景进行切换,具体为:
将所述返回的场景信息匹配所述主播类互动平台连接的的所有客户端的显示屏,确定显示尺寸,并加载在显示位置。
可选地,所述方法还包括:
对主播信息进行处理,
将切换后场景信息与经处理后的主播信息进行融合,获得客户端呈现内容,其中,所述切换场景信息包括切换场景图像的视差信息。
可选地,所述方法所述对主播信息进行处理,具体包括:
对主播信息进行抠图处理以获取待处理前景图像;
对所述待处理前景图像进行视差处理,以获取所述待处理前景图像的初始视差信息;
获取所述待处理前景图像的参考视差信息、切换场景图像的视差信息;所述切换场景图像的视差信息包括:切换场景图像零视差深度;
获取所述待处理前景图像在位于拍摄零视差深度时的基准视差,其中所述拍摄零视差深度等于所述切换场景图像零视差深度;
根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差、所述初始视差信息获取所述待处理前景图像的视差偏移量;根据所述视差偏移量对所述待处理前景图像进行调整。
可选地,所述对主播信息进行抠图处理以获取待处理前景图像,具体包括:
获取主播场景图像的背景统计信息,所述背景统计信息包括所述主播场景中第一色彩区域在色彩空间的背景均值和标准差值;
根据所述背景均值和标准差值,对所述主播场景图像进行抠图处理,得到所述主播场景图像的待处理前景图像信息。
可选地,所述对待处理前景图像进行视差处理,以获取待处理前景图像的初始视差信息具体为:
获取当前主播场景图像中人物的第一掩码图和第二掩码图;
对所述第一掩码图和所述第二掩码图分别进行降维处理,得到与所述第一掩码图对应的第一行矩阵以及与所述第二掩码图对应的第二行矩阵;
在所述第二行矩阵中,确定与所述第一行矩阵中每个抽样点对应的相似点;
利用所述抽样点与所述相似点的视差,确定所述当前主播场景图像中人物的初始视差信息。
可选地,所述方法还包括:创建三维场景,所述创建三维场景具体包括:
由二维图片合成三维场景,
直接拍摄获得三维场景;或
导入模型创造三维场景。
可选地,所述方法还包括:将新场景上传至服务器,服务器将新场景写入场景库中,并对场景库进行更新。
本发明实施例提供一种主播类互动平台客户端场景切换装置,包括:
发送单元,用于在当前场景下向服务器请求场景列表,以及在获得切换场景权限时向服务器请求切换场景信息,
接收单元,用于接收服务器返回的场景列表,以及在确认切换场景时接收服务器返回的场景信息,
选择单元,用于从所述场景列表中选择切换场景信息,
切换单元,用于根据所述返回的场景信息对当前场景进行切换。
可选地,所述发送单元具体用于:
向服务器发送场景列表请求信息,所述场景列表请求信息中包含客户端标识;以及,
在获得切换权限时向服务器发送切换场景请求信息,所述切换场景请求信息中包含场景显示位置、场景显示尺寸和场景标识,以使得所述服务器根据所述切换场景请求信息返回场景信息。
可选地,所述切换单元具体用于:
将所述返回的场景信息匹配客户端的显示屏,确定显示尺寸,并加载在显示位置。
可选地,所述装置还包括:
融合单元,用于将切换后场景信息与主播信息进行融合,获得客户端呈现内容。
本发明实施例还一种主播类互动平台客户端,包括:
中央处理器,用于在当前场景下,向服务器请求场景列表,接收服务器返回的场景列表,并从所述场景列表中选择切换场景信息,在获得切换场景权限时,向服务器请求切换场景信息,在确认切换场景时,接收服务器返回的场景信息,根据所述返回的场景信息对当前场景进行切换,
显示屏,用于显示所述场景。
可选地,所述客户端为移动用户终端、个人计算机或三维显示设备。
在本发明实施例中,通过在当前场景下向服务器请求场景信息,并根据获得切换场景权限客户端请求的切换场景信息对当前场景进行切换,实现了主播类互动平台客户端场景切换功能,用户可以在观看过程中随意切换自己的场景,还可以对主播平台连接的其他客户端的场景进行切换,提高了用户参与度,提升了用户体验。
附图说明
图1为本发明实施例主播互动平台结构示意图;
图2为本发明实施例主播类互动平台客户端场景切换方法流程示意图;
图3为本发明实施例主播平台系统中客户端场景切换过程示意图;
图4为本发明实施例管理员更新场景库的流程图;
图5为本发明实施例供应商更新场景库的流程图;
图6为本发明实施例供应商与场景管理后台架构图;
图7为本发明实施例一种主播类互动平台客户端场景切换装置结构示意图;
图8为本发明实施例一种主播类互动平台客户端结构示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
需要说明的是,如果不冲突,本发明实施例以及实施例中的各个特征可以相互结合,均在本发明的保护范围之内。另外,虽然在装置示意图中进行了功能单元划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的单元划分,或流程图中的顺序执行所示出或描述的步骤。
在阐述本发明实施例之前,为更好地理解本发明实施例,对本发明先作简要说明。本发明实施例中,主播类互动平台通常包括客户端、服务器、主播端及场景管理后台,场景通过场景管理后台上传至服务器,在切换场景过程中,由客户端向服务器请求场景信息,并根据服务器返回的场景信息切换场景。
在本发明实施例中,主播平台下可以包含多个客户端,这些客户端可以请求切换自己的场景,也可以请求切换主播平台连接的客户端的场景,在对主播平台连接的其他客户端场景的切换时,通常需要由各个客户端进行竞价来获得切换权限,比如,主播发出允许场景切换的通知,各客户端收到通知后,由用户输入为该时段切换场景愿意支付的费用,服务器在限制时间内收到的最高价格即为成交价格,如有多位用户提交成交价格则最先提交该价格的用户获得切换场景权利。另外,在客户端获得切换权限后,是否对其他客户端的场景进行切换,可以由服务器向主播平台下所有正在使用的客户端发送场景切换通知,并由各客户端返回是否确认切换场景的消息,如确认切换场景,则对其当前场景进行切换,也可以直接通过主播端或服务器切换场景,此时,与主播端及服务器连接的所有客户端的当前场景将被切换。
在本发明实施例中,为了实现主播内容向客户端进行传送,需要包括多种类型的服务器参与,图1为主播互动平台结构示意图。如图1所示,主播的视频流转输至主播端,比如,PC端,由PC端经过软件的人像抠图处理后,将主播的视频流传输至上传服务器,并经上传服务器传输至转码服务器、源服务器、边缘服务器;然后由边缘服务器将视频流与场景合成,传输至客户端,最后由客户端将视频流与场景融合后呈现给用户。
在本发明所有实施例中,客户端包括诸如个人计算机、PDA、平板电脑、MP4、智能手机、三维显示盒子及智能电视等用户终端设备。
下面结合附图对本发明实施例作进一步阐述。
图2为本发明实施例主播类互动平台客户端场景切换方法流程示意图,如图2所示,本发明实施例的方法,包括以下步骤:
S21,在当前场景下,主播互动平台的任意一个或多个客户端向服务器请求场景列表。
在本发明实施例中,当前已有显示场景的条件下,用户可以通过客户端上的场景列表功能,向服务器发送场景列表的请求信息,其中,场景列表的请求信息中包含有客户端标识,客户端标识可以用于服务器返回场景列表时标识场景列表的接收方,所述客户端可以为主播互动平台上的任意一个或多个客户端。
S22,所述请求场景列表的客户端接收服务器返回的场景列表,并从所述场景列表中选择场景信息。
在本发明实施例中,服务器接收到主播互动平台的任意一个或多个客户端发送的场景列表请求信息后,对场景列表请求信息进行处理,并将客户端请求的场景列表返回给请求场景列表的客户端。请求场景列表的客户端接收到相应场景列表信息后,进行显示,用户可以在显示的场景列表中选择某一场景。
S23,所述请求场景列表的客户端中的一个客户端在获得切换场景权限时,向服务器请求切换场景信息。
在本发明实施例中,可以根据请求场景列表的客户端的付费信息,确定获得切换场景权限的客户端,比如,服务器可以为某时段切换场景确定支付的费用,由客户端反馈愿意支付的费用,服务器在限制时间内收到的最高价格即为成交价格,如有多位用户的客户端分别提交成交价格则最先提交该价格的客户端获得切换场景权限。
获得切换权限的客户端根据选择的切换场景信息,向服务器发送场景请求信息,场景请求信息中包含场景显示位置、场景显示尺寸和场景标识,以使得所述服务器根据所述切换场景请求信息返回场景信息。
S24,主播互动平台的任意一个或多个客户端在确认切换场景时,接收服务器返回的场景信息。
在本发明实施例中,服务器接收到切换场景请求信息后将向主播平台上正在使用主播服务的客户端发送场景切换通知,各客户端收到服务器的场景切换通知后,将确认是否进行场景切换,如确认进行场景切换,则向服务器返回确认场景切换消息,服务器收到确认场景切换消息后,将根据场景切换请求信息选择场景信息返回给确认切换场景的客户端,若当前客户端已有选择场景标识信息,则从服务器获取的信息包括场景显示位置、场景显示尺寸等信息,不再重复获取场景标识已有信息。
在本发明实施例中,服务器也可以直接对与主播平台连接的所有客户端进行当前场景切换,在这种情况下,服务器可以直接给与主播平台连接的所有客户端发送场景信息。
S25,根据所述返回的场景信息对所述确认切换场景的客户端当前场景进行切换,或,根据所述返回的场景信息对与所述主播类互动平台连接的所有客户端的当前场景进行切换。
在本发明实施例中,确认切换场景的客户端接收服务器返回的场景信息,匹配客户端显示屏,确定显示尺寸,加载在显示位置,比如,对于同一场景信息,不同的客户端由于其显示屏大小不同,则需要进行相应的匹配处理,以适应在不同的客户端可以进行正常显示。在另一实施例中,是要对所有客户端场景进行切换,则会判断当前与该主播类互动平台连接的客户端的显示尺寸类型,客户端对应接收与其客户端的显示尺寸类型匹配的切换场景,加载在显示位置。也即,切换场景匹配各与该主播互动平台连接的所有客户端。
在本发明实施例中,通过在当前场景下向服务器请求场景信息,并根据获得切换场景权限客户端请求的切换场景信息对当前场景进行切换,实现了主播类互动平台客户端场景切换功能,用户可以在观看过程中随意切换自己的场景,还可以对主播平台其他部分客户端或全部的场景进行切换,提高了用户参与度,提升了用户体验。
下面结合主播平台系统结构及上述切换方法进行具体阐述,如图3所示为主播平台系统中客户端场景切换过程示意图。如图3所示,场景切换的具体流程如下:
1、用户选择场景列表功能,
2、由客户端向场景库发出场景列表的请求信息,包括发出请求的客户端标识等;
3、场景库将相应的场景列表信息返回给客户端;
4、客户端接收并向用户显示相应的场景列表信息;
5、用户在场景列表中选择某一场景,并在客户端完成相应费用支付;
6、客户端向服务器请求发布场景切换通知;
7、服务器向所有正在使用主播功能的客户端发布场景切换通知,
8、由各用户的客户端返回发布状态及切换状态,以确认是否切换;
各客户端确认切换场景后,将接收服务器返回的场景信息,并根据所述返回的场景信息对当前场景进行切换。
可选地,在本发明实施例中,客户端场景切换方法中,所述方法还可以包括:对主播信息进行处理,将切换后场景信息与经处理后的主播信息进行融合,获得客户端呈现内容,其中,所述切换场景信息包括切换场景图像的视差信息。
在本发明实施例中,对主播信息进行处理主要由服务器(比如,转码服务器)或主播端进行处理,下面以场景切换中服务器对主播信息进行处理为例,对本发明实施例作进一步阐述。
其中,所述对主播信息进行处理,具体包括:
对主播信息进行抠图处理以获取待处理前景图像;
对所述待处理前景图像进行视差处理,以获取所述待处理前景图像的初始视差信息;
获取所述待处理前景图像的参考视差信息、切换场景图像的视差信息;所述切换场景图像的视差信息包括:背景零视差深度;
获取所述待处理前景图像在位于拍摄零视差深度时的基准视差,其中所述拍摄零视差深度等于所述切换场景的背景零视差深度;
根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差、所述初始视差信息获取所述待处理前景图像的视差偏移量;根据所述视差偏移量对所述待处理前景图像进行调整。
在本发明实施例中,对主播信息进行抠图处理以获取待处理前景图像,具体包括:
1)获取主播场景图像的背景统计信息,所述背景统计信息包括所述主播场景中第一色彩区域在色彩空间的背景均值和标准差值;
具体地,获取主播场景图像的背景统计信息,具体包括:服务器或提取主播场景图像中的第一色彩区域;服务器确定第一色彩区域在色彩空间的背景均值和标准差值。
其中,服务器提取主播场景图像中的第一色彩区域,具体包括:服务器确定主播场景图像中每个像素点的第一色彩值;判断第一色彩值是否超过预设的色彩阈值;如果第一色彩值超过色彩阈值,则服务器确定第一色彩值表针的像素点属于第一色彩区域,并对第一色彩区域进行提取。
其中,第一色彩值满足下述公式一:
其中,所述r,g,b具体为所述像素点在所述色彩空间中的,红、绿、蓝通道的属性值。
需要说明的是,上述计算第一色彩值中用到的g算子为RGB色彩空间中绿色通道属性值与其他两个通道属性值的差值的乘积,或对该乘积的正相关变换。
更进一步地,服务器在提取主播场景图像中的第一色彩区域后,确定第一色彩区域在色彩空间的背景均值和标准差值。在本发明实施例中,所述确定第一色彩区域在色彩空间的背景均值和标准差值,也即是服务器对第一色彩区域在色彩空间的背景均值和标准差值进行统计。
统计过程的主要作用是对第一色彩区域的颜色分布进行统计,以便后续步骤进行抠图处理。统计结果是第一色彩区域在色彩空间中每个通道的背景均值和标准差值。其中,作为示例而非限定,可采用多个数值累加后取平均的计算方式统计背景均值;采用现有的方差公式统计标准差值。
在本发明实施例中用于统计背景均值和标准差值的色彩空间具体是CIE LAB色彩空间。所述CIE LAB色空间是基于一种颜色不能同时既是蓝又是黄这个理论而建立。即,单一数值可用于描述红/绿色及黄/蓝色特征。当一种颜色用CIE L*a*b*时,L*表示明度值;a*表示红/绿及b*表示黄/蓝值。
在本发明实施例中,所述第一色彩区域具体是主播场景图像中的绿色区域;所述第一色彩值具体是像素点的绿值;所述色彩阈值具体是绿色阈值。
需要说明的是,服务器可无需在主播场景图像的原分别率上获取背景均值和标准差值,服务器可对主播场景图像进行缩放后,再获取背景均值和标准差值。在对主播场景图像进行缩放后,还可进一步节省服务器的计算量。
在本发明实施例中,主播场景图像可以为至少一张图片;或者为视频数据中的一帧图像或者多帧图像。
2)根据所述背景均值和标准差值,对所述主播场景图像进行抠图处理,得到所述主播场景图像的前景图像信息;
具体地,服务器获取背景均值和标准差值后,对主播场景图像进行抠图处理,得到主播场景图像的前景图像信息。在本发明实施例中,服务器得到的前景图像信息具体为主播场景图像中的人物图像信息。
进一步地,在本发明实施例中,前景图像信息包括主播场景图像中像素点的标准化前景分数值;
服务器根据背景均值和标准差值,对主播场景图像进行抠图处理,得到主播场景图像的前景图像信息,具体包括:服务器确定主播场景图像的每个像素点与背景均值之间的色彩距离值(在本发明实施例中,所述色彩据距离值即为高斯色彩距离值);服务器对色彩距离值进行映射处理,得到标准化前景分数值。
更进一步地,服务器确定主播场景图像的每个像素点与背景均值之间的色彩距离值,具体包括:
所述色彩距离值满足下述公式二:
其中,所述cl,ca,cb分别为l,a,b通道的加权因子,cl,ca,cb≥0且cl+ca+cb=1;所述n为固定系数,n=1,2,3;所述(l,a,b)为所述像素点在所述色彩空间中的l,a,b属性值;所述为所述背景均值;所述(δl,δa,δb)为所述标准差值。
更进一步地,服务器对色彩距离值进行映射处理,得到标准化前景分数值,具体包括:
服务器确定像素点的色彩距离值后,将色彩距离值映射到映射区间内,所述映射区间为[0,1]。在本发明实施例中,具体的映射关系可以是线性映射或非线性映射。在一个例子中,以线性映射进行说明,设定色彩距离值两端阈值,即最大阈值th和最小阈值tl,判断色彩距离值是否超过最大阈值th,且是否不超过最小阈值tl;如果色彩距离值不超过最小阈值tl,则服务器将该色彩距离值映射为0;如果色彩距离值超过最大阈值th,则服务器将该色彩距离值映射为1;如果色彩距离值超过最小阈值tl且不超过最大阈值th,则服务器将该色彩距离值映射到[0,1]的区间内。
需要说明的是,在本发明实施例中,服务器确定色彩距离值是在色彩空间中进行的,在本步骤中所使用的色彩空间与步骤1)中服务器获取背景统计信息时所使用的色彩空间相同,均使用CIE LAB色彩空间。该色彩空间适合用于通过数字化的方式表述颜色之间的差异。通过CIELAB色彩空间计算得到的数值,其值与人眼感觉一致,且计算结果也较为准确。
其中,在实际应用中,还可在CIE LAB色彩空间中计算第一色彩值;在RGB色彩空间中统计背景均值和标准差值;在RGB色彩空间中计算标准化前景分数值。也即是,在前述步骤1)以及步骤2)中,将CIE LAB色彩空间与RGB色彩空间进行相互进行。可以理解的是,当色彩空间互换时,其相应的计算公式也需相继进行调整,在此不再赘述。
在本发明实施例中,所述对待处理前景图像进行视差处理,以获取待处理前景图像的初始视差信息具体为:
1)获取当前主播场景图像中人物的第一掩码图和第二掩码图;
具体地,在演播室内(当前场景),摄像头(可为双目摄像头,或者两个普通摄像头)采集主播的视音频信息。摄像头将采集的视音频信息传输至服务器。
可以理解的是,主播在录制视音频信息时,主播背后的背景布置为单一色彩幕布,其中作为示例而非限定,幕布颜色为绿幕或者蓝幕,在本发明实施例中,背景布置为绿幕,为了后续的计算准确性,主播穿着非绿色服装。
服务器对摄像头采集的视图(左视图、右视图)进行处理,利用现有绿幕抠图技术,将主播图像从左右视图中抠出,得到当前主播场景图像中人物的第一掩码图和第二掩码图。
在本发明实施例中,左视图进行抠图处理后得到第一掩码图,右视图进行抠图处理后得到第二掩码图,在实际应用中也可是右视图进行抠图处理后得到第一掩码图,左视图进行抠图处理后得到第二掩码图,在此不做限定。
所述绿幕抠图技术具体为,对于某一视图中的每一像素点,根据该像素点的颜色值,判断该像素点是否为前景,并计算出该像素点的颜色值占前景颜色值的百分比,计算得到的百分比也即是该像素点的alpha值,通过对每一像素点计算alpha值,获取某一视图对应的alpha掩码图。
2)对所述第一掩码图和所述第二掩码图分别进行降维处理,得到与所述第一掩码图对应的第一行矩阵以及与所述第二掩码图对应的第二行矩阵;
具体地,服务器分别对第一掩码图和第二掩码图进行降维处理,得到与第一掩码图对应的第一行矩阵以及与第二掩码图对应的第二行矩阵。
进一步地,在一种实现方式中,服务器对掩码图进行降维处理,得到与掩码图对应的行矩阵,具体包括:根据掩码图,服务器获取掩码图中每个像素点的掩码值(即alpha值);利用每个像素点的掩码值,服务器计算掩码图中每列像素点的掩码总值(即累计像素点掩码值)、或掩码均值(即累计像素点掩码值后取平均值)、或掩码中位数值(即累计像素点掩码值后,对掩码值进行排序,取掩码中间值);服务器将掩码总值、或掩码均值或掩码中位数值作为行矩阵的对应列。
在本发明实施例中,服务器可针对每列选取计算不同的值,例如,服务器计算第一列像素点的掩码总值;第二列计算像素点的掩码均值;第三列计算像素点的掩码中位数值,或者,每列计算相同的值,在此不做限定。
在另一种实现方式中,服务器对掩码图进行降维处理,得到与掩码图对应的行矩阵,具体包括:根据掩码图,服务器获取掩码图中每个像素点的掩码值(即alpha值);服务器判断掩码图中属于同一列像素点的掩码值是否大于掩码阈值;如果掩码值大于掩码阈值,则服务器计算大于掩码阈值的属于同一列像素点的纵坐标总值(即累计像素点的纵坐标值),或计算大于所述掩码阈值的属于同一列像素点的纵坐标均值(即累计像素点的纵坐标值后取平均值),或计算大于所述掩码阈值的属于同一列像素点的纵坐标中位数值(即累计像素点的纵坐标值后,对纵坐标值进行排序,取纵坐标中间值);服务器将纵坐标总值、或纵坐标均值、或纵坐标中位数值作为行矩阵的对应列。
在本发明实施例中,服务器可针对每列选取计算不同的值,例如,服务器计算第一列像素点的纵坐标总值;第二列计算像素点的纵坐标均值;第三列计算像素点的纵坐标中位数值,或者,每列计算相同的值,在此不做限定。
需要说明的是,服务器对第一掩码图进行降维处理,得到第一掩码图对应的第一行矩阵,或者服务器对第二掩码图进行降维处理,得到第二掩码图对应的第二行矩阵,均可选择上述两种方式中的任意一种,在此不做限定。
在本发明实施例中,所述行矩阵具体为1行n列的矩阵。
3)在所述第二行矩阵中,确定与所述第一行矩阵中每个抽样点对应的相似点;
具体地,服务器在第一行矩阵中确定抽样点,同时,根据确定的抽样点,服务器在第二行矩阵中确定于抽样点对应的相似点。
进一步地,在第二行矩阵中,确定与第一行矩阵中每个抽样点对应的相似点,具体包括:
根据预设的抽样间隔模式或者随机模式,在第一行矩阵中,确定第一抽样点;在本发明实施例中,抽样间隔具体为大于等于0的正整数(n≥0),也即是每隔n个点抽取1个抽样点,抽样间隔可以为等间隔或不等间隔。服务器确定第一抽样点后,获取第一抽样点的横坐标值。同时,在第二行矩阵中,服务器确定与第一抽样点的横坐标值相同的第一位置点;服务器计算第一抽样点邻域范围内的全部像素点的相似分数值以及第一位置点邻域范围内的全部像素点的相似分数值;利用第一抽样点的横坐标值以及相似分数值中的最大值,确定与第一抽样点对应的第一相似点。
在本发明实施例中,可在先预设领域范围,所述邻域范围具体是指以第一抽样点的横坐标为中心,上下浮动的范围内全部像素点。例如,第一抽样点的横坐标为x,预设的邻域范围为上下20。也即是选择在x-20至x+20内全部像素点。
更进一步地,服务器计算第一抽样点邻域范围内的全部像素点的相似分数值以及第一位置点邻域范围内的全部像素点的相似分数值,具体包括:服务器分别获取第一抽样点邻域范围内的全部像素点的第一横坐标值;以及获取第一位置点邻域范围内的全部像素点的第二横坐标值;根据第一横坐标值以及第二横坐标值,服务器调用相似分数计算函数,计算第一抽样点邻域范围内的全部像素点的相似分数值以及第一位置点邻域范围内的全部像素点的相似分数值。
更进一步地,服务器利用第一抽样点的横坐标值以及相似分数值中的最大值,确定与第一抽样点对应的第一相似点,具体为:
第一相似点的横坐标需满足下述公式:
其中,所述x为所述第一抽样点的横坐标值;所述similarity(P,Q)为所述相似分数计算函数;所述N1(x)为所述第一抽样点邻域范围内的全部像素点的第一横坐标值;所述Nr(x+i)为所述第一位置点邻域范围内的全部像素点的第二横坐标值;所述p1,p2为所述邻域范围的上下限;所述i为常数。
前文所述的similarity(P,Q)为相似分数计算函数,其作用于集合P以及集合Q。在本发明实施例中,集合P可由N1(x)替换,集合Q可由Nr(x+i)替换。一般性的,该函数可以是零均值归一化交叉相似度(Zero-meanNormalized Cross-Correlation),具体计算公式如下述公式:
可以理解的是,在本发明实施例中并不限于采用相似分数计算函数计算相似分数,也可采用绝对差异之和(Sum of Absolute Differences),或差异平方之和(Sum of Squared Differences),或归一化交叉相似度(Normalized Cross-Correlation)等函数计算相似分数。上述计算公式均为公知公式,本发明实施例中,仅是采用该公式计算相似分数值。
4)利用所述抽样点与所述相似点的视差,确定所述当前主播场景图像中人物的初始视差信息。
具体地,根据步骤3)确定的抽样点与对应的相似点,获取抽样点与相似点的横坐标值,将相似点的横坐标值与抽样点的横坐标值的差值作为两点之间的视差,通过该视差确定当前主播场景图像中人物的视差范围。例如,抽样点的横坐标值为x,相似点的横坐标值为x',则视差l'=x'-x。
可以理解的是,抽取的抽样点均为多个,因此,确定的相似点也均为多个。本步骤中的每一个视差,均为每个抽样点与其对应的相似点的差值,通过多个视差确定当前主播场景图像中人物的视差范围。
进一步地,利用抽样点与相似点的视差,服务器确定当前主播场景图像中人物的视差范围,具体包括:服务器首先判断视差是否大于预设的第一视差阈值;服务器将视差中大于第一视差阈值的视差作为第一子视差,并判断第一子视差是否大于预设的第二视差阈值;服务器将第一子视差中大于第二视差阈值的第一子视差作为第二子视差,并将第二子视差的最大视差作为视差范围的上限,将第二子视差的最小视差作为视差范围的下限。
在本发明实施例中,第二视差阈值大于第一视差阈值;所述第一视差阈值用于对多个视差的相似度进行选择;所述第二视差阈值用于筛除出多个第一子视差中的个别误差。
其中,在确定视差范围时,还可仅判断一次,也即是服务器判断视差是否大于预设的第二视差阈值,如果视差大于预设的第二视差阈值,则将大于第二视差阈值的,且视差最大值最为上限;将大于第二视差阈值的,且视差最小值最为下限。
因此,通过上述视差计算方法,服务器获取当前主播场景图像中人物的第一掩码图和第二掩码图,对第一掩码图和第二掩码图分别进行降维处理,得到第一行矩阵和第二行矩阵;服务器在行矩阵中分别确定抽样点和相似点;利用抽样点与相似点的视差,确定当前主播场景图像中人物的视差范围。相比较现有的视差计算方法,本发明在根据抽样点确定相似点时,仅计算了行矩阵中抽样点和相似点邻域范围内像素点的相似分数值,进而确定相似点,而不再对整个图像的像素点进行计算后再匹配,解决了现有技术中视差计算方法的计算复杂度高,且计算准确率低的问题;大大降低了视差计算复杂度,并提高了计算准确率。
需要说明的是,前文所描述的视差计算方法中,当前主播场景图像中可为1个或者多个。
优选地,在本发明实施例中,若当前主播场景图像中人物唯一时,在第二行矩阵中,确定与第一行矩阵中每个抽样点对应的相似点,具体包括:
服务器分别在第一行矩阵中和第二行矩阵中,确定第一行矩阵的第一重心点和第二行矩阵的第二重心点。
利用抽样点与相似点的视差,确定当前主播场景图像中人物的视差范围,具体包括:
服务器将第一重心点与第二重心点的差值作为当前主播场景图像中人物的视差。
需要说明的是,确定第一重心点和第二重心点的方法为本领域共知常识,在此不再复述。前述利用重心点的视差作为人物视差时,也可应用在当前主播场景图像中人物为多个的情况,但此时需保证每个人物保持在同一深度范围内。
在本发明实施例中,所述待处理前景图像参考视差包括最大参考视差(Discam_max)和最小参考视差(Discam_min),所述切换场景图像的视差信息包括切换场景图像的最大视差(Disbg_max)、最小视差(Disbg_min)、零视差。
在本发明实施例中,根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差、所述初始视差信息获取所述待处理前景图像的视差偏移量,具体包括:
1)根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差获取所述待处理前景图像的视差调整系数。
在本发明实施例中,为了获取所述待处理前景图像的视差调整系数,需要先获取待处理前景图像的参考视差信息、切换场景图像的视差信息以及基准视差。
具体地,如前,在本发明实施例中,所述参考视差信息包括最大参考视差(Discam_max)和最小参考视差(Discam_min);所述切换场景图像的视差信息包括:切换场景图像零视差深度,切换场景图像最大视差(Disbg_max)和切换场景图像最小视差(Disbg_min)。其中,由于切换场景图像已选定,因此所述切换场景图像的视差信息可通过所述切换场景图像的相关参数获得。待处理前景图像是通过抠图算法获得,因此该初始视差(Disint)也可以通过抠图处理的结果获得,具体为通过前述对待处理前景图像视差处理步骤获得。
那么,对于最大参考视差和最小参考视差,在本发明实施例中可通过如下方式获得。
在利用立体相机进行拍摄时,通过读取立体相机的配置信息可获得所述立体相机的拍摄参数,其中所述拍摄参数包括:所述立体相机的视野角,水平间距和水平分辨率。假设被拍摄对象距离立体相机的距离为d,那么,根据立体相机拍摄参数等按照如下公式可确定被拍摄对象在深度为d时视差:
其中,Discam表示被拍摄对象在深度为d时视差(单位为像素),D表示水平间距,f表示立体相机的视野角,Res表示水平分辨率。
设定立体相机距离待处理前景图像所在的场景的最大距离d1和最小距离d2。那么,根据所述视野角、所述水平间距、所述水平分辨率、所述距离最大值和所述距离最小值按照下述公式(1)和(2)获得所述最大参考视差和最小参考视差。
其中,Discam_max表示最大参考视差,Discam_min表示最小参考视差,D表示水平间距,f表示立体相机的视野角,Res表示水平分辨率,d1和d2分别表示距离最大值和距离最小值。
接下来,进一步获取所述待处理前景图像在位于拍摄零视差深度时的基准视差。
具体地,根据上述获取的拍摄参数以及拍摄零视差深度按照下述公式(3)获得所述基准视差:
其中,Discam_0表示基准视差,D表示水平间距,f表示立体相机的视野角,Res表示水平分辨率,d0表示拍摄零视差深度。
为保证待处理前景图像的拍摄零视差深度和切换场景图像的零视差深度相匹配,在此需要将待处理前景图像在拍摄零视差深度时的视差,也即将基准视差调整为零。
在本发明实施例中,可通过以下任一方式获得视差调整系数。
方式一、在具体应用中,由于待处理前景图像可能位于零视差深度之前,也有可能位于零视差深度之后,因此,在此步骤中可根据不同的情况按照不同的方式获得该视差调整系数。
因此,在此方式中,首先将所述初始视差和所述基准视差进行比较。
当所述初始视差大于等于所述基准视差(待处理前景图像位于零视差深度之前)时,将利用所述切换场景图像的最大视差除以所述最大参考视差和所述基准视差之差的结果作为所述视差调整系数。
具体的,按照下述公式(4)计算此时的视差调整系数:
当所述初始视差小于所述基准视差(待处理前景图像位于零视差深度之后)时,将利用所述切换场景图像的最小视差除以所述基准视差和最小参考视差之差的结果作为所述视差调整系数。
具体的,按照下述公式(5)计算此时的视差调整系数:
其中,copos表示所述初始视差大于等于所述基准视差时的视差调整系数,coneg表示所述初始视差小于所述基准视差时的视差调整系数,Discam_max表示最大参考视差,Discam_min表示最小参考视差,Discam_0表示基准视差,Disbg_max表示背景图像最大视差,Disbg_min表示背景图像最小视差。
方式二、将所述切换场景图像的最大视差与所述切换场景图像的最小视差之差作为第一参数,将所述最大参考视差和所述最小参考视差之差作为第二参数。然后,将所述第一参数和所述第二参数的商作为所述视差调整系数。
也就是说,在此情况下,可不考虑待处理前景图像和零视差深度的关系,而直接按照下述公式(6)计算视差调整系数。
其中,co表示视差调整系数,Discam_max表示最大参考视差,Discam_min表示最小参考视差,Disbg_max表示背景图像最大视差,Disbg_min表示背景图像最小视差,Disbg_max-Disbg_min表示第一参数,Discam_max-Discam_min表示第二参数。
将方式一和方式二相比,由于在方式一中考虑到在具体应用中待处理前景图像的实际位置与零视差深度的关系,因此利用方式一计算的视差调整系数更能使得待处理前景图像和切换场景图像的视差相匹配,避免出现经调整后显示的图像出现畸变的现象,从而进一步提高显示效果。
2)根据所述初始视差、所述视差调整系数、所述基准视差和所述参考视差信息确定所述待处理前景图像的视差偏移量。
在此步骤中,包括如下过程:
步骤21)、计算目标视差。具体的,将所述基准视差和所述初始视差之差与所述视差调整系数的乘积作为所述待处理前景图像的目标视差。
具体的,当采用上述方式一的视差调整系数时,按照下述公式(7)和(8)计算目标视差。
当所述初始视差大于等于所述基准视差时:
Disobj=copos·(Disint-Discam_0) (7)
当所述初始视差小于所述基准视差时,
Disobj=coneg·(Disint-Discam_0) (8)
其中,Disobj表示目标视差,Disint表示初始视差,Discam_0表示基准视差,copos表示所述初始视差大于等于所述基准视差时的视差调整系数,coneg表示所述初始视差小于所述基准视差时的视差调整系数;
具体的,当采用上述方式二的视差调整系数时,按照下述公式(9)计算目标视差。
Disobj=co·(Disint-Discam_0) (9)
其中,Disobj表示目标视差,Disint表示初始视差,Discam_0表示基准视差,co表示视差调整系数。
步骤22)、计算视差偏移量。具体的,将所述初始视差和所述目标视差之差作为所述视差偏移量。
具体的,当采用上述方式一的视差调整系数时,按照如下公式(10)获取所述视差偏移量:
其中,Val表示视差偏移量,Disobj表示目标视差,Disint表示初始视差,Discam_0表示基准视差,copos表示所述初始视差大于等于所述基准视差时的视差调整系数,coneg表示所述初始视差小于所述基准视差时的视差调整系数,Discam_0表示基准视差。
具体的,当采用上述方式二的视差调整系数时,按照如下公式(11)获取所述视差偏移量:
Val=Disint-Disobj=(1-co)Disint+co·Discam_0 (11)
其中,Val表示视差偏移量,Disobj表示目标视差,Disint表示初始视差,Discam_0表示基准视差,co表示视差调整系数,Discam_0表示基准视差。
进一步地,在本发明实施例中,根据所述视差偏移量对所述待处理前景图像进行调整,具体包括:
当所述待处理前景图像为利用所述立体相机的右相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理前景图像向右平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理前景图像向左平移。
当所述待处理前景图像为利用所述立体相机的左相机拍摄时,如果视差偏移量大于0,根据所述视差偏移量将所述待处理前景图像向左平移;如果视差偏移量小于0,根据所述视差偏移量将所述待处理前景图像向右平移。
由以上可以看出,由于在本发明实施例中根据切换场景图像的相关视差信息对待处理前景图像的视差进行了调整,因此利用本发明的方案可以使得待处理前景图像和切换场景图像的视差匹配,从而使得最终将待处理前景图像和切换场景图像合成后,该合成后的图像立体显示后的图像的视差更为合理。而且在本发明的一些实施例中还将待处理前景图像和切换场景图像相对于零视差时的位置关系作为考虑因素来确定视差调整系数,使得该些实施例所描述的技术方案更能使得待处理前景图像和切换场景图像的视差匹配,避免出现经调整及合成处理后显示的图像出现畸变,从而进一步的提高了显示效果,也更加符合立体显示的要求。
可选地,在本发明实施例中,客户端场景切换方法中,还可以包括:创建三维场景,所述创建三维场景具体包括:由二维图片合成三维场景,直接拍摄获得三维场景;或导入模型创造三维场景。
其中,创建场景模型支持Maya、3Dmax等常用3D软件,模型文件的格式可以为目前常见的3D格式。场景模型的创建方法包括多个实施例,下面以图片、系列图片、模型为例说明场景模型的创建方法,但不局限于此三种方法。
图片
使用图片创建的场景模型,具有场景占用存储空间小、易于传输的优点。
由于创建场景模型的图片拍摄方法众多,下面仅以左右拍摄方法为例,使用图片创建场景模型的方法包括但不局限于以下两种:
双相机拍摄
调整两台相机的镜头左右间距至推荐值,为便于后期与主播图像进行合成,此处推荐取主播3D录像时的镜头左右间距,即取值为40毫米,也可根据实际情况进行调整;
使用两台相机同时拍摄同一物体,得到两张2D图片;
使用Maya、3D max等3D软件将两张2D图片通过校正拍摄过程中的相机移动、旋转以及焦距不一致等方式合成为3D图片;
将所合成的3D图片通过场景管理后台上传至服务器。
3D camera插件拍摄
使用3D camera插件拍摄3D图片;
将所拍摄的3D图片通过场景管理后台上传至服务器。
(2)系列图片
由于使用图片创建场景模型,存在场景角度固定、不能根据内容变化等缺点,也可以使用系列图片创建场景模型。
系列图片的创建场景模型流程如下:
使用相机拍摄一张2D图片,并记录景深;
多次调整相机与被摄物体间距离,拍摄图片并记录相应的景深;
将系列图片及对应景深导入Maya、3D max等软件,合成3D图片;
将所合成的3D图片通过场景管理后台上传至服务器。
(3)模型
由于使用系列图片创建场景模型,存在摄像头不能旋转等缺点,也可以通过导入模型创建场景模型。
模型导入包括但不限于以下三种方法:3D引擎搭建(包括Cocos、Unity等产品)、3D deapth UI搭建、直接导入3D模型。
可选地,在本发明实施例中,客户端场景切换方式或加载方法中,还可以包括:将新场景上传至服务器,服务器将新场景写入场景库中,并对场景库进行更新。
其中,场景库更新包括多种实现方法,下面以管理员更新、供应商更新为例进行说明,但场景库更新方法不局限于此。
(1)管理员更新
管理员更新场景库方法的具体流程如下:
管理员登录场景管理后台,选中需要上传的新场景,由场景管理后台将新场景上传至服务器;
服务器处理新场景后,写入场景库中,供场景切换等功能使用;
场景库写入完成后,将更新状态返回至服务器;
服务器将更新状态传递至场景管理后台,并显示给管理员。
管理员更新场景库的流程图如图4所示。
(2)供应商更新
供应商更新场景库方法的具体流程如下:
供应商登录场景管理后台,选中需要上传的新场景,由场景管理后台将新场景上传至服务器;
服务器处理新场景后,写入场景库中,供后续相关功能的使用;
场景库写入完成后,将更新状态返回至服务器;
服务器将更新状态传递至场景管理后台,并显示给供应商。
供应商更新场景库的流程图如图5所示,供应商与场景管理后台架构关系如图6所示。
图7为本发明实施例一种主播类互动平台客户端场景切换装置结构示意图,如图7所示,所述装置包括:
发送单元71,用于在当前场景下向服务器请求场景列表,以及在获得切换场景权限时向服务器请求切换场景信息,
接收单元72,用于接收服务器返回的场景列表,以及在确认切换场景时接收服务器返回的场景信息,
选择单元73,用于从所述场景列表中选择切换场景信息,
切换单元74,用于根据所述返回的场景信息对当前场景进行切换。
在本发明实施例中,发送单元71具体用于:
向服务器发送场景列表请求信息,所述场景列表请求信息中包含客户端标识;以及,
在获得切换权限时向服务器发送切换场景请求信息,所述切换场景请求信息中包含场景显示位置、场景显示尺寸和场景标识,以使得所述服务器根据所述切换场景请求信息返回场景信息。
在本发明实施例中,切换单元74具体用于:
将所述返回的场景信息匹配客户端显示屏,确定显示尺寸,加载在显示位置。
可选地,本发明实施例中的切换装置,还包括:
融合单元,用于将切换后场景信息与主播信息进行融合,获得客户端呈现内容。
需要说明的是,本发明实施例中主播类互动平台客户端场景切换装置中各个单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,方法实施例中的具体内容同样适用。本发明实施例中的各个单元可以作为单独的硬件或软件来实现,并且可以根据需要使用单独的硬件或软件来实现各个单元的功能的组合。
在本发明实施例中,通过向服务器请求场景列表,根据选择场景请求场景信息,并根据场景信息切换场景,实现了主播类互动平台客户端场景切换功能,用户可以在观看过程中随意切换场景,提高了用户参与度,提升了用户体验,同时,通过获取切换场景中第一色彩区域在色彩空间的背景均值和标准差值,进而执行抠图、融合处理,实现了场景抠图和主播信息的实时融合。
图8为本发明实施例一种主播类互动平台客户端结构示意图,包括:中央处理器81,显示屏82,其中:
中央处理器81,用于在当前场景下,向服务器请求场景列表,接收服务器返回的场景列表,并从所述场景列表中选择切换场景信息,在获得切换场景权限时,向服务器请求切换场景信息,在确认切换场景时,接收服务器返回的场景信息,根据所述返回的场景信息当前场景进行切换,
显示屏82,用于显示场景。
本发明实施例中,处理器所执行的上述操作可以以一段程序的形式存储在存储器中,当需要执行上述操作时,将该段程序调入处理器执行处理。
在本发明实施例中,客户端包括:智能用户终端、个人计算机或三维显示设备,其中,智能用户终端包括智能手机、平板电脑或智能电视等智能设备,三维显示设备除了包括上述处理器及显示屏幕外,还可以包括透反器件。
在本发明实施例中,通过在当前场景下向服务器请求场景信息,并根据获得切换场景权限客户端请求的切换场景信息对当前场景进行切换,实现了主播类互动平台客户端场景切换功能,用户可以在观看过程中随意切换自己的场景,还可以对主播平台下其他客户端的场景进行切换,提高了用户参与度,提升了用户体验。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种主播类互动平台客户端场景切换方法,其特征在于,包括:
在当前场景下,主播互动平台的任意一个或多个客户端向服务器请求场景列表;
所述请求场景列表的客户端接收服务器返回的场景列表,并从所述场景列表中选择切换场景信息;
所述请求场景列表的客户端中的一个客户端在获得切换场景权限时,向服务器请求切换场景信息;
主播互动平台的任意一个或多个客户端在确认切换场景时,接收服务器返回的场景信息,
根据所述返回的场景信息对所述确认切换场景的客户端当前场景进行切换;
或,根据所述返回的场景信息对与所述主播类互动平台连接的所有客户端的当前场景进行切换。
2.根据权利要求1所述的方法,其特征在于,所述向服务器请求场景列表,具体为:
向服务器发送场景列表请求信息,所述场景列表请求信息中包含客户端标识。
3.根据所述权利要求2所述的方法,其特征在于,所述请求场景列表的客户端中的一个客户端在获得切换场景权限时,向服务器请求切换场景信息,具体包括:
根据请求场景列表的客户端的付费信息,确定获得切换场景权限的客户端,
获得切换权限的客户端向服务器发送切换场景请求信息,所述切换场景请求信息中包含场景显示位置、场景显示尺寸和场景标识,以使得所述服务器根据所述切换场景请求信息返回场景信息。
4.根据权利要求3所述的方法,其特征在于,所述根据所述返回的场景信息对所述请求场景列表的客户端中确认切换场景的客户端当前场景进行切换,具体为:
将所述返回的场景信息匹配各确认切换场景的客户端的显示屏,确定显示尺寸,并加载在显示位置;或者
所述根据所述返回的场景信息对与所述主播类互动平台连接的客户端的当前场景进行切换,具体为:
将所述返回的场景信息匹配所述主播类互动平台连接的的所有客户端的显示屏,确定显示尺寸,并加载在显示位置。
5.根据权利要求1-4任一项所述的方法,其特征在于,还包括:
对主播信息进行处理,
将切换后场景信息与经处理后的主播信息进行融合,获得客户端呈现内容,其中,所述切换场景信息包括切换场景图像的视差信息。
6.根据权利要求5所述的方法,其特征在于,所述对主播信息进行处理,具体包括:
对主播信息进行抠图处理以获取待处理前景图像;
对所述待处理前景图像进行视差处理,以获取所述待处理前景图像的初始视差信息;
获取所述待处理前景图像的参考视差信息、切换场景图像的视差信息;所述切换场景图像的视差信息包括:切换场景图像零视差深度;
获取所述待处理前景图像在位于拍摄零视差深度时的基准视差,其中所述拍摄零视差深度等于所述切换场景图像零视差深度;
根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差、所述初始视差信息获取所述待处理前景图像的视差偏移量;根据所述视差偏移量对所述待处理前景图像进行调整。
7.根据权利要求6所述的方法,所述对主播信息进行抠图处理以获取待处理前景图像,具体包括:
获取主播场景图像的背景统计信息,所述背景统计信息包括所述主播场景中第一色彩区域在色彩空间的背景均值和标准差值;
根据所述背景均值和标准差值,对所述主播场景图像进行抠图处理,得到所述主播场景图像的待处理前景图像信息。
8.根据权利要求6所述的方法,其特征在于,所述对待处理前景图像进行视差处理,以获取待处理前景图像的初始视差信息具体为:
获取当前主播场景图像中人物的第一掩码图和第二掩码图;
对所述第一掩码图和所述第二掩码图分别进行降维处理,得到与所述第一掩码图对应的第一行矩阵以及与所述第二掩码图对应的第二行矩阵;
在所述第二行矩阵中,确定与所述第一行矩阵中每个抽样点对应的相似点;
利用所述抽样点与所述相似点的视差,确定所述当前主播场景图像中人物的初始视差信息。
9.根据权利要求8所述的方法,其特征在于,还包括:创建三维场景,所述创建三维场景具体包括:
由二维图片合成三维场景,
直接拍摄获得三维场景;或
导入模型创造三维场景。
10.根据权利要求9所述的方法,其特征在于,还包括:将新场景上传至服务器,服务器将新场景写入场景库中,并对场景库进行更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511025647.0A CN106254893A (zh) | 2015-12-30 | 2015-12-30 | 主播类互动平台客户端场景切换方法及其装置、客户端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511025647.0A CN106254893A (zh) | 2015-12-30 | 2015-12-30 | 主播类互动平台客户端场景切换方法及其装置、客户端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106254893A true CN106254893A (zh) | 2016-12-21 |
Family
ID=57626814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511025647.0A Pending CN106254893A (zh) | 2015-12-30 | 2015-12-30 | 主播类互动平台客户端场景切换方法及其装置、客户端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106254893A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108447060A (zh) * | 2018-01-29 | 2018-08-24 | 上海数迹智能科技有限公司 | 基于rgb-d图像的前后景分离方法及其前后景分离装置 |
CN109413338A (zh) * | 2018-09-28 | 2019-03-01 | 北京戏精科技有限公司 | 一种实时图像处理的方法及系统 |
CN111970527A (zh) * | 2020-08-18 | 2020-11-20 | 广州虎牙科技有限公司 | 直播数据处理方法及装置 |
CN115243057A (zh) * | 2021-04-23 | 2022-10-25 | 北京字跳网络技术有限公司 | 一种直播方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101753851A (zh) * | 2008-12-17 | 2010-06-23 | 华为终端有限公司 | 背景更换的方法、虚拟场景合成的方法及相关系统和设备 |
CN102625129A (zh) * | 2012-03-31 | 2012-08-01 | 福州一点通广告装饰有限公司 | 远程真人三维虚拟仿场景互动的实现方法 |
CN102726052A (zh) * | 2010-10-01 | 2012-10-10 | 索尼公司 | 立体图像数据发送设备、立体图像数据发送方法、立体图像数据接收设备以及立体图像数据接收方法 |
US20140344286A1 (en) * | 2013-05-17 | 2014-11-20 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for displaying webcast roomss |
CN104168406A (zh) * | 2014-09-02 | 2014-11-26 | 北京中科大洋科技发展股份有限公司 | 一种演播室联动播控系统和方法 |
-
2015
- 2015-12-30 CN CN201511025647.0A patent/CN106254893A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101753851A (zh) * | 2008-12-17 | 2010-06-23 | 华为终端有限公司 | 背景更换的方法、虚拟场景合成的方法及相关系统和设备 |
CN102726052A (zh) * | 2010-10-01 | 2012-10-10 | 索尼公司 | 立体图像数据发送设备、立体图像数据发送方法、立体图像数据接收设备以及立体图像数据接收方法 |
CN102625129A (zh) * | 2012-03-31 | 2012-08-01 | 福州一点通广告装饰有限公司 | 远程真人三维虚拟仿场景互动的实现方法 |
US20140344286A1 (en) * | 2013-05-17 | 2014-11-20 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for displaying webcast roomss |
CN104168406A (zh) * | 2014-09-02 | 2014-11-26 | 北京中科大洋科技发展股份有限公司 | 一种演播室联动播控系统和方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108447060A (zh) * | 2018-01-29 | 2018-08-24 | 上海数迹智能科技有限公司 | 基于rgb-d图像的前后景分离方法及其前后景分离装置 |
CN108447060B (zh) * | 2018-01-29 | 2021-07-09 | 上海数迹智能科技有限公司 | 基于rgb-d图像的前后景分离方法及其前后景分离装置 |
CN109413338A (zh) * | 2018-09-28 | 2019-03-01 | 北京戏精科技有限公司 | 一种实时图像处理的方法及系统 |
CN111970527A (zh) * | 2020-08-18 | 2020-11-20 | 广州虎牙科技有限公司 | 直播数据处理方法及装置 |
CN111970527B (zh) * | 2020-08-18 | 2022-03-29 | 广州虎牙科技有限公司 | 直播数据处理方法及装置 |
CN115243057A (zh) * | 2021-04-23 | 2022-10-25 | 北京字跳网络技术有限公司 | 一种直播方法、装置、电子设备及存储介质 |
CN115243057B (zh) * | 2021-04-23 | 2023-11-24 | 北京字跳网络技术有限公司 | 一种直播方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106231349A (zh) | 主播类互动平台服务器场景切换方法及其装置、服务器 | |
Zhang et al. | 3D-TV content creation: automatic 2D-to-3D video conversion | |
Smolic et al. | Three-dimensional video postproduction and processing | |
US9445072B2 (en) | Synthesizing views based on image domain warping | |
CN105654471B (zh) | 应用于互联网视频直播的增强现实ar系统及方法 | |
CN101771892B (zh) | 图像处理方法和设备 | |
US10652519B2 (en) | Virtual insertions in 3D video | |
CN108154058B (zh) | 图形码展示、位置区域确定方法及装置 | |
US20220264068A1 (en) | Telepresence system and method | |
CN106231411A (zh) | 主播类互动平台客户端场景切换、加载方法及装置、客户端 | |
WO2003081921A1 (fr) | Procede de traitement d'images tridimensionnelles et dispositif | |
CN106231368A (zh) | 主播类互动平台道具呈现方法及其装置、客户端 | |
CN106254893A (zh) | 主播类互动平台客户端场景切换方法及其装置、客户端 | |
JPH08331607A (ja) | 三次元表示画像生成方法 | |
CN102026013A (zh) | 基于仿射变换的立体视频匹配方法 | |
KR101881295B1 (ko) | 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템 | |
JP2003284093A (ja) | 立体画像処理方法および装置 | |
JP2004007396A (ja) | 立体画像処理方法および装置 | |
CN104335243A (zh) | 处理全景画面 | |
US11415935B2 (en) | System and method for holographic communication | |
WO2019050038A1 (ja) | 画像生成方法および画像生成装置 | |
CN106231397A (zh) | 主播类互动平台主播端场景切换方法及其装置、主播端 | |
CN106231350A (zh) | 主播类互动平台场景切换方法及其装置 | |
CN114449303A (zh) | 直播画面生成方法和装置、存储介质及电子装置 | |
CN109523297A (zh) | 一种体育比赛中实现虚拟广告的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161221 |