CN106231349B - 主播类互动平台服务器场景切换方法及其装置、服务器 - Google Patents
主播类互动平台服务器场景切换方法及其装置、服务器 Download PDFInfo
- Publication number
- CN106231349B CN106231349B CN201511025746.9A CN201511025746A CN106231349B CN 106231349 B CN106231349 B CN 106231349B CN 201511025746 A CN201511025746 A CN 201511025746A CN 106231349 B CN106231349 B CN 106231349B
- Authority
- CN
- China
- Prior art keywords
- information
- parallax
- main broadcaster
- handoff scenario
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000003993 interaction Effects 0.000 title claims abstract description 40
- 239000011159 matrix material Substances 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 33
- 230000005540 biological transmission Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 11
- 230000008676 import Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 241000197727 Euscorpius alpha Species 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000737241 Cocos Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种主播类互动平台服务器场景切换方法及其装置、服务器，其中，一种主播类互动平台服务器场景切换方法，应用于主播互动平台的转码服务器，所述转码服务器与场景库连接，所述方法包括：接收客户端发送的切换场景信息；向场景库请求所述切换场景信息；接收所述场景库返回的切换场景信息；将主播信息与返回的切换场景信息进行融合后发送至客户端，以使客户端获得切换场景后的呈现内容；或，将主播信息与返回的切换场景信息发送至客户端，以在客户端融合后获得切换场景后的呈现内容。本发明实现了主播类互动平台服务器场景切换功能，用户可以随意切换场景，而且可以实现对主播平台下所有客户端的场景切换，提升了用户体验。
Description
技术领域
本发明涉及媒体播放技术领域，尤其涉及主播类互动平台转码服务器场景切换方法及其装置、转码服务器。
背景技术
目前主播直播类的互动平台均是在2D平面内，无立体感。目前的直播场景一般都是根据主播的直播环境而定，除非主播改变其所处场所及在场所中的位置，比如，主播由客厅转移至卧室，或由客厅的南侧转移至北侧……以更换直播环境，否则用户在此主播的直播间看到的都是同样的场景，单一乏味。
发明人在研究中发现，目前现有技术中不可以随意切换场景，场景内容缺少变化，而且，还不能对主播平台下的所有客户端进行场景切换。
发明内容
本发明提供主播类互动平台服务器场景切换方法及其装置、服务器，实现了主播类互动平台场景切换功能，用户不仅可以随意切换场景，而且实现了对主播平台下所有客户端的场景切换，提升了用户体验。
本发明实施例提供一种主播类互动平台服务器场景切换方法，所述方法应用于主播互动平台的转码服务器，所述转码服务器与场景库连接，所述方法包括：
接收客户端发送的切换场景信息；
向所述场景库请求所述切换场景信息；
接收所述场景库返回的切换场景信息；
将主播信息与返回的切换场景信息进行融合后发送至客户端，以使客户端获得切换场景后的呈现内容；或，将主播信息与返回的切换场景信息发送至客户端，以在客户端融合后获得切换场景后的呈现内容。
可选地，所述接收客户端发送的切换场景信息之前，还包括：
客户端向场景库发送场景列表请求信息，所述场景列表请求信息中包含客户端标识，
场景库根据所述场景列表请求信息返回场景列表，
客户端从所述场景列表中选择切换场景信息，并将所述切换场景信息发送给转码服务器。
可选地，所述向场景库请求所述切换场景信息，具体包括：
向场景库发送切换场景请求信息，所述切换场景请求信息中包含场景显示位置、场景显示尺寸和场景标识，以使得所述场景库根据所述切换场景请求信息返回切换场景信息。
可选地，所述方法还包括：
对主播信息进行处理，
所述将主播信息与返回的切换场景信息进行融合后发送至客户端具体为：将切换场景信息与经处理后的主播信息进行融合后发送至客户端，
所述将主播信息与返回的切换场景信息发送至客户端具体为：将切换场景信息和经处理后的主播信息发送至客户端，其中，所述切换场景信息包括切换场景图像的视差信息。
可选地，所述对主播信息进行处理，具体包括：
对主播信息进行抠图处理以获取待处理前景图像；
对所述待处理前景图像进行视差处理，以获取所述待处理前景图像的初始视差信息；
获取所述待处理前景图像的参考视差信息、切换场景图像的视差信息；所述切换场景图像的视差信息包括：切换场景图像零视差深度；
获取所述待处理前景图像在位于拍摄零视差深度时的基准视差，其中所述拍摄零视差深度等于所述切换场景图像零视差深度；
根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差、所述初始视差信息获取所述待处理前景图像的视差偏移量；根据所述视差偏移量对所述待处理前景图像进行调整。
可选地，所述对主播信息进行抠图处理以获取待处理前景图像，具体包括：
获取主播场景图像的背景统计信息，所述背景统计信息包括所述主播场景中第一色彩区域在色彩空间的背景均值和标准差值；
根据所述背景均值和标准差值，对所述主播场景图像进行抠图处理，得到所述主播场景图像的待处理前景图像信息。
可选地，所述对待处理前景图像进行视差处理，以获取待处理前景图像的初始视差信息具体为：
获取当前主播场景图像中人物的第一掩码图和第二掩码图；
对所述第一掩码图和所述第二掩码图分别进行降维处理，得到与所述第一掩码图对应的第一行矩阵以及与所述第二掩码图对应的第二行矩阵；
在所述第二行矩阵中，确定与所述第一行矩阵中每个抽样点对应的相似点；
利用所述抽样点与所述相似点的视差，确定所述当前主播场景图像中人物的初始视差信息。
可选地，所述待处理前景图像的参考视差包括最大参考视差和最小参考视差，所述切换场景图像的视差信息包括切换场景图像的最大视差、最小视差及零视差。
可选地，所述根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差、所述初始视差信息获取所述待处理前景图像的视差偏移量具体包括：
根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差获取所述待处理前景图像的视差调整系数；
根据所述初始视差、所述视差调整系数、所述基准视差和所述参考视差信息确定所述待处理前景图像的视差偏移量。
可选地，所述根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差获取所述待处理图像的视差调整系数包括：
将所述初始视差和所述基准视差进行比较；
当所述初始视差大于等于所述基准视差时，将利用所述切换场景图像的视差信息的最大视差除以所述最大参考视差和所述基准视差之差的结果作为所述视差调整系数；
当所述初始视差小于所述基准视差时，将利用所述切换场景图像的视差信息的最小视差除以所述基准视差和最小参考视差之差的结果作为所述视差调整系数。
可选地，所述方法还包括：创建三维场景，所述创建三维场景具体包括：
由二维图片合成三维场景，
直接拍摄获得三维场景；或
导入模型创造三维场景。
可选地，所述方法还包括：将新场景上传至服务器，服务器将新场景写入场景库中，并对场景库进行更新。
本发明实施例提供一种主播类互动平台服务器场景切换装置，所述装置应用于主播互动平台的转码服务器，所述转码服务器与场景库连接,所述装置包括：
接收单元，用于接收客户端发送的切换场景信息，以及场景库返回的切换场景信息，
第一发送单元，用于向场景库请求切换场景信息，
融合单元，用于将主播信息与返回的切换场景信息进行融合，和/或，
第二发送单元，用于将主播信息与返回的切换场景信息进行融合后发送至客户端，或，将主播信息与返回的切换场景信息发送至客户端。
可选地，所述第一发送单元具体用于：
向场景库发送切换场景请求信息，所述切换场景请求信息中包含场景显示位置、场景显示尺寸和场景标识，以使得所述场景库根据所述切换场景请求信息返回切换场景信息。
可选地，所述装置还包括：
主播信息处理单元，用于对主播信息进行抠图处理以获取待处理前景图像，对所述待处理前景图像进行视差处理，以获取所述待处理前景图像的初始视差信息；获取所述待处理前景图像的参考视差信息、切换场景图像的视差信息；所述切换场景图像的视差信息包括：切换场景图像零视差深度；获取所述待处理前景图像在位于拍摄零视差深度时的基准视差，其中所述拍摄零视差深度等于所述切换场景图像零视差深度；根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差、所述初始视差信息获取所述待处理前景图像的视差偏移量，并根据所述视差偏移量对所述待处理前景图像进行调整。
本发明实施例提供一种主播类互动平台服务器，包括：
中央处理器，用于接收客户端发送的切换场景信息，向场景库请求所述切换场景信息，接收所述场景库返回的切换场景信息，将主播信息与返回的切换场景信息进行融合后发送至客户端，以使客户端获得切换场景后的呈现内容，或，将主播信息与返回的切换场景信息发送至客户端，以在客户端融合后获得切换场景后的呈现内容。
可选地，所述服务器为转码服务器。
在本发明实施例中，通过服务器向场景库请求场景信息，并将请求的切换场景信息与主播信息融合后发送至客户端，或将主播信息与返回的切换场景信息发送至客户端，实现了主播类互动平台服务器场景切换功能，用户可以随意切换场景，而且可以实现对主播平台下所有客户端的场景切换，提升了用户体验。
附图说明
图1为本发明实施例主播互动平台结构示意图；
图2为本发明实施例主播类互动平台服务器场景切换方法流程示意图；
图3为本发明实施例主播类互动平台服务器场景切换过程示意图；
图4为本发明实施例管理员更新场景库的流程图；
图5为本发明实施例供应商更新场景库的流程图；
图6为本发明实施例供应商与场景管理后台架构图；
图7为本发明实施例一种主播类互动平台服务器场景切换装置结构示意图；
图8为本发明实施例一种主播类互动平台服务器结构示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能单元划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的单元划分，或流程图中的顺序执行所示出或描述的步骤。
在阐述本发明实施例之前，为更好地理解本发明实施例，对本发明先作简要说明。本发明实施例中，主播类互动平台通常包括客户端、服务器、主播端、场景管理后台及场景库，场景通过场景管理后台上传至服务器，由服务器写入场景库。在切换场景过程中，可以由服务器请求场景信息，并根据返回的场景信息切换场景，比如，可以由转码服务器请求场景信息，并根据返回的场景信息切换场景。
在本发明实施例中，为了将主播信息向客户端进行传送，需要包括多种类型的服务器参与，图1为主播互动平台结构示意图。如图1所示，主播的视频流转输至主播端，比如，PC端，由PC端经过软件的人像抠图处理后，将主播的视频流传输至上传服务器，经并经上传服务器传输至转码服务器、源服务器、边缘服务器；然后由边缘服务器将视频流与场景合成，传输至客户端，最后由客户端呈现给用户。
在本发明所有实施例中，客户端包括诸如个人计算机、PDA、平板电脑、MP4、智能手机、三维显示盒子及智能电视等用户终端设备。
下面结合附图对本发明实施例作进一步阐述。
图2为本发明实施例主播类互动平台转码服务器场景切换方法流程示意图，如图2所示，本发明实施例的方法，包括以下步骤：
S21,接收客户端发送的切换场景信息。
在本发明实施例中，服务器，比如，转码服务器与场景库连接，可以向场景库请求切换场景信息以及接收场景库返回的切换场景信息。在本发明实施例中，转码服务器接收来自客户端发送的切换场景信息，在客户端发送切换场景信息前，需要客户端向场景库请求场景列表，并根据场景库返回的场景列表选择切换场景信息，其中，客户端向场景库发送场景列表请求信息，所述场景列表请求信息中包含客户端标识，客户端标识可以用于场景库返回场景列表时标识场景列表的接收方，所述客户端可以为主播互动平台上的任意一个或多个客户端。场景库接收到主播互动平台的任意一个或多个客户端发送的场景列表请求信息后，对场景列表请求信息进行处理，并将客户端请求的场景列表返回给请求场景列表的客户端。请求场景列表的客户端接收到相应场景列表信息后，进行显示，用户可以在显示的场景列表中选择某一场景。
在本发明实施例中，如果涉及到对主播平台连接的所有客户端的场景切换，则在发送切换场景信息时，需要由获得切换权限的客户端来请求切换场景信息，在本发明实施例中，可以根据请求场景列表的客户端的付费信息，确定获得切换场景权限的客户端，比如，服务器可以为某时段切换场景确定支付的费用，由客户端反馈愿意支付的费用，服务器在限制时间内收到的最高价格即为成交价格，如有多位用户的客户端分别提交成交价格则最先提交该价格的客户端获得切换场景权限。
获得切换权限的客户端根据选择的切换场景信息，向转码服务器发送切换场景请求信息，切换场景请求信息中包含场景显示位置、场景显示尺寸和场景标识，以使得场景库根据所述切换场景请求信息返回场景信息。
S22,向场景库请求所述切换场景信息。
在本发明实施例中，转码服务器接收到来自客户端的切换场景请求信息后向场景库发送切换场景请求信息，切换场景请求信息中包含场景显示位置、场景显示尺寸和场景标识，以使得场景库根据所述切换场景请求信息返回场景信息。
S23,接收所述场景库返回的切换场景信息。
在本发明实施例中，场景库接收到切换场景请求信息后将根据场景切换请求信息选择切换场景信息返回给转码服务器。
S24,将主播信息与返回的切换场景信息进行融合后发送至客户端，以使客户端获得切换场景后的呈现内容；或，将主播信息与返回的切换场景信息发送至客户端，以在客户端融合后获得切换场景后的呈现内容。
在本发明实施例中，转码服务器接收场景库返回的切换场景信息后，由转码服务器将主播信息与返回的切换场景信息进行融合，比如，经主播人像的抠图处理及视频流合成客户端呈现的内容，具体为：可以由主播端反馈主播距摄像头的距离，经服务器选择与反馈信息相近的场景深度图像，将主播图像与场景图像相融合，生成客户端呈现的内容后发送至客户端，以使客户端获得切换场景后的呈现内容，或者，由转码服务器将主播信息与返回的切换场景信息发送至客户端，以在客户端融合后获得切换场景后的呈现内容。
在本发明实施例中，通过服务器向场景库请求场景信息，并将请求的切换场景信息与主播信息融合后发送至客户端，或将主播信息与返回的切换场景信息发送至客户端，实现了主播类互动平台服务器场景切换功能，且进一步的，场景切换功能的实现是在转码端服务器完成,减轻了其他设备的数据处理压力，尤其是减轻了主播端及客户端的数据处理压力，可以使得用户在随意切换场景的同时也能获得流畅切换的体验，而且在一些实施例中还可以实现对主播平台下所有客户端的场景切换，提升了用户体验。
下面结合主播平台系统结构及上述切换方法进行具体阐述，如图3所示为主播类互动平台服务器场景切换过程示意图。如图3所示，服务器场景切换包括以下步骤：
1、主播录制的视频流传输至主播端，比如PC端，
2、PC端经过软件的人像抠图处理，上传至上传服务器、并传输至转码服务器；
3、转码服务器合成视频流与场景，并传输至源服务器、边缘服务器；4、边缘服务器处理并加载合成视频流并传输至客户端；
5、客户端读取相应边缘服务器信息，处理并显示合成视频流；
6、用户选择场景列表功能，
7、由客户端向场景库发出场景列表的请求信息，包括发出请求的客户端标识；
8、场景库将相应的场景列表信息返回给客户端；
9、客户端接收并显示相应的场景列表信息；
10、用户在场景列表中选择某一场景，
11、由客户端将选中场景的场景标识、场景显示位置、场景显示尺寸等请求信息发送至边缘服务器；
12、由边缘服务器将相应信息传输至源服务器、转码服务器；
13、转码服务器向场景库发出选中场景信息的相应请求，
14、由场景库向转码服务器返回选中场景信息；
转码服务器接收到选中场景信息后，继续执行步骤3。
在本发明实施例中，所述场景切换方法还包括：对主播信息进行处理，则所述将主播信息与返回的切换场景信息进行融合后发送至客户端具体为：将切换场景信息与经处理后的主播信息进行融合后发送至客户端，所述将主播信息与返回的切换场景信息发送至客户端具体为：将切换场景信息和经处理后的主播信息发送至客户端，其中，所述切换场景信息包括切换场景图像的视差信息。
其中，所述对主播信息进行处理，具体包括：
对主播信息进行抠图处理以获取待处理前景图像；
对所述待处理前景图像进行视差处理，以获取所述待处理前景图像的初始视差信息；
获取所述待处理前景图像的参考视差信息、切换场景图像的视差信息；所述切换场景图像的视差信息包括：背景零视差深度；
获取所述待处理前景图像在位于拍摄零视差深度时的基准视差，其中所述拍摄零视差深度等于所述切换场景的背景零视差深度；
根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差、所述初始视差信息获取所述待处理前景图像的视差偏移量；根据所述视差偏移量对所述待处理前景图像进行调整。
在本发明实施例中，对主播信息进行抠图处理以获取待处理前景图像，具体包括：
1)获取主播场景图像的背景统计信息，所述背景统计信息包括所述主播场景中第一色彩区域在色彩空间的背景均值和标准差值；
具体地，获取主播场景图像的背景统计信息，具体包括：转码服务器提取主播场景图像中的第一色彩区域；转码服务器确定第一色彩区域在色彩空间的背景均值和标准差值。
其中，转码服务器提取主播场景图像中的第一色彩区域，具体包括：转码服务器确定主播场景图像中每个像素点的第一色彩值；判断第一色彩值是否超过预设的色彩阈值；如果第一色彩值超过色彩阈值，则转码服务器确定第一色彩值表针的像素点属于第一色彩区域，并对第一色彩区域进行提取。
其中，第一色彩值满足下述公式一：
公式一
其中，所述r,g,b具体为所述像素点在所述色彩空间中的，红、绿、蓝通道的属性值。
需要说明的是，上述计算第一色彩值中用到的g算子为RGB色彩空间中绿色通道属性值与其他两个通道属性值的差值的乘积，或对该乘积的正相关变换。
更进一步地，转码服务器在提取主播场景图像中的第一色彩区域后，确定第一色彩区域在色彩空间的背景均值和标准差值。在本发明实施例中，所述确定第一色彩区域在色彩空间的背景均值和标准差值，也即是转码服务器对第一色彩区域在色彩空间的背景均值和标准差值进行统计。
统计过程的主要作用是对第一色彩区域的颜色分布进行统计，以便后续步骤进行抠图处理。统计结果是第一色彩区域在色彩空间中每个通道的背景均值和标准差值。其中，作为示例而非限定，可采用多个数值累加后取平均的计算方式统计背景均值；采用现有的方差公式统计标准差值。
在本发明实施例中用于统计背景均值和标准差值的色彩空间具体是CIE LAB色彩空间。所述CIE LAB色空间是基于一种颜色不能同时既是蓝又是黄这个理论而建立。即，单一数值可用于描述红/绿色及黄/蓝色特征。当一种颜色用CIE L*a*b*时，L*表示明度值；a*表示红/绿及b*表示黄/蓝值。
在本发明实施例中，所述第一色彩区域具体是主播场景图像中的绿色区域；所述第一色彩值具体是像素点的绿值；所述色彩阈值具体是绿色阈值。
需要说明的是，转码服务器可无需在主播场景图像的原分别率上获取背景均值和标准差值，转码服务器可对主播场景图像进行缩放后，再获取背景均值和标准差值。在对主播场景图像进行缩放后，还可进一步节省转码服务器的计算量。
在本发明实施例中，主播场景图像可以为至少一张图片；或者为视频数据中的一帧图像或者多帧图像。
2)根据所述背景均值和标准差值，对所述主播场景图像进行抠图处理，得到所述主播场景图像的前景图像信息；
具体地，转码服务器获取背景均值和标准差值后，对主播场景图像进行抠图处理，得到主播场景图像的前景图像信息。在本发明实施例中，转码服务器得到的前景图像信息具体为主播场景图像中的人物图像信息。
进一步地，在本发明实施例中，前景图像信息包括主播场景图像中像素点的标准化前景分数值；
转码服务器根据背景均值和标准差值，对主播场景图像进行抠图处理，得到主播场景图像的前景图像信息，具体包括：转码服务器确定主播场景图像的每个像素点与背景均值之间的色彩距离值(在本发明实施例中，所述色彩据距离值即为高斯色彩距离值)；转码服务器对色彩距离值进行映射处理，得到标准化前景分数值。
更进一步地，转码服务器确定主播场景图像的每个像素点与背景均值之间的色彩距离值，具体包括：
所述色彩距离值满足下述公式二：
公式二
其中，所述cl,ca,cb分别为l,a,b通道的加权因子，cl,ca,cb≥0且cl+ca+cb＝1；所述n为固定系数，n＝1,2,3；所述(l,a,b)为所述像素点在所述色彩空间中的l,a,b属性值；所述为所述背景均值；所述(δl,δa,δb)为所述标准差值。
更进一步地，转码服务器对色彩距离值进行映射处理，得到标准化前景分数值，具体包括：
转码服务器确定像素点的色彩距离值后，将色彩距离值映射到映射区间内，所述映射区间为[0,1]。在本发明实施例中，具体的映射关系可以是线性映射或非线性映射。在一个例子中，以线性映射进行说明，设定色彩距离值两端阈值，即最大阈值th和最小阈值tl，判断色彩距离值是否超过最大阈值th，且是否不超过最小阈值tl；如果色彩距离值不超过最小阈值tl，则转码服务器将该色彩距离值映射为0；如果色彩距离值超过最大阈值th，则转码服务器将该色彩距离值映射为1；如果色彩距离值超过最小阈值tl且不超过最大阈值th，则转码服务器将该色彩距离值映射到[0,1]的区间内。
需要说明的是，在本发明实施例中，转码服务器确定色彩距离值是在色彩空间中进行的，在本步骤中所使用的色彩空间与步骤1)中转码服务器获取背景统计信息时所使用的色彩空间相同，均使用CIE LAB色彩空间。该色彩空间适合用于通过数字化的方式表述颜色之间的差异。通过CIE LAB色彩空间计算得到的数值，其值与人眼感觉一致，且计算结果也较为准确。
其中，在实际应用中，还可在CIE LAB色彩空间中计算第一色彩值；在RGB色彩空间中统计背景均值和标准差值；在RGB色彩空间中计算标准化前景分数值。也即是，在前述步骤1)以及步骤2)中，将CIE LAB色彩空间与RGB色彩空间进行相互进行。可以理解的是，当色彩空间互换时，其相应的计算公式也需相继进行调整，在此不再赘述。
在本发明实施例中，所述对待处理前景图像进行视差处理，以获取待处理前景图像的初始视差信息具体为：
1)获取当前主播场景图像中人物的第一掩码图和第二掩码图；
具体地，在演播室内(当前场景)，摄像头(可为双目摄像头，或者两个普通摄像头)采集主播的视音频信息。摄像头将采集的视音频信息传输至服务器(例如，转码服务器)。
可以理解的是，主播在录制视音频信息时，主播背后的背景布置为单一色彩幕布，其中作为示例而非限定，幕布颜色为绿幕或者蓝幕，在本发明实施例中，背景布置为绿幕，为了后续的计算准确性，主播穿着非绿色服装。
转码服务器对摄像头采集的视图(左视图、右视图)进行处理，利用现有绿幕抠图技术，将主播图像从左右视图中抠出，得到当前主播场景图像中人物的第一掩码图和第二掩码图。
在本发明实施例中，左视图进行抠图处理后得到第一掩码图，右视图进行抠图处理后得到第二掩码图，在实际应用中也可是右视图进行抠图处理后得到第一掩码图，左视图进行抠图处理后得到第二掩码图，在此不做限定。
所述绿幕抠图技术具体为，对于某一视图中的每一像素点，根据该像素点的颜色值，判断该像素点是否为前景，并计算出该像素点的颜色值占前景颜色值的百分比，计算得到的百分比也即是该像素点的alpha值，通过对每一像素点计算alpha值，获取某一视图对应的alpha掩码图。
2)对所述第一掩码图和所述第二掩码图分别进行降维处理，得到与所述第一掩码图对应的第一行矩阵以及与所述第二掩码图对应的第二行矩阵；
具体地，转码服务器分别对第一掩码图和第二掩码图进行降维处理，得到与第一掩码图对应的第一行矩阵以及与第二掩码图对应的第二行矩阵。
进一步地，在一种实现方式中，转码服务器对掩码图进行降维处理，得到与掩码图对应的行矩阵，具体包括：根据掩码图，转码服务器获取掩码图中每个像素点的掩码值(即alpha值)；利用每个像素点的掩码值，转码服务器计算掩码图中每列像素点的掩码总值(即累计像素点掩码值)、或掩码均值(即累计像素点掩码值后取平均值)、或掩码中位数值(即累计像素点掩码值后，对掩码值进行排序，取掩码中间值)；转码服务器将掩码总值、或掩码均值或掩码中位数值作为行矩阵的对应列。
在本发明实施例中，转码服务器可针对每列选取计算不同的值，例如，转码服务器计算第一列像素点的掩码总值；第二列计算像素点的掩码均值；第三列计算像素点的掩码中位数值，或者，每列计算相同的值，在此不做限定。
在另一种实现方式中，转码服务器对掩码图进行降维处理，得到与掩码图对应的行矩阵，具体包括：根据掩码图，转码服务器获取掩码图中每个像素点的掩码值(即alpha值)；转码服务器判断掩码图中属于同一列像素点的掩码值是否大于掩码阈值；如果掩码值大于掩码阈值，则转码服务器计算大于掩码阈值的属于同一列像素点的纵坐标总值(即累计像素点的纵坐标值)，或计算大于所述掩码阈值的属于同一列像素点的纵坐标均值(即累计像素点的纵坐标值后取平均值)，或计算大于所述掩码阈值的属于同一列像素点的纵坐标中位数值(即累计像素点的纵坐标值后，对纵坐标值进行排序，取纵坐标中间值)；转码服务器将纵坐标总值、或纵坐标均值、或纵坐标中位数值作为行矩阵的对应列。
在本发明实施例中，转码服务器可针对每列选取计算不同的值，例如，转码服务器计算第一列像素点的纵坐标总值；第二列计算像素点的纵坐标均值；第三列计算像素点的纵坐标中位数值，或者，每列计算相同的值，在此不做限定。
需要说明的是，转码服务器对第一掩码图进行降维处理，得到第一掩码图对应的第一行矩阵，或者转码服务器对第二掩码图进行降维处理，得到第二掩码图对应的第二行矩阵，均可选择上述两种方式中的任意一种，在此不做限定。
在本发明实施例中，所述行矩阵具体为1行n列的矩阵。
3)在所述第二行矩阵中，确定与所述第一行矩阵中每个抽样点对应的相似点；
具体地，转码服务器在第一行矩阵中确定抽样点，同时，根据确定的抽样点，转码服务器在第二行矩阵中确定于抽样点对应的相似点。
进一步地，在第二行矩阵中，确定与第一行矩阵中每个抽样点对应的相似点，具体包括：
根据预设的抽样间隔模式或者随机模式，在第一行矩阵中，确定第一抽样点；在本发明实施例中，抽样间隔具体为大于等于0的正整数(n≥0)，也即是每隔n个点抽取1个抽样点，抽样间隔可以为等间隔或不等间隔。转码服务器确定第一抽样点后，获取第一抽样点的横坐标值。同时，在第二行矩阵中，转码服务器确定与第一抽样点的横坐标值相同的第一位置点；转码服务器计算第一抽样点邻域范围内的全部像素点的相似分数值以及第一位置点邻域范围内的全部像素点的相似分数值；利用第一抽样点的横坐标值以及相似分数值中的最大值，确定与第一抽样点对应的第一相似点。
在本发明实施例中，可在先预设领域范围，所述邻域范围具体是指以第一抽样点的横坐标为中心，上下浮动的范围内全部像素点。例如，第一抽样点的横坐标为x，预设的邻域范围为上下20。也即是选择在x-20至x+20内全部像素点。
更进一步地，转码服务器计算第一抽样点邻域范围内的全部像素点的相似分数值以及第一位置点邻域范围内的全部像素点的相似分数值，具体包括：转码服务器分别获取第一抽样点邻域范围内的全部像素点的第一横坐标值；以及获取第一位置点邻域范围内的全部像素点的第二横坐标值；根据第一横坐标值以及第二横坐标值，转码服务器调用相似分数计算函数，计算第一抽样点邻域范围内的全部像素点的相似分数值以及第一位置点邻域范围内的全部像素点的相似分数值。
更进一步地，转码服务器利用第一抽样点的横坐标值以及相似分数值中的最大值，确定与第一抽样点对应的第一相似点，具体为：
第一相似点的横坐标需满足下述公式：
其中，所述x为所述第一抽样点的横坐标值；所述similarity(P,Q)为所述相似分数计算函数；所述N1(x)为所述第一抽样点邻域范围内的全部像素点的第一横坐标值；所述Nr(x+i)为所述第一位置点邻域范围内的全部像素点的第二横坐标值；所述p1,p2为所述邻域范围的上下限；所述i为常数。
前文所述的similarity(P,Q)为相似分数计算函数，其作用于集合P以及集合Q。在本发明实施例中，集合P可由N1(x)替换，集合Q可由Nr(x+i)替换。一般性的，该函数可以是零均值归一化交叉相似度(Zero-mean Normalized Cross-Correlation)，具体计算公式如下述公式：
可以理解的是，在本发明实施例中并不限于采用相似分数计算函数计算相似分数，也可采用绝对差异之和(Sum of Absolute Differences)，或差异平方之和(Sum ofSquared Differences)，或归一化交叉相似度(Normalized Cross-Correlation)等函数计算相似分数。上述计算公式均为公知公式，本发明实施例中，仅是采用该公式计算相似分数值。
4)利用所述抽样点与所述相似点的视差，确定所述当前主播场景图像中人物的初始视差信息。
具体地，根据步骤3)确定的抽样点与对应的相似点，获取抽样点与相似点的横坐标值，将相似点的横坐标值与抽样点的横坐标值的差值作为两点之间的视差，通过该视差确定当前主播场景图像中人物的视差范围。例如，抽样点的横坐标值为x，相似点的横坐标值为x'，则视差l'＝x'-x。
可以理解的是，抽取的抽样点均为多个，因此，确定的相似点也均为多个。本步骤中的每一个视差，均为每个抽样点与其对应的相似点的差值，通过多个视差确定当前主播场景图像中人物的视差范围。
进一步地，利用抽样点与相似点的视差，转码服务器确定当前主播场景图像中人物的视差范围，具体包括：转码服务器首先判断视差是否大于预设的第一视差阈值；转码服务器将视差中大于第一视差阈值的视差作为第一子视差，并判断第一子视差是否大于预设的第二视差阈值；转码服务器将第一子视差中大于第二视差阈值的第一子视差作为第二子视差，并将第二子视差的最大视差作为视差范围的上限，将第二子视差的最小视差作为视差范围的下限。
在本发明实施例中，第二视差阈值大于第一视差阈值；所述第一视差阈值用于对多个视差的相似度进行选择；所述第二视差阈值用于筛除出多个第一子视差中的个别误差。
其中，在确定视差范围时，还可仅判断一次，也即是转码服务器判断视差是否大于预设的第二视差阈值，如果视差大于预设的第二视差阈值，则将大于第二视差阈值的，且视差最大值最为上限；将大于第二视差阈值的，且视差最小值最为下限。
因此，通过上述视差计算方法，转码服务器获取当前主播场景图像中人物的第一掩码图和第二掩码图，对第一掩码图和第二掩码图分别进行降维处理，得到第一行矩阵和第二行矩阵；转码服务器在行矩阵中分别确定抽样点和相似点；利用抽样点与相似点的视差，确定当前主播场景图像中人物的视差范围。相比较现有的视差计算方法，本发明在根据抽样点确定相似点时，仅计算了行矩阵中抽样点和相似点邻域范围内像素点的相似分数值，进而确定相似点，而不再对整个图像的像素点进行计算后再匹配，解决了现有技术中视差计算方法的计算复杂度高，且计算准确率低的问题；大大降低了视差计算复杂度，并提高了计算准确率。
需要说明的是，前文所描述的视差计算方法中，当前主播场景图像中可为1个或者多个。
优选地，在本发明实施例中，若当前主播场景图像中人物唯一时，在第二行矩阵中，确定与第一行矩阵中每个抽样点对应的相似点，具体包括：
转码服务器分别在第一行矩阵中和第二行矩阵中，确定第一行矩阵的第一重心点和第二行矩阵的第二重心点。
利用抽样点与相似点的视差，确定当前主播场景图像中人物的视差范围，具体包括：
转码服务器将第一重心点与第二重心点的差值作为当前主播场景图像中人物的视差。
需要说明的是，确定第一重心点和第二重心点的方法为本领域共知常识，在此不再复述。前述利用重心点的视差作为人物视差时，也可应用在当前主播场景图像中人物为多个的情况，但此时需保证每个人物保持在同一深度范围内。
在本发明实施例中，所述待处理前景图像参考视差包括最大参考视差(Discam_max)和最小参考视差(Discam_min)，所述切换场景图像的视差信息包括切换场景图像的最大视差(Disbg_max)、最小视差(Disbg_min)、零视差。
在本发明实施例中，根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差、所述初始视差信息获取所述待处理前景图像的视差偏移量，具体包括：
1)根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差获取所述待处理前景图像的视差调整系数。
在本发明实施例中，为了获取所述待处理前景图像的视差调整系数，需要先获取待处理前景图像的参考视差信息、切换场景图像的视差信息以及基准视差。
具体地，如前，在本发明实施例中，所述参考视差信息包括最大参考视差(Discam_max)和最小参考视差(Discam_min)；所述切换场景图像的视差信息包括：切换场景图像零视差深度，切换场景图像最大视差(Disbg_max)和切换场景图像最小视差(Disbg_min)。其中，由于切换场景图像已选定，因此所述切换场景图像的视差信息可通过所述切换场景图像的相关参数获得。待处理前景图像是通过抠图算法获得，因此该初始视差(Disint)也可以通过抠图处理的结果获得，具体为通过前述对待处理前景图像视差处理步骤获得。
那么，对于最大参考视差和最小参考视差，在本发明实施例中可通过如下方式获得。
在利用立体相机进行拍摄时，通过读取立体相机的配置信息可获得所述立体相机的拍摄参数，其中所述拍摄参数包括：所述立体相机的视野角，水平间距和水平分辨率。假设被拍摄对象距离立体相机的距离为d，那么，根据立体相机拍摄参数等按照如下公式可确定被拍摄对象在深度为d时视差：
其中，Discam表示被拍摄对象在深度为d时视差(单位为像素)，D表示水平间距，f表示立体相机的视野角，Res表示水平分辨率。
设定立体相机距离待处理前景图像所在的场景的最大距离d1和最小距离d2。那么，根据所述视野角、所述水平间距、所述水平分辨率、所述距离最大值和所述距离最小值按照下述公式(1)和(2)获得所述最大参考视差和最小参考视差。
其中，Discam_max表示最大参考视差，Discam_min表示最小参考视差，D表示水平间距，f表示立体相机的视野角，Res表示水平分辨率，d1和d2分别表示距离最大值和距离最小值。
接下来，进一步获取所述待处理前景图像在位于拍摄零视差深度时的基准视差。
具体地，根据上述获取的拍摄参数以及拍摄零视差深度按照下述公式(3)获得所述基准视差：
其中，Discam_0表示基准视差，D表示水平间距，f表示立体相机的视野角，Res表示水平分辨率，d0表示拍摄零视差深度。
为保证待处理前景图像的拍摄零视差深度和切换场景图像的零视差深度相匹配，在此需要将待处理前景图像在拍摄零视差深度时的视差，也即将基准视差调整为零。
在本发明实施例中，可通过以下任一方式获得视差调整系数。
方式一、在具体应用中，由于待处理前景图像可能位于零视差深度之前，也有可能位于零视差深度之后，因此，在此步骤中可根据不同的情况按照不同的方式获得该视差调整系数。
因此，在此方式中，首先将所述初始视差和所述基准视差进行比较。
当所述初始视差大于等于所述基准视差(待处理前景图像位于零视差深度之前)时，将利用所述切换场景图像的最大视差除以所述最大参考视差和所述基准视差之差的结果作为所述视差调整系数。
具体的，按照下述公式(4)计算此时的视差调整系数：
当所述初始视差小于所述基准视差(待处理前景图像位于零视差深度之后)时，将利用所述切换场景图像的最小视差除以所述基准视差和最小参考视差之差的结果作为所述视差调整系数。
具体的，按照下述公式(5)计算此时的视差调整系数：
其中，copos表示所述初始视差大于等于所述基准视差时的视差调整系数，coneg表示所述初始视差小于所述基准视差时的视差调整系数，Discam_max表示最大参考视差，Discam_min表示最小参考视差，Discam_0表示基准视差，Disbg_max表示背景图像最大视差，Disbg_min表示背景图像最小视差。
方式二、将所述切换场景图像的最大视差与所述切换场景图像的最小视差之差作为第一参数，将所述最大参考视差和所述最小参考视差之差作为第二参数。然后，将所述第一参数和所述第二参数的商作为所述视差调整系数。
也就是说，在此情况下，可不考虑待处理前景图像和零视差深度的关系，而直接按照下述公式(6)计算视差调整系数。
其中，co表示视差调整系数，Discam_max表示最大参考视差，Discam_min表示最小参考视差，Disbg_max表示背景图像最大视差，Disbg_min表示背景图像最小视差，Disbg_max-Disbg_min表示第一参数，Discam_max-Discam_min表示第二参数。
将方式一和方式二相比，由于在方式一中考虑到在具体应用中待处理前景图像的实际位置与零视差深度的关系，因此利用方式一计算的视差调整系数更能使得待处理前景图像和切换场景图像的视差相匹配，避免出现经调整后显示的图像出现畸变的现象，从而进一步提高显示效果。
2)根据所述初始视差、所述视差调整系数、所述基准视差和所述参考视差信息确定所述待处理前景图像的视差偏移量。
在此步骤中，包括如下过程：
步骤21)、计算目标视差。具体的，将所述基准视差和所述初始视差之差与所述视差调整系数的乘积作为所述待处理前景图像的目标视差。
具体的，当采用上述方式一的视差调整系数时，按照下述公式(7)和(8)计算目标视差。
当所述初始视差大于等于所述基准视差时：
Disobj＝copos·(Disint-Discam_0) (7)
当所述初始视差小于所述基准视差时，
Disobj＝coneg·(Disint-Discam_0) (8)
其中，Disobj表示目标视差，Disint表示初始视差，Discam_0表示基准视差，copos表示所述初始视差大于等于所述基准视差时的视差调整系数，coneg表示所述初始视差小于所述基准视差时的视差调整系数；
具体的，当采用上述方式二的视差调整系数时，按照下述公式(9)计算目标视差。
Disobj＝co·(Disint-Discam_0) (9)
其中，Disobj表示目标视差，Disint表示初始视差，Discam_0表示基准视差，co表示视差调整系数。
步骤22)、计算视差偏移量。具体的，将所述初始视差和所述目标视差之差作为所述视差偏移量。
具体的，当采用上述方式一的视差调整系数时，按照如下公式(10)获取所述视差偏移量：
其中，Val表示视差偏移量，Disobj表示目标视差，Disint表示初始视差，Discam_0表示基准视差，copos表示所述初始视差大于等于所述基准视差时的视差调整系数，coneg表示所述初始视差小于所述基准视差时的视差调整系数，Discam_0表示基准视差。
具体的，当采用上述方式二的视差调整系数时，按照如下公式(11)获取所述视差偏移量：
Val＝Disint-Disobj＝(1-co)Disint+co·Discam_0 (11)
其中，Val表示视差偏移量，Disobj表示目标视差，Disint表示初始视差，Discam_0表示基准视差，co表示视差调整系数，Discam_0表示基准视差。
进一步地，在本发明实施例中，根据所述视差偏移量对所述待处理前景图像进行调整，具体包括：
当所述待处理前景图像为利用所述立体相机的右相机拍摄时，如果视差偏移量大于0，根据所述视差偏移量将所述待处理前景图像向右平移；如果视差偏移量小于0，根据所述视差偏移量将所述待处理前景图像向左平移。
当所述待处理前景图像为利用所述立体相机的左相机拍摄时，如果视差偏移量大于0，根据所述视差偏移量将所述待处理前景图像向左平移；如果视差偏移量小于0，根据所述视差偏移量将所述待处理前景图像向右平移。
由以上可以看出，由于在本发明实施例中根据切换场景图像的相关视差信息对待处理前景图像的视差进行了调整，因此利用本发明的方案可以使得待处理前景图像和切换场景图像的视差匹配，从而使得最终将待处理前景图像和切换场景图像合成后，该合成后的图像立体显示后的图像的视差更为合理。而且在本发明的一些实施例中还将待处理前景图像和切换场景图像相对于零视差时的位置关系作为考虑因素来确定视差调整系数，使得该些实施例所描述的技术方案更能使得待处理前景图像和切换场景图像的视差匹配，避免出现经调整及合成处理后显示的图像出现畸变，从而进一步的提高了显示效果，也更加符合立体显示的要求。
可选地，在本发明实施例中，服务器场景切换方法中，还可以包括：创建三维场景，所述创建三维场景具体包括：由二维图片合成三维场景，直接拍摄获得三维场景；或导入模型创造三维场景。
其中，创建场景模型支持Maya、3Dmax等常用3D软件，模型文件的格式可以为目前常见的3D格式。场景模型的创建方法包括多个实施例，下面以图片、系列图片、模型为例说明场景模型的创建方法，但不局限于此三种方法。
图片
使用图片创建的场景模型，具有场景占用存储空间小、易于传输的优点。
由于创建场景模型的图片拍摄方法众多，下面仅以左右拍摄方法为例，使用图片创建场景模型的方法包括但不局限于以下两种：
双相机拍摄
调整两台相机的镜头左右间距至推荐值，为便于后期与主播图像进行合成，此处推荐取主播3D录像时的镜头左右间距，即取值为40毫米，也可根据实际情况进行调整；
使用两台相机同时拍摄同一物体，得到两张2D图片；
使用Maya、3D max等3D软件将两张2D图片通过校正拍摄过程中的相机移动、旋转以及焦距不一致等方式合成为3D图片；
将所合成的3D图片通过场景管理后台上传至服务器。
3D camera插件拍摄
使用3D camera插件拍摄3D图片；
将所拍摄的3D图片通过场景管理后台上传至服务器。
(2)系列图片
由于使用图片创建场景模型，存在场景角度固定、不能根据内容变化等缺点，也可以使用系列图片创建场景模型。
系列图片的创建场景模型流程如下：
使用相机拍摄一张2D图片，并记录景深；
多次调整相机与被摄物体间距离，拍摄图片并记录相应的景深；
将系列图片及对应景深导入Maya、3D max等软件，合成3D图片；
将所合成的3D图片通过场景管理后台上传至服务器。
(3)模型
由于使用系列图片创建场景模型，存在摄像头不能旋转等缺点，也可以通过导入模型创建场景模型。
模型导入包括但不限于以下三种方法：3D引擎搭建(包括Cocos、Unity等产品)、3Ddeapth UI搭建、直接导入3D模型。
可选地，在本发明实施例中，客户端场景切换方式或加载方法中，还可以包括：将新场景上传至服务器，服务器将新场景写入场景库中，并对场景库进行更新。
其中，场景库更新包括多种实现方法，下面以管理员更新、供应商更新为例进行说明，但场景库更新方法不局限于此。
(1)管理员更新
管理员更新场景库方法的具体流程如下：
管理员登录场景管理后台，选中需要上传的新场景，由场景管理后台将新场景上传至服务器；
服务器处理新场景后，写入场景库中，供场景切换等功能使用；
场景库写入完成后，将更新状态返回至服务器；
服务器将更新状态传递至场景管理后台，并显示给管理员。
管理员更新场景库的流程图如图4所示。
(2)供应商更新
供应商更新场景库方法的具体流程如下：
供应商登录场景管理后台，选中需要上传的新场景，由场景管理后台将新场景上传至服务器；
服务器处理新场景后，写入场景库中，供后续相关功能的使用；
场景库写入完成后，将更新状态返回至服务器；
服务器将更新状态传递至场景管理后台，并显示给供应商。
供应商更新场景库的流程图如图5所示，供应商与场景管理后台架构关系如图6所示。
图7为本发明实施例一种主播类互动平台服务器场景切换装置结构示意图，所述装置应用于主播互动平台的转码服务器，所述转码服务器与场景库连接,如图7所示，所述装置包括：
接收单元71，用于接收客户端发送的切换场景信息，以及场景库返回的切换场景信息，
第一发送单元72，用于在当前场景下向场景库请求场景列表，以及向场景库请求切换场景信息，
融合单元73，用于将主播信息与返回的切换场景信息进行融合，和/或，
第二发送单元74，用于将主播信息与返回的切换场景信息进行融合后发送至客户端，或，将主播信息与返回的切换场景信息发送至客户端。
在本发明实施例中，第一发送单元72具体用于：
向场景库发送切换场景请求信息，所述切换场景请求信息中包含场景显示位置、场景显示尺寸和场景标识，以使得所述场景库根据所述切换场景请求信息返回切换场景信息。
需要说明的是，在本发明实施例中，第一发送单元72及第二发送单元74是为描述上的方便，实际上，第一发送单元72及第二发送单元74可以统称为发送单元，可以用于实现第一发送单元72及第二发送单元74的功能。
在本发明实施例中，所述装置，还包括：
主播信息处理单元75，用于对主播信息进行抠图处理以获取待处理前景图像，对所述待处理前景图像进行视差处理，以获取所述待处理前景图像的初始视差信息；获取所述待处理前景图像的参考视差信息、切换场景图像的视差信息；所述切换场景图像的视差信息包括：背景零视差深度；获取所述待处理前景图像在位于拍摄零视差深度时的基准视差，其中所述拍摄零视差深度等于所述切换场景的背景零视差深度；根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差、所述初始视差信息获取所述待处理前景图像的视差偏移量，并根据所述视差偏移量对所述待处理前景图像进行调整。
需要说明的是，本发明实施例中主播类互动平台客户端场景切换装置中各个单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，方法实施例中的具体内容同样适用。本发明实施例中的各个单元可以作为单独的硬件或软件来实现，并且可以根据需要使用单独的硬件或软件来实现各个单元的功能的组合。
在本发明实施例中，通过服务器向场景库请求场景信息，并将请求的切换场景信息与主播信息融合后发送至客户端，或将主播信息与返回的切换场景信息发送至客户端，实现了主播类互动平台服务器场景切换功能，且进一步的，场景切换功能的实现是在转码端服务器完成,减轻了其他设备的数据处理压力，尤其是减轻了主播端及客户端的数据处理压力，可以使得用户在随意切换场景的同时也能获得流畅切换的体验，而且在一些实施例中还可以实现对主播平台下所有客户端的场景切换，提升了用户体验。
图8为本发明实施例一种主播类互动平台服务器结构示意图，包括：中央处理器81，其中：
中央处理器81，用于接收客户端发送的切换场景信息，向场景库请求所述切换场景信息，接收所述场景库返回的切换场景信息，将主播信息与返回的切换场景信息进行融合后发送至客户端，以使客户端获得切换场景后的呈现内容，或，将主播信息与返回的切换场景信息发送至客户端，以在客户端融合后获得切换场景后的呈现内容，
本发明实施例中，处理器所执行的上述操作可以以一段程序的形式存储在存储器中，当需要执行上述操作时，将该段程序调入处理器执行处理。
在本发明实施例中，服务器为转码服务器。
在本发明实施例中，通过服务器向场景库请求场景信息，并将请求的切换场景信息与主播信息融合后发送至客户端，或将主播信息与返回的切换场景信息发送至客户端，实现了主播类互动平台服务器场景切换功能，且进一步的，场景切换功能的实现是在转码端服务器完成,减轻了其他设备的数据处理压力，尤其是减轻了主播端及客户端的数据处理压力，可以使得用户在随意切换场景的同时也能获得流畅切换的体验，而且在一些实施例中还可以实现对主播平台下所有客户端的场景切换，提升了用户体验。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (13)
1.一种主播类互动平台服务器场景切换方法，其特征在于，所述方法应用于主播类互动平台的转码服务器，所述转码服务器与场景库连接，所述方法包括：
接收客户端发送的切换场景信息；
向所述场景库请求所述切换场景信息；
接收所述场景库返回的切换场景信息；
对主播信息进行处理，
将切换场景信息与经处理后的主播信息进行融合后发送至客户端，以使客户端获得切换场景后的呈现内容；或，将切换场景信息和经处理后的主播信息发送至客户端，以在客户端融合后获得切换场景后的呈现内容，其中，所述切换场景信息包括切换场景图像的视差信息；
所述将切换场景信息与经处理后的主播信息进行融合之前，还包括：获取对主播信息进行抠图处理后的主播人像，在主播端反馈主播人像与摄像头的距离后，选择与反馈信息相近的场景图像；
其中，所述发送至客户端包括：发送至所述主播类互动平台的任意一个客户端。
2.根据权利要求1所述的方法，其特征在于，所述接收客户端发送的切换场景信息之前，还包括：
客户端向场景库发送场景列表请求信息，所述场景列表请求信息中包含客户端标识，
场景库根据所述场景列表请求信息返回场景列表，
客户端从所述场景列表中选择切换场景信息，并将所述切换场景信息发送给转码服务器。
3.根据所述权利要求2所述的方法，其特征在于，所述向场景库请求所述切换场景信息，具体包括：
向场景库发送切换场景请求信息，所述切换场景请求信息中包含场景显示位置、场景显示尺寸和场景标识，以使得所述场景库根据所述切换场景请求信息返回切换场景信息。
4.根据权利要求1所述的方法，所述对主播信息进行处理，具体包括：
对主播信息进行抠图处理以获取待处理前景图像；
对所述待处理前景图像进行视差处理，以获取所述待处理前景图像的初始视差信息；
获取所述待处理前景图像的参考视差信息、切换场景图像的视差信息；所述切换场景图像的视差信息包括：切换场景图像零视差深度；
获取所述待处理前景图像在位于拍摄零视差深度时的基准视差，其中所述拍摄零视差深度等于所述切换场景图像零视差深度；
根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差、所述初始视差信息获取所述待处理前景图像的视差偏移量；根据所述视差偏移量对所述待处理前景图像进行调整。
5.根据权利要求4所述的方法，所述对主播信息进行抠图处理以获取待处理前景图像，具体包括：
获取主播场景图像的背景统计信息，所述背景统计信息包括所述主播场景中第一色彩区域在色彩空间的背景均值和标准差值；
根据所述背景均值和标准差值，对所述主播场景图像进行抠图处理，得到所述主播场景图像的待处理前景图像信息。
6.根据权利要求4所述的方法，其特征在于，所述对待处理前景图像进行视差处理，以获取待处理前景图像的初始视差信息具体为：
获取当前主播场景图像中人物的第一掩码图和第二掩码图；
对所述第一掩码图和所述第二掩码图分别进行降维处理，得到与所述第一掩码图对应的第一行矩阵以及与所述第二掩码图对应的第二行矩阵；
在所述第二行矩阵中，确定与所述第一行矩阵中每个抽样点对应的相似点；
利用所述抽样点与所述相似点的视差，确定所述当前主播场景图像中人物的初始视差信息。
7.根据权利要求4所述的方法，其特征在于，所述待处理前景图像的参考视差包括最大参考视差和最小参考视差，所述切换场景图像的视差信息包括切换场景图像的最大视差、最小视差及零视差。
8.根据权利要求7所述的方法，其特征在于，所述根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差、所述初始视差信息获取所述待处理前景图像的视差偏移量具体包括：
根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差获取所述待处理前景图像的视差调整系数；
根据所述初始视差、所述视差调整系数、所述基准视差和所述参考视差信息确定所述待处理前景图像的视差偏移量。
9.根据权利要求8所述的方法，其特征在于，所述根据所述参考视差信息、所述切换场景图像的视差信息、所述基准视差获取所述待处理图像的视差调整系数包括：
将所述初始视差和所述基准视差进行比较；
当所述初始视差大于等于所述基准视差时，将利用所述切换场景图像的视差信息的最大视差除以所述最大参考视差和所述基准视差之差的结果作为所述视差调整系数；
当所述初始视差小于所述基准视差时，将利用所述切换场景图像的视差信息的最小视差除以所述基准视差和最小参考视差之差的结果作为所述视差调整系数。
10.根据权利要求9所述的方法，其特征在于，还包括：创建三维场景，所述创建三维场景具体包括：
由二维图片合成三维场景，
直接拍摄获得三维场景；或
导入模型创造三维场景。
11.根据权利要求10所述的方法，其特征在于，还包括：将新场景上传至服务器，服务器将新场景写入场景库中，并对场景库进行更新。
12.一种主播类互动平台服务器场景切换装置，其特征在于，所述装置应用于主播类互动平台的转码服务器，所述转码服务器与场景库连接,所述装置包括：
接收单元，用于接收客户端发送的切换场景信息，以及场景库返回的切换场景信息，
第一发送单元，用于向场景库请求切换场景信息，
主播信息处理单元，用于对主播信息进行处理；
融合单元，用于切换场景信息与经处理后的主播信息进行融合；
第二发送单元，用于将切换场景信息与经处理后的主播信息进行融合后发送至客户端，以使客户端获得切换场景后的呈现内容；或，将切换场景信息与经处理后的主播信息发送至客户端，以在客户端融合后获得切换场景后的呈现内容，其中，所述切换场景信息包括切换场景图像的视差信息，其中，所述发送至客户端包括：发送至所述主播类互动平台的任意一个客户端，
所述将切换场景信息与经处理后的主播信息进行融合之前，还包括：获取对主播信息进行抠图处理后的主播人像，在主播端反馈主播人像与摄像头的距离后，选择与反馈信息相近的场景图像。
13.一种主播类互动平台服务器，其特征在于，包括：
中央处理器，用于接收客户端发送的切换场景信息，向场景库请求所述切换场景信息，接收所述场景库返回的切换场景信息，对主播信息进行处理，将切换场景信息与经处理后的主播信息进行融合后发送至客户端，以使客户端获得切换场景后的呈现内容，或，将切换场景信息和经处理后的主播信息发送至客户端，以在客户端融合后获得切换场景后的呈现内容，其中，所述切换场景信息包括切换场景图像的视差信息；所述将切换场景信息与经处理后的主播信息进行融合之前，还包括：获取对主播信息进行抠图处理后的主播人像，在主播端反馈主播人像与摄像头的距离后，选择与反馈信息相近的场景图像；其中，所述发送至客户端包括：发送至所述主播类互动平台的任意一个客户端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511025746.9A CN106231349B8 (zh) | 2015-12-30 | 2015-12-30 | 主播类互动平台服务器场景切换方法及其装置、服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511025746.9A CN106231349B8 (zh) | 2015-12-30 | 2015-12-30 | 主播类互动平台服务器场景切换方法及其装置、服务器 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| CN106231349A CN106231349A (zh) | 2016-12-14 |
| CN106231349B true CN106231349B (zh) | 2019-03-26 |
| CN106231349B8 CN106231349B8 (zh) | 2019-08-16 |
Family
ID=57528716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201511025746.9A Active CN106231349B8 (zh) | 2015-12-30 | 2015-12-30 | 主播类互动平台服务器场景切换方法及其装置、服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106231349B8 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106899807A (zh) * | 2016-12-31 | 2017-06-27 | 天脉聚源（北京）科技有限公司 | 一种构建虚拟穹顶的方法和装置 |
| CN107369168B (zh) * | 2017-06-07 | 2021-04-02 | 安徽师范大学 | 一种大污染背景下配准点的提纯方法 |
| CN108171160B (zh) * | 2017-12-27 | 2021-03-23 | 广州虎牙信息科技有限公司 | 一种任务结果识别方法、装置、存储介质及电子设备 |
| CN108762508A (zh) * | 2018-05-31 | 2018-11-06 | 北京小马当红文化传媒有限公司 | 一种基于vr体验舱的人体与虚拟人合成系统及方法 |
| CN108833809A (zh) * | 2018-06-19 | 2018-11-16 | 武汉斗鱼网络科技有限公司 | 一种视频混流控制方法、装置、系统、设备及介质 |
| CN110087128A (zh) * | 2019-04-30 | 2019-08-02 | 广州虎牙信息科技有限公司 | 直播互动方法、直播互动装置及直播设备 |
| CN110109597B (zh) | 2019-05-20 | 2020-12-22 | 北京字节跳动网络技术有限公司 | 一种歌单切换方法、装置、系统、终端和存储介质 |
| CN112040270B (zh) * | 2019-06-03 | 2022-05-31 | 广州虎牙信息科技有限公司 | 一种直播方法、装置、设备和存储介质 |
| CN112423006A (zh) * | 2020-11-09 | 2021-02-26 | 珠海格力电器股份有限公司 | 一种直播场景切换方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102726052A (zh) * | 2010-10-01 | 2012-10-10 | 索尼公司 | 立体图像数据发送设备、立体图像数据发送方法、立体图像数据接收设备以及立体图像数据接收方法 |
| CN103634681A (zh) * | 2013-11-29 | 2014-03-12 | 腾讯科技(成都)有限公司 | 直播互动方法、装置、客户端、服务器及系统 |
| CN104469259A (zh) * | 2014-12-15 | 2015-03-25 | 广东威创视讯科技股份有限公司 | 一种云端视频合成方法及系统 |
| CN104615421A (zh) * | 2014-12-30 | 2015-05-13 | 广州酷狗计算机科技有限公司 | 虚拟礼物展示方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9686329B2 (en) * | 2013-05-17 | 2017-06-20 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for displaying webcast rooms |
-
2015
- 2015-12-30 CN CN201511025746.9A patent/CN106231349B8/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102726052A (zh) * | 2010-10-01 | 2012-10-10 | 索尼公司 | 立体图像数据发送设备、立体图像数据发送方法、立体图像数据接收设备以及立体图像数据接收方法 |
| CN103634681A (zh) * | 2013-11-29 | 2014-03-12 | 腾讯科技(成都)有限公司 | 直播互动方法、装置、客户端、服务器及系统 |
| CN104469259A (zh) * | 2014-12-15 | 2015-03-25 | 广东威创视讯科技股份有限公司 | 一种云端视频合成方法及系统 |
| CN104615421A (zh) * | 2014-12-30 | 2015-05-13 | 广州酷狗计算机科技有限公司 | 虚拟礼物展示方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106231349A (zh) | 2016-12-14 |
| CN106231349B8 (zh) | 2019-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106231349B (zh) | 主播类互动平台服务器场景切换方法及其装置、服务器 | |
| US9445072B2 (en) | Synthesizing views based on image domain warping | |
| Zhang et al. | 3D-TV content creation: automatic 2D-to-3D video conversion | |
| US10652519B2 (en) | Virtual insertions in 3D video | |
| JP6599435B2 (ja) | イベント空間で生じるイベントの３次元再構成における３次元再構成システムによる周囲の処理を制限するためのシステムおよび方法 | |
| CN106231411B (zh) | 主播类互动平台客户端场景切换、加载方法及装置、客户端 | |
| Isgro et al. | Three-dimensional image processing in the future of immersive media | |
| CN101682794B (zh) | 用于处理深度相关信息的方法、装置和系统 | |
| CN108154058B (zh) | 图形码展示、位置区域确定方法及装置 | |
| Bertel et al. | Megaparallax: Casual 360 panoramas with motion parallax | |
| EP2323416A2 (en) | Stereoscopic editing for video production, post-production and display adaptation | |
| WO2011029209A2 (en) | Method and apparatus for generating and processing depth-enhanced images | |
| CN106231397B (zh) | 主播类互动平台主播端场景切换方法及其装置、主播端 | |
| Farre et al. | Automatic content creation for multiview autostereoscopic displays using image domain warping | |
| KR20140030111A (ko) | 의사-3d 인위적 원근법 및 장치 | |
| CN102026013A (zh) | 基于仿射变换的立体视频匹配方法 | |
| US20140036039A1 (en) | Techniques for producing creative stereo parameters for stereoscopic computer animation | |
| JP2004007395A (ja) | 立体画像処理方法および装置 | |
| US20110242273A1 (en) | Image processing apparatus, multi-eye digital camera, and program | |
| KR20150105069A (ko) | 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법 | |
| CN106231350B (zh) | 主播类互动平台场景切换方法及其装置 | |
| Zilly et al. | Real-time generation of multi-view video plus depth content using mixed narrow and wide baseline | |
| JP2016163342A (ja) | 三次元形状情報の配信または放送の方法 | |
| CN103747236A (zh) | 结合人眼跟踪的立体视频处理系统及方法 | |
| Bleyer et al. | Temporally consistent disparity maps from uncalibrated stereo videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CI03 | Correction of invention patent |
Correction item: Inventor Correct: Zuo Ruirui|Li Li|Zhao He False: Zuo Ruirui Number: 13-01 Volume: 35 Correction item: Inventor Correct: Zuo Ruirui|Li Li|Zhao He False: Zuo Ruirui Number: 13-01 Page: The title page Volume: 35 |
|
| CI03 | Correction of invention patent |