CN106231292B - 一种立体虚拟现实直播方法、装置及设备 - Google Patents

一种立体虚拟现实直播方法、装置及设备 Download PDF

Info

Publication number
CN106231292B
CN106231292B CN201610807950.4A CN201610807950A CN106231292B CN 106231292 B CN106231292 B CN 106231292B CN 201610807950 A CN201610807950 A CN 201610807950A CN 106231292 B CN106231292 B CN 106231292B
Authority
CN
China
Prior art keywords
parallax
scene
msub
cameras
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610807950.4A
Other languages
English (en)
Other versions
CN106231292A (zh
Inventor
李东方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Super Technology Co Ltd
Original Assignee
Shenzhen Super Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Super Technology Co Ltd filed Critical Shenzhen Super Technology Co Ltd
Priority to CN201610807950.4A priority Critical patent/CN106231292B/zh
Publication of CN106231292A publication Critical patent/CN106231292A/zh
Application granted granted Critical
Publication of CN106231292B publication Critical patent/CN106231292B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供了一种立体虚拟现实直播方法、装置及设备，涉及显示技术领域，解决虚拟与现实融合显示时由于视差导致显示效果偏差的问题。该方法包括：获取直播场景的左右图像；分别对直播场景的左右图像进行抠图，获取直播场景中主播的左右视图；根据视差调整参数对左右视图进行视差调整，视差调整参数根据直播场景下和预设虚拟场景下的视差占比确定，直播场景下或预设虚拟场景下的视差占比为直播场景或预设虚拟场景的摄像机拍摄的左右图像的视差值与水平宽度的比例；将视差调整后的左右视图放置在预设虚拟场景中，利用左右虚拟摄像机拍摄，从而根据获得的立体融合视图进行立体虚拟现实显示。本发明优化了现实与虚拟融合显示效果，提升了用户体验。

Description

一种立体虚拟现实直播方法、装置及设备
技术领域
本发明涉及显示技术领域，特别涉及一种立体虚拟现实直播方法、装置及设备。
背景技术
随着VR(Virtual Reality，虚拟现实)技术的兴起以及网络直播平台的盛行，使得基于VR的直播系统站在了时代的风口上，让人们充满了想象空间，具备无限的市场潜力。基于VR的直播系统能够将虚拟场景和现实直播场景中的直播主体(即主播)融合显示，带给VR用户类似于真实参与的用户体验，其中，虚拟场景利用计算机通过OpenGL(Open GraphicsLibrary，开放图形库)等图形引擎构建，而现实直播场景是主播所在的真实直播环境。
目前，将虚拟场景与现实的直播主体融合显示进行直播最大的问题在于，如何融合虚拟场景与现实中的直播主体，使得用户能享受到一种舒适、自然、更接近于真实的观看体验。因此，如何提升用户的观看体验，是一个亟待解决的问题。
发明内容
本发明要解决的技术问题是提供一种立体虚拟现实直播方法、装置及设备，能够实现立体的VR直播，而且能够解决虚拟与现实融合显示时由于视差而导致的立体显示效果偏差、用户观看体验较差的问题，给用户提供更加身临其境的沉浸感。
为解决上述技术问题，本发明的实施例提供一种立体虚拟现实直播方法，其特征在于，包括：
获取左右双目摄像机拍摄的直播场景的左右图像；
分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；
根据视差调整参数对所述左右视图进行视差调整，其中，所述视差调整参数是根据所述直播场景下的视差占比和预设虚拟场景下的视差占比确定的，所述直播场景下的视差占比为所述左右双目摄像机拍摄的左右图像的视差值与所述左右双目摄像机拍摄的左右图像的水平宽度的比例，所述预设虚拟场景下的视差占比为左右虚拟摄像机拍摄的左右图像的视差值与所述左右虚拟摄像机的拍摄的左右图像的水平宽度的比例；
将视差调整后的左右视图放置在所述预设虚拟场景中，利用所述左右虚拟摄像机拍摄放置有左右视图的所述预设虚拟场景，从而获取合成有所述主播和所述预设虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而根据所述立体融合视图进行立体化的虚拟现实显示，实现立体虚拟现实直播。
进一步来说，所述方法还包括：
通过如下公式获取所述视差调整参数PixMove：
PixMove＝PixW*Δdif；
其中，Δdif＝dif1-dif0，dif1为所述预设虚拟场景下的视差占比，dif0为所述直播场景下的视差占比，PixW为所述左右视图的水平像素宽度。
进一步来说，所述方法还包括：
通过如下公式获取所述直播场景下的视差占比dif0：
其中，d0为所述左右双目摄像机的视间距，D0为所述左右双目摄像机在所述主播所在平面上的水平拍摄宽度；
通过如下公式获取所述预设虚拟场景下的视差占比dif1：
其中，d1为所述左右虚拟摄像机的视间距，D1为所述左右虚拟摄像机在所述左右视图在所述预设虚拟场景中的放置位置所在平面上的水平拍摄宽度。
进一步来说，所述方法还包括：
通过如下公式获取所述左右双目摄像机在所述主播所在平面上的水平拍摄宽度D0：
其中，θ0为所述左右双目摄像机的水平视角，z0为所述左右双目摄像机到所述主播所在平面的距离；
通过如下公式获取所述左右虚拟摄像机在所述左右视图在所述预设虚拟场景中的放置位置所在平面上的水平拍摄宽度D1：
其中，θ1为所述左右虚拟摄像机的水平视角，z1为所述左右虚拟摄像机到所述左右视图在所述预设虚拟场景中放置位置所在平面的距离。
进一步来说，所述方法还包括：
获取所述左右双目摄像机的焦距；
根据所述左右双目摄像机的焦距，通过如下公式获取所述左右双目摄像机在所述主播所在平面上的水平拍摄宽度D0：
D0＝2*z0*h(a)；
其中，z0为所述左右双目摄像机到所述主播所在平面的距离，a为所述左右双目摄像机的焦距，h(a)为以a为变量的关系式，将获取到的a代入h(a)所计算得到的值等于
进一步来说，所述方法还包括：
获取并记录所述左右双目摄像机在不同焦距时拍摄左右图像时的焦距值a和二分之一水平视角的正切值
根据所述焦距值和所述正切值，利用最小二乘法获取以a为变量的关系式h(a)，其中，
进一步来说，所述根据视差调整参数对所述左右视图进行视差调整的步骤包括：
根据视差调整参数对所述左右视图进行视差调整处理，从而增加所述左右视图的视差值，所述视差值的增加量等于所述视差调整参数。
进一步来说，所述分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图之后，所述方法还包括：
对所述左右视图中所述主播的边界进行边界优化处理；和/或
根据所述预设虚拟场景的色温和/或色调，对所述左右视图的色温和/或色调进行调整。
为解决上述技术问题，本发明的实施例还提供一种立体虚拟现实直播装置，包括：
第一获取模块，用于获取左右双目摄像机拍摄的直播场景的左右图像；
抠图模块，用于分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；
视差调整模块，用于根据视差调整参数对所述左右视图进行视差调整，其中，所述视差调整参数是根据所述直播场景下的视差占比和预设虚拟场景下的视差占比确定的，所述直播场景下的视差占比为所述左右双目摄像机拍摄的左右图像的视差值与所述左右双目摄像机拍摄的左右图像的水平宽度的比例，所述预设虚拟场景下的视差占比为左右虚拟摄像机拍摄的左右图像的视差值与所述左右虚拟摄像机的拍摄的左右图像的水平宽度的比例；
融合模块，用于将视差调整后的左右视图放置在所述预设虚拟场景中，利用所述左右虚拟摄像机拍摄放置有左右视图的所述预设虚拟场景，从而获取合成有所述主播和所述预设虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而根据所述立体融合视图进行立体化的虚拟现实显示，实现立体虚拟现实直播。
进一步来说，所述装置还包括：
第二获取模块，用于通过如下公式获取所述视差调整参数PixMove：
PixMove＝PixW*Δdif；
其中，Δdif＝dif1-dif0，dif1为所述预设虚拟场景下的视差占比，dif0为所述直播场景下的视差占比，PixW为所述左右视图的水平像素宽度。
进一步来说，所述装置还包括：
第三获取模块，用于通过如下公式获取所述直播场景下的视差占比dif0：
其中，d0为所述左右双目摄像机的视间距，D0为所述左右双目摄像机在所述主播所在平面上的水平拍摄宽度；
第四获取模块，用于通过如下公式获取所述预设虚拟场景下的视差占比dif1：
其中，d1为所述左右虚拟摄像机的视间距，D1为所述左右虚拟摄像机在所述左右视图在所述预设虚拟场景中的放置位置所在平面上的水平拍摄宽度。
进一步来说，所述装置还包括：
第五获取模块，用于通过如下公式获取所述左右双目摄像机在所述主播所在平面上的水平拍摄宽度D0：
其中，θ0为所述左右双目摄像机的水平视角，z0为所述左右双目摄像机到所述主播所在平面的距离；
第六获取模块，用于通过如下公式获取所述左右虚拟摄像机在所述左右视图在所述预设虚拟场景中的放置位置所在平面上的水平拍摄宽度D1：
其中，θ1为所述左右虚拟摄像机的水平视角，z1为所述左右虚拟摄像机到所述左右视图在所述预设虚拟场景中放置位置所在平面的距离。
进一步来说，所述装置还包括：
第七获取模块，用于获取所述左右双目摄像机的焦距；
第八获取模块，用于根据所述左右双目摄像机的焦距，通过如下公式获取所述左右双目摄像机在所述主播所在平面上的水平拍摄宽度D0：
D0＝2*z0*h(a)；
其中，z0为所述左右双目摄像机到所述主播所在平面的距离，a为所述左右双目摄像机的焦距，h(a)为以a为变量的关系式，将获取到的a代入h(a)所计算得到的值等于
进一步来说，所述装置还包括：
第九获取模块，用于获取并记录所述左右双目摄像机在不同焦距时拍摄左右图像时的焦距值a和二分之一水平视角的正切值
第十获取模块，用于根据所述焦距值和所述正切值，利用最小二乘法获取以a为变量的关系式h(a)，其中，
进一步来说，所述视差调整模块包括：
视差调整单元，用于根据视差调整参数对所述左右视图进行视差调整处理，从而增加所述左右视图的视差值，所述视差值的增加量等于所述视差调整参数。
进一步来说，所述装置还包括：
边界优化模块，用于对所述左右视图中所述主播的边界进行边界优化处理；和/或
图片调整模块，用于根据所述预设虚拟场景的色温和/或色调，对所述左右视图的色温和/或色调进行调整。
为解决上述技术问题，本发明的实施例还提供一种立体虚拟现实直播设备，包括：显示屏，壳体、处理器、存储器、电路板和电源电路，其中：
所述显示屏嵌接在所述壳体上，与所述壳体一起围成封闭空间；
所述电路板安置在所述壳体和所述显示屏围成的空间内部，所述处理器和所述存储器设置在所述电路板上；
所述电源电路，用于为上述立体虚拟现实直播设备的各个电路或器件供电；
所述存储器用于存储可执行程序代码；
所述处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，执行：
获取左右双目摄像机拍摄的直播场景的左右图像；
分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；
根据视差调整参数对所述左右视图进行视差调整，其中，所述视差调整参数是根据所述直播场景下的视差占比和预设虚拟场景下的视差占比确定的，所述直播场景下的视差占比为所述左右双目摄像机拍摄的左右图像的视差值与所述左右双目摄像机拍摄的左右图像的水平宽度的比例，所述预设虚拟场景下的视差占比为左右虚拟摄像机拍摄的左右图像的视差值与所述左右虚拟摄像机的拍摄的左右图像的水平宽度的比例；
将视差调整后的左右视图放置在所述预设虚拟场景中，利用所述左右虚拟摄像机拍摄放置有左右视图的所述预设虚拟场景，从而获取合成有所述主播和所述预设虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而通过所述显示屏根据所述立体融合视图进行立体化的虚拟现实显示，实现立体虚拟现实直播。
本发明的上述技术方案的有益效果如下：
本发明实施例的立体虚拟现实直播方法、装置及设备，获取左右双目摄像机拍摄的直播场景的左右图像后，分别对直播场景的左右图像进行抠图处理，获取直播场景中直播的左右视图；然后根据视差调整参数对左右视图进行视差调整，该视差调整参数是根据直播场景下的视差占比和预设虚拟场景下的视差占比确定的，以使视差调整后的左右视图与虚拟场景中的视差要求相匹配，且与人眼观看的图像视差要求相匹配；最后将视差调整后的左右视图放置在预设虚拟场景中，利用左右虚拟摄像机拍摄防止有左右视图的预设虚拟场景，获得了合成有主播和虚拟场景的立体融合视图，该立体融合视图包括左眼融合视图及右眼融合视图，从而根据立体融合视图进行立体化的虚拟现实显示，实现立体虚拟现实直播。该方法通过实现了立体化的虚拟现实直播，通过立体化显示带给用户更加真实的沉浸感，而且在进行虚拟和现实融合时，对左右视图进行视差调整，优化了现实直播场景与虚拟场景融合的视觉效果，有效避免虚拟与现实融合显示时由于视差而导致的显示效果偏差所带来的用户眩晕不适感，观看体验较差的问题，给用户提供更加身临其境的沉浸感。
附图说明
图1为本发明立体虚拟现实直播方法的流程图；
图2为本发明直播流程示意图；
图3为本发明另一直播流程示意图；
图4为本发明左右双目摄像机拍摄视景示意图；
图5为本发明左右虚拟摄像机拍摄视景示意图；
图6为本发明左目摄像机拍摄视景示意图；
图7为本发明立体虚拟现实直播装置的结构示意图；
图8为本发明立体虚拟现实直播设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
为了使本领域技术人员更好的理解本发明，首先对本发明实施例中所言的虚拟场景与现实直播场景相结合的直播流程进行简要介绍。
虚拟场景利用计算机通过OpenGL(Open Graphics Library，开放图形库)等图形引擎构建，计算机可以通过渲染获取虚拟场景的图像，而现实直播场景(简称直播场景)是主播所在的真实直播环境，可通过真实摄像机拍摄而获取直播场景的图像。本发明实施例中，如图2、3所示，现实直播场景图像与虚拟场景图像可首先经过图像算法融合，然后经过网络、蓝牙等设备传输至直播设备进行显示。现实直播场景与虚拟场景也可以先经过网络、蓝牙等设备传输至直播设备，然后进行图像算法融合后显示。
本发明实施例的立体虚拟现实直播方法、装置及设备，在前述虚拟场景与现实直播场景相结合的直播基础上，实现了立体化的虚拟现实直播，通过立体化显示带给用户更加真实的沉浸感。而且，在直播场景与虚拟场景融合时，通过视差调整参数对直播的立体图像进行视差调整，使直播的立体图像视差与虚拟场景的视差要求相匹配，且与人眼观看的视差要求相匹配，优化了现实直播场景与虚拟场景融合的视觉效果，有效避免虚拟与现实融合显示时由于视差而导致的显示效果偏差所带来的用户眩晕不适感，观看体验较差的问题，给用户提供更加身临其境的沉浸感。
第一实施例
结合图1所示，本发明实施例的立体虚拟现实直播方法，包括：
步骤101，获取左右双目摄像机拍摄的直播场景的左右图像。
这里，通过左右双目摄像机拍摄现实直播场景，得到了具有视差的立体图像，即直播场景的左右图像。
该直播场景的左右图像中均包括直播主体(即主播)和直播主体所在的背景环境。主播可以是人，当然也可以是某种物体。为方便描述，以下以主播为人为例进行描述，可以理解的是，主播不限于人。
由于后续要将主播人像和虚拟场景进行融合，需要将主播人像从左右图像中抠离出来，因此，在直播场景中，可将主播的背景环境设置为绿幕或蓝幕，以方便在后续处理中将实际拍摄的背景环境去除，即将主播人像抠离出来，并将主播人像信息与虚拟场景模型进行合成。
步骤102，分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图。
这里，为了将直播场景中的主播(如人)放到虚拟场景中，需要对直播场景的左右图像进行抠图，获取直播场景中主播的左右视图。
具体的，假设主播的背景环境设置为绿幕或蓝幕，则，本步骤中，首先，使用抠像算法分别去掉直播场景图像信息中主播背后的蓝色或绿色背景。所述抠像算法可以是色度键抠像法，该算法通过找到那些饱和度比较高的蓝色或绿色背景颜色区域，并将这些背景颜色区域的透明值设为最小值，而人像颜色区域则保持原始颜色，从而在直播场景图像信息中明显地区分出人像区域和背景区域，完成抠图。在经过抠图处理后，可以得到主播人像的左右两个视图。
步骤103，根据视差调整参数对所述左右视图进行视差调整。
其中，视差调整参数可以是预先确定好的，本步骤中直接获取到预先确定好的视差调整参数进行处理即可。当然，视差调整参数也可以是实时确定的，本步骤中，先确定视差调整参数，然后利用所确定的视差调整参数进行处理。
本发明实施例中，视差调整参数是根据直播场景下的视差占比和预设虚拟场景下的视差占比确定的，其中，预设虚拟场景是将要与主播融合显示的虚拟场景。
具体的，直播场景下的视差占比为左右双目摄像机拍摄的左右图像的视差值与左右双目摄像机拍摄的左右图像的水平宽度的比例；预设虚拟场景下的视差占比为左右虚拟摄像机拍摄的左右图像的视差值与左右虚拟摄像机的拍摄的左右图像的水平宽度的比例。
这里的左右虚拟相机是指，用来获取主播和虚拟场景的融合视图的虚拟相机，换言之，主播和虚拟场景的融合视图是通过虚拟摄像机拍摄，即渲染而来的。
这里，主要考虑以下几方面原因，对左右双目摄像机拍摄得到的主播的左右视图进行视差调整。
一方面，因拍摄场地或摄像机分辨率等因素限制，在现实直播场景中采用的拍摄距离与虚拟场景中采用的拍摄距离是不一样的，这样造成现实直播场景中左右双目摄像机拍摄的左右图像视差与虚拟场景中左右虚拟摄像机拍摄的左右图像视差不一致。例如现实直播场景一般采用3m远的距离拍摄，而虚拟场景中一般采用8m远的距离拍摄。
另一方面，为了符合人眼观看需求，虚拟场景中左右虚拟摄像机之间的间距一般为人眼的平均间距。但由于左右双目摄像机之间具有特定的距离，考虑到摄像机的体积等原因，左右双目摄像机的间距可能并不是按照人眼的间距设定的，一般情形下左右双目摄像机之间的间距与人眼的平均间距相差较大。例如间距只有3cm的左右双目摄像机拍摄距离3m远的物体的左右图像，与实际人眼(平均间距6.5cm)观看3m远的物体所映入左右眼视网膜的左右图像的视差是不一致的。
另外，现实直播中使用的左右双目摄像机可能存在一定夹角误差，该夹角误差也会影响到人眼观看视差。
本步骤中，根据视差调整参数对主播的左右视图进行视差调整。视差调整参数是根据直播场景下的视差占比和预设虚拟场景下的视差占比确定的，直播场景下的视差占比为左右双目摄像机拍摄的左右图像的视差值与左右双目摄像机拍摄的左右图像的水平宽度的比例，预设虚拟场景下的视差占比为左右虚拟摄像机拍摄的左右图像的视差值与左右虚拟摄像机的拍摄的左右图像的水平宽度的比例。根据该视差调整参数对主播的左右视图进行视差调整后，视差调整后的左右视图与虚拟场景的视差要求能够基本相匹配，且与人眼观看的视差要求基本相匹配。
具体的，可以根据视差调整参数，通过平移、裁切拉伸等方式，增加所述左右视图的视差值，使视差值的增加量等于视差调整参数。
步骤104，将视差调整后的左右视图放置在预设虚拟场景中，利用左右虚拟摄像机拍摄放置有左右视图的所述预设虚拟场景，从而获取合成有主播和预设虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而根据立体融合视图进行立体化的虚拟现实显示，实现立体虚拟现实直播。
这里，利用左右虚拟摄像机拍摄(即渲染)放置有左右视图的预设虚拟场景，得到了合成有主播和虚拟场景的立体融合视图，立体融合视图包括左眼融合视图和右眼融合视图，从而根据立体融合视图进行立体化的虚拟现实显示，实现了立体虚拟现实直播。将左眼融合视图作为VR显示的左图，将右眼融合视图作为VR显示的右图，从而将左眼融合视图提供给VR设备佩戴者的左眼，将右眼融合视图提供给VR设备佩戴者的右眼，从而带给用户立体化的虚拟现实观感。
由于视差调整后的左右视图与虚拟场景的视差要求相匹配，与人眼观看的视差要求相匹配，可以保证较好的立体效果，因此提升了用户观看体验。
为了适配VR设备的“头瞄”功能，即可以根据VR设备佩戴者的头部姿态改变所显示的内容，使所显示的内容与VR设备佩戴者的视角相对应，可利用左右虚拟摄像机按照不同拍摄角度拍摄放置有主播人像的预设虚拟场景，得到多张立体融合视图，然后对这些立体视图进行全景拼接，获取左右全景融合视图，进而利用这些全景融合视图进行显示，将与设备佩戴者视角相对应的左视图部分提供给设备佩戴者的左眼，将与设备佩戴者视角相对应的右视图部分提供给设备佩戴者的右眼，而当设备佩戴者视角改变时，相应的改变所显示的视图部分，使显示与设备佩戴者的视角相对应。
例如，虚拟场景可以是360度全景舞台图像信息，主播可以被融合在舞台上的中心位置。通过左右双目摄像机拍摄正在直播的主播，可将主播的立体视图融合在虚拟场景中的舞台的位置，使用户在VR端可以看到主播在虚拟场景中做直播的立体场景。
本发明实施例的立体虚拟现实直播方法，通过拍摄直播的立体图像与虚拟场景融合，实现了立体虚拟现实直播，通过立体化显示带给用户更加真实的沉浸感，且在进行虚拟和现实融合时，通过对直播的立体图像进行视差调整，使直播的立体图像视差与虚拟场景的视差要求相匹配，且与人眼观看的视差要求相匹配，优化了现实直播场景与虚拟场景融合的效果，提升了用户观看体验，有效避免虚拟与现实融合显示时由于视差而导致的显示效果偏差所带来的用户眩晕不适感，观看体验较差的问题，给用户提供更加身临其境的沉浸感。
下面对本发明实施例中视差调整参数的确定方法进行详细介绍。
优选的，可通过如下公式获取视差调整参数PixMove：
PixMove＝PixW*Δdif (1)；
其中，Δdif＝dif1-dif0，dif1为预设虚拟场景下的视差占比，dif0为直播场景下的视差占比，PixW为左右视图的水平像素宽度。
此时，利用上述公式(1)，根据虚拟场景的视差占比与直播场景的视差占比的差值，获取左右视图的视差调整参数，使得视差调整后的左右视图与虚拟场景的视差要求相匹配，与人眼观看的视差要求相匹配。
下面对如何获取预设虚拟场景下的视差占比dif1和直播场景下的视差占比dif0进行详细介绍。
参照图4所示，在现实直播场景中，左右双目摄像机(L、R)的视间距为d0，夹角为180度，水平视角FOV为θ0，左右双目摄像机到主播所在平面的距离为z0，左右双目摄像机在主播所在平面上的水平拍摄宽度为D0。对于主播所在平面上任一点P，在左右双目摄像机的拍摄范围AA’和BB’内相差水平位移量为d0。
优选的，按照几何比例关系，左右图像的视差即空间上同一点在左右图像上的像点的水平像素差，根据几何关系，左右图像的视差值与左右图像的水平宽度的比值等于d0与D0的比值，因此，可通过如下公式获取直播场景下的视差占比dif0：
其中，d0为左右双目摄像机的视间距，D0为左右双目摄像机在主播所在平面上的水平拍摄宽度。
参照图5所示，在虚拟场景中，左右虚拟摄像机(L’、R’)的视间距为d1，一般将d1设置为人眼的平均间距，夹角为180度，水平视角FOV为θ1，为了将主播和预设虚拟场景融合，会将主播的左右视图放置在预设虚拟场景的某个特定位置，利用虚拟摄像机拍摄放置有主播的预设虚拟场景，假设左右虚拟摄像机到左右视图在预设虚拟场景中放置位置所在平面的距离为z1，左右虚拟摄像机在左右视图在预设虚拟场景中的放置位置所在平面上的水平拍摄宽度为D1。对于左右视图在预设虚拟场景中的放置位置所在平面上任一点P’，在左右虚拟摄像机的拍摄范围CC’和EE’内相差水平位移量为d1。
同真实场景类似，可通过如下公式获取预设虚拟场景下的视差占比dif1：
其中，d1为左右虚拟摄像机的视间距，D1为左右虚拟摄像机在左右视图在预设虚拟场景中的放置位置所在平面上的水平拍摄宽度。
进一步的，可通过如下公式获取左右双目摄像机在主播所在平面上的水平拍摄宽度D0：
其中，θ0为左右双目摄像机的水平视角，z0为左右双目摄像机到主播所在平面的距离。
这里，继续参照图4所示，根据三角形几何关系可以得到上述公式(4)。
此时，通过上述公式(4)获取D0后，可将D0带入上述公式(2)进而获取dif0。
进一步的，可通过如下公式获取左右虚拟摄像机在左右视图在预设虚拟场景中的放置位置所在平面上的水平拍摄宽度D1：
其中，θ1为左右虚拟摄像机的水平视角，z1为左右虚拟摄像机到左右视图在预设虚拟场景中放置位置所在平面的距离。
这里，继续参照图5所示，根据三角形几何关系可以得到上述公式(5)。
此时，通过上述公式(5)求取D1后，可将D1带入上述公式(3)进而求取dif1。
在以上论述中d0，z0，PixW为测量值，d1，z1，θ1为设定值，均为已知量。而θ0在左右双目摄像机焦距固定的情况下，可根据左右双目摄像机的硬件参数直接计算或换算得到，是固定值。
但是，在双目摄像机焦距可调的情况下，当左右双目摄像机焦距a变化时，θ0会随着变化，导致D0变化。因此需要根据焦距a确定θ0，进而确定D0，下面进行详细介绍。
为了适配焦距可调的情况，可预先确定出D0和焦距的对应函数关系，即D0是以a为变量的函数，然后，利用该函数关系，获取到当前焦距，根据当前焦距计算出D0。即，在本发明的一个实施例中，所述方法还包括：
步骤106，获取左右双目摄像机的焦距a；
步骤107，根据左右双目摄像机的焦距a，通过如下公式获取左右双目摄像机在主播所在平面上的水平拍摄宽度D0：
D0＝2*z0*h(a) (6)；
其中，z0为左右双目摄像机到主播所在平面的距离，a为左右双目摄像机的焦距，h(a)为以a为变量的关系式，将获取到的a代入h(a)所计算得到的值等于
此时，首先利用以a为变量的关系式h(a)来获取然后获取D0。
具体的，通过如下方式确定上述以a为变量的关系式，即所述方法还包括：
步骤108，获取并记录左右双目摄像机在不同焦距时拍摄左右图像时的焦距值a和二分之一水平视角的正切值
这里，参照图6所示，以左右双目摄像机的某一摄像机，如左目摄像机L为例，可在距离左目摄像机z0的位置(也就是左目摄像机到主播所在平面位置)水平放置一标尺，标尺上有物理刻度。可在不同焦距时，分别通过左目摄像机拍摄左图像，利用标尺在左图像上读取左目摄像机在距离z0的位置的水平拍摄宽度D0，并记录焦距a和数据
其中，
需要说明的是，当z0不同时，D0也相应等比例变化，因此z0变化不对的结果产生影响，与z0无关。
步骤109，根据焦距值和正切值，利用最小二乘法获取以a为变量的关系式h(a)，其中，
这里，通过上述步骤108采集足够多的数据后，根据最小二乘法可获取以a为变量的关系式h(a)。
其中，
为了计算方便，可将上述公式(6)直接代入上述公式(4)，然后利用公式(1)-(5)获得如下公式：
此时，可将d0，z0，a，d1，z1，θ1，PixW直接代入上述公式(7)，获取视差调整参数PixMove。
其中，获得的视差调整参数PixMove可能是正数值，也可能是负数值或零。
得到视差调整参数PixMove之后，需要对主播的左右视图进行视差调整，以使左右视图与虚拟场景的视差要求相匹配，与人眼观看的视差要求相匹配。
优选的，上述步骤103的步骤包括：
步骤1031，根据视差调整参数对左右视图进行视差调整处理，从而增加左右视图的视差值，视差值的增加量等于视差调整参数。
这里，虚拟场景中的视差占比为dif1，直播场景下本身具有的视差占比为dif0，因此需要增加左右视图的视差值，使增加视差值后左右视图的视差占比与虚拟场景的视差占比相同。
通过上述分析可知，左右视图的视差值增加PixMove之后，左右视图的视差占比dif0’为：
因此，视差调整后左右视图与虚拟场景的视差要求相匹配，与人眼观看的视差要求相匹配。
其中，可将左视图或者右视图按照视差调整参数进行平移，来增加左右视图的视差值。也可对左视图或者右视图按照视差调整参数进行裁剪，来增加左右视图的视差值。
当然，也可采用其他方式对左右视图进行视差调整，在此不一一说明。
以上，通过对主播的左右视图进行视差调整，优化了现实直播场景与虚拟场景融合的效果，提升了用户观看体验。
其中，利用左右双目摄像机对直播场景拍摄后，需要对直播场景的左右图像进行抠图处理，以将抠图得到的主播的左右视图与虚拟场景融合。此时，抠图的质量直接影响融合效果，如抠图边界不干净会让用户看到毛边，造成现实场景与虚拟场景不协调，使用户观看体验下降。因此抠图结果要尽量保持边界的完整流畅，保持细节的完整性，如头等，要尽量将背景扣干净。
为了提高抠图质量可进行如下改进：改善光源环境；选用较好的摄像机；选取与主播相差较大的背景色；选用更适合的抠图算法等。
进一步的，为了保持抠图边界的完整流畅，上述步骤102之后，方法还可以包括：
步骤1010，对左右视图中主播的边界进行边界优化处理。
其中，如果主播边缘抠不干净，可以通过图像腐蚀算法优化边界。如果边缘锯齿感较强，可以通过图像边界检测并进行边界平滑处理。另外，还可以通过边界检测算法和一个简单的羽化算法使得边界过度更加自然。
此时，若左右视图与虚拟场景的交接处不做任何处理的话会感觉过度太陡，不协调。通过对左右视图中主播的边界进行边界优化，可以明显的提升边界处的观看体验。
另外，由于左右双目摄像机自身硬件特性，采集到的左右视图可能与虚拟场景的图像在色温、色调上不相匹配。为了保持左右视图与虚拟场景的相匹配性，优选的，上述步骤102之后，方法还可以包括：
步骤1011，根据预设虚拟场景的色温和/或色调，对左右视图的色温和/或色调进行调整。
此时，通过对左右视图的色温和/或色调进行调整，保证了左右视图与虚拟场景图像的相匹配性，提升了图像融合效果。
另外，由于左右双目摄像机拥有特定的参数，如焦距、FOV、分辨率等，这些参数影响着采集到的图像大小和长宽缩放比例。而虚拟场景中左右虚拟摄像机根据渲染的虚拟场景有已经设定好的大小和长宽缩放比例。虚拟场景的长宽缩放比例与左右双目摄像机采集图像的长宽缩放比例一般并不相同。因此在将主播的左右视图放置到虚拟场景中时，可将左右视图调整为适合虚拟场景的长宽缩放比例，使得左右视图与虚拟场景的尺寸比例相匹配。
综上，本发明实施例的立体虚拟现实直播方法，通过拍摄直播的立体图像与虚拟场景融合，实现了立体虚拟现实直播；且通过对直播的立体图像进行视差调整，使直播的立体图像视差与虚拟场景的视差要求相匹配，且与人眼观看的视差要求相匹配；另外，通过边界优化、色温和/或色调调整等，保证了左右视图与虚拟场景图像的相匹配；优化了现实直播场景与虚拟场景融合的效果，提升了用户观看体验。
第二实施例
结合图7所示，本发明实施例的立体虚拟现实直播装置，包括：
第一获取模块701，用于获取左右双目摄像机拍摄的直播场景的左右图像；
抠图模块702，用于分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；
视差调整模块703，用于根据视差调整参数对所述左右视图进行视差调整，其中，所述视差调整参数是根据所述直播场景下的视差占比和预设虚拟场景下的视差占比确定的，所述直播场景下的视差占比为所述左右双目摄像机拍摄的左右图像的视差值与所述左右双目摄像机拍摄的左右图像的水平宽度的比例，所述预设虚拟场景下的视差占比为左右虚拟摄像机拍摄的左右图像的视差值与所述左右虚拟摄像机的拍摄的左右图像的水平宽度的比例；
融合模块704，用于将视差调整后的左右视图放置在所述预设虚拟场景中，利用所述左右虚拟摄像机拍摄放置有左右视图的所述预设虚拟场景，从而获取合成有所述主播和所述预设虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而根据所述立体融合视图进行立体化的虚拟现实显示，实现立体虚拟现实直播。
本发明实施例的立体虚拟现实直播装置，通过拍摄直播的立体图像与虚拟场景融合，实现了立体虚拟现实直播，通过立体化显示带给用户更加真实的沉浸感，且在进行虚拟和现实融合时，通过对直播的立体图像进行视差调整，使直播的立体图像视差与虚拟场景的视差要求相匹配，且与人眼观看的视差要求相匹配，优化了现实直播场景与虚拟场景融合的效果，提升了用户观看体验。解决了现有技术中在融合虚拟场景与现实直播场景时，不能合理调整视差，降低用户观看体验的问题，有效避免虚拟与现实融合显示时由于视差而导致的显示效果偏差所带来的用户眩晕不适感，观看体验较差的问题，给用户提供更加身临其境的沉浸感。
优选的，所述装置还包括：
第二获取模块，用于通过如下公式获取所述视差调整参数PixMove：
PixMove＝PixW*Δdif；
其中，Δdif＝dif1-dif0，dif1为所述预设虚拟场景下的视差占比，dif0为所述直播场景下的视差占比，PixW为所述左右视图的水平像素宽度。
优选的，所述装置还包括：
第三获取模块，用于通过如下公式获取所述直播场景下的视差占比dif0：
其中，d0为所述左右双目摄像机的视间距，D0为所述左右双目摄像机在所述主播所在平面上的水平拍摄宽度；
第四获取模块，用于通过如下公式获取所述预设虚拟场景下的视差占比dif1：
其中，d1为所述左右虚拟摄像机的视间距，D1为所述左右虚拟摄像机在所述左右视图在所述预设虚拟场景中的放置位置所在平面上的水平拍摄宽度。
优选的，所述装置还包括：
第五获取模块，用于通过如下公式获取所述左右双目摄像机在所述主播所在平面上的水平拍摄宽度D0：
其中，θ0为所述左右双目摄像机的水平视角，z0为所述左右双目摄像机到所述主播所在平面的距离；
第六获取模块，用于通过如下公式获取所述左右虚拟摄像机在所述左右视图在所述预设虚拟场景中的放置位置所在平面上的水平拍摄宽度D1：
其中，θ1为所述左右虚拟摄像机的水平视角，z1为所述左右虚拟摄像机到所述左右视图在所述预设虚拟场景中放置位置所在平面的距离。
优选的，所述装置还包括：
第七获取模块，用于获取所述左右双目摄像机的焦距；
第八获取模块，用于根据所述左右双目摄像机的焦距，通过如下公式获取所述左右双目摄像机在所述主播所在平面上的水平拍摄宽度D0：
D0＝2*z0*h(a)；
其中，z0为所述左右双目摄像机到所述主播所在平面的距离，a为所述左右双目摄像机的焦距，h(a)为以a为变量的关系式，将获取到的a代入h(a)所计算得到的值等于
优选的，所述装置还包括：
第九获取模块，用于获取并记录所述左右双目摄像机在不同焦距时拍摄左右图像时的焦距值a和二分之一水平视角的正切值
第十获取模块，用于根据所述焦距值和所述正切值，利用最小二乘法获取以a为变量的关系式h(a)，其中，
优选的，所述视差调整模块703包括：
视差调整单元，用于根据视差调整参数对所述左右视图进行视差调整处理，从而增加所述左右视图的视差值，所述视差值的增加量等于所述视差调整参数。
优选的，所述装置还包括：
边界优化模块，用于对所述左右视图中所述主播的边界进行边界优化处理；和/或
图片调整模块，用于根据所述预设虚拟场景的色温和/或色调，对所述左右视图的色温和/或色调进行调整。
本发明实施例的立体虚拟现实直播装置，通过拍摄直播的立体图像与虚拟场景融合，实现了立体虚拟现实直播；且通过对直播的立体图像进行视差调整，使直播的立体图像视差与虚拟场景的视差要求相匹配，且与人眼观看的视差要求相匹配；另外，通过边界优化、色温和/或色调调整等，保证了左右视图与虚拟场景图像的相匹配性；优化了现实直播场景与虚拟场景融合的效果，提升了用户观看体验。
需要说明的是，该立体虚拟现实直播装置是与上述立体虚拟现实直播方法相对应的装置，其中上述方法实施例中所有实现方式均适用于该装置的实施例中，也能达到同样的技术效果。
第三实施例
本发明实施例提供一种立体虚拟现实直播设备，所述立体虚拟现实直播设备可包含前述任一实施例所述的立体虚拟现实直播装置。
图8为本发明立体虚拟现实直播设备一个实施例的结构示意图，可以实现本发明图1所示实施例的流程。如图8所示，上述立体虚拟现实直播设备，包括：显示屏(未示出)，壳体81、处理器82、存储器83、电路板84和电源电路85，其中，显示屏嵌接在壳体81上，与壳体一起围成封闭空间；电路板84安置在显示屏和壳体81围成的空间内部，处理器82和存储器83设置在电路板84上；电源电路85，用于为上述立体虚拟现实直播设备的各个电路或器件供电；存储器83用于存储可执行程序代码；处理器82通过读取存储器83中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实施例所述的立体虚拟现实直播方法，获取左右双目摄像机拍摄的直播场景的左右图像；分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；根据视差调整参数对所述左右视图进行视差调整，其中，所述视差调整参数是根据所述直播场景下的视差占比和预设虚拟场景下的视差占比确定的，所述直播场景下的视差占比为所述左右双目摄像机拍摄的左右图像的视差值与所述左右双目摄像机拍摄的左右图像的水平宽度的比例，所述预设虚拟场景下的视差占比为左右虚拟摄像机拍摄的左右图像的视差值与所述左右虚拟摄像机的拍摄的左右图像的水平宽度的比例；将视差调整后的左右视图放置在所述预设虚拟场景中，利用所述左右虚拟摄像机拍摄放置有左右视图的所述预设虚拟场景，从而获取合成有所述主播和所述预设虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而通过所述显示屏根据所述立体融合视图进行立体化的虚拟现实显示，实现立体虚拟现实直播。
处理器82对上述步骤的具体执行过程以及处理器82通过运行可执行程序代码来进一步执行的步骤，可以参见本发明图1所示实施例的描述，在此不再赘述。
该立体虚拟现实直播设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、应用程序的提供器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种立体虚拟现实直播方法，其特征在于，包括：
获取左右双目摄像机拍摄的直播场景的左右图像；
分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；
根据视差调整参数对所述左右视图进行视差调整；
将视差调整后的左右视图放置在所述预设虚拟场景中，利用所述左右虚拟摄像机拍摄放置有左右视图的所述预设虚拟场景，从而获取合成有所述主播和所述预设虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而根据所述立体融合视图进行立体化的虚拟现实显示，实现立体虚拟现实直播；
所述方法还包括：
通过如下公式获取所述视差调整参数PixMove：
PixMove＝PixW*Δdif；
其中，Δdif＝dif1-dif0，dif1为所述预设虚拟场景下的视差占比，dif0为所述直播场景下的视差占比，PixW为所述左右视图的水平像素宽度；
所述直播场景下的视差占比为所述左右双目摄像机拍摄的左右图像的视差值与所述左右双目摄像机拍摄的左右图像的水平宽度的比例，所述预设虚拟场景下的视差占比为左右虚拟摄像机拍摄的左右图像的视差值与所述左右虚拟摄像机的拍摄的左右图像的水平宽度的比例。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过如下公式获取所述直播场景下的视差占比dif0：
<mrow> <msub> <mi>dif</mi> <mn>0</mn> </msub> <mo>=</mo> <mfrac> <msub> <mi>d</mi> <mn>0</mn> </msub> <msub> <mi>D</mi> <mn>0</mn> </msub> </mfrac> <mo>;</mo> </mrow>
其中，d0为所述左右双目摄像机的视间距，d0等于所述左右双目摄像机拍摄的左右图像的视差值，D0为所述左右双目摄像机在所述主播所在平面上的水平拍摄宽度,D0等于所述左右双目摄像机拍摄的左右图像的水平宽度；
通过如下公式获取所述预设虚拟场景下的视差占比dif1：
<mrow> <msub> <mi>dif</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <msub> <mi>d</mi> <mn>1</mn> </msub> <msub> <mi>D</mi> <mn>1</mn> </msub> </mfrac> <mo>;</mo> </mrow>
其中，d1为所述左右虚拟摄像机的视间距，d1等于所述左右虚拟摄像机拍摄的左右图像的视差值，D1为所述左右虚拟摄像机在所述左右视图在所述预设虚拟场景中的放置位置所在平面上的水平拍摄宽度，D1等于所述左右虚拟摄像机的拍摄的左右图像的水平宽度。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
通过如下公式获取所述左右双目摄像机在所述主播所在平面上的水平拍摄宽度D0：
<mrow> <msub> <mi>D</mi> <mn>0</mn> </msub> <mo>=</mo> <mn>2</mn> <mo>*</mo> <msub> <mi>z</mi> <mn>0</mn> </msub> <mo>*</mo> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <msub> <mi>&amp;theta;</mi> <mn>0</mn> </msub> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
其中，θ0为所述左右双目摄像机的水平视角，z0为所述左右双目摄像机到所述主播所在平面的距离；
通过如下公式获取所述左右虚拟摄像机在所述左右视图在所述预设虚拟场景中的放置位置所在平面上的水平拍摄宽度D1：
<mrow> <msub> <mi>D</mi> <mn>1</mn> </msub> <mo>=</mo> <mn>2</mn> <mo>*</mo> <msub> <mi>z</mi> <mn>1</mn> </msub> <mo>*</mo> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <msub> <mi>&amp;theta;</mi> <mn>1</mn> </msub> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
其中，θ1为所述左右虚拟摄像机的水平视角，z1为所述左右虚拟摄像机到所述左右视图在所述预设虚拟场景中放置位置所在平面的距离。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取所述左右双目摄像机的焦距；
根据所述左右双目摄像机的焦距，通过如下公式获取所述左右双目摄像机在所述主播所在平面上的水平拍摄宽度D0：
D0＝2*z0*h(a)；
其中，z0为所述左右双目摄像机到所述主播所在平面的距离，a为所述左右双目摄像机的焦距，h(a)为以a为变量的关系式，将获取到的a代入h(a)所计算得到的值等于
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取并记录所述左右双目摄像机在不同焦距时拍摄左右图像时的焦距值a和二分之一水平视角的正切值
根据所述焦距值和所述正切值，利用最小二乘法获取以a为变量的关系式h(a)，其中，
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据视差调整参数对所述左右视图进行视差调整的步骤包括：
根据视差调整参数对所述左右视图进行视差调整处理，从而增加所述左右视图的视差值，所述视差值的增加量等于所述视差调整参数。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图之后，所述方法还包括：
对所述左右视图中所述主播的边界进行边界优化处理；和/或
根据所述预设虚拟场景的色温和/或色调，对所述左右视图的色温和/或色调进行调整。
8.一种立体虚拟现实直播装置，其特征在于，包括：
第一获取模块，用于获取左右双目摄像机拍摄的直播场景的左右图像；
抠图模块，用于分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；
视差调整模块，用于根据视差调整参数对所述左右视图进行视差调整；
融合模块，用于将视差调整后的左右视图放置在所述预设虚拟场景中，利用所述左右虚拟摄像机拍摄放置有左右视图的所述预设虚拟场景，从而获取合成有所述主播和所述预设虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而根据所述立体融合视图进行立体化的虚拟现实显示，实现立体虚拟现实直播；
所述装置还包括：
第二获取模块，用于通过如下公式获取所述视差调整参数PixMove：
PixMove＝PixW*Δdif；
其中，Δdif＝dif1-dif0，dif1为所述预设虚拟场景下的视差占比，dif0为所述直播场景下的视差占比，PixW为所述左右视图的水平像素宽度；
所述直播场景下的视差占比为所述左右双目摄像机拍摄的左右图像的视差值与所述左右双目摄像机拍摄的左右图像的水平宽度的比例，所述预设虚拟场景下的视差占比为左右虚拟摄像机拍摄的左右图像的视差值与所述左右虚拟摄像机的拍摄的左右图像的水平宽度的比例。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第三获取模块，用于通过如下公式获取所述直播场景下的视差占比dif0：
<mrow> <msub> <mi>dif</mi> <mn>0</mn> </msub> <mo>=</mo> <mfrac> <msub> <mi>d</mi> <mn>0</mn> </msub> <msub> <mi>D</mi> <mn>0</mn> </msub> </mfrac> <mo>;</mo> </mrow>
其中，d0为所述左右双目摄像机的视间距，，d0等于所述左右双目摄像机拍摄的左右图像的视差值，D0为所述左右双目摄像机在所述主播所在平面上的水平拍摄宽度,D0等于所述左右双目摄像机拍摄的左右图像的水平宽度；
第四获取模块，用于通过如下公式获取所述预设虚拟场景下的视差占比dif1：
<mrow> <msub> <mi>dif</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <msub> <mi>d</mi> <mn>1</mn> </msub> <msub> <mi>D</mi> <mn>1</mn> </msub> </mfrac> <mo>;</mo> </mrow>
其中，d1为所述左右虚拟摄像机的视间距，d1等于所述左右虚拟摄像机拍摄的左右图像的视差值，D1为所述左右虚拟摄像机在所述左右视图在所述预设虚拟场景中的放置位置所在平面上的水平拍摄宽度，D1等于所述左右虚拟摄像机的拍摄的左右图像的水平宽度。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第五获取模块，用于通过如下公式获取所述左右双目摄像机在所述主播所在平面上的水平拍摄宽度D0：
<mrow> <msub> <mi>D</mi> <mn>0</mn> </msub> <mo>=</mo> <mn>2</mn> <mo>*</mo> <msub> <mi>z</mi> <mn>0</mn> </msub> <mo>*</mo> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <msub> <mi>&amp;theta;</mi> <mn>0</mn> </msub> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
其中，θ0为所述左右双目摄像机的水平视角，z0为所述左右双目摄像机到所述主播所在平面的距离；
第六获取模块，用于通过如下公式获取所述左右虚拟摄像机在所述左右视图在所述预设虚拟场景中的放置位置所在平面上的水平拍摄宽度D1：
<mrow> <msub> <mi>D</mi> <mn>1</mn> </msub> <mo>=</mo> <mn>2</mn> <mo>*</mo> <msub> <mi>z</mi> <mn>1</mn> </msub> <mo>*</mo> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <msub> <mi>&amp;theta;</mi> <mn>1</mn> </msub> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
其中，θ1为所述左右虚拟摄像机的水平视角，z1为所述左右虚拟摄像机到所述左右视图在所述预设虚拟场景中放置位置所在平面的距离。
11.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第七获取模块，用于获取所述左右双目摄像机的焦距；
第八获取模块，用于根据所述左右双目摄像机的焦距，通过如下公式获取所述左右双目摄像机在所述主播所在平面上的水平拍摄宽度D0：
D0＝2*z0*h(a)；
其中，z0为所述左右双目摄像机到所述主播所在平面的距离，a为所述左右双目摄像机的焦距，h(a)为以a为变量的关系式，将获取到的a代入h(a)所计算得到的值等于
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
第九获取模块，用于获取并记录所述左右双目摄像机在不同焦距时拍摄左右图像时的焦距值a和二分之一水平视角的正切值
第十获取模块，用于根据所述焦距值和所述正切值，利用最小二乘法获取以a为变量的关系式h(a)，其中，
13.根据权利要求8-12任一项所述的装置，其特征在于，所述视差调整模块包括：
视差调整单元，用于根据视差调整参数对所述左右视图进行视差调整处理，从而增加所述左右视图的视差值，所述视差值的增加量等于所述视差调整参数。
14.根据权利要求8-12任一项所述的装置，其特征在于，所述装置还包括：
边界优化模块，用于对所述左右视图中所述主播的边界进行边界优化处理；和/或
图片调整模块，用于根据所述预设虚拟场景的色温和/或色调，对所述左右视图的色温和/或色调进行调整。
15.一种立体虚拟现实直播设备，其特征在于，包括：显示屏，壳体、处理器、存储器、电路板和电源电路，其中：
所述显示屏嵌接在所述壳体上，与所述壳体一起围成封闭空间；
所述电路板安置在所述壳体和所述显示屏围成的空间内部，所述处理器和所述存储器设置在所述电路板上；
所述电源电路，用于为上述立体虚拟现实直播设备的各个电路或器件供电；
所述存储器用于存储可执行程序代码；
所述处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，执行：
获取左右双目摄像机拍摄的直播场景的左右图像；
分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；
根据视差调整参数对所述左右视图进行视差调整；
将视差调整后的左右视图放置在所述预设虚拟场景中，利用所述左右虚拟摄像机拍摄放置有左右视图的所述预设虚拟场景，从而获取合成有所述主播和所述预设虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而通过所述显示屏根据所述立体融合视图进行立体化的虚拟现实显示，实现立体虚拟现实直播；
通过如下公式获取所述视差调整参数PixMove：
PixMove＝PixW*Δdif；
其中，Δdif＝dif1-dif0，dif1为所述预设虚拟场景下的视差占比，dif0为所述直播场景下的视差占比，PixW为所述左右视图的水平像素宽度；
所述直播场景下的视差占比为所述左右双目摄像机拍摄的左右图像的视差值与所述左右双目摄像机拍摄的左右图像的水平宽度的比例，所述预设虚拟场景下的视差占比为左右虚拟摄像机拍摄的左右图像的视差值与所述左右虚拟摄像机的拍摄的左右图像的水平宽度的比例。
CN201610807950.4A 2016-09-07 2016-09-07 一种立体虚拟现实直播方法、装置及设备 Expired - Fee Related CN106231292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610807950.4A CN106231292B (zh) 2016-09-07 2016-09-07 一种立体虚拟现实直播方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610807950.4A CN106231292B (zh) 2016-09-07 2016-09-07 一种立体虚拟现实直播方法、装置及设备

Publications (2)

Publication Number Publication Date
CN106231292A CN106231292A (zh) 2016-12-14
CN106231292B true CN106231292B (zh) 2017-08-25

Family

ID=58075458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610807950.4A Expired - Fee Related CN106231292B (zh) 2016-09-07 2016-09-07 一种立体虚拟现实直播方法、装置及设备

Country Status (1)

Country Link
CN (1) CN106231292B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016728A (zh) * 2017-03-08 2017-08-04 惠州Tcl移动通信有限公司 一种在虚拟现实场景中模拟摄影的方法及系统
CN107071384B (zh) * 2017-04-01 2018-07-06 上海讯陌通讯技术有限公司 虚拟主动视差计算补偿的双目渲染方法及系统
CN107454379A (zh) * 2017-07-27 2017-12-08 深圳依偎控股有限公司 一种基于图像切换的2d与3d直播转换的方法及系统
CN109542209A (zh) * 2017-08-04 2019-03-29 北京灵境世界科技有限公司 一种适应人眼汇聚的方法
CN107454434A (zh) * 2017-08-14 2017-12-08 姜汉龙 虚拟现实视频直播方法及视频播放终端
CN108108014A (zh) * 2017-11-16 2018-06-01 北京密境和风科技有限公司 一种直播画面的展示方法、装置
CN112235520B (zh) * 2020-12-07 2021-05-04 腾讯科技（深圳）有限公司 一种图像处理方法、装置、电子设备及存储介质
CN116939186B (zh) * 2023-09-18 2023-12-05 北京天图万境科技有限公司 一种自动联想性遮盖视差裸眼空间计算的处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102804787A (zh) * 2009-06-24 2012-11-28 杜比实验室特许公司 在立体图像中以相对深度插入三维对象
CN104322052A (zh) * 2012-05-09 2015-01-28 恩卡姆技术有限公司 用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的系统
CN105517677A (zh) * 2015-05-06 2016-04-20 北京大学深圳研究生院 深度图/视差图的后处理方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102804787A (zh) * 2009-06-24 2012-11-28 杜比实验室特许公司 在立体图像中以相对深度插入三维对象
CN104322052A (zh) * 2012-05-09 2015-01-28 恩卡姆技术有限公司 用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的系统
CN105517677A (zh) * 2015-05-06 2016-04-20 北京大学深圳研究生院 深度图/视差图的后处理方法和装置

Also Published As

Publication number Publication date
CN106231292A (zh) 2016-12-14

Similar Documents

Publication Publication Date Title
CN106231292B (zh) 一种立体虚拟现实直播方法、装置及设备
CN106412558B (zh) 一种立体虚拟现实直播方法、装置及设备
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
CN106375748B (zh) 立体虚拟现实全景视图拼接方法、装置及电子设备
US10805530B2 (en) Image processing for 360-degree camera
US20180332222A1 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
US9278281B2 (en) Computer-readable storage medium, information processing apparatus, information processing system, and information processing method
US8648924B2 (en) Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for generating a combination image on a display of the capturing apparatus
CN112927362B (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN106228530B (zh) 一种立体摄影方法、装置及立体摄影设备
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
JP2000503177A (ja) ２次元映像（ｍｏｔｉｏｎ ｐｉｃｔｕｒｅ）を３次元映像に変換する方法及び装置
US10390007B1 (en) Method and system for panoramic 3D video capture and display
CN108833877B (zh) 图像处理方法及装置、计算机装置及可读存储介质
CN106296589A (zh) 全景图像的处理方法及装置
CN106780759A (zh) 基于图片构建场景立体全景图的方法、装置及vr系统
CN105141941A (zh) 一种数字全景3d影片制作的方法及系统
CN107197135A (zh) 一种视频生成方法、播放方法及视频生成装置、播放装置
WO2016184285A1 (zh) 物品图像处理方法、装置和系统
EP3402410B1 (en) Detection system
CN116012509A (zh) 一种虚拟形象的驱动方法、系统、设备及存储介质
WO2022011621A1 (zh) 一种人脸光照图像生成装置及方法
TWI517666B (zh) 以單一影像擷取裝置產生立體影像之方法及其裝置
CN108335336B (zh) 超声成像方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170825