CN107426524A - 一种基于虚拟全景的多方会议的方法及设备 - Google Patents

一种基于虚拟全景的多方会议的方法及设备 Download PDF

Info

Publication number
CN107426524A
CN107426524A CN201710419372.1A CN201710419372A CN107426524A CN 107426524 A CN107426524 A CN 107426524A CN 201710419372 A CN201710419372 A CN 201710419372A CN 107426524 A CN107426524 A CN 107426524A
Authority
CN
China
Prior art keywords
meeting
attending
interpolation
video image
auditing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710419372.1A
Other languages
English (en)
Other versions
CN107426524B (zh
Inventor
代云僧
张广东
潘剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ismartv Network Technologies Co ltd
Original Assignee
Whaley Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Whaley Technology Co Ltd filed Critical Whaley Technology Co Ltd
Priority to CN201710419372.1A priority Critical patent/CN107426524B/zh
Publication of CN107426524A publication Critical patent/CN107426524A/zh
Application granted granted Critical
Publication of CN107426524B publication Critical patent/CN107426524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请的目的是提供一种基于虚拟全景的多方会议的方法及设备，本申请通过预置每个参会方在虚拟全景中的虚拟位置和虚拟全景的虚拟背景，并获取每个参会方的多路视频图像；基于每个参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到每个参会方对应的其他各参会方的插值视频图像；将每个参会方对应的其他各参会方的插值视频图像和虚拟背景进行图像拼接融合，得到每个参会方对应的全景视频图像；将全景视频图像发送给对应的参会方的显示设备显示，通过插值计算还原出每个参会方的空间感，为每个参会方提供全视角的其他各参会方的全景视频图像，以增加每个参会方在多方视频会议过程中的空间方位感、带入感和沉浸感。

Description

一种基于虚拟全景的多方会议的方法及设备
技术领域
本申请涉及计算机领域，尤其涉及一种基于虚拟全景的多方会议的方法及设备。
背景技术
随着因特网带宽的提高，在线会议逐渐普及。在线会议使相距遥远的人能够通过电话、电子邮件或即时消息等的方式进行长距离的通信，且允许模拟面对面通信。然而，由于现有技术中的在线视频会议中不能直观地反应参会人员的空间位置，同时在多人进行在线视频会议时，容易导致参会人员被遮挡住，不能实时看见并看见其他各个参会人员的会议过程等，因此如何解决在线会议中的空间方位感和实时呈现成为业界研究的主要题。
发明内容
本申请的一个目的是提供一种基于虚拟全景的多方会议的方法及设备，解决现有视频会议中的空间感错位及参会人员容易被遮挡的问题。
根据本申请的一个方面，提供了一种基于虚拟全景的多方会议的方法，其中，所述方法包括：
预置每个参会方在虚拟全景中的虚拟位置和所述虚拟全景的虚拟背景，并获取每个所述参会方的多路视频图像；
基于每个所述参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到每个所述参会方对应的其他各参会方的插值视频图像；
将每个所述参会方对应的其他各参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到每个所述参会方对应的全景视频图像；
将所述全景视频图像发送给对应的参会方的显示设备显示。
进一步地，上述方法中，所述基于每个所述参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到每个所述参会方对应的其他各参会方的插值视频图像，包括：
从所有所述参会方中选出一目标参会方；
基于所述目标参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到所述目标参会方对应的其他各参会方的插值视频图像；
重复上述步骤，直至得到每个所述参会方对应的其他各参会方的插值视频图像。
进一步地，上述方法中，所述基于所述目标参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到所述目标参会方对应的其他各参会方的插值视频图像，包括：
遍历从所述目标参会方对应的其他参会方中任选一插值参会方，重复如下步骤，直至得到所述目标参会方对应的其他各参会方的插值视频图像：
获取所述插值参会方的各摄像装置的分布位置；
遍历选取所述插值参会方的实际会议场景中的图像点，并确定所述图像点在所述插值参会方的各摄像装置上的成像位置；
基于所述分布位置和所述成像位置，确定所述图像点相对于所述插值参会方的各摄像装置的相对位置；
基于所述目标参会方与插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点；
基于所有所述图像点对应的插值视频图像点，得到所述目标参会方对应的插值参会方的插值视频图像。
进一步地，上述方法中，所述基于所述目标参会方与插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点，包括：
基于所述目标参会方与插值参会方的虚拟位置，确定所述插值参会方相对于所述目标参会方的虚拟视角；
基于所述虚拟视角和所述相对位置，对所述图像点进行虚拟投影，得到所述图像点对应的插值视频图像点。
进一步地，上述方法中，所述将每个所述参会方对应的其他各参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到每个所述参会方对应的全景视频图像，包括：
按照每个参会方在所述虚拟全景中的虚拟位置，将每个所述参会方对应的其他各参会方的插值视频图像进行图像拼接并对应融合至所述虚拟背景中，得到每个所述参会方对应的全景视频图像。
进一步地，上述方法中，所述获取每个所述参会方的多路视频图像的同时，还包括:
获取每个所述参会方的音频数据及其对应的音频时间；
所述将每个所述参会方对应的其他各参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到每个所述参会方对应的全景视频图像的同时，还包括：
按照所述音频时间将每个所述参会方的音频数据进行混合，得到每个所述参会方对应的全景音频数据；
所述将所述全景视频图像发送给对应的参会方的显示设备显示的同时，还包括：
将所述全景音频数据发送给对应的参会方的播放设备播放。
进一步地，上述方法中，按照所述音频时间将每个所述参会方的音频数据进行混合，得到每个所述参会方对应的全景音频数据，包括：
从所有所述参会方中选出一目标参会方；
按照所述音频时间将所述目标参会方对应的其他各参会方的音频数据进行混合，得到所述目标参会方对应的包含其他各参会方的音频数据的全景音频数据；
重复上述步骤，直至得到每个所述参会方对应的全景音频数据。
进一步地，上述方法中，所述方法，还包括：
将满足旁听方的显示需求对应的至少一个所述参会方对应的全景视频图像进行融合，得到所述至少一个参会方在所述虚拟全景中的旁听全景视频图像；
将所述旁听全景视频图像发送给所述旁听方的显示设备显示。
进一步地，上述方法中，还包括：
获取旁听方的虚拟旁听位置和满足所述旁听方的显示需求对应的至少一个所述参会方的多路视频图像；
基于所述旁听方的虚拟旁听位置分别对所述至少一个参会方的多路视频图像进行插值计算，得到所述旁听方对应的所述至少一个参会方的插值视频图像；
将所述旁听方对应的所述至少一个参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到所述旁听方对应的旁听全景视频图像；
将所述旁听全景视频图像发送给所述旁听方的显示设备显示。
进一步地，上述方法中，所述基于所述旁听方的虚拟旁听位置分别对所述至少一个参会方的多路视频图像进行插值计算，得到所述旁听方对应的所述至少一个参会方的插值视频图像，包括：
遍历从所述至少一个参会方中任选一插值参会方，重复如下步骤，直至得到所述旁听方对应的所述至少一个参会方的插值视频图像：
获取所述插值参会方的各摄像装置的分布位置；
遍历选取所述插值参会方的实际会议场景中的图像点，并确定所述图像点在所述插值参会方的各摄像装置上的成像位置；
基于所述分布位置和所述成像位置，确定所述图像点相对于所述插值参会方的各摄像装置的相对位置；
基于所述旁听方的虚拟旁听位置与所述插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点；
基于所有所述图像点对应的插值视频图像点，得到所述旁听方对应的插值参会方的插值视频图像。
进一步地，上述方法中，所述基于所述旁听方的虚拟旁听位置与所述插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点，包括：
基于所述旁听方与所述插值参会方的虚拟位置，确定所述插值参会方相对于所述旁听方的虚拟视角；
基于所述虚拟视角和所述相对位置，对所述图像点进行虚拟投影，得到所述图像点对应的插值视频图像点。
进一步地，上述方法中，所述将所述旁听方对应的所述至少一个参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到所述旁听方对应的旁听全景视频图像，包括：
按照所述至少一个参会方分别在所述虚拟全景中的虚拟位置，将所述旁听方对应的所述至少一个参会方的插值视频图像进行图像拼接并对应融合至所述虚拟背景中，得到所述旁听方对应的旁听全景视频图像。
进一步地，上述方法中，将所述旁听全景视频图像发送给所述旁听方的显示设备显示的同时，还包括：
按照所述音频时间将所述旁听方对应的所述至少一个参会方的音频数据进行混合，得到包含所述至少一个参会方的音频数据的旁听全景音频数据，并将所述旁听全景音频数据发送给所述旁听方的播放设备播放。
进一步地，上述方法中，所述获取每个所述参会方的多路视频图像，包括：
获取每个所述参会方经移除所属实际会议场景中的实际背景之后的多路视频图像。
进一步地，上述方法中，所述显示设备包括至少一个显示屏幕，
其中，所述将所述全景视频图像发送给对应的参会方的显示设备显示，包括：
基于预设的所述显示屏幕的相对位置，对所述全景视频图像进行投影分割，并将分割后的全景视频图像对应地发送给所述显示屏幕显示。
进一步地，上述方法中，所述显示设备包括平面显示设备和/或曲面显示设备。
根据本申请的另一方面，还提供了一种基于虚拟全景的多方会议的设备，该设备包括：
预置获取装置，用于预置每个参会方在虚拟全景中的虚拟位置和所述虚拟全景的虚拟背景，并获取每个所述参会方的多路视频图像；
插值计算装置，用于基于每个所述参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到每个所述参会方对应的其他各参会方的插值视频图像；
拼接融合装置，用于将每个所述参会方对应的其他各参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到每个所述参会方对应的全景视频图像；
发送装置，用于将所述全景视频图像发送给对应的参会方的显示设备显示。
进一步地，上述设备中，所述插值计算装置用于：
从所有所述参会方中选出一目标参会方；
基于所述目标参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到所述目标参会方对应的其他各参会方的插值视频图像；
重复上述步骤，直至得到每个所述参会方对应的其他各参会方的插值视频图像。
进一步地，上述设备中，所述插值计算装置用于：
遍历从所述目标参会方对应的其他参会方中任选一插值参会方，重复如下步骤，直至得到所述目标参会方对应的其他各参会方的插值视频图像：
获取所述插值参会方的各摄像装置的分布位置；
遍历选取所述插值参会方的实际会议场景中的图像点，并确定所述图像点在所述插值参会方的各摄像装置上的成像位置；
基于所述分布位置和所述成像位置，确定所述图像点相对于所述插值参会方的各摄像装置的相对位置；
基于所述目标参会方与插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点；
基于所有所述图像点对应的插值视频图像点，得到所述目标参会方对应的插值参会方的插值视频图像。
进一步地，上述设备中，所述插值计算装置用于：
基于所述目标参会方与插值参会方的虚拟位置，确定所述插值参会方相对于所述目标参会方的虚拟视角；
基于所述虚拟视角和所述相对位置，对所述图像点进行虚拟投影，得到所述图像点对应的插值视频图像点。
进一步地，上述设备中，所述拼接融合装置用于：
按照每个参会方在所述虚拟全景中的虚拟位置，将每个所述参会方对应的其他各参会方的插值视频图像进行图像拼接并对应融合至所述虚拟背景中，得到每个所述参会方对应的全景视频图像。
进一步地，上述设备中，所述预置获取装置还用于:
获取每个所述参会方的音频数据及其对应的音频时间；
所述拼接融合装置还用于：
按照所述音频时间将每个所述参会方的音频数据进行混合，得到每个所述参会方对应的全景音频数据；
所述发送装置还用于：
将所述全景音频数据发送给对应的参会方的播放设备播放。
进一步地，上述设备中，所述拼接融合装置还用于：
从所有所述参会方中选出一目标参会方；
按照所述音频时间将所述目标参会方对应的其他各参会方的音频数据进行混合，得到所述目标参会方对应的包含其他各参会方的音频数据的全景音频数据；
重复上述步骤，直至得到每个所述参会方对应的全景音频数据。
进一步地，上述设备中，所述设备，还包括：
旁听装置，用于将满足旁听方的显示需求对应的至少一个所述参会方对应的全景视频图像进行融合，得到所述至少一个参会方在所述虚拟全景中的旁听全景视频图像；
将所述旁听全景视频图像发送给所述旁听方的显示设备显示。
进一步地，上述设备中，所述设备，还包括：
旁听获取装置，用于获取旁听方的虚拟旁听位置和满足所述旁听方的显示需求对应的至少一个所述参会方的多路视频图像；
旁听插值装置，用于基于所述旁听方的虚拟旁听位置分别对所述至少一个参会方的多路视频图像进行插值计算，得到所述旁听方对应的所述至少一个参会方的插值视频图像；
旁听融合装置，用于将所述旁听方对应的所述至少一个参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到所述旁听方对应的旁听全景视频图像；
旁听发送装置，用于将所述旁听全景视频图像发送给所述旁听方的显示设备显示。
进一步地，上述设备中，所述旁听插值装置用于：
遍历从所述至少一个参会方中任选一插值参会方，重复如下步骤，直至得到所述旁听方对应的所述至少一个参会方的插值视频图像：
获取所述插值参会方的各摄像装置的分布位置；
遍历选取所述插值参会方的实际会议场景中的图像点，并确定所述图像点在所述插值参会方的各摄像装置上的成像位置；
基于所述分布位置和所述成像位置，确定所述图像点相对于所述插值参会方的各摄像装置的相对位置；
基于所述旁听方的虚拟旁听位置与所述插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点；
基于所有所述图像点对应的插值视频图像点，得到所述旁听方对应的插值参会方的插值视频图像。
进一步地，上述设备中，所述旁听插值装置用于：
基于所述旁听方与所述插值参会方的虚拟位置，确定所述插值参会方相对于所述旁听方的虚拟视角；
基于所述虚拟视角和所述相对位置，对所述图像点进行虚拟投影，得到所述图像点对应的插值视频图像点。
进一步地，上述设备中，所述旁听融合装置用于：
按照所述至少一个参会方分别在所述虚拟全景中的虚拟位置，将所述旁听方对应的所述至少一个参会方的插值视频图像进行图像拼接并对应融合至所述虚拟背景中，得到所述旁听方对应的旁听全景视频图像。
进一步地，上述设备中，所述旁听发送装置还用于：
按照所述音频时间将所述旁听方对应的所述至少一个参会方的音频数据进行混合，得到包含所述至少一个参会方的音频数据的旁听全景音频数据，并将所述旁听全景音频数据发送给所述旁听方的播放设备播放。
进一步地，上述设备中，所述预置获取装置用于：
获取每个所述参会方经移除所属实际会议场景中的实际背景之后的多路视频图像。
进一步地，上述设备中，所述显示设备包括至少一个显示屏幕，
其中，所述发送装置用于：
基于预设的所述显示屏幕的相对位置，对所述全景视频图像进行投影分割，并将分割后的全景视频图像对应地发送给所述显示屏幕显示。
进一步地，上述设备中，所述显示设备包括平面显示设备和/或曲面显示设备。
与现有技术相比，本申请通过预置每个参会方在虚拟全景中的虚拟位置和所述虚拟全景的虚拟背景，并获取每个所述参会方的多路视频图像；基于每个所述参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到每个所述参会方对应的其他各参会方的插值视频图像，完成了对从每个参会方的视角下看其他各参会方的插值视频图像的计算，进而达到了从每个参会方的视角出发，可以看到其他各参会方的插值视频图像的目的；接着将每个所述参会方对应的其他各参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到每个所述参会方对应的全景视频图像；将所述全景视频图像发送给对应的参会方的显示设备显示，通过将每个参会方的多路视频按照预置的虚拟位置插值还原出每个参会方的正确的空间感，为每个参会方提供全视角的其他各参会方的全景视频图像，以增加每个参会方在多方视频会议过程中的空间方位感、带入感和沉浸感。
进一步地，本申请中的基于每个所述参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到每个所述参会方对应的其他各参会方的插值视频图像，包括：从所有所述参会方中选出一目标参会方；基于所述目标参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到所述目标参会方对应的其他各参会方的插值视频图像；重复上述步骤，直至得到每个所述参会方对应的其他各参会方的插值视频图像，实现对每个参会方对应的其他各参会方的多路视频的插值计算，进而得到每个所述参会方对应的其他各参会方的插值视频图像，以便后续基于所述插值视频图像进行图像拼接与融合。
进一步地，本申请中的对从每个参会方中选取的任意一个目标参会方对应的其他各参会方的多路视频图像进行的插值计算过程具体为：遍历从所述目标参会方对应的其他参会方中任选一插值参会方，重复如下步骤，直至得到所述目标参会方对应的其他各参会方的插值视频图像：获取所述插值参会方的各摄像装置的分布位置；遍历选取所述插值参会方的实际会议场景中的图像点，并确定所述图像点在所述插值参会方的各摄像装置上的成像位置；基于所述分布位置和所述成像位置，确定所述图像点相对于所述插值参会方的各摄像装置的相对位置；基于所述目标参会方与插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点；基于所有所述图像点对应的插值视频图像点，得到所述目标参会方对应的插值参会方的插值视频图像。得到从目标参会方的角度出发，可以看到的其他各参会方的插值视频图像，保证了其他各参会方相对于目标参会方而言的空间方位感，以增加主视角目标参会方在虚拟全景中对其他各参会方的空间感和方位感。
进一步地，本申请中的在获取每个所述参会方的多路视频图像的同时，还获取每个所述参会方的音频数据及其对应的音频时间；继而在将每个所述参会方对应的其他各参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到每个所述参会方对应的全景视频图像的同时，还按照所述音频时间将每个所述参会方的音频数据进行混合，得到每个所述参会方对应的全景音频数据；在将所述全景视频图像发送给对应的参会方的显示设备显示的同时，还将所述全景音频数据发送给对应的参会方的播放设备播放。实现在多方视频会议中，向每个参会方实时显示对应的其他各参会方的全景视频图像的同时，还能实时地播放其他各参会方的全景音频数据，不仅提高了每个参会方的空间方位感和视觉感，还增加了每个参会方的沉浸感和相互之间的对话互动，进而增加真实感。
进一步地，本申请中的实施例中的一种基于虚拟全景的多方会议的方法及设备，在多方视频会议中不仅存在参会方，还存在不发言且在虚拟全景中不显示的旁听方，若旁听方的虚拟旁听位置与所有参会方中的一个或多个(至少一个)参会方重合时，该方法还包括：将满足旁听方的显示需求对应的至少一个所述参会方对应的全景视频图像进行融合，得到所述至少一个参会方在所述虚拟全景中的旁听全景视频图像，在此，满足所述旁听方的显示需求对应的参会方可以是一个或多个参会方；将所述旁听全景视频图像发送给所述旁听方的显示设备显示，实现在旁听方也可以观看到除与旁听方虚拟旁听位置重合外的每个参会方甚至是任何参会方的全景视频图像。
进一步地，本申请中的实施例中的一种基于虚拟全景的多方会议的方法及设备，在多方视频会议中不仅存在参会方，还存在不发言且在虚拟全景中不显示的旁听方，若旁听方的虚拟旁听位置与所有参会方均不重合时，该方法还包括：
获取旁听方的虚拟旁听位置和满足所述旁听方的显示需求对应的至少一个所述参会方的多路视频图像；在此，满足所述旁听方的显示需求对应的参会方可以是一个或多个或所有参会方。接着基于所述旁听方的虚拟旁听位置分别对所述至少一个参会方的多路视频图像进行插值计算，得到所述旁听方对应的所述至少一个参会方的插值视频图像，完成了对从旁听方的视角下看显示需求对应的至少一个所述参会方的插值视频图像的计算，进而达到了从旁听方的视角出发，可以看到显示需求对应的至少一个所述参会方的插值视频图像的目的；之后将所述旁听方对应的所述至少一个参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到所述旁听方对应的旁听全景视频图像；最后将所述旁听全景视频图像发送给所述旁听方的显示设备显示，通过将显示需求对应的至少一个所述参会方的多路视频按照预置的虚拟位置插值还原出旁听方看到的显示需求对应的至少一个所述参会方的正确的空间感，为旁听方提供全视角的观看显示需求对应的至少一个所述参会方的全景视频图像，以增加旁听方在多方视频会议过程中的全方位感和视觉感。
进一步地，本申请的所有实施例中，所述显示设备包括平面显示设备和/或曲面显示设备。其中，所述平面显示设备可以显示每个参会方对应的其他各参会方的完整的全景视频图像，也可以显示每个旁听方对应的至少一个参会方的完整的旁听全景视频图像；还可以分割投影每个参会方对应的其他各参会方的全景视频图像，也可以分割投影每个旁听方对应的至少一个参会方的旁听全景视频图像，实现对不管是参会方还是旁听方的全景视频图像的平面投影。当然，若需要提升显示效果，则所述现实设备可以是曲面显示设备，以提升对全景视频图像的显示效果，降低投影分割的复杂度等。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1图示出根据本申请一个方面的一种基于虚拟全景的多方会议的方法的流程示意图；
图2示出根据本申请一个方面的一种基于虚拟全景的多方会议的方法中的参会方一的虚拟视角下的虚拟全景图；
图3示出根据本申请一个方面的一种基于虚拟全景的多方会议的方法中的参会方二中的摄像装置一和摄像装置二的分布位置图；
图4图示出根据本申请一个方面的一种基于虚拟全景的多方会议的设备的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
图1示出本申请一个方面的一种基于虚拟全景的多方会议的方法，该方法应用于多方视频会议中的网络设备端，其中，该网络设备端可以包括但不限于是多方视频会议中的云端服务器、中继站所属服务器及视频会议中的大数据处理服务器等。该方法包括：S11、S12、S13和S14，具体步骤如下：
所述步骤S11预置每个参会方在虚拟全景中的虚拟位置和所述虚拟全景的虚拟背景，并获取每个所述参会方的多路视频图像；所述步骤S12基于每个所述参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到每个所述参会方对应的其他各参会方的插值视频图像，完成了对从每个参会方的视角下看其他各参会方的插值视频图像的计算，进而达到了从每个参会方的视角出发，可以看到其他各参会方的插值视频图像的目的；接着所述步骤S13将每个所述参会方对应的其他各参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到每个所述参会方对应的全景视频图像；所述步骤S14将所述全景视频图像发送给对应的参会方的显示设备显示，通过将每个参会方的多路视频按照预置的虚拟位置插值还原出每个参会方的正确的空间感，为每个参会方提供全视角的其他各参会方的全景视频图像，以增加每个参会方在多方视频会议过程中的空间方位感、带入感和沉浸感。
本申请一实施例中，在需要进行多方视频会议之前，所述步骤S11预置每个参会方在虚拟全景中的虚拟位置和所述虚拟全景的虚拟背景，以便后续对每个参会方进行虚拟全景的空间中的虚拟位置的计算；预置每个参会方在虚拟全景中的虚拟位置可以通过每个参会方的自主选择在虚拟全景的虚拟位置并发送至网络设备，或由会议管理员分配每个参会方的在虚拟全景的虚拟位置，或直接由网络设备端按照算法分配每个参会方的虚拟位置等，以便在多方视频会议开始之前，将每个参会方在虚拟全景中的虚拟位置定下来，以便后续参会方或旁听方基于虚拟位置观看各参会方。同时，在需要进行多方视频会议之前，每个参会方都安装有一个或多个摄像头，且各摄像头排布在参会方的不同方位(例如不同水平、不同高度及不同维度等)朝向视频会议室中间，每个摄像头按照特定角度采集会议室背景图像及视频图像，每个摄像头采集到对应的一路视频图像，以得到每个参会方的多路视频图像，进而能够全方位的将每个参会方的视频会议室内的参会场景全面地毫无遗漏的采集到，当每个参会方采集到多个摄像头对应的多路视频图像之后，会将每个参会方的多路视频图像进行编码，并通过固定的数据接口传输至处理数据的网络设备，以使所述网络设备执行所述步骤S11中的获取每个所述参会方的多路视频图像，进而完成对每个参会方的多路视频图像的采集。
为了更好地在网络设备端将每个参会方的多路视频图像与虚拟环境进行融合，参会方在将多个摄像头获取的多路视频图像发送给网络设备端之前，会将每个视频图像所属的会议室的实际背景移除，只保留参会方的参会人员及附属物品的视频图像，再将移除实际背景的每个参会方的多路视频图像发送给网络设备端进行融合，之后所述步骤S11中的获取每个所述参会方的多路视频图像，包括：获取每个所述参会方经移除所属实际会议场景中的实际背景之后的多路视频图像。可见网络设备获取的每个参会方的多路视频图像是经过移除参会方所属的会议室的实际会议场景中的实际背景的视频图像，以便网络设备端后续更好地将经移除所属实际会议场景中的实际背景之后的多路视频图像与预置的虚拟全景的虚拟背景进行虚拟融合。
接着本申请的上述实施例，所述步骤S12基于每个所述参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到每个所述参会方对应的其他各参会方的插值视频图像，包括：
从所有所述参会方中选出一目标参会方；
基于所述目标参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到所述目标参会方对应的其他各参会方的插值视频图像；
重复上述步骤，直至得到每个所述参会方对应的其他各参会方的插值视频图像。
例如，如图2所示：若多方视频会议中有三个参会方，分别为参会方一、参会方二和参会方三，其中，在虚拟全景中，参会方二在参会方一的左侧面，参会方三在参会方一的正对面，为了插值计算得到每个参会方对应的其他各参会方的插值视频图像，所述步骤S12中的步骤(a)从所有所述参会方：参会方一、参会方二和参会方三中选出一目标参会方，若该目标参会方为参会方一，则步骤(b)基于所述目标参会方(参会方一)的虚拟位置，分别计算其他各参会方(参会方二和参会方三)的插值视频图像，得到参会方一分别对应的参会方二和参会方三的插值视频图像V12和V13；重复上述步骤(a)和(b)，可以得到参会方二分别对应的参会方一和参会方三的插值视频图像V21和V23，和参会方三分别对应的参会方一和参会方二的插值视频图像V31和V32，以实现对每个参会方对应的其他各参会方的多路视频的插值计算，进而得到每个所述参会方对应的其他各参会方的插值视频图像。
接着本申请的上述实施例，所述步骤S12中的基于所述目标参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到所述目标参会方对应的其他各参会方的插值视频图像，包括：
遍历从所述目标参会方对应的其他参会方中任选一插值参会方，重复如下步骤，直至得到所述目标参会方对应的其他各参会方的插值视频图像：
获取所述插值参会方的各摄像装置的分布位置；
遍历选取所述插值参会方的实际会议场景中的图像点，并确定所述图像点在所述插值参会方的各摄像装置上的成像位置；
基于所述分布位置和所述成像位置，确定所述图像点相对于所述插值参会方的各摄像装置的相对位置；
基于所述目标参会方与插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点；
基于所有所述图像点对应的插值视频图像点，得到所述目标参会方对应的插值参会方的插值视频图像。
例如，若所述目标参会方为参会方一，则所述目标参会方(参会方一)对应的其他各参会方分别为参会方二和参会方三，遍历从参会方一对应的参会方二和参会方三中任选一插值参会方，若选择的插值参会方为参会方二，则所述步骤S12中的步骤(b1)获取所述插值参会方(参会方二)的各摄像装置的分布位置如图3所示，若该参会方二中设置有两个摄像装置，该两个摄像装置的分布位置分比为C1和C2，即摄像装置一的拍摄视角为C1，摄像装置二的拍摄视角为C2，其中，图3中的坐标系以C1和C2光轴交点为原点O，以C1和C2离原点O的距离为单位长度1，C1和C2在安装时应该保证其位置离原点位置相等；接着步骤(b2)遍历选取参会方二的实际会议场景中的图像点，例如图像点P为参会方二的实际会议场景中的任一点，确定所述图像点P分别在参会方二的摄像装置一和摄像装置二上的成像位置PC1和PC2；接着步骤(b3)根据参会方二的两个摄像装置的分布位置C1和C2，和图像点P在参会方二的两个摄像装置上分别的成像位置PC1和PC2，得到所述图像点P相对于参会方二的摄像装置一和摄像装置二的相对位置PC12；之后，步骤(b4)根据目标参会方(参会方一)与插值参会方(参会方二)在虚拟全景的虚拟位置L1和L2(L1和L2的关系用于指示虚拟全景中参会方二在参会方一的左侧面的)，和图像点P相对于参会方二的摄像装置一和摄像装置二的相对位置PC12，得到图像点P对应的插值视频图像点P’；步骤(b5)基于在参会方二中任一选取的所有图像点P对应的插值视频图像点P’，得到目标参会方(参会方一)对应的插值参会方(参会方二)的插值视频图像，实现了参会方二呈现给参会方一的视频图像的插值计算，得到从参会方一的角度出发，可以看到的参会方二的插值视频图像V12，保证了参会方二相对于参会方一而言的空间方位感，以增加主视角参会方一在虚拟全景中对参会方二的空间感和方位感。重复上述步骤(b1)至步骤(b5)，则可以得到目标参会方(参会方一)对应的插值参会方(参会方三)的插值视频图像V13，进而得到所述目标参会方(参会方一)对应的参会方二和参会方三的插值视频图像，实现从参会方一的主视角出发，来观看参会方二和参会方三的插值视频图像，以增加每个参会方在多方视频会议中的空间感和方位感。
接着本申请的上述实施例，所述步骤S12中的基于所述目标参会方与插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点，包括：
基于所述目标参会方与插值参会方的虚拟位置，确定所述插值参会方相对于所述目标参会方的虚拟视角；
基于所述虚拟视角和所述相对位置，对所述图像点进行虚拟投影，得到所述图像点对应的插值视频图像点。
例如，所述步骤S12根据目标参会方(参会方一)与插值参会方(参会方二)在虚拟全景的虚拟位置L1和L2(L1和L2的关系用于指示虚拟全景中参会方二在参会方一的左侧面的)，确定参会方二相对于参会方一的虚拟视角C’如图3中所示；根据该虚拟视角C’和所述图像点P相对于参会方二的摄像装置一和摄像装置二的相对位置PC12，对所述图像点P进行虚拟投影，即将图像点的相对位置置PC12虚拟投影至虚拟视角C’下，得到图像点P对应的插值视频图像点P’，实现将插值参会方的图像点虚拟投影至目标参会方的虚拟视角下，以提高目标参会方对插值参会方的视觉体验。
接着本申请的上述实施例，所述步骤S13将每个所述参会方对应的其他各参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到每个所述参会方对应的全景视频图像，包括：
按照每个参会方在所述虚拟全景中的虚拟位置，将每个所述参会方对应的其他各参会方的插值视频图像进行图像拼接并对应融合至所述虚拟背景中，得到每个所述参会方对应的全景视频图像。
例如，如图2所示，若需要从参会方一的主视角去看参会方二和参会方三，则所述步骤S13按照参会方一、参会方二和参会方三分别在虚拟全景中的虚拟位置L1、L2和L3(其中L1、L2和L3之间的虚拟位置用于指示：在虚拟全景中，参会方二在参会方一的左侧面，参会方三在参会方一的正对面)，将参会方一对应的参会方二的插值视频图像V12和参会方一对应的参会方三的插值视频图像V13进行图像拼接并对应融合至虚拟全景中的参会方二和参会方三对应的虚拟背景中，得到参会方一对应的全景视频图像V{12,13}；依照上述对参会方一对应的参会方二和参会方三的插值视频图像的图像拼接融合的方式，可以得到参会方二对应的全景视频图像V{21,23}和参会方三对应的全景视频图像V{31,32}，以实现对每个参会方对应的其他各参会方的插值视频图像的图像拼接融合，进而得到从每个参会方的主视角出发，可以看见其他各参会方的融合有虚拟背景的完整的全景视频图像，进而提高每个参会方在多方视频会议中的视觉感和沉浸感。
为了提高每个参会方在多方视频会议中的带入感、沉浸感和参与感，多方视频会议中的每个参会方均会将实时获取的音频数据(例如发言、辩论、交流等语音数据)发送给网络设备，以使所述步骤S11在获取每个所述参会方的多路视频图像的同时，还包括:
获取每个所述参会方的音频数据及其对应的音频时间；
所述步骤S13在将每个所述参会方对应的其他各参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到每个所述参会方对应的全景视频图像的同时，还包括：
按照所述音频时间将每个所述参会方的音频数据进行混合，得到每个所述参会方对应的全景音频数据；
所述步骤S14在将所述全景视频图像发送给对应的参会方的显示设备显示的同时，还包括：
将所述全景音频数据发送给对应的参会方的播放设备播放。
例如，所述步骤S11在获取参会方一、参会方二和参会方三分别对应的多路视频图像的同时，还获取参会方一、参会方二和参会方三分别对应的音频数据F1及其对应的音频时间T1，音频数据F2及其对应的音频时间T2及音频数据F3及其对应的音频时间T3；接着，所述步骤S13按照所述音频时间(将音频时间排在前面的音频数据先混合，排在后面的后混合，同时发生的音频数据同时混合)将每个所述参会方的音频数据进行依序混合，得到每个所述参会方对应的全景音频数据，实现将多方视频会议中的每个参会方的音频数据进行混合，进而还原出多方视频会议中的每个参会方的例如：发言、辩论、交流等语音数据；接着所述步骤S14在将所述全景视频图像发送给对应的参会方的显示设备显示的同时，还将所述全景音频数据发送给对应的参会方的播放设备播放，例如，将参会方一对应的全景视频图像进行编码之后，通过固定的数据接口发送给对应的参会方一的显示设备显示的同时，还将参会方一对应的全景音频数据进行编码之后，并通过固定的数据接口发送给参会方一的播放设备，以便参会方一的显示设备将编码后的全景视频图像解码之后再进行显示的同时，参会方一的播放设备还实时将全景视频图像对应的编码后的全景音频数据解码之后再进行播放，实现在多方视频会议中，向每个参会方实时显示对应的其他各参会方的全景视频图像的同时，还能实时地播放其他各参会方的全景音频数据，不仅提高了每个参会方的空间方位感和视觉感，还增加了每个参会方的沉浸感和相互之间的对话互动，进而增加真实感。
接着本申请的上述实施例，所述步骤S13中的按照所述音频时间将每个所述参会方的音频数据进行混合，得到每个所述参会方对应的全景音频数据，包括：
从所有所述参会方中选出一目标参会方；
按照所述音频时间将所述目标参会方对应的其他各参会方的音频数据进行混合，得到所述目标参会方对应的包含其他各参会方的音频数据的全景音频数据；
重复上述步骤，直至得到每个所述参会方对应的全景音频数据。
例如，若多方视频会议中有三个参会方，分别为参会方一、参会方二和参会方三，为了混合计算得到每个参会方对应的其他各参会方的插值视频图像，所述步骤S13中的步骤(1)从所有所述参会方：参会方一、参会方二和参会方三中选出一目标参会方，若该目标参会方为参会方一，则步骤(2)按照所述音频时间顺序，将参会方一对应的其他各参会方(参会方二和参会方三)的音频数据进行混合，得到参会方一分别对应的参会方二和参会方三的全景音频数据F12和F13；重复上述步骤(1)和(2)，可以得到参会方二分别对应的参会方一和参会方三的全景音频数据F21和F23，和参会方三分别对应的参会方一和参会方二的全景音频数据F31和F32，以实现对每个参会方对应的其他各参会方的所有音频数据的混合计算，进而得到每个所述参会方对应的其他各参会方的全景音频数据。
接着本申请的上述实施例，在多方视频会议中，为了保证参会方可以观听到其他各参会方的全景视频图像和全景音频数据的同时，既不在实际会议场景的拍摄区域内且也不再虚拟全景中的旁听方，也可以观听到任意参会方的全景视频图像和全景音频数据，若旁听方的虚拟旁听位置与所有参会方中的一个或多个(至少一个)参会方重合时，则本申请的基于虚拟全景的多方会议的方法，还包括：
将满足旁听方的显示需求对应的至少一个所述参会方对应的全景视频图像进行融合，得到所述至少一个参会方在所述虚拟全景中的旁听全景视频图像；在此，满足所述旁听方的显示需求对应的参会方可以是一个或多个或所有参会方。
将所述旁听全景视频图像发送给所述旁听方的显示设备显示。
例如，若多方视频会议中有三个参会方，分别为参会方一、参会方二和参会方三。当旁听方的虚拟旁听位置与所有参会方中的一个或多个(至少一个)参会方重合时，若旁听方的显示需求包括一个参会方二，则直接将参会方二对应的全景视频图像作为旁听方的旁听全景视频图像；并将所述旁听全景视频图像(参会方二对应的全景视频图像)发送给所述旁听方的显示设备显示；若旁听方的显示需求包括参会方一和参会方三，则直接将参会方一和参会方三对应的全景视频图像进行融合，得到参会方一和参会方三都在所述虚拟全景中的旁听全景视频图像，将所述旁听全景视频图像发送给所述旁听方的显示设备显示，实现在旁听方也可以观看到每个参会方甚至是任何参会方的全景视频图像。
接着本申请的上述实施例，在多方视频会议中，为了保证参会方可以观听到其他各参会方的全景视频图像和全景音频数据的同时，既不在实际会议场景的拍摄区域内且也不再虚拟全景中的旁听方，也可以观听到任意参会方的全景视频图像和全景音频数据，若旁听方的虚拟旁听位置与所有参会方均不重合时，则本申请的基于虚拟全景的多方会议的方法，还包括：
获取旁听方的虚拟旁听位置和满足所述旁听方的显示需求对应的至少一个所述参会方的多路视频图像；在此，满足所述旁听方的显示需求对应的参会方可以是一个或多个或所有参会方。接着基于所述旁听方的虚拟旁听位置分别对所述至少一个参会方的多路视频图像进行插值计算，得到所述旁听方对应的所述至少一个参会方的插值视频图像，完成了对从旁听方的视角下看显示需求对应的至少一个所述参会方的插值视频图像的计算，进而达到了从旁听方的视角出发，可以看到显示需求对应的至少一个所述参会方的插值视频图像的目的；之后将所述旁听方对应的所述至少一个参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到所述旁听方对应的旁听全景视频图像；最后将所述旁听全景视频图像发送给所述旁听方的显示设备显示，通过将显示需求对应的至少一个所述参会方的多路视频按照预置的虚拟位置插值还原出旁听方看到的显示需求对应的至少一个所述参会方的正确的空间感，为旁听方提供全视角的观看显示需求对应的至少一个所述参会方的全景视频图像，以增加旁听方在多方视频会议过程中的全方位感和视觉感。
接着本申请的上述实施例，所述基于所述旁听方的虚拟旁听位置分别对所述至少一个参会方的多路视频图像进行插值计算，得到所述旁听方对应的所述至少一个参会方的插值视频图像，包括：
遍历从所述至少一个参会方中任选一插值参会方，重复如下步骤，直至得到所述旁听方对应的所述至少一个参会方的插值视频图像：
获取所述插值参会方的各摄像装置的分布位置；
遍历选取所述插值参会方的实际会议场景中的图像点，并确定所述图像点在所述插值参会方的各摄像装置上的成像位置；
基于所述分布位置和所述成像位置，确定所述图像点相对于所述插值参会方的各摄像装置的相对位置；
基于所述旁听方的虚拟旁听位置与所述插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点；
基于所有所述图像点对应的插值视频图像点，得到所述旁听方对应的插值参会方的插值视频图像。
例如，若多方视频会议中包括三个参会方，分别为参会方一、参会方二和参会方三，且想得到旁听方对应的所述至少一个参会方(例如参会方二和参会方三)的插值视频图像，则遍历从旁听方对应的参会方二和参会方三中任选一插值参会方，若选择的插值参会方为参会方二，则步骤(bb1)获取所述插值参会方(参会方二)的各摄像装置的分布位置如图3所示，若该参会方二中设置有两个摄像装置，该两个摄像装置的分布位置分比为C1和C2，即摄像装置一的拍摄视角为C1，摄像装置二的拍摄视角为C2；接着步骤(bb2)遍历选取参会方二的实际会议场景中的图像点，例如图像点P为参会方二的实际会议场景中的任一点，确定所述图像点P分别在参会方二的摄像装置一和摄像装置二上的成像位置PC1和PC2；接着步骤(bb3)根据参会方二的两个摄像装置的分布位置C1和C2，和图像点P在参会方二的两个摄像装置上分别的成像位置PC1和PC2，得到所述图像点P相对于参会方二的摄像装置一和摄像装置二的相对位置PC12；之后，步骤(bb4)根据旁听方与插值参会方(参会方二)在虚拟全景的虚拟旁听位置L(旁)和L2及图像点P相对于参会方二的摄像装置一和摄像装置二的相对位置PC12，得到图像点P对应的插值视频图像点P(旁)’；步骤(b5)基于在参会方二中任一选取的所有图像点P对应的插值视频图像点P(旁)’，得到旁听方对应的插值参会方(参会方二)的插值视频图像，实现了参会方二呈现给旁听方的视频图像的插值计算，得到从旁听方的虚拟视角出发，可以看到的参会方二的插值视频图像V(旁)2，保证了参会方二相对于旁听方而言的空间方位感，以增加主视角旁听方在虚拟全景中对参会方二的空间感和方位感。重复上述步骤(bb1)至步骤(bb5)，则可以得到旁听方对应的插值参会方(参会方三)的插值视频图像V(旁)3，进而得到所述旁听方分别对应的参会方二和参会方三的插值视频图像V(旁)2和V(旁)3，实现从旁听方的虚拟视角出发，来观看参会方二和参会方三的插值视频图像，以增加旁听方在多方视频会议过程中的全方位感和视觉感。
接着本申请的上述实施例，所述基于所述旁听方的虚拟旁听位置与所述插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点，包括：
基于所述旁听方的虚拟旁听位置和所述插值参会方的虚拟位置，确定所述插值参会方相对于所述旁听方的虚拟视角；
基于所述虚拟视角和所述相对位置，对所述图像点进行虚拟投影，得到所述图像点对应的插值视频图像点。
例如，根据旁听方的虚拟旁听位置L(旁)与插值参会方(参会方二)在虚拟全景的虚拟位置L2，确定参会方二相对于旁听方的虚拟视角C(旁)’；根据该虚拟视角C(旁)’和所述图像点P相对于参会方二的摄像装置一和摄像装置二的相对位置PC12，对所述图像点P进行虚拟投影，即将图像点的相对位置置PC12虚拟投影至参会方二相对于旁听方的虚拟视角C(旁)’下，得到图像点P对应的插值视频图像点P’，实现将插值参会方的图像点虚拟投影至旁听方的虚拟视角下，以提高旁听方对插值参会方的视觉体验。
接着本申请的上述实施例，所述将所述旁听方对应的所述至少一个参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到所述旁听方对应的旁听全景视频图像，包括：
按照所述至少一个参会方分别在所述虚拟全景中的虚拟位置，将所述旁听方对应的所述至少一个参会方的插值视频图像进行图像拼接并对应融合至所述虚拟背景中，得到所述旁听方对应的旁听全景视频图像。
例如，若需要从旁听方的主视角去看对应的参会方二和参会方三，则按照如图2所示的，参会方二和参会方三分别在虚拟全景中的虚拟位置L2和L3(其中L2和L3之间的虚拟位置用于指示：在虚拟全景中，参会方二在参会方三的右侧面)，将旁听方对应的参会方二的插值视频图像V(旁)2和参会方三的插值视频图像V(旁)3进行图像拼接并对应融合至虚拟全景中的参会方二和参会方三对应的虚拟背景中，得到旁听方对应的全景视频图像V(旁){2,3}；依照上述对旁听方对应的参会方二和参会方三的插值视频图像的图像拼接融合的方式，可以得到所有旁听方对应的至少一个参会方的旁听全景视频图像，以实现对每个旁听方对应的至少一个参会方的插值视频图像的图像拼接融合，进而得到从每个旁听方的主视角出发，可以看见所有参会方中的任意一个或多个参会方甚至是所有参会方的融合有虚拟背景的完整的旁听全景视频图像，进而提高每个旁听方在多方视频会议中的视觉感和沉浸感。
接着本申请的上述实施例，所述将所述旁听全景视频图像发送给所述旁听方的显示设备显示的同时，还包括：
按照所述音频时间将所述旁听方对应的所述至少一个参会方的音频数据进行混合，得到包含所述至少一个参会方的音频数据的旁听全景音频数据，并将所述旁听全景音频数据发送给所述旁听方的播放设备播放。
例如，所述旁听方对应的参会方二和参会方三分别对应的音频数据F2及其对应的音频时间T2及音频数据F3及其对应的音频时间T3；按照所述音频时间的先后顺序或同时发生时间将旁听方对应的至少一个参会方(例如参会方二和参会方三)的音频数据进行依序混合，得到每个所述旁听方对应的旁听全景音频数据，实现将多方视频会议中的旁听方对应的至少一个参会方的音频数据进行混合，进而还原出多方视频会议中的旁听方对应的至少一个参会方的例如：发言、辩论、交流等语音数据；接着在将所述旁听全景视频图像发送给对应的旁听方的显示设备显示的同时，还将所述旁听全景音频数据发送给对应的旁听方的播放设备播放，例如，将旁听方对应的旁听全景视频图像进行编码之后，通过固定的数据接口发送给该旁听方的显示设备显示的同时，还将旁听方对应的旁听全景音频数据进行编码之后，并通过固定的数据接口发送给旁听方的播放设备，以便旁听方的显示设备将编码后的旁听全景视频图像解码之后再进行显示的同时，旁听方的播放设备还实时将旁听全景视频图像对应的编码后的旁听全景音频数据解码之后再进行播放，实现在多方视频会议中，向旁听方实时显示对应的至少一个参会方的旁听全景视频图像的同时，还能实时地播放至少一个参会方的旁听全景音频数据，不仅提高了旁听方的空间方位感和视觉感，还增加了每个旁听方的旁听体验感。
接着本申请的上述实施例，所述显示设备包括至少一个显示屏幕，
其中，所述步骤S14将所述全景视频图像发送给对应的参会方的显示设备显示，包括：
基于预设的所述显示屏幕的相对位置，对所述全景视频图像进行投影分割，并将分割后的全景视频图像对应地发送给所述显示屏幕显示。
例如，当需要将全景视频图像进行投影分割时，则参会方的显示设备包括至少一个显示屏幕，该显示屏幕可以是投影仪，也可以是液晶显示屏等。若参会方一中有三个显示屏幕(例如三个投影仪)，且预设的所述显示屏幕的相对位置为显示屏幕二在参会方一的正对面，显示屏幕一在参会方的左侧面，显示屏幕三在参会方一的右侧面，则所述步骤S14根据参会方一的三个显示屏幕的相对位置，将全景视频图像投影分割为左、中、右三部分，分别将全景视频图像的左、中、右三部分分别对应地发送至参会方一的显示屏幕一、显示屏幕二及显示屏幕三，进而在参会方一端的显示设备上将全景视频图像的左部分投影至显示屏幕一，将全景视频图像的中部分投影至显示屏幕二及将全景视频图像的右部分投影至显示屏幕三，并分别显示对应部分的全景视频图像，实现对全景视频图像的投影分割。
本申请的所有实施例中，所述显示设备包括平面显示设备和/或曲面显示设备。其中，所述平面显示设备可以显示每个参会方对应的其他各参会方的完整的全景视频图像，也可以显示每个旁听方对应的至少一个参会方的完整的旁听全景视频图像；还可以分割投影每个参会方对应的其他各参会方的全景视频图像，也可以分割投影每个旁听方对应的至少一个参会方的旁听全景视频图像，实现对不管是参会方还是旁听方的全景视频图像的平面投影。当然，若需要提升显示效果，则所述现实设备可以是曲面显示设备，以提升对全景视频图像的显示效果，降低投影分割的复杂度等。
图4示出本申请一个方面的一种基于虚拟全景的多方会议的设备，应用于多方视频会议中的网络设备端，其中，该网络设备端可以包括但不限于是多方视频会议中的云端服务器、中继站所属服务器及视频会议中的大数据处理服务器等。该方法包括：预置获取装置11、插值计算装置12、拼接融合装置13和发送装置14，具体步骤如下：
所述预置获取装置11用于：预置每个参会方在虚拟全景中的虚拟位置和所述虚拟全景的虚拟背景，并获取每个所述参会方的多路视频图像；所述插值计算装置12用于：基于每个所述参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到每个所述参会方对应的其他各参会方的插值视频图像，完成了对从每个参会方的视角下看其他各参会方的插值视频图像的计算，进而达到了从每个参会方的视角出发，可以看到其他各参会方的插值视频图像的目的；接着所述拼接融合装置13用于：将每个所述参会方对应的其他各参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到每个所述参会方对应的全景视频图像；所述发送装置14用于：将所述全景视频图像发送给对应的参会方的显示设备显示，通过将每个参会方的多路视频按照预置的虚拟位置插值还原出每个参会方的正确的空间感，为每个参会方提供全视角的其他各参会方的全景视频图像，以增加每个参会方在多方视频会议过程中的空间方位感、带入感和沉浸感。
本申请一实施例中，在需要进行多方视频会议之前，所述预置获取装置11预置每个参会方在虚拟全景中的虚拟位置和所述虚拟全景的虚拟背景，以便后续对每个参会方进行虚拟全景的空间中的虚拟位置的计算；预置每个参会方在虚拟全景中的虚拟位置可以通过每个参会方的自主选择在虚拟全景的虚拟位置并发送至网络设备，或由会议管理员分配每个参会方的在虚拟全景的虚拟位置，或直接由网络设备端随机分配每个参会方的虚拟位置等，以便在多方视频会议开始之前，将每个参会方在虚拟全景中的虚拟位置定下来，以便后续参会方或旁听方基于虚拟位置观看各参会方。同时，在需要进行多方视频会议之前，每个参会方都安装有一个或多个摄像头，且各摄像头排布在参会方的不同方位(例如不同水平、不同高度及不同维度等)朝向视频会议室中间，每个摄像头按照特定角度采集会议室背景图像及视频图像，每个摄像头采集到对应的一路视频图像，以得到每个参会方的多路视频图像，进而能够全方位的将每个参会方的视频会议室内的参会场景全面地毫无遗漏的采集到，当每个参会方采集到个摄像头对应的多路视频图像之后，会将每个参会方的多路视频图像进行编码，并通过固定的数据接口传输至处理数据的网络设备，以使所述网络设备中的所述预置获取装置11执行获取每个所述参会方的多路视频图像的步骤，进而完成对每个参会方的多路视频图像的采集。
为了更好地在网络设备端将每个参会方的多路视频图像与虚拟环境进行融合，参会方在将多个摄像头获取的多路视频图像发送给网络设备端之前，会将每个视频图像所属的会议室的实际背景移除，只保留参会方的参会人员的视频图像，再将移除实际背景的每个参会方的多路视频图像发送给网络设备端进行融合，之后所述预置获取装置11用于：获取每个所述参会方经移除所属实际会议场景中的实际背景之后的多路视频图像。可见网络设备获取的每个参会方的多路视频图像是经过移除参会方所属的会议室的实际会议场景中的实际背景的视频图像，以便网络设备端后续更好地将经移除所属实际会议场景中的实际背景之后的多路视频图像与预置的虚拟全景的虚拟背景进行虚拟融合。
接着本申请的上述实施例，所述插值计算装置12用于：
从所有所述参会方中选出一目标参会方；
基于所述目标参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到所述目标参会方对应的其他各参会方的插值视频图像；
重复上述步骤，直至得到每个所述参会方对应的其他各参会方的插值视频图像。
例如，如图2所示：若多方视频会议中有三个参会方，分别为参会方一、参会方二和参会方三，其中，在虚拟全景中，参会方二在参会方一的左侧面，参会方三在参会方一的正对面，为了插值计算得到每个参会方对应的其他各参会方的插值视频图像，所述插值计算装置12中的步骤(a)从所有所述参会方：参会方一、参会方二和参会方三中选出一目标参会方，若该目标参会方为参会方一，则步骤(b)基于所述目标参会方(参会方一)的虚拟位置，分别计算其他各参会方(参会方二和参会方三)的插值视频图像，得到参会方一分别对应的参会方二和参会方三的插值视频图像V12和V13；重复执行上述步骤(a)和(b)，可以得到参会方二分别对应的参会方一和参会方三的插值视频图像V21和V23，和参会方三分别对应的参会方一和参会方二的插值视频图像V31和V32，以实现对每个参会方对应的其他各参会方的多路视频的插值计算，进而得到每个所述参会方对应的其他各参会方的插值视频图像。
接着本申请的上述实施例，所述插值计算装置12用于：
遍历从所述目标参会方对应的其他参会方中任选一插值参会方，重复如下步骤，直至得到所述目标参会方对应的其他各参会方的插值视频图像：
获取所述插值参会方的各摄像装置的分布位置；
遍历选取所述插值参会方的实际会议场景中的图像点，并确定所述图像点在所述插值参会方的各摄像装置上的成像位置；
基于所述分布位置和所述成像位置，确定所述图像点相对于所述插值参会方的各摄像装置的相对位置；
基于所述目标参会方与插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点；
基于所有所述图像点对应的插值视频图像点，得到所述目标参会方对应的插值参会方的插值视频图像。
例如，若所述目标参会方为参会方一，则所述目标参会方(参会方一)对应的其他各参会方分别为参会方二和参会方三，遍历从参会方一对应的参会方二和参会方三中任选一插值参会方，若选择的插值参会方为参会方二，则所述插值计算装置12中的步骤(b1)获取所述插值参会方(参会方二)的各摄像装置的分布位置如图3所示，若该参会方二中设置有两个摄像装置，该两个摄像装置的分布位置分比为C1和C2，即摄像装置一的拍摄视角为C1，摄像装置二的拍摄视角为C2；接着步骤(b2)遍历选取参会方二的实际会议场景中的图像点，例如图像点P为参会方二的实际会议场景中的任一点，确定所述图像点P分别在参会方二的摄像装置一和摄像装置二上的成像位置PC1和PC2；接着步骤(b3)根据参会方二的两个摄像装置的分布位置C1和C2，和图像点P在参会方二的两个摄像装置上分别的成像位置PC1和PC2，得到所述图像点P相对于参会方二的摄像装置一和摄像装置二的相对位置PC12；之后，步骤(b4)根据目标参会方(参会方一)与插值参会方(参会方二)在虚拟全景的虚拟位置L1和L2(L1和L2的关系用于指示虚拟全景中参会方二在参会方一的左侧面的)，和图像点P相对于参会方二的摄像装置一和摄像装置二的相对位置PC12，得到图像点P对应的插值视频图像点P’；步骤(b5)基于在参会方二中任一选取的所有图像点P对应的插值视频图像点P’，得到目标参会方(参会方一)对应的插值参会方(参会方二)的插值视频图像，实现了参会方二呈现给参会方一的视频图像的插值计算，得到从参会方一的角度出发，可以看到的参会方二的插值视频图像V12，保证了参会方二相对于参会方一而言的空间方位感，以增加主视角参会方一在虚拟全景中对参会方二的空间感和方位感。重复执行上述步骤(b1)至步骤(b5)，则可以得到目标参会方(参会方一)对应的插值参会方(参会方三)的插值视频图像V13，进而得到所述目标参会方(参会方一)对应的参会方二和参会方三的插值视频图像，实现从参会方一的主视角出发，来观看参会方二和参会方三的插值视频图像，以增加每个参会方在多方视频会议中的空间感和方位感。
接着本申请的上述实施例，所述插值计算装置12用于：
基于所述目标参会方与插值参会方的虚拟位置，确定所述插值参会方相对于所述目标参会方的虚拟视角；
基于所述虚拟视角和所述相对位置，对所述图像点进行虚拟投影，得到所述图像点对应的插值视频图像点。
例如，所述插值计算装置12根据目标参会方(参会方一)与插值参会方(参会方二)在虚拟全景的虚拟位置L1和L2(L1和L2的关系用于指示虚拟全景中参会方二在参会方一的左侧面的)，确定参会方二相对于参会方一的虚拟视角C’如图3中所示；根据该虚拟视角C’和所述图像点P相对于参会方二的摄像装置一和摄像装置二的相对位置PC12，对所述图像点P进行虚拟投影，即将图像点的相对位置置PC12虚拟投影至虚拟视角C’下，得到图像点P对应的插值视频图像点P’，实现将插值参会方的图像点虚拟投影至目标参会方的虚拟视角下，以提高目标参会方对插值参会方的视觉体验。
接着本申请的上述实施例，所述拼接融合装置13用于：
按照每个参会方在所述虚拟全景中的虚拟位置，将每个所述参会方对应的其他各参会方的插值视频图像进行图像拼接并对应融合至所述虚拟背景中，得到每个所述参会方对应的全景视频图像。
例如，如图2所示，若需要从参会方一的主视角去看参会方二和参会方三，则所述拼接融合装置13按照参会方一、参会方二和参会方三分别在虚拟全景中的虚拟位置L1、L2和L3(其中L1、L2和L3之间的虚拟位置用于指示：在虚拟全景中，参会方二在参会方一的左侧面，参会方三在参会方一的正对面)，将参会方一对应的参会方二的插值视频图像V12和参会方一对应的参会方三的插值视频图像V13进行图像拼接并对应融合至虚拟全景中的参会方二和参会方三对应的虚拟背景中，得到参会方一对应的全景视频图像V{12,13}；依照上述对参会方一对应的参会方二和参会方三的插值视频图像的图像拼接融合的方式，可以得到参会方二对应的全景视频图像V{21,23}和参会方三对应的全景视频图像V{31,32}，以实现对每个参会方对应的其他各参会方的插值视频图像的图像拼接融合，进而得到从每个参会方的主视角出发，可以看见其他各参会方的融合有虚拟背景的完整的全景视频图像，进而提高每个参会方在多方视频会议中的视觉感和沉浸感。
为了提高每个参会方在多方视频会议中的带入感、沉浸感和参与感，多方视频会议中的每个参会方均会将实时获取的音频数据(例如发言、辩论、交流等语音数据)发送给网络设备获取，以使所述预置获取装置11还用于:
获取每个所述参会方的音频数据及其对应的音频时间；
所述拼接融合装置13还用于：
按照所述音频时间将每个所述参会方的音频数据进行混合，得到每个所述参会方对应的全景音频数据；
所述发送装置14还用于：
将所述全景音频数据发送给对应的参会方的播放设备播放。
例如，所述预置获取装置11在获取参会方一、参会方二和参会方三分别对应的多路视频图像的同时，还获取参会方一、参会方二和参会方三分别对应的音频数据F1及其对应的音频时间T1，音频数据F2及其对应的音频时间T2及音频数据F3及其对应的音频时间T3；接着，所述拼接融合装置13按照所述音频时间(将音频时间排在前面的音频数据先混合，排在后面的后混合，同时发生的音频数据同时混合)将每个所述参会方的音频数据进行依序混合，得到每个所述参会方对应的全景音频数据，实现将多方视频会议中的每个参会方的音频数据进行混合，进而还原出多方视频会议中的每个参会方的例如：发言、辩论、交流等语音数据；接着所述发送装置14在将所述全景视频图像发送给对应的参会方的显示设备显示的同时，还将所述全景音频数据发送给对应的参会方的播放设备播放，例如，将参会方一对应的全景视频图像进行编码之后，通过固定的数据接口发送给对应的参会方一的显示设备显示的同时，还将参会方一对应的全景音频数据进行编码之后，并通过固定的数据接口发送给参会方一的播放设备，以便参会方一的显示设备将编码后的全景视频图像解码之后再进行显示的同时，参会方一的播放设备还实时将全景视频图像对应的编码后的全景音频数据解码之后再进行播放，实现在多方视频会议中，向每个参会方实时显示对应的其他各参会方的全景视频图像的同时，还能实时地播放其他各参会方的全景音频数据，不仅提高了每个参会方的空间方位感和视觉感，还增加了每个参会方的沉浸感和相互之间的对话互动，进而增加真实感。
接着本申请的上述实施例，所述拼接融合装置13用于：
从所有所述参会方中选出一目标参会方；
按照所述音频时间将所述目标参会方对应的其他各参会方的音频数据进行混合，得到所述目标参会方对应的包含其他各参会方的音频数据的全景音频数据；
重复上述步骤，直至得到每个所述参会方对应的全景音频数据。
例如，若多方视频会议中有三个参会方，分别为参会方一、参会方二和参会方三，为了混合计算得到每个参会方对应的其他各参会方的插值视频图像，所述拼接融合装置13中的步骤(1)从所有所述参会方：参会方一、参会方二和参会方三中选出一目标参会方，若该目标参会方为参会方一，则步骤(2)按照所述音频时间顺序，将参会方一对应的其他各参会方(参会方二和参会方三)的音频数据进行混合，得到参会方一分别对应的参会方二和参会方三的全景音频数据F12和F13；重复上述步骤(1)和(2)，可以得到参会方二分别对应的参会方一和参会方三的全景音频数据F21和F23，和参会方三分别对应的参会方一和参会方二的全景音频数据F31和F32，以实现对每个参会方对应的其他各参会方的所有音频数据的混合计算，进而得到每个所述参会方对应的其他各参会方的全景音频数据。
接着本申请的上述实施例，在多方视频会议中，为了保证参会方可以观听到其他各参会方的全景视频图像和全景音频数据的同时，既不在实际会议场景的拍摄区域内且也不再虚拟全景中的旁听方，也可以观听到任意参会方的全景视频图像和全景音频数据，若旁听方的虚拟旁听位置与所有参会方中的一个或多个(至少一个)参会方重合时，则本申请的基于虚拟全景的多方会议的设备，还包括：旁听装置和旁听发送装置。其中，所述旁听装置用于：
将满足旁听方的显示需求对应的至少一个所述参会方对应的全景视频图像进行融合，得到所述至少一个参会方在所述虚拟全景中的旁听全景视频图像；在此，满足所述旁听方的显示需求对应的参会方可以是一个或多个或所有参会方。
旁听发送装置，用于将所述旁听全景视频图像发送给所述旁听方的显示设备显示。
例如，若多方视频会议中有三个参会方，分别为参会方一、参会方二和参会方三。当旁听方的虚拟旁听位置与所有参会方中的一个或多个(至少一个)参会方重合时，若旁听方的显示需求包括一个参会方二，则直接将参会方二对应的全景视频图像作为旁听方的旁听全景视频图像；并将所述旁听全景视频图像(参会方二对应的全景视频图像)发送给所述旁听方的显示设备显示；若旁听方的显示需求包括参会方一和参会方三，则直接将参会方一和参会方三对应的全景视频图像进行融合，得到参会方一和参会方三都在所述虚拟全景中的旁听全景视频图像，将所述旁听全景视频图像发送给所述旁听方的显示设备显示，实现在旁听方也可以观看到每个参会方甚至是任何参会方的全景视频图像。
接着本申请的上述实施例，在多方视频会议中，为了保证参会方可以观听到其他各参会方的全景视频图像和全景音频数据的同时，既不在实际会议场景的拍摄区域内且也不再虚拟全景中的旁听方，也可以观听到任意参会方的全景视频图像和全景音频数据，若旁听方的虚拟旁听位置与所有参会方均不重合时，则本申请的基于虚拟全景的多方会议的设备，还包括：旁听获取装置、旁听插值装置、旁听融合装置和旁听发送装置。其中，
所述旁听获取装置，用于获取旁听方的虚拟旁听位置和满足所述旁听方的显示需求对应的至少一个所述参会方的多路视频图像；在此，满足所述旁听方的显示需求对应的参会方可以是一个或多个或所有参会方。
接着，所述旁听插值装置，用于基于所述旁听方的虚拟旁听位置分别对所述至少一个参会方的多路视频图像进行插值计算，得到所述旁听方对应的所述至少一个参会方的插值视频图像，完成了对从旁听方的视角下看显示需求对应的至少一个所述参会方的插值视频图像的计算，进而达到了从旁听方的视角出发，可以看到显示需求对应的至少一个所述参会方的插值视频图像的目的。
之后，所述旁听融合装置，用于将所述旁听方对应的所述至少一个参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到所述旁听方对应的旁听全景视频图像。
最后，所述旁听发送装置，用于将所述旁听全景视频图像发送给所述旁听方的显示设备显示，通过将显示需求对应的至少一个所述参会方的多路视频按照预置的虚拟位置插值还原出旁听方看到的显示需求对应的至少一个所述参会方的正确的空间感，为旁听方提供全视角的观看显示需求对应的至少一个所述参会方的全景视频图像，以增加旁听方在多方视频会议过程中的全方位感和视觉感。
接着本申请的上述实施例，所述旁听插值装置用于：
遍历从所述至少一个参会方中任选一插值参会方，重复如下步骤，直至得到所述旁听方对应的所述至少一个参会方的插值视频图像：
获取所述插值参会方的各摄像装置的分布位置；
遍历选取所述插值参会方的实际会议场景中的图像点，并确定所述图像点在所述插值参会方的各摄像装置上的成像位置；
基于所述分布位置和所述成像位置，确定所述图像点相对于所述插值参会方的各摄像装置的相对位置；
基于所述旁听方的虚拟旁听位置与所述插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点；
基于所有所述图像点对应的插值视频图像点，得到所述旁听方对应的插值参会方的插值视频图像。
例如，若多方视频会议中包括三个参会方，分别为参会方一、参会方二和参会方三，且想得到旁听方对应的所述至少一个参会方(例如参会方二和参会方三)的插值视频图像，则遍历从旁听方对应的参会方二和参会方三中任选一插值参会方，若选择的插值参会方为参会方二，则步骤(bb1)获取所述插值参会方(参会方二)的各摄像装置的分布位置如图3所示，若该参会方二中设置有两个摄像装置，该两个摄像装置的分布位置分比为C1和C2，即摄像装置一的拍摄视角为C1，摄像装置二的拍摄视角为C2；接着步骤(bb2)遍历选取参会方二的实际会议场景中的图像点，例如图像点P为参会方二的实际会议场景中的任一点，确定所述图像点P分别在参会方二的摄像装置一和摄像装置二上的成像位置PC1和PC2；接着步骤(bb3)根据参会方二的两个摄像装置的分布位置C1和C2，和图像点P在参会方二的两个摄像装置上分别的成像位置PC1和PC2，得到所述图像点P相对于参会方二的摄像装置一和摄像装置二的相对位置PC12；之后，步骤(bb4)根据旁听方与插值参会方(参会方二)在虚拟全景的虚拟旁听位置L(旁)和L2及图像点P相对于参会方二的摄像装置一和摄像装置二的相对位置PC12，得到图像点P对应的插值视频图像点P(旁)’；步骤(b5)基于在参会方二中任一选取的所有图像点P对应的插值视频图像点P(旁)’，得到旁听方对应的插值参会方(参会方二)的插值视频图像，实现了参会方二呈现给旁听方的视频图像的插值计算，得到从旁听方的虚拟视角出发，可以看到的参会方二的插值视频图像V(旁)2，保证了参会方二相对于旁听方而言的空间方位感，以增加主视角旁听方在虚拟全景中对参会方二的空间感和方位感。重复上述步骤(bb1)至步骤(bb5)，则可以得到旁听方对应的插值参会方(参会方三)的插值视频图像V(旁)3，进而得到所述旁听方分别对应的参会方二和参会方三的插值视频图像V(旁)2和V(旁)3，实现从旁听方的虚拟视角出发，来观看参会方二和参会方三的插值视频图像，以增加旁听方在多方视频会议过程中的全方位感和视觉感。
接着本申请的上述实施例，所述旁听插值装置用于：
基于所述旁听方的虚拟旁听位置和所述插值参会方的虚拟位置，确定所述插值参会方相对于所述旁听方的虚拟视角；
基于所述虚拟视角和所述相对位置，对所述图像点进行虚拟投影，得到所述图像点对应的插值视频图像点。
例如，根据旁听方的虚拟旁听位置L(旁)与插值参会方(参会方二)在虚拟全景的虚拟位置L2，确定参会方二相对于旁听方的虚拟视角C(旁)’；根据该虚拟视角C(旁)’和所述图像点P相对于参会方二的摄像装置一和摄像装置二的相对位置PC12，对所述图像点P进行虚拟投影，即将图像点的相对位置置PC12虚拟投影至参会方二相对于旁听方的虚拟视角C(旁)’下，得到图像点P对应的插值视频图像点P’，实现将插值参会方的图像点虚拟投影至旁听方的虚拟视角下，以提高旁听方对插值参会方的视觉体验。
接着本申请的上述实施例，所述旁听融合装置用于：
按照所述至少一个参会方分别在所述虚拟全景中的虚拟位置，将所述旁听方对应的所述至少一个参会方的插值视频图像进行图像拼接并对应融合至所述虚拟背景中，得到所述旁听方对应的旁听全景视频图像。
例如，若需要从旁听方的主视角去看对应的参会方二和参会方三，则按照如图2所示的，参会方二和参会方三分别在虚拟全景中的虚拟位置L2和L3(其中L2和L3之间的虚拟位置用于指示：在虚拟全景中，参会方二在参会方三的右侧面)，将旁听方对应的参会方二的插值视频图像V(旁)2和参会方三的插值视频图像V(旁)3进行图像拼接并对应融合至虚拟全景中的参会方二和参会方三对应的虚拟背景中，得到旁听方对应的全景视频图像V(旁){2,3}；依照上述对旁听方对应的参会方二和参会方三的插值视频图像的图像拼接融合的方式，可以得到所有旁听方对应的至少一个参会方的旁听全景视频图像，以实现对每个旁听方对应的至少一个参会方的插值视频图像的图像拼接融合，进而得到从每个旁听方的主视角出发，可以看见所有参会方中的任意一个或多个参会方甚至是所有参会方的融合有虚拟背景的完整的旁听全景视频图像，进而提高每个旁听方在多方视频会议中的视觉感和沉浸感。
接着本申请的上述实施例，所述旁听发送装置还用于：
按照所述音频时间将所述旁听方对应的所述至少一个参会方的音频数据进行混合，得到包含所述至少一个参会方的音频数据的旁听全景音频数据，并将所述旁听全景音频数据发送给所述旁听方的播放设备播放。
例如，所述旁听方对应的参会方二和参会方三分别对应的音频数据F2及其对应的音频时间T2及音频数据F3及其对应的音频时间T3；按照所述音频时间的先后顺序或同时发生时间将旁听方对应的至少一个参会方(例如参会方二和参会方三)的音频数据进行依序混合，得到每个所述旁听方对应的旁听全景音频数据，实现将多方视频会议中的旁听方对应的至少一个参会方的音频数据进行混合，进而还原出多方视频会议中的旁听方对应的至少一个参会方的例如：发言、辩论、交流等语音数据；接着在将所述旁听全景视频图像发送给对应的旁听方的显示设备显示的同时，还将所述旁听全景音频数据发送给对应的旁听方的播放设备播放，例如，将旁听方对应的旁听全景视频图像进行编码之后，通过固定的数据接口发送给该旁听方的显示设备显示的同时，还将旁听方对应的旁听全景音频数据进行编码之后，并通过固定的数据接口发送给旁听方的播放设备，以便旁听方的显示设备将编码后的旁听全景视频图像解码之后再进行显示的同时，旁听方的播放设备还实时将旁听全景视频图像对应的编码后的旁听全景音频数据解码之后再进行播放，实现在多方视频会议中，向旁听方实时显示对应的至少一个参会方的旁听全景视频图像的同时，还能实时地播放至少一个参会方的旁听全景音频数据，不仅提高了旁听方的空间方位感和视觉感，还增加了每个旁听方的旁听体验感。
接着本申请的上述实施例，所述显示设备包括至少一个显示屏幕，
其中，所述发送装置14用于：
基于预设的所述显示屏幕的相对位置，对所述全景视频图像进行投影分割，并将分割后的全景视频图像对应地发送给所述显示屏幕显示。
例如，当需要将全景视频图像进行投影分割时，则参会方的显示设备包括至少一个显示屏幕，该显示屏幕可以是投影仪，也可以是液晶显示屏等。若参会方一中有三个显示屏幕(例如三个投影仪)，且预设的所述显示屏幕的相对位置为显示屏幕二在参会方一的正对面，显示屏幕一在参会方的左侧面，显示屏幕三在参会方一的右侧面，则所述发送装置14根据参会方一的三个显示屏幕的相对位置，将全景视频图像投影分割为左、中、右三部分，分别将全景视频图像的左、中、右三部分分别对应地发送至参会方一的显示屏幕一、显示屏幕二及显示屏幕三，进而在参会方一端的显示设备上将全景视频图像的左部分投影至显示屏幕一，将全景视频图像的中部分投影至显示屏幕二及将全景视频图像的右部分投影至显示屏幕三，并分别显示对应部分的全景视频图像，实现对全景视频图像的投影分割。
本申请的所有实施例中，所述显示设备包括平面显示设备和/或曲面显示设备。其中，所述平面显示设备可以显示每个参会方对应的其他各参会方的完整的全景视频图像，也可以显示每个旁听方对应的至少一个参会方的完整的旁听全景视频图像；还可以分割投影每个参会方对应的其他各参会方的全景视频图像，也可以分割投影每个旁听方对应的至少一个参会方的旁听全景视频图像，实现对不管是参会方还是旁听方的全景视频图像的平面投影。当然，若需要提升显示效果，则所述现实设备可以是曲面显示设备，以提升对全景视频图像的显示效果，降低投影分割的复杂度等。
综上所述，本申请通过预置每个参会方在虚拟全景中的虚拟位置和所述虚拟全景的虚拟背景，并获取每个所述参会方的多路视频图像；基于每个所述参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到每个所述参会方对应的其他各参会方的插值视频图像，完成了对从每个参会方的视角下看其他各参会方的插值视频图像的计算，进而达到了从每个参会方的视角出发，可以看到其他各参会方的插值视频图像的目的；接着将每个所述参会方对应的其他各参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到每个所述参会方对应的全景视频图像；将所述全景视频图像发送给对应的参会方的显示设备显示，通过将每个参会方的多路视频按照预置的虚拟位置插值还原出每个参会方的正确的空间感，为每个参会方提供全视角的其他各参会方的全景视频图像，以增加每个参会方在多方视频会议过程中的空间方位感、带入感和沉浸感。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (32)

1.一种基于虚拟全景的多方会议的方法，其中，所述方法包括：
预置每个参会方在虚拟全景中的虚拟位置和所述虚拟全景的虚拟背景，并获取每个所述参会方的多路视频图像；
基于每个所述参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到每个所述参会方对应的其他各参会方的插值视频图像；
将每个所述参会方对应的其他各参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到每个所述参会方对应的全景视频图像；
将所述全景视频图像发送给对应的参会方的显示设备显示。
2.根据权利要求1所述的方法，其中，所述基于每个所述参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到每个所述参会方对应的其他各参会方的插值视频图像，包括：
从所有所述参会方中选出一目标参会方；
基于所述目标参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到所述目标参会方对应的其他各参会方的插值视频图像；
重复上述步骤，直至得到每个所述参会方对应的其他各参会方的插值视频图像。
3.根据权利要求2所述的方法，其中，所述基于所述目标参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到所述目标参会方对应的其他各参会方的插值视频图像，包括：
遍历从所述目标参会方对应的其他参会方中任选一插值参会方，重复如下步骤，直至得到所述目标参会方对应的其他各参会方的插值视频图像：
获取所述插值参会方的各摄像装置的分布位置；
遍历选取所述插值参会方的实际会议场景中的图像点，并确定所述图像点在所述插值参会方的各摄像装置上的成像位置；
基于所述分布位置和所述成像位置，确定所述图像点相对于所述插值参会方的各摄像装置的相对位置；
基于所述目标参会方与插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点；
基于所有所述图像点对应的插值视频图像点，得到所述目标参会方对应的插值参会方的插值视频图像。
4.根据权利要求3所述的方法，其中，所述基于所述目标参会方与插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点，包括：
基于所述目标参会方与插值参会方的虚拟位置，确定所述插值参会方相对于所述目标参会方的虚拟视角；
基于所述虚拟视角和所述相对位置，对所述图像点进行虚拟投影，得到所述图像点对应的插值视频图像点。
5.根据权利要求1所述的方法，其中，所述将每个所述参会方对应的其他各参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到每个所述参会方对应的全景视频图像，包括：
按照每个参会方在所述虚拟全景中的虚拟位置，将每个所述参会方对应的其他各参会方的插值视频图像进行图像拼接并对应融合至所述虚拟背景中，得到每个所述参会方对应的全景视频图像。
6.根据权利要求1所述的方法，其中，所述获取每个所述参会方的多路视频图像的同时，还包括:
获取每个所述参会方的音频数据及其对应的音频时间；
所述将每个所述参会方对应的其他各参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到每个所述参会方对应的全景视频图像的同时，还包括：
按照所述音频时间将每个所述参会方的音频数据进行混合，得到每个所述参会方对应的全景音频数据；
所述将所述全景视频图像发送给对应的参会方的显示设备显示的同时，还包括：
将所述全景音频数据发送给对应的参会方的播放设备播放。
7.根据权利要求6所述的方法，其中，按照所述音频时间将每个所述参会方的音频数据进行混合，得到每个所述参会方对应的全景音频数据，包括：
从所有所述参会方中选出一目标参会方；
按照所述音频时间将所述目标参会方对应的其他各参会方的音频数据进行混合，得到所述目标参会方对应的包含其他各参会方的音频数据的全景音频数据；
重复上述步骤，直至得到每个所述参会方对应的全景音频数据。
8.根据权利要求1所述的方法，其中，所述方法，还包括：
将满足旁听方的显示需求对应的至少一个所述参会方对应的全景视频图像进行融合，得到所述至少一个参会方在所述虚拟全景中的旁听全景视频图像；
将所述旁听全景视频图像发送给所述旁听方的显示设备显示。
9.根据权利要求1所述的方法，其中，所述方法，还包括：
获取旁听方的虚拟旁听位置和满足所述旁听方的显示需求对应的至少一个所述参会方的多路视频图像；
基于所述旁听方的虚拟旁听位置分别对所述至少一个参会方的多路视频图像进行插值计算，得到所述旁听方对应的所述至少一个参会方的插值视频图像；
将所述旁听方对应的所述至少一个参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到所述旁听方对应的旁听全景视频图像；
将所述旁听全景视频图像发送给所述旁听方的显示设备显示。
10.根据权利要求9所述的方法，其中，所述基于所述旁听方的虚拟旁听位置分别对所述至少一个参会方的多路视频图像进行插值计算，得到所述旁听方对应的所述至少一个参会方的插值视频图像，包括：
遍历从所述至少一个参会方中任选一插值参会方，重复如下步骤，直至得到所述旁听方对应的所述至少一个参会方的插值视频图像：
获取所述插值参会方的各摄像装置的分布位置；
遍历选取所述插值参会方的实际会议场景中的图像点，并确定所述图像点在所述插值参会方的各摄像装置上的成像位置；
基于所述分布位置和所述成像位置，确定所述图像点相对于所述插值参会方的各摄像装置的相对位置；
基于所述旁听方的虚拟旁听位置与所述插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点；
基于所有所述图像点对应的插值视频图像点，得到所述旁听方对应的插值参会方的插值视频图像。
11.根据权利要求10所述的方法，其中，所述基于所述旁听方的虚拟旁听位置与所述插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点，包括：
基于所述旁听方的虚拟旁听位置和所述插值参会方的虚拟位置，确定所述插值参会方相对于所述旁听方的虚拟视角；
基于所述虚拟视角和所述相对位置，对所述图像点进行虚拟投影，得到所述图像点对应的插值视频图像点。
12.根据权利要求9所述的方法，其中，所述将所述旁听方对应的所述至少一个参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到所述旁听方对应的旁听全景视频图像，包括：
按照所述至少一个参会方分别在所述虚拟全景中的虚拟位置，将所述旁听方对应的所述至少一个参会方的插值视频图像进行图像拼接并对应融合至所述虚拟背景中，得到所述旁听方对应的旁听全景视频图像。
13.根据权利要求8或9所述的方法，其中，将所述旁听全景视频图像发送给所述旁听方的显示设备显示的同时，还包括：
按照所述音频时间将所述旁听方对应的所述至少一个参会方的音频数据进行混合，得到包含所述至少一个参会方的音频数据的旁听全景音频数据，并将所述旁听全景音频数据发送给所述旁听方的播放设备播放。
14.根据权利要求1至12所述的方法，其中，所述获取每个所述参会方的多路视频图像，包括：
获取每个所述参会方经移除所属实际会议场景中的实际背景之后的多路视频图像。
15.根据权利要求1至12所述的方法，其中，所述显示设备包括至少一个显示屏幕，
其中，所述将所述全景视频图像发送给对应的参会方的显示设备显示，包括：
基于预设的所述显示屏幕的相对位置，对所述全景视频图像进行投影分割，并将分割后的全景视频图像对应地发送给所述显示屏幕显示。
16.根据权利要求15所述的方法，其中，所述显示设备包括平面显示设备和/或曲面显示设备。
17.一种基于虚拟全景的多方会议的设备，其中，所述设备包括：
预置获取装置，用于预置每个参会方在虚拟全景中的虚拟位置和所述虚拟全景的虚拟背景，并获取每个所述参会方的多路视频图像；
插值计算装置，用于基于每个所述参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到每个所述参会方对应的其他各参会方的插值视频图像；
拼接融合装置，用于将每个所述参会方对应的其他各参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到每个所述参会方对应的全景视频图像；
发送装置，用于将所述全景视频图像发送给对应的参会方的显示设备显示。
18.根据权利要求17所述的设备，其中，所述插值计算装置用于：
从所有所述参会方中选出一目标参会方；
基于所述目标参会方的虚拟位置分别对其他各参会方的多路视频图像进行插值计算，得到所述目标参会方对应的其他各参会方的插值视频图像；
重复上述步骤，直至得到每个所述参会方对应的其他各参会方的插值视频图像。
19.根据权利要求18所述的设备，其中，所述插值计算装置用于：
遍历从所述目标参会方对应的其他参会方中任选一插值参会方，重复如下步骤，直至得到所述目标参会方对应的其他各参会方的插值视频图像：
获取所述插值参会方的各摄像装置的分布位置；
遍历选取所述插值参会方的实际会议场景中的图像点，并确定所述图像点在所述插值参会方的各摄像装置上的成像位置；
基于所述分布位置和所述成像位置，确定所述图像点相对于所述插值参会方的各摄像装置的相对位置；
基于所述目标参会方与插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点；
基于所有所述图像点对应的插值视频图像点，得到所述目标参会方对应的插值参会方的插值视频图像。
20.根据权利要求19所述的设备，其中，所述插值计算装置用于：
基于所述目标参会方与插值参会方的虚拟位置，确定所述插值参会方相对于所述目标参会方的虚拟视角；
基于所述虚拟视角和所述相对位置，对所述图像点进行虚拟投影，得到所述图像点对应的插值视频图像点。
21.根据权利要求17所述的设备，其中，所述拼接融合装置用于：
按照每个参会方在所述虚拟全景中的虚拟位置，将每个所述参会方对应的其他各参会方的插值视频图像进行图像拼接并对应融合至所述虚拟背景中，得到每个所述参会方对应的全景视频图像。
22.根据权利要求17所述的设备，其中，所述预置获取装置还用于:
获取每个所述参会方的音频数据及其对应的音频时间；
所述拼接融合装置还用于：
按照所述音频时间将每个所述参会方的音频数据进行混合，得到每个所述参会方对应的全景音频数据；
所述发送装置还用于：
将所述全景音频数据发送给对应的参会方的播放设备播放。
23.根据权利要求22所述的设备，其中，所述拼接融合装置还用于：
从所有所述参会方中选出一目标参会方；
按照所述音频时间将所述目标参会方对应的其他各参会方的音频数据进行混合，得到所述目标参会方对应的包含其他各参会方的音频数据的全景音频数据；
重复上述步骤，直至得到每个所述参会方对应的全景音频数据。
24.根据权利要求17所述的设备，其中，所述设备，还包括：
旁听装置，用于将满足旁听方的显示需求对应的至少一个所述参会方对应的全景视频图像进行融合，得到所述至少一个参会方在所述虚拟全景中的旁听全景视频图像；
旁听发送装置，用于将所述旁听全景视频图像发送给所述旁听方的显示设备显示。
25.根据权利要求17所述的设备，其中，所述设备，还包括：
旁听获取装置，用于获取旁听方的虚拟旁听位置和满足所述旁听方的显示需求对应的至少一个所述参会方的多路视频图像；
旁听插值装置，用于基于所述旁听方的虚拟旁听位置分别对所述至少一个参会方的多路视频图像进行插值计算，得到所述旁听方对应的所述至少一个参会方的插值视频图像；
旁听融合装置，用于将所述旁听方对应的所述至少一个参会方的插值视频图像和所述虚拟背景进行图像拼接融合，得到所述旁听方对应的旁听全景视频图像；
旁听发送装置，用于将所述旁听全景视频图像发送给所述旁听方的显示设备显示。
26.根据权利要求25所述的设备，其中，所述旁听插值装置用于：
遍历从所述至少一个参会方中任选一插值参会方，重复如下步骤，直至得到所述旁听方对应的所述至少一个参会方的插值视频图像：
获取所述插值参会方的各摄像装置的分布位置；
遍历选取所述插值参会方的实际会议场景中的图像点，并确定所述图像点在所述插值参会方的各摄像装置上的成像位置；
基于所述分布位置和所述成像位置，确定所述图像点相对于所述插值参会方的各摄像装置的相对位置；
基于所述旁听方的虚拟旁听位置与所述插值参会方的虚拟位置及所述相对位置，得到所述图像点对应的插值视频图像点；
基于所有所述图像点对应的插值视频图像点，得到所述旁听方对应的插值参会方的插值视频图像。
27.根据权利要求26所述的设备，其中，所述旁听插值装置用于：
基于所述旁听方的虚拟旁听位置和所述插值参会方的虚拟位置，确定所述插值参会方相对于所述旁听方的虚拟视角；
基于所述虚拟视角和所述相对位置，对所述图像点进行虚拟投影，得到所述图像点对应的插值视频图像点。
28.根据权利要求25所述的设备，其中，所述旁听融合装置用于：
按照所述至少一个参会方分别在所述虚拟全景中的虚拟位置，将所述旁听方对应的所述至少一个参会方的插值视频图像进行图像拼接并对应融合至所述虚拟背景中，得到所述旁听方对应的旁听全景视频图像。
29.根据权利要求24或25所述的设备，其中，所述旁听发送装置还用于：
按照所述音频时间将所述旁听方对应的所述至少一个参会方的音频数据进行混合，得到包含所述至少一个参会方的音频数据的旁听全景音频数据，并将所述旁听全景音频数据发送给所述旁听方的播放设备播放。
30.根据权利要求17至28所述的设备，其中，所述预置获取装置用于：
获取每个所述参会方经移除所属实际会议场景中的实际背景之后的多路视频图像。
31.根据权利要求17至28所述的设备，其中，所述显示设备包括至少一个显示屏幕，
其中，所述发送装置用于：
基于预设的所述显示屏幕的相对位置，对所述全景视频图像进行投影分割，并将分割后的全景视频图像对应地发送给所述显示屏幕显示。
32.根据权利要求31所述的方法，其中，所述显示设备包括平面显示设备和/或曲面显示设备。
CN201710419372.1A 2017-06-06 2017-06-06 一种基于虚拟全景的多方会议的方法及设备 Active CN107426524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710419372.1A CN107426524B (zh) 2017-06-06 2017-06-06 一种基于虚拟全景的多方会议的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710419372.1A CN107426524B (zh) 2017-06-06 2017-06-06 一种基于虚拟全景的多方会议的方法及设备

Publications (2)

Publication Number Publication Date
CN107426524A true CN107426524A (zh) 2017-12-01
CN107426524B CN107426524B (zh) 2020-07-28

Family

ID=60427989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710419372.1A Active CN107426524B (zh) 2017-06-06 2017-06-06 一种基于虚拟全景的多方会议的方法及设备

Country Status (1)

Country Link
CN (1) CN107426524B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052364A (zh) * 2017-12-13 2018-05-18 上海曼恒数字技术股份有限公司 一种基于远程操作的图像显示方法、装置、设备及存储介质
CN108718402A (zh) * 2018-08-14 2018-10-30 四川易为智行科技有限公司 视频会议管理方法及装置
CN109274924A (zh) * 2018-12-07 2019-01-25 合肥万户网络技术有限公司 一种基于虚拟现实的视频会议方法
CN109618122A (zh) * 2018-12-07 2019-04-12 合肥万户网络技术有限公司 一种虚拟办公会议系统
CN110365959A (zh) * 2019-08-05 2019-10-22 薄涛 投影方法、装置、系统及投影设备
CN111640187A (zh) * 2020-04-20 2020-09-08 中国科学院计算技术研究所 一种基于插值过渡的视频拼接方法及系统
CN113225517A (zh) * 2021-04-14 2021-08-06 海信集团控股股份有限公司 多方视频通话时的视频画面确定方法及通信设备
CN113259615A (zh) * 2021-04-01 2021-08-13 海南视联通信技术有限公司 一种焦距调整方法、装置、终端设备和存储介质
CN115484466A (zh) * 2021-05-31 2022-12-16 海信集团控股股份有限公司 在线演唱视频的显示方法和服务器
WO2023165182A1 (zh) * 2022-03-01 2023-09-07 腾讯科技（深圳）有限公司 在线会议界面的显示方法、装置、介质及计算机程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003030535A1 (en) * 2001-10-04 2003-04-10 National Research Council Of Canada Method and system for stereo videoconferencing
CN103580881A (zh) * 2013-11-07 2014-02-12 华为技术有限公司 虚拟会议创建方法及装置
CN104685858A (zh) * 2012-09-28 2015-06-03 阿尔卡特朗讯 沉浸式视频会议方法和系统
CN104881262A (zh) * 2015-05-22 2015-09-02 武汉兴图新科电子股份有限公司 一种图像多屏显示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003030535A1 (en) * 2001-10-04 2003-04-10 National Research Council Of Canada Method and system for stereo videoconferencing
CN104685858A (zh) * 2012-09-28 2015-06-03 阿尔卡特朗讯 沉浸式视频会议方法和系统
CN103580881A (zh) * 2013-11-07 2014-02-12 华为技术有限公司 虚拟会议创建方法及装置
CN104881262A (zh) * 2015-05-22 2015-09-02 武汉兴图新科电子股份有限公司 一种图像多屏显示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张茂军、孙立峰、李云浩等: "《虚拟会议空间的研究与实现》", 《计算机工程》 *
齐越、张茂军、孙立峰等: "《虚拟空间会议系统的视觉空间合成》", 《小型微型计算机系统》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052364A (zh) * 2017-12-13 2018-05-18 上海曼恒数字技术股份有限公司 一种基于远程操作的图像显示方法、装置、设备及存储介质
CN108718402A (zh) * 2018-08-14 2018-10-30 四川易为智行科技有限公司 视频会议管理方法及装置
CN108718402B (zh) * 2018-08-14 2021-04-13 四川易为智行科技有限公司 视频会议管理方法及装置
CN109618122A (zh) * 2018-12-07 2019-04-12 合肥万户网络技术有限公司 一种虚拟办公会议系统
CN109274924A (zh) * 2018-12-07 2019-01-25 合肥万户网络技术有限公司 一种基于虚拟现实的视频会议方法
CN110365959A (zh) * 2019-08-05 2019-10-22 薄涛 投影方法、装置、系统及投影设备
CN111640187A (zh) * 2020-04-20 2020-09-08 中国科学院计算技术研究所 一种基于插值过渡的视频拼接方法及系统
CN111640187B (zh) * 2020-04-20 2023-05-02 中国科学院计算技术研究所 一种基于插值过渡的视频拼接方法及系统
CN113259615A (zh) * 2021-04-01 2021-08-13 海南视联通信技术有限公司 一种焦距调整方法、装置、终端设备和存储介质
CN113259615B (zh) * 2021-04-01 2024-05-28 海南视联通信技术有限公司 一种焦距调整方法、装置、终端设备和存储介质
CN113225517A (zh) * 2021-04-14 2021-08-06 海信集团控股股份有限公司 多方视频通话时的视频画面确定方法及通信设备
CN115484466A (zh) * 2021-05-31 2022-12-16 海信集团控股股份有限公司 在线演唱视频的显示方法和服务器
WO2023165182A1 (zh) * 2022-03-01 2023-09-07 腾讯科技（深圳）有限公司 在线会议界面的显示方法、装置、介质及计算机程序产品

Also Published As

Publication number Publication date
CN107426524B (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN107426524A (zh) 一种基于虚拟全景的多方会议的方法及设备
EP0970584B1 (fr) Systeme de visioconference
US10531158B2 (en) Multi-source video navigation
US7868847B2 (en) Immersive environments with multiple points of view
Mendiburu 3d TV and 3d cinema: tools and processes for creative stereoscopy
US6675386B1 (en) Apparatus for video access and control over computer network, including image correction
US9723223B1 (en) Apparatus and method for panoramic video hosting with directional audio
CN104301769B (zh) 呈现图像的方法、终端设备和服务器
US20120154510A1 (en) Smart Camera for Virtual Conferences
CN106605407A (zh) 用于捕获、流传输和/或回放内容的方法和装置
WO2012170559A2 (en) Dual-axis image equalization in video conferencing
CN110223228A (zh) 图像处理方法、装置、终端设备及存储介质
CN107635152A (zh) 一种共享vr视频的方法及装置
CN114445600A (zh) 一种特效道具的展示方法、装置、设备及存储介质
CN107493503A (zh) 播放终端的虚拟现实视频呈像方法、系统及存储介质
US20150289032A1 (en) Main and immersive video coordination system and method
Grau et al. 3D-TV R&D activities in europe
CN112601110A (zh) 用于内容记录和流传输的方法和设备
Ochiva Entertainment technologies: past, present and future
CN105472297A (zh) 视频互动方法、系统和装置
Batke et al. Spatial audio processing for interactive TV services
KR101486959B1 (ko) 몰입감을 향상시키는 노래방 시스템
Thompson Travails with My Camera: Investigations with Prototype Workflows and Specialist Cameras for Wider Target Platform Coverage, Reduced Complexity, and Universal Distribution
Slatter Report: Content crossroads
Thompson Investigations With Prototype Workflows and Specialist Cameras for Wider Target Platform Coverage Reduced Complexity and Universal Distribution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240606

Address after: Room 212, Building 14, No. 350 Xianxia Road, Changning District, Shanghai, 200050

Patentee after: SHANGHAI ISMARTV NETWORK TECHNOLOGIES Co.,Ltd.

Country or region after: China

Address before: Room 3024, 3rd floor, 2879 Longteng Avenue, Xuhui District, Shanghai, 201620

Patentee before: WHALEY TECHNOLOGY Co.,Ltd.

Country or region before: China