CN107066224A - 3d影像vr交互方法 - Google Patents

3d影像vr交互方法 Download PDF

Info

Publication number
CN107066224A
CN107066224A CN201710321615.8A CN201710321615A CN107066224A CN 107066224 A CN107066224 A CN 107066224A CN 201710321615 A CN201710321615 A CN 201710321615A CN 107066224 A CN107066224 A CN 107066224A
Authority
CN
China
Prior art keywords
dimensional
data
tripleplane
equipment
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710321615.8A
Other languages
English (en)
Other versions
CN107066224B (zh
Inventor
吴文杰
李学生
陈露
董政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Mo Yun Science And Technology Ltd
Original Assignee
Chengdu Mo Yun Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Mo Yun Science And Technology Ltd filed Critical Chengdu Mo Yun Science And Technology Ltd
Priority to CN201710321615.8A priority Critical patent/CN107066224B/zh
Publication of CN107066224A publication Critical patent/CN107066224A/zh
Application granted granted Critical
Publication of CN107066224B publication Critical patent/CN107066224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

为了在上述VR场景共享期间使多个用户能够在各自不同的便携式三维投影设备上投影出来的同一个三维投影环境的信息能够尽可能同时地显示，同时确保数据传输过程中的安全性并降低三维信号同步对三维投影设备所需的系统开销和处理能力要求，本发明提供了一种3D影像VR交互方法，所述三维投影设备为包括通信模块的三维投影设备。其不但降低了三维投影设备对三维背景影像数据处理的负荷，而且提高了用户体验和影像在多个不同地理位置进行投影时的实时性。

Description

3D影像VR交互方法
技术领域
本发明涉及三维显示技术领域，更具体地，涉及一种适用于VR竞技等的3D影像VR交互方法。
背景技术
现有技术中，关于裸眼三维背景影像的高效同步方法随着裸眼3D技术的日趋普及而变得越来越受到研究者的期待。然而，尽管无线带宽越来越大，网络传输变得越来越方便和快捷，但三维背景影像的共享仍然是一大难题。基于多个三维投影设备之间的信号协调和同步的技术尚不成熟，尤其是同一三维背景投影场景在多个不同地理位置之间进行交互的过程中的投影同步性技术尚存在空白。
例如，现有技术中存在这样的不足：当需要将某VR(Virtual Reality，虚拟现实)竞技场景的背景影像(例如，冒险类、格斗类等竞技场景的背景影像，其可以是背景中的人物和/或景物的内容相对固定不变的，也可以是背景中的人物和/或景物的内容随着与用户的交互而展开和变化的)共享给多个位于不同地理位置的用户时，期望的是这些用户同时看到这些VR竞技场景内的背景的各种事物而不是由于网速的快慢而产生差异。如果将VR竞技场景的三维背景与前台竞技人物的数据混合或共同处理，则由于三维背景的变化规律远比前台竞技人物要复杂，因此常常造成接收到三维影像数据的投影设备的处理负荷过重。而本领域技术人员应当知道的是，这种情况下，三维投影设备的信号同步(即，供各位于不同地理位置的用户能够同时观看到，彼此不存在提前或滞后)也显得尤其重要：竞技者需要提前一段事件(甚至几秒或更短)来了解未被涉及过的场景或者进入到的新场景的情况：如果有用户由于投影设备性能优势或者网络传输优势而提前了解到上述信息，则显然造成了VR竞技时三维背景影像无法同时在各用户的三维投影设备显示。
针对这一需求，现有技术中往往采用使不同地理位置的用户预先下载供三维显示的场景、人物等模型的数据，然后仅将事件驱动数据进行实时演算生成的方式，以降低网络传输带来的延迟造成的上述三维投影设备的信号不同步问题，或者采用同步传输三维影像数据的方式，以避免对三维投影设备造成的数据处理负担。然而，上述第一种做法存在三个弊端：第一是供位于不同地理位置的用户投影的三维影像往往数量较多，模型的数据量巨大，第二是场景和人物等的模型会不时更新，用户在使用前往往需要等待较长时间的初始化或更新操作；第三是一旦数据被提前下载，用户总可能想到办法破解到已经被载入本地的影像信息，这些都使得用户观看VR场景的三维投影的用户体验大大降低，同时造成了三维背景影像的非同时到达。此外，随着网络带宽的迅速扩大，无线通信协议不断更新换代，无线网络传输速度日益提高，上述的第二种方式也逐渐进入三维投影技术人员的视野。而且，当今便携式三维投影设备的出现，使得人们希望利用体积小巧的三维投影设备也能够实现针对上述三维投影设备的信号同步问题的完美解决，这种设备自身的处理能力和存储能力也决定了无法采用现有技术中的上述第一种方案，而只能够采用网络化实时数据传输的方式加载上述VR三维信息供同步投影。而这种解决途径又凸显了数据传输安全上的问题，给诸如网络化VR竞技等三维投影影像交互应用带来了不可逾越的障碍。
发明内容
为了在上述VR场景共享期间使多个用户能够在各自不同的便携式三维投影设备上投影出来的同一个三维投影环境的信息能够尽可能同时地显示，同时确保数据传输过程中的安全性并降低三维信号同步对三维投影设备所需的系统开销和处理能力要求，本发明提供了一种3D影像VR交互方法，包括：
(1)分离3D影像中的三维背景影像和与所述三维背景影像相对应的三维前台影像，其中所述三维前台影像包括在VR交互过程中与位于三维投影设备处的用户进行交互的景物模型数据或人物模型数据，以及驱动它们的事件驱动数据；
(2)将三维前台影像中的全部景物模型数据和人物模型数据传输给处于不同地理位置的多个三维投影设备；
(3)将三维背景影像以具有两套不同序号的三维图片帧的方式同步地传输给各个所述三维投影设备；
(4)每当一个三维图片帧的两套序号被同步传输完成时，将与表示三维背景影像的该三维图片帧对应的三维前台影像中的事件驱动数据传输给所述三维投影设备，以驱动所述景物模型数据和人物模型数据。
进一步地，所述步骤(3)包括：
(31)在三维背景影像数据的发送端，构造待共享给处于多个不同地理位置的用户并供他们进行三维投影的三维背景影像数据，使之包括三维场景数据和与所述三维场景数据相关联的三维事件数据，其中三维场景数据表示三维场景内的景物模型和人物模型的数据，三维事件数据表示驱动所述三维场景内的景物模型和人物模型的状态信息发生变化的数据，其中所述景物模型和人物模型的数据包括景物和人物在三维背景影像数据中的空间位置，所述状态信息包括景物模型的物理特性、人物的动作表情，以及景物模型和人物模型的产生、出现、隐藏或消灭；
(32)对所述三维背景影像数据中的三维场景数据预处理，以向至少一些经过预处理的所述三维场景数据插入参考数据；
(33)将经过所述预处理的三维背景影像数据发送到所述处于多个不同地理位置的用户的三维投影设备；
(34)所述三维投影设备对接收到的所述三维背景影像数据进行同步显示。
进一步地，所述步骤(32)包括：
(321)对视频进行抽取视频帧操作，分离为多个三维图片，所述每个三维图片均包括三维场景数据和与所述三维场景数据相关联的三维事件数据；
(322)根据所述三维场景数据内的景物和人物在三维背景影像数据中的空间位置，对所述三维图片内预先确定的景物和/或预先确定的人物所处的空间位置进行地理位置标定；
(323)对于经过地理位置标定的预先确定的景物和/或预先确定的人物，确定预先确定的景物和/或预先确定的人物各自在相邻三维图片内的空间位置之间的第一空间距离差，若该第一空间距离差大于预设阈值或者在所述相邻三维图片内的空间位置存在为零的情况，则向该相邻三维图片之间插入至少一份参考数据，否则不向该相邻三维图片之间插入参考数据；
(324)对各个三维图片和被插入的参考数据进行顺序编号，使各个三维图片和被插入的参考数据依照它们应当被投影或播放的顺序，即逻辑顺序，被按照第一序号编号。
进一步地，所述对视频进行抽取视频帧操作包括逐视频帧抽取操作和间隔至少两帧的抽取视频帧操作。
进一步地，所述每一份参考数据均包括：
A.该参考数据被插入的相邻三维图片中的、在时间上比该参考数据早的三维图片的、除所述预先确定的景物和/或预先确定的人物以外的其他三维场景数据：
B.带有预设空间位置的预先确定的景物和/或预先确定的人物。
进一步地，所述预设空间位置通过如下方式设置：
A.根据对所述处于多个不同地理位置的用户的三维投影设备预先确定的网络地址，向这些三维投影设备的通信模块发送与该通信模块所属的三维投影设备的网络地址一一对应的预定字符串；
B.确定该三维投影设备将该预定字符串返回后经历的时间；
C.求取这些时间的最小公倍数与这些时间之间的商之间的比值；
D.将所述第一空间距离差按照该比值进行等分后得到的具有N个数值的等差数列；
E.将该参考数据被插入的相邻三维图片中的、在时间上比该参考数据早的三维图片的空间位置逐个增加该等差数列中的前N-1个值中的每一个值，获得该参考数据和与其相邻的、在其之前的参考数据或三维图片之间的、对于所述预先确定的景物和/或预先确定的人物的第二空间距离差；
F.根据确定所述第一空间距离差所依据的相邻三维图片之间的、所述预先确定的景物和/或预先确定的人物的空间方向，以及所述第二空间距离差，确定所述预先确定的景物和/或预先确定的人物在该参考数据中的预设空间位置。
进一步地，所述步骤(324)之后还包括：
(325)建立所述参考数据与该参考数据之前和之后的相邻的、经过所述预处理的三维背景影像数据中所述预先确定的景物和/或预先确定的人物——预定三维事件数据之间的映射，该预定三维事件发生在与该被插入的参考数据相邻的三维图片之间；
(326)确定所述映射的个数：当映射的个数为1时，对于在与所述被插入的参考数据相邻的、在时间上在该参考数据之后的三维图片上的一份参考数据，该份参考数据还包括与所述预先确定的景物和/或预先确定的人物相对应的三维事件数据；当映射的个数大于1时，重新进行所述抽取视频帧操作，直到映射的个数为1时为止。
进一步地，所述步骤(33)包括：
(331)将经过所述预处理的三维背景影像数据得到的多个三维图片发送给所述处于多个不同地理位置的用户的三维投影设备，并将所述被插入的参考数据发送给所述处于多个不同地理位置的用户的三维投影设备，发送时各个三维图片和各个参考数据均被编以不连贯顺序的第二序号，该第二序号以与各个所述三维投影设备相对应的方式在所述三维背景影像数据的发送端被记录；
(332)所述三维投影设备将接收到的各个三维图片和被插入的参考数据的第二序号发送给三维背景影像数据的发送端。
进一步地，所述步骤(34)包括：
(341)所述三维背景影像数据的发送端接收来自处于多个不同地理位置的用户的三维投影设备的所述第二序号；
(342)所述三维背景影像数据的发送端确定是否各个处于多个不同地理位置的用户的三维投影设备均已经向其发送了相同的所述第二序号；
(343)所述三维背景影像数据的发送端确定从所述各个三维投影设备发送来的第二序号是否与其自身记录的序号顺序一致；
(344)当各三维投影设备均发送了相同的所述第二序号，且该第二序号与所述三维背景影像数据的发送端自身记录的、与各个三维投影设备相对应的第二序号顺序一致时，所述三维背景影像数据的发送端向所述各个三维投影设备发送所述第一序号编号。
本发明的有益效果为：
(1)本发明避免了采用在三维投影设备所在端预先安装或加载三维背景影像数据和相应模型而可能造成的三维背景影像数据安全性隐患；
(2)以预先确定的景物和/或预先确定的人物作为三维背景影像中的关键信息，本发明能够向处于不同地理位置的三维投影设备提供几乎同时显示该关键信息，提高了处于不同地理位置的三维投影设备进行三维背景影像投影时对于关键信息的敏感性和同步性；
(3)本发明通过设置两套编号体系，避免了使用复杂加密算法和解密算法的需要，利用巧妙的构造方式提高了三维投影设备进行三维背景影像数据投影的安全性和可靠性；
(4)本发明采用了经过独特设计的参考数据，既不影响三维背景影像数据的实时显示，例如不会向三维投影设备发送无意义的插图而降低用户体验，相反地，经过在发送端对关键信息的位置演算，提高了三维投影设备进行三维背景影像数据投影的用户体验；
(5)从发送端到接收端，采用将三维影像处理为三维图片的方式，既降低了对三维投影设备的处理能力和3D演算能力的要求，又避免了发送端和三维投影设备使用复杂3D视频编码和复杂3D图像合成算法的需要；
(6)三维图片能够高效地被三维投影设备所接受和处理，因为这种格式既适用于仅能处理图片方式的三维投影设备，也能适用于向下兼容采用左右视差方式进行VR三维场景显示的三维投影设备。
(7)本发明的三维背景影像数据的同步方法避免了与VR场景中前台信息的堆叠，使得三维投影设备能够向VR场景中的前台信息提供更丰富的处理能力和系统资源，从而更加有利于提高用户体验。
附图说明
图1示出了根据本发明的3D影像VR交互方法的流程图。
具体实施方式
如图1所示，根据本发明的优选实施例，提供了一种3D影像VR交互方法，包括：
(1)分离3D影像中的三维背景影像和与所述三维背景影像相对应的三维前台影像，其中所述三维前台影像包括在VR交互过程中与位于三维投影设备处的用户进行交互的景物模型数据或人物模型数据，以及驱动它们的事件驱动数据；
(2)将三维前台影像中的全部景物模型数据和人物模型数据传输给处于不同地理位置的多个三维投影设备；
(3)将三维背景影像以具有两套不同序号的三维图片帧的方式同步地传输给各个所述三维投影设备；
(4)每当一个三维图片帧的两套序号被同步传输完成时，将与表示三维背景影像的该三维图片帧对应的三维前台影像中的事件驱动数据传输给所述三维投影设备，以驱动所述景物模型数据和人物模型数据。
优选地，所述步骤(3)包括：
(31)在三维背景影像数据的发送端，构造待共享给处于多个不同地理位置的用户并供他们进行三维投影的三维背景影像数据，使之包括三维场景数据和与所述三维场景数据相关联的三维事件数据，其中三维场景数据表示三维场景内的景物模型和人物模型的数据，三维事件数据表示驱动所述三维场景内的景物模型和人物模型的状态信息发生变化的数据，其中所述景物模型和人物模型的数据包括景物和人物在三维背景影像数据中的空间位置，所述状态信息包括景物模型的物理特性、人物的动作表情，以及景物模型和人物模型的产生、出现、隐藏或消灭；
(32)对所述三维背景影像数据中的三维场景数据预处理，以向至少一些经过预处理的所述三维场景数据插入参考数据；
(33)将经过所述预处理的三维背景影像数据发送到所述处于多个不同地理位置的用户的三维投影设备；
(34)所述三维投影设备对接收到的所述三维背景影像数据进行同步显示。
优选地，所述步骤(32)包括：
(321)对视频进行抽取视频帧操作，分离为多个三维图片，所述每个三维图片均包括三维场景数据和与所述三维场景数据相关联的三维事件数据；
(322)根据所述三维场景数据内的景物和人物在三维背景影像数据中的空间位置，对所述三维图片内预先确定的景物和/或预先确定的人物所处的空间位置进行地理位置标定；
(323)对于经过地理位置标定的预先确定的景物和/或预先确定的人物，确定预先确定的景物和/或预先确定的人物各自在相邻三维图片内的空间位置之间的第一空间距离差，若该第一空间距离差大于预设阈值或者在所述相邻三维图片内的空间位置存在为零的情况，则向该相邻三维图片之间插入至少一份参考数据，否则不向该相邻三维图片之间插入参考数据；
(324)对各个三维图片和被插入的参考数据进行顺序编号，使各个三维图片和被插入的参考数据依照它们应当被投影或播放的顺序，即逻辑顺序，被按照第一序号编号。
优选地，所述对视频进行抽取视频帧操作包括逐视频帧抽取操作和间隔至少两帧的抽取视频帧操作。
优选地，所述每一份参考数据均包括：
A.该参考数据被插入的相邻三维图片中的、在时间上比该参考数据早的三维图片的、除所述预先确定的景物和/或预先确定的人物以外的其他三维场景数据：
B.带有预设空间位置的预先确定的景物和/或预先确定的人物。
优选地，所述预设空间位置通过如下方式设置：
A.根据对所述处于多个不同地理位置的用户的三维投影设备预先确定的网络地址，向这些三维投影设备的通信模块发送与该通信模块所属的三维投影设备的网络地址一一对应的预定字符串；
B.确定该三维投影设备将该预定字符串返回后经历的时间；
C.求取这些时间的最小公倍数与这些时间之间的商之间的比值；
D.将所述第一空间距离差按照该比值进行等分后得到的具有N个数值的等差数列；
E.将该参考数据被插入的相邻三维图片中的、在时间上比该参考数据早的三维图片的空间位置逐个增加该等差数列中的前N-1个值中的每一个值，获得该参考数据和与其相邻的、在其之前的参考数据或三维图片之间的、对于所述预先确定的景物和/或预先确定的人物的第二空间距离差；
F.根据确定所述第一空间距离差所依据的相邻三维图片之间的、所述预先确定的景物和/或预先确定的人物的空间方向，以及所述第二空间距离差，确定所述预先确定的景物和/或预先确定的人物在该参考数据中的预设空间位置。
优选地，所述步骤(324)之后还包括：
(325)建立所述参考数据与该参考数据之前和之后的相邻的、经过所述预处理的三维背景影像数据中所述预先确定的景物和/或预先确定的人物——预定三维事件数据之间的映射，该预定三维事件发生在与该被插入的参考数据相邻的三维图片之间；
(326)确定所述映射的个数：当映射的个数为1时，对于在与所述被插入的参考数据相邻的、在时间上在该参考数据之后的三维图片上的一份参考数据，该份参考数据还包括与所述预先确定的景物和/或预先确定的人物相对应的三维事件数据；当映射的个数大于1时，重新进行所述抽取视频帧操作，直到映射的个数为1时为止。
优选地，所述步骤(33)包括：
(331)将经过所述预处理的三维背景影像数据得到的多个三维图片发送给所述处于多个不同地理位置的用户的三维投影设备，并将所述被插入的参考数据发送给所述处于多个不同地理位置的用户的三维投影设备，发送时各个三维图片和各个参考数据均被编以不连贯顺序的第二序号，该第二序号以与各个所述三维投影设备相对应的方式在所述三维背景影像数据的发送端被记录；
(332)所述三维投影设备将接收到的各个三维图片和被插入的参考数据的第二序号发送给三维背景影像数据的发送端。
优选地，所述步骤(34)包括：
(341)所述三维背景影像数据的发送端接收来自处于多个不同地理位置的用户的三维投影设备的所述第二序号；
(342)所述三维背景影像数据的发送端确定是否各个处于多个不同地理位置的用户的三维投影设备均已经向其发送了相同的所述第二序号；
(343)所述三维背景影像数据的发送端确定从所述各个三维投影设备发送来的第二序号是否与其自身记录的序号顺序一致；
(344)当各三维投影设备均发送了相同的所述第二序号，且该第二序号与所述三维背景影像数据的发送端自身记录的、与各个三维投影设备相对应的第二序号顺序一致时，所述三维背景影像数据的发送端向所述各个三维投影设备发送所述第一序号编号。
相应地，本发明优选实施例中涉及的三维投影设备对于上述编号和序号的处理模块是本领域技术人员根据上述技术方案能够在不付出创造性劳动下就能够得到的，在此申请人不再赘述。
以上对于本发明的较佳实施例所作的叙述是为阐明的目的，而无意限定本发明精确地为所揭露的形式。其中未进行详细说明的内容和未及述及的内容可以由本领域技术人员根据显示器件和显示设备的实际应用要求以及设计要求结合现有技术获得和实现，本发明限于篇幅不可能也无必要进行穷举。基于以上的教导或从本发明的实施例学习而作修改或变化是可能的，实施例是为解说本发明的原理以及让所属领域的技术人员以各种实施例利用本发明在实际应用上而选择及叙述，本发明的技术思想企图由权利要求及其均等来决定。

Claims (9)

1.一种3D影像VR交互方法，包括：
(1)分离3D影像中的三维背景影像和与所述三维背景影像相对应的三维前台影像，其中所述三维前台影像包括在VR交互过程中与位于三维投影设备处的用户进行交互的景物模型数据或人物模型数据，以及驱动它们的事件驱动数据；
(2)将三维前台影像中的全部景物模型数据和人物模型数据传输给处于不同地理位置的多个三维投影设备；
(3)将三维背景影像以具有两套不同序号的三维图片帧的方式同步地传输给各个所述三维投影设备；
(4)每当一个三维图片帧的两套序号被同步传输完成时，将与表示三维背景影像的该三维图片帧对应的三维前台影像中的事件驱动数据传输给所述三维投影设备，以驱动所述景物模型数据和人物模型数据。
2.根据权利要求1所述的3D影像VR交互方法，其特征在于，所述步骤(3)包括：
(31)在三维背景影像数据的发送端，构造待共享给处于多个不同地理位置的用户并供他们进行三维投影的三维背景影像数据，使之包括三维场景数据和与所述三维场景数据相关联的三维事件数据，其中三维场景数据表示三维场景内的景物模型和人物模型的数据，三维事件数据表示驱动所述三维场景内的景物模型和人物模型的状态信息发生变化的数据，其中所述景物模型和人物模型的数据包括景物和人物在三维背景影像数据中的空间位置，所述状态信息包括景物模型的物理特性、人物的动作表情，以及景物模型和人物模型的产生、出现、隐藏或消灭；
(32)对所述三维背景影像数据中的三维场景数据预处理，以向至少一些经过预处理的所述三维场景数据插入参考数据；
(33)将经过所述预处理的三维背景影像数据发送到所述处于多个不同地理位置的用户的三维投影设备；
(34)所述三维投影设备对接收到的所述三维背景影像数据进行同步显示。
3.根据权利要求2所述的3D影像VR交互方法，其特征在于，所述步骤(32)包括：
(321)对视频进行抽取视频帧操作，分离为多个三维图片，所述每个三维图片均包括三维场景数据和与所述三维场景数据相关联的三维事件数据；
(322)根据所述三维场景数据内的景物和人物在三维背景影像数据中的空间位置，对所述三维图片内预先确定的景物和/或预先确定的人物所处的空间位置进行地理位置标定；
(323)对于经过地理位置标定的预先确定的景物和/或预先确定的人物，确定预先确定的景物和/或预先确定的人物各自在相邻三维图片内的空间位置之间的第一空间距离差，若该第一空间距离差大于预设阈值或者在所述相邻三维图片内的空间位置存在为零的情况，则向该相邻三维图片之间插入至少一份参考数据，否则不向该相邻三维图片之间插入参考数据；
(324)对各个三维图片和被插入的参考数据进行顺序编号，使各个三维图片和被插入的参考数据依照它们应当被投影或播放的顺序，即逻辑顺序，被按照第一序号编号。
4.根据权利要求3所述的3D影像VR交互方法，其特征在于，所述对视频进行抽取视频帧操作包括逐视频帧抽取操作和间隔至少两帧的抽取视频帧操作。
5.根据权利要求4所述的3D影像VR交互方法，其特征在于，所述每一份参考数据均包括：
A.该参考数据被插入的相邻三维图片中的、在时间上比该参考数据早的三维图片的、除所述预先确定的景物和/或预先确定的人物以外的其他三维场景数据：
B.带有预设空间位置的预先确定的景物和/或预先确定的人物。
6.根据权利要求5所述的3D影像VR交互方法，其特征在于，所述预设空间位置通过如下方式设置：
A.根据对所述处于多个不同地理位置的用户的三维投影设备预先确定的网络地址，向这些三维投影设备的通信模块发送与该通信模块所属的三维投影设备的网络地址一一对应的预定字符串；
B.确定该三维投影设备将该预定字符串返回后经历的时间；
C.求取这些时间的最小公倍数与这些时间之间的商之间的比值；
D.将所述第一空间距离差按照该比值进行等分后得到的具有N个数值的等差数列；
E.将该参考数据被插入的相邻三维图片中的、在时间上比该参考数据早的三维图片的空间位置逐个增加该等差数列中的前N-1个值中的每一个值，获得该参考数据和与其相邻的、在其之前的参考数据或三维图片之间的、对于所述预先确定的景物和/或预先确定的人物的第二空间距离差；
F.根据确定所述第一空间距离差所依据的相邻三维图片之间的、所述预先确定的景物和/或预先确定的人物的空间方向，以及所述第二空间距离差，确定所述预先确定的景物和/或预先确定的人物在该参考数据中的预设空间位置。
7.根据权利要求6所述的3D影像VR交互方法，其特征在于，所述步骤(324)之后还包括：
(325)建立所述参考数据与该参考数据之前和之后的相邻的、经过所述预处理的三维背景影像数据中所述预先确定的景物和/或预先确定的人物——预定三维事件数据之间的映射，该预定三维事件发生在与该被插入的参考数据相邻的三维图片之间；
(326)确定所述映射的个数：当映射的个数为1时，对于在与所述被插入的参考数据相邻的、在时间上在该参考数据之后的三维图片上的一份参考数据，该份参考数据还包括与所述预先确定的景物和/或预先确定的人物相对应的三维事件数据；当映射的个数大于1时，重新进行所述抽取视频帧操作，直到映射的个数为1时为止。
8.根据权利要求7所述的3D影像VR交互方法，其特征在于，所述步骤(33)包括：
(331)将经过所述预处理的三维背景影像数据得到的多个三维图片发送给所述处于多个不同地理位置的用户的三维投影设备，并将所述被插入的参考数据发送给所述处于多个不同地理位置的用户的三维投影设备，发送时各个三维图片和各个参考数据均被编以不连贯顺序的第二序号，该第二序号以与各个所述三维投影设备相对应的方式在所述三维背景影像数据的发送端被记录；
(332)所述三维投影设备将接收到的各个三维图片和被插入的参考数据的第二序号发送给三维背景影像数据的发送端。
9.根据权利要求8所述的3D影像VR交互方法，其特征在于，所述步骤(34)包括：
(341)所述三维背景影像数据的发送端接收来自处于多个不同地理位置的用户的三维投影设备的所述第二序号；
(342)所述三维背景影像数据的发送端确定是否各个处于多个不同地理位置的用户的三维投影设备均已经向其发送了相同的所述第二序号；
(343)所述三维背景影像数据的发送端确定从所述各个三维投影设备发送来的第二序号是否与其自身记录的序号顺序一致；
(344)当各三维投影设备均发送了相同的所述第二序号，且该第二序号与所述三维背景影像数据的发送端自身记录的、与各个三维投影设备相对应的第二序号顺序一致时，所述三维背景影像数据的发送端向所述各个三维投影设备发送所述第一序号编号。
CN201710321615.8A 2017-05-09 2017-05-09 3d影像vr交互方法 Active CN107066224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710321615.8A CN107066224B (zh) 2017-05-09 2017-05-09 3d影像vr交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710321615.8A CN107066224B (zh) 2017-05-09 2017-05-09 3d影像vr交互方法

Publications (2)

Publication Number Publication Date
CN107066224A true CN107066224A (zh) 2017-08-18
CN107066224B CN107066224B (zh) 2019-04-02

Family

ID=59597452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710321615.8A Active CN107066224B (zh) 2017-05-09 2017-05-09 3d影像vr交互方法

Country Status (1)

Country Link
CN (1) CN107066224B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657101A (zh) * 2015-02-12 2015-05-27 武汉新蜂乐众网络技术有限公司 一种图像拼接显示方法及系统
WO2016053906A1 (en) * 2014-09-30 2016-04-07 Sony Computer Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
CN106604065A (zh) * 2016-12-30 2017-04-26 中广热点云科技有限公司 一种实现多屏幕同屏播放视频的系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016053906A1 (en) * 2014-09-30 2016-04-07 Sony Computer Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
CN104657101A (zh) * 2015-02-12 2015-05-27 武汉新蜂乐众网络技术有限公司 一种图像拼接显示方法及系统
CN106604065A (zh) * 2016-12-30 2017-04-26 中广热点云科技有限公司 一种实现多屏幕同屏播放视频的系统及方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
冯强: "虚拟场景三维显示实现平台研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
苏萍等: "用于裸眼3D LED显示的多视区3D视频播放系统", 《电子设计工程》 *
赵天奇: "祼眼3D内容生成和显示若干关键技术研究", 《中国博士学位论文全文数据库信息科技辑》 *
钟擎: "多投影光场显示系统显示原理与技术研究", 《中国博士学位论文全文数据库信息科技辑》 *
陈伟等: "基于多媒体信息交互系统的音视频同步方法", 《电子技术与软件工程》 *

Also Published As

Publication number Publication date
CN107066224B (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
EP3750301B1 (en) Simulating a local experience by live streaming sharable viewpoints of a live event
CN108495152B (zh) 一种视频直播方法、装置、电子设备及介质
US10560724B2 (en) Video content distribution system and content management server
WO2017110524A1 (ja) 映像コンテンツ配信システム及びコンテンツ管理サーバ
CN113457123B (zh) 基于云游戏的互动方法、装置、电子设备及可读存储介质
CN106713889B (zh) 3d画面的渲染方法和系统、及移动终端
CN111629246A (zh) 多屏幕同步回放系统及其方法
CN112492357A (zh) 一种处理多视频流的方法、装置、介质和电子设备
JP2009187586A (ja) グラフィックシーンを変更する方法及び装置
CN106817508B (zh) 一种同步对象确定方法、装置和系统
CN104768023A (zh) 通过网络传送媒体的系统及方法
JP6306089B2 (ja) ネットワークを通してメディアを伝送するシステム及び方法
KR20220079685A (ko) 하이브리드 스트리밍
CN111054073B (zh) 一种双游戏角色的移动方法及装置
KR101643102B1 (ko) 객체 상태 전송 방식 방송 서비스 제공 방법 및 방송 재생 방법
CN107087152B (zh) 三维成像信息通信系统
CN110446090A (zh) 一种虚拟观众席观众连线方法、系统、装置和存储介质
CN111803924B (zh) 云游戏的多终端同步显示方法、装置及可读存储介质
CN107066224A (zh) 3d影像vr交互方法
CN107066225B (zh) 三维投影设备的信号同步方法
EP1266295B1 (en) Image processing apparatus and method
CN112272315A (zh) 视频播放方法、装置、设备及计算机可读存储介质
CN116503498A (zh) 一种画面渲染方法和相关装置
CN107391068B (zh) 一种多通道三维场景播放同步方法
CN114071170A (zh) 一种网络直播互动方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant