CN110352597A - 用于回放虚拟现实4d内容的系统和方法 - Google Patents

用于回放虚拟现实4d内容的系统和方法 Download PDF

Info

Publication number
CN110352597A
CN110352597A CN201780071442.7A CN201780071442A CN110352597A CN 110352597 A CN110352597 A CN 110352597A CN 201780071442 A CN201780071442 A CN 201780071442A CN 110352597 A CN110352597 A CN 110352597A
Authority
CN
China
Prior art keywords
content
hmd device
image server
equipment
effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780071442.7A
Other languages
English (en)
Inventor
朴炫
卓亨晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cj 4dplex
CJ 4DPLEX Co Ltd
Original Assignee
CJ 4DPLEX Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CJ 4DPLEX Co Ltd filed Critical CJ 4DPLEX Co Ltd
Publication of CN110352597A publication Critical patent/CN110352597A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Chair Legs, Seat Parts, And Backrests (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

公开了用于回放虚拟现实4D内容的系统和方法。该用于回放虚拟现实4D内容的系统包括:图像服务器,该图像服务器被配置为提供内容或效果控制信号;头戴式显示器(HMD)装置,该HMD装置被配置为显示所述内容;以及4D设备,该4D设备被配置为响应于所述效果控制信号而产生与所述内容同步的效果。

Description

用于回放虚拟现实4D内容的系统和方法
技术领域
本发明涉及用于回放虚拟现实四维(4D)内容的系统和方法,并且更具体地,涉及当在剧院中回放内容时提供与内容相匹配的4D效果和虚拟现实效果的用于回放虚拟现实4D内容的系统和方法。
背景技术
在诸如剧院或电影院这样的视觉图像放映设施中,在传统技术中,只放映了视觉图像。然而,最近,伴随着放映视觉图像,向观众提供了各种效果。
如果回放普通视觉图像的电影院是二维(2D)电影院而回放特殊制作的视觉图像使得观众在观看视觉图像时能感觉到3D效果的电影院是三维(3D)电影院,则通过除了刺激视觉和听觉之外还刺激触觉、嗅觉等使观众在观看视觉图像时感觉到五种感觉的电影院是4D电影院。
在4D电影院中,在座椅下方设置有运动基座,运动基座使坐有观众的座椅移动,并且在座椅里和电影院内壁(或屋顶等)中设置特效装置,特效装置为观众提供各种效果。
当观众在坐在座椅中的同时观看电影时,他或她不仅能观看电影,而且能感觉到与电影同步的诸如水、风、烟、闪光、热和气味这样的运动和效果,由此能够对电影产生高度兴趣和高度沉浸感。为了增加观众的如上所述的兴趣,4D电影院使用设置在4D电影院中的运动座椅和特效装置向观众提供五种感官的感觉。
然而,在4D电影院中放映的视觉图像被制作成,使得观众只能感觉到像现实一样的距离并且能感觉到3D效果,但是视觉图像的限制在于使观众感觉到看似真实的虚拟现实。
[现有技术文献]
[专利文献]
(专利文献1)现有技术1:韩国专利申请公开No.2016-0082493(在2016年7月8日公开)
发明内容
技术问题
本发明的目的是提供用于回放虚拟现实4D内容的系统和方法,所述系统和方法当在剧院中回放内容时提供与内容相匹配的4D效果和虚拟现实效果。
本发明的另一个目的是提供用于回放虚拟现实4D内容的系统和方法,所述系统和方法使得使用移动装置能够接收要回放的内容且使得能够通过HMD装置观看内容。
本发明的又一个目的是提供用于回放虚拟现实4D内容的系统和方法,所述系统和方法可以自动设置观众所穿戴的HMD装置的焦点。
本发明将要实现的技术目的不限于前述目的,并且本发明所属的领域中的技术人员可以根据下面的描述清楚地理解其它技术目的。
问题的解决方案
按照本发明的一方面,提供了一种回放虚拟现实4D内容的系统,该系统包括:图像服务器,该图像服务器被配置为提供内容或效果控制信号;头戴式显示器HMD装置,该HMD装置被配置为显示所述内容;以及4D设备,该4D设备被配置为响应于所述效果控制信号而产生与所述内容同步的效果。
所述图像服务器可以输出HMD装置穿戴消息,并且在预定的特定时间之后提供焦点调节通知图像,从而设置所述HMD装置的焦点。
所述系统还可以包括移动装置,所述移动装置通过有线通信或无线通信连接到所述HMD装置并且被配置为从所述图像服务器接收内容。所述HMD装置可以从所述移动装置接收内容并显示所接收的内容。
所述HMD装置可以实时地将内容回放时间信息发送到所述图像服务器。所述图像服务器使用所述时间信息通过通信执行与所述4D设备的同步。
所述4D设备可以包括4D座椅,所述4D座椅被配置为响应于所述效果控制信号而实现滴答声(ticker)、振动、空气喷射、水喷射、气味喷射和加热器喷射中的一种或更多种效果。
此外,所述4D设备可以包括4D效果装置,所述4D效果装置设置在影院内并且被配置为响应于所述效果控制信号而实现雪、雨、风、露珠、雾、大雨、闪电、气味和光中的至少一种效果。
所述系统还可以包括中央服务器,所述中央服务器被配置为控制设置在每个影院中的所述图像服务器。如果在所述中央服务器中存在新内容,则所述图像服务器可以用所述新内容更新现有内容。
当显示所述内容时,所述HMD装置可以提供虚拟现实效果。
按照本发明的另一方面,提供了一种图像服务器,该图像服务器包括:内容服务单元,该内容服务单元被配置为将现在要回放的内容发送到头戴式显示器HMD装置或连接到所述HMD装置的移动装置;以及效果控制单元,该效果控制单元被配置为从所述HMD装置接收内容回放时间信息,基于所述时间信息执行与对应4D设备的同步,并且将在对应时间要生成的效果控制信号发送到所述对应4D设备。
如果在所述中央服务器中存在新内容,则所述内容服务单元可以用所述新内容更新现有内容。
所述图像服务器还可以包括HMD装置焦点设置单元,所述HMD装置焦点设置单元被配置为输出HMD装置穿戴消息并且在预定的特定时间之后提供焦点调节通知图像,从而设置所述HMD装置的焦点。
按照本发明的又一方面,提供了一种头戴式显示器HMD装置,该HMD装置包括:通信单元,该通信单元被配置为接收内容;显示单元,该显示单元被配置为显示所接收的内容;以及控制单元,该控制单元被配置为控制所述内容,使得所述内容显示在所述显示单元上。
所述HMD装置还可以包括焦点调节开关,所述焦点调节开关被配置为调节焦点,使得所述内容显示在所述显示单元上。
所述控制单元可以将根据所述内容的回放的时间信息发送到图像服务器。
按照本发明的又一方面,提供了一种回放虚拟现实4D内容的方法,该方法包括以下步骤:(a)由图像服务器将现在要回放的内容发送到头戴式显示器HMD装置;(b)由所述HMD装置显示所述内容,并且将根据所述内容的回放的时间信息发送到所述图像服务器;(c)由所述图像服务器使用所述时间信息执行与对应4D设备的同步,并且将在对应时间要生成的效果控制信号发送到所述对应4D设备;以及(d)由所述4D设备响应于所述效果控制信号而产生与所述内容同步的效果。
所述用于回放虚拟现实4D内容的方法还可以包括以下步骤:由所述图像服务器输出HMD装置穿戴消息并且在预定的特定时间之后提供焦点调节通知图像,从而在所述步骤(a)之前设置所述HMD装置的焦点。
按照本发明的又一方面,提供了一种回放虚拟现实4D内容的方法,该方法包括以下步骤:(a)由图像服务器将现在要回放的内容发送到与HMD装置连接的移动装置;(b)由所述移动装置存储所述内容,并且在从所述图像服务器接收到内容回放开始信号时,将所存储的内容发送到所述HMD装置;(c)由所述HMD装置显示所述内容,并且将根据所述内容的回放的时间信息发送到所述图像服务器;(d)由所述图像服务器使用所述时间信息执行与对应4D设备的同步,并且将在对应时间要生成的效果控制信号发送到所述对应4D设备;以及(e)由所述4D设备响应于所述效果控制信号而产生与所述内容同步的效果。
所述用于回放虚拟现实4D内容的方法还可以包括以下步骤:由所述图像服务器输出HMD装置穿戴消息并且在预定的特定时间之后提供焦点调节通知图像,从而在所述步骤(a)之后设置所述HMD装置的焦点。
上述“用于回放虚拟现实4D内容的方法”可以以程序的形式实现,并且可以被记录在可由电子装置读取的记录介质上或者通过程序下载管理装置(例如,服务器)分发。
发明的有益效果
按照本发明的实施方式,虚拟现实技术被移植到4D系统上,以向观众提供虚拟现实,使得观众能感觉到对应的运动和环境效果。因此,通过根据虚拟现实伴随着虚拟效果刺激五种感官,使观众可以具有更大的兴趣和更高的沉浸感。
此外,通过将虚拟现实技术移植到4D系统上,可以向观众提供虚拟广告。
此外,因为通过本发明提高了票价或吸引了更多顾客,所以剧院的利润可以增加。
此外,影院运营公司因为它们提供虚拟现实内容而可以增加其广告收入,并且预计与虚拟现实内容相关的制作方的定量和定性增长,因为公众可以容易地了解影院中的虚拟现实图像。也就是说,由于虚拟现实技术的普及,可以激活广告销售和市场。
此外,因为4D影院提供了虚拟现实内容,所以可以使到访剧院的观众获得另一种乐趣。在特定的学院或学校的情况下,可以在剧院中以低成本进行实地教育(fieldeducation)。例如,学校学生可以学习如何在剧院发生火灾时采取行动,因为他们可以通过虚拟现实体验火灾风险。
本发明的效果不限于以上提到的效果,并且可以包括本领域的普通技术人员根据以下描述显而易见的范围内的各种其它效果。
附图说明
图1是示出根据本发明的实施方式的用于回放虚拟现实4D内容的系统的图。
图2是根据本发明的实施方式的HMD装置的示例性图。
图3是示意性示出根据本发明的实施方式的图像服务器的配置的框图。
图4是示意性示出根据本发明的实施方式的HMD装置的配置的框图。
图5是示出根据本发明的实施方式的用于回放虚拟现实4D内容的方法的图。
图6是示出根据本发明的另一实施方式的用于回放虚拟现实4D内容的方法的图。
<附图标记的说明>
100:图像服务器 110:数据库
120、210:通信单元 130:内容服务单元
140:效果控制单元
150:HMD装置焦点设置单元
160、230:控制单元 200:HMD装置
220:显示单元 240:存储器
250:焦点调节开关 300:4D设备
310:4D座椅 320:4D效果装置
400:中央服务器 500:移动装置
具体实施方式
根据以下基于本发明的说明书附带的附图进行的详细描述,本发明的目的和技术配置的细节和对应的作用效果将被更清楚地理解。
下文中,将参照附图详细地描述根据本发明的实施方式的“用于回放虚拟现实4D内容的系统和方法”。提供实施方式,使得本领域的技术人员能容易地理解本发明的技术精神,并且本发明不受这些实施方式的限制。此外,已图示了在附图中描述的内容,以容易地描述本发明的实施方式,并且这些内容可以不同于实际实现的形式。
本文中将描述的元件只是用于实现本发明的实施方式的示例。因此,在本发明的其它实现方式中,可以在不脱离本发明的精神和范围的情况下使用不同的元件。此外,元件中的每个可以单使用硬件或软件元件来实现,但是可以通过执行相同功能的各种硬件和软件元件的组合来实现。此外,两个或更多个元件可以由一个硬件或软件来一起实现。
此外,“包括”一些元件的表述是“开放型”的表述,并且该表述仅表示存在对应的元件,而不应该被解释为不包括附加元件。
图1是示出根据本发明的实施方式的用于回放虚拟现实4D内容的系统的图,并且图2是根据本发明的实施方式的HMD装置的示例性图。
参照图1,用于回放虚拟现实4D内容的系统包括通过通信网络连接的图像服务器100、头戴式显示器(HMD)装置200和4D设备300。在这种情况下,通信网络可以包括含有线通信和无线通信的任何通信形式,并且可以包括诸如局域网(LAN)、城域网(MAN)和广域网(WAN)的各种通信网络。
图像服务器100设置在每个影院中,并且提供现在要回放的内容或根据内容的效果控制信号。在这种情况下,内容可以是包括诸如电影、广告和实地教育这样的视频(或图像)的信息。效果控制信号可以是用于实现挠痒(tickler)、振动效果、雪、雨、风、露珠、雾、气味和光的一种或更多种效果的信号。
图像服务器100输出HMD装置穿戴消息,并且在预定的特定时间之后设置HMD装置200的焦点。在这种情况下,HMD装置穿戴消息是提供穿戴HMD装置的通知的消息,并且可以以诸如语音和/或视频这样的各种形式输出。收听或观看HMD装置穿戴消息的观众可以穿戴HMD装置200。
图像服务器100在内容的前部部分中添加单独产生的焦点调节通知图像,并且提供可以使观众穿戴的HMD装置200聚焦的空闲时间。也就是说,在从提供了焦点调节通知图像起经过了预定的特定时间(例如,3秒~5秒)之后,图像服务器100执行将观众的焦点设置在中心的任务。当观众正常穿戴HMD装置200时没有问题。然而,当观众在他或她向左或向右转动他或她的头部的状态下穿戴HMD装置200时,HMD装置200的方向向右或向左倾斜。在这种情况下,已穿戴HMD装置200的观众无法观看正常视频的中心,因此他或她可以使用HMD装置200中包括的单独开关来手动将HMD装置200聚焦在中心。
图像服务器100响应于情形而生成用于控制4D设备300的效果的效果控制信号,并且将所生成的效果控制信号发送到一个或更多个4D设备300。也就是说,图像服务器100从HMD装置200实时地接收内容回放时间信息,使用时间信息通过通信执行与4D设备300的同步,并且将要生成的效果控制信号在对应的时间发送到对应的4D设备。
如上所述,图像服务器100提供穿戴HMD装置的通知,使得观众可以穿戴HMD装置200。此后,图像服务器100将现在要回放的内容提供到观众所穿戴的HMD装置200以实现虚拟现实效果,并且还向4D设备300提供适于对应内容的效果控制信号以实现各种效果。
HMD装置200连接到图像服务器100,并且从图像服务器100接收内容并显示接收到的内容。当显示内容时,HMD装置200提供虚拟现实效果。例如,假定内容是过山车,HMD装置200向已穿戴HMD装置200的观众提供观众乘坐真实过山车的感觉。
HMD装置200将内容回放时间信息实时地发送到图像服务器100。响应于此,图像服务器100使用时间信息执行与4D设备300的同步。
HMD装置200设置在剧院内的每个座椅中或人身上。当通知观众穿戴HMD装置时,观众将HMD装置200穿戴在他或她的头上。
HMD装置200可以具有例如具有通信功能和数据处理功能的形式,并且可以被穿戴在用户的头上,如图2中所示。用户所穿戴的HMD装置200在屏幕上显示内容。在这种情况下,HMD装置200可以在预定位置处显示预定大小的内容。此外,HMD装置200可以具有眼镜形式。HMD装置200可以通过镜架被临时固定到用户的头部。
HMD装置200可以被划分为CPU和显示器被包括在HMD装置中的第一类型和移动装置500可以被安装在HMD装置200上的第二类型。在第二类型的情况下,移动装置500用于控制HMD装置200,使得HMD装置200显示内容。
第一类型具有诸如图1的(a)中所示结构这样的结构。HMD装置200从图像服务器100接收内容并显示接收到的内容。
第二类型具有诸如图1的(b)中所示结构这样的结构。HMD装置200通过有线和/或无线通信连接到移动装置500。移动装置500从图像服务器100接收内容。HMD装置200从移动装置500接收内容并显示接收到的内容。
在第二类型的情况下,HMD装置200可以通过通信连接到移动装置500和图像服务器100。HMD装置200被设计为输出从移动装置500接收到的内容。在这种情况下,HMD装置200使用无线显示(Miracast)技术从移动装置500接收内容并显示接收到的内容。
连接到HMD装置200的移动装置500可以是智能电话、平板PC、PC、智能TV、移动电话、个人数字助理(PAD)、膝上型计算机、媒体播放器、微服务器、全球定位系统(GPS)、电子书终端、数字广播终端、导航仪、自助服务终端(kiosk)、MP3播放器、数码相机或其它移动计算装置,但是不限于此。此外,移动装置500可以是具有通信功能和数据处理功能的手表或带,但是不限于此。
如上所述,移动装置500和HMD装置200通过有线或无线通信互连。为了在HMD装置200和移动装置500之间进行数据配对,可以应用无线显示技术或Wi-Fi直连(Wi-FiDirect)技术。
4D设备300连接到图像服务器100,并且响应于图像服务器100所发送的效果控制信号而产生与内容同步的效果。
4D设备300可以包括在用户观看内容时用户所坐的4D座椅310或设置在影院的内壁或屋顶上的4D效果装置320,以便在结合内容进行操作的同时向观众提供各种效果。当内容开始时,4D座椅300按照内容提供运动和振动,并且4D效果装置320按照内容实时地产生诸如雪、雨、风、露珠、雾、大雨、闪电、气味和光这样的4D效果。
4D设备300可以包括用于驱动实现实际特效的装置(即,多个效果装置)的功能单元。程序(也就是说,控制效果装置所必需的固件)已被安装在功能单元中。通常,固件被记录在功能单元(更具体地,ROM)内的存储空间中,并且包括用于形成4D设备300的所有效果装置的控制命令。已安装有固件的功能单元从图像服务器100接收效果控制信号,并且通过固件控制效果装置。
4D设备300同步时间码,以便在放映内容的同时与图像服务器100实时地通信。也就是说,当开始放映内容时,图像服务器100和4D设备300执行时间码同步,以使它们所参照的它们的时间信息相同。因此,尽管生成变量,使得在放映内容的同时需要单独地控制4D设备300或者由于突发错误而导致需要重置4D设备300,但是图像服务器100可以参照与4D设备300共享的时间码,在适宜的时间采取合适的措施。
如上所述配置的用于回放虚拟现实4D内容的系统还可以包括用于控制设置在每个影院中的图像服务器100的中央服务器400。
中央服务器400控制多个图像服务器100并且将内容提供到设置在每个影院中的图像服务器100。如果在中央服务器400中存在新内容,则图像服务器100用该新内容更新现有内容。
在这种情况下,尽管只例示了一个图像服务器100,但是显然中央服务器400能控制多个图像服务器100。
图3是示意性示出根据本发明的实施方式的图像服务器的配置的框图。
参照图3,图像服务器100包括数据库(DB)110、通信单元120、内容服务单元130和效果控制单元140。
正在放映或计划放映的内容和与内容有关的信息被存储在DB 110中。
通信单元120向各种电子装置发送数据并且从各种电子装置接收数据。具体地,通信单元120通过有线通信网络或无线通信网络将图像服务器100连接到HMD装置或4D设备。
内容服务单元130从DB 110中提取要回放的内容,并且将所提取的内容发送到HMD装置或连接到HMD装置的移动装置。
如果在中央服务器中存在新内容,则内容服务单元130用该新内容更新现有内容。
效果控制单元140根据来自HMD装置的内容的回放接收时间信息,基于时间信息通过通信执行与对应4D设备的同步,并且将用于在对应时间要产生的效果的效果控制信号发送到对应的4D设备。在这种情况下,效果控制信号可以是用于实现挠痒、振动效果、雪、雨、风、露珠、雾、气味和光的一种或更多种效果的信号。
如上所述配置的图像服务器100还可以包括HMD装置焦点设置单元150。
HMD装置焦点设置单元150输出HMD装置穿戴消息,并且在预定的特定时间之后提供焦点调节通知图像,使得HMD装置被聚焦在中心。可以以诸如语音和/或视频的各种形式输出HMD装置穿戴消息。观众观看HMD装置穿戴消息并且穿戴HMD装置。
HMD装置焦点设置单元150通过提供焦点调节通知图像来执行将穿戴HMD装置的观众的焦点设置在中心的任务。焦点调节通知消息可以被添加到内容服务单元130所提供的内容的前部部分并被提供,或者可以被单独制作和提供。
可以通过执行计算装置上的程序所必需的处理器来实现内容服务单元130、效果控制单元140和HMD装置焦点设置单元150中的每个。如上所述,内容服务单元130、效果控制单元140和HMD装置焦点设置单元150可以分别通过物理上分离的元件来实现,或者可以以它们在在单个处理器中在功能上划分的形式来实现。
控制单元160控制图像服务器300的各种元件的操作,这些元件包括DB 110、通信单元120、内容服务单元130、效果控制单元140和HMD装置焦点设置单元150。控制单元160可以包括至少一个操作装置。在这种情况下,操作装置可以是通用中央处理单元(CPU)、针对特殊目的合适实现的可编程器件(例如,CPLD或FPGA)、专用集成电路(ASIC)或微控制器芯片。
图4是示意性示出根据本发明的实施方式的HMD装置的配置的框图。
参照图4,HMD装置200包括通信单元210、显示单元220、控制单元230和存储器240。
通信单元210向各种电子装置发送数据并且从各种电子装置接收数据。具体地,通信单元210向图像服务器或移动装置发送和从图像服务器或移动装置接收使HMD装置200显示内容和改变显示的内容所必需的信息。
显示单元220显示经HMD装置200处理的信息。更具体地,显示单元220可以显示现在要显示的内容。
此外,显示单元220可以显示焦点调节通知图像。
通过显示单元220输出的内容可以与公共视图交叠。
存储器240存储使HMD装置200显示内容和改变显示的内容所必需的信息。
一般来说,控制单元230控制HMD装置200的整体操作。例如,控制单元230可以通过执行存储在存储器240中的程序来控制显示单元220和通信单元210。
控制单元230控制通过通信单元210接收的内容,从而在显示单元220上显示内容。
此外,控制单元230将根据内容回放的时间信息实时地提供到图像服务器。
HMD装置200可以连接到图像服务器和移动装置中的至少一个,并且可以从移动装置和图像服务器中的至少一个接收内容并将接收到的内容显示在HMD装置200的屏幕上。
如上所述配置的HMD装置200还可以包括用于控制焦点的焦点调节开关250,从而将内容显示在显示单元220上。
当观众正常穿戴HMD装置200时没有问题。然而,当观众在他或她向左或向右转动他或她的头部的状态下穿戴HMD装置200时,HMD装置200的方向向右或向左倾斜。在这种情况下,已穿戴HMD装置200的观众无法观看正常视频的中心,因此他或她可以使用HMD装置200中单独包括的焦点调节开关250来手动地将HMD装置200聚焦在中心。
控制单元230控制HMD装置200的各种元件的操作,这些元件包括通信单元210、显示单元220、存储器240和焦点调节开关250。控制单元230可以包括至少一个操作装置。在这种情况下,操作装置可以是通用中央处理单元(CPU)、针对特殊目的合适实现的可编程器件(例如,CPLD或FPGA)、专用集成电路(ASIC)或微控制器芯片。
图5是示出根据本发明的实施方式的用于回放虚拟现实4D内容的方法的图。
参照图5,图像服务器提供穿戴HMD装置的通知(S502)并且提供焦点调节通知图像,使得HMD装置的焦点被调节(S504)。也就是说,图像服务器输出HMD装置穿戴消息,并且观众通过观看HMD装置穿戴消息来穿戴对应的HMD装置。图像服务器提供焦点调节通知图像,从而执行将已穿戴HMD装置的观众的焦点设置在中心的任务。
此后,图像服务器将现在要回放的内容发送到HMD装置(S506)。HMD装置显示内容(S508),并且将根据内容回放的时间信息发送到图像服务器(S510)。当HMD装置显示内容时,向观众提供虚拟现实效果。
图像服务器基于从HMD装置接收的时间信息通过通信执行与对应4D设备的同步(S512),并且将用于在对应时间要产生的效果的效果控制信号发送到对应4D设备(S514)。效果控制信号可以是用于产生与HMD装置回放的内容相匹配的效果的信号。
已接收到效果控制信号的4D设备产生与现在正在回放的内容同步的效果(S516)。也就是说,当内容开始时,4D座椅按照内容提供运动和振动,并且4D效果装置按照内容实时地产生诸如雪、雨、风、露珠、雾、大雨、闪电、气味和光这样的4D效果。
图6是示出根据本发明的另一实施方式的用于回放虚拟现实4D内容的方法的图。
参照图6,图像服务器将现在要回放的内容发送到与HMD装置连接的移动装置(S602)。移动装置存储接收到的内容(S604)。
此后,图像服务器提供穿戴HMD装置的通知(S606)并且提供焦点调节通知图像,使得HMD装置的焦点被调节(S608)。
此后,图像服务器将内容回放开始信号发送到移动装置(S610)。移动装置将内容发送到HMD装置(S612)。在这种情况下,移动装置使用无线显示技术或Wi-Fi直连技术将内容发送到HMD装置。
因此,HMD装置显示内容(S614),并且将内容回放时间信息发送到图像服务器(S616)。
图像服务器使用从HMD装置接收的时间信息通过通信执行与对应4D设备的同步(S618),并且将对应时间要生成的效果控制信号发送到对应4D设备(S620)。
已接收到效果控制信号的4D设备产生与现在正在回放的内容同步的效果(S622)。
可以以程序形式编写“用于回放虚拟现实4D内容的方法”,并且本领域的编程技术人员能不费力地推导出形成程序的多条代码和代码段。此外,关于“用于回放虚拟现实4D内容的方法”的程序可以被存储在信息存储介质(或可读介质)中,并且可以由电子装置读取和执行。
如上所述,本发明所属领域的技术人员将了解,在不改变本发明的技术精神或本质特性的情况下,本发明可以以其它详细形式实现。因此,要理解,以上提到的实施方式仅是例示性的,而不是限制性的。还要注意,所例示的流程图仅仅是按顺序次序例示的,以在实现本发明时实现最优选的结果,并且可以提供其它附加步骤或者可以删除这些步骤中的一些。
本说明书中描述的技术特性和用于执行技术特性的实现方式可以使用数字电子电路来实现,可以使用包括本说明书中描述的结构的计算机软件、固件或硬件及其结构等同物来实现,或者可以通过其中一个或更多个的组合来实现。此外,可以以计算机程序产品(也就是说,关于编码在一种程序存储介质上以便控制处理系统的操作或者供处理系统执行的计算机程序指令的模块)的形式来实现用于执行本说明书中描述的技术特性的实现方式。
在本说明书中,术语“设备(或装置)”或“系统”涵盖用于处理数据的所有设备、装置和机器,例如,包括处理器、计算机和多处理器或计算机的设备。处理系统可以包括当除了硬件之外还请求形成处理器固件的代码、协议栈、数据库管理系统、操作系统和它们中的一个或更多个的组合时形成计算机程序的执行环境的所有类型的代码。可以用任何形式的编程语言(包括汇编或翻译语言或先验和/或过程语言)编写并且也可以用包括独立程序、模块、组件、子程序或适用于计算机环境的其它单元的任何形式来实现也被称为程序、软件、软件应用、脚本或代码的计算机程序。
包括在本说明书的附图中示出的框图和流程图中的用于执行本发明的技术特征的元件意指元件之间的逻辑边界。然而,按照软件或硬件实施方式,所例示的元件及其功能以独立软件模块、整体软件结构、代码、服务或其组合的形式来执行,并且被存储在能由包括能够执行所存储的程序代码和指令的处理器的计算机执行的介质中,并且可以实现所例示元件的功能。因此,所有这些实施方式都应该被解释为属于本发明的权利范围。
因此,附图及其技术描述了本发明的技术特征,但是不应简单地推理,除非另外清楚地描述用于实现这些技术特征的特定软件阵列。也就是说,可以存在各种其它实施方式,并且可以在具有与本发明的技术特征相同的技术特征的同时进行部分修改。因此,经修改的这些实施方式应该被解释为属于本发明的权利范围。
此外,流程图以特定顺序描述了附图中的操作,但是已例示该流程图以获得最优选的结果。不应该理解为必须执行这些操作或者必须以所例示的特定顺序或顺序次序执行所例示的所有操作。在特定情况下,多任务和并行处理会是有利的。此外,以上提到的实施方式中的各种系统组件的分离不应该被解释为在所有实施方式中都是被要求的。应该理解,以上提到的程序组件和系统可以被集成在单个软件产品中或者被封装在多软件产品中。
如上所述,本说明书并不旨在通过所提出的详细术语来限制本发明。因此,虽然已结合以上提到的实施方式详细描述了本发明,但是本发明所属领域的普通技术人员可以在不脱离本发明的权利范围的情况下改变、变化和修改实施方式。因此,本发明的权利范围由所附权利要求书而非具体描述限定,并且本发明应该被解释为涵盖从所附权利要求书及其等同物的含义和范围推导出的所有修改形式或变化形式。

Claims (18)

1.一种回放虚拟现实4D内容的系统,该系统包括:
图像服务器,该图像服务器被配置为提供内容或效果控制信号;
头戴式显示器HMD装置,该HMD装置被配置为显示所述内容;以及
4D设备,该4D设备被配置为响应于所述效果控制信号而产生与所述内容同步的效果。
2.根据权利要求1所述的系统,其中,所述图像服务器输出HMD装置穿戴消息,并且在预定的特定时间之后提供焦点调节通知图像,从而设置所述HMD装置的焦点。
3.根据权利要求1所述的系统,该系统还包括移动装置,所述移动装置通过有线通信或无线通信连接到所述HMD装置并且被配置为从所述图像服务器接收内容,
其中,所述HMD装置从所述移动装置接收内容并显示所接收的内容。
4.根据权利要求1所述的系统,其中:
所述HMD装置实时地将内容回放时间信息发送到所述图像服务器,并且
所述图像服务器使用所述时间信息通过通信执行与所述4D设备的同步。
5.根据权利要求1所述的系统,其中,所述4D设备包括4D座椅,所述4D座椅被配置为响应于所述效果控制信号而实现滴答声、振动、空气喷射、水喷射、气味喷射和加热器喷射中的一种或更多种效果。
6.根据权利要求1所述的系统,其中,所述4D设备包括4D效果装置,所述4D效果装置设置在影院内并且被配置为响应于所述效果控制信号而实现雪、雨、风、露珠、雾、大雨、闪电、气味和光中的至少一种效果。
7.根据权利要求1所述的系统,所述系统还包括中央服务器,所述中央服务器被配置为控制设置在每个影院中的所述图像服务器,
其中,如果在所述中央服务器中存在新内容,则所述图像服务器用所述新内容更新现有内容。
8.根据权利要求1所述的系统,其中,当显示所述内容时,所述HMD装置提供虚拟现实效果。
9.一种图像服务器,该图像服务器包括:
内容服务单元,该内容服务单元被配置为将现在要回放的内容发送到头戴式显示器HMD装置或连接到所述HMD装置的移动装置;以及
效果控制单元,该效果控制单元被配置为从所述HMD装置接收内容回放时间信息,基于所述时间信息执行与对应4D设备的同步,并且将在对应时间要生成的效果控制信号发送到所述对应4D设备。
10.根据权利要求9所述的图像服务器,其中,如果在中央服务器中存在新内容,则所述内容服务单元用所述新内容更新现有内容。
11.根据权利要求9所述的图像服务器,该图像服务器还包括HMD装置焦点设置单元,所述HMD装置焦点设置单元被配置为输出HMD装置穿戴消息并且在预定的特定时间之后提供焦点调节通知图像,从而设置所述HMD装置的焦点。
12.一种头戴式显示器HMD装置,该HMD装置包括:
通信单元,该通信单元被配置为接收内容;
显示单元,该显示单元被配置为显示所接收的内容;以及
控制单元,该控制单元被配置为控制所述内容,使得所述内容显示在所述显示单元上。
13.根据权利要求12所述的HMD装置,所述HMD装置还包括焦点调节开关,所述焦点调节开关被配置为调节焦点,使得所述内容显示在所述显示单元上。
14.根据权利要求12所述的HMD装置,其中,所述控制单元将根据所述内容的回放的时间信息发送到图像服务器。
15.一种回放虚拟现实4D内容的方法,该方法包括以下步骤:
(a)由图像服务器将现在要回放的内容发送到头戴式显示器HMD装置;
(b)由所述HMD装置显示所述内容,并且将根据所述内容的回放的时间信息发送到所述图像服务器;
(c)由所述图像服务器使用所述时间信息执行与对应4D设备的同步,并且将在对应时间要生成的效果控制信号发送到所述对应4D设备;以及
(d)由所述4D设备响应于所述效果控制信号而产生与所述内容同步的效果。
16.根据权利要求15所述的方法,所述方法还包括以下步骤:由所述图像服务器输出HMD装置穿戴消息并且在预定的特定时间之后提供焦点调节通知图像,从而在所述步骤(a)之前设置所述HMD装置的焦点。
17.一种回放虚拟现实4D内容的方法,该方法包括以下步骤:
(a)由图像服务器将现在要回放的内容发送到与HMD装置连接的移动装置;
(b)由所述移动装置存储所述内容,并且在从所述图像服务器接收到内容回放开始信号时,将所存储的内容发送到所述HMD装置;
(c)由所述HMD装置显示所述内容,并且将根据所述内容的回放的时间信息发送到所述图像服务器;
(d)由所述图像服务器使用所述时间信息执行与对应4D设备的同步,并且将在对应时间要生成的效果控制信号发送到所述对应4D设备;以及
(e)由所述4D设备响应于所述效果控制信号而产生与所述内容同步的效果。
18.根据权利要求17所述的方法,所述方法还包括以下步骤:由所述图像服务器输出HMD装置穿戴消息并且在预定的特定时间之后提供焦点调节通知图像,从而在所述步骤(a)之后设置所述HMD装置的焦点。
CN201780071442.7A 2016-10-05 2017-09-28 用于回放虚拟现实4d内容的系统和方法 Pending CN110352597A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2016-0128223 2016-10-05
KR1020160128223A KR101864685B1 (ko) 2016-10-05 2016-10-05 가상현실 4d 컨텐츠 상영 시스템 및 그 방법
PCT/KR2017/010866 WO2018066901A1 (en) 2016-10-05 2017-09-28 System and method for playing back virtual reality 4d content

Publications (1)

Publication Number Publication Date
CN110352597A true CN110352597A (zh) 2019-10-18

Family

ID=61831773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780071442.7A Pending CN110352597A (zh) 2016-10-05 2017-09-28 用于回放虚拟现实4d内容的系统和方法

Country Status (6)

Country Link
US (1) US20190238660A1 (zh)
EP (1) EP3520396A4 (zh)
JP (1) JP2020501391A (zh)
KR (1) KR101864685B1 (zh)
CN (1) CN110352597A (zh)
WO (1) WO2018066901A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102066522B1 (ko) 2018-06-22 2020-01-15 주식회사 바로텍시너지 네트워크를 통한 상호 연동형 vr 시뮬레이션 시스템
KR101941947B1 (ko) * 2018-07-13 2019-01-24 주식회사 유니브이알 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템
KR102163601B1 (ko) * 2018-11-30 2020-10-08 씨제이포디플렉스 주식회사 4d 상영관 시스템
KR102498566B1 (ko) * 2020-05-22 2023-02-13 곽미진 전력 손실을 방지할 수 있는 버스와 같은 차량에서 교육용 가상현실 컨텐츠를 제공하는 방법 및 시스템
WO2023022720A1 (en) * 2021-08-19 2023-02-23 Lumma,Llc. Special effects entertainment system
WO2024101688A1 (ko) * 2022-11-10 2024-05-16 삼성전자주식회사 미디어 콘텐트로부터 햅틱 정보를 획득하기 위한 전자 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120127268A1 (en) * 2010-11-19 2012-05-24 Electronics And Telecommunications Research Institute Method and apparatus for controlling broadcasting network and home network for 4d broadcasting service
WO2013039136A1 (ja) * 2011-09-14 2013-03-21 ブラザー工業株式会社 画像表示装置および画像表示方法
CN103149690A (zh) * 2013-03-01 2013-06-12 南京理工大学 一种3d头戴显示器
EP2889728A2 (en) * 2013-12-31 2015-07-01 Immersion Corporation Systems and methods for recording and playing back point-of-view videos with haptic content
US20150309705A1 (en) * 2014-04-28 2015-10-29 Invodo, Inc. System and method of three-dimensional virtual commerce environments

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06175582A (ja) * 1992-12-09 1994-06-24 Sony Corp 疑似体験装置
KR100376727B1 (ko) * 2000-05-25 2003-03-19 주식회사 가와코리아 네트워크 기반의 영화/영상물 배급 및 유통시스템
KR20130098457A (ko) * 2012-02-28 2013-09-05 권혜진 동영상과 동기화된 특수 효과 제공 시스템
KR102298200B1 (ko) * 2013-11-21 2021-09-07 삼성전자 주식회사 헤드 마운트 디스플레이 장치
KR101655792B1 (ko) * 2015-12-16 2016-09-08 삼성전자 주식회사 헤드 마운트 디스플레이 장치
KR101718137B1 (ko) 2016-03-14 2017-03-21 씨제이포디플렉스 주식회사 모션체어 및 모션체어 제어 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120127268A1 (en) * 2010-11-19 2012-05-24 Electronics And Telecommunications Research Institute Method and apparatus for controlling broadcasting network and home network for 4d broadcasting service
WO2013039136A1 (ja) * 2011-09-14 2013-03-21 ブラザー工業株式会社 画像表示装置および画像表示方法
CN103149690A (zh) * 2013-03-01 2013-06-12 南京理工大学 一种3d头戴显示器
EP2889728A2 (en) * 2013-12-31 2015-07-01 Immersion Corporation Systems and methods for recording and playing back point-of-view videos with haptic content
US20150309705A1 (en) * 2014-04-28 2015-10-29 Invodo, Inc. System and method of three-dimensional virtual commerce environments

Also Published As

Publication number Publication date
KR20180037709A (ko) 2018-04-13
EP3520396A1 (en) 2019-08-07
JP2020501391A (ja) 2020-01-16
WO2018066901A1 (en) 2018-04-12
EP3520396A4 (en) 2020-04-29
KR101864685B1 (ko) 2018-06-05
US20190238660A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
US11451882B2 (en) Cinematic mastering for virtual reality and augmented reality
CN110352597A (zh) 用于回放虚拟现实4d内容的系统和方法
JP6992845B2 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
US11563998B2 (en) Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, video distribution method, and video distribution program
KR102611448B1 (ko) 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
KR102585051B1 (ko) 액터의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램
US9581962B1 (en) Methods and systems for generating and using simulated 3D images
US20140267598A1 (en) Apparatus and method for holographic poster display
CN110460893B (zh) 动态图像分发系统及其方法和记录介质
EP3465331A1 (en) Mixed reality system
JP2016045814A (ja) 仮想現実サービス提供システム、仮想現実サービス提供方法
CN106933357A (zh) 一种基于可穿戴混合现实设备的全息广告播放系统及方法
CN109996060B (zh) 一种虚拟现实影院系统及信息处理方法
WO2014189840A1 (en) Apparatus and method for holographic poster display
KR102163601B1 (ko) 4d 상영관 시스템
WO2021131326A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータプログラム
CN114930274A (zh) 信息处理设备、信息处理终端和程序
CN114945893A (zh) 信息处理设备以及信息处理终端
Ostkamp et al. Using mobile devices to enable visual multiplexing on public displays: three approaches compared
US12015818B2 (en) Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, video distribution method, and storage medium storing thereon video distribution program
CN116830563A (zh) 信息处理装置、信息处理方法和系统
CN116069974A (zh) 一种虚拟现实设备及视频播放方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191018

WD01 Invention patent application deemed withdrawn after publication