CN110463213A - 虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序 - Google Patents

虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序 Download PDF

Info

Publication number
CN110463213A
CN110463213A CN201780088659.9A CN201780088659A CN110463213A CN 110463213 A CN110463213 A CN 110463213A CN 201780088659 A CN201780088659 A CN 201780088659A CN 110463213 A CN110463213 A CN 110463213A
Authority
CN
China
Prior art keywords
regeneration
dynamic image
time
computer
built
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780088659.9A
Other languages
English (en)
Inventor
水野拓宏
野村让誉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aboriginal Law
Alpha Code Inc
Original Assignee
Aboriginal Law
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aboriginal Law filed Critical Aboriginal Law
Publication of CN110463213A publication Critical patent/CN110463213A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0016—Arrangements for synchronising receiver with transmitter correction of synchronization errors
    • H04L7/0033—Correction by delay
    • H04L7/0041—Delay of data signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序；在由HMD(100)通过内置计算机再生VR视频，并由外部计算机(200)从外部扬声器(300)输出声音的VR视听系统中，外部计算机(200)向外部扬声器(300)输出声音，并以与该声音输出同步的方式对VR视频的再生经过时间进行主管理，并且，检测HMD(100)的内置计算机进行的VR视频的再生经过时间与由外部计算机(200)进行主管理的VR视频的再生经过时间之间的差分，并对内置计算机进行的VR视频的再生进行调整，以消除检测出的差分。

Description

虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序
技术领域
本发明涉及一种虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序，尤其适用于由头戴式显示器通过内置计算机再生主内容，由外部计算机再生副内容的虚拟现实视听系统。
背景技术
近年来，让人如同现实般地体验计算机中创造的虚拟世界的虚拟现实(VR：Virtual Reality)技术越来越广泛地得到应用。VR的应用例多种多样，例如有通过在用户佩戴的HMD(头戴式显示器)中显示三维空间图像，从而用户能够在HMD上描绘的三维空间图像中虚拟地进行各种体验。
目前，还已知有一种内容再生系统，其与HMD的显示器上显示的作为主内容的影像同步地从HMD的扬声器输出作为副内容的解说声音(例如参照专利文献1)。
专利文献1：日本专利特开2011-101196号公报
发明内容
另外，也存在通过内置的计算机再生动态图像并显示动态图像的HMD。在使用这种HMD来构建带声音的VR视听系统的情况下，可以考虑下述两种方式。一种是将HMD中与动态图像一同再生的声音发送至外部扬声器并输出的方式。另一种是通过与HMD不同的外部计算机再生声音，并将再生的声音从外部扬声器输出的方式。
然而，在以后者那样的方式来构建VR视听系统的情况下，存在由HMD再生的动态图像与由外部计算机再生的外部声音之间产生时间差这一问题。尤其是在构建多个用户佩戴的各HMD中再生相同的动态图像，并通过外部计算机再生声音并从外部扬声器输出的方式的VR视听系统的情况下，有时也会在各HMD间的动态图像的再生中产生时间差。该情况下，每个用户的动态图像与外部声音的时间差各不相同。
今后还考虑提供在HMD中再生动态图像，并与该动态图像的再生相对应地通过外部计算机提示各种内容这样的演出。例如，考虑根据再生的动态图像的场景，通过外部计算机来执行静态图像的再生、文本的显示、气味的输出、对振动等的触觉的呈现、送风、控制温度、产生水雾或降水等的演出。关于这些内容的再生，同样也会产生与动态图像的再生之间产生时间差这一问题。
本发明是为了解决上述问题而完成的，其目的在于，能够使通过HMD的内置计算机再生并显示在HMD上的作为主内容的动态图像与通过外部计算机再生的副内容同步。
为了解决上述问题，在本发明中，在由HMD通过内置计算机再生动态图像，并由外部计算机控制副内容的再生的虚拟现实视听系统中，以与外部计算机进行的副内容的再生同步的方式对与内置计算机进行的动态图像的再生相关的基准再生经过时间进行主管理。并且，检测HMD中再生的动态图像的再生经过时间与外部计算机中主管理的基准再生经过时间之间的差分，并对HMD的内置计算机进行的动态图像的再生进行调整，以消除检测出的差分。
根据上述那样构成的本发明，以与副内容的再生同步的方式对动态图像的基准再生经过时间进行主管理，当该基准再生经过时间与实际的动态图像的再生经过时间之间产生差分时，对动态图像的再生进行调整以消除该差分，因此，调整后的动态图像的再生经过时间与基准再生经过时间变得同步(一致)。在此，由于基准再生经过时间与副内容的再生同步，因此，与基准再生经过时间同步的动态图像的再生也与副内容的再生同步。由此，根据本发明，能够使通过HMD的内置计算机再生并显示在HMD上的作为主内容的动态图像与通过外部计算机再生的副内容同步。
附图说明
图1是表示第一实施方式涉及的VR视听系统的构成例的图。
图2是表示第一实施方式涉及的VR视听系统的功能构成例的框图。
图3是表示第一实施方式涉及的VR视听系统的动作例的流程图。
图4是表示第二实施方式涉及的VR视听系统的构成例的图。
图5是表示第二实施方式涉及的VR视听系统的功能构成例的框图。
图6是表示第二实施方式涉及的VR视听系统的动作例的流程图。
【符号说明】
11：动态图像再生部
12：差分时间检测部
13：动态图像再生调整部
21：副内容再生部(声音再生部)
22：基准再生经过时间管理部
23：差分时间检测部
24：动态图像再生调整部
100、100’：HMD
20、200’：外部计算机
300：外部扬声器
具体实施方式
(第一实施方式)
以下，根据附图对本发明的第一实施方式进行说明。图1是表示第一实施方式涉及的虚拟现实视听系统(以下称为“VR视听系统”)的构成例的图。
第一实施方式涉及的VR视听系统的构成包括多台HMD100、外部计算机200以及外部扬声器300，其中，多台HMD100分别内置有进行虚拟现实的动态图像(以下称为“VR视频”)的再生的计算机。多台HMD100与外部计算机200之间通过有线或无线的通信网络进行连接。外部计算机200与外部扬声器300之间以有线或无线的方式连接。
在本实施方式的VR视听系统中，由多台HMD100分别通过内置计算机再生VR视频，由外部计算机200控制副内容的再生。在第一实施方式中，作为副内容的一例而使用声音。即，外部计算机200再生声音，并从外部扬声器300输出声音。如以下详细说明，在第一实施方式中，使通过多台HMD100的内置计算机分别再生的VR视频与通过外部计算机200再生的声音同步。
即，在第一实施方式中，外部计算机200执行向外部扬声器300输出声音，并以与该声音输出同步的方式对VR视频的基准再生经过时间进行主管理。另外，检测HMD100的内置计算机再生VR视频的再生经过时间与通过外部计算机200进行主管理的基准再生经过时间的差分，并对HMD100的内置计算机进行的VR视频的再生进行调整，以消除检测出的差分。
具体而言，各台HMD100的内置计算机向外部计算机200发出查询，并且，检测内置计算机再生VR视频的再生经过时间与通过外部计算机200进行主管理的基准再生经过时间的差分，并对内置计算机进行的VR视频的再生进行调整，以消除检测出的差分。例如，通过再生的快进、快退、暂时放缓等来调整内置计算机再生VR视频的位置。
图2是表示第一实施方式涉及的VR视听系统的功能构成例的框图。如图2所示，HMD100的内置计算机100A的功能构成包括通信部10、动态图像再生部11、差分时间检测部12以及动态图像再生调整部13。另外，内置计算机100A具备动态图像存储部15作为存储介质。另一方面，外部计算机200的功能构成包括通信部20、副内容再生部21以及基准再生经过时间管理部22。另外，外部计算机200具备声音存储部25作为存储介质。
HMD100的内置计算机100A所具备的各功能块10～13可以由硬件、DSP(DigitalSignal Processor、数字信号处理器)、软件中的任意一种构成。例如，在由软件构成的情况下，上述各功能块10～13的构成实际上包括计算机的CPU、RAM、ROM等，并通过运行RAM或ROM、硬盘或者半导体存储器等的记录介质中存储的程序而实现。
外部计算机200所具备的各功能块20～22也可以由硬件、DSP、软件中的任意一种构成。例如，在由软件构成的情况下，上述各功能块20～25的构成实际上包括计算机的CPU、RAM、ROM等，并通过运行RAM或ROM、硬盘或者半导体存储器等的记录介质中存储的程序而实现。
HMD100的内置计算机100A的通信部10和外部计算机200的通信部20用于进行双向数据通信。通信部10、20可以是用于进行无线通信的接口，也可以是用于进行有线通信的接口。
HMD100的动态图像存储部15存储通过虚拟现实呈现三维空间的动态图像(VR视频)的图像数据。多台HMD100各自的动态图像存储部15中存储的动态图像基本上关于同一VR视频的动态图像。另外，外部计算机200的声音存储部25存储与VR视频相关联的声音。动态图像存储部15中存储的VR视频与声音存储部25中存储的声音需要在互相同步的状态下进行再生。例如，可以考虑由动态图像存储部15存储无声的动态图像，而由声音存储部25存储该动态图像中登场的人物的对话或歌声、背景音乐等的声音这样的方式。
动态图像再生部11通过对存储于动态图像存储部15中的VR视频的图像数据进行再生，并将再生的图像数据输出至HMD100的显示器100B，从而使VR视频显示在显示器100B上。另一方面，作为副内容的一例，外部计算机200的副内容再生部21对存储于声音存储部25中的声音进行再生，并从外部扬声器300输出再生的声音。以下，将副内容再生部21称为声音再生部21。
外部计算机200的基准再生经过时间管理部22以与外部计算机200所具备的声音再生部21进行的声音再生同步的方式，对与HMD100的内置计算机100A所具备的动态图像再生部11进行的VR视频的再生相关的基准再生经过时间进行主管理。即，基准再生经过时间管理部22以与声音再生部21进行的声音的再生同步的方式对VR视频的基准再生经过时间进行主管理。
作为一例，基准再生经过时间管理部22通过与声音再生部21进行的声音再生同步地再生与HMD100的动态图像再生部11再生的VR视频相同的VR视频，从而对VR视频的基准再生经过时间进行主管理。在此，基准再生经过时间管理部22在指示HMD100的内置计算机100A开始再生VR视频的同时，开始进行基准再生经过时间的主管理。该情况下，HMD100的动态图像再生部11根据从外部计算机200经由通信部10、20发送来的指示，开始再生VR视频。由此，通过各HMD100的动态图像再生部11再生的VR视频、为了对基准再生经过时间进行主管理而通过基准再生经过时间管理部22再生的VR视频、以及通过声音再生部21再生的声音全部的再生经过时间同步。
此外，为了对基准再生经过时间进行主管理，并非必须由基准再生经过时间管理部22再生VR视频本身。例如，也可以是基准再生经过时间管理部22在声音再生部21开始再生声音的同时，指示HMD100的内置计算机100A开始再生VR视频，并且对从指示的时间点开始的经过时间进行计数，从而将该计数得到的时间作为VR视频的基准再生经过时间进行主管理。另外，也可以是基准再生经过时间管理部22在开始计数经过时间的同时，指示声音再生部21开始再生声音、以及指示HMD100的内置计算机100A开始再生VR视频。
HMD100的差分时间检测部12检测通过HMD100的动态图像再生部11再生的VR视频的再生经过时间与通过外部计算机200的基准再生经过时间管理部22进行主管理的基准再生经过时间之间的差分。具体而言，差分时间检测部12经由通信部10、20向外部计算机200的基准再生经过时间管理部22发出查询而获得基准再生经过时间，并检测该获得的基准再生经过时间与通过动态图像再生部11再生的VR视频的再生经过时间之间的差分。
如上所述，动态图像再生部11从基准再生经过时间管理部22收到开始再生视频的指示后再生VR视频，基准再生经过时间与声音再生部21再生声音的再生经过时间同步，因此，在刚开始再生VR视频之后不久的短暂期间内，通过动态图像再生部11再生的VR视频的再生经过时间与通过声音再生部21再生的声音的再生经过时间之间不会产生差分。即，VR视频的再生经过时间与通过基准再生经过时间管理部22进行主管理的基准再生经过时间之间不会产生差分。
然而，如果继续再生VR视频，则会因为HMD100的内置计算机100A的处理资源的负载量与外部计算机200的处理资源的负载量的不同、内置计算机100A的基准时钟与外部计算机200的基准时钟的误差、或者其他因素，使得HMD100中的VR视频的再生经过时间偏离外部计算机200中的声音的再生经过时间(＝VR视频的基准再生经过时间)。
因此，差分时间检测部12在动态图像再生部11开始再生VR视频之后，逐次检测上述差分。即，差分时间检测部12以规定的时间间隔定期向外部计算机200的基准再生经过时间管理部22发出查询，并逐次检测由此获得的基准再生经过时间与通过动态图像再生部11再生的VR视频的再生经过时间之间的差分。
当差分时间检测部12检测出差分时，HMD100的动态图像再生调整部13对动态图像再生部11进行的VR视频的再生进行调整，以消除该检测出的差分。此外，在通过差分时间检测部12检测出的差分的值超过规定阈值的情况下，动态图像再生调整部13对VR视频的再生进行调整。
在此，在动态图像再生部11再生VR视频的再生经过时间比基准再生经过时间慢的情况下，动态图像再生调整部13通过指示动态图像再生部11快进VR视频的再生，从而消除延迟的差分。在差分被消除的时间点停止快进，恢复为原来的正常再生。反之，在动态图像再生部11再生VR视频的再生经过时间比基准再生经过时间快的情况下，通过指示动态图像再生部11快退或放缓VR视频的再生，从而消除超前的差分。在差分被消除的时间点停止快退或放缓再生，恢复为原来的正常再生。
图3是表示以上那样构成的第一实施方式涉及的VR视听系统的动作例的流程图。此外，图3中示出了一台HMD100与外部计算机200之间交互进行的动作例，但是，在各HMD100与外部计算机200之间执行同样的动作。
首先，外部计算机200的声音再生部21开始再生存储于声音存储部25中的声音(步骤S1)。与此同时，基准再生经过时间管理部22开始进行VR视频的基准再生经过时间的主管理(即，基准再生经过时间的计数动作)(步骤S2)。另外，与此同时，基准再生经过时间管理部22经由通信部10、20向HMD100发送VR视频的再生开始指示(步骤S3)。
HMD100的动态图像再生部11根据从外部计算机200经由通信部10、20发送来的再生开始指示，开始再生存储于动态图像存储部15中的VR视频(步骤S11)。在该时间点，通过HMD100的动态图像再生部11再生的VR视频的再生经过时间、通过外部计算机200进行主管理的基准再生经过时间、以及通过声音再生部21再生的声音的再生经过时间全部同步。
然后，差分时间检测部12判断是否经过了规定时间(步骤S12)。在未经过规定时间的情况下，处理转移至步骤S17。另一方面，在经过了规定时间的情况下，差分时间检测部12经由通信部10、20向外部计算机200的基准再生经过时间管理部22发出基准再生经过时间的查询(步骤S13)。
在上述步骤S3中基准再生经过时间管理部22向HMD100发送了再生开始指示之后，基准再生经过时间管理部22判断是否存在来自HMD100的查询(步骤S4)，在没有查询的情况下，处理转移至步骤S6。另一方面，在存在查询的情况下，基准再生经过时间管理部22将此时的基准再生经过时间发送至HMD100(步骤S5)。HMD100的差分时间检测部12获取从外部计算机200发送来的基准再生经过时间。
接着，差分时间检测部12检测从外部计算机200获得的基准再生经过时间与通过动态图像再生部11再生的VR视频的再生经过时间之间的差分(步骤S14)。然后，动态图像再生调整部13判断通过差分时间检测部12检测出的差分是否超过了规定阈值(步骤S15)。在差分未超过阈值的情况下，处理转移至步骤S17。另一方面，在差分超过了阈值的情况下，动态图像再生调整部13对动态图像再生部11进行的VR视频的再生进行调整以消除该差分(步骤S16)。
然后，动态图像再生部11判断存储于动态图像存储部15中的VR视频的再生是否已结束(步骤S17)。在VR视频的再生仍未结束的情况下，处理回到步骤S12。另一方面，在VR视频的再生已结束的情况下，HMD100的处理结束。
另外，在外部计算机200中，在步骤S5中将基准再生经过时间发送至HMD100之后，声音再生部21判断存储于声音存储部25中的声音的再生是否已结束(步骤S6)。在声音的再生仍未结束的情况下，处理回到步骤S4。另一方面，在声音的再生已结束的情况下，外部计算机200的处理结束。
如上所述，由于在步骤S16中通过HMD100的动态图像再生调整部13适当地对VR视频的再生进行调整，因此，步骤S17中VR视频的再生结束的时刻与步骤S6中声音的再生结束的时刻同步。
如以上详细说明，根据第一实施方式，通过以与外部计算机200中的声音的再生同步的方式通过外部计算机200对VR视频的基准再生经过时间进行主管理，并且，当该基准再生经过时间与实际的VR视频的再生经过时间之间产生差分时，对动态图像再生部11进行的VR视频的再生进行调整以消除该差分。因此，调整后的VR视频的再生经过时间与基准再生经过时间变同步(一致)。在此，由于基准再生经过时间与声音的再生同步，因此，与基准再生经过时间同步的VR视频的再生变得也与声音的再生同步。由此，根据第一实施方式，能够使通过HMD100的内置计算机100A再生并显示在HMD100的显示器100B上的作为主内容的VR视频与通过外部计算机200再生的作为副内容的声音同步。
(第二实施方式)
接着，根据附图对本发明的第二实施方式进行说明。图4是表示第二实施方式涉及的VR视听系统的构成例的图。VR视听系统的整体构成与图1相同。然而，第二实施方式涉及的HMD100’和外部计算机200’所进行的处理内容与第一实施方式的HMD100和外部计算机200所进行的处理内容不同。
即，在第二实施方式中，外部计算机200’向各台HMD100’的内置计算机100A’发出查询，获取内置计算机100A’的VR视频的再生经过时间。然后，由外部计算机200’分别检测从各HMD100’获得的实际的再生经过时间与由外部计算机200’进行主管理的VR视频的基准再生经过时间之间的差分。在此，通过对产生了差分的HMD100’输出用于调整内置计算机100A’进行的VR视频的再生的指示，从而消除该差分。
具体而言，从外部计算机200’向多台HMD100’的内置计算机100A’输出开始再生VR视频的指示，在多台HMD100’的内置计算机100A’根据该指示同时开始再生VR视频之后，外部计算机200’检测从各HMD100’获得的VR视频的再生经过时间与基准再生经过时间之间的差分。然后，在任意一台HMD100’中检测出差分的情况下，在检测出差分的HMD100’中，根据从外部计算机200’发送至HMD100’的指示调整内置计算机100A’进行的VR视频的再生，以消除该差分。
图5是表示第二实施方式涉及的VR视听系统的功能构成例的框图。此外，在该图5中，标注与图2所示符号相同的符号的部件具有相同的功能，故此处省略重复说明。
如图5所示，HMD100’的内置计算机100A’的功能构成包括通信部10和动态图像再生部11。另外，内置计算机100A’具备动态图像存储部15作为存储介质。另一方面，外部计算机200’的功能构成包括通信部20、声音再生部21、基准再生经过时间管理部22、差分时间检测部23以及动态图像再生调整部24。另外，外部计算机200’具备声音存储部25作为存储介质。
外部计算机200’的差分时间检测部23通过经由通信部10、20向HMD100’的动态图像再生部11发出查询，获取通过动态图像再生部11再生的VR视频的再生经过时间。然后，检测该获得的VR视频的再生经过时间与通过基准再生经过时间管理部22进行主管理的基准再生经过时间之间的差分。此外，基准再生经过时间管理部22与第一实施方式同样在指示多台HMD100’的内置计算机100A’开始再生VR视频的同时，开始进行基准再生经过时间的主管理。
在此，在动态图像再生部11开始再生VR视频之后(基准再生经过时间管理部22指示HMD100’开始再生VR视频之后)，差分时间检测部23对于多台HMD100’分别逐次检测差分。即，差分时间检测部23以规定的时间间隔定期向各HMD100’发送再生经过时间的查询，并分别逐次检测由此获得的各HMD100’的再生经过时间与通过基准再生经过时间管理部22进行主管理的基准再生经过时间之间的差分。
当差分时间检测部23在任意一台HMD100’中检测出比阈值大的差分时，动态图像再生调整部24向该检测出差分的HMD100’输出用于调整动态图像再生部11进行的VR视频的再生的指示，以消除该检测出的差分。即，动态图像再生调整部24输出用于使动态图像再生部11进行的VR视频的再生快进、快退或放缓等的指示。
图6是表示以上那样构成的第二实施方式涉及的VR视听系统的动作例的流程图。此外，图6中示出了一台HMD100’与外部计算机200’之间交互进行的动作例，但是，在各台HMD100’与外部计算机200’之间执行同样的动作。
首先，外部计算机200’的声音再生部21开始再生存储于声音再生部25中的声音(步骤S31)。与此同时，基准再生经过时间管理部22开始进行VR视频的基准再生经过时间的主管理(即，基准再生经过时间的计数动作)(步骤S32)。另外，与此同时，基准再生经过时间管理部22经由通信部10、20向HMD100’发送VR视频的再生开始指示(步骤S33)。
HMD100’的动态图像再生部11根据从外部计算机200’经由通信部10、20发送来的再生开始指示，开始再生存储于动态图像存储部15中的VR视频(步骤S41)。在该时间点，通过HMD100’的动态图像再生部11再生的VR视频的再生经过时间、通过外部计算机200’进行主管理的基准再生经过时间、以及通过声音再生部21再生的声音的再生经过时间全部同步。
在上述步骤S33中基准再生经过时间管理部22向HMD100’发送了再生开始指示之后，差分时间检测部23判断是否经过了规定时间(步骤S34)。在未经过规定时间的情况下，处理转移至步骤S39。另一方面，在经过了规定时间的情况下，差分时间检测部23经由通信部10、20向HMD100’的动态图像再生部11发出VR视频的再生经过时间的查询(步骤S35)。
在上述步骤S41中动态图像再生部11开始再生VR视频之后，动态图像再生部11判断是否存在来自外部计算机200’的查询(步骤S42)，在没有查询的情况下，处理转移至步骤S46。另一方面，在存在查询的情况下，动态图像再生部11将此时的VR视频的再生经过时间发送至外部计算机200’(步骤S43)。外部计算机200’的差分时间检测部23获取从HMD100’发送来的再生经过时间。
接着，差分时间检测部23检测从HMD100’获得的VR视频的再生经过时间与通过基准再生经过时间管理部22进行主管理的基准再生经过时间之间的差分(步骤S36)。然后，动态图像再生调整部24判断通过差分时间检测部23检测出的差分是否超过了规定阈值(步骤S37)。在差分未超过阈值的情况下，处理转移至步骤S39。另一方面，在差分超过了阈值的情况下，动态图像再生调整部24向HMD100’发送用于调整动态图像再生部11进行的VR视频的再生的指示以消除该差分(步骤S38)。
在上述步骤S43中动态图像再生部11将VR视频的再生经过时间发送至外部计算机200’之后，动态图像再生部11判断是否从外部计算机200’接收到再生调整指示(步骤S44)，在未接收到指示的情况下，处理转移至步骤S46。另一方面，在接收到指示的情况下，动态图像再生部11根据该指示调整VR视频的再生(步骤S45)。
然后，动态图像再生部11判断存储于动态图像存储部15中的VR视频的再生是否已结束(步骤S46)。在VR视频的再生仍未结束的情况下，处理回到步骤S42。另一方面，在VR视频的再生已结束的情况下，HMD100’的处理结束。
另外，在外部计算机200’中，在步骤S39中，声音再生部21判断存储于声音再生部25中的声音的再生是否已结束。在声音的再生仍未结束的情况下，处理回到步骤S34。另一方面，在声音的再生已结束的情况下，外部计算机200’的处理结束。
如上所述，由于在步骤S45中按照来自外部计算机200’的动态图像再生调整部24的指示，动态图像再生部11对VR视频的再生进行适当调整，因此，步骤S46中VR视频的再生结束的时刻与步骤S39中声音的再生结束的时刻同步。
如以上详细说明，与第一实施方式同样地，在第二实施方式中也以与外部计算机200’中的声音再生同步的方式通过外部计算机200’对VR视频的基准再生经过时间进行主管理，当该基准再生经过时间与实际的VR视频的再生经过时间之间产生差分时，对动态图像再生部11进行的VR视频的再生进行调整以消除该差分。因此，调整后的VR视频的再生经过时间与基准再生经过时间变得同步(一致)。由此，根据第二实施方式，能够使通过HMD100’的内置计算机100A’再生并显示在HMD100’的显示器100B上的作为主内容的VR视频与通过外部计算机200’再生的作为副内容的声音同步。
此外，在上述第一及第二实施方式中，对于在外部计算机200、200’开始进行基准再生经过时间的主管理的同时，HMD100、100’开始再生VR动作的例子进行了说明，但本发明并不限于此。即，本发明也可以适用于与通过外部计算机200、200’进行主管理的VR视频的基准再生经过时间不同步地通过HMD100、100’的内置计算机100A、100A’开始再生VR动作的情况。
例如，并非多台HMD100、100’中的一台从外部计算机200、200’收到再生开始的指示并开始再生VR视频，而是想从其他HMD100、100’中已在进行VR视频的再生的中途开始再生VR视频的情况符合该非同步再生。或者，在多台HMD100、100’从外部计算机200、200’收到再生开始的指示并开始再生VR视频之后，其中一台在暂时停止再生VR视频后重新开始再生的情况、或者一台在再生中途因为发生不良情况而欲从最初开始进行再生的情况等也符合该非同步再生。
在HMD100、100’中进行上述那样的非同步再生的情况下，能够检测内置计算机100A、100A’开始再生VR视频的再生开始时间与通过外部计算机200、200’进行主管理的VR视频的基准再生经过时间之间的差分，并对内置计算机100A、100A’进行的VR视频的再生进行调整，以消除检测出的差分。
该情况下，在与基准再生经过时间不同步地开始再生VR视频的情况下，差分时间检测部12、23在该VR视频的再生开始的时刻检测差分。然后，动态图像再生调整部13、24使与基准再生经过时间不同步地开始再生VR视频的HMD100、100’的内置计算机100A、100A’调整VR视频的再生，以消除通过差分时间检测部12、23检测出的差分。
另外，在上述第一及第二实施方式中，对于使用多台HMD100、100’的例子进行了说明，但也可以是一台HMD100、100’。该情况下，也是从外部计算机200、200’向HMD100、100’的内置计算机100A、100A’输出开始再生VR视频的指示，内置计算机100A、100A’根据该指示开始再生VR视频之后，在检测出上述差分的情况下，对内置计算机100A、100A’进行的VR视频的再生进行调整，以消除检测出的差分。
另外，在上述第一及第二实施方式中，对HMD100、100’将VR视频的图像数据预先存储在动态图像存储部15中的例子进行了说明，但本发明并不限于此。例如，也可以将VR视频的图像数据预先存储于外部计算机200、200’中，一边将图像数据从外部计算机200、200’发送至HMD100、100’并依次存储于动态图像存储部15中，一边由动态图像再生部11从动态图像存储部15读出图像数据并进行VR视频的再生。
另外，在上述第一及第二实施方式中，对于使VR视频的再生与声音输出同步的例子进行了说明，但本发明并不限于此。即，也可以是由HMD100、100’通过内置计算机100A、100A’再生VR视频作为主内容，由外部计算机200、200’从外部设备再生声音以外的副内容这样的VR视听系统。
该情况下，外部计算机200、200’执行相对于外部设备的副内容的再生，并且以与该副内容的再生同步的方式对VR视频的基准再生经过时间进行主管理。然后，检测HMD100、100’的内置计算机100A、100A’再生VR视频的再生经过时间与通过外部计算机200、200’进行主管理的VR视频的基准再生经过时间之间的差分，并对内置计算机100A、100A’进行的VR视频的再生进行调整，以消除检测出的差分。
作为声音以外的副内容的再生，可以使用动态图像再生、文本显示、气味输出、对振动等的触觉呈现、送风、温度控制、水雾或降水的产生等。在此，与上述声音的再生同样地，副内容的再生可以是在VR视频的再生开始至再生结束的期间持续进行同步再生的方式，也可以是在VR视频的再生开始至再生结束的期间中的规定时刻断续进行同步再生的方式。
此外，上述第一及第二实施方式均仅表示本发明的具体实施方式的一例，并不能据此限定性地解释本发明的技术范围。即，本发明能够在不脱离其主旨或其主要特征的情况下以各种形态实施。

Claims (11)

1.一种虚拟现实视听系统，其由头戴式显示器通过内置计算机再生动态图像，并由外部计算机控制副内容的再生，
所述虚拟现实视听系统的特征在于，具备：
基准再生经过时间管理部，其以与所述外部计算机进行的所述副内容的再生同步的方式，对与所述内置计算机进行的所述动态图像的再生相关的基准再生经过时间进行主管理；
差分时间检测部，其检测通过所述头戴式显示器的所述内置计算机再生的动态图像的再生经过时间与通过所述基准再生经过时间管理部进行主管理的所述基准再生经过时间之间的差分；以及
动态图像再生调整部，其对所述头戴式显示器的所述内置计算机进行的所述动态图像的再生进行调整，以消除所述差分时间检测部检测出的差分。
2.如权利要求1所述的虚拟现实视听系统，其特征在于，
所述外部计算机具备控制所述副内容的再生的副内容再生部和所述基准再生经过时间管理部；
所述头戴式显示器的所述内置计算机具备再生所述动态图像的动态图像再生部、所述差分时间检测部以及所述动态图像再生调整部；
所述头戴式显示器的所述差分时间检测部向所述外部计算机的所述基准再生经过时间管理部发出查询而获取所述基准再生经过时间，并检测该获得的所述基准再生经过时间与通过所述动态图像再生部再生的动态图像的再生经过时间之间的差分；
所述头戴式显示器的所述动态图像再生调整部对所述动态图像再生部进行的所述动态图像的再生进行调整，以消除所述差分时间检测部检测出的差分。
3.如权利要求1所述的虚拟现实视听系统，其特征在于，
所述外部计算机具备控制所述副内容的再生的副内容再生部、所述基准再生经过时间管理部、所述差分时间检测部以及所述动态图像再生调整部；
所述头戴式显示器的所述内置计算机具备再生所述动态图像的动态图像再生部；
所述外部计算机的所述差分时间检测部通过向所述头戴式显示器的所述动态图像再生部发出查询而获取通过所述动态图像再生部再生的动态图像的再生经过时间，并检测该获得的动态图像的再生经过时间与通过所述基准再生经过时间管理部进行主管理的所述基准再生经过时间之间的差分；
所述外部计算机的所述动态图像再生调整部向所述头戴式显示器输出用于调整所述动态图像再生部进行的所述动态图像的再生的指示，以消除通过所述差分时间检测部检测出的差分。
4.如权利要求1至3中任一项所述的虚拟现实视听系统，其特征在于，
所述外部计算机的所述基准再生经过时间管理部在指示所述头戴式显示器的所述内置计算机开始再生所述动态图像的同时，开始进行所述基准再生经过时间的主管理；
所述头戴式显示器的所述内置计算机根据所述指示开始再生所述动态图像；
所述差分时间检测部在所述动态图像的再生开始后逐次检测所述差分；
当通过所述差分时间检测部检测出所述差分时，所述动态图像再生调整部对所述内置计算机进行的所述动态图像的再生进行调整，以消除该检测出的差分。
5.如权利要求1至3中任一项所述的虚拟现实视听系统，其特征在于，
所述外部计算机的所述基准再生经过时间管理部在指示多台所述头戴式显示器的所述内置计算机开始再生所述动态图像的同时，开始进行所述基准再生经过时间的主管理；
所述多台头戴式显示器的所述内置计算机根据所述指示开始再生所述动态图像；
所述差分时间检测部在所述动态图像的再生开始后，针对所述多台头戴式显示器分别逐次检测所述差分；
当通过所述差分时间检测部在任意一台头戴式显示器中检测出所述差分时，所述动态图像再生调整部对检测出该差分的头戴式显示器中的所述内置计算机进行的所述动态图像的再生进行调整，以消除该检测出的差分。
6.如权利要求1至3中任一项所述的虚拟现实视听系统，其特征在于，
所述头戴式显示器的所述内置计算机能够与通过所述外部计算机的所述基准再生经过时间管理部进行主管理的所述基准再生经过时间不同步地开始再生所述动态图像；
在与所述基准再生经过时间不同步地开始再生所述动态图像的情况下，所述差分时间检测部在该动态图像的再生开始的时刻检测所述差分；
所述动态图像再生调整部针对与所述基准再生经过时间不同步地开始再生所述动态图像的所述内置计算机调整所述动态图像的再生，以消除通过所述差分时间检测部检测出的差分。
7.如权利要求1至6中任一项所述的虚拟现实视听系统，其特征在于，
所述外部计算机的所述副内容再生部是再生声音并输出至外部扬声器的声音再生部；
所述基准再生经过时间管理部以与所述声音再生部进行的所述声音的再生同步的方式对所述动态图像的基准再生经过时间进行主管理。
8.如权利要求7所述的虚拟现实视听系统，其特征在于，
所述基准再生经过时间管理部通过与所述声音再生部进行的所述声音的再生同步地再生与所述头戴式显示器的所述内置计算机再生的动态图像相同的动态图像，从而对所述动态图像的基准再生经过时间进行主管理。
9.一种再生同步方法，其用于使由头戴式显示器通过内置计算机进行的动态图像的再生与由外部计算机进行的副内容的再生同步，
所述再生同步方法的特征在于，包括：
第一步骤：所述外部计算机的基准再生经过时间管理部以与所述外部计算机进行的所述副内容的再生同步的方式，对与所述内置计算机进行的所述动态图像的再生相关的基准再生经过时间进行主管理；
第二步骤：所述内置计算机或所述外部计算机的差分时间检测部检测通过所述头戴式显示器的所述内置计算机再生的动态图像的再生经过时间与通过所述基准再生经过时间管理部进行主管理的所述基准再生经过时间之间的差分；以及
第三步骤：所述内置计算机或所述外部计算机的动态图像再生调整部对所述头戴式显示器的所述内置计算机进行的所述动态图像的再生进行调整，以消除通过所述差分时间检测部检测出的差分。
10.一种计算机可读取的虚拟现实视听用程序，所述虚拟现实视听用程序在由头戴式显示器通过内置计算机再生动态图像，并由外部计算机控制副内容的再生的虚拟现实视听系统中，适用于所述内置计算机；
所述虚拟现实视听用程序的特征在于，使所述内置计算机作为动态图像再生手段、差分时间检测手段以及动态图像再生调整手段发挥功能；
所述动态图像再生手段再生所述动态图像；
所述差分时间检测手段通过向所述外部计算机发出查询而获取基准再生经过时间，并检测该获得的所述基准再生经过时间与通过所述动态图像再生部再生的动态图像的再生经过时间之间的差分，其中，所述基准再生经过时间是针对所述内置计算机进行的所述动态图像的再生而由所述外部计算机以与所述外部计算机进行的所述副内容的再生同步的方式进行主管理；
所述动态图像再生调整手段对所述动态图像再生手段进行的所述动态图像的再生进行调整，以消除通过所述差分时间检测手段检测出的差分。
11.一种计算机可读取的虚拟现实视听用程序，所述虚拟现实视听用程序在由头戴式显示器通过内置计算机再生动态图像，并由外部计算机控制副内容的再生的虚拟现实视听系统中，适用于所述外部计算机；
所述虚拟现实视听用程序的特征在于，使所述外部计算机作为副内容再生手段、基准再生经过时间管理手段、差分时间检测手段以及动态图像再生调整手段发挥功能；
所述副内容再生手段控制所述副内容的再生；
所述基准再生经过时间管理手段以与所述外部计算机进行的所述副内容的再生同步的方式，对与所述内置计算机进行的所述动态图像的再生相关的基准再生经过时间进行主管理；
所述差分时间检测手段通过向所述头戴式显示器的所内置计算机发出查询而获取通过所述内置计算机再生的动态图像的再生经过时间，并检测该获得的动态图像的再生经过时间与通过所述基准再生经过时间管理手段进行主管理的所述基准再生经过时间之间的差分；
所述动态图像再生调整手段向所述头戴式显示器输出用于调整所述内置计算机进行的所述动态图像的再生的指示，以消除通过所述差分时间检测手段检测出的差分。
CN201780088659.9A 2017-03-22 2017-08-03 虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序 Pending CN110463213A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-056476 2017-03-22
JP2017056476 2017-03-22
PCT/JP2017/028272 WO2018173312A1 (ja) 2017-03-22 2017-08-03 仮想現実視聴システム、再生同期方法および仮想現実視聴用プログラム

Publications (1)

Publication Number Publication Date
CN110463213A true CN110463213A (zh) 2019-11-15

Family

ID=63585168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780088659.9A Pending CN110463213A (zh) 2017-03-22 2017-08-03 虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序

Country Status (5)

Country Link
US (1) US10805063B2 (zh)
EP (1) EP3609191A4 (zh)
JP (1) JP6506493B2 (zh)
CN (1) CN110463213A (zh)
WO (1) WO2018173312A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11856275B1 (en) * 2022-10-19 2023-12-26 For Eyes Ug (Haftungsbeschraenkt) Video reproduction system and media reproduction system and method of synchronized reproducing of a video data stream of an audio-visual data stream and computer-readable storage medium
WO2024091630A1 (en) * 2022-10-26 2024-05-02 John Kellogg Latency compensation between coordinated player devices

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3428151B2 (ja) 1994-07-08 2003-07-22 株式会社セガ 画像表示装置を用いた遊戯装置
US8743284B2 (en) * 2007-10-08 2014-06-03 Motorola Mobility Llc Synchronizing remote audio with fixed video
JP2011101196A (ja) 2009-11-06 2011-05-19 Nikon Corp コンテンツ再生システム
WO2011096201A1 (ja) * 2010-02-04 2011-08-11 パナソニック株式会社 情報再生装置および情報再生方法
JP5060649B1 (ja) * 2011-09-30 2012-10-31 株式会社東芝 情報再生装置及び情報再生方法
JP2014112766A (ja) * 2012-12-05 2014-06-19 Toshiba Corp 電子機器、制御方法、及び制御プログラム
JP5740418B2 (ja) * 2013-02-01 2015-06-24 株式会社日立製作所 同期動画再生システム
US20160119507A1 (en) * 2014-10-28 2016-04-28 Barco, Inc. Synchronized media servers and projectors
US10015370B2 (en) * 2015-08-27 2018-07-03 Htc Corporation Method for synchronizing video and audio in virtual reality system

Also Published As

Publication number Publication date
US20200007306A1 (en) 2020-01-02
JP6506493B2 (ja) 2019-04-24
EP3609191A4 (en) 2020-12-16
US10805063B2 (en) 2020-10-13
EP3609191A1 (en) 2020-02-12
JPWO2018173312A1 (ja) 2019-04-18
WO2018173312A1 (ja) 2018-09-27

Similar Documents

Publication Publication Date Title
US10514762B2 (en) Information processing apparatus, information processing method, and program
KR102261452B1 (ko) 햅틱 피드백 제공을 위한 제어 트랙의 변환 방법 및 장치
US20190073187A1 (en) Synchronizing Operations Among a Plurality of Independently Clocked Digital Data Processing Devices
CN102866828B (zh) 一种终端控制方法和设备
CN109218795A (zh) 一种多设备播放进度同步方法、装置及终端设备
CN106095069A (zh) 触觉回放调节系统
US20140160352A1 (en) Deriving visual rhythm from video signals
US10560657B2 (en) Systems and methods for intelligently synchronizing events in visual content with musical features in audio content
KR101166225B1 (ko) 멀티미디어 재생시스템 및 이를 이용한 멀티미디어의 재생방법
CN103747332B (zh) 一种视频的平滑处理方法和装置
CN104754277B (zh) 信息处理设备及信息处理方法
CA3011865A1 (en) Media recognition and synchronisation to a motion signal
CN105898500A (zh) 网络视频播放方法及装置
CN101815226A (zh) 影像调整装置及影像调整方法
CN110463213A (zh) 虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序
GB2523635A (en) Audio and video synchronizing
CN108366299A (zh) 一种媒体播放方法以及装置
CN109167890A (zh) 一种音画同步方法和装置及显示设备
CN105898504A (zh) 一种音视频同步方法及装置
JP2023101606A (ja) コンピュータプログラム、方法及びサーバ装置
CN105284095B (zh) 用于接收来自远程服务器的媒体内容的媒体播放器
CN114245036B (zh) 视频制作方法及装置
JP6513704B2 (ja) 通信装置、およびデータ処理方法
CN105611401B (zh) 一种视频剪辑的方法和装置
CN105323653B (zh) 一种播放片段视频的方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191115