CN106792133A - 虚拟现实服务器、视频数据传输方法及系统 - Google Patents

虚拟现实服务器、视频数据传输方法及系统 Download PDF

Info

Publication number
CN106792133A
CN106792133A CN201611261069.5A CN201611261069A CN106792133A CN 106792133 A CN106792133 A CN 106792133A CN 201611261069 A CN201611261069 A CN 201611261069A CN 106792133 A CN106792133 A CN 106792133A
Authority
CN
China
Prior art keywords
virtual reality
video data
nic
central processing
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611261069.5A
Other languages
English (en)
Inventor
冀智刚
夏寅贲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huawei Digital Technologies Co Ltd
Original Assignee
Beijing Huawei Digital Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huawei Digital Technologies Co Ltd filed Critical Beijing Huawei Digital Technologies Co Ltd
Priority to CN201611261069.5A priority Critical patent/CN106792133A/zh
Publication of CN106792133A publication Critical patent/CN106792133A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种虚拟现实服务器、视频数据传输方法及系统，属于虚拟现实技术领域。虚拟现实服务器包括：中央处理器、与中央处理器相连的图形处理器、与图形处理器或中央处理器相连的网络接口卡；中央处理器，用于生成虚拟现实场景的视频渲染指令；图形处理器，用于根据视频渲染指令渲染出虚拟现实视频数据；中央处理器和/或网络接口卡，用于对虚拟现实视频数据进行压缩编码以及数据封装；网络接口卡，用于向虚拟现实设备发送封装后的虚拟现实视频数据；由于虚拟现实服务器可以直接通过网络接口卡使用网络对虚拟现实视频数据进行长距离传输，不需要使用信号延长设备，避免了视频信号编解码，缩短了虚拟现实视频数据的传输时延。

Description

虚拟现实服务器、视频数据传输方法及系统
技术领域
本发明实施例涉及虚拟现实技术领域，特别涉及一种虚拟现实服务器、视频数据传输方法及系统。
背景技术
目前，虚拟现实(Virtual Reality，VR)技术正在不断发展和进步，虚拟现实技术是由诸如VR头盔和VR眼镜之类的虚拟现实设备，以及为虚拟现实设备提供服务的虚拟现实服务器来共同实现的。虚拟现实设备中通常设置有各类传感器，传感器用于感知用户的行为动作。虚拟现实设备会将在用户的运动过程中采集到的虚拟现实场景的控制数据发送给虚拟现实服务器，虚拟现实服务器生成虚拟现实场景的视频渲染指令，根据接收到的控制数据对视频渲染指令中的视频帧进行处理，生成与用户的动作相适应的处理后的视频渲染指令，并对处理后的视频渲染指令进行渲染，生成虚拟现实视频数据，并将虚拟现实视频数据发送给虚拟现实设备进行播放，使得用户观看到与用户的动作相适应的虚拟现实场景。在虚拟现实技术的使用过程中，为了提高虚拟现实服务器的利用率，可以采用分布式的虚拟现实服务器，由分布式的虚拟现实服务器基于网络将虚拟现实视频数据传输给虚拟现实设备。
在相关技术中，为了实现虚拟现实视频数据的长距离无衰减的通信，虚拟现实服务器120需要通过信号延长设备140与虚拟现实设备160相连，信号延长设备140通常是高清晰度多媒体接口(High Definition Multimedia Interface，HDMI)信号延长器，如图1所示。具体的，虚拟现实服务器120通过HDMI线与HDMI信号延长器的发送端141相连，虚拟现实设备160通过HDMI线与HDMI信号延长器的接收端142相连，HDMI信号延长器的发送端141与接收端142之间通过网络线缆相连。虚拟现实服务器120对虚拟现实视频数据进行压缩编码后发送给HDMI信号延长器的发送端141。由于虚拟现实服务器120输出的数据的格式与HDMI信号延长器的发送端141输出的数据的格式不同，因此，HDMI信号延长器的发送端141会先对压缩后的虚拟现实视频数据进行解码，得到原始的虚拟现实视频数据，再重新对虚拟现实视频数据进行压缩编码得到压缩后的虚拟现实视频数据，再对压缩后的虚拟现实视频数据进行数据封装生成封装后的虚拟现实视频数据，并通过网络线缆将封装后的虚拟现实视频数据发送给HDMI信号延长器的接收端142，HDMI信号延长器的接收端142对封装后的的虚拟现实视频数据进行解封装和解码得到原始的虚拟现实视频数据，将原始的虚拟现实视频数据发送给虚拟现实设备进行展示。
在通过信号延长设备进行长距离通信的过程中，虚拟现实服务器输出的虚拟现实视频数据需要经过“压缩编码-传输-解码-压缩编码-传输-解码”的过程才能发送给虚拟现实设备，虚拟现实视频数据传输过程所需的时间较长，用户执行某一动作与用户在虚拟现实设备中观看到与该动作相适应的虚拟现实场景中间的时延通常会达到33ms，不符合业界规定的时延小于20ms的规定，容易使用户在观看过程中产生眩晕感。
发明内容
本发明实施例提供了一种虚拟现实服务器、视频数据传输方法及系统。以解决虚拟现实服务器通过信号延长设备使用网络对虚拟现实视频数据进行长距离传输时，导致的虚拟现实视频数据传输过程中的时延较长的问题，所述技术方案如下：
第一方面，本发明实施例提供了一种虚拟现实服务器，该虚拟现实服务器包括：中央处理器、与中央处理器相连的图形处理器、与图形处理器或中央处理器相连的网络接口卡；中央处理器，用于接收与虚拟现实场景相应的控制数据以及生成虚拟现实场景的视频渲染指令；图形处理器，用于根据视频渲染指令渲染出虚拟现实视频数据；中央处理器和/或网络接口卡，用于对虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的虚拟现实视频数据；网络接口卡，用于向虚拟现实设备发送处理后的虚拟现实视频数据，虚拟现实设备用于播放处理后的虚拟现实视频数据。
在本实施例中，通过在虚拟现实服务器中增加具有数据封装能力和网络传输能力的网络接口卡，使得虚拟服务器在生成虚拟现实视频数据后，可以直接对虚拟现实视频数据执行压缩编码和数据封装等数据处理，并通过网络将处理后的虚拟现实视频数据发送给虚拟现实设备进行播放，在通过网络实现虚拟现实视频数据的长距离传输时，不需要经过信号延长设备，避免了信号延长设备对虚拟现实视频数据进行数据处理时产生的时延，避免了视频信号编解码，缩短了虚拟现实视频数据在通过网络进行长距离传输过程的时延，优化了虚拟现实视频数据通过网络进行长距离传输时的传输过程。
在第一方面的第一种可能的实现方式中，网络接口卡与图形处理器相连；网络接口卡，用于从图形处理器中依次获取图形处理器渲染出的视频帧中的每一个显示行对应的虚拟现实视频数据；网络接口卡，还用于对获取到的显示行对应的虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的虚拟现实视频数据。
在该可能的实现方式中，虚拟现实服务器通过网络接口卡依次获取每一个显示行对应的虚拟现实视频数据进行压缩编码，由于网络接口卡在图形处理器生成一个显示行对应的虚拟现实视频数据后，就能对该显示行对应的虚拟现实视频数据进行压缩编码，而不需要等待图形处理器生成整一个视频帧的虚拟现实视频数据后才进行压缩编码，避免了网络接口卡在等待图形处理器生成整一个视频帧的虚拟现实视频数据过程中产生的时延，缩短了虚拟现实视频数据在通过网络进行长距离传输过程的时延。
在第一方面的第二种可能的实现方式中，网络接口卡与中央处理器相连；中央处理器，用于从图形处理器中依次获取图形处理器渲染出的视频帧中的每一个显示行对应的虚拟现实视频数据；中央处理器，还用于对获取到的显示行对应的虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的虚拟现实视频数据；中央处理器，还用于将压缩后的虚拟现实视频数据发送给网络接口卡。
在该可能的实现方式中，虚拟现实服务器通过中央处理器依次获取每一个显示行对应的虚拟现实视频数据进行压缩编码，由于中央处理器在图形处理器生成一个显示行对应的虚拟现实视频数据后，就能对该显示行对应的虚拟现实视频数据进行压缩编码，而不需要等待图形处理器生成整一个视频帧的虚拟现实视频数据后才进行压缩编码，避免了中央处理器在等待图形处理器生成整一个视频帧的虚拟现实视频数据过程中产生的时延，缩短了虚拟现实视频数据在通过网络进行长距离传输过程的时延。
结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，中央处理器还与网络接口卡相连。
结合第一方面、第一方面的第一种可能的实现方式、第一方面的第二种可能的实现方式，以及第一方面的第三种可能的实现方式中的任意一种可能的实现方式，在第一方面的第四种可能的实现方式中，中央处理器和/或网络接口卡，还用于按照UDP/IP协议将压缩后的虚拟现实视频数据封装在IP报文中；中央处理器和/或网络接口卡，还用于按照以太网协议将IP报文封装在以太网报文中。
第二方面，本发明实施例提供了一种虚拟现实视频数据传输方法，该方法用于如上述第一方面所示的虚拟现实服务器中，该方法包括：通过中央处理器接收与虚拟现实场景相应的控制数据以及生成虚拟现实场景的视频渲染指令；通过图形处理器根据视频渲染指令渲染出虚拟现实视频数据；通过中央处理器和/或网络接口卡对虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的虚拟现实视频数据；通过网络接口卡向虚拟现实设备发送处理后的虚拟现实视频数据，虚拟现实设备用于播放处理后的虚拟现实视频数据。
在本实施例中，通过在虚拟现实服务器中增加具有数据封装能力和网络传输能力的网络接口卡，使得虚拟服务器在生成虚拟现实视频数据后，可以直接对虚拟现实视频数据执行压缩编码和数据封装等数据处理，并通过网络将处理后的虚拟现实视频数据发送给虚拟现实设备进行播放，在通过网络实现虚拟现实视频数据的长距离传输时，不需要经过信号延长设备，避免了信号延长设备对虚拟现实视频数据进行数据处理时产生的时延，避免了视频信号的编解码，缩短了虚拟现实视频数据在通过网络进行长距离传输过程的时延，优化了虚拟现实视频数据通过网络进行长距离传输时的传输过程。
在第二方面的第一种可能的实现方式中，网络接口卡与图形处理器相连；通过网络接口卡对虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的虚拟现实视频数据，包括：通过网络接口卡从图形处理器中依次获取图形处理器渲染出的视频帧中的每一个显示行对应的虚拟现实视频数据；通过网络接口卡对获取到的显示行对应的虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的虚拟现实视频数据。
在该可能的实现方式中，虚拟现实服务器通过网络接口卡依次获取每一个显示行对应的虚拟现实视频数据进行压缩编码，由于网络接口卡在图形处理器生成一个显示行对应的虚拟现实视频数据后，就能对该显示行对应的虚拟现实视频数据进行压缩编码，而不需要等待图形处理器生成整一个视频帧的虚拟现实视频数据后才进行压缩编码，避免了网络接口卡在等待图形处理器生成整一个视频帧的虚拟现实视频数据过程中产生的时延，缩短了虚拟现实视频数据在通过网络进行长距离传输过程的时延。
在第二方面的第二种可能的实现方式中，网络接口卡与中央处理器相连，中央处理器还与网络接口卡相连；通过中央处理器对虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的虚拟现实视频数据，包括：通过中央处理器从图形处理器中依次获取图形处理器渲染出的视频帧中的每一个显示行对应的虚拟现实视频数据；通过中央处理器对获取到的显示行对应的虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的虚拟现实视频数据；通过中央处理器将处理后的虚拟现实视频数据发送给网络接口卡。
在该可能的实现方式中，虚拟现实服务器通过中央处理器依次获取每一个显示行对应的虚拟现实视频数据进行压缩编码，由于中央处理器在图形处理器生成一个显示行对应的虚拟现实视频数据后，就能对该显示行对应的虚拟现实视频数据进行压缩编码，而不需要等待图形处理器生成整一个视频帧的虚拟现实视频数据后才进行压缩编码，避免了中央处理器在等待图形处理器生成整一个视频帧的虚拟现实视频数据过程中产生的时延，缩短了虚拟现实视频数据在通过网络进行长距离传输过程的时延。
结合第二方面、第二方面的第一种可能的实现方式，以及第二方面的第二种可能的实现方式中的任意一种可能的实现方式，在第二方面的第三种可能的实现方式中，通过中央处理器和/或网络接口卡对虚拟现实视频数据进行数据封装，包括：通过中央处理器和/或网络接口卡按照UDP/IP协议将压缩后的虚拟现实视频数据封装在IP报文中；通过中央处理器和/或网络接口卡按照以太网协议将IP报文封装在以太网报文中。
第三方面，本发明实施例提供了一种虚拟现实视频数据传输系统，该系统包括：虚拟现实服务器和虚拟现实设备；虚拟现实服务器，用于通过中央处理器接收与虚拟现实场景相应的控制数据以及生成虚拟现实场景的视频渲染指令；通过图形处理器根据视频渲染指令渲染出虚拟现实视频数据；通过中央处理器和/或网络接口卡对虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的虚拟现实视频数据；通过网络接口卡向虚拟现实设备发送处理后的虚拟现实视频数据，虚拟现实设备用于播放处理后的虚拟现实视频数据；虚拟现实设备，用于接收虚拟现实服务器发送的处理后的虚拟现实视频数据，并播放处理后的虚拟现实视频数据。
在本实施例中，通过在虚拟现实服务器中增加具有数据封装能力和网络传输能力的网络接口卡，使得虚拟服务器在生成虚拟现实视频数据后，可以直接对虚拟现实视频数据执行压缩编码和数据封装等数据处理，并通过网络将处理后的虚拟现实视频数据发送给虚拟现实设备进行播放，在通过网络实现虚拟现实视频数据的长距离传输时，不需要经过信号延长设备，避免了信号延长设备对虚拟现实视频数据进行数据处理时产生的时延，缩短了虚拟现实视频数据在通过网络进行长距离传输过程的时延，优化了虚拟现实视频数据通过网络进行长距离传输时的传输过程。
附图说明
图1是现有技术中的虚拟现实视频数据传输系统的结构示意图；
图2是本发明一个示例性实施例提供的虚拟现实视频数据传输系统的结构示意图；
图3是本发明另一个示例性实施例提供的虚拟现实视频数据传输系统的结构示意图；
图4是本发明一个示例性实施例提供的虚拟现实服务器的结构示意图；
图5是本发明另一个示例性实施例提供的虚拟现实服务器的结构示意图；
图6是本发明一个示例性实施例提供的虚拟现实视频数据传输方法的流程图；
图7是本发明另一个示例性实施例提供的虚拟现实视频数据传输方法的流程图；
图8是本发明另一个示例性实施例提供的虚拟现实视频数据传输方法的交互示意图；
图9是本发明另一个示例性实施例提供的虚拟现实视频数据传输方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例进行阐述。
请参考图2，其示出了本发明一示例性实施例提供的虚拟现实视频数据传输系统的结构示意图，该系统包括：虚拟现实设备220和虚拟现实服务器240。
虚拟现实设备220是诸如虚拟现实眼镜和虚拟现实头盔之类的设备，虚拟现实设备220具有通过播放虚拟现实视频数据以展示虚拟现实场景的能力。在实际实现时，虚拟现实设备220通常作为头戴式设备穿戴在用户身上。
可选的，虚拟现实设备220中设置有传感器260，可选的，传感器260包括视场角(Field Of View，FOV)深度传感器、陀螺仪、加速计、磁力计、近距离传感器、摄像头和麦克风中的至少一种。传感器260用于采集用户对虚拟现实场景进行控制的控制数据，控制数据包括通过感知用户的行为采集到的用户的动作数据，比如，控制数据包括采集到的用户的头部转动的数据，再比如，控制数据包括采集到的用户眼球转动的数据。可选的，控制数据还包括通过感知用户所处的环境采集到的环境的图像数据和/或音频数据，比如，控制数据包括用户在伸手过程中通过摄像头拍摄到的用户的手的图像数据，再比如，控制数据包括用户说话过程中通过麦克风采集到的音频数据。
虚拟现实设备220通过无线网络或者有线网络的方式与虚拟现实服务器240相连。
虚拟现实服务器240是用于为虚拟现实设备220提供后台服务的服务器，虚拟现实服务器240具有生成虚拟现实视频数据并对虚拟现实视频数据进行处理的能力。虚拟现实服务器240是一台服务器，或者是由若干台服务器组成的服务器集群，或者是一个云计算服务中心。
在其他可选的实施例中，图2所示的虚拟现实视频数据传输系统中还可以包括交互设备280，如图3所示。
交互设备280用于通过感知用户的行为和/或通过感知用户所处的环境来采集用户对虚拟现实场景进行控制的控制数据。交互设备280是诸如按键手柄和键盘等按键类的设备，或者是诸如体感手柄、体感手套和体感腰带等体感类的设备，体感类的交互设备280中通常设置有传感器，传感器的含义可以结合上述传感器260，本实施例对此不再赘述。在实际实现时，交互设备280通常由用户进行控制或者穿戴在用户身上。需要说明的是，在图3所示的实施例中，虚拟现实设备220中也可以不设置有传感器260。
交互设备280通过无线网络或者有线网络的方式与虚拟现实服务器240相连。
请参考图4，其示出了图2或图3所示的系统中的虚拟现实服务器240的结构示意图，该虚拟现实服务器240包括：中央处理器(Central Processing Unit，CPU)41、图形处理器(Graphics Processing Unit，GPU)42和网络接口卡(Network Information Center，NIC)43。
中央处理器41包括一个或者一个以上处理核心，中央处理器41用于执行虚拟现实服务器的各种功能应用以及用于进行数据处理，中央处理器41用于输出与用户的行为相适应的虚拟现实场景的视频渲染指令。
中央处理器41与图形处理器42相连，中央处理器41会将输出的视频渲染指令发送给图形处理器42。图形处理器42包括一个或者一个以上处理核心，图形处理器42用于根据接收到的视频渲染指令进行渲染或其他图像处理操作，从而生成并输出与用户的行为相适应的虚拟现实场景的虚拟现实视频数据。
图形处理器42与网络接口卡43相连，图形处理器42会将生成的虚拟现实视频数据发送给网络接口卡42。网络接口卡42具有数据封装能力和数据传输能力，虚拟现实服务器通过网络接口卡42与网络相连。可选的，网络接口卡42还具有对数据进行压缩编码的能力，网络接口卡42用于对接收到的虚拟现实视频数据进行压缩编码和数据封装，并对经过压缩编码和数据封装后的虚拟现实视频数据进行传输。
可选的，虚拟现实服务器240中通常还包括图形处理器缓存(Buffer)44，则图形处理器42通常并不是直接与网络接口卡43相连的，而是通过图形处理器缓存44与网络接口卡43相连，如图4所示。图形处理器42在生成虚拟现实视频数据后，将虚拟现实视频数据发送至图形处理器缓存44，图形处理器缓存44用于对接收到的虚拟现实视频数据进行缓存。网络接口卡43从图形处理器缓存44中获取虚拟现实视频数据，并对虚拟现实视频数据进行压缩编码、数据封装以及数据传输。
可选的，虚拟现实服务器240中还包括现有的视频传输接口45，视频传输接口45与图形处理器42相连或者与图形处理器缓存44相连，虚拟现实服务器用于通过视频传输接口45将虚拟现实视频数据发送给预定距离范围内的虚拟现实设备进行播放，预定距离范围通常是一个距离较短的经验值。可选的，视频传输接口45包括HDMI接口、数字视频接口(Digital Visual Interface，DVI)和显示接口(DisplayPort，DP)中的至少一种。
在其他可选的实施例中，网络接口卡42也可以不具备对数据进行压缩编码的能力，则本实施例的网络接口卡42是现有的网络接口卡。则中央处理器41与图形处理器42相连或者通过图形处理器缓存44与图形处理器42相连，如图5所示。
图形处理器42在生成虚拟现实视频数据后，将生成的虚拟现实视频数据发送至中央处理器41；或者，图形处理器42将生成的虚拟现实视频数据发送至图形处理器缓存44后，由中央处理器41从图形处理器缓存44中获取虚拟现实视频数据。中央处理器41用于对虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的虚拟现实视频数据。
中央处理器41还与网络接口卡43相连，中央处理器41用于将处理后的虚拟现实视频数据发送给网络接口卡43，由网络接口卡43对处理后的虚拟现实视频数据进行数据传输。
请参考图6，其示出了本发明一个示例性实施例提供的虚拟现实视频数据传输方法的流程图，本实施例以该方法应用于上述图4或图5所示的虚拟现实服务器中进行说明，该方法包括：
步骤601，通过中央处理器接收与虚拟现实场景相应的控制数据以及生成虚拟现实场景的视频渲染指令。
可选的，当该方法应用于上述图2所示的系统中时，虚拟现实服务器通过中央处理器接收虚拟现实设备发送的控制数据。可选的，当该方法应用于上述图3所示的系统中时，虚拟现实服务器通过中央处理器接收虚拟现实设备和/或交互设备发送的控制数据。中央处理器根据接收到的控制数据生成视频渲染指令。
步骤602，通过图形处理器根据视频渲染指令渲染出虚拟现实视频数据。
可选的，视频渲染指令中携带有控制数据，图形处理器接收到视频渲染指令后，根据预设渲染模型对控制数据进行渲染，生成虚拟现实视频数据，预设渲染模型是系统预设的存储在图形处理器中的模型。或者，中央处理器向图形处理器发送的视频渲染指令中还携带有渲染模型，图形处理器接收到视频渲染指令后，根据视频渲染指令中的渲染模型对视频渲染指令中的控制数据进行渲染，生成虚拟现实视频数据，视频渲染指令中的渲染模型是系统预设的存储在中央处理器中的模型。
可选的，虚拟现实服务器根据接收到的视频渲染指令依次渲染出每一个显示行对应的虚拟现实视频数据。
步骤603，通过中央处理器和/或网络接口卡对虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的虚拟现实视频数据。
可选的，虚拟现实服务器通过中央处理器和/或网络接口卡按照动态图像专家组(Moving Picture Experts Group，MPEG)编码标准、信源编码标准(Audio Video codingStandard，AVS)编码标准、H.26X编码标准中的至少一种编码标准对虚拟现实视频数据进行压缩编码。可选的，虚拟现实服务器通过中央处理器和/或网络接口卡依次对每一个显示行对应的虚拟现实视频数据进行压缩编码，生成每一个显示行对应的压缩后的虚拟现实视频数据。
可选的，虚拟现实服务器通过中央处理器和/或网络接口卡依次对每一个显示行对应的压缩后的虚拟现实视频数据进行数据封装，生成每一个显示行对应的处理后的虚拟现实视频数据；或者，虚拟现实服务器在通过中央处理器和/或网络接口卡生成n个显示行对应的压缩后的虚拟现实视频数据后，对n个显示行对应的压缩后的虚拟现实视频数据进行数据封装，生成处理后的虚拟现实视频数据，也即生成携带有该n个显示行的虚拟现实视频数据的数据包，n通常是系统预设值或者由压缩后的虚拟显示数据占用的大小相关，n为大于等于2的正整数，该n个显示行可以是同一个视频帧中的显示行，也可以包括多个不同的视频帧中的显示行。
可选的，当该方法应用于上述图4所示的虚拟现实服务器中时，虚拟现实服务器通过中央处理器对虚拟现实视频数据进行压缩编码以及数据封装，生成压缩后的虚拟现实视频数据。可选的，当该方法应用于上述图5所示的虚拟现实服务器中时，虚拟现实服务器通过网络接口卡对虚拟现实视频数据进行压缩编码以及数据封装，生成压缩后的虚拟现实视频数据。
步骤604，通过网络接口卡向虚拟现实设备发送处理后的虚拟现实视频数据，虚拟现实设备用于播放处理后的虚拟现实视频数据。
综上所述，本发明实施例提供的虚拟现实视频数据传输方法，通过在虚拟现实服务器中增加具有数据处理能力和网络传输能力的网络接口卡，使得虚拟服务器在生成虚拟现实视频数据后，可以直接对虚拟现实视频数据执行压缩编码和数据封装等数据处理，并通过网络将处理后的虚拟现实视频数据发送给虚拟现实设备进行播放，在通过网络实现虚拟现实视频数据的长距离传输时，不需要经过信号延长设备，避免了视频信号编解码，避免了信号延长设备对虚拟现实视频数据进行数据处理时产生的时延，缩短了虚拟现实视频数据在通过网络进行长距离传输过程的时延，优化了虚拟现实视频数据通过网络进行长距离传输时的传输过程。
请参考图7，其示出了本发明一个示例性实施例提供的虚拟现实视频数据传输方法的流程图，本实施例以该方法应用于上述图4所示的虚拟现实服务器中进行说明，该方法包括：
步骤701，通过中央处理器接收与虚拟现实场景相应的控制数据以及生成虚拟现实场景的视频渲染指令。
步骤702，通过图形处理器根据视频渲染指令渲染出虚拟现实视频数据。
步骤701和步骤702的实现方式可以结合上述步骤601和步骤602，本实施例对此不再赘述。
步骤703，通过网络接口卡从图形处理器中依次获取图形处理器渲染出的视频帧中的每一个显示行对应的虚拟现实视频数据。
可选的，当虚拟现实服务器中包括图形处理器缓存时，该步骤实现成为：通过图形处理器将依次生成的视频帧中的每一个显示行对应的虚拟现实视频数据发送至图形处理器缓存，通过网络接口卡从图形处理器缓存中依次获取图形处理器生成的视频帧中的每一个显示行对应的虚拟现实视频数据。
步骤704，通过网络接口卡对获取到的显示行对应的虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的虚拟现实视频数据。
步骤704的具体实现方法可以结合步骤603，本实施例对此不再赘述。
步骤705，通过网络接口卡按照UDP/IP协议将处理后的虚拟现实视频数据封装在IP报文中。
步骤706，通过网络接口卡按照以太网协议将IP报文封装在以太网报文中。
步骤707，通过网络接口卡向虚拟现实设备发送以太网报文，以太网报文中携带有虚拟现实视频数据。
如图7所示的虚拟现实视频数据传输方法的交互示意图可以如图8所示。
综上所述，本发明实施例提供的虚拟现实视频数据传输方法，通过在虚拟现实服务器中增加具有数据封装能力和网络传输能力的网络接口卡，使得虚拟服务器在生成虚拟现实视频数据后，可以直接对虚拟现实视频数据执行压缩编码和数据封装等数据处理，并通过网络将处理后的虚拟现实视频数据发送给虚拟现实设备进行播放，在通过网络实现虚拟现实视频数据的长距离传输时，不需要经过信号延长设备，避免了视频信号编解码，避免了信号延长设备对虚拟现实视频数据进行数据处理时产生的时延，缩短了虚拟现实视频数据在通过网络进行长距离传输过程的时延，优化了虚拟现实视频数据通过网络进行长距离传输时的传输过程。
本发明实施例提供的虚拟现实视频数据传输方法，虚拟现实服务器通过网络接口卡依次获取每一个显示行对应的虚拟现实视频数据进行压缩编码，由于网络接口卡在图形处理器生成一个显示行对应的虚拟现实视频数据后，就能对该显示行对应的虚拟现实视频数据进行压缩编码，而不需要等待图形处理器生成整一个视频帧的虚拟现实视频数据后才进行压缩编码，避免了网络接口卡在等待图形处理器生成整一个视频帧的虚拟现实视频数据过程中产生的时延，缩短了虚拟现实视频数据在通过网络进行长距离传输过程的时延。
请参考图9，其示出了本发明一个示例性实施例提供的虚拟现实视频数据传输方法的流程图，本实施例以该方法应用于上述图5所示的虚拟现实服务器中进行说明，该方法包括：
步骤901，通过中央处理器接收与虚拟现实场景相应的控制数据以及生成虚拟现实场景的视频渲染指令。
步骤902，通过图形处理器根据视频渲染指令渲染出虚拟现实视频数据。
步骤901和步骤902的实现方式可以结合上述步骤601和步骤602，本实施例对此不再赘述。
步骤903，通过中央处理器从图形处理器中依次获取图形处理器渲染出的视频帧中的每一个显示行对应的虚拟现实视频数据。
可选的，当虚拟现实服务器中包括图形处理器缓存时，该步骤实现成为：通过图形处理器将依次渲染出的视频帧中的每一个显示行对应的虚拟现实视频数据发送至图形处理器缓存，通过中央处理器从图形处理器缓存中依次获取图形处理器渲染出的视频帧中的每一个显示行对应的虚拟现实视频数据。
步骤904，通过中央处理器对获取到的显示行对应的虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的虚拟现实视频数据。
步骤904的具体实现方法可以结合步骤603，本实施例对此不再赘述。
步骤905，通过中央处理器将处理后的虚拟现实视频数据发送给网络接口卡。
可选的，虚拟现实服务器依次将渲染出的每一个显示行对应的处理后的虚拟现实视频数据发送给网络接口卡；或者，虚拟现实服务器在依次生成m个显示行对应的压缩后的虚拟现实视频数据后，将m个显示行对应的压缩后的虚拟现实视频数据发送给网络接口卡，m通常是系统预设值，m为大于等于2的正整数，该m个显示行可以是同一个视频帧中的显示行，也可以包括多个不同的视频帧中的显示行。
步骤906，通过网络接口卡按照UDP/IP协议将处理后的虚拟现实视频数据封装在IP报文中。
步骤907，通过网络接口卡按照以太网协议将IP报文封装在以太网报文中。
步骤908，通过网络接口卡向虚拟现实设备发送以太网报文，以太网报文中携带有虚拟现实视频数据。
综上所述，本发明实施例提供的虚拟现实视频数据传输方法，通过在虚拟现实服务器中增加具有数据封装能力和网络传输能力的网络接口卡，使得虚拟服务器在生成虚拟现实视频数据后，可以直接对虚拟现实视频数据执行压缩编码和数据封装等数据处理，并通过网络将处理后的虚拟现实视频数据发送给虚拟现实设备进行播放，在通过网络实现虚拟现实视频数据的长距离传输时，不需要经过信号延长设备，避免了视频信号编解码，避免了信号延长设备对虚拟现实视频数据进行数据处理时产生的时延，缩短了虚拟现实视频数据在通过网络进行长距离传输过程的时延，优化了虚拟现实视频数据通过网络进行长距离传输时的传输过程。
本发明实施例提供的虚拟现实视频数据传输方法，虚拟现实服务器通过中央处理器依次获取每一个显示行对应的虚拟现实视频数据进行压缩编码，由于中央处理器在图形处理器生成一个显示行对应的虚拟现实视频数据后，就能对该显示行对应的虚拟现实视频数据进行压缩编码，而不需要等待图形处理器生成整一个视频帧的虚拟现实视频数据后才进行压缩编码，避免了中央处理器在等待图形处理器生成整一个视频帧的虚拟现实视频数据过程中产生的时延，缩短了虚拟现实视频数据在通过网络进行长距离传输过程的时延。
本发明实施例提供的虚拟现实视频数据传输方法，由中央处理器对虚拟现实视频数据进行压缩编码，使得网络接口卡可以是不具备压缩编码的能力的现有的网络接口卡，提高了虚拟现实服务器对现有的网络接口卡的兼容性。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种虚拟现实服务器，其特征在于，所述虚拟现实服务器包括：中央处理器、与所述中央处理器相连的图形处理器、与所述图形处理器或所述中央处理器相连的网络接口卡；
所述中央处理器，用于接收与虚拟现实场景相应的控制数据以及生成所述虚拟现实场景的视频渲染指令；
所述图形处理器，用于根据所述视频渲染指令渲染出虚拟现实视频数据；
所述中央处理器和/或所述网络接口卡，用于对所述虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的所述虚拟现实视频数据；
所述网络接口卡，用于向虚拟现实设备发送处理后的所述虚拟现实视频数据，所述虚拟现实设备用于播放处理后的所述虚拟现实视频数据。
2.根据权利要求1所述的虚拟现实服务器，其特征在于，所述网络接口卡与所述图形处理器相连；
所述网络接口卡，用于从所述图形处理器中依次获取所述图形处理器渲染出的视频帧中的每一个显示行对应的所述虚拟现实视频数据；
所述网络接口卡，还用于对获取到的所述显示行对应的所述虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的所述虚拟现实视频数据。
3.根据权利要求1所述的虚拟现实服务器，其特征在于，所述网络接口卡与所述中央处理器相连；
所述中央处理器，用于从所述图形处理器中依次获取所述图形处理器渲染出的视频帧中的每一个显示行对应的所述虚拟现实视频数据；
所述中央处理器，还用于对获取到的所述显示行对应的所述虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的所述虚拟现实视频数据；
所述中央处理器，还用于将压缩后的所述虚拟现实视频数据发送给所述网络接口卡。
4.根据权利要求3所述的虚拟现实服务器，其特征在于，
所述中央处理器还与所述网络接口卡相连。
5.根据权利要求1至4任一所述的虚拟现实服务器，其特征在于，
所述中央处理器和/或所述网络接口卡，还用于按照UDP/IP协议将压缩后的所述虚拟现实视频数据封装在IP报文中；
所述中央处理器和/或所述网络接口卡，还用于按照以太网协议将所述IP报文封装在以太网报文中。
6.一种虚拟现实视频数据传输方法，其特征在于，所述方法用于如权利要求1至5任一所述的虚拟现实服务器中，所述方法包括：
通过所述中央处理器接收与虚拟现实场景相应的控制数据以及生成所述虚拟现实场景的视频渲染指令；
通过所述图形处理器根据所述视频渲染指令渲染出虚拟现实视频数据；
通过所述中央处理器和/或所述网络接口卡对所述虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的所述虚拟现实视频数据；
通过所述网络接口卡向虚拟现实设备发送处理后的所述虚拟现实视频数据，所述虚拟现实设备用于播放处理后的所述虚拟现实视频数据。
7.根据权利要求6所述的方法，其特征在于，所述网络接口卡与所述图形处理器相连；
所述通过所述网络接口卡对所述虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的所述虚拟现实视频数据，包括：
通过所述网络接口卡从所述图形处理器中依次获取所述图形处理器渲染出的视频帧中的每一个显示行对应的所述虚拟现实视频数据；
通过所述网络接口卡对获取到的所述显示行对应的所述虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的所述虚拟现实视频数据。
8.根据权利要求6所述的方法，其特征在于，所述网络接口卡与所述中央处理器相连，所述中央处理器还与所述网络接口卡相连；
所述通过所述中央处理器对所述虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的所述虚拟现实视频数据，包括：
通过所述中央处理器从所述图形处理器中依次获取所述图形处理器渲染出的视频帧中的每一个显示行对应的所述虚拟现实视频数据；
通过所述中央处理器对获取到的所述显示行对应的所述虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的所述虚拟现实视频数据；
通过所述中央处理器将处理后的所述虚拟现实视频数据发送给所述网络接口卡。
9.根据权利要求6至8任一所述的方法，其特征在于，所述通过所述中央处理器和/或所述网络接口卡对所述虚拟现实视频数据进行数据封装，包括：
通过所述中央处理器和/或所述网络接口卡按照UDP/IP协议将压缩后的所述虚拟现实视频数据封装在IP报文中；
通过所述中央处理器和/或所述网络接口卡按照以太网协议将所述IP报文封装在以太网报文中。
10.一种虚拟现实视频数据传输系统，其特征在于，所述系统包括：虚拟现实服务器和虚拟现实设备；
所述虚拟现实服务器，用于通过所述中央处理器接收与虚拟现实场景相应的控制数据以及生成所述虚拟现实场景的视频渲染指令；通过所述图形处理器根据所述视频渲染指令渲染出虚拟现实视频数据；通过所述中央处理器和/或所述网络接口卡对所述虚拟现实视频数据进行压缩编码以及数据封装，生成处理后的所述虚拟现实视频数据；通过所述网络接口卡向虚拟现实设备发送处理后的所述虚拟现实视频数据，所述虚拟现实设备用于播放处理后的所述虚拟现实视频数据；
所述虚拟现实设备，用于接收所述虚拟现实服务器发送的处理后的所述虚拟现实视频数据，并播放处理后的所述虚拟现实视频数据。
CN201611261069.5A 2016-12-30 2016-12-30 虚拟现实服务器、视频数据传输方法及系统 Pending CN106792133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611261069.5A CN106792133A (zh) 2016-12-30 2016-12-30 虚拟现实服务器、视频数据传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611261069.5A CN106792133A (zh) 2016-12-30 2016-12-30 虚拟现实服务器、视频数据传输方法及系统

Publications (1)

Publication Number Publication Date
CN106792133A true CN106792133A (zh) 2017-05-31

Family

ID=58954790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611261069.5A Pending CN106792133A (zh) 2016-12-30 2016-12-30 虚拟现实服务器、视频数据传输方法及系统

Country Status (1)

Country Link
CN (1) CN106792133A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108271042A (zh) * 2018-02-09 2018-07-10 大连天途有线电视网络股份有限公司 一种基于有线电视网络的视频数据传输方法、云vr系统实现方法以及云vr系统
CN111459267A (zh) * 2020-03-02 2020-07-28 杭州嘉澜创新科技有限公司 一种数据处理方法、第一服务器、第二服务器与存储介质
CN113190476A (zh) * 2021-04-14 2021-07-30 摩尔线程智能科技(北京)有限责任公司 数据传输方法和装置
CN113271298A (zh) * 2021-04-28 2021-08-17 江苏鸿奥信息科技有限公司 一种vr云游戏在线低延时传输方法及vr云游戏平台
CN115134416A (zh) * 2021-03-22 2022-09-30 中国联合网络通信集团有限公司 虚拟现实业务处理系统和方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102281438A (zh) * 2010-06-09 2011-12-14 索尼公司 接收机、接收方法和通信系统
US20130117377A1 (en) * 2011-10-28 2013-05-09 Samuel A. Miller System and Method for Augmented and Virtual Reality
CN104205851A (zh) * 2012-04-13 2014-12-10 索尼公司 信息处理装置和方法以及程序
CN104780376A (zh) * 2015-04-09 2015-07-15 深圳市三朋电子有限公司 一种具有超低端到端时延的视频编解码系统、方法及装置
CN105323129A (zh) * 2015-12-04 2016-02-10 上海弥山多媒体科技有限公司 一种家庭虚拟现实娱乐系统
CN105392538A (zh) * 2013-06-07 2016-03-09 索尼电脑娱乐公司 响应于头戴式显示器中的用户动作的图像渲染
CN105791977A (zh) * 2016-02-26 2016-07-20 北京视博云科技有限公司 基于云服务的虚拟现实数据处理方法、设备及系统
CN105898432A (zh) * 2016-04-26 2016-08-24 乐视控股（北京）有限公司 视频播放方法、装置及系统
CN106170083A (zh) * 2015-05-18 2016-11-30 三星电子株式会社 用于头戴式显示器设备的图像处理
CN106249902A (zh) * 2016-08-16 2016-12-21 合肥东上多媒体科技有限公司 多媒体虚拟展示平台

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102281438A (zh) * 2010-06-09 2011-12-14 索尼公司 接收机、接收方法和通信系统
US20130117377A1 (en) * 2011-10-28 2013-05-09 Samuel A. Miller System and Method for Augmented and Virtual Reality
CN104205851A (zh) * 2012-04-13 2014-12-10 索尼公司 信息处理装置和方法以及程序
CN105392538A (zh) * 2013-06-07 2016-03-09 索尼电脑娱乐公司 响应于头戴式显示器中的用户动作的图像渲染
CN104780376A (zh) * 2015-04-09 2015-07-15 深圳市三朋电子有限公司 一种具有超低端到端时延的视频编解码系统、方法及装置
CN106170083A (zh) * 2015-05-18 2016-11-30 三星电子株式会社 用于头戴式显示器设备的图像处理
CN105323129A (zh) * 2015-12-04 2016-02-10 上海弥山多媒体科技有限公司 一种家庭虚拟现实娱乐系统
CN105791977A (zh) * 2016-02-26 2016-07-20 北京视博云科技有限公司 基于云服务的虚拟现实数据处理方法、设备及系统
CN105898432A (zh) * 2016-04-26 2016-08-24 乐视控股（北京）有限公司 视频播放方法、装置及系统
CN106249902A (zh) * 2016-08-16 2016-12-21 合肥东上多媒体科技有限公司 多媒体虚拟展示平台

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108271042A (zh) * 2018-02-09 2018-07-10 大连天途有线电视网络股份有限公司 一种基于有线电视网络的视频数据传输方法、云vr系统实现方法以及云vr系统
CN108271042B (zh) * 2018-02-09 2020-04-24 大连天途有线电视网络股份有限公司 一种基于有线电视网络的视频数据传输方法、云vr系统实现方法以及云vr系统
CN111459267A (zh) * 2020-03-02 2020-07-28 杭州嘉澜创新科技有限公司 一种数据处理方法、第一服务器、第二服务器与存储介质
CN115134416A (zh) * 2021-03-22 2022-09-30 中国联合网络通信集团有限公司 虚拟现实业务处理系统和方法
CN113190476A (zh) * 2021-04-14 2021-07-30 摩尔线程智能科技(北京)有限责任公司 数据传输方法和装置
CN113271298A (zh) * 2021-04-28 2021-08-17 江苏鸿奥信息科技有限公司 一种vr云游戏在线低延时传输方法及vr云游戏平台

Similar Documents

Publication Publication Date Title
CN106792133A (zh) 虚拟现实服务器、视频数据传输方法及系统
JP7221957B2 (ja) ビデオエンコーダレンダリング向けのゲームエンジンアプリケーション
CN107846633A (zh) 一种直播方法及系统
CN110430441B (zh) 一种云手机视频采集方法、系统、装置及存储介质
JP6338688B2 (ja) ビデオ同期再生方法、装置、およびシステム
WO2017219652A1 (zh) 一种头戴显示器、视频输出设备和视频处理方法、系统
CN107613338A (zh) 视频传输方法、服务器、vr播放终端及计算机可读存储介质
EP3180911A1 (en) Immersive video
CN103369289A (zh) 一种视频模拟形象的通信方法和装置
WO2020207487A1 (zh) 一种处理方法、装置和系统
WO2018120657A1 (zh) 一种共享虚拟现实数据的方法和设备
WO2024061295A1 (zh) 视频数据的处理方法和系统
CN110519247B (zh) 一种一对多虚拟现实展示方法及装置
TW201904294A (zh) 數位內容串流壓縮
WO2018072337A1 (zh) 用于虚拟现实的无线传输方法、装置、终端和头显设备
CN112533014A (zh) 视频直播中目标物品信息处理和显示方法、装置及设备
CN103533315A (zh) 一种音视频数据的处理方法和装置
CN107396082B (zh) 一种图像数据的处理方法和装置
CN106993197B (zh) 一种基于编码器的丢帧方法
US20170221174A1 (en) Gpu data sniffing and 3d streaming system and method
KR101795537B1 (ko) 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템 및 그 방법
EP4070249A1 (en) Reference of neural network model for adaptation of 2d video for streaming to heterogeneous client end-points
WO2014164917A1 (en) System and method for encoding control commands
JP2020115299A (ja) 仮想空間情報処理装置、方法、プログラム
JP2016509486A (ja) ネットワークを介して送信するためのビデオゲーム画面画像の生成及び符号化を行う方法及びシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication