CN106791685A - 一种远程音视频传输方法及装置 - Google Patents

一种远程音视频传输方法及装置 Download PDF

Info

Publication number
CN106791685A
CN106791685A CN201611268275.9A CN201611268275A CN106791685A CN 106791685 A CN106791685 A CN 106791685A CN 201611268275 A CN201611268275 A CN 201611268275A CN 106791685 A CN106791685 A CN 106791685A
Authority
CN
China
Prior art keywords
user terminal
robotic end
video
audio
servers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611268275.9A
Other languages
English (en)
Inventor
鲁峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yugong Technology Co Ltd
Original Assignee
Shenzhen Yugong Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yugong Technology Co Ltd filed Critical Shenzhen Yugong Technology Co Ltd
Priority to CN201611268275.9A priority Critical patent/CN106791685A/zh
Publication of CN106791685A publication Critical patent/CN106791685A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提出一种远程音视频传输方法，包括以下步骤：A1：机器人端和用户终端建立对应连接关系；A2：机器人端和用户终端之间建立直接传输通道；A3：机器人端或者用户终端判断所述直接传输通道是否建立成功，如果建立成功，则机器人端和用户终端直接通过该通道进行音视频传输，由于不存在中间服务器的存贮和中转，所以保证了音视频传输的高安全、低延迟和实时性；如果没有建立成功，则机器人端和用户终端通过turn服务器中转，互相传输音视频信息，这就做到了双重保险，保证机器人端和用户终端之间的音视频一定可以传输。

Description

一种远程音视频传输方法及装置
技术领域
本发明涉及机器人智能通讯领域，特别涉及一种远程音视频传输方法及装置。
背景技术
现有的音视频传输方式主要有以下几种方式：
1、ip cam(网络摄像头)
ipcam也叫network camera，就是网络摄像机，同普通摄像头或者网眼的主要区别是ipcam实际上是一台视频服务器和摄像头的集成。ipcam只要插上以太网线和电源就能通过网络发布视频信息。其技术原理为，ip cam采取音视频本地压缩，然后上传到云端服务器存储，手机需要观看的时候，直接从云端服务器读取内容观看。
优点：手机读取视频的成功率高，可以在云端对视频做剪辑，拼凑等处理。
缺点：(1)因为视频影像数据存储在服务器云端，中间需要多存储一层，造成不可避免的延迟；(2)服务器没办法确保其完整的安全，服务器被攻破，大量家庭视频影像被泄漏；(3)为保证多个用户同时连接，服务器需要保证巨大的流量带宽，服务器成本开销大。
2、近场直接连接
近场直接连接的传输方式，是ip cam的一种变形，最初用于扫地机上，但是只能支持近场(局域网内)的音视频传输，不具有穿透互联网连接的能力。
3、facetime，skype、微信视频电话
facetime，skype、微信视频电话，这些都属于手机之间远程音视频，基于原有操作系统，有较好的流畅度，和互联网网速自适应能力，自己私有的信号传输机制。但是在使用时，特别是在长时间视频聊天时，需要一直拿着手机，不能完全解放双手，给用户造成较大的不便利。
现代社会中，智能家居服务机器人，例如扫地猫、扫地狗等扫地机器人开始慢慢走进我们的家庭，借助移动互联网，用户可以通过手机、电脑或者平板电脑等用户终端通过下载APP，在外地远程连接家中服务机器人，通过机器人上的摄像头，查看家中情况，并可以通过机器人和家人视频聊天。但是现有的智能家居机器人和手机APP之间传输音视频是通过服务器中转的，从人到机器人中间多了一层，造成音视频有一定的延迟，并且不断地从服务器获取音视频会对服务器造成很大的压力，有可能导致服务器崩溃。而且与机器人传输的都是家里的视频，是非常隐私的信息，但是这些音视频都存在服务器中，一旦服务器被攻破，就会造成隐私泄漏。
发明内容
本发明的目的是为了解决现有技术中的家居服务机器人和用户终端之间通过服务器中转传输音视频信息，从而造成信息传输延迟以及不安全的问题，提出一种远程音视频传输方法及装置，在本发明中所说的传输包括发送和接收。
本发明解决上述技术问题所采用的技术方案如下：
一种远程音视频发送方法，其中，包括步骤：
S1：机器人端和用户终端建立对应连接关系；
S2：机器人端和用户终端之间建立直接传输通道；
S3：机器人端判断所述直接传输通道是否建立成功，如果建立成功，则直接通过该通道向用户终端发送音/视频信息；如果没有建立成功，则通过turn服务器向用户终端发送音/视频信息。
优选地，所述步骤S3中，如果所述直接传输通道建立成功，则机器人端还可以直接通过该通道接收来自用户终端的音/视频信息；如果没有建立成功，则机器人端还可以通过turn服务器接收来自用户终端的音/视频信息。
优选地，所述步骤S2中机器人端和用户终端之间建立直接传输通道，是通过xmpp服务器和stun服务器实现的，所述xmpp服务器用于中转来自机器人端和用户终端的信号，所述stun服务器用于分别向机器人端和用户终端提供公网下的IP地址。
优选地，所述步骤S2中机器人端和用户终端之间建立直接传输通道，具体的步骤为：
S21：机器人端连接到xmpp服务器后，接收到经xmpp服务器转来的来自用户终端的音/视频请求；
S22：机器人端经判断后，将同意音/视频请求的信号通过xmpp服务器发送到用户终端，并接收经xmpp服务器转来的用户终端的IP地址；
S23：机器人端收到用户终端的IP地址后，向stun服务器获取自己在公网下的IP地址，并将该IP地址通过xmpp服务器发送到用户终端；
S24：机器人端和用户终端之间建立直接传输通道。
优选地，所述步骤S3中的音/视频信息为音频信息、视频信息或者音视频信息。
优选地，所述机器人是扫地机、家庭看护机器人，把运动轨迹和/或周边情况传输给用户终端。
优选地，所述直接传输通道构建成功以后，机器人端和用户终端之间还可以进行指令的传输。
根据上述远程音视频发送方法，本发明还提出一种远程音视频发送装置，包括：处理器和存储器，所述存储器存储有计算机程序，处理器运行存储器中的计算机程序，控制所述远程音视频发送装置执行所述的远程音视频发送方法。
另外，本发明还提出一种远程音视频接收方法，其特征在于，包括以下步骤：
T1:用户终端和机器人端建立对应连接关系；
T2:用户终端和机器人端之间建立直接传输通道；
T3：用户终端判断所述直接传输通道是否建立成功，如果建立成功，则直接通过该通道接收来自机器人端的音/视频信息；如果没有建立成功，则通过turn服务器接收经turn服务器转来的来自机器人端的音/视频信息。
优选地，所述步骤T3中，如果所述直接传输通道建立成功，则用户终端还可以直接通过该通道向机器人端发送音/视频信息；如果没有建立成功，则用户终端还可以通过turn服务器向机器人端发送音/视频信息。
优选地，所述步骤T2中用户终端和机器人端之间建立直接传输通道，具体的步骤为：
T21：用户终端连接到xmpp服务器后，通过xmpp服务器向机器人端发送音/视频请求，并接收经xmpp服务器转来的来自机器人端的同意音/视频请求的信号；
T22：用户终端接收到同意音/视频请求的信号后，向stun服务器获取自己在公网下的IP地址；
T23：用户终端将自己在公网下的IP地址通过xmpp服务器发送到机器人端，并接收经xmpp服务器转来的机器人端的IP地址；
T24：用户终端和机器人端之间建立直接传输通道。
优选地，所述用户终端是指手机、电脑或者平板电脑，通过下载APP与机器人端建立连接关系。
优选地，所述用户终端是一个或一个以上，每个用户终端对机器人端的控制权限不同。
根据上述远程音视频接收方法，本发明还提出一种远程音视频接收装置，包括：处理器和存储器，所述存储器存储有计算机程序，处理器运行存储器中的计算机程序控制所述远程音视频接收装置执行所述的远程音视频接收方法。
与现有技术相比，本发明的有益效果有：
本发明的远程音视频接收或发送方法及装置，通过在机器人端和用户终端之间建立直接传输通道，进行音视频的传输，因为不存在中间服务器的存贮和中转，所以保证了音视频传输的高安全、低延迟和实时性；传输的音视频是存储在机器人内部，机器人一般都是在家里，别人不容易接触到，这样就保证了音视频的安全性，降低了安全隐患；当建立了音视频直接传输通道，用户终端和机器人端能够通过丢包的多少，来完成对网络状况的实时判断，用于网速自适应；另外，如果由于网络不好或者直接传输通道没有完成建立的情况下，音视频仍然通过turn服务器中转，这就做到双重保险，保证机器人端和用户终端之间的音视频一定可以传输。
附图说明
图1是本发明具体实施方式中机器人端和用户终端之间远程音视频传输方法的总流程图。
图2是本发明具体实施方式中机器人端和用户终端之间建立直接传输通道的过程示意图。
图3是本发明具体实施方式中机器人端和用户终端之间远程音视频双通道传输示意图。
具体实施方式
下面结合具体实施方式并对照附图对本发明做进一步详细说明。
本具体实施方式中，机器人端和用户终端之间的远程音视频传输方法，如图1所示，包括以下步骤：A1：机器人端和用户终端建立对应连接关系；A2：机器人端和用户终端之间建立直接传输通道；A3：机器人端或者用户终端判断所述直接传输通道是否建立成功，如果建立成功，则机器人端和用户终端直接通过该通道进行音/视频传输；如果没有建立成功，则机器人端和用户终端通过turn服务器中转，互相传输音/视频信息。其中，本具体实施方式中所说的传输包括发送和接收。下面将对上述步骤进行详细描述。
A1：机器人端和用户终端建立对应连接关系
每个机器人出厂的时候都设置有单独的账号，手机、电脑或者平板电脑等用户终端通过下载控制机器人的APP，根据机器人的所述的单独的账号与机器人建立对应关系，然后，机器人和用户终端都连接到基于扩展的xmpp协议的服务器(在本文中简称xmpp服务器)上，保证用户终端和机器人端都在线。
A2：机器人端和用户终端之间建立直接传输通道
机器人端和用户终端之间建立直接传输通道的方法，如图2所示，包括以下步骤：首先，用户终端和机器人端分别连接到xmpp服务器上，确保用户终端和机器人端同时在线；然后，用户终端通过xmpp服务器向机器人端发起音/视频请求，机器人端经判断后，将同意音/视频请求的信号通过xmpp服务器发送到用户终端；然后，用户终端和机器人端分别向stun服务器获取一个自己在公网下的IP地址，并将该IP地址通过xmpp服务器发送给对方；用户终端和机器人端互相获知对方的IP地址后，用户终端和机器人端之间建立直接传输通道。
例如，如下代码中to＝"13800000000@family"代表的是这个消息发送给13800000000这个用户终端账号，from＝"yb-r161-001@yubot代表的是机器人端将信息发送给用户终端，后面的那一串包含机器人端在公网上获取到的自己的IP地址(119.137.55.155)和自己在局域网的IP地址(10.0.1.21)，机器人将自己的IP地址信息发送给用户终端。如果是用户终端将自己的局域网地址和在公网下的IP地址发送给机器人端也是类似的。
A3：机器人端或者用户终端判断所述直接传输通道是否建立成功
如果步骤A2所述的直接传输通道建立好了就会有一个成功或者失败的状态返回给用户终端和机器人端，然后机器人端或者用户终端就能够判断所述直接传输通道是否建立成功。如果建立成功，则机器人端和用户终端直接通过该通道进行音/视频传输；如果没有建立成功，则机器人端和用户终端通过turn服务器中转，互相传输音/视频信息。这里所说的音/视频信息为音频信息、视频信息或者音视频信息。
如图3所示，在直接传输通道建立初期，机器人端或者用户终端首先要通过xmpp服务器和stun服务器进行很多次尝试，即很多次协商建立直接传输通道，xmpp服务器用于中转来自机器人端和用户终端的信号，stun服务器用于分别向机器人端和用户终端提供公网下的IP地址。如果通路建立好了，就会有一个成功或者失败的状态返回给用户终端和机器人端，然后用户终端和机器人端就能够判断通道是不是已经建立。当这些协商的工作完成以后，用户终端和机器人端之间建立了直接传输通道，就可以通过该直接传输通道互相传输音视频，因为不存在中间服务器的存贮，所以就不会存在由于服务器被攻破，造成隐私泄漏的问题，保证了音视频传输的高安全性；另外，由于不存在中间服务器的中转，因此保证了音视频传输的低延迟和实时性，并且，用户终端和机器人端之间通过直接传输通道传输音视频，不会受服务器的速度、带宽和容积率的限制，也不会对服务器造成压力，不会增大服务器的开销。
另外，由于机器人端传输的音视频是存储在机器人内部，机器人一般都是在家里，别人不容易接触到，这样就保证了音视频的安全性，降低了安全隐患；当建立了直接传输通道后，用户终端和机器人端能够通过丢包的多少，来完成对网络状况的实时判断，用于网速自适应。
另外，如图3所示，如果由于网络不好或者用户终端和机器人端之间的直接传输通道没有完成建立的情况下，用户终端和机器人端之间的音视频仍然可以通过turn服务器中转，这就做到双重保险，保证用户终端和机器人端之间音视频一定可以互相传输。通过传输音视频可以实现用户终端对机器人端周围环境的监控，以及与机器人端周围环境中的人进行交流和陪护。
根据上述机器人端和用户终端之间的远程音视频传输方法，本具体实施方式还提出一种机器人端和用户终端之间的远程音视频传输装置，包含处理器和存储器，所述存储器中存储有计算机程序，处理器运行存储器中的计算机程序，控制所述远程音视频传输装置执行上述远程音视频传输方法。
另外，本具体实施方式的机器人端和用户终端之间的远程音视频传输方法或者装置，所述用户终端和机器人端之间的直接传输通道建立好了以后，还可以进行指令的传输，传输的指令包括控制机器人运动方向、运动速度、运动轨迹以及机器人上摄像头的摆动；所述的机器人可以是扫地机、家庭看护机器人，能够把运动轨迹和/或周边情况传输给用户终端；所述的用户终端可以是一个或者多个，分别属于不同的用户，这些用户之间可以建立联系。每个用户终端对机器人端的控制权限不同，但是每个机器人只有一个最高级别的管理者，可以控制机器人和其他管理者的关系，比如建立联系或解除联系等。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种远程音视频发送方法，其特征在于，包括以下步骤：
S1：机器人端和用户终端建立对应连接关系；
S2：机器人端和用户终端之间建立直接传输通道；
S3：机器人端判断所述直接传输通道是否建立成功，如果建立成功，则直接通过该通道向用户终端发送音/视频信息；如果没有建立成功，则通过turn服务器向用户终端发送音/视频信息。
2.根据权利要求1所述的远程音视频发送方法，其特征在于，所述步骤S3中，如果所述直接传输通道建立成功，则机器人端还可以直接通过该通道接收来自用户终端的音/视频信息；如果没有建立成功，则机器人端还可以通过turn服务器接收来自用户终端的音/视频信息。
3.根据权利要求1所述的远程音视频发送方法，其特征在于，所述步骤S2中机器人端和用户终端之间建立直接传输通道，是通过xmpp服务器和stun服务器实现的，所述xmpp服务器用于中转来自机器人端和用户终端的信号，所述stun服务器用于分别向机器人端和用户终端提供公网下的IP地址。
4.根据权利要求1所述的远程音视频发送方法，其特征在于，所述步骤S2中机器人端和用户终端之间建立直接传输通道，具体的步骤为：
S21：机器人端连接到xmpp服务器后，接收到经xmpp服务器转来的来自用户终端的音/视频请求；
S22：机器人端经判断后，将同意音/视频请求的信号通过xmpp服务器发送到用户终端，并接收经xmpp服务器转来的用户终端的IP地址；
S23：机器人端收到用户终端的IP地址后，向stun服务器获取自己在公网下的IP地址，并将该IP地址通过xmpp服务器发送到用户终端；
S24：机器人端和用户终端之间建立直接传输通道。
5.一种远程音视频发送装置，其特征在于，其包括：处理器和存储器，所述存储器存储有计算机程序，处理器运行存储器中的计算机程序控制所述远程音视频发送装置执行如权利要求1-4任一所述的远程音视频发送方法。
6.一种远程音视频接收方法，其特征在于，包括以下步骤：
T1:用户终端和机器人端建立对应连接关系；
T2:用户终端和机器人端之间建立直接传输通道；
T3：用户终端判断所述直接传输通道是否建立成功，如果建立成功，则直接通过该通道接收来自机器人端的音/视频信息；如果没有建立成功，则通过turn服务器接收经turn服务器转来的来自机器人端的音/视频信息。
7.根据权利要求6所述的远程音视频接收方法，其特征在于，所述步骤T3中，如果所述直接传输通道建立成功，则用户终端还可以直接通过该通道向机器人端发送音/视频信息；如果没有建立成功，则用户终端还可以通过turn服务器向机器人端发送音/视频信息。
8.根据权利要求6所述的远程音视频接收方法，其特征在于，所述步骤T2中用户终端和机器人端之间建立直接传输通道，具体的步骤为：
T21：用户终端连接到xmpp服务器后，通过xmpp服务器向机器人端发送音/视频请求，并接收经xmpp服务器转来的来自机器人端的同意音/视频请求的信号；
T22：用户终端接收到同意音/视频请求的信号后，向stun服务器获取自己在公网下的IP地址；
T23：用户终端将自己在公网下的IP地址通过xmpp服务器发送到机器人端，并接收经xmpp服务器转来的机器人端的IP地址；
T24：用户终端和机器人端之间建立直接传输通道。
9.根据权利要求6所述的远程音视频接收方法，其特征在于，所述用户终端是指手机、电脑或者平板电脑，通过下载APP与机器人端建立连接关系。
10.一种远程音视频接收装置，其特征在于，其包括：处理器和存储器，所述存储器存储有计算机程序，处理器运行存储器中的计算机程序控制所述远程音视频接收装置执行如权利要求6-9所述的方法。
CN201611268275.9A 2016-12-31 2016-12-31 一种远程音视频传输方法及装置 Pending CN106791685A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611268275.9A CN106791685A (zh) 2016-12-31 2016-12-31 一种远程音视频传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611268275.9A CN106791685A (zh) 2016-12-31 2016-12-31 一种远程音视频传输方法及装置

Publications (1)

Publication Number Publication Date
CN106791685A true CN106791685A (zh) 2017-05-31

Family

ID=58952682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611268275.9A Pending CN106791685A (zh) 2016-12-31 2016-12-31 一种远程音视频传输方法及装置

Country Status (1)

Country Link
CN (1) CN106791685A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461283A (zh) * 2018-10-31 2019-03-12 名商科技有限公司 智能小区安全防护系统
CN113014879A (zh) * 2021-03-05 2021-06-22 深圳市警威警用装备有限公司 5g智能终端音视频管理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414799A (zh) * 2013-07-31 2013-11-27 华为技术有限公司 中继地址互通方法和终端及系统
CN103702062A (zh) * 2013-12-27 2014-04-02 Tcl集团股份有限公司 一种音视频通讯方法、装置及系统
CN103718532A (zh) * 2013-03-26 2014-04-09 华为技术有限公司 一种数据传输方法、装置及终端设备
CN104333496A (zh) * 2014-09-26 2015-02-04 广东广联电子科技有限公司 一种智能家居服务器和智能家居系统
EP3016357A1 (en) * 2014-10-31 2016-05-04 Szegedi Tudományegyetem Communication method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103718532A (zh) * 2013-03-26 2014-04-09 华为技术有限公司 一种数据传输方法、装置及终端设备
CN103414799A (zh) * 2013-07-31 2013-11-27 华为技术有限公司 中继地址互通方法和终端及系统
CN103702062A (zh) * 2013-12-27 2014-04-02 Tcl集团股份有限公司 一种音视频通讯方法、装置及系统
CN104333496A (zh) * 2014-09-26 2015-02-04 广东广联电子科技有限公司 一种智能家居服务器和智能家居系统
EP3016357A1 (en) * 2014-10-31 2016-05-04 Szegedi Tudományegyetem Communication method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461283A (zh) * 2018-10-31 2019-03-12 名商科技有限公司 智能小区安全防护系统
CN113014879A (zh) * 2021-03-05 2021-06-22 深圳市警威警用装备有限公司 5g智能终端音视频管理系统

Similar Documents

Publication Publication Date Title
JP5574544B2 (ja) 単一化されたデバイス管理方法及びシステム
CN107277612A (zh) 用于在web浏览器上播放媒体流的方法和设备
CN110266810B (zh) 基于mqtt协议的消息接收方法、设备及存储介质
CN102185728B (zh) 具有统一管理平台的通信系统及其通信方法
CN104243210A (zh) 远程访问路由器管理页面的方法和系统
CN102083023B (zh) 一种远程控制设备重启的方法、系统和设备
CN101809940A (zh) 互连网络中对数据流的带宽预留
CN104639913A (zh) 一种网络视频录像机及其自动接入ipc的方法
CN108390937B (zh) 远程监控方法、装置及存储介质
CN103856793B (zh) 媒体内容缓冲
CN108900392A (zh) 一种智能家居多网关接入的方法及系统
CN202475474U (zh) 多网融合的智能家庭网关装置及系统
CN103297745A (zh) 一种基于个人云的智能门铃系统
CN104426951A (zh) 一种智能机顶盒远程网络实时监控系统及其方法
CN103716679A (zh) 一种基于家庭局域网的媒体内容传输方法
CN104506822A (zh) 一种基于Android平台的远程可视门铃监控方法及系统
CN108810129A (zh) 物联网控制系统及方法、终端设备和本地网络服务设备
CN104065514A (zh) 一种基于netconf中继的家庭网络管理方法
CN106791685A (zh) 一种远程音视频传输方法及装置
CN106993020A (zh) 基于虚拟化技术面向多网络环境的远程视音频编辑方法
CN107846609B (zh) 控制室数据实时传输方法、装置和系统
CN103581607A (zh) 使用远程摄像机设备将视频流传递到本地端点主机的方法
CN102681969B (zh) 基于can总线的长帧数据传输方法
CN105898195A (zh) 智慧社区云可视对讲系统
CN106303413A (zh) 基于ipc监测系统信息交互的方法及ipc监测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication