CN106954029A - 一种全景视频拼接方法及系统 - Google Patents
一种全景视频拼接方法及系统 Download PDFInfo
- Publication number
- CN106954029A CN106954029A CN201710101195.2A CN201710101195A CN106954029A CN 106954029 A CN106954029 A CN 106954029A CN 201710101195 A CN201710101195 A CN 201710101195A CN 106954029 A CN106954029 A CN 106954029A
- Authority
- CN
- China
- Prior art keywords
- video
- fpga
- image
- joining method
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000012937 correction Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 241000288673 Chiroptera Species 0.000 claims 1
- 238000007689 inspection Methods 0.000 claims 1
- 238000005265 energy consumption Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请公开一种全景视频拼接方法，其功耗低、占用资源少。该方法包括：(1)对系统进行初始化，系统使用同一配置线同时对多个摄像头的每个进行配置；(2)通过FPGA分时段分别读取每块摄像头的视频数据；(3)进行图像畸变校正；(4)通过FPGA进行图像配准拼接；(5)进行图像融合；(6)通过视频处理芯片，对视频数据进行压缩并通过WiFi将视频输出，以便在移动设备端查看。还提供了全景视频拼接系统。
Description
技术领域
本发明属于监控设备的技术领域，具体地涉及一种全景视频拼接方法及系统。
背景技术
随着物联网的发展，全景视频拼接技术将得到更加广泛的应用，考虑到现在移动端应用需求越来越大，应用越来越广泛，然而现有搭载全景视频拼接技术的移动平台，绝大部分采用的是嵌入式ARM平台，嵌入式平台处理速度有限，难以满足视频实时性的要求，且嵌入式平台一般功耗大，尤其是处理大量数据的时候，这使得全景视频拼接技术难以在移动平台上推广。
现在拥有视频拼接功能的移动设备绝大部分都是采用嵌入式方式实现的，目前的嵌入式平台有以下几个地方还需要完善，首先是实时性问题，由于嵌入式平台的处理器是串行处理的，一个核心在单个时钟全周期仅能执行一条指令，而视频拼接数据量大，计算复杂，嵌入式平台难以满足视频拼接的实时性的要求；其次是功耗问题，由于视频拼接要求处理大量数据，运算量大，目前的处理在进行高复杂度的运算时，芯片发热比较严重，这将使得处理器功耗大，这不但对移动设备的电池容量要求高，也对设备的散热设计提出了新的要求；最会是成本问题，要设计满足实时性的要求，则必须要采用更高端的嵌入式处理器，但其成本更高，且现有的视频处理技术都需要专用的储存设备，将视频数据保存，然后再进行后续处理，增加的专用储存设备也将增加成本，且设备增加芯片会增加设备的不稳定因素。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供一种全景视频拼接方法，其功耗低、占用资源少。
本发明的技术解决方案是：这种全景视频拼接方法，该方法包括以下步骤：
(1)对系统进行初始化，系统使用同一配置线同时对多个摄像头的每个进行配置；
(2)通过FPGA分时段分别读取每块摄像头的视频数据；
(3)进行图像畸变校正；
(4)通过FPGA进行图像配准拼接；
(5)进行图像融合；
(6)通过视频处理芯片，对视频数据进行压缩并通过WiFi将视频输出，以便在移动设备端查看。
由于相对于嵌入式处理器，FPGA是并行运作的，单个时钟周期内能进行大量的操作，特别适用于视频图像处理，且FPGA具有功耗低的特点，采用FPGA作为处理的核心将在功耗和成本都得到降低。视频拼接算法无需使用专用的大容量储存器，仅使用FPGA内部的储存资源，算法实现简单，占用储存和逻辑资源小，在效果上能满足对视频拼接质量要求不是特别严格的场合。
还提供了使用这种全景视频拼接方法的系统，该系统包括：4个摄像头、FPGA芯片、联咏的视频处理芯片NT96658；4个摄像头间隔90°被固定在系统外壳中，4个摄像头保持在同一平面；4个摄像头的视频数据输入到FPGA中，在FPGA进行图像拼接，完成后将视频数据传输给联咏的视频处理芯片NT96658，将视频进行压缩编码，通过WIFI将视频传输到移动设备。
附图说明
图1是根据本发明的全景视频拼接方法的流程图。
图2示出了渐入渐出法的示意图。
图3示出了图像插值的示意图。
图4示出了本发明的全景视频拼接系统的结构图。
具体实施方式
如图1所示，这种全景视频拼接方法，该方法包括以下步骤：
(1)对系统进行初始化，系统使用同一配置线同时对多个摄像头的每个进行配置；
(2)通过FPGA分时段分别读取每块摄像头的视频数据；
(3)进行图像畸变校正；
(4)通过FPGA进行图像配准拼接；
(5)进行图像融合；
(6)通过视频处理芯片，对视频数据进行压缩并通过WiFi将视频输出，以便在移动设备端查看。
由于相对于嵌入式处理器，FPGA是并行运作的，单个时钟周期内能进行大量的操作，特别适用于视频图像处理，且FPGA具有功耗低的特点，采用FPGA作为处理的核心将在功耗和成本都得到降低。视频拼接算法无需使用专用的大容量储存器，仅使用FPGA内部的储存资源，算法实现简单，占用储存和逻辑资源小，在效果上能满足对视频拼接质量要求不是特别严格的场合。
优选地，所述步骤(1)中，采用4个拍摄角度均超过90°的摄像头。
优选地，所述步骤(1)中，将每个摄像头的分辨率降低为270*480，将输出视频的帧率由30fps降为7.5fps；采样时，摄像头每4帧图像数据仅采样一帧，每一帧中，每4行像素采样一行，每4列像素点采样一列。
优选地，所述步骤(1)中，所采样的数据保存在RAM或FIFO中，以将4个摄像头的异步信号进行同步处理。
设计基于LFSR的高速FIFO用于储存摄像头数据。由于视频拼接数据量大，对实时性要求高，普通FIFO和双端口RAM难以满足实时性的要求，基于LFSR的高速FIFO实现简单且速度快，能满足设计的要求。
优选地，所述步骤(4)中，采用渐入渐出法、图像插值、直接配准法进行图像配准拼接。
1、渐入渐出法
渐入渐出具体做法是将重合的部分分别乘以各自的权重函数，这可以使得重叠部分左边的图像“渐出”，而重叠部分右边的图像“渐入”，这就实现了平缓的过度，使得图像拼接看起来自然。渐入渐出法需要在图像初步拼接完成后计算出重合度，然后选出一条尽可能理想的融合线，因为现行融合需要以融合线为分割线进行计算。其示意图如图2，w1(x)和w2(x)分别表示两幅图像的函数。
融合公式如下是所示，g(x,y)为拼接后的图像，f1(x,y)为左侧待融合图像，f2(x,y)为右侧待融合图像。
g(x,y)＝w(x)f1(x,y)+v(x)f2(x,y),
其中w(x)和v(x)是权重函数，其表达式如下：
2、图像插值
在图像变换过程中，变换后的坐标经常会遇到坐标非整数的情况，而为了方便计算机处理，需要将这些非整数坐标点采用一些算法将其变换为整数坐标，这个过程即为图像插值技术。最邻插值法：最邻插值法也称为零阶插值，输出的像素灰度值为距离其映射位置最近的像素点的像素灰度值。其示意图如图3。
设插值点坐标为(x,y)，与其相邻的坐标为(xi,yi),i＝1,2,3,4，最邻插值法将寻找该点与其相邻的4个坐标距离最近的点，然后将该点的数值作为插值点的数值。具体表达式如下式：
3、直接配准法
直接配准是基于内容的配准，通过比较配准区域颜色的相似性度量因子来配准，常用的相似度因子有SSD(Sun of Squared Differences)、SAD(Sun of AbsoluteDifference),通过相似度因子的大小可以判断匹配结果。相似度因子SSD和SAD表达式如下：
其中p1和p2分别代表两幅图像中像素点的灰度值，(x,y)是第一图像中待匹配块的中心点，待匹配快大小为SSD或SAD值得块即为对应的匹配块。
优选地，所述步骤(5)之后，用FPGA重新生成时序，将处理后的视频输出到视频处理芯片。
优选地，所述步骤(6)中视频处理芯片为联咏的视频处理芯片NT96658，其对视频数据进行视频编码，以减少数据量；通过WIFI将视频输出，输出的视频通过移动设备实时查看，并通过APP操作设备拍照或录制视频。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种全景视频拼接系统，该系统通常以与方法各步骤相对应的功能模块的形式表示。
如图4所示，使用该方法的系统，该系统包括：4个摄像头、FPGA芯片、联咏的视频处理芯片NT96658；4个摄像头间隔90°被固定在系统外壳中，4个摄像头保持在同一平面；4个摄像头的视频数据输入到FPGA中，在FPGA进行图像拼接，完成后将视频数据传输给联咏的视频处理芯片NT96658，将视频进行压缩编码，通过WIFI将视频传输到移动设备。
4个摄像头间隔90°被固定在采集设备中，4个摄像头时钟保持基本同一水平面，且位置是相对固定不变的，因此，设备所采集的图像质量较高，不会出现旋转、不在同一个水平面等视频拼接不利的情况，因此在视频拼接算法中可以适当的简化，同时保证视频拼接效果有较高的精细度。
优选地，该系统还包括实时时钟模块和GPS模块。为了更便于后期分析所获得的视频或图像，系统中有实时时钟模块和GPS模块，系统会在视频或图片中添加拍摄时间和拍摄地点信息。
优选地，该系统还包括TF卡。通过WIFI将视频传输到手机等设备，在移动设备的客户端可预览全景视频，并可发送拍摄指令，当联咏视频处理芯片接收到拍摄指令后，将视频或图片保存在设备TF卡中。
该方法有以下优点：
1、低资源，功耗低。本发明采用FPGA作为视频拼接处理的核心，FPGA是并行运作的，单个时钟周期内能进行大量的操作，特别适用于视频图像处理，本发明设计了低资源占用的视频拼接算法，该算法无需使用专用的大容量储存器，仅使用FPGA内部的储存资源，算法实现简单，在占用逻辑资源少的同时节省了外部存储器的开销，在效果上能满足对视频拼接质量要求不是特别严格的场合，且FPGA具有功耗低的特点，采用FPGA作为处理的核心将在功耗和成本都得到降低。
2、实现视频的实时拼接。以往的拼接技术大都基于图像进行拼接，由于算法复杂度大，把图像拼接技术移植到视频上时未能达到实时处理的效果，再加上基于嵌入式方式的实现，使得运算速度没法跟上视频的大量数据处理，因此在实时处理上效果较差，本技术利用FPGA的并行处理优点再通过对算法的改进，使得拼接操作同步与视频的采集，达到视频实时处理的效果。
3、制作成手持式设备，便于携带。本发明制作成了便携式的手持设备，并且自带电池，可以随身携带进行全景视频拍摄，通过WiFi发送到移动设备上观看，同时设备实现视频存储功能，可将拍摄的视频存储到SD卡中方便记录观看。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (10)
1.一种全景视频拼接方法，其特征在于：该方法包括以下步骤：
(1)对系统进行初始化，系统使用同一配置线同时对多个摄像头的每个进行配置；
(2)通过FPGA分时段分别读取每块摄像头的视频数据；
(3)进行图像畸变校正；
(4)通过FPGA进行图像配准拼接；
(5)进行图像融合；
(6)通过视频处理芯片，对视频数据进行压缩并通过WiFi将视频输出，以便在移动设备端查看。
2.根据权利要求1所述的全景视频拼接方法，其特征在于：所述步骤(1)中，采用4个拍摄角度均超过90°的摄像头。
3.根据权利要求2所述的全景视频拼接方法，其特征在于：所述步骤(1)中，将每个摄像头的分辨率降低为270*480，将输出视频的帧率由30fps降为7.5fps；采样时，摄像头每4帧图像数据仅采样一帧，每一帧中，每4行像素采样一行，每4列像素点采样一列。
4.根据权利要求3所述的全景视频拼接方法，其特征在于：所述步骤(1)中，所采样的数据保存在RAM或FIFO中，以将4个摄像头的异步信号进行同步处理。
5.根据权利要求4所述的全景视频拼接方法，其特征在于：所述步骤(4)中，采用渐入渐出法、图像插值、直接配准法进行图像配准拼接。
6.根据权利要求5所述的全景视频拼接方法，其特征在于：所述步骤(5)之后，用FPGA重新生成时序，将处理后的视频输出到视频处理芯片。
7.根据权利要求6所述的全景视频拼接方法，其特征在于：所述步骤(6)中视频处理芯片为联咏的视频处理芯片NT96658，其对视频数据进行视频编码，以减少数据量；通过WIFI将视频输出，输出的视频通过移动设备实时查看，并通过APP操作设备拍照或录制视频。
8.一种根据权利要求7所述的全景视频拼接方法的系统，其特征在于：该系统包括：4个摄像头、FPGA芯片、联咏的视频处理芯片NT96658；4个摄像头间隔90°被固定在系统外壳中，4个摄像头保持在同一平面；4个摄像头的视频数据输入到FPGA中，在FPGA进行图像拼接，完成后将视频数据传输给联咏的视频处理芯片NT96658，将视频进行压缩编码，通过WIFI将视频传输到移动设备。
9.根据权利要求8所述的系统，其特征在于：该系统还包括实时时钟模块和GPS模块。
10.根据权利要求9所述的系统，其特征在于：该系统还包括TF卡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710101195.2A CN106954029A (zh) | 2017-02-24 | 2017-02-24 | 一种全景视频拼接方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710101195.2A CN106954029A (zh) | 2017-02-24 | 2017-02-24 | 一种全景视频拼接方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106954029A true CN106954029A (zh) | 2017-07-14 |
Family
ID=59466564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710101195.2A Pending CN106954029A (zh) | 2017-02-24 | 2017-02-24 | 一种全景视频拼接方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106954029A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108055472A (zh) * | 2017-12-21 | 2018-05-18 | 长沙全度影像科技有限公司 | 一种实时全景直播系统及方法 |
| CN109104588A (zh) * | 2018-07-24 | 2018-12-28 | 房梦琦 | 一种视频监控方法、设备、终端及计算机存储介质 |
| CN113949817A (zh) * | 2021-11-30 | 2022-01-18 | 东风商用车有限公司 | 摄像头上电初始化控制方法、装置、设备及可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105072393A (zh) * | 2015-07-31 | 2015-11-18 | 深圳英飞拓科技股份有限公司 | 一种多镜头全景网络摄像机及拼接方法 |
| CN105187753A (zh) * | 2015-08-06 | 2015-12-23 | 佛山六滴电子科技有限公司 | 一种录制全景视频的系统 |
| CN205754633U (zh) * | 2016-05-16 | 2016-11-30 | 成都派视科技有限公司 | 嵌入式高清全景视频智能系统 |
-
2017
- 2017-02-24 CN CN201710101195.2A patent/CN106954029A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105072393A (zh) * | 2015-07-31 | 2015-11-18 | 深圳英飞拓科技股份有限公司 | 一种多镜头全景网络摄像机及拼接方法 |
| CN105187753A (zh) * | 2015-08-06 | 2015-12-23 | 佛山六滴电子科技有限公司 | 一种录制全景视频的系统 |
| CN205754633U (zh) * | 2016-05-16 | 2016-11-30 | 成都派视科技有限公司 | 嵌入式高清全景视频智能系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108055472A (zh) * | 2017-12-21 | 2018-05-18 | 长沙全度影像科技有限公司 | 一种实时全景直播系统及方法 |
| CN109104588A (zh) * | 2018-07-24 | 2018-12-28 | 房梦琦 | 一种视频监控方法、设备、终端及计算机存储介质 |
| CN109104588B (zh) * | 2018-07-24 | 2020-01-14 | 房梦琦 | 一种视频监控方法、设备、终端及计算机存储介质 |
| CN113949817A (zh) * | 2021-11-30 | 2022-01-18 | 东风商用车有限公司 | 摄像头上电初始化控制方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10645364B2 (en) | Dynamic calibration of multi-camera systems using multiple multi-view image frames | |
| CN107396068A (zh) | 全景视频同步拼接系统、方法及全景视频显示装置 | |
| CN105611177A (zh) | 实现全景相机的多个摄像头同时拍摄的方法及全景相机 | |
| CN109788189A (zh) | 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法 | |
| US11785339B2 (en) | Automated camera mode selection | |
| CN107529098A (zh) | 实时视频摘要 | |
| CN109120869A (zh) | 双光图像整合方法、整合设备及无人机 | |
| CN106954029A (zh) | 一种全景视频拼接方法及系统 | |
| CN105472272A (zh) | 基于fpga的多路视频拼接方法及装置 | |
| CN107749069A (zh) | 图像处理方法、电子设备和图像处理系统 | |
| CN108171723A (zh) | 基于Vibe和BP神经网络算法的多焦距镜头联动成像摄像机系统 | |
| CN115049783B (zh) | 模型的确定方法、场景重建模型、介质、设备及产品 | |
| CN116310105A (zh) | 基于多视图的物体三维重建方法、装置、设备及存储介质 | |
| CN203801008U (zh) | 720度环绕摄影装置 | |
| CN109741385A (zh) | 一种图像处理系统、方法、装置、电子设备及存储介质 | |
| KR20130027019A (ko) | 이미지 신호 프로세서 다중화 | |
| CN106231188A (zh) | 多角度空间成像装置 | |
| CN106134475B (zh) | 带存储功能的多图像采集设备遥控采集控制装置 | |
| CN104811601B (zh) | 一种显示预览图像的方法及设备 | |
| CN205647708U (zh) | 使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统 | |
| CN109121194B (zh) | 用于电子设备的状态转换的方法和装置 | |
| WO2016095285A1 (zh) | 一种图像的获取及处理方法、系统及终端 | |
| CN207166600U (zh) | 一种全景相机 | |
| CN109377460A (zh) | 一种图像处理方法、图像处理装置及终端设备 | |
| CN108307114A (zh) | 图像的处理方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170714 |
|
| RJ01 | Rejection of invention patent application after publication |