CN111698497A - 全景显示系统在ar眼镜上的实时传输与监控的方法 - Google Patents

全景显示系统在ar眼镜上的实时传输与监控的方法 Download PDF

Info

Publication number
CN111698497A
CN111698497A CN202010540643.0A CN202010540643A CN111698497A CN 111698497 A CN111698497 A CN 111698497A CN 202010540643 A CN202010540643 A CN 202010540643A CN 111698497 A CN111698497 A CN 111698497A
Authority
CN
China
Prior art keywords
panoramic
real
picture
time
glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010540643.0A
Other languages
English (en)
Inventor
吉涛
向艳
朱标
张骏
孙瑞
张鹏
沈玉真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AVIC Huadong Photoelectric Co Ltd
Original Assignee
AVIC Huadong Photoelectric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AVIC Huadong Photoelectric Co Ltd filed Critical AVIC Huadong Photoelectric Co Ltd
Priority to CN202010540643.0A priority Critical patent/CN111698497A/zh
Publication of CN111698497A publication Critical patent/CN111698497A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种全景显示系统在AR眼镜上的实时传输与监控的方法，包括：步骤1、安装摄像头；步骤2、进行全景画面实时拼接和unity多形状动态贴图；步骤3、对场景对象进行渲染；步骤4、udp/rtsp全景画面传输；步骤5、实现头部姿态、眼动、语音和手势控制视角画面；步骤6、最终设备间同步显示全景实时画面并协同控制。该方法可以实时将设备采集的全景画面传输给移动端AR眼镜并同步显示，即便使用人员脱离全景设备也能够有效地获取安装在车载或者其他位置传出的实时全景画面，并在头部姿态控制的基础上完成全景不同方位的观察，能最大程度获取当前环境形式下的相关数据信息，结合多种智能交互模式(眼动、语音、手势)协同指挥控制。

Description

全景显示系统在AR眼镜上的实时传输与监控的方法
技术领域
本发明涉及全景显示技术领域，具体地，涉及一种全景显示系统在AR眼镜上的实时传输与监控。
背景技术
随着工业技术、计算机技术和网络技术等的不断发展，产品逐步向智能化方式转变，使得各领域发生了巨大的变化。全景作为一门新型显示技术，已经在多个应用领域得到使用。全景显示设备安装在汽车上可以观察到汽车的盲点区域，有效地减少交通事故的发生；全景设备在监控上也有着重大的作用，全景设备因具备采集画面视野广的特点，有效地对多个区域实时监控。即便全景显示设备有如此多的优势，但其也有自身的不足之处，一般设备里装载的全景显示系统只能在固定的显示器上显示，不具备可移动性，机动性能较差，并且无法很好的和AR眼镜相结合，即使有相关的尝试，也不能保证系统能够稳定有效地实时传输全景视频画面到AR眼镜上并通过头部姿态对其控制。
因此，急需要提供一种可以稳定、有效的将全景实时画面传输到AR眼镜移动端并通过头部姿态估计观察全景画面的各个方位的方法来解决上述技术难题。
发明内容
本发明的目的是提供一种全景显示系统在AR眼镜上的实时传输与监控的方法，该方法可以实时将设备采集的全景画面传输给移动端AR眼镜并同步显示，即便使用人员脱离全景设备也能够有效地获取安装在车载或者其他位置传出的实时全景画面，并在头部姿态控制的基础上完成全景不同方位的观察，能最大程度获取当前环境形式下的相关数据信息，结合多种智能交互模式(眼动、语音、手势)协同指挥控制。
为了实现上述目的，本发明提供了一种全景显示系统在AR眼镜上的实时传输与监控的方法，包括：
步骤1、安装摄像头；
步骤2、进行全景画面实时拼接和unity多形状动态贴图；
步骤3、对场景对象进行渲染；
步骤4、UDP/RTSP全景画面传输；
步骤5、实现头部姿态、眼动、语音和手势控制视角画面；
步骤6、最终设备间同步显示全景实时画面并协同控制。
优选地，步骤1包括：在设备上安装多路摄像头，并将其布置在设备上对应的位置，利用实时拼接及融合算法完成基本的全景画面显示；其中，摄像头的安装方式设定为弧形式排列或者散列式排列，并且，多路摄像头为4路、8路、16路或32路。
优选地，步骤2包括：通过unity3d软件接入步骤1中安装好的实时全景显示画面，在接入全景显示画面时，显示对象能够兼容多个模型作为贴图对象；将这些多模型类型的中心点作为视野的中心点，并给这多个模型的对象赋予全景Shader；其中，多个模型包括正方体、球体、圆柱体以及胶囊体。
优选地，步骤3包括：在球谐光照技术的基础上对场景对象进行渲染，将动态视频贴在球体上，用于解决带宽传输及图像渲染的问题。
优选地，步骤4包括：初始化位置坐标，通过UDP方式将实时的全景画面传输到AR眼镜端，若传输的视频帧过大，则对其进行压缩处理，用于提高传输速度。
优选地，步骤5包括：通过AR眼镜端的陀螺仪实现全方位全景画面端随头部姿态移动，若头部向左，则画面跟随头部向左移动，若头部向右，则画面跟随头部向右移动，用于解决视野盲区。
根据上述技术方案，本发明利用球谐光照和全景动态视频的贴图技术解决了光照渲染效果以及带宽传输的问题，并利用UDP传输的方式将设备采集的实时动态全景画面显示在AR眼镜中，利用头部姿态对场景进行视角控制，智能交互协同指挥控制，解决了当前环境中实时画面同步显示及通信传输的问题，本发明的优势在于通过将不同设备的多路实时画面进行实时拼接和传输，并在此基础上获取AR眼镜的头部姿态，将实时全景画面同步到AR眼镜上全景显示，动态画面随头部姿态的改变而改变。基于这一特点，使用人员只需借助AR眼镜就可以实时监控和观察整个环境的态势，提高工作效率。
本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是本发明中全景显示系统在AR眼镜上的实时传输与监控的方法的流程图；
图2是本发明中弧形式排列的示意图；
图3是本发明中散列式排列的示意图；
图4是本发明中球体模型图；
图5是本发明中数据的发送接收加速处理的示意图；
图6是本发明中头部姿态控制的示意图；
图7是本发明中协同使用流程框图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
在本发明中，在未作相反说明的情况下，“左、右”等包含在术语中的方位词仅代表该术语在常规使用状态下的方位，或为本领域技术人员理解的俗称，而不应视为对该术语的限制。
参见图1，本发明提供一种全景显示系统在AR眼镜上的实时传输与监控的方法，包括：
步骤1、安装摄像头；
步骤2、进行全景画面实时拼接和unity多形状动态贴图；
步骤3、对场景对象进行渲染；
步骤4、UDP/RTSP全景画面传输；
步骤5、实现头部姿态、眼动、语音和手势控制视角画面；
步骤6、最终设备间同步显示全景实时画面并协同控制。
在本实施方式中，步骤1包括：在设备上安装多路摄像头，并将其布置在设备上对应的位置，利用实时拼接及融合算法完成基本的全景画面显示；其中，摄像头的安装方式设定为弧形式排列或者散列式排列(如图2和图3所示)，并且，多路摄像头为4路、8路、16路或32路。
实际安装过程中，摄像头的安装根据实际情况进行，对实时全景视频进行采集，并在终端显示。
步骤2包括：通过unity3d软件接入步骤1中安装好的实时全景显示画面，在接入全景显示画面时，显示对象能够兼容多个模型作为贴图对象；将这些多模型类型的中心点作为视野的中心点，并给这多个模型的对象赋予全景Shader；其中，多个模型包括正方体、球体、圆柱体以及胶囊体。如图4中以球体为例(该该球体渲染的顶点总数、三角面总数量分别为4167个，8192个)，多个模型类别均采用高精度模型，这样能够更好地提高全景画面的清晰度。
为了让光照效果更加真实，采用常用的球谐光照技术，该技术就是将复杂的光照信号投影到基函数上进行存储，然后在使用的时候再将基函数上的数据加起来重建光照信号，但是对于场景细分颗粒度的整个预处理会消耗大量的时间，并且对于带宽的传输也受到巨大的限制，但是如果将全景动态视频无缝的贴在3d模型上则会大幅度提高时间效率，因此本发明在此基础上，将球谐光照和动态视频的贴图相结合，既提高了渲染的效果又提升了时间效率，并且不会占用太多的内存资源。因此，步骤3中包括：在球谐光照技术的基础上对场景对象进行渲染，将动态视频贴在球体上，用于解决带宽传输及图像渲染的问题。
步骤4包括：初始化位置坐标，通过UDP方式将实时的全景画面传输到AR眼镜端，若传输的视频帧过大，则对其进行压缩处理，用于提高传输速度。
具体的，初始化坐标位置来确保设备每一帧采集的实时全景画面与AR眼镜端的画面一致，在完成初始化的操作之后，通过UDP传输的方式将设备采集的实时全景视频传输到AR眼镜端显示，考虑到全景传输的每帧画面(32M左右)较大，会影响传输的速度以及丢帧的情况，采用图片帧压缩以及队列缓存的方式进行传输，设传输图片帧的宽度和高度分别为width、height，并设置一个缩放变量T(正整数)，压缩后图片帧的宽度和高度分别为width/T、height/T，变量T依据实际情况进行缩放，若延迟较低，可将变量T设置的较小；若延迟较大，则可将变量T设置的较大，并将传输压缩后的帧图像放入队列缓存当中，如图5所示。
如图6所示，步骤5包括：通过AR眼镜端的陀螺仪实现全方位全景画面端随头部姿态移动，若头部向左，则画面跟随头部向左移动，若头部向右，则画面跟随头部向右移动，用于解决视野盲区。
全景设备与移动端用户显示画面协同指挥，当装有全景载体的设备无法到达全景显示画面中的某个目标，则可以快速指挥佩戴移动端AR眼镜的人员前去调查，并将信息实时反馈回来，并通过眼动、语音以及手势的方式进行智能交互，能够有效地对整个实际环境状况进行决策，具体如图7所示。
通过上述技术方案，利用球谐光照和全景动态视频的贴图技术解决了光照渲染效果以及带宽传输的问题，并利用UDP传输的方式将设备采集的实时动态全景画面显示在AR眼镜中，利用头部姿态对场景进行视角控制，智能交互协同指挥控制，解决了当前环境中实时画面同步显示及通信传输的问题，本发明的优势在于通过将不同设备的多路实时画面进行实时拼接和传输，并在此基础上获取AR眼镜的头部姿态，将实时全景画面同步到AR眼镜上全景显示，动态画面随头部姿态的改变而改变。基于这一特点，使用人员只需借助AR眼镜就可以实时监控和观察整个环境的态势，提高工作效率。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (6)

1.一种全景显示系统在AR眼镜上的实时传输与监控的方法，其特征在于，包括：
步骤1、安装摄像头；
步骤2、进行全景画面实时拼接和unity多形状动态贴图；
步骤3、对场景对象进行渲染；
步骤4、UDP/RTSP全景画面传输；
步骤5、实现头部姿态、眼动、语音和手势控制视角画面；
步骤6、最终设备间同步显示全景实时画面并协同控制。
2.根据权利要求1所述的全景显示系统在AR眼镜上的实时传输与监控的方法，其特征在于，步骤1包括：在设备上安装多路摄像头，并将其布置在设备上对应的位置，利用实时拼接及融合算法完成基本的全景画面显示；其中，摄像头的安装方式设定为弧形式排列或者散列式排列，并且，多路摄像头为4路、8路、16路或32路。
3.根据权利要求1所述的全景显示系统在AR眼镜上的实时传输与监控的方法，其特征在于，步骤2包括：通过unity3d软件接入步骤1中安装好的实时全景显示画面，在接入全景显示画面时，显示对象能够兼容多个模型作为贴图对象；将这些多模型类型的中心点作为视野的中心点，并给这多个模型的对象赋予全景Shader；其中，多个模型包括正方体、球体、圆柱体以及胶囊体。
4.根据权利要求1所述的全景显示系统在AR眼镜上的实时传输与监控的方法，其特征在于，步骤3包括：在球谐光照技术的基础上对场景对象进行渲染，将动态视频贴在球体上，用于解决带宽传输及图像渲染的问题。
5.根据权利要求1所述的全景显示系统在AR眼镜上的实时传输与监控的方法，其特征在于，步骤4包括：初始化位置坐标，通过UDP方式将实时的全景画面传输到AR眼镜端，若传输的视频帧过大，则对其进行压缩处理，用于提高传输速度。
6.根据权利要求1所述的全景显示系统在AR眼镜上的实时传输与监控的方法，其特征在于，步骤5包括：通过AR眼镜端的陀螺仪实现全方位全景画面端随头部姿态移动，若头部向左，则画面跟随头部向左移动，若头部向右，则画面跟随头部向右移动，用于解决视野盲区。
CN202010540643.0A 2020-06-15 2020-06-15 全景显示系统在ar眼镜上的实时传输与监控的方法 Pending CN111698497A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010540643.0A CN111698497A (zh) 2020-06-15 2020-06-15 全景显示系统在ar眼镜上的实时传输与监控的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010540643.0A CN111698497A (zh) 2020-06-15 2020-06-15 全景显示系统在ar眼镜上的实时传输与监控的方法

Publications (1)

Publication Number Publication Date
CN111698497A true CN111698497A (zh) 2020-09-22

Family

ID=72481069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010540643.0A Pending CN111698497A (zh) 2020-06-15 2020-06-15 全景显示系统在ar眼镜上的实时传输与监控的方法

Country Status (1)

Country Link
CN (1) CN111698497A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096228A (zh) * 2021-06-09 2021-07-09 上海影创信息科技有限公司 基于神经网络的实时光照估计与渲染方法及系统
CN113923501A (zh) * 2021-10-09 2022-01-11 深圳市中渤光电有限公司 基于vr虚拟现实的led屏全景显示方法及系统
CN117255188A (zh) * 2023-07-21 2023-12-19 北京行者无疆科技有限公司 Ar眼镜的转换器对于移动终端设备的空间界面显示控制交互系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150029304A1 (en) * 2013-07-23 2015-01-29 Lg Electronics Inc. Mobile terminal and panorama capturing method thereof
CN106339980A (zh) * 2016-08-22 2017-01-18 乐视控股（北京）有限公司 基于汽车的vr显示装置、方法及汽车
CN107105333A (zh) * 2017-04-26 2017-08-29 电子科技大学 一种基于视线追踪技术的vr视频直播交互方法与装置
CN108200331A (zh) * 2017-12-16 2018-06-22 苏州晨本智能科技有限公司 一种基于自动跟随技术和vr技术的远程讲解互动机器人

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150029304A1 (en) * 2013-07-23 2015-01-29 Lg Electronics Inc. Mobile terminal and panorama capturing method thereof
CN106339980A (zh) * 2016-08-22 2017-01-18 乐视控股（北京）有限公司 基于汽车的vr显示装置、方法及汽车
CN107105333A (zh) * 2017-04-26 2017-08-29 电子科技大学 一种基于视线追踪技术的vr视频直播交互方法与装置
CN108200331A (zh) * 2017-12-16 2018-06-22 苏州晨本智能科技有限公司 一种基于自动跟随技术和vr技术的远程讲解互动机器人

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096228A (zh) * 2021-06-09 2021-07-09 上海影创信息科技有限公司 基于神经网络的实时光照估计与渲染方法及系统
CN113096228B (zh) * 2021-06-09 2021-08-31 上海影创信息科技有限公司 基于神经网络的实时光照估计与渲染方法及系统
CN113923501A (zh) * 2021-10-09 2022-01-11 深圳市中渤光电有限公司 基于vr虚拟现实的led屏全景显示方法及系统
CN117255188A (zh) * 2023-07-21 2023-12-19 北京行者无疆科技有限公司 Ar眼镜的转换器对于移动终端设备的空间界面显示控制交互系统及方法
CN117255188B (zh) * 2023-07-21 2024-03-01 北京行者无疆科技有限公司 Ar眼镜的转换器对于移动终端设备的空间界面显示控制交互系统及方法

Similar Documents

Publication Publication Date Title
CN111698497A (zh) 全景显示系统在ar眼镜上的实时传输与监控的方法
CN112367513B (zh) 导航系统和用于感测环境的方法
Schneider et al. Augmented reality based on edge computing using the example of remote live support
CN114223195A (zh) 用于使用虚拟相机进行视频通信的系统和方法
Krückel et al. Intuitive visual teleoperation for UGVs using free-look augmented reality displays
CN112866627B (zh) 一种三维视频监控方法及相关设备
US11924393B2 (en) Shared viewing of video among multiple users
CN106453913A (zh) 预览全景内容的方法及装置
CN115639976B (zh) 一种虚拟现实内容多模式多角度同步展示方法及系统
WO2002019270A1 (fr) Procede de conversion d'image courbe et support d'enregistrement sur lequel ce procede de conversion d'image courbe est enregistre
KR102503337B1 (ko) 이미지 디스플레이 방법, 장치 및 시스템
CN111947650A (zh) 基于光学追踪与惯性追踪的融合定位系统及方法
CN113515193B (zh) 一种模型数据传输方法及装置
CN112802206B (zh) 漫游视图的生成方法、装置、设备和存储介质
Tanikawa et al. Real world video avatar: real-time and real-size transmission and presentation of human figure
CN112530173A (zh) 路侧感知方法、装置、电子设备、存储介质及路侧设备
JP2003069990A (ja) 遠隔映像認識システム
CN109461116B (zh) 一种基于opengl的720全景展开监控方法
EP4156109A1 (en) Apparatus and method for establishing a three-dimensional conversational service
CN108693953A (zh) 一种增强现实ar投影方法及云端服务器
JP6639205B2 (ja) 送信装置、送信方法、およびプログラム
US20240070958A1 (en) 3d stream processing
JP7522605B2 (ja) 送信装置、受信装置、ネットワークノード、及びプログラム
Noguera et al. A hybrid rendering technique to navigate in large terrains using mobile devices
WO2024040535A1 (zh) 视频处理方法、装置、设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200922

RJ01 Rejection of invention patent application after publication