CN111330243A - 一种攀岩墙体感互动方法、控制系统、互动系统 - Google Patents

一种攀岩墙体感互动方法、控制系统、互动系统 Download PDF

Info

Publication number
CN111330243A
CN111330243A CN201811549831.9A CN201811549831A CN111330243A CN 111330243 A CN111330243 A CN 111330243A CN 201811549831 A CN201811549831 A CN 201811549831A CN 111330243 A CN111330243 A CN 111330243A
Authority
CN
China
Prior art keywords
data
module
gesture
human body
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811549831.9A
Other languages
English (en)
Inventor
孙炜恒
韩元东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yingzan Digital Technology Co ltd
Original Assignee
Shanghai Yingzan Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yingzan Digital Technology Co ltd filed Critical Shanghai Yingzan Digital Technology Co ltd
Priority to CN201811549831.9A priority Critical patent/CN111330243A/zh
Publication of CN111330243A publication Critical patent/CN111330243A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/0048—Training appliances or apparatus for special sports for mountaineering, e.g. climbing-walls, grip elements for climbing-walls
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种攀岩墙体感互动方法：其中，包括以下步骤：步骤一：通过第一摄像机实时采集人体后面影响并处理生成深度数据，通过第二摄像机实时采集人体前面影响并处理生成手势数据；步骤二：将手势数据传输至手势处理器进行处理生成坐标数据；步骤三：将深度数据与坐标数据传输至攀岩控制器；步骤四：攀岩控制器接收、处理深度数据与坐标数据并结合投影仪将成像在攀岩墙上。

Description

一种攀岩墙体感互动方法、控制系统、互动系统
技术领域
本发明涉及体感式墙面互动类系统，具体涉及一种攀岩墙体感互动方法、控制系统、互动系统。
背景技术
目前，体感技术越来越广泛地被应用到医院、服装实体店、教育行业、大型商场、展馆与展厅等各机构。随着技术的完善，新的体感技术应用场景不断被研究出来。不过，在场馆内攀岩类场景还没有完整的一套系统来支持实现体感类互动。本发明使用体感技术克服了大范围识别人体轮廓问题、远距离手势操作、多人攀岩轨迹识别等难题来实现了多人互动式的新型攀岩体验形式；常见的墙面互动系统都是仅仅识别手的触碰或者往墙上扔小球来进行体验，无法以攀岩形式进行体验。常规的攀岩墙都是固定的设计，无任何趣味性。本发明通过投影形式将有趣的内容投射在攀岩墙上，并且与攀岩的体验者实时进行反馈，让体验者攀岩同时感受系统带来的趣味性。
发明内容
本发明要解决的技术问题是提供一种攀岩墙体感互动方法，能够结合本发明所提供的一种攀岩墙体感互动方法、控制系统、互动系统将影像投影在攀岩墙或任意墙面后以体感互动形式进行内容展示，实时识别人背面的外轮廓与人的双手和双脚位置，让体验者在攀岩的同时感受到墙面的内容与自身有实时的互动，显著地提高了攀岩时的愉悦的感受同时还满足大部分线下各种活动中需要互动体验的场景；结合第一摄像机、第二摄像机无需人为的将手指触摸大屏幕便可实现隔空手掌控制进行操作，更加人性化。用以解决现有技术导致的缺陷。
本发明还提供一种攀岩墙体感互动控制系统、互动系统
为解决上述技术问题本发明提供以下的技术方案：一种攀岩墙体感互动方法：其中，包括以下步骤：
步骤一：通过第一摄像机实时采集人体后面影响并处理生成深度数据，通过第二摄像机实时采集人体前面影响并处理生成手势数据；
步骤二：将所述手势数据传输至手势处理器进行处理生成坐标数据；
步骤三：将所述深度数据与所述坐标数据传输至攀岩控制器；
步骤四：所述攀岩控制器接收、处理所述深度数据与所述坐标数据并结合投影仪将成像在攀岩墙上。
一种攀岩墙体感互动控制系统，其中，包括客户终端、手势控制终端、攀岩控制终端，所述攀岩控制终端通过有线分别与所述手势控制终端、所述客户终端连接；
所述手势控制终端包括手势采集模块、手势处理模块、手势数据传输模块，所述攀岩控制终端包括数据接收模块、数据处理模块、游戏控制模块；
所述手势采集模块用于实时采集人体数据并传输至所述手势处理模块；
所述手势处理模块用于接收所述人体数据并建立坐标数据，同时通过滤波算法将人体数据抖动频率降低成稳定状态并转换成0-1之间的数值；
所述手势数据传输模块用于与所述数据接收模块创建连接实时传输所述坐标数据；
所述数据接收模块用于与所述手势数据传输模块创建连接并接收所述坐标数据并传输至所述数据处理模块；
所述数据处理模块用于实时采集深度数据，用于接收所述坐标数据并将所述坐标数据与所述深度数据合并进行处理，获取人体背部、双手、双脚的位置，并使用仿射变换算法将所述坐标数据与所述深度数据转换成0-1间的数值，生成传输至所述游戏控制模块的人体信息数据；
所述游戏控制模块用于接收所述人体信息数据并与游戏数据、影像数据结合，进行人体、游戏、投影、音乐的结合。
上述的一种攀岩墙体感互动控制系统，其特征在于，所述游戏控制模块内置有单人游戏模式模块与双人游戏模式模块，所述游戏控制模块分别控制连接所述单人游戏模式模块与所述双人游戏模式模块；
所述单人游戏模式模块用于触发单人游戏模式并控制所述投影仪、游戏素材、音乐；
所述双人游戏模式模块用于触发双人游戏模式并控制所述投影仪、游戏素材、音乐。
一种攀岩墙体感互动系统，其中，包括客户端、手势控制端、攀岩控制端、攀岩墙、投影仪、第一摄像机、第二摄像机，所述第二摄像机连接于所述手势控制端，所述手势控制端通过有线连接于所述攀岩控制端，所述第一摄像机连接于所述攀岩控制终端，所述攀岩控制端分别控制连接于所述客户端、所述投影仪，所述投影仪设置于所述攀岩墙的前方，所述第一摄像机设置于所述投影仪与所述攀岩墙之间，所述第二摄像机设置于所述第一摄像机与所述攀岩墙之间且连接于所述攀岩墙。
上述的一种攀岩墙体感互动系统，其中，所述手势控制端与所述攀岩控制端均内置有存储模块，所述存储模块里内置有如权利要求2-3所述的控制系统，所述控制系统工作时实现如权利要求1所述方法的步骤。
依据上述本发明一种攀岩墙体感互动方法、控制系统、互动系统提供的技术方案效果是：能够结合本发明所提供的一种攀岩墙体感互动方法、控制系统、互动系统将影像投影在攀岩墙或任意墙面后以体感互动形式进行内容展示，实时识别人背面的外轮廓与人的双手和双脚位置，让体验者在攀岩的同时感受到墙面的内容与自身有实时的互动，显著地提高了攀岩时的愉悦的感受同时还满足大部分线下各种活动中需要互动体验的场景；结合第一摄像机、第二摄像机无需人为的将手指触摸大屏幕便可实现隔空手掌控制进行操作，更加人性化。
附图说明
图1为本发明一种攀岩墙体感互动系统的结构示意图。
其中，附图标记如下：攀岩墙101、投影仪102、第一摄像机103、第二摄像机104。
具体实施方式
为了使发明实现的技术手段、创造特征、达成目的和功效易于明白了解，下结合具体图示，进一步阐述本发明。
本发明的一较佳实施例是提供一种攀岩墙体感互动方法、控制系统、互动系统，目的是结合本发明所提供的一种攀岩墙体感互动方法、控制系统、互动系统将影像投影在攀岩墙或任意墙面后以体感互动形式进行内容展示，实时识别人背面的外轮廓与人的双手和双脚位置，让体验者在攀岩的同时感受到墙面的内容与自身有实时的互动，显著地提高了攀岩时的愉悦的感受同时还满足大部分线下各种活动中需要互动体验的场景；结合第一摄像机、第二摄像机无需人为的将手指触摸大屏幕便可实现隔空手掌控制进行操作，更加人性化。
一种攀岩墙体感互动方法：其中，包括以下步骤：
步骤一：通过第一摄像机103实时采集人体后面影响并处理生成深度数据，通过第二摄像机104实时采集人体前面影响并处理生成手势数据；
步骤二：将手势数据传输至手势处理器进行处理生成坐标数据；
步骤三：将深度数据与坐标数据传输至攀岩控制器；
步骤四：攀岩控制器接收、处理深度数据与坐标数据并结合投影仪102将成像在攀岩墙101上。
一种攀岩墙体感互动控制系统，其中，包括客户终端、手势控制终端、攀岩控制终端，攀岩控制终端通过有线分别与手势控制终端、客户终端连接；
手势控制终端包括手势采集模块、手势处理模块、手势数据传输模块，攀岩控制终端包括数据接收模块、数据处理模块、游戏控制模块；
手势采集模块用于实时采集人体数据并传输至手势处理模块；
手势处理模块用于接收人体数据并建立坐标数据，同时通过滤波算法将人体数据抖动频率降低成稳定状态并转换成0-1之间的数值，在使用时，如果体验范围内的人数超过两个，则通过计算选择离攀岩墙101近的人作为操作者；
手势数据传输模块用于与数据接收模块创建连接实时传输坐标数据；
数据接收模块用于与手势数据传输模块创建连接并接收坐标数据并传输至数据处理模块；
数据处理模块用于实时采集深度数据，用于接收坐标数据并将坐标数据与深度数据合并进行处理，获取人体背部、双手、双脚的位置，并使用仿射变换算法将坐标数据与深度数据转换成0-1间的数值，生成传输至游戏控制模块的人体信息数据，在使用时，数据处理模块启动会加载所有媒体资源并进行初始化工作，其中媒体资源包括游戏资源、音乐资源、影像资源、图像资源，音乐与影像会实时播放，数据接收模块与手势数据传输模块创建连接实时将手势数据，当数据处理模块接收到坐标数据时计算手掌位置与影像中按钮位置之间的距离，当距离小于按钮大小时判定用户选择该按钮，接着与影像进行匹配进行后续操作的依次显示，实现互动。
游戏控制模块用于接收人体信息数据并与游戏数据、影像数据结合，进行人体、游戏、投影、音乐的结合。
本实施例提供的一种攀岩墙101体感互动控制系统，采用的游戏控制模块内置有单人游戏模式模块与双人游戏模式模块，游戏控制模块分别控制连接单人游戏模式模块与双人游戏模式模块；
单人游戏模式模块用于触发单人游戏模式并控制投影仪102、游戏素材、音乐；
双人游戏模式模块用于触发双人游戏模式并控制投影仪102、游戏素材、音乐。
如图1所示，一种攀岩墙体感互动系统，其中，包括客户端、手势控制端、攀岩控制端、攀岩墙101、投影仪102、第一摄像机103、第二摄像机104，第二摄像机104连接于手势控制端，手势控制端通过有线连接于攀岩控制端，第一摄像机103连接于攀岩控制终端，攀岩控制端分别控制连接于客户端、投影仪102，投影仪102设置于攀岩墙101的前方，第一摄像机103设置于投影仪102与攀岩墙101之间，第二摄像机104设置于第一摄像机103与攀岩墙101之间且连接于攀岩墙101。
本实施例提供的一种攀岩墙体感互动系统，采用的手势控制端与攀岩控制端均内置有存储模块，存储模块里内置有控制系统，控制系统工作时实现互动方法的步骤。
综上，本发明的一种攀岩墙体感互动方法、控制系统、互动系统，能够结合本发明所提供的一种攀岩墙体感互动方法、控制系统、互动系统将影像投影在攀岩墙或任意墙面后以体感互动形式进行内容展示，实时识别人背面的外轮廓与人的双手和双脚位置，让体验者在攀岩的同时感受到墙面的内容与自身有实时的互动，显著地提高了攀岩时的愉悦的感受同时还满足大部分线下各种活动中需要互动体验的场景；结合第一摄像机、第二摄像机无需人为的将手指触摸大屏幕便可实现隔空手掌控制进行操作，更加人性化。
以上对发明的具体实施例进行了描述。需要理解的是，发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；本领域技术人员可以在权利要求的范围内做出各种变形或修改做出若干简单推演、变形或替换，这并不影响发明的实质内容。

Claims (5)

1.一种攀岩墙体感互动方法：其特征在于，包括以下步骤：
步骤一：通过第一摄像机实时采集人体后面影响并处理生成深度数据，通过第二摄像机实时采集人体前面影响并处理生成手势数据；
步骤二：将所述手势数据传输至手势处理器进行处理生成坐标数据；
步骤三：将所述深度数据与所述坐标数据传输至攀岩控制器；
步骤四：所述攀岩控制器接收、处理所述深度数据与所述坐标数据并结合投影仪将成像在攀岩墙上。
2.一种攀岩墙体感互动控制系统，其特征在于，包括客户终端、手势控制终端、攀岩控制终端，所述攀岩控制终端通过有线分别与所述手势控制终端、所述客户终端连接；
所述手势控制终端包括手势采集模块、手势处理模块、手势数据传输模块，所述攀岩控制终端包括数据接收模块、数据处理模块、游戏控制模块；
所述手势采集模块用于实时采集人体数据并传输至所述手势处理模块；
所述手势处理模块用于接收所述人体数据并建立坐标数据，同时通过滤波算法将人体数据抖动频率降低成稳定状态并转换成0-1之间的数值；
所述手势数据传输模块用于与所述数据接收模块创建连接实时传输所述坐标数据；
所述数据接收模块用于与所述手势数据传输模块创建连接并接收所述坐标数据并传输至所述数据处理模块；
所述数据处理模块用于实时采集深度数据，用于接收所述坐标数据并将所述坐标数据与所述深度数据合并进行处理，获取人体背部、双手、双脚的位置，并使用仿射变换算法将所述坐标数据与所述深度数据转换成0-1间的数值，生成传输至所述游戏控制模块的人体信息数据；
所述游戏控制模块用于接收所述人体信息数据并与游戏数据、影像数据结合，进行人体、游戏、投影、音乐的结合。
3.如权利要求2所述的一种攀岩墙体感互动控制系统，其特征在于，所述游戏控制模块内置有单人游戏模式模块与双人游戏模式模块，所述游戏控制模块分别控制连接所述单人游戏模式模块与所述双人游戏模式模块；
所述单人游戏模式模块用于触发单人游戏模式并控制所述投影仪、游戏素材、音乐；
所述双人游戏模式模块用于触发双人游戏模式并控制所述投影仪、游戏素材、音乐。
4.一种攀岩墙体感互动系统，其特征在于，包括客户端、手势控制端、攀岩控制端、攀岩墙、投影仪、第一摄像机、第二摄像机，所述第二摄像机连接于所述手势控制端，所述手势控制端通过有线连接于所述攀岩控制端，所述第一摄像机连接于所述攀岩控制终端，所述攀岩控制端分别控制连接于所述客户端、所述投影仪，所述投影仪设置于所述攀岩墙的前方，所述第一摄像机设置于所述投影仪与所述攀岩墙之间，所述第二摄像机设置于所述第一摄像机与所述攀岩墙之间且连接于所述攀岩墙。
5.如权利要求4所述的一种攀岩墙体感互动系统，其特征在于，所述手势控制端与所述攀岩控制端均内置有存储模块，所述存储模块里内置有如权利要求2-3所述的控制系统，所述控制系统工作时实现如权利要求1所述方法的步骤。
CN201811549831.9A 2018-12-18 2018-12-18 一种攀岩墙体感互动方法、控制系统、互动系统 Pending CN111330243A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811549831.9A CN111330243A (zh) 2018-12-18 2018-12-18 一种攀岩墙体感互动方法、控制系统、互动系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811549831.9A CN111330243A (zh) 2018-12-18 2018-12-18 一种攀岩墙体感互动方法、控制系统、互动系统

Publications (1)

Publication Number Publication Date
CN111330243A true CN111330243A (zh) 2020-06-26

Family

ID=71175820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811549831.9A Pending CN111330243A (zh) 2018-12-18 2018-12-18 一种攀岩墙体感互动方法、控制系统、互动系统

Country Status (1)

Country Link
CN (1) CN111330243A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130061538A (ko) * 2011-12-01 2013-06-11 한국전자통신연구원 가상현실 기반 콘텐츠 제공장치 및 그 방법
CN103620535A (zh) * 2011-06-13 2014-03-05 西铁城控股株式会社 信息输入装置
CN203507499U (zh) * 2013-10-17 2014-04-02 芜湖金诺数字多媒体有限公司 一种桌面互动捕捉类游戏装置
CN104142730A (zh) * 2014-07-04 2014-11-12 华南理工大学 一种手势跟踪结果映射成鼠标事件的方法
CN104517100A (zh) * 2014-12-15 2015-04-15 中国科学院深圳先进技术研究院 手势预判方法和系统
CN107261454A (zh) * 2017-07-14 2017-10-20 福建铁工机智能机器人有限公司 一种利用ar进行登山的方法
CN206675905U (zh) * 2017-04-10 2017-11-28 南京维睛视空信息科技有限公司 一种增强现实版攀岩墙

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103620535A (zh) * 2011-06-13 2014-03-05 西铁城控股株式会社 信息输入装置
KR20130061538A (ko) * 2011-12-01 2013-06-11 한국전자통신연구원 가상현실 기반 콘텐츠 제공장치 및 그 방법
CN203507499U (zh) * 2013-10-17 2014-04-02 芜湖金诺数字多媒体有限公司 一种桌面互动捕捉类游戏装置
CN104142730A (zh) * 2014-07-04 2014-11-12 华南理工大学 一种手势跟踪结果映射成鼠标事件的方法
CN104517100A (zh) * 2014-12-15 2015-04-15 中国科学院深圳先进技术研究院 手势预判方法和系统
CN206675905U (zh) * 2017-04-10 2017-11-28 南京维睛视空信息科技有限公司 一种增强现实版攀岩墙
CN107261454A (zh) * 2017-07-14 2017-10-20 福建铁工机智能机器人有限公司 一种利用ar进行登山的方法

Similar Documents

Publication Publication Date Title
JP7366196B2 (ja) 広範囲同時遠隔ディジタル提示世界
CN103793060B (zh) 一种用户交互系统和方法
EP2394717B1 (en) Image generation system, image generation method, and information storage medium for video games
CN103246351B (zh) 一种用户交互系统和方法
WO2016011788A1 (zh) 一种基于增强现实技术的手持式阅览设备及其方法
US20170038829A1 (en) Social interaction for remote communication
US10701316B1 (en) Gesture-triggered overlay elements for video conferencing
KR20150103723A (ko) 가상 또는 증강매개된 비전을 위한 엑스트라미시브 공간 이미징 디지털 아이 글래스
CN106200944A (zh) 一种对象的控制方法、控制装置和控制系统
JP2001517345A (ja) カメラ・ベースの身振り入力を使用しての３次元映像構築のシステムおよび方法
CN105320262A (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
Leibe et al. Toward spontaneous interaction with the perceptive workbench
CN110362231A (zh) 抬头触控设备、图像显示的方法及装置
CN108616712A (zh) 一种基于摄像头的界面操作方法、装置、设备及存储介质
CN102929547A (zh) 智能终端无接触交互方法
KR20150097049A (ko) 네추럴 ｕｉ를 이용한 자율서빙 로봇 시스템
CN110568931A (zh) 交互方法、设备、系统、电子设备及存储介质
Noh et al. An HMD-based Mixed Reality System for Avatar-Mediated Remote Collaboration with Bare-hand Interaction.
Sreejith et al. Real-time hands-free immersive image navigation system using Microsoft Kinect 2.0 and Leap Motion Controller
Aladin et al. Designing user interaction using gesture and speech for mixed reality interface
CN112927330A (zh) 用于生成虚拟人体图像的方法和系统
CN108553888A (zh) 增强现实交互方法及装置
CN111330243A (zh) 一种攀岩墙体感互动方法、控制系统、互动系统
CN104035560A (zh) 一种基于摄像头的人机实时交互方法
JP6700672B2 (ja) 遠隔コミュニケーションシステム、その制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626

RJ01 Rejection of invention patent application after publication