CN111722711B - 增强现实场景输出方法及电子设备、计算机可读存储介质 - Google Patents

增强现实场景输出方法及电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN111722711B
CN111722711B CN202010493730.5A CN202010493730A CN111722711B CN 111722711 B CN111722711 B CN 111722711B CN 202010493730 A CN202010493730 A CN 202010493730A CN 111722711 B CN111722711 B CN 111722711B
Authority
CN
China
Prior art keywords
page
dimensional model
image
page image
book
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010493730.5A
Other languages
English (en)
Other versions
CN111722711A (zh
Inventor
崔颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN202010493730.5A priority Critical patent/CN111722711B/zh
Publication of CN111722711A publication Critical patent/CN111722711A/zh
Application granted granted Critical
Publication of CN111722711B publication Critical patent/CN111722711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及计算机技术领域，公开一种增强现实场景输出方法及电子设备、计算机可读存储介质，包括：通过图像采集设备捕捉包含书本页面的页面图像，并通过电子设备的显示屏输出页面图像；当检测到电子设备的用户在书本页面上执行的点击操作时，确定点击操作在页面图像中对应的点击位置；从页面图像中识别点击位置对应的目标内容；获取与目标内容对应的三维模型；控制显示屏输出通过即时定位与地图构建技术构建的包含三维模型的页面图像，三维模型在页面图像中的图像位置与点击位置对应。实施本申请实施例，能够增强了用户对目标内容的记忆，从而提升了用户的学习效果。

Description

增强现实场景输出方法及电子设备、计算机可读存储介质
技术领域
本申请涉及计算机技术领域，具体涉及一种增强现实场景输出方法及电子设备、计算机可读存储介质。
背景技术
目前，学生在学习过程中为了增强对学习内容的记忆，通常会选择使用学习类的电子设备输出与学习内容相关的辅助内容辅助学生进行学习。然而，在实践中发现，辅助内容通常是通过电子设备独立输出，可见，输出的辅助内容与学生当前正在学习的内容在空间上缺乏关联性，导致了学生的学习效果较差。
发明内容
本申请实施例公开一种增强现实场景输出方法及电子设备、计算机可读存储介质，能够提升了学生的学习效果。
本申请实施例第一方面公开一种增强现实场景输出方法，所述方法包括：
通过图像采集设备捕捉包含书本页面的页面图像，并通过电子设备的显示屏输出所述页面图像；
当检测到所述电子设备的用户在所述书本页面上执行的点击操作时，确定所述点击操作在所述页面图像中对应的点击位置；
从所述页面图像中识别所述点击位置对应的目标内容；
获取与所述目标内容对应的三维模型；
控制所述显示屏输出通过即时定位与地图构建技术构建的包含所述三维模型的页面图像，所述三维模型在所述页面图像中的图像位置与所述点击位置对应。
作为一种可选的实施方式，在本申请实施例第一方面中，所述从所述页面图像中识别所述点击位置对应的目标内容，包括：
识别所述点击位置在所述页面图像包含的书本页面中的点击坐标；
获取所述点击坐标对应的所述书本页面中的待识别区域；
对所述待识别区域进行文字识别，得到所述待识别区域中包含的目标内容。
作为一种可选的实施方式，在本申请实施例第一方面中，所述对所述待识别区域进行文字识别，得到所述待识别区域中包含的目标内容，包括：
对所述待识别区域进行文字识别，得到所述待识别区域中包含的至少一个候选词组；
在所述书本页面中确定各个所述候选词组距所述点击坐标的距离；
将至少一个所述候选词组中距所述点击坐标距离最短的目标候选词组确定为目标内容。
作为一种可选的实施方式，在本申请实施例第一方面中，所述控制所述显示屏输出通过即时定位与地图构建技术构建的包含所述三维模型的页面图像，包括：
检测所述书本页面的第一实际尺寸，并获取所述页面图像中的所述书本页面的第一虚拟尺寸；
根据所述第一实际尺寸与所述第一虚拟尺寸计算得到所述书本页面在所述页面图像中的缩放比例；
获取所述三维模型对应的第二实际尺寸；
根据所述第二实际尺寸与所述缩放比例计算得到所述三维模型对应的第二虚拟尺寸；
控制所述显示屏以所述第二虚拟尺寸输出通过即时定位与地图构建技术构建的包含所述三维模型的页面图像。
作为一种可选的实施方式，在本申请实施例第一方面中，所述通过电子设备的显示屏输出所述页面图像之后，以及所述当检测到所述电子设备的用户在所述书本页面上执行的点击操作时，确定所述点击操作在所述页面图像中对应的点击位置之前，所述方法还包括：
当检测到所述图像采集设备的采集区域中出现所述用户的手部时，捕捉所述用户的手部在所述采集区域中的当前运动动态；
当检测到所述当前运动动态与点击操作对应的运动动态匹配时，确定所述电子设备的用户在所述书本页面上执行所述点击操作。
作为一种可选的实施方式，在本申请实施例第一方面中，所述当所述图像采集设备捕捉到所述电子设备的用户在所述书本页面上执行的点击操作时，确定所述点击操作在所述页面图像中对应的点击位置之后，所述方法还包括：
当所述图像采集设备捕捉到所述用户取消所述点击操作时，获取预先设置的图像时延；
所述控制所述显示屏输出通过即时定位与地图构建技术构建的包含所述三维模型的页面图像，包括：
控制所述显示屏在所述图像时延对应的时延时间段内输出通过所述即时定位与地图构建技术构建的包含所述三维模型的页面图像。
作为一种可选的实施方式，在本申请实施例第一方面中，所述控制所述显示屏输出通过即时定位与地图构建技术构建的包含所述三维模型的页面图像之后，所述方法还包括：
当检测到所述用户在所述显示屏上针对所述三维模型执行的控制操作时，获取所述控制操作对应的移动信息；
通过所述即时定位与地图构建技术构建与所述移动信息对应的所述三维模型的动态图像；
控制所述显示屏输出包含所述动态图像的页面图像。
本申请实施例第二方面公开一种电子设备，包括：
捕捉单元，用于通过图像采集设备捕捉包含书本页面的页面图像，并通过所述电子设备的显示屏输出所述页面图像；
确定单元，用于当检测到所述电子设备的用户在所述书本页面上的点击操作时，确定所述点击操作在所述页面图像中对应的点击位置；
识别单元，用于从所述页面图像中识别所述点击位置对应的目标内容；
获取单元，用于获取与所述目标内容对应的三维模型；
输出单元，用于控制所述显示屏输出通过即时定位与地图构建技术构建的包含所述三维模型的页面图像，所述三维模型在所述页面图像中的图像位置与所述点击位置对应。
本申请实施例第三方面公开另一种电子设备，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行第一方面的任意一种方法的部分或全部步骤。
本申请实施例第四方面公开一种计算机可读存储介质，所述计算机可读存储介质存储了程序代码，其中，所述程序代码包括用于执行第一方面的任意一种方法的部分或全部步骤的指令。
本申请实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
本申请实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
与现有技术相比，本申请实施例具有以下有益效果：
本申请实施例中，通过图像采集设备捕捉包含书本页面的页面图像，并通过电子设备的显示屏输出页面图像；当检测到电子设备的用户在书本页面上执行的点击操作时，确定点击操作在页面图像中对应的点击位置；从页面图像中识别点击位置对应的目标内容；获取与目标内容对应的三维模型；控制显示屏输出通过即时定位与地图构建技术构建的包含三维模型的页面图像，三维模型在页面图像中的图像位置与点击位置对应。可见，实施本申请实施例，能够采集到用户在书本页面中点击的需要学习的目标内容，并通过电子设备输出包含书本页面的页面图像，以及在输出的页面图像中与目标内容对应的图像位置处输出目标内容对应的三维模型，从而将目标内容与三维模型进行关联，以使用户可以更加直观的看到目标内容对应的实际中的三维模型，增强了用户对目标内容的记忆，从而提升了用户的学习效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例公开的一种增强现实场景输出方法的流程示意图；
图2是本申请实施例公开的一种增强现实场景输出方法的应用场景示意图；
图3是本申请实施例公开的另一种增强现实场景输出方法的应用场景示意图；
图4是本申请实施例公开的另一种增强现实场景输出方法的流程示意图；
图5是本申请实施例公开的另一种增强现实场景输出方法的流程示意图；
图6是本申请实施例公开的一种电子设备的结构示意图；
图7是本申请实施例公开的另一种电子设备的结构示意图；
图8是本申请实施例公开的另一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例公开一种增强现实场景输出方法及电子设备、计算机可读存储介质，能够更加直观的看到目标内容对应的实际中的三维模型，增强了用户对目标内容的记忆，从而提升了用户的学习效果。以下分别进行详细说明。
请参阅图1，图1是本申请实施例公开的一种增强现实场景输出方法的流程示意图。请一并参阅图2和图3，图2和图3均为本申请实施例公开的一种增强现实场景输出方法的应用场景示意图，其中，图2中包括电子设备10、电子设备上设置的图像采集设备20以及书本页面30，可以通过图像采集设备20采集包含书本页面30的页面图像，并且可以通过电子设备10的显示屏将采集到的页面图像进行输出，以使用户可以在电子设备10的显示屏上查看到书本页面图像，图像采集设备20还可以捕捉电子设备10的用户的手部在书本页面30上的点击操作，电子设备10可以识别点击操作在书本页面30上的点击位置，进而确定该点击位置对应的目标内容，电子设备10可以获取到该目标内容对应的三维模型，进而可以通过电子设备10构建包含该三维模型的页面图像，且该包含三维模型的页面图像中三维模型与用户的手指的点击位置对应，并通过电子设备10输出该包含三维模型的页面图像，使得用户可以更加直观的看到点击的目标内容对应的三维模型。
如图3所示，电子设备10上设置的图像采集设备20可以采集包含书本页面30的页面图像，书本页面30可以放置在图像采集设备20的采集区域中，以使图像采集设备20可以将书本页面30中包含的内容全部采集到，保证了采集到的书本页面30内容的完整性，电子设备10可以通过显示屏将采集到的页面图像进行输出，图像采集设备20还可以捕捉用户的手部在页面图像30上的点击操作，电子设备10可以识别该点击操作在书本页面30中对应的目标内容a，电子设备10可以获取到目标内容a对应的三维模型b，电视设备10还可以通过即时定位与地图构建技术(Simultaneous Localization And Mapping，SLAM)将三维模型b构建至页面图像中与目标内容a对应的位置处，得到包含三维模型b的页面图像，并通过电子设备的显示屏输出该包含三维模型b的页面图像，以使用户能够更加直观的看到目标内容对应的实际中的三维模型，增强了用户对目标内容的记忆，从而提升了用户的学习效果。
如图1所示，该增强现实场景输出方法可以包括以下步骤：
101、通过图像采集设备捕捉包含书本页面的页面图像，并通过电子设备的显示屏输出页面图像。
本申请实施例中，电子设备可以为学习平板、笔记本电脑等设备，图像采集设备可以为设置在电子设备上的摄像头等，书本页面可以为书本、纸张等用于学习的页面，且书本页面可以放置在图像采集设备的采集区域中，以使图像采集设备可以将捕捉区域中的书本页面的内容全部进行采集，电子设备可以将图像采集设备捕捉到的包含书本页面的页面图像实时输出至电子设备的显示屏上，以使电子设备的用户可以即时的查看电子设备的显示屏上的书本页面的内容。
102、当检测到电子设备的用户在书本页面上执行的点击操作时，确定点击操作在页面图像中对应的点击位置。
本申请实施例中，点击操作可以通过用户的手部或者与电子设备匹配的电子笔实现，点击操作可以为用户的手部或电子笔在书本页面上保持静止的时长达到预设时长，预设时长可以为用户预先设置的时长。
本申请实施例中，确定点击操作在页面图像中对应的点击位置的方式可以为：获取包含执行点击操作的手指或电子笔的页面图像，并且识别手指的指尖或电子笔的笔尖，以及根据页面图像构建页面图像坐标系，以及确定手指的指尖或电子笔的笔尖在页面图像坐标系中对应的目标坐标，以及将该目标坐标确定为点击位置，以使确定的点击位置更加精确。
103、从页面图像中识别点击位置对应的目标内容。
本申请实施例中，页面图像中包含书本页面，书本页面中可以包含文字、图像等信息，点击位置可以对应书本页面中包含的字、字或图片等内容，由于点击位置的确定是根据用户输入的点击操作，因此，确定的点击位置可能会出现在书本页面的任意位置，电子设备需要对点击位置对应的目标内容再次进行确定，电子设备可以将书本页面中距点击位置最近的文字或图像确定为目标内容。
104、获取与目标内容对应的三维模型。
本申请实施例中，目标内容对应的三维模型可以为预先构建的，且三维模型可以为即时定位与地图构建技术预先构建的模型。
105、控制显示屏输出通过即时定位与地图构建技术构建的包含三维模型的页面图像，三维模型在页面图像中的图像位置与点击位置对应。
本申请实施例中，通过即时定位与地图构建技术构建的包含三维模型的页面图像可以为三维的页面图像，即包含三维模型的页面图像可以包含三维的书本页面，还可以包含三维的目标内容对应的三维模型，且该三维模型所处的图像位置可以与目标内容在书本页面上的位置对应，以使用户可以更加直观的看到目标内容对应的三维模型，以使输出的三维模型与目标内容的相关度更高。
实施本申请所描述的方法，能够更加直观的看到目标内容对应的实际中的三维模型，增强了用户对目标内容的记忆，从而提升了用户的学习效果。此外，实施本申请所描述的方法，可以使确定的点击位置更加精确。
请参阅图4，图4是本申请实施例公开的另一种增强现实场景输出方法的流程示意图。如图4所示，该增强现实场景输出方法可以包括以下步骤：
401、通过图像采集设备捕捉包含书本页面的页面图像，并通过电子设备的显示屏输出页面图像。
402、当检测到电子设备的用户在书本页面上执行的点击操作时，确定点击操作在页面图像中对应的点击位置。
403、识别点击位置在页面图像包含的书本页面中的点击坐标。
本申请实施例中，可以在页面图像中构建页面图像坐标系，进而可以通过页面图像坐标系确定出任意点击位置对应的唯一点击坐标，以使点击位置对应的点击坐标更加准确。
404、获取点击坐标对应的书本页面中的待识别区域。
本申请实施例中，可以预先设置点击坐标对应的待识别区域，该待识别区域可以为书本页面中包含目标内容的区域，例如，待识别区域的中心位置可以为点击坐标，且待识别区域可以为原型、矩形或者不规则图形等，对此，本申请实施例不做限定。
405、对待识别区域进行文字识别，得到待识别区域中包含的目标内容。
本申请实施例中，当检测到待识别区域中包含文字时，可以通过文字识别技术识别待识别区域中包含的所有文字，并且可以将待识别区域中包含的所有文字均确定为用户的点击操作对应的目标内容，此外，电子设备也可以从识别的待识别区域中包含的所有文字中选取部分文字作为目标内容，以使目标内容更为多样化。
本申请实施例中，实施上述的步骤403～步骤405，可以识别用户在书本页面上点击的点击坐标，进而根据点击坐标从包含书本页面的页面图像中识别得到目标内容，以使确定的目标内容更加准确。
作为一种可选的实施方式，对待识别区域进行文字识别，得到待识别区域中包含的目标内容具体可以包含以下步骤：
对待识别区域进行文字识别，得到待识别区域中包含的至少一个候选词组；
在书本页面中确定各个候选词组距点击坐标的距离；
将至少一个候选词组中距点击坐标距离最短的目标候选词组确定为目标内容。
其中，实施这种实施方式，可以将待识别区域中包含的文字都进行识别，得到待识别区域中包含的一个或多个候选词组，进而计算各个候选词组距点击坐标的距离，将距离最短的候选词组确定为目标内容，以使确定的目标内容为用户点击的最为接近的内容。
本申请实施例中，当待识别区域中识别出多个候选词时，可以确定各个候选词对应的候选区域，且任意两个候选区域之间可以不存在重叠区域，进而可以确定各个候选词对应的候选区域的中心点的中心点坐标，以及计算得到各个中心点坐标距点击坐标之间的距离，进而电子设备可以中多个中心点坐标中确定出距离点击坐标最短的目标中心点坐标，以及可以确定目标中心点坐标对应的目标候选区域，最终可以将目标候选区域中包含的候选词确定为目标内容，以使最终确定的目标内容与用户点击操作的点击坐标更为接近。
406、获取与目标内容对应的三维模型。
407、检测书本页面的第一实际尺寸，并获取页面图像中的书本页面的第一虚拟尺寸。
本申请实施例中，由于实际的书本页面的第一实际尺寸与电子设备的显示屏输出的页面图像中的书本页面的第一虚拟尺寸可能不同，即第一虚拟尺寸相对于第一实际尺寸来说可能等比放大或等比缩小，因此，输出的三维模型也需要与三维模型在实际中的尺寸进行相同的放大或缩小，进而电子设备可以根据第一虚拟尺寸和第一实际尺寸计算得到书本页面在页面图像中的缩放比例。
408、根据第一实际尺寸与第一虚拟尺寸计算得到书本页面在页面图像中的缩放比例。
本申请实施例中，由于书本页面通常为矩形页面，因此，计算得到的缩放比例中可以包含书本页面的长度缩放比例和宽度缩放比例，从而保证三维模型根据该缩放比例进行缩放的一致性。
409、获取三维模型对应的第二实际尺寸。
本申请实施例中，三维模型的第二实际尺寸可以为电子设备预先设置的尺寸信息，也可以为电子设备获取该三维模型对应的海量尺寸信息，并计算得到海量尺寸信息的平均尺寸，以及将该平均信息确定为该三维模型的第二实际尺寸，保证了三维模型对应的第二实际尺寸的合理性。
410、根据第二实际尺寸与缩放比例计算得到三维模型对应的第二虚拟尺寸。
411、控制显示屏以第二虚拟尺寸输出通过即时定位与地图构建技术构建的包含三维模型的页面图像。
本申请实施例中，实施上述的步骤407～步骤411，可以计算得到实际的书本页面与电子设备输出的页面图像中的书本页面的缩放比例，进而根据三维模型在实际中的第二实际尺寸以及缩放比例计算得到三维模型在页面图像中与书本页面对应的第二虚拟尺寸，以使输出的三维模型与书本页面的尺寸更为匹配，从而使得电子设备输出的包含三维模型的页面图像更具有真实性。
实施本申请所描述的方法，能够更加直观的看到目标内容对应的实际中的三维模型，增强了用户对目标内容的记忆，从而提升了用户的学习效果。此外，实施本申请所描述的方法，可以使确定的目标内容更加准确。此外，实施本申请所描述的方法，可以使确定的目标内容为用户点击的最为接近的内容。此外，实施本申请所描述的方法，使得电子设备输出的包含三维模型的页面图像更具有真实性。
请参阅图5，图5是本申请实施例公开的另一种增强现实场景输出方法的流程示意图。如图5所示，该增强现实场景输出方法可以包括以下步骤：
501、通过图像采集设备捕捉包含书本页面的页面图像，并通过电子设备的显示屏输出页面图像。
502、当检测到图像采集设备的采集区域中出现用户的手部时，捕捉用户的手部在采集区域中的当前运动动态。
本申请实施例中，用户可以通过手指实现输入点击操作，因此，电子设备需要对用户手部的运动动态进行检测，为了实现电子设备对用户手部的运动动态进行检测，电子设备可以通过图像采集设备捕获用户手部在采集区域中的当前运动动态，且该当前运动动态需要是用户手部在采集区域中连续的运动动态，以保证检测到的点击操作的准确性。
503、当检测到当前运动动态与点击操作对应的运动动态匹配时，确定电子设备的用户在书本页面上执行点击操作。
本申请实施例中，实施上述的步骤502～步骤503，可以采集用户的手部在图像采集设备的采集区域中的当前运动动态，进而将当前运动动态与点击操作对应的运动动态进行匹配，如果当前运动动态中存在与点击操作对应的运动动态，则可以认为用户用户在书本页面上执行了点击操作，从而保证识别的用户在书本页面上执行的点击操作的准确性。
504、当检测到电子设备的用户在书本页面上执行的点击操作时，确定点击操作在页面图像中对应的点击位置。
505、从页面图像中识别点击位置对应的目标内容。
506、获取与目标内容对应的三维模型。
507、控制显示屏输出通过即时定位与地图构建技术构建的包含三维模型的页面图像，三维模型在页面图像中的图像位置与点击位置对应。
作为一种可选的实施方式，步骤507之后，还可以执行以下步骤：
当图像采集设备捕捉到用户取消点击操作时，获取预先设置的图像时延；
控制显示屏输出通过即时定位与地图构建技术构建的包含三维模型的页面图像的方式具体可以为：控制显示屏在图像时延对应的时延时间段内输出通过即时定位与地图构建技术构建的包含三维模型的页面图像。
其中，实施这种实施方式，可以在捕捉到用户取消点击操作时，获取图像时延，以使页面图像中输出的三维模型可以在图像时延的时间段内继续保持输出，以延缓三维模型的消失速度，提升电子设备的使用体验。
508、当检测到用户在显示屏上针对三维模型执行的控制操作时，获取控制操作对应的移动信息。
本申请实施例中，针对三维模型执行的控制操作可以为控制三维模型在电子设备输出的页面图像进行平移、旋转等操作，因此电子设备可以对检测到的控制操作进行识别，进而得到该控制操作对应的该三维模型的移动信息。
509、通过即时定位与地图构建技术构建与移动信息对应的三维模型的动态图像。
本申请实施例中，可以通过即时定位与地图构建技术构建与该移动信息对应的三维模型的动态图像，以使用户可以在电子设备的显示屏上直观的看到用户对三维模型的操控，提升了电子设备与用户之间的互动性。
510、控制显示屏输出包含动态图像的页面图像。
本申请实施例中，实施上述的步骤508～步骤510，可以检测用户在显示屏上针对三维模型的控制操作，并确定该控制操作对应的三维模型的动态图像，以及将该动态图像输出，以使用户可以从多个角度完整的查看该三维模型，提高了输出三维模型的全面性。
实施本申请所描述的方法，能够更加直观的看到目标内容对应的实际中的三维模型，增强了用户对目标内容的记忆，从而提升了用户的学习效果。此外，实施本申请所描述的方法，保证识别的用户在书本页面上执行的点击操作的准确性。此外，实施本申请所描述的方法，提升电子设备的使用体验。此外，实施本申请所描述的方法，提高了输出三维模型的全面性。
请参阅图6，图6是本申请实施例公开的一种电子设备的结构示意图。如图6所示，该电子设备可以包括捕捉单元601、确定单元602、识别单元603、获取单元604以及输出单元605，其中：
捕捉单元601，用于通过图像采集设备捕捉包含书本页面的页面图像，并通过电子设备的显示屏输出页面图像。
确定单元602，用于当检测到电子设备的用户在书本页面上的点击操作时，确定点击操作在捕捉单元601输出的页面图像中对应的点击位置。
识别单元603，用于从捕捉单元601输出的页面图像中识别确定单元602确定的点击位置对应的目标内容。
获取单元604，用于获取与识别单元603识别的目标内容对应的三维模型。
输出单元605，用于控制显示屏输出通过即时定位与地图构建技术构建的包含获取单元604获取的三维模型的页面图像，三维模型在页面图像中的图像位置与点击位置对应。
作为一种可选的实施方式，确定单元602还用于当图像采集设备捕捉到用户取消点击操作时，获取预先设置的图像时延；
输出单元605控制显示屏输出通过即时定位与地图构建技术构建的包含三维模型的页面图像的方式具体可以为：控制显示屏在图像时延对应的时延时间段内输出通过即时定位与地图构建技术构建的包含三维模型的页面图像。
其中，实施这种实施方式，可以在捕捉到用户取消点击操作时，获取图像时延，以使页面图像中输出的三维模型可以在图像时延的时间段内继续保持输出，以延缓三维模型的消失速度，提升电子设备的使用体验。
实施本申请所描述的电子设备，能够更加直观的看到目标内容对应的实际中的三维模型，增强了用户对目标内容的记忆，从而提升了用户的学习效果。此外，实施本申请所描述的电子设备，提升了电子设备的使用体验。
请参阅图7，图7是本申请实施例公开的另一种电子设备的结构示意图。图7所示的电子设备是由图6所示的电子设备优化得到的，图7所示的电子设备的识别单元603可以包括：
识别子单元6031，用于识别点击位置在页面图像包含的书本页面中的点击坐标。
第一获取子单元6032，用于获取识别子单元6031识别的点击坐标对应的书本页面中的待识别区域。
识别子单元6031，还用于对第一获取子单元6032获取的待识别区域进行文字识别，得到待识别区域中包含的目标内容。
本申请实施例中，可以识别用户在书本页面上点击的点击坐标，进而根据点击坐标从包含书本页面的页面图像中识别得到目标内容，以使确定的目标内容更加准确。
作为一种可选的实施方式，识别子单元6031对待识别区域进行文字识别，得到待识别区域中包含的目标内容的方式具体可以为：
对待识别区域进行文字识别，得到待识别区域中包含的至少一个候选词组；
在书本页面中确定各个候选词组距点击坐标的距离；
将至少一个候选词组中距点击坐标距离最短的目标候选词组确定为目标内容。
其中，实施这种实施方式，可以将待识别区域中包含的文字都进行识别，得到待识别区域中包含的一个或多个候选词组，进而计算各个候选词组距点击坐标的距离，将距离最短的候选词组确定为目标内容，以使确定的目标内容为用户点击的最为接近的内容。
作为一种可选的实施方式，图7所示的电子设备的输出单元605可以包括：
检测子单元6051，用于检测书本页面的第一实际尺寸，并获取页面图像中的书本页面的第一虚拟尺寸；
计算子单元6052，用于根据检测子单元6051得到的第一实际尺寸与第一虚拟尺寸计算得到书本页面在页面图像中的缩放比例；
第二获取子单元6053，用于获取三维模型对应的第二实际尺寸；
计算子单元6052，还用于根据第二获取子单元6053获取的第二实际尺寸与计算子单元6052得到的缩放比例计算得到三维模型对应的第二虚拟尺寸；
输出子单元6054，用于控制显示屏以计算子单元6052得到的第二虚拟尺寸输出通过即时定位与地图构建技术构建的包含三维模型的页面图像。
其中，实施这种实施方式，可以计算得到实际的书本页面与电子设备输出的页面图像中的书本页面的缩放比例，进而根据三维模型在实际中的第二实际尺寸以及缩放比例计算得到三维模型在页面图像中与书本页面对应的第二虚拟尺寸，以使输出的三维模型与书本页面的尺寸更为匹配，从而使得电子设备输出的包含三维模型的页面图像更具有真实性。
作为一种可选的实施方式，图7所示的电子设备还可以包括：
动态捕捉单元606，用于在捕捉单元601通过电子设备的显示屏输出页面图像之后，以及当检测到图像采集设备的采集区域中出现用户的手部时，捕捉用户的手部在采集区域中的当前运动动态；
操作确定单元607，用于当检测到动态捕捉单元606捕捉的当前运动动态与点击操作对应的运动动态匹配时，确定电子设备的用户在书本页面上执行点击操作，触发确定单元602执行当检测到电子设备的用户在书本页面上执行的点击操作时，确定点击操作在页面图像中对应的点击位置之前。
其中，实施这种实施方式，可以采集用户的手部在图像采集设备的采集区域中的当前运动动态，进而将当前运动动态与点击操作对应的运动动态进行匹配，如果当前运动动态中存在与点击操作对应的运动动态，则可以认为用户用户在书本页面上执行了点击操作，从而保证识别的用户在书本页面上执行的点击操作的准确性。
作为一种可选的实施方式，图7所示的电子设备还可以包括：
信息获取单元608，用于在输出单元605控制显示屏输出通过即时定位与地图构建技术构建的包含三维模型的页面图像之后，以及当检测到用户在显示屏上针对三维模型执行的控制操作时，获取控制操作对应的移动信息；
构建单元609，用于通过即时定位与地图构建技术构建与信息获取单元608获取的移动信息对应的三维模型的动态图像；
图像输出单元610，用于控制显示屏输出包含构建单元609构建的动态图像的页面图像。
其中，实施这种实施方式，可以检测用户在显示屏上针对三维模型的控制操作，并确定该控制操作对应的三维模型的动态图像，以及将该动态图像输出，以使用户可以从多个角度完整的查看该三维模型，提高了输出三维模型的全面性。
实施本申请所描述的电子设备，能够更加直观的看到目标内容对应的实际中的三维模型，增强了用户对目标内容的记忆，从而提升了用户的学习效果。此外，实施本申请所描述的电子设备，可以使确定的目标内容更加准确。此外，实施本申请所描述的电子设备，可以使确定的目标内容为用户点击的最为接近的内容。此外，实施本申请所描述的电子设备，使得电子设备输出的包含三维模型的页面图像更具有真实性。此外，实施本申请所描述的电子设备，保证识别的用户在书本页面上执行的点击操作的准确性。此外，实施本申请所描述的电子设备，提高了输出三维模型的全面性。
请参阅图8，图8是本申请实施例公开的另一种电子设备的结构示意图。如图8所示，该电子设备可以包括：
存储有可执行程序代码的存储器801；
与存储器801耦合的处理器802；
其中，处理器802调用存储器801中存储的可执行程序代码，执行以上各方法实施例中的方法的部分或全部步骤。
本申请实施例还公开一种计算机可读存储介质，其中，计算机可读存储介质存储了程序代码，其中，程序代码包括用于执行以上各方法实施例中的方法的部分或全部步骤的指令。
本申请实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本申请实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
应理解，说明书通篇中提到的“本申请实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在本申请实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
另外，本文中术语“系统”和“网络”在本文中常可互换使用。应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
在本申请所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
以上对本申请实施例公开的一种增强现实场景输出方法及电子设备、计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种增强现实场景输出方法，其特征在于，所述方法包括：
通过图像采集设备捕捉包含书本页面的页面图像，并通过电子设备的显示屏输出所述页面图像；
当检测到所述电子设备的用户在所述书本页面上执行的点击操作时，确定所述点击操作在所述页面图像中对应的点击位置；
从所述页面图像中识别所述点击位置对应的目标内容；
获取与所述目标内容对应的三维模型；
检测所述书本页面的第一实际尺寸，并获取所述页面图像中的所述书本页面的第一虚拟尺寸；
根据所述第一实际尺寸与所述第一虚拟尺寸计算得到所述书本页面在所述页面图像中的缩放比例，所述缩放比例包含所述书本页面的长度缩放比例和宽度缩放比例；
获取所述三维模型对应的海量尺寸信息，将所述海量尺寸信息的平均尺寸确定为所述三维模型的第二实际尺寸；
根据所述第二实际尺寸与所述缩放比例计算得到所述三维模型对应的第二虚拟尺寸；
控制所述显示屏以所述第二虚拟尺寸输出通过即时定位与地图构建技术构建的包含所述三维模型的页面图像，所述三维模型在所述页面图像中的图像位置与所述点击位置对应。
2.根据权利要求1所述的方法，其特征在于，所述从所述页面图像中识别所述点击位置对应的目标内容，包括：
识别所述点击位置在所述页面图像包含的书本页面中的点击坐标；
获取所述点击坐标对应的所述书本页面中的待识别区域；
对所述待识别区域进行文字识别，得到所述待识别区域中包含的目标内容。
3.根据权利要求2所述的方法，其特征在于，所述对所述待识别区域进行文字识别，得到所述待识别区域中包含的目标内容，包括：
对所述待识别区域进行文字识别，得到所述待识别区域中包含的至少一个候选词组；
在所述书本页面中确定各个所述候选词组距所述点击坐标的距离；
将至少一个所述候选词组中距所述点击坐标距离最短的目标候选词组确定为目标内容。
4.根据权利要求1～3任一项所述的方法，其特征在于，所述通过电子设备的显示屏输出所述页面图像之后，以及所述当检测到所述电子设备的用户在所述书本页面上执行的点击操作时，确定所述点击操作在所述页面图像中对应的点击位置之前，所述方法还包括：
当检测到所述图像采集设备的采集区域中出现所述用户的手部时，捕捉所述用户的手部在所述采集区域中的当前运动动态；
当检测到所述当前运动动态与点击操作对应的运动动态匹配时，确定所述电子设备的用户在所述书本页面上执行所述点击操作。
5.根据权利要求1～3任一项所述的方法，其特征在于，所述当检测到所述电子设备的用户在所述书本页面上执行的点击操作时，确定所述点击操作在所述页面图像中对应的点击位置之后，所述方法还包括：
当所述图像采集设备捕捉到所述用户取消所述点击操作时，获取预先设置的图像时延；
所述控制所述显示屏以所述第二虚拟尺寸输出通过即时定位与地图构建技术构建的包含所述三维模型的页面图像，包括：
控制所述显示屏在所述图像时延对应的时延时间段内以所述第二虚拟尺寸输出通过所述即时定位与地图构建技术构建的包含所述三维模型的页面图像。
6.根据权利要求1～3任一项所述的方法，其特征在于，所述控制所述显示屏以所述第二虚拟尺寸输出通过即时定位与地图构建技术构建的包含所述三维模型的页面图像之后，所述方法还包括：
当检测到所述用户在所述显示屏上针对所述三维模型执行的控制操作时，获取所述控制操作对应的移动信息；
通过所述即时定位与地图构建技术构建与所述移动信息对应的所述三维模型的动态图像；
控制所述显示屏输出包含所述动态图像的页面图像。
7.一种电子设备，其特征在于，包括：
捕捉单元，用于通过图像采集设备捕捉包含书本页面的页面图像，并通过所述电子设备的显示屏输出所述页面图像；
确定单元，用于当检测到所述电子设备的用户在所述书本页面上的点击操作时，确定所述点击操作在所述页面图像中对应的点击位置；
识别单元，用于从所述页面图像中识别所述点击位置对应的目标内容；
获取单元，用于获取与所述目标内容对应的三维模型；
输出单元，用于控制所述显示屏输出通过即时定位与地图构建技术构建的包含所述三维模型的页面图像，所述三维模型在所述页面图像中的图像位置与所述点击位置对应；
所述输出单元，包括：
检测子单元，用于检测所述书本页面的第一实际尺寸，并获取所述页面图像中的所述书本页面的第一虚拟尺寸；
计算子单元，用于根据所述第一实际尺寸与所述第一虚拟尺寸计算得到所述书本页面在所述页面图像中的缩放比例，所述缩放比例包含所述书本页面的长度缩放比例和宽度缩放比例；
第二获取子单元，用于获取所述三维模型对应的海量尺寸信息，将所述海量尺寸信息的平均尺寸确定为所述三维模型的第二实际尺寸；
所述计算子单元，还用于根据所述第二实际尺寸与所述缩放比例计算得到所述三维模型对应的第二虚拟尺寸；
输出子单元，用于控制所述显示屏以所述第二虚拟尺寸输出通过即时定位与地图构建技术构建的包含所述三维模型的页面图像。
8.一种电子设备，其特征在于，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行权利要求1～6任一项所述的增强现实场景输出方法。
9.一种计算机可读存储介质，其特征在于，其存储计算机程序，所述计算机程序使得计算机执行权利要求1～6任一项所述的增强现实场景输出方法。
CN202010493730.5A 2020-06-02 2020-06-02 增强现实场景输出方法及电子设备、计算机可读存储介质 Active CN111722711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010493730.5A CN111722711B (zh) 2020-06-02 2020-06-02 增强现实场景输出方法及电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010493730.5A CN111722711B (zh) 2020-06-02 2020-06-02 增强现实场景输出方法及电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111722711A CN111722711A (zh) 2020-09-29
CN111722711B true CN111722711B (zh) 2023-05-23

Family

ID=72565703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010493730.5A Active CN111722711B (zh) 2020-06-02 2020-06-02 增强现实场景输出方法及电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111722711B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311409A (zh) * 2022-06-26 2022-11-08 杭州美创科技有限公司 基于webgl的机电系统可视化方法、装置、计算机设备及存储介质
CN117785085A (zh) * 2022-09-21 2024-03-29 北京字跳网络技术有限公司 虚拟终端设备的信息提示方法、装置、设备、介质及产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201946139U (zh) * 2011-01-31 2011-08-24 殷继彬 动感信息阅读交互装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976463A (zh) * 2010-11-03 2011-02-16 北京师范大学 一种虚实融合的交互式立体图书制作方法
US20200143773A1 (en) * 2018-11-06 2020-05-07 Microsoft Technology Licensing, Llc Augmented reality immersive reader
CN109725732B (zh) * 2019-01-23 2022-03-25 广东小天才科技有限公司 一种知识点的查询方法及家教设备
CN111079494B (zh) * 2019-06-09 2023-08-25 广东小天才科技有限公司 一种学习内容推送方法及电子设备
CN110471530A (zh) * 2019-08-12 2019-11-19 苏州悠优互娱文化传媒有限公司 一种基于儿童图书的ar互动学习方法、装置、介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201946139U (zh) * 2011-01-31 2011-08-24 殷继彬 动感信息阅读交互装置

Also Published As

Publication number Publication date
CN111722711A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
US8970696B2 (en) Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system
KR20130099317A (ko) 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
CN111722711B (zh) 增强现实场景输出方法及电子设备、计算机可读存储介质
CN114138121B (zh) 用户手势识别方法、装置、系统、存储介质及计算设备
US20140028716A1 (en) Method and electronic device for generating an instruction in an augmented reality environment
CN107977146B (zh) 一种基于蒙版的题目搜索方法及电子设备
CN113934297B (zh) 一种基于增强现实的交互方法、装置、电子设备及介质
CN111079494A (zh) 一种学习内容推送方法及电子设备
CN113359986A (zh) 增强现实数据展示方法、装置、电子设备及存储介质
CN111160308B (zh) 手势动作识别方法、装置、设备及可读存储介质
Santos et al. Hybrid approach using sensors, GPS and vision based tracking to improve the registration in mobile augmented reality applications
CN112991555B (zh) 数据展示方法、装置、设备以及存储介质
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN111077997B (zh) 一种点读模式下的点读控制方法及电子设备
KR101520889B1 (ko) 객체와 핸드 장치 사이의 거리 정보를 활용하는 디지로그 북 시스템 및 구현 방법
CN104732570B (zh) 一种图像生成方法及装置
CN111258413A (zh) 虚拟对象的控制方法和装置
CN111090383B (zh) 一种指令识别方法及电子设备
KR20140046197A (ko) 동작인식 장치 및 방법, 그리고 프로그램을 저장한 컴퓨터로 판독 가능한 기록매체
KR102107182B1 (ko) 손 제스처 인식 시스템 및 방법
CN111611941A (zh) 特效处理方法及相关设备
CN111652182B (zh) 一种悬空手势识别的方法、装置、电子设备和存储介质
CN103793053A (zh) 一种便携式终端的手势投影方法及装置
CN111090372B (zh) 一种人机交互方法及电子设备
CN110909183B (zh) 一种多媒体数据处理方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant