CN106096540A - 一种信息处理方法和电子设备 - Google Patents

一种信息处理方法和电子设备 Download PDF

Info

Publication number
CN106096540A
CN106096540A CN201610403821.9A CN201610403821A CN106096540A CN 106096540 A CN106096540 A CN 106096540A CN 201610403821 A CN201610403821 A CN 201610403821A CN 106096540 A CN106096540 A CN 106096540A
Authority
CN
China
Prior art keywords
target object
information
ingredient
virtual objects
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610403821.9A
Other languages
English (en)
Other versions
CN106096540B (zh
Inventor
陆文俊
樊坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201610403821.9A priority Critical patent/CN106096540B/zh
Publication of CN106096540A publication Critical patent/CN106096540A/zh
Application granted granted Critical
Publication of CN106096540B publication Critical patent/CN106096540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

本发明提供了一种应用于电子设备的信息处理方法,包括:基于用户采用该电子设备观看的视野范围,获取所述视野范围对应的真实场景中的物体;对所述真实场景中的物体进行识别,识别得到目标物体,所述目标物体包括至少一个组成部分;基于观看视角和预设信息,在所述目标物体的至少一个组成部分的对应位置处输出显示第一虚拟对象。该方法中,通过电子设备对真实场景中的物体进行识别,得到目标物体,并基于观看视角和预设信息,该目标物体的多个组成部分的对应位置处输入显示第一虚拟对象,而该第一虚拟对象基于该观看视角能够与该目标物体中的组成部分相配合,使得用户能够借助AR设备了解该目标物体中的组成部分,提高了用户体验。

Description

一种信息处理方法和电子设备
技术领域
本发明涉及电子设备领域,更具体的说,是涉及一种信息处理方法和电子设备。
背景技术
随着电子技术的发展,AR(Augmented Reality,增强现实)作为一种将虚拟物体或虚拟信息叠加到真实世界的技术,广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。
现有技术中的AR技术只能对场景中的物体整体进行识别,而无法识别物体中组成部件。因此,当用户使用AR设备时,其不能够借助AR设备确认物体中的各个组成部件,用户体验较差。
发明内容
有鉴于此,本发明提供了一种信息处理方法,解决了现有技术中不能够借助AR设备确认物体中的各个组成部件的问题。
为实现上述目的,本发明提供如下技术方案:
一种信息处理方法,所述方法应用于电子设备,所述方法包括:
基于用户采用所述电子设备观看的视野范围,获取所述视野范围对应的真实场景中的物体;
对所述真实场景中的物体进行识别,识别得到目标物体,所述目标物体包括至少一个组成部分;
基于观看视角和预设信息,在所述目标物体的至少一个组成部分的对应位置处输出显示第一虚拟对象。
上述的方法,优选的,所述基于观看视角和预设信息,在所述目标物体的至少一个组成部分的对应位置处输出显示第一虚拟对象,包括:
基于观看视角,识别得到所述目标物体在所述观看视角下的呈现结构;
分析在所述观看视角下,与所述呈现结构中包含的至少一个组成部分对应的第一虚拟对象;
在电子设备的显示区域中与所述呈现结构中包含的至少一个组成部分对应位置,输出所述第一虚拟对象。
上述的方法,优选的,所述分析在所述观看视角下,与所述呈现结构中包含的至少一个组成部分对应的第一虚拟对象,包括:
基于所述观看视角,追踪所述视野范围中的所述物体的位置;
调整所述物体的预设模型的角度至所述观看视角,调整所述预设模型的位置至所述物体的位置,以使得当前状态的所述预设模型与所述物体贴合;
从预设的虚拟对象集合中,获取与所述预设模型的当前状态对应的至少一个第一虚拟对象,所述至少一个第一虚拟对象与所述呈现结构中包含的至少一个组成部分一一对应,所述至少一个第一虚拟对象与所述预设模型具有对应的位置关系。
上述的方法,优选的,还包括:
根据所述对应的位置关系在所述电子设备显示区域展示所述第一虚拟对象,禁止展示所述预设模型。
上述的方法,优选的,所述分析在所述观看视角下,与所述呈现结构中包含的至少一个组成部分对应的第一虚拟对象,包括:
获取当前时刻目标物体对应的当前处理进度步骤;
依据预设第一信息与处理进度之间的关联关系,获取所述当前处理进度步骤对应的至少一个第一信息;
基于所述第一信息生成第一虚拟对象。
上述的方法,优选的,获取当前时刻目标物体对应的当前处理进度步骤之前,还包括:
接收切换信息,所述切换信息用于控制进度步骤由第一处理进度步骤切换至当前处理进度步骤。
上述的方法,优选的,所述基于用户观看的视野范围,获取所述视野范围对应的真实场景中的物体之前,还包括:
基于扫描所述目标物体得到的扫描信息,建立所述目标物体的结构模型,所述结构模型与所述目标物体的结构对应;
展示所述结构模型;
接收并存储输入信息,所述输入信息与所述结构模型中至少一个位置信息一一对应,且所述输入信息与所述目标物体的至少一个组成部分一一对应。
一种电子设备,包括:
采集单元,用于基于用户采用所述电子设备观看的视野范围,获取所述视野范围对应的真实场景的信息;
处理器,用于基于所述视野范围对应的真实场景的信息,获取所述真实场景中的物体;对所述真实场景中的物体进行识别,识别得到目标物体,所述目标物体包括至少一个组成部分;基于观看视角和预设信息,在所述目标物体的至少一个组成部分的对应位置处输出显示第一虚拟对象。
上述的电子设备,优选的,所述处理器,用于:
基于观看视角,识别得到所述目标物体在所述观看视角下的呈现结构;
分析在所述观看视角下,与所述呈现结构中包含的至少一个组成部分对应的第一虚拟对象;
所述电子设备还包括:
显示器,用于在电子设备的显示区域中与所述呈现结构中包含的至少一个组成部分对应位置,输出所述第一虚拟对象。
上述的电子设备,优选的,所述处理器,具体用于:
基于所述观看视角,追踪所述视野范围中的所述物体的位置;
调整所述物体的预设模型的角度至所述观看视角,调整所述预设模型的位置至所述物体的位置,以使得当前状态的所述预设模型与所述物体贴合;
从预设的虚拟对象集合中,获取与所述预设模型的当前状态对应的至少一个第一虚拟对象,所述至少一个第一虚拟对象与所述呈现结构中包含的至少一个组成部分一一对应,所述至少一个第一虚拟对象与所述预设模型具有对应的位置关系。
上述的电子设备,优选的,所述显示器用于:根据所述对应的位置关系在所述电子设备显示区域展示所述第一虚拟对象,禁止展示所述预设模型。
上述的电子设备,优选的,所述处理器,用于:
获取当前时刻目标物体对应的当前处理进度步骤;
依据预设第一信息与处理进度之间的关联关系,获取所述当前处理进度步骤对应的至少一个第一信息;
基于所述第一信息生成第一虚拟对象。
上述的电子设备,优选的,所述处理器,还用于:
接收切换信息,所述切换信息用于控制进度步骤由第一处理进度步骤切换至当前处理进度步骤。
上述的电子设备,优选的,所述处理器,还用于:
基于扫描所述目标物体得到的扫描信息,建立所述目标物体的结构模型,所述结构模型与所述目标物体的结构对应;
展示所述结构模型;
接收并存储输入信息,所述输入信息与所述结构模型中至少一个位置信息一一对应,且所述输入信息与所述目标物体的至少一个组成部分一一对应。
一种电子设备,包括:
获取模块,用于基于用户采用所述电子设备观看的视野范围,获取所述视野范围对应的真实场景中的物体;
识别模块,用于对所述真实场景中的物体进行识别,识别得到目标物体,所述目标物体包括至少一个组成部分;
输出模块,用于基于观看视角和预设信息,在所述目标物体的至少一个组成部分的对应位置处输出显示第一虚拟对象。
经由上述的技术方案可知,与现有技术相比,本发明提供了一种应用于电子设备中的信息处理方法,包括:基于用户采用所述电子设备观看的视野范围,获取所述视野范围对应的真实场景中的物体;对所述真实场景中的物体进行识别,识别得到目标物体,所述目标物体包括至少一个组成部分;基于观看视角和预设信息,在所述目标物体的至少一个组成部分的对应位置处输出显示第一虚拟对象。该方法中,通过电子设备对真实场景中的物体进行识别,得到目标物体,并基于观看视角和预设信息,该目标物体的多个组成部分的对应位置处输入显示第一虚拟对象,而该第一虚拟对象基于该观看视角能够与该目标物体中的组成部分相配合,使得用户能够借助AR设备了解该目标物体中的组成部分,提高了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种信息处理方法实施例1的流程图;
图2为本发明提供的一种信息处理方法实施例2的流程图;
图3为本发明提供的一种信息处理方法实施例2中目标物体的呈现结构示意;
图4为本发明提供的一种信息处理方法实施例2中第一虚拟对象的一示意图;
图5为本发明提供的一种信息处理方法实施例2中第一虚拟对象的另一示意图;
图6为本发明提供的一种信息处理方法实施例2中第一虚拟对象的又一示意图;
图7为本发明提供的一种信息处理方法实施例3的流程图;
图8为本发明提供的一种信息处理方法实施例3显示区域的示意图;
图9为本发明提供的一种信息处理方法实施例4的流程图;
图10为本发明提供的一种信息处理方法实施例4中用户基于该电子设备观看到的图像;
图11为本发明提供的一种信息处理方法实施例5的流程图;
图12为本发明提供的一种电子设备实施例1的结构示意图;
图13为本发明提供的一种电子设备实施例2的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅附图1,为本发明提供的一种信息处理方法实施例1的流程图,该方法应用于一电子设备,该电子设备具体可以为台式机、笔记本、平板电脑、手机、智能手表、穿戴式设备等形式的电子设备,该电子设备中可以采用AR技术。
其中,该方法包括以下步骤:
步骤S101:基于用户采用所述电子设备观看的视野范围,获取所述视野范围对应的真实场景中的物体;
需要说明的是,本申请中的实施例是基于具有AR技术的电子设备实现,用户采用该电子设备对其周围环境进行观看,则该用户的视野范围与通过该电子设备观看的视野范围一致。
其中,该电子设备能对其视野范围内的环境信息进行采集,实现获取该视野范围对应的真实场景中的物体。
具体实施中,可以通过对该视野范围进行图像采集的方式得到该真实场景中的环境图像,而该环境图像中包含有给真实场景中的物体。
步骤S102:对所述真实场景中的物体进行识别,识别得到目标物体;
其中,所述目标物体包括至少一个组成部分。
其中,电子设备中预存储识别其采集得到图像中包含物体的分析条件,基于该分析条件,能够将所述真实场景中的物体识别为目标物体。
具体的,该目标物体包含多个组成部分。
具体实施中,该真实场景中的物体可以为整体结构,可以为待组合的物体的基础结构,则相应的,该目标物体可以为该整体结构,也可以为该目标组合的结构(即基础结构与待安装的结构进行组合后得到的结构)。
需要说明的是,不论真实物体是整体还是基础结构,目标物体对应于整体而非组件,可以指真实物体,也可以包含真实物体的增强信息,比如真实物体是电脑,就识别为电脑,真实物体是机箱壳,可以识别为组装后的机箱。
作为一个应用场景,该真实场景中的物体为待检修的电源,则相应的,该目标物体为该待检修的电源本身;
作为另一个应用场景,该真实场景中的物体为待安装的机箱壳,则该目标物体可以为组装后的机箱,包括待安装的机箱的基础结构(如机箱结构)以及待安装的结构(如芯片、主板等结构),用户可以在该机箱结构中安装主板、芯片等结构。
步骤S103:基于观看视角和预设信息,在所述目标物体的至少一个组成部分的对应位置处输出显示第一虚拟对象。
其中,用户使用该电子设备对设备进行观看时,基于不同的视角能够看到该目标物体的不同角度的结构。
具体实施中,该电子设备中预设信息,该预设信息与该目标物体的每个组成部分相应,该预设信息可以包含该目标物体的结构和/或参数信息等。
作为一个应用场景,该真实场景中的物体为待检修的电源,该第一虚拟对象是与该待检修的电源检修过程中涉及的结构相应的内容,例如,可以为该待检修的电源中主板、芯片等组成部分的结构形状以及该组成部分的标准参数。
作为另一个应用场景,该真实场景中的物体为待安装的机箱,该第一虚拟对象可以为未来需要安装的结构如主板、芯片等。
具体的,上述的应用场景中,检测该电子设备的视野范围对应的真实的场景,并进一步对获取的真实场景中的物体进行识别,进而实现对该物体中待显示信息进行确定并输出显示。
综上,本实施提供的一种应用于电子设备中的信息处理方法,包括:基于用户采用所述电子设备观看的视野范围,获取所述视野范围对应的真实场景中的物体;对所述真实场景中的物体进行识别,识别得到目标物体,所述目标物体包括至少一个组成部分;基于观看视角和预设信息,在所述目标物体的至少一个组成部分的对应位置处输出显示第一虚拟对象。该方法中,通过电子设备对真实场景中的物体进行识别,得到目标物体,并基于观看视角和预设信息,该目标物体的多个组成部分的对应位置处输入显示第一虚拟对象,而该第一虚拟对象基于该观看视角能够与该目标物体中的组成部分相配合,使得用户能够借助AR设备了解该目标物体中的组成部分,提高了用户体验。
请参阅附图2,为本发明提供的一种信息处理方法实施例2的流程图,该方法包括以下步骤:
步骤S201:基于用户采用所述电子设备观看的视野范围,获取所述视野范围对应的真实场景中的物体;
步骤S202:对所述真实场景中的物体进行识别,识别得到目标物体;
其中,该步骤S201-202与实施例1中的步骤S101-102一致,本实施例中不做赘述。
步骤S203:基于观看视角,识别得到所述目标物体在所述观看视角下的呈现结构;
需要说明的是,由于该目标物体为立体结构,则用户通过不同视角进行观看时,基于不同的视角能够看到该目标物体的不同角度的结构。
则,基于用户观看视角,识别得到基于该观看视角,该目标物体相对于用户所呈现的呈现结构。
如图3所示的为目标物体的呈现结构示意,其中,该呈现结构301中包含组成部分302、组成部分303和组成部分304。
需要说明的是,该呈现结构并不一定是物体当前的结构,当该目标物体为待安装的机箱的基础构件时,该呈现结构可以为设置有安装有某一目标部件的结构,如包含有待安装主板的基础构件。
步骤S204:分析在所述观看视角下,与所述呈现结构中包含的至少一个组成部分对应的第一虚拟对象;
其中,该电子设备中针对各个组成预设有相应的虚拟对象。
需要说明的是,该虚拟对象可以包含有待检修的目标结构中的组成部分对应的虚拟对象,也可以包含待安装的目标结构中的组成部分对应的虚拟对象。
具体的,针对该观看视角中呈现结构,分析得到该呈现结构中包含的至少一个组成部分对应的第一虚拟对象。
具体实施中,该电子设备中预设有该目标结构中各个组成部分,该目标结构中的组成部分与该呈现结构中的组成部分匹配时,则获取该呈现结构中包含的组成部分对应的第一虚拟对象。
步骤S205:在电子设备的显示区域中与所述呈现结构中包含的至少一个组成部分对应位置,输出所述第一虚拟对象。
其中,该对应位置可以为该组成部分的设置位置,也可包括预设的参数显示位置,当该显示位置与组成部分的设置位置不同时,可以采用线指示方式关联该组成部分的结构与该参数显示位置
如图4所示的为第一虚拟对象的一示意图,该第一虚拟对象为组成部分POWER的结构,其中采用高亮方式表示该组成部分POWER的结构(图中以加粗线条方式体现高亮),该第一虚拟对象的结构大小以及位置与该组成部分完全一致,并采用高亮的方式表示。
如图5所示的为第一虚拟对象的另一示意图,该第一虚拟对象为组成部分POWER的结构以及标准参数(3V,5A),其中采用高亮方式表示该组成部分POWER的结构(图中以加粗线条方式体现高亮),该第一虚拟对象的结构大小以及位置与该组成部分完全一致,并采用高亮的方式表示,该标准参数采用气泡的方式与该组成部分POWER的结构相对应。
具体检修过程的使用场景中,可以通过比对该第一虚拟对象的结构与该目标物体中相应结构形状是否一致,初步判断该目标物体中结构是否需要维修,如该第一虚拟对象的结构与组成部分结构一致,则以设置的安全色进行显示;否则,以设置的危险提醒颜色进行显示,以提示该组成部分出现故障。
如图6所示的为第一虚拟对象的又一示意图,该第一虚拟对象为待安装机箱的未来需要安装的结构如主板、芯片、电源(POWER)等(图中以虚线方式体现待安装的结构)。其中,采用虚拟图像的方式,将该需要安装的结构主板在其预设的位置显示,以提示用户将该主板结构安装在该位置。
综上,本实施提供的一种应用于电子设备中的信息处理方法中,包括:基于观看视角,识别得到所述目标物体在所述观看视角下的呈现结构;分析在所述观看视角下,与所述呈现结构中包含的至少一个组成部分对应的第一虚拟对象;在电子设备的显示区域中与所述呈现结构中包含的至少一个组成部分对应位置,输出所述第一虚拟对象。采用该方法,基于识别得到的目标物体以观看视角下的呈现结构,分析得到该观看视角下对应的多个组成部分的第一虚拟对象并输出,实现对该目标物体中的多个组成部分输出显示其对应的第一虚拟对象,而该第一虚拟对象基于该观看视角能够与该目标物体中的组成部分相配合,使得用户能够借助AR设备了解该目标物体中的组成部分,提高了用户体验。
请参阅附图7,为本发明提供的一种信息处理方法实施例3的流程图,该方法包括以下步骤:
步骤S701:基于用户采用所述电子设备观看的视野范围,获取所述视野范围对应的真实场景中的物体;
步骤S702:对所述真实场景中的物体进行识别,识别得到目标物体,所述目标物体包括至少一个组成部分;
步骤S703:基于观看视角,识别得到所述目标物体在所述观看视角下的呈现结构;
其中,该步骤S701-703与实施例2中的步骤S201-203一致,本实施例中不做赘述。
步骤S704:基于所述观看视角,追踪所述视野范围中的所述物体的位置;
需要说明的是,电子设备中设置有所述物体的预设模型,该预设模型为所述物体整体的3D模型,且该3D模型中每个组成部分均预设有虚拟对象,各个虚拟对象组合得到预设的虚拟对象集合。
具体实施中,该目标物体是基于该真实场景中的物体得到,且该3D模型与目标物体的呈现结构匹配,以及该3D模型中各个组成部分对应的虚拟对象,实现确定该目标物体的呈现结构的具体对应的虚拟对象。
则,通过追踪用户观看视角下视野范围中所述物体的位置,即可确定该目标物体的具体位置,以使得在后续步骤中能够应用该物体的具体位置。
需要说明的是,该3D模型可以为用户预先对该物体进行扫描,并进行建模得到的模型。
步骤S705:调整所述物体的预设模型的角度至所述观看视角,调整所述预设模型的位置至所述物体的位置,以使得当前状态的所述预设模型与所述物体贴合;
需要说明的是,步骤S702中识别得到目标物体时,即可在电子设备的预设的若干预设模型中获取与该物体相应的预设模型。
具体的,通过调整与该物体对应的预设模型的角度以及位置,实现使得该预设模型与该物体贴合。
需要说明的是,该贴合是指该物体与该预设模型的角度以及位置完全一致,即根据与该物体的3D模型去匹配真实场景中该物体的显示位置和角度。
步骤S706:从预设的虚拟对象集合中,获取与所述预设模型的当前状态对应的至少一个第一虚拟对象;
其中,所述至少一个第一虚拟对象与所述呈现结构中包含的至少一个组成部分一一对应。
其中,所述至少一个第一虚拟对象与所述预设模型具有对应的位置关系。
其中,该预设模型的当前状态是指该预设模型处于该观看视角,且其位置调整至该目标物体的位置的状态。
具体的,基于该观看视角,可以确定能够被用户看到的组成部分,则可获取该能够被用户看到的组成部分对应的第一虚拟对象。
步骤S707:在电子设备的显示区域中与所述呈现结构中包含的至少一个组成部分对应位置,输出所述第一虚拟对象。
具体实施中,为了不影响用户的观看体验,隐藏3D模型的边缘、形状等等,只显示组成部分的相关信息。
具体实施中,可以只对该第一虚拟对象进行展示,而不展示该预设模型,即根据所述对应的位置关系在电子设备显示区域展示该第一虚拟对象,禁止展示所述预设模型;也可以采用两个图层同时对该第一虚拟对象和预设模型进行展示。
其中,在所述电子设备显示区域的第一图层展示所述预设模型,在所述显示区域的第二图层展示所述第一虚拟对象,所述第二图层的透光率小于所述第一图层的透光率。
具体的,该第一图层中显示的内容不容易被用户视觉感知到,则相对于用户而言,其只能够看到第二图层中展示的第一虚拟对象,而不能够视觉感知到第一图层中展示的预设模型。
如下图8所示的为显示区域的示意图,其中,该显示区域801包含第一图层802和第二图层803;其中,第一图层802展示预设模型,第二图层803展示第一虚拟对象。且,该第二图层803的透光率小于第一图层802的透光率。
综上,本实施提供的一种应用于电子设备中的信息处理方法中,包括:基于所述观看视角,追踪所述视野范围中的所述物体的位置;调整所述物体的预设模型的角度至所述观看视角,调整所述预设模型的位置至所述物体的位置,以使得当前状态的所述预设模型与所述物体贴合;从预设的虚拟对象集合中,获取与所述预设模型的当前状态对应的至少一个第一虚拟对象,所述至少一个第一虚拟对象与所述呈现结构中包含的至少一个组成部分一一对应。采用该方法,通过控制预设模型追踪物体的位置与角度实现对物体整体进行识别和追踪,保证对组件的相关信息(虚拟对象)的准确获取和显示,提高了用户体验。
请参阅附图9,为本发明提供的一种信息处理方法实施例4的流程图,该方法包括以下步骤:
步骤S901:基于用户采用所述电子设备观看的视野范围,获取所述视野范围对应的真实场景中的物体;
步骤S902:对所述真实场景中的物体进行识别,识别得到目标物体,所述目标物体包括至少一个组成部分;
步骤S903:基于观看视角,识别得到所述目标物体在所述观看视角下的呈现结构;
其中,该步骤S901-903与实施例2中的步骤S201-203一致,本实施例中不做赘述。
步骤S904:获取当前时刻目标物体对应的当前处理进度步骤;
其中,该电子设备中针对不同的应用场景,设置有该应用场景中对应的处理进度,每一处理进度可对应至少一个待处理对象的第一信息。
具体实施中,可基于电子设备中针对该应用场景的进程分析得到该目标物体对应的当前处理进度。
步骤S905:依据预设第一信息与处理进度之间的关联关系,获取所述当前处理进度步骤对应的至少一个第一信息;
其中,该预设第一信息包括:全部待安装的芯片或者待检测的对象等;而该与当前处理进度步骤对应的至少一个第一信息为当前处理进度步骤中待安装的芯片或者待检测的对象。
具体实施中,该第一信息包含有目标物体中包含的各个组成部分的具体结构和/或参数等,基于该第一信息即可分析得到相应的组成部分的具体结构以及其设置的参数。
步骤S906:基于所述第一信息生成第一虚拟对象;
其中,由于该第一信息包含有其对应的组成部分的具体结构和/或参数等信息,则基于该第一信息可以生成该第一虚拟对象。
相应的,该第一虚拟对象可以包括其对应的组成部分的结构和/或该组成部分的参数。
作为一个应用场景,该真实场景中的物体为待检修的电源,该第一虚拟对象是与该待检修的电源检修过程中涉及的结构相应的内容。该方法应用场景的具体过程如下:
第一步骤:拆开电源整体外壳时,通过高亮显示4个角的螺丝,以指示拆开该螺丝;
第二步骤:通过高亮显示该电源内部的PCB(Printed Circuit Board,印制电路板)板;
具体的,还可同步显示该PCB板预设参数。
其中,PCB板外形形状与第一虚拟对象的预设形状一致,可采用设置的安全颜色(如绿色)突出显示该PCB板的形状;PCB板外形形状与第一虚拟对象的预设形状不一致,可能是因为该PCB板故障导致高温使得其发生形变,可采用设置的维修颜色(如红色)突出显示该PCB板的形状。
第三步骤:通过高亮显示该电源内部的heat sink(散热片)。
如图10所示的为用户基于该电子设备观看到的图像,该图像中,采用高亮方式对待检修的电源内部的Heat Sink、PCB-21、Power Cord(电源线)以及PX-1的结构进行了高亮显示,以提示用户对这几个组成部分进行检修。
需要说明的是,上述三个步骤仅对该应用场景中的三个步骤进行说明,具体实施中,用户可根据其应用场景中设置多个步骤进行实现,本申请不对该实现步骤的个数进行限制。
步骤S907:在电子设备的显示区域中与所述呈现结构中包含的至少一个组成部分对应位置,输出所述第一虚拟对象。
其中,该步骤S907与实施例2中的步骤S205一致,本实施例中不做赘述。
具体实施中,步骤S903和S904之间,还可有切换处理进度步骤:接收切换信息,所述切换信息用于控制进度步骤由第一处理进度步骤切换至当前处理进度步骤。
其中,该切换信息可以根据用户在电子设备的预设输入区域执行的输入操作生成。
具体的,该电子设备中可设置切换按键,通过按下该切换按键,实现将该处理进度步骤从第一处理进度步骤切换至当前处理进度步骤。
需要说明的是,该第一处理进度步骤可以为该当前处理进度步骤之前的步骤,也可以为该当前处理进度步骤之后的步骤。
综上,本实施提供的一种应用于电子设备中的信息处理方法中,包括:获取当前时刻目标物体对应的当前处理进度步骤;依据预设第一信息与处理进度之间的关联关系,获取所述当前处理进度步骤对应的至少一个第一信息;基于所述第一信息生成第一虚拟对象。采用该方法,针对电子设备对该目标物体的处理进度,展示不同处理进度下对应的虚拟对象,方便用户按照步骤对目标物体进行处理,具有指导性质,提高用户的体验。
请参阅附图11,为本发明提供的一种信息处理方法实施例5的流程图,该方法包括以下步骤:
步骤S1101:基于扫描所述目标物体得到的扫描信息,建立所述目标物体的结构模型;
其中,所述结构模型与所述目标物体的结构对应。
其中,用户采用扫描仪对该目标物体的四周进行扫描得到扫描信息,并进行建模得到的结构模型。
具体实施中,该结构模型可以为该目标物体的3D模型,以方便用户通过不同观看视角查看该目标物体。
步骤S1102:展示所述结构模型;
具体的,在该电子设备显示屏幕中展示该结构模型,以使得用户了解该目标物体的3D结构。
步骤S1103:接收并存储输入信息;
其中,所述输入信息与所述结构模型中至少一个位置信息一一对应,且所述输入信息与所述目标物体的至少一个组成部分一一对应。
其中,该输入信息中包含有该目标物体中至少一个组成部分的每个组成部分的相关信息,该相关信息可以包括预设参数等。
则,基于该输入信息,即可确定目标物体中相应的组成部分的预设参数以及该预设参数对应的展示位置等。
需要说明的是,由于该输入信息与所述结构模型中至少一个位置信息一一对应,而该结构模型具体采用3D模型,则该输入信息与该3D模型中的位置信息相对应。
步骤S1104:基于用户采用所述电子设备观看的视野范围,获取所述视野范围对应的真实场景中的物体;
步骤S1105:对所述真实场景中的物体进行识别,识别得到目标物体;
步骤S1106:基于观看视角和预设信息,在所述目标物体的至少一个组成部分的对应位置处输出显示第一虚拟对象。
其中,该步骤S1104-1106与实施例1中的步骤S101-103一致,本实施例中不做赘述。
综上,本实施提供的一种应用于电子设备中的信息处理方法,还包括:基于扫描所述目标物体得到的扫描信息,建立所述目标物体的结构模型,所述结构模型与所述目标物体的结构对应;展示所述结构模型;接收并存储输入信息,所述输入信息与所述结构模型中至少一个位置信息一一对应,且所述输入信息与所述目标物体的至少一个组成部分一一对应。采用该方法,通过扫描目标物体建立该目标物体的结构模型,并存储输入信息,以实现为后续的步骤中提供输入第一虚拟对象的基础,过程简单易行。
上述本发明提供的实施例中详细描述了一种信息处理方法,对于本发明的信息处理方法可采用多种形式的装置实现,因此本发明还提供了一种应用该信息处理方法的电子设备,下面给出具体的实施例进行详细说明。
请参阅附图12,为本发明提供的一种电子设备实施例1的结构示意图,该电子设备具体可以为台式机、笔记本、平板电脑、手机、智能手表、穿戴式设备等形式的电子设备,该电子设备中可以采用AR技术。
其中,该电子设备包括以下结构:采集单元1201和处理器1202;
其中,采集单元1201,用于基于用户采用所述电子设备观看的视野范围,获取所述视野范围对应的真实场景的信息;
其中,处理器1202,用于基于所述视野范围对应的真实场景的信息,获取所述真实场景中的物体;对所述真实场景中的物体进行识别,识别得到目标物体,所述目标物体包括至少一个组成部分;基于观看视角和预设信息,在所述目标物体的至少一个组成部分的对应位置处输出显示第一虚拟对象。
具体实施中,该采集单元可以采用电子设备的摄像头等图像采集结构;该处理器可以采用电子设备中的CPU(central processing unit,中央处理器)等具有信息处理能力的结构。
优选的,所述处理器,用于:基于观看视角,识别得到所述目标物体在所述观看视角下的呈现结构;分析在所述观看视角下,与所述呈现结构中包含的至少一个组成部分对应的第一虚拟对象;
所述电子设备还包括:显示器,用于在电子设备的显示区域中与所述呈现结构中包含的至少一个组成部分对应位置,输出所述第一虚拟对象。
优选的,所述处理器,具体用于:基于所述观看视角,追踪所述视野范围中的所述物体的位置;
调整所述物体的预设模型的角度至所述观看视角,调整所述预设模型的位置至所述物体的位置,以使得当前状态的所述预设模型与所述物体贴合;
从预设的虚拟对象集合中,获取与所述预设模型的当前状态对应的至少一个第一虚拟对象,所述至少一个第一虚拟对象与所述呈现结构中包含的至少一个组成部分一一对应,所述至少一个第一虚拟对象与所述预设模型具有对应的位置关系。
优选的,所述显示器用于:根据所述对应的位置关系在所述电子设备显示区域展示所述第一虚拟对象,禁止展示所述预设模型。
优选的,所述处理器,用于获取当前时刻目标物体对应的当前处理进度步骤;依据预设第一信息与处理进度之间的关联关系,获取所述当前处理进度步骤对应的至少一个第一信息;基于所述第一信息生成第一虚拟对象。
优选的,所述处理器,还用于:接收切换信息,所述切换信息用于控制进度步骤由第一处理进度步骤切换至当前处理进度步骤。
优选的,所述处理器,还用于:基于扫描所述目标物体得到的扫描信息,建立所述目标物体的结构模型,所述结构模型与所述目标物体的结构对应;展示所述结构模型;接收并存储输入信息,所述输入信息与所述结构模型中至少一个位置信息一一对应,且所述输入信息与所述目标物体的至少一个组成部分一一对应。
综上,本实施提供的一种电子设备,通过电子设备对真实场景中的物体进行识别,得到目标物体,并基于观看视角和预设信息,该目标物体的多个组成部分的对应位置处输入显示第一虚拟对象,而该第一虚拟对象基于该观看视角能够与该目标物体中的组成部分相配合,使得用户能够借助AR设备了解该目标物体中的组成部分,提高了用户体验。
请参阅附图13,为本发明提供的一种电子设备实施例2的结构示意图,该电子设备具体可以为台式机、笔记本、平板电脑、手机、智能手表、穿戴式设备等形式的电子设备,该电子设备中可以采用AR技术。
其中,该电子设备包括以下结构:获取模块1301、识别模块1302和输出模块1303。
其中,该获取模块1301,用于基于用户采用所述电子设备观看的视野范围,获取所述视野范围对应的真实场景中的物体;
其中,该识别模块1302,用于对所述真实场景中的物体进行识别,识别得到目标物体,所述目标物体包括至少一个组成部分;
其中,该输出模块1303,用于基于观看视角和预设信息,在所述目标物体的至少一个组成部分的对应位置处输出显示第一虚拟对象。
综上,本实施提供的一种电子设备,通过电子设备对真实场景中的物体进行识别,得到目标物体,并基于观看视角和预设信息,该目标物体的多个组成部分的对应位置处输入显示第一虚拟对象,而该第一虚拟对象基于该观看视角能够与该目标物体中的组成部分相配合,使得用户能够借助AR设备了解该目标物体中的组成部分,提高了用户体验。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例提供的装置而言,由于其与实施例提供的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所提供的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所提供的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种信息处理方法,其特征在于,所述方法应用于电子设备,所述方法包括:
基于用户采用所述电子设备观看的视野范围,获取所述视野范围对应的真实场景中的物体;
对所述真实场景中的物体进行识别,识别得到目标物体,所述目标物体包括至少一个组成部分;
基于观看视角和预设信息,在所述目标物体的至少一个组成部分的对应位置处输出显示第一虚拟对象。
2.根据权利要求1所述的方法,其特征在于,所述基于观看视角和预设信息,在所述目标物体的至少一个组成部分的对应位置处输出显示第一虚拟对象,包括:
基于观看视角,识别得到所述目标物体在所述观看视角下的呈现结构;
分析在所述观看视角下,与所述呈现结构中包含的至少一个组成部分对应的第一虚拟对象;
在电子设备的显示区域中与所述呈现结构中包含的至少一个组成部分对应位置,输出所述第一虚拟对象。
3.根据权利要求2所述的方法,其特征在于,所述分析在所述观看视角下,与所述呈现结构中包含的至少一个组成部分对应的第一虚拟对象,包括:
基于所述观看视角,追踪所述视野范围中的所述物体的位置;
调整所述物体的预设模型的角度至所述观看视角,调整所述预设模型的位置至所述物体的位置,以使得当前状态的所述预设模型与所述物体贴合;
从预设的虚拟对象集合中,获取与所述预设模型的当前状态对应的至少一个第一虚拟对象,所述至少一个第一虚拟对象与所述呈现结构中包含的至少一个组成部分一一对应,所述至少一个第一虚拟对象与所述预设模型具有对应的位置关系。
4.根据权利要求3所述的方法,其特征在于,还包括:
根据所述对应的位置关系在所述电子设备显示区域展示所述第一虚拟对象,禁止展示所述预设模型。
5.根据权利要求2所述的方法,其特征在于,所述分析在所述观看视角下,与所述呈现结构中包含的至少一个组成部分对应的第一虚拟对象,包括:
获取当前时刻目标物体对应的当前处理进度步骤;
依据预设第一信息与处理进度之间的关联关系,获取所述当前处理进度步骤对应的至少一个第一信息;
基于所述第一信息生成第一虚拟对象。
6.根据权利要求5所述的方法,其特征在于,获取当前时刻目标物体对应的当前处理进度步骤之前,还包括:
接收切换信息,所述切换信息用于控制进度步骤由第一处理进度步骤切换至当前处理进度步骤。
7.根据权利要求1所述的方法,其特征在于,所述基于用户观看的视野范围,获取所述视野范围对应的真实场景中的物体之前,还包括:
基于扫描所述目标物体得到的扫描信息,建立所述目标物体的结构模型,所述结构模型与所述目标物体的结构对应;
展示所述结构模型;
接收并存储输入信息,所述输入信息与所述结构模型中至少一个位置信息一一对应,且所述输入信息与所述目标物体的至少一个组成部分一一对应。
8.一种电子设备,其特征在于,包括:
采集单元,用于基于用户采用所述电子设备观看的视野范围,获取所述视野范围对应的真实场景的信息;
处理器,用于基于所述视野范围对应的真实场景的信息,获取所述真实场景中的物体;对所述真实场景中的物体进行识别,识别得到目标物体,所述目标物体包括至少一个组成部分;基于观看视角和预设信息,在所述目标物体的至少一个组成部分的对应位置处输出显示第一虚拟对象。
9.根据权利要求8所述的电子设备,其特征在于,所述处理器,用于:
基于观看视角,识别得到所述目标物体在所述观看视角下的呈现结构;
分析在所述观看视角下,与所述呈现结构中包含的至少一个组成部分对应的第一虚拟对象;
所述电子设备还包括:
显示器,用于在电子设备的显示区域中与所述呈现结构中包含的至少一个组成部分对应位置,输出所述第一虚拟对象。
10.根据权利要求9所述的电子设备,其特征在于,所述处理器,具体用于:基于所述观看视角,追踪所述视野范围中的所述物体的位置;
调整所述物体的预设模型的角度至所述观看视角,调整所述预设模型的位置至所述物体的位置,以使得当前状态的所述预设模型与所述物体贴合;
从预设的虚拟对象集合中,获取与所述预设模型的当前状态对应的至少一个第一虚拟对象,所述至少一个第一虚拟对象与所述呈现结构中包含的至少一个组成部分一一对应,所述至少一个第一虚拟对象与所述预设模型具有对应的位置关系。
11.根据权利要求9所述的电子设备,其特征在于,所述显示器用于:根据所述对应的位置关系在所述电子设备显示区域展示所述第一虚拟对象,禁止展示所述预设模型。
12.根据权利要求9所述的电子设备,其特征在于,所述处理器,用于:
获取当前时刻目标物体对应的当前处理进度步骤;
依据预设第一信息与处理进度之间的关联关系,获取所述当前处理进度步骤对应的至少一个第一信息;
基于所述第一信息生成第一虚拟对象。
13.根据权利要求12所述的电子设备,其特征在于,所述处理器,还用于:
接收切换信息,所述切换信息用于控制进度步骤由第一处理进度步骤切换至当前处理进度步骤。
14.根据权利要求8所述的电子设备,其特征在于,所述处理器,还用于:
基于扫描所述目标物体得到的扫描信息,建立所述目标物体的结构模型,所述结构模型与所述目标物体的结构对应;
展示所述结构模型;
接收并存储输入信息,所述输入信息与所述结构模型中至少一个位置信息一一对应,且所述输入信息与所述目标物体的至少一个组成部分一一对应。
15.一种电子设备,其特征在于,包括:
获取模块,用于基于用户采用所述电子设备观看的视野范围,获取所述视野范围对应的真实场景中的物体;
识别模块,用于对所述真实场景中的物体进行识别,识别得到目标物体,所述目标物体包括至少一个组成部分;
输出模块,用于基于观看视角和预设信息,在所述目标物体的至少一个组成部分的对应位置处输出显示第一虚拟对象。
CN201610403821.9A 2016-06-08 2016-06-08 一种信息处理方法和电子设备 Active CN106096540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610403821.9A CN106096540B (zh) 2016-06-08 2016-06-08 一种信息处理方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610403821.9A CN106096540B (zh) 2016-06-08 2016-06-08 一种信息处理方法和电子设备

Publications (2)

Publication Number Publication Date
CN106096540A true CN106096540A (zh) 2016-11-09
CN106096540B CN106096540B (zh) 2020-07-24

Family

ID=57227619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610403821.9A Active CN106096540B (zh) 2016-06-08 2016-06-08 一种信息处理方法和电子设备

Country Status (1)

Country Link
CN (1) CN106096540B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095355A1 (zh) * 2016-11-24 2018-05-31 腾讯科技(深圳)有限公司 虚拟对象的控制方法及相关装置
CN108537149A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108805635A (zh) * 2017-04-26 2018-11-13 联想新视界(北京)科技有限公司 一种对象的虚拟显示方法和虚拟设备
WO2018209515A1 (zh) * 2017-05-15 2018-11-22 上海联影医疗科技有限公司 显示系统及方法
CN109144244A (zh) * 2018-07-03 2019-01-04 世雅设计有限公司 一种增强现实辅助的方法、装置、系统及增强现实设备
WO2019233078A1 (zh) * 2018-06-06 2019-12-12 珠海格力电器股份有限公司 一种虚拟便签显示方法、装置、存储介质及移动终端
CN111258520A (zh) * 2018-12-03 2020-06-09 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质
CN111625102A (zh) * 2020-06-03 2020-09-04 上海商汤智能科技有限公司 一种建筑物展示方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110237331A1 (en) * 2008-08-19 2011-09-29 Sony Computer Entertainment Europe Limited Entertainment device and method of interaction
CN103164690A (zh) * 2011-12-09 2013-06-19 金耀有限公司 利用运动趋势跟踪增强现实三维多标记的方法和装置
CN104598037A (zh) * 2015-03-02 2015-05-06 联想(北京)有限公司 信息处理方法及装置
CN105303149A (zh) * 2014-05-29 2016-02-03 腾讯科技(深圳)有限公司 人物图像的展示方法和装置
CN105303557A (zh) * 2015-09-21 2016-02-03 深圳先进技术研究院 一种可透视型智能眼镜及其透视方法
US20160100034A1 (en) * 2011-10-28 2016-04-07 Magic Leap, Inc. System and method for augmented and virtual reality

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110237331A1 (en) * 2008-08-19 2011-09-29 Sony Computer Entertainment Europe Limited Entertainment device and method of interaction
US20160100034A1 (en) * 2011-10-28 2016-04-07 Magic Leap, Inc. System and method for augmented and virtual reality
CN103164690A (zh) * 2011-12-09 2013-06-19 金耀有限公司 利用运动趋势跟踪增强现实三维多标记的方法和装置
CN105303149A (zh) * 2014-05-29 2016-02-03 腾讯科技(深圳)有限公司 人物图像的展示方法和装置
CN104598037A (zh) * 2015-03-02 2015-05-06 联想(北京)有限公司 信息处理方法及装置
CN105303557A (zh) * 2015-09-21 2016-02-03 深圳先进技术研究院 一种可透视型智能眼镜及其透视方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S.A.D.NIMESHA NISHADI ASHINSHANIE ET AL: "Augmented Reality Based Platform for Simulation of 3D Models, Generated with a Series of 2D Images, on Real Environment", 《2014 EUROPEAN MODELLING SYMPOSIUM》 *
吕淘沙等: "增强现实交互技术在历史博物馆中的应用", 《西安工程大学学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095355A1 (zh) * 2016-11-24 2018-05-31 腾讯科技(深圳)有限公司 虚拟对象的控制方法及相关装置
US10796668B2 (en) 2016-11-24 2020-10-06 Tencent Technology (Shenzhen) Company Limited Virtual object control method and related device
CN108805635A (zh) * 2017-04-26 2018-11-13 联想新视界(北京)科技有限公司 一种对象的虚拟显示方法和虚拟设备
WO2018209515A1 (zh) * 2017-05-15 2018-11-22 上海联影医疗科技有限公司 显示系统及方法
CN108537149A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2019233078A1 (zh) * 2018-06-06 2019-12-12 珠海格力电器股份有限公司 一种虚拟便签显示方法、装置、存储介质及移动终端
CN109144244A (zh) * 2018-07-03 2019-01-04 世雅设计有限公司 一种增强现实辅助的方法、装置、系统及增强现实设备
CN111258520A (zh) * 2018-12-03 2020-06-09 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质
CN111258520B (zh) * 2018-12-03 2021-09-14 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质
CN111625102A (zh) * 2020-06-03 2020-09-04 上海商汤智能科技有限公司 一种建筑物展示方法及装置

Also Published As

Publication number Publication date
CN106096540B (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN106096540A (zh) 一种信息处理方法和电子设备
EP3166079A1 (en) Augmented reality method and system based on wearable device
CN106708452B (zh) 一种信息共享方法及终端
CN105278899B (zh) 一种显示控制方法及装置
CN104010124A (zh) 一种显示滤镜效果的方法、装置和移动终端
CN107993604A (zh) 一种显示屏的调节方法及设备
CN104240674A (zh) 一种调节显示单元的方法及一种电子设备
CN104951117B (zh) 利用影像辨识产生相对应信息的影像处理系统及相关方法
CN105929951A (zh) 一种屏幕显示方法及装置
WO2018155267A1 (ja) 画像表示装置及び画像表示方法並びにプログラム
CN104505002B (zh) 基于oled屏的显示方法和装置
CN105208370B (zh) 一种虚拟现实设备的显示校准方法
JP2012108379A (ja) 情報表示システム、装置、方法及びプログラム
CN112289278A (zh) 屏幕亮度调节方法、屏幕亮度调节装置和电子设备
CN105334955A (zh) 一种信息处理方法及电子设备
CN105554366A (zh) 一种多媒体拍摄处理方法、装置及智能终端
CN112702531B (zh) 拍摄方法、装置及电子设备
CN112527170A (zh) 设备可视化控制方法、装置及计算机可读存储介质
JP2010205030A (ja) 関連情報表示位置特定方法、関連情報表示位置特定システムおよび関連情報表示位置特定用プログラム
CN105808613B (zh) 页面背景图片的处理方法及装置
CN103631577A (zh) 图像显示调节方法和装置
CN109427102B (zh) 基于增强现实的教程演示方法和装置
CN105468135A (zh) 一种信息处理方法及电子设备
CN108604367A (zh) 一种显示方法以及手持电子设备
US10346000B2 (en) Information processing apparatus and method, information processing system for improved security level in browsing of content

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant