CN110720982B - 增强现实系统、基于增强现实的控制方法以及装置 - Google Patents
增强现实系统、基于增强现实的控制方法以及装置 Download PDFInfo
- Publication number
- CN110720982B CN110720982B CN201911037478.0A CN201911037478A CN110720982B CN 110720982 B CN110720982 B CN 110720982B CN 201911037478 A CN201911037478 A CN 201911037478A CN 110720982 B CN110720982 B CN 110720982B
- Authority
- CN
- China
- Prior art keywords
- damping
- relative position
- fixing pieces
- augmented reality
- virtual object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
- A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提出一种增强现实系统、基于增强现实的控制方法以及装置,其中,系统包括AR设备、穿戴设备和控制单元;其中,AR设备,用于执行增强现实AR操作项目;穿戴设备,包括至少两个固定件,相邻两个固定件之间具有活动连接件;控制单元,与穿戴设备和AR设备连接,用于AR设备执行AR操作项目的过程中,根据至少两个固定件之间的相对位置,调整活动连接件的阻尼。由此,在AR设备执行AR操作项目时,通过固定件之间的活动连接件的阻尼变化,能够真实感受到手术操作,从而提高了AR技术在医疗应用中的真实感触。
Description
技术领域
本申请涉及增强现实技术领域,尤其涉及一种增强现实系统、基于增强现实的控制方法和装置。
背景技术
目前,增强现实(Augmented Reality,以下简称AR)技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围实体信息通过计算机科学技术模拟仿真后叠加,将虚拟世界信息应用到真实世界,被人类感官所感知,从而达到类似现实或者超越现实的感官体验。利用AR技术,能够将真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。目前,AR技术广泛应用于医疗手术的模拟,具有无损伤性、可重复性和可指定性等优点。
但是,现有的AR技术应用于医疗手术的模拟时,仅限于目视观看,从而导致手术模拟的真实度较低。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请提出一种增强现实系统,实现了在AR设备执行AR操作项目时,通过固定件之间的活动连接件的阻尼变化,能够真实感受到手术操作,从而提高了AR技术在医疗应用中的真实感触。
本申请第一方面实施例提出了一种增强现实系统,包括:
AR设备、穿戴设备和控制单元;
所述AR设备,用于执行增强现实AR操作项目;
所述穿戴设备,包括至少两个固定件,相邻两个固定件之间具有活动连接件;
所述控制单元,与所述穿戴设备和所述AR设备连接,用于所述AR设备执行AR操作项目的过程中,根据所述至少两个固定件之间的相对位置,调整所述活动连接件的阻尼。
作为本申请实施例的第一种可能的情况,所述控制单元包括存储器和处理器;
其中,所述存储器存储有相对位置与阻尼参数的映射关系;其中,所述映射关系为多种,每一种映射关系具有对应的真实器械与被操作的虚拟对象的组合;
所述处理器,与所述存储器连接,用于根据所述AR操作项目采用的真实器械和被操作的虚拟对象,确定一种映射关系;查询所述一种映射关系,确定所述相对位置对应的阻尼值;将所述活动连接件的阻尼调整为所述阻尼值。
作为本申请实施例的第二种可能的情况,所述相对位置与阻尼参数的映射关系,是通过所述相对位置确定操作深度,根据所述虚拟对象在所述操作深度下的阻尼生成的。
作为本申请实施例的第三种可能的情况,各固定件设置有传感器;
其中,所述传感器与所述控制单元连接,用于探测相邻固定件之间的夹角。
作为本申请实施例的第四种可能的情况,所述穿戴设备为多个;
所述控制单元,还用于根据所述AR操作项目,从多个所述穿戴设备中,确定适用的一个穿戴设备。
作为本申请实施例的第五种可能的情况,所述AR设备,还用于探测所述真实器械与虚拟对象的接触关系;
所述控制单元,还用于所述真实器械与虚拟对象接触时,将所述活动连接件的阻尼调整为初始值。
本申请实施例的增强现实系统,包括AR设备、穿戴设备和控制单元;AR设备,用于执行增强现实AR操作项目;穿戴设备,包括至少两个固定件,相邻两个固定件之间具有活动连接件;控制单元,与所述穿戴设备和所述AR设备连接,用于所述AR设备执行AR操作项目的过程中,根据所述至少两个固定件之间的相对位置,调整所述活动连接件的阻尼。由此,在AR设备执行AR操作项目时,通过固定件之间的活动连接件的阻尼变化,能够真实感受到手术操作,从而提高了AR技术在医疗应用中的真实感触。
本申请第二方面实施例提出了一种基于增强现实的控制方法,包括:
控制增强现实AR设备执行AR操作项目;
在执行所述AR操作项目的过程中,获取穿戴设备中至少两个固定件之间的相对位置;
根据所述相对位置,调整所述穿戴设备中活动连接件的阻尼;其中,所述活动连接件,用于连接相邻两个所述固定件。
作为本申请实施例的第一种可能的情况,所述根据所述相对位置,调整所述穿戴设备中活动连接件的阻尼,包括:
根据所述AR操作项目采用的真实器械和被操作的虚拟对象,确定相对位置与阻尼参数的映射关系;
查询所述映射关系,确定所述相对位置对应的阻尼值;
将所述活动连接件的阻尼调整为所述阻尼值。
作为本申请实施例的第二种可能的情况,所述根据所述相对位置,调整所述活动连接件的阻尼之前,还包括:
获取所述真实器械与虚拟对象的接触关系;
若所述真实器械与虚拟对象接触,将所述活动连接件的阻尼调整为初始值。
本申请实施例的基于增强现实的控制方法,通过控制增强现实AR设备执行AR操作项目;在执行AR操作项目的过程中,获取穿戴设备中至少两个固定件之间的相对位置;根据相对位置,调整穿戴设备中活动连接件的阻尼;其中,活动连接件,用于连接相邻两个固定件。由此,在AR设备执行AR操作项目时,通过固定件之间的活动连接件的阻尼变化,能够真实感受到手术操作,从而提高了AR技术在医疗应用中的真实感触。
本申请第三方面实施例提出了一种基于增强现实的控制装置,包括:
执行模块,用于控制增强现实AR设备执行AR操作项目;
获取模块,用于在执行所述AR操作项目的过程中,获取穿戴设备中至少两个固定件之间的相对位置;
调整模块,用于根据所述相对位置,调整所述穿戴设备中活动连接件的阻尼;其中,所述活动连接件,用于连接相邻两个所述固定件。
本申请实施例的基于增强现实的控制装置,通过控制增强现实AR设备执行AR操作项目;在执行AR操作项目的过程中,获取穿戴设备中至少两个固定件之间的相对位置;根据相对位置,调整穿戴设备中活动连接件的阻尼;其中,活动连接件,用于连接相邻两个固定件。由此,在AR设备执行AR操作项目时,通过固定件之间的活动连接件的阻尼变化,能够真实感受到手术操作,从而提高了AR技术在医疗应用中的真实感触。
本申请第四方面实施例提出了一种控制单元,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如上述实施例三中所述的控制方法。
本申请第五方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例三中所述的控制方法。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例提供的第一种增强现实系统的结构示意图;
图2为本申请实施例提供的一种穿戴设备佩戴的示例图;
图3为本申请实施例提供的第二种增强现实系统的结构示意图;
图4为增强现实系统在医疗中应用的结构示意图;
图5为本申请实施例提供的第三种增强现实系统的结构示意图;
图6为本申请实施例提供的人体手指的结构示意图;
图7为本申请实施例提供的人体手臂的结构示意图;
图8为本申请实施例提供的另一种穿戴设备佩戴的示例图;
图9为本申请实施例提供的一种转抽式阻尼器的结构示意图;
图10为本申请实施例提供的一种拉伸式阻尼器的结构示意图;
图11为本申请实施例提供的一种基于增强现实的控制方法的流程示意图;
图12为本申请实施例提供的另一种基于增强现实的控制方法的流程示意图;
图13为本申请实施例提供的又一种基于增强现实的控制方法的流程示意图;
图14为本申请实施例提供的一种基于增强现实的控制装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
针对现有技术中AR设备用于医疗手术的模拟时,用户只能通过AR设备观看,不能进行真实的手术操作,从而导致真实触觉感较低的技术问题,本申请提出了一种增强现实系统,包括AR设备、穿戴设备和控制单元;其中,AR设备,用于执行增强现实AR操作项目;穿戴设备,包括至少两个固定件,相邻两个固定件之间具有活动连接件;控制单元,与穿戴设备和AR设备连接,用于AR设备执行AR操作项目的过程中,根据至少两个固定件之间的相对位置,调整活动连接件的阻尼。
下面参考附图描述本申请实施例的增强现实系统、基于增强现实的控制方法和装置。
作为一种示例,参见图1,图1为本申请实施例提供的第一种增强现实系统的结构示意图。
本申请实施例中,增强现实系统可以应用于医疗技术领域,例如,医疗手术术前模拟教学。
如图1所示,该增强现实系统10包括:AR设备11、穿戴设备12和控制单元13。
其中,AR设备11,用于执行增强现实AR操作项目。
本申请实施例中,AR操作项目,可以为治疗类操作项目(如按压操作、掐指操作等)、注射类操作项目(如吊针操作、一次性注射操作)、手术类操作项目(如剔除毛发操作、切口操作、剪切操作等)、缝合类操作项目(如组织缝合操作),等等。
本申请实施例中,AR设备可以为设置有显示屏的设备,当AR设备的显示屏感应到用户对显示屏上显示的模拟课程的触摸操作后,AR设备执行用户触摸操作对应的AR操作项目。
穿戴设备12,包括至少两个固定件121,相邻两个固定件之间具有活动连接件122。
本申请实施例中,AR设备11获取到用户选择的AR操作项目后,增强现实系统会根据AR操作项目提醒用户佩戴穿戴设备12。其中,穿戴设备12,包括至少两个固定件121,并且相邻两个固定件之间具有活动连接件122,以通过至少两个固定件121的活动角度模拟手术过程中的不同组织深度。
需要说明的是,图1中增强现实系统的结构图仅作为一种示例示出,还存在穿戴设备12包括两个以上固定件的情况,本申请实施例中不再一一表述。
作为一种示例,以AR设备11执行的AR操作项目为剪切操作为例,在AR设备执行剪切操作项目时,参见图2,人体关键部位为持刀手背、需扭转的腕关节及肘关节、小臂与大臂。这种情况下,穿戴设备12包括佩戴于手背的固定件1,佩戴于小臂固定件2和佩戴于大臂固定件3,并且佩戴于手背固定件1于佩戴于小臂固定件2的一端通过活动连接件连接,佩戴于小臂固定件2的另一端和佩戴于大臂固定件3的一端通过活动连接件连接,大臂固定件3的另一端与活动连接件的一端连接。
需要说明的是,AR设备11执行不同的AR操作项目时,例如,其他按压类操作、注射类操作、缝合类操作等,穿戴设备12对应于不同数量的固定件,并且相邻两个固定件之间具有活动连接件。
本申请实施例中,穿戴设备12的各固定件设置有传感器,可以通过各固定件设置的传感器确定固定件的位置变化。
控制单元13,与穿戴设备12和AR设备11连接,用于AR设备11执行AR操作项目的过程中,根据至少两个固定件121之间的相对位置,调整活动连接件122的阻尼。
本申请实施例中,AR设备11执行AR操作项目的过程中,执行不同操作时,至少两个固定件121之间的相对位置会发生变化。例如,手术类别种类较多,下面以用户持刀进行切割类手术为例进行详细说明,用户在手术过程中,小臂与大臂之间动作的关系产生的切割至不同深度时,佩戴的至少两个固定件的相对位置将会发生变化,控制单元13至少两个固定件之间的相对位置,调整活动连接件122的阻尼,从而使得用户真实感受到对组织切割不同深度体现出的不同触觉。
作为一种可能的实现方式,在AR设备11执行AR操作项目的过程中,可以根据至少两个固定件之间的夹角变化,确定至少两个固定件之间的相对位置,以使得控制单元13根据至少两个固定件之间的相对位置调整连接两个固定件之间的阻尼。
本申请实施例的增强现实系统,包括AR设备、穿戴设备和控制单元;其中,AR设备,用于执行增强现实AR操作项目;穿戴设备,包括至少两个固定件,相邻两个固定件之间具有活动连接件;控制单元,与穿戴设备和AR设备连接,用于AR设备执行AR操作项目的过程中,根据至少两个固定件之间的相对位置,调整活动连接件的阻尼。由此,在AR设备执行AR操作项目时,通过固定件之间的活动连接件的阻尼变化,能够真实感受到手术操作,从而提高了AR技术在医疗应用中的真实感触。
在上述实施例的基础上,参见图3,图3为本申请实施例提供的第二种增强现实系统的结构示意图。
如图3所示,控制单元13包括存储器131和处理器132。
其中,存储器131存储有相对位置与阻尼参数的映射关系;其中,映射关系为多种,每一种映射关系具有对应的真实器械与被操作的虚拟对象的组合。
其中,真实器械,例如为手术刀、针类、缝合线类等手术过程中使用的真实器械。被操作的虚拟对象,不限于人体,还可以为动物的皮肤、内脏、毛发等对象。
本申请实施例中,相对位置与阻尼参数的映射关系,是通过相对位置确定操作深度,根据虚拟对象在操作深度下的阻尼生成的。
可以理解为,AR设备11执行AR操作项目时,用户对被操作的虚拟对象的操作深度不同时,佩戴的穿戴设备12的至少两个固定件121之间的相对位置变化也不相同,因此,可以通过至少两个固定件121之间的相对位置确定操作深度,以根据虚拟对象在操作深度下的阻尼生成固定件之间的相对位置与阻尼参数的映射关系。
处理器132,与存储器131连接,用于根据AR操作项目采用的真实器械和被操作的虚拟对象,确定一种映射关系。在根据AR操作项目采用的真实器械和被操作的虚拟对象,确定至少两个固定件之间的相对位置与阻尼参数的映射关系后,在执行AR操作项目的过程中,根据至少两个固定件的相对位置,查询该映射关系,确定至少两个固定件的相对位置对应的阻尼值;进而,将连接至少两个固定件的活动连接件的阻尼调整为阻尼值。
本申请实施例中,AR设备11执行AR操作项目时,AR设备11还用于探测真实器械与虚拟对象的接触关系。例如,真实器械与虚拟对象刚刚接触,真实器械深入虚拟对象内部的操作深度,真实器械离开虚拟对象,等等。
在AR设备11响应于用户在显示屏的操作,执行AR操作项目时,AR设备显示手术场景,当用户所持的真实器械与虚拟对象的接触时,AR设备能够探测到真实器械与虚拟对象接触,此时,控制单元13将活动连接件的阻尼调整为初始值。由此,在真实器械与虚拟对象继续接触的过程中,可以根据活动连接件的阻尼值,反应真实器械在虚拟对象上的操作深度。
由此,控制单元的处理器根据AR操作项目采用的真实器械和被操作的虚拟对象,确定两个固定件的相对位置与阻尼参数的映射关系后;查询该映射关系,确定相对位置对应的阻尼值,将活动连接件的阻尼调整为阻尼值,增加了用户的真实体验效果。
作为一种示例,参见图4,图4为增强现实系统在医疗中应用的结构示意图。
如图4所示,假设AR设备为AR眼镜,在试验人员佩戴AR眼镜后,选择AR操作项目,并根据AR操作项目准备现实中使用的真实器械,以及根据AR操作项目佩戴穿戴设备,AR眼镜中显示手术场景,AR设备执行AR操作项目时,人体通过真实器械对虚拟对象进行操作,能够真实感受到虚拟对象的组织与真实器械之间的触觉,从而提高了真实触觉体验。
在上述实施例的基础上,参见图5,图5为本申请实施例提供的第三种增强现实系统的结构示意图。
如图5所示,穿戴设备12包含的各固定件中设置有传感器1211,其中,传感器1211与控制单元13连接,用于探测相邻固定件之间的夹角。
本申请实施例中,在AR设备11执行AR操作项目时,穿戴设备12个相邻两个固定件之间的夹角对发生变化,可以通过各固定件中设置的传感器1211探测相邻固定件之间的夹角,以根据相邻固定件之间的夹角确定相邻固定件的相对位置。
本申请实施例中,穿戴设备12可以为多个。
控制单元13,还用于根据AR操作项目,从多个穿戴设备12中,确定适用的一个穿戴设备。
举例来说,穿戴设备12可以为手指处的穿戴设备,手背处的穿戴设备,小臂处的穿戴设备,大臂处的穿戴设备,等等。在AR设备11执行AR操作项目是,可以根据AR操作项目从多个穿戴设备12中,确定适用的一个或多个穿戴设备。
例如,参见图6,正常人的手指包括五个手指,当进行手术操作时,可能用到的关键位置包括如下:每个手指预计包括一个主关节、一个手腕关节、一个手指肚,再配合一个手掌心位置;以及人体的小臂与大臂及相应的腕关节及肘关节。以AR操作项目为切割手术类为例,参见图7,当进行手术操作时,可能用到的关键部位为持刀手背、需扭转的腕关节及肘关节、小臂与大臂,此时可以在不同关键位置佩戴穿戴设备。如图8所示,在手背位置、小臂和大臂位置佩戴穿戴设备12。
继续以上述示例为例,如图8所示,人体腕部和小臂之间的夹角为θ1及小臂与大臂之间的夹角为θ2,其中,θ1的角度范围为90°至270°,θ2的角度范围0°至180°,随着θ1和θ2的角度的增加,佩戴于手背和小臂的固定件,以及佩戴于小臂和大臂的固定件之间的夹角也相应的变化,连接两个固定件之间的活动连接件的阻尼也由小变大。由此,通过连接两个固定件之间的活动连接件的阻尼的变化,可以真实感受到手术操作过程,提高了AR技术在医疗手术应用时的真实感触度。
作为一种可能的情况,相邻两个固定件之间的活动连接件122可以为转轴式阻尼器,或者,为拉伸式阻尼器。
作为一种示例,参见图9,当活动连接件122为转轴式阻尼器时,通过在两个连接位置通过转轴连接,转轴上面增加阻尼垫片,当两个固定件之间的角度在执行AR操作项目过程中由小变大时,活动连接件的阻尼也随着由小变大。
还例如,参见图10,当活动连接件122为拉伸式阻尼器时,拉伸式阻尼器的转轴位置为平滑过渡,在连接位置1和连接位置2处增加拉伸式阻尼件,为在活动连接件上包裹一层阻尼材料如硅胶等。随着操作深度不同,硅胶材料厚度也有差异,当相邻两个固定件之间的角度最小时所施加的力最小,随着大臂与小臂角度增加所受阻力也随之增加。
为了实现上述实施例,本申请还提出一种基于增强现实的控制方法。图11为本申请实施例提供的一种基于增强现实的控制方法的流程示意图。
如图11所示,该基于增强现实的控制方法包括以下步骤:
步骤101,控制增强现实AR设备执行AR操作项目。
其中,AR设备通常以眼镜的形式呈现,眼部镜片通常为方形棱镜,用户佩戴AR眼镜后,图像就通过镜框中的微型投影仪投射在棱镜上,再通过棱镜反射进人眼,人眼透过棱镜,就观看到了叠加在现实场景之上的显示内容。
本申请实施例中,AR操作项目,可以为治疗类操作项目(如按压操作、掐指操作等)、注射类操作项目(如吊针操作、一次性注射操作)、手术类操作项目(如剔除毛发操作、切口操作、剪切操作等)、缝合类操作项目(如组织缝合操作),等等。
本申请实施例中,AR设备可以为设置有显示屏的设备,当AR设备的显示屏感应到用户对显示屏上显示的模拟课程的触摸操作后,控制单元的处理器控制AR设备执行用户触摸操作对应的AR操作项目。
步骤102,在执行AR操作项目的过程中,获取穿戴设备中至少两个固定件之间的相对位置。
本申请实施例中,AR设备获取到用户选择的AR操作项目后,控制单元会根据AR操作项目提醒用户佩戴穿戴设备。其中,穿戴设备,包括至少两个固定件,并且相邻两个固定件之间具有活动连接件,以通过至少两个固定件的活动角度模拟手术过程中的不同组织深度。
需要说明的是,在AR设备执行不同的AR操作项目时,例如,按压类操作、注射类操作、缝合类操作等,穿戴设备对应于不同数量的固定件,并且相邻两个固定件之间具有活动连接件。
穿戴设备可以为多个,在确定AR设备执行的AR操作项目后,可以根据AR操作项目,从多个穿戴设备中,确定适用的一个穿戴设备。
举例来说,穿戴设备可以为手指处的穿戴设备,手背处的穿戴设备,小臂处的穿戴设备,大臂处的穿戴设备,等等。在AR设备执行AR操作项目是,可以根据AR操作项目从多个穿戴设备中,确定适用的一个或多个穿戴设备。
作为一种可能的情况,穿戴设备的各固定件设置有传感器,在执行AR操作项目的过程中,可以通过各固定件设置的传感器探测相邻固定件之间的夹角,从而根据至少两个固定件之间的夹角确定穿戴设备中至少两个固定件之间的相对位置。
步骤103,根据相对位置,调整穿戴设备中活动连接件的阻尼;其中,活动连接件,用于连接相邻两个固定件。
本申请实施例中,在AR设备执行AR操作项目的过程中,获取到穿戴设备中至少两个固定件之间的相对位置后,进一步的,可以根据至少两个固定件之间的相对位置,调整穿戴设备中活动连接件的阻尼。
本申请实施例的基于增强现实的控制方法,通过控制增强现实AR设备执行AR操作项目,在执行AR操作项目的过程中,获取穿戴设备中至少两个固定件之间的相对位置,根据相对位置,调整穿戴设备中活动连接件的阻尼;其中,活动连接件,用于连接相邻两个固定件。由此,在AR设备执行AR操作项目时,通过固定件之间的活动连接件的阻尼变化,能够真实感受到手术操作,从而提高了AR技术在医疗应用中的真实感触。
在上述实施例的基础上,作为一种可能的实现方式,在步骤103中,根据相对位置,调整穿戴设备中活动连接件的阻尼时,可以根据AR操作项目采用的真实器械和被操作的虚拟对象,确定相对位置与阻尼参数的映射关系,进而将活动连接件的阻尼调整为通过查询映射关系,确定的相对位置对应的阻尼值。下面结合图12对上述过程进行详细介绍,图12为本申请实施例提供的另一种基于增强现实的控制方法的流程示意图。
如图12所示,步骤103还可以包括以下步骤:
步骤1031,根据AR操作项目采用的真实器械和被操作的虚拟对象,确定相对位置与阻尼参数的映射关系。
其中,真实器械,例如为手术刀、针类、缝合线类等手术过程中使用的真实器械。被操作的虚拟对象,不限于人体,还可以为动物的皮肤、内脏、毛发等对象。
其中,相对位置与阻尼参数的映射关系,是通过相对位置确定操作深度,根据虚拟对象在操作深度下的阻尼生成的。
可以理解为,AR设备执行AR操作项目时,用户对被操作的虚拟对象的操作深度不同时,佩戴的穿戴设备的至少两个固定件之间的相对位置变化也不相同,因此,可以通过至少两个固定件之间的相对位置确定操作深度,以根据虚拟对象在操作深度下的阻尼生成固定件之间的相对位置与阻尼参数的映射关系。
本申请实施例中,AR设备执行AR操作项目时采用的真实器械和被操作的虚拟对象不同时,至少两个固定件之间的相对位置与阻尼参数的映射关系也不相同。相对位置与阻尼参数的映射关系为多种,并且,每一种映射关系具有对应的真实器械与被操作的虚拟对象的组合。
本申请实施例中,确定AR设备执行的AR操作项目后,根据AR操作项目采用的真实器械和被操作的虚拟对象,可以在多种相对位置于阻尼参数的映射关系中,确定一种相对位置与阻尼参数的映射关系。
步骤1032,查询映射关系,确定相对位置对应的阻尼值。
本申请实施例中,在根据AR操作项目采用的真实器械和被操作的虚拟对象,确定至少两个固定件之间的相对位置与阻尼参数的映射关系后,在执行AR操作项目的过程中,根据至少两个固定件的相对位置,通过查询该映射关系,可以确定至少两个固定件的相对位置对应的阻尼值。
步骤1033,将活动连接件的阻尼调整为阻尼值。
本申请实施例中,在执行AR操作项目的过程中,根据至少两个固定件的相对位置,查询映射关系,确定相对位置对应的阻尼值后,将活动连接件的阻尼调整为该阻尼值。
本申请实施例的基于增强现实的控制方法,通过根据AR操作项目采用的真实器械和被操作的虚拟对象,确定相对位置与阻尼参数的映射关系,查询映射关系,确定相对位置对应的阻尼值,将活动连接件的阻尼调整为阻尼值。由此,通过活动连接件的阻尼的变化,增加了用户的真实体验效果。
作为一种可能的情况,在上述步骤103中根据相对位置,调整活动连接件的阻尼之前,还可以获取真实器械与虚拟对象的接触关系,在确定真实器械与虚拟对象接触时,将活动连接件的阻尼调整为初始值。下面结合图13对上述过程进行详细介绍,图13为本申请实施例提供的又一种基于增强现实的控制方法的结构示意图。
如图13所示,该基于增强现实的控制方法还包括以下步骤:
步骤131,获取真实器械与虚拟对象的接触关系。
本申请实施例中,在AR设备响应于用户在显示屏的操作,执行AR操作项目时,AR设备显示手术场景,当用户所持的真实器械与虚拟对象的接触时,AR设备能够探测到真实器械与虚拟对象的接触关系。
举例来说,假如AR操作项目为切割类操作,用户所持的真实的器械为手术刀,在AR设备执行切割手术过程中,AR设备能够探测到手术刀与虚拟对象开始接触,以及手术刀对虚拟对象的操作深度。
步骤132,若真实器械与虚拟对象接触,将活动连接件的阻尼调整为初始值。
本申请实施例中,在AR设备探测到真实器械与虚拟对象接触时,将活动连接件的阻尼调整为初始值。
由此,在执行AR操作项目过程中,根据穿戴设备的至少两个固定件的相对位置对应的阻尼值,调整活动连接件的阻尼,以使得不同的AR操作项目对应于不同的阻尼,提高了用户的真实体验效果。
为了实现上述实施例,本申请实施例提出了一种基于增强现实的控制装置。
图14为本申请实施例提供的一种基于增强现实的控制装置的结构示意图。
如图14所示,该基于增强现实的控制装置140包括:执行模块141、获取模块142以及调整模块143。
执行模块141,用于控制增强现实AR设备执行AR操作项目。
获取模块142,用于在执行AR操作项目的过程中,获取穿戴设备中至少两个固定件之间的相对位置。
调整模块143,用于根据相对位置,调整穿戴设备中活动连接件的阻尼;其中,活动连接件,用于连接相邻两个固定件。
作为一种可能的情况,调整模块143,还用于:
根据AR操作项目采用的真实器械和被操作的虚拟对象,确定相对位置与阻尼参数的映射关系;查询映射关系,确定相对位置对应的阻尼值;将活动连接件的阻尼调整为阻尼值。
作为一种可能的情况,该基于增强现实的控制装置140,还包括:
第二获取模块,用于获取实器械与虚拟对象的接触关系。
调整模块143,还用于若真实器械与虚拟对象接触,将活动连接件的阻尼调整为初始值。
需要说明的是,前述对基于增强现实的控制方法实施例的解释说明也适用于该实施例的基于增强现实的控制装置,此处不再赘述。
本申请实施例的基于增强现实的控制装置,通过控制增强现实AR设备执行AR操作项目,在执行AR操作项目的过程中,获取穿戴设备中至少两个固定件之间的相对位置,根据相对位置,调整穿戴设备中活动连接件的阻尼;其中,活动连接件,用于连接相邻两个固定件。由此,在AR设备执行AR操作项目时,通过固定件之间的活动连接件的阻尼变化,能够真实感受到手术操作,从而提高了AR技术在医疗应用中的真实感触。
为了实现上述实施例,本申请还提出一种控制单元,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如上述实施例中所述的控制方法。
为了实现上述实施例,本申请还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例中所述的控制方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种增强现实系统,其特征在于,包括AR设备、穿戴设备和控制单元;
所述AR设备,用于执行增强现实AR操作项目;
所述穿戴设备,包括至少两个固定件,相邻两个固定件之间具有活动连接件;
所述控制单元,与所述穿戴设备和所述AR设备连接,用于所述AR设备执行AR操作项目的过程中,根据所述至少两个固定件之间的相对位置,调整所述活动连接件的阻尼;
其中,所述AR设备,还用于探测真实器械与虚拟对象的接触关系;
所述控制单元,还用于所述真实器械与虚拟对象接触时,将所述活动连接件的阻尼调整为初始值;
所述控制单元包括存储器和处理器;
其中,所述存储器存储有相对位置与阻尼参数的映射关系;其中,所述映射关系为多种,每一种映射关系具有对应的真实器械与被操作的虚拟对象的组合;
所述处理器,与所述存储器连接,用于根据所述AR操作项目采用的真实器械和被操作的虚拟对象,确定一种映射关系;查询所述一种映射关系,确定所述相对位置对应的阻尼值;将所述活动连接件的阻尼调整为所述阻尼值。
2.根据权利要求1所述的增强现实系统,其特征在于,所述相对位置与阻尼参数的映射关系,是通过所述相对位置确定操作深度,根据所述虚拟对象在所述操作深度下的阻尼生成的。
3.根据权利要求1-2任一项所述的增强现实系统,其特征在于,各固定件设置有传感器;
其中,所述传感器与所述控制单元连接,用于探测相邻固定件之间的夹角。
4.根据权利要求1-2任一项所述的增强现实系统,其特征在于,所述穿戴设备为多个;
所述控制单元,还用于根据所述AR操作项目,从多个所述穿戴设备中,确定适用的一个穿戴设备。
5.一种基于增强现实的控制方法,其特征在于,所述方法包括:
控制增强现实AR设备执行AR操作项目;
在执行所述AR操作项目的过程中,获取穿戴设备中至少两个固定件之间的相对位置;
根据所述相对位置,调整所述穿戴设备中活动连接件的阻尼;其中,所述活动连接件,用于连接相邻两个所述固定件;
其中,所述根据所述相对位置,调整所述活动连接件的阻尼之前,还包括:
获取真实器械与虚拟对象的接触关系;
若所述真实器械与虚拟对象接触,将所述活动连接件的阻尼调整为初始值;
其中,所述根据所述相对位置,调整所述穿戴设备中活动连接件的阻尼,包括:
根据所述AR操作项目采用的真实器械和被操作的虚拟对象,确定相对位置与阻尼参数的映射关系;
查询所述映射关系,确定所述相对位置对应的阻尼值;
将所述活动连接件的阻尼调整为所述阻尼值。
6.一种基于增强现实的控制装置,其特征在于,所述装置包括:
执行模块,用于控制增强现实AR设备执行AR操作项目;
获取模块,用于在执行所述AR操作项目的过程中,获取穿戴设备中至少两个固定件之间的相对位置;
调整模块,用于根据所述相对位置,调整所述穿戴设备中活动连接件的阻尼;其中,所述活动连接件,用于连接相邻两个所述固定件;
第二获取模块,用于获取实器械与虚拟对象的接触关系;
调整模块,还用于若真实器械与虚拟对象接触,将活动连接件的阻尼调整为初始值;
其中,所述根据所述相对位置,调整所述穿戴设备中活动连接件的阻尼,包括:
根据所述AR操作项目采用的真实器械和被操作的虚拟对象,确定相对位置与阻尼参数的映射关系;
查询所述映射关系,确定所述相对位置对应的阻尼值;
将所述活动连接件的阻尼调整为所述阻尼值。
7.一种控制单元,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求5所述的控制方法。
8.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求5所述的控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911037478.0A CN110720982B (zh) | 2019-10-29 | 2019-10-29 | 增强现实系统、基于增强现实的控制方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911037478.0A CN110720982B (zh) | 2019-10-29 | 2019-10-29 | 增强现实系统、基于增强现实的控制方法以及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110720982A CN110720982A (zh) | 2020-01-24 |
CN110720982B true CN110720982B (zh) | 2021-08-06 |
Family
ID=69222440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911037478.0A Active CN110720982B (zh) | 2019-10-29 | 2019-10-29 | 增强现实系统、基于增强现实的控制方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110720982B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105158899A (zh) * | 2015-08-27 | 2015-12-16 | 王集森 | 头戴显示系统 |
CN206348748U (zh) * | 2016-12-21 | 2017-07-21 | 成都理想境界科技有限公司 | 一种力反馈外设 |
CN107168537A (zh) * | 2017-05-19 | 2017-09-15 | 山东万腾电子科技有限公司 | 一种协同式增强现实的可穿戴作业指导方法及系统 |
CN107510506A (zh) * | 2009-03-24 | 2017-12-26 | 伊顿株式会社 | 利用增强现实技术的手术机器人系统及其控制方法 |
CN108066964A (zh) * | 2016-11-17 | 2018-05-25 | 桐乡创智体育科技有限公司 | 虚拟水上运动陆基训练系统及其训练方法 |
US10055022B2 (en) * | 2017-01-11 | 2018-08-21 | International Business Machines Corporation | Simulating obstruction in a virtual environment |
CN108883335A (zh) * | 2015-04-14 | 2018-11-23 | 约翰·詹姆斯·丹尼尔斯 | 用于人与机器或人与人的可穿戴式的电子多感官接口 |
CN109116558A (zh) * | 2017-06-26 | 2019-01-01 | 京东方科技集团股份有限公司 | 增强现实眼镜 |
WO2019036790A1 (en) * | 2017-08-21 | 2019-02-28 | Precisionos Technology Inc. | MEDICAL VIRTUAL REALITY, MIXED REALITY OR SURGICAL SYSTEM IN INCREASED REALITY |
CN208621844U (zh) * | 2018-09-20 | 2019-03-19 | 北京京东方光电科技有限公司 | 一种增强现实设备 |
CN109758230A (zh) * | 2019-02-26 | 2019-05-17 | 中国电子科技集团公司信息科学研究院 | 一种基于增强现实技术的神经外科手术导航方法和系统 |
CN109766004A (zh) * | 2018-12-29 | 2019-05-17 | 北京诺亦腾科技有限公司 | 一种在vr场景中隔空控制物体的方法及装置 |
CN109976509A (zh) * | 2017-12-28 | 2019-07-05 | 意美森公司 | 提供与触摸和抓握虚拟物体相关的触觉效果的系统和方法 |
CN110197532A (zh) * | 2019-06-05 | 2019-09-03 | 北京悉见科技有限公司 | 增强现实会场布置的系统、方法、装置及计算机存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7626569B2 (en) * | 2004-10-25 | 2009-12-01 | Graphics Properties Holdings, Inc. | Movable audio/video communication interface system |
WO2016109575A1 (en) * | 2014-12-29 | 2016-07-07 | Help Me See Inc. | Surgical simulator system and method |
EP4327769A3 (en) * | 2016-03-12 | 2024-08-21 | Philipp K. Lang | Devices and methods for surgery |
CN106843504A (zh) * | 2017-03-15 | 2017-06-13 | 深圳小宅科技有限公司 | Vr环境与现实环境实现真实交互的触感手套及交互方法 |
KR102077230B1 (ko) * | 2017-04-14 | 2020-02-14 | (주)피지정보통신 | 가상현실 및 증강현실을 위한 글러브 |
US10238288B2 (en) * | 2017-06-15 | 2019-03-26 | Microsoft Technology Licensing, Llc | Direct frequency modulating radio-frequency sensors |
US20190105562A1 (en) * | 2017-10-11 | 2019-04-11 | Immersion Corporation | Haptic effects with multiple peripheral devices |
CN108269307B (zh) * | 2018-01-15 | 2023-04-07 | 歌尔科技有限公司 | 一种增强现实交互方法及设备 |
KR20190092782A (ko) * | 2018-01-31 | 2019-08-08 | (주)유즈브레인넷 | 손가락의 움직임 및 공간상에서의 손의 움직임을 인식할 수 있는 글러브형 모션인식 장치 및 방법 |
KR20190122546A (ko) * | 2018-04-20 | 2019-10-30 | 한국과학기술원 | 가상현실 또는 증강현실에서의 운동감각을 구현하는 웨어러블 장치 및 그 제어방법 |
CN109669532B (zh) * | 2018-11-01 | 2020-06-16 | 深圳岱仕科技有限公司 | 手部机械外骨骼力反馈的控制方法及系统 |
-
2019
- 2019-10-29 CN CN201911037478.0A patent/CN110720982B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107510506A (zh) * | 2009-03-24 | 2017-12-26 | 伊顿株式会社 | 利用增强现实技术的手术机器人系统及其控制方法 |
CN108883335A (zh) * | 2015-04-14 | 2018-11-23 | 约翰·詹姆斯·丹尼尔斯 | 用于人与机器或人与人的可穿戴式的电子多感官接口 |
CN105158899A (zh) * | 2015-08-27 | 2015-12-16 | 王集森 | 头戴显示系统 |
CN108066964A (zh) * | 2016-11-17 | 2018-05-25 | 桐乡创智体育科技有限公司 | 虚拟水上运动陆基训练系统及其训练方法 |
CN206348748U (zh) * | 2016-12-21 | 2017-07-21 | 成都理想境界科技有限公司 | 一种力反馈外设 |
US10055022B2 (en) * | 2017-01-11 | 2018-08-21 | International Business Machines Corporation | Simulating obstruction in a virtual environment |
CN107168537A (zh) * | 2017-05-19 | 2017-09-15 | 山东万腾电子科技有限公司 | 一种协同式增强现实的可穿戴作业指导方法及系统 |
CN109116558A (zh) * | 2017-06-26 | 2019-01-01 | 京东方科技集团股份有限公司 | 增强现实眼镜 |
WO2019036790A1 (en) * | 2017-08-21 | 2019-02-28 | Precisionos Technology Inc. | MEDICAL VIRTUAL REALITY, MIXED REALITY OR SURGICAL SYSTEM IN INCREASED REALITY |
CN109976509A (zh) * | 2017-12-28 | 2019-07-05 | 意美森公司 | 提供与触摸和抓握虚拟物体相关的触觉效果的系统和方法 |
CN208621844U (zh) * | 2018-09-20 | 2019-03-19 | 北京京东方光电科技有限公司 | 一种增强现实设备 |
CN109766004A (zh) * | 2018-12-29 | 2019-05-17 | 北京诺亦腾科技有限公司 | 一种在vr场景中隔空控制物体的方法及装置 |
CN109758230A (zh) * | 2019-02-26 | 2019-05-17 | 中国电子科技集团公司信息科学研究院 | 一种基于增强现实技术的神经外科手术导航方法和系统 |
CN110197532A (zh) * | 2019-06-05 | 2019-09-03 | 北京悉见科技有限公司 | 增强现实会场布置的系统、方法、装置及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110720982A (zh) | 2020-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220336078A1 (en) | System and method for tracking a portion of the user as a proxy for non-monitored instrument | |
JP6340503B2 (ja) | 目追跡システム及び利き目を検出する方法 | |
US10219868B2 (en) | Methods, systems, and devices for controlling movement of a robotic surgical system | |
US8888763B2 (en) | Tool having multiple feedback devices | |
US10130429B1 (en) | Methods, systems, and devices for controlling movement of a robotic surgical system | |
US20190076202A1 (en) | Methods, Systems, And Devices For Controlling Movement Of A Robotic Surgical System | |
US9092996B2 (en) | Microsurgery simulator | |
EP2755194B1 (en) | 3d virtual training system and method | |
JP2021100690A (ja) | 手術室及び手術部位認識 | |
Cutler et al. | Auditory force feedback substitution improves surgical precision during simulated ophthalmic surgery | |
US12029517B2 (en) | Systems, methods, and computer-readable media for detecting image degradation during surgical procedures | |
CN104244859A (zh) | 通用微手术模拟器 | |
Olivieri et al. | Haptic feedback for control and active constraints in contactless laser surgery: concept, implementation, and evaluation | |
Fischer et al. | Evaluation of different visualization techniques for perception-based alignment in medical ar | |
JP2004344491A (ja) | 仮想手術シミュレーションシステム | |
EP2988289A1 (en) | Medical procedure simulator | |
CN110720982B (zh) | 增强现实系统、基于增强现实的控制方法以及装置 | |
KR20120008292A (ko) | 가상 관절경 수술 시스템 | |
JPH11219100A (ja) | 医用シミュレータシステム | |
US20160004313A1 (en) | Haptic system, method for controlling the same, and game system | |
WO2022219491A1 (en) | System and method for tracking a portion of the user as a proxy for non-monitored instrument | |
CN113786238B (zh) | 一种手术器械操作应力感知方法及系统 | |
Pacchierotti et al. | Remote Palpation Using the da Vinci Surgical System | |
Bauernschmitt et al. | On the role of multimodal communication in telesurgery systems | |
CN117480569A (zh) | 作为非监测器械的代理来跟踪用户的一部分的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |