CN108682031B - 基于增强现实技术的测量方法、智能终端及存储介质 - Google Patents

基于增强现实技术的测量方法、智能终端及存储介质 Download PDF

Info

Publication number
CN108682031B
CN108682031B CN201810492588.5A CN201810492588A CN108682031B CN 108682031 B CN108682031 B CN 108682031B CN 201810492588 A CN201810492588 A CN 201810492588A CN 108682031 B CN108682031 B CN 108682031B
Authority
CN
China
Prior art keywords
coordinate
measurement
feature point
coordinate system
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810492588.5A
Other languages
English (en)
Other versions
CN108682031A (zh
Inventor
邸晓欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Coocaa Network Technology Co Ltd
Original Assignee
Shenzhen Coocaa Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Coocaa Network Technology Co Ltd filed Critical Shenzhen Coocaa Network Technology Co Ltd
Priority to CN201810492588.5A priority Critical patent/CN108682031B/zh
Publication of CN108682031A publication Critical patent/CN108682031A/zh
Application granted granted Critical
Publication of CN108682031B publication Critical patent/CN108682031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

本发明公开了一种基于增强现实技术的测量方法,包括以下步骤:获取摄像头拍摄的图像;实时在智能终端的屏幕显示所述图像;在接收到控制器发送的第一测量指令时,确定第一测量指令对应的第一特征点在AR坐标系中的第一坐标、及第一测量指令对应的第二特征点在AR坐标系中的第二坐标;基于第一坐标、第二坐标,按照预设规则计算第一特征点与第二特征点之间的第一相对距离;基于第一特征点、第二特征点及第一相对距离,在屏幕显示摄像头当前拍摄的图像。发明还公开了一种智能终端及存储介质。通过摄像头获取图像,经过特定算法建立AR坐标系,将增强现实技术应用于智能终端上,提供了一种全新的直观、有趣的测量尺寸的测量方式。

Description

基于增强现实技术的测量方法、智能终端及存储介质
技术领域
本发明涉及增强现实技术领域,尤其涉及一种基于增强现实技术的测量方法、智能终端及存储介质。
背景技术
AR(Augmented Reality,增强现实技术),它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等|),通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。随着AR技术的快速发展,AR技术的应用越来越广泛。
现有的测量物体尺寸的常用手段是利用卷尺或专业仪器进行测量,其中,卷尺测量是手工操作,误差大,操作不便利,而且不能智能记录用户测量数据;专业测量仪器的体积大,而且价格昂贵,不适合个人用户使用,即使作为商用,没有显示屏,功能单一,用户体验缺乏趣味性。
目前基于AR技术在智能终端领域来实时获取目标物体尺寸的问题,尚无有效的解决办法。
发明内容
本发明的主要目的在于提供一种基于增强现实技术的测量方法,旨在解决现有测量物体尺寸的方式操作不便利的技术问题。
为实现上述目的,本发明提供一种基于增强现实技术的测量方法,所述屏幕调节方法包括以下步骤:
获取摄像头拍摄的图像,其中,所述摄像头处于持续拍摄状态;
实时在所述智能终端的屏幕显示所述图像;
在接收到控制器发送的第一测量指令时,确定所述第一测量指令对应的第一特征点在AR坐标系中的第一坐标、及所述第一测量指令对应的第二特征点在AR坐标系中的第二坐标;
基于所述第一坐标、所述第二坐标,按照预设规则计算所述第一特征点与所述第二特征点之间的第一相对距离;
基于所述第一特征点、所述第二特征点及所述第一相对距离,在所述屏幕显示所述摄像头当前拍摄的图像。
优选地,在一实施方式中,所述控制器设有重力传感器、陀螺仪及地磁传感器;所述在接收到控制器发送的第一测量指令时,确定所述第一测量指令对应的第一特征点在AR坐标系中的第一坐标、及所述第一测量指令对应的第二特征点在AR坐标系中的第二坐标的步骤包括:
在接收到控制器发送的第一选择指令时,获取当前所述重力传感器的第一重力值、所述陀螺仪的第一参数及所述地磁传感器的第二参数,并根据所述第一重力值、第一参数及所述第二参数确定所述第一特征点在AR坐标系中的第一坐标;
在接收到控制器发送的第二选择指令时,获取当前所述重力传感器的第二重力值、所述陀螺仪的第三参数及所述地磁传感器的第四参数,并根据所述第二重力值、第三参数及所述第四参数确定所述第二特征点在AR坐标系中的第二坐标。
优选地,在一实施方式中,所述实时在所述智能终端的屏幕显示所述图像的步骤包括:
在接收到第一参照物选择指令时,确定所述第一参照物选择指令对应的第一参照物图片;
在获取到所述摄像头当前拍摄的第一图像时,基于所述第一参照物图片及所述第一图像生成第一图片,并在所述屏幕显示所述第一图片。
优选地,在一实施方式中,所述基于所述第一特征点、所述第二特征点及所述第一相对距离,在所述屏幕显示所述摄像头当前拍摄的图像的步骤包括:
获取所述第一参照物选择指令对应的参照物的第一尺寸信息;
基于所述第一尺寸信息及所述第一相对距离确定所述第一参照物图片的第一显示比例;
基于所述摄像头当前拍摄的第二图像、所述第一特征点、所述第二特征点、所述第一相对距离、所述第一显示比例及所述第一参照物图片生成第二图片,并在所述屏幕显示所述第二图片。
优选地,在一实施方式中,所述实时在所述智能终端的屏幕显示所述图像的步骤,与所述在接收到控制器发送的第一测量指令时,确定所述第一测量指令对应的第一特征点在AR坐标系中的第一坐标、及所述第一测量指令对应的第二特征点在AR坐标系中的第二坐标的步骤之间,还包括:
基于所述摄像头拍摄的图像,按照SLAM算法确定AR坐标系。
优选地,在一实施方式中,所述实时在所述智能终端的屏幕显示所述图像的步骤,与所述在接收到控制器发送的第一测量指令时,确定所述选择指令对应的第一特征点在AR坐标系中的第一坐标、及所述选择指令对应的第二特征点在AR坐标系中的第二坐标的步骤之间,还包括:
在接收到单个测量模式的启动指令时,启动单个测量模式,并在所述屏幕输出确定第一特征点和第二特征点的提示信息。
优选地,在一实施方式中,所述实时在所述智能终端的屏幕显示所述图像步骤之后,所述基于增强现实技术的测量方法还包括:
在接收到多个测量模式的启动指令时,启动多个测量模式,并在接收到启动指令之后的持续时长达到预设时长时,在所述屏幕显示摄像头当前拍摄的第四图像;
在接收到控制器发送的第二测量指令时,确定所述第二测量指令对应的第三特征点在AR坐标系中的第三坐标、及所述第二测量指令对应的第四特征点在AR坐标系中的第四坐标;
基于所述第三坐标、所述第四坐标,按照预设规则计算所述第三特征点与所述第四特征点之间的第二相对距离;
基于所述第四图像、所述第三特征点、所述第四特征点及所述第二相对距离生成第四图片并保存;
在接收到控制器发送的第三测量指令时,确定所述第三测量指令对应的第五特征点在AR坐标系中的第五坐标、及所述第三测量指令对应的第六特征点在AR坐标系中的第六坐标;
基于所述第五坐标、所述第六坐标,按照预设规则计算所述第五特征点与所述第六特征点之间的第三相对距离;
基于所述第四图片、所述第五特征点、所述第六特征点及所述第三相对距离生成第五图片并保存。
优选地,在一实施方式中,所述基于所述第四图片、所述第五特征点、所述第六特征点及所述第三相对距离生成第五图片并保存的步骤之后,所述基于增强现实技术的测量方法还包括:
在接收到第二参照物选择指令时,确定所述第二参照物选择指令对应的第二参照物图片以及第二尺寸信息;
基于所述第二尺寸信息及所述第二相对距离确定所述第二参照物图片的第二显示比例;
基于所述第五图片、所述第二显示比例及所述第二参照物图片生成第六图片;
在接收到测量结束指令时,在所述屏幕显示所述第六图片。
此外,为实现上述目的,本发明还提供一种智能终端,所述智能终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于增强现实技术的测量程序,所述基于增强现实技术的测量程序被所述处理器执行时实现上述任一项所述的基于增强现实技术的测量方法的步骤。
此外,为实现上述目的,本发明还提供一种存储介质,所述存储介质上存储有基于增强现实技术的测量程序,所述基于增强现实技术的测量程序被处理器执行时实现上述任一项所述的基于增强现实技术的测量方法的步骤。
本发明公开了一种基于增强现实技术的测量方法,包括以下步骤:获取摄像头拍摄的图像,其中,所述摄像头处于持续拍摄状态;实时在所述智能终端的屏幕显示所述图像;在接收到控制器发送的第一测量指令时,确定所述第一测量指令对应的第一特征点在AR坐标系中的第一坐标、及所述第一测量指令对应的第二特征点在AR坐标系中的第二坐标;基于所述第一坐标、所述第二坐标,按照预设规则计算所述第一特征点与所述第二特征点之间的第一相对距离;基于所述第一特征点、所述第二特征点及所述第一相对距离,在所述屏幕显示所述摄像头当前拍摄的图像。发明还公开了一种智能终端及存储介质。通过摄像头获取图像,经过特定算法建立AR坐标系,将增强现实技术应用于智能终端上,提供了一种全新的直观、有趣的测量尺寸的测量方式。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的智能终端结构示意图;
图2为本发明基于增强现实技术的测量方法第一实施例的流程示意图;
图3为本发明一实施例中身高测量的示意图;
图4为本发明一实施例中选择特征点及参照物的示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的智能终端结构示意图。
如图1所示,该智能终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,智能终端包括摄像头,还可以包括RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。当然,智能终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的智能终端结构并不构成对智能终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于增强现实技术的测量程序。
在图1所示的智能终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的基于增强现实技术的测量程序。
在本实施例中,智能终端包括:存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的基于增强现实技术的测量程序,其中,处理器1001调用存储器1005中存储的基于增强现实技术的测量程序时,并执行本申请实施例提供的增强现实技术的测量方法。
本发明还提供一种基于增强现实技术的测量方法,参照图2,图2为本发明基于增强现实技术的测量方法第一实施例的流程示意图。
在本实施例中,该基于增强现实技术的测量方法包括以下步骤:
步骤S10,实获取摄像头拍摄的图像,其中,所述摄像头处于持续拍摄状态;
步骤S20,实时在所述智能终端的屏幕显示所述图像;
在本实施例中,智能终端可以是智能电视,它具有全开放式平台,搭载了操作系统,如安卓系统、WINDOWS系统,用户可自行安装和卸载各类应用软件。本发明实施例在智能终端安装了基于增强现实技术测量方法的应用软件,简称AR测量App。另外,摄像头可以内置安装在智能终端里,也可以是外置安装的,本发明实施例不对摄像头的安装位置做限定,优选地,该摄像头用于拍摄智能终端的屏幕前方的景象。
具体地,在智能终端启动AR测量App,摄像头进入持续拍摄状态,并在智能终端的屏幕上显示拍摄到的图像,也就是说,摄像头拍摄的是动态的图像并实时显示在智能终端的屏幕上。进一步地,被测量尺寸的物体需要全部呈现在智能终端屏幕内。
举例说明,如图3所示,其中,A是摄像头,B是智能终端,C是控制器,D是用户,用户站在智能终端屏幕前,摄像头外置安装在智能终端上方,启动AR测量App,摄像头开始实时拍摄动态图形,用户想要测量自己的身高,那么需要调整自己的位置,使整个人全部显示在智能终端屏幕中。
步骤S30,在接收到控制器发送的第一测量指令时,确定所述第一测量指令对应的第一特征点在AR坐标系中的第一坐标、及所述第一测量指令对应的第二特征点在AR坐标系中的第二坐标;
在本实施例中,当启动AR测量App并且摄像头开始进入持续拍摄状态,同时图像显示在智能终端屏幕上。经过特定算法,基于摄像头采集到的图像来确定特征平面并建立AR坐标系,被摄像头拍摄到的一切物体,在AR坐标系中都有对应的坐标点集。
第一特征点和第二特征点是通过控制器发送的第一测量命令进行确定的,当智能终端接收到控制器发送的第一测量指令时,确定所述第一测量指令对应的第一特征点在AR坐标系中的第一坐标、及所述第一测量指令对应的第二特征点在AR坐标系中的第二坐标。
具体地,智能终端屏幕上会显示由控制器控制的标识符号,也就是说,当控制器进行移动时,标识符号会根据控制器移动趋势在智能终端屏幕上同步进行移动,控制器的移动轨迹与标识符号在屏幕上的移动轨迹一致,所以标识符号在屏幕上的移动可以很直观地反映出控制器移动的轨迹。当智能终端接收到控制器发送的第一测试指令时,标识符号在屏幕上的当前位置定义为第一特征点和第二特征点,第一特征点在AR坐标系中的坐标定义为第一坐标,第二特征点在AR坐标系中的坐标定义为第二坐标。
步骤S40,基于所述第一坐标、所述第二坐标,按照预设规则计算所述第一特征点与所述第二特征点之间的第一相对距离;
在本实施例中,AR坐标系是一个三维坐标系,第一坐标是第一特征点在AR坐标系中的一个三维坐标,同理,第二坐标是第二特征点在AR坐标系中的一个三维坐标,按照预设的规则计算第一特征点与第二特征点之间的第一相对距离,也就是根据预设规则计算两个三维坐标的相对距离。
需要说明的是,预设规则是根据本发明的具体应用制定的规则,也就是说根据第一坐标和第二坐标计算两个三维坐标的相对距离必须依据预设规则,而不是简单的进行计算。
举例说明,如图4所示,a是第一特征点,b是第二特征点,对人体身高进行测量是该发明的具体应用之一,用户想要测量自己的身高,站在屏幕前面手持控制器,整个人全部显示在智能终端屏幕上。根据特定算法,将地面定义为特征平面同时建立AR坐标系,当智能终端接收到控制器发送的第一测量指令时,确定头部附近第一特征点的坐标是(18,20,167),确定脚部附近第二特征点的坐标是(19,20,0),预设规则:计算第一特征点和第二特征点垂直于特征平面方向的距离,经过计算得到第一相对距离是167。
步骤S50,基于所述第一特征点、所述第二特征点及所述第一相对距离,在所述屏幕显示所述摄像头当前拍摄的图像;
在本实施例中,基于所述摄像头当前拍摄的第三图像、所述第一特征点、所述第二特征点及所述第一相对距离生成第三图片;在所述屏幕显示所述第三图片,也就是说,测量结束后,智能终端屏幕上会显示当前摄像头拍摄的动态图像,同时将第一特征点、第二特征点和计算得到的第一相对距离都增加显示在当前屏幕上。
进一步地,另一实施例中,在步骤S20与步骤S30之间,该基于增强现实技术的测量方法还包括:
基于所述摄像头拍摄的图像,按照SLAM算法确定AR坐标系。
在本实施例中,本发明是基于增强现实技术的测量方法,AR坐标系的建立是利用现有的SLAM算法(Simultaneous Localization and Mapping,即时定位与地图构建),主要是在场景中先提取特征点,然后进行特征点匹配建立AR坐标系。
具体地,当启动AR测量App并且摄像头开始进入持续拍摄状态时,根据摄像头拍摄的图像,利用SLAM算法对图像进行分析,提取特征点确定特征平面,建立AR坐标系,摄像头拍摄的图像在AR坐标系中都有对应的点集,也就是说,在AR坐标系中,被摄像头拍摄到的一切物体,都可以通过SLAM算法,在AR虚拟的三维坐标系中建立模型,并以图像的形式显示在智能终端屏幕上,图像上任何一个点都可以在AR坐标系中找到相应的坐标,并且一一对应,用户可以直观地在智能终端屏幕上选择特征点,然后进行尺寸测量。
当启动AR测量App并且摄像头开始进入持续拍摄状态时,基于所述摄像头拍摄的图像,按照SLAM算法确定AR坐标系,并将被测量物体以图像的形式显示在智能终端屏幕上,使用户可以直观、准确地在智能终端屏幕上选择特征点,操作方便,进一步提升测量方法的实用性。
进一步地,又一实施例中,在步骤S20与步骤S30之间,该基于增强现实技术的测量方法还包括:
在接收到单个测量模式的启动指令时,启动单个测量模式,并在所述屏幕输出确定第一特征点和第二特征点的提示信息。
在本实施例中,基于增强现实技术的测量方法支持二种测量模式,一种是单个测量模式,一种是多个测量模式,每次测量开始之前需要先选择测量模式,然后再进行特征点的选择,最后按照预设规则计算特征点之间的相对距离。启动一次单个测量模式意味着只能测量一个被测尺寸,换句话说就是只支持2个特征点的选择,输出一个尺寸数据;启动一次多个测量模式可以测量多个被测尺寸。
具体地,当智能终端接收到单个测量模式的启动指令时,启动单个测量模式,并在智能终端屏幕上提示选择第一个特征单,第一个特征点确定后,屏幕上继续提示选择第二个特征点,第二个特征点确定后,按照预设规则计算2个特征点之间的相对距离也就是获取测量尺寸结果。
智能终端在接收到单个测量模式的启动指令时,启动单个测量模式,并在所述屏幕输出确定第一特征点和第二特征点的提示信息,提示用户一步步进行操作,为用户提供友好的交互操作,明确测量流程,同时提升了测量速度。
本实施例提出的基于增强现实技术的测量方法,获取摄像头拍摄的图像,实时在所述智能终端的屏幕显示所述图像,接着在接收到控制器发送的第一测量指令时,确定所述第一测量指令对应的第一特征点在AR坐标系中的第一坐标、及所述第一测量指令对应的第二特征点在AR坐标系中的第二坐标,进一步地,基于所述第一坐标、所述第二坐标,按照预设规则计算所述第一特征点与所述第二特征点之间的第一相对距离,并基于所述第一特征点、所述第二特征点及所述第一相对距离,在所述屏幕显示所述摄像头当前拍摄的图像。通过摄像头获取图像,经过特定算法建立AR坐标系,将增强现实技术应用于智能终端上,能够准确测量第一特征点与第二特征点之间的第一相对距离,简化了物体尺寸的测量流程,提供了一种全新的直观、有趣的测量尺寸的测量方式,并通过实时显示测量结果,提升用户体验。
基于第一实施例,提出本发明基于增强现实技术的测量方法的第二实施例,在本实施例中,步骤S30包括:
步骤S31,在接收到控制器发送的第一选择指令时,获取当前所述重力传感器的第一重力值、所述陀螺仪的第一参数及所述地磁传感器的第二参数,并根据所述第一重力值、第一参数及所述第二参数确定所述第一特征点在AR坐标系中的第一坐标;
步骤S32,在接收到控制器发送的第二选择指令时,获取当前所述重力传感器的第二重力值、所述陀螺仪的第三参数及所述地磁传感器的第四参数,并根据所述第二重力值、第三参数及所述第四参数确定所述第二特征点在AR坐标系中的第二坐标。
在本实施例中,控制器设有重力传感器、陀螺仪及地磁传感器,当接收到控制器发送的选择指令时,根据重力传感器的重力值,陀螺仪的参数及地磁传感器的参数确定特征点在AR坐标系中的坐标。
具体地,控制器的移动会引起重力传感器的重力值、陀螺仪的参数以及地磁传感器的参数变化,智能终端根据重力传感器的重力值,陀螺仪的参数及地磁传感器的参数的变化,在智能终端屏幕上同步移动标识符号,控制器的移动轨迹与标识符号在屏幕上的移动轨迹一致。进一步地,控制器会发送两个选择指令:第一选择指令和第二选择指令,第一选择指令用来选择第一特征点,第二选择指令用来选择第二特征点。当智能终端在接收到控制器发送的第一选择指令时,获取当前重力传感器的第一重力值、陀螺仪的第一参数及地磁传感器的第二参数,并根据第一重力值、第一参数及所述第二参数在智能终端屏幕上确定第一特征点位置,同时确定第一特征点在AR坐标系中的第一坐标。同理,当智能终端在接收到控制器发送的第二选择指令时,确定第二特征点在AR坐标系中的第二坐标。
本实施例提出的基于增强现实技术的测量方法,在接收到控制器发送的第一选择指令时,获取当前所述重力传感器的第一重力值、所述陀螺仪的第一参数及所述地磁传感器的第二参数,并根据所述第一重力值、第一参数及所述第二参数确定所述第一特征点在AR坐标系中的第一坐标;同理,在接收到控制器发送的第二选择指令时,获取当前所述重力传感器的第二重力值、所述陀螺仪的第三参数及所述地磁传感器的第四参数,并根据所述第二重力值、第三参数及所述第四参数确定所述第二特征点在AR坐标系中的第二坐标。通过控制器的重力传感器、陀螺仪及地磁传感器的参数能够准确的确定特征点,并借助显示在屏幕上与控制器同步移动的标识符号,可以直观、快速、准确地确定特征点位置,并确定特征点在AR坐标系中的坐标,用于计算测量尺寸,进而准确测量第一特征点与第二特征点之间的第一相对距离,简化了物体尺寸的测量流程,为用户提供了一种方便、直观的测量方式,提升用户体验。
基于第一实施例,提出本发明基于增强现实技术的测量方法的第三实施例,在本实施例中,该步骤S20包括:
步骤S21,在接收到第一参照物选择指令时,确定所述第一参照物选择指令对应的第一参照物图片;
步骤S22,在获取到所述摄像头当前拍摄的第一图像时,基于所述第一参照物图片及所述第一图像生成第一图片,并在所述屏幕显示所述第一图片;
在本实施例中,当智能终端接收到第一参照物选择指令时,选择第一参照物图片,并把第一参照物图片浮动显示到智能终端屏幕上,将参照物与被测量物体进行比较,增加趣味性。
需要说明的是,参照物的形象、图形可自由设计,按照不同的分类预存在AR测量App中,在用户使用过程中可根据喜好自由选择参照物图片,并且参照物图片预设了尺寸。举例说明,如图4所示,以测量身高为例,儿童用户可以选择和雪人比较身高,青年用户可以选择明星来比较身高。
进一步地,在一实施例中,步骤S40包括:
步骤S41,获取所述第一参照物选择指令对应的参照物的第一尺寸信息;
步骤S42,基于所述第一尺寸信息及所述第一相对距离确定所述第一参照物图片的第一显示比例;
步骤S43,基于所述摄像头当前拍摄的第二图像、所述第一特征点、所述第二特征点、所述第一相对距离、所述第一显示比例及所述第一参照物图片生成第二图片,并在所述屏幕显示所述第二图片。
在本实施例中,第一参照物图片预设了尺寸,当按照预设规则计算第一特征点与第二特征点之间的第一相对距离后,需要根据第一相对距离调整第一参照物图片大小,使第一参照物图片和第一相对距离等比显示。
具体地,首先智能终端获取第一参照物的第一尺寸信息,然后将第一参照物的第一尺寸信息与第一相对距离进行比较,确定第一参照物图片的第一显示比例,接下来,按照第一显示比例调整第一参照物图片的大小,最终达到第一参照物图片与第一相对距离等比显示。第一参照物预设了高度,第一参照物图片与第一相对距离等比显示,可以直观进行尺寸比较。
本实施例提出的基于增强现实技术的测量方法,当智能终端接收到第一参照物选择指令时,选择第一参照物图片,并把第一参照物图片浮动显示到智能终端屏幕上,按照第一显示比例调整第一参照物图片的大小,最终达到第一参照物图片与第一相对距离等比显示。将参照物与被测量物体进行比较,不但增加了尺寸测量的趣味性,而且可以直观的进行尺寸比较,提升用户体验。
基于第一实施例,提出本发明基于增强现实技术的测量方法的第四实施例,在本实施例中,步骤S20之后,该基于增强现实技术的测量方法还包括:
步骤S60,在接收到多个测量模式的启动指令时,启动多个测量模式,并在接收到启动指令之后的持续时长达到预设时长时,在所述屏幕显示摄像头当前拍摄的第四图像;
在本实施例中,当智能终端接收到多个测量模式的启动指令时,启动多个测量模式,并开始计时,当计时时长等于预设时长时,拍摄摄像头当前拍摄的图像,并显示在智能终端屏幕上,也就是说,拍摄了一张静态图像并显示在智能终端屏幕上。
需要说明的是,启动一次多个测量模式,可以同时测量多个被测尺寸,为了保证多个被测尺寸测量结果的对比显示效果最佳,在启动多个测量模式后,在预设时间内拍摄智能终端屏幕上的当前画面,也就是摄像头当前拍摄的第四图像,并显示在智能终端屏幕上。
步骤S70,在接收到控制器发送的第二测量指令时,确定所述第二测量指令对应的第三特征点在AR坐标系中的第三坐标、及所述第二测量指令对应的第四特征点在AR坐标系中的第四坐标;
步骤S80,基于所述第三坐标、所述第四坐标,按照预设规则计算所述第三特征点与所述第四特征点之间的第二相对距离;
步骤S90,基于所述第四图像、所述第三特征点、所述第四特征点及所述第二相对距离生成第四图片并保存;
在本实施例中,第三特征点和第四特征点是通过控制器发送的第二测量命令进行确定的,当智能终端接收到控制器发送的第二测量指令时,确定所述第二测量指令对应的第三特征点在AR坐标系中的第三坐标、及所述第二测量指令对应的第四特征点在AR坐标系中的第四坐标。
具体地,智能终端屏幕上标识符号会根据控制器移动趋势在智能终端屏幕上同步进行移动,当智能终端接收到控制器发送的第二测试指令时,标识符号在屏幕上的当前位置定义为第三特征点和第四特征点,第三特征点在AR坐标系中的坐标定义为第三坐标,第四特征点在AR坐标系中的坐标定义为第四坐标。
第三坐标是第三特征点在AR坐标系中的一个三维坐标,同理,第四坐标是第四特征点在AR坐标系中的一个三维坐标,按照预设的规则计算第三特征点与第四特征点之间的第二相对距离,也就是根据预设规则计算两个三维坐标的相对距离。
智能终端当前显示第四图像,通过计算得到第二相对距离后,智能终端将第三特征点、第四特征点和计算得到的第二相对距离增加显示在当前屏幕上,将当前屏幕显示的内容定义为第四图片。
步骤S100,在接收到控制器发送的第三测量指令时,确定所述第三测量指令对应的第五特征点在AR坐标系中的第五坐标、及所述第三测量指令对应的第六特征点在AR坐标系中的第六坐标;
步骤S110,基于所述第五坐标、所述第六坐标,按照预设规则计算所述第五特征点与所述第六特征点之间的第三相对距离;
步骤S120,基于所述第四图片、所述第五特征点、所述第六特征点及所述第三相对距离生成第五图片并保存。
在本实施例中,第五特征点和第六特征点是通过控制器发送的第三测量命令进行确定的,当智能终端接收到控制器发送的第三测量指令时,确定所述第三测量指令对应的第五特征点在AR坐标系中的第五坐标、及所述第三测量指令对应的第六特征点在AR坐标系中的第六坐标。
具体地,智能终端屏幕上标识符号会根据控制器移动趋势在智能终端屏幕上同步进行移动,当智能终端接收到控制器发送的第三测试指令时,标识符号在屏幕上的当前位置定义为第五特征点和第六特征点,第五特征点在AR坐标系中的坐标定义为第五坐标,第六特征点在AR坐标系中的坐标定义为第六坐标。
第五坐标是第五特征点在AR坐标系中的一个三维坐标,同理,第六坐标是第六特征点在AR坐标系中的一个三维坐标,按照预设的规则计算第五特征点与第六特征点之间的第三相对距离,也就是根据预设规则计算两个三维坐标的相对距离。
智能终端当前显示第四图片,通过计算得到第三相对距离后,智能终端将第五特征点、第六特征点和计算得到的第三相对距离增加显示在当前屏幕上,将当前屏幕显示的内容定义为第五图片。
本实施例提出的基于增强现实技术的测量方法,在接收到多个测量模式的启动指令时,启动多个测量模式,拍摄摄像头当前拍摄的图像,并显示在智能终端屏幕上,智能终端将第三特征点、第四特征点和计算得到的第二相对距离增加显示在当前屏幕上,以及第五特征点、第六特征点和计算得到的第三相对距离增加显示在当前屏幕上并保存。多个测量模式支持同时测量多个物体,简化了多物体尺寸的测量流程,并且利于尺寸比较,增加了适用性,并通过实时显示测量结果,提升用户体验。
基于第五实施例,提出本发明方法的第六实施例,在本实施例中,步骤S120之后,该基于增强现实技术的测量方法还包括:
步骤S130,在接收到第二参照物选择指令时,确定所述第二参照物选择指令对应的第二参照物图片以及第二尺寸信息;
步骤S140,基于所述第二尺寸信息及所述第二相对距离确定所述第二参照物图片的第二显示比例;
步骤S150,基于所述第五图片、所述第二显示比例及所述第二参照物图片生成第六图片;
步骤S160,在接收到测量结束指令时,在所述屏幕显示所述第六图片。
在本实施例中,当智能终端接收到第二参照物选择指令时,选择第二参照物图片,并把第二参照物图片浮动显示到智能终端屏幕上,第二参照物图片预设了尺寸,当按照预设规则计算第三特征点与第四特征点之间的第二相对距离后,需要根据第二相对距离调整第二参照物图片大小,使第二参照物图片和第二相对距离等比显示。
具体地,首先智能终端获取第二参照物的第二尺寸信息,然后将第二参照物的第二尺寸信息与第二相对距离进行比较,确定第二参照物图片的第二显示比例,接下来,按照第二显示比例调整第二参照物图片的大小,最终达到第二参照物图片与第二相对距离等比显示。第二参照物预设了高度,第二参照物图片与第二相对距离等比显示,可以直观进行尺寸比较。
进一步地,进入多个测量模式后,当智能终端接收到测量结束指令时,多个测量模式结束,同时在智能终端屏幕上显示第六图片。
本实施例提出的基于增强现实技术的测量方法,当智能终端接收到第二参照物选择指令时,选择第二参照物图片,并把第二参照物图片浮动显示到智能终端屏幕上,按照第二显示比例调整第二参照物图片的大小,最终达到第二参照物图片与第二相对距离等比显示。将参照物与被测量物体进行比较,不但增加了尺寸测量的趣味性,而且可以直观的进行尺寸比较,提升用户体验。
此外,本发明实施例还提出一种存储介质,即计算机可读存储介质;所述存储介质上存储有基于增强现实技术的测量程序,所述基于增强现实技术的测量程序被处理器执行时实现上述基于增强现实技术的测量方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于增强现实技术的测量方法,应用于智能终端,其特征在于,所述基于增强现实技术的测量方法包括以下步骤:
获取摄像头拍摄的图像,其中,所述摄像头处于持续拍摄状态;
实时在所述智能终端的屏幕显示所述图像;
基于摄像头采集到的图像来确定特征平面并建立AR坐标系,所述AR坐标系是一个三维坐标系;
在接收到控制器发送的第一测量指令时,确定所述第一测量指令对应的第一特征点在所述AR坐标系中的第一坐标、及所述第一测量指令对应的第二特征点在所述AR坐标系中的第二坐标;
基于所述第一坐标、所述第二坐标,按照预设规则计算所述第一特征点与所述第二特征点之间的第一相对距离;
基于所述第一特征点、所述第二特征点及所述第一相对距离,在所述屏幕显示所述摄像头当前拍摄的图像;
所述实时在所述智能终端的屏幕显示所述图像的步骤包括:
在接收到第一参照物选择指令时,确定所述第一参照物选择指令对应的第一参照物图片;
在获取到所述摄像头当前拍摄的第一图像时,基于所述第一参照物图片及所述第一图像生成第一图片,并在所述屏幕显示所述第一图片;
所述实时在所述智能终端的屏幕显示所述图像步骤之后,所述基于增强现实技术的测量方法还包括:
在接收到多个测量模式的启动指令时,启动多个测量模式,并在接收到启动指令之后的持续时长达到预设时长时,在所述屏幕显示摄像头当前拍摄的第四图像;所述多个测量模式支持同时测量多个物体;
在接收到控制器发送的第二测量指令时,确定所述第二测量指令对应的第三特征点在AR坐标系中的第三坐标、及所述第二测量指令对应的第四特征点在AR坐标系中的第四坐标;
基于所述第三坐标、所述第四坐标,按照预设规则计算所述第三特征点与所述第四特征点之间的第二相对距离;
基于所述第四图像、所述第三特征点、所述第四特征点及所述第二相对距离生成第四图片并保存;
在接收到控制器发送的第三测量指令时,确定所述第三测量指令对应的第五特征点在AR坐标系中的第五坐标、及所述第三测量指令对应的第六特征点在AR坐标系中的第六坐标;
基于所述第五坐标、所述第六坐标,按照预设规则计算所述第五特征点与所述第六特征点之间的第三相对距离;
基于所述第四图片、所述第五特征点、所述第六特征点及所述第三相对距离生成第五图片并保存。
2.如权利要求1所述基于增强现实技术的测量方法,其特征在于,所述控制器设有重力传感器、陀螺仪及地磁传感器;所述在接收到控制器发送的第一测量指令时,确定所述第一测量指令对应的第一特征点在AR坐标系中的第一坐标、及所述第一测量指令对应的第二特征点在AR坐标系中的第二坐标的步骤包括:
在接收到控制器发送的第一选择指令时,获取当前所述重力传感器的第一重力值、所述陀螺仪的第一参数及所述地磁传感器的第二参数,并根据所述第一重力值、第一参数及所述第二参数确定所述第一特征点在AR坐标系中的第一坐标;
在接收到控制器发送的第二选择指令时,获取当前所述重力传感器的第二重力值、所述陀螺仪的第三参数及所述地磁传感器的第四参数,并根据所述第二重力值、第三参数及所述第四参数确定所述第二特征点在AR坐标系中的第二坐标。
3.如权利要求1所述基于增强现实技术的测量方法,其特征在于,基于所述第一特征点、所述第二特征点及所述第一相对距离,在所述屏幕显示所述摄像头当前拍摄的图像的步骤包括:
获取所述第一参照物选择指令对应的参照物的第一尺寸信息;
基于所述第一尺寸信息及所述第一相对距离确定所述第一参照物图片的第一显示比例;
基于所述摄像头当前拍摄的第二图像、所述第一特征点、所述第二特征点、所述第一相对距离、所述第一显示比例及所述第一参照物图片生成第二图片,并在所述屏幕显示所述第二图片。
4.如权利要求1所述基于增强现实技术的测量方法,其特征在于,所述实时在所述智能终端的屏幕显示所述图像的步骤,与所述在接收到控制器发送的第一测量指令时,确定所述第一测量指令对应的第一特征点在AR坐标系中的第一坐标、及所述第一测量指令对应的第二特征点在AR坐标系中的第二坐标的步骤之间,还包括:
基于所述摄像头拍摄的图像,按照SLAM算法确定AR坐标系。
5.如权利要求1所述的基于增强现实技术的测量方法,其特征在于,所述实时在所述智能终端的屏幕显示所述图像的步骤,与所述在接收到控制器发送的第一测量指令时,确定所述第一测量指令对应的第一特征点在AR坐标系中的第一坐标、及所述第一测量指令对应的第二特征点在AR坐标系中的第二坐标的步骤之间,还包括:
在接收到单个测量模式的启动指令时,启动单个测量模式,并在所述屏幕输出确定第一特征点和第二特征点的提示信息。
6.如权利要求1所述基于增强现实技术的测量方法,其特征在于,所述基于所述第四图片、所述第五特征点、所述第六特征点及所述第三相对距离生成第五图片并保存的步骤之后,所述基于增强现实技术的测量方法还包括:
在接收到第二参照物选择指令时,确定所述第二参照物选择指令对应的第二参照物图片以及第二尺寸信息;
基于所述第二尺寸信息及所述第二相对距离确定所述第二参照物图片的第二显示比例;
基于所述第五图片、所述第二显示比例及所述第二参照物图片生成第六图片;
在接收到测量结束指令时,在所述屏幕显示所述第六图片。
7.一种智能终端,其特征在于,所述智能终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于增强现实技术的测量程序,所述基于增强现实技术的测量程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于增强现实技术的测量方法的步骤。
8.一种存储介质,其特征在于,所述存储介质上存储有基于增强现实技术的测量程序,所述基于增强现实技术的测量程序被处理器执行时实现如权利要求1至6中任一项所述的基于增强现实技术的测量方法的步骤。
CN201810492588.5A 2018-05-21 2018-05-21 基于增强现实技术的测量方法、智能终端及存储介质 Active CN108682031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810492588.5A CN108682031B (zh) 2018-05-21 2018-05-21 基于增强现实技术的测量方法、智能终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810492588.5A CN108682031B (zh) 2018-05-21 2018-05-21 基于增强现实技术的测量方法、智能终端及存储介质

Publications (2)

Publication Number Publication Date
CN108682031A CN108682031A (zh) 2018-10-19
CN108682031B true CN108682031B (zh) 2021-08-17

Family

ID=63807572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810492588.5A Active CN108682031B (zh) 2018-05-21 2018-05-21 基于增强现实技术的测量方法、智能终端及存储介质

Country Status (1)

Country Link
CN (1) CN108682031B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448045B (zh) * 2018-10-23 2021-02-12 南京华捷艾米软件科技有限公司 基于slam的平面多边形物体测量方法及机器可读存储介质
CN109579745A (zh) * 2018-11-26 2019-04-05 江苏科技大学 基于增强现实和手机软件的新型房屋面积测算方法
CN109542075A (zh) * 2019-01-07 2019-03-29 瑞光(上海)电气设备有限公司 一种基于云平台的一次性用品智能生产系统
CN111435069B (zh) * 2019-01-14 2022-07-08 顺丰科技有限公司 测量体积的方法和装置
CN111723275A (zh) * 2019-03-18 2020-09-29 天津五八到家科技有限公司 车型推荐方法、终端设备及存储介质
CN110006343B (zh) * 2019-04-15 2021-02-12 Oppo广东移动通信有限公司 物体几何参数的测量方法、装置和终端
CN110100557B (zh) * 2019-06-19 2021-06-01 南京农业大学 一种基于ar的矮化密植果树定穴施肥遥控操作方法
CN111207672B (zh) * 2019-12-31 2021-08-17 上海简家信息技术有限公司 一种ar量房方法
CN113409385B (zh) * 2020-03-16 2023-02-24 上海哔哩哔哩科技有限公司 特征图像识别定位方法及系统
CN112003995B (zh) * 2020-08-06 2023-06-06 深圳市拔超科技股份有限公司 一种基于ar技术配置电视墙的方法及装置
CN111932606A (zh) * 2020-10-12 2020-11-13 歌尔光学科技有限公司 物体边界尺寸检测方法、装置、头戴显示设备及存储介质
CN115046480B (zh) * 2021-03-09 2023-11-10 华为技术有限公司 一种测量长度的方法、电子设备以及移动设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016077506A1 (en) * 2014-11-11 2016-05-19 Bent Image Lab, Llc Accurate positioning of augmented reality content
US9754419B2 (en) * 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
CN106705837B (zh) * 2015-11-17 2019-12-06 华为技术有限公司 一种基于手势的物体测量方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Mikko Kytöet al..Improving Relative Depth Judgments in Augmented Reality with Auxiliary Augmentations.《ACM Transactions on Applied Perception》.2013,第1-28页. *

Also Published As

Publication number Publication date
CN108682031A (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
CN108682031B (zh) 基于增强现实技术的测量方法、智能终端及存储介质
WO2019184889A1 (zh) 增强现实模型的调整方法、装置、存储介质和电子设备
KR101433305B1 (ko) 증강 현실 환경을 위한 모바일 디바이스 기반 콘텐츠 맵핑
EP3467790B1 (en) Information processing device, information processing method, and storage medium
CN111145352A (zh) 一种房屋实景图展示方法、装置、终端设备及存储介质
CN110716646A (zh) 一种增强现实数据呈现方法、装置、设备及存储介质
US20150185825A1 (en) Assigning a virtual user interface to a physical object
CN107993292B (zh) 增强现实场景复原方法、装置及计算机可读存储介质
CN107637076B (zh) 电子设备及其控制方法
US20200380724A1 (en) Personalized scene image processing method, apparatus and storage medium
CN110926334A (zh) 测量方法、装置、电子设备及存储介质
KR20210086837A (ko) 증강현실을 이용한 실내 인테리어 시뮬레이션 방법
KR102547321B1 (ko) 영상 표시 장치 및 그 동작방법
CN115439171A (zh) 商品信息展示方法、装置及电子设备
US11941763B2 (en) Viewing system, model creation apparatus, and control method
CN103752010A (zh) 用于控制设备的增强现实覆盖
JP2020509505A (ja) 拡張現実を提供するための方法、装置及びコンピュータプログラム
WO2022267626A1 (zh) 增强现实数据展示方法、装置、设备、介质及程序
CN115830280A (zh) 数据处理方法、装置、电子设备及存储介质
WO2021121061A1 (zh) 用于设置虚拟对象的空间位置的方法和电子设备
KR101939530B1 (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치
US20220166917A1 (en) Information processing apparatus, information processing method, and program
CN112788425A (zh) 动态区域显示方法、装置、设备及计算机可读存储介质
CN111147777A (zh) 智能终端语音交互方法、装置和存储介质
EP4286992A1 (en) Information processing method, information processing device, and non-volatile storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 2306, east block, Skyworth semiconductor design building, 18 Gaoxin South 4th Road, Gaoxin community, Yuehai street, Nanshan District, Shenzhen, Guangdong 518108

Applicant after: Shenzhen Kukai Network Technology Co.,Ltd.

Address before: 518108 room 1502, block a, South Skyworth building, Shennan Avenue, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen Coocaa Network Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant