CN109086726A - 一种基于ar智能眼镜的局部图像识别方法及系统 - Google Patents
一种基于ar智能眼镜的局部图像识别方法及系统 Download PDFInfo
- Publication number
- CN109086726A CN109086726A CN201810909305.2A CN201810909305A CN109086726A CN 109086726 A CN109086726 A CN 109086726A CN 201810909305 A CN201810909305 A CN 201810909305A CN 109086726 A CN109086726 A CN 109086726A
- Authority
- CN
- China
- Prior art keywords
- intelligent glasses
- topography
- eye
- glasses
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Abstract
本发明属于AR智能眼镜应用技术领域，公开了一种基于AR智能眼镜的局部图像识别方法及系统,对智能眼镜成像屏幕、智能眼镜前置摄像头画面、周围真实环境的视域画面的一致性校准标定；识别人眼图像并计算眼球运动向量，获取眼动坐标；识别人双眼视觉延长线焦点落点是成像屏幕还是现实三维空间；获取人眼在周围真实世界的映射关系；根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置。本发明通过眼动仪获取人眼眼图信息，并进行人眼眼图与场景摄像头的同步标定，获取人眼在真实场景的注视点区域，在进行处理时，仅对注视点区域进行图像识别，大大降低了GPU的图像处理压力，提高图像处理效率。
Description
技术领域
本发明属于AR智能眼镜应用技术领域，尤其涉及一种基于AR智能眼镜的局部图像识别方法及系统。
背景技术
目前，业内常用的现有技术是这样的：
随着近几年AR/VR产业的高速发展，我们关注到AR智能眼镜会是淘汰智能手机的下一代智能终端，那么AR智能眼镜上的app就如同智能手机上在刚兴起时的app，存在着巨大的市场价值。我们了解到眼动追踪技术是未来AR智能眼镜的重要人机交互方式，我们立足这样的环境进行思考未来应用可能存在潜在市场，在未来时代来临时可能爆发巨大的市场价值。
现有技术中，在VR虚拟现实技术中有一项通过眼动追踪技术实现的眼镜看哪里，计算机GPU对人眼注视的区域进行精细化的渲染处理-眼睛看哪里计算机渲染哪里。2016年CES上德国SMI展示了一项名为注视点渲染的技术，通过优先高清渲染人眼视野中心的部位，降低GPU的运算负荷，间接提升VR显示的效果。以HTC Vive为例，单眼的分辨率为1080*1200，游戏的刷新率最低为90HZ。意味着需要每秒2.33亿次像素渲染。而随着刷新率和分辨率的提高，未来GPU的压力会越来越大。而眼控注视点渲染技术，无疑间接的降低了VR体验的门槛。通过上述的VR注视点图像渲染技术和未来AR智能眼镜上应用的联想，促使本发明产生了通过眼动追踪技术来实现通过由人的视觉注视点引导的局部图像识别的方法。
综上所述，现有技术存在的问题是：
在未来智能时代，AR智能眼镜会为人类带来更智能更人性化的生活，因此在智能眼镜的应用设计中需要智能眼镜系统能够够更好理解用户周围的事物和环境已作出智能的个性化服务，计算机系统将通过的分析和识别摄像头拍摄到的实时画面来进行优质的服务，这将是巨大的运算量造成CUP、GPU、TPU巨大的计算量且对能量的消耗很大，并且占用过高的网络带宽，这导致设备的续航时间减少。产品整体的用户体验下降。
同时本发明实现了针对于未来AR智能眼镜的的局部图片截取方法和信息弹出的新机制，及为由眼动视线引导的图像截取进而识别局部图片后弹出与图像内容相关的信息(文字、声音、图片、视频、三维模型)。目前纵观全球AR智能眼镜应用中内容信息的弹出是没有经过筛选过滤的，其中存在着大量对用户无用的信息，并且用户不希望被无用的信息骚扰。而现有技术不能有效解决。
解决上述技术问题的难度和意义：
难点一：要实现让AR智能眼镜系统知道用户看了哪里？
需要实现人的视场角FOV区域中的画面、前置摄像头的画面、成像屏幕中的画面、周围真实环境的一致性校准标定。识别人眼图像并计算眼球运动向量，获取眼动坐标，并计算获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置和周围环境的坐标位置。
难点二：要实现让AR智能眼镜系统知道用户看的是什么？
计算机截取人眼注视点区域图像，AR眼镜智能终端上传云端服务器进行图像识别，图像识别、图像的匹配需要大量的图像数据库进行人工智能机器学习的运算才能达到精准的识别匹配效果，因此在图像数据库、机器学习算法、超级计算机运算能力、数据上传下传的速度、AR智能眼镜技术都提出了巨大的考验。
结合难点一、二，本发明给出了让AR智能眼镜能够以用户的第一人称视角去理解这个世界的方法，这可以更好的理解用户的心中所想，以此提供更好的服务。以本发明为基础具有巨大的AR智能眼镜应用想象空间，例如本发明还可以应用在人脸识别、二维码识别等，上述两项技术都属于图像识别领域，其技术效果为当用户佩戴着智能眼镜时，由人眼眼球注视点引导计算机对人脸或者二维码进行图像识别。
本发明的实质是首先是基于AR智能眼镜上的眼动追踪模块来实现由人眼注视行为或其他人体生物信息来引导计算机系统对局部图像截取的功能，并通过5G将所截取图像及时上传的云端服务器进行图像是识别、搜索、匹配等的一套技术方案。为智能眼镜上的图像识别技术提供了新的方法，及通过人眼眼动行为来引导的图像识别技术，为人脸识别和二维码识别、知识检索教学提供了新的方法。其次本专利还提出一种新的内容信息弹出前添加了通过识别眼动的内容弹出条件。将用户被动的接受信息转变为主动的去信息，大大提升了AR智能眼镜的用户体验的方法。
发明内容
针对现有技术存在的问题，本发明提供了一种基于AR智能眼镜的局部图像识别方法及系统。
本发明是这样实现的，一种基于AR智能眼镜的局部图像识别方法，包括：
步骤一、对智能眼镜成像屏幕、智能眼镜前置摄像头画面、周围真实环境中的人眼视域画面的一致性校准标定；包括对AR眼镜摄像头进行图像畸变校正和标定，得到真实世界坐标与AR眼镜成像屏幕和智能眼镜前置摄像头画面三者之间的坐标的投影关系；
步骤二、识别人眼图像并计算眼球运动向量，获取眼眼运动坐标；
步骤三、识别人双眼视觉延长线焦点落点是成像屏幕还是现实三维空间；注视点是成像屏幕则不开启局部图像识别，不进行下一步，若注视点落点是真实世界则开启局部图像识别，进行下一步；
步骤四、获取人眼在周围真实世界的映射关系；根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置；
步骤五、过滤冗杂眼动行为；
步骤六、启动局部图像识别程序；
步骤七、截取人眼注视区域局部图像；
步骤八、局部图像通过5G上传云端服务器处理，并对图像进行运算、语义分割运算、识别、比对，获得相关运算结果。
步骤九、相关结果从云端通过5G回传智能眼镜终端进行内容呈现。
进一步，步骤二中，识别人眼图像并计算眼球运动向量，获取眼动坐标中，采用瞳孔-角膜反射光斑法或MEMS眼球追踪技术，将人眼的运动行为数字化，转化为计算机系统可计算的电子信号；
步骤三中，识别人双眼视觉延长线焦点落点是成像屏幕还是现实三维空间，具体包括：
a),通过眼动坐标测定双眼各自的视线角度，确定目标对象的三维坐标；
b),计算每个眼睛的瞳孔当前的中心位置；
c),计算对象的二维坐标；
步骤四中，获取人眼在周围真实世界的映射关系；根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置,具体包括：
i),通过人眼注视眼镜成像屏幕的标定点获得人眼运动坐标与成像屏幕的映射关系；
ii),由于人眼透过半透明成像屏幕看到的真实世界场景与看到的半透明屏幕上正在呈现前置摄像头拍到的虚拟场景影像无重影且保持一致；通过相似三角形原理，获取人眼在真实世界的视觉注视点位置；
步骤五中，过滤冗杂眼动行为包括：
I)低通滤波，对原始视线信号进行滤波以获取可以使用的视线信号；
II)T值自适应调节，实时监测当前的眼动模式，眼动角速度的计算、眼跳速度与阈值的比对，以及滤波参数的调节；
III)识别区域控制，主要控制识别区域移动；
步骤六中，所述启动局部图像识别程序，获取到人类生物电并识别出用户兴趣点时启动图像局部图像识别程序，兴趣识别条件包括：
A、对某一区域凝视时长超过阈值；
B、对某一区域回视次数超过预设次数；
C、对某一区域注视时眨眼次数或眨眼行为达到预设标准；
D、对某一事物产生规律性视觉注意模型；
E、同一时刻脑电波检测模块检测出用户对该视觉注视区域产生情绪波动；
F、同一时刻心率、血压等人体生物信息监测模块检测出用户情绪发生波动；
G、同一时刻人眼对当下注视事物产生瞳孔放大或缩小的生理反应数据。
步骤七中，截取人眼注视区域局部图像，具体为，以注视点为圆心的某一固定值为半径的圆形、以注视点为中心的某一固定值为边长的正方形或眼动路径所形成的不规则多边形；
步骤八中，局部图像通过5G上传云端服务器进行云端识别，具体包括：图像特征点5G上传云端服务器做云端识别、语义分割运算、匹配、检索，获取相关信息内容。
其核心在于图像识别的功能并非在本地智能眼镜终端中进行，而是在将图像上传到服务器云端进行图像识别，并将图像特征点与服务器已有数据库进行比对，然后将图像匹配、检索获得结果内容反馈传输给AR眼镜智能终端，智能眼镜获取到云端处理后的结果展开接下来的应用。云端数据库是通过强大计算能力的超级计算机利用复杂的人工智能机器学习算法对大量的图片进行分析、学习获得各个事物的特征数据库。例如“百度大脑”、“阿里云”。
步骤九中，相关结果5G回传智能眼镜进行内容呈现，内容包括文字、图片、声音、视频、三维模型等。
步骤一中，一致性校准标定包括：
步骤1)：
根据AR眼镜内参，获取AR眼镜摄像头与AR眼镜成像屏幕的投影关系；
获取真实世界标记位置的坐标数据以及摄像头拍摄图像中所述真实世界标记位置的坐标数据；
根据所述AR眼镜摄像头与AR眼镜成像屏幕的投影关系，获取真实世界坐标与成像屏幕坐标的投影关系；
根据所述AR眼镜摄像头与AR眼镜成像屏幕的投影关系，并利用相机的畸变参数对获取的真实世界坐标与成像屏幕坐标的投影关系进行调整，获取真实世界坐标与成像屏幕坐标的投影关系；
步骤2)，
依次给出位于世界坐标内的多个校准点及多个校准点的坐标；
分别捕捉注视所述多个校准点时的眼图，利用瞳孔-角膜反射光斑插值拟合算法或MEMS眼球追踪技术，得到眼图数据并生成注视点坐标到摄像头拍摄图像的映射函数；
根据所述映射函数以及真实世界坐标与AR眼镜成像屏幕坐标和智能眼镜前置摄像头的投影关系，得到人眼在真实世界的注视点坐标到成像屏幕坐标的标定。
本发明的另一目的在于提供一种广告推送终端，所述广告推送终端集成有计算机可读存储介质，所述计算机可读存储介质的运行指令，运行所述基于AR智能眼镜的局部图像识别方法。
本发明的另一目的在于提供一种基于AR智能眼镜的局部图像识别装置，设置有眼镜本体，眼镜本体左右两侧分别安装有智能眼镜成像屏幕；
智能眼镜成像屏幕下侧集成有眼动跟踪摄像头；
左右两智能眼镜成像屏幕之间集成有场景摄像头；
眼镜本体的眼镜支架上集成有运算处理单元；
智能眼镜成像屏幕一侧集成有影像投影源；
智能眼镜上还有脑电波监测模块、体温、心率、肌肉电等监测模块；
眼镜成像屏幕、眼动跟踪摄像头、场景摄像头、影像投影源、脑电波监测模块、体温、心率、肌肉电等监测模块均通过导线连接运算处理单元。
其中：
眼镜成像屏幕：眼镜成像屏幕即为AR智能眼镜的光学成像原件，是由特殊的制造艺制作而成的透明镜片，其核心功能为既可以透过自然光也具有成像的作用。当人在佩戴智能眼镜时，透过眼镜成像屏幕既可以看到现实世界的物体也可以看到屏幕中的虚拟影像，两个影像得到有效的融合。
AR智能眼镜光学方案包括：偏振分光棱镜、自由曲面技术、离轴光学、光波导技术
场景摄像头：智能眼镜的前置摄像头；
影像投影源：如下图IMAGE SOURCE位置所示，就是的LED、OLED等类似的用于成像的屏幕，然后通过上文所述的光学方案把光传到人的眼前。
Couple out optics为成像屏幕。
本发明的另一目的在于提供一种运行所述基于AR智能眼镜的局部图像识别方法的在线产品信息搜索的电子商务平台。
本发明的另一目的在于提供一种运行所述基于AR智能眼镜的局部图像识别方法的眼动行为或者脑电波信号引导的局部图像截取并识别的计算机程序。
本发明的另一目的在于提供一种运行所述基于AR智能眼镜的局部图像识别方法的电子游戏产品或平台。
本发明的另一目的在于提供一种运行所述基于AR智能眼镜的局部图像识别方法的截取人眼注视区域局部图像计算机程序。
本发明的另一目的在于提供一种运行所述基于AR智能眼镜的局部图像识别方法的对图像进行运算、识别、比对，获得相关运算结果的计算机程序。
本发明的另一目的在于提供一种运行所述基于AR智能眼镜的局部图像识别方法的AR智能眼镜上弹出内容信息机制的计算机程序。
本发明的另一目的在于提供一种运行所述基于AR智能眼镜的局部图像识别方法的人脸面部识别系统。(用户看那个人的脸，把人脸图像截取下来进行身份识别，由用户注视点来引导面部识别)。技术应用客观效果为当用户佩戴着智能眼镜时，由人眼眼球注视点引导计算机对人脸进行面部识别的图像识别。
本发明的另一目的在于提供一种运行所述基于AR智能眼镜的局部图像识别方法的二维码识别系统。(人看哪里，识别哪里的二维码)。技术应用客观效果为当用户佩戴着智能眼镜时，由人眼眼球注视点引导计算机对所注视的二维码进行图像。
本发明的另一目的在于提供一种运行所述基于AR智能眼镜的局部图像识别方法的教学系统软件。
本发明的另一目的在于提供一种运行所述基于AR智能眼镜的局部图像识别方法的广告的智能推荐系统和广告的投放效果分析系统。
综上所述，本发明的优点及积极效果为：
本发明实现了针对于未来AR智能眼镜的信息弹出的新机制，及由眼睛视线引导的图像识别技术，进而截取图像内容进行识别，然后弹出与图像内容相关的信息(文字、声音、图片、视频、三维模型)。目前纵观全球AR智能眼镜应用中内容信息的弹出是没有经过筛选过滤的，其中存在着大量对用户无用的信息，并且用户不希望被无用的信息骚扰，本发明的实质是在内容信息弹出前添加了通过识别眼动的内容弹出条件。将用户被动的接受信息转变为主动的去获取信息，大大提升了AR智能眼镜的用户体验。
在本发明中实现了当在未来人本佩戴AR智能眼镜终端时，人眼看哪里计算机图像识别哪里。做到让计算机在以人的第一视角感知环境，并识别人眼所关注区域。使人获取信息的方式更加高效。计算机图像识别更精准，计算机计算功耗降低。在后期对AR智能眼镜上的应用起到技术的铺垫，在本发明技术的基础上具有很大的延展性应用，例如广告、电商、游戏、教育。
目前的手机上的以图搜图功能(淘宝上的拍立淘，百度上的相似图片搜索)是人举着手机拍照-图片上传到云端识别-获得结果。
本发明创新点为基于智能眼镜的眼动追踪技术通过眼睛注视点直接获得图片进行检索，用户体验大大提升。
目前的智能眼镜的交互技术都基于头部运动追踪、手势识别、触摸屏、外设控制，还没有基于眼动追踪技术结合人类认知心理学理论的应用。
附图说明
图1是本发明实施例提供的基于AR智能眼镜的局部图像识别方法流程图。
图2是本发明实施例提供的基于AR智能眼镜的局部图像识别装置示意图。
图3是本发明实施例提供的进行坐标标定的原理示意图；
图4是本发明实施例提供的通过人眼注视眼镜成像屏幕的标定点示意图；
图5是本发明实施例提供的通过眼动坐标测定双眼各自的视线角度，确定目标对象的三维坐标原理及判断视觉注视点落点位置原理示意图。
图6是本发明实施例提供的过滤视线信号的方法原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有技术中，图像处理效率低，GPU图像处理压力大，不能提高用户体验效果。
下面结合具体分析对本发明作进一步描述。
图1，本发明实施例提供的基于AR智能眼镜的局部图像识别方法，包括以下步骤：
S101:对智能眼镜成像屏幕、智能眼镜前置摄像头画面、周围真实环境中的人眼视域画面的一致性校准标定；包括对AR眼镜摄像头进行图像畸变校正和标定，得到真实世界坐标与AR眼镜成像屏幕和智能眼镜前置摄像头画面三者之间的坐标的投影关系；
S102:智能眼镜集成的眼动追踪模块识别人眼图像并计算眼球运动向量，即为获取眼睛运动坐标；
S103:识别人双眼视觉延长线焦点落点是成像屏幕还是现实三维空间；若注视点是成像屏幕则不开启局部图像识别功能，不进行下一步，若注视点落点是真实世界则开启局部图像识别功能，进行S104；
S104:智能眼镜系统获取人眼在周围真实世界的映射关系；智能眼镜根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置；
S105:过滤冗杂眼动行为；
S106:启动局部图像识别程序；
S107:截取人眼注视区域局部图像；
S108:局部图像通过5G上传云端服务器处理，并对图像进行运算、语义分割处理、识别、比对，获得相关运算结果；
S109:相关结果从云端回传到智能眼镜终端进行内容呈现。
步骤1中所述的智能眼镜为AR智能眼镜，如图2所示，所述智能眼镜成像屏幕为半透明光学成像元件，通过智能眼镜成像屏幕、智能眼镜前置摄像头画面、周围真实环境的视域画面的一致性校准标定，确保人眼透过半透明成像屏幕看到的真实世界场景与看到的半透明屏幕上正在呈现前置摄像头拍到的虚拟场景影像无重影且保持一致。
图2说明基于AR智能眼镜的局部图像识别装置，设置有眼镜本体，眼镜本体左右两侧分别安装有智能眼镜成像屏幕；
智能眼镜成像屏幕下侧集成有眼动跟踪摄像头；
左右两智能眼镜成像屏幕之间集成有场景摄像头；
眼镜本体的眼镜支架上集成有运算处理单元；
智能眼镜成像屏幕一侧集成有影像投影源；
眼镜成像屏幕、眼动跟踪摄像头、场景摄像头、影像投影源均通过导线连接运算处理单元。
如图3，所述的一致性校准标定，包括：
步骤101，对AR眼镜摄像头进行标定，得到真实世界坐标与AR眼镜成像屏幕坐标的投影关系；
步骤102，通过眼动仪获取人眼眼图，并对人眼眼图进行处理获取人眼在真实世界的注视点坐标，通过真实世界坐标与AR眼镜成像屏幕坐标的投影关系得到人眼在真实世界的注视点坐标到成像屏幕坐标的标定。
作为本发明优选实施例，所述步骤101包括：
根据AR眼镜内参，获取AR眼镜摄像头与AR眼镜成像屏幕的投影关系；
获取真实世界标记位置的坐标数据以及摄像头拍摄图像中所述真实世界标记位置的坐标数据；
根据所述AR眼镜摄像头与AR眼镜成像屏幕的投影关系，获取真实世界坐标与成像屏幕坐标的投影关系。
作为本发明优选实施例，所述步骤101还包括：根据所述AR眼镜摄像头与AR眼镜成像屏幕的投影关系，并利用相机的畸变参数对获取的真实世界坐标与成像屏幕坐标的投影关系进行调整，进而获取真实世界坐标与成像屏幕坐标的投影关系。
作为本发明优选实施例，所述步骤102包括：
依次给出位于世界坐标内的多个校准点及其坐标；
图4说明分别捕捉注视所述多个校准点时的眼图，利用瞳孔-角膜反射光斑插值拟合算法或MEMS眼球运动捕捉技术，得到眼图数据并生成注视点坐标到摄像头拍摄图像的映射函数；
根据所述映射函数以及真实世界坐标与AR眼镜成像屏幕坐标的投影关系，得到人眼在真实世界的注视点坐标到成像屏幕坐标的标定。
步骤2中所述的眼动追踪模块所采用技术为瞳孔-角膜反射光斑法或MEMS眼球追踪技术，将人眼的运动行为数字化，转化为计算机系统可计算的电子信号。
作为本发明优选实施例，所述步骤3包括以下子步骤：
步骤301，注视时，左右两只眼的视线汇聚相交于一对象，如图5所示；；
步骤302，通过眼动坐标测定双眼各自的视线角度及计算双眼视线夹角度数，确定目标对象的三维坐标；
步骤303，计算每个眼睛的瞳孔当前的中心位置；
步骤304，计算对象的二维坐标；
作为本发明优选实施例，所述步骤4包括以下子步骤：
步骤401，通过人眼注视眼镜成像屏幕的标定点，如图4所示，获得人眼动坐标与成像屏幕的映射关系；
步骤402，由于人眼透过半透明成像屏幕看到的真实世界场景与看到的半透明屏幕上正在呈现前置摄像头拍到的虚拟场景影像无重影且保持一致；通过相似三角形原理，获取人眼在真实世界的视觉注视点位置。
作为本发明优选实施例，图6是本发明实施例提供的过滤视线信号的方法原理图，步骤5过滤冗杂眼动行为包括：
步骤501，低通滤波，对原始视线信号进行滤波以获取可以使用的视线信号；
步骤502，T值自适应调节，实时监测当前的眼动模式，眼动角速度的计算、眼跳速度与阈值的比对，以及滤波参数的调节；
步骤503，识别区域控制，主要控制识别区域移动；
眼动事件除了眼跳和注视外，还有大量因眼球生理构造而引起的震颤、漂移和微小眼跳，如果让计算机直接把从眼动仪读取的带有上述噪音的原始视线坐标投射到鼠标上，会导致鼠标在运动或注视过程中发生抖动，导致鼠标无法完成任何指点交互任务。因此，实现基于视线追踪的交互式系统，最大的问题是要解决如何过滤原始视线信号中的噪音。
作为本发明优选实施例，所述启动局部图像识别程序，具体为当智能眼镜上眼动追踪模组、脑电波检测模组获取到人类生物电并识别出用户兴趣点时启动图像局部图像识别程序，兴趣识别条件如下：
A、对某一区域凝视时长超过阈值；
B、对某一区域回视次数超过预设次数；
C、对某一区域注视时眨眼次数或眨眼行为达到预设标准；
D、对某一事物产生规律性视觉注意模型；
E、同一时刻脑电波检测模块检测出用户对该视觉注视区域产生情绪波动；
F、同一时刻心率、血压等人体生物信息监测模块检测出用户情绪发生数据波动；
G、同一时刻人眼对当下注视事物产生瞳孔放大或缩小的生理反应。
作为本发明优选实施例，所述的截取人眼注视区域局部图像，具体为，以注视点为圆心的某一固定值为半径的圆形、以注视点为中心的某一固定值为边长的正方形或眼动路径所形成的不规则多边形；
所述的截取的局部图像特征点5G上传云端服务器做云端识别处理，具体包括：局部图像特征点5G上传云端服务器做云端、语义分割、识别、匹配、检索，获取相关信息内容，内容包括商品广告信息、事物百科、商品的购买信息，声音、文字、图片、视频、3D模型。
相关结果从云端回传到智能眼镜终端进行内容呈现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种基于AR智能眼镜的局部图像识别方法，其特征在于，所述基于AR智能眼镜的局部图像识别方法包括：
步骤一、对智能眼镜成像屏幕、智能眼镜前置摄像头画面、周围真实环境中的人眼视域画面的一致性校准标定；包括对AR眼镜摄像头进行图像畸变校正和标定，得到真实世界坐标与AR眼镜成像屏幕和智能眼镜前置摄像头画面三者之间的坐标的投影关系；
步骤二、识别人眼图像并计算眼球运动向量，获取眼睛运动坐标；采用瞳孔-角膜反射光斑法或MEMS眼球追踪技术，将人眼的运动行为数字化，转化为计算机系统计算的电子信号；
步骤三、识别人双眼视觉延长线焦点落点是成像屏幕还是现实三维空间；注视点是成像屏幕则不开启局部图像识别，不进行下一步，若注视点落点是真实世界则开启局部图像识别，进行下一步；
步骤四、获取人眼在周围真实世界的映射关系；根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置；
步骤五、过滤冗杂眼动行为；
步骤六、启动局部图像识别程序；
步骤七、截取人眼注视区域局部图像；
步骤八、局部图像通过5G上传云端服务器处理，并对图像进行运算、语义分割处理、识别、比对，获得相关运算结果；
步骤九、相关结果从云端通过5G回传智能眼镜终端进行内容呈现。
2.如权利要求1所述的基于AR智能眼镜的局部图像识别方法，其特征在于，步骤三中，识别人双眼视觉延长线焦点落点是成像屏幕还是现实三维空间，具体包括：
a),注视时，左右两只眼的视线汇聚相交于一对象；
b),通过眼动坐标测定双眼各自的视线角度，确定目标对象的三维坐标；
c),计算每个眼睛的瞳孔当前的中心位置；
d),计算对象的二维坐标；
步骤四中，获取人眼在周围真实世界的映射关系；根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置,具体包括：
i),通过人眼注视眼镜成像屏幕的标定点获得人眼运动坐标与成像屏幕的映射关系；
ii),由于人眼透过半透明成像屏幕看到的真实世界场景与看到的半透明屏幕上正在呈现前置摄像头拍到的虚拟场景影像无重影且保持一致；通过相似三角形原理，获取人眼在真实世界的视觉注视点位置；
步骤五中，过滤冗杂眼动行为包括：
I)低通滤波，对原始视线信号进行滤波以获取可以使用的视线信号；
II)T值自适应调节，实时监测当前的眼动模式，眼动角速度的计算、眼跳速度与阈值的比对，以及滤波参数的调节；
III)识别区域控制，主要控制识别区域移动；
步骤六中，所述启动局部图像识别程序，获取到人类生物电并识别出用户兴趣点时启动图像局部图像识别程序，兴趣识别条件包括：
A、对某一区域凝视时长超过阈值；
B、对某一区域回视次数超过预设次数；
C、对某一区域注视时眨眼次数或眨眼行为达到预设标准；
D、对某一事物产生规律性视觉注意模型；
E、同一时刻脑电波检测模块检测出用户对该视觉注视区域产生情绪波动；
F、同一时刻心率、血压人体生物信息监测模块检测出用户情绪发生波动；
G、同一时刻人眼对当下注视事物产生瞳孔放大或缩小的生理反应数据；
步骤七中，截取人眼注视区域局部图像，具体为，以注视点为圆心的某一固定值为半径的圆形、以注视点为中心的某一固定值为边长的正方形或眼动路径所形成的不规则多边形；
步骤八中，局部图像通过5G上传云端服务器进行云端识别，具体包括：图像特征点5G上传云端服务器做云端识别、语义分割运算、匹配、检索，获取相关信息内容；
步骤九中，相关结果数据5G回传智能眼镜进行内容呈现，内容包括文字、图片、声音、视频、三维模型；
步骤一中，一致性校准标定包括：
步骤1)，
根据AR眼镜内参，获取AR眼镜前置摄像头与AR眼镜成像屏幕的投影关系；
根据所述AR眼镜前置摄像头与AR眼镜成像屏幕的投影关系，并利用相机的畸变参数对获取的真实世界坐标与AR眼镜成像屏幕和智能眼镜前置摄像头画面三者之间的投影关系进行调整，获取真实世界坐标与AR眼镜成像屏幕和智能眼镜前置摄像头画面三者之间的坐标的投影关系；
步骤2)，
依次给出位于世界坐标内的多个校准点及多个校准点的坐标；
分别捕捉注视所述多个校准点时的眼图，利用瞳孔-角膜反射光斑插值拟合算法或MEMS眼球追踪技术，得到眼图数据并生成注视点坐标到摄像头拍摄图像的映射函数；
根据所述映射函数以及真实世界坐标与AR眼镜成像屏幕坐标和智能眼镜前置摄像头的投影关系，得到人眼在真实世界的注视点坐标到成像屏幕坐标的标定。
3.一种广告推送终端，其特征在于，所述广告推送终端集成有计算机可读存储介质，所述计算机可读存储介质的运行指令，运行权利要求1-2任意一项所述基于AR智能眼镜的局部图像识别方法。
4.一种实现权利要求1所述基于AR智能眼镜的局部图像识别方法的基于AR智能眼镜的局部图像识别装置，设置有眼镜本体，其特征在于，眼镜本体左右两侧分别安装有智能眼镜成像屏幕；
智能眼镜成像屏幕下侧集成有眼动跟踪摄像头；
左右两智能眼镜成像屏幕之间集成有场景摄像头；
眼镜本体的眼镜支架上集成有运算处理单元；
智能眼镜成像屏幕一侧集成有影像投影源；
智能眼镜上还有脑电波监测模块、体温、心率、肌肉电的监测模块；
眼镜成像屏幕、眼动追踪模块、场景摄像头、影像投影源、脑电波监测模块、体温、心率、肌肉电的监测模块均通过电路连接运算处理单元。
5.一种运行权利要求1所述基于AR智能眼镜的局部图像识别方法的在线产品信息搜索的电子商务平台。
6.一种运行权利要求1所述基于AR智能眼镜的局部图像识别方法的眼动行为或者脑电波信号引导的局部图像截取并识别的计算机程序。
7.一种运行权利要求1所述基于AR智能眼镜的局部图像识别方法的电子游戏产品或平台。
8.一种运行权利要求1所述基于AR智能眼镜的局部图像识别方法的截取人眼注视区域局部图像计算机程序。
9.一种运行权利要求1所述基于AR智能眼镜的局部图像识别方法的对图像进行运算、识别、比对，获得相关运算结果的计算机程序。
10.一种运行权利要求1所述基于AR智能眼镜的局部图像识别方法的AR智能眼镜上弹出内容信息机制的计算机程序。
11.一种运行权利要求1所述基于AR智能眼镜的局部图像识别方法的人脸面部识别系统。
12.一种运行权利要求1所述基于AR智能眼镜的局部图像识别方法的二维码识别系统。
13.一种运行权利要求1所述基于AR智能眼镜的局部图像识别方法的教学系统软件。
14.一种运行权利要求1所述基于AR智能眼镜的局部图像识别方法的广告的智能推荐系统和广告的投放效果分析系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810909305.2A CN109086726B (zh) | 2018-08-10 | 2018-08-10 | 一种基于ar智能眼镜的局部图像识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810909305.2A CN109086726B (zh) | 2018-08-10 | 2018-08-10 | 一种基于ar智能眼镜的局部图像识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109086726A true CN109086726A (zh) | 2018-12-25 |
| CN109086726B CN109086726B (zh) | 2020-01-14 |
Family
ID=64834528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810909305.2A Active CN109086726B (zh) | 2018-08-10 | 2018-08-10 | 一种基于ar智能眼镜的局部图像识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109086726B (zh) |
Cited By (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109688508A (zh) * | 2019-02-28 | 2019-04-26 | 长春理工大学 | 基于脑电波的耳机控制系统 |
| CN109717878A (zh) * | 2018-12-28 | 2019-05-07 | 上海交通大学 | 一种用于孤独症共同注意诊断范式的检测系统及使用方法 |
| CN109801379A (zh) * | 2019-01-21 | 2019-05-24 | 视辰信息科技(上海)有限公司 | 通用的增强现实眼镜及其标定方法 |
| CN109887000A (zh) * | 2019-01-30 | 2019-06-14 | 北京津发科技股份有限公司 | 注意追踪策略的识别方法、训练方法及其装置 |
| CN109947253A (zh) * | 2019-03-25 | 2019-06-28 | 京东方科技集团股份有限公司 | 眼球追踪的模型建立方法、眼球追踪方法、设备、介质 |
| CN109949228A (zh) * | 2019-03-14 | 2019-06-28 | 北京航空航天大学 | 一种光学透视的ar眼镜的在线标定装置及方法 |
| CN109961018A (zh) * | 2019-02-27 | 2019-07-02 | 易念科技（深圳）有限公司 | 脑电信号分析方法、系统及终端设备 |
| CN109976690A (zh) * | 2019-03-27 | 2019-07-05 | 优奈柯恩(北京)科技有限公司 | Ar眼镜远程交互方法、装置和计算机可读介质 |
| CN109996044A (zh) * | 2019-04-17 | 2019-07-09 | 北京亮亮视野科技有限公司 | 基于瞳孔追踪技术的人像识别眼镜、识别方法及可读存储介质 |
| CN110032278A (zh) * | 2019-03-29 | 2019-07-19 | 华中科技大学 | 一种人眼感兴趣物体的位姿识别方法、装置及系统 |
| CN110059550A (zh) * | 2019-03-11 | 2019-07-26 | 江苏理工学院 | 一种基于脑电信号的智能辅助学习系统 |
| CN110187855A (zh) * | 2019-05-28 | 2019-08-30 | 武汉市天蝎科技有限公司 | 近眼显示设备的避免全息影像阻挡视线的智能调节方法 |
| CN110275620A (zh) * | 2019-06-26 | 2019-09-24 | Oppo广东移动通信有限公司 | 交互方法、交互装置、头戴设备和存储介质 |
| CN110347257A (zh) * | 2019-07-08 | 2019-10-18 | 北京七鑫易维信息技术有限公司 | 眼球追踪设备的校准方法、装置、设备和存储介质 |
| CN110347265A (zh) * | 2019-07-22 | 2019-10-18 | 北京七鑫易维科技有限公司 | 渲染图像的方法及装置 |
| CN110399039A (zh) * | 2019-07-03 | 2019-11-01 | 武汉子序科技股份有限公司 | 一种基于眼动跟踪的虚实场景融合方法 |
| CN110428470A (zh) * | 2019-06-18 | 2019-11-08 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于脑电辅助的增强现实眼镜眼动交互自标定方法 |
| CN110442486A (zh) * | 2019-08-05 | 2019-11-12 | 北京远舢智能科技有限公司 | 一种基于混合现实技术的远程设备诊断系统和方法 |
| CN110599602A (zh) * | 2019-09-19 | 2019-12-20 | 百度在线网络技术（北京）有限公司 | 一种ar模型的训练方法、装置、电子设备及存储介质 |
| CN110619303A (zh) * | 2019-09-16 | 2019-12-27 | Oppo广东移动通信有限公司 | 注视点追踪方法、装置、终端及计算机可读存储介质 |
| CN110728651A (zh) * | 2019-09-03 | 2020-01-24 | 北京爱博同心医学科技有限公司 | 基于增强现实的管状视野图像变形检测方法及眼镜 |
| CN110765987A (zh) * | 2019-11-27 | 2020-02-07 | 北京工业大学 | 创新行为特征的量化方法、装置和电子设备 |
| CN110879976A (zh) * | 2019-12-20 | 2020-03-13 | 陕西百乘网络科技有限公司 | 自适应智能眼动数据处理系统及其使用方法 |
| CN110934599A (zh) * | 2019-12-20 | 2020-03-31 | 东南大学 | 一种自然场景下婴幼儿共同注意评估方法及系统 |
| CN111007939A (zh) * | 2019-11-25 | 2020-04-14 | 华南理工大学 | 一种基于深度感知的虚拟现实系统空间定位方法 |
| CN111199184A (zh) * | 2019-11-20 | 2020-05-26 | 重庆特斯联智慧科技股份有限公司 | 一种用于智慧社区巡防的便携式立体成像设备及使用方法 |
| CN111505837A (zh) * | 2019-12-31 | 2020-08-07 | 杭州电子科技大学 | 一种基于双眼成像分析的视距检测自动变焦光学系统 |
| CN111506280A (zh) * | 2019-01-30 | 2020-08-07 | 施耐德电器工业公司 | 用于指示屏幕外兴趣点的图形用户界面 |
| CN111552076A (zh) * | 2020-05-13 | 2020-08-18 | 歌尔科技有限公司 | 一种图像显示方法、ar眼镜及存储介质 |
| CN111753168A (zh) * | 2020-06-23 | 2020-10-09 | 广东小天才科技有限公司 | 一种搜题的方法、装置、电子设备及存储介质 |
| CN112034977A (zh) * | 2019-06-04 | 2020-12-04 | 陈涛 | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 |
| CN112435347A (zh) * | 2020-11-23 | 2021-03-02 | 济南浪潮高新科技投资发展有限公司 | 一种增强现实的电子书阅读系统及方法 |
| CN112507799A (zh) * | 2020-11-13 | 2021-03-16 | 幻蝎科技(武汉)有限公司 | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 |
| CN112558751A (zh) * | 2019-09-25 | 2021-03-26 | 武汉市天蝎科技有限公司 | 一种智能眼镜基于mems和光波导镜片的视线追踪方法 |
| CN112633273A (zh) * | 2020-12-18 | 2021-04-09 | 上海影创信息科技有限公司 | 基于余光区域的用户偏好处理方法和系统 |
| CN112860059A (zh) * | 2021-01-08 | 2021-05-28 | 广州朗国电子科技有限公司 | 一种基于眼球追踪的图像识别方法、设备及存储介质 |
| CN112860060A (zh) * | 2021-01-08 | 2021-05-28 | 广州朗国电子科技有限公司 | 一种图像识别方法、设备及存储介质 |
| CN112957013A (zh) * | 2021-02-05 | 2021-06-15 | 江西国科美信医疗科技有限公司 | 一种动态生命体征信号采集系统、监测装置及设备 |
| CN113376868A (zh) * | 2021-06-18 | 2021-09-10 | 中国工商银行股份有限公司 | 智能眼镜 |
| CN113465611A (zh) * | 2021-06-29 | 2021-10-01 | 阿波罗智联(北京)科技有限公司 | 导航方法、装置、电子设备及可读存储介质 |
| CN113655622A (zh) * | 2021-09-18 | 2021-11-16 | 物芯智能科技有限公司 | 一种应用在ar及vr折射屏眼动自动调焦系统 |
| CN113676721A (zh) * | 2021-08-20 | 2021-11-19 | 融信信息科技有限公司 | 一种ar眼镜的图像获取方法及系统 |
| CN113941138A (zh) * | 2020-08-06 | 2022-01-18 | 黄得锋 | 一种ar交互控制系统、装置及应用 |
| CN114137726A (zh) * | 2021-10-29 | 2022-03-04 | 安徽赛坦智能科技有限公司 | 一种ar智能警用眼镜及其在线识别监控系统 |
| WO2022061824A1 (en) * | 2020-09-27 | 2022-03-31 | Siemens Aktiengesellschaft | Methods, apparatuses and computer medium for radio signal simulation |
| CN114296548A (zh) * | 2021-12-14 | 2022-04-08 | 杭州朱道实业有限公司 | 一种展览用智能移动识别信息系统 |
| CN114415826A (zh) * | 2020-05-15 | 2022-04-29 | 华为技术有限公司 | 一种数据处理方法及其设备 |
| WO2022127479A1 (en) * | 2020-12-18 | 2022-06-23 | Huawei Technologies Co.,Ltd. | Methods and systems for selection of objects |
| CN114661152A (zh) * | 2022-03-16 | 2022-06-24 | 北京伊园未来科技有限公司 | 一种降低视觉疲劳的ar显示控制系统及方法 |
| CN115103094A (zh) * | 2022-06-16 | 2022-09-23 | 深圳市天趣星空科技有限公司 | 一种基于注视点的摄像头模组远视角调节方法及系统 |
| CN115562490A (zh) * | 2022-10-12 | 2023-01-03 | 西北工业大学太仓长三角研究院 | 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统 |
| WO2023000808A1 (zh) * | 2021-07-21 | 2023-01-26 | 青岛海尔空调器有限总公司 | 用于控制智能家电的方法及装置、智能眼镜 |
| CN115673011A (zh) * | 2022-10-24 | 2023-02-03 | 江阴市圣曼不锈钢线棒品有限公司 | 眼镜边框所用不锈钢丝自适应定制系统及方法 |
| CN115761871A (zh) * | 2022-12-01 | 2023-03-07 | 北京中科睿医信息科技有限公司 | 基于眼动检测的检测图像生成方法、装置、设备及介质 |
| CN115877953A (zh) * | 2023-02-06 | 2023-03-31 | 北京元隆雅图文化传播股份有限公司 | 虚拟现实眼镜 |
| CN116704448A (zh) * | 2023-08-09 | 2023-09-05 | 山东字节信息科技有限公司 | 多摄像头的行人识别方法及识别系统 |
| CN116909408A (zh) * | 2023-09-13 | 2023-10-20 | 中物联讯(北京)科技有限公司 | 一种基于mr智能眼镜的内容交互方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102981616A (zh) * | 2012-11-06 | 2013-03-20 | 中兴通讯股份有限公司 | 增强现实中对象的识别方法及系统和计算机 |
| CN104376314A (zh) * | 2013-08-12 | 2015-02-25 | 天津市阿波罗信息技术有限公司 | 一种面向谷歌眼镜物联网网站系统的构成方法 |
| CN106095089A (zh) * | 2016-06-06 | 2016-11-09 | 郑黎光 | 一种获取感兴趣目标信息的方法 |
| US20160379375A1 (en) * | 2014-03-14 | 2016-12-29 | Huawei Technologies Co., Ltd. | Camera Tracking Method and Apparatus |
-
2018
- 2018-08-10 CN CN201810909305.2A patent/CN109086726B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102981616A (zh) * | 2012-11-06 | 2013-03-20 | 中兴通讯股份有限公司 | 增强现实中对象的识别方法及系统和计算机 |
| CN104376314A (zh) * | 2013-08-12 | 2015-02-25 | 天津市阿波罗信息技术有限公司 | 一种面向谷歌眼镜物联网网站系统的构成方法 |
| US20160379375A1 (en) * | 2014-03-14 | 2016-12-29 | Huawei Technologies Co., Ltd. | Camera Tracking Method and Apparatus |
| CN106095089A (zh) * | 2016-06-06 | 2016-11-09 | 郑黎光 | 一种获取感兴趣目标信息的方法 |
Cited By (84)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109717878A (zh) * | 2018-12-28 | 2019-05-07 | 上海交通大学 | 一种用于孤独症共同注意诊断范式的检测系统及使用方法 |
| CN109801379B (zh) * | 2019-01-21 | 2023-02-17 | 视辰信息科技(上海)有限公司 | 通用的增强现实眼镜及其标定方法 |
| CN109801379A (zh) * | 2019-01-21 | 2019-05-24 | 视辰信息科技(上海)有限公司 | 通用的增强现实眼镜及其标定方法 |
| CN109887000A (zh) * | 2019-01-30 | 2019-06-14 | 北京津发科技股份有限公司 | 注意追踪策略的识别方法、训练方法及其装置 |
| CN111506280A (zh) * | 2019-01-30 | 2020-08-07 | 施耐德电器工业公司 | 用于指示屏幕外兴趣点的图形用户界面 |
| CN109961018A (zh) * | 2019-02-27 | 2019-07-02 | 易念科技（深圳）有限公司 | 脑电信号分析方法、系统及终端设备 |
| CN109688508A (zh) * | 2019-02-28 | 2019-04-26 | 长春理工大学 | 基于脑电波的耳机控制系统 |
| CN110059550A (zh) * | 2019-03-11 | 2019-07-26 | 江苏理工学院 | 一种基于脑电信号的智能辅助学习系统 |
| CN109949228A (zh) * | 2019-03-14 | 2019-06-28 | 北京航空航天大学 | 一种光学透视的ar眼镜的在线标定装置及方法 |
| CN109947253A (zh) * | 2019-03-25 | 2019-06-28 | 京东方科技集团股份有限公司 | 眼球追踪的模型建立方法、眼球追踪方法、设备、介质 |
| CN109947253B (zh) * | 2019-03-25 | 2020-06-19 | 京东方科技集团股份有限公司 | 眼球追踪的模型建立方法、眼球追踪方法、设备、介质 |
| CN109976690A (zh) * | 2019-03-27 | 2019-07-05 | 优奈柯恩(北京)科技有限公司 | Ar眼镜远程交互方法、装置和计算机可读介质 |
| CN111752511A (zh) * | 2019-03-27 | 2020-10-09 | 优奈柯恩(北京)科技有限公司 | Ar眼镜远程交互方法、装置和计算机可读介质 |
| CN109976690B (zh) * | 2019-03-27 | 2020-05-12 | 优奈柯恩(北京)科技有限公司 | Ar眼镜远程交互方法、装置和计算机可读介质 |
| CN110032278A (zh) * | 2019-03-29 | 2019-07-19 | 华中科技大学 | 一种人眼感兴趣物体的位姿识别方法、装置及系统 |
| CN110032278B (zh) * | 2019-03-29 | 2020-07-14 | 华中科技大学 | 一种人眼感兴趣物体的位姿识别方法、装置及系统 |
| CN109996044A (zh) * | 2019-04-17 | 2019-07-09 | 北京亮亮视野科技有限公司 | 基于瞳孔追踪技术的人像识别眼镜、识别方法及可读存储介质 |
| CN109996044B (zh) * | 2019-04-17 | 2021-03-12 | 北京亮亮视野科技有限公司 | 基于瞳孔追踪技术的人像识别眼镜、识别方法及可读存储介质 |
| CN110187855A (zh) * | 2019-05-28 | 2019-08-30 | 武汉市天蝎科技有限公司 | 近眼显示设备的避免全息影像阻挡视线的智能调节方法 |
| CN112034977B (zh) * | 2019-06-04 | 2022-07-19 | 陈涛 | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 |
| CN112034977A (zh) * | 2019-06-04 | 2020-12-04 | 陈涛 | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 |
| CN110428470B (zh) * | 2019-06-18 | 2021-12-03 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于脑电辅助的增强现实眼镜眼动交互自标定方法 |
| CN110428470A (zh) * | 2019-06-18 | 2019-11-08 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于脑电辅助的增强现实眼镜眼动交互自标定方法 |
| CN110275620A (zh) * | 2019-06-26 | 2019-09-24 | Oppo广东移动通信有限公司 | 交互方法、交互装置、头戴设备和存储介质 |
| CN110399039A (zh) * | 2019-07-03 | 2019-11-01 | 武汉子序科技股份有限公司 | 一种基于眼动跟踪的虚实场景融合方法 |
| CN110347257A (zh) * | 2019-07-08 | 2019-10-18 | 北京七鑫易维信息技术有限公司 | 眼球追踪设备的校准方法、装置、设备和存储介质 |
| CN110347265A (zh) * | 2019-07-22 | 2019-10-18 | 北京七鑫易维科技有限公司 | 渲染图像的方法及装置 |
| CN110442486A (zh) * | 2019-08-05 | 2019-11-12 | 北京远舢智能科技有限公司 | 一种基于混合现实技术的远程设备诊断系统和方法 |
| CN110728651A (zh) * | 2019-09-03 | 2020-01-24 | 北京爱博同心医学科技有限公司 | 基于增强现实的管状视野图像变形检测方法及眼镜 |
| CN110619303A (zh) * | 2019-09-16 | 2019-12-27 | Oppo广东移动通信有限公司 | 注视点追踪方法、装置、终端及计算机可读存储介质 |
| CN110599602A (zh) * | 2019-09-19 | 2019-12-20 | 百度在线网络技术（北京）有限公司 | 一种ar模型的训练方法、装置、电子设备及存储介质 |
| CN110599602B (zh) * | 2019-09-19 | 2023-06-09 | 百度在线网络技术（北京）有限公司 | 一种ar模型的训练方法、装置、电子设备及存储介质 |
| CN112558751B (zh) * | 2019-09-25 | 2022-07-01 | 武汉市天蝎科技有限公司 | 一种智能眼镜基于mems和光波导镜片的视线追踪方法 |
| CN112558751A (zh) * | 2019-09-25 | 2021-03-26 | 武汉市天蝎科技有限公司 | 一种智能眼镜基于mems和光波导镜片的视线追踪方法 |
| CN111199184A (zh) * | 2019-11-20 | 2020-05-26 | 重庆特斯联智慧科技股份有限公司 | 一种用于智慧社区巡防的便携式立体成像设备及使用方法 |
| CN111007939B (zh) * | 2019-11-25 | 2021-09-21 | 华南理工大学 | 一种基于深度感知的虚拟现实系统空间定位方法 |
| CN111007939A (zh) * | 2019-11-25 | 2020-04-14 | 华南理工大学 | 一种基于深度感知的虚拟现实系统空间定位方法 |
| CN110765987A (zh) * | 2019-11-27 | 2020-02-07 | 北京工业大学 | 创新行为特征的量化方法、装置和电子设备 |
| CN110765987B (zh) * | 2019-11-27 | 2022-05-17 | 北京工业大学 | 创新行为特征的量化方法、装置和电子设备 |
| CN110879976B (zh) * | 2019-12-20 | 2023-04-21 | 陕西百乘网络科技有限公司 | 自适应智能眼动数据处理系统及其使用方法 |
| CN110934599A (zh) * | 2019-12-20 | 2020-03-31 | 东南大学 | 一种自然场景下婴幼儿共同注意评估方法及系统 |
| CN110879976A (zh) * | 2019-12-20 | 2020-03-13 | 陕西百乘网络科技有限公司 | 自适应智能眼动数据处理系统及其使用方法 |
| CN111505837A (zh) * | 2019-12-31 | 2020-08-07 | 杭州电子科技大学 | 一种基于双眼成像分析的视距检测自动变焦光学系统 |
| CN111552076B (zh) * | 2020-05-13 | 2022-05-06 | 歌尔科技有限公司 | 一种图像显示方法、ar眼镜及存储介质 |
| WO2021227402A1 (zh) * | 2020-05-13 | 2021-11-18 | 歌尔股份有限公司 | 一种图像显示方法、ar眼镜及存储介质 |
| CN111552076A (zh) * | 2020-05-13 | 2020-08-18 | 歌尔科技有限公司 | 一种图像显示方法、ar眼镜及存储介质 |
| US11835726B2 (en) | 2020-05-13 | 2023-12-05 | Goertek, Inc. | Image display method, AR glasses and storage medium |
| CN114415826A (zh) * | 2020-05-15 | 2022-04-29 | 华为技术有限公司 | 一种数据处理方法及其设备 |
| CN111753168A (zh) * | 2020-06-23 | 2020-10-09 | 广东小天才科技有限公司 | 一种搜题的方法、装置、电子设备及存储介质 |
| CN113941138A (zh) * | 2020-08-06 | 2022-01-18 | 黄得锋 | 一种ar交互控制系统、装置及应用 |
| WO2022061824A1 (en) * | 2020-09-27 | 2022-03-31 | Siemens Aktiengesellschaft | Methods, apparatuses and computer medium for radio signal simulation |
| CN112507799B (zh) * | 2020-11-13 | 2023-11-24 | 幻蝎科技(武汉)有限公司 | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 |
| CN112507799A (zh) * | 2020-11-13 | 2021-03-16 | 幻蝎科技(武汉)有限公司 | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 |
| CN112435347A (zh) * | 2020-11-23 | 2021-03-02 | 济南浪潮高新科技投资发展有限公司 | 一种增强现实的电子书阅读系统及方法 |
| CN112633273A (zh) * | 2020-12-18 | 2021-04-09 | 上海影创信息科技有限公司 | 基于余光区域的用户偏好处理方法和系统 |
| US11688148B2 (en) | 2020-12-18 | 2023-06-27 | Huawei Technologies Co., Ltd. | Methods and systems for selection of objects |
| WO2022127479A1 (en) * | 2020-12-18 | 2022-06-23 | Huawei Technologies Co.,Ltd. | Methods and systems for selection of objects |
| US11475642B2 (en) | 2020-12-18 | 2022-10-18 | Huawei Technologies Co., Ltd. | Methods and systems for selection of objects |
| CN112860059A (zh) * | 2021-01-08 | 2021-05-28 | 广州朗国电子科技有限公司 | 一种基于眼球追踪的图像识别方法、设备及存储介质 |
| CN112860060A (zh) * | 2021-01-08 | 2021-05-28 | 广州朗国电子科技有限公司 | 一种图像识别方法、设备及存储介质 |
| CN112957013A (zh) * | 2021-02-05 | 2021-06-15 | 江西国科美信医疗科技有限公司 | 一种动态生命体征信号采集系统、监测装置及设备 |
| CN112957013B (zh) * | 2021-02-05 | 2022-11-11 | 江西国科美信医疗科技有限公司 | 一种动态生命体征信号采集系统、监测装置及设备 |
| CN113376868A (zh) * | 2021-06-18 | 2021-09-10 | 中国工商银行股份有限公司 | 智能眼镜 |
| CN113465611B (zh) * | 2021-06-29 | 2024-03-26 | 阿波罗智联(北京)科技有限公司 | 导航方法、装置、电子设备及可读存储介质 |
| CN113465611A (zh) * | 2021-06-29 | 2021-10-01 | 阿波罗智联(北京)科技有限公司 | 导航方法、装置、电子设备及可读存储介质 |
| WO2023000808A1 (zh) * | 2021-07-21 | 2023-01-26 | 青岛海尔空调器有限总公司 | 用于控制智能家电的方法及装置、智能眼镜 |
| CN113676721A (zh) * | 2021-08-20 | 2021-11-19 | 融信信息科技有限公司 | 一种ar眼镜的图像获取方法及系统 |
| CN113655622A (zh) * | 2021-09-18 | 2021-11-16 | 物芯智能科技有限公司 | 一种应用在ar及vr折射屏眼动自动调焦系统 |
| CN114137726A (zh) * | 2021-10-29 | 2022-03-04 | 安徽赛坦智能科技有限公司 | 一种ar智能警用眼镜及其在线识别监控系统 |
| CN114296548A (zh) * | 2021-12-14 | 2022-04-08 | 杭州朱道实业有限公司 | 一种展览用智能移动识别信息系统 |
| CN114661152A (zh) * | 2022-03-16 | 2022-06-24 | 北京伊园未来科技有限公司 | 一种降低视觉疲劳的ar显示控制系统及方法 |
| CN114661152B (zh) * | 2022-03-16 | 2022-12-20 | 北京伊园未来科技有限公司 | 一种降低视觉疲劳的ar显示控制系统及方法 |
| CN115103094A (zh) * | 2022-06-16 | 2022-09-23 | 深圳市天趣星空科技有限公司 | 一种基于注视点的摄像头模组远视角调节方法及系统 |
| CN115562490A (zh) * | 2022-10-12 | 2023-01-03 | 西北工业大学太仓长三角研究院 | 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统 |
| CN115562490B (zh) * | 2022-10-12 | 2024-01-09 | 西北工业大学太仓长三角研究院 | 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统 |
| CN115673011A (zh) * | 2022-10-24 | 2023-02-03 | 江阴市圣曼不锈钢线棒品有限公司 | 眼镜边框所用不锈钢丝自适应定制系统及方法 |
| CN115761871A (zh) * | 2022-12-01 | 2023-03-07 | 北京中科睿医信息科技有限公司 | 基于眼动检测的检测图像生成方法、装置、设备及介质 |
| CN115761871B (zh) * | 2022-12-01 | 2023-08-11 | 北京中科睿医信息科技有限公司 | 基于眼动检测的检测图像生成方法、装置、设备及介质 |
| CN115877953B (zh) * | 2023-02-06 | 2023-05-05 | 北京元隆雅图文化传播股份有限公司 | 虚拟现实眼镜 |
| CN115877953A (zh) * | 2023-02-06 | 2023-03-31 | 北京元隆雅图文化传播股份有限公司 | 虚拟现实眼镜 |
| CN116704448B (zh) * | 2023-08-09 | 2023-10-24 | 山东字节信息科技有限公司 | 多摄像头的行人识别方法及识别系统 |
| CN116704448A (zh) * | 2023-08-09 | 2023-09-05 | 山东字节信息科技有限公司 | 多摄像头的行人识别方法及识别系统 |
| CN116909408A (zh) * | 2023-09-13 | 2023-10-20 | 中物联讯(北京)科技有限公司 | 一种基于mr智能眼镜的内容交互方法 |
| CN116909408B (zh) * | 2023-09-13 | 2024-02-09 | 中物联讯(北京)科技有限公司 | 一种基于mr智能眼镜的内容交互方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109086726B (zh) | 2020-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086726A (zh) | 一种基于ar智能眼镜的局部图像识别方法及系统 | |
| US10986270B2 (en) | Augmented reality display with frame modulation functionality | |
| US11238568B2 (en) | Method and system for reconstructing obstructed face portions for virtual reality environment | |
| US9953214B2 (en) | Real time eye tracking for human computer interaction | |
| CN104978548B (zh) | 一种基于三维主动形状模型的视线估计方法与装置 | |
| Ishiguro et al. | Aided eyes: eye activity sensing for daily life | |
| Plopski et al. | Corneal-imaging calibration for optical see-through head-mounted displays | |
| US10831268B1 (en) | Systems and methods for using eye tracking to improve user interactions with objects in artificial reality | |
| CN104603673B (zh) | 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法 | |
| CN112034977B (zh) | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 | |
| Hammoud | Passive eye monitoring: Algorithms, applications and experiments | |
| Nitschke et al. | Corneal imaging revisited: An overview of corneal reflection analysis and applications | |
| WO2018203951A1 (en) | Classifying facial expressions using eye-tracking cameras | |
| US20130154918A1 (en) | Enhanced user eye gaze estimation | |
| KR20180120274A (ko) | 생체 인증 정보를 교환하도록 구성된 머리 장착 디스플레이 시스템 | |
| CN113467619B (zh) | 画面显示方法、装置和存储介质及电子设备 | |
| CN114391117A (zh) | 眼睛跟踪延迟增强 | |
| CN108537103B (zh) | 基于瞳孔轴测量的活体人脸检测方法及其设备 | |
| Lemley et al. | Eye tracking in augmented spaces: A deep learning approach | |
| Oyekoya et al. | Eye tracking as a new interface for image retrieval | |
| Bozkir et al. | Eye-tracked virtual reality: A comprehensive survey on methods and privacy challenges | |
| Sun et al. | A Novel Integrated Eye-Tracking System With Stereo Stimuli for 3-D Gaze Estimation | |
| Nitschke | Image-based eye pose and reflection analysis for advanced interaction techniques and scene understanding | |
| JP7128473B2 (ja) | キャラクター表示方法 | |
| Hammoud et al. | Introduction to eye monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201123 Address after: Room 007 (U), 1F college students' innovation and entrepreneurship practice base, Liufang campus, Wuhan Engineering University, 430205 Donghu New Technology Development Zone, Wuhan City, Hubei Province Patentee after: Magic scorpion technology (Wuhan) Co., Ltd Address before: 430014 Donghu High-tech Development Zone, Wuhan City, Hubei Province Patentee before: Chen Tao |
|
| TR01 | Transfer of patent right |