CN209514548U - Ar搜索装置、基于ar搜索装置的物品搜索系统 - Google Patents

Ar搜索装置、基于ar搜索装置的物品搜索系统 Download PDF

Info

Publication number
CN209514548U
CN209514548U CN201822024488.8U CN201822024488U CN209514548U CN 209514548 U CN209514548 U CN 209514548U CN 201822024488 U CN201822024488 U CN 201822024488U CN 209514548 U CN209514548 U CN 209514548U
Authority
CN
China
Prior art keywords
searcher
equipment
camera
space
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201822024488.8U
Other languages
English (en)
Inventor
卫荣杰
房晓俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taap Yi Hai (shanghai) Technology Co Ltd
Original Assignee
Taap Yi Hai (shanghai) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taap Yi Hai (shanghai) Technology Co Ltd filed Critical Taap Yi Hai (shanghai) Technology Co Ltd
Priority to CN201822024488.8U priority Critical patent/CN209514548U/zh
Application granted granted Critical
Publication of CN209514548U publication Critical patent/CN209514548U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本实用新型提供了AR搜索装置、基于AR搜索装置的物品搜索系统,该AR搜索装置包括:可穿戴AR主体设备,用于获取并增强显示环境空间和所述环境空间里的物品的影像数据;物品搜索设备,用于在所述影像数据之中不断缩小搜索范围,直至锁定被搜索物。本实用新型基于AR技术的物品搜索器,让物品搜索更具智能化,知道物品所处的方位,知道使用者希望搜寻、交互的对象,帮助使用者识别环境和对象,从而方便、准确、快速、高效地进行搜索和锁定物品。

Description

AR搜索装置、基于AR搜索装置的物品搜索系统
技术领域
本实用新型涉及搜索技术领域,尤指搜索装置、基于搜索装置的物品搜索系统。
背景技术
不管是什么年代,尤其是当物质丰富了以后,物品越来越多,比如办公用品、家里的各种物件,或者超复杂的结构的装置机械,谁都会碰到一时间找不到物品/零件的情形。在日常的生活、工作或生产过程中,面对大量的物品时,如果没有有效的物品搜索系统、搜索装备,要找到急需的物品需要花费很长的时间和精力,会造成很大的时间和精力的浪费,甚至于找不到,引伸出来的很多后果,已经不是时间和精力能够度量的了。
现在常有的解决方案是,使用前需对每个物品贴RFID标签,并且对标签内容进行数据输入和系统录入,但是使用上不尽如意,比如对大物品还好,对小物品贴在身上会限制该小物品的观赏、把玩或者操作。更有时候,RFID标签容易丢失,一旦丢失,就无法通过RFID搜索器进行物品扫描搜寻了。
如何让物品搜索更具智能化,知道物品所处的方位,知道使用者希望搜寻、交互的对象,帮助使用者识别环境和对象,从而方便、准确、快速、高效地进行搜索和锁定物品是亟需解决的问题。
申请号为201810050821.4的发明,提供一种近眼可透视头显光学系统,包括第一透镜、第二透镜和一个微型图像显示器,第一透镜与第二透镜皆与微型图像显示器贴合,且第一透镜与第二透镜皆为均厚的自由曲面透镜。藉由本发明所提供的近眼可透视头显光学系统架构,除了可以减少光在此光学系统架构中折射的次数外,还可以消除微型图像显示器所发出的光在各个方向的像差,使其在各个方向与角度看影像不会造成像差。
申请号为201821172477.8的实用新型,在上述光学系统的基础上提供一AR显示设备,其中所述AR显示设备包括至少一个显示/投影器和至少一个光学装置,实像通过所述光学装置构建,虚像通过所述显示/投影器在所述光学装置中构建,所述实像和虚像结合出现在同一视场中,其中所述光学装置包括至少一个主透镜以及至少一个自由曲面透镜,所述自由曲面透镜,用于反射所述显示/投影器投射出的影像;所述主透镜,用于再次反射所述显示/投影器投射出的影像。该AR设备能够做到大视角、小体积、轻重量,佩戴使用者能够有沉浸式AR的体验感。
申请号为201810994555.0的发明,进一步在前述AR显示设备的基础上提供了一头戴式虚实交互装置和虚实交互方法,其中所述头戴式虚实交互装置包括头戴AR显示设备,用于通过在所述头戴AR显示设备的视场中至少显示3D虚拟影像;和虚实交互器,用于获取穿戴所述头戴AR显示设备者的行为动作或者控制指令,并根据所述行为动作或者控制指令而改变或者控制所述3D虚拟影像的内容。
发明内容
可在上述引用专利的透光式AR技术或者影像式AR技术的基础之上,本实用新型的目的是提供AR搜索装置、基于AR搜索装置的物品搜索系统,目的在于提供一种新的搜索装置,让物品搜索更具智能化,知道物品所处的方位,也能知道使用者希望搜寻、交互的对象,从而帮助使用者识别环境和对象,方便、准确、快速、高效地进行搜索和锁定物品。
本实用新型提供的技术方案如下:
本实用新型提供一种AR搜索装置,包括:可穿戴AR主体设备和物品搜索设备;所述可穿戴AR主体设备与物品搜索设备电连接;
所述可穿戴AR主体设备,用于获取并增强显示环境空间和所述环境空间里的物品的影像数据;
所述物品搜索设备,用于在所述影像数据之中不断缩小搜索范围,直至锁定被搜索物。
进一步的,所述物品搜索设备包括:指令获取单元和对象确认单元,所述指令获取单元与对象确认单元电连接;
所述指令获取单元,用于获取输入的对象确认指令;
所述对象确认单元,用于根据所述对象确认指令不断缩小搜索范围,直至确认显示的所述影像数据中的目标搜索范围和/或所述被搜索物。
进一步的,所述指令获取单元包括:手势交互部件、头瞄部件、眼动跟踪部件、语控部件中的任意一种或者多种;所述对象确认单元与所述手势交互部件、头瞄部件、眼动跟踪部件、语控部件中的任意一种或者多种电连接;所述手势交互部件包括智慧手套、智慧戒指、控制手柄、体感传感器、手势控制器中的任意一种或者多种;
所述手势交互部件,用于检测手势动作,根据所述手势动作的确定,生成对象确认指令;
所述头瞄部件,用于检测佩戴者的头部动作,根据所述头部动作确定的物品生成对象确认指令;
所述眼动跟踪部件,用于检测眼球的注视动作,根据所述注视动作确定的物品生成对象确认指令;
所述语控部件,用于接收语音输入的对象确认指令。
进一步的,所述AR搜索装置还包括:信息储存单元;所述信息储存单元与所述可穿戴AR主体设备和/或物品搜索设备电连接;
所述信息储存单元,用于预存所述影像数据与物品、所述物品与空间之间对应关系。
进一步的,所述物品搜索设备包括:定位范围锁定单元;
所述定位范围锁定单元,用于获取感测数据,并根据所述感测数据获取所述AR搜索装置所在的空间范围。
进一步的,所述可穿戴AR主体设备包括:定位辅助子单元,和/或,图像识别定位子单元;所述定位辅助子单元和/或图像识别定位子单元与所述可穿戴AR主体设备电连接;
所述定位辅助子单元,用于定位所述可穿戴AR主体设备所在的空间位置;
所述图像识别定位子单元,用于对所述环境图像进行特征提取,将图像特征与预设空间的环境特征进行比较,识别定位所述AR搜索装置所在的空间范围。
进一步的,所述定位辅助子单元包括:卫星定位识别模块、传感定位识别模块、通信定位识别模块中的任意一种或者多种;
所述卫星定位识别模块,用于经纬度定位,并根据经度和纬度数据识别定位所述AR搜索装置所在的空间范围;
所述传感定位识别模块,用于从空间预设的运动传感器,或从设于所述AR搜索装置的运动传感器处获取运动数据,并根据所述运动数据识别定位所述AR搜索装置所在的空间范围;
所述通信定位识别模块,用于与空间预设的至少一个无线接入点进行通信,根据通信信号强度识别定位所述AR搜索装置所在的空间范围。
进一步的,所述可穿戴AR主体设备包括:图像获取单元,图像处理单元和AR显示单元;
所述图像获取单元,用于捕捉现实场景图像;
所述图像处理单元,用于根据所述现实场景图像生成虚拟现实场景图像;
所述AR显示单元,用于增强显示所述虚拟现实场景图像。
进一步的,所述AR搜索装置还包括:环境感测设备,所述环境感测设备与所述可穿戴AR主体设备电连接;
所述环境感测设备,用于获取环境状态,并反馈给所述物品搜索设备,触发/不触发所述物品搜索设备获取控制调节所述环境状态的相关物品的指引。
进一步的,所述AR搜索装置还包括:变焦摄像头,所述变焦摄像头与所述可穿戴AR主体设备电连接;
所述变焦摄像头,用于拉近分割视场后的不同区域内的影像、拉近视场中在双手势构成的方框中的影像、拉近视场中在双手势构成的圆形框中的影像,或者拉近视场中在单手势构成的圆形框中的影像。
本实用新型还提供一种基于AR搜索装置的物品搜索系统,包括:AR搜索装置和辅助摄像设备;
在预设的环境空间中,所述AR搜索装置,用于获取并增强显示所述环境空间里的物品的影像数据,在所述影像数据之中不断缩小搜索范围,直至锁定被搜索物;
所述辅助摄像设备,与所述AR搜索装置通讯连接,用于获取所述环境空间的物品的影像数据,并发送给所述AR搜索装置。
进一步的,所述辅助摄像设备包括:网络摄像头、无人机机载摄像头、无人车车载摄像头、机器人装载摄像头中的任意一种或者多种。
进一步的,所述辅助摄像设备还包括:定位范围锁定单元;
所述定位范围锁定单元,用于获取感测数据,并根据所述感测数据获取物品搜索载体所在的空间范围;所述物品搜索载体包括所述AR搜索装置或者所述辅助摄像设备。
进一步的,所述辅助摄像设备拍摄获取所在空间的环境图像,并发送给所述AR搜索装置:
所述AR搜索装置还包括:图像识别定位子单元;
所述图像识别定位子单元,用于对所述环境图像进行特征提取,将图像特征与预设空间的环境特征进行比较,识别定位所述物品搜索载体所在的空间范围。
进一步的,所述定位范围锁定单元包括:卫星定位识别模块、传感定位识别模块、通信定位识别模块中的任意一种或者多种;
所述卫星定位识别模块,用于从定位卫星处获取经纬度数据,并根据所述经纬度数据识别定位所述物品搜索载体所在的空间范围;
所述传感定位识别模块,用于从空间预设的运动传感器,或从设于所述物品搜索载体的运动传感器处获取运动数据,并根据所述运动数据识别定位所述物品搜索载体所在的空间范围;
所述通信定位识别模块,用于与所述环境空间中预设的至少一个无线接入点进行通信,根据通信信号强度识别定位所述物品搜索载体所在的空间范围。
进一步的,所述物品搜索系统还包括:环境感测设备,所述环境感测设备设置于所述环境空间、AR搜索装置和/或辅助摄像设备;
所述环境感测设备,用于获取环境状态信息,并反馈给所述AR搜索装置,触发/不触发所述AR搜索装置获取控制调节所述环境状态的相关物品的指引。
通过本实用新型提供的AR搜索装置、基于AR搜索装置的物品搜索系统,基于AR技术的物品搜索器,让物品搜索更具智能化,知道物品所处的方位,知道使用者希望搜寻、交互的对象,帮助使用者识别环境和对象,从而方便、准确、快速、高效地进行搜索和锁定物品。并且与申请号为201811102831.4的一种AR遥控器(技术)相结合,形成根据更具智能的搜索及遥控装备,在智能化地搜索到物品的基础上,继续智能化地遥控该搜索到的物品。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对AR搜索装置、基于AR搜索装置的物品搜索系统的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本实用新型AR搜索装置第一实施例的结构示意图;
图2是本实用新型带有手势交互部件的影像式AR头盔的结构示意图;
图3是本实用新型带有手势交互部件的透光式AR头盔的结构示意图;
图4是本实用新型体感传感器的默认坐标体系的示意图;
图5是本实用新型手势交互部件感应指尖的示意图;
图6是本实用新型AR搜索装置的工作流程图;
图7是本实用新型AR搜索装置的拓扑示意图;
图8是本实用新型基于AR搜索装置的物品搜索系统的拓扑示意图;
图9是本实用新型基于AR搜索装置的物品搜索系统的另一个拓扑示意图;
图10是本实用新型基于AR搜索装置的物品搜索系统的另一个拓扑示意图。
附图标号说明:8-手势交互部件;100-AR搜索装置;110-可穿戴AR主体设备;120-物品搜索设备;121-指令获取单元;122-对象确认单元;130-摄像头;200-物品;300-辅助摄像设备;400-虚拟空间中介。
具体实施方式
为了更清楚地说明本实用新型实施例或现有技术中的技术方案,下面将对照附图说明本实用新型的具体实施方式。显而易见地,下面描述中的附图仅仅是本实用新型的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
为使图面简洁,各图中只示意性地表示出了与本实用新型相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
AR(Augmented Reality,增强现实)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术,这种技术的目标是在屏幕上把虚拟世界“套”在现实世界并进行互动。
实施例一
一种AR搜索装置100(搜索器),如图1所示,包括:可穿戴AR主体设备110和物品搜索设备120,可穿戴AR主体设备110与物品搜索设备120电连接;可穿戴AR主体设备110,用于获取并增强显示环境空间和环境空间里的物品200的影像数据;物品搜索设备120,用于在影像数据之中不断缩小搜索范围,直至锁定被搜索物。
具体的,可穿戴AR主体设备110包括:AR眼镜、AR一体机等。可穿戴AR主体设备110还可包括:移动智能设备,例如:智能手机、智能平板等,以及可连接移动智能设备的AR头盔、AR头显等。
可穿戴AR主体设备110根据使用者所在的环境空间,显示环境空间内物品200的影像数据,当使用者处于某一个环境空间内时,可穿戴AR主体设备110显示该环境空间内的物品200的影像数据,然后通过物品搜索设备120根据可穿戴AR主体设备110增强显示的影像数据以及使用者的操作,在影像数据之中不断缩小搜索范围,即先后显示该环境空间内的物品200的影像数据,然后显示该环境空间内某些区域的物品200的影像数据,直至锁定被搜索物。
可选的,物品搜索设备120包括:指令获取单元121和对象确认单元122;指令获取单元121与对象确认单元122电连接;指令获取单元121,用于获取输入的对象确认指令;对象确认单元122,用于根据对象确认指令不断缩小搜索范围,直至确认显示的影像数据中的目标搜索范围和/或被搜索物。
可选的,指令获取单元121包括:手势交互部件、头瞄部件、眼动跟踪部件、语控部件中的任意一种或者多种;对象确认单元122与所述手势交互部件、头瞄部件、眼动跟踪部件、语控部件中的任意一种或者多种电连接;手势交互部件包括智慧手套、智慧戒指、控制手柄、体感传感器、手势控制器中的任意一种或者多种;
手势交互部件8,用于检测手势动作,根据手势动作的确定,生成对象确认指令;
优选地,手势交互部件8用于检测手势动作,根据手势动作确定的物品200生成对象确认指令。手势交互部件即关于手势的体感传感器,例如:LEAP MOTION体感传感器、uSens Fingo。
以LEAP MOTION体感传感器8作为手势交互部件进行解释:
LEAP MOTION体感传感器是一款微米级3D手动交互设备,可以追踪到小至0.01毫米的动作,拥有150度的视角,可以跟踪1个人的10个手指的动作,最大频率是每秒290帧。LEAP MOTION体感传感器营造的空间中捕捉手势,显示手和手臂骨架,人的一只手,有29块骨头、29个关节、123根韧带、48条神经和30条动脉。LEAP MOTION体感传感器也几乎完全掌握这一技术,也就是说它不可能检测出非人手能及的手势出来。
LEAP MOTION体感传感器空间叠加入AR三维展示空间,手势与AR三维展示空间中的物体进行互动/反馈,LEAP MOTION体感传感器都能精确追踪。从技术上说,这是一个8立方英尺的可交互式3D空间。LEAP MOTION体感传感器可追踪全部人的10只手指,精度高达1/100毫米。它远比现有的运动控制技术更为精确。150°超宽幅的空间视场,可以像在真实世界一样随意在3D的空间移动双手。LEAP MOTION体感传感器以超过每秒200帧的速度追踪使用者的手部移动,实现完美同步。
被识别对象包括拇指(Thumb finger)、食指(Index finger)、中指(Middlefinger)、无名指(Ring finger)、小拇指(Pinky finger),每个手指可以获取其初始位置start(X,Y,Z),终止位置end(X,Y,Z)和方向direction(pitch,roll,yaw)。如果通过LEAPMOTION体感传感器,将可以通过徒手的手指指向,进行空间延伸计算,锁定具体物品200。该锁定的具体物品200,可以通过“画中画”模式显示或者“鹰眼”模式显示。
图2为带有手势交互部件的AR头戴显示器(影像式HMD),以及图3为另一个带有手势交互部件的AR头戴显示器(透光式HMD)。
基于AR搜索装置100,结合LeapMotion(2个红外线摄像头130)传感器,来实现手势抓取虚拟物体的功能。
1.利用Unity3D引擎,搭建一个3D的虚拟场景空间,在该虚拟场景空间创建某3D虚拟物体,比如虚拟选择菜单。
2.接入高通制作的六自由度的SDK(软件开发工具包(外语首字母缩写:SDK、外语全称:Software Development Kit)一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。)。通过设备上的陀螺仪定位数据,计算设备在虚拟场景中的位置,同时映射到Unity3D创建的虚拟场景空间中,从而实现能够在3D空间中旋转以及行走的6DOF效果。
3.接入LEAP MOTION体感传感器提供的识别手势(空间参数)的SDK,在虚拟场景空间中加入手模型(包括手部和手臂)。这里需要LEAP MOTION体感传感器的驱动以及硬件设备支持。leapSDK能够把驱动检测到的手势信息参数传递到Unity3D.映射这些信息到手模型上,即可实现将真实的手模拟成虚拟手,并呈现到虚拟的3D场景空间中。
4.在Unity3D引擎中将手势的信息进行分析计算,得到一些特定的手势形状,比如手上食指手指的“指向”的动作。分析得到“指向”动作的开始和结束。开始和结束时依照食指指尖(如图5所示)的延伸线的方向上是否在AR眼镜(深度摄像头130)注视的场景面之内。当指尖的延伸线上的某点与AR眼镜(深度摄像头130)注视的场景面有交点即为进入“指向”的状态,当指尖的延伸线上的某点与AR眼镜(深度摄像头130)注视的场景面没有交点,即为离开“指向”的状态。
5.能够识别“指向”动作之后,分析得到焦点,AR眼镜(深度摄像头130)注视的搜索场景面进一步缩小(显示可以为同步进一步放大),根据焦点锁定的搜索场景面的半径尺寸依需要进行设定。
6.通过Unity3D引擎发布成对应硬件使用平台(包括安卓、iOS、PSP、xbox和PC等)的应用程序。
除了通过LEAP MOTION体感传感器和坐标体系(如图4所示)能识别(徒手)手势控制以外,还可以uSens Fingo、Kinect、Xtion Pro、Real Sense等体感传感器,或者通过手柄控制、智慧手套、手表式IMU传感器等控制器获取手部动作参数的空间值和反馈值识别手势控制。
头瞄部件,用于检测佩戴者的头部动作,根据头部动作确定的物品200生成对象确认指令;眼动跟踪部件,用于检测眼球的注视动作,根据注视动作确定的物品200生成对象确认指令;语控部件,用于接收语音输入的对象确认指令。语控部件包括:麦克风和语义语音判断子模块。头瞄部件的使用,要依赖AR搜索装置100中的陀螺仪等IMU传感器来确定方位。或者通过眼动跟踪摄像头130来代替头瞄,实现鼠标的定位和操作功能。或者也可以通过可穿戴设备,比如智慧手套、智慧戒指、控制手柄等,来实现鼠标的定位和操作功能。
AR设备上的搜索交互方式也是多种多样,包括头瞄、眼动跟踪、声音、智慧手套、控制手柄、徒手手势,以及与虚拟空间中介400的互动方式进行搜索,都极大地丰富了AR搜索设备的实现可能,以及应用范围。例如在影像数据之中不断缩小搜索范围,直至锁定被搜索物,被搜索物包括智能家居和非智能家居,智能家居例如电视、音响、照明灯、空调、加湿器、电扇、空气净化器、智能窗帘、扫地机器人、网络摄像头130、智能桌子、门禁等等。非智能家居包括衣服、书本等等。
可选的,AR搜索装置100还包括:信息储存单元;信息储存单元与可穿戴AR主体设备110和/或物品搜索设备120电连接,用于预存影像数据与物品200和/或,预存物品200与空间之间对应关系。
信息储存单元中包括各网络级的图形图像库、智能电器/智慧电器的搜索指令库、使用者使用存档记录(即常用级的图形图像库和常用智慧电器的搜索指令库)等。除了基于AR技术,还基于弱AI技术,即各种数据库的前期建设,属于该系统事先学习、存储的一个过程。
AR搜索装置100中有信息储存单元,例如存储芯片,存储芯片可穿戴AR主体设备110或者物品搜索设备120中的任意一处。用以存储智慧电器等物品200的图形图像(特征)库,或者,智慧电器等物品200的图形图像和尺寸(特征)库,供使用操作时,作为对比参照(一种的简单图形对照,另一种是深度摄像头130的图形加尺寸对照);还存储有具体家电的控制指令库,供使用操作时,进行调用。AR设备中或者网络中都存储有各种物品200的图像图形数据库、各种外设的指令数据库和使用者使用记录等,这些都为了进一步开发和改善使用者体验,让物品200搜索更人性化,更智能化,提供了有力的后台支撑。如图7所示,由AR搜索装置100直接进行物品200搜索,如果物品200是智慧电器,则AR设备中或者网络中都存储有各种智慧电器的图像图形数据库、搜索指令数据库和使用者使用记录等,这些都为了进一步开发和改善使用者体验,让电器控制更人性化,更方便化,提供了有力的后台支撑。
可选的,物品搜索设备120包括:定位范围锁定单元;定位范围锁定单元,用于获取感测数据,并根据感测数据获取AR搜索装置100所在的空间范围。
可选的,定位范围锁定单元包括:定位辅助子单元,和/或,图像识别定位子单元;定位辅助子单元和/或图像识别定位子单元与可穿戴AR主体设备电连接;定位辅助子单元,用于定位可穿戴AR主体设备110所在的空间位置;图像识别定位子单元,用于对环境图像进行特征提取,将图像特征与预设空间的环境特征进行比较,识别定位AR搜索装置100所在的空间范围。
可选的,定位辅助子单元包括:卫星定位识别模块、传感定位识别模块、通信定位识别模块中的任意一种或者多种;
卫星定位识别模块,用于经纬度定位,并根据经度和纬度数据识别定位AR搜索装置100所在的空间范围;定位卫星包括:GPS定位卫星,北斗定位卫星,格洛纳斯定位卫星和伽利略定位卫星中的任意一种或者多种。
传感定位识别模块,用于从空间预设的运动传感器,或从设于AR搜索装置100的运动传感器处获取运动数据,并根据运动数据识别定位AR搜索装置100所在的空间范围;运动传感器包括:高度计,加速度传感器,重量传感器,磁场仪,陀螺仪,激光探测器,超声波探测器中的任意一种或者多种。
通信定位识别模块,用于与空间预设的至少一个无线接入点进行通信,根据通信信号强度识别定位AR搜索装置100所在的空间范围。
AR眼镜中有空间定位系统(北斗、GPS、格洛纳斯等)和高度计,通过经纬度等信息,定位所在(大)空间是在家中,还是在办公室中。AR眼镜或者头显,所在那个房间,可以由室内定位系统来确定其进入的空间,室内定位系统比如智能路由器、重量传感器、磁场仪、陀螺仪、网络摄像头130、Lifi灯具、激光探头、超声波探测器、深度摄像头130(TOF)等。AR眼镜或者头显,面朝该空间中的某个面,由电子罗盘/地磁仪来确定,朝向东、南、西、北。房屋建筑的朝向很少是朝正方向,因此所说的朝向,大多是指主要的朝向。
AR眼镜或者头显的佩戴者,仰头或者低头,由陀螺仪、水平仪来确定其变化角度。(大)空间例如家中或者办公室中的摆设相对固定,所以,当AR眼镜或者头显的佩戴者确定其空间位置后,朝向某个方向,然后该方向上的可视对象大大缩小。
进一步,AR眼镜或者头显中有眼动跟踪器、头瞄或者以视觉中心点为中心一定可视范围为圆周范围的(大)中央视觉区域,根据上述这些技术措施,可以更近一步地缩小。
本实用新型让AR搜索装置100更具智能化,知道所处的方位,知道佩戴使用者想要搜寻、交互的对象,帮助使用者识别环境和对象,从而进一步进行搜索和锁定被搜索物。
可选的,可穿戴AR主体设备110包括:图像获取单元,图像处理单元和AR显示单元;图像获取单元,用于捕捉现实场景图像;图像处理单元,用于根据现实场景图像生成虚拟现实场景图像;AR显示单元,用于增强显示虚拟现实场景图像。
本技术方案除了基于AR技术,还基于AI技术,下述的第一步骤,属于该系统事先学习存储的一个步骤,如图6所示,其中主要实现步骤包括:
S10:前期物品200(清单)数据库建设
S20:AR搜索装置100在各具体空间中的初始化
S30:大空间(经纬度、高度)定位
S40:小空间(具体房间/室内/朝向)定位
S50:可视范围(朝向)锁定
S60:具体物品200锁定
S70:结束搜索,或者触发虚拟操控界面。
使用者通过AR搜索装置100上的(深度)摄像头130对准某智慧电器对象(冰箱、空调、电视、电扇、电脑、电灯、洗衣机、冰箱等),头显存储器中的智慧电器数据库(需预存储设置)通过对比摄像头130传来的家电图形图像,确定具体家电对象,使用者再通过头瞄部件进入该家电对象的虚拟选择菜单,进行查询、开关、调节或者控制等指令,AR搜索装置100还有短距离通信芯片(指令发出方),智慧电器上也有对应的短距离通信芯片(指令接受方),接受指令后的智慧电器进行相关操作,得以反馈使用者的控制指令。
智慧电器数据库,为事先对家中智慧电器进行图形图像数据收集,和对应的智慧电器控制指令的存储。头瞄部件的使用,要依赖AR搜索装置100中的陀螺仪等IMU传感器来确定方位。或者通过眼动跟踪摄像头130来代替头瞄,实现鼠标的定位和操作功能。或者也可以通过可穿戴设备,比如智慧手套、智慧戒指、控制手柄等,来实现鼠标的定位和操作功能。各种物体的表面可以预贴有特定的二维码或者条形码标签,AR搜索装置100通过扫描改二维码或者条形码标签,可以直接确定被锁定的目标范围。鹰眼(变焦)摄像头130可以帮助远距离分辨二维码或者条形码。
当然,如果使用者通过麦克风和AI语言芯片,告诉AR搜索装置100所要搜寻的目标对象,那么在AR搜索装置100中,会有相应的虚拟箭头指引使用者进行寻找,同时通过耳麦设备,通过声音也会告诉使用者,目标对象的大致方位和具体方位。
通过AR搜索装置100,也可以看到在可视范围内的被搜索的物品200通过发光亮、闪烁等方式提示搜索的使用者。然后,在AR搜索装置100显示的虚拟选择菜单,从具体被头瞄对准的智慧电器中引出,即从AR搜索装置100中看到虚拟物与实体物相互结合的场景,虚拟选择菜单的呈现方式可以是文字按钮式、图标按钮式、也可以是一段动画或视频影像播放。值得一提的是AR搜索装置100也包括耳机/扬声器,有声音或音响的反馈,加强使用者在与虚拟选择菜单互动时的体验效果。
头盔显示可以被普通显示屏(如智能手机、智能平板)代替,头戴摄像头130被移动智能设备的摄像头130代替。显示屏是获取真实图像,再叠加虚拟选择菜单图像;使用者隔着平面显示屏进行对智慧电器的操作。操作结果,也可以在使用者的移动智能设备上进行确认反馈。
可选的,AR搜索装置100还包括:环境感测设备,环境感测设备与可穿戴AR主体设备110电连接;用于获取环境状态,并反馈给物品搜索设备120,触发/不触发物品搜索设备120获取控制调节环境状态的相关物品200的指引。
眼睛是使用者寻找物品200时,最主要用的器官,而AR眼镜就是主要通过视觉(图像)识别和其他辅助手段,帮助使用者进行目标搜索和对象锁定的,更高效和智能。
走进入家中的任何空间,该空间中的感应器(重力传感器、网络摄像头130或者无线AP)感应到AR眼镜的进入,或者AR眼镜的摄像头130通过对该空间的装潢环境识别出该空间的功能定位。假设家中有以下空间,且对应空间序号:
1、门廊;2、起居室;3、餐厅;4、主卧;5、次卧;6、儿童房;7、书房;8、厨房;9、盥洗室;10、储藏室等等。
除了上述的各空间对应的数据库入口,进入某空间后,AR眼镜进一步打开该房间(空间)的数据库,了解该房间(空间)的物品200情况,以及物品200的位置、功能、状态等信息。
有些物理量不可见,但确是引发需要进行调控的原因,比如温度或者光线。下面介绍一下,根据这些物理量引发的搜索和目标确定。
AR眼镜或者头显中有温度传感器,当该空间的温度超过该AR眼镜中温度传感器预设的温度值时,在AR眼镜中,在使用者的视觉范围内,会有一个虚拟的方向箭头,它指引着AR眼镜的朝向,当使用者戴在AR眼镜跟随虚拟箭头转动时,最终箭头会指定向AR眼镜中的空调位置,促使使用者打开该空调的控制界面,进行温度调控。
更智能地,AR眼镜根据系统日历结合温度传感器感知到当日处于高温的夏季还是低温的冬季,率先选择好制冷或是制热模式。
AR眼镜或者头显中有光线传感器,当该空间的光线强度超过该AR眼镜中光强传感器预设的光强度值时,在AR眼镜中,在使用者的视觉范围内,会有一个虚拟的方向箭头,它指引着AR眼镜的朝向,当使用者戴在AR眼镜跟随虚拟箭头转动时,最终箭头会指定向AR眼镜中的窗帘位置,促使使用者拉升窗帘,减少该空间中的光线射入。
同样,当该空间的光线强度低于该AR眼镜中光强传感器预设的光强度值时,在AR眼镜中,在使用者的视觉范围内,会有一个虚拟的方向箭头,它指引着AR眼镜的朝向,当使用者戴在AR眼镜跟随虚拟箭头转动时,最终箭头会指定向AR眼镜中的照明灯位置,促使使用者打开照明灯具,增加该空间中的光线射入。
更智能地,AR眼镜根据时间感知当时处于通常光线较充足的白天,还是晚上。接着上述介绍,在晚上时分,AR眼镜感应时间还会通过虚拟箭头指引使用者去拉上窗帘,而不是仅仅提醒使用者打开电灯就结束。
AR搜索装置100上可设有短距离通信芯片,通过短距离通信芯片帮助室内间接定位,比如室内有多个戴有AR眼镜的使用者,通过AR眼镜之间的通信交流,可以相互确定其在室内的定位距离。短距离通信芯片包括红外发射部件、NFC(Near Field Communication,近场通信)、Wi-Fi、蓝牙、ZigBee、Li-Fi、Z-Wave等通信标准的芯片。
LiFi--Light Fidelity可见光无线通信,灯光上网,即光照上网--以LED照明灯发出的光当作网络信号的传输工具,是利用快速的光脉冲无线传输信息。也就是说无需WiFi信号,点一盏LED灯就能上网。其原理是根据不同速率在光中编码信息,例如LED开表示1,关表示0,通过快速高频开关就能传输信息。LED光学网络通过可见光来传输网络信号,可以直接利用手电筒、照明灯、路灯、室内照明以及公共照明等已有的能耗输出来完成双重任务。灯光上网的特点是低辐射、低能耗,低碳环保。
摄像头130进一步包括:变焦摄像头、深度摄像头、RGB摄像头、TOF摄像头、鱼眼摄像头和/或广角摄像头。
本实施例的AR搜索器代替了原有的基于RFID的搜索器,使用者可以使用不同方式不断缩小搜索范围直至确定被搜索物,给予了多种选择,提高了适用人群的范围。基于AR技术的搜索器,不论短距离还是局域网和广域网,搜索所需要的物品200的效果更直观、高效。通用性强,只需通过AR搜索器就可实现物品200搜索,基于AR技术的虚实结合,让任何搜索器的使用者,都感觉简洁和方便。
本实用新型基于AR技术的虚(虚拟控制指令菜单、虚拟中介物、3D虚拟空间环境和/或3D地图影像)实(具体物品200)结合,让任何搜索器的使用者,都感觉简洁和方便。可视化的物品200搜索工具,克服了人眼搜索的先天不足,大信息量会加重人眼搜索的难度,但对AR眼镜来说不是个问题。基于AR技术的搜索器,不论短距离还是局域网和广域网,搜索效果更直观、高效。短距离的AR搜索工具,使用者戴着AR眼镜,AR眼镜能智能识别使用者所在空间,然后与仅仅通过“看”来缩小使用者的搜索范围,值得一提的是,AR眼镜一开始并不知道使用者在搜索什么,它只是在与使用者的使用过程中,慢慢缩小搜索的范围,帮助使用者完成物品200搜索的目的。
第二实施例
基于AR搜索装置100的物品200搜索系统,包括AR搜索装置100,AR搜索装置100包括:可穿戴AR主体设备110和物品搜索设备120;可穿戴AR主体设备110,用于获取并增强显示环境空间里的物品200的影像数据;物品搜索设备120,用于在影像数据之中不断缩小搜索范围,直至锁定被搜索物。
基于上述实施例的改进,除与上述相同的之外,如图8所示,AR搜索装置100/搜索器,还包括:辅助摄像设备300,与AR搜索装置100通讯连接,用于获取环境空间的物品200的影像数据,并发送给AR搜索装置100。
辅助摄像设备300包括:网络摄像头130、无人机机载摄像头130、无人车车载摄像头130、机器人装载摄像头130中的任意一种或者多种。具体的,可穿戴AR主体设备110与辅助摄像设备300通信连接后,可以实现对智能家居的远距离搜索。
辅助摄像设备300还包括:定位范围锁定单元;
定位范围锁定单元,用于获取感测数据,并根据感测数据获取物品200搜索载体所在的空间范围;物品200搜索载体包括AR搜索装置100或者辅助摄像设备300。
可选的,辅助摄像设备300拍摄获取所在空间的环境图像,并发送给AR搜索装置100:
AR搜索装置100还包括:图像识别定位子单元;
图像识别定位子单元,用于对环境图像进行特征提取,将图像特征与预设空间的环境特征进行比较,识别定述物品搜索载体所在的空间范围。
当物品搜索载体为AR搜索装置100时,使用者佩戴AR搜索装置100,进行近距离的物品搜索,即不断缩小使用者佩戴AR搜索装置100时在大空间范围内时的搜索范围,直至锁定被搜索物。当物品搜索载体为辅助摄像设备300时,若使用者佩戴AR搜索装置100位于第一空间,而辅助摄像设备300设置于第二空间时,则可以无需使用者走动定位大空间,通过辅助摄像设备300就能够帮助使用者远程的定位物品的大空间范围,从而再通过AR搜索装置100在辅助摄像设备300确定的大空间范围内不断的缩小搜索范围,直至锁定被搜索物。
具体的,以无人机机载摄像头130与AR搜索装置100通信连接为例:机载摄像头130可在使用者的控制下移动,并将获取的影像数据发送给AR搜索装置100,因此,使用AR搜索装置100的使用者可远程搜索物品200。本实用新型长距离基于互联网或者物联网的物品搜索,通过网络摄像头130或者移动机器人来实现,对于家中或者办公室的任何空间中的任何物品200,都能进行不在现场的搜索,精确、准确、具体、直观。本实施例中,长距离基于4G、5G、互联网或者物联网的物品搜索,通过辅助摄像设备300来实现,对于家中任何空间中的任何智能家居,都能进行可视化搜索操作,精确、准确、具体、直观。基于AR技术的搜索器,不论短距离还是局域网和广域网,物品搜索效果更直观、高效。比现有的一个智能家居对应一个手机APP的远程物品搜索场景,要方便很多。
优选的,AR搜索装置100还包括:虚拟对象生成单元;
虚拟对象生成单元,用于增强显示提示搜索被搜索物的搜索指引。
优选的,虚拟对象生成单元包括:虚拟指引模块,和/或,虚拟指示生成模块;
虚拟指引模块,用于指引使用者寻找并明确被搜索物;
虚拟指示生成模块,用于在显示的虚拟现实场景图像上叠加虚拟指引图形,虚拟指引图形包括;虚拟方向箭头和/或虚拟分割线。
虚拟指引模块包括:虚拟空间中介400;
虚拟空间中介400,用于提示AR搜索装置100所在的储存管辖空间,以及储存管辖空间内各个物品200的影像数据和/或物品200情况信息;影像数据包括物品200影像和/或物品200识别码;物品200情况信息包括物品200方位、物品200功能、物品200状态中的任意一种或者多种。
虚拟空间中介400技术的介绍,在上述技术的基础之上,介绍一下虚拟空间中介400的技术,所谓虚拟空间中介400是相对于实体认知中介而言的,实体认知中介就是这家的主人或者办公室的行政人员,他/她会告诉你每个空间(房间)的用途,比如家的女主人,会领着客人在家里四处转转,告诉卧室在哪?盥洗室在哪?在哪看电视?在哪玩游戏?在哪用餐?等等,再进一步,会告诉客人一些电器或者物品200的位置和使用方法,比如洗衣机在一楼的洗衣房内、电脑在书房内等等。
如图9所示。虚拟空间中介400,可以称它为空间精灵或者虚拟管家,空间精灵是预先设定好的,设定“它”了解所在空间的环境、功能、方位、经常使用人、空间中的家具、摆设、智慧电器等等、以及某方向上的智能电器/智慧电器。每个空间都有一个相对独立的空间精灵。空间精灵就(立体地)显示在使用者佩戴的AR搜索装置100中,其形象可以根据使用者设定而确定,比如是位虚拟的英国管家形象,也可以是虚拟的卡通形象。
比如进入儿童房,该空间中的感应器(重力传感器、网络摄像头130或者无线AP)感应到AR眼镜的进入,或者AR眼镜的摄像头130通过对儿童房的装潢环境识别出该空间是儿童房,然后AR眼镜与系统中的儿童房(空间)精灵进行对接,获取儿童房的家电、家居、设备等的图形图像数据库。在(儿童房)图形图像数据库中,可查得相关信息如表1所示:
序号 物品名 分类 位置 功能 备注
1 桌子 家居 南窗台下方 书写、阅读 非智能设备
2 椅子 家居 桌子下方 座位 非智能设备
3 家居 靠西墙和北墙 晚间休息 非智能设备
4 钢琴 乐器 靠东墙和书架 弹奏乐器 非智能设备
5 顶灯 灯具 儿童房房顶中央 照明 智能设备,可被遥控
6 台灯 灯具 桌面上 照明 智能设备,可被遥控
7 书架 家居 靠东墙和南墙 放置物品 非智能设备
8 Ipad 数码 书架第1层 电子产品 智能设备,可被遥控
9 窗帘 软装 南窗台内侧 遮光 智能设备,可被遥控
20 顶灯开关 开关 北墙上靠近门 开关顶灯 智能设备,可被遥控
21 拖线板 电源 桌子底下 从南墙下的电源面板引出 智能设备,可被遥控
表1:儿童房图形图像数据库
空间精灵与儿童房的3维实景结合出现,根据AR眼镜中的眼动传感器或者LEAPMOTION体感传感器感应到的头的朝向或手指的指向,空间精灵确定使用者朝向或指向,给出指向对象的相关信息或者控制界面。
比如进入起居室,该空间中的感应器(重力传感器、网络摄像头130或者无线AP)感应到AR眼镜的进入,或者AR眼镜的摄像头130通过对起居室的装潢环境识别出该空间是起居室,然后AR眼镜与系统中的起居室(空间)精灵进行对接,获取起居室的家电、家居、设备等的图形图像数据库。在(起居室)图形图像数据库中,可查得相关信息如表2所示:
序号 物品名 分类 位置 功能 备注
1 落地窗 门窗 朝南,位于起居室与阳台之间 智能设备,可被遥控
2 落地窗帘 软装 南落地窗内侧 遮光 智能设备,可被遥控
3 空调 家电 西墙,近落地窗帘 温度调节 智能设备,可被遥控
4 电视 家电 西墙,电视柜上方 视听娱乐 智能设备,可被遥控
5 电视柜 家居 靠西墙,近空调 放置物品 非智能设备
6 吊灯 灯具 起居室房顶中央 照明 智能设备,可被遥控
7 茶几 家居 近沙发 放置物品 非智能设备
8 花艺 摆设 茶几上 装饰 非智能设备
9 装饰画1 摆设 贴东墙 装饰 非智能设备
20 沙发 家居 靠东墙 座位 非智能设备
21 扫地机器人 家电 东墙近电源的泊位 地面清洁 智能设备,可被遥控
表2:起居室图形图像数据库
空间精灵与起居室的3维实景结合出现,根据AR眼镜中的眼动传感器或者LEAPMOTION体感传感器感应到的头的朝向或手指指向,空间精灵确定使用者指向,给出指向对象的相关信息或者虚拟控制界面。
上述示例均是通过AR搜索装置100近距离对环境空间内的物品200进行搜索。
走进入公司办公室的任何空间,该空间中的感应器(重力传感器、网络摄像头130或者无线AP)感应到AR眼镜的进入,或者AR眼镜的摄像头130通过对该空间的装潢环境识别出该空间的功能定位。假设办公室中有以下空间,且对应空间序号:1、前台;2、办公区;3、大会议室;4、小会议室;5、总裁办公室;6、总监办公室;7、经理办公室;8、财务室;9、IT机房;10、茶水间;11、盥洗室等等。联网控制技术的介绍,如图10所示:
对于不在近前的空间中搜寻目标对象,就需要引入网络技术,在家中可以使用WIFI信号作为控制指令的载体;在办公室遥控家中的智能电器/智慧电器需要用的广域网或者IoT技术。在可能搜索空间设有网络摄像头130,需配合AR眼镜进行操控,即AR眼镜先通过局域网或者广域网连接如该房间中的网络摄像头130,通过网络摄像头130搜索具体的目标对象。除了上述的各房间对应的数据库入口,进入某房间后,AR眼镜进一步打开该房间(空间)的数据库,了解该房间(空间)的物品200情况,以及物品200的位置、功能、状态等信息。
办公区域空间与家庭空间最大的区别在于,前者少有阻隔墙,或者通过透明大落地玻璃进行分割,比如在一个大的办公区里同时有2~3个部门的同事在办公,所以没法通过相对封闭空间的区别来区分办公室的空间。因此在最初的(物品200空间)数据库建设过程中,需要引入空间划分,即在一个大的物理空间中,进行虚拟空间(尺寸)的划分,虚拟空间划分完,使用者带着AR眼镜会根据陀螺仪等传感器,第一时间感知区域的变化。
所以,在最先前的物品200(清单)数据库建设时,物品200和空间的关系定义,将是十分重要的,它会影响后续搜索的进程、效率,乃至结果。实践中,可以设定虚拟空间界线,使用者通过AR眼镜可以清晰地看到在现实世界中不存在的虚拟空间界线。通过互联网环境,可识别的目标对象将大大拓展,也可接入各大品牌厂商的云数据库,寻找和对比产品图形图像,进行物联网络(LoRa或者Nb-IoT)的远程操作,当然各智慧电器中都已经内嵌了物联网通信芯片,以便接受来自物联网的指令信号,并进行回应。
NB-IoT(Narrow Band Internet ofThings)蜂窝的窄带物联网的一个新兴的技术,支持低功耗设备在广域网的蜂窝数据连接,是万物互联网络的一个重要分支。NB-IoT构建于蜂窝网络,只消耗大约180KHz的带宽,可直接部署于GSM网络、UMTS网络或LTE网络,以降低部署成本、实现平滑升级。NB-IoT具有以下特点:支持待机时间长,电池寿命至少10年;支撑海量连接的能力,NB-IoT一个扇区能够支持10万个连接;对网络连接要求较高设备的高效连接,同时还能提供非常全面的室内蜂窝数据连接覆盖;模块成本低。
现在大多数的物品200都有自己LOGO,通过AR设备对LOGO的识别,更容易锁定品牌厂商,也更容易接入品牌厂商的云端数据库,确定具体的搜索物品200,比如三色牌的物品200多为沙发,而不是电脑;苹果牌的是手机,而不是电视,等等。
另,相较于固定一处的网络摄像头130,智能的移动小机器人则灵活许多,它身上带有室内定位的传感器,驱动它可以进入家中的任何房间,然后通过它的眼睛(摄像头130)可以对具体物品200进行AR“捕捉”,然后实现远程目标锁定。网络摄像头130或者移动机器人,带有地磁传感器,可以用于确定其摄像头130的朝向。
智能移动终端(手机或者PAD)还可通过短信、微信、彩信、APP或者蜂窝移动通信方式发出智慧电器的无线搜索指令信号,进行目标搜索。
基于AR技术的虚(虚拟视觉网格、手势)实(具体场景)结合,让任何搜索器的使用者,都感觉简洁和方便,尤其是对(暂时)丧失语言能力和肌肉控制能力的病患,是福音神器,再辅助以语言语义识别技术,使用者的搜索效率更快,更准确,还让老人和儿童使用者感觉到使用上的便利。在AR设备上,包括AR一体机、AR眼镜、智能手机或者PAD,生成虚拟空间中介400——空间精灵,很好地与搜索目标物品200的使用者进行良性互动,明确和明晰使用者的具体范围、范围程度和目标对象,这样大大简化了技术的实现,智能化程度更强,可靠性高、应用范围广。
可选的,物品200搜索系统还包括:环境感测设备,设置于环境空间、AR搜索装置100和/或辅助摄像设备300;环境感测设备用于获取环境状态信息,并反馈给AR搜索装置100,触发/不触发AR搜索装置100获取控制调节环境状态的相关物品200的指引。
具体的,本实施例相对于上述AR搜索装置100的实施例而言,设于AR搜索装置100的环境感测设备只能近距离使用。将环境感测设备独立出来,可以根据需求设于AR搜索装置100、辅助摄像设备300、环境空间的任意一处或者多处。这样,环境感测设备设于辅助摄像设备300和/或环境空间,若辅助摄像设备300设于环境空间处,则使用者就能够实现远程的佩戴或者使用AR搜索装置100进行物品200搜索以及根据使用者控制指令远程控制具有通信功能的智慧电器。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本实用新型的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本实用新型原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本实用新型的保护范围。

Claims (12)

1.一种AR搜索装置,其特征在于,包括:可穿戴AR主体设备和物品搜索设备,所述可穿戴AR主体设备与物品搜索设备电连接;
其中,所述可穿戴AR主体设备包括框架体、被设置于所述框架体的显示屏幕和佩戴部;
所述佩戴部形成一佩戴空间,所述框架体被设置于所述佩戴部,所述物品搜索设备被设置于所述框架体,所述显示屏幕连接于所述物品搜索设备。
2.根据权利要求1所述的AR搜索装置,其特征在于,所述物品搜索设备包括:指令获取单元和对象确认单元,所述指令获取单元与对象确认单元电连接;所述指令获取单元和对象确认单元被分别设置于所述框架体。
3.根据权利要求2所述的AR搜索装置,其特征在于,所述指令获取单元包括:手势交互部件、头瞄部件、眼动跟踪部件、语控部件中的任意一种或者多种;所述手势交互部件包括智慧手套、智慧戒指、控制手柄、体感传感器、手势控制器中的任意一种或者多种;其中,所述手势交互部件、头瞄部件、眼动跟踪部件、语控部件设置于所述框架体。
4.根据权利要求1所述的AR搜索装置,其特征在于,所述AR搜索装置还包括:信息储存单元,其中所述信息储存单元被设置于所述框架体,所述信息储存单元与所述可穿戴AR主体设备和/或物品搜索设备电连接。
5.根据权利要求1所述的AR搜索装置,其特征在于,所述物品搜索设备包括:定位辅助子单元,和/或,图像识别定位子单元;所述定位辅助子单元和/或图像识别定位子单元与所述可穿戴AR主体设备电连接。
6.根据权利要求5所述的AR搜索装置,其特征在于,所述定位辅助子单元包括:卫星定位识别模块、传感定位识别模块、通信定位识别模块中的任意一种或者多种;其中所述卫星定位识别模块、传感定位识别模块、通信定位识别模块被分别设置于所述框架体。
7.根据权利要求1所述的AR搜索装置,其特征在于,所述AR搜索装置还包括:环境感测设备,所述环境感测设备与所述可穿戴AR主体设备电连接;所述环境感测设备被设置于所述框架体。
8.根据权利要求1所述的AR搜索装置,其特征在于,所述物品搜索设备还包括摄像头,所述摄像头进一步包括:变焦摄像头、深度摄像头、RGB摄像头、TOF摄像头、鱼眼摄像头和/或广角摄像头。
9.一种基于AR搜索装置的物品搜索系统,其特征在于,包括:AR搜索装置和辅助摄像设备;
可穿戴AR主体设备、物品搜索设备,所述可穿戴AR主体设备与物品搜索设备电连接;其中,所述可穿戴AR主体设备包括框架体、被设置于所述框架体的显示屏幕和佩戴部;
所述佩戴部形成一佩戴空间,所述框架体被设置于所述佩戴部,所述物品搜索设备被设置于所述框架体,所述显示屏幕连接于所述物品搜索设备;
所述辅助摄像设备,与所述AR搜索装置通讯连接。
10.如权利要求9所述的基于AR搜索装置的物品搜索系统,其特征在于,所述辅助摄像设备包括:网络摄像头、无人机机载摄像头、无人车车载摄像头、机器人装载摄像头中的任意一种或者多种。
11.根据权利要求9所述的基于AR搜索装置的物品搜索系统,其特征在于,所述AR搜索装置包括:卫星定位识别模块、传感定位识别模块、通信定位识别模块中的任意一种或者多种;其中所述卫星定位识别模块、传感定位识别模块、通信定位识别模块被分别设置于所述框架体。
12.根据权利要求9所述的基于AR搜索装置的物品搜索系统,其特征在于,所述物品搜索系统还包括:环境感测设备,所述环境感测设备设置于所述环境空间、AR搜索装置和/或辅助摄像设备。
CN201822024488.8U 2018-12-04 2018-12-04 Ar搜索装置、基于ar搜索装置的物品搜索系统 Active CN209514548U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201822024488.8U CN209514548U (zh) 2018-12-04 2018-12-04 Ar搜索装置、基于ar搜索装置的物品搜索系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201822024488.8U CN209514548U (zh) 2018-12-04 2018-12-04 Ar搜索装置、基于ar搜索装置的物品搜索系统

Publications (1)

Publication Number Publication Date
CN209514548U true CN209514548U (zh) 2019-10-18

Family

ID=68193635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201822024488.8U Active CN209514548U (zh) 2018-12-04 2018-12-04 Ar搜索装置、基于ar搜索装置的物品搜索系统

Country Status (1)

Country Link
CN (1) CN209514548U (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111228791A (zh) * 2019-12-30 2020-06-05 塔普翊海(上海)智能科技有限公司 真人ar射击游戏装备、基于ar技术的射击对战系统及方法
CN117148959A (zh) * 2023-02-27 2023-12-01 荣耀终端有限公司 眼动追踪的帧率调整方法及相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111228791A (zh) * 2019-12-30 2020-06-05 塔普翊海(上海)智能科技有限公司 真人ar射击游戏装备、基于ar技术的射击对战系统及方法
CN117148959A (zh) * 2023-02-27 2023-12-01 荣耀终端有限公司 眼动追踪的帧率调整方法及相关装置

Similar Documents

Publication Publication Date Title
US11257292B2 (en) Object holographic augmentation
US10130548B2 (en) System and method to assist users having reduced visual capability utilizing lighting device provided information
CN109324693A (zh) Ar搜索装置、基于ar搜索装置的物品搜索系统及方法
CN103493106B (zh) 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上的方法和装置
JP2020101560A (ja) レーダ対応センサフュージョン
CN109088803A (zh) 一种ar遥控装置、智能家居遥控系统及方法
WO2018145447A1 (zh) 一种终端工作控制方法、装置及终端
WO2018043732A1 (ja) オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム
CN105631773A (zh) 用于提供地图服务的电子设备和方法
JP6705124B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
CN110114988A (zh) 发送方法、发送装置及程序
CN107343392A (zh) 显示方法以及显示装置
JPWO2014181380A1 (ja) 情報処理装置およびアプリケーション実行方法
US11195341B1 (en) Augmented reality eyewear with 3D costumes
CN209514548U (zh) Ar搜索装置、基于ar搜索装置的物品搜索系统
JP2018142090A (ja) キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム、記録媒体及びキャラクタ画像生成システム
CN208723929U (zh) 一种ar遥控器
JP7287950B2 (ja) 通信方法、通信装置、およびプログラム
CN109272549A (zh) 一种红外热点的位置确定方法及终端设备
WO2022009338A1 (ja) 情報処理端末、遠隔制御方法およびプログラム
CN104050697B (zh) 收集人体动作及相关信息生成微电影的方法及系统
KR20170059813A (ko) 이동 단말기 및 그의 정보 제공방법
JP2016192096A (ja) 物体認識選択装置、物体認識選択方法及びプログラム
CN202584597U (zh) 一种多功能智能数码相框
US20230071828A1 (en) Information processing apparatus, information processing system, and information processing method

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant