CN106843491A - 带增强现实的智能设备及电子设备 - Google Patents
带增强现实的智能设备及电子设备 Download PDFInfo
- Publication number
- CN106843491A CN106843491A CN201710064509.6A CN201710064509A CN106843491A CN 106843491 A CN106843491 A CN 106843491A CN 201710064509 A CN201710064509 A CN 201710064509A CN 106843491 A CN106843491 A CN 106843491A
- Authority
- CN
- China
- Prior art keywords
- smart machine
- electronic equipment
- information
- intelligent glasses
- analysis result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 32
- 230000005540 biological transmission Effects 0.000 claims abstract description 15
- 230000001953 sensory effect Effects 0.000 claims abstract description 11
- 239000011521 glass Substances 0.000 claims description 100
- 238000012545 processing Methods 0.000 claims description 21
- 210000000988 bone and bone Anatomy 0.000 claims description 20
- 238000004040 coloring Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 11
- 230000001771 impaired effect Effects 0.000 description 29
- 238000000034 method Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 20
- 230000033001 locomotion Effects 0.000 description 20
- 230000001133 acceleration Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000004888 barrier function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 241000283070 Equus zebra Species 0.000 description 1
- 241000288105 Grus Species 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 210000000860 cochlear nerve Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000010358 mechanical oscillation Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000002985 organ of corti Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
本公开是关于一种带增强现实的智能设备及电子设备，属于通信技术领域。一种带增强现实的智能设备，所述智能设备包括：图像传感组件，用于获取取景区域内的图像信息；惯性传感器组件，用于检测所述图像传感组件的方位信息；第一数据发送模块，用于将所述图像信息和所述方位信息发送至一电子设备，其中所述电子设备根据所述图像信息和所述方位信息进行场景识别并获得分析结果；第一数据接收模块，用于接收所述电子设备返回的所述分析结果。本发明能够实现辅助识别周围环境信息并自动对其进行分析。
Description
技术领域
本公开涉及通信技术领域，尤其涉及一种带增强现实的智能设备及电子设备。
背景技术
相关数据显示，目前中国的视障人士达1300万人，但由于国内目前的视障人士基础设施不够完善，视障人士出行存在诸多不安全因素。
智能眼镜是一种新兴的头部可穿戴智能设备。智能眼镜像智能手机一样具有独立的操作系统，可以由用户安装软件、游戏等程序，可通过操控完成添加日程、地图导航、与好友互动、拍摄照片和视频、与好友展开视频通话等功能，并可以通过移动通讯网络实现无线网络接入。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供一种带增强现实的智能设备及电子设备，能够用于解决上述现有技术中的至少一部分或者全部技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种带增强现实的智能设备，所述智能设备包括：
图像传感组件，用于获取取景区域内的图像信息；
惯性传感器组件，用于检测所述图像传感组件的方位信息；
第一数据发送模块，用于将所述图像信息和所述方位信息发送至一电子设备，其中所述电子设备根据所述图像信息和所述方位信息进行场景识别并获得分析结果；
第一数据接收模块，用于接收所述电子设备返回的所述分析结果。
在本公开的一种示例性实施例中，所述智能设备包括智能眼镜，所述智能眼镜包括：
镜架，包括左右两个镜框；
镜片，设置于所述镜架的左右两个镜框内；
镜腿，与所述镜架的两端铰接；
所述惯性传感器组件包括多个子传感器，所述多个子传感器能够分别设置于以下至少一处：所述镜架、所述镜片、所述镜腿。
在本公开的一种示例性实施例中，所述智能设备还包括USB接口，所述USB接口能够通过USB线将所述智能设备与所述电子设备进行电连接，且所述USB线包括供电线路和数据线路，所述智能设备通过所述USB线从所述电子设备获得电源供应。
在本公开的一种示例性实施例中，所述USB接口设置于所述智能眼镜的镜腿上且所述USB接口向后开口和/或向下开口。
在本公开的一种示例性实施例中，所述智能设备还包括：
麦克风，设置在所述镜架上用于将所述分析结果转换为声音电波信号；
骨传导耳机，设置在所述镜腿上用于将所述麦克风转换的声音电波信号转换为骨传导振动信号。
在本公开的一种示例性实施例中，所述图像传感组件包括双目摄像头，且所述双目摄像头分别设置于所述左右两个镜框的上侧。
根据本公开的一个方面，提供一种电子设备，包括：
第二数据接收模块，用于接收一智能设备发送的取景区域内的图像信息和用于获取所述图像信息的图像传感组件的方位信息；
处理模块，用于根据所述图像信息和所述方位信息进行场景识别并获得分析结果；
第二数据发送模块，用于将所述分析结果发送至所述智能设备。
在本公开的一种示例性实施例中，所述处理模块包括：
根据所述图像信息获得所述取景区域内的点的集合和各点的颜色信息；
通过预设算法获取各点在第一坐标系中的坐标位置及各点的距离；
根据各点在所述第一坐标系中的坐标位置及各点的距离、所述方位信息获取各点在第二坐标系中的坐标位置。
在本公开的一种示例性实施例中，所述处理模块还包括：
根据各点在所述第二坐标系中的坐标位置及各点的颜色信息，进行场景识别；
对所述场景识别的结果进行分析，获取所述分析结果。
在本公开的一种示例性实施例中，所述分析结果包括：所述取景区域内的障碍物信息。
根据本公开的带增强现实的智能设备及电子设备，能够实现自动采集周围环境信息，自动分析并给出分析结果，可以用于辅助视障人士出行、自动驾驶等功能。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1示意性示出根据本公开示例实施方式的一种带增强现实的智能设备的方块图；
图2A示意性示出根据本公开示例实施方式的一种智能眼镜的立体图；
图2B示意性示出图2A所示的智能眼镜的后视图；
图2C示意性示出图2A所示的智能眼镜的仰视图；
图3示意性示出根据本公开示例实施方式的一种电子设备的方块图；
图4示意性示出根据本公开示例实施方式的另一种电子设备的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1示意性示出根据本公开示例实施方式的一种带增强现实的智能设备的方块图。
如图1所示，该带增强现实的智能设备10可以包括：图像传感组件110、惯性传感器组件120、第一数据发送模块130以及第一数据接收模块140。
其中图像传感组件110可以用于获取取景区域内的图像信息。
例如，图像传感组件110可以采用单目摄像头、双目摄像头、三目摄像头等中的任意一种。
这里的图像传感组件110主要用于获取其视觉范围内的图像信息。其中双目摄像头像人类的双眼，可以通过两幅图像的视差计算来确定距离。
惯性传感器组件120可以用于检测所述图像传感组件的方位信息。
例如，惯性传感器组件120可以包括加速度计、陀螺仪、磁力计等中的任意一种或者多种。在一实施例中，其中所述磁力计和/或陀螺仪用于检测所述图像传感组件的方向信息和竖直于地心的方向轴的夹角信息。
第一数据发送模块130可以用于将所述图像信息和所述方位信息发送至一电子设备，其中所述电子设备根据所述图像信息和所述方位信息进行场景识别并获得分析结果。
其中，所述电子设备可以为智能手机、平板电脑、台式计算机、服务器等任意的电子设备，本公开对此不作限定。所述电子设备根据所述图像信息和所述方位信息进行场景识别并获得分析结果的详细实现步骤可以参考下述图3所示的实施例，在此不再详述。
第一数据接收模块140可以用于接收所述电子设备返回的所述分析结果。
在示例性实施例中，第一数据发送模块130和第一数据接收模块140实现的数据收发功能可以采用有线线缆或者无线通信的方式实现。无线方式可以包括：Wifi连接方式；或者蓝牙连接方式；或者红外连接方式等等。
其中，智能设备10可以是智能眼镜、辅助自动驾驶的智能设备等，本公开对此不作限定。在下面的实施例中以智能设备10为智能眼镜、所述电子设备为智能手机为例进行详细说明。
下面结合图2A-2C来说明本示例性实施例中的智能眼镜，其中图2A示意性示出根据本公开示例实施方式的一种智能眼镜的立体图；图2B示意性示出图2A所示的智能眼镜的后视图；图2C示意性示出图2A所示的智能眼镜的仰视图。
在示例性实施例中，所述智能眼镜可以包括：镜架1，包括左右两个镜框11；镜片2，设置于镜架1的左右两个镜框11内；左右两个镜腿3，其分别与镜架1的两端铰接；惯性传感器组件(图中未示出)包括多个子传感器，所述多个子传感器能够分别设置于以下至少一处：镜架1、镜片2、镜腿3。
需要说明的是，在示例性实施例中，镜片2是可拆卸的设置于镜框2内的，即可将镜片2取下来，本公开实施方式中是否具有镜片2并不影响本发明目的的实现。
在一实施例中，镜片2可以是带显示屏功能的镜片，其上可以显示出智能手机发送的视频或者图片或者文字等。
在示例性实施例中，所述惯性传感器组件可以包括加速度计、陀螺仪、磁力计等。
其中所述加速度计利用了其内部的由于加速度造成的晶体变形这个特性。由于这个变形会产生电压，只要计算出产生电压和所施加的加速度之间的关系，就可以将加速度转化成电压输出。当然，还有很多其它方法来制作加速度传感器，比如电容效应，热气泡效应，光效应，但是其最基本的原理都是由于加速度产生某个介质产生变形，通过测量其变形量并用相关电路转化成电压输出。一方面，通过加速度计可以测量由于重力引起的加速度，从而可以计算出该智能眼镜相对于水平面的倾斜角度。其可以用于判断该智能眼镜的佩戴者的行走姿势是否倾斜。另一方面，通过分析动态加速度，可以分析出智能眼镜移动的速度，即智能眼镜的佩戴者的行走速度。
所述陀螺仪可以采用三轴陀螺仪，三轴陀螺仪的工作原理是通过测量三维坐标系内陀螺转子的垂直轴与设备之间的夹角，并计算角速度，通过夹角和角速度来判别物体在三维空间的运动状态。三轴陀螺仪可以同时测定上、下、左、右、前、后等6个方向(合成方向同样可分解为三轴坐标)，最终可判断出设备的移动轨迹和加速度。也就是说陀螺仪通过测量自身的旋转状态，判断出设备当前运动状态，是向前、向后、向上、向下、向左还是向右，是加速(角速度)还是减速(角速度)，都可以实现。
所述磁力计可用于测试磁场强度和方向，定位智能眼镜的方位，可以测量出智能眼镜与东南西北四个方向上的夹角，即可以检测智能眼镜的佩戴者的行走方向。
在示例性实施例中，可以同时使用所述磁力计和所述加速度计来运算出该智能眼镜的方位信息，运算出的方位信息需要同时结合磁场方向和方向运动情况才能得到。
在一实施例中，通过该智能眼镜的上述多个子传感器测量获得该智能眼镜或者其佩戴者的多个状态参数，并将该多个状态参数传送给与该智能眼镜电连接的智能手机，智能手机的处理模块通过植入相应的软件以用于依据所述多个状态参数计算出所述智能眼镜相对于水平面的倾斜角度、所述智能眼镜的移动速度、所述智能眼镜的方位信息等。
在另一实施例中，所述惯性传感器组件还可以包括测距传感器，可以依据所述测距传感器所测得的障碍物距离，向智能眼镜的佩戴者发出预警提示。
参考图2B所示的后视图，该智能眼镜还可以包括USB接口4，USB接口4能够通过USB线将该智能眼镜与所述电子设备(如智能手机)进行电连接，且所述USB线可以同时包括供电线路和数据线路，智能眼镜可以通过所述USB线从所述电子设备获得电源供应，并可以通过所述USB线的数据线路实现该智能眼镜和该智能手机之间的数据收发功能。
在一实施例中，所述智能眼镜自身不包括任何电源模块或者仅包括一个电量很小、体积和重量均很小的电源模块(例如纽扣电池等)，其主要是通过USB线从智能手机的电源模块(例如电池)获得电源供应，这样可以减轻智能眼镜的重量，提高佩戴者的舒适度。同时，如果该智能眼镜上安装电池，其中就需要在电池续航和机身重量上权衡，两者取其一都难以保证用户长时间使用，因此不高于1.2w功耗的智能眼镜配合智能手机绰绰有余，因此足够日常的使用；还可以加入省电模式延长智能眼镜的服务时间，并且在外出行动结束时，就可以关闭掉智能眼镜。该智能手机可以采用电池供电，该电池采用充电电路与锂电池的结合，耦合至USB接口为智能眼镜供电。
而在另一实施例中，所述智能眼镜自身可以包括电源模块，其不需要通过智能手机的电源模块来获得电源供应。
在示例性实施例中，USB接口4设置于所述智能眼镜的镜腿3上(例如，镜腿3的一端)且USB接口4向后开口(如图2B所示)和/或向下开口。其中USB接口4向后开口有利于智能眼镜的佩戴和取下，而不会在取下的时候勾住耳朵。
需要说明的是，虽然图2B中仅在智能眼镜左侧的镜腿3一端示出一个USB接口4，但本公开并不限定于此，例如，还可以同时在智能眼镜右侧的镜腿3一端设置另一USB接口4，或者仅在智能眼镜右侧的镜腿3一端设备一USB接口4。
在示例性实施例中，所述智能眼镜还可以包括：麦克风(图中未示出)，设置在镜架1上，用于将所述电子设备返回给所述智能眼镜的分析结果转换为声音电波信号；骨传导耳机5，设置在镜腿3上可以用于将所述麦克风转换的声音电波信号转换为骨传导振动信号。
骨传导是一种声音传导方式，即将声音转化为不同频率的机械振动，通过人的颅骨、骨迷路、内耳淋巴液传递、螺旋器、听神经、听觉中枢来传递声波。相对于通过振膜产生声波的经典声音传导方式，骨传导省去了许多声波传递的步骤，能在嘈杂的环境中实现清晰的声音还原，而且声波也不会因为在空气中扩散而影响到他人。利用这些骨传导技术制造的耳机，称之为骨传导耳机，也被称作骨导耳机、骨感耳机、骨传耳机和骨传感耳机。
需要说明的是，虽然图2A中在智能眼镜的左右两个镜腿3上分别各对称示出了一对骨传导耳机5，但本公开并不限定于此，在其他实施例中，还可以仅在左侧的镜腿3上设置一个骨传导耳机5，或者仅在右侧的镜腿3上设置一个骨传导耳机5。
在本实施例中，通过骨传导耳机将声音信息传导给视障人士，对于视障人士而言，正常的听力通道对其感知世界十分重要，智能眼镜不应阻碍其正常的听力通道。通过骨传导耳机，可以在不阻碍其正常的听力通道的同时，向其传达额外的声音信息。
在另一实施例中，骨传导耳机5是可旋转，这样可以适配不同的头型。
在示例性实施例中，骨传导耳机5设置于镜腿3上且靠近智能眼镜的佩戴者的耳朵位置，该位置设置便于佩戴者更易听到所述麦克风的语音播报，播报的内容为智能手机传送过来的分析结果转换成的语音输出信息。在一实施例中，骨传导耳机5还可以依据实际情况的危险程度，调大或调小音量以提醒视障人士。
在示例性实施例中，所述智能眼镜还可以包括图像传感组件。继续参考图2A所示的实施例，所述图像传感组件包括双目摄像头(左摄像头61和右摄像头62)，且所述双目摄像头分别设置于所述左右两个镜框11的上侧。
在其他实施例中，所述图像传感组件还可以设置于智能眼镜的镜片2上，本公开对图像传感组件的数量、设置位置不作具体限定，其用于采集所述智能眼镜前方的图像信息，并可以通过USB线将所述图像信息传送至所述电子设备例如智能手机。该接收到所述图像信息的智能手机能够计算分析出所述图像信息中的障碍物信息。
在示例性实施例中，所述智能眼镜采用分体式设计，并且是电连接智能手机使用的。所述智能眼镜中不含或者少量含有计算单元，而把大部分对数据的处理迁移至智能手机端进行，这样可以大大减少智能眼镜的体积，减轻该智能眼镜的佩戴者面部附近的发热量，因为减轻了发热问题，从而可以提高佩戴舒适度。另一方面，作为视障人士每天都需要的出行辅助工具，眼镜形态方便携带不易丢失，但长期的连续佩戴对产品重量有着严格的要求，本公开实施例中通过将数据的处理、电源供应等功能迁移至智能手机端进行，可以极大的减轻智能眼镜的重量，方便用户长期佩戴。同时，电池、计算单元的转移，可以很好的解决智能眼镜的发热问题。
而将数据的处理迁移至智能手机，数据的处理可以通过智能手机上安装的APP进行，后续版本升级可以通过APP更新的方式获得，从而减轻了使用者获得更新的功能的成本。目前智能手机的操作系统中都加入了无障碍的设计，现在很多视障人士已经能够熟练的使用智能手机，例如曾经他们因为难以辨别钞票真假金额而烦恼的支付环节因为手机支付得以解决，网约车也能解决他们的打车难等问题……因此将智能手机和智能眼镜结合，操作习惯不需要进行过多的调整。
在示例性实施例中，智能手机内含电池以及处理模块、USB接口，将USB线分别插入智能手机的USB接口和智能眼镜的USB接口，智能眼镜通过USB线从智能手机获得电源供应，智能眼镜通过图像传感组件和惯性传感组件采集周围环境的数据后，将数据通过该USB线传输至该智能手机进行计算分析，该智能手机的计算分析结果通过USB线传输返回至该智能眼镜，该智能眼镜可以通过上述的骨传导耳机返回分析结果给该智能眼镜的使用者的耳朵里面。
在示例性实施例中，使用者可以通过该智能手机上安装的应用程序(APP)进行操作从而实现对该智能眼镜的控制，或者通过该智能手机上的麦克风可以接收使用者的语音指令，实现对该智能眼镜的语音控制，或者在所述智能眼镜上还设置语音输入模块，所述语音输入模块可以设置于镜架1的两端中的任意一端，用于接收语音输入信息(例如，所述语音输入信息可以是该智能眼镜的佩戴者想要去的目标地点)并将所述语音输入信息回传至该智能手机，该智能手机用于识别所述语音输入信息以确定所述目标地点，或者通过该智能眼镜上的摄像头采集使用者的手势动作，并对该手势动作进行识别，从而实现对该智能眼镜或者该智能手机的控制，或者可以通过该智能眼镜上的惯性传感组件实现对佩戴该智能眼镜的使用者的头部姿态的检测，并将该头部姿态作为该智能眼镜或者智能手机的控制指令。所述智能眼镜根据所述控制指令对所述智能眼镜(中的应用程序)进行控制。例如，通过手势可以控制图片翻页，拍摄照片，查询路线信息等。
通过上述的设计，智能眼镜作为数据采集单元和人机交互单元，可以实现从近似人的视野来观察世界，实现“所看即所得”。
继续参考图2A所示的实施例，所述智能眼镜还可以包括一第一按键71(短按键)和一第二按键72(长按键)。在一实施例中，该短按键71和该长按键72可以分别设置其具有独立的功能，例如短按键71可以用于实现智能眼镜和/或电子设备的电源开关功能，长按键72可以用于实现智能眼镜和/或电子设备的音量加减功能(可以设置在长按键72的一侧方向上按压时增加音量，在另一侧方向上按压时减小音量)。在另一实施例中，该短按键71和该长按键72还可以设置组合实现不同的功能，例如同时按压该短按键71和该长按键72实现双击功能或者单击功能等。具体该短按键71和该长按键72能够实现的功能可以在系统中进行自主设置，本公开对此不作限定。
参考图2C的实施例，所述智能眼镜还可以包括多个散热孔8，所述多个散热孔可以设置于镜架1上，但本公开中散热孔具体的设置位置可以根据具体的电路布局进行灵活选择。虽然图2C中是在镜架1的左右两侧分别对称示出了2个散热孔8，但具体的散热孔数量和散热孔的布局本公开对此不作限定。在另一实施例中，所述多个散热孔8可以用麦克风替代。
本发明实施方式提供的带增强现实的智能设备，其例如可以采用智能眼镜的形式，佩戴于视障人士(例如盲人)的头部，可以解决视障人士在独自出行时，提供对外部的障碍物，如路障，陷阱等危险情况下的智能指引，甚至通过骨传导耳机还能进行智能语音提醒等功能。在另一方面，还可为视障人士提供语音导航功能。不仅可以为盲人的语音指路，语音播报，语音提醒，还可以在危险状况下进行报警等。例如，盲人用户佩戴该智能眼镜时前进，当行进方向错误、行走姿势倾斜或者行走速度过快时，进行语音播报及发出提醒声音的语音信息，该语音信息可以为：“危险，行进方向错误”“行进速度过快，请减慢行进速度”……等等。
其中避障是智能眼镜的主要功能之一，通过双目摄像头采集的深度图像在智能手机端显示为不同颜色例如红绿两种状态，可以设置绿色代表可以行走的地面，红色则代表障碍，在正常使用中骨传导耳机中可以给出例如钢琴提示音等温和的语音信息，如果靠近障碍则会像倒车雷达一样将原本平缓的提示音变得急促以提示避障。
该智能眼镜和智能手机组成的系统先判断哪里是地面，可以定义高于地面5厘米的被界定为障碍，低于地面5cm则被视为坑，而视障人士本身一般也有盲杖辅助探索道路地形，两者相结合所以可以平稳的前进。
系统主要探测头顶到脚这个高度区域的障碍，脚下存在一定盲区，当双目摄像头原本认定的障碍随着视障人士的走近进入盲区，系统预测障碍到了脚下会语音提示“请低头查看”，对障碍物的提醒在室外的范围可以是5m内，在室内的范围可以是2m内，系统可以根据摄像头视野内障碍物分布分析自动调整合适的感应范围。
视障人士最常面临的危险不是来源于移动的物品，像往来的车辆等移动障碍会发出声音，失去部分或者全部视觉的视障人士听力比较敏锐，这类障碍一般也能够躲避，往往是无声的障碍会让他们受伤，例如是悬在路上的树枝、铁丝，横在面前的栏杆，主要借助盲杖探索前行的他们是无法探查一些悬空或者细小的威胁，因此该智能眼镜能够帮他们探查出眼前的所有巨细远近的障碍，并且给予提示。例如，视障人士行进时实时摄像；当遇到障碍物时，计算摄像所得的图像中的障碍物信息；调用语音信息进行语音播报，发出提醒声音，例如“前方5米有障碍”“请绕道行驶”等等。本发明实施例通过识别视障人士行走道路前方障碍，保障其安全出行。同时，视障人士的行走速度和普通人差不多，在1.5m/s左右，在这样的移动速度下基本能够满足避障的需求。
另一方面，系统还可以帮助视障人士识别出包括红绿灯、斑马线、楼梯、门、通道等帮助他们移动出行的物体，同时文字、人脸、钞票有助于他们日常生活的物体也能很好进行识别，可以根据视障人士的出行和日常生活需求，定义了多种可以识别的物品，识别后进行语音播报。
另一实施例中，在没有辅助的情况下，视障人士很容易迷路，而且一旦迷路就很难再找回来，因此通过该智能眼镜调用地图进行定位、导航，帮助视障人士快速的找到目的地。通过将以上的功能单独或者融合在该智能眼镜中，将帮助视障人士安全的自由出行和生活。
在示例性实施例中，所述智能眼镜还可以包括发光模块，所述发光模块可以用于在黑夜中辅助该智能眼镜获取图像信息。很多视障人士从事着按摩工作，需要下班走夜路，通过所述发光模块可以解决黑夜环境中该智能眼镜拍摄图像的问题。
上述实施例是以所述智能设备应用于辅助视障人士出行中采用的智能眼镜形式，视障人士佩戴该智能眼镜时，通过眼镜上的两个摄像头采集外部信息，并自动计算障碍物的空间分布和识别物体，然后将结果转换成音频信号，通过传导耳机传递给使用者，帮助视障人士认知周边环境。在其他实施例中，还可以将视觉赋予给所有的其他智能设备：无人机、无人车、机器人、VR、AR等，只要在无人机、无人车等上安装该智能眼镜和该智能手机中的视觉识别功能组件，机器就相当于获得了一双“眼睛”，拥有了视觉感知，通过数据线和手机连接，摄像头采集外部信息，对环境进行准确的感知，然后对信息进行处理，最后向无人机、无人车、机器人等的控制系统发出指令，实现具体的功能。
图3示意性示出根据本公开示例实施方式的一种电子设备的方块图。
如图3所示，该电子设备20可以包括第二数据接收模块210、处理模块220以及第二数据发送模块230。
其中第二数据接收模块210可以用于接收一智能设备发送的取景区域内的图像信息和用于获取所述图像信息的图像传感组件的方位信息。
其中，该智能设备可以参照上述图1和图2所示的实施例，在此不再赘述。
处理模块220可以用于根据所述图像信息和所述方位信息进行场景识别并获得分析结果。
处理模块220可以为MCU(Micro Control Unit，微控制单元)，是指随着大规模集成电路的出现及其发展，将计算机的CPU、RAM、ROM、定时计数器和多种I/O接口集成在一片芯片上，形成芯片级的计算机，为不同的应用场合做不同组合控制。
第二数据发送模块230可以用于将所述分析结果发送至所述智能设备。
在示例性实施例中，处理模块220可以包括：根据所述图像信息获得所述取景区域内的点的集合和各点的颜色信息；通过预设算法获取各点在第一坐标系中的坐标位置及各点的距离；根据各点在所述第一坐标系中的坐标位置及各点的距离、所述方位信息获取各点在第二坐标系中的坐标位置。
在示例性实施例中，处理模块220还可以包括：根据各点在所述第二坐标系中的坐标位置及各点的颜色信息，进行场景识别；对所述场景识别的结果进行分析，获取所述分析结果。
具体的，给定一个绝对坐标系X-Y-Z，假设所述智能设备的所述图像传感组件视野中的场景中所有点的集合为N，其中集合N中任意一点n在三维空间中的坐标位置由(xn，yn，zn)来表示。
其中，所述图像传感组件(例如单目、双目或多目摄像头)可以以光流(OpticalFlow)方法、三角测距方法或者两种方法综合使用来测量点n的坐标位置(xn，yn，zn)及其到镜头的距离dn；其中，利用所述惯性传感器组件中的磁力计和陀螺仪可以判断出所述摄像头的镜头所面向的(东南西北)方向信息on以及和竖直于地心的方向轴的夹角信息tn。由xn、yn、zn、dn、on、tn、X-Y-Z这些信息，可以精确得出点n在地球上的空间坐标位置。综合视野中所有点n的空间坐标位置，可以精确地分析、理解、记录视野中的场景中所有点在地球上的空间坐标位置。
光流是一种简单实用的图像运动的表达方式，通常定义为一个图像序列中的图像亮度模式的表观运动，即空间物体表面上的点的运动速度在视觉传感器的成像平面上的表达。这种定义认为光流只表示一种几何变化。1998年Negahdaripour将光流重新定义为动态图像的几何变化和辐射度变化的全面表示。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。一般情况下，光流由相机运动、场景中目标运动或两者的共同运动产生的相对运动引起的。
光流方法检测运动物体的基本原理是：给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置。光流法的优点在于光流不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象。
三角测距方法的工作原理是红外发射器按照一定的角度发射红外光束，当遇到物体以后，光束会反射回来，反射回来的红外光线被图像传感器(例如CCD)检测到以后，会获得一个偏移值L，利用三角关系，在知道了发射角度a，偏移距L，中心矩X，以及滤镜的焦距f以后，传感器到物体的距离D就可以通过几何关系计算出来了。
利用视野中所有点在地球上的空间坐标位置信息，可以精确构建出高精度地图。利用视野中所有点在地球上的空间坐标位置信息，结合每一点的颜色信息，可以做图像分割、场景理解以及模式识别等。
在示例性实施例中，还可以对所述图像信息进行预处理，在对图像实施具体的计算机视觉方法来提取某种特定的信息前，首先通过一种或一些方法预先对图像进行处理，以满足后继图像处理的要求，包括二次取样，平滑去噪，提高对比度等。
在示例性实施例，所述分析结果包括：所述取景区域内的障碍物信息。
本发明实施方式的典型应用如下：一个在无人驾驶、全自动无人小车、辅助视障人士出行的场景中，一个关键应用是识别和区分可行进的路面和会阻挡行进的障碍。障碍包括凸出路面会影响行进的物体、从空中低垂下来会影响行进的物体、或者低于路面的凹陷区域(包括坑、洞)。识别出路面之后，可以指导无人车的行进，以及通过骨传导耳机传导给视障人士辅助其出行。整套系统自动采集环境信息，自动分析并给出分析结果和行动建议。
图4示意性示出根据本公开示例实施方式的另一种电子设备的框图。
如图4所示，电子设备500包括：处理器502；用于存储处理器602可执行指令的存储器504。
所述处理器502可被配置为：接收一智能设备发送的取景区域内的图像信息和用于获取所述图像信息的图像传感组件的方位信息；根据所述图像信息和所述方位信息进行场景识别并获得分析结果；将所述分析结果发送至所述智能设备。
例如，电子设备500可以是智能手机，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图4，电子设备500可以包括以下一个或多个组件：处理组件501，存储器504，电源组件505，多媒体组件506，音频组件507，输入/输出(I/O)的接口503，传感器组件509，以及通信组件508。
处理组件501通常控制电子设备500的整体操作，诸如与显示，数据通信，相机操作和记录操作相关联的操作。处理组件501可以包括一个或多个处理器502来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件501可以包括一个或多个模块，便于处理组件501和其他组件之间的交互。例如，处理组件501可以包括多媒体模块，以方便多媒体组件506和处理组件501之间的交互。
存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在电子设备500上操作的任何应用程序或方法的指令，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件505为电子设备500的各种组件提供电力。电源组件505可以包括电源管理系统，一个或多个电源，及其他与为电子设备500生成、管理和分配电力相关联的组件。
多媒体组件506包括在所述电子设备500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件506包括一个前置摄像头和/或后置摄像头。当设备500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件507被配置为输出和/或输入音频信号。例如，音频组件507包括一个麦克风(MIC)，当电子设备500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件508发送。在一些实施例中，音频组件507还包括一个扬声器，用于输出音频信号。
I/O接口503为处理组件501和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件509包括一个或多个传感器，用于为电子设备500提供各个方面的状态评估。例如，传感器组件509可以检测到设备500的打开/关闭状态，组件的相对定位，例如所述组件为电子设备500的显示器和小键盘，传感器组件509还可以检测电子设备500或电子设备500一个组件的位置改变，用户与电子设备500接触的存在或不存在，电子设备500方位或加速/减速和电子设备500的温度变化。传感器组件509可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件509还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件509还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件508被配置为便于电子设备500和其他设备之间有线或无线方式的通信。电子设备500可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件508经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件508还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例，电子设备500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由电子设备500的处理器502执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
以上具体地示出和描述了本公开的示例性实施方式。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
Claims (10)
1.一种带增强现实的智能设备，其特征在于，所述智能设备包括：
图像传感组件，用于获取取景区域内的图像信息；
惯性传感器组件，用于检测所述图像传感组件的方位信息；
第一数据发送模块，用于将所述图像信息和所述方位信息发送至一电子设备，其中所述电子设备根据所述图像信息和所述方位信息进行场景识别并获得分析结果；
第一数据接收模块，用于接收所述电子设备返回的所述分析结果。
2.根据权利要求1所述的智能设备，其特征在于，所述智能设备包括智能眼镜，所述智能眼镜包括：
镜架，包括左右两个镜框；
镜片，设置于所述镜架的左右两个镜框内；
镜腿，与所述镜架的两端铰接；
所述惯性传感器组件包括多个子传感器，所述多个子传感器能够分别设置于以下至少一处：所述镜架、所述镜片、所述镜腿。
3.根据权利要求2所述的智能设备，其特征在于，所述智能设备还包括USB接口，所述USB接口能够通过USB线将所述智能设备与所述电子设备进行电连接，且所述USB线包括供电线路和数据线路，所述智能设备通过所述USB线从所述电子设备获得电源供应。
4.根据权利要求3所述的智能设备，其特征在于，所述USB接口设置于所述智能眼镜的镜腿上且所述USB接口向后开口和/或向下开口。
5.根据权利要求2所述的智能设备，其特征在于，所述智能设备还包括：
麦克风，设置在所述镜架上用于将所述分析结果转换为声音电波信号；
骨传导耳机，设置在所述镜腿上用于将所述麦克风转换的声音电波信号转换为骨传导振动信号。
6.根据权利要求2所述的智能设备，其特征在于，所述图像传感组件包括双目摄像头，且所述双目摄像头分别设置于所述左右两个镜框的上侧。
7.一种电子设备，其特征在于，包括：
第二数据接收模块，用于接收一智能设备发送的取景区域内的图像信息和用于获取所述图像信息的图像传感组件的方位信息；
处理模块，用于根据所述图像信息和所述方位信息进行场景识别并获得分析结果；
第二数据发送模块，用于将所述分析结果发送至所述智能设备。
8.根据权利要求7所述的电子设备，其特征在于，所述处理模块包括：
根据所述图像信息获得所述取景区域内的点的集合和各点的颜色信息；
通过预设算法获取各点在第一坐标系中的坐标位置及各点的距离；
根据各点在所述第一坐标系中的坐标位置及各点的距离、所述方位信息获取各点在第二坐标系中的坐标位置。
9.根据权利要求8所述的电子设备，其特征在于，所述处理模块还包括：
根据各点在所述第二坐标系中的坐标位置及各点的颜色信息，进行场景识别；
对所述场景识别的结果进行分析，获取所述分析结果。
10.根据权利要求9所述的电子设备，其特征在于，所述分析结果包括：所述取景区域内的障碍物信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710064509.6A CN106843491A (zh) | 2017-02-04 | 2017-02-04 | 带增强现实的智能设备及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710064509.6A CN106843491A (zh) | 2017-02-04 | 2017-02-04 | 带增强现实的智能设备及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106843491A true CN106843491A (zh) | 2017-06-13 |
Family
ID=59122385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710064509.6A Pending CN106843491A (zh) | 2017-02-04 | 2017-02-04 | 带增强现实的智能设备及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106843491A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107328424A (zh) * | 2017-07-12 | 2017-11-07 | 三星电子（中国）研发中心 | 导航方法和装置 |
| CN108235774A (zh) * | 2018-01-10 | 2018-06-29 | 深圳前海达闼云端智能科技有限公司 | 信息处理方法、装置、云处理设备以及计算机程序产品 |
| CN108279419A (zh) * | 2018-01-18 | 2018-07-13 | 上海瀚莅电子科技有限公司 | 火场环境显示方法、装置、头戴设备及可读存储介质 |
| CN108513016A (zh) * | 2018-05-25 | 2018-09-07 | 中瑞福宁机器人（沈阳）有限公司 | 一种可搭配ar眼镜使用的智能手机装置 |
| CN108833832A (zh) * | 2018-06-20 | 2018-11-16 | 王学军 | 一种眼镜摄录仪及摄录方法 |
| CN109547706A (zh) * | 2018-11-23 | 2019-03-29 | 歌尔智能科技有限公司 | 眼镜设备和系统 |
| CN109829927A (zh) * | 2019-01-31 | 2019-05-31 | 深圳职业技术学院 | 一种电子眼镜及高空景象图像重建方法 |
| CN109857415A (zh) * | 2019-03-01 | 2019-06-07 | 广东盈科电子有限公司 | 一种烧录装置及其参数自动选择烧录方法 |
| WO2020103297A1 (zh) * | 2018-11-19 | 2020-05-28 | 炬星科技（深圳）有限公司 | 机器人的传感器布局系统 |
| EP3751384A1 (en) | 2019-06-13 | 2020-12-16 | Nextvpu (Shanghai) Co., Ltd. | Connector, assistive device and wearable device |
| CN112204640A (zh) * | 2018-05-28 | 2021-01-08 | 微软技术许可有限责任公司 | 针对视觉受损者的辅助设备 |
| CN112402194A (zh) * | 2019-08-23 | 2021-02-26 | 北京超维度计算科技有限公司 | 一种视障人士辅助终端系统 |
| EP3848746A1 (en) | 2020-01-07 | 2021-07-14 | Nextvpu (Shanghai) Co., Ltd. | A connector for wearable device, an assist device, a wearable device and a kit |
| CN113778223A (zh) * | 2021-08-11 | 2021-12-10 | 深圳市鑫视捷智能科技有限公司 | 智能眼镜的控制方法、智能眼镜及存储介质 |
| WO2022009038A1 (en) * | 2020-07-06 | 2022-01-13 | International Business Machines Corporation | Augmented reality enabled handling and risk mitigation |
| CN114783067A (zh) * | 2022-06-14 | 2022-07-22 | 荣耀终端有限公司 | 基于手势的识别方法、设备及系统 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080170118A1 (en) * | 2007-01-12 | 2008-07-17 | Albertson Jacob C | Assisting a vision-impaired user with navigation based on a 3d captured image stream |
| CN102885685A (zh) * | 2011-07-22 | 2013-01-23 | 张殿礼 | 一种通过通信设备监控和导盲的方法 |
| CN203524952U (zh) * | 2013-10-11 | 2014-04-09 | 陈育聪 | 一种基于视频通讯的导盲系统 |
| CN203825313U (zh) * | 2013-12-16 | 2014-09-10 | 智博锐视（北京）科技有限公司 | 盲人导航眼镜 |
| CN104306102A (zh) * | 2014-10-10 | 2015-01-28 | 上海交通大学 | 针对视觉障碍患者的头戴式视觉辅助系统 |
| CN104473717A (zh) * | 2014-12-04 | 2015-04-01 | 上海交通大学 | 针对全盲人群的可穿戴式引导设备 |
| CN104485008A (zh) * | 2014-12-04 | 2015-04-01 | 上海交通大学 | 针对色盲患者的头戴式辅助驾驶系统 |
| CN204562812U (zh) * | 2015-01-19 | 2015-08-19 | 黄俊裕 | 智能导盲头环 |
| CN104921908A (zh) * | 2015-07-07 | 2015-09-23 | 常州市瑞君医疗科技有限公司 | 一种盲人导航系统 |
| CN104983511A (zh) * | 2015-05-18 | 2015-10-21 | 上海交通大学 | 针对全盲视觉障碍者的语音帮助智能眼镜系统 |
| CN105527711A (zh) * | 2016-01-20 | 2016-04-27 | 福建太尔电子科技股份有限公司 | 带增强现实的智能眼镜 |
| TW201620468A (zh) * | 2014-12-12 | 2016-06-16 | 國立高雄師範大學 | 行動式電子裝置、預警方法與預警系統 |
| CN105997448A (zh) * | 2016-04-30 | 2016-10-12 | 中国海洋大学 | 频域投影式超声回波定位导盲仪 |
| CN106214436A (zh) * | 2016-07-22 | 2016-12-14 | 上海师范大学 | 一种基于手机端的智能导盲系统及其导盲方法 |
| CN106372610A (zh) * | 2016-09-05 | 2017-02-01 | 深圳市联谛信息无障碍有限责任公司 | 一种基于智能眼镜的前景信息提示方法及智能眼镜 |
| CN206460410U (zh) * | 2017-02-04 | 2017-09-01 | 上海肇观电子科技有限公司 | 带增强现实的智能设备 |
-
2017
- 2017-02-04 CN CN201710064509.6A patent/CN106843491A/zh active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080170118A1 (en) * | 2007-01-12 | 2008-07-17 | Albertson Jacob C | Assisting a vision-impaired user with navigation based on a 3d captured image stream |
| CN102885685A (zh) * | 2011-07-22 | 2013-01-23 | 张殿礼 | 一种通过通信设备监控和导盲的方法 |
| CN203524952U (zh) * | 2013-10-11 | 2014-04-09 | 陈育聪 | 一种基于视频通讯的导盲系统 |
| CN203825313U (zh) * | 2013-12-16 | 2014-09-10 | 智博锐视（北京）科技有限公司 | 盲人导航眼镜 |
| CN104306102A (zh) * | 2014-10-10 | 2015-01-28 | 上海交通大学 | 针对视觉障碍患者的头戴式视觉辅助系统 |
| CN104473717A (zh) * | 2014-12-04 | 2015-04-01 | 上海交通大学 | 针对全盲人群的可穿戴式引导设备 |
| CN104485008A (zh) * | 2014-12-04 | 2015-04-01 | 上海交通大学 | 针对色盲患者的头戴式辅助驾驶系统 |
| TW201620468A (zh) * | 2014-12-12 | 2016-06-16 | 國立高雄師範大學 | 行動式電子裝置、預警方法與預警系統 |
| CN204562812U (zh) * | 2015-01-19 | 2015-08-19 | 黄俊裕 | 智能导盲头环 |
| CN104983511A (zh) * | 2015-05-18 | 2015-10-21 | 上海交通大学 | 针对全盲视觉障碍者的语音帮助智能眼镜系统 |
| CN104921908A (zh) * | 2015-07-07 | 2015-09-23 | 常州市瑞君医疗科技有限公司 | 一种盲人导航系统 |
| CN105527711A (zh) * | 2016-01-20 | 2016-04-27 | 福建太尔电子科技股份有限公司 | 带增强现实的智能眼镜 |
| CN105997448A (zh) * | 2016-04-30 | 2016-10-12 | 中国海洋大学 | 频域投影式超声回波定位导盲仪 |
| CN106214436A (zh) * | 2016-07-22 | 2016-12-14 | 上海师范大学 | 一种基于手机端的智能导盲系统及其导盲方法 |
| CN106372610A (zh) * | 2016-09-05 | 2017-02-01 | 深圳市联谛信息无障碍有限责任公司 | 一种基于智能眼镜的前景信息提示方法及智能眼镜 |
| CN206460410U (zh) * | 2017-02-04 | 2017-09-01 | 上海肇观电子科技有限公司 | 带增强现实的智能设备 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107328424A (zh) * | 2017-07-12 | 2017-11-07 | 三星电子（中国）研发中心 | 导航方法和装置 |
| CN107328424B (zh) * | 2017-07-12 | 2020-12-11 | 三星电子（中国）研发中心 | 导航方法和装置 |
| CN108235774A (zh) * | 2018-01-10 | 2018-06-29 | 深圳前海达闼云端智能科技有限公司 | 信息处理方法、装置、云处理设备以及计算机程序产品 |
| US11379963B2 (en) | 2018-01-10 | 2022-07-05 | Cloudminds Robotics Co., Ltd. | Information processing method and device, cloud-based processing device, and computer program product |
| WO2019136641A1 (zh) * | 2018-01-10 | 2019-07-18 | 深圳前海达闼云端智能科技有限公司 | 信息处理方法、装置、云处理设备以及计算机程序产品 |
| CN108279419A (zh) * | 2018-01-18 | 2018-07-13 | 上海瀚莅电子科技有限公司 | 火场环境显示方法、装置、头戴设备及可读存储介质 |
| CN108513016A (zh) * | 2018-05-25 | 2018-09-07 | 中瑞福宁机器人（沈阳）有限公司 | 一种可搭配ar眼镜使用的智能手机装置 |
| CN112204640A (zh) * | 2018-05-28 | 2021-01-08 | 微软技术许可有限责任公司 | 针对视觉受损者的辅助设备 |
| CN112204640B (zh) * | 2018-05-28 | 2022-07-08 | 微软技术许可有限责任公司 | 针对视觉受损者的辅助设备 |
| CN108833832A (zh) * | 2018-06-20 | 2018-11-16 | 王学军 | 一种眼镜摄录仪及摄录方法 |
| WO2020103297A1 (zh) * | 2018-11-19 | 2020-05-28 | 炬星科技（深圳）有限公司 | 机器人的传感器布局系统 |
| CN109547706A (zh) * | 2018-11-23 | 2019-03-29 | 歌尔智能科技有限公司 | 眼镜设备和系统 |
| CN109829927A (zh) * | 2019-01-31 | 2019-05-31 | 深圳职业技术学院 | 一种电子眼镜及高空景象图像重建方法 |
| CN109857415A (zh) * | 2019-03-01 | 2019-06-07 | 广东盈科电子有限公司 | 一种烧录装置及其参数自动选择烧录方法 |
| EP3751384A1 (en) | 2019-06-13 | 2020-12-16 | Nextvpu (Shanghai) Co., Ltd. | Connector, assistive device and wearable device |
| CN112402194A (zh) * | 2019-08-23 | 2021-02-26 | 北京超维度计算科技有限公司 | 一种视障人士辅助终端系统 |
| EP3848746A1 (en) | 2020-01-07 | 2021-07-14 | Nextvpu (Shanghai) Co., Ltd. | A connector for wearable device, an assist device, a wearable device and a kit |
| WO2022009038A1 (en) * | 2020-07-06 | 2022-01-13 | International Business Machines Corporation | Augmented reality enabled handling and risk mitigation |
| US11423583B2 (en) | 2020-07-06 | 2022-08-23 | International Business Machines Corporation | Augmented reality enabled handling and risk mitigation |
| CN113778223A (zh) * | 2021-08-11 | 2021-12-10 | 深圳市鑫视捷智能科技有限公司 | 智能眼镜的控制方法、智能眼镜及存储介质 |
| CN114783067A (zh) * | 2022-06-14 | 2022-07-22 | 荣耀终端有限公司 | 基于手势的识别方法、设备及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106843491A (zh) | 带增强现实的智能设备及电子设备 | |
| CN206460410U (zh) | 带增强现实的智能设备 | |
| US8963956B2 (en) | Location based skins for mixed reality displays | |
| WO2022066578A1 (en) | Touchless photo capture in response to detected hand gestures | |
| CN105264460B (zh) | 全息图对象反馈 | |
| CN104090659B (zh) | 基于人眼图像和视线追踪的操作指针指示控制设备 | |
| EP4157474A1 (en) | Interactive augmented reality experiences using positional tracking | |
| CN105027175B (zh) | 基于各设备之间的距离修改功能的方法和设备 | |
| CN107111370A (zh) | 现实世界对象的虚拟表示 | |
| CN107209950A (zh) | 从现实世界材料自动生成虚拟材料 | |
| CN105164612A (zh) | 使用脉冲式光源的近平面分段 | |
| CN104618712A (zh) | 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统 | |
| CN103501389A (zh) | 一种关闭闹钟的方法及终端 | |
| US11521515B2 (en) | Stereophonic apparatus for blind and visually-impaired people | |
| CN209328043U (zh) | 具有全面屏的电子设备 | |
| CN105639818A (zh) | 基于增强现实、空间扫描与手势识别技术的智能安全帽 | |
| CN111526476B (zh) | 数据传输方法、数据传输装置、存储介质与终端设备 | |
| EP4035348A1 (en) | Automated video capture and composition system | |
| CN112188059B (zh) | 可穿戴设备、智能引导方法及装置、引导系统 | |
| Mattoccia et al. | 3D glasses as mobility aid for visually impaired people | |
| CN205585386U (zh) | 基于增强现实、空间扫描与手势识别技术的智能安全帽 | |
| CN112711335B (zh) | 虚拟环境画面的显示方法、装置、设备及存储介质 | |
| CN117337426A (zh) | 音频加强的增强现实 | |
| US10089784B2 (en) | Head-mounted mapping methods | |
| Bala et al. | Design, development and performance analysis of cognitive assisting aid with multi sensor fused navigation for visually impaired people |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180907 Address after: 201203 Room 516, A 1, 3000 Longdong Avenue, Pudong New Area, Shanghai. Applicant after: NEXTVPU (SHANGHAI) Co.,Ltd. Applicant after: KUNSHAN ZHAOGUAN ELECTRONIC TECHNOLOGY Co.,Ltd. Applicant after: Shaoxing Zhaoguan Electronic Technology Co.,Ltd. Address before: 201203 Room 516, A 1, 3000 Longdong Avenue, Pudong New Area, Shanghai. Applicant before: NEXTVPU (SHANGHAI) Co.,Ltd. |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170613 |