CN106214437A - 一种智能盲人辅助眼镜 - Google Patents

一种智能盲人辅助眼镜 Download PDF

Info

Publication number
CN106214437A
CN106214437A CN201610590755.0A CN201610590755A CN106214437A CN 106214437 A CN106214437 A CN 106214437A CN 201610590755 A CN201610590755 A CN 201610590755A CN 106214437 A CN106214437 A CN 106214437A
Authority
CN
China
Prior art keywords
infrared
image
color
depth
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610590755.0A
Other languages
English (en)
Other versions
CN106214437B (zh
Inventor
杨恺伦
汪凯巍
于红雷
胡伟健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Vision Krypton Technology Co Ltd
Original Assignee
Hangzhou Vision Krypton Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Vision Krypton Technology Co Ltd filed Critical Hangzhou Vision Krypton Technology Co Ltd
Priority to CN201610590755.0A priority Critical patent/CN106214437B/zh
Publication of CN106214437A publication Critical patent/CN106214437A/zh
Application granted granted Critical
Publication of CN106214437B publication Critical patent/CN106214437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063Walking aids for blind persons with electronic detecting or guiding means with tactile perception

Landscapes

  • Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种新型智能盲人辅助眼镜,该眼镜利用红外投射器投射不可见的近红外静态散斑,利用两个红外相机和一个彩色相机采集图像,利用姿态角传感器获取相机的姿态角信息,对图像中的深度信息和颜色信息、姿态角信息进行处理,检测出图像中的地面和障碍物,最后将检测结果转化为非语义的声音编码,通过骨传导耳机传递给盲人进行辅助,可以很好地满足盲人辅助的要求。

Description

一种智能盲人辅助眼镜
技术领域
本发明属于盲人辅助技术、双目视觉技术、三维环境感知技术、声音编码技术领域。本发明涉及一种利用红外投射器投射不可见的近红外静态散斑,利用两个红外相机和一个彩色相机采集图像,利用姿态角传感器获取相机的姿态角信息,对图像中的深度信息和颜色信息、姿态角信息进行处理,检测出图像中的地面和障碍物,最后将检测结果转化为非语义的声音编码,通过骨传导耳机传递给盲人进行辅助的眼镜。
背景技术
根据世界健康组织统计,全世界有四千万盲人。盲人损失了正常的视觉,对颜色、形状、距离、运动的理解都很困难,他们的生活在起居、出行等方面都受到了巨大的影响。
传统的盲人辅助工具比如盲人手杖,盲人需要反复移动手杖,才能获知面前的情况,既费时也费力。盲人手杖的探测距离有限,只能检测脚边的障碍物,也无法反映远处和空中的状况。导盲犬可以为盲人提供帮助,但是导盲犬的训练和养护费用是高昂的,普通家庭难以承担。有些场合,导盲犬不能陪同盲人进入,比如公交车和火车站,因此导盲犬的辅助是有局限性的。仿生眼可以帮助盲人恢复部分视觉,但仿生眼的植入需要进行手术,费用高昂。仿生眼只适用于视网膜色素变性或老年性黄斑变性导致失明的盲人。视觉神经损坏的盲人无法通过植入仿生眼恢复部分视觉。
电子式的视障辅助工具主要使用超声波技术、激光测距技术、双目视觉技术、激光散斑编码技术、激光雷达技术、毫米波雷达技术、热成像技术、全球定位系统(GPS)。基于超声波技术和激光测距技术的测距范围有限,只能实现单点测距,获取的信息量太少,且耗电多,设备笨重,只能实现报警功能,容易受环境干扰。基于双目视觉技术的辅助依赖于环境中特征点和纹理的丰富程度,对于一些纹理单一的场景失效,如室内的白墙,光滑地面等。双目视觉技术会受镜面反射等特殊情形的欺骗,从而造成漏判或者误判。基于激光散斑编码技术的辅助在室外失效,因为主动投射的结构光被阳光淹没,从而无法识别编码的散斑。激光散斑编码技术由于受到功率限制,存在最远距离,超过最远距离的物体无法对其测距。基于激光雷达技术的辅助成本高,通常采样率低,对灰尘、雾霾、雨水敏感,而且无法获取颜色和纹理信息。基于毫米波雷达的辅助分辨率低,信号处理过程难。基于热成像技术的辅助分辨率低,标定过程复杂,且只能检测人和动物等发热物体。基于GPS的辅助精度低,会有信号损失,不能在室内使用,而且无法获取局部动态的障碍物信息。
传统盲人辅助的交互方法主要有语音提示、触觉震动的方法。语义提示通常播报障碍物的距离和方向,需要一定的时间播放,造成延迟和事故风险,而且可传递的信息量小。触觉震动通过以震动腰带或者震动背心为硬件,以震动来提示障碍物的方位,震动装置可以解决延迟的问题,但给盲人带来负担,不同人的 穿戴感受不同。
发明内容
本发明的目的是针对现有技术的不足,提供一种智能盲人辅助眼镜。
本发明是目的是通过以下技术方案实现的:一种智能盲人辅助眼镜,所述眼镜包含眼镜本体、一个红外投射器,两个相同的红外相机,一个彩色相机,一个姿态角传感器,一个串口转USB模块,一个USB集线器,一个小型处理器,一个骨传导耳机模块,两个骨传导震动模块,一个电池模块。三个相机的姿态角一致,且通过姿态角传感器实时地获取。姿态角传感器与串口转USB模块相连,红外投射器、两个红外相机、彩色相机、串口转USB模块分别通过USB集线器与小型处理器相连,电池模块与小型处理器相连。所述一个红外投射器,两个相同的红外相机,一个彩色相机,一个姿态角传感器,一个串口转USB模块,一个USB集线器,一个小型处理器,一个骨传导耳机模块,两个骨传导震动模块,一个电池模块均固定在镜架上,且两个相同的红外相机固定在连个镜片的正上方,彩色相机和红外投射器位于两个红外相机之间。两个红外相机、一个彩色相机的光轴彼此平行,朝向前。两个骨传导震动模块位于两个镜脚中间偏后处,贴合盲人耳朵前方的颅骨处。姿态角传感器和串口转USB模块位于右镜脚,骨传导耳机模块、USB集线器和电池模块位于左镜脚。小型处理器控制红外投射器向前方三维场景投射不可见的静态近红外散斑,两个红外相机实时地采集经投射后的三维场景的红外图像。彩色相机实时地采集三维场景的彩色图像。姿态角传感器实时采集三个相机的姿态角,串口转USB模块将姿态角传感器输出的串口数据(姿态角)转为USB数据。USB集线器将相机获取的图像和姿态角传感器获取的数据,传给小型处理器。小型处理器对获取的两幅红外图像、一幅彩色图像、姿态角数据进行处理,检测出场景中的地面和障碍物信息,并将检测结果转为非语义的声音编码信号,并传给骨传导耳机模块。骨传导耳机模块将非语义的声音编码信号转为骨传导震动信号,传给两个骨传导震动模块。两个骨传导震动模块,传递骨传导震动信号给盲人用户
进一步地,所述眼镜通过以下方法对盲人进行智能辅助:
(1)对两个红外相机进行一次双目相机标定,获取两个红外相机的焦距fIR,左红外相机的主点位置(cIR-x,cIR-y),两个红外相机的基线距离BIR-IR
(2)对彩色相机进行一次相机标定,获取彩色相机的焦距fcolor,主点位置(cCOLOR-x,cCOLOR-y)。
(3)对彩色相机和左侧的红外相机进行一次双目相机标定,获取左红外相机与彩色相机的基线距离BIR-COLOR
(4)红外投射器实时地投射不可见的静态近红外散斑到三维场景中。
(5)两个红外相机采集三维场景的两张红外图像IRleft和IRright
(6)彩色相机采集三维场景的彩色图像Color。
(7)姿态角传感器采集三个相机的X,Y,Z三轴方向的转角AngleX,AngleY,AngleZ
(8)串口转USB模块将姿态角传感器获取的串口数据转为USB数据。
(9)USB集线器将两张红外图像IRleft和IRright,彩色图像Color,X,Y,Z三轴方向的转角AngleX,AngleY,AngleZ传给小型处理器。
(10)小型处理器对两张红外图像IRleft和IRright提取Sobel边缘,获取两张Sobel边缘图像Sobelleft和Sobelright
(11)以左Sobel边缘图像Sobelleft为基准,对两张Sobel边缘图像Sobelleft和Sobelright进行基于图像块的图像匹配,获取一系列匹配好的有效点E={e1,e2,e3,...,eM}。在左Sobel边缘图像Sobelleft中,每一个有效点为e=(u,v,d)T,u为横坐标像素值,v为纵坐标像素值,d为视差值。
(12)以匹配好的有效点E为基准,每三个有效点可构成一个视差平面,第i个视差平面的方程为d=aiu+biv+ci,其中ai,bi,ci为第i个视差平面的系数。
(13)在这些视差平面的基础上,将未匹配的像素点(u',v',d')T转换为匹配的有效点(u,v,d)T;具体为:该像素点(u',v',d')T到第i视差平面的距离为设能量函数为 其中ε,σ为常数。对该像素点,遍历视差搜索范围所有的视差值d'={d'min,...,d'max},求出使得能量函数Energy(d')最小的视差值,当成该像素点的视差值d。另外,u=u',v=v'。
(14)遍历所有未匹配的像素点,获取每个未匹配的像素点的视差值,得到以左红外相机为基准的视差图像Disparityleft
(15)根据两个红外相机的焦距fIR和基线距离BIR-IR,遍历视差图像中的每一点(u,v,d),其深度值为因此深度图像Depthleft中每一点对应为(u,v,depth),从而获得左红外相机为基准的深度图像Depthleft
(16)根据深度图像Depthleft,两个红外相机的焦距fIR和左红外相机的主点位置(cIR-x,cIR-y),可计算出每一点在相机坐标系下的三维坐标(X,Y,Z)。深度图像Depthleft中一点坐标为(u,v),其深度值为depth,则三维坐标(X,Y,Z)可由公式(1)计算出:
(17)根据深度图像中每一点在相机坐标系下的三维坐标(X,Y,Z),以及姿态角传感器三轴方向的转角分别为AngleX=α,AngleY=β,AngleZ=γ,则可由公式(2)计算出每一点在世界坐标系下的坐标(Xw,Yw,Zw):
(18)对于深度图像中所有的三维点,随机选取3个点,这3个点可以形成一个平面,平面方程为AXw+BYw+CZw+D=0。如果(nth为阈值,取0.85~0.95),说明该平面和水平面夹角较小,可作为地面的候选,否则跳出进行下一次随机取点。对可作为地面候选的平面,计算出每一点(Xi,Yi,Zi)到该平面的距离如果DPSi<T,(T为阈值,取20mm~100mm),则内点Inliers增加1,所述内点为满足DPSi<T的点。一般近似为该平面内的点。随机取点20~30次,并重复上述处理,取20~30次结果中内点Inliers最多的平面作为初始地面检测结果OriginalTraversableArea。
(19)利用深度图像Depthleft和彩色图像Color,两个红外相机的焦距fIR,左红外相机的主点位置(cIR-x,cIR-y),彩色相机的焦距fcolor,彩色相机的主点位置(cCOLOR-x,cCOLOR-y),以及左红外相机和彩色相机的基线距离BIR-COLOR,可对深度图像和彩色图像进行对齐,获取彩色相机视场的深度图像Depthcolor
(20)对彩色图像进行颜色空间变换,获取在HSV颜色空间中的彩色图HSV。对彩色图像提取Canny边缘,获取彩色图像的边缘图像Canny。
(21)初始地面检测的地面结果中的像素点,其中四邻域不全是地面的像素点设为种子点。将种子点都压入种子点堆栈。
(22)设定种子点可向四邻域生长的条件:①这个种子点没有遍历过;②这个种子点不属于边缘图像Canny的有效点。
(23)从种子点堆栈中取出一个种子点,如果该种子点满足可向四邻域生长的条件,进行以下处理。对种子点G,该点的色调值为h,它的其中一个四邻域像素点Gi,该点的色调值为hi,如Gi不属于边缘图像Canny的有效点,Gi没有被遍历过,且|h-hi|<δ,其中δ是阈值(取2~5),则Gi也视为可通行的地面,压入种子点堆栈。当遍历堆栈中所有种子点后,种子区域生长结束。初始地面检测结果 OriginalTraversableArea经过种子区域生长,被扩展到了距离更长,范围更广的扩展地面检测结果ExpandedTraversableArea。
将扩展地面检测结果ExpandedTraversableArea分为K个方向,根据ExpandedTraversableArea中每个点的世界坐标系下的三维坐标,得到K个方向上地面的长度和K个方向上地面的宽度。
(24)用不同音色的人的合唱来表示扩展地面检测结果。不同方向的地面用不同音色的人声表示,不同方向地面的长度Length与声音的响度Volume成正比,不同方向地面的宽度Width与声音的频率Pitch成正比。每个方向的人声都为立体声。
(25)将深度图像Depthcolor的地面区域的像素点的深度置为0,获得除去地面区域的无地面深度图像DepthWithoutGround,以表示障碍物信息;将无地面深度图像DepthWithoutGround分为J个方向,用不同音色的乐器的合奏来表示无地面深度图像DepthWithoutGround。不同方向的图像用不同音色的乐器表示,不同方向的平均深度Depth与这个方向乐器声音的响度Volume成反比。平均深度Depth为零则不发声。每个方向的乐器声都为立体声。
(26)小型处理器将非语义的声音编码信号通过无线传给骨传导耳机模块。
(27)骨传导耳机将非语义的声音编码信号转为骨传导震动信号。
(28)骨传导震动模块将骨传导震动信号传递给盲人用户。
本方法相比以往的盲人辅助方法的优势主要在于:
1、环境适用性。由于使用红外投射器和两个红外传感器,该方法在室内室外都可以使用。在室内时,红外投射器投射的静态近红外光斑给三维场景增加了纹理,有利于获取稠密的深度图像。在室外时,阳光的近红外部分和三维场景结合,有利于获取稠密的深度图像。稠密的深度图像可以保证地面检测的鲁棒性和辅助交互的体验效果。
2、稳定的检测结果。相比传统的仅利用深度图像检测地面的方法,利用姿态角信息和深度图像产生的三维坐标用于检测地面,有利于消除大部分采样误差,提高地面检测的鲁棒性和稳定性。
3、兼顾反映近处远处的情况。去除地面部分的深度图像经过非语义的声音编码,可以很好的反馈近处的信息,有利于障碍物的预警。利用深度图像和彩色图像扩展的地面检测结果经过非语义的声音编码,可以很好的表示更远和更宽广的可通行区域,有利于盲人提前规划路径和提升盲人在开阔地带漫步的体验。
4、可检测空中的障碍物。传统的盲人手杖只能探测脚边的路况,不能照顾前方空中的情况,新型智能盲人辅助眼镜,可以预警空中的障碍物,从而防止盲人用户碰撞空中的树枝或门梁等物体。
5、不占用双耳。新型智能盲人辅助眼镜,采用骨传导耳机传递信号给盲人用户,不妨碍用户听取外界的声音。
6、不占用双手。新型智能盲人辅助眼镜可穿戴,便携的小型处理器可以放在口袋或者小包里,既不会给盲人带来很大的负担,也无需盲人用手拿辅助工具。
7、反馈充分的信息量。相比语义式的语音播报,非语义的声音编码利用人声的不同音色、不同频率、不同响度以及立体声效果表示地面检测结果,利用乐器的不同音色、不同响度以及立体声效果表示去除地 面的深度图像,可以充分传递前方的路况和障碍物信息。
8、保护隐私。新型智能盲人辅助眼镜外形生活化,盲人用户穿戴时,和正常人佩戴普通眼镜一样,可以保护盲人用户的隐私,不会引起外界的过度关注。
附图说明
图1为新型智能盲人辅助眼镜模块图;
图2为新型智能盲人辅助眼镜结构图;
图3为新型智能盲人辅助眼镜结构图;
图4为新型智能盲人辅助眼镜穿戴效果;
图5为新型智能盲人辅助眼镜穿戴效果;
图6为新型智能盲人辅助眼镜穿戴效果;
图7为新型智能盲人辅助眼镜穿戴效果;
图8为姿态角传感器的X、Y、Z三轴方向。
具体实现方式
新型智能盲人辅助眼镜的组成部分:
新型智能盲人辅助眼镜包含眼镜本体、一个红外投射器,两个相同的红外相机,一个彩色相机,一个姿态角传感器,一个串口转USB模块,一个USB集线器,一个小型处理器,一个骨传导耳机模块,两个骨传导震动模块,一块电池模块。
新型智能盲人辅助眼镜各组成部分的功能:
红外投射器向三维场景中投射不可见的静态近红外散斑。
两个红外相机实时地采集三维场景的两幅红外图像。
彩色相机实时地采集三维场景的一幅彩色图像。
姿态角传感器实时地获取相机三个方向的姿态角。
串口转USB模块将姿态角传感器输出的串口数据转为USB数据。
USB集线器和红外投射器、两个红外相机、彩色相机、串口转USB模块相连。USB集线器将相机获取的图像和姿态角传感器获取的数据,传给小型处理器。
小型处理器对获取的两幅红外图像、一幅彩色图像、姿态角数据进行处理,检测出场景中的地面和障碍物信息,并将检测结果转为非语义的声音编码信号,通过蓝牙传给骨传导耳机模块。小型的处理器可以是便携的笔记本电脑、平板电脑或者计算棒。
骨传导耳机模块将非语义的声音编码信号转为骨传导震动信号,传给两个骨传导震动模块。
两个骨传导震动模块,传递骨传导震动信号给盲人用户。
电池模块给系统供电。
新型智能盲人眼镜的各组成部分的位置关系:
从美观上考虑,眼镜本体的框架可设计成粗框架,本发明的各个部件可嵌于粗框架内,其中,两个相同的红外相机嵌于两个镜片正上方的框架内,彩色相机和红外投射器嵌于两个红外相机之间的框架内。三个相机的姿态角相同,两个红外相机、一个彩色相机的光轴彼此平行,朝向前。
两个骨传导震动模块嵌于两个镜脚中间偏后处,贴合盲人耳朵前方的颅骨处。姿态角传感器和串口转USB模块嵌于右镜脚内,骨传导耳机模块、USB集线器和电池模块嵌于左镜脚内。
姿态角传感器的X、Y、Z三轴方向如图8所示,其中X轴、Y轴均与两个红外相机、一个彩色相机的光轴方向垂直。
新型智能盲人辅助眼镜辅助方法的流程:
新型智能盲人辅助眼镜辅助方法的流程可分为以下几步。
1-3为相机标定,在新型智能盲人辅助眼镜出厂之前完成,只需执行一次,即可获取相机的参数和相对位置关系。
1、对两个红外相机进行一次双目相机标定,获取两个红外相机的焦距fIR,左红外相机的主点位置(cIR-x,cIR-y),两个红外相机的基线距离BIR-IR
2、对彩色进行一次相机标定,获取彩色相机的焦距fcolor,主点位置(cCOLOR-x,cCOLOR-y)。
3、对彩色相机和左侧的红外相机进行一次双目相机标定,获取左红外相机与彩色相机的基线距离BIR-COLOR
4-28在使用过程中,每一帧都执行一次。
4-15为根据两幅红外图像获取深度图像。
4、红外投射器实时地投射不可见的静态近红外散斑到三维场景中。
5、两个红外相机采集三维场景的两张红外图像IRleft和IRright
6、彩色相机采集三维场景的彩色图像Color。
7、姿态角传感器采集X,Y,Z三轴方向的转角AngleX,AngleY,AngleZ
8、串口转USB模块将姿态角传感器获取的串口数据转为USB数据。
9、USB集线器将两张红外图像IRleft和IRright,彩色图像Color,X,Y,Z三轴方向的转角AngleX,AngleY,AngleZ传给小型处理器。
10、小型处理器对两张红外图像IRleft和IRright提取Sobel边缘,获取两张Sobel边缘图像Sobelleft和Sobelright
11、以左Sobel边缘图像Sobelleft为基准,对两张Sobel边缘图像Sobelleft和Sobelright进行基于图像块的 图像匹配,获取一系列匹配好的有效点E={e1,e2,e3,...,eM}。在左Sobel边缘图像Sobelleft中,每一个有效点为em=(um,vm,dm)T,um为横坐标像素值,vm为纵坐标像素值,dm为视差值。
12、以匹配好的有效点E为基准,每三个有效点可构成一个视差平面,第i个视差平面的方程为dn=aiun+bivn+ci,其中ai,bi,ci为第i个视差平面的系数。
13、在这些视差平面的基础上,获取未匹配的像素点的视差值。每个未匹配的像素点,其待求的视差值为dx。因此该像素点为(ux,vx,dx)T,到第i视差平面的距离为设能量函数为其中ε,σ为常数。对该像素点,遍历视差搜索范围所有的视差值dx={dmin,...,dmax},求出使得能量函数Energy(dx)最小的视差值dmin-energy,当成该像素点的视差值。
14、遍历所有未匹配的像素点,获取每个点的视差值,得到以左红外相机为基准的视差图像Disparityleft
15、根据两个红外相机的焦距fIR和基线距离BIR-IR,将视差图像Disparityleft转为左红外相机为基准的深度图像Depthleft。遍历视差图像中的每一点(um,vm,dm),其深度值为因此深度图像Depthleft中每一点对应为(um,vm,depthm)。
16-17为根据深度图像和姿态角信息,获取深度图像中每一点的三维坐标。
16、根据深度图像Depthleft,两个红外相机的焦距fIR和左红外相机的主点位置(cIR-x,cIR-y),可计算出每一点在相机坐标系下的三维坐标(X,Y,Z)。深度图像Depthleft中一点坐标为(u,v),其深度值为depth,则三维坐标(X,Y,Z)可由公式(1)计算出:
17、根据深度图像中每一点在相机坐标系下的三维坐标(X,Y,Z),以及姿态角传感器三轴方向的转角分别为AngleX=α,AngleY=β,AngleZ=γ,则可由公式(2)计算出每一点在世界坐标系下的坐标(Xw,Yw,Zw):
18为利用深度图像中的三维点坐标,获取初始地面检测结果。
18、对于深度图像中所有的三维点,随机选取3个点,这3个点可以形成一个平面,平面方程为AXw+BYw+CZw+D=0。如果说明该平面和水平面夹角较小,可作为地面的候选,否则跳出进行下一次随机取点。对可作为地面候选的平面,计算出每一点到该平面的距离如果DPSi<T,(T=20mm~100mm),则内点Inliers增加1。随机取点m次,并重复上述处理,取m次结果中内点Inliers最多的平面作为初始地面检测结果OriginalTraversableArea。
19-23为利用深度图像、彩色图像和初始地面检测结果,利用种子区域生长扩展地面检测结果。
19、利用深度图像Depthleft和彩色图像Color,两个红外相机的焦距fIR,左红外相机的主点位置(cIR-x,cIR-y),彩色相机的焦距fcolor,主点位置(cCOLOR-x,cCOLOR-y),以及左红外相机和彩色相机的基线距离BIR-COLOR,可对深度图像和彩色图像进行对齐,获取彩色相机视场的深度图像Depthcolor
20、对彩色图像进行颜色空间变换,获取在HSV颜色空间中的彩色图HSV。对彩色图像提取Canny边缘,获取彩色图像的边缘图像Canny。
21、初始地面检测的地面结果中的像素点,其中四邻域不全是地面的像素点设为种子点。将种子点都压入种子点堆栈。
22、种子点可向四邻域生长的条件包括:①这个种子点没有遍历过;②这个种子点不属于边缘图像Canny的有效点。
23、从种子点堆栈中取出一个种子点,如果该种子点满足可向四邻域生长的条件,进行以下处理。对种子点G,该点的色调值为h,它的其中一个四邻域像素点Gi,该点的色调值为hi,如Gi不属于边缘图像Canny的有效点,Gi没有被遍历过,且|h-hi|<δ,其中δ=2~5,则Gi也视为可通行的地面,压入种子点堆栈。当种子点堆栈为空堆栈时,种子区域生长结束。初始地面检测结果OriginalTraversableArea经过种子区域生长,被扩展到了距离更长,范围更广的扩展地面检测结果ExpandedTraversableArea。
24-26为将扩展地面检测结果和非地面区域转为非语义的声音编码信号。
24、将扩展地面检测结果ExpandedTraversableArea分为K个方向,用不同音色的人的合唱来表示扩展地面检测结果。不同方向的地面用不同音色的人声表示,不同方向地面的长度Length与声音的响度Volume成正比,不同方向地面的宽度Width与声音的频率Pitch成正比。每个方向的人声都为立体声。
25、将深度图像的地面区域的像素点的深度置为0,获得除去地面区域的无地面深度图像DepthWithoutGround,也就是障碍物信息分为K个方向,用不同音色的乐器的合奏来表示无地面深度图像DepthWithoutGround。不同方向的图像用不同音色的乐器表示,不同方向的平均深度Depth与这个 方向乐器声音的响度Volume成反比。平均深度Depth为零则不发声。每个方向的乐器声都为立体声。
26、小型处理器通过蓝牙模块将非语义的声音编码信号传给骨传导耳机模块。
27-28为骨传导耳机传递非语义的声音编码信号给盲人用户。
27、骨传导耳机将非语义的声音编码信号转为骨传导震动信号。
28、骨传导震动模块将骨传导震动信号传递给盲人用户。

Claims (2)

1.一种智能盲人辅助眼镜,所述眼镜包含眼镜本体、一个红外投射器,两个相同的红外相机,一个彩色相机,一个姿态角传感器,一个串口转USB模块,一个USB集线器,一个小型处理器,一个骨传导耳机模块,两个骨传导震动模块,一个电池模块。三个相机的姿态角一致,且通过姿态角传感器实时地获取。姿态角传感器与串口转USB模块相连,红外投射器、两个红外相机、彩色相机、串口转USB模块分别通过USB集线器与小型处理器相连,电池模块与小型处理器相连。所述一个红外投射器,两个相同的红外相机,一个彩色相机,一个姿态角传感器,一个串口转USB模块,一个USB集线器,一个小型处理器,一个骨传导耳机模块,两个骨传导震动模块,一个电池模块均固定在镜架上,且两个相同的红外相机固定在连个镜片的正上方,彩色相机和红外投射器位于两个红外相机之间。两个红外相机、一个彩色相机的光轴彼此平行,朝向前。两个骨传导震动模块位于两个镜脚中间偏后处,贴合盲人耳朵前方的颅骨处。姿态角传感器和串口转USB模块位于右镜脚,骨传导耳机模块、USB集线器和电池模块位于左镜脚。小型处理器控制红外投射器向前方三维场景投射不可见的静态近红外散斑,两个红外相机实时地采集经投射后的三维场景的红外图像。彩色相机实时地采集三维场景的彩色图像。姿态角传感器实时采集三个相机的姿态角,串口转USB模块将姿态角传感器输出的串口数据(姿态角)转为USB数据。USB集线器将相机获取的图像和姿态角传感器获取的数据,传给小型处理器。小型处理器对获取的两幅红外图像、一幅彩色图像、姿态角数据进行处理,检测出场景中的地面和障碍物信息,并将检测结果转为非语义的声音编码信号,并传给骨传导耳机模块。骨传导耳机模块将非语义的声音编码信号转为骨传导震动信号,传给两个骨传导震动模块。两个骨传导震动模块,传递骨传导震动信号给盲人用户。
2.根据权利要求1所述的眼镜,其特征在于,所述眼镜通过以下方法对盲人进行智能辅助:
(1)对两个红外相机进行一次双目相机标定,获取两个红外相机的焦距fIR,左红外相机的主点位置(cIR-x,cIR-y),两个红外相机的基线距离BIR-IR
(2)对彩色相机进行一次相机标定,获取彩色相机的焦距fcolor,主点位置(cCOLOR-x,cCOLOR-y)。
(3)对彩色相机和左侧的红外相机进行一次双目相机标定,获取左红外相机与彩色相机的基线距离BIR-COLOR
(4)红外投射器实时地投射不可见的静态近红外散斑到三维场景中。
(5)两个红外相机采集三维场景的两张红外图像IRleft和IRright
(6)彩色相机采集三维场景的彩色图像Color。
(7)姿态角传感器采集三个相机的X,Y,Z三轴方向的转角AngleX,AngleY,AngleZ
(8)串口转USB模块将姿态角传感器获取的串口数据转为USB数据。
(9)USB集线器将两张红外图像IRleft和IRright,彩色图像Color,X,Y,Z三轴方向的转角AngleX,AngleY,AngleZ传给小型处理器。
(10)小型处理器对两张红外图像IRleft和IRright提取Sobel边缘,获取两张Sobel边缘图像Sobelleft和Sobelright
(11)以左Sobel边缘图像Sobelleft为基准,对两张Sobel边缘图像Sobelleft和Sobelright进行基于图像块的图像匹配,获取一系列匹配好的有效点E={e1,e2,e3,...,eM}。在左Sobel边缘图像Sobelleft中,每一个有效点为e=(u,v,d)T,u为横坐标像素值,v为纵坐标像素值,d为视差值。
(12)以匹配好的有效点E为基准,每三个有效点可构成一个视差平面,第i个视差平面的方程为d=aiu+biv+ci,其中ai,bi,ci为第i个视差平面的系数。
(13)在这些视差平面的基础上,将未匹配的像素点(u',v',d')T转换为匹配的有效点(u,v,d)T;具体为:该像素点(u',v',d')T到第i视差平面的距离为设能量函数为其中ε,σ为常数。对该像素点,遍历视差搜索范围所有的视差值d'={d'min,...,d'max},求出使得能量函数Energy(d')最小的视差值,当成该像素点的视差值d。另外,u=u',v=v'。
(14)遍历所有未匹配的像素点,获取每个未匹配的像素点的视差值,得到以左红外相机为基准的视差图像Disparityleft
(15)根据两个红外相机的焦距fIR和基线距离BIR-IR,遍历视差图像中的每一点(u,v,d),其深度值为因此深度图像Depthleft中每一点对应为(u,v,depth),从而获得左红外相机为基准的深度图像Depthleft
(16)根据深度图像Depthleft,两个红外相机的焦距fIR和左红外相机的主点位置(cIR-x,cIR-y),可计算出每一点在相机坐标系下的三维坐标(X,Y,Z)。深度图像Depthleft中一点坐标为(u,v),其深度值为depth,则三维坐标(X,Y,Z)可由公式(1)计算出:
Z=depth
X = Z &times; u - c I R - x f I R - - - ( 1 )
Y = Z &times; v - c I R - y f I R
(17)根据深度图像中每一点在相机坐标系下的三维坐标(X,Y,Z),以及姿态角传感器三轴方向的转角分别为AngleX=α,AngleY=β,AngleZ=γ,则可由公式(2)计算出每一点在世界坐标系下的坐标(Xw,Yw,Zw):
X w Y w Z z = c o s &gamma; - s i n &gamma; 0 s i n &gamma; cos &gamma; 0 0 0 1 c o s &beta; 0 sin &beta; 0 1 0 - s i n &beta; 0 cos &beta; 1 0 0 0 cos &alpha; - sin &alpha; 0 sin &alpha; cos &alpha; X Y Z - - - ( 2 )
(18)对于深度图像中所有的三维点,随机选取3个点,这3个点可以形成一个平面,平面方程为AXw+BYw+CZw+D=0。如果(nth为阈值),说明该平面和水平面夹角较小,可作为地面的候选,否则跳出进行下一次随机取点。对可作为地面候选的平面,计算出每一点(Xi,Yi,Zi)到该平面的距离如果DPSi<T,(T为阈值),则内点Inliers增加1,所述内点为满足DPSi<T的点。一般近似为该平面内的点。随机取点20~30次,并重复上述处理,取20~30次结果中内点Inliers最多的平面作为初始地面检测结果OriginalTraversableArea。
(19)利用深度图像Depthleft和彩色图像Color,两个红外相机的焦距fIR,左红外相机的主点位置(cIR-x,cIR-y),彩色相机的焦距fcolor,彩色相机的主点位置(cCOLOR-x,cCOLOR-y),以及左红外相机和彩色相机的基线距离BIR-COLOR,可对深度图像和彩色图像进行对齐,获取彩色相机视场的深度图像Depthcolor
(20)对彩色图像进行颜色空间变换,获取在HSV颜色空间中的彩色图HSV。对彩色图像提取Canny边缘,获取彩色图像的边缘图像Canny。
(21)初始地面检测的地面结果中的像素点,其中四邻域不全是地面的像素点设为种子点。将种子点都压入种子点堆栈。
(22)设定种子点可向四邻域生长的条件:①这个种子点没有遍历过;②这个种子点不属于边缘图像Canny的有效点。
(23)从种子点堆栈中取出一个种子点,如果该种子点满足可向四邻域生长的条件,进行以下处理。对种子点G,该点的色调值为h,它的其中一个四邻域像素点Gi,该点的色调值为hi,如Gi不属于边缘图像Canny的有效点,Gi没有被遍历过,且|h-hi|<δ,其中δ是阈值,则Gi也视为可通行的地面,压入种子点堆栈。当遍历堆栈中所有种子点后,种子区域生长结束。初始地面检测结果OriginalTraversableArea经过种子区域生长,被扩展到了距离更长,范围更广的扩展地面检测结果ExpandedTraversableArea。
将扩展地面检测结果ExpandedTraversableArea分为K个方向,根据ExpandedTraversableArea中每个点的世界坐标系下的三维坐标,得到K个方向上地面的长度和K个方向上地面的宽度。
(24)用不同音色的人的合唱来表示扩展地面检测结果。不同方向的地面用不同音色的人声表示,不同方向地面的长度Length与声音的响度Volume成正比,不同方向地面的宽度Width与声音的频率Pitch成正比。每个方向的人声都为立体声。
(25)将深度图像Depthcolor的地面区域的像素点的深度置为0,获得除去地面区域的无地面深度图像DepthWithoutGround,以表示障碍物信息;将无地面深度图像DepthWithoutGround分为J个方向,用不同音色的乐器的合奏来表示无地面深度图像DepthWithoutGround。不同方向的图像用不同音色的乐器表示,不同方向的平均深度Depth与这个方向乐器声音的响度Volume成反比。平均深度Depth为零则不发声。每个方向的乐器声都为立体声。
(26)小型处理器将非语义的声音编码信号通过无线传给骨传导耳机模块。
(27)骨传导耳机将非语义的声音编码信号转为骨传导震动信号。
(28)骨传导震动模块将骨传导震动信号传递给盲人用户。
CN201610590755.0A 2016-07-22 2016-07-22 一种智能盲人辅助眼镜 Active CN106214437B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610590755.0A CN106214437B (zh) 2016-07-22 2016-07-22 一种智能盲人辅助眼镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610590755.0A CN106214437B (zh) 2016-07-22 2016-07-22 一种智能盲人辅助眼镜

Publications (2)

Publication Number Publication Date
CN106214437A true CN106214437A (zh) 2016-12-14
CN106214437B CN106214437B (zh) 2018-05-29

Family

ID=57532773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610590755.0A Active CN106214437B (zh) 2016-07-22 2016-07-22 一种智能盲人辅助眼镜

Country Status (1)

Country Link
CN (1) CN106214437B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874945A (zh) * 2017-01-25 2017-06-20 杭州视氪科技有限公司 一种用于视障人士的人行道交通灯检测系统和方法
CN107561037A (zh) * 2017-08-31 2018-01-09 维沃移动通信有限公司 一种物体的操作提示方法及智能终端
CN107817614A (zh) * 2017-08-31 2018-03-20 杭州视氪科技有限公司 一种用于躲避水面与障碍物的盲人辅助眼镜
CN108245385A (zh) * 2018-01-16 2018-07-06 曹醒龙 一种帮助视障人士出行的装置
CN108335327A (zh) * 2017-01-19 2018-07-27 富士通株式会社 摄像机姿态估计方法和摄像机姿态估计装置
CN108721069A (zh) * 2018-05-29 2018-11-02 杭州视氪科技有限公司 一种基于多模态数据进行视觉定位的盲人辅助眼镜
CN108814912A (zh) * 2018-04-23 2018-11-16 苏州登阳信息技术有限公司 一种基于多目视觉测量的智能避障系统
CN108885791A (zh) * 2018-07-06 2018-11-23 深圳前海达闼云端智能科技有限公司 地面检测方法、相关装置及计算机可读存储介质
CN109579228A (zh) * 2019-01-17 2019-04-05 山东新力净化科技有限公司 一种基于室内导航的空气净化装置以及空气净化方法
WO2019109301A1 (zh) * 2017-12-07 2019-06-13 深圳前海达闼云端智能科技有限公司 导盲方法、装置和导盲设备
CN110399807A (zh) * 2019-07-04 2019-11-01 深圳前海达闼云端智能科技有限公司 检测地面障碍物的方法、装置、可读存储介质及电子设备
CN111031468A (zh) * 2019-11-13 2020-04-17 电子科技大学 一种基于个体化hrtf立体声的视觉辅助方法与设备
CN111213069A (zh) * 2018-07-27 2020-05-29 合刃科技(深圳)有限公司 基于相干光的避障装置及方法
CN111238470A (zh) * 2020-01-09 2020-06-05 哈尔滨工程大学 人工智能大数据下智能眼镜道路规划方法、介质及设备
CN117765499A (zh) * 2023-12-30 2024-03-26 武汉奥思工业设计有限公司 一种车辆辅助驾驶智能决策方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997017043A1 (en) * 1995-11-08 1997-05-15 Marta Marangoni Eyeglasses provided with sensors for blind and/or deaf-blind people
EP0872048A1 (en) * 1995-06-30 1998-10-21 Talking Signs, Inc. Discriminating infrared signal detector and systems utilizing the same
JP3804963B2 (ja) * 2004-06-23 2006-08-02 株式会社京三製作所 白杖センサ及び歩行者支援装置
RU2359287C1 (ru) * 2007-10-17 2009-06-20 Государственное образовательное учреждение высшего профессионального образования "Военно-космическая академия имени А.Ф. Можайского" Инфракрасный локатор для людей с ослабленным зрением
WO2014168499A1 (en) * 2013-04-08 2014-10-16 Novelic D.O.O. Apparatus and operation method for visually impaired
CN204181857U (zh) * 2014-10-09 2015-03-04 苏州市圆梦无障碍科技有限公司 可探测障碍物的盲人眼镜
CN104800054A (zh) * 2014-01-27 2015-07-29 光宝科技股份有限公司 距离侦测与指示方法及具有此侦测与指示功能的行动装置
CN204972147U (zh) * 2015-07-22 2016-01-20 成都大学 基于Kinect的盲人导航系统
CN205286872U (zh) * 2015-12-17 2016-06-08 上海康龙宝康复器材科技有限公司 一种盲人避障眼镜
CN105662798A (zh) * 2016-03-22 2016-06-15 昆山市工研院智能制造技术有限公司 基于激光与图像处理的盲人导航装置及行走避障方法
CN105686936A (zh) * 2016-01-12 2016-06-22 浙江大学 一种基于rgb-ir相机的声音编码交互系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0872048A1 (en) * 1995-06-30 1998-10-21 Talking Signs, Inc. Discriminating infrared signal detector and systems utilizing the same
WO1997017043A1 (en) * 1995-11-08 1997-05-15 Marta Marangoni Eyeglasses provided with sensors for blind and/or deaf-blind people
JP3804963B2 (ja) * 2004-06-23 2006-08-02 株式会社京三製作所 白杖センサ及び歩行者支援装置
RU2359287C1 (ru) * 2007-10-17 2009-06-20 Государственное образовательное учреждение высшего профессионального образования "Военно-космическая академия имени А.Ф. Можайского" Инфракрасный локатор для людей с ослабленным зрением
WO2014168499A1 (en) * 2013-04-08 2014-10-16 Novelic D.O.O. Apparatus and operation method for visually impaired
CN104800054A (zh) * 2014-01-27 2015-07-29 光宝科技股份有限公司 距离侦测与指示方法及具有此侦测与指示功能的行动装置
CN204181857U (zh) * 2014-10-09 2015-03-04 苏州市圆梦无障碍科技有限公司 可探测障碍物的盲人眼镜
CN204972147U (zh) * 2015-07-22 2016-01-20 成都大学 基于Kinect的盲人导航系统
CN205286872U (zh) * 2015-12-17 2016-06-08 上海康龙宝康复器材科技有限公司 一种盲人避障眼镜
CN105686936A (zh) * 2016-01-12 2016-06-22 浙江大学 一种基于rgb-ir相机的声音编码交互系统
CN105662798A (zh) * 2016-03-22 2016-06-15 昆山市工研院智能制造技术有限公司 基于激光与图像处理的盲人导航装置及行走避障方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335327A (zh) * 2017-01-19 2018-07-27 富士通株式会社 摄像机姿态估计方法和摄像机姿态估计装置
CN108335327B (zh) * 2017-01-19 2021-09-24 富士通株式会社 摄像机姿态估计方法和摄像机姿态估计装置
CN106874945A (zh) * 2017-01-25 2017-06-20 杭州视氪科技有限公司 一种用于视障人士的人行道交通灯检测系统和方法
CN106874945B (zh) * 2017-01-25 2020-05-12 杭州视氪科技有限公司 一种用于视障人士的人行道交通灯检测系统和方法
CN107561037A (zh) * 2017-08-31 2018-01-09 维沃移动通信有限公司 一种物体的操作提示方法及智能终端
CN107817614A (zh) * 2017-08-31 2018-03-20 杭州视氪科技有限公司 一种用于躲避水面与障碍物的盲人辅助眼镜
CN107817614B (zh) * 2017-08-31 2019-06-07 杭州视氪科技有限公司 一种用于躲避水面与障碍物的盲人辅助眼镜
WO2019109301A1 (zh) * 2017-12-07 2019-06-13 深圳前海达闼云端智能科技有限公司 导盲方法、装置和导盲设备
CN108245385A (zh) * 2018-01-16 2018-07-06 曹醒龙 一种帮助视障人士出行的装置
CN108814912A (zh) * 2018-04-23 2018-11-16 苏州登阳信息技术有限公司 一种基于多目视觉测量的智能避障系统
CN108721069A (zh) * 2018-05-29 2018-11-02 杭州视氪科技有限公司 一种基于多模态数据进行视觉定位的盲人辅助眼镜
CN108721069B (zh) * 2018-05-29 2020-07-14 杭州视氪科技有限公司 一种基于多模态数据进行视觉定位的盲人辅助眼镜
WO2020006765A1 (zh) * 2018-07-06 2020-01-09 深圳前海达闼云端智能科技有限公司 地面检测方法、相关装置及计算机可读存储介质
CN108885791A (zh) * 2018-07-06 2018-11-23 深圳前海达闼云端智能科技有限公司 地面检测方法、相关装置及计算机可读存储介质
CN108885791B (zh) * 2018-07-06 2022-04-08 达闼机器人有限公司 地面检测方法、相关装置及计算机可读存储介质
CN111213069A (zh) * 2018-07-27 2020-05-29 合刃科技(深圳)有限公司 基于相干光的避障装置及方法
CN111213069B (zh) * 2018-07-27 2023-09-12 合刃科技(深圳)有限公司 基于相干光的避障装置及方法
CN109579228A (zh) * 2019-01-17 2019-04-05 山东新力净化科技有限公司 一种基于室内导航的空气净化装置以及空气净化方法
CN110399807A (zh) * 2019-07-04 2019-11-01 深圳前海达闼云端智能科技有限公司 检测地面障碍物的方法、装置、可读存储介质及电子设备
CN110399807B (zh) * 2019-07-04 2021-07-16 达闼机器人有限公司 检测地面障碍物的方法、装置、可读存储介质及电子设备
CN111031468A (zh) * 2019-11-13 2020-04-17 电子科技大学 一种基于个体化hrtf立体声的视觉辅助方法与设备
CN111031468B (zh) * 2019-11-13 2021-02-05 电子科技大学 一种基于个体化hrtf立体声的视觉辅助方法与设备
CN111238470A (zh) * 2020-01-09 2020-06-05 哈尔滨工程大学 人工智能大数据下智能眼镜道路规划方法、介质及设备
CN117765499A (zh) * 2023-12-30 2024-03-26 武汉奥思工业设计有限公司 一种车辆辅助驾驶智能决策方法及系统

Also Published As

Publication number Publication date
CN106214437B (zh) 2018-05-29

Similar Documents

Publication Publication Date Title
CN106214437A (zh) 一种智能盲人辅助眼镜
CN106203390A (zh) 一种智能盲人辅助系统
US7755744B1 (en) Environment sensor that conveys information about objects in the vicinity of the visually impaired user
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN101999972B (zh) 一种基于立体视觉的盲人辅助行走装置及其辅助方法
CN104699247B (zh) 一种基于机器视觉的虚拟现实交互系统及方法
CN107341789B (zh) 一种基于rgb-d相机和立体声的视障人士通路预知系统和方法
CN106389078A (zh) 一种智能导盲眼镜系统及其导盲方法
CN108245385B (zh) 一种帮助视障人士出行的装置
CN106597690B (zh) 一种基于rgb-d相机和立体声的视障人士通路预知眼镜
CN106840112B (zh) 一种利用自由空间视线凝视点测量的空间几何量测量方法
US20120092460A1 (en) System And Method For Alerting Visually Impaired Users Of Nearby Objects
CN106846350B (zh) 一种基于rgb-d相机和立体声的视障人士障碍物预警系统及方法
CA2762888C (en) System and method for alerting visually impaired users of nearby objects
CN106817577B (zh) 一种基于rgb-d相机和立体声的视障人士障碍物预警眼镜
CN102389361A (zh) 一种基于计算机视觉的盲人户外支援系统
WO2003107039A2 (en) Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired
CN106651873B (zh) 一种基于rgb-d相机和立体声的视障人士斑马线检测眼镜
CN110236895A (zh) Ai盲人导航眼镜
CN105686936B (zh) 一种基于rgb‐ir相机的声音编码交互系统
CN106821692A (zh) 一种基于rgb‑d相机和立体声的视障人士楼梯检测系统及方法
US20180182164A1 (en) Head-Mounted Mapping Methods
CN105701811A (zh) 一种基于rgb-ir相机的声音编码交互方法
CN107817614B (zh) 一种用于躲避水面与障碍物的盲人辅助眼镜
CN106920260A (zh) 立体惯性导盲方法及装置和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 9, 181, 310000, Wuchang Road, Wuchang Street, Yuhang District, Zhejiang, Hangzhou, 202-7

Applicant after: Hangzhou vision krypton Technology Co., Ltd.

Address before: Room 589, C building, No. 525 Xixi Road, Xihu District, Zhejiang, Hangzhou 310013, China

Applicant before: Hangzhou vision krypton Technology Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant