CN112494290A - 一种导航眼镜 - Google Patents
一种导航眼镜 Download PDFInfo
- Publication number
- CN112494290A CN112494290A CN202011363306.5A CN202011363306A CN112494290A CN 112494290 A CN112494290 A CN 112494290A CN 202011363306 A CN202011363306 A CN 202011363306A CN 112494290 A CN112494290 A CN 112494290A
- Authority
- CN
- China
- Prior art keywords
- image
- glasses
- navigation
- current environment
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 100
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000001131 transforming effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract description 8
- 230000004888 barrier function Effects 0.000 abstract description 4
- 238000000034 method Methods 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C11/00—Non-optical adjuncts; Attachment thereof
- G02C11/10—Electronic devices other than hearing aids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
- A61H2201/1604—Head
- A61H2201/1607—Holding means therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
- A61H2201/165—Wearable interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Epidemiology (AREA)
- Animal Behavior & Ethology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Acoustics & Sound (AREA)
- Otolaryngology (AREA)
- Ophthalmology & Optometry (AREA)
- Optics & Photonics (AREA)
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种导航眼镜，本申请在导航眼镜的左右镜脚处额外放置了摄像头，增强了对侧方环境的监测能力；并且本申请利用多个摄像头采集到的图像集，通过多视角重建技术提升对感知周围环境障碍物的准确性，也就是说，本申请同时考虑了来自用户前方、侧方的摄像头所采集到的图像，可有效的感知前方和侧方的环境，并且利用重建算法可以提升对周围环境的重建精度，因此可以有效提高导航的准确性，从而提高了导航的效率以及用户体验。
Description
技术领域
本申请涉及导航领域，尤其涉及一种导航眼镜。
背景技术
当前我国盲道设计存在很多问题，设计不规范、维护不及时、障碍物占道等问题严重影响着盲人的行走安全，而且单一的盲道无法满足盲人对轻松自如行走的需求，故如何使盲人或者低视力者能够融入到这个社会去更好地生活已成为当前迫切需要解决的问题，要解决这个问题首要任务就是使盲人能够安全自由的行走在城市空间中。
盲人缺乏视力，无法看到周围的环境，因此需要借助一定的设备帮助自己感知环境。摄像头是一种视觉感知设备，借助传感器将光信号转换为电信号，以获取周围环境的信息，是与人眼最为接近的传感器，最适合辅助盲人的日常活动。故此，亟需一种结合摄像头且用于为盲人导航的导航眼镜。
发明内容
本申请提供一种导航眼镜，以实现有效的感知前方和侧方的环境，并且利用多视角重建算法可以提升对周围环境的重建精度，因此可以有效提高导航的准确性，从而提高了导航的效率以及用户体验。
第一方面，本申请提供了一种导航眼镜，所述导航眼镜包括导航模块、眼镜镜架、若干摄像头以及语音提示模块，其中，眼镜镜架至少包括第一镜腿、第二镜腿和镜框，所述第一镜腿、所述第二镜腿和所述镜框均设置有摄像头；
所述导航模块，用于获取所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头所采集到的图像集；根据所述图像集确定当前环境对应的三维点云数据；根据所述当前环境对应的三维点云数据，确定当前环境内障碍物的位置信息；根据所述当前环境内障碍物的位置信息，生成语音提示信息；
所述语音提示模块，用于根据所述语音提示信息进行语音提示。
可选的，所述导航模块中设置有多视角三维重建网络；
所述导航模块，具体用于获取所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头所采集到的图像集，以及利用多视角三维重建网络确定所述图像集对应的特征图；利用多视角三维重建网络基于可微的单应性变换，将所述特征图变换到三维的深度图上，构建所述特征图对应的代价矩阵；根据所述特征图对应的代价矩阵，确定所述当前环境对应的三维点云数据；根据所述当前环境对应的三维点云数据，确定当前环境内障碍物的位置信息；根据所述当前环境内障碍物的位置信息，生成语音提示信息。
可选的，所述导航模块，具体用于获取所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头所采集到的图像集，以及确定所述图像集对应的特征图；基于可微的单应性变换，将所述特征图变换到三维的深度图上，构建所述特征图对应的代价矩阵；利用经过匹配的编码器-解码器对所述代价矩阵进行处理，得到所述代价矩阵对应的三维视差图；根据所述三维视差图，确定所述当前环境对应的三维点云数据；根据所述当前环境对应的三维点云数据，确定当前环境内障碍物的位置信息；根据所述当前环境内障碍物的位置信息，生成语音提示信息。
可选的，所述导航模块，具体用于获取预设导航路线和所述用户当前位置信息；以及，根据所述预设导航路线、所述用户当前位置信息以及所述当前环境内障碍物的位置信息，生成语音提示信息。
可选的，所述镜框上设置有双目摄像头。
可选的，所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头所采集到的图像集包括第一图像、第二图像、第三图像和第四图像；所述第一图像为所述第一镜腿所设置的摄像头采集到的图像；所述第二图像为所述第二镜腿所设置的摄像头采集到的图像；所述第三图像和第四图像为所述镜框所设置的双目摄像头采集到的图像。
可选的，所述第一镜腿、所述第二镜腿和所述镜框中所设置的每个摄像头的视场均为120度。
可选的，所述导航模块，具体用于获取所述第一图像、所述第二图像、所述第三图像和所述第四图像；从述第一图像、所述第二图像、所述第三图像和所述第四图像，提取32通道的特征图；基于可微的单应性变换，将所述特征图变换到三维的深度图上，构建所述特征图对应的代价矩阵；利用经过匹配的编码器-解码器对所述代价矩阵进行处理，得到所述代价矩阵对应的三维视差图；根据所述三维视差图，确定所述当前环境对应的三维点云数据；根据所述当前环境对应的三维点云数据，确定当前环境内障碍物的位置信息；根据所述当前环境内障碍物的位置信息，生成语音提示信息。
可选的，所述多视角三维重建网络为Recurrent MVS-Net多视角三维重建网络。
可选的，所述导航模块设置在所述镜框的中间。
由上述技术方案可以看出，本申请提供了一种导航眼镜，所述导航眼镜包括导航模块、眼镜镜架、若干摄像头以及语音提示模块，其中，眼镜镜架至少包括第一镜腿、第二镜腿和镜框，所述第一镜腿、所述第二镜腿和所述镜框均设置有摄像头；所述导航模块，用于获取所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头所采集到的图像集；根据所述图像集确定当前环境对应的三维点云数据；根据所述当前环境对应的三维点云数据，确定当前环境内障碍物的位置信息；根据所述当前环境内障碍物的位置信息，生成语音提示信息；所述语音提示模块，用于根据所述语音提示信息进行语音提示。可见，本申请在导航眼镜的左右镜脚处额外放置了摄像头，增强了对侧方环境的监测能力；并且本申请利用多个摄像头采集到的图像集，通过多视角重建技术提升对感知周围环境障碍物的准确性，也就是说，本申请同时考虑了来自用户前方和侧方的摄像头所采集到的图像，可有效的感知前方和侧方的环境，并且利用重建算法可以提升对周围环境的重建精度，因此可以有效提高导航的准确性，从而提高了导航的效率以及用户体验。
上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
为了更清楚地说明本申请实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一种导航眼镜的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合附图，详细说明本申请的各种非限制性实施方式。
参见图1，示出了本申请实施例中的一种导航眼镜。所述导航眼镜可以包括导航模块、眼镜镜架、若干摄像头以及语音提示模块。其中，眼镜镜架至少包括第一镜腿、第二镜腿和镜框，所述第一镜腿、所述第二镜腿和所述镜框均设置有摄像头。在一种实现方式中，如图1所示，第一镜腿可以为左镜腿，第一镜腿上所设置的摄像头可以称之为左侧摄像头，第二镜腿可以为右镜腿，第二镜腿上所设置的摄像头可以称之为右侧摄像头，镜框上所设置有双目摄像头(例如镜片内侧各分别设置一个摄像头)。
在本实施例中，可以将所述第一镜腿所设置的摄像头采集到的图像称之为第一图像，可以将所述第二镜腿所设置的摄像头采集到的图像称之为第二图像，可以将所述双目摄像头采集到的两张图像分别称之为第三图像和第四图像。需要说明的是，在一种实现方式中，所述第一镜腿、所述第二镜腿和所述镜框中所设置的每个摄像头的视场均为120度；由于摄像头在正前方和侧方分布，每个摄像头的视场均为120度，这样，人眼正前方180度的范围中至少有2个摄像头可以采集到图像，左右两侧的侧方均存在1个摄像头拍摄的图像，即本申请同时考虑了来自用户前方和侧方的摄像头所采集到的图像，可有效的感知前方和侧方的环境。需要强调的是，在一种实现方式中，所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头均内置了校准信息，所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头之间的相对位置固定，以提供稳定的相机外参和内参。
所述导航模块可以先获取所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头所采集到的图像集。需要强调的是，所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头可以采集视频，也可以直接采集图像，需要说明的是，当摄像头所采集的数据为视频时，导航模块可以每隔预设时长(比如0.5秒钟)在各个摄像头所采集的视频中均各自截取一帧图像，从而将所截取到的若干图像作为图像集。还需要说明的是，在一种实现方式中，所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头所采集到的图像集可以包括第一图像、第二图像、第三图像和第四图像；所述第一图像为所述第一镜腿所设置的摄像头采集到的图像；所述第二图像为所述第二镜腿所设置的摄像头采集到的图像；所述第三图像和第四图像为所述镜框所设置的双目摄像头采集到的图像。
然后，所述导航模块可以根据所述图像集确定当前环境对应的三维点云数据。例如，在一种实现方式中，所述导航模块中设置有多视角三维重建网络(例如可以为Recurrent MVS-Net多视角三维重建网络)；所述导航模块获取到所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头所采集到的图像集之后，可以利用多视角三维重建网络确定所述图像集对应的特征图，例如，所述图像集包括所述第一图像、所述第二图像、所述第三图像和所述第四图像时，所述导航模块可以利用多视角三维重建网络从所述第一图像、所述第二图像、所述第三图像和所述第四图像，提取32通道的特征图。
接着，所述导航模块可以利用多视角三维重建网络基于可微的单应性变换，将所述特征图变换到三维的深度图上，构建所述特征图对应的代价矩阵，其中，代价矩阵可以用于描述周围三维空间的视差信息；举例来说，所述导航模块可以基于多视角三维重建网络通过可微的单应性变换将特征图变换到三维的深度图上，构建W*H*D尺寸的代价矩阵，其中W*H为图像尺寸，D为预制的离散化深度层，代表周围环境的深度信息。可见，本实施例通过多视角三维重建网络利用门控正则化单元，沿深度方向逐层迭代计算代价矩阵，大大降低了传统多视角重建的内存的算力需求，以使得导航眼镜内置的低功耗芯片可实时得到高精度的三维点云数据。
紧接着，所述导航模块可以根据所述特征图对应的代价矩阵，确定所述当前环境对应的三维点云数据。例如，在一种实现方式中，可以利用经过匹配的编码器-解码器对所述代价矩阵进行处理，得到所述代价矩阵对应的三维视差图(3D视差图)。以及，所述导航模块可以根据所述三维视差图，确定所述当前环境对应的三维点云数据，例如，导航模块可以利用代价矩阵中的视差信息(即代价矩阵对应的三维视差图)，结合相机内外参，并通过三角转换得到周围环境的三维点云数据(比如3D点云模型)。
接下来，所述导航模块可以根据所述当前环境对应的三维点云数据，确定当前环境内障碍物的位置信息；举例来说，导航模块可以利用三维点云数据，计算出视场内(即用户所处的位置的环境内)各个位置点之间的相对位置和距离，并且可以根据预设的障碍物类型，确定所述当前环境内障碍物的位置信息。
最后，所述导航模块可以根据所述当前环境内障碍物的位置信息，生成语音提示信息。在一种实现方式中，所述导航眼镜还可以包括定位模块，所述定位模块用于获取用户的用户当前位置信息(例如用户当前的GPS坐标)，并将用户的用户当前位置信息向导航模块学习；故此，所述导航模块，可以具体用于：获取预设导航路线和所述用户当前位置信息，并且，可以根据所述预设导航路线、所述用户当前位置信息以及所述当前环境内障碍物的位置信息，生成语音提示信息，例如，可以根据所述预设导航路线、所述用户当前位置信息以及所述当前环境内障碍物的位置信息，可以确定一条不会遇到障碍物的路径，并生成该路径对应的语音提示信息，以便可以利用语音提示信息指导盲人按照预设路径行走，并规避周围的障碍物。
需要强调的是，在复杂的环境下，导航眼镜可提示用户暂时停止行动，提示用户转头看向构造复杂的区域，利用更多的视角图像完善三维点云数据，提升安全性。
需要说明的是，在一种实现方式中，所述导航模块可以设置在所述镜框的中间，例如，可以是镜框中与鼻梁接触处的上方。
所述语音提示模块，用于根据所述语音提示信息进行语音提示。需要强调的是，在一种实现方式中，语音提示模块可以设置在第一镜腿、第二镜腿和/或镜框上，或者，语音提示模块也可以为耳机，且语音提示模块与导航模块之间通信连接，以便能够传输语音提示信息。
由上述技术方案可以看出，本申请提供了一种导航眼镜，所述导航眼镜包括导航模块、眼镜镜架、若干摄像头以及语音提示模块，其中，眼镜镜架至少包括第一镜腿、第二镜腿和镜框，所述第一镜腿、所述第二镜腿和所述镜框均设置有摄像头；所述导航模块，用于获取所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头所采集到的图像集；根据所述图像集确定当前环境对应的三维点云数据；根据所述当前环境对应的三维点云数据，确定当前环境内障碍物的位置信息；根据所述当前环境内障碍物的位置信息，生成语音提示信息；所述语音提示模块，用于根据所述语音提示信息进行语音提示。可见，本申请在导航眼镜的左右镜脚处额外放置了摄像头，增强了对侧方环境的监测能力；并且本申请利用多个摄像头采集到的图像集，通过多视角重建技术提升对感知周围环境障碍物的准确性，也就是说，本申请同时考虑了来自用户前方和侧方的摄像头所采集到的图像，可有效的感知前方和侧方的环境，并且利用重建算法可以提升对周围环境的重建精度，因此可以有效提高导航的准确性，从而提高了导航的效率以及用户体验。
另外，本申请在左右镜脚处额外放置了2颗摄像头，若单个摄像头的视场角度为120度，则新增的摄像头将可视角度在左右侧各自扩大了90度，两个摄像头共扩大了180度。可有效的感知前方和侧方的环境。
由于同时考虑了来自4个四个摄像头的图像，重建算法可以提升对周围环境的重建精度，因此可以有效提高导航的准确性。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种导航眼镜，其特征在于，所述导航眼镜包括导航模块、眼镜镜架、若干摄像头以及语音提示模块，其中，眼镜镜架至少包括第一镜腿、第二镜腿和镜框，所述第一镜腿、所述第二镜腿和所述镜框均设置有摄像头；
所述导航模块，用于获取所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头所采集到的图像集；根据所述图像集确定当前环境对应的三维点云数据；根据所述当前环境对应的三维点云数据，确定当前环境内障碍物的位置信息；根据所述当前环境内障碍物的位置信息，生成语音提示信息；
所述语音提示模块，用于根据所述语音提示信息进行语音提示。
2.根据权利要求1所述的导航眼镜，其特征在于，所述导航模块中设置有多视角三维重建网络；
所述导航模块，具体用于获取所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头所采集到的图像集，以及利用多视角三维重建网络确定所述图像集对应的特征图；利用多视角三维重建网络基于可微的单应性变换，将所述特征图变换到三维的深度图上，构建所述特征图对应的代价矩阵；根据所述特征图对应的代价矩阵，确定所述当前环境对应的三维点云数据；根据所述当前环境对应的三维点云数据，确定当前环境内障碍物的位置信息；根据所述当前环境内障碍物的位置信息，生成语音提示信息。
3.根据权利要求2所述的导航眼镜，其特征在于，所述导航模块，具体用于获取所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头所采集到的图像集，以及确定所述图像集对应的特征图；基于可微的单应性变换，将所述特征图变换到三维的深度图上，构建所述特征图对应的代价矩阵；利用经过匹配的编码器-解码器对所述代价矩阵进行处理，得到所述代价矩阵对应的三维视差图；根据所述三维视差图，确定所述当前环境对应的三维点云数据；根据所述当前环境对应的三维点云数据，确定当前环境内障碍物的位置信息；根据所述当前环境内障碍物的位置信息，生成语音提示信息。
4.根据权利要求1-3中任一所述的导航眼镜，其特征在于，所述导航眼镜还包括定位模块，所述定位模块用于获取用户的用户当前位置信息；所述导航模块，具体用于获取预设导航路线和所述用户当前位置信息；以及，根据所述预设导航路线、所述用户当前位置信息以及所述当前环境内障碍物的位置信息，生成语音提示信息。
5.根据权利要求1-3中任一所述的导航眼镜，其特征在于，所述镜框上设置有双目摄像头。
6.根据权利要求5所述的导航眼镜，其特征在于，所述第一镜腿、所述第二镜腿和所述镜框中所设置的摄像头所采集到的图像集包括第一图像、第二图像、第三图像和第四图像；所述第一图像为所述第一镜腿所设置的摄像头采集到的图像；所述第二图像为所述第二镜腿所设置的摄像头采集到的图像；所述第三图像和第四图像为所述镜框所设置的双目摄像头采集到的图像。
7.根据权利要求5所述的导航眼镜，其特征在于，所述第一镜腿、所述第二镜腿和所述镜框中所设置的每个摄像头的视场均为120度。
8.根据权利要求6所述的导航眼镜，其特征在于，所述导航模块，具体用于获取所述第一图像、所述第二图像、所述第三图像和所述第四图像；从所述第一图像、所述第二图像、所述第三图像和所述第四图像，提取32通道的特征图；基于可微的单应性变换，将所述特征图变换到三维的深度图上，构建所述特征图对应的代价矩阵；利用经过匹配的编码器-解码器对所述代价矩阵进行处理，得到所述代价矩阵对应的三维视差图；根据所述三维视差图，确定所述当前环境对应的三维点云数据；根据所述当前环境对应的三维点云数据，确定当前环境内障碍物的位置信息；根据所述当前环境内障碍物的位置信息，生成语音提示信息。
9.根据权利要求2所述的导航眼镜，其特征在于，所述多视角三维重建网络为Recurrent MVS-Net多视角三维重建网络。
10.根据权利要求1-3中任一所述的导航眼镜，其特征在于，所述导航模块设置在所述镜框的中间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011363306.5A CN112494290A (zh) | 2020-11-27 | 2020-11-27 | 一种导航眼镜 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011363306.5A CN112494290A (zh) | 2020-11-27 | 2020-11-27 | 一种导航眼镜 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112494290A true CN112494290A (zh) | 2021-03-16 |
Family
ID=74967123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011363306.5A Pending CN112494290A (zh) | 2020-11-27 | 2020-11-27 | 一种导航眼镜 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112494290A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113520812A (zh) * | 2021-08-26 | 2021-10-22 | 山东大学 | 一种四足机器人导盲系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101797197A (zh) * | 2009-11-23 | 2010-08-11 | 常州达奇信息科技有限公司 | 便携式盲人自主导航系统 |
| CN203825313U (zh) * | 2013-12-16 | 2014-09-10 | 智博锐视（北京）科技有限公司 | 盲人导航眼镜 |
| US20160078278A1 (en) * | 2014-09-17 | 2016-03-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable eyeglasses for providing social and environmental awareness |
| CN106204731A (zh) * | 2016-07-18 | 2016-12-07 | 华南理工大学 | 一种基于双目立体视觉系统的多视角三维重建方法 |
| CN109481248A (zh) * | 2018-12-26 | 2019-03-19 | 浙江师范大学 | 一种智能导盲眼镜 |
| CN110236895A (zh) * | 2019-05-10 | 2019-09-17 | 苏州米特希赛尔人工智能有限公司 | Ai盲人导航眼镜 |
| CN110522617A (zh) * | 2019-09-05 | 2019-12-03 | 张超 | 盲人智慧眼镜 |
| CN111612898A (zh) * | 2020-06-18 | 2020-09-01 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质及电子设备 |
-
2020
- 2020-11-27 CN CN202011363306.5A patent/CN112494290A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101797197A (zh) * | 2009-11-23 | 2010-08-11 | 常州达奇信息科技有限公司 | 便携式盲人自主导航系统 |
| CN203825313U (zh) * | 2013-12-16 | 2014-09-10 | 智博锐视（北京）科技有限公司 | 盲人导航眼镜 |
| US20160078278A1 (en) * | 2014-09-17 | 2016-03-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable eyeglasses for providing social and environmental awareness |
| CN106204731A (zh) * | 2016-07-18 | 2016-12-07 | 华南理工大学 | 一种基于双目立体视觉系统的多视角三维重建方法 |
| CN109481248A (zh) * | 2018-12-26 | 2019-03-19 | 浙江师范大学 | 一种智能导盲眼镜 |
| CN110236895A (zh) * | 2019-05-10 | 2019-09-17 | 苏州米特希赛尔人工智能有限公司 | Ai盲人导航眼镜 |
| CN110522617A (zh) * | 2019-09-05 | 2019-12-03 | 张超 | 盲人智慧眼镜 |
| CN111612898A (zh) * | 2020-06-18 | 2020-09-01 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113520812A (zh) * | 2021-08-26 | 2021-10-22 | 山东大学 | 一种四足机器人导盲系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN205905026U (zh) | 一种基于双目立体视觉的机器人系统 | |
| CN102650886B (zh) | 基于主动全景视觉传感器的机器人视觉系统 | |
| CN104036488B (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
| CN108245385B (zh) | 一种帮助视障人士出行的装置 | |
| CN103971408A (zh) | 三维人脸模型生成系统及方法 | |
| RU2015145510A (ru) | Наголовное устройство отображения, способ управления наголовным устройством отображения и система отображения | |
| KR20220064524A (ko) | 이미지 기반 측위 방법 및 시스템 | |
| CN110458897A (zh) | 多摄像头自动标定方法及系统、监控方法及系统 | |
| CN104236462A (zh) | 一种提取视频图像中物体高度和距离的方法 | |
| Mattoccia et al. | 3D glasses as mobility aid for visually impaired people | |
| CN102508548A (zh) | 一种电子信息设备的操作方法及系统 | |
| CN109106563A (zh) | 一种基于深度学习算法的自动化导盲装置 | |
| CN105222717A (zh) | 一种标的物长度测量方法及装置 | |
| CN114022798A (zh) | 一种基于数字孪生技术的变电站巡检机器人避障方法 | |
| KR20220057577A (ko) | 도로 상황 프롬프트 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품 | |
| CN105701811B (zh) | 一种基于rgb‐ir相机的声音编码交互方法 | |
| Wang et al. | An environmental perception and navigational assistance system for visually impaired persons based on semantic stixels and sound interaction | |
| KR20070061091A (ko) | 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원디스플레이 시스템 및 그 방법 | |
| CN106920260B (zh) | 立体惯性导盲方法及装置和系统 | |
| CN112494290A (zh) | 一种导航眼镜 | |
| US10559132B2 (en) | Display apparatus, display system, and control method for display apparatus | |
| Gundewar et al. | A review on an obstacle detection in navigation of visually impaired | |
| CN103260008A (zh) | 一种影像位置到实际位置的射影转换方法 | |
| JP6868167B1 (ja) | 撮像装置および撮像処理方法 | |
| CN215821381U (zh) | 一种协同ar&vr头戴式助视器的视野辅助装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210316 |
|
| RJ01 | Rejection of invention patent application after publication |