CN114152253A - 基于深度学习和大数据的全天候徒步旅行辅助系统及方法 - Google Patents
基于深度学习和大数据的全天候徒步旅行辅助系统及方法 Download PDFInfo
- Publication number
- CN114152253A CN114152253A CN202111479922.1A CN202111479922A CN114152253A CN 114152253 A CN114152253 A CN 114152253A CN 202111479922 A CN202111479922 A CN 202111479922A CN 114152253 A CN114152253 A CN 114152253A
- Authority
- CN
- China
- Prior art keywords
- dimensional map
- image
- intelligent glasses
- map model
- days
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 title claims description 22
- 239000011521 glass Substances 0.000 claims abstract description 100
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000012544 monitoring process Methods 0.000 claims abstract description 4
- 239000013589 supplement Substances 0.000 claims abstract description 4
- 238000004891 communication Methods 0.000 claims description 17
- 210000000988 bone and bone Anatomy 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 239000004984 smart glass Substances 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000010276 construction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 241000533950 Leucojum Species 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000004379 myopia Effects 0.000 description 2
- 208000001491 myopia Diseases 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000003867 tiredness Effects 0.000 description 1
- 208000016255 tiredness Diseases 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Optics & Photonics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Navigation (AREA)
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种基于深度学习和大数据的全天候徒步旅行辅助系统，包括：中心服务器、智能眼镜和远程智能设备；其中，所述中心服务器用于分配管理智能眼镜和远程智能设备的匹配连接，以及实时比对和更新完整的三维地图模型；所述中心服务器将景区完整的三维地图模型提供给智能眼镜，作为GPS定位导航的补充以及危险预测的依据；所述智能眼镜用于采集图像和视频数据，进行实时图像增强处理，构建局部三维地图模型，在三维地图上标记危险所在的位置，并对当前用户可能遇到的危险进行预警；所述远程智能设备通过中心服务器与所需远程监控的智能眼镜匹配连接，以便通过远程智能设备查看来自智能眼镜的图像数据，确保特殊的智能眼镜佩戴群体的出行安全。
Description
技术领域
本发明属于图像增强和大数据三维地图建模技术领域，尤其是一种基于机器视觉的同时定位和地图构建的全天候户外徒步旅行智能辅助系统及方法。
背景技术
徒步旅行作为一种户外运动方式由来已久，发展至今，已由少数人寻求刺激、挑战自身极限的项目，变为世界性的时尚健康运动。徒步旅行通常指在郊区、山野或者沙漠进行中长距离的走路锻炼，它不仅锻炼人的体魄与耐力，陶冶人的心灵和性情，促进人际交流，而且能够激发人们热爱自然、热爱生活的情感，使久居都市的人们的疲惫心灵得到放松。但户外徒步的旅行方式存在风险，旅行者稍有不慎就可能陷入危险，若误入地势险峻的陌生区域，可能酿成迷路、被困住、失去行动力，甚至坠崖或落水等惨剧。
野外地势的不易观测性是造成户外运动事故的主要因素之一，这个问题可通过现有的一套智能辅助预警系统初步解决，但这套方案存在功耗大、成本高等问题，且无法全天候工作、无法预测危险。该系统实时感知周围环境并进行地图建模，能分析计算出用户身边的潜在危险，发明专利申请号为201810437491.4，名称为一种用于户外探险的夜行路况标识系统，提供了一种用于户外探险的夜行路况标识系统，包括：AR眼镜，红外摄像头，超声波传感器，微型投影仪和中央控制器。该系统将增强现实技术应用于夜行路况标识功能上，具有较高程度的自主分析功能，无需使用GPS信号导航功能，仅佩戴可移动的AR视觉眼镜，即可在行走过程中随时观察到图像化的路况标识信息，避免因导航不准确而给探险者带来新的危险。但是，该系统无法全天候工作，其所采用的红外相机拍摄图像受环境因素影响较大，日照环境中强烈的红外线和湖面等的反射红外线会导致误测现象，雨天的雨水会反射和折射红外光线，下雪天温度较低会减少红外辐射、雪花也会影响红外线的传播，造成该系统效果变差甚至无法使用；而该系统所采取的利用超声波测距进行自身定位的准确度也会受到雨滴、雪花等干扰和影响。超声波传感器的特性决定了其测距范围有限，必须使用能耗较高体积较大的大功率超声波传感器才能进行远距离测距，高能耗会造成野外便携式设备的待机时间降低，并且超声波测距精度也会受山区林间局部温差大、空气密度不均和复杂表面多次反射散射等环境因素影响而下降。并且红外摄像头由于使用特殊的传感器和光学镜头，其价格远远高于普通彩色摄像头，因此该系统价格高昂，体积较大，待机时间较短，普通用户无法接受。此外，该系统只能探测视距范围内的局部地形，无法在深山或密林等地区对前方地形进行预测而给予用户预警。
传统的地图构建和定位技术主要采用激光雷达和卫星定位技术，发明专利申请号为202011409963.9，名称为一种移动机器人路径规划方法、装置及存储介质，公开了一种移动机器人路径规划方法、装置及存储介质，通过基于移动机器人车载激光雷达获取的环境信息构建环境地图，进行栅格地图建模。该构建环境地图的方法成本较高，并且激光雷达受恶劣环境如雨雪天气的影响，而移动机器人无法在地势崎岖的山区工作。同时，GPS卫星定位技术在山川、峡谷等区域存在信号弱的情况，且只有定位功能，无法观测到遮蔽物如树木下面的具体路面情况。
发明内容
本发明所要解决的技术问题在于，提供一种适用于户外旅行者且便于景区管理的智能辅助系统，要求高度可视化，实用性强，受光线、天气等环境因素影响小，对危险有预测功能。
为了解决上述技术问题，本发明提出了一种基于超StarGAN网络图像增强处理算法和双目视觉SLAM(simultaneous localization and mapping，同时定位和地图构建)技术的二十四小时全天候智能眼镜、景区三维地图构建系统及其控制方法，包括中心服务器、智能眼镜、远程智能设备和提示手环。
所述中心服务器主要用于分配管理智能眼镜和远程智能设备的匹配连接，以及实时比对和更新完整的三维地图模型。中心服务器通过无线连接与智能眼镜、远程智能设备通信；中心服务器有强大的数据库功能，可以存储各个智能眼镜与远程智能设备的匹配连接；由中心服务器向智能眼镜、远程智能设备分配中心服务器自定义的ID，从而进行对匹配连接的管理。中心服务器接收由各个智能眼镜提供的局部三维地图模型和用户标记的危险信息，通过大数据分析，筛选重构，构建景区完整的三维地图模型并不断更新完善，同时将景区完整的三维地图模型提供给智能眼镜，作为GPS定位导航的补充以及危险预测的依据；所述三维地图模型包含用户标记的危险信息。
所述智能眼镜本体内集成有中央处理器(含双目SLAM处理单元)、GPS定位模块、耳骨传导耳机、无线通信模块、双目摄像头(普通彩色双目摄像头)、AR显示镜片(含显示图像投射模块)、内存模块、电源模块、标记与示警模块。其中，双目摄像头设在智能眼镜本体前端两侧，能实时采集图像和视频数据。标记与示警模块可供用户通过所述标记与示警模块的按键选择遇到的危险类型，结合用户当前的GPS定位信息，在三维地图上标记危险所在的位置，即用户标记的危险信息；也能通过耳骨传导耳机播放语音提示、AR显示镜片上显示三维地图模型与危险信息标记，对当前用户可能遇到的危险进行预警；所述危险信息标记为其他用户标记的危险信息。智能眼镜可通过无线通信模块与中心服务器、提示手环连接通信；智能眼镜将构建的局部三维地图模型与用户标记的危险信息一起上传至中心服务器。
进一步地，所述无线通信模块包含WIFI模块、蓝牙模块、5G模块等。
所述智能眼镜可以实时采集用户眼前的影像，收集用户标记的危险信息，在中央处理器中构建局部三维地图模型，建立的局部三维地图模型结合GPS定位信息与用户标记的危险信息存储在内存模块并传输给AR显示镜片显示，同时利用无线通信模块传输至中心服务器，并根据中心服务器数据库中存储的匹配连接信息共享给对应的远程智能设备。同时，智能眼镜可以下载包含其他用户标记的危险信息的景区完整的三维地图模型，利用模板匹配，将双目摄像头拍摄范围内的局部三维地图模型与完整的三维地图模型进行搜索比对，判断出用户所在的位置以及用户面朝的方向。通过这种模板匹配的方式，智能眼镜在GPS信号弱的地区也可以实现定位。并且智能眼镜在判断用户面朝的方向后，可以根据完整的三维地图模型预测用户前方地形，对危险进行预警。
所述智能眼镜在实现构建三维地图模型等功能前，中央处理器先将双目摄像头采到的影像进行图像增强处理。图像增强处理包括：黑夜增强和去雨去雪去雾。图像增强处理算法框架基于超StarGAN网络，该网络由2个ResNext判断网络[1]和1个StarGAN网络[2]构成。经图像增强处理后的图像提供给中央处理器的双目SLAM处理单元[3]构建局部三维地图模型。
所述2个ResNext判断网络包括：ResNext-2判断网络和ResNext-4判断网络。ResNext-2判断网络可将输入图像数据分类成黑夜、白天2种情况，ResNext-4判断网络可将输入图像数据分类成雨天、雾天、雪天和晴天4种情况，训练上述2个网络所使用的全天候景区图像数据集由智能眼镜采集并进行人工标注获得。StarGAN网络包含黑夜、雨天、雪天、雾天、白天5个端口，将黑夜图像从黑夜端口输入、从白天端口输出，可将黑夜图像处理为相应的白天图像；将雨天、雪天、雾天图像从对应的雨天、雪天、雾天端口输入，从白天端口输出，可以对图像进行相应的去雨、去雪、去雾处理，该网络也使用智能眼镜采集并人工标注获得的全天候景区图像数据集进行训练。
在图像增强处理的过程中，首先在ResNext-2网络对图像是否处于黑夜情况进行判断，如果是黑夜图像，则输入到StarGAN网络的黑夜端口，从白天端口输出，输出再进入ResNext-4网络；如果不是黑夜图像，则图像直接进入ResNext-4网络。接着，ResNext-4网络对图像所处天气情况进行判断，如果是雨天、雪天、雾天这3种图像中的任一种，则输入到StarGAN网络对应的雨天、雪天、雾天端口，并得到从白天端口输出的图像，输出结果传输到双目SLAM处理单元；如果是晴天图像，则直接传输到双目SLAM处理单元。非恶劣天气的白天图像(即晴天的白天图像)，不做任何图像增强处理；其他图像包括白天雨天图像、白天雪天图像、白天雾天图像、黑夜晴天图像、黑夜雨天图像、黑夜雪天图像、黑夜雾天图像，则根据条件判断进行不同的图像增强处理。
所述远程智能设备可以通过中心服务器与所需远程监控的智能眼镜匹配连接，以便监护人通过远程智能设备查看来自智能眼镜双目摄像头的图像数据，确保未成年人、视障人士等特殊的智能眼镜佩戴群体的出行安全。
对于佩戴近视眼镜的用户群体，可以通过增加一个轻便的鼻托让智能眼镜与普通近视眼镜一起使用。
所述提示手环可与智能眼镜进行配对使用，智能眼镜将危险信息标记通过无线通信模块发送给提示手环，提示手环采用振动等方式提示用户，作为智能眼镜提示危险的一种补充方式。
本发明中无人到达或长时间GPS信号弱的地区定义为模型死角，对于所述无人到达的模型死角，让熟悉地形与环境的人佩戴智能眼镜，或者利用机器人、飞行器，有计划地补全三维地图模型的空缺；对于所述长时间GPS信号弱的模型死角，则通过人工方式测定经纬度坐标，进一步补全三维地图模型的空缺。
对比现有智能辅助预警系统，本发明直接采用了普通彩色双目摄像头，通过超StarGAN网络实现黑夜增强及去雨去雪去雾的图像增强处理，确保在恶劣天气和黑暗环境的条件下都可以观察到图像化的路况标识信息；同时，本发明通过安装普通彩色双目摄像头，基于双目SLAM技术进行三维测距建模，设备轻便，功耗低，形成了更为实用的二十四小时全天候智能眼镜。此外，本发明还采用了边缘计算和大数据处理技术结合的方式，可以对前方地形进行预测。本发明边缘计算指的是在智能眼镜上独立于中心服务器而进行的图像增强处理、局部三维模型建立、危险标记等处理。本发明将多副智能眼镜分发给旅行者，每副智能眼镜对用户眼前的图像进行增强处理，结合用户标记的危险信息进行边缘计算从而建立局部三维地图模型；分布于景区各个地点的智能眼镜上传由边缘计算获得的局部三维地图模型至中心服务器，同时下载由中心服务器大数据分析构建的完整的三维地图模型，模型包含危险多发地的危险信息标记；根据存储的模型信息以及用户的行进状况，智能眼镜可以判断用户面朝的方向，实现对用户前方地形的预测，更好地帮助用户避开危险，做出更安全的路线规划和导航。
与传统的地图构建和定位技术相较，本发明提出采用双目SLAM技术，在卫星定位的基础上，根据图像信息进行实时三维地图环境的构建，成本较低，所需设备便携且功耗低，可视化效果佳；辅以黑夜增强、去雨去雪去雾的图像增强算法，可以不受天气因素限制；而在GPS信号弱的地段，本发明通过模板匹配，比较当前路段的局部三维地图模型与中心服务器提供的景区完整的三维地图模型，可以得出位置信息。
AR显示镜片和计算机视觉技术的不断发展，使得户外旅行者佩戴智能眼镜进行实时三维地图构建与危险预警的概念成为可能，所以本发明提出了这种基于超StarGAN网络与双目SLAM的智能辅助系统。
本发明的有益效果为：
1、本发明从用户双眼的视角，利用超StarGAN网络自动识别光线与天气情况，进行相应的实时图像增强处理。该网络结构对黑夜增强、去雨、去雪、去雾这四种图像增强处理采用同一个网络，大大降低了网络复杂度和对智能眼镜的硬件性能要求，从而降低了成本。
2、本发明利用双目SLAM进行三维地图模型构建，显示在智能眼镜的AR显示镜片上，AR显示效果为半透明，不会遮挡用户的视线。使用普通彩色的双目摄像头实现地图构建，降低了成本，所需设备便携且功耗低，可视化效果佳，适用于户外徒步旅行。
3、本发明可以采用GPS定位模块确定当前位置的危险信息标记，也可以不依赖GPS定位模块、通过模板匹配确定位置并预测用户视线以外的前方地形，获取前方的危险信息标记，而后通过耳骨传导耳机的语音提示、AR显示镜片上显示的危险信息标记或提示手环向用户进行危险预警，实时、全天候、全路段地辅助户外徒步旅行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的智能辅助系统的结构示意图。
图2为本发明提供的智能辅助系统的连接示意图。
图3为本发明提供的智能眼镜的示意图。
图4为本发明使用的StarGAN网络结构示意图。
图5为本发明所述基于超StarGAN的图像增强处理流程图。
图6为本发明所述三维地图模型的效果示意图。
具体实施方式
结合以下具体实施例和附图，对发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。
参阅图1，本发明提出了一种适用于户外旅行者且便于景区管理的智能辅助系统。本实施例的智能辅助系统，包括中心服务器1、智能眼镜2、远程智能设备3和提示手环4；
所述中心服务器1主要用于分配管理智能眼镜2和远程智能设备3的匹配连接，以及实时比对和更新完整的三维地图模型。中心服务器1通过无线连接与智能眼镜2、远程智能设备3通信，同时，中心服务器1有强大的数据库功能，可以存储各个智能眼镜2与远程智能设备3的匹配连接。中心服务器1接收由各个智能眼镜2提供的局部三维地图模型，通过大数据分析，筛选重构，构建景区完整的三维地图模型并不断更新完善，同时将景区完整的三维地图模型提供给智能眼镜2。
所述智能眼镜2本体内的连接和结构示意图如图2、3所示，本发明所采用的智能眼镜2内集成有中央处理器(含双目SLAM处理单元)、GPS定位模块、耳骨传导耳机、无线通信模块、双目摄像头、AR显示镜片(含显示图像投射模块)、内存模块、电源模块、标记与示警模块。其中，双目摄像头设在智能眼镜2本体前端两侧，能实时采集图像和视频数据。智能眼镜2可通过无线通信模块与中心服务器1、提示手环4连接通信。GPS定位模块提供位置信息。AR显示镜片实时显示图像增强处理后的局部三维地图模型以及危险信息标记。标记与示警模块可供用户通过所述模块的按键选择遇到的危险类型，结合用户当前的GPS定位信息在三维地图上标记危险所在的位置，即用户标记的危险信息；也能通过耳骨传导耳机播放语音提示、AR显示镜片上显示三维地图模型与危险信息标记，对当前用户可能遇到的危险进行预警；所述危险信息标记为其他用户标记的危险信息。
所述智能眼镜通过无线通信模块与中心服务器通信，将构建的局部三维地图模型与用户标记的危险信息一起上传至所述中心服务器。
所述标记与示警模块含五个按键，其中四个按键分别对应四种不同的危险类型选项，危险类型有山石松动、地面塌陷、水位过高、野兽出没，剩余的一个按键用于确认危险信息标记：在AR显示镜片上显示已选择的危险类型、GPS定位信息、危险区域的三维地图模型，同时用耳骨传导耳机语音播报已选择的危险类型、GPS定位信息，让用户核实确认一遍、排除误触的可能。进一步地，可以在标记与示警模块中增设按键，添加更多危险类型。
所述远程智能设备3可以是智能手机、笔记本电脑或者其他智能设备，通过中心服务器1与所需远程监控的智能眼镜2匹配连接，以便监护人通过远程智能设备3查看来自智能眼镜2双目摄像头的图像数据，确保未成年人、视障人士等特殊的智能眼镜2佩戴群体的出行安全。
所述提示手环4可与智能眼镜2进行配对使用，智能眼镜2将危险信息标记通过无线通信模块发送给提示手环4，提示手环4通过振动等方式提示用户，作为智能眼镜2提示危险的一种补充方式。
本发明包括以下具体步骤：
步骤1：训练ResNext-2网络、ResNext-4网络和StarGAN网络，3个网络的训练集同为全天候景区图像数据集，由志愿者或景区管理者佩戴智能眼镜2采集并标注所得。ResNext-2网络训练集被标记为黑夜、白天2种情况，ResNext-4网络训练集被标记为雨天、雪天、雾天和晴天4种情况。StarGAN网络结构如图4所示，共包含黑夜、雨天、雪天、雾天、白天5个端口，将黑夜图像从黑夜端口输入、从白天端口输出，可将黑夜图像处理为相应的白天图像；将雨天、雪天、雾天图像从对应的雨天、雪天、雾天端口输入，从白天端口输出，可以对图像进行相应的去雨、去雪、去雾处理，训练时需提升输入端口为黑夜、雨天、雪天和雾天，输出端口为白天的图像增强处理准确率。
步骤2：将训练好的网络模型移植到智能眼镜2中，即可正式投入使用并实现相关功能。将智能眼镜2分发给户外旅行者，让用户正确佩戴智能眼镜2后，智能眼镜2将用户视线范围内的环境用双目摄像头拍下，中央处理器采用超StarGAN网络实时进行图像增强处理：在黑夜或者洞穴等黑暗环境中，进行黑夜增强处理；在雨天、雪天、雾天三种不利于视物的情况下，进行去雨、去雪、去雾处理，以保证数据采集、模型建立正常进行。图像增强处理后利用双目SLAM建立局部的三维地图模型，结合GPS定位信息，存储在内存模块中，并传输给AR显示镜片显示，同时利用无线通信模块发送给中心服务器1，并根据中心服务器数据库中存储的匹配连接信息共享给对应的远程智能设备3。双目SLAM构建的三维地图模型如图6所示。用户发现山石松动、地面塌陷、水位过高、野兽出没的危险时，可通过标记与示警模块的按键选择危险类型，结合用户当前的GPS定位信息在三维地图上标记危险所在的位置，危险信息标记与三维地图模型一起传输。
步骤3：中心服务器1接收不同时间段、不同旅行路线的用户所佩戴的智能眼镜2的局部三维地图模型与危险信息标记，通过大数据分析，筛选重构，对景区建立比较完整的三维地图模型。经过对危险信息标记的统计，某个地点被标记为危险的次数增多，则规定其危险等级上升。无人到达或者长时间GPS信号弱的地区，则规定为模型死角。
步骤4：对于用户从未到达的模型死角，让当地向导、景点工作人员、护林人、探险家等较为熟悉地形与环境的人佩戴智能眼镜2，或者利用机器人、飞行器等设备，有计划地补全三维地图模型的空缺。对于长时间GPS信号弱的模型死角，则通过人工方式测定经纬度坐标，进一步补全三维地图模型的空缺。
步骤5：中心服务器1将完整的三维地图模型以及危险信息标记发送到各个智能眼镜2，智能眼镜2利用模板匹配，将双目摄像头拍摄范围内的局部三维地图模型与完整的三维地图模型进行搜索比对，判断出用户所在的位置以及用户面朝的方向。通过这种模板匹配的方式，智能眼镜2在GPS信号弱的地区也可以确定位置信息。并且智能眼镜2在确定用户面朝的方向后，可以根据完整的三维地图模型判断前方地形，如遇到悬崖、深沟以及湖沼等情况对用户进行预警；和/或，当用户前方被其他用户标记过危险信息时，根据不同的危险等级，用户将得到不同级别的预警，示警方式包括但不限于耳骨传导耳机播放语音提示、AR显示镜片显示三维地图模型与危险信息标记、提示手环4振动。
作为一种实施方式，可以根据景区平均每日人流量x来划分危险等级：累计标记人数>＝1人，小于x的5％，规定为Ⅰ级危险；累计标记人数在x的5％～20％，规定为Ⅱ级危险；累计标记人数在x的20％～35％，规定为Ⅲ级危险；累计标记人数在x的35％～50％，规定为Ⅳ级危险；累计标记人数在x的50％以上，规定为Ⅴ级危险。
不同级别预警，体现在提示手段的震动频率上，等级越高，频率越高；也可以通过耳骨传导耳机、AR显示镜片对危险等级进行直接的播报与显示。
用户在使用智能眼镜辅助户外旅行的同时，也在采集新的图像数据，建立新的局部三维地图模型并发送给中心服务器1，不断更新景区完整的三维地图模型。若景区发生地形变化等情况，完整的三维地图模型直接实时更新，不再需要特殊维护。
上述步骤1、2中所述的中央处理器基于超StarGAN网络的图像增强处理流程如图5所示。对于影像数据，首先在ResNext-2网络对图像是否处于黑夜情况进行判断，如果是黑夜图像，则输入到StarGAN网络的黑夜端口，以白天端口为输出，输出再进入ResNext-4网络；如果不是黑夜图像，则图像直接进入ResNext-4网络。接着，ResNext-4网络对图像所处天气情况进行判断，一共有雨天、雪天、雾天、晴天4种可能的情况，如果是雨天、雪天或雾天3种图像中的任一种，则输入StarGAN网络相应的雨天、雪天或雾天端口，并得到从白天端口输出的图像，输出结果传输到双目SLAM处理单元；如果是晴天图像，则直接传输到双目SLAM处理单元。非恶劣天气的白天图像(即晴天的白天图像)，不做任何图像增强处理；其他图像(包括白天雨天图像、白天雪天图像、白天雾天图像、黑夜晴天图像、黑夜雨天图像、黑夜雪天图像、黑夜雾天图像)则根据条件判断进行不同的图像增强处理。
参考文献
[1]XIE S,GIRSHICK R,DOLLAR P,TU Z,HE K.Aggregated residualtransformations for deep neural networks[C]//IEEE Conference on ComputerVision and Pattern Recognition,Honolulu,USA,2017.Piscataway,N.J:IEEE Press,2017:1492-1500.
[2]Choi Y,Choi M,Kim M,Ha J W,Kim S and Choo J.StarGAN:unifiedgenerative adversarial networks for multi-domain image-to-image translation[C].In:Proceedings of IEEE Conference on Computer Vision and PatternRecognition,Salt Lake City,2018:8789–8797.
[3]Hauke Strasdat,J.M.M.Montiel and Andrew J.Davison.Visual SLAM:Whyfilter？[J].Image and Vision Computing,2012.
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。
Claims (11)
1.一种基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，包括：中心服务器、智能眼镜和远程智能设备；其中，
所述中心服务器用于分配管理智能眼镜和远程智能设备的匹配连接，以及实时比对和更新完整的三维地图模型；所述中心服务器将景区完整的三维地图模型提供给智能眼镜，作为GPS定位导航的补充以及危险预测的依据；所述三维地图模型包含用户标记的危险信息；
所述智能眼镜用于采集图像和视频数据，进行实时图像增强处理，构建局部三维地图模型；所述智能眼镜并从所述中心服务器下载景区完整的三维地图模型，并在三维地图上显示危险信息标记，对当前用户可能遇到的危险进行预警；所述危险信息标记为其他用户标记的危险信息；
所述远程智能设备通过中心服务器与所需远程监控的智能眼镜匹配连接，以便通过远程智能设备查看来自智能眼镜的图像数据，确保特殊的智能眼镜佩戴群体的出行安全。
2.如权利要求1所述的基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，进一步包括：提示手环，其与所述智能眼镜进行配对使用，智能眼镜将危险信息标记通过无线通信模块发送给提示手环，提示手环采用振动的方式提示用户。
3.如权利要求1所述的基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，所述中心服务器接收由各个智能眼镜提供的局部三维地图模型，通过大数据分析，筛选重构，构建景区完整的三维地图模型并不断更新完善。
4.如权利要求1所述的基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，所述智能眼镜下载景区完整的三维地图模型，利用模板匹配，将拍摄范围内的局部三维地图模型与完整的三维地图模型进行搜索比对，判断出用户所在的位置以及用户面朝的方向；根据完整的三维地图模型预测用户前方地形，对危险进行预警。
5.如权利要求1所述的基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，所述智能眼镜集成有中央处理器、GPS定位模块、耳骨传导耳机、无线通信模块、双目摄像头、AR显示镜片、内存模块、电源模块、标记与示警模块；
所述中央处理器设置有双目SLAM处理单元；
所述双目摄像头设在智能眼镜本体前端两侧，实时采集图像和视频数据；
所述标记与示警模块供用户通过按键选择遇到的危险类型，结合用户当前的GPS定位信息，在三维地图上标记危险所在的位置，即用户标记的危险信息；
所述标记与示警模块根据其他用户标记的危险信息，通过耳骨传导耳机播放语音提示；
所述AR显示镜片上显示三维地图模型与危险信息标记，对当前用户可能遇到的危险进行预警；
所述智能眼镜通过无线通信模块与中心服务器通信，将构建的局部三维地图模型与用户标记的危险信息一起上传至所述中心服务器。
6.如权利要求5所述的基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，所述智能眼镜在构建三维地图模型前，中央处理器先将采集的影像进行图像增强处理，包括：黑夜增强和去雨去雪去雾；图像增强处理算法框架基于超StarGAN网络，所述超StarGAN网络由2个ResNext判断网络和1个StarGAN网络构成；经图像增强处理后的图像提供给所述双目SLAM处理单元构建局部三维地图模型。
7.如权利要求6所述的基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，2个所述ResNext判断网络包括：ResNext-2判断网络和ResNext-4判断网络；ResNext-2判断网络将输入图像数据分类成包括：黑夜、白天；ResNext-4判断网络将输入图像数据分类成包括：雨天、雾天、雪天和晴天；训练2个所述ResNext判断网络所使用的全天候景区图像数据集由智能眼镜采集并进行人工标注获得；
所述StarGAN网络的端口包括：黑夜、雨天、雪天、雾天、白天，将黑夜图像从黑夜端口输入、从白天端口输出，将黑夜图像处理为相应的白天图像；将雨天、雪天、雾天图像从对应的雨天、雪天、雾天端口输入，从白天端口输出，实现对图像相应的去雨、去雪、去雾处理，所述StarGAN网络使用智能眼镜采集并人工标注获得的全天候景区图像数据集进行训练。
8.如权利要求7所述的基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，在图像增强处理的过程中，首先在ResNext-2网络中判断图像是否处于黑夜情况，如果是黑夜图像，则输入到StarGAN网络的黑夜端口，从白天端口输出，输出再进入ResNext-4网络；如果不是黑夜图像，则图像直接进入ResNext-4网络；然后ResNext-4网络对图像所处天气情况进行判断，如果是雨天、雪天、雾天这3种图像中的任一种，则输入到StarGAN网络对应的雨天、雪天、雾天端口，并得到从白天端口输出的图像，输出结果传输到双目SLAM处理单元；如果是晴天图像，则传输到双目SLAM处理单元；晴天的白天图像不做任何图像增强处理；其他图像则根据条件判断进行不同的图像增强处理，所述其他图像包括白天雨天图像、白天雪天图像、白天雾天图像、黑夜晴天图像、黑夜雨天图像、黑夜雪天图像、黑夜雾天图像。
9.如权利要求1所述的基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，无人到达或长时间GPS信号弱的地区定义为模型死角，对于所述无人到达的模型死角，让熟悉地形与环境的人佩戴智能眼镜，或者利用机器人、飞行器，有计划地补全三维地图模型的空缺；对于所述长时间GPS信号弱的模型死角，则通过人工方式测定经纬度坐标，进一步补全三维地图模型的空缺。
10.一种基于深度学习和大数据的全天候徒步旅行辅助方法，其特征在于，所述方法采用如权利要求1-9之任一项所述的基于深度学习和大数据的全天候徒步旅行辅助系统，所述方法包括以下步骤：
步骤1：通过中心服务器与智能眼镜和远程智能设备匹配连接，并实时比对和更新完整的三维地图模型；通过所述中心服务器将景区完整的三维地图模型提供给智能眼镜，作为GPS定位导航的补充以及危险预测的依据；所述三维地图模型包含用户标记的危险信息；
步骤2：所述智能眼镜采集图像和视频数据，进行实时图像增强处理，构建局部三维地图模型并与用户标记的危险信息一起上传至所述中心服务器；所述智能眼镜并从所述中心服务器下载景区完整的三维地图模型，并在三维地图上显示危险信息标记，并对当前用户可能遇到的危险进行预警；所述危险信息标记为其他用户标记的危险信息；
步骤3：通过远程智能设备查看来自智能眼镜的图像数据，确保特殊的智能眼镜佩戴群体的出行安全。
11.如权利要求10所述的方法，其特征在于，所述智能眼镜进一步通过危险地形对用户进行预警，所述危险地形包括悬崖、深沟、湖沼。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111479922.1A CN114152253B (zh) | 2021-12-06 | 2021-12-06 | 基于深度学习和大数据的全天候徒步旅行辅助系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111479922.1A CN114152253B (zh) | 2021-12-06 | 2021-12-06 | 基于深度学习和大数据的全天候徒步旅行辅助系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114152253A true CN114152253A (zh) | 2022-03-08 |
| CN114152253B CN114152253B (zh) | 2024-05-17 |
Family
ID=80453131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111479922.1A Active CN114152253B (zh) | 2021-12-06 | 2021-12-06 | 基于深度学习和大数据的全天候徒步旅行辅助系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114152253B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115752481A (zh) * | 2022-12-09 | 2023-03-07 | 广东车卫士信息科技有限公司 | 基于图像识别的ar导航方法、ar眼镜、介质、设备 |
| CN116736971A (zh) * | 2022-10-17 | 2023-09-12 | 荣耀终端有限公司 | 一种地图数据处理方法、地图显示方法及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108592937A (zh) * | 2018-05-09 | 2018-09-28 | 何辉 | 一种用于户外探险的夜行路况标识系统 |
| CN112308799A (zh) * | 2020-11-05 | 2021-02-02 | 山东交通学院 | 基于多传感器海上道路复杂环境能见度优化屏幕显示方法 |
| CN112462520A (zh) * | 2020-12-03 | 2021-03-09 | 江西台德智慧科技有限公司 | 一种基于人工智能的户外运动眼镜 |
-
2021
- 2021-12-06 CN CN202111479922.1A patent/CN114152253B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108592937A (zh) * | 2018-05-09 | 2018-09-28 | 何辉 | 一种用于户外探险的夜行路况标识系统 |
| CN112308799A (zh) * | 2020-11-05 | 2021-02-02 | 山东交通学院 | 基于多传感器海上道路复杂环境能见度优化屏幕显示方法 |
| CN112462520A (zh) * | 2020-12-03 | 2021-03-09 | 江西台德智慧科技有限公司 | 一种基于人工智能的户外运动眼镜 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116736971A (zh) * | 2022-10-17 | 2023-09-12 | 荣耀终端有限公司 | 一种地图数据处理方法、地图显示方法及设备 |
| CN115752481A (zh) * | 2022-12-09 | 2023-03-07 | 广东车卫士信息科技有限公司 | 基于图像识别的ar导航方法、ar眼镜、介质、设备 |
| CN115752481B (zh) * | 2022-12-09 | 2023-09-01 | 广东车卫士信息科技有限公司 | 基于图像识别的ar导航方法、ar眼镜、介质、设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114152253B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11900536B2 (en) | Visual-inertial positional awareness for autonomous and non-autonomous tracking | |
| CN107667521B (zh) | 个人感测无人机 | |
| US11512955B1 (en) | Systems and methods for enhanced base map generation | |
| CN106846863B (zh) | 基于增强现实和云端智能决策的事故黑点警告系统及方法 | |
| CN114152253B (zh) | 基于深度学习和大数据的全天候徒步旅行辅助系统及方法 | |
| JP2022537143A (ja) | ヒートマップを使用したドライバーの注目の検出 | |
| WO2022052239A1 (zh) | 一种动态交互的城市观景视廊识别与规划模拟方法 | |
| CN106859929A (zh) | 一种基于双目视觉的多功能导盲仪 | |
| Xing et al. | Multi-UAV cooperative system for search and rescue based on YOLOv5 | |
| KR101700681B1 (ko) | 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법 및 그 제공장치 | |
| CN106162144A (zh) | 一种用于夜视环境的视觉图像处理设备、系统和智能机器 | |
| CN110715671A (zh) | 三维地图生成方法、装置、车辆导航设备和无人驾驶车辆 | |
| CN112870033A (zh) | 用于非结构化道路的智能导盲头盔系统及导航方法 | |
| EP3710916B1 (en) | System and method for image position determination using one or more anchors | |
| CN109998873A (zh) | 一种可穿戴的盲人智能定位与导盲系统 | |
| CN112932910A (zh) | 一种穿戴式智能感知导盲系统 | |
| CN114115545B (zh) | 一种ar井盖标注方法、系统、设备和存储介质 | |
| CN115953912A (zh) | 一种基于边缘计算的车路感知设备和方法 | |
| CN115311867B (zh) | 隧道场景的定位方法、装置、计算机设备、存储介质 | |
| CN116255996A (zh) | 一种汽车立体导航方法、系统、装置及介质 | |
| US10621858B1 (en) | Systems and methods for improving situational awareness of a user | |
| CN116805444A (zh) | 分布式命名导航行人行车预警方法、系统和装置 | |
| CN110470307A (zh) | 一种视障患者导航系统和方法 | |
| CN112414424A (zh) | 盲人导航方法及盲人导航装置 | |
| CN103335645B (zh) | 面向景观规划的空间精确定位的图像获取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |