CN109730910A - 出行的视觉辅助系统及其辅助设备、方法、可读存储介质 - Google Patents

Abstract

本发明公开了一种出行的视觉辅助方法，该方法包括获取第一场景图像和第二场景图像，所述第一场景图像通过可穿戴设备采集，所述第二场景图像通过地面识别设备采集，所述地面识别设备与地面的距离小于所述可穿戴设备与地面的距离；根据所述第一场景图像和所述第二场景图像构建场景模型；识别所述场景模型中的行走障碍信息；根据所述行走障碍信息输出行走辅助的提示信息。本发明还公开了一种出行的视觉辅助设备、出行的视觉辅助系统和可读存储介质。本发明旨在准确全面识别视障人群所处的场景情况，提高视障人群出行的安全性。

Description

出行的视觉辅助系统及其辅助设备、方法、可读存储介质

技术领域

本发明涉及避障技术领域，尤其涉及出行的视觉辅助方法、出行的视觉辅助设备、出行的视觉辅助系统和可读存储介质。

背景技术

随着社会的不断发展，人们对视障人群的关注越来越多。作为方便视障人群的出行的避障设备，得到的越来越广泛的应用。

目前的避障设备中，通过摄像头捕获场景的图像，对所捕获的图像进行分析识别视障人群所处的场景，以发出相应的提示信息对视障人群进行提醒。然而，当前大多采用单一的设备进行图像的捕获，所捕获的图像范围有限，如使用智能眼镜捕获场景的图像，靠近视障人群脚下的区域可能会形成检测盲区，导致不能准确的识别到场景中的障碍物，影响视障人群的安全出行。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种出行的视觉辅助方法，旨在准确全面识别视障人群所处的场景情况，提高视障人群出行的安全性。

为实现上述目的，本发明提供一种出行的视觉辅助方法，所述出行的视觉辅助方法包括以下步骤：

获取第一场景图像和第二场景图像，所述第一场景图像通过可穿戴设备采集，所述第二场景图像通过地面识别设备采集，所述地面识别设备与地面的距离小于所述可穿戴设备与地面的距离；

根据所述第一场景图像和所述第二场景图像构建场景模型；

识别所述场景模型中的行走障碍信息；

根据所述行走障碍信息输出行走辅助的提示信息。

可选地，所述根据所述第一场景图像和所述第二场景图像构建场景模型的步骤包括：

获取所述地面识别设备与地面之间的距离；

根据所述距离、所述第一场景图像和所述第二场景图像构建三维场景模型。

可选地，所述第一场景图像和所述第二场景图像均包括可见光图像、双目图像和深度图像；所述根据所述距离、所述第一场景图像和所述第二场景图像构建三维场景模型的步骤包括：

识别所述第一场景图像和所述第二场景图像中的场景特征标识；

确定所述场景特征标识相对于所述可穿戴设备所在的第一位置信息，确定所述场景特征标识相对于所述地面识别设备所在的第二位置信息，根据所述距离确定地面的所在位置；

根据所述场景特征标识、所述第一位置信息、所述第二位置信息和所述地面的所在位置构建所述三维场景模型。

可选地，所述根据所述场景特征标识、所述第一位置信息、所述第二位置信息和所述地面的所在位置构建所述三维场景模型的步骤包括：

获取所述可穿戴设备的第一姿态信息和所述地面识别设备的第二姿态信息；

根据所述第一姿态信息、所述第二姿态信息和预设坐标系确定基准坐标系；

根据所述基准坐标系、所述场景特征标识、所述第一位置信息、所述第二位置信息和所述地面的所在位置构建所述三维场景模型。

可选地，所述识别所述场景模型中的行走障碍信息的步骤包括：

识别所述三维场景图像中的障碍物信息和路面标识信息。

可选地，所述根据所述行走障碍信息输出行走辅助的提示信息的步骤包括：

根据所述行走障碍信息确定导航路径；

根据所述导航路径输出行走辅助的提示信息。

可选地，所述根据所述行走障碍信息确定导航路径的步骤包括：

根据所述障碍物信息确定所述场景模型中的无障碍区域；

根据所述路面标识信息和所述无障碍区域确定所述场景模型中的可通行区域；

根据所述可通行区域生成所述导航路径。

此外，为了实现上述目的，本发明还提供一种出行的视觉辅助设备，所述出行的视觉辅助设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的出行的视觉辅助方法的步骤。

此外，为了实现上述目的，本发明还提供一种出行的视觉辅助系统，所述出行的视觉辅助系统包括：

可穿戴设备，所述可穿戴设备设有第一检测设备，所述第一检测设备用于采集第一场景图像；

地面识别设备，所述地面识别设备设有第二检测设备，所述第二检测设备用于采集第二场景图像，所述地面识别设备与地面的距离小于所述可穿戴设备与地面的距离；以及

如上所述的出行的视觉辅助设备，所述出行的视觉辅助设备与所述第一检测设备、所述第二检测设备通信连接。

此外，为了实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有出行的视觉辅助程序，所述出行的视觉辅助程序被处理器执行时实现如上任一项所述的出行的视觉辅助方法的步骤。

本发明实施例提出的一种出行的视觉辅助方法，通过采集远离地面第一高度范围内的第一场景图像和靠近地面第一高度范围内的第二场景图像，依据第一场景图像和第二场景图像构建场景模型，使所构建的场景模型中可包含视障人群所在空间中不同高度、不同远近的场景信息，从而依据该场景模型可全面识别到影响视障人群的行走障碍并输出相应行走辅助的提示信息，可保证视障人群所得到的提示信息更为准确，从而提高视障人群出行的安全性。

附图说明

图1是本发明实施例方案涉及出行的视觉辅助系统的结构示意图；

图2为本发明实施例方案涉及出行的视觉辅助设备的硬件结构示意图；

图3为本发明实施例中出行的视觉辅助方法第一实施例的流程示意图；

图4为本发明实施例中出行的视觉辅助方法第二实施例的流程示意图；

图5为本发明实施例中出行的视觉辅助方法第三实施例的流程示意图；

图6为本发明实施例中出行的视觉辅助方法第四实施例的流程示意图；

图7为本发明实施例中出行的视觉辅助方法第五实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：获取第一场景图像和第二场景图像，所述第一场景图像通过可穿戴设备10采集，所述第二场景图像通过地面识别设备20采集，所述地面识别设备20与地面的距离小于所述可穿戴设备10与地面的距离；根据所述第一场景图像和所述第二场景图像构建场景模型；识别所述场景模型中的行走障碍信息；根据所述行走障碍信息输出行走辅助的提示信息。

由于现有技术采用单一的设备进行图像的捕获，所捕获的图像范围有限，导致不能准确的识别到场景中的障碍物，影响视障人群的安全出行。

本发明提供上述的解决方案，可保证视障人群所得到的提示信息更为准确，从而提高视障人群出行的安全性。

本发明提出一种出行的视觉辅助系统1，用于辅助视障人士行走。

在本发明实施例中，参照图1，该出行的视觉辅助系统1包括可穿戴设备10、地面识别设备20和出行的视觉辅助设备30。可穿戴设备10可选为头部可穿戴设备，具体为穿戴于人体头部等用于收集场景信息的智能设备，可穿戴设备10可包括眼镜、头箍、耳环等。地面识别设备20具体包括手持或穿戴于身体的用于收集和/或反馈地面场景信息的引导设备，可具体包括手杖、脚环、腰带等。其中，地面识别设备20与地面的距离小于可穿戴设备10与地面的距离。视障人士可通过穿戴可穿戴设备10采集前进方向的包含障碍物位置、类型、可通行方向等的空间场景信息供出行的视觉辅助设备30进行识别，并可从可穿戴设备10获取到行走的导航信息和当前场景中的障碍物信息；此外，视障人士还可通过手持或穿戴地面识别设备20采集包括地形高低、地面标识、地面情况等的地面场景信息供出行的视觉辅助设备30识别。具体的，地面识别设备20可用于采集地面以下20cm的地面场景信息(如沟壑等)和/或地面以上20cm的地面场景信息(如积水、路标等)。

可穿戴设备10设置有第一检测设备101，第一检测设备101具体可包括第一摄像头。出行的视觉辅助设备30与第一摄像头连接，以获取第一摄像头采集的图像。可穿戴设备10可选为头部可穿戴设备10，第一检测设备101中的第一摄像头用于采集穿戴可穿戴设备10的视障人士的头部或靠近头部所在高度一定范围内及远离视障人士的空间场景的第一场景图像。

地面识别设备20设置有第二检测设备201，第二检测设备201具体可具体包括第二摄像头2011和朝向地面设置的检测模块2012。出行的视觉辅助设备30分别与第二摄像头2011和检测模块2012连接。第二检测设备201中的第二摄像头2011用于采集穿戴或手持地面识别设备20的视障人士在靠近地面一定范围内及靠近视障人士的地面场景的第二场景图像。具体的，所述第一摄像头和/或所述第二摄像头2011包括彩色相机、深度相机。相应的，第一场景图像和/或第二场景图像可包括双目图、深度图和可见光图。其中，彩色相机为检测出物体彩色平面图像的检测设备；深度相机为可检测出物体的平面图像的同时测量出物体到相机位置的距离的检测设备。

所述地面识别设备20远离所述可穿戴设备10的一端设有朝向地面的检测模块2012，所述出行的视觉辅助设备30与所述检测模块2012通信连接。以检测模块2012在地面识别设备20上的安装位置作为地面识别设备20的基准点，检测模块2012可采集该基准点与地面之间的距离。出行的视觉辅助设备30可依据检测模块2012所采集的距离分析地面所在的位置，以结合第一场景图像和第二场景图像的识别结果为视障人群提供相应的提示信息，保证提示信息的准确性，提高视障人群出行的安全性。检测模块2012可具体包括测距模块、雷达探头和纳米波探测模块，所述测距模块与所述出行的视觉辅助设备30连接，所述雷达探头和所述纳米波探测模块与所述测距模块连接。检测模块2012可用于检测地面凹坑、裂缝等深度。具体的，雷达探头可通过发射朝向地面的雷达波，并接收地面返回的反射波，纳米波探测模块可通过发射朝向地面的纳米波，并接收地面返回的反射波，测距模块可通过收集雷达探头和纳米波探测探头的发射波和反射波等数据进行分析，计算得到雷达探头、纳米波探测探头所在位置与地面之间的距离，从而得到检测模块2012与地面之间的距离信息。检测模块2012、第一摄像头和第二摄像头2011结合，可形成一个立体的三维的视角，提高场景识别的准确度。

具体的，所述地面识别设备20为手杖，所述手杖包括握持部21和与所述握持部21连接的杆体22，所述检测模块2012设于所述杆体22远离所述握持部21的一端，所述第二摄像头2011与所述检测模块2012间隔、且设于所述杆体22的侧壁。视障人群使用手杖时，手持握持部21，远离握持部21的检测模块2012靠近地面设置，出行的视觉辅助设备30依据检测模块2012所采集的数据可准确的确定地面的所在位置。其中，第二摄像头2011靠近检测模块2012且与检测模块2012间隔设置，可采集地面附近的第二场景图像，以便于出行的视觉辅助设备30识别分析到更为准确的地面附近的场景情况。

此外，出行的视觉辅助系统1还可包括行走提示件40，行走提示件40与出行的视觉辅助设备30连接，出行的视觉辅助设备30可向行走提示件40输出行走辅助的提示信息，以使行走提示件40向视障人群提供行走辅助的提醒。行走提示件40为向使用出行的视觉辅助系统1的视障人群以声音、振动等可感知的形式提供场景特征、指引方向、注意事项等提示信息。具体的，行走提示件40包括语音提示模块、触觉提示模块和/或振动提示模块。语音提示模块可用于以语音的形式发出提示信息，振动提示模块可用于以振动的形式发出提示信息。触觉提示模块用于采用凹凸或变形等形式形成图形、盲文等可被触觉识别的提示信息。行走提示件40可设于所述可穿戴设备10和/或所述地面识别设备20。具体的，可在可穿戴设备10设置语音提示模块，以便于视障人群接收到清晰的语音提醒，如可穿戴设备10为眼镜时，语音提示模块可设于眼镜的耳架；可在地面识别设备20设置振动提示模块，以便于视障人群可直观的依据振动提醒控制肢体运动；触觉提示模块也可设于地面识别设备20，具体的，地面识别设备20为手杖时，触觉提示模块可设于手杖的握持部21。

进一步的，由于一般视障人群的视野方向与视障人群的行走前进方向一致，为了保证视障人群行走前进过程中的安全，所述可穿戴设备10为眼镜，所述眼镜包括眼镜架11和固定于所述眼镜架11的镜片12，所述第一检测设备101设于所述眼镜架11且靠近所述镜片12设置。为了便于穿戴，可采用眼镜作为头部可穿戴设备10，在眼镜架11上设置第一检测设备101采集第一场景图像，由于第一检测设备101靠近镜片12设置，在视障人群穿戴眼镜时，镜片12相当于视障人群的眼睛所在位置，第一检测设备101的拍摄检测方向接近视障人群的视野方向，保证可有效识别到视障人群行走前进方向上的场景信息并发出相应的提醒。

具体的，所述眼镜架11包括鼻架111和耳架112，所述镜片12固定于所述鼻架111，所述鼻架111具有相对设置的第一面和第二面，所述耳架112固定于所述鼻架111且相对所述第一面凸出，所述第一拍摄检测设备101设于所述第二面。在视障人群穿戴眼镜时，第一面会朝向视障人群的眼睛设置，第二面会背离视障人群的眼睛，因此在第二面设置的第一拍摄检测设备101的拍摄检测方向与视障人群的视野方向一致，通过上述设置保证可准确识别到视障人群行走前进方向上的场景信息并发出相应的提醒。

参照图2，出行的视觉辅助设备30可以包括：处理器3001，例如CPU，存储器3002，通信总线3003。其中，通信总线3003用于实现这些组件之间的连接通信。存储器3002可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器3002可选的还可以是独立于前述处理器3001的存储装置。

出行的视觉辅助设备30分别与第一检测设备101、第二检测设备201通信连接，以获取第一场景图像、第二场景图像和第二检测设备201与地面之间的距离。出行的视觉辅助设备30与行走提示件40连接，以向行走提示件40提供提示信息的内容或触发行走提示件40发出提示信息。

本领域技术人员可以理解，图2中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图2所示，作为一种存储介质的存储器3002中可以包括出行的视觉辅助程序。处理器3001可以用于调用存储器3002中存储的出行的视觉辅助程序，并执行以下实施例中出行的视觉辅助方法的相关步骤操作。

参照图3，本发明实施例提供一种出行的视觉辅助方法，所述出行的视觉辅助方法包括：

步骤S10，获取第一场景图像和第二场景图像，所述第一场景图像通过可穿戴设备10采集，所述第二场景图像通过地面识别设备20采集，所述地面识别设备20与地面的距离小于所述可穿戴设备10与地面的距离；

在本实施例中，可穿戴设备10为眼镜，地面识别设备20为手杖。视障人群在使用出行的视觉辅助系统1时可戴上眼镜并手持手杖，眼镜上的设有的第一检测设备101实时采集视障人群在行走过程中其前进方向上在相对高的空间范围中的第一场景图像；手杖上设有的第二检测设备201实时采集视障人群在行走过程中其前进方向上在相对低的底面范围中的第二场景图像。

第一场景图像和第二场景图像可根据不同的需求选用相应的图像类型，具体的，第一场景图像和第二场景图像可包括可见光图像、双目图像和深度图像等中的一种或多种类型。其中，可见光图像为检测设备对场景中各物件所反射的可见光进行捕获所形成的彩色图像或灰阶图像。双目图像为通过两个检测设备或同一检测设备在不同位置、从不同方向对场景中各物体进行检测所采集到的图像，可用于确定场景中各物体的形状和位置。深度图像为包含深度信息的场景中各物体的图像，其中深度信息指的是场景中各物体与相应的检测设备之间的距离。

步骤S20，根据所述第一场景图像和所述第二场景图像构建场景模型；

场景模型为依据第一场景图像和第二场景图像所生成的用于表征视障人群所在空间的场景特征的二维图像和/或三维图像。具体的，可先识别第一场景图像和第二场景图像中的场景特征标识，识别场景特征标识在图像中的位置、形状等标识信息，将标识信息与场景特征标识关联形成场景模型。

步骤S30，识别所述场景模型中的行走障碍信息；

其中，可预先将空间中大量可能存在物体的图像形成预存障碍标识，并将模型障碍标识所对应的标识类型、标识说明等于对应的预存障碍标识进行关联存储。

在得到场景模型后，可解析场景模型得到不同场景特征标识所对应的模型障碍标识。将不同的模型障碍标识与预存障碍标识做比对，当比对一致时，则确定场景特征标识所对应的行走障碍信息。行走障碍信息可具体包括障碍物信息和路面标识信息等。识别所述场景模型中的行走障碍信息的步骤包括：识别所述三维场景图像中的障碍物信息和路面标识信息。具体的，依据预存障碍标识判断模型障碍标识是否为障碍物，若模型障碍标识为障碍物，则确定障碍物的位置、类型等作为障碍物信息；若模型障碍标识不为障碍物，则依据预存障碍标识判断模型障碍标识是否为行走指引标志，若模型障碍标识为行走指引标志，则根据预存障碍标识获取相应的标识说明作为相应的路面标识信息。其中，障碍物具体包括空间的障碍物和地面的障碍物。空间的障碍物可具体包括视障人士前进方向的体积较大的阻挡物件、阻挡的人等。地面的障碍物可具体包括地表体积较小的阻挡物件(如石头、棍子等)、水渍等，还可包括地面以下的障碍物(如凹坑等)。

此外，当模型障碍标识为障碍物时，确定障碍物的类型的步骤包括：提取模型障碍标识的特征信息，根据特征信息确定障碍物是否为具有潜在危险的人，特征信息可具体包括人脸信息和危险物件信息等。当提取到人脸信息可确定障碍物为人，当提取不到人脸信息可确定障碍物的类型为物件。当障碍物为人时，可判断所提取的特征信息中是否包括危险物件信息(如棍子、刀具等)，若包括危险物件信息，则确定障碍物类型为具有潜在危险的人；若不包括危险物件信息，则确定障碍物类型为不具有潜在危险的人。

步骤S40，根据所述行走障碍信息输出行走辅助的提示信息。

提示信息可通过语音、振动等形式进行输出，可通过语音播报输出当前的行走障碍信息，使视障人士变换当前行走方向；也可依据行走障碍信息生成行走建议后，通过语音播报输出行走建议，使视障人士按照接收到的行走建议行走。

行走辅助的提示信息可包括关于导航路径的提示信息(如行走的方向、行走的距离等)和/或关于行走障碍信息的提示信息(如障碍物的位置、类型、行走指示标志等)。其中，可根据行走障碍信息确定导航路径，根据导航路径生成关于导航路径的提示信息。

本发明实施例提出的一种出行的视觉辅助方法，通过采集远离地面第一高度范围内的第一场景图像和靠近地面第一高度范围内的第二场景图像，依据第一场景图像和第二场景图像构建场景模型，使所构建的场景模型中可包含视障人群所在空间中不同高度、不同远近的场景信息，从而依据该场景模型可全面识别到影响视障人群的行走障碍并输出相应行走辅助的提示信息，可保证视障人群所得到的提示信息更为准确，从而提高视障人群出行的安全性。

具体的，基于上述图3中的实施例，以三维场景模型为例，参照图4，所述根据所述第一场景图像和所述第二场景图像构建场景模型的步骤包括：

步骤S21，获取所述地面识别设备与地面之间的距离；

地面识别设备20与地面之间的距离具体可通过设于地面识别设备20的检测模块2012进行检测。其中，检测模块2012具体包括雷达探头和纳米波探测探头。

步骤S22，根据所述距离、所述第一场景图像和所述第二场景图像构建三维场景模型。

具体的，可根据第一场景图像先形成远离地面一定高度范围、距离视障人士较远的第一场景模型，再根据雷达探头和纳米波所检测的距离和第二场景图像形成靠近地面一定高度范围、距离视障人士较近的第二场景模型，将第一场景模型和第二场景模型中相关的信息对应关联，形成三维场景模型。

具体的，所述第一场景图像和所述第二场景图像均包括可见光图像、双目图像和深度图像。参照图5，所述根据所述距离、所述第一场景图像和所述第二场景图像构建三维场景模型的步骤包括：

步骤S221，识别所述第一场景图像和所述第二场景图像中的场景特征标识；

具体的，可分别识别第一场景图像和第二场景图像中的物体轮廓线，依据物体轮廓线确定场景特征标识，空间中不同的物体在第一场景图像和第二场景图像中对应形成不同的场景特征标识。

步骤S222，确定所述场景特征标识相对于所述可穿戴设备10所在的第一位置信息，确定所述场景特征标识相对于所述地面识别设备20所在的第二位置信息，根据所述距离确定地面的所在位置；

每个场景特征标识均由多个特征点形成。第一位置信息包括场景特征标识的每个特征点相对于可穿戴设备10上第一摄像头的偏离角度以及距离。第二位置信息包括场景特征标识的每个特征点相对于地面识别设备20上第二摄像头2011的偏离角度以及距离。

雷达探头和纳米波可在视障人士行走过程实时检测地面识别设备20与地面之间的距离，通过多个距离拟合可确定当前地面相对于检测模块2012的所在位置。

步骤S223，根据所述场景特征标识、所述第一位置信息、所述第二位置信息和所述地面的所在位置构建所述三维场景模型。

可预先依据第一检测设备101和第二检测设备201相对于使用出行的视觉辅助系统1的视障人群的人体的位置、第一检测设备101与第二检测设备201之间的相对位置等建立预设坐标系。依据第一位置信息、第二位置信息确定第一场景图像和第二场景图像中各场景特征标识上的每个特征点在预设坐标系中的位置，依据地面的所在位置确定地面在预设坐标系中的位置坐标，将坐标系不同位置上的特征点以及地面的位置坐标进行拟合形成三维场景模型。所得到的三维场景模型包括各场景特征标识的形状、大小、外部结构等场景中物体的外形特征信息，还包括各场景特征标识之间的距离，各场景特征标识相对地面的高度、各场景特征标识相对于视障人士的距离等场景中物体的位置特征信息等。

在本实施例中，依据地面的所在位置、第一场景图像和第二场景图像构建的三位场景模型全面表征视障人士行走前方场景的完整场景，从而使所构建的三维场景模型可识别障碍物、路面标识等的同时，也可准确反映地面的高度，可识别到地面的凹坑或斜坡等，后续考虑地面的位置制定导航路线，可使所制定的导航路线更为精准，避免由于地面不平、坑洼等原因影响视障人士的出行安全性。

进一步的，参照图6，基于上述图5所示的实施例，所述根据所述场景特征标识、所述第一位置信息、所述第二位置信息和所述地面的所在位置构建所述三维场景模型的步骤包括：

步骤S2231，获取所述可穿戴设备10的第一姿态信息和所述地面识别设备20的第二姿态信息；

第一姿态信息可具体包括所述可穿戴设备10的角速度信息。第二姿态信息可具体包括所述地面识别设备20的角速度信息。第一姿态信息和第二姿态信息可分别通过设于可穿戴设备10和地面识别设备20中的角速度传感器检测。

步骤S2232，根据所述第一姿态信息、所述第二姿态信息和预设坐标系确定基准坐标系；

确定预设坐标系中可穿戴设备10的第一检测设备101的第一坐标，确定预设坐标系中地面识别设备20的第二检测设备201的第二坐标，依据第一姿态信息调整第一坐标形成第一标准坐标，依据第二姿态信息调整第二坐标形成第二标准坐标，依据第一标准坐标和第二标准坐标重新确定坐标原点(如可选取第一标准坐标和第二标准坐标的中点作为坐标原点)，以新的坐标原点以及预设坐标系中坐标轴的方向进行坐标系构建，形成基准坐标系。

步骤S2233，根据所述基准坐标系、所述场景特征标识、所述第一位置信息、所述第二位置信息和所述地面的所在位置构建所述三维场景模型。

依据第一位置信息和第二位置信息确定第一场景图像和第二场景图像中各场景特征标识上的每个特征点在基准坐标系中的位置，依据地面的所在位置确定地面在基准坐标系中的位置坐标，将基准坐标系不同位置上的特征点和表征地面位置的位置坐标进行拟合形成三维场景模型。

在本实施例中，依据第一姿态信息和第二姿态信息调整预设坐标系，适应可穿戴设备10的运动和地面识别设备20的运动导致的坐标轴的变化，从而使所构建的三维场景模型更为精准，以保证视障人群基于三维场景模型所得到的提示信息更为准确，进一步提高视障人群出行的安全性。

进一步的，所述根据所述行走障碍信息输出行走辅助的提示信息的步骤包括：

步骤S41，根据所述行走障碍信息确定导航路径；

行走障碍信息包括障碍物信息和路面标识信息。障碍物信息为空间中阻碍视障人士行走的相关物体的类型、位置等信息，路面标识信息为空间中指引行走规则的相关标识的信息，如斑马线、无障碍通道等标识信息。依据障碍物信息和路面标识信息可确定可通行区域，并在可通行区域中规划导航路径。

具体的，参照图7，步骤S41可包括：

步骤S411，根据所述障碍物信息确定所述场景模型中的无障碍区域；

具体的，可依据障碍物信息确定障碍物所在位置，将场景模型中障碍物所在位置以外的其他方向的空间作为无障碍区域。

步骤S412，根据所述路面标识信息和所述无障碍区域确定所述场景模型中的可通行区域；

在无障碍区域中识别是否存在路标标识信息，在存在路面标识信息时，确定路标标识信息对应的行走规则，按照行走规则确定无障碍区域中的可通行区域。例如，无障碍区域中确定斑马线或无障碍通道时，将斑马线或无障碍通道所在的区域作为可通行区域。

步骤S413，根据所述可通行区域生成所述导航路径。

具体的，可获取视障人士目的地的所在位置，在可通行区域中生成距离目的地距离最短的路径作为导航路径。

步骤S42，根据所述导航路径输出行走辅助的提示信息。

依据所制定的导航路径输出关于方向、距离等行走辅助的提示信息。

在本实施例中，结合障碍物信息和路面标识信息制定准确的导航路径，并为视障人群提供导航路径作为行走辅助的提示信息，可使视障人群所获取的行走辅助的信息更为的明确和准确，保证视障人群可快速有效的确定可行的行走路线。

此外，本发明实施例还提出一种可读存储介质，所述可读存储介质上存储有出行的视觉辅助程序，所述出行的视觉辅助程序被处理器执行时实现如上实施例中出行的视觉辅助方法的相关步骤操作。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种出行的视觉辅助方法，其特征在于，所述出行的视觉辅助方法包括以下步骤：

获取第一场景图像和第二场景图像，所述第一场景图像通过可穿戴设备采集，所述第二场景图像通过地面识别设备采集，所述地面识别设备与地面的距离小于所述可穿戴设备与地面的距离；

根据所述第一场景图像和所述第二场景图像构建场景模型；

识别所述场景模型中的行走障碍信息；

根据所述行走障碍信息输出行走辅助的提示信息。

2.如权利要求1所述的出行的视觉辅助方法，其特征在于，所述根据所述第一场景图像和所述第二场景图像构建场景模型的步骤包括：

获取所述地面识别设备与地面之间的距离；

根据所述距离、所述第一场景图像和所述第二场景图像构建三维场景模型。

3.如权利要求2所述的出行的视觉辅助方法，其特征在于，所述第一场景图像和所述第二场景图像均包括可见光图像、双目图像和深度图像；所述根据所述距离、所述第一场景图像和所述第二场景图像构建三维场景模型的步骤包括：

识别所述第一场景图像和所述第二场景图像中的场景特征标识；

确定所述场景特征标识相对于所述可穿戴设备所在的第一位置信息，确定所述场景特征标识相对于所述地面识别设备所在的第二位置信息，根据所述距离确定地面的所在位置；

根据所述场景特征标识、所述第一位置信息、所述第二位置信息和所述地面的所在位置构建所述三维场景模型。

4.如权利要求3所述的出行的视觉辅助方法，其特征在于，所述根据所述场景特征标识、所述第一位置信息、所述第二位置信息和所述地面的所在位置构建所述三维场景模型的步骤包括：

获取所述可穿戴设备的第一姿态信息和所述地面识别设备的第二姿态信息；

根据所述第一姿态信息、所述第二姿态信息和预设坐标系确定基准坐标系；

根据所述基准坐标系、所述场景特征标识、所述第一位置信息、所述第二位置信息和所述地面的所在位置构建所述三维场景模型。

5.如权利要求4所述的出行的视觉辅助方法，其特征在于，所述识别所述场景模型中的行走障碍信息的步骤包括：

识别所述三维场景图像中的障碍物信息和路面标识信息。

6.如权利要求5所述的出行的视觉辅助方法，其特征在于，所述根据所述行走障碍信息输出行走辅助的提示信息的步骤包括：

根据所述行走障碍信息确定导航路径；

根据所述导航路径输出行走辅助的提示信息。

7.如权利要求6所述的出行的视觉辅助方法，其特征在于，所述根据所述行走障碍信息确定导航路径的步骤包括：

根据所述障碍物信息确定所述场景模型中的无障碍区域；

根据所述路面标识信息和所述无障碍区域确定所述场景模型中的可通行区域；

根据所述可通行区域生成所述导航路径。

8.一种出行的视觉辅助设备，其特征在于，所述出行的视觉辅助设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的出行的视觉辅助方法的步骤。

9.一种出行的视觉辅助系统，其特征在于，所述出行的视觉辅助系统包括：

可穿戴设备，所述可穿戴设备设有第一检测设备，所述第一检测设备用于采集第一场景图像；

地面识别设备，所述地面识别设备设有第二检测设备，所述第二检测设备用于采集第二场景图像，所述地面识别设备与地面的距离小于所述可穿戴设备与地面的距离；以及

如权利要求8所述的出行的视觉辅助设备，所述出行的视觉辅助设备与所述第一检测设备、所述第二检测设备通信连接。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有出行的视觉辅助程序，所述出行的视觉辅助程序被处理器执行时实现如权利要求1至7中任一项所述的出行的视觉辅助方法的步骤。