CN111060074A - 基于计算机视觉的导航方法、装置、计算机设备及介质 - Google Patents
基于计算机视觉的导航方法、装置、计算机设备及介质 Download PDFInfo
- Publication number
- CN111060074A CN111060074A CN201911356786.XA CN201911356786A CN111060074A CN 111060074 A CN111060074 A CN 111060074A CN 201911356786 A CN201911356786 A CN 201911356786A CN 111060074 A CN111060074 A CN 111060074A
- Authority
- CN
- China
- Prior art keywords
- image
- obstacle
- target
- adopting
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 33
- 238000012790 confirmation Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003786 synthesis reaction Methods 0.000 claims description 16
- 238000003702 image correction Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 10
- 230000002068 genetic effect Effects 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000010187 selection method Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 16
- 238000013507 mapping Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000009466 transformation Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001292396 Cirrhitidae Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008303 genetic mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/30—Interpretation of pictures by triangulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
- G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种基于计算机视觉的导航方法、装置、计算机设备及存储介质。该方法包括：根据起点位置和终点位置进行路线规划，获取第一目标路线，采用语音播放系统播放与第一目标路线相对应的导航语音数据；获取第一目标路线对应的路况实时视频，从路况实时视频中提取待识别图像，对待识别图像进行预处理，获取目标识别图像，采用目标障碍识别模型对目标识别图像进行识别，获取当前识别结果；若当前识别结果为存在障碍物体，则采用计算机视觉工具对障碍物体进行双目测距，确定用户当前位置与障碍物体的距离数据；根据距离数据与预设告警条件，获取对应的规避提醒信息，采用语音播放系统播放规避提醒信息，为用户规划导航线路，确保用户出行安全。
Description
技术领域
本发明涉及导航领域，尤其涉及一种基于计算机视觉的导航方法、装置、计算机设备及存储介质。
背景技术
越来越多的用户在客户端上安装导航软件，以便根据起点和终点为用户提供路线导航。现有导航系统中一般有语音合成、朗读文字、放大缩小和触摸反馈等功能，为用户提供了便利，帮助用户规划路线和提供出行方式建议等。采用现有导航系统进行路线导航过程中，用眼不方便的用户无法实时感知导航路线上的实时路况，使其依据导航路线运动时容易出现危险，此处的用眼不方便的用户可以是视力障碍用户或者由于其他原因不能专注观看实时路况的用户。
发明内容
本发明实施例提供一种基于计算机视觉的导航方法、装置、计算机设备及存储介质，以解决用眼不方便的用户根据现有导航系统推荐的导航路线运动过程中容易出现危险的问题。
一种基于计算机视觉的导航方法，包括：
获取导航请求信息，所述导航请求信息包含起点位置和终点位置；
根据所述起点位置和所述终点位置进行路线规划，获取第一目标路线，采用语音播放系统播放与所述第一目标路线相对应的导航语音数据；
获取所述第一目标路线对应的路况实时视频，从所述路况实时视频中提取待识别图像，对所述待识别图像进行预处理，获取目标识别图像，采用目标障碍识别模型对所述目标识别图像进行识别，获取当前识别结果；
若所述当前识别结果为存在障碍物体，则采用计算机视觉工具对所述障碍物体进行双目测距，确定用户当前位置与所述障碍物体的距离数据；
根据所述距离数据与预设告警条件，获取对应的规避提醒信息，采用所述语音播放系统播放所述规避提醒信息。
一种基于计算机视觉的导航装置，包括：
导航请求信息获取模块，用于获取导航请求信息，所述导航请求信息包含起点位置和终点位置；
第一目标路线获取模块，用于根据所述起点位置和所述终点位置进行路线规划，获取第一目标路线，采用语音播放系统播放与所述第一目标路线相对应的导航语音数据；
当前识别结果获取模块，用于获取所述第一目标路线对应的路况实时视频，从所述路况实时视频中提取待识别图像，对所述待识别图像进行预处理，获取目标识别图像，采用目标障碍识别模型对所述目标识别图像进行识别，获取当前识别结果；
距离数据获取模块，用于若所述当前识别结果为存在障碍物体，则采用计算机视觉工具对所述障碍物体进行双目测距，确定用户当前位置与所述障碍物体的距离数据；
规避提醒信息获取模块，用于根据所述距离数据与预设告警条件，获取对应的规避提醒信息，采用所述语音播放系统播放所述规避提醒信息。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于计算机视觉的导航方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于计算机视觉的导航方法的步骤。
上述基于计算机视觉的导航方法、装置、计算机设备及存储介质，根据所述起点位置和所述终点位置进行路线规划，获取第一目标路线，采用语音播放系统播放与所述第一目标路线相对应的导航语音数据，以便为用户提供语音导航，方便用户根据听到的导航语音数据进行出行。获取所述第一目标路线对应的路况实时视频，从所述路况实时视频中提取待识别图像，对所述待识别图像进行预处理，获取目标识别图像，采用目标障碍识别模型对所述目标识别图像进行识别，获取当前识别结果，以判断用户沿第一目标路线前进时是否存在障碍物体。在所述当前识别结果为存在障碍物体，则采用计算机视觉工具对所述障碍物体进行双目测距，以快速确定用户当前位置与所述障碍物体的距离数据。根据距离数据预设告警条件，获取对应的规避提醒信息并采用所述语音播放系统播放，从而为用眼不便的用户提供无障碍的前进方案，规避了由于用户用眼不便或者其他无法实时查看路况的情况，因不能看到存在的障碍物体而可能造成的危险,保障用户出行安全。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于计算机视觉的导航方法的一应用环境示意图；
图2是本发明一实施例中基于计算机视觉的导航方法的一流程图；
图3是本发明一实施例中基于计算机视觉的导航方法的一流程图；
图4是本发明一实施例中基于计算机视觉的导航方法的一流程图；
图5是本发明一实施例中基于计算机视觉的导航方法的一流程图；
图6是本发明一实施例中基于计算机视觉的导航方法的一流程图；
图7是本发明一实施例中基于计算机视觉的导航方法的一流程图；
图8是本发明一实施例中基于计算机视觉的导航装置的一原理框图；
图9是本发明一实施例中双目测距的原理示意图；
图10是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的基于计算机视觉的导航方法，该基于计算机视觉的导航方法可应用如图1所示的应用环境中。具体地，该基于计算机视觉的导航方法应用在导航系统中，该导航系统包括如图1所示的客户端和服务器，客户端与服务器通过网络进行通信，该导航系统采用计算机视觉工具实现为不方便用眼的用户提供导航，并提供相应的规避方案，保障用户出行安全。其中，客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种基于计算机视觉的导航方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S201：获取导航请求信息，导航请求信息包含起点位置和终点位置。
其中，导航请求信息是指用户通过客户端发送给服务器，请求服务器根据起点位置和终点位置进行路线规划的信息。起点位置是用户自主确定的需要进行导航路线的起点所在的位置。终点位置是用户自主确定的需要根据导航路线的终点所在的位置。
S202：根据起点位置和终点位置进行路线规划，获取第一目标路线，采用语音播放系统播放与第一目标路线相对应的导航语音数据。
其中，第一目标路线是指根据导航请求信息进行规划获得的从起点位置走到终点位置的路线。导航语音数据是指为用户提供导航的语音数据，该导航语音数据与第一目标路线相对应，例如，导航语音数据可以是“请往左前方走xx米，然后右转”或者“您已偏离路线等”。语音播放系统播放是指用于进行语音播放的系统，例如，语音播放系统可以播放第一目标路线。
具体地，服务器获取到导航请求信息后，将导航请求信息中的起点位置和终点位置输入至导航系统中，并获取导航系统反馈的第一目标路线，采用语音播放系统播放与第一目标线路相对应的导航语音数据，以便为用户提供语音导航，以使用眼不方便的用户可以根据播放的导航语音数据，获取相应的第一目标路线。作为一示例，导航系统根据起点位置和终点位置规划得到的导航路线可以有多条，本实施例中可以选取行走时间最短的路线作为第一目标路线。
S203：获取第一目标路线对应的路况实时视频，从路况实时视频中提取待识别图像，对待识别图像进行预处理，获取目标识别图像，采用目标障碍识别模型对目标识别图像进行识别，获取当前识别结果。
其中，路况实时视频是指用户根据导航语音数据行走时，客户端实时拍摄的视频。待识别图像是指需要进行识别的图像。本实施例中，采用视频提取图片软件提取路况实时视频中的待识别图像，例如，采用视频提取图片软件提取图像的频率可以为每10秒在路况实时视频中提取一张待识别图像；或者采用图像采集端口提取路况实时视频中的待识别图像，例如，采用图像采集端口的频率可以为10秒在路况实时视频中提取一张待识别图像。目标识别图像是指对待识别图像进行预处理获得的图像。
目标障碍识别模型是用于识别图像中的障碍物体的模型。本实施例中，采用目标障碍识别模型对目标识别图像进行识别，以判断用户沿第一目标路线前进行走时，路上是否出现妨碍用户前进的障碍物体。当前识别结果是目标障碍识别模型对目标识别图像的识别结果。障碍物体是指用户沿第一目标路线前进时，妨碍用户前进的物体。
具体地，在用户根据导航语音数据行走前，开启客户端的摄像头进行视频录制，以获取路况实时视频，采用视频提取图片软件或者图像采集端口从路况实时视频中提取待识别图像，对待识别图像进行灰度化等预处理以获取目标识别图像，采用目标障碍识别模型对目标识别图像进行识别，获取用户沿第一目标路线前进时是否可能存在障碍物体的当前识别结果，以便后续根据当前识别结果进行避障处理，保障用户出行安全。
S204：若当前识别结果为存在障碍物体，则采用计算机视觉工具对障碍物体进行双目测距，确定用户当前位置与障碍物体的距离数据。
其中，计算机视觉是指用摄影机和电脑代替人眼睛对障碍物体进行识别、跟踪和测量等机器视觉。计算机视觉工具包括但不限于Halcon、MATLAB+Simulink和OpenCV等。用户当前位置是指用户当前所在位置。距离数据是指用户当前位置到障碍物体的距离的数据，距离数据具体是障碍物体的三维坐标与用户当前位置的三维坐标对应的距离，用户当前位置的三维坐标为原点坐标。双目测距是指通过计算机视觉工具对从路况实时视频中提取的图像进行计算，以确定用户当前位置与障碍物体的距离的过程。
具体地，若当前识别结果为存在障碍物体，为了判断该障碍物体是否会影响用户前进，本实施例采用OpenCV工具对从路况实时视频中提取的图像进行计算，以快速获知从用户当前位置到障碍物体位置的距离数据。在用户用眼不便的情况下，根据计算机视觉工具计算用户与障碍物体的距离数据，从而可以准确判断障碍物体是否会妨碍用户前进，以便后续得出障碍物体对应的规避提醒信息提供数据，以保障用户出行安全。
S205：根据距离数据与预设告警条件，获取对应的规避提醒信息，采用语音播放系统播放规避提醒信息。
其中，预设告警条件是指预先设定，根据障碍物体是否会妨碍用户前进而设置提醒条件。规避提醒信息是指通过对距离数据与预设告警条件进行判断后生成的提醒信息，例如，在障碍物体不会妨碍到用户时，规避提醒信息可以是“请注意左前方x米处存在xx障碍，请继续往前走”，或者，在障碍物体较可能妨碍到用户时，规避提醒信息可以是“请注意左前方x米处存在xx障碍，请止步”，或者，在障碍物体使用户无法前进时，规避提醒信息可以是“请注意左前方x米处存在xx障碍，请求更换第一目标路线”等。该规避提醒信息可以为用户提供无障碍的前进方案，规避了由于用户用眼不便，不能看到存在的障碍物体而可能造成的危险,保障用户出行安全。
具体地，采用双目测距对存在障碍物体的目标识别图像进行测距，以获取用户用户当前位置和障碍物体的距离数据，然后根据距离数据和预设告警条件，获取对应的规避提醒信息，并采用语音播放系统播放所获取的规避提醒信息，从而为用眼不便的用户提供无障碍的前进方案，规避了由于用户用眼不便或者其他无法实时查看路况的情况，因不能看到存在的障碍物体而可能造成的危险,保障用户出行安全。相比现有导航系统只能为用户提供线路，本实施例中，通过对障碍物体进行识别并采用计算机视觉工具进行双目测距，以快速获取用户当前位置和障碍物体距离的距离数据，生成相应的规避提醒信息，确保用眼不便的用户可以依据规避提醒信息正常出行，保障用户出行安全。
本实施所提供的基于计算机视觉的导航方法中，根据起点位置和终点位置进行路线规划，获取第一目标路线，采用语音播放系统播放与第一目标路线相对应的导航语音数据，以便为用户提供语音导航，方便用户根据听到的导航语音数据进行出行。获取第一目标路线对应的路况实时视频，从路况实时视频中提取待识别图像，对待识别图像进行预处理，获取目标识别图像，采用目标障碍识别模型对目标识别图像进行识别，获取当前识别结果，以判断用户沿第一目标路线前进时是否存在障碍物体。在当前识别结果为存在障碍物体，则采用计算机视觉工具对障碍物体进行双目测距，以快速确定用户当前位置与障碍物体的距离数据。根据距离数据预设告警条件，获取对应的规避提醒信息并采用语音播放系统播放，从而为用眼不便的用户提供无障碍的前进方案，规避了由于用户用眼不便或者其他无法实时查看路况的情况，因不能看到存在的障碍物体而可能造成的危险,保障用户出行安全。
在一实施例中，步骤S201中的导航请求信息是用户自主输入的起点位置和终点位置对应的信息，具体可以是用户直接在客户端上以文字输入方式输入的起点位置和终点位置，也可以是采用自动定位技术确定的起点位置和终点位置，还可采用语音输入方式输入的起点位置和终点位置。如图3所示，步骤S201，即获取导航请求信息，包括：
S301：采用语音播放系统播放位置输入提醒数据，接收语音采集系统基于位置提醒数据输入的待识别语音数据。
其中，位置输入提醒数据是指语音播放系统发出的，提醒用户输入位置的数据。位置输入提醒数据具体包括起点位置输入提醒数据和终点位置输入提醒数据，例如，起点位置输入提醒数据可以是“请输入起点位置”。待识别语音数据是用户说的包含起点位置或者终点位置的数据。语音采集系统是用于采集用户语音数据的系统，可以是客户端内置的麦克风。
具体地，用户可通过客户端自主选择语音输入模式，在语音输入模式下，采用语音播放系统播放位置输入提醒数据，用户在预设等待时间内根据位置输入提醒数据说出与位置输入提醒数据相对应的待识别语音数据，语音采集系统采集到待识别语音数据并发送给服务器。预设等待时间是预先设置的等待用户反馈数据的时间，例如，预设等待时间可以是1分钟。
S302：采用语音识别模型对待识别语音数据进行识别，获取目标文字。
语音识别模型是预先训练好的，以用于识别待识别语音数据中的文字内容的模型。目标文字是指待识别语音数据对应的文字，具体是起点位置或者终点位置所对应的文字。本实施例中，采用语音识别模型对待识别语音数据进行识别，可以快速获取包含起点位置或者终点位置的目标文字，以便后续为用户规划路线。
S303：采用语音合成技术对目标文字进行语音合成，获取与目标文字相对应的待确认语音数据。
其中，语音合成技术是将计算机产生的或输入的文字信息转变为语音输出的技术。待确认语音数据是指对目标文字进行语音合成处理后获得的语音数据。本实施例中，对目标文字进行语音合成，以便获取与目标文字相对应的待确认语音数据，以供用户确定起点位置或者终点位置是否准确，确保后续生成的路线的准确性。
S304：采用语音播放系统播放待确认语音数据，接收客户端发送的位置确认信息，基于目标文字和位置确认信息，确定导航请求信息。
其中，位置确认信息是指用户确认目标文字的起点位置或者终点位置是准确的信息。本实施例中，采用语音播放系统播放待确认语音数据，在预设等待时间内接收客户端发送的位置确认信息，该位置确认信息可以是确认无误信息，即用于确认目标文字准确无误的信息；也可以是确认有误信息，即用于确认目标文字不准确需要进行修改的信息。
基于目标文字和位置确认信息，确定导航请求信息，具体包括：若位置确认信息是确认无误信息，则基于目标文字确定导航请求信息；若位置确认信息是确定有误信息，则重复采用语音播放系统播放位置输入提醒数据，接收语音采集系统基于位置提醒数据输入的待识别语音数据的步骤及其以后的步骤，即重复执行步骤S301-S304，直至获取到确认无误信息，根据目标文字确定导航请求信息。本实施例通过语音播放系统等人机交互的方式实现用户与客户端交互，实现为用眼不便的用户提供智能化的位置输入方法，以便后续进行规划路线。
本实施例所提供的基于计算机视觉的导航方法中，通过语音播放系统播放需要用户确定的位置输入提醒数据，并接收语音采集系统待识别语音数据，对待识别语音数据进行识别，获取目标文字，以便后续为用户规划第一目标路线。采用语音合成技术对目标文字进行语音合成，获取与目标文字相对应的待确认语音数据，以供用户确定起点位置或者终点位置是否准确，确保后续生成的第一目标路线的准确性。采用语音播放系统播放待确认语音数据，接收客户端发送的位置确认信息，基于目标文字和位置确认信息，确定导航请求信息，通过语音播放系统等人机交互的方式实现用户与客户端交互，为用眼不便的用户提供智能化的位置输入方法，以便后续进行规划路线。
在一实施例中，如图4所示，步骤S203，即对待识别图像进行预处理，获取目标识别图像，包括：
S401：对待识别图像进行灰度化和二值化处理，获取待处理图像。
其中，灰度化是指将彩色的待识别图像转化成为灰度的待识别图像过程，以减少后续的图像处理的工作量。二值化是指对待识别图像进行灰度化处理后获得图像进行处理，生成只有两个灰度级的图像，将只有两个灰度级的图像确定为待处理图像。对每一待识别图像进行灰度化和二值化处理，获取待处理图像，以加快后续图像的处理速度。
S402：采用边缘检测算法和直线检测算法对待处理图像进行处理，获取路况识别图像。
其中，边缘检测算法用于对待处理图象的灰度变化进行度量、检测和定位的算法，以便确定待识别图像中亮度变化显著的部分，为后续进行障碍物体与背景进行分割提供技术支持，边缘检测算法包括但不限于Canny边缘检测算法。
直线检测算法是用于从待处理图像中识别出直线的算法，直线检测算法包括但不限于霍夫变换。本实施例中，采用霍夫变换对待处理图像进行处理，提取待处理图像中的直线，以确定路面上的人行道、盲人道或者公路等，获取路况识别图像。
采用边缘检测算法对待处理图像进行处理，以检测出待处理图像中亮度变化显著的部分，并采用直线检测算法确定待处理图像中的道路，以高效识别待处理图像中路面上的人行道、盲人道和公路等道路情况。
S403：采用阈值选取方法对路况识别图像进行障碍物体与背景进行分割，获取目标识别图像。
其中，阈值选取方法是指利用图像中要提取的目标与背景在灰度上的灰度差异，通过设置灰度阈值来把像素级分成若干类，从而实现目标与背景的分离的过程。灰度阈值是预先设定的，用于区分障碍物体与背景的值。目标识别图像是指对路况识别图像进行处理后获取的图像，具体是基于路况识别图像中所提取的障碍物体和背景在灰度上的灰度差异与灰度阈值的比较结果确定的图像，该目标识别图像是有较大可能为存在障碍物体的图像。阈值选取方法包括但不限于基于基于遗传算法的阈值选取方法。本实施例中，采用阈值选取方法将路况识别图像对障碍物体与背景进行分割，将路况识别图像中灰度值大于灰度阈值的部分确定为障碍物体，具有计算量小的优点，可快速得到目标识别图像。灰度阈值是预先设定的，用于区分路况识别图像中的障碍物体和背景的值。
本实施例所提供的基于计算机视觉的导航方法中，提取路况实时视频中的待识别图像，对待识别图像进行灰度化和二值化处理，获取待处理图像，以加快后续图像的处理速度。采用边缘检测算法待处理图像进行处理，确定待处理图像中亮度变化显著的部分，为后续进行障碍物体与背景进行分割提供技术支持，采用直线检测算法对待处理图像进行处理，以高效识别出路面上的道路情况。采用阈值选取方法对路况识别图像进行障碍物体与背景进行分割，具有计算量小的优点，可快速得到目标识别图像。
在一实施例中，如图5所示，目标识别图像包括左目识别图像和右目识别图像，步骤S204中的采用计算机视觉工具对障碍物体进行双目测距，确定用户当前位置与障碍物体的距离数据，包括：
S501：采用张正友标定法进行标定，获得双目摄像头的参数数据。
其中，双目摄像头是指用户客户端上的左摄像头和右摄像头，根据双目摄像头获得的用户当前位置与障碍物体的距离数据比采用单目摄像头获得的用户当前位置与障碍物体的距离数据更加准确。张正友标定法是张正友教授于1998年提出的单平面棋盘格的摄像机标定方法，以获得双目摄像头的参数数据。参数数据包括内参数据和外参数据，内参数据包括焦距长度和透镜畸变参数，外参数据包括旋转矩阵和平移矩阵。
具体地，预先采用双目摄像头获取多组不同角度和不同距离的标定图像，然后采用张正友标定法对多组标定图像进行标定，以便获得双目摄像头的参数数据，为后续对左目识别图像和右目识别图像进行图像校正提供技术支持。其中，标定图像是指用于进行标定的图像，具体是用于计算确定双目摄像头的参数数据的图像。标定图像包括左目标定图像和右目标定图像。其中，待识别图像包括左目原始图像和右目原始图像，左目识别图像是从左摄像头拍摄的路况实时视频中提取的左目原始图像，然后对左目原始图像进行预处理后获得的图像。同理地，右目识别图像是从右摄像拍摄的路况实时视频中提取的右目原始图像，然后对右目原始图像进行预处理后获得的图像。需要说明的是，左目识别图像和右目识别图像必须是同一时间的路况实时视频获得的图像，确保后续计算的距离数据的准确性。
S502：基于参数数据对左目识别图像和右目识别图像进行图像校正，获取左目校正图像和右目校正图像。
其中，图像校正是指根据参数数据对左目识别图像和右目识别图像进行映射变换的方法，使左目识别图像和右目识别图像上的匹配点所在极线共线，极线共线可以理解为左目识别图像和右目识别图像上匹配点处于同一水平线上。基于双目摄像头的参数数据进行图像校正可保证后续计算用户当前位置与障碍物体的距离数据的准确性，而且有效减少计算量。其中，左目识别图像和右目识别图像上的匹配点是指左目识别图像和右目识别图像中同一物体的相同位置的点，例如，左目识别图像和右目识别图像上同一用户的左耳上的一个点。左目校正图像是对左目识别图像进行校正后获得的图像。右目校正图像是对右目识别图像进行校正后获得的图像。
具体地，由于双目摄像头受到透镜径向畸变和透镜切向畸变的影响，利用双目摄像头获得的左目识别图像和右目识别图像存在图像畸变，若直接利用左目识别图像和右目识别图像计算用户当前位置和障碍物体的距离数据，则获得距离数据存在较大误差。本实施例中，将标定得到的参数数据输入OpenCV中，利用OpenCV的仿射变换函数实现对左目标定图像和右目标定图像进行映射变换处理，映射变换包括但不限于是平移、旋转和缩放，使得左目标定图像和右目标定图像上匹配点所在极线共线，基于映射变换确定获得左目图像映射表和右目图像映射表，左目图像映射表反映了左目标定图像和经过映射变换后的左目校正图像的映射关系，同理地，右目图像映射表反映了右目标定图像与和和经过映射变换后的右目校正图像的映射关系。本实施例中，依据左目图像映射表对左目识别图像进行校正，获得左目校正图像，同理地，依据右目图像映射表对右目识别图像进行校正，获得右目校正图像。对左目识别图像和右目识别图像进行图像校正，以消除图像畸变对后续测距的影响，确保后续计算用户当前位置与障碍物体的距离数据的可靠性。
S503：采用立体匹配算法对左目校正图像和右目校正图像进行立体匹配，获取视差图。
其中，视差图是指图像大小等于左目校正图像和右目校正图像中任一幅图像的大小，元素值为视差值的图像。视差值是同一个点或者物体在左目摄像头和右目摄像头成像所对应的x坐标的差值。
立体匹配是指通过在左目校正图像和右目校正图像中寻找相匹配的像素点，利用对应的像素点间位置关系，以获得视差图。立体匹配算法包括但不限于OpenCV中提供局部的BM算法和全局的SGBM算法等。本实施例中采用立体匹配算法是全局的SGBM，SGBM的思路是通过选取每个像素点的disparity，组成一个disparity map，设置一个和disparity map相关的全局能量函数，使这个能量函数最小化，以达到求解每个像素点最优disparity的目的。
具体地，采用立体匹配算法选取左目校正图像和右目校正图像中相对应的像素点的disparity，组成一个disparity map，设置一个和disparity map相关的全局能量函数，通过使该能量代价函数最小化以求解每个像素点最优disparity，将每个像素点最优disparity作为该像素点的视差值，生成视差图，后续根据视差图可准确计算用户当前位置与障碍物体的距离数据。
S504：基于视差图确定用户当前位置与障碍物体的距离数据。
具体地，如图9所示，障碍物体所在位置为P点，左目摄像头和右目摄像头的宽度为l,双目摄像头的焦距为f，左目摄像头和右目摄像头之间的距离为T，xl和xr分别表示障碍物体在左目校正图像和右目校正图像中投影点横坐标，yr表示障碍物体在右目校正图像中投影点纵坐标，障碍物体在左目摄像头的成像点为Pl，障碍物体在右目摄像头上的成像点为Pr，设障碍物体P的坐标为(X，Y，Z)，由三角形相似原理可得
化简得到
由于视差已知的d＝xl-xr，因此，
以右目摄像头为基准，可得
即
即
从而获得障碍物体的距离数据，以便后续根据距离数据为用户提供相应的导航。
本实施例所提供的基于计算机视觉的导航方法中，采用张正友标定法进行标定，获得双目摄像头的参数数据，为后续对左目识别图像和右目识别图像进行图像校正提供技术支持。基于参数数据对左目识别图像和右目识别图像进行图像校正，获取左目校正图像和右目校正图像，以消除图像畸变对后续测距的影响，确保后续计算用户当前位置与障碍物体的距离数据的可靠性。采用立体匹配算法对左目校正图像和右目校正图像进行立体匹配，获取视差图，根据视差图可准确计算用户当前位置与障碍物体的距离数据，以便后续根据距离数据为用户提供相应的导航。
在一实施例中，如图6所示，在步骤S203之前，即在采用目标障碍识别模型对目标识别图像进行识别，获取当前识别结果之前，基于计算机视觉的导航方法还包括：
S601：获取训练图像和测试图像，训练图像和测试图像携带有障碍物体类型和障碍物体标签。
其中，训练图像是用于对神经网络模型进行训练的图像，以生成目标障碍识别模型。测试图像是用于对原始障碍识别模型进行验证的图像。障碍物体类型是指妨碍用户前进的物体的类型，例如，障碍物体类型可以是可移动障碍物体或者固定障碍物体等。障碍物体标签是妨碍用户前进的物体的标签，例如，障碍物体标签可以是人、狗、单车和树木等。进一步地，在训练模型时，还可以对交通灯和盲道进行识别，进而引导用眼不便的用户在盲道行走，或者在交通等为红灯时为色盲患者提醒。
S602：将训练图像输入到神经网络模型中进行训练，获取原始障碍识别模型。
具体地，将带有障碍物体类型和障碍物体标签的训练图像输入到神经网络模型中，当神经网络模型收敛时，以获取原始障碍识别模型，对采用神经网络模型进行训练，以便后续快速识别障碍物体。
S603：将测试图像输入到原始障碍识别模型中，获取原始障碍识别模型输出的识别准确率。
其中，识别准确率是指原始障碍识别模型可以准确识别出测试图像中障碍物体类型和障碍物体标签的概率。
具体地，将多张测试图像输入到原始障碍识别模型中，获取原始障碍识别模型的原始识别结果，并将每一原始识别结果和对应的测试图像的障碍物体类型和障碍物体标签进行比较，以获取原始障碍识别模型的识别准确率，以验证原始障碍识别模型是否成功。其中，获取原始障碍识别模型的识别准确率是指原始识别结果为识别准确的识别准确数量与所有测试图像的图像数量的商。
S604：若识别准确率大于预设准确阈值，则将原始障碍识别模型确定为目标障碍识别模型。
其中，预设准确阈值是预先设定的，用于判断原始障碍识别模型是否能够准确识别障碍物体类型和障碍物体标签的阈值，例如，预设准确阈值可以是90％。
具体地，当识别准确率大于预设准确阈值，则说明原始障碍识别模型训练成功，将原始障碍识别模型确定为目标障碍识别模型，以便后续根据目标障碍识别模型确保目标识别图像是否存在障碍物体，确保障碍物体识别的准确性。
本实施例所提供的基于计算机视觉的导航方法中，将训练图像输入到神经网络模型中进行训练，获取原始障碍识别模型，以便后续快速识别障碍物体。将测试图像输入到原始障碍识别模型中，获取原始障碍识别模型输出的识别准确率，以验证原始障碍识别模型是否成功。当识别准确率大于预设准确阈值，则将原始障碍识别模型确定为目标障碍识别模型，以便后续根据目标障碍识别模型确保目标识别图像是否存在障碍物体，确保障碍物体识别的准确性。
在一实施例中，如图7所示，障碍物体还携带有障碍物体类型，障碍物体类型包括但不限于固定障碍物体和可移动障碍物体。步骤S205中，即根据距离数据与预设告警条件，获取对应的规避提醒信息，采用语音播放系统播放规避提醒信息，包括：
S701：若距离数据符合预设告警条件，且障碍物体携带的障碍物体类型为固定障碍物体，基于用户当前位置和终点位置，采用遗传算法进行路径规划，获取第二目标路线，将第二目标路线作为规避提醒信息，采用语音播放系统播放规避提醒信息。
其中，遗传算法(GeneticAlgorithm)是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解。
具体地，当距离数据符合预设告警条件，且障碍物体携带的障碍物体类型为固定障碍物体，则说明此时第一目标线路不能前行，因此，服务器根据用户当前位置和终点位置采用遗传算法进行路径规划，以获取第二目标路线，将第二目标路线作为规避提醒信息，采用语音播放系统播放规避提醒信息给用户，以便用户依据规避提醒信息可无障碍行走，实现用户不需直接用眼去查看，即可安全导航到终点位置，特别是对于用眼不便的用户或者其他无法实时查看路况的情况，根据距离数据与预设告警条件，为用户规划路线，保证用户出行安全。
S702：若距离数据符合预设告警条件，且障碍物体携带的障碍物体类型为可移动障碍物体，对障碍物体进行检测，基于检测结果生成规避提醒信息，采用语音播放系统播放规避提醒信息。
具体地，当距离数据符合预设告警条件，且障碍物体携带的障碍物体类型为可移动障碍物体，此时存在障碍物体可能移动也可能不移动，先提醒用户止步，然后对障碍物体进行检测，若在预设停止时间内，检测到无障碍物体，则将第一目标线路作为规避提醒信息，采用语音播放系统播放规避提醒信息，提醒用户继续行走；若在预设停止时间内，检测到障碍物体，基于用户当前位置和终点位置，采用遗传算法进行路径规划，获取第二目标路线，将第二目标路线作为规避提醒信息，采用语音播放系统播放规避提醒信息。
进一步地，当距离数据不符合预设告警条件，则根据用户行走的路程，利用语音播放系统播放继续行走信息，例如，继续行走信息可以是“您已走了XX米，请往正前方行走XX米后左转，距离目标位置XX米”；或者可以提醒时间阈值，例如，提醒时间阈值可以是5分钟，当用户行走的时间等于提醒时间阈值时，则利用语音播放系统播放继续行走信息。
本实施例所提供的基于计算机视觉的导航方法中，若距离数据符合预设告警条件，且障碍物体携带的障碍物体类型为固定障碍物体，基于用户当前位置和终点位置，采用遗传算法进行路径规划，获取第二目标路线，将第二目标路线作为规避提醒信息，采用语音播放系统播放规避提醒信息，在障碍物体类型为固定障碍物体，则此时为用户规划第二目标路线作为规避提醒信息，以便用户依据规避提醒信息可无障碍行走，实现用户不需直接用眼去查看，即可安全导航到终点位置，特别是对于用眼不便的用户或者其他无法实时查看路况的情况，保证用户出行安全。若距离数据符合预设告警条件，且障碍物体携带的障碍物体类型为可移动障碍物体，对障碍物体进行检测，基于检测结果生成规避提醒信息，采用语音播放系统播放规避提醒信息，以便用户依据规避提醒信息可无障碍行走，实现用户不需直接用眼去查看，即可安全导航到目标位置。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于计算机视觉的导航装置，该基于计算机视觉的导航装置与上述实施例中基于计算机视觉的导航方法一一对应。如图8所示，该基于计算机视觉的导航装置包括导航请求信息获取模块801、第一目标路线获取模块802、当前识别结果获取模块803、距离数据获取模块804和规避提醒信息获取模块805。各功能模块详细说明如下：
导航请求信息获取模块801，用于获取导航请求信息，导航请求信息包含起点位置和终点位置。
第一目标路线获取模块802，用于根据起点位置和终点位置进行路线规划，获取第一目标路线，采用语音播放系统播放与第一目标路线相对应的导航语音数据。
当前识别结果获取模块803，用于获取第一目标路线对应的路况实时视频，从路况实时视频中提取待识别图像，对待识别图像进行预处理，获取目标识别图像，采用目标障碍识别模型对目标识别图像进行识别，获取当前识别结果。
距离数据获取模块804，用于若当前识别结果为存在障碍物体，则采用计算机视觉工具对障碍物体进行双目测距，确定用户当前位置与障碍物体的距离数据。
规避提醒信息获取模块805，用于根据距离数据与预设告警条件，获取对应的规避提醒信息，采用语音播放系统播放规避提醒信息。
进一步地，导航请求信息获取模块801，包括：位置输入提醒数据播放单元、目标文字获取单元、语音合成单元和位置确认信息接收单元。
位置输入提醒数据播放单元，用于采用语音播放系统播放位置输入提醒数据，接收语音采集系统基于位置提醒数据输入的待识别语音数据。
目标文字获取单元，用于采用语音识别模型对待识别语音数据进行识别，获取目标文字。
语音合成单元，用于采用语音合成技术对目标文字进行语音合成，获取与目标文字相对应的待确认语音数据。
位置确认信息接收单元，用于采用语音播放系统播放待确认语音数据，接收客户端发送的位置确认信息，基于目标文字和位置确认信息，确定导航请求信息。
进一步地，当前识别结果获取模块803，包括：待处理图像获取单元、路况识别图像获取单元和目标识别图像获取单元。
待处理图像获取单元，用于对待识别图像进行灰度化和二值化处理，获取待处理图像。
路况识别图像获取单元，用于采用边缘检测算法和直线检测算法对待处理图像进行处理，获取路况识别图像。
目标识别图像获取单元，用于采用阈值选取方法对路况识别图像进行障碍物体与背景进行分割，获取目标识别图像。
进一步地，目标识别图像包括左目识别图像和右目识别图像，距离数据获取模块804，包括：参数数据获取单元、图像校正单元、视差图获取单元和距离数据确定单元。
参数数据获取单元，用于采用张正友标定法进行标定，获得双目摄像头的参数数据。
图像校正单元，用于基于参数数据对左目识别图像和右目识别图像进行图像校正，获取左目校正图像和右目校正图像。
视差图获取单元，用于采用立体匹配算法对左目校正图像和右目校正图像进行立体匹配，获取视差图。
距离数据确定单元，用于基于视差图确定用户当前位置与障碍物体的距离数据。
进一步地，在当前识别结果获取模块803之前，基于计算机视觉的导航装置还包括：训练图像和测试图像获取单元、原始障碍识别模型获取单元、识别准确率获取单元和目标障碍识别模型确定单元。
训练图像和测试图像获取单元，用于获取训练图像和测试图像，训练图像和测试图像携带有障碍物体类型和障碍物体标签。
原始障碍识别模型获取单元，用于将训练图像输入到神经网络模型中进行训练，获取原始障碍识别模型。
识别准确率获取单元，用于将测试图像输入到原始障碍识别模型中，获取原始障碍识别模型输出的识别准确率。
目标障碍识别模型确定单元，用于若识别准确率大于预设准确阈值，则将原始障碍识别模型确定为目标障碍识别模型。
进一步地，障碍物体还携带有障碍物体类型；规避提醒信息获取模块805，包括：第一判断单元和第二判断单元。
第一判断单元，用于若距离数据符合预设告警条件，且障碍物体携带的障碍物体类型为固定障碍物体，基于用户当前位置和终点位置，采用遗传算法进行路径规划，获取第二目标路线，将第二目标路线作为规避提醒信息，采用语音播放系统播放规避提醒信息。
第二判断单元，用于若距离数据符合预设告警条件，且障碍物体携带的障碍物体类型为可移动障碍物体，对障碍物体进行检测，基于检测结果生成规避提醒信息，采用语音播放系统播放规避提醒信息。
关于基于计算机视觉的导航装置的具体限定可以参见上文中对于基于计算机视觉的导航方法的限定，在此不再赘述。上述基于计算机视觉的导航装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储规避提醒信息。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于计算机视觉的导航方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于计算机视觉的导航方法的步骤，例如图2所示的步骤S201-S205，或者图3至图7中所示的步骤，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现基于计算机视觉的导航装置这一实施例中的各模块/单元的功能，例如图8所示的包括导航请求信息获取模块801、第一目标路线获取模块802、当前识别结果获取模块803、距离数据获取模块804和规避提醒信息获取模块805的功能，为避免重复，这里不再赘述。
在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中基于计算机视觉的导航方法的步骤，例如图2所示的步骤S201-S205，或者图3至图7中所示的步骤，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现基于计算机视觉的导航装置这一实施例中的各模块/单元的功能，例如图8所示的包括导航请求信息获取模块801、第一目标路线获取模块802、当前识别结果获取模块803、距离数据获取模块804和规避提醒信息获取模块805的功能，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于计算机视觉的导航方法，其特征在于，包括：
获取导航请求信息，所述导航请求信息包含起点位置和终点位置；
根据所述起点位置和所述终点位置进行路线规划，获取第一目标路线，采用语音播放系统播放与所述第一目标路线相对应的导航语音数据；
获取所述第一目标路线对应的路况实时视频，从所述路况实时视频中提取待识别图像，对所述待识别图像进行预处理，获取目标识别图像，采用目标障碍识别模型对所述目标识别图像进行识别，获取当前识别结果；
若所述当前识别结果为存在障碍物体，则采用计算机视觉工具对所述障碍物体进行双目测距，确定用户当前位置与所述障碍物体的距离数据；
根据所述距离数据与预设告警条件，获取对应的规避提醒信息，采用所述语音播放系统播放所述规避提醒信息。
2.如权利要求1所述的基于计算机视觉的导航方法，其特征在于，所述获取导航请求信息，包括：
采用语音播放系统播放位置输入提醒数据，接收语音采集系统基于所述位置提醒数据输入的待识别语音数据；
采用语音识别模型对所述待识别语音数据进行识别，获取目标文字；
采用语音合成技术对所述目标文字进行语音合成，获取与所述目标文字相对应的待确认语音数据；
采用所述语音播放系统播放所述待确认语音数据，接收客户端发送的位置确认信息，基于所述目标文字和所述位置确认信息，确定导航请求信息。
3.如权利要求1所述的基于计算机视觉的导航方法，其特征在于，所述对所述待识别图像进行预处理，获取目标识别图像，包括：
对所述待识别图像进行灰度化和二值化处理，获取待处理图像；
采用边缘检测算法和直线检测算法对所述待处理图像进行处理，获取路况识别图像；
采用阈值选取方法对所述路况识别图像进行障碍物体与背景进行分割，获取目标识别图像。
4.如权利要求1所述的基于计算机视觉的导航方法，其特征在于，所述目标识别图像包括左目识别图像和右目识别图像，
所述采用计算机视觉工具对所述障碍物体进行双目测距，确定用户当前位置与所述障碍物体的距离数据，包括：
采用张正友标定法进行标定，获得双目摄像头的参数数据；
基于所述参数数据对所述左目识别图像和所述右目识别图像进行图像校正，获取左目校正图像和右目校正图像；
采用立体匹配算法对所述左目校正图像和右目校正图像进行立体匹配，获取视差图；
基于所述视差图确定用户当前位置与所述障碍物体的距离数据。
5.如权利要求1所述的基于计算机视觉的导航方法，其特征在于，在所述采用目标障碍识别模型对所述目标识别图像进行识别，获取当前识别结果之前，所述基于计算机视觉的导航方法还包括：
获取训练图像和测试图像，所述训练图像和所述测试图像携带有障碍物体类型和障碍物体标签；
将所述训练图像输入到神经网络模型中进行训练，获取原始障碍识别模型；
将所述测试图像输入到所述原始障碍识别模型中，获取所述原始障碍识别模型输出的识别准确率；
若所述识别准确率大于预设准确阈值，则将原始障碍识别模型确定为目标障碍识别模型。
6.如权利要求1所述的基于计算机视觉的导航方法，其特征在于，所述障碍物体还携带有障碍物体类型；
所述根据所述距离数据与预设告警条件，获取对应的规避提醒信息，采用所述语音播放系统播放所述规避提醒信息，包括：
若所述距离数据符合所述预设告警条件，且所述障碍物体携带的所述障碍物体类型为固定障碍物体，基于所述用户当前位置和所述终点位置，采用遗传算法进行路径规划，获取第二目标路线，将所述第二目标路线作为规避提醒信息，采用所述语音播放系统播放所述规避提醒信息；
若所述距离数据符合所述预设告警条件，且所述障碍物体携带的所述障碍物体类型为可移动障碍物体，对所述障碍物体进行检测，基于检测结果生成规避提醒信息，采用所述语音播放系统播放所述规避提醒信息。
7.一种基于计算机视觉的导航装置，其特征在于，包括：
导航请求信息获取模块，用于获取导航请求信息，所述导航请求信息包含起点位置和终点位置；
第一目标路线获取模块，用于根据所述起点位置和所述终点位置进行路线规划，获取第一目标路线，采用语音播放系统播放与所述第一目标路线相对应的导航语音数据；
当前识别结果获取模块，用于获取所述第一目标路线对应的路况实时视频，从所述路况实时视频中提取待识别图像，对所述待识别图像进行预处理，获取目标识别图像，采用目标障碍识别模型对所述目标识别图像进行识别，获取当前识别结果；
距离数据获取模块，用于若所述当前识别结果为存在障碍物体，则采用计算机视觉工具对所述障碍物体进行双目测距，确定用户当前位置与所述障碍物体的距离数据；
规避提醒信息获取模块，用于根据所述距离数据与预设告警条件，获取对应的规避提醒信息，采用所述语音播放系统播放所述规避提醒信息。
8.如权利要求7所述的基于计算机视觉的导航装置，其特征在于，导航请求信息获取模块，包括：
位置输入提醒数据播放单元，用于采用语音播放系统播放位置输入提醒数据，接收语音采集系统基于所述位置提醒数据输入的待识别语音数据；
目标文字获取单元，用于采用语音识别模型对所述待识别语音数据进行识别，获取目标文字；
语音合成单元，用于采用语音合成技术对所述目标文字进行语音合成，获取与所述目标文字相对应的待确认语音数据；
位置确认信息接收单元，用于采用所述语音播放系统播放所述待确认语音数据，接收客户端发送的位置确认信息，基于所述目标文字和所述位置确认信息，确定导航请求信息。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于计算机视觉的导航方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于计算机视觉的导航方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911356786.XA CN111060074A (zh) | 2019-12-25 | 2019-12-25 | 基于计算机视觉的导航方法、装置、计算机设备及介质 |
| PCT/CN2020/105015 WO2021128834A1 (zh) | 2019-12-25 | 2020-07-28 | 基于计算机视觉的导航方法、装置、计算机设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911356786.XA CN111060074A (zh) | 2019-12-25 | 2019-12-25 | 基于计算机视觉的导航方法、装置、计算机设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111060074A true CN111060074A (zh) | 2020-04-24 |
Family
ID=70303426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911356786.XA Pending CN111060074A (zh) | 2019-12-25 | 2019-12-25 | 基于计算机视觉的导航方法、装置、计算机设备及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111060074A (zh) |
| WO (1) | WO2021128834A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932792A (zh) * | 2020-08-14 | 2020-11-13 | 广州众悦科技有限公司 | 一种可移动的数据化存储机构 |
| CN112083908A (zh) * | 2020-07-29 | 2020-12-15 | 联想(北京)有限公司 | 一种模拟物体相对移动方向的方法和音频输出装置 |
| CN112902987A (zh) * | 2021-02-02 | 2021-06-04 | 北京三快在线科技有限公司 | 一种位姿修正的方法及装置 |
| WO2021128834A1 (zh) * | 2019-12-25 | 2021-07-01 | 深圳壹账通智能科技有限公司 | 基于计算机视觉的导航方法、装置、计算机设备及介质 |
| CN113419257A (zh) * | 2021-06-29 | 2021-09-21 | 深圳市路卓科技有限公司 | 定位校准方法、装置、终端设备、存储介质及程序产品 |
| CN113687810A (zh) * | 2021-05-25 | 2021-11-23 | 青岛海尔科技有限公司 | 语音导航方法和装置、存储介质及电子设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102389361A (zh) * | 2011-07-18 | 2012-03-28 | 浙江大学 | 一种基于计算机视觉的盲人户外支援系统 |
| CN102973395A (zh) * | 2012-11-30 | 2013-03-20 | 中国舰船研究设计中心 | 一种多功能智能导盲方法、处理器及其装置 |
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| CN105105992A (zh) * | 2015-09-11 | 2015-12-02 | 广州杰赛科技股份有限公司 | 一种障碍物检测方法、装置及智能手表 |
| CN106871906A (zh) * | 2017-03-03 | 2017-06-20 | 西南大学 | 一种盲人导航方法、装置及终端设备 |
| KR20180097962A (ko) * | 2017-02-24 | 2018-09-03 | 전자부품연구원 | 영상 분석 기반 상황 판단형 가이드 장치 및 방법 |
| CN108618356A (zh) * | 2018-07-05 | 2018-10-09 | 上海草家物联网科技有限公司 | 一种具有障碍物提醒功能的智能书包及其管理系统 |
| CN108743266A (zh) * | 2018-06-29 | 2018-11-06 | 合肥思博特软件开发有限公司 | 一种盲人智能导航避障出行辅助方法及系统 |
| CN108844545A (zh) * | 2018-06-29 | 2018-11-20 | 合肥信亚达智能科技有限公司 | 一种基于图像识别的辅助出行方法及系统 |
| CN109029452A (zh) * | 2018-07-10 | 2018-12-18 | 深圳先进技术研究院 | 可穿戴导航设备及导航方法 |
| CN109059920A (zh) * | 2018-06-29 | 2018-12-21 | 合肥信亚达智能科技有限公司 | 一种盲人交通出行安全监控智能导航方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI538668B (zh) * | 2012-03-27 | 2016-06-21 | 鴻海精密工業股份有限公司 | 電子導盲裝置 |
| CN111060074A (zh) * | 2019-12-25 | 2020-04-24 | 深圳壹账通智能科技有限公司 | 基于计算机视觉的导航方法、装置、计算机设备及介质 |
-
2019
- 2019-12-25 CN CN201911356786.XA patent/CN111060074A/zh active Pending
-
2020
- 2020-07-28 WO PCT/CN2020/105015 patent/WO2021128834A1/zh active Application Filing
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102389361A (zh) * | 2011-07-18 | 2012-03-28 | 浙江大学 | 一种基于计算机视觉的盲人户外支援系统 |
| CN102973395A (zh) * | 2012-11-30 | 2013-03-20 | 中国舰船研究设计中心 | 一种多功能智能导盲方法、处理器及其装置 |
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| CN105105992A (zh) * | 2015-09-11 | 2015-12-02 | 广州杰赛科技股份有限公司 | 一种障碍物检测方法、装置及智能手表 |
| KR20180097962A (ko) * | 2017-02-24 | 2018-09-03 | 전자부품연구원 | 영상 분석 기반 상황 판단형 가이드 장치 및 방법 |
| CN106871906A (zh) * | 2017-03-03 | 2017-06-20 | 西南大学 | 一种盲人导航方法、装置及终端设备 |
| CN108743266A (zh) * | 2018-06-29 | 2018-11-06 | 合肥思博特软件开发有限公司 | 一种盲人智能导航避障出行辅助方法及系统 |
| CN108844545A (zh) * | 2018-06-29 | 2018-11-20 | 合肥信亚达智能科技有限公司 | 一种基于图像识别的辅助出行方法及系统 |
| CN109059920A (zh) * | 2018-06-29 | 2018-12-21 | 合肥信亚达智能科技有限公司 | 一种盲人交通出行安全监控智能导航方法及系统 |
| CN108618356A (zh) * | 2018-07-05 | 2018-10-09 | 上海草家物联网科技有限公司 | 一种具有障碍物提醒功能的智能书包及其管理系统 |
| CN109029452A (zh) * | 2018-07-10 | 2018-12-18 | 深圳先进技术研究院 | 可穿戴导航设备及导航方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021128834A1 (zh) * | 2019-12-25 | 2021-07-01 | 深圳壹账通智能科技有限公司 | 基于计算机视觉的导航方法、装置、计算机设备及介质 |
| CN112083908A (zh) * | 2020-07-29 | 2020-12-15 | 联想(北京)有限公司 | 一种模拟物体相对移动方向的方法和音频输出装置 |
| CN111932792A (zh) * | 2020-08-14 | 2020-11-13 | 广州众悦科技有限公司 | 一种可移动的数据化存储机构 |
| CN112902987A (zh) * | 2021-02-02 | 2021-06-04 | 北京三快在线科技有限公司 | 一种位姿修正的方法及装置 |
| CN113687810A (zh) * | 2021-05-25 | 2021-11-23 | 青岛海尔科技有限公司 | 语音导航方法和装置、存储介质及电子设备 |
| CN113419257A (zh) * | 2021-06-29 | 2021-09-21 | 深圳市路卓科技有限公司 | 定位校准方法、装置、终端设备、存储介质及程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021128834A1 (zh) | 2021-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111060074A (zh) | 基于计算机视觉的导航方法、装置、计算机设备及介质 | |
| US11727593B1 (en) | Automated data capture | |
| WO2022083402A1 (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
| KR102210715B1 (ko) | 도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기 | |
| CN108362295B (zh) | 车辆路径引导设备和方法 | |
| CN106503653B (zh) | 区域标注方法、装置和电子设备 | |
| CN112419494B (zh) | 用于自动驾驶的障碍物检测、标记方法、设备及存储介质 | |
| CN110530372B (zh) | 定位方法、路径确定方法、装置、机器人及存储介质 | |
| CN108388641B (zh) | 一种基于深度学习的交通设施地图生成方法与系统 | |
| CN108764187A (zh) | 提取车道线的方法、装置、设备、存储介质以及采集实体 | |
| Peng et al. | A smartphone-based obstacle sensor for the visually impaired | |
| EP3147884B1 (en) | Traffic-light recognition device and traffic-light recognition method | |
| JP2016029564A (ja) | 対象検出方法及び対象検出装置 | |
| KR20200060194A (ko) | 차선들의 깊이값을 예측하는 방법, 3차원 차선들을 출력하는 방법 및 그 장치 | |
| US20170003132A1 (en) | Method of constructing street guidance information database, and street guidance apparatus and method using street guidance information database | |
| CN112949366B (zh) | 障碍物识别方法和装置 | |
| KR102441075B1 (ko) | 노면표시기반 차량의 위치추정 방법 및 장치 | |
| EP2720193A2 (en) | Method and system for detecting uneven road surface | |
| US20200125860A1 (en) | Method and apparatus for determining driving information | |
| JP2018048949A (ja) | 物体識別装置 | |
| CN112232275A (zh) | 基于双目识别的障碍物检测方法、系统、设备及存储介质 | |
| CN114743178B (zh) | 道路边缘线生成方法、装置、设备及存储介质 | |
| CN114998856A (zh) | 一种多相机图像的3d目标检测方法、装置、设备及介质 | |
| Gundewar et al. | A review on an obstacle detection in navigation of visually impaired | |
| KR20180068483A (ko) | 도로표지판의 위치정보 데이터베이스 구축 시스템 및 그 방법과 이를 이용한 차량의 위치 추정 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200424 |