CN110243357A - 一种无人机定位方法、装置、无人机及存储介质 - Google Patents
一种无人机定位方法、装置、无人机及存储介质 Download PDFInfo
- Publication number
- CN110243357A CN110243357A CN201810187930.0A CN201810187930A CN110243357A CN 110243357 A CN110243357 A CN 110243357A CN 201810187930 A CN201810187930 A CN 201810187930A CN 110243357 A CN110243357 A CN 110243357A
- Authority
- CN
- China
- Prior art keywords
- lane line
- unmanned plane
- line region
- road image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
Abstract
本发明实施例提供了一种无人机定位方法、装置、无人机及存储介质，无人机设置有摄像机，方法包括：获得所述摄像机采集的道路图像、所述无人机的飞行高度以及所述摄像机的姿态信息，其中，所述道路图像中包含车道线区域；确定所述道路图像中的目标车道线区域；根据所述飞行高度、所述姿态信息和所述目标车道线区域，计算所述无人机与所述目标车道线区域表征的车道线之间的相对距离。应用本发明实施例提供的技术方案，可以降低GPS信号漂移在无人机定位中的影响，提高无人机的定位精度。
Description
技术领域
本发明涉及无人机自动驾驶技术领域，特别是涉及一种无人机定位方法、装置、无人机及存储介质。
背景技术
近年来，无人机在城市的应用越来越广泛，例如，环境检测、新闻报道、农林植保等领域均有无人机的参与，无人机在执行任务的过程中，通常需要采用无人机定位方法进行定位，以获取自身的位置信息，位置信息可以是绝对位置信息，也可以相对某一参照物的相对位置信息。
目前，无人机定位方法主要为：获取携带无人机位置信息的GPS(GlobalPositioning System，全球定位系统)信号，通过解析GPS(Global Positioning System，全球定位系统)信号，来获取无人机在世界坐标系下的绝对位置信息，完成无人机的定位。
现有方法的缺点是：由于城市中的高楼较多，当无人机在城市中飞行时，GPS信号容易被高楼遮挡，使得GPS信号在传输过程中容易产生多径效应，也就是说，无人机获取的GPS信号可能已经发生漂移，故造成无人机的定位精度不高，因此，亟需一种可以无人机定位的方法，来提高无人机的定位精度。
发明内容
本发明实施例的目的在于提供一种无人机定位方法、装置、无人机及存储介质，以降低GPS信号漂移在无人机定位中的影响。具体技术方案如下：
第一方面，本发明实施例提供了一种无人机定位方法，无人机设置有摄像机，所述方法包括：
获得所述摄像机采集的道路图像、所述无人机的飞行高度以及所述摄像机的姿态信息，其中，所述道路图像中包含车道线区域；
确定所述道路图像中的目标车道线区域；
根据所述飞行高度、所述姿态信息和所述目标车道线区域，计算所述无人机与所述目标车道线区域表征的车道线之间的相对距离。
可选的，所述确定所述道路图像中的目标车道线区域，包括：
识别所述道路图像中的车道线区域；
在识别出的车道线区域为一个时，将识别出的车道线区域确定为所述目标车道线区域；
在识别出的车道线区域为多个时，将识别出的车道线区域中置信度最高的车道线区域确定为目标车道线区域，其中，所述置信度表示车道线区域能够用于表征车道线的可信程度。
可选的，所述识别所述道路图像中的车道线区域，包括：
对所述道路图像进行边缘检测，得到边缘检测结果；
对所述边缘检测结果进行直线检测，得到所述道路图像中的车道线区域。
可选的，在所述对所述道路图像进行边缘检测，得到边缘检测结果之前，所述方法还包括：
对所述道路图像进行滤波处理；
所述对所述道路图像进行边缘检测，得到边缘检测结果，包括：
对滤波处理后的道路图像进行边缘检测，得到边缘检测结果。
可选的，所述根据所述飞行高度、所述姿态信息和所述目标车道线区域，计算所述无人机与所述目标车道线区域表征的车道线之间的相对距离，包括：
从所述目标车道线区域中选择至少两个像素点，作为目标像素点；
利用所述飞行高度和所述姿态信息，对各个目标像素点进行坐标系转换，获得各个目标像素点在世界坐标系下的坐标，其中，所述世界坐标系的坐标原点为：所述无人机的位置；
计算所述坐标原点到目标直线的距离，作为所述无人机与所述目标车道线区域表征的车道线之间的相对距离，其中，所述目标直线为：由所获得的各个坐标确定的直线。
可选的，所述飞行高度、所述姿态信息以及所述坐标原点分别为：所述摄像机采集所述道路图像时，所述无人机的飞行高度、所述摄像机的姿态信息以及所述无人机的位置。
可选的，所述利用所述飞行高度和所述姿态信息，对各个目标像素点进行坐标系转换，获得各个目标像素点在世界坐标系下的坐标，包括：
利用所述姿态信息，确定旋转矩阵；并利用以下公式，获得各个目标像素点在世界坐标系下的坐标：
其中，xc、yc、zc分别表示任一目标像素点在摄像机坐标系下x、y、z坐标轴上的坐标分量，表示所述旋转矩阵，xw、yw分别表示所述任一目标像素点在世界坐标系下x、y坐标轴上的坐标分量，所述h表示所述飞行高度。
第二方面，本发明实施例提供了一种无人机定位装置，无人机设置有摄像机，所述装置包括：
获得模块，用于获得所述摄像机采集的道路图像、所述无人机的飞行高度以及所述摄像机的姿态信息，其中，所述道路图像中包含车道线区域；
确定模块，用于确定所述道路图像中的目标车道线区域；
计算模块，用于根据所述飞行高度、所述姿态信息和所述目标车道线区域，计算所述无人机与所述目标车道线区域表征的车道线之间的相对距离。
可选的，所述确定模块，包括：
识别子模块，用于识别所述道路图像中的车道线区域；
第一确定子模块，用于在识别出的车道线区域为一个时，将识别出的车道线区域确定为所述目标车道线区域；
第二确定子模块，用于在识别出的车道线区域为多个时，将识别出的车道线区域中置信度最高的车道线区域确定为目标车道线区域，其中，所述置信度表示车道线区域能够用于表征车道线的可信程度。
可选的，所述识别子模块，包括：
边缘检测单元，用于对所述道路图像进行边缘检测，得到边缘检测结果；
直线检测单元，用于对所述边缘检测结果进行直线检测，得到所述道路图像中的车道线区域。
可选的，其特征在于，所述装置还包括：
滤波单元，用于在对所述道路图像进行边缘检测，得到边缘检测结果之前，对所述道路图像进行滤波处理；
所述边缘检测单元，具体用于：
对滤波处理后的道路图像进行边缘检测，得到边缘检测结果。
可选的，所述计算模块，包括：
选择子模块，用于从所述目标车道线区域中选择至少两个像素点，作为目标像素点；
转换子模块，用于利用所述飞行高度和所述姿态信息，对各个目标像素点进行坐标系转换，获得各个目标像素点在世界坐标系下的坐标，其中，所述世界坐标系的坐标原点为：所述无人机的位置；
计算子模块，用于计算所述坐标原点到目标直线的距离，作为所述无人机与所述目标车道线区域表征的车道线之间的相对距离，其中，所述目标直线为：由所获得的各个坐标确定的直线。
可选的，所述飞行高度、所述姿态信息以及所述坐标原点分别为：所述摄像机采集所述道路图像时，所述无人机的飞行高度、所述摄像机的姿态信息以及所述无人机的位置。
可选的，所述转换子模块，具体用于：
利用所述姿态信息，确定旋转矩阵；并利用以下公式，获得各个目标像素点在世界坐标系下的坐标：
其中，xc、yc、zc分别表示任一目标像素点在摄像机坐标系下x、y、z坐标轴上的坐标分量，表示所述旋转矩阵，xw、yw分别表示所述任一目标像素点在世界坐标系下x、y坐标轴上的坐标分量，所述h表示所述飞行高度。
第三方面，本发明实施例提供了一种无人机，包括处理器、存储器，其中，
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的无人机定位方法的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的无人机定位方法的方法步骤。
应用本发明实施例提供的方案，无人机通过其所设置的摄像机采集道路图像，并确定出道路图像中的目标车道线区域，然后根据无人机的飞行高度、姿态信息和目标车道线区域，计算出无人机与目标车道线区域表征的车道线之间的相对距离，进而利用计算出的相对距离对无人机进行定位，在定位过程中，无需利用无人机的GPS信号，从而避免了无人机在飞行过程中由于GPS信号被高楼等障碍物遮挡，导致的多径效应，进而提高了无人机的定位精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的无人机定位方法的一种流程示意图；
图2为本发明实施例提供的无人机定位方法的一种应用场景图；
图3为本发明实施例提供的无人机定位方法的另一种流程示意图；
图4为本发明实施例提供的无人机定位装置的一种结构示意图；
图5为本发明实施例提供的一种无人机的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为提高无人机的定位精度，本发明实施例提供了一种无人机定位方法、装置、无人机及计算机可读存储介质。
一种实现方式中，无人机设置有摄像机，上述无人机定位方法，包括：首先，获得所述摄像机采集的道路图像、无人机的飞行高度以及摄像机的姿态信息；然后，确定道路图像中的目标车道线区域；最后，根据飞行高度、姿态信息和目标车道线区域，计算无人机与目标车道线区域表征的车道线之间的相对距离。
应用本发明实施例提供的方案，无人机通过其所设置的摄像机采集道路图像，并确定出道路图像中的目标车道线区域，然后根据无人机的飞行高度、姿态信息和目标车道线区域，计算出无人机与目标车道线区域表征的车道线之间的相对距离，进而利用计算出的相对距离对无人机进行定位，在定位过程中，无需利用无人机的GPS信号，从而避免了无人机在飞行过程中由于GPS信号被高楼等障碍物遮挡，导致的多径效应，进而提高了无人机的定位精度。
下面对本发明实施例提供的一种无人机定位方法进行详细介绍。
需要说明的是，本发明实施例所提供的一种无人机定位方法可以应用于无人机。另外，实现本发明实施例所提供的一种无人机定位方法的功能软件可以为专门的无人机定位软件，也可以为现有无人机定位软件或其他具有无人机定位功能的软件中的插件。
参见图1，本发明实施例提供了一种无人机定位方法，无人机设置有摄像机，包括如下步骤：
S101，获得摄像机采集的道路图像、无人机的飞行高度以及摄像机的姿态信息，其中，道路图像中包含车道线区域。
摄像机可以安装于无人机的下方或者前方，当无人机在空中飞行或悬停时，摄像机可以实时采集道路图像，进而，无人机可以获得道路图像。
无人机还可以安装测距设备，测距设备可以实时检测无人机的飞行高度，飞行高度可以是无人机距离地面的高度。
无人机还可以安装姿态检测设备，当摄像机固定安装于无人机时，姿态检测设备可以实时检测无人机的姿态信息，由于摄像机固定安装于无人机，因此，设计人员可以事先测量摄像机与无人机之间的相对姿态信息，并将测量所得的相对姿态信息存储于无人机，从而，无人机可以利用检测所得的无人机的姿态信息以及预先存储的相对姿态信息，计算摄像机的姿态信息。
具体的，姿态信息可以包括：俯仰角、航向角和翻滚角，假设检测所得的无人机的俯仰角、航向角和翻滚角分别为：ψ1和θ1，相对姿态信息分别为：ψ2和θ2，则摄像机的俯仰角航向角ψ3和翻滚角θ3可以分别为：与之和、ψ1与ψ2之和、θ1与θ2之和。
本发明实施例对具体的求和方式不做限定。例如，可以直接利用以下表达式进行计算：ψ3＝ψ1+ψ2，θ3＝θ1+θ2，还可以通过以下方式：利用ψ1和θ1得到旋转矩阵R1，利用ψ2和θ2得到旋转矩阵R2，将R1与R2相乘，得到R3；利用R3得到摄像机的俯仰角航向角ψ3和翻滚角θ3。
其中，姿态信息与旋转矩阵之间满足以下关系：
其中，表示俯仰角，ψ表示航向角，θ表示翻滚角，R表示由ψ和θ所得的旋转矩阵。
另外，当摄像机非固定安装于无人机时，也就是，摄像机与无人机之间的相对姿态信息可以发生变化，这种情况下，姿态检测设备可以实时检测摄像机的姿态信息，从而无人机可以获得摄像机的姿态信息。
故，对于摄像机在每一时刻采集的道路图像，无人机均可以获得处于该时刻的无人机的飞行高度以及摄像机的姿态信息。
需要说明的是，本发明实施例中所述的飞行高度和姿态信息，可以为摄像机采集上述道路图像时确定的无人机的飞行高度和摄像机的姿态信息，也可以为摄像机采集上述道路图像之前确定的无人机的飞行高度和摄像机的姿态信息，或者摄像机采集上述道路图像之后确定的无人机的飞行高度和摄像机的姿态信息，本发明实施例对此不做限定。
S102，确定道路图像中的目标车道线区域。
可以理解的，道路图像中的车道线区域可能不止一个，若道路图像中只有一个车道线区域，则可以直接将该车道线区域作为目标车道线区域，若道路图像中有多个车道线区域，则可以随机选择任一条作为目标车道线区域，也可以按照预设规则从多个车道线区域中选择一条作为目标车道线区域。
在一种实现方式中，可以按照以下方式来确定道路图像中的目标车道线区域，首先识别道路图像中的车道线区域，在识别出的车道线区域为一个时，将识别出的车道线区域确定为目标车道线区域，在识别出的车道线区域为多个时，将识别出的车道线区域中置信度最高的车道线区域确定为目标车道线区域，其中，置信度表示车道线区域能够用于表征车道线的可信程度。
具体的，在进行车道线区域识别时，可以根据识别结果给每一车道线区域赋予一个置信度，在识别出所有车道线区域后，将置信度最高的车道线区域确定为目标车道线区域。可以理解的，将置信度最高的车道线区域作为目标车道线区域，可以提高无人机定位的准确度。
在一种具体的实现方式中，识别道路图像中的车道线区域，可以包括以下步骤：
步骤A1，对道路图像进行边缘检测，得到边缘检测结果；
步骤A2，对边缘检测结果进行直线检测，得到道路图像中的车道线区域。
具体的，可以采用Canny边缘检测算法，对道路图像进行边缘检测，另外，还可以采用其他边缘检测算法对道路图像进行边缘检测，例如，Sobel边缘检测算法、Laplace边缘检测算法等等。本发明实施例对具体采用的边缘检测算法不做限定。
一种实现方式中，可以采用直线检测算法对边缘检测结果进行直线检测。本发明实施例对具体采用的直线检测算法不做限定，例如，可以为霍夫变换(Hought Transform)直线检测算法。
为了消除图像中的噪声，提高车道线区域的识别准确度，在一种具体的实施方式中，在对道路图像进行边缘检测，得到边缘检测结果(步骤A1)之前，方法还可以包括：
步骤B1，对道路图像进行滤波处理；
相应的，步骤A1对道路图像进行边缘检测，得到边缘检测结果，可以为：
对滤波处理后的道路图像进行边缘检测，得到边缘检测结果。
由于摄像机采集的道路图像可能存在噪声干扰，因此，在对道路图像进行边缘检测之前，对道路图像进行滤波处理，可以减少道路图像中不必要的噪声干扰，提高道路图像的清晰度。
本发明实施例对滤波处理的实现方式不做限定，例如，可以采用中值滤波、线性滤波等滤波算法中的一种或组合，对道路图像进行滤波处理。
可见，应用本发明实施例，对道路图像进行滤波处理后，可以去除道路图像中的噪声，能够较佳的保留道路图像边缘信息，有助于对边缘检测结果进行直线检测，提高了确定出道路图像中车道线区域的准确度。
识别出的车道线区域的数量可以为一个，也可以为多个，本发明实施例对识别出的车道线区域的数量不做限定。
S103，根据飞行高度、姿态信息和目标车道线区域，计算无人机与目标车道线区域表征的车道线之间的相对距离。
可以理解的，无人机与目标车道线区域表征的车道线之间的相对距离，与无人机的飞行高度有关，另外，还与无人机与目标车道线区域表征的车道线之间的水平距离有关。由于目标车道线区域是由摄像机所采集的道路图像确定的，而摄像机的姿态不同会导致所采集的道路图像不同，进而导致目标车道线区域不同，因此，无人机与目标车道线区域所表征的车道线之间的水平距离与摄像机的姿态信息有关。鉴于此，根据无人机的飞行高度、摄像机的姿态信息和目标车道线区域，可以计算出无人机与目标车道线区域表征的车道线之间的相对距离。
在一种实现方式中，根据飞行高度、姿态信息和目标车道线区域，计算无人机与目标车道线区域表征的车道线之间的相对距离，可以包括以下步骤：
步骤C1，从目标车道线区域中选择至少两个像素点，作为目标像素点。
另外，本发明实施例对具体的选择像素点的方式不做限定，如可以从目标车道线区域中随机选择至少两个像素点，作为目标像素点；或者，每隔预设数量个像素点，从目标车道线区域中选择至少两个像素点，作为目标像素点。预设数量可以根据需求事先设定。
步骤C2，利用飞行高度和姿态信息，对各个目标像素点进行坐标系转换，获得各个目标像素点在世界坐标系下的坐标，其中，世界坐标系的坐标原点为：无人机的位置。
在一种实现方式中，飞行高度、姿态信息以及坐标原点分别可以为：摄像机采集该道路图像时，无人机的飞行高度、摄像机的姿态信息以及无人机的位置。这样，所计算的无人机与目标车道线区域表征的车道线之间的相对距离即为实时的相对距离，从而使无人机定位的结果更加准确。
在一种具体的实施方式中，利用飞行高度和姿态信息，对各个目标像素点进行坐标系转换，可以为：
利用姿态信息，确定旋转矩阵；并利用以下公式，获得各个目标像素点在世界坐标系下的坐标：
其中，xc、yc、zc分别表示任一目标像素点在摄像机坐标系下x、y、z坐标轴上的坐标分量，表示所述旋转矩阵，xw、yw分别表示所述任一目标像素点在世界坐标系下x、y坐标轴上的坐标分量，所述h表示所述飞行高度。
理论上，在获得目标像素点后，可以直接得到目标像素点在图像坐标系下的坐标，进而，可以通过以下方式获得目标像素点在摄像机坐标系下的坐标：
第一步，利用公式(1)，将目标像素点在图像坐标系下的坐标转换至成像平面坐标系；
其中，目标像素点在图像坐标系下的坐标为(u，v)，dx和dy为摄像机的固有参数，分别表示道路图像中每个像素点在x轴和y轴方向上的物理尺寸，(u0，v0)表示成像平面坐标系的坐标原点，具体可以为摄像机光轴与道路图像的成像平面的交点，(x，y)分别表示目标像素点在成像平面坐标系下的坐标。
第二步，利用公式(2)，将目标像素点在平面坐标系下的坐标转换至摄像机坐标系，得到目标像素点在摄像机坐标系下的坐标，
其中，表示目标像素点在摄像机坐标系下的归一化坐标，(x，y)分别表示目标像素点在成像平面坐标系下的坐标，f表示摄像机的焦距。
另外，一种实现方式中，还可以将第一步和第二步合并，也就是，直接将目标像素点在图像坐标系下的坐标转换至摄像机坐标系，从而得到目标像素点在摄像机坐标系下的坐标。
步骤C3，计算坐标原点到目标直线的距离，作为无人机与目标车道线区域表征的车道线之间的相对距离，其中，目标直线为：由所获得的各个坐标确定的直线。
示例性的，如图2所示，摄像机固定安装于无人机上，摄像机采集道路图像时，无人机的飞行高度为h，则无人机通过识别道路图像，可以得到车道线在道路图像中对应的目标车道线区域，并可以从目标车道线区域中选择至少两个像素点，作为目标像素点，进而，利用h和摄像机的姿态信息，对各个目标像素点进行坐标系转换，得到各个目标像素点在世界坐标系下的坐标，进一步的，可以利用各个坐标进行拟合后确定一条直线，计算坐标原点到所确定的直线的距离，作为无人机与该车道线之间的相对距离。
可以理解的是，针对目标车道线区域，对于来自于目标车道线区域的各个目标像素点，可以得到各个目标像素点在世界坐标系下的坐标，进而，可以利用各个坐标确定一条直线，作为目标车道线区域在世界坐标系下对应的直线。计算坐标原点到目标直线的距离，作为无人机与目标车道线区域表征的车道线之间的相对距离。
示例性的，目标车道线区域为A，从车道线区域A中选择的像素点包括：a、b和c，像素点a、b和c在世界坐标系下的坐标分别为：(1，1，10)、(2，3，10)和(5，5，10)，则可以利用这三个坐标通过拟合后确定出一条直线，也就是目标直线，进而，可以计算坐标原点到该目标直线的距离，作为无人机与识别出的车道线区域表征的车道线之间的相对距离。
另外，本领域技术人员可以理解的是，由已知的多个点拟合出的直线可能不止一条，即，由各个目标像素点在世界坐标系下的坐标所确定的直线可能不止一条。鉴于此，可以从所确定的直线中随机选择一条作为目标直线，也可以，在拟合得到每条直线时，确定每条直线赋予一个拟合度，该拟合度用于反映各个坐标点与所拟合得到的直线之间的拟合程度，进而，可以从所有拟合得到的直线中选择拟合度最高的直线作为目标直线。
可见，应用本发明实施例提供的方案，无人机通过其所设置的摄像机采集道路图像，并确定出道路图像中的目标车道线区域，然后根据无人机的飞行高度、姿态信息和目标车道线区域，计算出无人机与目标车道线区域表征的车道线之间的相对距离，进而利用计算出的相对距离对无人机进行定位，在定位过程中，无需利用无人机的GPS信号，从而避免了无人机在飞行过程中由于GPS信号被高楼等障碍物遮挡，导致的多径效应，进而提高了无人机的定位精度。
下面通过一个具体实例来对本发明实施例进行简单介绍。
将本发明实施例提供的无人机定位方法应用于某个无人机，则该无人机定位方法的流程图如图3所示，具体如下：
S301，获得摄像机采集的道路图像、无人机的飞行高度以及摄像机的姿态信息；
S302，对道路图像进行滤波处理，对滤波处理后的道路图像进行边缘检测，得到边缘检测结果，对边缘检测结果进行直线检测，得到道路图像中的车道线区域，并对所得的每一车道线区域赋予一个置信度；
S303，将置信度最高的车道线区域，作为目标车道线区域，并从目标车道线区域中选择至少两个像素点，作为目标像素点；
S304，利用飞行高度和姿态信息，对各个目标像素点进行坐标系转换，获得各个目标像素点在世界坐标系下的坐标，其中，世界坐标系的坐标原点为：无人机的位置；
S305，计算坐标原点到目标直线的距离，作为无人机与目标车道线区域表征的车道线之间的相对距离，其中，目标直线为：由所获得的各个坐标确定的直线。
可见，应用本发明实施例提供的方案，无人机通过其所设置的摄像机采集道路图像，并确定出道路图像中的目标车道线区域，然后根据无人机的飞行高度、姿态信息和目标车道线区域，计算出无人机与目标车道线区域表征的车道线之间的相对距离，进而利用计算出的相对距离对无人机进行定位，在定位过程中，无需利用无人机的GPS信号，从而避免了无人机在飞行过程中由于GPS信号被高楼等障碍物遮挡，导致的多径效应，进而提高了无人机的定位精度，并且可以去除道路图像中的噪声，能够较佳的保留道路图像边缘信息，有助于对边缘检测结果进行直线检测，提高了确定出道路图像中车道线区域的准确度。
相应于上述无人机定位方法实施例，本发明实施例提供了一种无人机定位装置，无人机设置有摄像机，参见图4所示，装置包括：
获得模块401，用于获得所述摄像机采集的道路图像、所述无人机的飞行高度以及所述摄像机的姿态信息，其中，所述道路图像中包含车道线区域；
确定模块402，用于确定所述道路图像中的目标车道线区域；
计算模块403，用于根据所述飞行高度、所述姿态信息和所述目标车道线区域，计算所述无人机与所述目标车道线区域表征的车道线之间的相对距离。
可见，应用本发明实施例提供的方案，无人机通过其所设置的摄像机采集道路图像，并确定出道路图像中的目标车道线区域，然后根据无人机的飞行高度、姿态信息和目标车道线区域，计算出无人机与目标车道线区域表征的车道线之间的相对距离，进而利用计算出的相对距离对无人机进行定位，在定位过程中，无需利用无人机的GPS信号，从而避免了无人机在飞行过程中由于GPS信号被高楼等障碍物遮挡，导致的多径效应，进而提高了无人机的定位精度。
可选的，所述确定模块402，可以包括：
识别子模块，用于识别所述道路图像中的车道线区域；
第一确定子模块，用于在识别出的车道线区域为一个时，将识别出的车道线区域确定为所述目标车道线区域；
第二确定子模块，用于在识别出的车道线区域为多个时，将识别出的车道线区域中置信度最高的车道线区域确定为目标车道线区域，其中，所述置信度表示车道线区域能够用于表征车道线的可信程度。
可选的，所述识别子模块，可以包括：
边缘检测单元，用于对所述道路图像进行边缘检测，得到边缘检测结果；
直线检测单元，用于对所述边缘检测结果进行直线检测，得到所述道路图像中的车道线区域。
可选的，所述装置还可以包括：
滤波单元，用于在对所述道路图像进行边缘检测，得到边缘检测结果之前，对所述道路图像进行滤波处理；
所述边缘检测单元，具体可以用于：
对滤波处理后的道路图像进行边缘检测，得到边缘检测结果。
可选的，所述计算模块403，可以包括：
选择子模块，用于从所述目标车道线区域中选择至少两个像素点，作为目标像素点；
转换子模块，用于利用所述飞行高度和所述姿态信息，对各个目标像素点进行坐标系转换，获得各个目标像素点在世界坐标系下的坐标，其中，所述世界坐标系的坐标原点为：所述无人机的位置；
计算子模块，用于计算所述坐标原点到目标直线的距离，作为所述无人机与所述目标车道线区域表征的车道线之间的相对距离，其中，所述目标直线为：由所获得的各个坐标确定的直线。
可选的，所述飞行高度、所述姿态信息以及所述坐标原点分别可以为：所述摄像机采集所述道路图像时，所述无人机的飞行高度、所述摄像机的姿态信息以及所述无人机的位置。
可选的，所述转换子模块，具体可以用于：
利用所述姿态信息，确定旋转矩阵；并利用以下公式，获得各个目标像素点在世界坐标系下的坐标：
其中，xc、yc、zc分别表示任一目标像素点在摄像机坐标系下x、y、z坐标轴上的坐标分量，表示所述旋转矩阵，xw、yw分别表示所述任一目标像素点在世界坐标系下x、y坐标轴上的坐标分量，所述h表示所述飞行高度。
本发明实施例还提供了一种无人机，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现本发明实施例所提供的无人机定位方法。
其中，该无人机定位方法包括如下步骤：
获得所述摄像机采集的道路图像、所述无人机的飞行高度以及所述摄像机的姿态信息，其中，所述道路图像中包含车道线区域；
确定所述道路图像中的目标车道线区域；
根据所述飞行高度、所述姿态信息和所述目标车道线区域，计算所述无人机与识别出的车道线区域表征的车道线之间的相对距离。
可见，应用本发明实施例提供的无人机，通过其所设置的摄像机采集道路图像，并确定出道路图像中的目标车道线区域，然后根据无人机的飞行高度、姿态信息和目标车道线区域，计算出无人机与目标车道线区域表征的车道线之间的相对距离，进而利用计算出的相对距离对无人机进行定位，在定位过程中，无需利用无人机的GPS信号，从而避免了无人机在飞行过程中由于GPS信号被高楼等障碍物遮挡，导致的多径效应，进而提高了无人机的定位精度。
关于该方法各个步骤的具体实现以及相关解释内容可以参见上述图1所示的方法实施例，在此不做赘述。
另外，处理器501执行存储器503上所存放的程序而实现的无人机定位方法的其他实现方式，与前述方法实施例部分所提及的实现方式相同，这里也不再赘述。
上述无人机提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述无人机与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，该计算机程序被处理器执行时实现上述的无人机定位方法步骤。
可见，应用本发明实施例提供的方案，无人机通过其所设置的摄像机采集道路图像，并确定出道路图像中的目标车道线区域，然后根据无人机的飞行高度、姿态信息和目标车道线区域，计算出无人机与目标车道线区域表征的车道线之间的相对距离，进而利用计算出的相对距离对无人机进行定位，在定位过程中，无需利用无人机的GPS信号，从而避免了无人机在飞行过程中由于GPS信号被高楼等障碍物遮挡，导致的多径效应，进而提高了无人机的定位精度。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个实施例提供的无人机定位方法。
本发明实施例还提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述各个实施例提供的无人机定位方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、无人机、计算机可读存储介质、包含指令的计算机程序产品、计算机程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (16)
1.一种无人机定位方法，其特征在于，无人机设置有摄像机，所述方法包括：
获得所述摄像机采集的道路图像、所述无人机的飞行高度以及所述摄像机的姿态信息，其中，所述道路图像中包含车道线区域；
确定所述道路图像中的目标车道线区域；
根据所述飞行高度、所述姿态信息和所述目标车道线区域，计算所述无人机与所述目标车道线区域表征的车道线之间的相对距离。
2.根据权利要求1所述的方法，其特征在于，所述确定所述道路图像中的目标车道线区域，包括：
识别所述道路图像中的车道线区域；
在识别出的车道线区域为一个时，将识别出的车道线区域确定为所述目标车道线区域；
在识别出的车道线区域为多个时，将识别出的车道线区域中置信度最高的车道线区域确定为目标车道线区域，其中，所述置信度表示车道线区域能够用于表征车道线的可信程度。
3.根据权利要求2所述的方法，其特征在于，所述识别所述道路图像中的车道线区域，包括：
对所述道路图像进行边缘检测，得到边缘检测结果；
对所述边缘检测结果进行直线检测，得到所述道路图像中的车道线区域。
4.根据权利要求3所述的方法，其特征在于，在所述对所述道路图像进行边缘检测，得到边缘检测结果之前，所述方法还包括：
对所述道路图像进行滤波处理；
所述对所述道路图像进行边缘检测，得到边缘检测结果，包括：
对滤波处理后的道路图像进行边缘检测，得到边缘检测结果。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述飞行高度、所述姿态信息和所述目标车道线区域，计算所述无人机与所述目标车道线区域表征的车道线之间的相对距离，包括：
从所述目标车道线区域中选择至少两个像素点，作为目标像素点；
利用所述飞行高度和所述姿态信息，对各个目标像素点进行坐标系转换，获得各个目标像素点在世界坐标系下的坐标，其中，所述世界坐标系的坐标原点为：所述无人机的位置；
计算所述坐标原点到目标直线的距离，作为所述无人机与所述目标车道线区域表征的车道线之间的相对距离，其中，所述目标直线为：由所获得的各个坐标确定的直线。
6.根据权利要求5所述的方法，其特征在于，所述飞行高度、所述姿态信息以及所述坐标原点分别为：所述摄像机采集所述道路图像时，所述无人机的飞行高度、所述摄像机的姿态信息以及所述无人机的位置。
7.根据权利要求5所述的方法，其特征在于，所述利用所述飞行高度和所述姿态信息，对各个目标像素点进行坐标系转换，获得各个目标像素点在世界坐标系下的坐标，包括：
利用所述姿态信息，确定旋转矩阵；并利用以下公式，获得各个目标像素点在世界坐标系下的坐标：
其中，xc、yc、zc分别表示任一目标像素点在摄像机坐标系下x、y、z坐标轴上的坐标分量，表示所述旋转矩阵，xw、yw分别表示所述任一目标像素点在世界坐标系下x、y坐标轴上的坐标分量，所述h表示所述飞行高度。
8.一种无人机定位装置，其特征在于，无人机设置有摄像机，所述装置包括：
获得模块，用于获得所述摄像机采集的道路图像、所述无人机的飞行高度以及所述摄像机的姿态信息，其中，所述道路图像中包含车道线区域；
确定模块，用于确定所述道路图像中的目标车道线区域；
计算模块，用于根据所述飞行高度、所述姿态信息和所述目标车道线区域，计算所述无人机与所述目标车道线区域表征的车道线之间的相对距离。
9.根据权利要求8所述的装置，其特征在于，所述确定模块，包括：
识别子模块，用于识别所述道路图像中的车道线区域；
第一确定子模块，用于在识别出的车道线区域为一个时，将识别出的车道线区域确定为所述目标车道线区域；
第二确定子模块，用于在识别出的车道线区域为多个时，将识别出的车道线区域中置信度最高的车道线区域确定为目标车道线区域，其中，所述置信度表示车道线区域能够用于表征车道线的可信程度。
10.根据权利要求9所述的装置，其特征在于，所述识别子模块，包括：
边缘检测单元，用于对所述道路图像进行边缘检测，得到边缘检测结果；
直线检测单元，用于对所述边缘检测结果进行直线检测，得到所述道路图像中的车道线区域。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：
滤波单元，用于在对所述道路图像进行边缘检测，得到边缘检测结果之前，对所述道路图像进行滤波处理；
所述边缘检测单元，具体用于：
对滤波处理后的道路图像进行边缘检测，得到边缘检测结果。
12.根据权利要求8-11任一项所述的装置，其特征在于，所述计算模块，包括：
选择子模块，用于从所述目标车道线区域中选择至少两个像素点，作为目标像素点；
转换子模块，用于利用所述飞行高度和所述姿态信息，对各个目标像素点进行坐标系转换，获得各个目标像素点在世界坐标系下的坐标，其中，所述世界坐标系的坐标原点为：所述无人机的位置；
计算子模块，用于计算所述坐标原点到目标直线的距离，作为所述无人机与所述目标车道线区域表征的车道线之间的相对距离，其中，所述目标直线为：由所获得的各个坐标确定的直线。
13.根据权利要求12所述的装置，其特征在于，所述飞行高度、所述姿态信息以及所述坐标原点分别为：所述摄像机采集所述道路图像时，所述无人机的飞行高度、所述摄像机的姿态信息以及所述无人机的位置。
14.根据权利要求12所述的装置，其特征在于，所述转换子模块，具体用于：
利用所述姿态信息，确定旋转矩阵；并利用以下公式，获得各个目标像素点在世界坐标系下的坐标：
其中，xc、yc、zc分别表示任一目标像素点在摄像机坐标系下x、y、z坐标轴上的坐标分量，表示所述旋转矩阵，xw、yw分别表示所述任一目标像素点在世界坐标系下x、y坐标轴上的坐标分量，所述h表示所述飞行高度。
15.一种无人机，其特征在于，包括处理器、存储器，其中，
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810187930.0A CN110243357B (zh) | 2018-03-07 | 2018-03-07 | 一种无人机定位方法、装置、无人机及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810187930.0A CN110243357B (zh) | 2018-03-07 | 2018-03-07 | 一种无人机定位方法、装置、无人机及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110243357A true CN110243357A (zh) | 2019-09-17 |
| CN110243357B CN110243357B (zh) | 2021-09-10 |
Family
ID=67882550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810187930.0A Active CN110243357B (zh) | 2018-03-07 | 2018-03-07 | 一种无人机定位方法、装置、无人机及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110243357B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051628A (zh) * | 2023-01-16 | 2023-05-02 | 北京卓翼智能科技有限公司 | 一种无人机定位方法、装置、电子设备以及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894271A (zh) * | 2010-07-28 | 2010-11-24 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
| US20120158222A1 (en) * | 2009-06-12 | 2012-06-21 | Saab Ab | Centering above a predetermined area of a landing platform |
| CN107690840B (zh) * | 2009-06-24 | 2013-07-31 | 中国科学院自动化研究所 | 无人机视觉辅助导航方法及系统 |
| CN104217427A (zh) * | 2014-08-22 | 2014-12-17 | 南京邮电大学 | 一种交通监控视频中车道线定位方法 |
| CN104807460A (zh) * | 2015-05-04 | 2015-07-29 | 深圳大学 | 无人机室内定位方法及系统 |
| CN105260699A (zh) * | 2015-09-10 | 2016-01-20 | 百度在线网络技术（北京）有限公司 | 一种车道线数据的处理方法及装置 |
| US20160353358A1 (en) * | 2015-05-26 | 2016-12-01 | FreeFlight Systems, Inc. | Unmanned aerial vehicle guidance and communication device with system and method |
| CN106500705A (zh) * | 2016-10-20 | 2017-03-15 | 上海智驾电子科技有限公司 | 基于车道线检测的定位系统及定位方法 |
| CN106774402A (zh) * | 2016-12-28 | 2017-05-31 | 湖南省道通科技有限公司 | 对无人机进行定位的方法及装置 |
| US20170160751A1 (en) * | 2015-12-04 | 2017-06-08 | Pilot Ai Labs, Inc. | System and method for controlling drone movement for object tracking using estimated relative distances and drone sensor inputs |
| CN107615201A (zh) * | 2015-05-28 | 2018-01-19 | 日产自动车株式会社 | 自身位置估计装置及自身位置估计方法 |
-
2018
- 2018-03-07 CN CN201810187930.0A patent/CN110243357B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120158222A1 (en) * | 2009-06-12 | 2012-06-21 | Saab Ab | Centering above a predetermined area of a landing platform |
| CN107690840B (zh) * | 2009-06-24 | 2013-07-31 | 中国科学院自动化研究所 | 无人机视觉辅助导航方法及系统 |
| CN101894271A (zh) * | 2010-07-28 | 2010-11-24 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
| CN104217427A (zh) * | 2014-08-22 | 2014-12-17 | 南京邮电大学 | 一种交通监控视频中车道线定位方法 |
| CN104807460A (zh) * | 2015-05-04 | 2015-07-29 | 深圳大学 | 无人机室内定位方法及系统 |
| US20160353358A1 (en) * | 2015-05-26 | 2016-12-01 | FreeFlight Systems, Inc. | Unmanned aerial vehicle guidance and communication device with system and method |
| CN107615201A (zh) * | 2015-05-28 | 2018-01-19 | 日产自动车株式会社 | 自身位置估计装置及自身位置估计方法 |
| CN105260699A (zh) * | 2015-09-10 | 2016-01-20 | 百度在线网络技术（北京）有限公司 | 一种车道线数据的处理方法及装置 |
| US20170160751A1 (en) * | 2015-12-04 | 2017-06-08 | Pilot Ai Labs, Inc. | System and method for controlling drone movement for object tracking using estimated relative distances and drone sensor inputs |
| CN106500705A (zh) * | 2016-10-20 | 2017-03-15 | 上海智驾电子科技有限公司 | 基于车道线检测的定位系统及定位方法 |
| CN106774402A (zh) * | 2016-12-28 | 2017-05-31 | 湖南省道通科技有限公司 | 对无人机进行定位的方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 成怡等: "基于Meanshift与摄像机标定的无人机定位方法", 《天津工业大学学报》 * |
| 高德芝等: "基于逆透视变换的智能车辆定位技术", 《计算机测量与控制》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051628A (zh) * | 2023-01-16 | 2023-05-02 | 北京卓翼智能科技有限公司 | 一种无人机定位方法、装置、电子设备以及存储介质 |
| CN116051628B (zh) * | 2023-01-16 | 2023-10-27 | 北京卓翼智能科技有限公司 | 一种无人机定位方法、装置、电子设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110243357B (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220028163A1 (en) | Computer Vision Systems and Methods for Detecting and Modeling Features of Structures in Images | |
| EP3967972A1 (en) | Positioning method, apparatus, and device, and computer-readable storage medium | |
| CN108318043A (zh) | 用于更新电子地图的方法、装置和计算机可读存储介质 | |
| JP2020064068A (ja) | 視覚強化ナビゲーション | |
| CN104280036B (zh) | 一种交通信息的检测与定位方法、装置及电子设备 | |
| CN110285793A (zh) | 一种基于双目立体视觉系统的车辆智能测轨迹方法 | |
| CN112307810B (zh) | 一种视觉定位效果自检方法及车载终端 | |
| CN110081881A (zh) | 一种基于无人机多传感器信息融合技术的着舰引导方法 | |
| Gerke | Using horizontal and vertical building structure to constrain indirect sensor orientation | |
| US11334756B2 (en) | Homography through satellite image matching | |
| EP2618322A1 (en) | System and method for detecting and displaying airport approach lights | |
| US11953602B2 (en) | Detecting three-dimensional structure models at runtime in vehicles | |
| CN112525147B (zh) | 自动驾驶设备测距方法及相关装置 | |
| CN110260857A (zh) | 视觉地图的校准方法、装置及存储介质 | |
| CN109543493A (zh) | 一种车道线的检测方法、装置及电子设备 | |
| CN104913775A (zh) | 无人机对地高度的测量方法、无人机定位方法及装置 | |
| CN106778588A (zh) | 基于同名点的飞行状态检测方法及装置 | |
| CN110243364B (zh) | 无人机航向确定方法、装置、无人机及存储介质 | |
| CN110243357A (zh) | 一种无人机定位方法、装置、无人机及存储介质 | |
| CN110298320B (zh) | 一种视觉定位方法、装置及存储介质 | |
| Del Pizzo et al. | Reliable vessel attitude estimation by wide angle camera | |
| CN116203976A (zh) | 变电站室内巡检方法、装置、无人机和存储介质 | |
| CN109827595A (zh) | 室内惯性导航仪方向校准方法、室内导航装置及电子设备 | |
| US10809354B2 (en) | Method for determining a position and/or orientation of a sensor | |
| CN112050830B (zh) | 一种运动状态估计方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Hikvision Robot Co.,Ltd. Address before: No.555, Qianmo Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230706 Address after: No.555, Qianmo Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Hikvision Digital Technology Co.,Ltd. Address before: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: Hangzhou Hikvision Robot Co.,Ltd. |