CN107966136A - 基于主无人机视觉的从无人机位置显示方法、装置及系统 - Google Patents

基于主无人机视觉的从无人机位置显示方法、装置及系统 Download PDF

Info

Publication number
CN107966136A
CN107966136A CN201610908686.3A CN201610908686A CN107966136A CN 107966136 A CN107966136 A CN 107966136A CN 201610908686 A CN201610908686 A CN 201610908686A CN 107966136 A CN107966136 A CN 107966136A
Authority
CN
China
Prior art keywords
unmanned plane
information
shooting image
coordinate
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610908686.3A
Other languages
English (en)
Other versions
CN107966136B (zh
Inventor
桑云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Hangzhou Hikrobot Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610908686.3A priority Critical patent/CN107966136B/zh
Publication of CN107966136A publication Critical patent/CN107966136A/zh
Application granted granted Critical
Publication of CN107966136B publication Critical patent/CN107966136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying

Abstract

本发明实施例提供了基于主无人机视觉的从无人机位置显示方法、装置及系统，所述方法包括：获取主无人机的拍摄图像及拍摄方向信息；获取所述主无人机及至少一个从无人机的定位信息；根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息；显示所述拍摄图像，并根据所述坐标信息将所述从无人机的位置显示在所述拍摄图像中。应用本发明实施例能够在主无人机的视野范围内显示从无人机的位置信息。

Description

基于主无人机视觉的从无人机位置显示方法、装置及系统
技术领域
本发明涉及无人机信息融合显示技术领域，特别是涉及基于主无人机视觉的从无人机位置显示方法、装置及系统。
背景技术
随着无人机技术的迅速发展，无人机的应用场景也越来越广，使用优势也越来越明显，尤其在情况复杂的应用场景，相比传统的执行方式，使用多台无人机协同配合来执行任务，能够避免人员伤亡且使用成本较低。比如在高空监控的场景中，可以通过搭载云台相机的主无人机观察空中和地面情况，使用搭载探照灯的从无人机进行照明，通过搭载喊话器的从无人机进行高空喊话，通过搭载投掷器的从无人机投掷催泪弹等。
目前，无人机在世界坐标系中的位置可以显示在平面地图中。在多台无人机协同执行任务的场景下，操作者能够通过查看平面地图了解各台无人机的位置信息。但是，由于平面地图中显示的是无人机相对于大地的位置，而操作者是通过主无人机上搭载的云台相机来观察空中和地面情况的，也即操作者的视野范围内显示的场景和从无人机所处位置均是相对于主无人机的，这样，不便于操作者全面直观地掌握从无人机的位置信息。
发明内容
本发明实施例的目的在于提供基于主无人机视觉的从无人机位置显示方法、装置及系统，能够在主无人机的视野范围内显示从无人机的位置信息。具体技术方案如下：
为达到上述目的，本发明实施例公开了一种从无人机位置显示方法，所述方法包括：获取主无人机的拍摄图像及拍摄方向信息；获取所述主无人机及至少一个从无人机的定位信息；根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息；显示所述拍摄图像，并根据所述坐标信息将所述从无人机的位置显示在所述拍摄图像中。
优选地，所述方法还包括：根据所述拍摄方向信息和所述定位信息、以及所述主无人机搭载的云台相机的视场角，判断所述从无人机是否处于所述云台相机的视野范围之外；所述根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息的步骤，包括：当所述从无人机处于所述云台相机的视野范围之外时，根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息。
优选地，所述根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息的步骤，包括：当所述从无人机处于所述云台相机的视野范围之外时，根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息。
优选地，所述根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息的步骤，包括：根据所述定位信息，计算所述主无人机到每个所述从无人机的向量信息；根据所述向量信息和所述拍摄方向信息，将每个所述从无人机的定位信息分别转换为在每个所述从无人机在以所述云台相机为原点的云台相机坐标系中的坐标信息；根据每个所述从无人机在所述云台相机坐标系中的坐标信息，生成所述从无人机在所述拍摄图像中的坐标信息。
优选地，所述根据所述坐标信息将所述从无人机的位置显示在所述拍摄图像中的步骤，包括：当所述从无人机处于所述云台相机的视野范围之外时，将所述从无人机在所述拍摄图像中的坐标信息转换成所述从无人机在极坐标系下的极坐标；确定所述极坐标与所述拍摄图像边缘的交点，将所述交点确定为所述从无人机的逼近位置。
优选地，所述方法还包括：在所述逼近位置附近显示所述从无人机的标识图案，并使所述标识图案指向所述逼近位置。
优选地，所述方法还包括：根据所述从无人机的逼近位置，调整所述云台相机的视野范围，以使所述从无人机处于所述云台相机的视野范围之内。
优选地，所述拍摄方向信息包括所述主无人机搭载的云台相机坐标系与世界坐标系之间的旋转矩阵，或者所述拍摄方向信息包括所述云台相机坐标系与所述世界坐标系之间的姿态角；所述定位信息包括所述主无人机及至少一个从无人机在世界坐标系中的三维坐标。
本发明实施例还公开了一种从无人机位置显示装置，所述装置包括：第一获取单元，用于获取主无人机的拍摄图像及拍摄方向信息；第二获取单元，用于获取所述主无人机及至少一个从无人机的定位信息；计算单元，用于根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息；显示单元，用于显示所述拍摄图像，并根据所述坐标信息将所述从无人机的位置显示在所述拍摄图像中。
优选地，所述装置还包括：判断单元，用于根据所述拍摄方向信息和所述定位信息、以及所述主无人机搭载的云台相机的视场角，判断所述从无人机是否处于所述云台相机的视野范围之外；所述计算单元，具体用于当所述从无人机处于所述云台相机的视野范围之外时，根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息。
优选地，所述计算单元，包括：计算子单元、第一转换子单元和生成子单元；所述计算子单元，用于根据所述定位信息，计算所述主无人机到每个所述从无人机的向量信息；所述第一转换子单元，用于根据所述向量信息和所述拍摄方向信息，将每个所述从无人机的定位信息分别转换为在每个所述从无人机在以所述云台相机为原点的云台相机坐标系中的坐标信息；所述生成子单元，用于根据每个所述从无人机在所述云台相机坐标系中的坐标信息，生成所述从无人机在所述拍摄图像中的坐标信息。
优选地，所述生成子单元，包括：第二转换子单元和确定子单元；所述第二转换子单元，用于将所述从无人机在所述拍摄图像中的坐标信息转换成所述从无人机在极坐标系下的极坐标；所述确定子单元，用于确定所述极坐标与所述拍摄图像边缘的交点，将所述交点确定为所述从无人机的逼近位置。
优选地，所述显示单元具体用于在所述逼近位置附近显示所述从无人机的标识图案，并使所述标识图案指向所述逼近位置。
优选地，所述装置还包括：调整单元，用于根据所述从无人机的逼近位置，调整所述云台相机的视野范围，以使所述从无人机处于所述云台相机的视野范围之内。
优选地，所述拍摄方向信息包括所述主无人机搭载的云台相机坐标系与世界坐标系之间的旋转矩阵，或者所述拍摄方向信息包括所述云台相机坐标系与所述世界坐标系之间的姿态角；所述定位信息包括所述主无人机及至少一个从无人机在世界坐标系中的三维坐标。
本发明实施例又公开了一种从无人机位置显示系统，所述系统包括：信息接收单元、信息融合处理单元和信息综合显示单元；所述信息接收单元获取主无人机的拍摄图像及拍摄方向信息，和所述主无人机及至少一个从无人机的定位信息，将所述拍摄方向信息和所述定位信息发送至所述信息融合处理单元；所述信息融合处理单元根据来自所述信息接收单元的所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息，将所述坐标信息发送至所述信息综合显示单元；所述信息综合显示单元显示所述拍摄图像，并根据来自所述信息融合处理单元的所述坐标信息将所述从无人机的位置显示在所述拍摄图像中。
本发明实施例提供的从无人机位置显示方法、装置及系统，所述从无人机位置显示方法能够首先获取主无人机的拍摄图像及拍摄方向信息，以及获取主无人机及至少一个从无人机的定位信息；接下来，根据获取到的拍摄方向信息和定位信息，计算从无人机在拍摄图像中的坐标信息；最后，显示拍摄图像，并且根据计算出的坐标信息，将从无人机的位置显示在拍摄图像中。这样，就能够实现在主无人机的视野范围内在云台相机获取的拍摄图像中全面直观地显示从无人机的位置信息；并且，拍摄图像中每台从无人机的位置均是基于主无人机视觉标注出来的，更加符合无人机操作者的观察习惯。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的从无人机位置显示方法的一种流程图；
图2为本发明实施例中的从无人机位置显示方法的又一种流程图；
图3为本发明实施例中的主无人机与从无人机对应的关系向量的示意图；
图4为本发明实施例中的从无人机位置显示方法的另一种流程图；
图5为本发明实施例中在拍摄图像中从无人机位置显示方法的示意图；
图6为本发明实施例中在拍摄图像中显示从无人机的逼近位置的示意图；
图7为本发明实施例中的多台无人机协同工作场景的示意图；
图8为本发明实施例中的从无人机位置显示装置的一种结构图；
图9为本发明实施例中的从无人机位置显示系统的一种结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种从无人机位置显示方法。参见图1，图1为本发明实施例的从无人机位置显示方法的一种流程图，包括如下步骤：
步骤101，获取主无人机的拍摄图像及拍摄方向信息；获取所述主无人机及至少一个从无人机的定位信息；
在本发明实施例中，可以通过主无人机上搭载的云台相机获取拍摄图像，这样，拍摄图像中的图像均是基于主无人机的视觉，也即是以云台相机为第一视角显示出来的。
此外，对从无人机上搭载的任务载荷没有限制，从无人机也可以搭载云台相机，当然也可以搭载除云台相机以外的其他任务载荷，但是需要将用于拍摄图像，并且在拍摄图像中显示从无人机位置的云台相机所在的无人机确定为主无人机。
需要说明的是，云台相机是指放置在云台上的相机，具体地，可以将相机安装在三轴或两轴的云台上以控制相机在三轴或两轴上进行旋转，使相机能够以各种姿态进行拍摄，且云台能够使相机的拍摄方向相对于世界坐标系保持不变，从而保证相机拍摄画面的稳定。
在本发明的一种优选实施例中，所述拍摄方向信息包括所述主无人机搭载的云台相机坐标系与世界坐标系之间的旋转矩阵，或者所述拍摄方向信息包括所述云台相机坐标系与所述世界坐标系之间的姿态角。
可以理解的，云台相机的拍摄方向信息可以理解为以云台相机为坐标原点的云台相机坐标系与世界坐标系之间的相对关系，具体可以通过姿态角或者旋转矩阵来表示；其中，姿态角分为滚转角、俯仰角和偏航角；旋转矩阵为一个3×3的矩阵，表示三维空间中同一个点在两个三维坐标系下坐标的转换关系。为了方便描述，本发明使用旋转矩阵说明云台相机的拍摄方向信息，本发明对云台相机的拍摄方向信息的具体表现方式不加以限制。
在本发明的又一种优选实施例中，所述定位信息包括所述主无人机及至少一个从无人机在世界坐标系中的三维坐标。
在实际应用中，无人机在世界坐标系中对应的三维坐标可以通过全球定位系统(Global Positioning System，GPS)和气压计等来综合确定、或者通过北斗卫星导航系统(BeiDou Navigation Satellite System，BDS)和超声波传感器等来综合确定。具体地，三维坐标中的x轴坐标值和y轴坐标值，也就是无人机的水平位置可以通过GPS或者BDS来确定；三维坐标中的z轴坐标，也就是无人机的高度可以通过气压计或者超声波传感器来确定；同时，还可以使用磁力计来采集无人机的航向信息以修正无人机的三维坐标。由于确定无人机在世界坐标系中的三维坐标的方法属于现有技术，因此本发明对此不再赘述。此外，云台相机的姿态信息可以通过云台相机上的惯导器件计算得出，其中，惯导器件包括加速度计、陀螺仪等。
步骤102，根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息；
在本步骤中，可以根据获取到的云台相机的拍摄方向信息、以及主无人机和至少一个从无人机的定位信息，得到从无人机在拍摄图像中的二维坐标信息。
在本发明的另一种应用实施例中，所述方法还可以包括：
根据所述拍摄方向信息和所述定位信息、以及所述主无人机搭载的云台相机的视场角，判断所述从无人机是否处于所述云台相机的视野范围之外；
所述步骤102，具体可以包括：
当所述从无人机处于所述云台相机的视野范围之外时，根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息。
具体地，可以根据从无人机在云台相机坐标系中的位置，以及云台相机的视场角，判断从无人机是否处于云台相机的视野范围之外。
需要说明的是，由于拍摄图像中显示的是以云台相机为第一视角观察到的从无人机的位置信息。在本发明实施例中，当从无人机在云台相机的视野范围之内时，操作者可以直接在拍摄图像中看到这些从无人机，从实用角度考虑，就不需要再将从无人机的位置显示在拍摄图像中了。
而当从无人机处于云台相机的视野范围之外时，操作者就无法在拍摄图像中直接观察到这些从无人机。为了使操作者能够了解处于云台相机的视野范围之外的从无人机的真实方位，可以对这些从无人机的位置进行处理，以使得这些从无人机也能够叠加显示在拍摄图像中，因此，这里就需要判断哪些从无人机处于云台相机的视野范围之外。
当然，也可以将处于云台相机视野范围之内的从无人机位置显示在拍摄图像中，本发明对在拍摄图像中显示的从无人机不加以限制，可以只显示处于云台相机视野范围之外的从无人机，也可以在拍摄图像中显示所有的从无人机。
在本发明的再一种优选实施例中，如图2所示，图2为本发明实施例中的从无人机位置显示方法的又一种流程图，所述步骤102具体可以包括以下子步骤：
子步骤11，根据所述定位信息，计算所述主无人机到每个所述从无人机的向量信息；
其中，所述定位信息可以是无人机在世界坐标系中的三维坐标。
具体地，如图3所示，图3为主无人机与从无人机对应的关系向量示意图。在图3中，PA为主无人机搭载的云台相机在世界坐标系中对应的三维坐标，也就是主无人机在世界坐标系中的位置，PB为一台从无人机在世界坐标系中对应的三维坐标，也就是从无人机在世界坐标系中的位置；以PA为原点的三维坐标系是云台相机对应的云台相机坐标系；为PA指向PB的向量，也就是云台相机与从无人机对应的关系向量。
子步骤12，根据所述向量信息和所述拍摄方向信息，将每个所述从无人机的定位信息分别转换为在每个所述从无人机在以所述云台相机为原点的云台相机坐标系中的坐标信息；
其中，所述拍摄方向信息可以是无人机搭载的云台相机坐标系与世界坐标系之间的旋转矩阵。
在实际应用中，将世界坐标系中的三维坐标转换为云台相机坐标系中的三维坐标具体可以分为以下两种情况：
第一种情况：当云台相机坐标系的原点与世界坐标系的原点重合时，可以根据云台相机坐标系与世界坐标系之间的旋转矩阵，将每台从无人机在世界坐标系中对应的三维坐标分别转换为在云台相机坐标系中的三维坐标；
比如，A点在世界坐标系下的坐标为a＝(a1,a2,a3)；云台相机坐标系相对于世界坐标系的旋转矩阵为R；那么，A点在云台相机坐标系下的坐标b为
b＝R×a (1)
在公式(1)中，b＝(b1,b2,b3)；R为一个3×3的矩阵，如公式(2)所示：
可得，A点在云台相机坐标系下的三维坐标分别为：b1＝r11×a1+r12×a2+r13×a3；b2＝r21×a1+r22×a2+r23×a3；b3＝r31×a1+r32×a2+r33×a3。
第二种情况：当云台相机坐标系的原点与世界坐标系的原点不重合时，可以根据云台相机坐标系与世界坐标系之间的旋转矩阵和云台相机分别与每台从无人机对应的关系向量，将每台从无人机在世界坐标系中对应的三维坐标分别转换为在云台相机坐标系中的三维坐标。
比如，云台相机为B点，A点与云台相机的关系向量为且云台相机坐标系相对于世界坐标系的旋转矩阵为R；那么，A点在云台相机坐标系下的坐标b为
在公式(3)中，b＝(b1,b2,b3)；R为一个3×3的矩阵，其余与第一种情况下的计算方法相同。
由于将世界坐标系中对应的三维坐标分别转换为在云台相机坐标系中的三维坐标为现有技术，在此不再赘述。
子步骤13，根据每个所述从无人机在所述云台相机坐标系中的坐标信息，生成所述从无人机在所述拍摄图像中的坐标信息。
其中，从无人机在拍摄图像中的坐标信息具体可以是从无人机在拍摄图像中的二维坐标。所述转换参数可以包括云台相机的内参和外参，比如云台相机的水平视场角、垂直视场角以及焦距等，由于三维坐标转换为二维坐标的方法属于现有技术，在此不再赘述。
在本发明的再一种可选实施例中，如图4所示，图4为本发明实施例中的从无人机位置显示方法的另一种流程图，所述子步骤13具体可以包括如下子步骤：
子步骤21，将所述从无人机在所述拍摄图像中的坐标信息转换成所述从无人机在极坐标系下的极坐标；
子步骤22，确定所述极坐标与所述拍摄图像边缘的交点，将所述交点确定为所述从无人机的逼近位置。
具体地，如图5所示，图5为当从无人机的二维坐标处于云台相机的视野范围之外时，在拍摄图像中从无人机位置显示方法的示意图。在图5中，拍摄图像处于以云台相机为原点的二维直角坐标系中；A点为从无人机在极坐标系中的极点；A点连接的虚线为从无人机在极坐标系中的极轴；B点为从无人机的极轴与拍摄图像边缘的交点，也就是从无人机的逼近位置；C为从无人机的标识图案；C连接的带箭头短线为从无人机的标识图案指向从无人机逼近位置。
可以理解的，当从无人机处于云台相机的视野范围之外时，逼近位置能够体现出从无人机所处的真实位置的方位信息。
步骤103，显示所述拍摄图像，并根据所述坐标信息将所述从无人机的位置显示在所述拍摄图像中。
在本步骤中，可以将云台相机拍摄的图像显示出来，并且根据从无人机在拍摄图像中的二维坐标，将从无人机的位置显示在拍摄图像中。
可以理解的，拍摄图像中显示的从无人机的位置是以主无人机上搭载的云台相机为第一视角观察到的。这样，操作者就能够通过拍摄图像，将主无人机上的云台相机作为自己的“眼睛”，全面直观地观察从无人机的当前位置，视觉效果更佳逼真，带入感强，控制起来也更加方便。需要说明的是，主无人机的位置不会显示在拍摄图像中，当然，也可以根据实际需要，将主无人机的位置显示在地图等其他图像中。
在本发明的再一种优选实施例中，所述根据所述坐标信息将所述从无人机的位置显示在所述拍摄图像中的步骤，具体可以包括：
在所述逼近位置附近显示所述从无人机的标识图案，并使所述标识图案指向所述逼近位置。
在本发明的再一种优选实施例中，所述方法还包括：
根据所述从无人机的逼近位置，调整所述云台相机的视野范围，以使所述从无人机处于所述云台相机的视野范围之内。
这样，即使从无人机所处的位置不在云台相机的视野范围之内，操作者也能够根据拍摄图像中从无人机的逼近位置，了解从无人机真实位置所在的方位，从而通过调整云台相机的视野范围，使得原本处于云台相机视野范围之外的从无人机落入云台相机的视野范围之内。
在实际应用中，如图6所示，图6为当从无人机处于云台相机的视野范围之外时，在拍摄图像中显示从无人机逼近位置的示意图，在图6中，长方形框为拍摄图像，C为处于云台相机视野范围之外的从无人机的标识图案。操作者可以佩戴VR眼镜观察到如图6所示的拍摄图像，其中，从无人机逼近位置处于拍摄图像的边缘处。
并且，操作者还能够通过转动佩戴VR眼镜的头部，调整云台相机的旋转矩阵，以改变云台相机的视野范围。这样，操作者就可以根据图6中C点指向的从无人机的逼近位置，将佩戴VR眼镜的头部向右下方转动，调整云台相机的旋转矩阵，使原本处于云台相机视野范围之外的从无人机落入调整后的云台相机的视野范围之内，从而使操作者能够通过VR眼镜直接看到从无人机。
可见，在本发明实施例中，能够首先获取主无人机的拍摄图像及拍摄方向信息，以及获取主无人机及至少一个从无人机的定位信息；接下来，根据获取到的拍摄方向信息和定位信息，计算从无人机在拍摄图像中的坐标信息；最后，显示拍摄图像，并且根据计算出的坐标信息，将从无人机的位置显示在拍摄图像中。这样，不仅实现了在主无人机的视野范围中、以主无人机上的云台相机为第一视角显示从无人机的位置信息，更能够将处于云台相机视野范围之外的从无人机的逼近位置显示在拍摄图像的边缘处，使无人机的操作者能够根据主无人机视野范围中显示的逼近位置，确定从无人机的真实方位，并通过调整云台相机的视野范围，使原本处于云台相机的视野范围之外的从无人机落入调整后的云台相机的视野范围之内，使无人机的操作者能够在主无人机上搭载的云台相机的视野范围中直接观察到从无人机的位置信息。
实际应用中，本发明实施例可以应用于公安部门处理突发的暴力案件，在某个夜晚某个区域发生暴乱事件的情况下，公安部门可以通过无人机群来快速应对。如图7所示，图7为在本发明实施例应用于公安部门处理突发暴力案件时，多台无人机协同工作场景的示意图；其中，A无人机为搭载探照灯的从无人机，B无人机为搭载投掷器并装有催泪弹的从无人机，C无人机为搭载云台相机的主无人机，D无人机为搭载喊话器的从无人机；A无人机、B无人机、C无人机和D无人机分别与地面控制站之间的双箭头虚线表示每个无人机与地面控制站之间的信息交互。
首先，地面控制站可以将航线飞行指令及相关参数上传到无人机群中的每台无人机，并使无人机群根据航线飞行指令和相关参数快速飞行到事发区域上空，无人机群中包括无人机A、无人机B、无人机C和无人机D。接下来，搭载云台相机的C无人机可以将云台相机的拍摄图像及拍摄方向信息实时传回地面控制站，同时，所有无人机也将自身的定位信息实时传回地面控制站；
然后，地面控制站接收到由每台无人机传回的信息，并将这些信息进行综合处理后显示在拍摄图像中，并通过VR眼镜展示给操作者；其中，可以将处于云台相机视野范围之外的从无人机的逼近位置显示在拍摄图像边缘位置。
由于操作者的头部佩戴的VR眼镜具有头部运动检测设备，能够将操作者头部的运动与云台相机的运动联系起来，当操作人员的头部向左边转动时，云台相机也向左边转动，方便操作者观察左侧的情况。当有无人机处于云台相机的视野范围之外时，可以将处于云台相机的视野范围之外的无人机的逼近位置叠加显示在拍摄图像中。
这样，操作者就能够通过VR眼镜，以主无人机上搭载的云台相机为第一视角，在云台相机的拍摄图像中观察到从无人机的位置信息，方便操作者全面直观了解从无人机的位置情况，提高了执行任务的效率和任务完成的质量。
本发明实施例还公开了一种从无人机位置显示装置，如图8所示，图8为本发明实施例的从无人机位置显示装置的一种结构图，所述装置包括：
第一获取单元801，用于获取主无人机的拍摄图像及拍摄方向信息；
第二获取单元802，用于获取所述主无人机及至少一个从无人机的定位信息；
计算单元803，用于根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息；
显示单元804，用于显示所述拍摄图像，并根据所述坐标信息将所述从无人机的位置显示在所述拍摄图像中。
在本发明实施例的一种优选实施例中，所述装置还包括：
判断单元，用于根据所述拍摄方向信息和所述定位信息、以及所述主无人机搭载的云台相机的视场角，判断所述从无人机是否处于所述云台相机的视野范围之外；
所述计算单元803，具体用于当所述从无人机处于所述云台相机的视野范围之外时，根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息。
在本发明实施例的又一种优选实施例中，所述计算单元803，包括：计算子单元、第一转换子单元和生成子单元；
所述计算子单元，用于根据所述定位信息，计算所述主无人机到每个所述从无人机的向量信息；
所述第一转换子单元，用于根据所述向量信息和所述拍摄方向信息，将每个所述从无人机的定位信息分别转换为在每个所述从无人机在以所述云台相机为原点的云台相机坐标系中的坐标信息；
所述生成子单元，用于根据每个所述从无人机在所述云台相机坐标系中的坐标信息，生成所述从无人机在所述拍摄图像中的坐标信息。
在本发明实施例的另一种优选实施例中，所述生成子单元，包括：第二转换子单元和确定子单元；
所述第二转换子单元，用于将所述从无人机在所述拍摄图像中的坐标信息转换成所述从无人机在极坐标系下的极坐标；
所述确定子单元，用于确定所述极坐标与所述拍摄图像边缘的交点，将所述交点确定为所述从无人机的逼近位置。
在本发明实施例的再一种优选实施例中，所述显示单元804具体用于在所述逼近位置附近显示所述从无人机的标识图案，并使所述标识图案指向所述逼近位置。
在本发明实施例的再一种优选实施例中，所述装置还包括：调整单元，用于根据所述从无人机的逼近位置，调整所述云台相机的视野范围，以使所述从无人机处于所述云台相机的视野范围之内。
在本发明实施例的再一种优选实施例中，所述拍摄方向信息包括所述主无人机搭载的云台相机坐标系与世界坐标系之间的旋转矩阵，或者所述拍摄方向信息包括所述云台相机坐标系与所述世界坐标系之间的姿态角；所述定位信息包括所述主无人机及至少一个从无人机在世界坐标系中的三维坐标。
可见，在本发明装置实施例中，能够首先获取主无人机的拍摄图像及拍摄方向信息，以及获取主无人机及至少一个从无人机的定位信息；接下来，根据获取到的拍摄方向信息和定位信息，计算从无人机在拍摄图像中的坐标信息；最后，显示拍摄图像，并且根据计算出的坐标信息，将从无人机的位置显示在拍摄图像中。这样，不仅实现了在主无人机的视野范围中、以主无人机上的云台相机为第一视角显示从无人机的位置信息，更能够将处于云台相机视野范围之外的从无人机的逼近位置显示在拍摄图像的边缘处，使无人机的操作者能够根据主无人机视野范围中显示的逼近位置，确定从无人机的真实方位，并通过调整云台相机的视野范围，使原本处于云台相机的视野范围之外的从无人机落入调整后的云台相机的视野范围之内，使无人机的操作者能够在主无人机上搭载的云台相机的视野范围中直接观察到从无人机的位置信息。
本发明实施例又公开了一种从无人机位置显示系统。如图9所示，图9为本发明实施例的从无人机位置显示系统的一种结构图，所述显示系统包括信息接收单元901、信息融合处理单元902和信息综合显示单元903，所述系统包括：
所述信息接收单元901获取主无人机的拍摄图像及拍摄方向信息，和所述主无人机及至少一个从无人机的定位信息，将所述拍摄方向信息和所述定位信息发送至所述信息融合处理单元902；
所述信息融合处理单元902根据来自所述信息接收单元的所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息，将所述坐标信息发送至所述信息综合显示单元903；
所述信息综合显示单元903显示所述拍摄图像，并根据来自所述信息融合处理单元的所述坐标信息将所述从无人机的位置显示在所述拍摄图像中。
可见，通过本发明系统实施例，操作者就能够通过VR眼镜，以主无人机上搭载的云台相机为第一视角，在云台相机的拍摄图像中观察到从无人机的位置信息，方便操作者全面直观了解从无人机的位置情况，提高了执行任务的效率和任务完成的质量。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (15)

1.一种基于主无人机视觉的从无人机位置显示方法，其特征在于，所述方法包括：
获取主无人机的拍摄图像及拍摄方向信息；
获取所述主无人机及至少一个从无人机的定位信息；
根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息；
显示所述拍摄图像，并根据所述坐标信息将所述从无人机的位置显示在所述拍摄图像中。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述拍摄方向信息和所述定位信息、以及所述主无人机搭载的云台相机的视场角，判断所述从无人机是否处于所述云台相机的视野范围之外；
所述根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息的步骤，包括：
当所述从无人机处于所述云台相机的视野范围之外时，根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息的步骤，包括：
根据所述定位信息，计算所述主无人机到每个所述从无人机的向量信息；
根据所述向量信息和所述拍摄方向信息，将每个所述从无人机的定位信息分别转换为在每个所述从无人机在以所述云台相机为原点的云台相机坐标系中的坐标信息；
根据每个所述从无人机在所述云台相机坐标系中的坐标信息，生成所述从无人机在所述拍摄图像中的坐标信息。
4.根据权利要求3所述的方法，其特征在于，所述根据每个所述从无人机在所述云台相机坐标系中的坐标信息，生成所述从无人机在所述拍摄图像中的坐标信息的步骤，包括：
将所述从无人机在所述拍摄图像中的坐标信息转换成所述从无人机在极坐标系下的极坐标；
确定所述极坐标与所述拍摄图像边缘的交点，将所述交点确定为所述从无人机的逼近位置。
5.根据权利要求4所述的方法，其特征在于，所述根据所述坐标信息将所述从无人机的位置显示在所述拍摄图像中的步骤，还包括：
在所述逼近位置附近显示所述从无人机的标识图案，并使所述标识图案指向所述逼近位置。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述从无人机的逼近位置，调整所述云台相机的视野范围，以使所述从无人机处于所述云台相机的视野范围之内。
7.根据权利要求1所述的方法，其特征在于，所述拍摄方向信息包括所述主无人机搭载的云台相机坐标系与世界坐标系之间的旋转矩阵，或者所述拍摄方向信息包括所述云台相机坐标系与所述世界坐标系之间的姿态角；
所述定位信息包括所述主无人机及至少一个从无人机在世界坐标系中的三维坐标。
8.一种基于主无人机视觉的从无人机位置显示装置，其特征在于，所述装置包括：
第一获取单元，用于获取主无人机的拍摄图像及拍摄方向信息；
第二获取单元，用于获取所述主无人机及至少一个从无人机的定位信息；
计算单元，用于根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息；
显示单元，用于显示所述拍摄图像，并根据所述坐标信息将所述从无人机的位置显示在所述拍摄图像中。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
判断单元，用于根据所述拍摄方向信息和所述定位信息、以及所述主无人机搭载的云台相机的视场角，判断所述从无人机是否处于所述云台相机的视野范围之外；
所述计算单元，具体用于当所述从无人机处于所述云台相机的视野范围之外时，根据所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息。
10.根据权利要求8或9所述的装置，其特征在于，所述计算单元，包括：计算子单元、第一转换子单元和生成子单元；
所述计算子单元，用于根据所述定位信息，计算所述主无人机到每个所述从无人机的向量信息；
所述第一转换子单元，用于根据所述向量信息和所述拍摄方向信息，将每个所述从无人机的定位信息分别转换为在每个所述从无人机在以所述云台相机为原点的云台相机坐标系中的坐标信息；
所述生成子单元，用于根据每个所述从无人机在所述云台相机坐标系中的坐标信息，生成所述从无人机在所述拍摄图像中的坐标信息。
11.根据权利要求10所述的装置，其特征在于，所述生成子单元，包括：第二转换子单元和确定子单元；
所述第二转换子单元，用于将所述从无人机在所述拍摄图像中的坐标信息转换成所述从无人机在极坐标系下的极坐标；
所述确定子单元，用于确定所述极坐标与所述拍摄图像边缘的交点，将所述交点确定为所述从无人机的逼近位置。
12.根据权利要求11所述的装置，其特征在于，所述显示单元具体用于在所述逼近位置附近显示所述从无人机的标识图案，并使所述标识图案指向所述逼近位置。
13.根据权利要求11所述的装置，其特征在于，所述装置还包括：
调整单元，用于根据所述从无人机的逼近位置，调整所述云台相机的视野范围，以使所述从无人机处于所述云台相机的视野范围之内。
14.根据权利要求8所述的装置，其特征在于，所述拍摄方向信息包括所述主无人机搭载的云台相机坐标系与世界坐标系之间的旋转矩阵，或者所述拍摄方向信息包括所述云台相机坐标系与所述世界坐标系之间的姿态角；
所述定位信息包括所述主无人机及至少一个从无人机在世界坐标系中的三维坐标。
15.一种基于主无人机视觉的从无人机位置显示系统，其特征在于，所述系统包括：信息接收单元、信息融合处理单元和信息综合显示单元；
所述信息接收单元获取主无人机的拍摄图像及拍摄方向信息，和所述主无人机及至少一个从无人机的定位信息，将所述拍摄方向信息和所述定位信息发送至所述信息融合处理单元；
所述信息融合处理单元根据来自所述信息接收单元的所述拍摄方向信息和所述定位信息，计算所述从无人机在所述拍摄图像中的坐标信息，将所述坐标信息发送至所述信息综合显示单元；
所述信息综合显示单元显示所述拍摄图像，并根据来自所述信息融合处理单元的所述坐标信息将所述从无人机的位置显示在所述拍摄图像中。
CN201610908686.3A 2016-10-19 2016-10-19 基于主无人机视觉的从无人机位置显示方法、装置及系统 Active CN107966136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610908686.3A CN107966136B (zh) 2016-10-19 2016-10-19 基于主无人机视觉的从无人机位置显示方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610908686.3A CN107966136B (zh) 2016-10-19 2016-10-19 基于主无人机视觉的从无人机位置显示方法、装置及系统

Publications (2)

Publication Number Publication Date
CN107966136A true CN107966136A (zh) 2018-04-27
CN107966136B CN107966136B (zh) 2020-11-06

Family

ID=61996185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610908686.3A Active CN107966136B (zh) 2016-10-19 2016-10-19 基于主无人机视觉的从无人机位置显示方法、装置及系统

Country Status (1)

Country Link
CN (1) CN107966136B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189100A (zh) * 2018-11-16 2019-01-11 北京遥感设备研究所 一种基于视觉定位的四旋翼无人机群控制系统和方法
CN110548276A (zh) * 2018-05-30 2019-12-10 深圳市掌网科技股份有限公司 球场辅助判罚系统
CN110971289A (zh) * 2018-09-29 2020-04-07 比亚迪股份有限公司 无人机的控制方法、装置和存储介质以及电子设备
CN111192318A (zh) * 2018-11-15 2020-05-22 杭州海康机器人技术有限公司 确定无人机位置和飞行方向的方法、装置及无人机
CN111322993A (zh) * 2018-12-13 2020-06-23 杭州海康机器人技术有限公司 一种视觉定位方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200358A (zh) * 2012-01-06 2013-07-10 杭州普维光电技术有限公司 摄像机与目标场景之间的坐标转换方法及装置
CN105245846A (zh) * 2015-10-12 2016-01-13 西安斯凯智能科技有限公司 一种多无人机协同跟踪的拍摄系统及拍摄方法
CN105242684A (zh) * 2015-10-15 2016-01-13 杨珊珊 一种伴随拍摄飞行器的无人机航拍系统及方法
US20160009390A1 (en) * 2013-03-11 2016-01-14 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
CN105759839A (zh) * 2016-03-01 2016-07-13 深圳市大疆创新科技有限公司 无人机视觉跟踪方法、装置以及无人机
CN105973230A (zh) * 2016-06-30 2016-09-28 西安电子科技大学 一种双无人机协同感知与规划方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200358A (zh) * 2012-01-06 2013-07-10 杭州普维光电技术有限公司 摄像机与目标场景之间的坐标转换方法及装置
US20160009390A1 (en) * 2013-03-11 2016-01-14 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
CN105245846A (zh) * 2015-10-12 2016-01-13 西安斯凯智能科技有限公司 一种多无人机协同跟踪的拍摄系统及拍摄方法
CN105242684A (zh) * 2015-10-15 2016-01-13 杨珊珊 一种伴随拍摄飞行器的无人机航拍系统及方法
CN105759839A (zh) * 2016-03-01 2016-07-13 深圳市大疆创新科技有限公司 无人机视觉跟踪方法、装置以及无人机
CN105973230A (zh) * 2016-06-30 2016-09-28 西安电子科技大学 一种双无人机协同感知与规划方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110548276A (zh) * 2018-05-30 2019-12-10 深圳市掌网科技股份有限公司 球场辅助判罚系统
CN110971289A (zh) * 2018-09-29 2020-04-07 比亚迪股份有限公司 无人机的控制方法、装置和存储介质以及电子设备
CN110971289B (zh) * 2018-09-29 2021-06-18 比亚迪股份有限公司 无人机的控制方法、装置和存储介质以及电子设备
CN111192318A (zh) * 2018-11-15 2020-05-22 杭州海康机器人技术有限公司 确定无人机位置和飞行方向的方法、装置及无人机
CN111192318B (zh) * 2018-11-15 2023-09-01 杭州海康威视数字技术股份有限公司 确定无人机位置和飞行方向的方法、装置及无人机
CN109189100A (zh) * 2018-11-16 2019-01-11 北京遥感设备研究所 一种基于视觉定位的四旋翼无人机群控制系统和方法
CN111322993A (zh) * 2018-12-13 2020-06-23 杭州海康机器人技术有限公司 一种视觉定位方法和装置
CN111322993B (zh) * 2018-12-13 2022-03-04 杭州海康机器人技术有限公司 一种视觉定位方法和装置

Also Published As

Publication number Publication date
CN107966136B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN107966136A (zh) 基于主无人机视觉的从无人机位置显示方法、装置及系统
CN104168455B (zh) 一种空基大场景摄像系统及方法
CN104769496B (zh) 具有用于定位和交互的绳组件的飞行摄像机
US9641810B2 (en) Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers
US10678238B2 (en) Modified-reality device and method for operating a modified-reality device
CN105759833A (zh) 一种沉浸式无人机驾驶飞行系统
CN107918397A (zh) 带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统
CN107014378A (zh) 一种视线跟踪瞄准操控系统及方法
CN108021145A (zh) 带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统
CN109791414A (zh) 基于视觉着陆的方法和系统
CN106909215A (zh) 基于精确定位和增强现实的消防作战三维可视化指挥系统
SE527257C2 (sv) Anordning och metod för att presentera en omvärldsbild
CN107992064A (zh) 基于主无人机的从无人机飞行控制方法、装置及系统
CN106155081B (zh) 一种旋翼无人机大范围目标监测和精确定位方法
CN106647804A (zh) 一种自动巡检方法及系统
CN110333735B (zh) 一种实现无人机水陆二次定位的系统和方法
CN108733064A (zh) 一种无人机的视觉定位避障系统及其方法
CN102937443A (zh) 一种基于无人机的目标快速定位系统及方法
EP2142875B1 (en) Self-orienting reticle
CN107466384A (zh) 一种追踪目标的方法及装置
CN109466766A (zh) 一种自转旋翼机及侦查系统
CN108445900A (zh) 一种无人机视觉定位替代差分技术
KR20120036684A (ko) 지피에스를 이용한 지능형 항공로봇
CN207095572U (zh) 一种用于飞行系统中头盔姿态测量的硬件平台
CN107357316A (zh) 一种控制无人驾驶飞机锁定特定区域获取照片的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310051 Hall 5, building 1, building 2, no.700 Dongliu Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230707

Address after: No.555, Qianmo Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Hikvision Digital Technology Co.,Ltd.

Address before: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou Hikvision Robot Co.,Ltd.