CN106339691A - 对物体进行标注的方法及装置 - Google Patents

Abstract

本发明实施例提供对物体进行标注的方法及装置。该对物体进行标注方法包括：无人机获取全景图像，发送所述全景图像给所述辅助驾驶设备。辅助驾驶设备接收所述全景图像，对所述全景图像进行视觉场景分析，获得所述全景图像下的场景及物体。辅助驾驶设备对所述全景图像对应场景下的物体进行目标识别。在存在目标物体时，所述辅助驾驶设备显示包括所述目标物体的图像画面，对所述图像画面中的物体进行标注。该方法可实时获取全景图像，保证无人机周围所有视野均被监控，同时能标注出无人机所处场景下的目标物体，为无人机的辅助驾驶提供参考，便于操作人员规避目标物体。

Description

对物体进行标注的方法及装置

技术领域

本发明涉及无人机辅助驾驶领域，具体而言，涉及一种对物体进行标注的方法及装置。

背景技术

在现有技术中，无人机辅助驾驶主要通过陀螺仪、GPS、空速头等传感器的方式来获取无人机驾驶所需的数据信息，以使辅助驾驶人员通过上述数据信息对无人机进行操作，从而保证无人机飞行姿态的平稳，以及实现空间位置的转移等功能。

但在现有技术下，驾驶员无法实时对无人机周围环境全方位监控，同时也没有精力对全方位的情况作出反应，因此现有技术下存在三个重大缺陷：

1.无法有效动态障碍规避：

现实场景复杂多变，远程控制无人机，在改变行驶方向等情况下，往往容易忽略侧翼的场景情况。

2.无法规避空中突然出现飞鸟等动态障碍物；

现实场景复杂多变，远程控制无人机，即使在开阔的空域行进，对于突如其来的飞鸟等物体，由于操作人员不能提前感知，无法有效的作出规避反应。

3.无法有效躲避复杂建筑等静态障碍物；

无人机经过复杂的建筑结构，或者丛林等地带，很难对环境以及周围物体作出很好的评估，因此即使人工操作，也很难有效躲避障碍物。

如何使无人机的辅助驾驶员注意到周边障碍物，以便于控制无人机有效躲避障碍，更好地辅助驾驶，对本领域的技术人员而言是急需要解决的技术问题。

发明内容

为了克服现有技术中的上述不足，本发明一较佳实施例的目的在于提供一种对物体进行标注的方法，该方法应用于相互通信连接的无人机及辅助驾驶设备，包括：

无人机获取全景图像，发送所述全景图像给辅助驾驶设备；

辅助驾驶设备接收所述全景图像，对所述全景图像进行视觉场景分析，获得所述全景图像下的场景及物体；

辅助驾驶设备对所述全景图像对应场景下的物体进行目标识别；

在存在目标物体时，所述辅助驾驶设备显示包括所述目标物体的图像画面，对所述图像画面中的物体进行标注。

本发明另一较佳实施例还提供一种对物体进行标注的方法，该方法应用于与无人机通信连接的辅助驾驶设备，包括：

辅助驾驶设备接收由所述无人机获取全景图像；

辅助驾驶设备对所述全景图像进行视觉场景分析，获得所述全景图像下的场景及物体；

辅助驾驶设备对所述全景图像对应场景下的物体进行目标识别；

在存在目标物体时，显示包括所述目标物体的图像画面，对所述图像画面中的物体进行标注。

本发明另一较佳实施例还提供一种对物体进行标注的装置，该装置应用于与无人机通信连接的辅助驾驶设备，包括：

接收模块，用于接收由所述无人机获取的全景图像；

视觉场景分析模块，用于对所述全景图像进行视觉场景分析，获得所述全景图像下的场景及物体；

目标识别模块，用于对所述全景图像对应场景下的物体进行目标识别；

显示模块，用于在存在目标物体时，显示包括所述目标物体的图像画面，对所述图像画面中的物体进行标注。

相对于现有技术而言，本发明实施例提供的对物体进行标注的方法及装置，运用全景光学图像识别技术获取全景图像；辅助驾驶设备对所述图像进行场景分析和物体目标识别，判断出目标物体，通过对识别出的目标物体进行跟踪识别，记录探测距离结果；辅助驾驶设备根据探测结果对所述全景图像画面中的物体进行标注、警示。由此可实时获取无人机四周的全景图像，保证无人机周围所有视野均被监控，同时能标注出无人机所处的场景及遇到的目标物体，能够有效地辅助无人机的驾驶。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的无人机与辅助驾驶设备的交互示意图。

图2为本发明实施例提供的辅助驾驶设备的方框示意图。

图3为本发明第一实施例提供的对物体进行标注的方法的流程图。

图4为本发明第二实施例提供的对物体进行标注的方法的流程图。

图5为本发明第三实施例提供的对物体进行标注的装置的功能模块框图。

图标：100-无人机；200-辅助驾驶设备；220-对物体进行标注的装置；211-存储器；212-存储控制器；213-处理器；214-外设接口；215-输入输出单元；217-显示单元；219-通信单元；2201-接收模块；2202-视觉场景分析模块；2203-目标识别模块；2204-显示模块；300-网络。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，是本发明较佳实施例提供的无人机100与辅助驾驶设备200通信的交互示意图。所述无人机100可通过网络300与所述辅助驾驶设备200进行通信，以实现无人机100与辅助驾驶设备200之间的数据通信或交互。

所述无人机100可以是，但不限于，多旋翼无人机、固定翼无人机、伞翼无人机等等。所述无人机100上可以安装有自动驾驶仪、控制装置等硬件设备。

所述无人机100包括机身、机翼。机身内设有驱动装置、无线通讯装置、电源等等。无线通讯装置用于所述无人机100与所述辅助驾驶设备200进行数据通信。比如，所述无人机100的飞行信息可以通过无线通讯装置传送给所述辅助驾驶设备200。所述无人机100也可以通过无线通讯装置接收所述辅助驾驶设备200发送的控制命令。

所述无人机100上设置有云台，用于搭载其他设备，如图像采集装置(比如，光学摄像头)、测距仪器(比如，雷达)等。通过改变云台的方向，可以改变图像采集的视野和测距的范围。

请参照图2，图2为所述辅助驾驶设备200的方框示意图。所述辅助驾驶设备200包括对物体进行标注的装置220、存储器211、存储控制器212、处理器213、外设接口214、输入输出单元215、显示单元217以及通信单元219。

所述存储器211、存储控制器212、处理器213、外设接口214、输入输出单元215、显示单元217以及通信单元219各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述对物体进行标注的装置220包括至少一个可以软件或固件(firmware)的形式存储于所述存储器211中或固化在所述辅助驾驶设备200的操作系统(operating system，OS)中的软件功能模块。所述处理器213用于执行所述存储器211中存储的可执行模块，例如所述对物体进行标注的装置220所包括的软件功能模块及计算机程序等。

所述存储器211可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器211用于存储程序或者数据。所述通信单元219用于通过所述网络300建立所述无人机100与所述辅助驾驶设备200之间的通信连接，并用于通过所述网络300收发数据。

所述处理器213可以是一种集成电路芯片，具有对信号的处理能力。所述的处理器213可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述外设接口114将各种输入/输出装置(例如输入输出单元215及显示单元217)耦合至所述处理器213以及所述存储器211。在一些实施例中，所述外设接口214、处理器213以及存储控制器212可以在单个的芯片中实现。在其他的一些实例中，它们可以分别由独立的芯片实现。

所述输入输出单元215用于提供给用户输入控制指令以实现用户通过所述辅助驾驶设备200对所述无人机100的远程控制。所述输入输出单元215可以是，但不限于，鼠标和键盘等。

所述显示单元217在所述辅助驾驶设备200与用户之间提供一个交互界面(例如用户操作界面)用于显示无人机100的飞行状态信息。在本实施例中，所述显示单元217可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处产生的触控操作，并将该感应到的触控操作交由所述处理器213进行处理和计算。

所述通信单元219用于通过所述网络300与所述无人机100的无线通讯装置建立连接，从而实现所述无人机100与辅助驾驶设备200之间的通信连接。例如，该通信单元219可以利用射频信号连接到网络300，进而通过网络300与无人机100的无线通信装置建立通信连接。

第一实施例

请参照图3，图3是本发明第一实施例提供的对物体进行标注的方法的流程图，所述方法应用于相互通信连接的无人机100及辅助驾驶设备200。下面对物体进行标注的方法具体流程进行详细阐述。

步骤S111，无人机100获取全景图像，发送全景图像给辅助驾驶设备200。

在本实施例中，所述无人机100上可以通过设置两个全景光学相机进行所述无人机100周边全景图像的采集。具体地，所述两个全景光学相机的设置位置可以是相对的，以便于实现无死角的图像采集。在本实施例中，优选地，其中一个全景光学相机设置于所述无人机100的螺旋桨一侧用于获取天空的图像，另一个全景光学相机设置于素数无人机100的腹部用于获取地面的图像。在设置全景光学相机时，还应避免所述无人机100的自身部件遮挡所述全景光学相机的图像采集视野。将两个全景光学相机采集的图像进行合并，即得到所述无人机100的全景图像。将获取的全景图像再通过无线通讯装置传送给辅助驾驶设备200。

步骤S112，辅助驾驶设备200接收全景图像，对全景图像进行视觉场景分析，获得全景图像下的场景和物体。

在本实施例中，辅助驾驶设备200采用深度学习的神经网络算法对所述全景图像进行视觉场景分析，以获得所述全景图像下的场景及物体。

其中，所述深度学习的神经网络算法是模式识别中常见的识别算法。通过所述深度学习的神经网络算法所述辅助驾驶设备200可以分辨出无人机所处的场景(比如，天空、城市或沙漠等)。同时还可以识别出该场景下的物体(比如，人、动物及电杆等)。

步骤S113，所述辅助驾驶设备200对所述全景图像对应场景下的物体进行目标识别。

在所述辅助驾驶设备200进行视觉场景分析后，所述辅助驾驶设备200对所述场景中的物体进行目标识别。

具体地，在本实施例中，所述辅助驾驶设备200与一数据库连接，所述数据库预先存储了目标物体的信息。所述辅助驾驶设备200可获得所述数据库中的存储的数据信息。

在对物体进行目标识别的过程中，将所述全景图像对应场景下的物体与所述数据库中预先存储的所述目标物体进行比对，以识别出所述目标物体。当比对成功时则表明存在目标物体，反之，则不存在。例如，公安机关在获取的场景中对犯罪嫌疑人进行识别。

步骤S114，在存在目标物体时，所述辅助驾驶设备200显示包括所述目标物体的图像画面，对所述图像画面中的物体进行标注。

在本实施例中，所述无人机100上设置有云台，所述连续波雷达固定连接在所述云台上，其中，所述连续波雷达为连续发射电磁波的雷达。连续波雷达具有对相当距离内的具有任何速度的目标进行测速的特点。本实施例可以采用毫米连续波雷达进行目标物体的距离探测，毫米波的波长介于厘米波和光波之间，因此毫米波兼有微波制导和光电制导的优点，具有体积小、质量轻、空间分辨率高、穿透能力强、抗干扰性好的特点。

所述无人机100在接收到所述辅助驾驶设备200发送的目标物体所在的方位后，调整所述云台使所述毫米连续波雷达对准所述目标物体所在的方位。当所述连续波雷达对准所述目标物体后，所述连续波雷达对所述目标物体进行距离探测，得到所述目标物体与所述无人机100之间的距离。

在本实施例中，对所述图像画面中的物体进行标注的方式可以是通过图像处理技术(比如，边缘检测算法)获得物体的轮廓，并采用几何图形将物体的轮廓包围的方式对所述物体进行标注。

所述辅助驾驶设备200根据所述无人机100传输回的所述物体信息，在所述图像画面中的所述物体的标注位置处标注显示所述物体的名称及所述物体与所述无人机100之间的距离。

具体地，辅助驾驶设备200可以采用不同颜色的矩形框对所述图像画面中的不同物体进行标注。当存在所述目标物体时，所述辅助驾驶设备200对显示的所述图像画面中的所述目标物体添加警示标注。其中，所述警示标注可以是高亮的文字信息或者颜色信息。

第二实施例

请参照图4，图4是本发明第二实施例提供的对物体进行标注的方法的流程图，所述方法应用于与无人机100通信连接的辅助驾驶设备200。下面对物体进行标注的方法具体流程进行详细阐述。

步骤S121，接收由无人机100获取的全景图像。

具体地，无人机100通过全景光学相机获取全景图像后，将全景图像的数据传给辅助驾驶设备200。

步骤S122，对全景图像进行视觉场景分析，获得全景图像下的场景及物体。

在本实施例中，辅助驾驶设备200采用深度学习的神经网络算法对所述全景图像进行视觉场景分析，以获得所述全景图像下的场景及物体。

其中，所述深度学习的神经网络算法是模式识别中常见的识别算法。通过所述深度学习的神经网络算法所述辅助驾驶设备200可以分辨出无人机所处的场景(比如，天空、城市或沙漠等)。同时还可以识别出该场景下的物体(比如，人、动物及电杆等)。

步骤S123，对所述全景图像对应场景下的物体进行目标识别。

具体地，有一数据库预先存储了不同场景及对应的目标物体的信息。所述辅助驾驶设备200对所述场景中的物体进行目标识别时，将所述全景图像对应场景下的物体与所述数据库中预先存储的目标物体进行比对，当比对成功时则表明存在目标物体，反之，则不存在。

若查找到目标物体，所述辅助驾驶设备200通过使用毫米连续波雷达发送目标物体的方位信息给所述无人机100，由所述无人机100根据所述目标物体的方位探测所述目标物体所在范围内各物体与无人机100之间的距离。辅助驾驶设备200接收所述无人机100发送回的所述探测距离结果。

步骤S124，在存在目标物体时，显示包括所述目标物体的图像画面，对所述图像画面中的物体进行标注。

具体地，辅助驾驶设备200采用不同颜色的矩形框对所述图像画面中的不同物体进行标注。在不同物体的标注位置处显示物体的名称及物体与所述无人机的距离信息。若存在所述目标物体时，所述辅助驾驶设备200还需在显示的所述图像画面中的对所述目标物体添加警示标注。

第三实施例

请参照图5，图5为本发明第三实施例提供的一种对物体进行标注的装置220，所述装置应用于与无人机100通信连接的辅助驾驶设备200。该装置220包括：接收模块2201、视觉场景分析模块2202、目标识别模块2203及显示模块2204。

所述接收模块2201用于执行第二实施例中的步骤S121，用于接收由所述无人机100获取的全景图像。

所述视觉场景分析模块2202用于执行第二实施例中的步骤S122，用于对所述全景图像进行视觉场景分析，获得所述全景图像下的场景及物体。视觉场景分析模块2202采用基于深度学习的神经网络算法，对接收到的全景图像进行分析，获得全景图像下的场景及物体。

所述目标识别模块2203用于执行第二实施例中的步骤S123，用于对所述全景图像对应场景下的物体进行目标识别。

在存在目标物体时，发送目标物体的方位信息给无人机100，由无人机100根据目标物体的方位及探测的目标物体与无人机100之间的距离，靠近目标物体。

所述显示模块2204用于执行第二实施例中的步骤S124，用于在存在目标物体时，显示包括所述目标物体的图像画面，对所述图像画面中的物体进行标注。

综上所述，本发明实施例提供的对物体进行标注的方法及装置，通过设置在无人机上的全景光学相机，运用全景光学图像识别技术获取全景图像；辅助驾驶设备对所述图像进行场景分析和物体目标识别，判断出具有危险目标的物体，通过运用毫米连续波雷达对识别出的目标物体进行跟踪识别，记录探测距离结果；辅助驾驶设备根据探测结果对所述全景图像画面中的物体进行标注、报警。由此可实时获取无人机上方、下方全景图像，保证无人机周围所有视野均被监控，标注出无人机所处的场景，能够有效地规避障碍，例如，规避空中突然出现的飞鸟等动态障碍物以及有效躲避复杂建筑等静态障碍物。同时能标注识别出的危险目标物体，能够有效地辅助无人机的驾驶。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种对物体进行标注的方法，应用于相互通信连接的无人机及辅助驾驶设备，其特征在于，所述方法包括：

所述无人机获取全景图像，发送所述全景图像给所述辅助驾驶设备；

所述辅助驾驶设备接收所述全景图像，对所述全景图像进行视觉场景分析，获得所述全景图像下的场景及物体；

所述辅助驾驶设备对所述全景图像对应场景下的物体进行目标识别；

在存在目标物体时，所述辅助驾驶设备显示包括所述目标物体的图像画面，对所述图像画面中的物体进行标注。

2.如权利要求1所述的对物体进行标注的方法，其特征在于，所述方法还包括：

在存在目标物体时，所述辅助驾驶设备对显示的所述图像画面中的目标物体添加警示标注。

3.如权利要求1所述的对物体进行标注的方法，其特征在于，所述方法还包括：

所述无人机对所述目标物体所在的方位进行距离探测，得到所述目标物体所在范围内各物体与无人机之间的距离，将所述距离发送给所述辅助驾驶设备。

4.如权利要求3所述的对物体进行标注的方法，其特征在于，所述方法还包括：

所述辅助驾驶设备在所述图像画面中的物体的标注位置处显示物体的名称及物体与所述无人机之间的距离。

5.如权利要求3中所述的对物体进行标注的方法，其特征在于，在所述无人机对所述目标物体所在的方位进行距离探测，得到所述目标物体与所述无人机之间的距离的步骤中：

所述无人机通过安装于所述无人机上的连续波雷达进行距离探测。

6.一种对物体进行标注的方法，应用于与无人机通信连接的辅助驾驶设备，其特征在于，所述方法包括：

接收由所述无人机获取全景图像；

对所述全景图像进行视觉场景分析，获得所述全景图像下的场景及物体；

对所述全景图像对应场景下的物体进行目标识别；

在存在目标物体时，显示包括所述目标物体的图像画面，对所述图像画面中的物体进行标注。

7.如权利要求6所述的对物体进行标注的方法，其特征在于，所述方法还包括：

将不同场景下对应的目标物体信息预先存储在一数据库中；

在所述全景图像对应场景下的物体进行目标识别的步骤中，

将所述全景图像对应场景下的物体与所述数据库中预先存储的目标物体进行比对。

8.如权利要求6所述的对物体进行标注的方法，其特征在于，所述方法还包括：

发送目标物体的方位信息给所述无人机，由所述无人机根据所述目标物体的方位探测所述目标物体所在范围内各物体与无人机之间的距离；

接收所述无人机发送所述目标物体所在范围内各物体与无人机之间的距离。

9.如权利要求8所述的对物体进行标注的方法，其特征在于，所述对所述图像画面中的物体进行标注的步骤包括:

采用不同颜色的矩形框对所述图像画面中的不同物体进行标注；

在不同物体的标注位置处显示物体的名称及物体与所述无人机的距离。

10.一种对物体进行标注的装置，应用于与无人机通信连接的辅助驾驶设备，其特征在于，所述装置包括：

接收模块，用于接收由所述无人机获取的全景图像；

视觉场景分析模块，用于对所述全景图像进行视觉场景分析，获得所述全景图像下的场景及物体；

目标识别模块，用于对所述全景图像对应场景下的物体进行目标识别；

显示模块，用于在存在目标物体时，显示包括所述目标物体的图像画面，对所述图像画面中的物体进行标注。