CN115035425A

CN115035425A - 一种基于深度学习的目标识别方法、系统、电子设备及存储介质

Info

Publication number: CN115035425A
Application number: CN202210636933.4A
Authority: CN
Inventors: 费国通
Original assignee: Beijing Gengtu Technology Co ltd
Current assignee: Beijing Gengtu Technology Co ltd
Priority date: 2022-06-07
Filing date: 2022-06-07
Publication date: 2022-09-09
Anticipated expiration: 2042-06-07
Also published as: CN115035425B

Abstract

本申请涉及一种基于深度学习的目标识别方法、系统、电子设备及存储介质，其属于涉及图像处理的技术领域，其中方法包括：接收图像采集终端上传的待测图像，所述待测图像携带有当前位置信息；基于预设的目标识别模型，确定所述待测图像中的标记目标及对应的目标类型；确定预存储的所述目标类型对应的移动速度；根据所述移动速度和当前位置信息，计算到达预存储的标记区域所需的行径时间；基于所述移动速度及目标类型，对待测图像进行更新，生成目标标记图；向用户发送所述目标标记图。本申请具有减少用户工作量的效果。

Description

一种基于深度学习的目标识别方法、系统、电子设备及存储介质

技术领域

本申请涉及图像处理的技术领域，尤其是涉及一种基于深度学习的目标识别方法、系统、电子设备及存储介质。

背景技术

随着无人机技术的快速发展，无人机可以根据用户的需求对目标定点拍摄。其中，目标可以是房屋、飞机、汽车等等。

相关技术中，用户可以通过与无人机关联的控制器控制无人机移动，也可以通过向无人机输入控制程序，以使无人机可以根据控制程序，按照预设的飞机轨迹，进行巡逻并拍摄图像（即待测图像），并将图像发送给用户。用户还预先设定有目标识别模型，目标识别模型可以识别图像中的用户标记过的目标（即标记目标），并框选图像中的标记目标，以便于用户判断。

在实现本申请过程中，发明人发现该技术中至少存在如下问题：

当需要确定标记目标与预存储的标记区域之间的距离时，需要用户根据机器人拍摄图像时标记目标所在位置和标记区域的所在位置来计算，增加了用户的工作量。

发明内容

为了改善需要计算标记目标与标记区域之间的距离导致用户工作量增加的问题，本申请提供一种基于深度学习的目标识别方法、系统、电子设备及存储介质。

第一方面，本申请提供一种基于深度学习的目标识别方法，采用如下的技术方案：

一种基于深度学习的目标识别方法，包括：

接收图像采集终端上传的待测图像，所述待测图像携带有当前位置信息；

基于预设的目标识别模型，确定所述待测图像中的标记目标及对应的目标类型；

确定预存储的所述目标类型对应的移动速度；

根据所述移动速度和当前位置信息，计算到达预存储的标记区域所需的行径时间；

基于所述移动速度及目标类型，对待测图像进行更新，生成目标标记图；

向用户发送所述目标标记图。

通过采用上述技术方案，通过目标识别模型，确定待测图像中的标记图像，并确定标记图像所对应的目标类型。由于载具不同相应的移动速度亦不同，因此可根据目标类型的移动速度，计算标记区域与标记目标之间的行径时间，并添加到目标标记图中，以便于用户通过目标标记图了解标记目标和标记区域之间的距离和所需要的时间，减少了用户的工作量。

在一个具体的可实施方式中，所述基于预设的目标识别模型，确定所述待测图像中的待选目标及对应的目标类型，包括：

对所述待测图像进行过滤处理，得到截选图像；

基于所述截选图像中的目标轮廓，确定各截选图像中的所有待选目标；

基于预设的目标识别模型，确定所述待选目标中的标记目标及对应的目标类型。

通过采用上述技术方案，首先对待测图像进行过滤处理，有效减少目标识别装置的运算量，再通过目标识别模型，可以得到待选目标中的所有标记目标，并得到标记目标的目标类型，有助于后续生成相应的目标标记图。

在一个具体的可实施方式中，在基于所述移动速度及目标类型，对待测图像进行更新，生成目标标记图之后，还包括：

根据预设的距离范围阈值和所述当前位置信息，确定所述标记目标的阶梯范围；

将各所述阶梯范围对应的边缘框更新至目标标记图中；

根据所述移动速度，确定各所述边缘框之间的跨越时间；

将所述跨越时间更新至目标标记图中。

通过采用上述技术方案，通过在目标标记图中添加各阶梯范围对应的边缘框，并在边缘框之间添加跨越各边缘线的时间，以便于用户更加直观得到相同时间下标记目标移动的范围。

在一个具体的可实施方式中，所述根据所述移动速度和当前位置信息，计算到达预存储的标记区域所需的行径时间，包括：

根据所述当前位置信息，确定标记目标与标记区域之间的连线；

根据预设的障碍物识别模型，获取与连线重合的障碍物及相应的障碍物类型；

根据预设的目标跨越能力表和所述目标类型，针对所述障碍物类型，确定所述标记目标的跨越等级；

若所述跨越等级大于或等于预设的跨越阈值，则计算所述连线所对应的移动距离，并根据所述移动速度，计算所述移动距离所需的行径时间；

否则，获取所述待测图像中的障碍物的边缘轮廓；

根据所述边缘轮廓、移动速度以及当前位置信息，计算到达预存储的标记区域所需的行径时间。

通过采用上述技术方案，由于一些载具是可以跨越地形，因此根据目标跨越能力表，确定标记目标的跨越等级，并确定标记目标是否可以跨越与连线重合的障碍物，减少目标识别装置默认载具无法跨越导致得到的行径时间的时间较长的情况，有效提高目标识别装置预估载具实际移动时间的准确性。

在一个具体的可实施方式中，所述根据所述边缘轮廓、移动速度以及当前位置信息，计算到达预存储的标记区域所需的行径时间，包括：

获取沿各所述边缘轮廓生成的待选框；

基于所述连线，对所述待选框进行划分处理，得到以连线为一边的若干划分框；

获取各所述划分框的覆盖面积，选取覆盖面积最小的划分框作为选定框；

获取所述选定框距离连线最远的点作为基准点，并生成位于所述基准点上且与连线平行的基准线；

根据所述选定框的边框拐点，获取垂直于所述基准线的边缘线；

获取所述基准线和边缘线的交点；

根据所述交点、移动速度以及当前位置信息，计算到达预存储的标记区域所需的行径时间。

通过采用上述技术方案，由于连线可以将障碍物划分成二个或者多个的区域（即划分框），因此目标识别装置可以选取覆盖面积最小的划分框（即选定框）。再确定选定框离连线最远的点（即基准点）和基准线，并得到与边框拐点对应的边缘线，通过边缘线和基准线的交点及连线，可以构成围绕划分框的最小方框，有助于得到跨越障碍物的路程最短的路线，进而得到更加精确的行径时间。

在一个具体的可实施方式中，所述获取各所述划分框的覆盖面积，选取覆盖面积最小的划分框作为选定框，包括：

根据所述连线，构建直角坐标系，得到各划分框的中心点坐标；

根据所述中心点坐标，确定同向的划分框作为关联框，并得到关联整合框；

获取各所述关联整合框的覆盖面积，选取关联整合框最小的划分框作为选定框。

通过采用上述技术方案，由于连线可以将障碍物划分成二个或者多个的区域（即划分框），因此可以构建直角坐标系，并通过中心点坐标，确定处于同一向的划分框，同一向的划分框作为关联框，当关联框整合的覆盖面积最小时，确定该关联整合框为选定框，有效提高了标记目标移动到标记区域的实际距离的准确性。

确定预存储的所述标记目标所关联的历史位置信息；

根据所述当前位置信息和历史位置信息，确定所述标记目标的移动方向；

根据所述移动方向和预设的偏转角度，生成移动范围；

基于所述移动范围，剔除预存储的标记区域中的反向标记区域。

通过采用上述技术方案，目标识别装置确定标记目标的历史位置信息，并和当前位置信息进行比较，可以确定目标移动的反向，再根据预设的偏转角度，生成相应的移动范围，剔除标记区域中的在移动范围之外的反向标记区域，有效减少目标识别装置的计算量。

第三方面，本申请提供一种电子设备，采用如下的技术方案：

可选的，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的一种基于深度学习的目标识别方法。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

可选的，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的一种基于深度学习的目标识别方法。

综上所述，本申请包括以下至少一种有益技术效果：

1.通过目标识别模型，确定待测图像中的标记图像，并确定标记图像所对应的目标类型。由于载具不同相应的移动速度亦不同，因此可根据目标类型的移动速度，计算标记区域与标记目标之间的行径时间，并添加到目标标记图中，以便于用户通过目标标记图了解标记目标和标记区域之间的距离和所需要的时间，减少了用户的工作量；

2.首先对待测图像进行过滤处理，有效减少目标识别装置的运算量，再通过目标识别模型，可以得到待选目标中的所有标记目标，并得到标记目标的目标类型，有助于后续生成相应的目标标记图；

3.通过在目标标记图中添加各阶梯范围对应的边缘框，并在边缘框之间添加跨越各边缘线的时间，以便于用户更加直观得到相同时间下标记目标移动的范围。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例的一种基于深度学习的目标识别装置的结构框图。

图2是本申请实施例的一种基于深度学习的目标识别方法的流程示意图。

图3是本申请实施例的一种基于深度学习的目标识别装置的流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供了一种基于深度学习的目标识别方法，该方法可以应用于一种基于深度学习的目标识别装置中。体现一种基于深度学习的目标识别装置的框架结构可如图1所示，具体来说，该方法的执行主体可以是服务器，并由无人机和用户端辅助实现，用户端可以是计算机，可以是手机，也可以是平板。用户可以通过服务器在无人机中预先设定飞行的时间、路径、高度等等，无人机即可在规定的路径中巡逻并拍摄照片（即待测图像）反馈给服务器，服务器识别待测图像中的载具（即标记目标），服务器将识别到的载具反馈给用户端，以使用户通过用户端了解该载具的行径的路线等等。

下面将结合具体实施方式，对图2所示的处理流程进行详细的说明，内容可以如下：

步骤201，接收图像采集终端上传的待测图像，待测图像携带有当前位置信息。

实施中，无人机在拍摄时可根据无人机内置GPS确定当前的位置（即当前位置信息），无人机将图像（即待测图像）和当前的位置打包发送给服务器。服务器接收无人机（即图像采集终端）上传的待测图像，待测图像携带有当前位置信息。

步骤202，基于预设的目标识别模型，确定待测图像中的标记目标及对应的目标类型。

其中，服务器预先设定有目标识别模型，目标识别模型可以通过神经网络对各载具的图片或者视频训练得到。

实施中，服务器在接收到待测图像时，待测图像输入至预设的目标识别模型中，目标识别模型提取待测图像中的标记目标，并确定标记目标的目标类型，目标类型具体例如：普通汽车、水陆两栖汽车、飞机等等。

可选的，为了减少对待测图像中的背景部分进行处理，步骤202具体包括以下内容：

实施中，服务器对待测图像中的背景部分进行过滤处理，得到截选图像。由于各个不同载具在图像中与其他的环境或者载具存在有灰度差，服务器通过灰度差确定截选图像中的各载具轮廓（即目标轮廓），即可确定各截选图像中的所有待选目标。再基于预设的目标识别模型，确定待选目标中的标记目标及对应的目标类型。

步骤203，确定预存储的目标类型对应的移动速度。

其中，服务器预先存储有针对不同载具的实际行驶速度（即移动速度）。

实施中，服务器确定预存储的目标类型对应的移动速度。

步骤204，根据移动速度和当前位置信息，计算到达预存储的标记区域所需的行径时间。

其中，服务器预先存储有标记区域，标记区域可以是技术人员存储在服务器中较为重要的地区的位置。

实施中，服务器根据载具所对应的移动速度和当前位置信息，计算标记目标与各标记区域之间的距离，并根据移动速度，计算该距离所需要的行径时间。

进一步的，为了减少标记目标和标记区域之间存在障碍物影响行径时间准确性的情况，步骤204具体内容可以是：

其中，服务器预先设定有障碍物识别模型，障碍物识别模型可以通过神经网络对各种障碍物进行训练得到的，以使服务器得到障碍物所对应的障碍物类型，其中，障碍物类型具体例如：河流、悬崖、山峰等等。服务器还预先设定有目标跨越能力表，目标跨越能力表用于针对不同的障碍物类型对应不同的跨越等级，例如：障碍物为河流对应的跨越等级为2，障碍物为悬崖对应的跨越等级为3，障碍物为山峰对应的跨越等级为4，相应的，水陆两栖汽车的跨越等级为2，而预先设定的跨越阈值可以根据不同的障碍物类型确定的，河流相应的跨越阈值即为2。

实施中，服务器根据当前位置信息和标记区域的位置，确定标记目标与标记区域之间的连线。再根据预设的障碍物识别模型，获取与连线重合的障碍物及相应的障碍物类型。根据预设的目标跨越能力表和目标类型，针对障碍物类型，确定标记目标的跨越等级。若服务器识别到跨越等级大于或等于预设的跨越阈值，则计算连线所对应的移动距离，并根据移动速度，计算移动距离所需的行径时间，否则，获取待测图像中的障碍物的边缘轮廓，根据边缘轮廓、移动速度以及当前位置信息，计算到达预存储的标记区域所需的行径时间。

具体的，为了确定跨越障碍物的最短距离，计算到达预存储的标记区域所需的行径时间的具体内容可以是：

实施中，服务器获取沿各边缘轮廓生成的待选框，基于连线，对待选框进行划分处理，得到以连线为一边的各个待选框（即划分框）。服务器获取各划分框的覆盖面积，选取覆盖面积最小的划分框作为选定框，获取选定框距离连线最远的点作为基准点，并生成位于基准点上且与连线平行的基准线。服务器根据选定框的边框拐点，获取垂直于基准线的边缘线，获取基准线和边缘线的交点。服务器根据交点、移动速度以及当前位置信息，计算到达预存储的标记区域所需的行径时间。

进一步的，为了提高了标记目标移动到标记区域的实际距离的准确性，选取覆盖面积最小的划分框作为选定框的具体过程可以是：

实施中，服务器以连线为Y轴，以目标标记为圆心，构建直角坐标系，得到各划分框的几何中心（即中心点坐标）。服务器根据中心点坐标，确定处于同一X正半轴或者X负半轴（即同向）的划分框作为关联框，并得到组合的关联框（即关联整合框）。服务器获取各关联整合框的覆盖面积，选取关联整合框最小的划分框作为选定框。

可选的，为了减少服务器计算每一个标记区域到达标记目标所需的时间而导致运算量较大的情况，步骤204具体过程可以是：

其中，服务器预先存储有标记目标所关联的历史位置信息，历史位置信息可以是该标记目标过去的所在的位置。服务器还预先存储偏转角度，偏转角度可以是45度，可以是60度，也可以是90度。

实施中，服务器确定预存储的标记目标所关联的历史位置信息，根据当前位置信息和历史位置信息，确定标记目标的移动方向。根据移动方向和预设的偏转角度，生成移动范围。获取在移动范围以外的标记区域（即反向标记区域），即基于移动范围，剔除所有标记区域中的反向标记区域。

步骤205，基于移动速度及目标类型，对待测图像进行更新，生成目标标记图。

实施中，服务器将目标类型移动到各标记区域进行连线，并在对应的连线上添加相应的移动速度及目标类型，得到相应的目标标记图。

可选的，为了确定标记目标可移动的实际范围，在步骤205之后，具体内容可以是：

其中服务器预先设定有距离阈值范围，距离阈值范围可以是第一梯级-5km，第二梯级-10km，第三梯级-20km。

实施中，服务器根据预设的距离范围阈值和当前位置信息，以标记目标为圆心，以各梯级所对应的距离为半径，构建圆形区域，即确定标记目标的阶梯范围。服务器将各圆形区域的边缘框添加到目标标记图中，再计算各圆形区域的边缘框之间的半径差值，并根据移动速度，计算各半径差值所需的时间（即跨越时间）。服务器再将跨越时间更新至目标标记图中。

步骤206，向用户发送目标标记图。

实施中，服务器向用户发送目标标记图。

基于相同的技术构思，本申请实施例还公开一种基于深度学习的目标识别装置，如图3所示，一种基于深度学习的目标识别装置包括：

图像接收模块301，用于接收图像采集终端上传的待测图像，待测图像携带有当前位置信息；

类型确定模块302，用于基于预设的目标识别模型，确定待测图像中的标记目标及对应的目标类型；

速度确定模块303，用于确定预存储的目标类型对应的移动速度；

时间计算模块304，用于根据移动速度和当前位置信息，计算到达预存储的标记区域所需的行径时间；

标记图生成模块305，用于基于移动速度及目标类型，对待测图像进行更新，生成目标标记图；

标记图发送模块306，用于向用户发送目标标记图。

可选的，对待测图像进行过滤处理，得到截选图像；

基于截选图像中的目标轮廓，确定各截选图像中的所有待选目标；

基于预设的目标识别模型，确定待选目标中的标记目标及对应的目标类型。

可选的，阶梯范围确定模块，用于根据预设的距离范围阈值和当前位置信息，确定标记目标的阶梯范围；

阶梯范围更新模块，用于将各阶梯范围对应的边缘框更新至目标标记图中；

跨越时间确定模块，用于根据移动速度，确定各边缘框之间的跨越时间；

跨越时间更新模块，用于将跨越时间更新至目标标记图中。

可选的，连线确定模块，用于根据当前位置信息，确定标记目标与标记区域之间的连线；

障碍物获取模块，用于根据预设的障碍物识别模型，获取与连线重合的障碍物及相应的障碍物类型；

跨越等级确定模块，用于根据预设的目标跨越能力表和目标类型，针对障碍物类型，确定标记目标的跨越等级；

行径时间计算模块，用于当跨越等级大于或等于预设的跨越阈值时，计算连线所对应的移动距离，并根据移动速度，计算移动距离所需的行径时间；

边缘轮廓获取模块，用于当跨越等级小于预设的跨越阈值时，获取待测图像中的障碍物的边缘轮廓；

行径时间计算模块，用于根据边缘轮廓、移动速度以及当前位置信息，计算到达预存储的标记区域所需的行径时间。

可选的，待选框获取模块，用于获取沿各边缘轮廓生成的待选框；

划分框得到模块，用于基于连线，对待选框进行划分处理，得到以连线为一边的划分框；

选定框选取模块，用于获取各划分框的覆盖面积，选取覆盖面积最小的划分框作为选定框；

基准线生成模块，用于获取选定框距离连线最远的点作为基准点，并生成位于基准点上且与连线平行的基准线；

边缘线获取模块，用于根据选定框的边框拐点，获取垂直于基准线的边缘线；

交点获取模块，用于获取基准线和边缘线的交点；

行径时间计算模块，用于根据交点、移动速度以及当前位置信息，计算到达预存储的标记区域所需的行径时间。

可选的，中心点得到模块，用于根据连线，构建直角坐标系，得到各划分框的中心点坐标；

整合框确定模块，用于根据中心点坐标，确定同向的划分框作为关联框，并得到关联整合框；

选定框选取模块，用于获取各关联整合框的覆盖面积，选取关联整合框最小的划分框作为选定框。

可选的，历史位置确定模块，用于确定预存储的标记目标所关联的历史位置信息；

移动方向确定模块，用于根据当前位置信息和历史位置信息，确定标记目标的移动方向；

移动范围生成模块，用于根据移动方向和预设的偏转角度，生成移动范围；

标记区域剔除模块，用于基于移动范围，剔除预存储的标记区域中的反向标记区域。

本申请实施例还公开一种电子设备，电子设备包括存储器和处理器，存储器上存储有能够被处理器加载并执行如上述的一种基于深度学习的目标识别方法的计算机程序。

基于相同的技术构思，本申请实施例还公开一种计算机可读存储介质，其存储有能够被处理器加载并执行如上述的一种基于深度学习的目标识别方法的计算机程序，该计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例仅用以说明本申请的技术方案，而非对申请的保护范围进行限制。显然，所描述的实施例仅仅是本申请部分实施例，而不是全部实施例。基于这些实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所要保护的范围。

Claims

1.一种基于深度学习的目标识别方法，其特征在于，包括：

确定预存储的所述目标类型对应的移动速度；

向用户发送所述目标标记图。

2.根据权利要求1所述的一种基于深度学习的目标识别方法，其特征在于，所述基于预设的目标识别模型，确定所述待测图像中的待选目标及对应的目标类型，包括：

对所述待测图像进行过滤处理，得到截选图像；

3.根据权利要求1所述的一种基于深度学习的目标识别方法，其特征在于，在基于所述移动速度及目标类型，对待测图像进行更新，生成目标标记图之后，还包括：

将各所述阶梯范围对应的边缘框更新至目标标记图中；

根据所述移动速度，确定各所述边缘框之间的跨越时间；

将所述跨越时间更新至目标标记图中。

4.根据权利要求1所述的一种基于深度学习的目标识别方法，其特征在于，所述根据所述移动速度和当前位置信息，计算到达预存储的标记区域所需的行径时间，包括：

否则，获取所述待测图像中的障碍物的边缘轮廓；

5.根据权利要求4所述的一种基于深度学习的目标识别方法，其特征在于，所述根据所述边缘轮廓、移动速度以及当前位置信息，计算到达预存储的标记区域所需的行径时间，包括：

获取沿各所述边缘轮廓生成的待选框；

基于所述连线，对所述待选框进行划分处理，得到以连线为一边的划分框；

获取所述基准线和边缘线的交点；

6.根据权利要求5所述的一种基于深度学习的目标识别方法，其特征在于，所述获取各所述划分框的覆盖面积，选取覆盖面积最小的划分框作为选定框，包括：

7.根据权利要求1所述的一种基于深度学习的目标识别方法，其特征在于，所述根据所述移动速度和当前位置信息，计算到达预存储的标记区域所需的行径时间，包括：

确定预存储的所述标记目标所关联的历史位置信息；

根据所述移动方向和预设的偏转角度，生成移动范围；

8.一种基于深度学习的目标识别装置，其特征在于，所述装置包括：

图像接收模块，用于接收图像采集终端上传的待测图像，所述待测图像携带有当前位置信息；

类型确定模块，用于基于预设的目标识别模型，确定所述待测图像中的标记目标及对应的目标类型；

速度确定模块，用于确定预存储的所述目标类型对应的移动速度；

时间计算模块，用于根据所述移动速度和当前位置信息，计算到达预存储的标记区域所需的行径时间；

标记图生成模块，用于基于所述移动速度及目标类型，对待测图像进行更新，生成目标标记图；

标记图发送模块，用于向用户发送所述目标标记图。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。

10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。