CN117351278A - 场景内异物的识别方法、识别系统、识别装置和电子设备 - Google Patents

Abstract

本发明提供了一种场景内异物的识别方法、识别系统、识别装置和电子设备。该方法包括：获取待测场景的第一图像；获取待测场景的第二图像包括：基于第一划分策略，将待测场景划分为以光电探测设备为顶点等角度均匀分布的多个第一区域；基于第二划分策略，将每个第一区域划分为多个沿光电探测设备的拍摄方向排列的第二区域；基于每个第二区域距离光电探测设备的距离，设置拍摄第二区域需要的拍摄参数；基于拍摄参数利用光电探测设备对每个第二区域拍摄，获取多张第二区域图；通过仿射变换将多张第二区域图映射到图像模板中，得到第二图像；将第一图像和第二图像融合得到融合图像；将融合图像输入训练好的神经网络识别模型识别待测场景内的异物。

Description

场景内异物的识别方法、识别系统、识别装置和电子设备

技术领域

本发明涉及异物识别技术领域，更具体地，涉及一种场景内异物的识别方法、识别系统、识别装置和电子设备。

背景技术

场景内异物的识别方法可以用于识别操场、车辆运行轨道和机场跑道等场景中的外来物，以提高场景中人员、车辆运行或飞机运行的安全性。例如，场景内异物的识别方法可以包括机场跑道异物(Foreign Object Debris，FOD)检测，以对机场的外来物进行检测。机场的外来物可以理解为：在跑道、滑行道、停机坪地面上可能会损伤航空器、设备或者威胁机场工作人员和乘客生命安全的外来物体。

现有的场景内异物识别系统主要采用雷达探测技术与视频图像识别技术。但是，无法实现雷达和光学同时扫描探测，光学和雷达信息只能单独进行识别给出疑似目标，容易造成误报和漏报。并且，在识别装置对待测场景扫描的过程中，由于运动会出现图像模糊的现象，难以获得较为清晰的光学图像。

发明内容

为了解决上述问题的至少一个方面，本发明实施例提供一种场景内异物的识别方法、识别系统、识别装置和电子设备。

在一个方面，提供一种场景内异物的识别方法，识别方法包括：获取待测场景的第一图像，其中，所述第一图像表征为通过雷达探测设备获取的鸟瞰图；获取所述待测场景的第二图像，包括：基于第一划分策略，将所述待测场景划分为以光电探测设备为顶点等角度均匀分布的多个第一区域；基于第二划分策略，将每个所述第一区域划分为沿所述光电探测设备的拍摄方向排列的多个第二区域；基于每个所述第二区域距离所述光电探测设备的距离，分别设置拍摄所述第二区域需要的拍摄参数；基于所述拍摄参数利用所述光电探测设备对每个所述第二区域拍摄，获取多张第二区域图；以及通过仿射变换将多张第二区域图映射到图像模板中，经拼接后得到所述第二图像，其中，所述图像模板是基于所述第一区域和所述第二区域确定的，所述第二图像为鸟瞰图；将所述第一图像和所述第二图像融合得到融合图像；以及将所述融合图像输入训练好的神经网络识别模型识别所述待测场景内的异物。

根据一些示例性的实施例，所述第一划分策略为以光电探测设备为顶点，以所述光电探测设备中变焦相机的最小视场角为夹角，将所述待测场景在水平方向上划分为多个第一区域的策略。

根据一些示例性的实施例，所述第二划分策略为基于每个所述第一区域远离所述光电探测设备的第一端至所述光电探测设备的距离，将所述第一区域划分为沿所述光电探测设备至所述第一端方向排列的多个所述第二区域的策略。

根据一些示例性的实施例，所述通过仿射变换将多张第二区域图映射到图像模板中包括：截取所述第二区域图中远离所述光电探测设备一端的图像；将截取后的所述第二区域图通过仿射变换映射到图像模板中。

根据一些示例性的实施例，基于所述夹角和所述拍摄参数确定对所述第二区域图截取的截取面积，截取后的所述第二区域图为矩形。

根据一些示例性的实施例，方法还包括：在截取所述第二区域图中远离所述光电探测设备一端的图像前对多张所述第二区域图进行解码进行解码操作。

根据一些示例性的实施例，属于同一个所述第一区域的所述多个第二区域拍摄所需的拍摄参数不同，其中，靠近所述雷达探测设备的第二区域拍摄所需的视场角大于远离所述雷达探测设备的第二区域拍摄所需的视场角。

根据一些示例性的实施例，方法还包括生成所述图像模板，包括：基于所述待测场景的原始数据，生成与所述原始数据对应的原始鸟瞰图；基于所述第一区域和所述第二区域划分所述原始鸟瞰图，以得到所述图像模板。

根据一些示例性的实施例，所述融合图像的数据包括表征所述第二图像的三通道光学数据和表征所述第一图像的反射率数据。

根据一些示例性的实施例，所述获取待测场景的第一图像包括：控制所述雷达探测设备向所述待测场景发射毫米波波束；获取被所述待测场景反射回的毫米波波束；基于反射回的毫米波波束计算所述毫米波波束的反射率数据；以及基于所述反射率数据生成所述第一图像。

根据一些示例性的实施例，所述拍摄参数包括变倍和对焦参数。

根据一些示例性的实施例，所述光电探测设备包括多组光学镜片组，通过改变所述光学镜片组之间的距离调节所述对焦参数。

在另一方面，提供一种场景内异物的识别系统，包括：旋转驱动设备；雷达探测设备，设置在所述旋转驱动设备上，所述雷达探测设备被配置为生成第一图像，其中，所述第一图像表征为待测场景的鸟瞰图；光电探测设备，设置在所述旋转驱动设备上，所述光电探测设备在所述旋转驱动设备的带动下转动，所述光电探测设备被配置为获取多张第二区域图；以及处理器，分别与所述雷达探测设备和所述光电探测设备电连接，被配置为基于所述第一图像和多张所述第二区域图，执行如上述的识别方法识别待测场景内的异物。

根据一些示例性的实施例，所述旋转驱动设备带动所述雷达探测设备和所述光电探测设备每转动预设角度后停止转动，在所述光电探测设备获取多张所述第二区域图后，所述旋转驱动设备带动所述雷达探测设备和所述光电探测设备继续转动。

根据一些示例性的实施例，所述预设角度为所述光电探测设备中变焦相机的最小视场角。

根据一些示例性的实施例，所述雷达探测设备包括：毫米波发射电路，被配置为向所述待测场景发射毫米波波束；毫米波接收电路，被配置为接收被所述待测场景反射的所述毫米波波束；以及毫米波计算单元，被配置为基于所述发射的毫米波波束和所述接收的毫米波波束生成所述第一图像。

根据一些示例性的实施例，所述雷达探测设备和所述光电探测设备在所述旋转驱动设备带动下转动的角度范围为0°至180°；其中，在所述雷达探测设备跟随所述旋转驱动设备转动的同时，所述毫米波发射电路向所述待测场景发射扇形的毫米波波束，以实现距离向扫描和角度扫描。

根据一些示例性的实施例，所述识别系统还包括：补光模块，设置在所述旋转驱动设备上，所述补光模块在所述旋转驱动设备的带动下转动，所述补光模块被配置为向所述待测场景发射光束，以提高所述待测场景的亮度。

在另一方面，提供一种场景内异物的识别装置，所述识别装置包括：第一获取模块，用于获取待测场景的第一图像，其中，所述第一图像表征为通过雷达探测设备获取的鸟瞰图；第二获取模块，用于获取所述待测场景的第二图像，包括：第一划分单元，用于基于第一划分策略，将所述待测场景划分为以光电探测设备为顶点等角度均匀分布的多个第一区域；第二划分单元，用于基于第二划分策略，将每个所述第一区域划分为多个沿所述光电探测设备的拍摄方向排列的第二区域；第一设置单元，用于基于每个所述第二区域距离所述光电探测设备的距离，分别设置拍摄所述第二区域需要的拍摄参数；第一获取单元，用于基于所述拍摄参数利用所述光电探测设备对每个所述第二区域拍摄，获取多张第二区域图；以及第一映射单元，用于通过仿射变换将多张第二区域图映射到图像模板中，经拼接后得到所述第二图像，其中，所述图像模板是基于所述第一区域和所述第二区域确定的，所述第二图像为鸟瞰图；第一得到模块，用于将所述第一图像和所述第二图像融合得到融合图像；以及第一识别模块，用于将所述融合图像输入训练好的神经网络识别模型识别所述待测场景内的异物。

在又一方面，提供一种电子设备，电子设备包括：一个或多个处理器；以及存储器，被配置为存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。

根据本发明实施例，通过将待测场景划分为多个第二区域，并基于每个第二区域与光电探测设备间的距离，确定对每个第二区域的拍摄的拍摄参数，由于属于同一第一区域的多个第二区域距离光电探测设备的距离不同，因而，对第二区域拍摄的拍摄参数不同，从而拍摄得到的每张第二区域图可以是较为清晰的光学图像。在将第二区域图映射到图像模板后，可以得到较为清晰的鸟瞰图形式的第二区域图，在将鸟瞰图形式的第二区域图拼接后，可以得到较为清晰的鸟瞰图形式的第二图像。利用较为清晰的第二图像进行异物识别，可以提高异物识别精度。在将第一图像和第二图像融合，利用融合后的融合图像识别待测场景内的异物，即将雷达图像和光学图像融合后再识别异物，可以避免由于单独利用雷达图像或光学图像均无法识别异物，而遗漏异物的情况，进而可以提高识别准确度。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本发明实施例的可以应用在场景内异物的识别方法的示例性系统架构；

图2示意性示出了根据本发明实施例的场景内异物的识别方法的流程图；

图3示意性示出了根据本发明实施例的获取待测场景的第二图像的流程图；

图4示意性示出了根据本发明实施例的将待测场景划分为多个第一区域，并将其中一个第一区域划分为多个第二区域后的框图；

图5a示意性示出了根据本发明实施例的映射到图像模板前的第二区域图；

图5b示意性示出了根据本发明实施例的映射到图像模板后的第二区域像；

图6示意性示出了根据本发明实施例的确定透视变换矩阵的参数的流程图；

图7a示意性示出了根据本发明实施例的第一图像；

图7b示意性示出了示意性示出了根据本发明实施例的第二图像；

图8示意性示出了根据本发明实施例的获取待测场景的第一图像的流程图；

图9示意性示出了根据本发明实施例的场景内异物的识别系统的主视图；

图10示意性示出了根据本发明的实施例的光电探测设备包括多个拍摄装置的主视图；

图11示意性示出了根据本发明的实施例的光电探测设备包括多个拍摄装置的原理图；

图12示意性示出了根据本发明的实施例的场景内异物的识别装置的框图；

图13示意性示出了根据本发明的实施例的第二获取模块的框图；

图14示意性示出了根据本发明实施例的场景内异物的识别方法的电子设备的框图。

具体实施方式

以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

在实现本发明构思的过程中，发明人发现相关技术中至少存在如下问题：

现有的场景内异物识别系统主要采用雷达探测技术与视频图像识别技术，识别过程通常是单独使用雷达探测技术进行雷达识别或视频图像识别技术进行光学识别、先使用雷达探测技术进行雷达识别后再使用视频图像识别技术进行光学识别或者先使用视频图像识别技术进行光学识别再使用雷达探测技术进行雷达识别，但是上述过程无法实现雷达和光学同时扫描探测，光学和雷达信息只能单独进行识别给出疑似目标，对于光学识别和雷达识别单独识别均不能识别出的物体，容易造成误报和漏报。另外，在识别装置对待测场景扫描的过程中，由于运动会出现图像模糊的现象，并且在光学扫描过程中无法同时实现远近场目标的对焦扫描，因而，难以获得较为清晰的光学图像。

为了避免待测场景中异物的误报和漏报，可以将雷达图像和光学图像融合后再识别异物。并且，可以对待测场景的远近场进行分割，在光学扫描过程中，对远近场分别对焦扫描。为此，本发明实施例提出了一种场景内异物的识别方案。

图1示意性示出了根据本发明实施例的可以应用在场景内异物的识别方法、识别系统及识别装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本发明实施例的系统架构的示例，以帮助本领域技术人员理解本发明的技术内容，但并不意味着本发明实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用在场景内异物的识别方法、识别系统及识别装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本发明实施例提供的场景内异物的识别方法、识别装置。

如图1所示，根据该实施例的系统架构100可以包括雷达探测设备101、光电探测设备102、终端设备103、网络104和服务器105。网络104用以在雷达探测设备101、光电探测设备102、终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等。

用户可以使用雷达探测设备101、光电探测设备102、终端设备103通过网络104与服务器105交互，以接收或发送消息等。光电探测设备102可以是具有摄像和/或照相功能的数码摄像机、数码照相机、监控装置等(仅为示例)。雷达探测设备101可以是具有雷达扫描、扫描成像功能的雷达设备。终端设备103上可以安装有各种通讯客户端应用，例如，购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。

终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于电视、平板电脑、膝上型便携计算机和台式计算机等。

服务器105可以是提供各种服务的各种类型的服务器。例如，服务器105可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(Virtual Private Server，虚拟专用服务器)中，存在的管理难度大，业务扩展性弱的缺陷。服务器105也可以为分布式系统的服务器，或者是结合了区块链的服务器。

需要说明的是，本发明实施例所提供的场景内异物的识别方法一般可以由终端设备103执行。相应地，本发明实施例所提供的场景内异物的识别装置也可以设置于终端设备103。

备选地，本发明实施例所提供的场景内异物的识别方法一般也可以由服务器105执行。相应地，本发明实施例所提供的场景内异物的识别装置一般可以设置于服务器105中。本发明实施例所提供的场景内异物的识别方法也可以由不同于服务器105且能够与雷达探测设备101、光电探测设备102、终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地，本发明实施例所提供的场景内异物的识别装置也可以设置于不同于服务器105且能够与雷达探测设备101、光电探测设备102或终端设备103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的图像采集设备、终端设备、网络和服务器。

应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。

图2示意性示出了根据本发明实施例的场景内异物的识别方法的流程图。

如图2所示，该方法200包括执行操作S210～S240。

在操作S210，获取待测场景的第一图像。

在操作S220，获取待测场景的第二图像。

在操作S230，将第一图像和第二图像融合得到融合图像。

在操作S240，将融合图像输入训练好的神经网络识别模型识别待测场景内的异物。

图3示意性示出了根据本发明实施例的获取待测场景的第二图像的流程图。

如图3所示，获取待测场景的第二图像包括执行操作S321～S325。

在操作S321，基于第一划分策略，将待测场景划分为以光电探测设备为顶点等角度均匀分布的多个第一区域。

在操作S322，基于第二划分策略，将每个第一区域划分为沿光电探测设备的拍摄方向排列的多个第二区域。

在操作S323，基于每个第二区域距离光电探测设备的距离，分别设置拍摄第二区域需要的拍摄参数。

在操作S324，基于拍摄参数利用光电探测设备对每个第二区域拍摄，获取多张第二区域图。

在操作S325，通过仿射变换将多张第二区域图映射到图像模板中，经拼接后得到第二图像。

根据本发明的实施例，第一图像可以表征为通过雷达探测设备获取的鸟瞰图。待测场景可以是用于行驶的场所，例如，飞机场的跑道、车辆运行轨道等。第一图像可以是由雷达探测设备通过雷达扫描待测场景后，获取的鸟瞰图形式的雷达图像。第一图像可以是由雷达探测设备通过多次扫描待测场景后，将获得的多张雷达图片融合后获得的待测场景的雷达图，以降低雷达探测设备对于扁平物体或雷达波反射率低的物体误判的概率。

光电探测设备可以是具有摄像和/或照相功能的数码摄像机、数码照相机、监控装置等。第一图像可以为雷达扫描获取的雷达图像，雷达图像可以具有鸟瞰图形式特点，第二区域图是由光电探测设备获取的光学图像，基于光学成像与雷达成像的成像原理，第一图像和第二区域图可以看作是位于不同视平面得到的。

图4示意性示出了根据本发明实施例的将待测场景划分为多个第一区域，并将其中一个第一区域划分为多个第二区域后的框图。

根据本发明的实施例，将待测场景划分为以光电探测设备为顶点等角度均匀分布的多个第一区域，例如，可以如图4所示，图4中的点O可以表示为光电探测设备，每个第一区域以光电探测设备为顶点形成的夹角可以为θ。

根据本发明的实施例，将每个第一区域划分为多个沿光电探测设备的拍摄方向排列的第二区域，例如，可以如图4的中间部分所示，将图4位于中间位置的第一区域划分为7个顺次排列的第二区域。

根据本发明的实施例，在得到与同一个第一区域对应的多个第二区域后，可以根据每个第二区域距离光电探测设备的距离，设置与每个第二区域对应的拍摄参数，从而可以得到与第二区域对应的较为清晰的光学图像，即，可以获得多张第二区域图。

根据本发明的实施例，在将多张第二区域图分别映射到图像模板后，可以将第二区域图转化为鸟瞰图，因而，拼接后得到的第二图像可以为鸟瞰图。并且，由于获得的第二区域图是较为清晰的光学图像，因而，获得的第二图像可以为清晰的图像。

根据本发明的实施例，图像模板可以是基于第一区域和第二区域确定的。可以通过将待测场景的原始鸟瞰图划分为与第一区域和第二区域对应的多个区域，换言之，图像模板可以包括分别与多个第二区域对应的多个区域。在将多张第二区域图分别映射到图像模板的该多个区域上后，经过拼接，可以得到第二图像。

图5a示意性示出了根据本发明实施例的映射到图像模板前的第二区域图。图5b示意性示出了根据本发明实施例的映射到图像模板后的第二区域像。

根据本发明的实施例，可以利用透视变换矩阵通过透视变换将第二区域图映射到图像模板，从而将第二区域图转换为鸟瞰图，如图5a和图5b所示。进而可以使第二区域图与第一图像位于同一视平面，可以使拼接后得到的第二图像与第一图像位于同一视平面，进而第二图像与第一图像可以具有共同的物理坐标，以便于将第二图像和第一图像融合。由于是对于同一个待测场景获取的第一图像和第二图像，因此，第一图像与第二图像上的像素点可以存在一一对应关系，即第一图像中像素点的坐标可以与第二图像中像素点的坐标相匹配。图像模板各点坐标也可以与第一图像中像素点的坐标和第二图像中像素点的坐标相匹配。

根据本发明的实施例，可以利用在待测场景内设置已知的多种样式的异物，利用雷达探测设备和光电探测设备多次获取第一图像和第二图像，将第一图像和第二图像融合后可以获得多组融合图像，可以利用多组融合图像训练神经网络识别模型，以得到上述的训练好的神经网络识别模型。

根据本发明实施例，可以利用透视变换矩阵将由光电探测设备得到的第二区域图转换为鸟瞰图形式的第二图像，以使第二图像和由雷达探测设备获取的第一图像处于相同视平面，便于将第一图像和第二图像融合，利用融合后的融合图像识别待测场景内的异物，即将雷达图像和光学图像融合后再识别异物，可以避免由于单独利用雷达图像或光学图像均无法识别异物，而遗漏异物的情况，进而可以提高识别准确度。

根据本发明实施例，通过将待测场景划分为多个第二区域，并基于每个第二区域与光电探测设备间的距离，确定对每个第二区域的拍摄的拍摄参数，由于属于同一第一区域的多个第二区域距离光电探测设备的距离不同，因而，对第二区域拍摄的拍摄参数不同，从而拍摄得到的每张第二区域图可以是较为清晰的光学图像。在将第二区域图映射到图像模板后，可以得到较为清晰的鸟瞰图形式的第二区域图，在将鸟瞰图形式的第二区域图拼接后，可以得到较为清晰的鸟瞰图形式的第二图像。利用较为清晰的第二图像进行异物识别，可以提高异物识别精度。在将第一图像和第二图像融合，利用融合后的融合图像识别待测场景内的异物，即将雷达图像和光学图像融合后再识别异物，可以避免由于单独利用雷达图像或光学图像均无法识别异物，而遗漏异物的情况，进而可以提高识别准确度。

根据本发明实施例，第一划分策略可以为以光电探测设备为顶点(如图4中的点O)，以光电探测设备中变焦相机的最小视场角θ为夹角，将待测场景在水平方向上(如图4中的由左向右或由右向左)划分为多个第一区域的策略。通过以光电探测设备中变焦相机的最小视场角θ为夹角划分第一区域，可以提高第一区域中距离顶点最远端的拍摄清晰度。

根据本发明实施例，第二划分策略可以为基于每个第一区域的第一端至光电探测设备的距离，将第一区域划分为多个沿光电探测设备至第一端方向排列的第二区域的策略。第一区域的第一端可以是远离光电探测设备的一端。第二划分策略可以是根据不同距离下适宜的拍摄参数和每个第一区域的第一端至光电探测设备的距离，将第一区域划分为沿光电探测设备至第一端方向排列的多个第二区域的策略。

根据本发明实施例，通过仿射变换将多张第二区域图映射到图像模板中包括：截取第二区域图中远离光电探测设备一端的图像。将截取后的第二区域图通过仿射变换映射到图像模板中。例如，在还未对第二区域图截取前，距离顶点最远的第二区域图可以包括图4中1至7所示的部分，在对第二区域图截取后，距离顶点最远的第二区域图可以为图4中7所示的部分。对应的，若在还未对第二区域图截取前的第二区域图，包括图4中1至6所示的部分，在对该第二区域图截取后，该第二区域图为图4中6所示的部分。

根据本发明实施例，基于夹角和拍摄参数确定对第二区域图截取的截取面积，截取后的第二区域图为矩形。第二区域图截取的截取面积与其对应的第二区域的面积相匹配。由于拍摄后的图像为矩形图像，因而截取后的第二区域图为矩形。

根据本发明实施例，该方法还包括：在截取第二区域图中远离光电探测设备一端的图像前对多张第二区域图进行解码操作，以进一步提高图像的清晰度，并提高截取的精度。

根据本发明实施例，属于同一个第一区域的多个第二区域拍摄所需的拍摄参数不同。靠近雷达探测设备的第二区域拍摄所需的视场角大于远离雷达探测设备的第二区域拍摄所需的视场角。

根据本发明实施例，该方法还包括生成图像模板。生成图像模板包括：基于待测场景的原始数据，生成与原始数据对应的原始鸟瞰图。基于第一区域和第二区域划分原始鸟瞰图，以得到图像模板。图像模板具有鸟瞰图特征，在将多张第二区域图映射到图像模板中后，第二区域图也具有鸟瞰图特征，并且第二区域图中像素点的坐标可以与图像模板中像素点的坐标重合。

根据本发明的实施例，融合图像的数据可以包括表征第二图像的三通道光学数据和表征第一图像的反射率数据。

根据本发明的实施例，将第二图像转换为具有鸟瞰特点的第二图像后，第一图像和第二图像可以具有共同的物理坐标，将第一图像和第二图像融合后可以得到4色彩通道数据，4色彩通道数据可以分别表示为：

I₁＝O_r (1)。

I₂＝O_g (2)。

I₃＝O_b (3)。

I₄＝M (4)。

其中O_r、O_g、O_b可以分别为光学R、G、B通道数据，M可以为雷达图像的反射率数据。

根据本发明的实施例，可以利用上述4通道数据训练神经网络识别模型，神经网络识别模型可以选用具有网络结构YOLO_v4的神经网络模型或具有网络结构faster-RCNN的神经网络模型。通过实验发现采用光学数据和雷达数据融合后的4通道数据进行训练，可以具有更高的识别率和更低的误报率，通过将第一图像和第二图像融合，利用融合的融合图像输入神经网络识别模型，可以提高场景内异物识别的准确性，可以避免由雷达探测技术与视频图像识别技术单独探测形成的误判。

根据本发明实施例，可以利用透视变换矩阵将由光电探测设备得到的第二区域图转换为鸟瞰图形式的第二区域图。通过将图像模板中基于第一区域和第二区域划分得到的每个区域，对应替换为鸟瞰图形式的第二区域图，从而可以实现将多张第二区域图映射到图像模板中。

根据本发明的实施例，可以通过先确定透视变换矩阵的参数，进而确定上述的透视变换矩阵。

图6示意性示出了根据本发明实施例的确定透视变换矩阵的参数的流程图。

如图6所示，确定透视变换矩阵的参数可以包括执行操作S610～S630。

在操作S610，在第二区域图中选取多个像素点。

在操作S620，基于像素点和单点透视坐标转换公式确定逆透视变换矩阵。

在操作S630，基于逆透视变换矩阵确定透视变换矩阵的参数。

根据本发明的实施例，透视变换过程可以表示为：

其中，(x′，y′，1)可以为在第二区域图中像素点的坐标，(x，y，1)可以为透视变换后，与上述像素点位置对应的第二图像的像素点的坐标。M可以为3×3的透视变换矩阵。

根据本发明的实施例，透视变换矩阵可以表示为：

其中，A_2×2可以是仿射变换参数，T_2×1可以是平移参数，V^T可以是变换后边缘交点关系，S可以是缩放因子。

根据本发明的实施例，S可以归一化为1。在s归一化后，M包括8个未知数。

根据本发明的实施例，可以根据光电探测设备的内参和光电探测设备的安装参数构建单点透视坐标转换公式。单点透视坐标转换公式可以用于将光学图片即透视图中任一点的坐标由从像平面坐标转换为世界坐标系对应的坐标，以及逆透视图中对应的坐标。

根据本发明的实施例，光电探测设备的内参可以包括光电探测设备横向视场角、光电探测设备纵向视场角、光电探测设备横向分辨率、光电探测设备纵向分辨率等。光电探测设备的安装参数可以包括：光电探测设备安装俯仰角、光电探测设备安装高度等。

根据本发明的实施例，单点透视坐标转换公式可以如下表示：

其中，x可以是世界坐标系下的X轴坐标，y可以是世界坐标系下的Y轴坐标，u可以是透视图片中某一点的X轴坐标，v可以是透视图片中某一点的Y轴坐标，h可以是光电探测设备安装高度，M可以是光电探测设备纵向分辨率，θ可以是光电探测设备安装俯仰角，2α可以是光电探测设备纵向视场角，2β可以是光电探测设备横向视场角，N可以表示光电探测设备横向分辨率。u′表示透视图片中某一点在逆透视图中对应的X轴坐标，v′表示透视图片中某一点在逆透视图中对应的Y轴坐标，C表示重构成像的像素当量。

图7a示意性示出了根据本发明实施例的第一图像。图7b示意性示出了示意性示出了根据本发明实施例的第二图像。

根据本发明的实施例，可以在第二图像中选取4个像素点，获取4个像素点对应的坐标，以求解逆透视变换矩阵M^-1，进而可以得到透视变换矩阵M，以实现获得与第一图像对应的带有鸟瞰图效果的第二图像的目的，如图7a和图7b所示。具体求解逆透视变换矩阵M^-1过程可以如下所示。

令逆透视变换矩阵M^-1可以表示为：

其中，u′_i可以是基于单点透视坐标转换公式计算得到的第i个像素点的横坐标，v′_i可以是基于单点透视坐标转换公式计算得到的第i个像素点的纵坐标；a₁₁可以是逆透视变换矩阵第1行第1列的元素，a₁₂可以是逆透视变换矩阵第1行第2列的元素，a₁₃可以是逆透视变换矩阵第1行第3列的元素，a₂₁可以是逆透视变换矩阵第2行第1列的元素，a₂₂可以是逆透视变换矩阵第2行第2列的元素，a₂₃可以是逆透视变换矩阵第2行第3列的元素，a₃₁可以是逆透视变换矩阵第3行第1列的元素，a₃₂可以是逆透视变换矩阵第3行第2列的元素。

根据本发明的实施例，在获取光学全景图后，可以通过图像分割的方法去掉非待测场景的部分，可以通过在光学全景图上选取固定行，该行以下设为待测场景部分，以上设为背景部分。也可以采用如区域分割和深度学习分割等进行更精确地分割。

图8示意性示出了根据本发明实施例的获取待测场景的第一图像的流程图。

如图8所示，获取待测场景的第一图像可以包括执行操作S810～S840。

在操作S810，控制雷达探测设备向待测场景发射毫米波波束。

在操作S820，获取被待测场景反射回的毫米波波束。

在操作S830，基于反射回的毫米波波束计算毫米波波束的反射率数据。

在操作S840，基于反射率数据生成第一图像。

根据本发明的实施例，可以向待测场景发射92-94GHz的扇束FMCW脉冲毫米波波束，毫米波波束经待测场景反射回后可以经过下变频后采集波形并进行数据处理，例如，波形放大、滤波处理等。可以通过计算的毫米波波束的反射率数据生成第一图像。

根据本发明的实施例，拍摄参数包括变倍和对焦参数。

根据本发明的实施例，光电探测设备包括多组光学镜片组，通过改变光学镜片组之间的距离调节对焦参数。

图9示意性示出了根据本发明实施例的场景内异物的识别系统的主视图。

如图9所示，根据本发明的实施例，本发明还提供一种场景内异物的识别系统900，识别系统900可以包括旋转驱动设备910、雷达探测设备920、光电探测设备930和处理器940，识别系统900中还可以设置有电源950。

旋转驱动设备910可以包括支撑结构911和驱动机构912。支撑结构911可以用于安装雷达探测设备920、光电探测设备930和处理器940，并与地面固定相连，以保证识别系统900的稳定性。驱动机构912可以包括旋转电机和传动装置，可以通过旋转电机带动传动装置转动，进而带动雷达探测设备920和光电探测设备930转动。

根据本发明的实施例，雷达探测设备920可以设置在旋转驱动设备910上，雷达探测设备920可以在旋转驱动设备910的带动下转动，雷达探测设备920可以被配置为生成第一图像。第一图像可以表征为待测场景的鸟瞰图。

根据本发明的实施例，光电探测设备930可以设置在旋转驱动设备910上，光电探测设备930可以被配置为获取多张第二区域图。光电探测设备930可以具备变焦功能，例如可以实现30倍变焦，进而可以对待测场景实现高清拍摄，可以在不同的变倍和对焦参数下对多个第二区域进行拍摄，进而可以获取多个较为清晰的第二区域图。距离较远的第二区域可以设置为小视角拍摄，距离较近的第二区域可以设置为小视角拍摄。可以在光电探测设备转动至第二区域的中心线上后，对该第二区域进拍摄。

根据本发明的实施例，光电探测设备930可以设置为一个或多个。在光电探测设备930设置为一个的情况下，光电探测设备930可以设置在旋转驱动设备910的转动平台上，通过光电探测设备930跟随转动平台转动，可以每转动一个预设角后采集一张第二区域图。在光电探测设备930设置为多个的情况下，多个光电探测设备930可以设置在旋转驱动设备910的定平台上，可以每间隔一个预设角设置一个电探测设备930，从而可以实现不用旋转即可采集多张第二区域图。例如，多个光电探测设备930可以围绕旋转驱动设备910的中心轴线每间隔一个预设角均匀设置，从而采集不同角度的多张第二区域图。

根据本发明的实施例，处理器940可以分别与雷达探测设备920和光电探测设备930电连接，处理器940可以被配置为基于第一图像和多张第二区域图，执行如上述的识别方法识别待测场景内的异物。

根据本发明的实施例，旋转驱动设备带动雷达探测设备和光电探测设备每转动预设角度后停止转动，在光电探测设备获取多张第二区域图后，旋转驱动设备带动雷达探测设备和光电探测设备继续转动。在旋转驱动设备带动雷达探测设备转动过程中，雷达探测设备可以实时获取雷达图像，以形成第一图像。在旋转驱动设备带动光电探测设备转动预设角度后，停止转动，避免由于运动导致拍摄后的图像模糊。设置光电探测设备的拍摄参数对每个第二区域经行拍摄，以便光电探测设备获取多张较为清晰的第二区域图。并且在一次单向扫描过程中可以同时完成雷达扫描和光学扫描，可以同时获得具有高分辨的雷达图像和较为清晰的光学图像，从而可以提高识别的精度和效率。

根据本发明的实施例，预设角度可以根据光电探测设备的参数确定，例如，预设角度可以为光电探测设备中变焦相机的最小视场角θ。

如图9所示，根据本发明的实施例，雷达探测设备920可以包括毫米波发射电路921、毫米波接收电路922和毫米波计算单元923。毫米波发射电路921可以被配置为向待测场景发射毫米波波束。毫米波接收电路922可以被配置为接收被待测场景反射的毫米波波束。毫米波计算单元923可以被配置为基于发射的毫米波波束和接收的毫米波波束生成第一图像。

根据本发明的实施例，雷达探测设备920和光电探测设备930在旋转驱动设备910带动下匀速转动，转动的角度范围可以为0°至180°。在雷达探测设备920跟随旋转驱动设备910匀速转动的同时，毫米波发射电路921可以连续向待测场景发射扇形的毫米波波束，以实现距离向扫描和角度扫描。扇形的毫米波波束可以表现为水平方向的小张角和高度方向的大张角。扇形的毫米波波束向下发射的部分波束照射待测场景后，可以覆盖当前角度下从近及远的固定探测距离(如图9中A部分所示)，例如，固定探测距离可以为100m，即可以实现距离向扫描。在跟随旋转驱动设备转动时，可以以毫米级间隔连续发射和接收脉冲波束，处理器可以实时记录转动的角度信息，从而可以完成角度扫描。

根据本发明的实施例，识别系统900还包括补光模块960。补光模块960可以设置在旋转驱动设备910上，补光模块960在旋转驱动设备910的带动下转动，补光模块960被配置为向待测场景发射光束，以提高待测场景的亮度。例如，在待测场景处于较暗的环境下(如夜晚、阴天、下雾等)，补光模块960可以提供照明，以提高光电探测设备930获取光学图像的清晰度。

根据本发明的实施例，处理器940可以基于外部设备发送的指令控制整个识别系统900，例如控制雷达探测设备920发射和接收毫米波波束、控制光电探测设备930的变焦和拍摄、补光模块960的开启和关闭、旋转电机扫描以及数据采集和传输等。

根据本发明的实施例，异物的识别结果可以包括异物的角度信息、距离信息以及光学和雷达特征。优选地，可以控制旋转驱动设备910带动雷达探测设备920和光电探测设备930旋转到指定角度，调节变焦到指定距离抓拍异物的高清大图。

图10示意性示出了根据本发明的实施例的光电探测设备包括多个拍摄装置的主视图。图11示意性示出了根据本发明的实施例的光电探测设备包括多个拍摄装置的原理图。

如图10和图11所示，根据本发明的实施例，为避免由于转动引起识别系统900抖动，进而产生光学图像模糊的现象，可以使光电探测设备930包括多个定焦或变焦拍摄装置931，通过将拍摄装置931围绕支撑结构911设置，使得多个拍摄装置931可以扫描整个待测场景，进而可以实现不用旋转即可通过图像拼接方法实时生成待测场景的光学全景图，并且雷达扫描速度可以不受光学图像模糊的限制，提高识别效率。相邻拍摄装置931间形成的角度可以是上述的最小视场角。

图12示意性示出了根据本发明的实施例的场景内异物的识别装置的框图。

如图12所示，识别装置1200包括第一获取模块1210、第二获取模块1220、第一得到模块1230和第一识别模块1240。

第一获取模块1210，用于获取待测场景的第一图像。第一图像表征为通过雷达探测设备获取的鸟瞰图。

第二获取模块1220，用于获取待测场景的第二图像。

第一得到模块1230，用于将第一图像和第二图像融合得到融合图像。

第一识别模块1240，用于将融合图像输入训练好的神经网络识别模型识别待测场景内的场景内异物。

图13示意性示出了根据本发明的实施例的第二获取模块的框图。

如图13所示，第二获取模块1220包括第一划分单元1321、第二划分单元1322、第一设置单元1323、第一获取单元1324和第一映射单元1325。

第一划分单元1321，用于基于第一划分策略，将待测场景划分为以光电探测设备为顶点等角度均匀分布的多个第一区域。

第二划分单元1322，用于基于第二划分策略，将每个第一区域划分为多个沿光电探测设备的拍摄方向排列的第二区域。

第一设置单元1323，用于基于每个第二区域距离光电探测设备的距离，分别设置拍摄第二区域需要的拍摄参数。

第一获取单元1324，用于基于拍摄参数利用光电探测设备对每个第二区域拍摄，获取多张第二区域图。

第一映射单元1325，用于通过仿射变换将多张第二区域图映射到图像模板中，经拼接后得到第二图像。图像模板是基于第一区域和第二区域确定的，第二图像为鸟瞰图。

图14示意性示出了根据本发明实施例的场景内异物的识别方法的电子设备的框图。图14示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图14所示，根据本发明实施例的电子设备1400包括处理器1401，其可以根据存储在只读存储器(ROM)1402中的程序或者从存储部分1408加载到随机访问存储器(RAM)1403中的程序而执行各种适当的动作和处理。处理器1401例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1401还可以包括用于缓存用途的板载存储器。处理器1401可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1403中，存储有电子设备1400操作所需的各种程序和数据。处理器1401、ROM 1402以及RAM 1403通过总线1404彼此相连。处理器1401通过执行ROM 1402和/或RAM1403中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM 1402和RAM 1403以外的一个或多个存储器中。处理器1401也可以通过执行存储在一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。

根据本发明的实施例，电子设备1400还可以包括输入/输出(I/O)接口1405，输入/输出(I/O)接口1405也连接至总线1404。系统1400还可以包括连接至I/O接口1405的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1407；包括硬盘等的存储部分1408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至I/O接口1405。可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入存储部分1408。

根据本发明的实施例，根据本发明实施例的方法流程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1409从网络上被下载和安装，和/或从可拆卸介质1411被安装。在该计算机程序被处理器1401执行时，执行本发明实施例的系统中限定的上述功能。根据本发明的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。

根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 1402和/或RAM 1403和/或ROM 1402和RAM 1403以外的一个或多个存储器。

本发明的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本发明实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本发明实施例所提供的上述方法。

在该计算机程序被处理器1401执行时，执行本发明实施例的系统/装置中限定的上述功能。根据本发明的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1409被下载和安装，和/或从可拆卸介质1411被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高等级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，Python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。

以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。

Claims (20)

1.一种场景内异物的识别方法，其特征在于，包括：

获取待测场景的第一图像，其中，所述第一图像表征为通过雷达探测设备获取的鸟瞰图；

获取所述待测场景的第二图像，包括：

基于第一划分策略，将所述待测场景划分为以光电探测设备为顶点等角度均匀分布的多个第一区域；

基于第二划分策略，将每个所述第一区域划分为沿所述光电探测设备的拍摄方向排列的多个第二区域；

基于每个所述第二区域距离所述光电探测设备的距离，分别设置拍摄所述第二区域需要的拍摄参数；

基于所述拍摄参数利用所述光电探测设备对每个所述第二区域拍摄，获取多张第二区域图；以及

通过仿射变换将多张第二区域图映射到图像模板中，经拼接后得到所述第二图像，其中，所述图像模板是基于所述第一区域和所述第二区域确定的，所述第二图像为鸟瞰图；

将所述第一图像和所述第二图像融合得到融合图像；以及

将所述融合图像输入训练好的神经网络识别模型识别所述待测场景内的异物。

2.根据权利要求1所述的方法，其特征在于，所述第一划分策略为以光电探测设备为顶点，以所述光电探测设备中变焦相机的最小视场角为夹角，将所述待测场景在水平方向上划分为多个第一区域的策略。

3.根据权利要求1或2所述的方法，其特征在于，所述第二划分策略为基于每个所述第一区域远离所述光电探测设备的第一端至所述光电探测设备的距离，将所述第一区域划分为沿所述光电探测设备至所述第一端方向排列的所述多个第二区域的策略。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述通过仿射变换将多张第二区域图映射到图像模板中包括：

截取所述第二区域图中远离所述光电探测设备一端的图像；

将截取后的所述第二区域图通过仿射变换映射到图像模板中。

5.根据权利要求4所述的方法，其特征在于，基于所述夹角和所述拍摄参数确定对所述第二区域图截取的截取面积，截取后的所述第二区域图为矩形。

6.根据权利要求4所述的方法，其特征在于，还包括：

在截取所述第二区域图中远离所述光电探测设备一端的图像前对多张所述第二区域图进行解码操作。

7.根据权利要求1所述的方法，其特征在于，属于同一个所述第一区域的所述多个第二区域拍摄所需的拍摄参数不同，其中，靠近所述雷达探测设备的第二区域拍摄所需的视场角大于远离所述雷达探测设备的第二区域拍摄所需的视场角。

8.根据权利要求1所述的方法，其特征在于，还包括生成所述图像模板，包括：

基于所述待测场景的原始数据，生成与所述原始数据对应的原始鸟瞰图；

基于所述第一区域和所述第二区域划分所述原始鸟瞰图，以得到所述图像模板。

9.根据权利要求1所述的方法，其特征在于，所述融合图像的数据包括表征所述第二图像的三通道光学数据和表征所述第一图像的反射率数据。

10.根据权利要求1所述的方法，其特征在于，所述获取待测场景的第一图像包括：

控制所述雷达探测设备向所述待测场景发射毫米波波束；

获取被所述待测场景反射回的毫米波波束；

基于反射回的毫米波波束计算所述毫米波波束的反射率数据；以及

基于所述反射率数据生成所述第一图像。

11.根据权利要求1所述的方法，其特征在于，所述拍摄参数包括变倍和对焦参数。

12.根据权利要求11所述的方法，其特征在于，所述光电探测设备包括多组光学镜片组，通过改变所述光学镜片组之间的距离调节所述对焦参数。

13.一种场景内异物的识别系统，其特征在于，包括：

旋转驱动设备；

雷达探测设备，设置在所述旋转驱动设备上，所述雷达探测设备在所述旋转驱动设备的带动下转动，所述雷达探测设备被配置为生成第一图像，其中，所述第一图像表征为待测场景的鸟瞰图；

光电探测设备，设置在所述旋转驱动设备上，所述光电探测设备被配置为获取多张第二区域图；以及

处理器，分别与所述雷达探测设备和所述光电探测设备电连接，被配置为基于所述第一图像和多张所述第二区域图，执行如上述权利要求1至12中任一项所述的识别方法识别待测场景内的异物。

14.根据权利要求13所述的场景内异物的识别系统，其特征在于，所述旋转驱动设备带动所述雷达探测设备和所述光电探测设备每转动预设角度后停止转动，在所述光电探测设备获取多张所述第二区域图后，所述旋转驱动设备带动所述雷达探测设备和所述光电探测设备继续转动。

15.根据权利要求14所述的场景内异物的识别系统，其特征在于，所述预设角度为所述光电探测设备中变焦相机的最小视场角。

16.根据权利要求13所述的场景内异物的识别系统，其特征在于，所述雷达探测设备包括：

毫米波发射电路，被配置为向所述待测场景发射毫米波波束；

毫米波接收电路，被配置为接收被所述待测场景反射的所述毫米波波束；以及

毫米波计算单元，被配置为基于所述发射的毫米波波束和所述接收的毫米波波束生成所述第一图像。

17.根据权利要求16所述的场景内异物的识别系统，其特征在于，所述雷达探测设备和所述光电探测设备在所述旋转驱动设备带动下转动的角度范围为0°至180°；

其中，在所述雷达探测设备跟随所述旋转驱动设备转动的同时，所述毫米波发射电路向所述待测场景发射扇形的毫米波波束，以实现距离向扫描和角度扫描。

18.根据权利要求13所述的场景内异物的识别系统，其特征在于，所述识别系统还包括：

补光模块，设置在所述旋转驱动设备上，所述补光模块在所述旋转驱动设备的带动下转动，所述补光模块被配置为向所述待测场景发射光束，以提高所述待测场景的亮度。

19.一种场景内异物的识别装置，其特征在于，包括：

第一获取模块，用于获取待测场景的第一图像，其中，所述第一图像表征为通过雷达探测设备获取的鸟瞰图；

第二获取模块，用于获取所述待测场景的第二图像，包括：

第一划分单元，用于基于第一划分策略，将所述待测场景划分为以光电探测设备为顶点等角度均匀分布的多个第一区域；

第二划分单元，用于基于第二划分策略，将每个所述第一区域划分为多个沿所述光电探测设备的拍摄方向排列的第二区域；

第一设置单元，用于基于每个所述第二区域距离所述光电探测设备的距离，分别设置拍摄所述第二区域需要的拍摄参数；

第一获取单元，用于基于所述拍摄参数利用所述光电探测设备对每个所述第二区域拍摄，获取多张第二区域图；以及

第一映射单元，用于通过仿射变换将多张第二区域图映射到图像模板中，经拼接后得到所述第二图像，其中，所述图像模板是基于所述第一区域和所述第二区域确定的，所述第二图像为鸟瞰图；

第一得到模块，用于将所述第一图像和所述第二图像融合得到融合图像；以及

第一识别模块，用于将所述融合图像输入训练好的神经网络识别模型识别所述待测场景内的异物。

20.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

存储器，被配置为存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1～12中任一项所述的方法。