CN111783522B - 物体检测系统、方法、装置及设备 - Google Patents

Abstract

本申请实施例提供一种物体检测系统、方法、装置及设备。在检测系统中，基于多种不同波长的单色光交替照射目标区域时，可使得目标区域中光吸收能力不同的物体表现不同的光学特性。图像采集设备对目标区域进行拍摄，可获取到目标区域在不同波长的单色光照射下的多张图像。多张图像中，具有不同光学特性的物体呈现出较为显著的差异，基于该多张图像进行物体检测，可有效地提升物体检测的灵敏度和准确性，提升物体检测的效率。

Description

物体检测系统、方法、装置及设备

技术领域

本申请涉及智能检测技术领域，尤其涉及一种物体检测系统、方法、装置及设备。

背景技术

在机场跑道的运维的过程中，外来物的检测是关键的一环。外来物(ForeignObject Debris，FOD)，即可能损伤航空器的外来的物质、碎屑或物体。飞机滑行时，容易将FOD吸入发动机，进而导致发动机失效。

现有技术中，通常采用雷达车扫描来检测跑道跑上的外来物。但是这种方式的检测效率较低。因此，有待提出一种新的解决方案。

发明内容

本申请的多个方面提供一种物体检测系统、方法、装置及设备，用以提升物体的检测效率。

本申请实施例提供一种物体检测系统，包括：照明设备、图像采集设备以及数据处理设备；其中，所述照明设备，用于：采用多种不同波长的单色光，交替照射目标区域；所述图像采集设备，用于：拍摄所述目标区域，并将拍摄结果发送至所述数据处理设备；所述数据处理设备，用于：从所述拍摄结果中获取多张图像，所述多张图像包含所述多种不同波长的单色光交替照射下的所述目标区域；基于所述多张图像进行物体检测，以识别所述目标区域包含的第一物体。

本申请实施例还提供一种物体检测方法，包括：获取多张图像，所述多张图像包含多种不同波长的单色光交替照射下的目标区域；基于所述多张图像进行物体检测，以识别所述目标区域包含的第一物体。

本申请实施例还提供一种物体检测装置，包括：数据获取模块，用于：获取多张图像，所述多张图像包含多种不同波长的单色光交替照射下的目标区域；物体检测模块，用于：基于所述多张图像进行物体检测，以识别所述目标区域包含的第一物体。

本申请实施例还提供一种数据处理设备，包括：存储器、处理器以及通信组件；所述存储器用于存储一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令以用于：执行本申请实施例提供的物体检测方法。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时能够实现申请实施例提供的物体检测方法。

本申请实施例提供的检测系统中，基于多种不同波长的单色光交替照射目标区域时，可使得目标区域中光吸收能力不同的物体表现不同的光学特性。图像采集设备对目标区域进行拍摄，可获取到目标区域在不同波长的单色光照射下的多张图像。多张图像中，具有不同光学特性的物体呈现出较为显著的差异，基于该多张图像进行物体检测，可有效地提升物体检测的灵敏度和准确性，提升物体检测的效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一示例性实施例提供的物体检测系统的结构示意图；

图2为本申请一示例性实施例提供的照明设备和图像采集设备一体化设置的示意图；

图3为本申请另一示例性实施例提供的物体检测系统的结构示意图；

图4为本申请一示例性实施例提供的物体检测方法的流程示意图；

图5为本申请一应用场景实施例提供的物体检测方法的流程示意图；

图6为本申请一示例性实施例提供的物体检测装置的结构示意图；

图7为本申请一示例性实施例提供的数据处理装置的结构示意图图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

一种常用的检测机坪上入侵的外来异物的方法，基于雷达扫描实现。在这种方法中，通常由工作人员驾驶雷达车进行异物扫描。但是这种巡视作业的方式，一方面需要较高的人工成本，另一方面，雷达扫描的作业范围有限，异物的检测反应延迟，进而无法高效地进行异物检测。同时，雷达车本身也形成了一种侵入机坪的异物。针对上述技术问题，在本申请一些实施例中，提供了一种解决方案，以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一示例性实施例提供的物体检测系统的结构示意图，如图1所示，该物体检测系统100包括：照明设备10、图像采集设备20以及数据处理设备30。

基于物体检测系统100，可实现高效的物体检测(Object Detection)操作。其中，物体检测，指的是通过计算机来感知分析图片或者视频流中的物体，采用包围框标注检测到的物体的位置，并给出物体的类别。以下将结合物体检测系统100进行示例性说明。

在物体检测系统100中，照明设备10，主要用于：发出多种不同波长的单色光，交替照射目标区域。其中，多种不同波长的单色光交替照射，指的是，照明设备10每次只发出一种波长的光，一种波长的光照射一定时长后，切换为其他波长的光，进而呈现多种不同波长的单色光轮流照射的效果。

其中，目标区域，可包括任意需要进行物体检测的区域。在不同场景下，目标区域的实现形式不同。例如，在交通领域，目标区域可实现为飞机跑道、机坪、铁路轨道、高速公路以及无障碍道路中的至少一种。又例如，在运动领域，目标区域可实现为操场、田径场以及球场中的至少一种。当然，在其他领域中，目标区域还可实现为其他可能的形式，本实施例不做限制。

其中，照明设备10的数量可以为一个或者多个，具体可根据目标区域的面积而定，本实施例不做限制。当目标区域的面积较大时，可部署多个照明设备10，以使多个照明设备10的照射范围覆盖目标区域。在一些场景下，可对目标区域已有的照明设施进行改造，使其能够发出多种色彩交替的单色光，进而实现对已有照明设施的复用，降低物体检测系统100的硬件成本。

目标区域中的物体多种多样，不同物体的材料不同，因而导致不同物体对不同波长的单色光的吸收能力也不相同。当采用不同波长的单色光对物体进行照射时，可获取物体在不同波长的单色光照射下体现出的光学特性。基于物体在不同单色光照射下体现出的光学特性上的差异进行物体检测，可进一步提升检测算法的灵敏度和检测结果准确性。

在物体检测系统100中，图像采集设备20，主要用于：在照明设备10照射目标区域时，拍摄目标区域，并将拍摄结果发送至数据处理设备30。

其中，图像采集设备20可实现为基于CCD(Charge-coupled Device，电荷耦合元件)图像传感器或者CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器进行成像的电子设备，例如高速摄像机、旋转摄像机等。在一些场景下，可复用目标区域安装的监控摄像机，作为图像采集设备20，以降低物体检测系统100的硬件成本等。

在物体检测系统100中，数据处理设备30接收到图像采集设备20发送的拍摄结果后，可从拍摄结果中获取多张图像；其中，该多张图像包含多种不同波长的单色光交替照射下的目标区域。即，该多张图像中，每张图像对应一种波长的单色光，不同的图像在不同波长的单色光照射下拍摄得到。进而，该多张图像可反映目标区域中相同的物体在不同单色光照射下体现出的光学特性上的差异，有利于对相同的物体进行识别，并对不同的物体进行区分。

接着，数据处理设备30可基于该多张图像进行物体检测，进而，识别目标区域包含的物体。为便于描述和区分，在接下来的实施例中，将数据处理设备30检测出来的物体描述为第一物体。该“第一”并不用于对物体的数量、顺序、等级、位置等信息进行限定。第一物体可包含一个物体，或者包含多个相同的物体，或者包含多个不同的物体，视具体检测结果而定。

在不同的领域中，目标区域中检测出的物体不同。在交通领域，可从目标区域上检测出可能影响交通安全的物体。例如，对于机场运营来说，可从飞机跑道、停机坪上检测出对飞机的滑行造成安全威胁的外来物体，包括但不限于：飞机和发动机连接件，例如螺帽、螺钉、垫圈、保险丝等；机械工具，例如扳手、钳子等；飞行物品，例如乘客遗落的私人证件、钢笔、铅笔等；自然障碍物，例如野生动物、树叶、石头、沙子、冰碴儿等；机场建设材料，例如道面材料、木块、塑料或聚乙烯材料、纸制品等。

又例如，在运动领域，可从目标区域上检测出可能干扰体育运动或者对运动员的安全造成威胁的物体。例如，可从田径场中，检测出石头、沙子、金属钉、镜面物体等影响田径运动质量和安全性的物体，不再赘述。

在一些场景下，数据处理设备30可由计算机或者服务器设备实现；若实现为服务器时，其实现形态可以是常规服务器、云服务器、云主机、虚拟中心等服务器设备。其中，服务器设备的构成主要包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类型。

在另一些场景下，数据处理设备30可以使用各种应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、微中控元件、微处理器或其他电子元件实现，本实施例对此不作限制。

在物体检测系统100中，图像采集设备20以及数据处理设备30之间，可基于有线方式或者无线方式进行通信连接。其中，无线通信方式可包括蓝牙、ZigBee、红外线、WiFi(WIreless-Fidelity，无线保真技术)等短距离通信方式，也包括LORA等远距离无线通信方式，还可包括基于移动网络的无线通信方式。其中，当通过移动网络通信连接时，移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、5G、WiMax等中的任意一种，本实施例不做限制。

本实施例中，基于多种不同波长的单色光交替照射目标区域时，可使得目标区域中光吸收能力不同的物体表现不同的光学特性。图像采集设备对目标区域进行拍摄，可获取到目标区域在不同波长的单色光交替照射下的多张图像。多张图像中，具有不同光学特性的物体呈现出较为显著的差异，基于该多张图像进行物体检测，可有效地提升物体检测的灵敏度和准确性，提升物体检测的效率。

在一些可选的实施例中，照明设备10可实现为一个或者多个多波长光源。其中，每个多波长光源可基于复合光源以及多种滤光片构成。照明设备10可通过替换滤光片对复合光源进行滤光，以交替发出不同波长的单色光，不再赘述。

在另一些可选的实施例中，照明设备10可实现为一组或者多组光源，每组光源由多个不同波长的单色光源组成。每组光源中的多个单色光源可在控制单元的控制下，交替发光，进而实现多种不同波长的单色光照射目标区域的效果。可选地，当照明设备10包括多组光源时，多组光源可集成安装在一个设备上，也可以分散安装在不同设备上，本实施例不做限制。

可选地，照明设备10发出的多种不同波长的单色光，可包括：红外光、红光、黄光、绿光以及紫外光中的至少一种。

相应地，当照明设备10实现为一个或者多个多波长光源时，可根据对单色光的需求，选择红外光、红光、黄光、绿光以及紫外光对应的滤光片，并将多个滤光片和复合光源进行组合，得到一个多波长光源。

当照明设备10实现为一组或者多组光源时，可根据对单色光的需求，为每组光源选择对应发光波长的单色光源。例如，根据对红外光、红光、黄光、绿光以及紫外光的需求，可选择如下单色光源：发光波长大于760nm的光源1、发光波长为605nm的光源2、发光波长在580nm～595nm之间的光源3、发光波长在绿光500nm～560nm之间的光源4以及发光波长小于400nm的光源5。当然，上述发光波长仅用于对多个光源进行示例性说明，在一些其他可选地实施例中，还可采用其他波长的光源，实施例不做限制。

可选地，照明设备10与图像采集设备20可以为一体化设置，如图2所示。在这种情况下，可确保图像采集设备20的视场范围尽可能地被照明设备10的照明范围覆盖，进而，可在拍摄到的图像上体现较好的单色光照明效果。

在一些可选的实施例中，照明设备10，可按照设定的交替间隔，轮序发出多种不同波长的单色光。其中，交替间隔是指，相邻种单色光交替照射所需的时间间隔。例如，可以为10秒、20秒、1分钟等。该交替间隔，即为每个单色光的照射时长。在交替照射的过程中，多个单色光按照既定顺序进行交替照射，前一单色光照射一定时长后，切换为下一单色光进行照射。

在一些可选的实施例中，照明设备20对目标区域进行照射时，图像采集设备20可进行视频拍摄，并将拍摄到的视频发送至数据处理设备30。基于这种方式，可获取到连续的视频流，避免丢失部分图像。

在另一些可选的实施例中，照明设备20对目标区域进行照射时，图像采集设备20可进行多次图像拍摄。在这种场景下，图像采集设备20，可按照与该交替间隔适配的拍摄间隔拍摄目标区域，得到离散的图像。其中，拍摄间隔与该交替间隔适配，可包括：拍摄间隔与交替间隔相同，或者拍摄间隔小于交替间隔，进而，可确保在每个单色光照射的过程中，拍摄到该单色光射下的目标区域。相对于视频而言，这种拍摄图像的方式，避免产生较多的拍摄结果数据，一方面，降低了图像采集设备20的存储压力，另一方面，将离散的图像传输至数据处理设备20，有效提升了图像采集设备20与数据处理设备30之间的数据传输效率。

在一些可选的实施例中，数据处理设备30根据多张目标图像进行物体检测的操作，可基于机器学习算法实现。可选地，该机器学习算法可包括XGBoost算法、逻辑回归算法、支持向量机SVM(Support Vector Machine)算法、深度学习算法(Deep Learning)、朴素贝叶斯算法等等，本实施例包含但不限于此。

以下实施例将以深度学习算法为例，对物体检测的可选实施方式进行示例性说明。深度学习算法，是一种以人工神经网络(Neural Networks,NN)为架构，对数据进行表征学习的算法。深度学习可使用包含复杂结构或由多重非线性变换构成的多个处理层，对数据进行高层抽象，并基于高层抽象得到的特征，进行物体检测。

在基于神经网络模型进行物体检测之前，可对神经网络模型进行训练，以使神经网络学习物体的特征，并基于物体特征输出物体的位置和类型。

在神经网络模型的训练阶段，可选地，可获取物体对应的多张样本图像，并在多张样本图像标注物体的真值。其中，该真值可包括位置真值以及类型真值。为便于描述和区分，以下实施例将样本图像上包含的物体描述为第二物体。其中，多张样本图像在多种不同波长的单色光交替照射下拍摄得到。该多种不同波长的单色光与照明设备10提供的多种单色光相同或者相似。

接着，将样本图像输入神经网络模型，并将第二物体作为监督信号，训练神经网络模型的物体检测能力。在训练的过程中，可选地，在神经网络模型的内部，多个处理层可对多张样本图像进行处理，以提取多张样本图像各自包含的图像特征，并将多张样本图像提取出的图像特征进行融合。接着，根据融合得到的特征，计算该物体属于不同物体类型的概率。基于计算得到的概率，预测该多张样本图像包含的物体的类型。接着，可计算预测得到的类型与监督信号(即第二物体的类型真值)之间的差异，并基于该差异构造损失函数。接下来，可不断迭代优化神经网络各层的模型参数，以最小化损失函数。当损失函数收敛到特定值时，可认为神经网络模型的检测结果与实际值较为接近，具有较为优异的检测性能。

需要说明的是，为扩大神经网络模型的物体检测范围，可选用包含多种不同类型的第二物体的样本进行模型训练，以使神经网络模型学习对不同物体进行检测，不再赘述。

在基于训练得到的神经网络模型进行物体检测时，可选地，数据处理设备30可将获取到的多张图像输入神经网络模型。在神经网络模型内部，基于优化后的一部分模型参数，提取多张图像各自的图像特征，并将多张图像各自的图像特征进行融合，得到融合特征。接下来，基于神经网络模型优化后的另一部分模型参数，根据融合特征，识别该多张图像包含的物体。

可选地，该神经网络模型(Neural Networks,NN)可实现为：卷积神经网络(Convolutional Neural Networks,CNN)、深度神经网络(Deep Neural Network，DNN)、图卷积神经网络(Graph Convolutional Networks，GCN)、循环神经网络(Recur rent NeuralNetwork,RNN)以及长短期记忆神经网络(Long Short-Term Memory，LSTM)一种或多种，或者可由上述一种或多种神经网络变形得到，本实施例不做限制。

可选地，神经网络模型输出的检测结果，可包括第一物体在目标区域中的位置和/或第一物体的类型。其中，第一物体在目标区域中的位置，可采用检测框(包围框)进行展示。第一物体的类型，可包括第一物体的材质、类别等等。例如，第一物体的类型可包括：第一物体为木块、第一物体为动物、第一物体为金属钉等等，本实施例不做限制。

数据处理设备30基于神经网络模型的输出结果，可进一步计算目标区域包含的第一物体的数量，或者，还可以计算第一物体的尺寸等，不再赘述。

在一些可选的实施例中，数据处理设备30检测出该目标区域包含的第一物体后，可输出第一物体的信息。其中，该第一物体的信息包括：该第一物体在目标区域中的位置、第一物体的类型、第一物体的数量以及第一物体的尺寸中的至少一种。

可选地，在一些场景下，如图3所示，物体检测系统100还包括终端设备40。可选地，数据处理设备30获取到第一物体的信息后，可将第一物体的信息发送至终端设备40，以向用户展示上述信息。其中，该终端设备可实现为用户侧的手机、计算机、平板电脑、智能穿戴设备等等，本实施例包含但不限于此。

在一些可选的实施例中，数据处理设备30在获取到第一物体的信息后，还可根据设定的异物识别规则，进一步判断第一物体是否为异常物体。可选地，异物识别规则可由用户进行个性化定制以供数据处理设备30使用。在不同的场景下，异物识别规则不同，视具体需求而定。若确定第一物体为异常物体，则数据处理神30可触发报警事件，并根据报警事件对应的报警策略，输出报警消息。其中，报警策略可包括：向终端设备30发送消息或者拨打电话，或者向警报器发送鸣响警报的控制指令等，本实施例包含但不限于此。

除此之外，需要说明的是，本申请实施例提供的物体检测系统100，可选用照明范围较大的照明设备10，或者增加照明设备10的数量，以增大照明面积。同时，可选择视场范围较大的图像采集设备20，在一些场景下，可选择360°旋转的相机进行环视扫描。进而，可实现对面积较大的区域进行物体检测，克服了雷达巡视扫描的作业范围有限的缺陷。与此同时，无需人工参与，降低了物体检测的人力成本。另外，在一些场景下，照明设备10可基于对目标区域内原有的照明设施进行改造获取，图像采集设备20可复用目标区域原有的监控设施，一方面，降低了物体检测系统的硬件成本，另一方面，不会对目标区域造成新增的入侵。

除上述实施例记载的物体检测系统外，本申请实施例还提供一种物体检测方法，如图4所示，该物体检测方法，包括：

步骤401、获取多张图像，所述多张图像包含多种不同波长的单色光交替照射下的目标区域。

步骤402、基于所述多张图像进行物体检测，以识别所述目标区域包含的第一物体。

在一些示例性的实施例中，该方法还包括：输出所述第一物体的信息；所述第一物体的信息包括：所述第一物体在所述目标区域中的位置、所述第一物体的类型、所述第一物体的数量以及所述第一物体的尺寸中的至少一种。

在一些示例性的实施例中，该方法还包括：根据设定的异物识别规则，判断所述第一物体是否为异常物体；若为是，则触发报警事件，并根据所述报警事件对应的报警策略，输出报警消息。

在一些示例性的实施例中，基于所述多张图像进行物体检测的一种方式，包括：将所述多张图像输入神经网络模型；在所述神经网络模型内部，提取所述多张图像各自的图像特征；将所述多张图像各自的图像特征进行融合，得到融合特征；根据所述融合特征，识别所述多张图像包含的物体。

在一些示例性的实施例中，该方法还包括：获取包含第二物体的多张样本图像，所述多张样本图像在多种所述不同波长的单色光照射下拍摄得到；将所述多张样本图像输入所述神经网络模型；将所述多张样本图像中的所述第二物体作为监督信号，训练所述神经网络模型的物体检测能力。

在一些示例性的实施例中，所述多种不同波长的单色光，包括：红外光、红光、黄光、绿光以及紫外光中的至少一种。

在一些示例性的实施例中，所述目标区域包括：飞机跑道、机坪、铁路轨道、高速公路以及无障碍道路中的至少一种。

在本实施例中，用于进行物体检测的多张图像，包含多种不同波长的单色光交替照射下的目标区域。进而，多张图像中，位于目标区域内的光吸收能力不同的物体可表现不同的光学特性。基于该多张图像进行物体检测，可有效地提升物体检测的灵敏度和准确性，提升物体检测的效率。

在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个动作，但是应该清楚了解，这些动作可以不按照其在本文中出现的顺序来执行或并行执行，动作的序号如401、402等，仅仅是用于区分开各个不同的动作，序号本身不代表任何的执行顺序。

需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

本申请各实施例提供的技术方案，可应用于多种应用场景，例如：机场跑道/停机坪外来异物检测的场景、高速公路外来路障检测的场景、运动场外来异物检测场景、生产车间异物检测场景、铁路异物侵入检测场景、特定场所的危险物体检测场景、等等。以下将结合其中的部分场景进行实例性说明。

在一种场景下，为检测机场跑道上的外来异物，可在跑道两侧布控多波长光源的照明设备以及摄像头。控制该照明设备发出多种不同波长的单色光，以使多种单色光交替照射机场跑道。调整摄像头的拍摄角度，以使单色光照射下的机场跑道位于摄像头的视场范围内。在多种单色光交替照射机场跑道的过程中，摄像头进行视频采集，得到视频数据。接着，将视频数据发送至服务器。

如图5所示，服务器接收到视频数据后，对视频数据进行解码，得到多种单色光照射下采集到的图像。例如，当采用红外光、红光、黄光、绿光、紫外光等单色光交替照射机场跑道时，可从视频数据中解码得到红外光图片、红光图片、黄光图片、绿光图片以及紫外光图片。接着，将上述图片输入神经网络模型进行外来异物识别(即FOD识别)。在神经网络模型中，对多光源图片中的图像特征进行融合，并根据融合的特征，识别机场跑道上的物体。若根据识别结果判断机场跑道上的物体为异常物体，则可向终端设备或者机场的报警设备发送报警消息，以便于机场运维人员及时清理该异常物体，避免对飞机滑行过程造成安全威胁。

在另一种场景下，可对高速公路上的路灯进行改造，使其能够轮询发射不同波长的单色光。与此同时，采用高速公路上方布控的监控摄像头对高速公路的路面进行拍摄。监控摄像头可实时地将拍摄到的视频数据发送至服务器。

服务器接收到视频数据后，对视频数据进行解码，得到多种单色光照射下的高速公路路面的图像。例如，当路灯轮询发射红光、黄光、蓝光、紫光、绿光等单色时，服务器可从视频数据中解码得到红光图片、黄光图片、蓝光图片、紫光图片以及绿光图片。接着，服务器将上述图片输入神经网络模型进行外来异物识别。在神经网络模型中，对多光源图片中的图像特征进行融合，并根据融合的特征，识别高速公路路面上的物体。若根据识别结果判断高速公路上的物体为异常物体(即对车辆高速行驶造成障碍或者危险的物体，例如钉子、玻璃渣、运输遗失物、车辆零件等)，则可向终端设备或者道路管理部门的报警设备发送报警消息，以便于道路养护人员及时清理该异常物体，避免造成交通危险。

在又一种场景下，可在生产车间的流水线上布控多波长照明设备，以使多波长照明设备轮询发出多种单色光照射流水线上的生产设备。与此同时，采用摄像头拍摄光照下的生产设备，并实时地将拍摄到的视频数据发送至服务器。

服务器接收到视频数据后，对视频数据进行解码，得到多种单色光照射下的生产设备的图像，即多光源图片。接着，服务器将上述图片输入神经网络模型进行异物识别。在神经网络模型中，对多光源图片中的图像特征进行融合，并根据融合的特征，识别生产设备上的物体以及流水线上的物体。若根据识别结果判断识别到的物体可能对生产设备造成损害，则可向指定的终端设备或者工厂的工作人员发送报警消息，以避免损害生产利益。

本申请实施例还提供一种物体检测装置，如图6所示，该物体检测装置，包括：

数据获取模块601，用于：获取多张图像，所述多张图像包含多种不同波长的单色光照射下的目标区域。

物体检测模块602，用于：基于所述多张图像进行物体检测，以识别所述目标区域包含的第一物体。

进一步可选地，如图6所示，该装置还包括：输出模块603，具体用于：输出所述第一物体的信息；所述第一物体的信息包括：所述第一物体在所述目标区域中的位置、所述第一物体的类型、所述第一物体的数量以及所述第一物体的尺寸中的至少一种。

进一步可选地，如图6所示，该装置还包括预警模块604：根据设定的异物识别规则，判断所述第一物体是否为异常物体；若为是，则触发报警事件，并根据所述报警事件对应的报警策略，输出报警消息。

进一步可选地，物体检测模块602在基于所述多张图像进行物体检测时，具体用于：将所述多张图像输入神经网络模型；在所述神经网络模型内部，提取所述多张图像各自的图像特征；将所述多张图像各自的图像特征进行融合，得到融合特征；根据所述融合特征，识别所述多张图像包含的物体。

进一步可选地，如图6所示，该装置还包括模型训练模块604，具体用于：获取包含第二物体的多张样本图像，所述多张样本图像在多种所述不同波长的单色光照射下拍摄得到；将所述多张样本图像输入所述神经网络模型；将所述多张样本图像中的所述第二物体作为监督信号，训练所述神经网络模型的物体检测能力。

进一步可选地，所述多种不同波长的单色光，包括：红外光、红光、黄光、绿光以及紫外光中的至少一种。

进一步可选地，所述目标区域包括：飞机跑道、机坪、铁路轨道、高速公路以及无障碍道路中的至少一种。

在本实施例中，用于进行物体检测的多张图像，包含多种不同波长的单色光交替照射下的目标区域。进而，多张图像中，位于目标区域内的光吸收能力不同的物体可表现不同的光学特性。基于该多张图像进行物体检测，可有效地提升物体检测的灵敏度和准确性，提升物体检测的效率。

图7是本申请一示例性实施例提供的数据处理设备的结构示意图，如图7所示，该数据处理设备包括：存储器701以及处理器702。

存储器701，用于存储计算机程序，并可被配置为存储其它各种数据以支持在数据处理设备上的操作。这些数据的示例包括用于在数据处理设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

其中，存储器701可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器702，与存储器701耦合，用于执行存储器701中的计算机程序，以用于：获取多张图像，所述多张图像包含多种不同波长的单色光照射下的目标区域；基于所述多张图像进行物体检测，以识别所述目标区域包含的第一物体。

进一步可选地，处理器702还用于：输出所述第一物体的信息；所述第一物体的信息包括：所述第一物体在所述目标区域中的位置、所述第一物体的类型、所述第一物体的数量以及所述第一物体的尺寸中的至少一种。

进一步可选地，处理器702还用于：根据设定的异物识别规则，判断所述第一物体是否为异常物体；若为是，则触发报警事件，并根据所述报警事件对应的报警策略，输出报警消息。

进一步可选地，处理器702在基于所述多张图像进行物体检测时，具体用于：将所述多张图像输入神经网络模型；在所述神经网络模型内部，提取所述多张图像各自的图像特征；将所述多张图像各自的图像特征进行融合，得到融合特征；根据所述融合特征，识别所述多张图像包含的物体。

进一步可选地，处理器702还用于：获取包含第二物体的多张样本图像，所述多张样本图像在多种所述不同波长的单色光照射下拍摄得到；将所述多张样本图像输入所述神经网络模型；将所述多张样本图像中的所述第二物体作为监督信号，训练所述神经网络模型的物体检测能力。

进一步可选地，所述多种不同波长的单色光，包括：红外光、红光、黄光、绿光以及紫外光中的至少一种。

进一步可选地，所述目标区域包括：飞机跑道、机坪、铁路轨道、高速公路以及无障碍道路中的至少一种。

进一步，如图7所示，该数据处理设备还包括：通信组件703、显示组件704、电源组件705、音频组件706等其它组件。图7中仅示意性给出部分组件，并不意味着数据处理设备只包括图7所示组件。

其中，通信组件703被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G或5G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件可基于近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术和其他技术来实现。

其中，显示组件704包括屏幕，其屏幕可以包括液晶显示组件(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

其中，电源组件705，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

本实施例中，用于进行物体检测的多张图像，包含多种不同波长的单色光交替照射下的目标区域。进而，多张图像中，位于目标区域内的光吸收能力不同的物体可表现不同的光学特性。基于该多张图像进行物体检测，可有效地提升物体检测的灵敏度和准确性，提升物体检测的效率。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由数据处理设备执行的各步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理器的处理器以产生一个机器，使得通过计算机或其他可编程数据处理器的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理器以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理器上，使得在计算机或其他可编程设备上执行一系列动作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种物体检测系统，其特征在于，包括：

照明设备、图像采集设备以及数据处理设备；

其中，所述照明设备，用于：采用多种不同波长的单色光，交替照射目标区域；

所述图像采集设备，用于：拍摄所述目标区域，并将拍摄结果发送至所述数据处理设备；

所述数据处理设备，用于：从所述拍摄结果中获取多张图像，所述多张图像包含所述多种不同波长的单色光交替照射下的所述目标区域；基于所述多张图像进行物体检测，以识别所述目标区域包含的第一物体；基于所述多张图像进行物体检测，包括：采用神经网络模型，基于物体在不同单色光照射下体现出的光学特性上的差异进行物体检测；所述第一物体的识别结果包括：所述第一物体的材质；

其中，所述目标区域包括：飞机跑道、机坪、铁路轨道、高速公路以及无障碍道路中的至少一种。

2.根据权利要求1所述的系统，其特征在于，所述照明设备，具体用于：按照设定的交替间隔，轮序发出所述多种不同波长的单色光；

所述图像采集设备，具体用于：按照与所述交替间隔适配的拍摄间隔，对所述目标区域进行拍摄，得到所述拍摄结果。

3.根据权利要求1所述的系统，其特征在于，所述照明设备包括多波长光源或者多个不同波长的单色光源。

4.根据权利要求3所述的系统，其特征在于，所述照明设备与所述图像采集设备为一体化设置。

5.根据权利要求1所述的系统，其特征在于，所述数据处理设备，还用于：根据设定的异物识别规则，判断所述第一物体是否为异常物体；若为是，则触发报警事件，并根据所述报警事件对应的报警策略，输出报警消息。

6.根据权利要求1所述的系统，其特征在于，所述多种不同波长的单色光，包括：红外光、红光、黄光、绿光以及紫外光中的至少一种。

7.一种物体检测方法，其特征在于，包括：

获取多张图像，所述多张图像包含多种不同波长的单色光交替照射下的目标区域；

基于所述多张图像进行物体检测，以识别所述目标区域包含的第一物体；

其中，基于所述多张图像进行物体检测，包括：采用神经网络模型，基于物体在不同单色光照射下体现出的光学特性上的差异进行物体检测；所述第一物体的识别结果包括：所述第一物体的材质；

其中，所述目标区域包括：飞机跑道、机坪、铁路轨道、高速公路以及无障碍道路中的至少一种。

8.根据权利要求7所述的方法，其特征在于，还包括：

输出所述第一物体的信息；所述第一物体的信息包括：所述第一物体在所述目标区域中的位置、所述第一物体的类型、所述第一物体的数量以及所述第一物体的尺寸中的至少一种。

9.根据权利要求7所述的方法，其特征在于，还包括：

根据设定的异物识别规则，判断所述第一物体是否为异常物体；

若为是，则触发报警事件，并根据所述报警事件对应的报警策略，输出报警消息。

10.根据权利要求7-9任一项所述的方法，其特征在于，基于所述多张图像进行物体检测，包括：

将所述多张图像输入神经网络模型；

在所述神经网络模型内部，提取所述多张图像各自的图像特征；

将所述多张图像各自的图像特征进行融合，得到融合特征；

根据所述融合特征，识别所述多张图像包含的物体。

11.根据权利要求10所述的方法，其特征在于，还包括：

获取包含第二物体的多张样本图像，所述多张样本图像在多种所述不同波长的单色光照射下拍摄得到；

将所述多张样本图像输入所述神经网络模型；

将所述多张样本图像中的所述第二物体作为监督信号，训练所述神经网络模型的物体检测能力。

12.一种物体检测装置，其特征在于，包括：

数据获取模块，用于：获取多张图像，所述多张图像包含多种不同波长的单色光交替照射下的目标区域；

物体检测模块，用于：基于所述多张图像进行物体检测，以识别所述目标区域包含的第一物体；其中，所述物体检测模块在基于所述多张图像进行物体检测时，具体用于：采用神经网络模型，基于物体在不同单色光照射下体现出的光学特性上的差异进行物体检测；所述第一物体的识别结果包括：所述第一物体的材质；

其中，所述目标区域包括：飞机跑道、机坪、铁路轨道、高速公路以及无障碍道路中的至少一种。

13.一种数据处理设备，其特征在于，包括：存储器、处理器以及通信组件；

所述存储器用于存储一条或多条计算机指令；

所述处理器用于执行所述一条或多条计算机指令以用于：执行权利要求7-11任一项所述的物体检测方法。

14.一种存储有计算机程序的计算机可读存储介质，其特征在于，计算机程序被处理器执行时能够实现权利要求7-11任一项所述的物体检测方法。

Images