CN117409193A

CN117409193A - 一种烟雾场景下的图像识别方法、装置及存储介质

Info

Publication number: CN117409193A
Application number: CN202311722538.9A
Authority: CN
Inventors: 姚玉才; 刘锦峰; 陆静亚
Original assignee: Nanjing Shenye Intelligent System Engineering Co ltd
Current assignee: Nanjing Shenye Intelligent System Engineering Co ltd
Priority date: 2023-12-14
Filing date: 2023-12-14
Publication date: 2024-01-16
Anticipated expiration: 2043-12-14
Also published as: CN117409193B

Abstract

本申请提供一种烟雾场景下的图像识别方法、装置及存储介质，获得场景图像的多尺度特征图，所述场景图像中包括烟雾和待识别对象；基于所述场景图像中的边缘信息确定目标尺度特征图中的候选特征区域；基于ROI尺寸和锚点在所述候选特征区域中确定候选ROI区域；过滤所述候选ROI区域，得到目标ROI区域；基于所述目标ROI区域和所述多尺度特征图识别所述场景图像中的所述待识别对象。减少了分类和识别的区域范围，提高了图像识别的效率。

Description

一种烟雾场景下的图像识别方法、装置及存储介质

技术领域

本发明实施例涉及图像识别领域，特别涉及一种烟雾场景下的图像识别方法、装置及存储介质。

背景技术

火灾现场不确定性和不可控性较多，在未明确是否存在受困人员的情况下进去救援容易造成不必要的人力、物力和财力的损失，降低火灾救援的成功机率。随着信息采集、数据处理和分析手段的综合发展，智慧消防基于智能化手段，辅助消防过程中的决策和救援，有效地减少火灾产生的机率，并降低火灾的损失。

其中，在实施救援时，明确何处存在受困人员以及受困人员的状态能够提高救援的效率和救援成功率，此时对火灾现场的图像进行受困人员的识别，对智慧消防的发展是关键环节之一。随着深度学习算法的快速发展，提出了大量的对象检测模型，然而火灾现场属于存在烟雾、无法识别上下文特征和其他关联特征的特殊场景，目前尚未存在针对该类特殊场景准确、高效识别受困人员的模型，无法满足智能、快速、准确定位火灾现场受困人员的需求。

Mask RCNN是何恺明于2017年提出的，是一个非常灵活的框架，可以增加不同的分支完成不同的任务，可以完成目标分类、目标检测、语义分割、实例分割、人体姿势识别等多种任务。Mask RCNN在提取ROI区域时，通常时采用预设的锚点和不同尺寸比例的多个单元围绕锚点提取ROI区域，锚点的位置和单元的尺寸均是随机预设的，无法与火灾现场受困人员的特征契合，在锚点和单元尺寸不适配的情况下，需要进行无用的多次ROI区域提取、分类识别，整个过程计算量增大，受困人员识别的效率准确率低，识别时间长。

发明内容

本发明实施方式的目的在于为解决现有技术中存在的烟雾场景下的图像识别方法识别准确率低，识别时间长的技术问题，提供一种烟雾场景下的图像识别方法、装置和存储介质。

为解决上述技术问题，本发明的实施方式提供了一种烟雾场景下的图像识别方法，所述烟雾场景下的图像识别方法包括：

获得场景图像的多尺度特征图，所述场景图像中包括烟雾和待识别对象；

基于所述场景图像中的边缘信息确定目标尺度特征图中的候选特征区域；

其中，所述目标尺度特征图为所述多尺度特征图中的一张，所述目标尺度特征图由目标识别对象的类型对应的历史尺寸信息确定，所述候选特征区域中不包括所述烟雾的特征，所述目标识别对象为欲在烟雾场景下识别的目标对象；

基于ROI尺寸和锚点在所述候选特征区域中确定候选ROI区域；

其中，所述ROI尺寸由所述目标识别对象的类型对应的历史尺寸信息确定，所述锚点为以间隔单元为单位在所述候选特征区域中确定的点，所述间隔单元基于所述目标识别对象的类型对应的历史尺寸信息确定，所述锚点与所述场景图像中的待识别对象相对应；

过滤所述候选ROI区域，得到目标ROI区域；

基于所述目标ROI区域和所述多尺度特征图识别所述场景图像中的所述待识别对象。

优选的，所述基于所述场景图像中的边缘信息确定目标尺度特征图中的候选特征区域，包括：

检测所述场景图像的边缘信息，所述边缘信息至少包括烟雾的边界信息；

基于所述烟雾的边界信息确定所述待识别对象在所述场景图像中的候选区域；

基于所述候选区域从所述目标尺度特征图中确定候选特征区域。

优选的，基于所述场景图像中的边缘信息确定目标尺度特征图中的候选特征区域，包括：

获取所述目标识别对象的类型；

统计相同类型的已识别图像中目标识别对象的平均尺寸；

基于所述平均尺寸从所述多尺度特征图中匹配所述目标尺度特征图，其中，所述目标尺度特征图中一个特征块的尺寸大于等于所述平均尺寸。

优选的，所述基于ROI尺寸和锚点在所述候选特征区域中确定候选ROI区域，包括：

获取所述目标识别对象的类型；

从包含相同类型的对象的图像中确定相同类型对象的平均尺寸；

以所述相同类型对象的平均尺寸为所述ROI尺寸。

获取所述目标识别对象的类型；

统计相同类型的已识别图像中目标识别对象的平均尺寸，以作为间隔单元；

在所述候选特征区域中确定多个锚点，所述多个锚点的相邻锚点之间的距离为一个间隔单元；

以所述多个锚点的各个锚点为中心，以不同方向ROI尺寸为窗口，获取所述候选ROI区域，所述候选ROI区域为多个，每个所述候选ROI区域与一个锚点对应，一个锚点对应多个所述候选ROI区域。

优选的，所述过滤所述候选ROI区域，得到目标ROI区域，包括：

所述候选ROI区域为多个，对各个所述候选ROI区域进行分类，获得各个所述候选ROI区域的类别标签，所述类别标签至少包括背景、前景；

筛选所述类别标签为前景的候选ROI区域为目标ROI区域。

优选的，所述基于所述目标ROI区域和所述多尺度特征图识别所述场景图像中的所述待识别对象，包括：

基于所述目标ROI区域的边界确定目标边界框；

基于所述目标边界框从所述多尺度特征图中获取目标特征图；

对所述目标特征图进行分类，获得所述目标特征图的对象类别标签，所述对象类别标签至少包括目标识别对象；

若所述目标特征图的对象类别标签为所述目标识别对象，则识别出所述场景图像中包含所述目标识别对象；

与对所述目标特征图进行分类同时的，输出所述场景图像中所述目标识别对象的位置和姿态。

优选的，基于Mask RCNN模型实现所述烟雾场景下的图像识别方法，所述MaskRCNN模型至少包括ROI区域提取模块、Fast-RCNN模块和FCN模块，所述烟雾场景下的图像识别方法，还包括：训练Mask RCNN模型；

所述训练Mask RCNN模型包括：

获取烟雾场景下不同烟雾浓度的样本图像；

建立样本图像的信息集，所述信息集中至少包括各个样本图像中的烟雾边界、无烟雾遮挡情况下目标识别对象的尺寸、各个样本图像中无烟雾遮挡区域的背景、前景标签和所述前景标签所在区域对应的对象类别标签；

基于所述样本图像的信息集独立训练ROI区域提取模块、Fast-RCNN模块和FCN模块。

本发明第二方面提供一种烟雾场景下的图像识别装置，所述烟雾场景下的图像识别装置包括：

特征提取模块，用于获得场景图像的多尺度特征图，所述场景图像中包括烟雾和待识别对象；

区域选择模块，用于基于所述场景图像中的边缘信息确定目标尺度特征图中的候选特征区域；

ROI区域确定模块，用于基于ROI尺寸和锚点在所述候选特征区域中确定候选ROI区域；

分类模块，用于过滤所述候选ROI区域，得到目标ROI区域；

识别模块，用于基于所述目标ROI区域和所述多尺度特征图识别所述场景图像中的所述待识别对象。

本发明第三方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于所述程序被处理器执行时实现前述烟雾场景下的图像识别方法的步骤。

本发明实施方式相对于现有技术而言，本发明提供的一种烟雾场景下的图像识别方法，基于以ROI区域为单位对场景图像进行识别。由于火灾现场存在较大烟雾的现象，获取到的图像存在大面积的烟雾和被遮挡的受困人员，此时对于该类烟雾场景下的图像识别方法，在获取ROI区域时，一方面，通过烟雾的边缘信息直接过滤掉纯烟雾的区域，对包含内容的区域进行特征提取和识别分类，缩小了分析处理的范围，提高了识别的效率；另一方面，按照目标识别对象的尺寸信息确定锚点和ROI尺寸，选择适配于图像场景的锚点位置、数量和ROI区域尺寸，避免产生随机设置或多比例尺寸带来的准确率低、计算量大的问题。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1为本发明实施例提供的烟雾场景下的图像识别方法流程图；

图2为现有技术提供的Mask RCNN结构示意图；

图3为本发明实施例提供的烟雾场景下的图像识别装置结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminaldevice)等等。本发明可应用于高层建筑、商业综合体、公共娱乐、医院、学校、宾馆酒店等人员密集场所。

本发明的第一实施方式涉及一种烟雾场景下的图像识别方法，如图1所示，所述烟雾场景下的图像识别方法包括：

基于ROI尺寸和锚点在所述候选特征区域中确定候选ROI区域；

过滤所述候选ROI区域，得到目标ROI区域；

本发明提供的一种烟雾场景下的图像识别方法，基于以ROI区域为单位对场景图像进行识别。由于火灾现场存在较大烟雾的现象，获取到的图像存在大面积的烟雾和被遮挡的受困人员，此时对于该类烟雾场景下的图像识别方法，在获取ROI区域时，一方面，通过烟雾的边缘信息直接过滤掉纯烟雾的区域，对包含内容的区域进行特征提取和识别分类，缩小了分析处理的范围，提高了识别的效率；另一方面，按照目标识别对象的尺寸信息确定锚点和ROI尺寸，选择适配于图像场景的锚点位置、数量和ROI区域尺寸，避免产生随机设置或多比例尺寸带来的准确率低、计算量大的问题。

本发明的第二实施方式涉及一种烟雾场景下的图像识别方法，所述烟雾场景下的图像识别方法包括：

获得场景图像的多尺度特征图，所述场景图像中包括烟雾和待识别对象。

本发明提供的烟雾场景下的图像识别方法应用火灾现场的图像识别，火灾现场的图像通常包括较大的烟雾，因此又称为烟雾场景。在烟雾场景下，场景图像中包括烟雾和待识别对象，且随着烟雾浓度增加，待识别对象被烟雾遮挡的面积逐步增大。待识别对象为烟雾场景图像中的对象，例如受困人员、家具、宠物等，而对上述场景图像进行识别的目的，是在场景图像中识别受困人员。

利用卷积层和池化层提取所述场景图像的多尺度特征图，其中，所述卷积层用于从所述场景图像提取不同尺度的特征信息，从而获得不同层级的图像信息。所述卷积层包括多个，每个卷积层的卷积核不完全相同。

基于所述场景图像中的边缘信息确定目标尺度特征图中的候选特征区域。

所述边缘信息是指图像中各个显示对象的边界线，例如所述场景图像中包括烟雾、被烟雾遮挡局部的受困人员和床等家具，每个对象都有其边界信息，场景图像中的所有对象的边缘信息构成了场景图像的边缘信息。其中，基于边缘信息确定目标尺度特征图中的候选特征区域，具体包括：检测所述场景图像的边缘信息，所述边缘信息至少包括烟雾的边界信息；基于所述烟雾的边界信息确定所述待识别对象在所述场景图像中的候选区域；基于所述候选区域从所述目标尺度特征图中确定候选特征区域。场景图像的边缘信息包括场景图像中所有对象的边缘信息，从中提取烟雾的边界信息，从而从场景图像中确定除烟雾以外的对象所在区域，即局部图像区域，基于所述场景图像与多尺度特征图的位置对应关系，提取所述局部图像区域的候选特征区域。

多尺度特征图包括多个，例如2×2的特征图，4×4的特征图等，每个特征图的尺度各不相同，所述目标尺度特征图为所述多尺度特征图中的一张，所述目标尺度特征图由目标识别对象的类型对应的历史尺寸信息确定，所述候选特征区域中不包括所述烟雾的特征，所述目标识别对象为欲在烟雾场景下识别的目标对象。由于不同卷积层的依次连接关系，特征图具有多个不同尺度，此时，为了提取出本次图像识别的目标识别对象，根据目标识别对象的类型对应的历史尺寸信息确定目标尺度特征图，从而在目标尺度特征图的层级上提取候选特征区域，从目标识别对象的层级来看，避免采用过小的层级提取特征信息，使得提取到的特征信息块完整，减少特征信息块之间的对齐和拼接，降低了识别算法的复杂程度和计算量。具体包括：获取所述目标识别对象的类型；统计相同类型的已识别图像中目标识别对象的平均尺寸；基于所述平均尺寸从所述多尺度特征图中匹配所述目标尺度特征图，其中，所述目标尺度特征图中一个特征块的尺寸大于等于所述平均尺寸。值得注意的是，由于在后步骤进行ROI区域提取时，锚点的设置和ROI尺寸的设置会导致部分候选ROI区域包含烟雾区域的特征，因此，整个场景图像的多尺度特征图参与候选ROI区域的截取，但所述候选特征区域才能够设置锚点。从而减少了锚点设置的区域，减少初始截取出来的ROI区域的数量，减少计算量，提高了图像识别的效率。其中，在图像识别过程中，存在多张历史识别图像，每个历史图片识别有对应的目标识别对象，此时，提取出相同类型目标识别对象的识别结果中目标识别对象的尺寸信息，从而获得平均尺寸。例如，目标对象为人，则识别出老人、小孩、女性等不同类型人的图像识别结果均可以用于获取平均尺寸信息。

在图像识别过程中，首先获得场景图像的多尺度特征图，用于图像的识别；其次在一个特定层级的目标尺度特征图中获得候选特征区域，以便确定ROI区域的边框，进一步基于边框识别位置的对应关系，识别对应位置多尺度特征图的特征信息，从而实现场景图像的识别。在确定ROI区域的环节中，本发明提供的图像识别方法，仅需在目标尺度特征图的局部区域内进行ROI区域的提取，减少了提取的范围，避免对大范围烟雾区域图像进行识别和判断，提高了ROI区域提取的效率和准确度。

基于ROI尺寸和锚点在所述候选特征区域中确定候选ROI区域；其中，所述ROI尺寸由所述目标识别对象的类型对应的历史尺寸信息确定，所述锚点为以间隔单元为单位在所述候选特征区域中确定的点，所述间隔单元基于所述目标识别对象的类型对应的历史尺寸信息确定，所述锚点与所述场景图像中的待识别对象相对应。提取ROI区域的过程具体如下，在特征图中设定一系列锚点，然后围绕该一系列锚点以多个尺寸的窗口进行截取，获得一系列ROI区域进行分类过滤。相较于上述过程，本发明基于目标识别对象的特点设置锚点和ROI尺寸，避免随机设置带来的特征截取不完整，或锚点设置过密带来的特征块拼接等问题，提高了ROI区域分类的准确度同时降低了算法的复杂程度。上一步骤已经获得了局部的候选特征区域，此时需要基于目标识别对象的信息获取与之匹配的锚点信息和ROI尺寸信息，以便进行ROI区域提取，具体来说，获取ROI尺寸信息为：获取所述目标识别对象的类型；从包含相同类型的对象的图像中确定相同类型对象的平均尺寸；以所述相同类型对象的平均尺寸为所述ROI尺寸。获取锚点信息为：获取所述目标识别对象的类型；统计相同类型的已识别图像中目标识别对象的平均尺寸，以作为间隔单元；在所述候选特征区域中确定多个锚点，所述多个锚点的相邻锚点之间的距离为一个间隔单元。获得锚点信息和ROI尺寸信息后，以所述多个锚点的各个锚点为中心，以不同方向ROI尺寸为窗口，获取所述候选ROI区域，所述候选ROI区域为多个，每个所述候选ROI区域与一个锚点对应，一个锚点对应多个所述候选ROI区域。提取候选ROI区域，是为了基于ROI区域识别场景图像中是否存在目标识别对象，因此ROI尺寸的确定依赖于目标识别对象，相较于现有技术中的随机设置，本发明基于现有技术中所有同类型目标识别对象的尺寸来确定ROI尺寸，而非历史识别图像或随机设置，提高了尺寸确定的准确度和适配性，进而提高图像识别的准确度，降低识别过程的计算量。包含相同类型的对象的图像可以来源于网络，也可以来源于服务器中的图像数据库，可以从任意来源获取，仅需要确定其与目标识别对象的类型相同即可。例如，欲对受困人员进行识别，则来自任意来源的老人、小孩、成年人等人员的图像均可以用于确定ROI尺寸。在设置锚点时，相较于现有技术中的随机设置，本发明在局部的候选特征区域中按照目标识别对象的尺寸间隔来设置，减少了锚点的数量，进而减少了候选ROI区域的数量，同时尺寸间隔与目标识别对象相匹配，又保证了图像识别的准确度。例如ROI尺寸为2×3，锚点包括点1和点2，点1和点2之间的间距为间隔单元，围绕点1，分别以2×3和3×2的窗口尺寸截取候选ROI区域，从而对点1获得2个候选ROI区域；同理，围绕点2获得了2个候选ROI区域，最终对场景图像获得了4个候选ROI区域进行分类判断。而在现有技术中，随机设置的每个锚点都围绕3个不同尺寸不同方向的窗口，此时截取到的候选ROI区域远大于本发明提供的图像识别方法。

过滤所述候选ROI区域，得到目标ROI区域。截取到的候选ROI区域为多个，对于多个候选ROI区域，所述候选ROI区域为多个，对各个所述候选ROI区域进行分类，获得各个所述候选ROI区域的类别标签，所述类别标签至少包括背景、前景；筛选所述类别标签为前景的候选ROI区域为目标ROI区域。在过滤掉烟雾所在区域的场景图像中，仍然存在墙面、地面等背景和家具、宠物、植物、受困人员等前景，此时对候选ROI区域进行初步分类，获得类别标签，从而将类别标签为前景的候选ROI区域筛选出来，以便在后步骤对前景对象进行准确识别。在场景图像中，图像中除烟雾外的任一前景为待识别对象，从所有前景对象中识别出属于目标识别对象的对象。筛选后的目标ROI区域数量小于等于候选ROI区域，基于所述目标ROI区域和所述多尺度特征图识别所述场景图像中的所述待识别对象。具体来说，基于所述目标ROI区域的边界确定目标边界框；基于所述目标边界框从所述多尺度特征图中获取目标特征图；对所述目标特征图进行分类，获得所述目标特征图的对象类别标签，所述对象类别标签至少包括目标识别对象；若所述目标特征图的对象类别标签为所述目标识别对象，则识别出所述场景图像中包含所述目标识别对象；与对所述目标特征图进行分类同时的，输出所述场景图像中所述目标识别对象的位置和姿态。筛选后的目标ROI区域并行输出至类别预测、位置检测和掩码分割模块，根据目标尺度特征图与场景图像的位置对应关系，将目标ROI区域的边界作为目标边界框，基于目标边界框从多尺度特征图中确定待分类的目标特征图，类别预测用于对所述目标特征图进行分类，计算其与目标识别对象标签之间的置信度，若该置信度大于阈值，则被分类的目标特征图的对象类别标签为目标识别对象；同时获取并输出位置检测模块和掩码分割模块的输出结果。所述位置检测模块用于识别目标ROI区域在所述场景图像中的位置信息，所述掩码分割模块用于获取目标ROI区域对应对象的掩码，并识别该对象的姿态。作为一种可选的实施例，若所述姿态为卧倒，此时，产生提示信息，对该类姿态的受困人员的营救紧急程度高于其他受困人员。

综上所述，本发明提供的烟雾场景下的图像识别方法，能够从多尺度特征图像中获取前景对象对应的特征图像块，从而进行识别。在获取特征图像块时，从目标识别对象的尺寸信息出发，从目标尺度特征图的局部范围内，进行候选ROI区域的提取、筛选，最终获得前景对象的边界框，以便基于目标尺度特征图与场景图像的位置对应关系，从多尺度特征图中截取出前景对象的多尺度特征块，进行快速准确的图像识别。缩小了特征提取过程中的计算量，提高了图像识别的准确性。

在一些可选的实施例中，基于Mask RCNN模型实现所述烟雾场景下的图像识别方法，如图2所示，现有技术中存在的Mask RCNN模型包括特征提取模块，用于获取ROI区域，然后分别输入值Faster RCNN模块和FPN模块，分别基于不同大小的卷积层获得ROI区域的类别class、边界框box以及掩码mask。本发明提供的所述Mask RCNN模型至少包括ROI区域提取模块、Fast-RCNN模块和FCN模块。其中，Fast-RCNN模块和FCN模块并行连接与ROI区域提取模块的输出，所述ROI区域提取模块用于实现多尺度特征图提取和目标ROI区域的获取，并输出至Fast-RCNN模块和FCN模块，Fast-RCNN模块用于对目标ROI区域对应的对象进行分类和边界框位置预测；FCN模块用于对目标ROI区域对应的对象进行掩码分割和姿态识别。使用Mask RCNN之前，所述烟雾场景下的图像识别方法，还包括：训练Mask RCNN模型。所述训练Mask RCNN模型包括：获取烟雾场景下不同烟雾浓度的样本图像；建立样本图像的信息集，所述信息集中至少包括各个样本图像中的烟雾边界、无烟雾遮挡情况下目标识别对象的尺寸、各个样本图像中无烟雾遮挡区域的背景、前景标签和所述前景标签所在区域对应的对象类别标签；基于所述样本图像的信息集独立训练ROI区域提取模块、Fast-RCNN模块和FCN模块。相较于联合训练的方式，本发明Mask RCNN模型的三个模块均是独立完成特定任务，因此，采用基于同一批样本集的不同信息源独立训练的方式，避免不同模块误差的传递与干扰，加快了模型训练的速度。

不难发现，本实施方式为对第一实施方式进一步描述的方法实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第三实施方式提供一种烟雾场景下的图像识别装置，如图3所示，所述烟雾场景下的图像识别装置包括：

分类模块，用于过滤所述候选ROI区域，得到目标ROI区域；

不难发现，本实施方式为与第一、二实施方式相对应的装置实施例，本实施方式可与第一、二实施方式互相配合实施。第一、二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一、二实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种烟雾场景下的图像识别方法。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims

1.一种烟雾场景下的图像识别方法，其特征在于，所述烟雾场景下的图像识别方法包括：

基于ROI尺寸和锚点在所述候选特征区域中确定候选ROI区域；

过滤所述候选ROI区域，得到目标ROI区域；

2.根据权利要求1所述的烟雾场景下的图像识别方法，其特征在于，所述基于所述场景图像中的边缘信息确定目标尺度特征图中的候选特征区域，包括：

3.根据权利要求1所述的烟雾场景下的图像识别方法，其特征在于，基于所述场景图像中的边缘信息确定目标尺度特征图中的候选特征区域，包括：

获取所述目标识别对象的类型；

统计相同类型的已识别图像中目标识别对象的平均尺寸；

4.根据权利要求1所述的烟雾场景下的图像识别方法，其特征在于，所述基于ROI尺寸和锚点在所述候选特征区域中确定候选ROI区域，包括：

获取所述目标识别对象的类型；

以所述相同类型对象的平均尺寸为所述ROI尺寸。

5.根据权利要求1所述的烟雾场景下的图像识别方法，其特征在于，所述基于ROI尺寸和锚点在所述候选特征区域中确定候选ROI区域，包括：

获取所述目标识别对象的类型；

6.根据权利要求1所述的烟雾场景下的图像识别方法，其特征在于，所述过滤所述候选ROI区域，得到目标ROI区域，包括：

筛选所述类别标签为前景的候选ROI区域为目标ROI区域。

7.根据权利要求1所述的烟雾场景下的图像识别方法，其特征在于，所述基于所述目标ROI区域和所述多尺度特征图识别所述场景图像中的所述待识别对象，包括：

基于所述目标ROI区域的边界确定目标边界框；

8.根据权利要求1所述的烟雾场景下的图像识别方法，其特征在于，

基于Mask RCNN模型实现所述烟雾场景下的图像识别方法，所述Mask RCNN模型至少包括ROI区域提取模块、Fast-RCNN模块和FCN模块，所述烟雾场景下的图像识别方法，还包括：训练Mask RCNN模型；

所述训练Mask RCNN模型包括：

获取烟雾场景下不同烟雾浓度的样本图像；

9.一种烟雾场景下的图像识别装置，其特征在于，所述烟雾场景下的图像识别装置包括：

分类模块，用于过滤所述候选ROI区域，得到目标ROI区域；

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于所述程序被处理器执行时实现权利要求1-8中任一项所述烟雾场景下的图像识别方法步骤。