CN114821576A - 一种基于视觉嗅觉协同感知器件的目标识别方法和装置 - Google Patents

Abstract

本发明公开一种基于视觉嗅觉协同感知器件的目标识别方法和装置，该方法包括：步骤一：通过视觉嗅觉协同感知器件对目标物体进行信号采集以获得所述目标物体的图像，并通过图像传感器的光电转换单元和信号传输模块输出所采集的图像；步骤二：对所述图像传感器输出的图像进行处理，得到视觉输入信号与嗅觉输入信号；步骤三：将所述视觉输入信号和所述嗅觉输入信号输入预先训练获得的视觉嗅觉融合算法模型，进行特征提取与融合，获得目标识别结果。本发明提供的视觉嗅觉协同感知器件集成度高，体积小，结构简单，制备成本低，对多源信息利用高效，具有广泛的潜在应用前景。

Description

一种基于视觉嗅觉协同感知器件的目标识别方法和装置

技术领域

本发明涉及化学传感和图像传感，属于智能传感领域，尤其涉及一种基于视觉嗅觉协同感知器件的目标识别方法和装置。

背景技术

目标识别是当前人工智能和智能传感领域重要的研究方向，在于根据传感信号对关注的目标进行检测和识别。视觉和嗅觉的协同交互对于自然和人工智能系统的识别任务至关重要。例如，野生哺乳动物通过嗅觉和视觉线索感知捕食者的存在并确定他们的位置，蚊子通过检测视觉特征和气味特征来识别和定位潜在的宿主目标，人类在日常生活中通过视觉和嗅觉的协同作用评估食品的新鲜度和安全性。

在智能传感领域，目前已开发了多种兼具成像和气味传感能力的人工感知系统，例如，集成图像传感器和气体传感器的机器人已被用于气味源定位，融合电子鼻和计算机视觉的传感系统已被用于食品质量评估。由于多源信息的互相补充以及决策级的数据融合，这些协同感知系统都具有优于单模态传感器的感知能力，对于目标识别任务的准确度有一定程度的提升。

然而，目前已有的视觉嗅觉协同感知系统大多由分离的异构传感器组装而成，导致系统繁琐、体积大、数据集不兼容、数据融合过程复杂、且融合效率低等问题。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种基于视觉嗅觉协同感知器件的目标识别方法和装置，其具体技术方案如下：

一种基于视觉嗅觉协同感知器件的目标识别方法，所述视觉嗅觉协同感知器件包括图像传感器、光学式气体传感单元和镜头模块，所述图像传感器表面的部分区域修饰所述光学式气体传感单元以集成所述光学式气体传感单元，并且所述图像传感器表面上方安装所述镜头模块，所述镜头模块与所述图像传感器的尺寸相互适配，在同一时刻，所述图像传感器能够与所述镜头模块配合以采集目标物体的视觉信息，并通过所述光学式气体传感单元采集嗅觉信息，使得所述图像传感器采集的图像同时包含所述视觉信息和所述嗅觉信息，所述方法包括以下步骤：

步骤一：通过视觉嗅觉协同感知器件对目标物体进行信号采集以获得所述目标物体的图像，并通过所述图像传感器的光电转换单元和信号传输模块输出所采集的图像；

步骤二：对所述图像传感器输出的图像进行处理，得到视觉输入信号与嗅觉输入信号；

步骤三：将所述输入视觉输入信号和所述嗅觉输入信号输入预先训练获得的视觉嗅觉融合算法模型，进行特征提取与融合，获得目标识别结果。

进一步地，所述修饰的方法包括但不限于：打印、喷雾、微印章转印。

进一步地，所述光学式气体传感单元添加有多孔纳米颗粒，与目标物体的气体接触时，光学式气体传感单元发生光学信号改变，所述光学信号是包括颜色、光强、形状、折射率、荧光信号的参数。

进一步地，所述镜头模块通过外壳固定在修饰后的图像传感器上方，获取目标物体的视觉图像信息，所述外壳两侧分别设有气体流入通道和流出通道，气体流入通道与连接有微型风扇或微型气泵，其中微型风扇与图像传感器平行放置。

进一步地，所述外壳使用3D打印的方式定制成与图像传感器基底匹配的形状和尺寸，并安装在修饰后的图像传感器的正上方。

进一步地，所述图像传感器表面的边缘区域修饰所述光学式气体传感单元；所述步骤三具体为：对图像传感器输出的图像，按照信号区域分割为视觉区图像和嗅觉区图像，其中视觉区图像为未经修饰的中间成像区域的图像，嗅觉区图像为图像传感器修饰了光学式气体传感单元后获取到的边缘区域的图像，后将分割后的图像进行预处理，得到视觉输入信号和嗅觉输入信号。

进一步地，所述预处理具体为：对视觉区图像依次经过尺寸调整、归一化、随机裁剪、随机水平翻转、随机垂直翻转的前处理过程得到视觉输入信号，对嗅觉区域图像首先进行气体反应前后的图像差减操作，得到嗅觉差减图像再依次经过尺寸调整、归一化、随机水平翻转、随机垂直翻转的前处理过程得到嗅觉输入信号；其中所述进行气体反应前后的图像差减操作具体为：将采样一段时间后经过光学式气体传感单元发生颜色反应后的图像与采样初始的图像进行像素级图像差减。

进一步地，所述视觉嗅觉融合算法模型包括视觉特征提取卷积神经网络、嗅觉特征提取卷积神经网络及一个全连接的特征融合与提取卷积神经网络，分别使用视觉特征提取卷积神经网络和嗅觉特征提取卷积神经网络，提取视觉与嗅觉输入信号的特征，将提取的特征使用全连接的特征融合，再利用提取卷积神经网络对视觉嗅觉融合特征进行特征提取，后得到的特征集合输入至Softmax分类器中，得到目标识别结果。

一种基于视觉嗅觉协同感知器件的目标识别装置，包括一个或多个处理器，用于实现所述的基于视觉嗅觉协同感知器件的目标识别方法。

一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现所述的基于视觉嗅觉协同感知器件的目标识别方法。

与现有技术相比，本发明具有如下有益效果：

（1）本发明将视觉感知能力与嗅觉感知能力集成在同一个图像传感器上，图像传感器可以高清的记录下表面快速变化的影像，具有高成像分辨率、体积小、成本低等特性，因此图像传感器非常适合用作微型传感阵列的基底材料和信号的接收装置；与传统的多模态传感系统相比，本发明提供的视觉嗅觉协同感知器件集成度显著提高，并且体积小，结构简单，制备成本低。

（2）本发明中的嗅觉传感能力通过将光学气体传感材料集成到图像传感器表面来实现，光学气体敏感材料具有抗电磁场干扰性强、种类多样性、功耗低、信号直观、可视化等优势，将气味的特征信息以图像的形式表征出来（嗅觉可视化）也最大限度地减少了对信号转换设备模块的需求。

（3）本发明通过图像传感器将视觉图像信号与嗅觉信号输出在同一张图像上，视觉与嗅觉数据格式统一、高度兼容，实现了不同传感信号的数据级融合，对多源信息的利用更加高效，有利于系统感知能力的进一步提升。

（4）本发明中基于卷积神经网络建立了视觉嗅觉融合算法模型，对视觉和嗅觉信息进行特征提取与融合，与传统的图像模式识别方法相比，卷积神经网络在图像分析过程中可以自动提取并总结图像的深度特征，使获取的视觉和嗅觉信息充分融合，使目标分析结果准确度高、可靠性强。

（5）本发明中使用的图像传感器作为数码相机和手机摄像头的感光元件，可以方便的集成到多种电子设备中，如仿生机器人、无人探测装备等，在基于视觉和嗅觉的健康检测、目标探测等多种领域中具有广泛的潜在应用前景。

附图说明

图1是本发明实施例的一种基于视觉嗅觉协同感知器件的目标识别方法流程图；

图2是本发明实施例的视觉嗅觉协同感知器件采集的目标实物图像；

图3是本发明实施例的视觉嗅觉协同感知器件采集的目标嗅觉差减图像；

图4是本发明实施例的图像裁剪与预处理示意图；

图5是本发明实施例的目标识别网络结构示意图；

图6是本发明实施例的目标识别结果示意图；

图7是本发明实施例的目标识别子任务结果示意图；

图8为本发明实施例的一种基于视觉嗅觉协同感知器件的目标识别装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。

本发明的一种基于视觉嗅觉协同感知器件的目标识别方法和装置，使用的视觉嗅觉协同感知器件中，成像区域的中心部分以传统的透镜成像模式工作，用于视觉信息的采集，而边缘区域集成交叉敏感的气体敏感单元阵列，以无透镜成像模式工作，用于嗅觉信息的采集。单个图像传感器可以检测目标物体的视觉特征和气味指纹特征，并通过同一个数据接口输出为单张多模态图像，通基于卷积神经网络的视觉嗅觉融合算法模型进行特征提取与特征融合，极大程度的简化信息收集过程，提升数据融合效果。因此，本发明提供的视觉嗅觉融合感知方法显著提升了传感系统的器件集成度、抗干扰能力和识别效率，提高了目标识别的准确性和鲁棒性。

如图1所示，本发明实施例提供一种基于视觉嗅觉协同感知器件的目标识别方法，所述视觉嗅觉协同感知器件包括图像传感器、光学式气体传感单元和镜头模块，所述图像传感器表面的部分区域修饰所述光学式气体传感单元以集成所述光学式气体传感单元，并且所述图像传感器表面上方安装所述镜头模块，所述镜头模块与所述图像传感器的尺寸相互适配，在同一时刻，所述图像传感器能够与所述镜头模块配合以采集目标物体的视觉信息，并通过所述光学式气体传感单元采集嗅觉信息，使得所述图像传感器采集的图像同时包含所述视觉信息和所述嗅觉信息，

具体的，在图像传感器表面修饰一种或多种光学式气体传感单元，修饰方法包括但不限于：打印、喷雾、微印章转印等；所述光学式气体传感单元的工作原理包括但不限于：氧化还原反应、pH变色、西夫式反应、分子络合反应、金属染色、溶致变色、孔道吸附、溶剂吸附等；光学式气体传感单元使用的传感材料包括但不限于：氧化还原染料、pH敏感染料、西夫碱及其衍生物、金属卟啉类染料、溶致变色染料、金属有机框架材料、水凝胶聚合物、树脂等；当目标物体的气体与光学式气体传感单元接触后，会引起光学式气体传感单元发生光学信号变化，所述光学信号包括但不限于：颜色、光强、形状、折射率、荧光等参数。

其中，通过向图像传感器表面修饰的光学式气体传感单元掺杂适当浓度的多孔纳米颗粒，增加光学式气体传感单元的气体传感位点的比表面积、促进气体分子在气体传感位点的吸附和化学反应、增大气敏反应所引起的光吸收信号变化值，从而增加图像传感器捕获的光学信号响应值和检测灵敏度，并提升响应速度。

所述镜头模块通过外壳固定在修饰后的图像传感器上方，用于获取目标物体的视觉图像信息，所述外壳两侧分别设有气体流入通道和流出通道，气体流入通道与微型风扇或微型气泵相连，便于气体流通。

本发明实施例中，光学式气体传感单元采用一系列pH敏感染料组成的气敏比色阵列，所述一系列pH敏感染料具有不同的变色pH范围，气敏比色阵列的变色范围覆盖了2~14的pH区间，与氨气、有机胺等碱性气体及二氧化硫、有机硫等酸性气体接触后会发生不同程度的颜色变化；将所述光学式气体传感单元通过喷墨打印的方式集成到图像传感器表面的边缘部位，在光学式气体传感单元与待测目标气体接触后发生颜色变化的过程中，光学式气体传感单元快速变化的影像信息被高分辨率的图像传感器实时记录下来。

其中，通过向用于喷墨打印的光学式气体传感单元的前驱体墨水中添加浓度为0~300 mg/mL的多孔纳米二氧化硅颗粒，并通过机械震荡、磁力搅拌、超声等方法充分混合均匀，使得集成到图像传感器表面的气体传感位点具有高孔隙率和高比表面积，从而对目标气体具有高检测灵敏度和响应速度。

用于固定镜头模块的外壳使用3D打印的方式定制成与图像传感器基底匹配的形状和尺寸，并安装在修饰后的图像传感器的正上方，所述外壳的两侧分别设有气体流入通道和流出通道，气体流入通道与一个微型风扇相连，微型风扇与图像传感器平行放置，待分析的目标物体的气体从气体流入通道流入，经过微型风扇后从流出通道流出至图像传感器表面，与修饰在图像传感器的光学式气体传感单元充分接触，并产生相应的颜色变化，颜色变化的影像信息被图像传感器实时记录。

因此，图像传感器实时记录的图像，同时包含镜头模块拍摄的位于图像中央的目标视觉图像信号以及光学式气体传感单元反映出的位于图像边缘的目标嗅觉信号。

具体的，所述方法包括以下步骤：

步骤一：通过视觉嗅觉协同感知器件对目标物体进行信号采集以获得所述目标物体的图像，并通过所述图像传感器的光电转换单元和信号传输模块输出所采集的图像。

具体的，将视觉嗅觉协同感知器件置于待测目标物体附近，镜头聚焦于待测目标物体，视觉嗅觉协同感知器件连续、实时采集图像信号，该图像信号包含目标物体的嗅觉信号和视觉图像信号，通过图像传感器的光电转换单元和信号传输模块输出所采集的图像，并发送至电脑、手机等电子终端用于后续数据分析。

本实施例中，以肉类作为检测对象，使用视觉嗅觉协同感知器件采集肉类样本的视觉及嗅觉信号，并对鸡肉、猪肉、鱼肉三种不同的肉类的新鲜度进行识别。本实验中对鸡肉样本采集的实物图像如图2所示，其中，图像中央区域为镜头拍摄的鸡肉样本实物图像，图像边缘区域为图像传感器表面的光学式气体传感单元反映的嗅觉实时图像。采样过程中，将图像白平衡、曝光度、亮度、对比度等参数调节至最优后，以一定的帧率对样本进行连续的图像采集，采样时间根据光学式气体传感单元颜色变化情况确定。

步骤二：对所述图像传感器输出的图像进行处理，得到视觉输入信号与嗅觉输入信号。所述视觉输入信号由所述图像传感器采集的原始的视觉信号进行处理得到，所述嗅觉输入信号由图像传感器采集的原始嗅觉信号与经过一段时间发生颜色反应后的嗅觉信号进行像素差减操作后再处理得到。具体的，对图像传感器输出的图像，图像中包含目标物体的视觉信号和嗅觉信号，因此按照信号区域将图像分割为视觉区图像和嗅觉区图像，其中视觉区图像为未经修饰的中间成像区域的图像，嗅觉区图像为图像传感器修饰了光学式气体传感单元后获取到的边缘区域的图像；将分割后的图像进行预处理，其中，视觉区图像依次经过尺寸调整、归一化、随机裁剪、随机水平翻转、随机垂直翻转等前处理过程得到视觉输入信号，嗅觉区域图像首先进行气体反应前后的图像差减操作，得到嗅觉差减图像再依次经过尺寸调整、归一化、随机水平翻转、随机垂直翻转等前处理过程得到嗅觉输入信号。

所述进行气体反应前后的图像差减操作具体为：将采样一段时间后经过光学式气体传感单元发生颜色反应后的图像与采样初始的图像进行像素级图像差减。

本实施例中，将对肉类样本采集的图像分割为中央的视觉成像区及边缘的嗅觉区。将采样一段时间后经过光学式气体传感单元发生颜色反应后的图像与采样初始的图像进行像素级图像差减，得到嗅觉差减图像，嗅觉差减图像反应样本的气味信息，像素差减过程如图3所示。将嗅觉差减图像的像素尺寸调整为统一大小，再经过归一化和水平翻转、随机垂直翻转等数据增强过程，得到嗅觉输入信号；将视觉图像的像素尺寸调整为统一大小，再经过归一化和随机裁剪、随机水平翻转、随机垂直翻转等数据增强过程，得到视觉输入信号，实验中图像裁剪与前处理过程如图4所示。

步骤三：将所述视觉输入信号和嗅觉输入信号输入预先训练获得的视觉嗅觉融合算法模型，进行特征提取与融合，获得目标识别结果。

所述视觉嗅觉融合算法模型包括视觉特征提取卷积神经网络、嗅觉特征提取卷积神经网络及一个全连接的特征融合与提取卷积神经网络。所述视觉嗅觉融合算法模型对视觉输入信号和嗅觉输入信号的处理过程如图5所示，其中，分别使用视觉特征提取卷积神经网络和嗅觉特征提取卷积神经网络作为视觉特征与嗅觉特征提取模块的主干，分别提取视觉与嗅觉输入信号的特征；再将视觉信号与嗅觉信号中输出的特征融合，使用全连接的特征融合与提取卷积神经网络对视觉嗅觉融合特征进行特征提取，将得到的特征集合输入Softmax分类器中，得到最后的目标识别结果。

在模型训练过程中，首先初始化该模型第一卷积神经网络各层之间参数，将训练样本集的图像输入到卷积神经网络，经过其卷积层、池化层和全连接层进行前向传播得到输出值，利用交叉熵损失函数计算网络输出值与目标值的误差，采用随机梯度下降SGD优化器对各层之间的网络参数进行更新，经过重复输入与参数更新，直到网络输出值与目标值的误差基本稳定时，停止训练，得到训练好的卷积神经网络模型。

然后分别将验证样本集和测试样本集分别输入到训练好的卷积神经网络模型中，分别提取各自的数据域特征，再将验证样本集的数据域特征集合和测试样本集的数据域特征集合分别输入到Softmax分类器中，对各目标类别的后验概率进行赋权，得到最终的目标识别结果，即目标物体所属的类别以及目标物体的视觉图像识别结果和嗅觉信号分析结果。

本实施例中，使用基于ResNet18的卷积神经网络分别对预处理过的视觉与嗅觉输入信号进行特征提取，ResNet18网络有四个阶段，每个阶段都会输出一个特征图，同时也是下一阶段的输入。不同阶段输出的特征图尺度不同，越上层的特征图，尺度越小，通道数越多。使用一个具有全连接层的神经网络进行视觉与嗅觉特征的融合，并进行进一步的融合特征提取与识别结果输出。

图6是本发明实施例中，分别使用视觉嗅觉协同感知、单一嗅觉感知（只使用图像中的嗅觉信号）及单一视觉感知（只使用图像中的视觉信号）三种方法，对鸡肉、猪肉、鱼肉三种肉类的混合样本的肉品种类和新鲜度等级进行识别的准确率对比图，其中鸡肉、猪肉、鱼肉三种肉类样品均被分为新鲜、次新鲜、腐败三种新鲜度等级。实验结果证明，本发明方法提供的基于图像传感器的视觉嗅觉协同感知方法对肉品种类和新鲜度的等级的识别准确率均可达到100%，该方法与传统机器嗅觉和机器视觉方法相比，对目标识别的准确度和可靠性大幅提升。

图7是本发明实施例中，分别使用视觉嗅觉协同感知、单一嗅觉感知及单一视觉感知三种方法，对鸡肉、猪肉、鱼肉三种已知种类的肉类样本的不同新鲜度等级进行识别的准确率对比图，三种肉类样品均被分为新鲜、次新鲜、腐败三种新鲜度等级。实验结果表明，本发明方法提供的视觉嗅觉协同感知方法对三种肉类的新鲜度等级的识别准确率均可达到100%，进一步验证了视觉嗅觉协同感知方法在多种目标识别任务中的准确率优于单一嗅觉感知或单一视觉感知方法。

与前述基于视觉嗅觉协同感知器件的目标识别方法的实施例相对应，本发明还提供了一种基于视觉嗅觉协同感知器件的目标识别装置的实施例。

参见图8，本发明实施例提供的一种基于视觉嗅觉协同感知器件的目标识别装置，包括一个或多个处理器，用于实现上述实施例中的一种基于视觉嗅觉协同感知器件的目标识别方法。

本发明的一种基于视觉嗅觉协同感知器件的目标识别装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图8所示，为本发明一种基于视觉嗅觉协同感知器件的目标识别装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图8所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于视觉嗅觉协同感知器件的目标识别方法。

所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是风力发电机的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

综上，在基于图像传感器的视觉嗅觉协同感知器件中，由于图像传感器可提供数百万像素，在记录图像信息的同时可以作为光学式气体传感单元的集成基底，可以实现视觉和嗅觉传感能力的片上集成。

本发明方法中使用的视觉嗅觉协同感知器件中，成像区域的中心部分以传统的透镜成像模式工作，用于视觉信息的采集，而边缘区域集成交叉敏感的气体敏感单元阵列，以无透镜成像模式工作，用于嗅觉信息的采集。单个图像传感器可以检测目标物体的视觉特征和气味特征，并通过同一个数据接口输出为单张多模态图像，通基于卷积神经网络的视觉嗅觉融合算法模型进行特征提取与特征融合，极大程度的简化信息收集过程，提升数据融合效果。因此，本发明提供的视觉嗅觉融合感知方法显著提升了传感系统的器件集成度、抗干扰能力和识别效率，提高了目标识别的准确性和鲁棒性。

以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视觉嗅觉协同感知器件的目标识别方法，其特征在于，所述视觉嗅觉协同感知器件包括图像传感器、光学式气体传感单元和镜头模块，所述图像传感器表面的部分区域修饰所述光学式气体传感单元以集成所述光学式气体传感单元，并且所述图像传感器表面上方安装所述镜头模块，所述镜头模块与所述图像传感器的尺寸相互适配，在同一时刻，所述图像传感器能够与所述镜头模块配合以采集目标物体的视觉信息，并通过所述光学式气体传感单元采集嗅觉信息，使得所述图像传感器采集的图像同时包含所述视觉信息和所述嗅觉信息，所述方法包括以下步骤：

步骤一：通过视觉嗅觉协同感知器件对目标物体进行信号采集以获得所述目标物体的图像，并通过所述图像传感器的光电转换单元和信号传输模块输出所采集的图像；

步骤二：对所述图像传感器输出的图像进行处理，得到视觉输入信号与嗅觉输入信号；

步骤三：将所述视觉输入信号和所述嗅觉输入信号输入预先训练获得的视觉嗅觉融合算法模型，进行特征提取与融合，获得目标识别结果。

2.如权利要求1所述的一种基于视觉嗅觉协同感知器件的目标识别方法，其特征在于，所述修饰的方法包括：打印、喷雾、微印章转印。

3.如权利要求1所述的一种基于视觉嗅觉协同感知器件的目标识别方法，其特征在于，所述光学式气体传感单元添加有多孔纳米颗粒，与目标物体的气体接触时，光学式气体传感单元发生光学信号改变，所述光学信号是包括颜色、光强、形状、折射率、荧光信号的参数。

4.如权利要求1所述的一种基于视觉嗅觉协同感知器件的目标识别方法，其特征在于，所述镜头模块通过外壳固定在修饰后的图像传感器上方，获取目标物体的视觉图像信息，所述外壳两侧分别设有气体流入通道和流出通道，气体流入通道与连接有微型风扇或微型气泵，其中微型风扇与图像传感器平行放置。

5.如权利要求4所述的一种基于视觉嗅觉协同感知器件的目标识别方法，其特征在于，所述外壳使用3D打印的方式定制成与图像传感器基底匹配的形状和尺寸，并安装在修饰后的图像传感器的正上方。

6.如权利要求1所述的一种基于视觉嗅觉协同感知器件的目标识别方法，其特征在于，所述图像传感器表面的边缘区域修饰所述光学式气体传感单元；所述步骤三具体为：对图像传感器输出的图像，按照信号区域分割为视觉区图像和嗅觉区图像，其中视觉区图像为未经修饰的中间成像区域的图像，嗅觉区图像为图像传感器修饰了光学式气体传感单元后获取到的边缘区域的图像，后将分割后的图像进行预处理，得到视觉输入信号和嗅觉输入信号。

7.如权利要求6所述的一种基于视觉嗅觉协同感知器件的目标识别方法，其特征在于，所述预处理具体为：对视觉区图像依次经过尺寸调整、归一化、随机裁剪、随机水平翻转、随机垂直翻转的前处理过程得到视觉输入信号，对嗅觉区域图像首先进行气体反应前后的图像差减操作，得到嗅觉差减图像再依次经过尺寸调整、归一化、随机水平翻转、随机垂直翻转的前处理过程得到嗅觉输入信号；其中所述进行气体反应前后的图像差减操作具体为：将采样一段时间后经过光学式气体传感单元发生颜色反应后的图像与采样初始的图像进行像素级图像差减。

8.如权利要求1所述的一种基于视觉嗅觉协同感知器件的目标识别方法，其特征在于，所述视觉嗅觉融合算法模型包括视觉特征提取卷积神经网络、嗅觉特征提取卷积神经网络及一个全连接的特征融合与提取卷积神经网络，分别使用视觉特征提取卷积神经网络和嗅觉特征提取卷积神经网络，提取视觉与嗅觉输入信号的特征，将提取的特征使用全连接的特征融合，再利用提取卷积神经网络对视觉嗅觉融合特征进行特征提取，后得到的特征集合输入至Softmax分类器中，得到目标识别结果。

9.一种基于视觉嗅觉协同感知器件的目标识别装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-8中任一项所述的基于视觉嗅觉协同感知器件的目标识别方法。

10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-8中任一项所述的基于视觉嗅觉协同感知器件的目标识别方法。

Images