CN112415002A - 一种基于图像传感器的多模态传感器件 - Google Patents

Abstract

本发明公开了一种基于图像传感器的多模态传感器件，包括以下结构：图像传感器、光学式传感单元和镜头模块；图像传感器部分表面修饰了可产生光学信号响应的光学式传感单元，用来检测传感信号。同时，图像传感器未修饰光学式传感单元的部分结合镜头模块可检测外部的图像信息。该发明使用与半导体工艺、集成电路工艺相兼容的图像传感器，体积小、集成度高，实现了在同一器件上多种传感信号和图像信号的同时并行检测，提高了智能设备对外部信息的获取能力。

Description

一种基于图像传感器的多模态传感器件

技术领域

本发明涉及物理传感、化学传感和图像传感，属于智能传感领域。

背景技术

在物联网和5G时代，智能传感器在机器人、健康医疗、智能制造中具有广阔应用前景。生物和机器人等智能系统在处理复杂任务的过程中，需要一系列的传感系统协同工作。例如，蚊子在寻找宿主的过程中，首先是通过二氧化碳感受器感知到周围宿主的存在，这个信号刺激蚊子开始寻找宿主并逆着二氧化碳的浓度梯度飞行，这个过程中需要气流感受器的配合。在飞行过程中，蚊子的视觉感受系统不断寻找疑似的宿主目标，在飞近疑似的宿主目标后，蚊子通过温度、湿度和乳酸感受器的共同工作来判断并确认宿主目标，通过触觉感受器判断接触到宿主皮肤后完成吸血动作。整个过程涉及到多个维度的信号感知。类似的，多模态的传感技术可极大的提升智能设备对环境和物体的感知能力，以及完成复杂任务的能力。

传统的智能设备采用分立的传感器件分别获取不同维度的信息。例如，仿生机器人可利用摄像头获取图像信息，利用机器手上的力学传感器获得触觉信号，同时利用金属氧化物等类型的气体传感器组成阵列对气味进行检测。但由于采用分立器件的技术路线占用的体积大、信号传输需要的数据接口多、时间长，难以满足智能设备向微型化、低能耗、快速响应等方向发展的需求。开发能够进行多模态感知的集成传感器件在智能设备领域有重要的应用价值。

由于智能手机等智能设备的普及，近年来图像传感器在成本不断下降的同时，性能得到了大幅度的提升。拍照，人脸识别，移动支付等基于图像采集和分析的数字化技术也实现了广泛的应用落地。目前图像传感器主要包括感光耦合元件式和互补金属氧化物半导体式，每种图像传感器都集成了大量的光电转换单元、图像信号处理系统和信号接口。这使得图像传感器非常适合用于光学式传感器阵列的信号检测。传统方法是利用图像传感器和镜头模块在光学式传感器阵列的一段距离之外对其进行图像采集，但这样整个检测系统的体积较大，而且传感单元的尺寸一般需要在毫米级别才能获得比较清晰的图像。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于图像传感器的多模态传感器件。

为实现上述目的，本发明所采取的技术方案是：一种基于图像传感器的多模态传感器件，包括以下结构：图像传感器、光学式传感单元和镜头模块；图像传感器部分表面修饰了可产生光学信号响应的光学式传感单元，用来检测传感信号。同时，图像传感器未修饰光学式传感单元的部分利用镜头模块可检测外部的图像信息。

该器件将光学式传感单元直接修饰在图像传感器表面，不需要镜头模块对光线的聚焦而直接获得微米尺寸传感单元的清晰图像。这大幅度的减小了传感单元和检测系统的体积。此外，由于传感单元尺寸的减小，图像传感器在表面修饰了用于物理或化学信号检测的光学式传感器阵列后，还有大量的光电转换单元没有被覆盖。这些光电转换单元配合镜头模块可获取清晰的外部图像信号。本发明的多模态传感器件集成度高、获取的信息维度多，有助于智能设备的微型化和感知能力的提升。

进一步地，本发明所述图像传感器包括阵列式光电转换单元和信号传输模块。

进一步地，本发明所述图像传感器还包括信号处理模块。

进一步地，本发明所述光学式传感单元为物理信号传感单元和/或化学信号传感单元。

进一步地，本发明所述物理信号传感单元在有可检测的物理信号时，可产生由包括颜色、光强、形状、位移等改变而引起的光学信号改变。

进一步地，本发明所述化学信号传感单元在有可检测的化学信号时，可产生由包括颜色、光强、形状、折射率、荧光信号等改变而引起的光学信号改变。

进一步地，本发明所述的基于图像传感器的多模态传感器件还包括外壳，镜头模块固定在外壳上，外壳置于图像传感器上，外壳上设有一个或多个气体流通结构。

进一步地，本发明所述的基于图像传感器的多模态传感器件还包括一个或多个光源，用于为光学式传感单元提供光照，或用作荧光信号的激发光源。

进一步地，本发明所述的基于图像传感器的多模态传感器件还包括一个或多个光路控制模块，用于阻挡光源、气流对图像传感器接收的外部图像信息产生干扰。

本发明还提供了一种基于上述多模态传感器件的具体应用器件——视觉嗅觉协同感知器件，包括以下结构：

图像传感器，用于采集光学信号；

直接修饰于图像传感器表面的气体传感单元，用于检测产生光学信号响应的气体传感信号；在周围有可检测的气体时，气体传感单元会产生图像传感器可检测到的光学信号变化；

安装于图像传感器表面上方的镜头模块，用于获取外界图像信号。

上述视觉嗅觉协同感知器件可以同时实现视觉和嗅觉信息的端侧检测分析。

与现有技术相比，本发明具有如下有益效果：

(1)在结构上，本发明利用在图像传感器部分表面固定可产生光学信号响应的物理信号传感单元和化学信号传感单元，实现了在同一器件上的多模态信号检测。相比于传统的分立器件，体积小、结构简单，更适合于微型机器人、智能手机等对尺寸敏感的智能设备上的集成应用。

(2)本发明基于图像传感器的多模态传感器件检测到的图像中包含了视觉、物理和化学信息，在一次图像信号处理时可以同时分析多种类型的信号，这显著提高了智能设备对信息获取和分析的效率，降低了时间成本和算力成本。

(3)本发明中采用的图像传感器与半导体和集成电路工艺兼容，因此可在图像传感器中集成存储和计算功能，实现多维信息的端侧检测分析，进一步提高智能系统的集成度和计算能力。

(4)本发明的基于图像传感器的多模态传感器件结构简单、成本低廉、重复性好，便于批量的大规模生产制造，具备良好的市场应用前景。

附图说明

图1a和图1b分别是多模态传感器件的整体结构示意图和各部分拆分示意图；

图2是多模态传感器件的图像信号示意图；

图3a、图3b和图3c分别是镜头模块结构示意图、多模态传感器件的拆分示意图和多模态传感器件的剖面图。

图4a和图4b分别是物理信号传感单元响应前后图像的示意图；

图5a和图5b分别是化学信号传感单元响应前后图像的示意图。

具体实施方式

以下结合附图及具体实施例对本发明做详细描述，但并不是限制本发明。

如图1所示，本发明基于图像传感器的多模态传感器件1包括图像传感器11，光学式传感单元(物理信号传感单元12、化学信号传感单元13)和镜头模块。其中，物理信号传感单元12、化学信号传感单元13可根据需要选择组合修饰于图像传感器11。如图2所示，由于物理信号传感单元12和化学信号传感单元13在图像传感器11的表面，因此图像传感器11可不通过镜头模块直接获得物理信号传感单元12的图像21和化学信号传感单元13的图像22。同时，图像传感器11表面未被物理信号传感单元12和化学信号传感单元13覆盖的部分通过镜头模块的聚焦功能可获取外部物体的图像23，例如图2所示图像中包含的人的图像。优选地，如图1所示，镜头模块固定在一外壳14上，图像传感器和修饰于图像传感器表面的光学式传感单元位于外壳内部，可以阻挡灰尘等对图像传感器11的污染，影响检测精度。

如图3所示，为了获得更好的检测效果，在基于图像传感器的多模态传感器件1中可加入光源142、光路控制模块一143和光路控制模块二111。如图3a和3c所示，光源142位于外壳14内顶部，给物理信号传感单元12和化学信号传感单元13提供光照。光路控制模块一143设置在图像传感器11和光源142之间，遮挡光源142产生的光线，避免光源142对图像传感器11接收的外部图像信息产生干扰。如图3b和3c所示，光路控制模块二111设置在光学式传感单元和气体流通结构141之间，可遮挡从气体流通结构141中进入的外部光线，减小外部光线对图像传感器11接收的物理信号传感单元12和化学信号传感单元13的图像信息产生干扰。所述光源、光路控制模块和气体流通结构均根据光学式传感单元进行适应性设置，例如，若为风向、风速、加速度相关的传感单元，则可不设置光路控制模块以免影响检测。物理信号传感单元12和化学信号传感单元13可通过打印、喷雾、纺丝、印刷、印章转移等技术加工修饰在图像传感器11的表面。物理信号传感单元12和化学信号传感单元13的尺寸最小为图像传感器11的单个光电转换单元的尺寸，最大为图像传感器11整个图像敏感区域的尺寸。

物理信号传感单元12可检测的物理量包括但不限于温度、湿度、风向、风速、加速度等。这些物理信号的改变可引起物理信号传感单元12产生光学信号的改变。如图4所示，温度低时的温度传感单元311和温度高时的温度传感单元312呈现不同的颜色，温度传感单元可采用包括但不限于有机、无机及液晶类热致变色材料；湿度低时的湿度传感单元321和湿度高时的湿度传感单元322可呈现不同的颜色，湿度传感单元可采用的湿敏材料包括钴盐等；一些弹性结构在风的作用下根据风向和风速的不同可改变不同的形状，例如无风下的气流传感单元331在左侧吹风时变成变形的气流传感单元332，虚线代表无形变时的形状；一些弹性结构在加速度的作用下会产生位移，例如静止状态下的加速度传感单元341在有向右的加速度时会变成产生位移的加速度传感单元342。这些信号都可以通过图像传感器11进行检测。

气体样本通过气体流通结构141与化学传感单元13接触后，产生光学信号变化的因素包括但不限于光强、颜色、形状和折射率等参数的改变。产生这些光学信号的反应机理包括但不限于：氧化还原反应、pH变色、西夫式反应、络合反应、金属染色、溶致变色、溶剂吸附、孔隙吸附等。如图5所示，反应前的颜色较淡的化学传感单元411在与气体样本反应后变为了颜色深的化学传感单元412，例如含有淡棕色N,N-二甲基-1-萘可与二氧化氮反应生成深棕色的产物；反应前的可变色的化学传感单元421在与气体样本反应后变为了具有不同颜色的化学传感单元422，例如蓝色的间甲酚紫在与二氧化碳反应后可变为黄色；反应前的可膨胀的化学传感单元431在与气体样本反应后变为了体积更大的化学传感单元432，例如金属钯在吸收氢气后体积会膨胀；反应前的折射率可改变的化学传感单元441在与气体样本反应后变为了光斑位置不同的化学传感单元442，例如丙烯酸树脂在结合了苯类气体后会发生折射率改变；反应前的长条形的化学传感单元451在与气体样本反应后变为了弯曲的化学传感单元452，例如由一层涂敷有聚乙烯的纸构成的传感单元在接触到己烷气体时，聚乙烯会膨胀变长，而纸不变，因此传感单元会朝着纸的一侧弯曲。

本发明的器件可广泛应用于检测与识别领域，以下以视觉嗅觉协同感知器件(光学式传感单元仅采用气体传感单元)作为具体实施案例介绍本发明器件在分析识别物质中的应用。本实施案例中，气体传感单元采用6-丙酰-2-丹磺酰氯修饰的血清白蛋白、氧化卟啉原以及溶致变色染料组成，并根据已知气味及其气体传感单元的响应信号建立气体响应数据库。对未知物体进行识别时，具体包括以下步骤：

步骤一：将视觉嗅觉协同感知器件置于装有物体的两个透明容器附近，利用视觉嗅觉协同感知器件中分别对两个透明容器采集包含气体传感信息和待测物体图像信息的图像信号。

步骤二：将图像信号通过图像传感器11的信号传输模块传输到图像传感器11内部或外部的信号处理模块。信号处理模块利用气体传感单元12的响应信号和已建立的气体响应数据库进行比对，判断出第一个透明容器的气态挥发物中含有酒精和葡萄气味成分，第二个透明容器的气态挥发物中含有葡萄气味成分。信号处理模块利用外部图像信息和已建立的图像数据库进行比对，判断出两个透明容器中均含有紫色液体。

步骤三：信号处理模块综合气体传感单元12的响应信号和外部图像信息，可以判断第一个透明容器中为葡萄酒，第二个透明容器中为葡萄汁。

本发明可用于检测识别固体、液体和气体。除了综合利用气体传感单元12的响应信号和外部图像信息外，也可以单独利用气体传感单元12的响应信号和外部图像信息对物质进行定性定量分析。本发明模拟了生物对物质识别时利用多维感官信息的方法，相对与传统机器嗅觉和机器视觉系统的识别检测能力有极大的提升。

需要说明的是，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。

Claims (10)

1.一种基于图像传感器的多模态传感器件，其特征在于，包括以下结构：

图像传感器，用于采集光学信号。

直接修饰于图像传感器表面的光学式传感单元，用于检测产生光学信号响应的传感信号。

安装于图像传感器表面上方的镜头模块，用于获取外界图像信号。

2.根据权利要求1所述的基于图像传感器的多模态传感器件，其特征在于：所述图像传感器包括阵列式的光电转换单元和信号传输模块。

3.根据权利要求2所述的基于图像传感器的多模态传感器件，其特征在于：所述图像传感器还具有信号处理模块。

4.根据权利要求1所述的基于图像传感器的多模态传感器件，其特征在于：所述光学式传感单元为物理信号传感单元和/或化学信号传感单元。

5.根据权利要求4所述的基于图像传感器的多模态传感器件，其特征在于：所述物理信号传感单元在有可检测的物理信号时，可产生由包括颜色、光强、形状、位移等改变而引起的光学信号改变。

6.根据权利要求4所述的基于图像传感器的多模态传感器件，其特征在于：所述化学信号传感单元在有可检测的化学信号时，可产生由包括颜色、光强、形状、折射率、荧光信号等改变而引起的光学信号改变。

7.根据权利要求1所述的基于图像传感器的多模态传感器件，其特征在于：还包括外壳，所述镜头模块固定在外壳上，图像传感器和修饰于图像传感器表面的光学式传感单元位于外壳内部，外壳上设有一个或多个气体流通结构。

8.根据权利要求6所述的基于图像传感器的多模态传感器件，其特征在于：还包括一个或多个光源，用于为光学式传感单元提供光照，或用作荧光信号的激发光源。

9.根据权利要求1所述的基于图像传感器的多模态传感器件，其特征在于：还包括一个或多个光路控制模块，用于阻挡光源、气流对图像传感器接收的外部图像信息产生干扰。

10.一种基于图像传感器的视觉嗅觉协同感知器件，其特征在于，包括以下结构：

图像传感器，用于采集基于光学信号；

直接修饰于图像传感器表面的气体传感单元，用于检测产生光学信号响应的气体传感信号；

安装于未修饰的图像传感器表面上方的镜头模块，用于获取外界图像信号。

Images