CN115176132A - 具有改进型成像仪的通信终端 - Google Patents

Abstract

一种通信终端，包括主机(C)、存储器、显示设备(ET)、输入设备(ET)、在可见光范围工作的照相机(CA)、无线通信电路、声传感器和声换能器。还包括在不可见光范围工作的图像传感器(IM)，不同于照相机并且能够生成一系列在硅光谱敏感范围之外的不可见光谱域中的像素图像。该传感器包括对不可见光范围的光线敏感的感光元件阵列，所述元件设置在连接硅衬底上的读取电路的非硅衬底上，还包括在不可见光范围工作并插入到光线路径上的带通滤光器(130；140n；150n)。该终端被配置为，对于传感器的多个不同对焦轴，通过阵列的多个曝光阶段，拍摄一个场景的一组图像，其中至少一部分像素会接收到来自各个曝光阶段中该场景同一部分在不同波段发出的光线。该终端还包括处理电路，能够将这些阶段中捕获的图像进行组合，使得阵列中的同一个感光元件能够分配到至少两个不同光谱波段中的范围内的至少两个光度值，其分辨率高于图像传感器的固有分辨率。

Description

具有改进型成像仪的通信终端

技术领域

本发明整体上涉及一种配备有改进型成像仪的通信终端。

背景技术

在已知的现有技术中，诸如智能电话或平板电脑等通信终端以集成方式包括在可见光范围工作的一个或多个照相机。

可以利用此类照相机以极低成本在可见光范围内生成多光谱图像，但是这些图像通常不符合此类图像中包含的活性或惰性材料的物理化学分析。因此，在可见光波段中，存在严重的色彩干扰(例如，有意或无意地将染料引入产品中)，这些干扰可能会使分析完全错误。此外，材料的光谱特征是由于分子中自由基的振动形成的，这些振动与化学键的强度有关。因此，材料的光谱特征基本上位于人眼不可见的红外波段内，并且通常对装备商用终端照相机的硅衬底上的传感器不可见。

红外成像仪显然是众所周知的，尤其是由日本滨淞光子公司、美国菲力尔公司、法国Lynred公司出售的那些。然而，这些成像仪采用一定技术制造的，这些技术的成本使得它们无法集成到大众终端中。此外，一些成像仪需要冷却，这也成为阻碍此类集成的因素。

最后，已知一种例如根据美国专利文献US 2017/205344 A1的通信终端，如智能电话，其包括可见光范围外的成像装置。使用不可见光成像仪，特别是在红外线成像仪，一个困难在于这种成像仪的高分辨率导致成本过高的这一情况。

发明内容

本发明旨在通过扩展现有终端的可成像性，具体是通过可以在不可见光范围获得具有良好分辨率的图像而无需昂贵的装置，从而对现有终端进行改进。

为此提出了一种通信终端，包括主机、存储器、显示设备、输入设备、在可见光范围工作的照相机、无线通信电路、声传感器和声换能器，所述终端的特征在于它还包括在不可见光范围工作的图像传感器，不同于在可见光范围工作的照相机并且能够生成一系列在硅光谱敏感范围之外的不可见光谱域中的像素图像，该在不可见光范围工作的图像传感器包括对所述不可见光谱域内的光线敏感的感光元件阵列，所述元件设置在连接硅衬底上的读取电路的非硅衬底上，还包括在不可见光谱域工作并插入到光线路径上的带通滤光器，其特征在于其被配置为，对于在不可见光范围工作的图像传感器的多个不同对焦轴，通过感光元件阵列的多个曝光阶段，拍摄一个场景的图像，其中至少一部分像素会接收到来自各个曝光阶段中该场景同一部分在不同波段发出的光线，其特征还在于还包括处理电路，能够对多个曝光阶段中捕获的图像进行组合，使得阵列中的同一个感光元件能够分配到至少两个不同光谱波段中的至少两个光度值，其分辨率高于在不可见光范围工作的图像传感器的固有分辨率。

通过本发明，通信终端能够在不同类型的应用中，用于进行成像光谱分析。尤其可以列举化学物质鉴别、植物健康状况确定、医学诊断、食品卫生检验等。

根据本发明提出以下可选特征，这些特征单独加以采用，或者以被本领域技术人员理解为技术上兼容的任何组合形式加以采用：

*带通滤光器包括多个在不同固定光谱波段内的滤光区。

*滤光区分别位于感光元件阵列的子阵列前面。

*滤光区被排列成网格。

*滤光区被排列成一组平行于感光元件阵列边缘的条形。

*带通滤光器是可动态编程的，以在各个曝光阶段的不同光谱波段中进行工作。

*滤光器基于法布里-珀罗干涉测量法。

*被捕获的图像组合包括利用处理电路输入端应用的配准数据对所述图像进行配准。

*所述配准数据是根据在相同曝光阶段用可见光照相机拍摄的多个可见光图像确定的。

*所述配准数据来自终端的位置和/或运动传感器。

*终端包括能够组合图像的电路，所述图像来自在可见光范围工作的照相机和在不可见光范围工作的传感器。

*该终端包括电路，能够处理来自在可见光范围工作的照相机的图像所含的至少一个元素，这是基于不可见光谱波段中的所述元素的特性，例如在不可见光范围工作的图像传感器所测定的特性。

*不可见光谱域在波长0.7到2.5μm之间。

根据第二方面，提出了一种使用在不可见光范围工作的图像传感器，生成硅光谱敏感范围之外的不可见光谱域内图像的方法，该图像传感器包括对所述不可见光谱域内光线敏感的感光元件阵列，所述元件设置在连接硅衬底上的读取电路的非硅衬底上，还包括在不可见光谱域工作并插入到光线路径上的带通滤光器，其特征在于该方法包括以下步骤：

-对于在不可见光范围工作的图像传感器的多个不同对焦轴，通过感光元件阵列的多个曝光阶段，拍摄一个场景的一组图像，其中至少一部分像素会接收到来自各个曝光阶段中该场景同一部分在不同波段发出的光线，并且

-对多个曝光阶段中捕获的图像进行组合，使得阵列中的同一个感光元件能够分配到至少两个不同光谱波段中的至少两个光度值，其分辨率高于在不可见光范围工作的图像传感器的固有分辨率。

附图说明

下面通过作为非限制性示例给出的优选实施方式，并结合附图，来详细阐述本发明的其它方面、目的和优点，其中：

-图1是可以应用本发明的通信终端的示意图，

-图2是可以装备图1的终端的在不可见光范围工作的成像仪的剖视图，

-图3是可以装备图2的成像仪的可变滤光器的第一种实施方式的剖视图，

-图4示出了图3的可变滤光器的控制曲线的第一示例，

-图5示出了图3的可变滤光器的控制曲线的第二示例，

-图6是可以装备图2的成像仪的可变滤光器的第二种实施方式的剖视图，

-图7是根据本发明的简化成像仪的像素平面图，

-图8是马赛克滤光器的布局平面图，该马赛克滤光器需要与成像仪叠加，该成像仪本身是可以装配图1终端的在不可见光范围工作的成像仪，

-图9示出了一个场景的一组连拍图像的相互排列的示例，其中成像仪从一个镜头运动到另一个镜头，

-图10示出了一个场景的一组连拍图像的相互排列的另一个示例，其中成像仪从一个镜头运动到另一个镜头，

-图11示出了可以装备成像仪的马赛克滤光器的另一种布局。

具体实施方式

参照图1，通信终端T以本身已知的方式在外壳B中包括一个或多个带有常规电路(处理器、存储器、输入/输出电路、用于蜂窝网络、WiFi网络、

等的无线通信电路)的电路板C、触摸屏ET、至少一个在可见光范围工作的摄像头CA、麦克风MI和声学换能器或扬声器TR。

终端T还包括在不可见光范围工作的成像仪IM，在这种情况下是在近红外范围内。

参照图2，该成像仪100包括红外光电捕获层110，其包括一组阵列排列的单独的这种元件，所述元件是例如制作在InGaAs衬底上的。

与该捕获层接触的是，优选地采用CMOS技术制作在硅衬底上的读取层120，通过分别设置在层110和120的相对表面上的一组触点112、122和金属触球140，连接至捕获层110，这两层的机械和电连接是通过热熔或压缩，以本身已知的方式实现的。这种接触技术可以通过现有技术，以10μm甚至更小的间距来实现(另请参见下文)，这样可以获得例如几毫米×几毫米数量级的VGA标准(就像素数量而言，即640×480)成像仪。

更详细地，捕获层110，就如所述的那样，是在非硅衬底(例如InGaAs)上的光电探测器阵列，并且该阵列被移植到读取电路120上，优选地是采用CMOS技术制作在硅衬底上的读取电路。阵列的每个像素与捕获电路和读取电路之间的一个或多个电触点112、122相关联。

选择捕获层以便能够在室温下工作，通常是在700到2600nm之间的光谱波段中。这可以是但不限于基于InGaAs或锗的传感器、量子点(英文术语“quantum dot”)技术传感器等。

捕获层110和读取层120之间的电连接是采用例如最新的高密度多点连接技术实现的，并且所述技术例如是TSMC(中国台湾半导体制造公司)开发的inFO、CoWos。这些技术可以组装具有大量连接点的芯片，其电连接间距通常小于10μm，这样可以在用于终端时以足够细微的尺寸来实现VGA量级(640x 480元件)的空间定义，其中超大系列的成本是可承受的。

此外，这些技术是针对微电子工业开发的，连接故障率明显低于百万分之一，而在红外传感器的制造中，低于千分之一的故障率通常被认为是可以接受的。

滤光层130在捕获层110侧与这些层110和120相结合。成像仪还包括光学器件，其可以是以未示出的常规光学器件。

下面将描述滤光层的几个可行的实施方式。

在第一实施方式中，滤光器130是电控可变窄带宽动态可编程滤光器，可以使波长通常在700到2600nm之间的光线通过。

根据该第一实施例并参照图3，滤光器130通常是根据法布里-珀罗原理的干涉滤光器。参见例如HervéBertin的“3D集成MOEMS技术中可调法布里-珀罗滤光器阵列的研究：在多光谱成像中的应用”。南巴黎大学-巴黎十一大，2013年。法语NNT：2013Pa112132ff.电话-00860624。

该滤光器由两个平行的平面镜131、132组成，彼此面对面设置，相隔距离d。根据这种滤光器的原理，尽管每个平面镜都是不透光，但两个平面镜的组合在某些波长下表现为透光。最大透光波长是由相隔距离d决定的。

在图3的示例中，该距离d是通过压电元件133控制的，所述压电元件使平面镜131、132在它们的周缘处相互连接，这些部件133的几何尺寸(高度)是由可变电压VFP的发电机134与配备压电部件的电极135、136组合控制的。

为了制作这种滤光器，可以从芬兰VTT公司开发的技术中汲取灵感，例如美国专利申请US 2014 124 263A1中所描述的。

图4示出了捕获和滤光的动态的第一示例，其可以在同一操作过程中(用户仅触发一次)生成多个近红外范围的几个窄带宽中的像素图像。

虚线矩形波CR示出了捕获层110的像素的曝光阶段(通常每个持续大约几毫秒到几十毫秒)，而阶梯曲线CO示出了可编程滤光器130的控制电压。在所示示例中，在几十到几百毫秒的总持续时间中，在五个不同的红外波段中拍摄了五个图像。在实践中，可以根据应用设置明显更多的曝光次数和波段数量。

图5示出了滤光器的控制曲线的另一示例，在此用CO2表示。该曲线在具有恒定斜率，这使得，当透光波段中心在每个矩形波的捕获过程中发生变化时，滤光器对于每个波段的选择性降低。

图5还示出了滤光器控制曲线的斜率可以随着较小斜率的曲线CO3而改变的情况，因此拍摄图像的红外波长宽带变窄。

可以理解的是，还可以提供已存储和/或已设置的各种曲线，从而可以在捕获期间生成不同组的红外图像(数量、波段间距、波段的选择性)。

如此捕获的每组红外图像都存储在终端的存储器中，以供后续处理。对于每个波段，每个像素的深度通常可以是8位或16位。

根据动态滤光器的另一实施例，这是静电控制的。因此，参照图6，平面镜131、132通过离散或连续的弹性支撑部件137在周缘彼此连接，而这两个平面镜各自具有导电层，分别为138、139，采用适当材料而不会阻碍相关波段的红外光线，这两个导电层连接电源。两层的相反极性产生可变的且均匀的吸引力，可以与弹性部件137结合，使得平面镜之间的距离d发生变化，同时保持它们的平行度。类似技术可以从日本滨淞光子公司开发的MEMS-FPI可变滤光器汲取灵感。

滤光器130在其动态改型中，可以根据另一种实施方式，基于迈克尔逊干涉仪的原理，制成集成微光学器件(参见例如“多光谱滤光器阵列：最新进展和实际实施”发表于《传感器》期刊(DOI：10.3390/s141121626，文章还对单色滤光器技术进行了回顾。)

在其他的有利实施方式中，并且现在参照附图7和8，滤光器130是马赛克固定带宽滤光器，是通过与不同红外波段中滤光器的捕获层110的给定像素组相互关联而制作的。因此，在图7和8的理论示例中，将捕获层的12x 9Pxy像素阵列与不同红外波长的12个波段中的4x 3滤光区阵列，即与12个140n区关联。因此，在曝光期间，对应于其中一个140n区的一组中的所有像素均会接收对应于相关区的给定红外波段的一部分图像。

这种方法有利地与图像拍摄一起使用，在此期间，有意地移动红外成像仪的光轴，例如采取圆周运动的方式，但有利地采用水平分量和竖直分量，同时定义随时间变化的规则间隔的多个曝光矩形波(例如，与下一个波形彼此间隔10到100毫秒)。

因此，在同一图像拍摄过程中，如图9所示(其中图像各自通过其滤光区网格来表示，在此为4×4个滤光区)，获得一组独立图像Ip，其在虚拟投影平面中的位置分别对应于它们在像素层对应曝光过程中的光轴位置。

可以理解，这种方法固有地具有较低的多光谱图像空间分辨率。这可以通过使用可见光照相机CA在红外成像仪的曝光阶段同时拍摄的高清图像来补偿，这些图像可以精确确定照相机CA的对焦轴的变化，并因此确定成像仪IM的对焦轴的变化。对成像仪IM拍摄的图像进行数字配准处理后，可以获得分辨率更高的最终多光谱红外图像。

因此，在图9中的已配准红外图像中，同一个点P可以在分别位于三个滤光区1401、1402、1403后面的像素区，在三个不同图像I1、I2、I3中被捕获。

因此获得了红外图像，其中的大量像素具有N个维度，每个对应于某个红外波段中的光强，所述波段或宽或窄，因相应滤光器的特征而异。

可以理解的是，如图9所示，所捕获的不同图像具有高离散性。但实际上，图像可以更多且更集中，从而能够生成由具有N个维度的像素构成的局部图像，N是滤光器130的滤光区140n的数量。因此图10示出了进一步压缩的一组图像Im、In、...，其中最终图像的有效区域在很大比例上由所拍摄场景构成。

需要说明的是，在滤光器(可编程滤光器)第一实施方式中可以实施类似的数字配准处理，以配准不同曝光阶段在不同光谱波段中拍摄的所有图像。

在结构上，具有不同段波中的滤光区的滤光器130可以例如通过从可见光C-MOS传感器的RGB滤光器技术中汲取灵感来实现，然而红外光范围的波长数量比3原色RGB的多，并且空间分辨率通常较低。例如，对于具有VGA分辨率(640x 480像素)的红外图像传感器，可以在所有不同红外波段中或选自有限数量波段的波段中，针对80x 80像素的子集，即8x 6滤光区网格，设置滤光区。

更具体地，例如这些滤光区140n可以根据例如比利时IMEC公司开发的技术，通过直接在捕获层110上沉积薄层的技术来获得，或者根据等离子体激元纳米压印技术(参见美国Nanolambda,Inc.公司获得授权的美国专利8274739)来获得。

在马赛克滤光器的一种改型中，如图11所示，滤光区并没有像图7至10那样排列成网格，在此具有N个水平波段150n。在这种配置中，在图像拍摄期间推荐的成像仪运动是在(至少近似地)在滤光波段150n(箭头FL)的大维度的横向方向上发生的。

因此可以理解，在该运动过程中，所拍摄场景的每个位置将依次被位于滤光波段前面的像素所捕获，然后被位于下一个滤镜波段右侧的像素所捕获，因此，如同前文的情况，生成多维红外图像，其中在每个像素处，获得不同红外波段中的多个红外光度值。可以像前文一样进行图像配准，以使各个像素对应其在场景中的相应点。

作为改型，该带宽滤光器可以以本身已知的方式用连续可变带宽滤光器来代替，例如制作成法布里-珀罗滤光器形式的滤光器，带有彼此略微倾斜的平面镜，可以仅沿平面的两个轴中的一个(带宽沿此轴连续变化)倾斜，也可以沿平面的两个轴(带宽沿两个轴连续变化)倾斜。

根据数字配准的一种实施改型，所述改型是通过对如上所述的高清可见图像进行曝光来实现的，当终端T配备有惯性单元或其他运动测定装置时，使用由该装置在每次曝光矩形波过程中提供的数据来确定这些不同矩形波之间的对焦轴变化，从而对不同图像彼此配准。

根据本发明的另一种实施方式(未示出)，通过使用例如二向色分光器使可见光照相机CA的光轴和不可见光成像仪IM的光轴重合，所述分光器能够以已知的方式将某个波段(通常是可见光)中的光线引导至第一个传感器，即照相机CA的传感器，并将另一个波段(通常是近红外波段)的光线引导至第二个传感器，即红外成像仪。具体地，由于视差效应，当基于不同于红外图像光轴的光轴的可见光图像时，这种方法可以避免配准错误。因此可以获得具有更高清晰度的多波段红外图像。

可以理解的是，无论滤光器130的实施方式如何，根据本发明的成像仪都可以在红外光范围内生成多光谱2D图像，其中极大量像素具有因几个红外波段而异的N个维度，这不同于总共只分析单一光线，并且需要受控环境(特别是没有寄生辐射)才能正确运行的光谱仪，特别是微型光谱仪。实际上，像素之间的空间相关性可以补偿环境变化并提取比单点分析更丰富的有用信息。

更确切地，通过在多个波长下进行2D图像曝光的可能性，可以提取可靠性更高的相关信息。

并且这可以通过低分辨率检测矩阵来实现，因此是经济的，同时能够由于上述配准获得高分辨率图像，从而拓宽了信息提取的可能性。

根据本发明的终端，由于其与专用服务器的可连接性功能，可以将高分辨率多光谱红外图像与数据源，特别是参考数据源进行对比，从而可以在例如介绍中列举的诸多领域从中得出结论。

如上所述，本发明有诸多应用，例如，公众可以使用他们的智能手机来了解水果的质量，了解植物的健康状况，判断商店中食品的质量，自我诊断某些疾病等。

装备根据本发明的通信终端的红外成像仪可以有利地与以传统方式设置在终端中的可见光照相机相结合。因此，通过配准以及红外图像与可见光图像的结合，可以在高分辨率的可见光图像中对具有一定红外特征的物体进行突出显示、标记等。

本发明可以在终端中以不同的方式物理实现。光学器件可以位于滤光器的上游，或者反之，具体取决于滤光器的性质。此外，尤其可以根据积分约束来设置光线的角度反射。

Claims (14)

1.一种通信终端，包括主机(C)、存储器(C)、显示设备(ET)、输入设备(ET)、在可见光范围工作的照相机(CA)、无线通信电路、声传感器(MI)和声换能器(TR)，所述终端的特征在于它还包括在不可见光范围工作的图像传感器(IM)，不同于在可见光范围工作的照相机并且能够生成一系列在硅光谱敏感范围之外的不可见光谱域中的像素图像，所述在不可见光范围工作的图像传感器包括对所述不可见光谱域内的光线敏感的感光元件阵列(110)，所述元件设置在连接硅衬底上的读取电路的非硅衬底(120)上，还包括在不可见光谱域工作并插入到光线路径上的带通滤光器(130；140n；150n)，其特征在于被配置为，对于在不可见光范围工作的图像传感器的多个不同对焦轴，通过感光元件阵列的多个曝光阶段，拍摄一个场景的图像，其中至少一部分像素会接收到来自各个曝光阶段中所述场景同一部分在不同波段发出的光线，其特征还在于还包括处理电路(C)，能够对多个曝光阶段中捕获的图像进行组合，使得阵列中的同一个感光元件能够分配到至少两个不同光谱波段中的范围内的至少两个光度值，其分辨率高于在不可见光范围工作的图像传感器的固有分辨率。

2.根据权利要求1所述的终端，其中所述带通滤光器包括多个在不同固定光谱波段内的滤光区(140i)。

3.根据权利要求2所述的终端，其中所述滤光区分别位于所述感光元件阵列(110)的子阵列前面。

4.根据权利要求3所述的终端，其特征在于所述滤光区(140n)被排列成网格。

5.根据权利要求3所述的终端，其特征在于所述滤光区被排列成一组平行于感光元件阵列边缘的条形状(150n)。

6.根据权利要求1所述的终端，其中所述带通滤光器(130)是可动态编程的，以在各个曝光阶段的不同光谱波段中进行工作。

7.根据权利要求6所述的终端，其特征在于所述滤光器(130)基于法布里-珀罗干涉测量法。

8.根据权利要求1至7中任一项所述的终端，其特征在于所述被捕获的图像组合包括利用所述处理电路(C)输入端应用的配准数据对所述图像进行配准。

9.根据权利要求8所述的终端，其特征在于所述配准数据是根据在相同曝光阶段用可见光照相机(CA)拍摄的多个可见光图像确定的。

10.根据权利要求8所述的终端，其特征在于所述配准数据来自终端的位置和/或运动传感器。

11.根据权利要求1至10中任一项所述的终端，其特征在于所述终端包括能够组合图像的电路，所述图像来自所述在可见光范围工作的照相机(CA)和不可见光范围工作的传感器(IM)。

12.根据权利要求1至11中任一项所述的终端，其特征在于所述终端包括电路(C)，能够处理来自在可见光范围工作的照相机的图像所含的至少一个元素，这是基于不可见光谱波段中的所述元素的特性，例如在不可见光范围工作的图像传感器所测定的特性。

13.根据权利要求1至12中任一项所述的终端，其特征在于所述不可见光谱域在波长0.7到2.5μm之间。

14.一种使用在不可见光范围工作的图像传感器(IM)，生成硅光谱敏感范围之外的不可见光谱域内图像的方法，所述图像传感器包括对所述不可见光谱域内光线敏感的感光元件阵列(110)，所述元件设置在连接硅衬底上的读取电路的非硅衬底(120)上，还包括在不可见光谱域工作并插入到光线路径上的带通滤光器(130；140n)，其特征在于所述方法包括以下步骤：

-对于在不可见光范围工作的图像传感器的多个不同对焦轴，通过感光元件阵列的多个曝光阶段，拍摄一个场景的一组图像，其中至少一部分像素会接收到来自各个曝光阶段中所述场景同一部分在不同波段发出的光线，并且

-对多个曝光阶段中捕获的图像进行组合，使得阵列中的同一个感光元件能够分配到至少两个不同光谱波段中的至少两个光度值，其分辨率高于在不可见光范围工作的图像传感器的固有分辨率。

Images