CN115278031A - 基于高光谱的摄像头模组及其图像处理方法和应用 - Google Patents

Abstract

本发明涉及摄像技术领域，公开了一种基于高光谱的摄像头模组及其图像处理方法和应用，其模组包括镜头、电路板和连接器；还包括高光谱芯片和滤光件；所述高光谱芯片用于识别色温；所述滤光件为滤光膜，所述滤光膜为多波段滤光膜且波段包括紫外线至红外线的所有波段；所述高光谱芯片与主控芯片建立通信连接；所述主控芯片设于终端设备中，所述主控芯片用于根据色温数据控制终端设备的基础摄像头模组多次采图，并由终端设备拼接采图得到的基础图片以得到最终输出图片；其中，采图次数与色温类别正相关且多次采图的采图色温模式不同。本发明能够有效处理拍照偏色现象，能够达到更真实的成像效果，得到的成像图片更贴近于真实物体色感，成像画质更好。

Description

基于高光谱的摄像头模组及其图像处理方法和应用

技术领域

本发明涉及摄像技术领域，具体涉及一种基于高光谱的摄像头模组及其图像处理方法和应用。

背景技术

随着电子与光学技术的发展，手机等终端设备的拍照效果得到了巨大的改善，成像像素越来越高，配备的摄像头模组种类越来越多样。但是，此类改善还远远不够，据现有的关于某手机终端的成像效果反馈统计数据显示，20％—30％左右的反馈案例均为拍照偏色相关的负向反馈。由此可见，拍照偏色现象是目前终端成像的重点问题之一。

拍照偏色现象，简言之就是成像图像与实际的成像对象的色彩表现不一致。出现这种现象的主要原因，除了曝光不当外，则主要是现在手机等终端中设置的摄像头模组无法准确识别色温，对于低照度场景、逆光场景、多色温场景、大色块场景的色温识别存在偏差，导致成像得到的照片或视频偏色严重。虽然，现有的终端能够通过内设的算法、芯片等，通过自动白平衡处理等进行色温校正，但是这种校正方法对于多色温场景或大色块场景并不适用，此种方法针对本身颜色色温高于平均色温值的成像对象时，比如大面积的偏向某种颜色的图案如：草地，红旗，蓝天等，若是强制白平衡将其平均颜色调整到灰色附近，图像颜色就会严重失真，同样会导致偏色严重。故而，现有的色温校正方式也无法较好地处理拍照偏色现象，成像图片易于偏离真实物体色感。

故而，目前亟需一种能够更好地处理拍照偏色现象，还原成像真实色彩的成像方案。

发明内容

本发明意在提供一种基于高光谱的摄像头模组及其图像处理方法和应用，能够有效处理拍照偏色现象，能够达到更真实的成像效果，得到的成像图片更贴近于真实物体色感，成像画质更好。

为达到上述目的，本发明提供如下方案：

方案一：

基于高光谱的摄像头模组，包括镜头、电路板和连接器；还包括高光谱芯片和滤光件；所述高光谱芯片用于识别色温；所述滤光件为滤光膜，所述滤光膜为多波段滤光膜且波段包括紫外线至红外线的所有波段；所述镜头、滤光件、高光谱芯片、电路板和连接器依次排布；

所述高光谱芯片与主控芯片建立通信连接；所述主控芯片设于终端设备中，所述主控芯片用于根据色温数据控制终端设备的基础摄像头模组多次采图，并由终端设备拼接采图得到的基础图片以得到最终输出图片；其中，采图次数与色温类别正相关且多次采图的采图色温模式不同。

本方案的工作原理及优点在于：高光谱芯片能够获取色温数据，并配合以主控芯片基于画面中不同的色温类别进行数次采图，并且多次采图的采图色温模式不同，在多次的不同采图模式的采图中，拍摄画面中的不同色温主体都拥有了各自合适的色温表现，再基于多张基础图片进行拼接，可将处于不同基础图片中的不同色温主体的合适的色温表现部分拼接起来，进而得到最终输出图片，且最终输出图片中画面各部分色温恰当，成像图片贴近于真实物体色感，成像画质较好。

本方案的模组中特别设置了高光谱芯片来完成对色温的准确识别，弥补了常规摄像头模组中在色温识别上存在的缺陷，首先从根本上解决了因色温识别不准而带来的拍照偏色问题。并且，在常规摄像头模组中往往没有配置高光谱芯片，其中原因概为：高光谱成像成本较高，转用存在困难；具体地，高光谱成像对分光方式有着特别的要求，其常用的分光方式包括；棱镜分光、衍射分光、窄隙腔体分光等，这些分光方式所需要的分光装置结构较为复杂，尺寸大，成本高，使得高光谱成像的应用受到较大局限。但本方案中通过设置滤光膜简化了高光谱成像操作，以多波段的滤光膜来承担分光任务，能够有效地把宽波长的混合光分散为不同频率的单波长光，以便于高光谱芯片识别运作，有效降低了高光谱成像成本。

进一步，所述采图次数还与拍摄对象中的物体个数正相关。

有益效果：基于拍摄对象中的不同物体个数决定采图次数，便于后续对于不同色温表现的物体进行针对性的采图处理。

进一步，所述采图色温模式包括AWB模式和CCT模式。

其中，AWB模式为自动白平衡模式；AWB(Auto White Balance)指自动白平衡，具体为摄像头通过自己本身的算法，通过获取的图像自动计算出gain值对图像进行校正的方式。

CCT模式为关联色温模式；CCT(Correlated Color Temperature)指关联色温，具体为针对部分非黑体光源用与它们在视觉上最相似的黑体的色温来描述其色温。

有益效果：采图色温模式包含两种典型色温处理模式，以便于采集得到不同色温表现下的图像，为后续拼接重构图像提供充足材料支撑。

进一步，所述高光谱芯片还用于识别强蓝光；所述强蓝光为波长处于400nm—480nm的光线；所述高光谱芯片在识别到强蓝光时向主控芯片传递强蓝光信号，所述主控芯片还用于根据强蓝光信号输出防蓝光提醒。

有益效果：高光谱芯片特别对强蓝光进行识别处理，并通过主控芯片可进一步对强蓝光情况进行提醒，有助于提醒使用者做好蓝光防护。

方案二：

基于高光谱的摄像头模组的图像处理方法，应用如方案一所述的基于高光谱的摄像头模组；包括以下步骤：

步骤1：基于高光谱的摄像头模组与基础摄像头模组同时运作；

步骤2：基于高光谱的摄像头模组的高光谱芯片获取拍摄对象的色温数据；基础摄像头模组获取拍摄对象的图像画面；

步骤3：高光谱芯片向主控芯片传输色温数据；主控芯片根据色温数据控制基础摄像头模组按不同采图色温模式采图并存储作为基础图片；

步骤4：终端设备按照成图策略拼接基础图片以得到最终输出图片。

本方案的工作原理及优点在于：基于高光谱的摄像头模组和基础摄像头模组配合使用，并由主控芯片基于画面中不同的色温类别按不同采图色温模式进行数次采图。得到基础图片，再按照成图策略对基础图片进行拼接处理，可将处于不同基础图片中的不同色温主体的合适的色温表现部分拼接起来，进而得到画面各部分色温恰当的成像图片。本方案能够有效处理拍照偏色现象，能够达到更真实的成像效果，得到的成像图片更贴近于真实物体色感，成像画质更好。

并且，相比于常规的图像处理方式，常规方式中无论是处理多色温场景、大色块场景，还是普通的单色温场景时，均采用自动白平衡方式进行处理，将色温全部校准到一个特定的均值范围内，这种单一的处理方式会使得本身颜色就是偏离平均颜色值的场景色温被错误调校，使得画面颜色失真；而若是不对其进行任何调校，因为感光芯片自身无法处理色温偏移的影响，该场景画面也会产生一定的颜色偏差。而本方案则提供了一条全新的图像处理路线，不再局限于自动白平衡这一处理局限中，而是以不同采图色温模式相配合，通过拼接不同色温主体重构图片，以克服白平衡校正本身的单一性，进而能够达到更优的图像处理效果。

进一步，所述成图策略为：终端设备的AI芯片基于基础图片对不同的色温的物体作抠图处理，得到数张抠图图像；拼接抠图图像，重构形成完整画面，进而得到最终输出画面。

有益效果：由AI芯片将不同色温的物体从其各自色温模式下的图片中抠出再重整为完整画面，重整的画面中不同物体能够有各自合适的色温表现，色温匹配更细致，整体成像效果更好。

进一步，在步骤3中，主控芯片基于色温数据划分色温类别；基础摄像头模组的采图次数等于色温类别数量。

有益效果：能够为每类色温表现下的物体都留有图像基础，便于后续进行图像处理。

方案三：

基于高光谱的摄像头模组的应用，应用如方案一所述的基于高光谱的摄像头模组；将所述基于高光谱的摄像头模组应用于人脸识别设备或指纹识别设备或移动终端。

本方案的工作原理及优点在于：将基于高光谱的摄像头模组应用于上述设备中，由于高光谱芯片能够对光谱数据进行采集分析，通过该光谱数据能够帮助上述设备分析识别人体特征信息(如人脸识别用的人像特征信息、指纹识别设备用的指纹特征等)是否为真实的人体特征信息，有助于提升设备识别准确度，提高设备运作安全度。

进一步，所述高光谱芯片中预存有人体光谱数据；高光谱芯片通过比对拍摄对象的光谱数据与预存的人体光谱数据，判定拍摄对象是否为真人。

有益效果：高光谱芯片通过比对光谱数据以验证拍摄对象，能够有效帮助人脸识别设备或指纹识别设备或移动终端判定解锁操作、支付操作等类似操作的真实性，有助于提升设备安全性。

进一步，高光谱芯片在判定拍摄对象是否为真人时按照判定策略进行判定；所述判定策略为：在拍摄对象的光谱数据与预存的人体光谱数据相似度大于80％时，判定拍摄对象为真人，并向人脸识别设备或指纹识别设备或移动终端传递达标信号。

有益效果：光谱比对判定基于一定的相似度标准进行，且容许20％的比对误差，判定标准不会过于严苛，可保证真人判定灵敏。

附图说明

图1为本发明基于高光谱的摄像头模组及其图像处理方法和应用实施例的模组结构示意图；

图2为本发明基于高光谱的摄像头模组及其图像处理方法和应用实施例的图像处理方法流程图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例基本如附图1所示：基于高光谱的摄像头模组，包括镜头、镜头座、电路板、连接器、支架、高光谱芯片和滤光件；所述镜头、镜头座、支架、滤光件、高光谱芯片、电路板和连接器依次排布。其中，高光谱芯片用于识别色温；所述滤光件为滤光膜，所述滤光膜为多波段滤光膜且波段包括紫外线至红外线的所有波段；支架用于固定滤光件。

所述高光谱芯片与主控芯片建立通信连接；所述主控芯片设于终端设备中，该终端设备为手机、平板等终端设备。所述主控芯片用于根据色温数据控制终端设备的基础摄像头模组多次采图，并由终端设备拼接采图得到的基础图片以得到最终输出图片；其中，基础摄像头模组指手机等终端设备中常规配备的具备基础采图功能的摄像头模组。采图次数与色温类别正相关且多次采图的采图色温模式不同。并且，采图次数还与拍摄对象中的物体个数正相关；采图色温模式包括AWB模式和CCT模式。

其中，AWB模式为自动白平衡模式；AWB(Auto White Balance)指自动白平衡，具体为摄像头通过自己本身的算法，通过获取的图像自动计算出gain值对图像进行校正的方式。CCT模式为关联色温模式；CCT(Correlated Color Temperature)指关联色温，具体为针对部分非黑体光源用与它们在视觉上最相似的黑体的色温来描述其色温。

所述高光谱芯片还用于识别强蓝光；所述强蓝光为波长处于400nm—480nm的光线；所述高光谱芯片在识别到强蓝光时向主控芯片传递强蓝光信号，所述主控芯片还用于根据强蓝光信号输出防蓝光提醒，该防蓝光提醒可以弹窗通知等形式显示在终端设备的屏幕上，以提醒用户注意防蓝光。

如附图2所示，本实施例还提供一种基于高光谱的摄像头模组的图像处理方法，应用如上述的基于高光谱的摄像头模组；包括以下步骤：

步骤1：基于高光谱的摄像头模组与基础摄像头模组同时运作；

步骤2：基于高光谱的摄像头模组的高光谱芯片获取拍摄对象的色温数据；基础摄像头模组获取拍摄对象的图像画面；

步骤3：高光谱芯片向主控芯片传输色温数据；主控芯片根据色温数据控制基础摄像头模组按不同采图色温模式采图并存储作为基础图片。

并且，主控芯片基于色温数据划分色温类别；基础摄像头模组的采图次数等于色温类别数量。例如：当同一画面中有4300K色温、3000K色温、2500K色温的物体时，则将色温类别划分为三类，采图次数对应设为三张；主控芯片控制基础摄像头模组进行三次采图，且三次采图时采用不同的采图色温模式，例如：其中两次采图选用CCT模式，另一次采图选用AWB模式，进而能够得到不同色温表现下的三张基础图片做为后续图像处理的基底图。

可选地，当同一画面中的不同色温值的物体过多(如大于5个)时，则可按照色温类别划分策略来进行色温类别划分，所述色温类别划分策略为：按暖色温、中间色温和冷色温进行色温划分；其中，暖色温<3000；3000≤中间色温≤5000K；冷色温>5000。按此划分，有助于减少图像处理的工作量，以保证成图效率。

步骤4：终端设备按照成图策略拼接基础图片以得到最终输出图片。

所述成图策略为：终端设备的AI芯片基于基础图片对不同的色温的物体作抠图处理，得到数张抠图图像；拼接抠图图像，重构形成完整画面，进而得到最终输出画面。

例如，当拍摄对象为草地上的一半处于阳光下一半处于阴影中的白T恤时，成像物体有两个，为草地和白T恤，不同色温的物体有两组，第一组为处于阳光下的半边草地及半边白T恤，第二组为处于阴影下的半边草地及半边白T恤，且前者的真实色温值较后者会更低，即同一画面中存在两类色温，进行两次采图，一次采图采用CCT模式，另一次采图采用AWB模式，进而获得两张基础图片。自CCT模式下的基础图片中抠图得到第一组色温物体的抠图图像，自AWB模式下的基础图片中抠图得到第二组色温物体的抠图图像，二者拼接重构形成完整画面，进而得到最终输出画面。

本实施例还提供基于高光谱的摄像头模组的应用，应用如上述的基于高光谱的摄像头模组；将所述基于高光谱的摄像头模组应用于人脸识别设备或指纹识别设备或移动终端。

所述高光谱芯片中预存有人体光谱数据；该人体光谱数据包括人体皮肤光谱数据和人眼虹膜光谱数据等。高光谱芯片通过比对拍摄对象的光谱数据与预存的人体光谱数据，判定拍摄对象是否为真人。

高光谱芯片在判定拍摄对象是否为真人时按照判定策略进行判定；所述判定策略为：在拍摄对象的光谱数据与预存的人体光谱数据相似度大于80％时，判定拍摄对象为真人，并向人脸识别设备或指纹识别设备或移动终端传递达标信号。人脸识别设备或指纹识别设备或移动终端再进一步执行开启设备锁、通过网上支付请求等操作，有助于提升设备识别准确度，提高设备运作安全度。

本实施例提供的基于高光谱的摄像头模组及其图像处理方法和应用，通过高光谱的摄像头模组和基础摄像头模组的配合，利用高光谱的摄像头模组中的高光谱芯片能够实现对色温的准确识别，基于此本方案首先自根本上解决了因色温识别不准而带来的拍照偏色问题；然后通过图像处理方法的设置，以在不同采图色温模式下多次采图作为基底，再按照成图策略通过抠图拼接的方式重构画面，以得到画面各部分色温恰当的成像图片作为最终输出图片，得到的成像图片更贴近于真实物体色感，成像效果更真实。基于此，本方案进一步解决了因终端色温校正方法不恰当而导致的拍照偏色问题，整体方案能够达到较好的成像效果。且相比于现有方案中依靠强制白平衡的图像处理方法，本方案的图像处理方式更为细致、精准。

此外，本方案提供的模组还适用于人脸识别设备、指纹识别设备、移动终端等多类设备，并可利用高光谱芯片对光谱的识别功能以辅助设备识别判定真人，有助于提升设备识别准确度，提高设备运作安全度。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.基于高光谱的摄像头模组，包括镜头、电路板和连接器；其特征在于，还包括高光谱芯片和滤光件；所述高光谱芯片用于识别色温；所述滤光件为滤光膜，所述滤光膜为多波段滤光膜且波段包括紫外线至红外线的所有波段；所述镜头、滤光件、高光谱芯片、电路板和连接器依次排布；

所述高光谱芯片与主控芯片建立通信连接；所述主控芯片设于终端设备中，所述主控芯片用于根据色温数据控制终端设备的基础摄像头模组多次采图，并由终端设备拼接采图得到的基础图片以得到最终输出图片；其中，采图次数与色温类别正相关且多次采图的采图色温模式不同。

2.根据权利要求1所述的基于高光谱的摄像头模组，其特征在于，所述采图次数还与拍摄对象中的物体个数正相关。

3.根据权利要求1所述的基于高光谱的摄像头模组，其特征在于，所述采图色温模式包括AWB模式和CCT模式。

4.根据权利要求1所述的基于高光谱的摄像头模组，其特征在于，所述高光谱芯片还用于识别强蓝光；所述强蓝光为波长处于400nm—480nm的光线；所述高光谱芯片在识别到强蓝光时向主控芯片传递强蓝光信号，所述主控芯片还用于根据强蓝光信号输出防蓝光提醒。

5.基于高光谱的摄像头模组的图像处理方法，其特征在于，应用如权利要求1-4任一项所述的基于高光谱的摄像头模组；包括以下步骤：

步骤1：基于高光谱的摄像头模组与基础摄像头模组同时运作；

步骤2：基于高光谱的摄像头模组的高光谱芯片获取拍摄对象的色温数据；基础摄像头模组获取拍摄对象的图像画面；

步骤3：高光谱芯片向主控芯片传输色温数据；主控芯片根据色温数据控制基础摄像头模组按不同采图色温模式采图并存储作为基础图片；

步骤4：终端设备按照成图策略拼接基础图片以得到最终输出图片。

6.根据权利要求5所述的基于高光谱的摄像头模组的图像处理方法，其特征在于，所述成图策略为：终端设备的AI芯片基于基础图片对不同的色温的物体作抠图处理，得到数张抠图图像；拼接抠图图像，重构形成完整画面，进而得到最终输出画面。

7.根据权利要求5所述的基于高光谱的摄像头模组的图像处理方法，其特征在于，在步骤3中，主控芯片基于色温数据划分色温类别；基础摄像头模组的采图次数等于色温类别数量。

8.基于高光谱的摄像头模组的应用，其特征在于，应用如权利要求1-4任一项所述的基于高光谱的摄像头模组；将所述基于高光谱的摄像头模组应用于人脸识别设备或指纹识别设备或移动终端。

9.根据权利要求8所述的基于高光谱的摄像头模组的应用，其特征在于，所述高光谱芯片中预存有人体光谱数据；高光谱芯片通过比对拍摄对象的光谱数据与预存的人体光谱数据，判定拍摄对象是否为真人。

10.根据权利要求8所述的基于高光谱的摄像头模组的应用，其特征在于，高光谱芯片在判定拍摄对象是否为真人时按照判定策略进行判定；所述判定策略为：在拍摄对象的光谱数据与预存的人体光谱数据相似度大于80％时，判定拍摄对象为真人，并向人脸识别设备或指纹识别设备或移动终端传递达标信号。

Images