CN115942071A - 一种图像拍摄装置以及图像处理方法 - Google Patents

Abstract

一种图像拍摄装置以及图像处理方法，本图像拍摄装置中，可见光拍摄结构在对目标进行拍摄之后，生成可见光图像，该可见光图像上包括由点阵光形成的第一点阵。非可见光拍摄结构对目标拍摄，生成非可见光图像，该非可见光图像上包括由点阵光形成的第二点阵。处理器根据第一点阵和第二点阵，对可见光图像和红外光图像进行融合，输出融合图像。由不同的拍摄结构生成可见光图像以及非可见光图像，拍摄结构之间相对独立，能够减少图像拍摄装置的设计难度。处理器在进行融合时，能够借助可见光图像以及非可见光图像上的点阵实现融合，能够降低融合难度，提高图像处理效率。

Description

一种图像拍摄装置以及图像处理方法

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像拍摄装置以及图像处理方法。

背景技术

在监控的领域，存在许多由于可见光照度不足导致的监控图像不清晰的情况。为了能够减少监控图像不清晰的情况发生，目前可以利用红外补光对所拍摄的目标进行补光的方式，除了生成可见光图像，还可以相应的生成红外图像，之后再利用红外图像和可见光图像融合以获得清晰的监控图像。红外图像一方面可以弥补可见光照度不足导致的图像模糊的缺点，另一方面，红外图像能够涵盖更多细节信息，使得红外图像和可见光图像融合后的图像能够展示更多细节。

目前常见的拍摄装置采用是的单目分光的方式，以分别生成红外图像以及可见光图像。也即采用一个镜头对目标进行拍摄，然后在镜头后方采用分光棱镜将入射光分离为可见光和红外光，之后，可见光以及红外光分别经过不同的传输路线，投射到不同的感光元件上，形成红外光图像和可见光图像。之后再对红外光图像和可见光图像进行融合，获得融合图像。

单目分光的方式需要同时对红外光以及可见光进行对焦，这样对镜头的对焦性能提出了较大的挑战，也增大了镜头设计难度，不易实现。

发明内容

本申请提供一种图像拍摄装置以及图像处理方法，用以简化图像拍摄装置设计难度，降低图像融合难度。

第一方面，本申请实施例提供了一种图像拍摄装置，该装置包括处理器以及两种不同的拍摄结构。两种不同的拍摄结构分别为可见光拍摄结构以及非可见光拍摄结构。这两种拍摄结构能够对被点阵光投射的目标进行拍摄。

其中，可见光拍摄结构在对目标进行拍摄之后，可以生成可见光图像，该可见光图像上包括由点阵光形成的第一点阵。非可见光拍摄结构对目标拍摄，可以生成非可见光图像，该非可见光图像上包括由点阵光形成的第二点阵。

处理器能够根据第一点阵和第二点阵，对可见光图像和红外光图像进行融合，输出融合图像。

通过上述装置，由不同的拍摄结构生成可见光图像以及非可见光图像，拍摄结构之间相对独立，能够减少图像拍摄装置的设计难度。由于可见光图像以及非可见光图像上均存在由点阵光形成的点阵(如第一点阵、第二点阵)，处理器在进行融合时，能够借助可见光图像以及非可见光图像上的点阵实现融合，能够降低融合难度，提高图像处理效率。

在一种可能的实施方式中，可见光拍摄结构进行拍摄的时间与非可见光拍摄结构进行拍摄的时间相同。例如，可见光拍摄结构与非可见光拍摄结构可以同时对目标进行拍摄，维持相同的曝光时间。

通过上述装置，可见光拍摄结构与非可见光拍摄结构的曝光时间相同，能够保证生成的可见光图像以及非可见光图像中展示的内容基本相同。

在一种可能的实施方式中，非可见光可以是红外光，例如本申请中的非可见光的波长可以大于750纳米(nm)。

通过上述装置，非可见光为红外光时，生成的非可见图像为红外图像，红外图像相对于可见光图像能够包含更多细节信息，后续对可见光图像以及红外图像融合生成的融合图像也更加清晰。

在一种可能的实施方式中，能够提供点阵光的点阵光源可以是外置设备，也可以是内置在图像拍摄装置中的设备。该点阵光源能够向目标投射点阵光。

通过上述装置，点阵光源的设置方式较为灵活，能够适用于不同的场景。

在一种可能的实施方式中，处理器在对可见光图像以及非可见光图像进行融合时，可以基于第一点阵和第二点阵之间点与点的对应关系，对可见光图像和非可见光图像进行配准；对配准后的可见光图像和非可见光图像进行融合，生成融合图像。

通过上述装置，可见光图像和非可见光图像中的点阵中的光点的排布较为规则，利用可见光图像和非可见光图像中的点阵可以较为便捷的实现配准，配准之后的可见光图像和非可见光图像也能够较好的实现融合，融合方式较为简单。

在一种可能的实施方式中，第一点阵和第二点阵包括多个光点，处理器在基于第一点阵和第二点阵之间光点与光点的对应关系，对可见光图像和非可见光图像进行配准时，可以先确定第一点阵和第二点阵中存在对应关系的光点对，存在对应关系的光点对包括一个第一点阵的光点和一个第二点阵的光点，存在对应关系的光点为第一点阵和第二点阵中特征相似程度大于阈值的光点，也即光电对中的光电可以认为是同一光点，或是有点阵光中的同一束光形成的光点；之和，处理器再根据存在对对应关系的光点对可见光图像和非可见光图像进行配准。

通过上述装置，利用存在对应关系的光点对实现配准，能够提升配准的准确度，可以保证后续生成的融合图像的清晰度。

在一种可能的实施方式中，可见光拍摄结构包括可见光镜头和可见光传感器；可见光镜头捕捉拍摄目标所反射的可见光，将可见光投射到可见光传感器上，也即可将光镜头只通过可见光。可见光传感器感应可见光，生成可见光图像。

非可见光拍摄结构包括非可见光镜头和非可见光传感器；非可见光镜头可以捕捉目标所反射的非可见光，将非可见光投射到非可见光传感器上。非可见光传感器感应非可见光，生成非可见光图像。

通过上述装置，可见光拍摄结构和非可见光拍摄结构中分别包括镜头以及传感器，相对独立，可见光拍摄结构和非可见光拍摄结构之间无需共焦，能够降低这两种拍摄结构的构建难度。

在一种可能的实施方式中，可见光拍摄结构还包括红外补光灯；红外补光灯可以在可见光拍摄结构进行拍摄时向目标投射红外光。

通过上述装置，红外补光灯能够投射红外光，以保证非可见光拍摄结构所生成的红外图像的清晰度。

在一种可能的实施方式中，可见光镜头或非可见光镜头可以为定焦镜头，也可以为变焦镜头。

通过上述装置，可见光镜头或非可见光镜头的类型较为灵活，可见光拍摄结构和非可见光拍摄结构可以存在多种不同的组建方式。

在一种可能的实施方式中，点阵光的波长覆盖可见光波段和红外光波段，这样，可以同时在可见光图像和非可见光图像中形成点阵。

在一种可能的实施方式中，点阵光的波长也可以只覆盖可见光波段，如大于560nm，小于750nm。在这种情况下，可见光镜头可以为只通过可见光的镜头，非可见光镜头可以为既能够通过可见光又能通过非可见光的图像，这样，可见光图像和非可见光图像中均可形成点阵。

在一种可能的实施方式中，点阵光的投射持续时间小于80毫秒，点阵光的投射时间小，不会影响后续图像拍摄装置的拍摄。

第二方面，本申请实施例提供了一种图像处理方法，该图像处理方法可以由图像拍摄装置执行，具体有益效果可以参见第一方面中的相关说明。

图像拍摄装置中的可见光拍摄结构和非可见光拍摄结构可以对被点阵光投射的目标进行拍摄，可见光拍摄结构生成可见光图像，可见光图像上包括由点阵光形成的第一点阵。非可见光拍摄结构生成非可见光图像，非可见光图像上包括由点阵光形成的第二点阵。

图像拍摄装置中的处理器可以根据第一点阵和第二点阵，对可见光图像和非可见光图像进行融合，输出融合图像。

一种可能的实施方式中，可见光拍摄结构进行拍摄的时间与非可见光拍摄结构进行拍摄的时间相同。

在一种可能的实施方式中，非可见光是红外光。

在一种可能的实施方式中，处理器在根据第一点阵和第二点阵，对可见光图像和非可见光图像进行融合，输出融合图像时，可以基于第一点阵和第二点阵之间光点与光点的对应关系，对可见光图像和非可见光图像进行配准；之后，再对配准后的可见光图像和非可见光图像进行融合，生成融合图像。

在一种可能的实施方式中，第一点阵和第二点阵包括多个光点，处理器在基于第一点阵和第二点阵之间光点与光点的对应关系，对可见光图像和非可见光图像进行配准时，可以先确定第一点阵和第二点阵中存在对应关系的光点对，存在对应关系的光点对包括一个第一点阵的光点和一个第二点阵的光点，存在对应关系的光点为第一点阵和第二点阵中特征相似程度大于阈值的光点；之后，根据存在对应关系的光点对可见光图像和非可见光图像进行配准。

在一种可能的实施方式中，处理器在根据存在对应关系的光点对可见光图像和非可见光图像进行配准时，可以根据存在对应关系的光点获得仿射变换参数，之后，再利用仿射变换参数对可见光图像和非可见光图像进行配准。

在一种可能的实施方式中，图像拍摄装置中的可见光拍摄结构和非可见光拍摄结构后续若再对目标(后续拍摄时，该目标上可以不再投射点阵光)进行拍摄时，生成了新的可见光图像以及新的非可见光图像(新的可见光图像以及新的非可见光图像上可以不存在点阵)。图像拍摄装置中的处理器可以根据之前确定的仿射变换参数对新的可见光图像和新的红外图像进行配准，之后，再对配准后的可见光图像和红外光图像进行融合，输出融合图像。

附图说明

图1为本申请提供的一种图像拍摄装置的结构示意图；

图2为本申请提供的一种可见光拍摄结构的结构示意图；

图3为本申请提供的一种非可见光拍摄结构的结构示意图；

图4A～图4B为本申请提供的一种点阵光、第一点阵以及第二点阵的示意图；

图5为本申请提供的一种图像处理方法示意图；

图6为本申请提供的一种图像处理过程中所产生的各个图像的示意图。

具体实施方式

如图1所示，本申请实施例提供了一种图像拍摄装置，该图像拍摄装置100包括两种不同的拍摄结构和处理器130。

该两种不同的拍摄结构均能够对目标进行拍摄，其中一种拍摄结构用于生成可见光图像，另一种拍摄结构用于生成非可见光图像。为了方便说明，这里将用于生成可见光图像的拍摄结构称为可见光拍摄结构110，用于生成非可光图像的拍摄结构称为非可见光拍摄结构120。

可见光拍摄结构110以及非可见光拍摄结构120所拍摄的目标为被点阵光所投射的目标。在本申请实施例中点阵光包括多个平行光束，该多个平行光束按照特定的规律或按照特定的图形排布。例如，该多个平行光束可以以矩阵(也即相邻光束的距离相同)的形式排布。又例如，该多个平行光束可以形成五角星或六边形。

需要说明的是，在本申请实施例中可见光拍摄结构110以及非可见光拍摄结构120所拍摄的目标并不局限于人、动植物或景物，也可以是生活场所(如写字楼、大厦、办公区域)、风景、建筑，还可以是交通道路等，凡是能够进行拍摄的目标均适用于本申请实施例。

由于目标被点阵光所投射，该点阵光也将反映在可见光拍摄结构110以及非可见光拍摄结构120所生成的图像上，在可见光拍摄结构110生成的可见光图像上会存在由点阵光形成的点阵。为了区分可见光图像上的点阵和非可见光图像上的点阵，将可见光图像上的点阵称为第一点阵，将非可见光图像上的点阵称为第二点阵。

在可见光拍摄结构110和非可见光拍摄结构120对目标进行拍摄，生成可见光图像以及非可见光图像之后，处理器130可以根据第一点阵以及第二点阵对该可见光图像以及非可见光图像进行融合，生成融合图像。

可选的，该图像拍摄装置100中还可以包括能够产生点阵光的点阵光光源140，该点阵光光源140能够向目标或者目标所在的场景中投射点阵光，使得点阵光能够覆盖目标。这里需要说明的是点阵光的覆盖范围中除了目标，还可以包括目标所在场景中的其他事物，点阵光的覆盖范围与点阵光源的投射范围有关。

在本申请实施例中处理器130在对可见光图像和红外光图像进行融合时，可以借助非可见光图像中的第一点阵以及可见光图像中第二点阵，第一点阵和第二点阵的存在能够有效减少图像融合难度，使得可见光图像和红外光图像能够实现较为准确、有效的图像融合，融合图像的效果也较佳。

下面对该图像拍摄装置100中的各个组成部分进行进一步说明：

(1)、可见光拍摄结构110。

如图2所示，该可见光拍摄结构110中包括可见光传镜头111以及可见光传感器112。可见光传感器112可以位于可见光传镜头111的出光侧，也即该可见光传感器112可以位于该可见光传镜头111输出光的一侧。在本申请实施例中可见光是指波长大于580纳米到750纳米的光。

在本申请实施例中并不限定可见光传镜头111以及可见光传感器112的具体位置，例如，可见光传镜头111以及可见光传感器112可以沿着光轴设置。又例如，在可见光拍摄装置可以包括透镜，该透镜以改变可见光传镜头111汇聚后的可见光的传播方向，使得该可见光传镜头111汇聚后的可见光能够投射到可见光传感器112上。对于任一可见光传镜头111以及可见光传感器112的设置方式，若该设置方式能够达到可见光传镜头111汇聚后的可见光能够投射到可见光传感器112的效果，则该设置方式适用于本申请实施例。

可见光传镜头111能够捕捉目标所反射的可见光(该可见光还包括投射在目标上的点阵光所反射的光)，对目标所反射的可见光进行汇聚，投射到可见光传感器112上。该可见光传镜头111可以为定焦镜头，也可以为变焦镜头。

可见光传感器112也可以称为图像传感器或者感光元件，可见光传感器112能够实现光电转换，感应投射到该可见光传感器112上的光(这里主要是指可见光)，将该光转换为对应的电信号，进而利用电信号产生可见光图像。本申请实施例并不限定可见光传感器112的类型，该可见光传感器112可以为电荷耦合器件(charge coupled device，CCD)、互补金属氧化物半导体(complementary metal-oxide semiconductor，CMOS)。

需要说明的是，在可见光拍摄结构110中，可见光传镜头111只通过可见光，能够对目标所反射的非可见光可以进行过滤，去除掉目标所反射的非可见光，保留可见光，也即该可见光传镜头111对目标所反射的可见光进行汇聚后，投射到可见光传感器112上的光为可见光。本申请实施例并不限定可见光传镜头111过滤非可见光的方式，例如，可见光传镜头111上增加滤光片，该滤光片能够过滤非可见光，如红外光。又例如，可见光传镜头111上可镀有能够过滤非可见光的滤光膜。

(2)、非可见光拍摄结构120。

如图3所示，该非可见光拍摄结构120中包括非可见光传镜头121以及非可见光传感器122。非可见光传感器122可以位于非可见光传镜头121的出光侧，也即该非可见光传感器122可以位于该非可见光传镜头121输出光的一侧。在本申请实施例中非可见光可以包括除可见光之外的其他所有光或部分光。例如非可见光可以特指红外光(波长范围大于0.75微米，小于1000微米的光)，也可以包括红外光以及其他非可见光。

在本申请实施例中并不限定非可见光传镜头121以及非可见光传感器122的具体位置，非可见光传镜头121以及非可见光传感器122的位置设置方式与可见光传镜头111以及可见光传感器112的位置设置方式类似，具体可以参见前述说明。

非可见光传镜头121能够捕捉目标所反射的非可见光以及投射在目标上的点阵光所反射的光，对目标所反射的非可见光以及投射在目标上的点阵光所反射的光进行汇聚，投射到非可见光传感器122上。该非可见光传镜头121可以为定焦镜头，也可以为变焦镜头。

非可见光传感器122和可见光传感器112类似，具体可以参见前述说明。这里需要说明的是，非可见光传镜头121能够将非可见光以及投射在目标上的点阵光所反射的光投射到非可见光传感器122。非可见光传感器122可以感应非可见光以及投射在目标上的点阵光所反射的光，将感应到的非可见光转换为对应的电信号，进而利用电信号产生非可见光图像。

可选的，为了能够使得非可见光拍摄结构120的拍摄效果更佳，如图3所示，该非可见光拍摄结构120中还可以包括红外补光灯123，红外补光灯123内置在可见光拍摄结构110中。该红外补光灯123能够发射红外光，当非可见光拍摄结构120在对目标进行拍摄时，红外补光灯123可以打开，将红外光投射到目标上。这样，非可见光传镜头121将会捕捉到大量的红外光，大量的红外光经过非可见光传镜头121的汇聚，投射到非可见光传感器122上，非可见光传感器122能够实现光电转换，所生成的非可见光图像更加清晰，也能够覆盖目标上更多的细节信息。当然，在一些可能的场景中，红外补光灯123也可以外置的，如设置在整个图像拍摄装置100之外。

在本申请实施例中，非可见光拍摄结构120以及可见光拍摄结构110存在两种可能的实现方式。

方式一、可见光拍摄结构110中的可见光传镜头111与非可见光拍摄结构120的非可见光传镜头121不同，非可见光传感器122和可见光传感器112可以相同。

在这种实现方式中，可见光拍摄结构110中的可见光传镜头111可以过滤非可见光，保留可见光。而非可见光传镜头121，区别与可见光传镜头111，能够捕捉的光包括非可见光。可选的，非可见光传镜头121能够捕捉的光还可以包括可见光。在前述关于可见光传镜头111的描述可知，可见光传镜头111可以过滤非可见光，如通过设置滤光片或在可见光传镜头111上镀膜的方式达到能够过滤非可见光的效果，那么不设置滤光片或者镜头上不镀能够过滤非可见光的滤光膜的镜头可以作为非可见光传镜头121。

在这种实现方式中，非可见光传感器122和可见光传感器112可以是相同的感光元件，该感光元件能够感应投射到感光元件上的光，这里投射到感光元件上的光可以是非可见光，也可以是可见光。

在这种实现方式中，点阵光的波长范围可以只覆盖可见光，例如点阵光的波长大于560纳米，小于750纳米，这样无论在可见光图像还是在非可见光图像上均可以形成点阵。可选的，点阵光的波长范围也可以覆盖非可见光，也即点阵光的波长大于560纳米。在覆盖点阵光的波长范围覆盖非可见光和可见光的情况下，在可见光图像还是在非可见光图像上也同样可以形成点阵。

方式二、可见光拍摄结构110中的可见光传感器112与非可见光拍摄结构120的非可见传感器不同，非可见光传镜头121和可见光传镜头111可以相同。

在这种实现方式中，可见光传感器112可以只感应投射在可见光传感器112上的可见光，而不感应非可见光。非可见光传感器122可以只感应投射在非可见光传感器122上的非可见光，而不感应可见光。

非可见光传镜头121和可见光传镜头111可以是相同的镜头，例如非可见光传镜头121和可见光传镜头111是不过滤非可见光的镜头。非可见光传镜头121和可见光传镜头111可以是不同的镜头，例如非可见光传镜头121可以是不过滤非可见光的镜头(如不设置滤光片或不镀滤光膜的镜头)，可见光传镜头111是过滤非可见光的镜头(如设置滤光片或镀滤光膜的镜头)。

在这种实现方式中，点阵光的波长范围可以覆盖可见光和非可见光，例如点阵光的波长大于560纳米，这样无论在可见光图像还是在非可见光图像上均可以形成点阵。

无论采用哪一种实现方式，该图像拍摄装置100在对目标进行拍摄时，可见光拍摄结构110以及非可见光拍摄结构120可以在同一时刻或相近时刻(相近时刻是指时间差小于阈值的时间)对该目标进行拍摄，以分别产生同一时刻或相近时刻下的可见光图像以及非可见光图像。可见光拍摄结构110以及非可见光拍摄结构120的拍摄时间可以相同，也即可以保持相同的曝光时长。这样，可以保证生成的可见光图像和非可见光图像所涵盖的信息相同。

(3)、处理器130。

本申请实施例并不限定该处理器130的具体类型，该处理器130是中央处理器(central processing unit，CPU)、专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)、人工智能(artificial intelligence，AI)芯片、片上系统(system on chip，SoC)或复杂可编程逻辑器件(complex programmable logic device，CPLD)，图形处理器(graphics processingunit，GPU)等。凡是能够对图像进行处理，实现图像融合的处理器均适用于本申请实施例。

在本申请实施例中，处理器130对可见光图像和非可见光图像进行融合时，可以借助可见光图像中的第一点阵和非可见光图像中的第二点阵实现对可见光图像和非可见光图像的融合。

处理器130在获得融合图像的过程中包括两个步骤，第一个步骤是先对可见光图像和非可见光图像进行配准，第二个步骤是将配准后的可见光图像和非可见光图像进行融合，获得融合图像。

步骤一、配准。

在本申请实施例中，配准(registration)是将可见光图像和非可见光图像进行匹配、叠加。在进行配准时，首先对可见光图像和非可见光图像进行特征提取得到特征点；通过对特性相似程度的度量找到存在对应关系的特征点对；然后通过存在对应关系的特征点对得到仿射变换参数；之后，利用仿射变换参数对可见光图像和非可见光图像进行对齐。其中，仿射变换是指两个二维空间之间的变化，仿射变换参数是实现一个二维空间变化为到另一个二维空间的参数。在本申请实施例中，一个图像可以表示一个二维空间，这样，本申请实施例中利用存在对应关系的特征点对得到的仿射变换参数是实现可见光图像变换到非可见光图像的参数，或非见光图像变换到可见光图像的参数。

配准的关键在于能够找到存在对应关系的特征点对，由于本申请实施例中可见光图像和非可见光图像中均存在点阵，处理器130可以借助第一点阵和第二点阵，找到存在对应关系的光点对。之后，处理器130利用该光点获得仿射变换参数。

处理器130在进行配准时，可以直接利用第一点阵和第二点阵中的光点找到存在对应关系的光电对。也可以先对可见光图像和非可见光图像进行边缘对齐，也即先对第一点阵和第二点阵中的光点中位于图像边缘的光点进行对齐，找到存在对应关系的光点对，之后再利用第一点阵和第二点阵的其余光点找到存在对应关系的光电对。

处理器130可以分析见第一点阵中的光点和第二点阵的光点，确定第一点阵和第二点阵中存在对应关系的光点对。第一点阵和第二点阵中可能存在一个或多个存在对应关系的光点对。一个存在对应关系的光点对中包括两个光点，一个是第一点阵中的光点，一个是第二点阵中的光点。这两个光点之所以存在对应关系是因为这两个光点的图像特征相似程度大于阈值。也就是说，存在对应关系的光点为第一点阵和第二点阵中特征相似程度大于阈值的光点。

处理器130可以采用图像分析算法从第一点阵中的光点和第二点阵中光点中确定第一点阵和第二点阵中存在对应关系的光点。这里的图像分析算法包括但不限于尺度不变特征变换(scale-invariant feature transform，SIFT)，OPB(oriented FAST androtated BRIEF)、加速稳健特征(speeded up robust features,SURF)。

以SIFT算法为例，SHIFT算法能够分析第一点阵中的光点和第二点阵中光点的点阵，找到第一点阵中的光点和第二点阵中光点之间的对应关系，进而确定存在对应关系的光点对。

处理器130在确定了第一点阵和第二点阵中存在对应关系的光点对后，利用光点对中第一点阵中光点在可见光图像中的坐标以及光点对中第二点阵中光点在非可见光图像中的坐标获得仿射变换参数。

处理器130在确定了仿射变换参数后，可以利用仿射变换参数将可见光图像对齐到非可见光图像，也可以将非可见光图像对齐到可见光图像中。至此，完成了可见光图像和非可见光图像的配准。在完成配准之后，处理器130可以执行步骤二---融合。

步骤二、融合。

本申请实施例并不限定处理器130对配准后的可见光图像和非可见光图像进行融合的方式。

举例来说，处理器130对配准后的可见光图像和非可见光图像进行融合时，可以采用高频分量与低频分量分别融合的方式。低频分量表示图像中亮度或者灰度值变化缓慢的区域，例如图像平坦部分或主要部分。高频分量是图像变化剧烈的部分，例如，图像的边缘(轮廓)、噪声或细节部分。可见光图像和非可见光图像的低频分量以设定的第一比例融合，例如该第一比例可以是以可见光图像的低频分量为主的比例。可见光图像和非可见光图像在高频域以设定的第二比例融合，例如该第二比例可以是以非可见光图像的高频分量为主的比例。

(4)、点阵光光源140。

点阵光光源140为能够发射出点阵光的光源，也即该光源能够发射出多束平行的光束。在本申请实施例中该点阵光光源140所发射的点阵光的波长可以大于530纳米，小于750纳米，也即点阵光可以为可见光。又例如，该点阵光的波长也可以大于750纳米，也即点阵光中除了可见光，还可以包括红外光。

无论是第一点阵还是第二点阵，均包括多个光点。该多个光点形成的形状与点阵光的形状有关。举例来说，如图4A所示，若点阵光中多个平行光束是以五角星的形状排布，那么在可见光图像中的第一点阵和非可见光图像中的第二点阵的形状也可能是以五角星的形状排布。如图4B所示，若点阵光中多个平行光束是以矩阵的形状排布，那么在可见光图像中的第一点阵和非可见光图像中的第二点阵的形状也可能是以矩阵的形状排布。

点阵光光源140投射点阵光的持续时间可以大于可见光拍摄结构110以及非可见光拍摄结构120的拍摄时间，也即该持续时间可以等于或大于见光拍摄结构以及非可见光拍摄结构120的曝光时间，具体的，点阵光光源140投射点阵光的持续时间小于80毫秒。

在对本申请实施例提供的图像拍摄装置100的各个组成部分说明之后，下面对图像拍摄装置100的图像处理过程进行说明。参见图5，该方法包括：

步骤501：当图像拍摄装置100移动或偏转之后，可见光拍摄结构110和非可见光拍摄结构120可以对同一目标进行拍摄。可见光拍摄结构110和非可见光拍摄结构120在拍摄时可以保持相同的曝光时间。

在步骤501中，可见光拍摄结构110和非可见光拍摄结构120对同一目标进行拍摄时，点阵光光源140可以向该目标投射点阵光。

步骤502：可见光拍摄结构110生成第一可见光图像，非可见光拍摄结构120生成非第一可见光图像。第一可见光图像中包括点阵光形成的第一点阵，第一非可见光图像中包括点阵光形成的第二点阵。如图6所示，第一组图像为第一可见光图像以及第一非可见光图像的示意图。

之后处理器130先对第一可见光图像和第一非可见光图像进行配准(也即步骤503～步骤504)，之后在对图像进行融合(步骤505)。

步骤503：处理器130获得第一可见光图像和第一非可见光图像，处理器130根据第一点阵和第二点阵确定存在对应关系光点对，获得第一可见光图像和第一非可见光图像进行对齐所需的仿射变换参数。

步骤504：处理器130利用仿射变换参数对第一可见光图像和第一非可见光图像进行对齐。如图6所示，第二组图像为第一可见光图像以及第一非可见光图像对齐后的示意图。

步骤505：处理器130对配准后的第一可见光图像和第一非可见光图像进行融合，获得第一融合图像。如图6所示，最后一幅图像为第一可见光图像以及第一非可见光图像融合后的示意图。

在步骤501～步骤505是在图像拍摄装置100发生移动或偏转之后所执行的一次图像拍摄操作，若后续图像拍摄装置100未发生移动或偏转，可以利用在步骤503中获得的仿射变换参数对后续图像拍摄操作过程中产生的第二可见光图像以及第二非可见光图像进行对齐。具体可见步骤506～步骤509。

步骤506：可见光拍摄结构110和非可见光拍摄结构120可以对同一目标进行拍摄。可见光拍摄结构110和非可见光拍摄结构120在拍摄时可以保持相同的曝光时间。

在步骤506中，可见光拍摄结构110和非可见光拍摄结构120对同一目标进行拍摄时，点阵光光源140可以向该目标投射点阵光。

步骤507：可见光拍摄结构110生成第二可见光图像，非可见光拍摄结构120生成非第二可见光图像。

步骤508：处理器130利用仿射变换参数对第二可见光图像和第二非可见光图像进行对齐。

步骤509：处理器130对配准后的第二可见光图像和第二非可见光图像进行融合，获得第二融合图像。

由上可知，图像拍摄装置100每次发生移动或转动后，进行一次拍摄可以获得配准所需的仿射变换参数，例如放射变换参数可能对后续拍摄中生成的可见光图像以及非可见光图像进行配准，之后再进行融合，这样，能够大大简化后续拍摄过程中图像融合的过程，加快图像融合的速度。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种图像拍摄装置，其特征在于，所述装置包括：

可见光拍摄结构，用于对被点阵光投射的目标进行拍摄，生成可见光图像，所述可见光图像上包括由所述点阵光形成的第一点阵；

非可见光拍摄结构，用于对所述目标进行拍摄，生成非可见光图像，所述非可见光图像上包括由所述点阵光形成的第二点阵；

处理器，用于根据所述第一点阵和所述第二点阵，对所述可见光图像和所述非可见光图像进行融合，输出融合图像。

2.如权利要求1所述的装置，其特征在于，所述可见光拍摄结构进行拍摄的时间与所述非可见光拍摄结构进行拍摄的时间相同。

3.如权利要求1或2所述的装置，其特征在于，所述非可见光是红外光。

4.如权利要求1～3任一所述的装置，其特征在于，所述图像拍摄装置还包括点阵光光源，所述点阵光光源用于向所述目标投射所述点阵光。

5.如权利要求或1～4任一所述的装置，其特征在于，所述处理器，具体用于：

基于所述第一点阵和所述第二点阵之间光点与光点的对应关系，对所述可见光图像和所述非可见光图像进行配准；

对配准后的所述可见光图像和所述非可见光图像进行融合，生成所述融合图像。

6.如权利要求或5所述的装置，其特征在于，所述第一点阵和所述第二点阵包括多个光点，所述处理器在基于所述第一点阵和所述第二点阵之间光点与光点的对应关系，对所述可见光图像和所述非可见光图像进行配准，具体用于：

确定所述第一点阵和所述第二点阵中存在对应关系的光点对，所述存在对应关系的光点对包括一个所述第一点阵的光点和一个所述第二点阵的光点，所述存在对应关系的光点为所述第一点阵和所述第二点阵中特征相似程度大于阈值的光点；

根据所述存在对应关系的光点对所述可见光图像和所述非可见光图像进行配准。

7.如权利要求或1～6任一所述的装置，其特征在于，所述可见光拍摄结构包括可见光镜头和可见光传感器；

所述可见光镜头，用于捕捉拍摄目标所反射的可见光，将所述可见光投射到所述可见光传感器上；

所述可见光传感器，用于感应所述可见光，生成所述可见光图像；

所述非可见光拍摄结构包括非可见光镜头和非可见光传感器；

所述非可见光镜头，用于捕捉所述目标所反射的非可见光，将所述非可见光投射到所述非可见光传感器上；

所述非可见光传感器，用于感应所述非可见光，生成所述非可见光图像。

8.如权利要求7所述的装置，其特征在于，所述非可见光拍摄结构还包括红外补光灯；

所述红外补光灯，用于在所述非可见光拍摄结构进行拍摄时向所述目标投射红外光。

9.如权利要求7或8所述的装置，其特征在于，所述可见光镜头或所述非可见光镜头为变焦镜头。

10.如权利要求1～9任一所述的装置，其特征在于，所述点阵光的波长覆盖可见光波段和红外光波段。

11.如权利要求1～9任一所述的装置，其特征在于，所述点阵光的波长大于560纳米，小于750纳米。

12.如权利要求1～11任一所述的装置，其特征在于，所述点阵光的投射持续时间小于80毫秒。

13.一种图像处理方法，其特征在于，所述方法包括：

图像拍摄装置中的可见光拍摄结构对被点阵光投射的目标进行拍摄，生成可见光图像，所述可见光图像上包括由点阵光形成的第一点阵；

所述图像拍摄装置中的非可见光拍摄结构对所述目标进行拍摄，生成非可见光图像，所述非可见光图像上包括由所述点阵光形成的第二点阵；

所述图像拍摄装置中的处理器根据所述第一点阵和所述第二点阵，对所述可见光图像和所述非可见光图像进行融合，输出融合图像。

14.如权利要求或13所述的方法，其特征在于，所述图像拍摄装置中的处理器根据所述第一点阵和所述第二点阵，对所述可见光图像和所述非可见光图像进行融合，输出融合图像，包括：

所述图像拍摄装置中的处理器基于所述第一点阵和所述第二点阵之间光点与光点的对应关系，对所述可见光图像和所述非可见光图像进行配准；

所述图像拍摄装置中的处理器对配准后的所述可见光图像和所述非可见光图像进行融合，生成所述融合图像。

15.如权利要求或14所述的方法，其特征在于，所述第一点阵和所述第二点阵包括多个光点，所述图像拍摄装置中的处理器在基于所述第一点阵和所述第二点阵之间光点与光点的对应关系，对所述可见光图像和所述非可见光图像进行配准，包括：

所述图像拍摄装置中的处理器确定所述第一点阵和所述第二点阵中存在对应关系的光点对，所述存在对应关系的光点对包括一个所述第一点阵的光点和一个所述第二点阵的光点，所述存在对应关系的光点为所述第一点阵和所述第二点阵中特征相似程度大于阈值的光点；

所述图像拍摄装置中的处理器根据所述存在对应关系的光点对所述可见光图像和所述非可见光图像进行配准。

Images