CN108282644B - 一种单摄像头成像方法及装置 - Google Patents
一种单摄像头成像方法及装置 Download PDFInfo
- Publication number
- CN108282644B CN108282644B CN201810151706.6A CN201810151706A CN108282644B CN 108282644 B CN108282644 B CN 108282644B CN 201810151706 A CN201810151706 A CN 201810151706A CN 108282644 B CN108282644 B CN 108282644B
- Authority
- CN
- China
- Prior art keywords
- space
- rgb
- array
- data matrix
- channel corresponding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 35
- 238000005286 illumination Methods 0.000 claims abstract description 23
- 230000008878 coupling Effects 0.000 claims abstract description 11
- 238000010168 coupling process Methods 0.000 claims abstract description 11
- 238000005859 coupling reaction Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 73
- 239000011159 matrix material Substances 0.000 claims description 52
- 238000001514 detection method Methods 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 14
- 238000012937 correction Methods 0.000 description 11
- 241000282414 Homo sapiens Species 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000001727 in vivo Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种单摄像头成像方法，包括：S1、在任意光照条件下，基于单摄像头内置的可见光RGB和红外光IR混合传感器，获取拍摄物体的RGB‑IR混合像素阵列；S2、去除所述RGB‑IR混合像素阵列中RGB阵列和IR阵列的耦合相关性，得到像素比例1：1的RGB阵列和IR阵列，以同时生成可见光图片和红外光图片。本发明提供的单摄像头成像方法及系统，通过将获取的拍摄物体的RGB‑IR混合像素阵列进行去耦合分离为RGB阵列和IR阵列，实现单摄像头不通过切换和开关方式同时让RGB和IR进行感光，从而同时获取可见光图片和红外光图片。
Description
技术领域
本发明属于生物特征识别技术领域，更具体地，涉及一种单摄像头成像方法及装置。
背景技术
在生物特征识别技术领域中，人脸识别，作为一种重要的生物识别方法，与指纹、虹膜、声纹等其他生物特征相比，具有独到的技术优势：不需要使用者配合；采用非接触式采集，没有侵犯性，容易被接受；更符合人类的识别习惯，更自然，可交互性强；人脸识别技术在经济、安全、社会保障、军事等领域拥有巨大的潜在应用价值，尤其在需对用户身份进行验证或识别的场合，如银行、海关、重要安全部门的身份验证，驾照、护照、身份证等证件的核对，自动门禁、安全监控、罪犯搜捕等领域，自动人脸识别技术都具有广泛的市场前景。影响人脸识别性能的一个很关键的因素是光照变化。实际的人脸识别应用中，不同时间、不同场合的光照环境往往不同，甚至是变化巨大的。这使得光照变化的问题成为人脸识别技术的最大挑战之一。光照问题在实际应用中最为重要，用户普遍要求人脸识别系统能适应不同的光照环境。一般的人脸识别系统都采用普通的可见光人脸图像进行识别，这类系统容易收到环境光线变化的影响，在识别之前往往需要采用一些预处理算法对光照进行处理。虽然光照预处理算法能在一定程度上消除光照的影响，但同时也会使图像损失一部分有用的信息。
在现有技术中，更多的是利用近红外人脸识别方案，由于近红外图像在任意环境光照下都是清晰、正面光照的，这为构建不受环境光影响且高度准确的提供了良好的图像数据技术，解决了困扰人脸识别领域的环境光照的问题，克服了可见光技术在光线变化后性能下降，以及黑暗情况下无法识别的弊端。虽然近红外人脸识别一定程度在克服光照问题上显示出了优势，但是却有其缺点：如不能利用已有的大量可见光照片(如：二代证照片，逃犯照片库等)，用户需要重新构建近红外照片库，费时费力；主动光源经过长期使用后，会出现损坏和衰减，带来更多的后期维护等。
现有技术中，为了综合可见光人脸识别和近红外人脸识别的各自优势，在解决光线问题的一般技术方案都采用双光源融合的方案。即采用可见光源加红外光源，主要有以下两种方案进行融合。第一种是双摄像头方案，一个可见光摄像头加一个红外光摄像头。两个摄像头可以同时获得可见光和红外光两种图片；另一种是单摄像头方案，即一个摄像头的传感器具有可见光和红外光同时感光的能力。但是需要通过控制IRCut(开关)，通过开关关闭和开启，实现切换可见光和红外光分别得到可见光图像和红外图像。
但是上述现有技术的两种方案中，采用双摄像头的方案需要两个摄像头同时工作且针对不同摄像头设计两套图像处理算法，应用环境复杂不便；而采用单摄像头切换的方案无法同时得到可见光图像和红外图像，成像会有时间切换造成的运动损失，图像获取不准确。
故而现在亟须一种单摄像头成像方案来克服上述现有技术存在的问题，从而较好的应用在生物特征识别中。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的一种单摄像头成像方法，包括：
S1、在任意光照条件下，基于单摄像头内置的可见光RGB和红外光IR混合传感器，获取拍摄物体的RGB-IR混合像素阵列；
S2、去除所述RGB-IR混合像素阵列中RGB阵列和IR阵列的耦合相关性，得到像素比例1：1的RGB阵列和IR阵列，以同时生成可见光图片和红外光图片。
根据本发明的第二方面，提供一种单摄像头成像装置，包括：
采集模块，用于在任意光照条件下，基于单摄像头内置的可见光RGB和红外光IR混合传感器，获取拍摄物体的RGB-IR混合像素阵列；
图片生成模块，用于去除所述RGB-IR混合像素阵列中RGB阵列和IR阵列的耦合相关性，得到像素比例1：1的RGB阵列和IR阵列，以同时生成可见光图片和红外光图片。
根据本发明的第三方面，提供了一种单摄像头成像设备，包括：
处理器、存储器、通信接口和总线；其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述所述的一种基于键值对数据库的多源异构数据管理方法。
根据本发明的第四方面，提供一种计算机程序产品，包括程序代码，所述程序代码用于执行上述所述的一种单摄像头成像方法。
根据本发明的第五方面，提供一种非暂态计算机可读存储介质，用于存储如前所述的计算机程序。
本发明实施例提供的单摄像头成像方法及系统，通过将获取的拍摄物体的RGB-IR混合像素阵列进行去耦合分离为RGB阵列和IR阵列，实现单摄像头不通过切换和开关方式同时让RGB和IR进行感光，从而同时获取像素比例1：1可见光图片和红外光图片。
附图说明
图1是本发明实施例提供的一种单摄像头成像方法流程图；
图2是本发明实施例提供的RGB-IR混合像素阵列示意图；
图3是本发明实施例提供的亚采样过程示意图；
图4是以G通道为例的混合插值过程示意图；
图5是本发明实施例提供的混合插值法示意图；
图6是本发明实施例提供的残差插值过程示意图；
图7是本发明实施例提供的单摄像头成像图片示意图；
图8是本发明实施例提供的一种单摄像头成像装置结构图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1是本发明实施例提供的一种单摄像头成像方法流程图，如图1所示，所述方法包括：
S1、在任意光照条件下，基于单摄像头内置的可见光RGB和红外光IR混合传感器，获取拍摄物体的RGB-IR混合像素阵列；
S2、去除所述RGB-IR混合像素阵列中RGB阵列和IR阵列的耦合相关性，得到像素比例1：1的RGB阵列和IR阵列，以同时生成可见光图片和红外光图片。
可以理解的是，现有技术在应用人脸识别任务时采用的成像方案有单摄像头成像和双摄像头成像两种方案，单摄像头成像的方案中获取的可见光和红外光是通过切换和设置开关的形式进行获取，双摄像头是两个镜头、两个传感器同时进行采集。
针对上述两种方案在获取可见光和红外光时存在的问题，本发明实施例在步骤S1中提供了一种可以同时获取可见光和红外光的方式，实现在任意光照条件下，均可以获取拍摄物体的RGB-IR混合像素阵列。
具体的，本发明实施例在单摄像头中安置了可见光RGB和红外光IR混合传感器，所述可见光RGB和红外光IR混合传感器根据传感器本身设置的采样率同时对可见光和红外光进行采集，在采集过程中将像素排列为RGB-IR的混合阵列，图2是本发明实施例提供的RGB-IR混合像素阵列示意图，如图2所示，本发明实施例获取的RGB-IR混合像素阵列中R空间、G空间、B空间以及IR空间按照一定排序规则进行像素分布，和传统传感器采集的像素阵列对比，本发明实施例提供的可见光RGB和红外光IR混合传感器将部分绿色滤镜更换为了红外滤镜，从而可以同时感应到可见光和红外光。
需要说明的是，本发明实施例不对可见光RGB和红外光IR混合传感器的型号做限定，任意满足同时感应可见光和红外光的传感器本发明实施例均可以使用。
可以理解的是，图2中本发明实施例所采集的RGB-IR混合像素阵列中可见光和红外光相互影响和相互干扰，为了去除该影响和干扰，本发明实施例提供了一种去耦合算法，将RGB-IR混合像素阵列的耦合相关性去除，从而单独分离成RGB阵列和IR阵列，以得到可见光图片和红外光图片。
需要说明的是，本发明实施例在去耦合过程中，为了获取像素比例一致的可见光图片和红外光图片，在分离过程中需要保证RGB阵列和IR阵列的像素比例为1：1。
本发明提供的单摄像头成像方法，通过将获取的拍摄物体的RGB-IR混合像素阵列进行去耦合分离为RGB阵列和IR阵列，实现单摄像头不通过切换和开关方式同时让RGB和IR进行感光，从而同时获取可见光图片和红外光图片。
在上述实施例的基础上，步骤S2还包括：
对所述像素比例1：1的RGB阵列和IR阵列进行颜色校正，以同时生成可见光图片和红外光图片。
可以理解的是，去耦合得到的RGB阵列和IR阵列由于采集环境的差异，得到的图片颜色可能存在差异，从而影响了对样本的比较。
针对上述问题，本发明实施例在生成可见光图片和红外光图片的过程中，对RGB阵列和IR阵列进行了颜色校正。
优选的，本发明实施例提供了多项式回归法或者人工神经网络法进行了颜色校正。
本发明实施例提供的多项式回归法需要的存储空间少，计算速度快，容易实现，并且能根据实际情况进行合理选择，使得回归效果更好。
具体的，以RGB阵列的颜色校正过程为例，对本发明实施例进行说明。假设比色板上共有N个色块，第i个色块的颜色在标准空间下为R0i、G0i、B0i，在自然光照环境下采集到的待校正比色板上的第i色块颜色为Ri、Gi、Bi，其中i＝1,2,3.......N，则：
R0i＝a11v1i+a12v2i+...a1ivji
G0i＝a11v1i+a12v2i+...a1ivji
B0i＝a11v1i+a12v2i+...a1ivji
其中，vji(j＝1,...j)由预设的多项式构成，有多种不同的多项式表示形式，例如：V＝[R,G,B,1]、V＝[R,G,RG,RB,GB,1]等等。
V的形式可以根据本发明实施例需要进行设置成多种形式，用矩阵形式表示为：
X＝AT*V
其中，X是RGB阵列，A为维数等于j×3的转换系数矩阵，V是维数j×i的多项式回归矩阵。
矩阵A可利用最小二乘法优化计算，A＝(V×VT-1)(V×XT)，将A代入式X＝AT*V中，即可计算出校正后图像各个像素的R、G、B值，从而完成颜色校正。
本发明实施例还提供了人工神经网络法进行颜色校正，一般的，采用BP网络进行颜色校正过程，具体包括训练和测试两个阶段。
本发明实施例以RGB阵列的颜色校正过程对本发明实施例进行说明，本发明实施例首先利用色卡色块值进行训练，从待校正的色卡图片上提取出RGB值作为输入，而色卡的标准值是已知的，将色卡的标准值作为监督值。每块色卡图片上都有24个色块，也就是说BP网络的输入样本总数是24，每个样本有R、G、B，3个输入值，最后输出也是3个值，作为BP校正的结果，将校正结果和色块的标准值进行比较，计算误差，然后反向传播，修正各层的权值，再从输入层输入数据，经过隐层到输出层，计算误差直到达到终止标准。
利用训练好的BP网络完成对新拍摄物体的RGB阵列进行颜色校正，构成新的图像。
可以理解的是，在BP网络训练过程中，需要根据实际情况进行参数设置，如初始值，激发函数，各层神经元个数，误差传播准则，权值学习准则，终止准则等等，本发明实施例不对具体的过程进行限定。
在上述实施例的基础上，步骤S2具体包括：
S21、对所述RGB-IR混合像素阵列进行亚采样，分别获取所述RGB-IR混合像素阵列中R空间数据矩阵、G空间数据矩阵、B空间数据矩阵以及IR空间数据矩阵；
S22、在所述R空间数据矩阵、G空间数据矩阵、B空间数据矩阵中选择其中一个作为目标空间数据矩阵进行混合插值，得到目标空间对应的目标通道；
S23、将所述目标空间对应的目标通道分别与除目标空间数据矩阵之外的其余三个空间数据矩阵之间进行残差插值，得到R空间对应的R通道、G空间对应的G通道、B空间对应的B通道以及IR空间对应的IR通道；
S24、将所述R空间对应的R通道、G空间对应的G通道、B空间对应的B通道构成所述RGB阵列，以生成可见光图片，以及
将所述IR空间对应的IR通道构成所述IR阵列，以生成红外光图片。
步骤S21-S24是本发明实施例提供的去耦合算法整体流程，具体的，图3是本发明实施例提供的亚采样过程示意图，如图3所示，本发明实施例将RGB-IR混合像素阵列采样为R空间数据矩阵、G空间数据矩阵、B空间数据矩阵以及IR空间数据矩阵。
其中，所述亚采样是指由于将RGB-IR混合像素阵列这样的大数据矩阵分解为了小的R、G、B以及IR空间小数据矩阵，需要说明的是，本发明实施例不对采样的方式做具体限定，任何能将RGB-IR混合像素阵列分离为单通道的采样均可适用。
步骤S22具体包括：
获取所述RGB-IR混合像素阵列中各个空间的采样率；
将采样率最高的空间作为目标空间，并对所述目标空间数据矩阵进行混合插值，得到目标空间对应的目标通道。
进一步的，步骤S22中，本发明实施例从R空间数据矩阵、G空间数据矩阵、B空间数据矩阵中选择了目标空间矩阵进行混合插值，图4是以G通道为例的混合插值过程示意图，如图4所示，经过混合插值后，本发明实施例将G空间数据矩阵空白局域的数值进行插值填充，构成新的G空间对应的G通道。
可以理解的是，以G通道为例是由于G通道的在传统可见光采样中的采样率最高，一般占到了50％，故而选用G通道作为目标通道，但目标通道的其余选择也在本发明实施例保护范围内。
本发明实施例提供的混合插值可以采用多种方法，可以理解的是，采样不同的混合插值方式能获取不同的G通道数值矩阵，从而对图像质量造成不同的影响，根据实际情况，选用不同的插值方式，以取得最好的图像效果。
具体的，本发明实施例根据R、G、B、IR的取值共同计算G通道空缺部分的数值，对于每个G通道空缺的位置，采用如下公式就按插值大小：
G插＝f(G均+a1*R均+a2*B均+a3*IR均)
其中，G均为待插入点G通道临近若干数值的均值、同样的，R均、B均、IR均为相应通道临近若干点的均值，优选的，本发明实施例采用临近8个点的均值进行计算，可以理解的是，邻近的8个点不一定全部存在，本发明实施例将选用可以存在的点进行计算。
其中，a1、a2以及a3是本发明实施例经过预设的BP神经网络训练得到的相关系数，训练过程采用标准色卡进行训练，IR通道的部分由于没有色卡，故而采用滤片得到标准情况后再进行训练。
那么通过上述插值公式，能够对G通道每一个空间的点进行插值，从而完成图4左侧到图4右侧的转换。
需要说明的是，本发明实施例仅以G通道为例进行说明，而不仅限于G通道。
可以理解的是，还存在其他许多形式的插值方法，例如：双线性插值法和自适应插值法，经过一定改进后也可在本发明实施例中进行使用。
上述双线性插值法是对需要插值的像素，用周围的平均值作为自己的值，如图4所示，对于图4左侧每个G通道上空缺的像素点，都取自身周边4个临近的像素值做平均：其中G插是指插入的G通道像素值，G1、G2、G3以及G4是插入位置上下左右4个方位的另外4个像素值，可以理解的是，若插入位置某个方位的像素值为空，则以0代替计算。
上述自适应插值法是定义了每个插值位置水平方向和垂直方向的梯度，并根据垂直方向和水平方向梯度的比较，选用不同的插值计算方式计算插值的大小。
图5是本发明实施例提供的混合插值法示意图，本发明实施例中，定义水平方向的梯度为：
ΔH＝|G4-G6|+|(A3+A7)/2-A5|
竖直方向的梯度为：
ΔV＝|G2-G8|+|(A1+A9)/2-A5|
那么本发明实施例定义ΔV＞ΔH时，待插入A5的像素值为：
A5＝(G4+G6)/2+(A5-A3+A5-A7)/4
ΔV＜ΔH时，待插入A5的像素值为：
A5＝(G2+G8)/2+(A5-A1+A5-A9)/4
ΔV＝ΔH时，待插入A5的像素值为:
A5＝(G2+G4+G6+G8)/4+(A5-A1+A5-A3+A5-A9+A5-A7)/8。
从而完成对A5的插值，本发明实施例以A5位置为例，结合图4，本发明实施例能完成G通道全部的插值过程。
上述提到的双线性插值法和自适应插值法与本发明实施例提供的混合插值方案相比，存在一定局限性，插值得到的图片与其余三通道之间关联较少，但在某些特殊情况下也可进行使用。
图6是本发明实施例提供的残差插值过程示意图，如图6所示，得到了G通道的也就是本发明实施例所述的目标通道后，利用预设的残差插值法分别与R空间数据矩阵、G空间数据矩阵、B空间数据矩阵进行残差插值，得到R空间对应的R通道、G空间对应的G通道、B空间对应的B通道以及IR空间对应的IR通道。
具体的，本发明实施例提供的预设的残差插值法的目的是利用G通道平面的值来对其余三通道空缺的像素值进行插值，同样的，本发明实施例不限定残差插值的方法，只需要能完成如图6所示的插值效果即可。
优选的，本发明实施例提供的残差插值法为利用最小拉普拉斯残差插值计算一个暂时的估计值，然后对残差平面进行残差插值，其中，残差平面是观测图像与暂时估计值之间的差，本发明实施例以G通道和R通道的残差插值过程为例对本发明实施例进行说明。
通过对G通道的导向滤波产生一个暂时的R通道图像估计值
计算在R位置的残差值
对残差平面
进行残差插值，得到完整的残差数据矩阵
最后将残差数据矩阵加到
上，得到R通道。
在对残差平面
进行残差插值的过程中，本发明实施例利用的是双线性插值法，在原B通道的位置上进行插值，插值公式为：
在原G和IR通道的位置上进行插值，插值公式为：
其中，i，j为数据平面的行和列。
通过上述残差插值过程，结合图6，本发明实施例得到了R通道、B通道以及IR通道各自的数据矩阵。
进一步的，步骤S24中，将R通道、G通道和B通道进行像素值整合，得到RGB数据矩阵，将RGB数据矩阵输出为可见光图片，将IR通道直接输出为红外光图片，由于在上述插值过程中IR通道的像素比例和R通道、G通道和B通道一致，故而生成的红外光图片和可见光图片的像素比例为1：1。
本发明实施例提供的方案能够同时得到1:1配准的RGB和IR图，并且还可以节省一个传感器镜头或者节省一个开关，成本更低、性能更好。
在上述所有实施例的基础上，所述方法还包括：
基于所述单摄像头，对人脸进行采集，获取人脸相关的像素比例1：1的可见光图片和红外光图片；
基于所述人脸相关的像素比例1：1的可见光图片和红外光图片，进行活体检测或人脸识别。
本发明实施例提供的可见光图片和红外光图片可以进行可见光人脸识别或者进行红外光人脸识别，或者两种识别方法都进行之后的交叉验证。
另外，该方法还可以用于人脸活体检测，提供双光源图片，判别人脸是真人还是照片、视频、模型等。
可以理解的是，本发明实施例提供的单摄像头成像技术是应用于人脸识别的交叉验证过程中，通过同时得到的像素比例1：1的红外图片和可见光图片，实现了人脸识别的快速验证，使得在无论何种光照条件下均能够进行人脸的快速、有效识别，且克服了现有的单摄像头人脸识别存在的图像损失问题。
并且，本发明实施例提供的单摄像头成像方案还可以应用于人脸活体检测中，现有技术关于人脸活体检测的技术均是采用多光源图像进行检测，但是现有技术获取多光源图像是利用两个摄像头才完成这一目的，且由于采集过程的不匹配和算法的不一致，很可能造成活体检测准确率低下。
而本发明实施例提供的单摄像头成像方案应用于人脸活体检测时，由于可以同时输出像素比例1：1的红外图片和可见光图片，并且设备本身采用单摄像头，克服了采集过程的不匹配和算法的不一致，实现了在任意光照条件下的活体准确检测。
并且，可以理解的是，采用单一摄像头进行人脸活体检测，在一定程度上节省了大量成本和资源，且提高了检测速度。
在上述实施例的基础上，本发明实施例利用该方案进行了人脸识别和活体检测结果仿真，图7是本发明实施例提供的单摄像头成像图片示意图，图7左侧为可见光图片，右侧为红外光图片，两张图片像素比例为1：1且同时输出。
本发明实施例提供的检测环境是在在单核i7-5600U处理器，2.6G主频下进行检测，每秒能够检测200万像素的74张图片，速度达到了14ms/张，并且在千分之一虚警率的前提下，本发明实施例对于人脸检测的检出率达到95％，千分之一误识的前提下，人脸识别率达到了99％，对于活体检测方面，200张打印照片以及200段视频，全部被拒绝，而200次真人则全部通过。
而在同样的试验环境下，采用现有技术的双目摄像头方案，由于双光源的人脸不是配准的，因此检测需要做两次人脸检测，即红外光和可见光图像都需要做人脸检测，速度是本发明实施例的两倍左右，约为30ms/张，并且双目摄像头方案中，其可见光达到95％的情况下，红外人脸检测达不到95％的检出率，即时按照红外人脸检测的检出率也是95％的情况下，其总和检出率也为0.95*0.95＝90％，在千分之一误识的前提下，其人脸识别率只有97％，而对于活体检测方面，200张打印照片只有一半拒识，200段视频，有70％拒绝，200次真人测试也只有190次通过。
综合上述与现有技术的仿真对比试验，可以看出，本发明实施例提供的单摄像头成像所得到的1：1的红外图片和可见光图片，无论是应用在人脸识别方面还是应用在活体检测方面，能比现有的双目摄像头的应用效果要好得多，并且本发明实施例提供的方案还节省了设备和成本，取得了较大的突破。
图8是本发明实施例提供的一种单摄像头成像装置结构图，如图8所示，一种单摄像头成像装置，包括：采集模块1和图片生成模块2，其中：
采集模块1用于在任意光照条件下，基于单摄像头内置的可见光RGB和红外光IR混合传感器，获取拍摄物体的RGB-IR混合像素阵列；
图片生成模块2用于去除所述RGB-IR混合像素阵列中RGB阵列和IR阵列的耦合相关性，得到像素比例1：1的RGB阵列和IR阵列，以同时生成可见光图片和红外光图片。
本发明实施例提供的单摄像头成像装置除了能够生产可见光和红外光图片之外，还可以进行人脸活体检测，根据双光源图片，判别人脸是真人还是照片、视频、模型等。
具体的如何利用采集模块1和图片生成模块2实现单摄像头成像可参见上述实施例，本发明实施例对此不再赘述。
本发明实施例提供一种单摄像头成像设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行上述各方法实施例所提供的方法，例如包括：S1、在任意光照条件下，基于单摄像头内置的可见光RGB和红外光IR混合传感器，获取拍摄物体的RGB-IR混合像素阵列；S2、去除所述RGB-IR混合像素阵列中RGB阵列和IR阵列的耦合相关性，得到像素比例1：1的RGB阵列和IR阵列，以同时生成可见光图片和红外光图片。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：S1、在任意光照条件下，基于单摄像头内置的可见光RGB和红外光IR混合传感器，获取拍摄物体的RGB-IR混合像素阵列；S2、去除所述RGB-IR混合像素阵列中RGB阵列和IR阵列的耦合相关性，得到像素比例1：1的RGB阵列和IR阵列，以同时生成可见光图片和红外光图片。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：S1、在任意光照条件下，基于单摄像头内置的可见光RGB和红外光IR混合传感器，获取拍摄物体的RGB-IR混合像素阵列；S2、去除所述RGB-IR混合像素阵列中RGB阵列和IR阵列的耦合相关性，得到像素比例1：1的RGB阵列和IR阵列，以同时生成可见光图片和红外光图片。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种单摄像头成像方法，其特征在于，包括：
S1、在任意光照条件下，基于单摄像头内置的可见光RGB和红外光IR混合传感器，获取拍摄物体的RGB-IR混合像素阵列；
S2、去除所述RGB-IR混合像素阵列中RGB阵列和IR阵列的耦合相关性，得到像素比例1：1的RGB阵列和IR阵列，以同时生成可见光图片和红外光图片；步骤S2具体包括：
S21、对所述RGB-IR混合像素阵列进行亚采样，分别获取所述RGB-IR混合像素阵列中R空间数据矩阵、G空间数据矩阵、B空间数据矩阵以及IR空间数据矩阵；
S22、在所述R空间数据矩阵、G空间数据矩阵、B空间数据矩阵中选择其中一个作为目标空间数据矩阵进行混合插值，得到目标空间对应的目标通道；
S23、将所述目标空间对应的目标通道分别与除目标空间数据矩阵之外的其余三个空间数据矩阵之间进行残差插值，得到R空间对应的R通道、G空间对应的G通道、B空间对应的B通道以及IR空间对应的IR通道；
S24、将所述R空间对应的R通道、G空间对应的G通道、B空间对应的B通道构成所述RGB阵列，以生成可见光图片，以及
将所述IR空间对应的IR通道构成所述IR阵列，以生成红外光图片。
2.根据权利要求1所述的方法，其特征在于，步骤S2还包括：
对所述像素比例1：1的RGB阵列和IR阵列进行颜色校正，以同时生成可见光图片和红外光图片。
3.根据权利要求1所述的方法，其特征在于，步骤S22具体包括：
获取所述RGB-IR混合像素阵列中各个空间的采样率；
将采样率最高的空间作为目标空间，并对所述目标空间数据矩阵进行混合插值，得到目标空间对应的目标通道。
4.根据权利要求3所述的方法，其特征在于，所述对所述目标空间数据矩阵进行混合插值，得到目标空间对应的目标通道，具体包括：
对所述目标空间数据矩阵中所有空缺的数据点进行混合插值，得到目标空间对应的目标通道，所述混合插值包括近邻赋值法、双线性插值法、自适应插值法。
5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：
基于所述单摄像头，对人脸进行采集，获取人脸相关的像素比例1：1的可见光图片和红外光图片；
基于所述人脸相关的像素比例1：1的可见光图片和红外光图片，进行活体检测或人脸识别。
6.一种单摄像头成像装置，其特征在于，包括：
采集模块，用于在任意光照条件下，基于单摄像头内置的可见光RGB和红外光IR混合传感器，获取拍摄物体的RGB-IR混合像素阵列；
图片生成模块，用于去除所述RGB-IR混合像素阵列中RGB阵列和IR阵列的耦合相关性，得到像素比例1：1的RGB阵列和IR阵列，以同时生成可见光图片和红外光图片；图片生成模块具体用于：
S21、对所述RGB-IR混合像素阵列进行亚采样，分别获取所述RGB-IR混合像素阵列中R空间数据矩阵、G空间数据矩阵、B空间数据矩阵以及IR空间数据矩阵；
S22、在所述R空间数据矩阵、G空间数据矩阵、B空间数据矩阵中选择其中一个作为目标空间数据矩阵进行混合插值，得到目标空间对应的目标通道；
S23、将所述目标空间对应的目标通道分别与除目标空间数据矩阵之外的其余三个空间数据矩阵之间进行残差插值，得到R空间对应的R通道、G空间对应的G通道、B空间对应的B通道以及IR空间对应的IR通道；
S24、将所述R空间对应的R通道、G空间对应的G通道、B空间对应的B通道构成所述RGB阵列，以生成可见光图片，以及
将所述IR空间对应的IR通道构成所述IR阵列，以生成红外光图片。
7.一种计算机设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至5任一所述的方法。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至5任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810151706.6A CN108282644B (zh) | 2018-02-14 | 2018-02-14 | 一种单摄像头成像方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810151706.6A CN108282644B (zh) | 2018-02-14 | 2018-02-14 | 一种单摄像头成像方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108282644A CN108282644A (zh) | 2018-07-13 |
| CN108282644B true CN108282644B (zh) | 2020-01-10 |
Family
ID=62808353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810151706.6A Active CN108282644B (zh) | 2018-02-14 | 2018-02-14 | 一种单摄像头成像方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108282644B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960179A (zh) * | 2018-07-16 | 2018-12-07 | 维沃移动通信有限公司 | 一种图像数据处理方法及移动终端 |
| CN108965704B (zh) * | 2018-07-19 | 2020-01-31 | 维沃移动通信有限公司 | 一种图像传感器、移动终端及图像拍摄方法 |
| CN110809881B (zh) * | 2018-08-31 | 2021-08-24 | 深圳市大疆创新科技有限公司 | 图像处理系统和方法 |
| CN112243117B (zh) * | 2019-07-17 | 2022-09-16 | 杭州海康威视数字技术股份有限公司 | 图像处理装置、方法及摄像机 |
| CN110674682B (zh) * | 2019-08-15 | 2021-12-14 | 武汉虹识技术有限公司 | 一种双目虹膜图像采集装置及方法 |
| CN112584109A (zh) * | 2019-09-30 | 2021-03-30 | 长城汽车股份有限公司 | 车用摄像装置及车用图像处理方法 |
| TWI730587B (zh) * | 2020-01-11 | 2021-06-11 | 新煒科技有限公司 | 基於rgb-ir圖像感測器的圖像格式轉換方法及裝置 |
| CN112184831B (zh) * | 2020-09-23 | 2023-06-16 | 深兰自动驾驶研究院(山东)有限公司 | 一种rgb图像及ir图像的自动对应标定方法、系统及装置 |
| CN112418021A (zh) * | 2020-11-10 | 2021-02-26 | 上海臻面智能信息科技有限公司 | 一种单rgb-ir摄像头的安全模组的实现方法及装置 |
| CN114500850B (zh) * | 2022-02-22 | 2024-01-19 | 锐芯微电子股份有限公司 | 图像处理方法及装置、系统、可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463112A (zh) * | 2014-11-27 | 2015-03-25 | 深圳市科葩信息技术有限公司 | 一种采用rgb+ir图像传感器进行生物识别的方法及识别系统 |
| KR20160125099A (ko) * | 2015-04-21 | 2016-10-31 | (주)실리콘화일 | 비가시용 ｉｒ 픽셀에서의 가시용 컬러 노이즈 저감 기능을 갖는 4-컬러 픽셀 이미지 센서 |
| WO2017097857A1 (fr) * | 2015-12-11 | 2017-06-15 | Thales | Systeme et procede d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique |
| CN107370917A (zh) * | 2017-06-30 | 2017-11-21 | 广东欧珀移动通信有限公司 | 控制方法、电子装置和计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8619143B2 (en) * | 2010-03-19 | 2013-12-31 | Pixim, Inc. | Image sensor including color and infrared pixels |
-
2018
- 2018-02-14 CN CN201810151706.6A patent/CN108282644B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463112A (zh) * | 2014-11-27 | 2015-03-25 | 深圳市科葩信息技术有限公司 | 一种采用rgb+ir图像传感器进行生物识别的方法及识别系统 |
| KR20160125099A (ko) * | 2015-04-21 | 2016-10-31 | (주)실리콘화일 | 비가시용 ｉｒ 픽셀에서의 가시용 컬러 노이즈 저감 기능을 갖는 4-컬러 픽셀 이미지 센서 |
| WO2017097857A1 (fr) * | 2015-12-11 | 2017-06-15 | Thales | Systeme et procede d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique |
| CN107370917A (zh) * | 2017-06-30 | 2017-11-21 | 广东欧珀移动通信有限公司 | 控制方法、电子装置和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108282644A (zh) | 2018-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108282644B (zh) | 一种单摄像头成像方法及装置 | |
| EP2721828B1 (en) | High resolution multispectral image capture | |
| EP3719694A1 (en) | Neural network model-based human face living body detection | |
| CN101443817B (zh) | 用于确定场景的三维重建时的对应关系的方法和装置 | |
| CN111145131A (zh) | 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法 | |
| CN107798652A (zh) | 图像处理方法、装置、可读存储介质和电子设备 | |
| CN107077602A (zh) | 用于活性分析的系统及方法 | |
| CN108055452A (zh) | 图像处理方法、装置及设备 | |
| CN110263621B (zh) | 图像识别方法、装置及可读存储介质 | |
| CN101605209A (zh) | 摄像装置及图像再生装置 | |
| Ahmed et al. | Comparative analysis of a deep convolutional neural network for source camera identification | |
| CN102959942A (zh) | 立体观看用图像拍摄装置及其控制方法 | |
| CN111275645A (zh) | 基于人工智能的图像去雾方法、装置、设备及存储介质 | |
| CN114387548A (zh) | 视频及活体检测方法、系统、设备、存储介质及程序产品 | |
| Hadiprakoso et al. | Face anti-spoofing using CNN classifier & face liveness detection | |
| CN115311186B (zh) | 一种红外与可见光图像跨尺度注意力对抗融合方法及终端 | |
| CN109784230A (zh) | 一种人脸视频图像质量寻优方法、系统及设备 | |
| CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
| CN111222432A (zh) | 人脸活体检测方法、系统、设备及可读存储介质 | |
| CN113642639A (zh) | 活体检测方法、装置、设备和存储介质 | |
| CN112507986B (zh) | 基于神经网络的多通道人脸活体检测方法及装置 | |
| CN114511608A (zh) | 一种深度图像的获取方法、装置、终端、成像系统和介质 | |
| CN109191398A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN116823863A (zh) | 一种红外图像轮廓提取方法及装置 | |
| CN109978928B (zh) | 一种基于加权投票的双目视觉立体匹配方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |