CN101202845B - 红外图像转换为可见光图像的方法及其装置 - Google Patents
红外图像转换为可见光图像的方法及其装置 Download PDFInfo
- Publication number
- CN101202845B CN101202845B CN2007101773596A CN200710177359A CN101202845B CN 101202845 B CN101202845 B CN 101202845B CN 2007101773596 A CN2007101773596 A CN 2007101773596A CN 200710177359 A CN200710177359 A CN 200710177359A CN 101202845 B CN101202845 B CN 101202845B
- Authority
- CN
- China
- Prior art keywords
- training
- infrared
- face image
- visible light
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种红外图像转换为可见光图像的方法，包括步骤：训练阶段：建立红外图像数据库及其相应的可见光图像数据库，所述红外图像数据库中存储有针对预先选取的样本的训练红外人脸图像，所述可见光图像数据库中存储针对预先选取的样本的训练可见光人脸图像；统计学习所述两个数据库中一一对应的图像，得到训练红外人脸图像与训练可见光人脸图像之间转换的对应关系；工作阶段：依据所述得到的训练红外人脸图像与训练可见光人脸图像之间转换的对应关系，将输入的红外人脸图像转换输出对应的可见光人脸图像。相应的，还公开了一种红外图像转换为可见光图像的装置。采用本发明方案将红外人脸图像转换为可见光人脸图像，使得在光线条件较差的情况下也能对一些重要场所进行监控。
Description
技术领域
本发明涉及生物特征识别、视频监控领域，尤其涉及一种红外图像转换为可见光图像的方法及其装置。
背景技术
高于绝对零度的物体都会发射电磁波，而人的体温正好落在发射红外光的温度范围内，所以红外采像仪即使在漆黑的夜晚也能采集到人体的红外图像；可见光图像是物体通过光线的反射形成的，它的形成需要光源的存在。如果能从红外图像中恢复出普通的可见光图像，那么在光线较差的情况下也能对一些重要场所进行监控；同时如果能从红外图像中恢复出普通的可见光图像，也有利于进一步对采集到的红外图像进行生物特征的识别。
现有技术应用到的图像多为可见光的图像；针对红外图像的研究则多集中于从红外图像中提取特征，以用于生物特征的识别，或者利用红外图像与可见光图像的融合来进行生物特征的识别。
而现有技术中针对红外图像到可见光图像转换的研究几乎为空白。在红外图像到可见光图像的转换中，由于两种图像的形成机理不同，其相关性并不是很强，红外图像和可见光图像的低相关性是将红外图像转换为可见光图像的一个难点；另外可见光图像的分辨率往往高于红外图像，也就是说可见光图像包含的信息要高于红外图像，这也增加了从红外图像中恢复可见光图像的难度。
发明内容
本发明要解决的技术问题在于提供一种红外图像转换为可见光图像的方法以及装置，以使得在光线条件较差的情况下也能对一些重要场所进行监控。
本发明实施例提供了一种红外图像转换为可见光图像的方法，包括步骤：
训练阶段：建立红外图像数据库及其相应的可见光图像数据库，所述红外图像数据库中存储有针对预先选取的样本的训练红外人脸图像，所述可见光图像数据库中存储针对预先选取的样本的训练可见光人脸图像；统计学习所述红外图像数据库和可见光图像数据库中一一对应的图像，得到训练红外人脸图像与训练可见光人脸图像之间转换的对应关系；工作阶段：依据所述得到的训练红外人脸图像与训练可见光人脸图像之间转换的对应关系，将输入的红外人脸图像转换输出对应的可见光人脸图像。
本发明实施例提供了一种红外图像转换为可见光图像的装置，包括：红外图像采集单元：在训练阶段用于采集预先选取的样本，得到训练红外人脸图像；以及在工作阶段用于采集工作范围内的物体，得到输入红外人脸图像；可见光图像采集单元：用于采集预先选取的样本，得到训练可见光人脸图像；数据库建立单元：用于建立红外图像数据库及其相应的可见光图像数据库，所述红外图像数据库中存储有针对预先选取的样本的训练红外人脸图像，所述可见光图像数据库中存储有针对预先选取的样本的可见光人脸图像；统计学习单元：用于统计学习数据库建立单元建立的两个数据库中一一对应的图像，得到训练红外人脸图像与训练可见光人脸图像之间转换的对应关系；输入单元：用于输入红外图像采集单元得到的输入红外人脸图像；检索转换单元：用于依据统计学习单元得到的训练红外人脸图像与训练可见光人脸图像之间转换的对应关系，将输入单元输入的红外人脸图像转换得到对应的可见光人脸图像；输出单元：用于输出检索转换单元转换得到的可见光人脸图像。
本发明实施例提出的红外图像转换为可见光图像的方法，通过在训练阶段对红外图像数据库和可见光图像数据库中一一对应的图像的学习，得到红外图像与可见光图像之间的对应关系，使得在工作阶段对输入的红外图像，均能转换为对应的可见光图像输出。将红外图像转换为可见光图像，使得在光线条件较差的情况下也能对一些重要的场所进行监控；另外通过将红外图像转换为可见光图像，便于进一步对采集到的红外图像进行生物特征的识别。
附图说明
图1为本发明实施例提出的红外图像转换为可见光图像的原理框图；
图2为本发明实施例提出的红外图像转换为可见光图像的训练阶段的流程图；
图3为本发明实施例提出的红外图像转换为可见光图像的工作阶段的流程图；
图4为本发明实施例提供的红外图像转换为可见光图像的训练阶段与工作阶段相互关联的流程图；
图5为本发明实施例提供的红外图像转换为可见光图像装置的结构示意图；
图6为本发明实施例提供的红外图像转换为可见光图像装置中数据库建立单元的结构示意图；
图7为本发明实施例提供的红外图像转换为可见光图像装置中检索转换单元的结构示意图。
具体实施方式
本发明提出的技术方案是：首先在训练阶段：选取多个物体作为图像采集的样本；建立红外图像数据库及其相应的可见光图像数据库，所述红外图像数据库中存储所选样本的训练红外图像，所述可见光图像数据库中存储所选样本的训练可见光图像；统计学习所述两个数据库中一一对应的图像，得到训练红外图像与训练可见光图像之间转换的对应关系；然后在工作阶段：依据所述得到的训练红外图像与训练可见光图像之间转换的对应关系，将输入的红外图像转换输出对应的可见光图像。
下面结合说明书附图来说明本发明的具体实施方式。本发明实施例以视频监控领域中，红外采像仪采集到的红外人脸图像进行转换得到可见光人脸图像为例来说明。
参阅图1所示，红外图像转换为可见光图像的原理是：
在前期的训练阶段，制作一个红外人脸数据库和一个可见光人脸数据库，且两个数据库中的人脸图像是一一对应的关系；通过对两个数据库中一一对应的人脸图像的学习，可以得到训练红外人脸图像与其对应的训练可见光人脸图像之间的对应关系，以便工作阶段使用。
在工作阶段，较佳的实施情况是在与训练红外人脸图像采集的角度一致的角度上，采集得到输入红外人脸图像，通过检索事先在训练阶段得到的训练红外人脸图像与其对应的训练可见光人脸图像之间的对应关系，将输入的红外人脸图像转换为一可见光人脸图像输出。
下面分别对红外图像到可见光图像转换的两个阶段做具体阐述，参阅图2所示，红外图像转换为可见光图像的训练阶段的具体过程如下：
步骤21：红外和可见光图像对的采集、标定、对齐和入库。
采集：分别用红外采像装置和可见光采像装置(如红外采像仪和普通的照相机)对选取的训练样本中的人脸进行采集，得到训练红外人脸图像及其对应的训练可见光人脸图像。
标定：确定训练人脸图像中一些特征点的标准位置，如眼睛的中心，眼角，鼻子的中心，嘴巴的中心等。具体标定方式例如：可以将采集到的某一幅训练人脸图像中特征点的位置作为位置标准，也可以由人脸数据库中图像特征点坐标的平均作为位置标准。
对齐：将采集得到的训练人脸图像相对于标定得到的特征点的标准位置进行对齐操作。例如人工对采集到的训练人脸图像进行标定，根据人工标定的特征点的坐标和标定得到的特征点的标准坐标，计算出一个仿射变换，然后根据此仿射变换将采集到的训练人脸图像变换成标准的训练人脸图像，完成训练人脸图像的对齐操作。
入库：将对齐后的训练人脸图像剪切，只保留人脸的中心区域，并将对齐剪切后的训练人脸图像相应的存入红外图像数据库和可见光图像数据库。
步骤22：图像的分块。
将数据库中的训练人脸图像都按照同样的规则分割成一些小块。例如分割规则可以是将图像划分为6×6的矩阵，分割的块与块之间也可以相互重叠。将分块后得到的训练红外人脸图像块和训练可见光人脸图像块分别存入红外图像数据库和可见光图像数据库。
步骤23：图像块特征的提取和红外投影方向的保存。
根据数据库中训练人脸图像某一位置处的训练人脸图像块的统计特性，提取该位置处训练人脸图像块的特征。以训练人脸图像的某一个位置处图像块的特征提取为例，拿出红外数据库和可见光数据库中所有处于该位置的训练人脸图像块作为训练数据，对这些训练红外人脸图像块的集合和训练可见光人脸数据块的集合做典型相关分析(CCA，Canonical Correlation Analysis)，可以计算出一系列在该位置处训练红外人脸图像数据的训练红外投影方向和训练可见光人脸图像数据的训练可见光投影方向，将训练红外投影方向保存备用，然后把训练红外人脸图像数据和训练可见光人脸图像数据分别在相应的投影方向上投影，即得到了训练红外人脸图像块特征和训练可见光人脸图像块特征。将提取得到的训练红外人脸图像块特征和训练可见光人脸图像块特征分别存入红外图像数据库和可见光图像数据库。
步骤24：统计学习出红外图像块特征和可见光图像块特征间的函数变换。
不同位置的训练人脸图像块的特征对应不同的函数变换，比如左上角位置处的训练红外人脸图像块特征和对应的训练可见光人脸图像块特征之间的函数变换关系，与右下角位置处训练红外人脸图像块特征和对应的训练可见光人脸图像块特征之间的函数变换是不同的。同样，这种函数变换的关系也是统计学习出来的，即把同一位置上的所有训练红外人脸图像块特征和对应的训练可见光人脸图像块特征取出作为训练数据，对训练数据进行统计可以得到对应位置处的函数变换关系。
函数变换关系可以有两种表示方式：参数表示和非参数表示方式。
参数表示方式：通过对训练数据进行回归分析，计算出一个确定的函数表达方式。
非参数表示方式：以离散数据点的对应关系作为函数变换关系。例如将数据库中的训练红外人脸图像块特征和对应位置处的训练可见光人脸图像块特征存放成表格的形式。
至此，完成了前期的训练阶段，制作了一个红外人脸数据库和一个可见光人脸数据库；通过对两个数据库中一一对应的人脸图像的学习，得到了训练红外人脸图像与其对应的训练可见光人脸图像之间的对应关系。
下面就利用这种对应关系来介绍在实际的工作阶段红外图像转换为可见光图像的过程，参见图3所示，工作阶段的红外图像转换为可见光图像的过程
具体如下：
步骤31：图像的采集、预处理、标定、对齐、剪切及分块。
利用红外图像采集设备对任一人脸进行采集，较佳地采集的角度与训练阶段红外人脸图像的采集角度一致，得到输入红外人脸图像，此输入红外人脸图像可以是训练阶段的红外数据库中的人脸，也可以是红外数据库中不存在的人脸。
预处理操作是将工作时采集到的输入红外人脸图像的对比度调整到和数据库中训练红外人脸图像的对比度相同，如果工作时采集到的输入红外人脸图像的分辨率和数据库中训练红外人脸图像的分辨率不同的时候，对工作时采集到的输入红外人脸图像进行插值操作，调整工作时采集到的输入红外人脸图像的分辨率与数据库中训练红外人脸图像的分辨率一致。
对工作时采集到的输入红外人脸图像的标定、对齐、剪切以及分块操作的过程同训练阶段对训练人脸图像的标定、对齐、剪切以及分块方法相同。参见上述图2中的步骤21和步骤22的具体描述，且在标定的时候选取的人脸特征点的标准位置、在分块的时候采用的分割规则，剪切方法均与训练阶段时选取的人脸特征点的标准位置及分块规则相同。对输入红外人脸图像经标定、对齐、 剪切以及分块操作后得到输入红外人脸图像块。
步骤32：图像块特征的提取。
根据训练阶段得到的红外投影方向的集合，直接把输入红外人脸图像块在各自的投影方向上投影，即可得到输入红外人脸图像的各个输入红外人脸图像块特征。
步骤33：从红外图像块特征中恢复出可见光图像块特征。
根据训练阶段得到的训练红外人脸图像块特征和训练可见光人脸图像块特征之间的变换函数，从每个输入红外人脸图像块特征中恢复出对应的输出可见光人脸图像块特征。
如果在训练阶段某一位置的训练红外人脸图像块特征与其对应的训练可见光人脸图像块特征之间的变换函数是采用参数表示的方式，那么根据这个参数表示方式的变换函数，通过直接计算就可以得到输入红外人脸图像在该位置的输入红外人脸图像块特征对应的输出可见光人脸图像块特征；
如果在训练阶段某一位置的训练红外人脸图像块特征与其对应的训练可见光人脸图像块特征之间的变换函数是采用非参数表示的方式，恢复输出可见光人脸图像块特征的方法具体如下：
方法1：对于输入红外人脸图像在某一位置的输入红外人脸图像块特征，通过查表在红外数据库中找到与其最相近似的训练红外人脸图像块特征，根据这个最相近似的训练红外人脸图像块特征，在可见光数据库中找到其对应的训练可见光人脸图像块特征，作为输入红外人脸图像在该位置的输入红外人脸图像块特征对应的输出可见光人脸图像块特征；
方法2：对于输入红外人脸图像在某一位置的输入红外人脸图像块特征，通过查表在红外数据库中找到与其最相近似的几个训练红外人脸图像块特征，输入红外人脸图像在该位置的输入红外人脸图像块特征可以用这几个最相近似的训练红外人脸图像块特征的组合来表示，并记下这个红外组合参数。根据这几个最相近似的训练红外人脸图像块特征，在可见光数据库中找到其对应的 几个训练可见光人脸图像块特征，可以近似认为输入红外人脸图像在该位置的输入红外人脸图像块特征对应的输出可见光人脸图像块特征也可以用上述几个最相近似的训练可见光人脸图像块特征的组合来表示，采用的组合参数为可见光组合参数，并且可见光组合参数与红外组合参数相同。
方法3：实际应用中，方法2中的可见光组合参数相对于红外组合参数往往发生了改变，所以需要通过统计学习的方式来学习到这种改变，这个新的问题是红外组合参数到可见光组合参数的变换，这个问题和红外图像块特征到可见光图像块特征的变换是一个类型的问题，故可以采用相同的解决方法。但是如果红外组合参数到可见光组合参数的变换也采用非参数表示的方式，并且也认为组合参数会发生变化的话，就会陷入一个循环，此时可以通过规定循环的次数来解决，循环的最后一次将红外组合参数到可见光组合参数的变换转换为参数表示的方式，或者仍然采用非参数表示的方式，但是只取最相近似的一个数据(也即采用方法1中的方法)，或者仍然采用非参数表示的方式，但是认为组合参数不发生改变(也即采用方法2中的方法)。
步骤34：从可见光图像块特征中恢复出可见光图像块。
超分辨率技术可以从一幅低分辨率的图像中恢复出一幅高分辨率图像，而可见光图像的分辨率往往高于红外图像，即低分辨率图像和红外图像提供的信息远远少于高分辨率图像或可见光图像，所以可以采用超分辨率技术的框架来解决可见光图像的恢复问题。
超分辨率问题中采用的局部线性嵌入(LLE，Local Linear Embedding)思想，即假定图像块特征空间的局部几何结构和图像块空间的局部几何结构相同，也就是说，如果一个图像块P0用在图像块空间中和它最相近似的几个图像块{P1，P2，...，PN}的加权和表示的系数为{w1，w2，...，wN}(此系数称为重构系数)，即P0＝∑i NwiPi；则图像块P0的特征F0用相对应的最相近似的特征{F1，F2，...，FN}的加权和表示的系数也为{w1，w2，...，wN}。
利用LLE思想的上述假设，对于步骤33中恢复出的输出可见光人脸图像 块特征FI，可以在可见光数据库中找到与其最相近似的训练可见光人脸图像块特征{FT 1，FT 2，...，FT N}，然后计算出重构系数{w1，w2，...，wN}，利用这些最相近似的训练可见光人脸图像块特征对应的可见光数据库中的训练可见光人脸图像块{PT 1，PT 2，...，PT N}来重构输出可见光人脸图像块PI＝∑i NwT iPT i。
步骤35：将可见光图像块组合成可见光图像。
按照前述图像块的分割规则，把从步骤34中得到的输出可见光人脸图像块放到各自的位置，如果在前面步骤中图像分割规则中规定分割的块之间有重叠的话，通过对重叠区域进行处理即可得到组合输出的可见光图像，重叠区域的处理方法例如可以将重叠区域的像素值用两个图像块对应位置像素的平均来代替，也可以采用其他稍微复杂的方法，比如最小割算法(Graph Cuts)，即在重合区域寻找一个能量最小的路径。
最后，根据标定的时候选取的人脸特征点的标准位置将所述得到的可见光人脸图像反变换到原输入红外人脸图像的位置。
需要说明的是，到此步骤为止，实际上只完成了剪切后的红外人脸中心区域到可见光人脸中心区域的变换，但是因为在实际应用中，主要关注的是人脸中心区域图像，以便于后续对于人脸的识别等。所以对于其他区域(如头发)的红外图像不再转化为可见光图像输出。
通过上述步骤可以看出，依据训练阶段得到的训练红外人脸图像与其对应的训练可见光人脸图像之间的关系，工作阶段可以在与训练红外人脸图像采集角度一致的角度上，将采集得到的输入红外人脸图像转换为可见光人脸图像输出。工作阶段与训练阶段的联系见图4所示。
根据本发明技术方案的实施例，本发明这里提供了实施该技术方案的一种红外图像转换为可见光图像的装置，如图5所示，该红外图像转换为可见光图像的装置包括：
红外图像采集单元511：在训练阶段用于采集预先选取的样本，得到训练红外图像；以及在工作阶段用于采集工作范围内的物体，得到输入红外图像；
可见光图像采集单元512：用于采集预先选取的样本，得到训练可见光图像；
数据库建立单元513：用于建立红外图像数据库及其相应的可见光图像数据库，所述红外图像数据库中存储有针对预先选取的样本的训练红外图像，所述可见光图像数据库中存储有针对预先选取的样本的可见光图像；
统计学习单元514：用于统计学习数据库建立单元建立的两个数据库中一一对应的图像，得到训练红外图像与训练可见光图像之间转换的对应关系；
预处理单元515：用于调整红外图像采集单元511采集得到的输入红外图像的对比度，使调整后的红外图像对比度与红外图像数据库中对应训练红外图像的对比度相同；以及调整红外图像采集单元511采集得到的输入红外图像的分辨率，使调整后的红外图像分辨率与红外图像数据库中对应训练红外图像的分辨率相同；
当在训练阶段和工作阶段的红外图像采集单元511的设置没有发生改变时，采集到的红外图像与红外图像数据库中对应的训练红外图像的对比度以及分辨率一致，此时不需要进行预处理操作，本步骤可选；
输入单元516：用于输入红外图像采集单元得到的输入红外图像；
检索转换单元517：用于依据统计学习单元514得到的训练红外图像与训练可见光图像之间转换的对应关系，将输入单元516输入的红外图像转换得到对应的可见光图像；
输出单元518：用于输出检索转换单元517转换得到的可见光图像。
如图6所示，数据库建立单元513具体包括：
训练图像对齐子单元61：用于按照选定的图像位置标准对齐红外图像采集单元511采集得到的训练红外图像和可见光图像采集单元512采集得到的训练可见光图像；
训练图像分块子单元62：用于将训练图像对齐子单元61对齐后的训练红外图像和训练可见光图像按照设定的分块规则分块，得到训练红外图像块和训 练可见光图像块；
训练特征提取子单元63：用于计算出所述得到的训练红外图像块数据的训练红外投影方向和所述得到的训练可见光图像块数据的训练可见光投影方向；以及
用于将所述训练红外图像块数据和训练可见光图像块数据分别在相应的训练红外投影方向和训练可见光投影方向上投影，得到训练红外图像块特征和训练可见光图像块特征。
训练图像入库子单元64：用于将所述得到的训练红外图像、训练红外图像块和训练红外图像块特征存入红外图像数据库；以及
用于将所述得到的训练可见光图像、训练可见光图像块和训练可见光图像块特征存入可见光图像数据库；
如图7所示，检索转换单元517具体包括：
输入图像对齐子单元71：用于按照所述选定的图像位置标准对齐输入单元516输入的红外图像；
输入图像分块子单元72：用于按照所述设定的分块规则将输入图像对齐子单元71对齐后的输入红外图像分块，得到输入红外图像块；
输入特征提取子单元73：用于将输入图像分块子单元72分块得到的输入红外图像块在所述训练红外投影方向上投影，得到输入红外图像块特征；
特征转换子单元74：用于按照统计学习单元514统计学习得到的训练红外图像与训练可见光图像之间转换的对应关系，将输入特征提取子单元73提取得到的输入红外图块特征转换得到输出可见光图像块特征；
图像块重构子单元75：用于将特征转换子单元74转换得到的输出可见光图像块特征重构得到输出可见光图像块；
图像块组合子单元76：用于依据所述设定的分块规则将图像块重构子单元75重构得到的输出可见光图像块组合，得到输出可见光图像。
上述装置中所提到的各个功能单元可以基于软件编程来实现，也可以基于 改造现有的硬件设备来实现。
本发明实施例提出的红外图像转换为可见光图像的方法，克服了红外图像向可见光图像转换时存在的红外图像和可见光图像的相关性不强，以及红外图像包含的信息量要低于可见光图像的两个难题，很好的完成了从红外图像到可见光图像的转换。
本发明实施例提出的红外图像转换为可见光图像的方法，能将红外图像转换为可见光图像输出，使得在一些光线较差的情况下也能对一些重要场所进行监控。
本发明实施例提出的红外图像转换为可见光图像的方法，通过CCA的学习，可以把可见光图像和热红外图像压缩到一个较低的维数，得到可见光图像块特征和热红外图像块特征，并且可以保证降维后数据的高相关性；由于热红外图像所包含的信息要小于可见光图像，本发明实施例将热红外图像到可见光图像的转换过程看成超分辨率的过程，采用LLE的思想来学习一些新的信息，增加了恢复后可见光人脸图像的真实性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (16)
1.一种将红外图像转换为可见光图像的方法，其特征在于，包括步骤：
训练阶段：
建立红外图像数据库及其相应的可见光图像数据库，所述红外图像数据库中存储有针对预先选取的样本的训练红外人脸图像，所述可见光图像数据库中存储针对预先选取的样本的训练可见光图像；
统计学习所述红外图像数据库和可见光图像数据库一一对应的图像，得到训练红外人脸图像与训练可见光人脸图像之间转换的对应关系；
工作阶段：
依据所述得到的训练红外人脸图像与训练可见光人脸图像之间转换的对应关系，将输入的红外人脸图像转换输出对应的可见光人脸图像。
2.如权利要求1所述的方法，其特征在于，建立红外图像数据库及其相应的可见光图像数据库的过程，具体包括：
基于红外采像装置对预先选取的样本进行采像得到训练红外人脸图像，以及基于可见光采像装置对预先选取的样本进行采像得到训练可见光人脸图像；
按照选定的图像位置标准对齐所述训练红外人脸图像及其对应的训练可见光人脸图像；以及
将对齐后的训练红外人脸图像和训练可见光人脸图像分别存入红外图像数据库和可见光图像数据库。
3.如权利要求2所述的方法，其特征在于，还包括步骤：
将红外图像数据库中的图像按照设定的分块规则分块，得到训练红外人脸图像块；
将可见光图像数据库中的图像按照所述设定的分块规则分块，得到训练可见光人脸图像块；以及
将所述得到的训练红外人脸图像块和训练可见光人脸图像块分别存入红外图像数据库和可见光图像数据库。
4.如权利要求3所述的方法，其特征在于，还包括步骤：
提取红外图像数据库中的训练红外人脸图像块的训练红外人脸图像块特征；
提取可见光图像数据库中的训练可见光人脸图像块的训练可见光人脸图像块特征；以及
将所述训练红外人脸图像块特征和训练可见光人脸图像块特征分别存入红外图像数据库和可见光图像数据库。
5.如权利要求4所述的方法，其特征在于，所述提取各训练红外人脸图像块特征和训练可见光人脸图像块特征的过程，具体包括：
计算出训练红外人脸图像块数据的训练红外投影方向和训练可见光人脸图像块数据的训练可见光投影方向；
将训练红外人脸图像块数据在相应的训练红外投影方向上投影，得到训练红外人脸图像块特征；
将训练可见光人脸图像块数据在相应的训练可见光投影方向上投影，得到训练可见光人脸图像块特征。
6.如权利要求4所述的方法，其特征在于，所述统计学习红外图像数据库和可见光图像数据库中一一对应图像的过程，具体包括：
统计学习各训练红外人脸图像块特征及其对应的训练可见光人脸图像块特征间关系，得到训练红外人脸图像块特征到训练可见光人脸图像块特征之间变换的函数关系。
7.如权利要求6所述的方法，其特征在于，所述函数关系基于参数方式表示，或基于非参数方式表示。
8.如权利要求7所述的方法，其特征在于，所述在工作阶段将输入的红外人脸图像转换输出对应的可见光人脸图像的过程，具体包括：
按照所述选定的图像位置标准对齐所述输入的红外人脸图像；
按照所述设定的分块规则将所述对齐处理后的红外人脸图像分块，得到输 入红外人脸图像块；
将所述输入红外人脸图像块在训练红外投影方向上投影，得到输入红外人脸图像块特征；
按照所述训练红外人脸图像块特征到训练可见光人脸图像块特征之间变换的函数关系，将所述输入红外人脸图像块特征转换得到输出可见光人脸图像块特征；
将所述输出可见光人脸图像块特征重构得到输出可见光人脸图像块；
依据所述设定的分块规则将所述输出可见光人脸图像块组合，得到输出可见光人脸图像。
9.如权利要求8所述的方法，其特征在于，在对齐所述输入的红外人脸图像之前，还包括步骤：
调整所述输入红外人脸图像的对比度，使调整后的输入红外人脸图像对比度与红外数据库中训练红外图像的对比度相同；以及
调整所述输入红外人脸图像的分辨率，使调整后的输入红外人脸图像分辨率与红外数据库中训练红外人脸图像的分辨率相同。
10.如权利要求8所述的方法，其特征在于，当所述训练红外人脸图像块特征到训练可见光人脸图像块特征之间变换的函数关系是基于参数方式表示的函数关系时，则按照所述参数方式表示的函数关系，将输入红外人脸图像块特征直接转换得到输出可见光人脸图像块特征。
11.如权利要求8所述的方法，其特征在于，当所述训练红外人脸图像块特征到训练可见光人脸图像块特征之间变换的函数关系是基于非参数方式表示的函数关系时，则按照所述非参数方式表示的函数关系，在红外图像数据库中找到与输入红外人脸图像块特征最相近似的一个训练红外人脸图像块特征；
根据所述训练红外人脸图像块特征在可见光图像数据库中找到对应的训练可见光人脸图像块特征，作为输出可见光人脸图像块特征。
12.如权利要求8所述的方法，其特征在于，当所述训练红外人脸图像块特征到训练可见光人脸图像块特征之间变换的函数关系是基于非参数方式表示的函数关系时，则按照所述非参数方式表示的函数关系，在红外图像数据库 中找到与输入红外人脸图像块特征最相近似的至少两个训练红外人脸图像块特征；
根据所述找到的至少两个训练红外人脸图像块特征在可见光图像数据库中找到对应的至少两个训练可见光人脸图像块特征；
对所述找到的至少两个训练可见光人脸图像块特征进行组合，得到输出可见光人脸图像块特征。
13.一种将红外图像转换为可见光图像的装置，其特征在于，包括：
红外图像采集单元：在训练阶段用于采集预先选取的样本，得到训练红外人脸图像；以及在工作阶段用于采集工作范围内的物体，得到输入红外人脸图像；
可见光图像采集单元：用于采集预先选取的样本，得到训练可见光人脸图像；
数据库建立单元：用于建立红外图像数据库及其相应的可见光图像数据库，所述红外图像数据库中存储有针对预先选取的样本的训练红外人脸图像，所述可见光图像数据库中存储有针对预先选取的样本的可见光人脸图像；
统计学习单元：用于统计学习数据库建立单元建立的两个数据库中一一对应的图像，得到训练红外人脸图像与训练可见光人脸图像之间转换的对应关系；
输入单元：用于输入红外图像采集单元得到的输入红外人脸图像；
检索转换单元：用于依据统计学习单元得到的训练红外人脸图像与训练可见光人脸图像之间转换的对应关系，将输入单元输入的红外人脸图像转换得到对应的可见光人脸图像；
输出单元：用于输出检索转换单元转换得到的可见光人脸图像。
14.如权利要求13所述的装置，其特征在于，所述数据库建立单元具体包括：
训练图像对齐子单元：用于按照选定的图像位置标准对齐红外图像采集单元采集得到的训练红外人脸图像和可见光图像采集单元采集得到的训练可见光人脸图像；
训练图像分块子单元：用于将训练图像对齐子单元对齐后的训练红外人脸图像和训练可见光人脸图像按照设定的分块规则分块，得到训练红外人脸图像块和训练可见光人脸图像块；
训练特征提取子单元：用于计算出所述得到的训练红外人脸图像块数据的训练红外投影方向和所述得到的训练可见光人脸图像块数据的训练可见光投影方向；以及
用于将所述训练红外人脸图像块数据和训练可见光人脸图像块数据分别在相应的训练红外投影方向和训练可见光投影方向上投影，得到训练红外人脸图像块特征和训练可见光人脸图像块特征；
训练图像入库子单元：用于将所述得到的训练红外人脸图像、训练红外人脸图像块和训练红外人脸图像块特征存入红外图像数据库；以及
用于将所述得到的训练可见光人脸图像、训练可见光人脸图像块和训练可见光人脸图像块特征存入可见光图像数据库。
15.如权利要求14所述的装置，其特征在于，所述检索转换单元具体包括：
输入图像对齐子单元：用于按照所述选定的图像位置标准对齐输入单元输入的红外人脸图像；
输入图像分块子单元：用于按照所述设定的分块规则将输入图像对齐子单元对齐后的输入红外人脸图像分块，得到输入红外人脸图像块；
输入特征提取子单元：用于将输入图像分块子单元分块得到的输入红外人脸图像块在所述训练红外投影方向上投影，得到输入红外人脸图像块特征；
特征转换子单元：用于按照统计学习单元统计学习得到的训练红外人脸图像与训练可见光人脸图像之间转换的对应关系，将输入特征提取子单元提取得到的输入红外人脸图块特征转换得到输出可见光人脸图像块特征；
图像块重构子单元：用于将特征转换子单元转换得到的输出可见光人脸图像块特征重构得到输出可见光图像块；
图像块组合子单元：用于依据所述设定的分块规则将图像块重构子单元重 构得到的输出可见光人脸图像块组合，得到输出可见光人脸图像。
16.如权利要求13所述的装置，其特征在于，还包括预处理单元：用于调整红外图像采集单元采集得到的输入红外人脸图像的对比度，使调整后的红外人脸图像对比度与红外图像数据库中对应训练红外人脸图像的对比度相同；以及调整红外图像采集单元采集得到的输入红外人脸图像的分辨率，使调整后的红外人脸图像分辨率与红外图像数据库中对应训练红外人脸图像的分辨率相同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007101773596A CN101202845B (zh) | 2007-11-14 | 2007-11-14 | 红外图像转换为可见光图像的方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007101773596A CN101202845B (zh) | 2007-11-14 | 2007-11-14 | 红外图像转换为可见光图像的方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101202845A CN101202845A (zh) | 2008-06-18 |
| CN101202845B true CN101202845B (zh) | 2011-05-18 |
Family
ID=39517783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007101773596A Expired - Fee Related CN101202845B (zh) | 2007-11-14 | 2007-11-14 | 红外图像转换为可见光图像的方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101202845B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682187B (zh) * | 2016-12-29 | 2020-04-17 | 北京旷视科技有限公司 | 用于建立图像底库的方法及装置 |
| CN107066943B (zh) * | 2017-03-06 | 2019-10-25 | 中国科学院信息工程研究所 | 一种人脸检测方法及装置 |
| CN108629246B (zh) * | 2017-03-23 | 2024-03-01 | 北京行易道科技有限公司 | 车载图像处理方法、装置以及车辆 |
| CN107423713B (zh) * | 2017-07-28 | 2020-06-12 | Oppo广东移动通信有限公司 | 美颜方法、电子装置和计算机可读存储介质 |
| CN108881707B (zh) * | 2017-11-28 | 2020-11-10 | 北京旷视科技有限公司 | 图像生成方法、装置、系统和存储介质 |
| JP7188397B2 (ja) * | 2017-12-04 | 2022-12-13 | ソニーグループ株式会社 | 画像処理装置及び画像処理方法 |
| CN110060272A (zh) * | 2018-01-18 | 2019-07-26 | 杭州海康威视数字技术股份有限公司 | 人脸区域的确定方法、装置、电子设备及存储介质 |
| JP2020009064A (ja) * | 2018-07-05 | 2020-01-16 | フォーブ インコーポレーテッド | データ生成装置、映像システム、及びデータ生成方法 |
| US11363909B2 (en) * | 2020-04-15 | 2022-06-21 | Air Products And Chemicals, Inc. | Sensor device for providing control for a food processing system |
| CN112399164A (zh) * | 2020-10-15 | 2021-02-23 | 云南师范大学 | 一种低照度条件下含有近红外彩色图像颜色复原方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5438360A (en) * | 1992-09-08 | 1995-08-01 | Paul Howard Mayeux | Machine vision camera and video reprocessing system |
-
2007
- 2007-11-14 CN CN2007101773596A patent/CN101202845B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5438360A (en) * | 1992-09-08 | 1995-08-01 | Paul Howard Mayeux | Machine vision camera and video reprocessing system |
| US5745173A (en) * | 1992-09-08 | 1998-04-28 | Edwards; Michael Kenneth | Machine vision camera and video preprocessing system |
Non-Patent Citations (3)
| Title |
|---|
| 张红勤.可见光/红外景像目标识别技术.红外 第9期.2002,(第9期),16-19. |
| 张红勤.可见光/红外景像目标识别技术.红外 第9期.2002,(第9期),16-19. * |
| 李琳莉 等.基于红外与可见光图像融合技术的人脸识别.第十一届中国体视学与图像分析学术年会论文集.2006,358-361. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101202845A (zh) | 2008-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101202845B (zh) | 红外图像转换为可见光图像的方法及其装置 | |
| CN108171770B (zh) | 一种基于生成式对抗网络的人脸表情编辑方法 | |
| Rebecq et al. | Evo: A geometric approach to event-based 6-dof parallel tracking and mapping in real time | |
| CN111160164B (zh) | 基于人体骨架和图像融合的动作识别方法 | |
| CN107204010B (zh) | 一种单目图像深度估计方法与系统 | |
| CN109284738B (zh) | 不规则人脸矫正方法和系统 | |
| WO2013192253A1 (en) | Self learning face recognition using depth based tracking for database generation and update | |
| CN111353447B (zh) | 一种基于图卷积网络的人体骨架行为识别方法 | |
| CN108921038A (zh) | 一种基于深度学习人脸识别技术的课堂快速点名签到方法 | |
| CN110675421B (zh) | 基于少量标注框的深度图像协同分割方法 | |
| CN113743544A (zh) | 一种跨模态神经网络构建方法、行人检索方法及系统 | |
| WO2024046003A1 (zh) | 一种理发店员工工作内容智能识别方法 | |
| CN113989928B (zh) | 一种动作捕捉和重定向方法 | |
| CN108830216A (zh) | 一种视场可调的连续变焦目标识别系统及方法 | |
| CN115188066A (zh) | 基于协同注意力和多尺度融合的运动目标检测系统及方法 | |
| CN103020940B (zh) | 一种基于局部特征转换的人脸超分辨率重建方法 | |
| CN116129051A (zh) | 一种基于图和注意力交织的三维人体姿态估计方法及系统 | |
| CN115439884A (zh) | 一种基于双分支自注意力网络的行人属性识别方法 | |
| US20240177525A1 (en) | Multi-view human action recognition method based on hypergraph learning | |
| Chang et al. | Appearance-guided particle filtering for articulated hand tracking | |
| Chen et al. | Trans4Map: Revisiting Holistic Bird's-Eye-View Mapping From Egocentric Images to Allocentric Semantics With Vision Transformers | |
| Liu et al. | Indoor privacy-preserving action recognition via partially coupled convolutional neural network | |
| Wang et al. | Action recognition in videos with spatio-temporal fusion 3D convolutional neural networks | |
| Verma et al. | Intensifying security with smart video surveillance | |
| CN103632357A (zh) | 一种基于光照分离的图像超分辨率增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110518 Termination date: 20141114 |
|
| EXPY | Termination of patent right or utility model |