CN112184784A - 一种双光谱图像对齐方法、装置、电子设备及存储介质 - Google Patents

一种双光谱图像对齐方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112184784A
CN112184784A CN202011035687.4A CN202011035687A CN112184784A CN 112184784 A CN112184784 A CN 112184784A CN 202011035687 A CN202011035687 A CN 202011035687A CN 112184784 A CN112184784 A CN 112184784A
Authority
CN
China
Prior art keywords
image
visible light
infrared image
calibration
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011035687.4A
Other languages
English (en)
Other versions
CN112184784B (zh
Inventor
徐召飞
王云奇
李兵伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iray Technology Co Ltd
Original Assignee
Iray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iray Technology Co Ltd filed Critical Iray Technology Co Ltd
Priority to CN202011035687.4A priority Critical patent/CN112184784B/zh
Publication of CN112184784A publication Critical patent/CN112184784A/zh
Application granted granted Critical
Publication of CN112184784B publication Critical patent/CN112184784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种双光谱图像对齐方法，包括：分别获取图像采集设备为标定板拍摄的可见光图像和红外图像；其中，标定板带有标定孔；提取可见光图像和红外图像中标定孔的位置信息；利用位置信息，计算可见光图像与红外图像之间的缩放参数和偏移参数；利用缩放参数和偏移参数，调整可见光图像和/或红外图像，以使可见光图像中的标定板与红外图像中的标定板重合；本方法采用拍摄同一标定板的方式，保证可见光图像和红外图像中的标定板信息一致，并利用该信息计算用于双光谱图像对齐的可见光图像和红外图像对齐参数，降低了双光谱图像对齐的复杂度；本申请还公开了一种双光谱图像对齐装置、电子设备及存储介质，具有上述有益效果。

Description

一种双光谱图像对齐方法、装置、电子设备及存储介质
技术领域
本发明涉及双光谱图像对齐领域，特别涉及一种双光谱图像对齐方法、装置、电子设备及存储介质。
背景技术
随着传感器技术的不断发展，多波段图像融合技术的应用场景逐渐扩大，应用价值也逐渐提升。例如，可见光图像能够在复杂场景下提供不同物体的纹理信息，更适合于兴趣区域的提取，而红外图像可获取图片中的温度信息。在人体测温的应用场景中，可以利用可见光图像对人脸信息进行提取，并利用红外图像进行温度计算，可有效解决传统的水银体温计、耳温枪或额温枪测温效率低下的问题。
相关技术中，一般采用基于特征匹配、基于灰度匹配、基于频域信息或是基于卷积神经网络的图像配准方式进行双光谱图像对齐，然而这些方式计算过程过于复杂，耗时较长，在实际的应用过程中难以保证实时处理，同时对硬件的要求较高。
发明内容
本发明的目的是提供一种双光谱图像对齐方法、装置、电子设备及存储介质，简化了双光谱图像对齐的流程，降低了双光谱图像对齐的复杂度，进而提升了用户的使用体验。
为解决上述技术问题，本发明提供一种双光谱图像对齐方法，包括：
分别获取图像采集设备为标定板拍摄的可见光图像和红外图像；其中，所述标定板带有标定孔；
提取所述可见光图像和所述红外图像中所述标定孔的位置信息；
利用所述位置信息，计算所述可见光图像与所述红外图像之间的缩放参数和偏移参数；
利用所述缩放参数和所述偏移参数，调整所述可见光图像和/或所述红外图像，以使所述可见光图像中的标定板与所述红外图像中的标定板重合。
可选的，当所述标定孔为圆形标定孔时，所述利用所述位置信息，计算所述可见光图像与所述红外图像之间的缩放参数和偏移参数，包括：
利用所述位置信息，分别在所述可见光图像和所述红外图像中，计算同一水平方向上最左侧圆心至最右侧圆心的水平圆心距以及同一竖直方向上最上侧圆心至最下侧圆心的竖直圆心距；
利用所述可见光图像和所述红外图像中的所述水平圆心距和所述竖直圆心距，计算所述可见光图像与所述红外图像之间的缩放参数；
利用所述缩放参数，及所述可见光图像与所述红外图像中的所述位置信息，计算所述可见光图像与所述红外图像之间的偏移参数。
可选的，当所述标定孔为圆形标定孔时，所述提取所述可见光图像和所述红外图像中所述标定孔的位置信息，包括：
提取所述可见光图像的第一标定孔参数；其中，所述第一标定孔参数包括所述可见光图像中标定孔的初始半径及初始圆心坐标；
提取所述红外图像的第二标定孔参数；其中，所述第二标定孔参数包括所述红外图像中标定孔的初始半径及初始圆心坐标；
若所述第一标定孔参数符合预设条件，则将所述第一标定孔参数中的初始圆心坐标作为所述可见光图像中标定孔的位置信息；其中，所述预设条件包括初始半径符合第一阈值要求、同一行相邻两圆心间的距离符合第二阈值要求、且同一列相邻两圆心间的距离符合第三阈值要求；
若所述第二标定孔参数符合所述预设条件，则将所述第二标定孔参数中的初始圆心坐标作为所述红外图像中标定孔的位置信息。
可选的，提取所述可见光图像和所述红外图像中所述标定孔的位置信息之后，在计算所述可见光图像与所述红外图像之间的缩放参数和偏移参数之前，还包括：
判断所述可见光图像中的标定孔的位置信息数量是否等于所述红外图像中的标定孔的位置信息数量，得到第一判断结果；
判断所述可见光图像中的标定孔的位置排布形式是否与所述红外图像中的标定孔的位置排布形式相同，得到第二判断结果；
当所述第一判断结果与第二判断结果均为是时，执行利用所述位置信息，计算所述可见光图像与所述红外图像之间的缩放参数和偏移参数的步骤。
可选的，所述提取所述可见光图像和所述红外图像中所述标定孔的位置信息，包括：
将所述可见光图像和所述红外图像转换为灰度图像；
对转换后的可见光图像和红外图像进行亮度和/或对比度调节；
对调节后的可见光图像和红外图像进行噪声去除；
对噪声去除后的可见光图像和红外图像进行图像边缘检测，提取出所述可见光图像和所述红外图像中所述标定孔的位置信息。
可选的，在所述可见光图像中的标定板与所述红外图像中的标定板重合之后，还包括：
在可检测距离范围内，利用所述图像采集设备采集多个间隔距离下包含人脸的可见光人脸图像，得到包含所述可见光人脸图像和间隔距离的数据集；
在所述可见光人脸图像中检测人脸，生成人脸框；
计算所述人脸框的面积，并利用所述人脸框在所述数据集中对应的间隔距离，计算人脸框面积与距离的关系式；
使用所述人脸框面积与距离的关系式修正红外图像的测温数据。
可选的，所述使用所述人脸框面积与距离的关系式修正红外图像的测温数据，包括：
利用人脸框面积，以及所述人脸框面积与距离的关系式，计算人至所述图像采集设备的距离；
利用所述距离，修正红外图像的测温数据。
可选的，还包括：
在可检测距离范围内，利用所述图像采集设备采集多个间隔距离下包含人脸的可见光人脸图像和红外人脸图像，得到包含所述可见光人脸图像、所述红外人脸图像和间隔距离的数据集；
在所述可见光人脸图像中检测人脸，生成第一人脸框，并在对应所述红外人脸图像中与所述第一人脸框相同的位置生成第二人脸框；
计算所述第二人脸框与所述红外人脸图像中实际人脸位置的偏移量；
利用所述偏移量，以及所述第二人脸框在所述数据集中对应的间隔距离，计算红外图像中的人脸框偏移量与距离的关系式；
使用人脸框面积、所述人脸框面积与距离的关系式以及所述人脸框偏移量与距离的关系式，修正人脸框在红外图像中的位置。
可选的，所述使用人脸框面积、所述人脸框面积与距离的关系式以及所述人脸框偏移量与距离的关系式，修正人脸框在红外图像中的位置，包括：
利用人脸框面积，以及所述人脸框面积与距离的关系式，计算人至所述图像采集设备的距离；
利用所述距离，以及所述人脸框偏移量与距离的关系式，计算人脸框在红外图像中的偏移量；
利用所述偏移量，修正人脸框在红外图像中的位置。
本发明还提供一种双光谱图像对齐装置，包括：
获取模块，用于分别获取图像采集设备为标定板拍摄的可见光图像和红外图像；其中，所述标定板带有标定孔；
位置信息提取模块，用于提取所述可见光图像和所述红外图像中所述标定孔的位置信息；
计算模块，用于利用所述位置信息，计算所述可见光图像与所述红外图像之间的缩放参数和偏移参数；
调整模块，用于利用所述缩放参数和所述偏移参数，调整所述可见光图像和/或红外图像，以使所述可见光图像中的标定板与所述红外图像中的标定板重合。
本发明还提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述的双光谱图像对齐方法的步骤。
本发明还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的双光谱图像对齐方法的步骤。
本申请提供了一种双光谱图像对齐方法，包括：分别获取图像采集设备为标定板拍摄的可见光图像和红外图像；其中，所述标定板带有标定孔；提取所述可见光图像和所述红外图像中所述标定孔的位置信息；利用所述位置信息，计算所述可见光图像与所述红外图像之间的缩放参数和偏移参数；利用所述缩放参数和所述偏移参数，调整所述可见光图像和/或所述红外图像，以使所述可见光图像中的标定板与所述红外图像中的标定板重合。
可见，由于本方法对同一标定板采集可见光图像和红外图像，可保证两图像中标定板的信息一致，进而可通过提取标定板信息，该信息数据计算缩放参数和偏移参数的方式，将可见光图像和红外图像进行对齐配准，无需基于特征匹配、基于灰度匹配或基于频域信息的步骤，简化了双光谱图像对齐的流程，降低了双光谱图像对齐的复杂度。同时，由于本方法为该图像采集设备计算了缩放参数和偏移参数，进而后续使用该图像采集设备时，可直接利用该缩放参数和偏移参数对可见光图像和红外图像进行对齐，无需重复对齐操作，可满足产品实时性处理的要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种双光谱图像对齐方法的流程图；
图2为本发明实施例提供的一种标定板的示意图；
图3为本发明实施例提供的双光谱标定板重合成功的示意图；
图4为本发明实施例提供的双光谱标定板重合失败的示意图；
图5为本发明实施例提供的一种双光谱图像对齐装置的结构框图；
图6为本发明实施例提供的一种电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，一般采用基于特征匹配、基于灰度匹配、基于频域信息或是基于卷积神经网络的图像配准方式进行双光谱图像对齐。然而，这些图像配准方式的计算过程往往非常复杂，在进行双光谱图像对齐时需要耗费大量的时间，难以达到实际应用中的实时计算要求。同时，这些方法对硬件配置的要求较高，只有当硬件达到了一定的要求，才能保证较高的双光谱图像对齐效率，因此无法应用于低端产品。本申请实施例提供一种双光谱图像对齐方法，采用标定板对可见光图像和红外图像进行对齐，简化了双光谱图像的对齐过程，同时计算得到了配准参数，这样在后续的产品使用中只需利用该配准参数即可实现双光谱图像对齐。请参考图1，图1为本发明实施例提供的一种双光谱图像对齐方法的流程图，该方法可以包括：
S100、分别获取图像采集设备为标定板拍摄的可见光图像和红外图像；其中，标定板带有标定孔。
相关技术中，基于特征匹配、基于灰度匹配或基于频域信息的图像配准方式，在面对可见光图像和红外图像对齐配准时，难以克服由可见光传感器和红外传感器成像差异导致的配准障碍，进而造成配准偏差，影响最终的配准结果。而本申请采用标定板为可见光图像和红外图像进行配准，由于两图像中的标定板均为同一标定板，因此可保证两图像中带有相同的特征信息，进而可利用该特征信息计算配准参数，有效地克服了可见光传感器和红外传感器成像差异导致的配准障碍，显著提升了双光谱图像对齐的精准度。
可以理解的是，考虑到红外传感器采集的是物体的温度信息，为了能够在红外图像中提供可分辨的画面信息，需要人为地创造温度差，因此本申请实施例需要标定板带有标定孔。标定孔能够保证孔内温度与标定板温度产生差异，进而在红外图像中提供可分辨的画面信息。
本申请实施例并不限定标定板的尺寸和材料，用户可根据相关标定板尺寸和材料进行选择。本申请实施例也不对标定孔的形状进行限定，例如可以是圆形标定孔，也可以是方形标定孔，也可以是其他形状的标定孔。本申请实施例同样不对标定孔的排布方式进行限定，例如标定孔可以以阵列的形式进行排列，也可以采用非对称的排布方式进行排列。
进一步，本申请实施例并不限定在标定板上创造温差信息的方式，例如可以是仅依靠室温在标定板上产生温差，也可以为标定板加热或制冷，或是在标定板后增加热源或冷源。可以理解的是，为标定板加热或制冷，以及在标定板后增加热源或冷源的方式，可增强标定板与标定孔之间的温差，进一步提升红外图像中特征信息的可分辨程度。为了保证标定板上的温度均匀，在本申请实时例中，可以采用在标定板后增加热源或冷源的方式。由于热源可更加显著增强温差，同时更加便于操作，因此在本申请实施例中，可以在标定板后增加加热板。
最后，本申请并不限定标定板在可见光图像和红外图像中的位置，该标定板可在两图像中的任意位置。考虑到可见光图像和红外图像中心位置受光学器件的畸变影响最小，因此在本申请实施例中，可将标定板在可见光图像和红外图像中的位置设置在图像中心。同时，本申请实施例并不限定标定板所处区域占据整幅图像的比例，只要该标定板中的特征信息能够被准确识别提取即可。
S101、提取可见光图像和红外图像中标定孔的位置信息。
由于本方法采用标定板进行双光谱图像对齐，可以保证标定板中的特征信息在可见光图像和红外图像中清晰可辨，因此无需采用基于特征匹配、基于灰度匹配、基于频域信息或是基于卷积神经网络的方式对图像特征进行提取，仅需采用较为简单的、对硬件要求不高的方法便可准确提取可见光图像中和红外图像中的特征信息。因此本申请实施例有效降低了双光谱图像对齐过程的复杂性，同时降低了双光谱图像对齐方法对硬件的需求。
本申请实施例并不对标定孔位置信息的提取方法进行限定，只要该提取方法能够精确地提取出标定孔的位置信息即可，例如可以采用图像边缘检测的方式，也可以采用其他传统的图像特征提取的方式。由于可见光图像和红外图像中的标定孔具有明显的边缘信息，因此在本申请实施例，可以采用图像边缘检测的方式。进一步，本申请也不对图像边缘提取之前，是否需要对可见光图像和红外图像进行预处理进行限定。可以理解的是，对可见光图像和红外图像进行预处理后，能够进一步提升图像边缘提取的精度。因此，在本申请实施例中，可以在图像边缘提取之前，对可见光图像和红外图像进行预处理。本申请实施例同样不对预处理的具体操作进行限定，用户可参考相关图像预处理技术进行选择。
在一种可能的情况中，提取可见光图像和红外图像中标定孔的位置信息的步骤可以包括：
将可见光图像和红外图像转换为灰度图像；
对转换后的可见光图像和红外图像进行亮度和/或对比度调节；
对调节后的可见光图像和红外图像进行噪声去除；
对噪声去除后的可见光图像和红外图像进行图像边缘检测，提取出可见光图像和红外图像中标定孔的位置信息。
需要说明的是，本申请实施例并不对灰度图像的转换方法进行限定，用户可参考灰度图像转换的相关技术，例如可以采用8位精度的灰度变换公式，也可以利用16位精度的灰度变换公式。本申请实施例同样不对亮度和/或对比度调节的具体方法进行限定，用户可参考图像亮度和对比度调节的相关方法。本申请实施例同样不对噪声去除的具体方法进行限定，用户可参考图像噪声去除的相关技术，例如可以采用高斯函数进行去噪，也可以采用中值滤波器进行去噪。本申请也不对限定具体的图像边缘检测方式，只要该图像边缘检测方式能够准确提取可将光图像和红外图像中标定孔的位置信息即可，例如可以是利用Robert算子进行图像边缘提取，也可以利用Prewitt算子进行图像边缘提取，也可以利用Sobel算子进行图像边缘提取。其中，Robert算子通常会在图像边缘附近的区域内产生较宽的响应，边缘定位的精度不高，而Prewitt算子对图像噪声有抑制作用，但对边缘的定位不如Robert算子，最后，Sobel算子对噪声具有平滑作用，同时对边缘的定位效果也比Robert算子和Prewitt算子好。出于对标定孔边缘检测精度的考虑，在本申请实施例中，可以采用Sobel算子进行图像边缘提取。
最后，本申请实施例并不限定标定孔的具体位置信息内容，该内容受标定孔的形状影响，用户可根据标定孔的具体形状选择适合的位置信息，例如当标定孔为方形标定孔时，该位置信息可以为方形标定孔四个角中一个或多个的位置信息，当标定孔为圆形标定孔时，该位置信息可以为圆形标定孔圆心的位置信息。
下面将结合具体例子，解释提取可见光图像和红外图像中标定孔的位置信息的具体过程，该过程可以为：
对获取到的可见光图像和红外图像进行灰度转换，转换公式如下：
Gray＝(R·76+G·150+B·30)>>8
其中，Gray表示转换后的灰度图像，R、G、B分别红色通道、绿色通道及蓝色通道的值，8代表该公式为8位精度的灰度转换公式。
对转换后的可见光图像和红外图像进行亮度、对比度或亮度及对比度调节，转换公式如下：
y＝(x-127.5·(1-B))·k+127.5·(1+B)
其中，x表示调整前的灰度值，y表示调整后的灰度值，B表示亮度值，取值范围为[-1,1]，k值用于调节对比度，k值具体为：
Figure BDA0002705060900000091
其中，c的取值范围为[-1,1]。
对调节后的可见光图像和红外图像进行高斯滤波，以去除噪声。最后利用sobel算子，对噪声去除后的可见光图像和红外图像进行图像边缘信息提取，公式如下：
Figure BDA0002705060900000092
Figure BDA0002705060900000093
Figure BDA0002705060900000094
其中，SrcImage表示输入图像，Gx表示水平方向的边缘信息，Gy表示垂直方向的边缘信息，G表示图像边缘信息提取的输出结果。
经过上述操作后，便可完成对可见光图像和红外图像中标定孔的位置信息的提取。
S102、利用位置信息，计算可见光图像与红外图像之间的缩放参数和偏移参数。
相关技术中，采用基于特征匹配、基于灰度匹配、基于频域信息或基于卷积神经网络的方式进行双光谱图像对齐，由于计算过程复杂，耗时较长，因而难以满足实时性要求。而本申请实施例计算得到了可见光图形与红外图像之间的缩放参数和偏移参数，而图像采集设备中可见光传感器与红外传感器的相对位置一般保持不变，因此在后续的应用中，仅需调用已确定的缩放参数和偏移参数，即可实现可见光图像与红外图像的对齐，能够满足实时性要求，提升用户的使用体验。
需要说明的是，本申请实施例并不限定计算缩放参数和偏移参数基于的标定孔形状，不同的标定孔形状将产生不同的计算过程，例如可以基于圆形标定孔，也可以基于方形标定孔，也可以基于其他形状的标定孔。进一步，本申请也不限定计算缩放参数和偏移参数基于的标定孔位置信息，该位置信息内容基于标定孔形状，例如当标定孔为方形标定孔时，该位置信息内容可以为方形标定孔四个角中一个或多个的位置信息，当标定孔为圆形标定孔时，该位置信息内容可以是圆形标定孔的圆心位置信息。考虑到对圆心位置信息的提取精度要高于对方形标定孔四个角中一个或多个位置信息的提取精度，因此，在本申请实施例中，可以基于圆形标定孔，且以圆心位置作为标定孔的位置信息。
进一步，本申请实施例并不限定缩放参数的计算过程，例如该计算过程可以是先在可见光图像中的标定板上，利用标定孔位置信息生成出多个矩形，并计算这些矩形的面积，然后在红外图像对应的位置也生成出矩形，并计算这些矩形的面积，最后利用矩形的面积，计算可见光图像与红外图像之间的缩放参数，也可以是先分别在可见光图像和红外图像中获取同一水平方向上最左侧圆心至最右侧圆形的水平圆心距以及同一竖直方向上最上侧圆心至最下册圆心的竖直圆心距，然后利用可见光图像和红外图像中的水平圆心距和竖直圆心距，计算两图像之间的缩放参数。
在得到缩放参数后，便能够将可见光图像和红外图像调节至同一缩放比例。然而在缩放比例调整后，可见光图像和红外图像之间仍存在偏移量，无法对齐，因此需要计算两图像之间的偏移量，以使两图像对齐。可以理解的是，由于可见光图像中的标定孔与红外图像中的标定孔一一对应，因此在缩放比例调节后，仅需要计算标定孔位置的偏移量，便可得到可见光图像和红外图像的偏移量。
考虑到利用标定孔位置信息生成矩形的步骤比较繁琐，且利用矩形面积计算缩放参数会增加误差，同时考虑到可直接利用缩放参数及标定孔的位置信息计算可见光图像和红外图像的偏移量，因此，在本申请实施例中，利用位置信息，计算可见光图像与红外图像之间的缩放参数和偏移参数的具体过程可以为：
利用位置信息，分别在可见光图像和红外图像中，计算同一水平方向上最左侧圆心至最右侧圆心的水平圆心距以及同一竖直方向上最上侧圆心至最下侧圆心的竖直圆心距；
利用可见光图像和红外图像中的水平圆心距和竖直圆心距，计算可见光图像与红外图像之间的缩放参数；
利用缩放参数，及可见光图像与红外图像中的位置信息，计算可见光图像与红外图像之间的偏移参数。
需要说明的是，本申请实施例并不限定缩放参数和偏移参数的具体计算方法，例如可以是仅计算一个缩放参数和一个偏移参数，也可以是计算多个初始缩放参数和多个偏移参数，然后求平均值得到最终的缩放参数和最终的偏移参数。同时，本申请也不限定判断最左侧圆心和最右侧圆心是否处于同一水平方向的判断方法，例如，该判断方法可以为，判断最左侧圆心和最右侧圆心的纵坐标的差值绝对值是否小于第一固定阈值，若是，则计算最左侧圆心和最右侧圆心的水平圆心距，若否，则不计算水平圆心距。本申请也不限定判断最上侧圆心和最下侧圆心是否处于同一竖直方向的判断方法，例如，该判断方法可以为，判断最上侧圆心和最下侧圆心的横坐标的差值绝对值是否小于第二固定阈值，若是，则计算最上侧圆心和最下侧圆心的竖直圆心距，若否，则不计算竖直圆心距。当然，本申请实施例并不对第一固定阈值和第二固定阈值的具体数值进行限定。
下面将结合具体例子，解释利用位置信息，计算可见光图像与红外图像之间的缩放参数和偏移参数的具体过程。请参考图2，图2为本申请提供的一种标定板的示意图。该标定板中的标定孔为圆形标定孔，以非对称的形式进行排布。标定孔共有6行11列，其中，奇数行每行均有6个标定孔，偶数行每行均有5个标定孔，而竖直方向上每列均有3个标定孔。基于该标定板，利用位置信息，计算可见光图像与红外图像之间的缩放参数和偏移参数的具体过程可以为：
1)计算水平圆心距：
判断最左侧圆心和最右侧圆心的纵坐标的差值绝对值是否小于5；
若是，则计算最左侧圆心和最右侧圆心的水平圆心距；
若否，则不计算水平圆心距。
由于标定孔共有6行，因此可以在可见光图像中得到6个水平圆心距，记为x1-visible,x2-visible,...,x6-visible，也可以在红外图像中得到6个水平圆心距，记为x1-infrared,x2-infrared,...,x6-infrared。
2)计算竖直圆心距：
判断最上侧圆心和最下侧圆心的横坐标的差值绝对值是否小于5；
若是，则计算最上侧圆心和最下侧圆心的竖直圆心距；
若否，则不计算竖直圆心距。
由于标定孔共有11列，因此可以在可见光图像中得到11个竖直圆心距，记为y1-visible,y2-visible,...,y11-visible，也可以在红外图像中得到11个竖直圆心距，记为y1-infrared,y2-infrared,...,y11-infrared。
3)计算缩放参数：
水平缩放参数的计算公式如下：
Figure BDA0002705060900000121
其中，Scalex表示水平缩放参数，m表示水平圆心距的个数。
竖直缩放参数的计算公式如下：
Figure BDA0002705060900000122
其中，Scaley表示竖直缩放参数，n表示竖直圆心距的个数。
4)利用缩放参数，及可见光图像与红外图像中的位置信息，计算可见光图像与红外图像之间的偏移参数。
水平偏移参数的计算公式如下：
Figure BDA0002705060900000123
其中，xoffset表示水平偏移参数，centerXi-visible表示可见光图像中圆心的横坐标，centerXi-infrared表示红外图像中圆心的横坐标，m表示图像中圆心的个数。
竖直偏移参数的计算公式如下：
Figure BDA0002705060900000131
其中，yoffset表示水平偏移参数，centerYj-visible表示可见光图像中圆心的横坐标，centerYj-infrared表示红外图像中圆心的横坐标，m表示图像中圆心的个数。
S103、利用缩放参数和偏移参数，调整可见光图像和/或红外图像，以使可见光图像中的标定板与红外图像中的标定板重合。
可以理解的是，在得到缩放参数和偏移参数后，需要利用这些参数对可见光图像进行调节，或红外图像进行调整，或同时对可见光图像和红外图像进行调节，并保证可见光图像和红外图像中的标定板重合之后，才能确保缩放参数和偏移参数准确，进而在后续的应用过程中利用这两个已确定的缩放参数和偏移参数进行双光谱图像对齐。
本申请并不限定判断可见光图像中的标定板是否与红外图像中的标定板重合的判断方法，例如，该判断方法可以是将可见光图像和红外图像进行融合，并判断标定板所在区域是否出现重影，若没有出现重影，则说明对齐成功，若出现重影，则说明对齐失败，也可以对可见光图像和红外图像进行线性叠加，判断标定板所在区域是否出现重影，若没有出现重影，则说明对齐成功，若出现重影，则说明对齐失败。考虑到调整透明度的方式较为简单，因此在本申请实施例中，可采用将可见光图像和红外图像进行融合的方式，判断可见光图像中的标定板是否与红外图像中的标定板重合。进一步，本申请并不限定可见光图像中的标定板不与红外图像中的标定板重合情况下的后续操作，例如可以是重新计算缩放参数和偏移参数，也可以是重新利用图像采集设备分别为标定板采集可见光图像和红外图像。
在一种可能的情况中，调整可见光图像和/或红外图像之后，还可以包括：
将可见光图像和红外图像进行融合；
判断可见光图像中的标定板是否与红外图像中的标定板重合；
若否，则执行分别获取图像采集设备为标定板拍摄的可见光图像和红外图像的步骤，直至可见光图像中的标定板与红外图像中的标定板重合。
请参考图3和图4，图3为本申请实例例提供的双光谱标定板重合成功的示意图，图4为本申请实施例提供的双光谱标定板重合失败的示意图。可见，当可见光图像中的标定板与红外图像重合成功时，不会产生重影，而标定板重合失败时，会产生重影，且重合偏差越大，重影越严重。
需要说明的是，本申请并不限定将可见光图像和红外图像进行融合的方法，用户可参考相关图像调整技术，选择合适的方式。在一种可能的情况中，两图像的融合可以利用下列公式：
Figure BDA0002705060900000141
其中，fusion表示融合结果，ratio表示融合系数，取值范围为[0,100]，当ratio为100时，融合结果仅为可见光图像，当ratio为0时，融合结果仅为红外图像。当ratio在(0,100)内，则输出结果为可见光图像和红外图像的叠加。Infrared_width和Infrared_height分别表示红外图像的长度和宽度，xoffset和yoffset分别表示水平偏移参数和竖直偏移参数，visible(i,j)表示输入的可见光图像，infrared(i,j)表示输入的红外图像。
基于上述实施例，由于本方法对同一标定板采集可见光图像和红外图像，可保证两图像中标定板的特征一致，进而可通过提取标定板特征，并利用标定板特征数据计算缩放参数和偏移参数的方式，将可见光图像和红外图像进行对齐配准，无需基于特征匹配、基于灰度匹配或基于频域信息的步骤，简化了双光谱图像对齐的流程，降低了双光谱图像对齐的复杂度。同时，由于本方法为该图像采集设备计算了缩放参数和偏移参数，进而后续使用该图像采集设备时，可直接利用该缩放参数和偏移参数对可见光图像和红外图像进行对齐，无需重复对齐操作，可满足产品实时性处理的要求。
基于上述实施例，由于红外图像的测温结果易受测温距离的影响，当采用相同的测温准则测量不同距离的目标时，会产生波动较大的测温结果，影响测温数据的精度。因此，本申请实施例在可见光图像中的标定板与红外图像中的标定板重合之后，还可以包括：
S200、在可检测距离范围内，利用图像采集设备采集多个间隔距离下包含人脸的可见光人脸图像，得到包含可见光人脸图像和间隔距离的数据集。
需要说明的是，本申请实施例并不限定采集可见光人脸图像的预设条件，只要能够采集多个间隔距离下的包含人脸的可见光人脸图像即可，例如该预设条件可以是在任意间隔距离下采集可见光人脸图像，也可以是每隔固定距离采集可见光人脸图像。由于每隔固定距离采集可见光人脸图像的方式可减小误差，因此，在本申请实施例中，可以采用每隔决定距离采集可见光人脸图像的方法。当然，本申请实施例并不限定固定距离的具体数值。本申请实施例也不限定每个间隔距离下采集的可见光人脸图像数量，例如可以是只采集一张，也可以是采集多张。考虑到采集多张可以提升相同间隔距离下的拟合精度，因此，在本申请实施例中，可以在每隔间隔距离下采集多张可见光人脸图像。
S201、在可见光人脸图像中检测人脸，生成人脸框。
需要说明的是，本申请实施例并不限定人脸检测的具体方式，只要该人脸检测方式能够准确检测到人脸，并生成人脸框即可，用户可参考人脸检测相关技术。
S202、计算人脸框的面积，并利用人脸框在数据集中对应的间隔距离，计算人脸框面积与距离的关系式。
经研究后发现，人脸框的面积会随着人与图像采集设备之间的距离减小而增大，因此，只需要利用人脸框的面积以及对应的间隔距离进行拟合计算，得到人脸框面积与距离的关系式，便可利用该关系式以及人脸框的面积，得到人与图像采集设备之间的距离，进而利用该距离修正红外图像的测温数据，便可保证输出准确的人体温度。
需要说明的是，本申请实施例并不限定关系式的具体形式及计算过程，用户可参考数据拟合的相关技术，选择合适的关系式形式及计算过程。
S203、使用人脸框面积与距离的关系式修正红外图像的测温数据。
需要说明的是，本申请实施例并不限定利用人脸框面积与距离的关系式修正红外图像测温数据的具体流程，只要能够利用人脸框面积得到人与图像采集设备的距离，进而利用该距离进行修正即可。在一种可能情况中，该过程可以为：
利用人脸框面积，以及人脸框面积与距离的关系式，计算人至图像采集设备的距离；
利用距离，修正红外图像的测温数据。
需要说明的是，本申请实施例并不限定利用距离修正红外图像测温数据的具体过程，用户可参考修正红外图像测温数据的相关技术。
基于上述实施例，本申请实施例利用人脸框面积以及对应的间隔距离，拟合出了人脸框面积与距离的关系式，进而可利用该关系式计算出人与图像采集设备之间的距离，最后利用该距离对红外图像的测温数据进行修正，可保证最终输出准确的人体温度。
基于上述实施例，在利用双光谱图像进行人体测温时，由于可见光图像可以提供复杂场景下不同物体的纹理信息，能够满足人脸识别的需求，而红外图像可以提供物体的温度信息，适合于输出人体温度，因此可以在可见光图像中识别人脸，生成人脸框，并在红外图像对应位置生成人脸框，得到测温区域。然而，这样的操作要求可见光图像中实际人脸位置与红外图像中实际人脸位置相对应，若红外图像中实际人脸位置出现偏差，则红外图像中生成的人脸框无法与实际人脸位置重合，进而不能生成正确的测温区域。为了解决上述问题，本申请实施例在可见光图像中的标定板与红外图像中的标定板重合之后，还可以包括：
S300、在可检测距离范围内，利用图像采集设备采集多个间隔距离下包含人脸的可见光人脸图像和红外人脸图像，得到包含可见光人脸图像、红外人脸图像和间隔距离的数据集。
需要说明的是，本申请实施例并不限定采集可见光人脸图像和红外人脸图像的预设条件，只要能够采集多个间隔距离下的包含人脸的可见光人脸图像和红外人脸图像即可，例如该预设条件可以是在任意间隔距离下采集人脸图像，也可以是每隔固定距离采集图像。由于每隔固定距离采集可见光人脸图像的方式可减小误差，因此，在本申请实施例中，可以采用每隔决定距离采集可见光人脸图像及红外人脸图像的方法。当然，本申请实施例并不限定固定距离的具体数值。本申请实施例也不限定每个间隔距离下采集的可见光人脸图像数量，例如可以是只采集一张，也可以是采集多张。考虑到采集多张可以提升相同间隔距离下的拟合精度，因此，在本申请实施例中，可以在每隔间隔距离下采集多张可见光人脸图像。
S301、在可见光人脸图像中检测人脸，生成第一人脸框，并在对应红外人脸图像中与第一人脸框相同的位置生成第二人脸框。
需要说明的是，本申请实施例并不限定人脸检测的具体方法，用户可参考人脸识别的相关技术，选择合适的人脸检测方法。
S302、计算第二人脸框与红外人脸图像中实际人脸位置的偏移量。
需要说明的是，本申请实施例并不限定偏移量的具体计算方式，用户可参考偏移量计算的相关技术，选择合适的计算方法。
S303、利用偏移量，以及第二人脸框在数据集中对应的间隔距离，计算红外图像中的人脸框偏移量与距离的关系式。
由于在标定距离之外，红外图像中实际人脸的位置与人脸框的位置会发生偏差，且间隔距离越大，偏差程度越大，因此，若能得到人脸框偏移量与间隔距离的关系，便可利用该关系对人脸框位置进行修正。经研究发现，人脸框偏移量与距离符合多项式函数分布形式，可以利用函数拟合的方式得到人脸框偏移量与距离之间的关系式。因此，本申请实施例可以利用该关系式，对人脸框位置进行修正，进而保证红外图像中实际人脸位置与人脸框位置重合，最终生成正确的测温位置。
需要说明的是，本申请实施例并不限定人脸框偏移量与距离关系式的具体计算过程，用户可参考数据拟合的相关技术，选择合适的计算过程。
S304、使用人脸框面积、人脸框面积与距离的关系式以及人脸框偏移量与距离的关系式，修正人脸框在红外图像中的位置。
需要说明的是，本申请实施例并不限定修正人脸框在红外图像中位置的具体过程，只要能够利用人脸框面积、人脸框面积与距离的关系式以及人脸框偏移量与距离的关系式，对人脸框位置进行修正即可。在一种可能的情况中，该修正过程可以为：
利用人脸框面积，以及人脸框面积与距离的关系式，计算人至图像采集设备的距离；
利用距离，以及人脸框偏移量与距离的关系式，计算人脸框在红外图像中的偏移量；
利用偏移量，修正人脸框在红外图像中的位置。
基于上述实施例，由于得到了人脸框偏移量与距离之间的关系式，因而可以利用该关系式，对红外图像中的人脸框位置进行修正，以保证人脸框位置与实际人脸位置向重合，保证红外图像中测温区域的准确性。
基于上述实施例，为了保证提取的标定孔位置信息准确无误，当标定孔为圆形标定孔时，提取可见光图像和红外图像中标定孔的位置信息，包括：
S400、提取可见光图像的第一标定孔参数；其中，第一标定孔参数包括可见光图像中标定孔的初始半径及初始圆心坐标。
S401、提取红外图像的第二标定孔参数；其中，第二标定孔参数包括红外图像中标定孔的初始半径及初始圆心坐标。
S402、若第一标定孔参数符合预设条件，则将第一标定孔参数中的初始圆心坐标作为可见光图像中标定孔的位置信息；其中，预设条件包括初始半径符合第一阈值要求、同一行相邻两圆心间的距离符合第二阈值要求、且同一列相邻两圆心间的距离符合第三阈值要求。
S403、若第二标定孔参数符合预设条件，则将第二标定孔参数中的初始圆心坐标作为红外图像中标定孔的位置信息。
可以理解的是，为了保证提取的标定孔位置信息准确无误，本申请实施例对提取到初始半径及初始圆心坐标进行校验，只有当初始半径符合第一阈值要求、同一行相邻两圆心间的距离符合第二阈值要求、且同一列相邻两圆心间的距离符合第三阈值要求时，才认为提取到了准确的标定孔位置信息，以保证位置信息的准确。
本申请实施例并不限定第一阈值、第二阈值和第三阈值的具体数值，可以理解的是由于可见光图像和红外图像的尺寸比例不同，因而可见光图像中的第一阈值、第二阈值和第三阈值与红外图像中的第一阈值、第二阈值和第三阈值不同。
基于上述实施例，由于对提取到的标定孔初始半径、同一行相邻的两圆心距离以及同一列相邻圆心距离进行检验，对不符合要求的数据进行排除，保证了标定孔的位置信息的精确性。
基于上述实施例，为了保证可见光图像中的标定孔位置信息与红外图像中的标定孔位置信息一一对应，提取可见光图像和红外图像中标定孔的位置信息之后，在计算可见光图像与红外图像之间的缩放参数和偏移参数之前，还包括：
S500、判断可见光图像中的标定孔的位置信息数量是否等于红外图像中的标定孔的位置信息数量，得到第一判断结果。
S501、判断可见光图像中的标定孔的位置排布形式是否与红外图像中的标定孔的位置排布形式相同，得到第二判断结果。
S502、当第一判断结果与第二判断结果均为是时，执行利用位置信息，计算可见光图像与红外图像之间的缩放参数和偏移参数的步骤。
为了保证可见光图像中的标定孔位置信息与红外图像中的标定孔位置信息一一对应，本申请实施例对数量和排布形式进行检验，若数量不同，则两标定孔位置信息无法实现一一对应，若数量相同但排布形式不同，则说明两标定孔位置信息出现了偏差，无法在图形角度实现一一对应。因此，只有在数量和排布形式均符合要求时，才能保证可见光图像中的标定孔位置信息与红外图像中的标定孔位置信息一一对应。
需要说明的是，本申请并不限定第二判断结果的获取过程，用户可根据相关排布形式的检验方法，选择合适的方式。
基于上述实施例，由于可见光图像中的标定孔位置信息与红外图像中的标定孔位置信息的数量及排布形式进行校验，保证了两图像中的标定孔能够一一对应，进一步保障了后续计算的精确性。
下面对本发明实施例提供的一种双光谱图像对齐装置、电子设备及存储介质进行介绍，下文描述的双光谱图像对齐装置、电子设备及存储介质与上文描述的双光谱图像对齐方法可相互对应参照。
请参考图5，图5为本申请实施例所提供的一种双光谱图像对齐装置的结构框图，该装置可以包括：
获取模块100，用于分别获取图像采集设备为标定板拍摄的可见光图像和红外图像；其中，标定板带有标定孔；
位置信息提取模块200，用于提取可见光图像和红外图像中标定孔的位置信息；
计算模块300，用于利用位置信息，计算可见光图像与红外图像之间的缩放参数和偏移参数；
调整模块400，用于利用缩放参数和偏移参数，调整可见光图像和/或红外图像，以使可见光图像中的标定板与红外图像中的标定板重合。
可选的，当标定孔为圆形标定孔时，计算模块300，包括：
第一计算模块，用于利用位置信息，分别在可见光图像和红外图像中，计算同一水平方向上最左侧圆心至最右侧圆心的水平圆心距以及同一竖直方向上最上侧圆心至最下侧圆心的竖直圆心距；
第二计算模块，用于利用可见光图像和红外图像中的水平圆心距和竖直圆心距，计算可见光图像与红外图像之间的缩放参数；
第三计算模块，用于利用缩放参数，及可见光图像与红外图像中的位置信息，计算可见光图像与红外图像之间的偏移参数。
可选的，当标定孔为圆形标定孔时，位置信息提取模块200，包括：
第一提取模块，用于提取可见光图像的第一标定孔参数；其中，第一标定孔参数包括可见光图像中标定孔的初始半径及初始圆心坐标；
第二提取模块，用于提取红外图像的第二标定孔参数；其中，第二标定孔参数包括红外图像中标定孔的初始半径及初始圆心坐标；
第一判断模块，用于若第一标定孔参数符合预设条件，则将第一标定孔参数中的初始圆心坐标作为可见光图像中标定孔的位置信息；其中，预设条件包括初始半径符合第一阈值要求、同一行相邻两圆心间的距离符合第二阈值要求、且同一列相邻两圆心间的距离符合第三阈值要求；
第二判断模块，用于若第二标定孔参数符合预设条件，则将第二标定孔参数中的初始圆心坐标作为红外图像中标定孔的位置信息。
可选的，双光谱图像对齐装置，还包括：
第三判断模块，用于判断可见光图像中的标定孔的位置信息数量是否等于红外图像中的标定孔的位置信息数量，得到第一判断结果；
第四判断模块，用于判断可见光图像中的标定孔的位置排布形式是否与红外图像中的标定孔的位置排布形式相同，得到第二判断结果；
可选的，位置信息提取模块200，包括：
灰度转换模块，用于将可见光图像和红外图像转换为灰度图像；
第一调节模块，用于对转换后的可见光图像和红外图像进行亮度和/或对比度调节；
噪声去除模块，用于对调节后的可见光图像和红外图像进行噪声去除；
可选的，双光谱图像对齐装置，还包括：
第一图像采集模块，用于在可检测距离范围内，利用图像采集设备采集多个间隔距离下包含人脸的可见光人脸图像，得到包含可见光人脸图像和间隔距离的数据集；
第一人脸检测模块，用于在可见光人脸图像中检测人脸，生成人脸框；
第四计算模块，用于计算人脸框的面积，并利用人脸框在数据集中对应的间隔距离，计算人脸框面积与距离的关系式；
第一修正模块，用于使用人脸框面积与距离的关系式修正红外图像的测温数据。
可选的，第一修正模块，包括：
第五计算模块，用于利用人脸框面积，以及人脸框面积与距离的关系式，计算人至图像采集设备的距离；
第二修正模块，用于利用距离，修正红外图像的测温数据。
可选的，双光谱图像对齐装置，还包括：
第二图像采集模块，用于在可检测距离范围内，利用图像采集设备采集多个间隔距离下包含人脸的可见光人脸图像和红外人脸图像，得到包含可见光人脸图像、红外人脸图像和间隔距离的数据集；
第二人脸检测模块，用于在可见光人脸图像中检测人脸，生成第一人脸框，并在对应红外人脸图像中与第一人脸框相同的位置生成第二人脸框；
第六计算模块，用于计算第二人脸框与红外人脸图像中实际人脸位置的偏移量；
第七计算模块，用于利用偏移量，以及第二人脸框在数据集中对应的间隔距离，计算红外图像中的人脸框偏移量与距离的关系式；
第三修正模块，用于使用人脸框面积、人脸框面积与距离的关系式以及人脸框偏移量与距离的关系式，修正人脸框在红外图像中的位置。
可选的，第三修正模块，包括：
第八计算模块，用于利用人脸框面积，以及人脸框面积与距离的关系式，计算人至图像采集设备的距离；
第九计算模块，用于利用距离，以及人脸框偏移量与距离的关系式，计算人脸框在红外图像中的偏移量；
第四修正模块，用于利用偏移量，修正人脸框在红外图像中的位置。
本申请实施例还提供一种电子设备，请参考图6，图6为本申请实施例所提供的一种电子设备的结构框图；电子设备500可以包括处理器501和存储器502，当然，还可以进一步包括多媒体组件503、信息输入/信息输出(I/O)接口504以及通信组件505中的一或多者。
其中，处理器501用于控制电子设备500的整体操作，以完成上述的双光谱图像对齐方法中的全部步骤；存储器502用于存储各种类型的数据以支持处理器501所需执行的各种操作，这些数据例如可以包括用于在该电子设备500上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器502可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，SRAM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、只读存储器(Read-OnlyMemory，ROM)、磁存储器、快闪存储器、磁盘或光盘中的一或多者。
I/O接口504为处理器501和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标。通信组件505用于电子设备500与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件505可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的行人轨迹生成方法。
基于上述实施例，为了进一步提升电子设备获取可见光图像和红外图像的效率，在本实施例中，电子设备还可包含可见光传感器和红外传感器。
当然，本实施例中并不对电子设备所需要的其他部件进行限定，具体可以参考现有电子设备的设置。
本申请实施例还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例所述的双光谱图像对齐方法的步骤。如计算机程序被处理器执行时实现分别获取图像采集设备为标定板拍摄的可见光图像和红外图像；其中，标定板带有标定孔；提取可见光图像和红外图像中标定孔的位置信息；利用位置信息，计算可见光图像与红外图像之间的缩放参数和偏移参数；利用缩放参数和偏移参数，调整可见光图像和/或红外图像，以使可见光图像中的标定板与红外图像中的标定板重合。
该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种双光谱图像对齐方法、装置、电子设备及存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (12)

1.一种双光谱图像对齐方法，其特征在于，包括：
分别获取图像采集设备为标定板拍摄的可见光图像和红外图像；其中，所述标定板带有标定孔；
提取所述可见光图像和所述红外图像中所述标定孔的位置信息；
利用所述位置信息，计算所述可见光图像与所述红外图像之间的缩放参数和偏移参数；
利用所述缩放参数和所述偏移参数，调整所述可见光图像和/或所述红外图像，以使所述可见光图像中的标定板与所述红外图像中的标定板重合。
2.根据权利要求1所述的双光谱图像对齐方法，其特征在于，当所述标定孔为圆形标定孔时，所述利用所述位置信息，计算所述可见光图像与所述红外图像之间的缩放参数和偏移参数，包括：
利用所述位置信息，分别在所述可见光图像和所述红外图像中，计算同一水平方向上最左侧圆心至最右侧圆心的水平圆心距以及同一竖直方向上最上侧圆心至最下侧圆心的竖直圆心距；
利用所述可见光图像和所述红外图像中的所述水平圆心距和所述竖直圆心距，计算所述可见光图像与所述红外图像之间的缩放参数；
利用所述缩放参数，及所述可见光图像与所述红外图像中的所述位置信息，计算所述可见光图像与所述红外图像之间的偏移参数。
3.根据权利要求1所述的双光谱图像对齐方法，其特征在于，当所述标定孔为圆形标定孔时，所述提取所述可见光图像和所述红外图像中所述标定孔的位置信息，包括：
提取所述可见光图像的第一标定孔参数；其中，所述第一标定孔参数包括所述可见光图像中标定孔的初始半径及初始圆心坐标；
提取所述红外图像的第二标定孔参数；其中，所述第二标定孔参数包括所述红外图像中标定孔的初始半径及初始圆心坐标；
若所述第一标定孔参数符合预设条件，则将所述第一标定孔参数中的初始圆心坐标作为所述可见光图像中标定孔的位置信息；其中，所述预设条件包括初始半径符合第一阈值要求、同一行相邻两圆心间的距离符合第二阈值要求、且同一列相邻两圆心间的距离符合第三阈值要求；
若所述第二标定孔参数符合所述预设条件，则将所述第二标定孔参数中的初始圆心坐标作为所述红外图像中标定孔的位置信息。
4.根据权利要求1所述的双光谱图像对齐方法，其特征在于，在提取所述可见光图像和所述红外图像中所述标定孔的位置信息之后，在计算所述可见光图像与所述红外图像之间的缩放参数和偏移参数之前，还包括：
判断所述可见光图像中的标定孔的位置信息数量是否等于所述红外图像中的标定孔的位置信息数量，得到第一判断结果；
判断所述可见光图像中的标定孔的位置排布形式是否与所述红外图像中的标定孔的位置排布形式相同，得到第二判断结果；
当所述第一判断结果与第二判断结果均为是时，执行利用所述位置信息，计算所述可见光图像与所述红外图像之间的缩放参数和偏移参数的步骤。
5.根据权利要求1所述的双光谱图像对齐方法，其特征在于，所述提取所述可见光图像和所述红外图像中所述标定孔的位置信息，包括：
将所述可见光图像和所述红外图像转换为灰度图像；
对转换后的可见光图像和红外图像进行亮度和/或对比度调节；
对调节后的可见光图像和红外图像进行噪声去除；
对噪声去除后的可见光图像和红外图像进行图像边缘检测，提取出所述可见光图像和所述红外图像中所述标定孔的位置信息。
6.根据权利要求1至5任一项所述的双光谱图像对齐方法，其特征在于，在所述可见光图像中的标定板与所述红外图像中的标定板重合之后，还包括：
在可检测距离范围内，利用所述图像采集设备采集多个间隔距离下包含人脸的可见光人脸图像，得到包含所述可见光人脸图像和间隔距离的数据集；
在所述可见光人脸图像中检测人脸，生成人脸框；
计算所述人脸框的面积，并利用所述人脸框在所述数据集中对应的间隔距离，计算人脸框面积与距离的关系式；
使用所述人脸框面积与距离的关系式修正红外图像的测温数据。
7.根据权利要求6所述的双光谱图像对齐方法，其特征在于，所述使用所述人脸框面积与距离的关系式修正红外图像的测温数据，包括：
利用人脸框面积，以及所述人脸框面积与距离的关系式，计算人至所述图像采集设备的距离；
利用所述距离，修正红外图像的测温数据。
8.根据权利要求6所述的双光谱图像对齐方法，其特征在于，还包括：
在可检测距离范围内，利用所述图像采集设备采集多个间隔距离下包含人脸的可见光人脸图像和红外人脸图像，得到包含所述可见光人脸图像、所述红外人脸图像和间隔距离的数据集；
在所述可见光人脸图像中检测人脸，生成第一人脸框，并在对应所述红外人脸图像中与所述第一人脸框相同的位置生成第二人脸框；
计算所述第二人脸框与所述红外人脸图像中实际人脸位置的偏移量；
利用所述偏移量，以及所述第二人脸框在所述数据集中对应的间隔距离，计算红外图像中的人脸框偏移量与距离的关系式；
使用人脸框面积、所述人脸框面积与距离的关系式以及所述人脸框偏移量与距离的关系式，修正人脸框在红外图像中的位置。
9.根据权利要求8所述的双光谱图像对齐方法，其特征在于，所述使用人脸框面积、所述人脸框面积与距离的关系式以及所述人脸框偏移量与距离的关系式，修正人脸框在红外图像中的位置，包括：
利用人脸框面积，以及所述人脸框面积与距离的关系式，计算人至所述图像采集设备的距离；
利用所述距离，以及所述人脸框偏移量与距离的关系式，计算人脸框在红外图像中的偏移量；
利用所述偏移量，修正人脸框在红外图像中的位置。
10.一种双光谱图像对齐装置，其特征在于，包括：
获取模块，用于分别获取图像采集设备为标定板拍摄的可见光图像和红外图像；其中，所述标定板带有标定孔；
位置信息提取模块，用于提取所述可见光图像和所述红外图像中所述标定孔的位置信息；
计算模块，用于利用所述位置信息，计算所述可见光图像与所述红外图像之间的缩放参数和偏移参数；
调整模块，用于利用所述缩放参数和所述偏移参数，调整所述可见光图像和/或红外图像，以使所述可见光图像中的标定板与所述红外图像中的标定板重合。
11.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至9任一项所述的双光谱图像对齐方法的步骤。
12.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的双光谱图像对齐方法的步骤。
CN202011035687.4A 2020-09-27 2020-09-27 一种双光谱图像对齐方法、装置、电子设备及存储介质 Active CN112184784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011035687.4A CN112184784B (zh) 2020-09-27 2020-09-27 一种双光谱图像对齐方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011035687.4A CN112184784B (zh) 2020-09-27 2020-09-27 一种双光谱图像对齐方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112184784A true CN112184784A (zh) 2021-01-05
CN112184784B CN112184784B (zh) 2023-06-06

Family

ID=73945143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011035687.4A Active CN112184784B (zh) 2020-09-27 2020-09-27 一种双光谱图像对齐方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112184784B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113068019A (zh) * 2021-03-17 2021-07-02 杭州海康消防科技有限公司 双光相机校准设备、方法、电子设备及存储介质
CN117201949A (zh) * 2023-11-08 2023-12-08 荣耀终端有限公司 图像处理方法、电子设备、分光设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067442A (zh) * 2017-06-07 2017-08-18 云南师范大学 一种红外与可见光双摄像头同步标定板
CN207517067U (zh) * 2017-06-07 2018-06-19 云南师范大学 一种红外与可见光双摄像头同步标定板
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法
CN110570454A (zh) * 2019-07-19 2019-12-13 华瑞新智科技（北京）有限公司 一种检测异物入侵的方法及装置
CN111579083A (zh) * 2020-05-13 2020-08-25 芋头科技（杭州）有限公司 基于红外图像人脸检测的体温测量的方法和装置
CN111667520A (zh) * 2020-06-09 2020-09-15 中国人民解放军63811部队 红外图像和可见光图像的配准方法、装置及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067442A (zh) * 2017-06-07 2017-08-18 云南师范大学 一种红外与可见光双摄像头同步标定板
CN207517067U (zh) * 2017-06-07 2018-06-19 云南师范大学 一种红外与可见光双摄像头同步标定板
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法
CN110570454A (zh) * 2019-07-19 2019-12-13 华瑞新智科技（北京）有限公司 一种检测异物入侵的方法及装置
CN111579083A (zh) * 2020-05-13 2020-08-25 芋头科技（杭州）有限公司 基于红外图像人脸检测的体温测量的方法和装置
CN111667520A (zh) * 2020-06-09 2020-09-15 中国人民解放军63811部队 红外图像和可见光图像的配准方法、装置及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113068019A (zh) * 2021-03-17 2021-07-02 杭州海康消防科技有限公司 双光相机校准设备、方法、电子设备及存储介质
CN117201949A (zh) * 2023-11-08 2023-12-08 荣耀终端有限公司 图像处理方法、电子设备、分光设备及存储介质

Also Published As

Publication number Publication date
CN112184784B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN108986172B (zh) 一种面向小景深系统的单视图线性摄像机标定方法
CN106683070B (zh) 基于深度相机的身高测量方法及装置
CN111339951A (zh) 体温测量方法、装置及系统
CN103053154B (zh) 立体相机的自动对焦
CN105793892B (zh) 一种图像处理方法、装置及摄像设备
CN112184784B (zh) 一种双光谱图像对齐方法、装置、电子设备及存储介质
CN106600648A (zh) 标定相机内参数和畸变系数的立体编码靶标及其标定方法
TW201624348A (zh) 指紋識別系統及指紋識別方法及電子設備
TW202022809A (zh) 深度相機校正裝置及其方法
US9891040B2 (en) Method and electronic device for measuring a distance
CN111105466B (zh) 一种ct系统中相机的标定方法
US7349580B2 (en) Apparatus and method for calibrating zoom lens
CN108426585A (zh) 一种光场相机的几何标定方法
CN112070845A (zh) 双目相机的标定方法、装置及终端设备
CN103955916A (zh) 一种汽车全景摄像头标定方法及装置
CN108257187B (zh) 一种相机-投影仪系统标定方法
CN107084680A (zh) 一种基于机器单目视觉的目标深度测量方法
KR20110068375A (ko) 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법
CN106600649A (zh) 一种基于二维标记码的相机自标定方法
JP2009276233A (ja) パラメータ計算装置、パラメータ計算システムおよびプログラム
CN112037284A (zh) 棋盘格格子中心点检测方法、摄像机畸变标定方法及系统
CN105451015B (zh) 一种图像坏点的检测方法及装置
CN107492080B (zh) 免定标便捷的单目镜头图像径向畸变矫正方法
KR20160001868A (ko) 카메라에서 촬영된 영상의 왜곡을 보정하기 위한 영상 왜곡 보정 방법
JP2007122328A (ja) 歪曲収差補正装置及び歪曲収差補正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant