CN112163519A - 图像映射处理方法、装置、存储介质及电子装置 - Google Patents

图像映射处理方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN112163519A
CN112163519A CN202011043224.2A CN202011043224A CN112163519A CN 112163519 A CN112163519 A CN 112163519A CN 202011043224 A CN202011043224 A CN 202011043224A CN 112163519 A CN112163519 A CN 112163519A
Authority
CN
China
Prior art keywords
target
distance
mapping
coordinates
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011043224.2A
Other languages
English (en)
Other versions
CN112163519B (zh
Inventor
李乾坤
卢维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011043224.2A priority Critical patent/CN112163519B/zh
Publication of CN112163519A publication Critical patent/CN112163519A/zh
Application granted granted Critical
Publication of CN112163519B publication Critical patent/CN112163519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像映射处理方法、装置、存储介质及电子装置，其中，该方法包括：获取可见光图像中目标对象的第一成像坐标；根据预先确定的映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标；获取预先根据目标人脸的瞳孔距离与真实瞳孔距离确定的目标人脸到所述相机的目标距离；根据所述目标对象的映射坐标与所述目标距离确定所述目标对象在热成像图像中的第二成像坐标，可以解决相关技术中目标距离与标定框相对相机的距离不同时从可见光图像映射到热成像图像中会错位的问题，实现了在任意距离下将可见光图像准确的映射到热成像图像中。

Description

图像映射处理方法、装置、存储介质及电子装置
技术领域
本发明涉及图像处理领域，具体而言，涉及一种图像映射处理方法、装置、存储介质及电子装置。
背景技术
热成像相机由于可以准确、无接触测量目标的温度信息，被广泛应用于人体测温、电力巡检等场景。但是由于热成像图像分辨率通常较小，并且目标细节信息丢失严重，导致很难直接在热成像图像进行目标的检测、识别等工作。因此，在人体测温时，热成像相机通常与传统可见光相机组成双目系统，由可见光图像提供人脸的检测和定位，热成像图像负责测温。但是，由于存在视差现象，导致可见光图像中的人脸框映射到热成像图像后与真实的人脸位置并不匹配，所以无法进行准确的测温，即使使用仿射变换、投影变换等方法对两幅图像进行标定和配准，也只有当目标距离与标定距离相同时才能实现准确映射。
相关技术中借助标定框对可见光和热成像图像进行标定，使得目标距离只有与标定框相对相机的距离相同时从可见光图像映射到热成像图像中才不会错位，即只要目标距离与标定框相对相机的距离不同，从可见光图像映射到热成像图像中就会错位。
针对相关技术中目标距离与标定框相对相机的距离不同时从可见光图像映射到热成像图像中会错位的问题，尚未提出解决方案。
发明内容
本发明实施例提供了一种图像映射处理方法、装置、存储介质及电子装置，以至少解决相关技术中目标距离与标定框相对相机的距离不同时从可见光图像映射到热成像图像中会错位的问题。
根据本发明的一个实施例，提供了一种图像映射处理方法，包括：
获取可见光图像中目标对象的第一成像坐标；
根据预先确定的映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标；
获取预先根据目标人脸的瞳孔距离与真实瞳孔距离确定的目标人脸到所述相机的目标距离；
根据所述目标对象的映射坐标与所述目标距离确定所述目标对象在热成像图像中的第二成像坐标。
可选地，在获取可见光图像中目标对象的第一成像坐标之前，所述方法还包括：
分别获取至少4个标记物在可见光图像、热成像图像上的坐标，其中，所述至少四个标记物与相机的距离为第一距离；
根据所述至少4个标记物在所述可见光图像、所述热成像图像上的坐标确定所述映射矩阵。
可选地，所述方法还包括：
分别获取目标标记物在可见光图像、热成像图像上的坐标，其中，所述目标标记物与所述相机的距离为第二距离；
根据所述映射矩阵将所述目标标记物在所述可见光图像的坐标进行映射，得到所述目标标记物的映射坐标。
可选地，根据所述目标对象的映射坐标与所述目标距离确定所述目标对象在热成像图像中的第二成像坐标包括：
根据所述第一距离、所述第二距离、所述目标距离、所述目标标记物的映射坐标、所述目标标记物在所述热成像图像上的坐标以及所述目标对象的映射坐标确定所述目标对象在所述热成像图像中的第二成像坐标。
可选地，所述方法还包括：
通过以下公式根据所述第一距离、第二距离、目标距离、所述目标标记物的映射坐标、所述目标标记物在所述热成像图像上的坐标以及所述目标对象的映射坐标确定所述目标对象在所述热成像图像中的第二成像坐标：
Figure BDA0002707259060000031
Figure BDA0002707259060000032
其中，W(xW_ir,yW_ir)为所述第二成像坐标，V(xV_ir,yV_ir)为所述目标对象的映射坐标，E'(xE_ir,yE_ir)为所述目标标记物在所述热成像图像上的坐标，F(xF_ir,yF_ir)为所述目标标记物的映射坐标，d1为所述第一距离，d2为所述第二距离，d'为所述目标距离。
可选地，在获取可见光图像中目标对象的第一成像坐标之前，所述方法还包括：
对所述相机进行标定，得到所述相机的焦距；
通过人脸识别获取可见光图像中目标人脸的两个瞳孔之间的瞳孔距离；
根据所述焦距、所述瞳孔距离以及所述真实瞳孔距离确定所述目标距离。
可选地，所述方法还包括：
通过以下方式根据所述映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标：
Figure BDA0002707259060000033
Figure BDA0002707259060000034
Figure BDA0002707259060000041
其中，V(xV_ir,yV_ir)为所述目标对象的映射坐标，H为所述映射矩阵，U(xU_rgb,yU_rgb)为所述第一成像坐标。
根据本发明的另一个实施例，还提供了一种图像映射处理装置，包括：
第一获取模块，用于获取可见光图像中目标对象的第一成像坐标；
第一映射模块，用于根据预先确定的映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标；
第二获取模块，用于获取预先根据目标人脸的瞳孔距离与真实瞳孔距离确定的目标人脸到所述相机的目标距离；
第一确定模块，用于根据所述目标对象的映射坐标与所述目标距离确定所述目标对象在热成像图像中的第二成像坐标。
可选地，所述装置还包括：
第三获取模块，用于分别获取至少4个标记物在可见光图像、热成像图像上的坐标，其中，所述至少四个标记物与相机的距离为第一距离；
第二确定模块，用于根据所述至少4个标记物在所述可见光图像、所述热成像图像上的坐标确定所述映射矩阵。
可选地，所述装置还包括：
第四获取模块，用于分别获取目标标记物在可见光图像、热成像图像上的坐标，其中，所述目标标记物与所述相机的距离为第二距离；
第二映射模块，用于根据所述映射矩阵将所述目标标记物在所述可见光图像的坐标进行映射，得到所述目标标记物的映射坐标。
可选地，所述第一确定模块包括：
确定子模块，用于根据所述第一距离、所述第二距离、所述目标距离、所述目标标记物的映射坐标、所述目标标记物在所述热成像图像上的坐标以及所述目标对象的映射坐标确定所述目标对象在所述热成像图像中的第二成像坐标。
可选地，所述确定子模块，还用于通过以下公式根据所述第一距离、第二距离、目标距离、所述目标标记物的映射坐标、所述目标标记物在所述热成像图像上的坐标以及所述目标对象的映射坐标确定所述目标对象在所述热成像图像中的第二成像坐标：
Figure BDA0002707259060000051
Figure BDA0002707259060000052
其中，W(xW_ir,yW_ir)为所述第二成像坐标，V(xV_ir,yV_ir)为所述目标对象的映射坐标，E'(xE_ir,yE_ir)为所述目标标记物在所述热成像图像上的坐标，F(xF_ir,yF_ir)为所述目标标记物的映射坐标，d1为所述第一距离，d2为所述第二距离，d'为所述目标距离。
可选地，所述装置还包括：
标定模块，用于对所述相机进行标定，得到所述相机的焦距；
第五获取模块，用于通过人脸识别获取可见光图像中目标人脸的两个瞳孔之间的瞳孔距离；
确定模块，用于根据所述焦距、所述瞳孔距离以及所述真实瞳孔距离确定所述目标距离。
可选地，所述第一映射模块，还用于通过以下方式根据所述映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标：
Figure BDA0002707259060000053
Figure BDA0002707259060000054
Figure BDA0002707259060000061
其中，V(xV_ir,yV_ir)为所述目标对象的映射坐标，H为所述映射矩阵，U(xU_rgb,yU_rgb)为所述第一成像坐标。
根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，获取可见光图像中目标对象的第一成像坐标；根据预先确定的映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标；获取预先根据目标人脸的瞳孔距离与真实瞳孔距离确定的目标人脸到所述相机的目标距离；根据所述目标对象的映射坐标与所述目标距离确定所述目标对象在热成像图像中的第二成像坐标，可以解决相关技术中目标距离与标定框相对相机的距离不同时从可见光图像映射到热成像图像中会错位的问题，实现了在任意距离下将可见光图像准确的映射到热成像图像中。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的图像映射处理方法的移动终端的硬件结构框图；
图2是根据本发明实施例的图像映射处理方法的流程图；
图3是根据本发明实施例的热成像和可见光双目相机图像映射的流程图；
图4是根据本发明实施例的图像映射处理装置的框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的图像映射处理方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像映射处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的图像映射处理方法，图2是根据本发明实施例的图像映射处理方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取可见光图像中目标对象的第一成像坐标；
本发明实施例中，目标对象可以是人脸，人体提取部分，也可以是可见光图像上是任意部分。
步骤S204，根据预先确定的映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标；
在一可选的实施例中，在获取可见光图像中目标对象的第一成像坐标之前，分别获取至少4个标记物在可见光图像、热成像图像上的坐标，其中，所述至少四个标记物与相机的距离为第一距离；根据所述至少4个标记物在所述可见光图像、所述热成像图像上的坐标确定所述映射矩阵。
步骤S206，获取预先根据目标人脸的瞳孔距离与真实瞳孔距离确定的目标人脸到所述相机的目标距离；
步骤S208，根据所述目标对象的映射坐标与所述目标距离确定所述目标对象在热成像图像中的第二成像坐标。
通过上述步骤S202至S208，获取可见光图像中目标对象的第一成像坐标；根据预先确定的映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标；获取预先根据目标人脸的瞳孔距离与真实瞳孔距离确定的目标人脸到所述相机的目标距离；根据所述目标对象的映射坐标与所述目标距离确定所述目标对象在热成像图像中的第二成像坐标，可以解决相关技术中目标距离与标定框相对相机的距离不同时从可见光图像映射到热成像图像中会错位的问题，实现了在任意距离下将可见光图像准确的映射到热成像图像中。
在另一可选的实施例中，分别获取目标标记物在可见光图像、热成像图像上的坐标，其中，所述目标标记物与所述相机的距离为第二距离；根据所述映射矩阵将所述目标标记物在所述可见光图像的坐标进行映射，得到所述目标标记物的映射坐标。
本发明实施例中，上述步骤S208具体可以包括：根据所述第一距离、所述第二距离、所述目标距离、所述目标标记物的映射坐标、所述目标标记物在所述热成像图像上的坐标以及所述目标对象的映射坐标确定所述目标对象在所述热成像图像中的第二成像坐标，进一步的，通过以下公式根据所述第一距离、第二距离、目标距离、所述目标标记物的映射坐标、所述目标标记物在所述热成像图像上的坐标以及所述目标对象的映射坐标确定所述目标对象在所述热成像图像中的第二成像坐标：
Figure BDA0002707259060000091
Figure BDA0002707259060000092
其中，W(xW_ir,yW_ir)为所述第二成像坐标，V(xV_ir,yV_ir)为所述目标对象的映射坐标，E'(xE_ir,yE_ir)为所述目标标记物在所述热成像图像上的坐标，F(xF_ir,yF_ir)为所述目标标记物的映射坐标，d1为所述第一距离，d2为所述第二距离，d'为所述目标距离。
在一可选的实施例中，在获取可见光图像中目标对象的第一成像坐标之前，对所述相机进行标定，得到所述相机的焦距；通过人脸识别获取可见光图像中目标人脸的两个瞳孔之间的瞳孔距离；根据所述焦距、所述瞳孔距离以及所述真实瞳孔距离确定所述目标距离。
本发明实施例中，上述步骤S204具体可以通过以下方式根据所述映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标：
Figure BDA0002707259060000101
Figure BDA0002707259060000102
Figure BDA0002707259060000103
其中，V(xV_ir,yV_ir)为所述目标对象的映射坐标，H为所述映射矩阵，U(xU_rgb,yU_rgb)为所述第一成像坐标。
本发明实施例可以在任意距离下，将可见光图像中的人脸框，准确的映射到热成像图像中，进而实现准确的人体测温。图3是根据本发明实施例的热成像和可见光双目相机图像映射的流程图，如图3所示，包括：
步骤S301，可见光相机标定，将一个长度为l的物体平行于相机靶面，放置在距离相机距离为d的位置，记录该物体两端在可见光图像中的像素坐标，分别设为P1(x1,y1)和P2(x2,y2)。则有
Figure BDA0002707259060000104
其中，f是该相机的焦距。
S302,双目标定，在距离相机距离为d1的位置放置4个热成像和可见光均能够清晰成像的标记物A、B、C和D。设A在可见光图像上的坐标为A(xA_rgb,yA_rgb)，在热成像图像上的坐标为A'(xA_ir,yA_ir)。设B在可见光图像上的坐标为B(xB_rgb,yB_rgb)，在热成像图像上的坐标为B'(xB_ir,yB_ir)。设C在可见光图像上的坐标为C(xC_rgb,yC_rgb)，在热成像图像上的坐标为C'(xC_ir,yC_ir)。设D在可见光图像上的坐标为D(xD_rgb,yD_rgb)，在热成像图像上的坐标为D'(xD_ir,yD_ir)。在距离相机距离为d2的位置放置一个热成像和可见光均能够清晰成像的标记物E。设E在可见光图像上的坐标为E(xE_rgb,yE_rgb)，在热成像图像上的坐标为E'(xE_ir,yE_ir)。则在d1距离下，A、B、C和D四点可确定一个3×3矩阵：
Figure BDA0002707259060000111
使
Figure BDA0002707259060000112
Figure BDA0002707259060000113
其中，P(xrgb,yrgb)为可见光图像上任一点，P'(xir,yir)为P点在热成像图像上的对应点。
使用矩阵H对点E进行映射，得到点F(xF_ir,yF_ir)，则
Figure BDA0002707259060000114
Figure BDA0002707259060000115
步骤S303,人脸识别得到人脸识别结果；
步骤S304，目标距离计算，在可见光图像上的目标，人脸识别结果包括该目标在可见光图像上两个瞳孔之间的距离ep，设其真实瞳距为ew，其中该真实瞳距可以设置为一固定值，如成年人平均瞳距为6.2厘米，也可以使用基于深度学习算法的年龄识别、性别识别，然后根据目标年龄和性别，设置不同的真实瞳距。也可以使用人脸识别结果中的眼距等其它距离信息，只需要调整对应的真实距离参数即可。
则有
Figure BDA0002707259060000116
其中，d'为目标到相机的距离。
步骤S305，坐标映射，设目标在可见光上的成像坐标为U(xU_rgb,yU_rgb)，使用矩阵H对点U进行映射，得到点V(xV_ir,yV_ir)，则有
Figure BDA0002707259060000121
Figure BDA0002707259060000122
设该目标在热成像上的成像坐标为W(xW_ir,yW_ir)，则有
Figure BDA0002707259060000123
Figure BDA0002707259060000124
其中，W(xW_ir,yW_ir)即为可见光目标在热成像图像上的对应坐标。
本发明实施例，使用人脸识别结果中的瞳距信息，计算目标的距离；结合年龄识别、性别识别对目标的真实瞳距进行校准，进而提升坐标映射的精度；使用目标的距离信息，将可见光图像中的目标与热成像图像中的对应目标进行配准。
实施例2
根据本发明的另一个实施例，还提供了一种图像映射处理装置，图4是根据本发明实施例的图像映射处理装置的框图，如图4所示，包括：
第一获取模块42，用于获取可见光图像中目标对象的第一成像坐标；
第一映射模块44，用于根据预先确定的映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标；
第二获取模块46，用于获取预先根据目标人脸的瞳孔距离与真实瞳孔距离确定的目标人脸到所述相机的目标距离；
第一确定模块48，用于根据所述目标对象的映射坐标与所述目标距离确定所述目标对象在热成像图像中的第二成像坐标。
可选地，所述装置还包括：
第三获取模块，用于分别获取至少4个标记物在可见光图像、热成像图像上的坐标，其中，所述至少四个标记物与相机的距离为第一距离；
第二确定模块，用于根据所述至少4个标记物在所述可见光图像、所述热成像图像上的坐标确定所述映射矩阵。
可选地，所述装置还包括：
第四获取模块，用于分别获取目标标记物在可见光图像、热成像图像上的坐标，其中，所述目标标记物与所述相机的距离为第二距离；
第二映射模块，用于根据所述映射矩阵将所述目标标记物在所述可见光图像的坐标进行映射，得到所述目标标记物的映射坐标。
可选地，所述第一确定模块48包括：
确定子模块，用于根据所述第一距离、所述第二距离、所述目标距离、所述目标标记物的映射坐标、所述目标标记物在所述热成像图像上的坐标以及所述目标对象的映射坐标确定所述目标对象在所述热成像图像中的第二成像坐标。
可选地，所述确定子模块，还用于通过以下公式根据所述第一距离、第二距离、目标距离、所述目标标记物的映射坐标、所述目标标记物在所述热成像图像上的坐标以及所述目标对象的映射坐标确定所述目标对象在所述热成像图像中的第二成像坐标：
Figure BDA0002707259060000131
Figure BDA0002707259060000132
其中，W(xW_ir,yW_ir)为所述第二成像坐标，V(xV_ir,yV_ir)为所述目标对象的映射坐标，E'(xE_ir,yE_ir)为所述目标标记物在所述热成像图像上的坐标，F(xF_ir,yF_ir)为所述目标标记物的映射坐标，d1为所述第一距离，d2为所述第二距离，d'为所述目标距离。
可选地，所述装置还包括：
标定模块，用于对所述相机进行标定，得到所述相机的焦距；
第五获取模块，用于通过人脸识别获取可见光图像中目标人脸的两个瞳孔之间的瞳孔距离；
确定模块，用于根据所述焦距、所述瞳孔距离以及所述真实瞳孔距离确定所述目标距离。
可选地，所述第一映射模块34，还用于通过以下方式根据所述映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标：
Figure BDA0002707259060000141
Figure BDA0002707259060000142
Figure BDA0002707259060000143
其中，V(xV_ir,yV_ir)为所述目标对象的映射坐标，H为所述映射矩阵，U(xU_rgb,yU_rgb)为所述第一成像坐标。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取可见光图像中目标对象的第一成像坐标；
S2，根据预先确定的映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标；
S3，获取预先根据目标人脸的瞳孔距离与真实瞳孔距离确定的目标人脸到所述相机的目标距离；
S4，根据所述目标对象的映射坐标与所述目标距离确定所述目标对象在热成像图像中的第二成像坐标。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取可见光图像中目标对象的第一成像坐标；
S2，根据预先确定的映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标；
S3，获取预先根据目标人脸的瞳孔距离与真实瞳孔距离确定的目标人脸到所述相机的目标距离；
S4，根据所述目标对象的映射坐标与所述目标距离确定所述目标对象在热成像图像中的第二成像坐标。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像映射处理方法，其特征在于，包括：
获取可见光图像中目标对象的第一成像坐标；
根据预先确定的映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标；
获取预先根据目标人脸的瞳孔距离与真实瞳孔距离确定的目标人脸到所述相机的目标距离；
根据所述目标对象的映射坐标与所述目标距离确定所述目标对象在热成像图像中的第二成像坐标。
2.根据权利要求1所述的方法，其特征在于，在所述获取可见光图像中所述目标对象的第一成像坐标之前，所述方法还包括：
分别获取至少4个标记物在可见光图像、热成像图像上的坐标，其中，所述至少四个标记物与相机的距离为第一距离；
根据所述至少4个标记物在所述可见光图像、所述热成像图像上的坐标确定所述映射矩阵。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
分别获取目标标记物在可见光图像、热成像图像上的坐标，其中，所述目标标记物与所述相机的距离为第二距离；
根据所述映射矩阵将所述目标标记物在所述可见光图像的坐标进行映射，得到所述目标标记物的映射坐标。
4.根据权利要求3所述的方法，其特征在于，根据所述目标对象的映射坐标与所述目标距离确定所述目标对象在热成像图像中的第二成像坐标包括：
根据所述第一距离、所述第二距离、所述目标距离、所述目标标记物的映射坐标、所述目标标记物在所述热成像图像上的坐标以及所述目标对象的映射坐标确定所述目标对象在所述热成像图像中的第二成像坐标。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
通过以下公式根据所述第一距离、第二距离、目标距离、所述目标标记物的映射坐标、所述目标标记物在所述热成像图像上的坐标以及所述目标对象的映射坐标确定所述目标对象在所述热成像图像中的第二成像坐标：
Figure FDA0002707259050000021
Figure FDA0002707259050000022
其中，W(xW_ir,yW_ir)为所述第二成像坐标，V(xV_ir,yV_ir)为所述目标对象的映射坐标，E'(xE_ir,yE_ir)为所述目标标记物在所述热成像图像上的坐标，F(xF_ir,yF_ir)为所述目标标记物的映射坐标，d1为所述第一距离，d2为所述第二距离，d'为所述目标距离。
6.根据权利要求1所述的方法，其特征在于，在获取可见光图像中目标对象的第一成像坐标之前，所述方法还包括：
对所述相机进行标定，得到所述相机的焦距；
通过人脸识别获取可见光图像中目标人脸的两个瞳孔之间的瞳孔距离；
根据所述焦距、所述瞳孔距离以及所述真实瞳孔距离确定所述目标距离。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：
通过以下方式根据所述映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标：
Figure FDA0002707259050000031
Figure FDA0002707259050000032
Figure FDA0002707259050000033
其中，V(xV_ir,yV_ir)为所述目标对象的映射坐标，H为所述映射矩阵，U(xU_rgb,yU_rgb)为所述第一成像坐标。
8.一种图像映射处理装置，其特征在于，包括：
第一获取模块，用于获取可见光图像中目标对象的第一成像坐标；
第一映射模块，用于根据预先确定的映射矩阵对所述第一成像坐标进行映射，得到所述目标对象的映射坐标；
第二获取模块，用于获取预先根据目标人脸的瞳孔距离与真实瞳孔距离确定的目标人脸到所述相机的目标距离；
第一确定模块，用于根据所述目标对象的映射坐标与所述目标距离确定所述目标对象在热成像图像中的第二成像坐标。
9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7中任一项所述的方法。
CN202011043224.2A 2020-09-28 2020-09-28 图像映射处理方法、装置、存储介质及电子装置 Active CN112163519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011043224.2A CN112163519B (zh) 2020-09-28 2020-09-28 图像映射处理方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011043224.2A CN112163519B (zh) 2020-09-28 2020-09-28 图像映射处理方法、装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN112163519A true CN112163519A (zh) 2021-01-01
CN112163519B CN112163519B (zh) 2024-08-09

Family

ID=73861931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011043224.2A Active CN112163519B (zh) 2020-09-28 2020-09-28 图像映射处理方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN112163519B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387324A (zh) * 2021-12-22 2022-04-22 北京的卢深视科技有限公司 深度成像方法、装置、电子设备和计算机可读存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101583773B1 (ko) * 2014-10-29 2016-01-20 동국대학교 산학협력단 대상체 검출 장치 및 방법
CN105354851A (zh) * 2015-11-20 2016-02-24 中国安全生产科学研究院 对距离自适应的红外与可见光视频融合方法及融合系统
KR101729327B1 (ko) * 2015-11-10 2017-04-21 홍미선 듀얼 카메라를 이용한 체온 추적 모니터링 시스템
CN107976257A (zh) * 2016-10-21 2018-05-01 杭州海康威视数字技术股份有限公司 一种红外热成像仪的图像显示方法、装置及红外热成像仪
CN110060272A (zh) * 2018-01-18 2019-07-26 杭州海康威视数字技术股份有限公司 人脸区域的确定方法、装置、电子设备及存储介质
CN110070057A (zh) * 2019-04-25 2019-07-30 河北机电职业技术学院 瞳距测量方法、装置、终端设备及存储介质
CN110619303A (zh) * 2019-09-16 2019-12-27 Oppo广东移动通信有限公司 注视点追踪方法、装置、终端及计算机可读存储介质
CN110765999A (zh) * 2018-07-27 2020-02-07 杭州海康威视数字技术股份有限公司 一种测温处理方法、装置及热成像设备
CN110991266A (zh) * 2019-11-13 2020-04-10 北京智芯原动科技有限公司 一种双目人脸活体检测方法及装置
CN111028205A (zh) * 2019-11-21 2020-04-17 佛山科学技术学院 一种基于双目测距的眼睛瞳孔定位方法及装置
CN111157123A (zh) * 2020-02-17 2020-05-15 北京迈格威科技有限公司 测量温度的方法、装置、服务器和测量温度的系统
CN111426393A (zh) * 2020-04-07 2020-07-17 北京迈格威科技有限公司 温度修正方法、装置及系统
CN111507200A (zh) * 2020-03-26 2020-08-07 北京迈格威科技有限公司 体温检测方法、体温检测装置、及双光相机
CN111579077A (zh) * 2020-04-08 2020-08-25 北京遥感设备研究所 一种双波段图像位置校准及信息交互显示系统及方法
CN111626125A (zh) * 2020-04-26 2020-09-04 浙江大华技术股份有限公司 人脸温度检测的方法、系统、装置和计算机设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101583773B1 (ko) * 2014-10-29 2016-01-20 동국대학교 산학협력단 대상체 검출 장치 및 방법
KR101729327B1 (ko) * 2015-11-10 2017-04-21 홍미선 듀얼 카메라를 이용한 체온 추적 모니터링 시스템
CN105354851A (zh) * 2015-11-20 2016-02-24 中国安全生产科学研究院 对距离自适应的红外与可见光视频融合方法及融合系统
CN107976257A (zh) * 2016-10-21 2018-05-01 杭州海康威视数字技术股份有限公司 一种红外热成像仪的图像显示方法、装置及红外热成像仪
CN110060272A (zh) * 2018-01-18 2019-07-26 杭州海康威视数字技术股份有限公司 人脸区域的确定方法、装置、电子设备及存储介质
CN110765999A (zh) * 2018-07-27 2020-02-07 杭州海康威视数字技术股份有限公司 一种测温处理方法、装置及热成像设备
CN110070057A (zh) * 2019-04-25 2019-07-30 河北机电职业技术学院 瞳距测量方法、装置、终端设备及存储介质
CN110619303A (zh) * 2019-09-16 2019-12-27 Oppo广东移动通信有限公司 注视点追踪方法、装置、终端及计算机可读存储介质
CN110991266A (zh) * 2019-11-13 2020-04-10 北京智芯原动科技有限公司 一种双目人脸活体检测方法及装置
CN111028205A (zh) * 2019-11-21 2020-04-17 佛山科学技术学院 一种基于双目测距的眼睛瞳孔定位方法及装置
CN111157123A (zh) * 2020-02-17 2020-05-15 北京迈格威科技有限公司 测量温度的方法、装置、服务器和测量温度的系统
CN211262493U (zh) * 2020-02-17 2020-08-14 北京迈格威科技有限公司 温度测量系统和温度测量主系统
CN111507200A (zh) * 2020-03-26 2020-08-07 北京迈格威科技有限公司 体温检测方法、体温检测装置、及双光相机
CN111426393A (zh) * 2020-04-07 2020-07-17 北京迈格威科技有限公司 温度修正方法、装置及系统
CN111579077A (zh) * 2020-04-08 2020-08-25 北京遥感设备研究所 一种双波段图像位置校准及信息交互显示系统及方法
CN111626125A (zh) * 2020-04-26 2020-09-04 浙江大华技术股份有限公司 人脸温度检测的方法、系统、装置和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁浩期;李扬;王俊影;刘航;: "基于红外热像的行人面部温度高精度检测技术", 红外技术, vol. 41, no. 12, 31 December 2019 (2019-12-31), pages 1181 - 1186 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387324A (zh) * 2021-12-22 2022-04-22 北京的卢深视科技有限公司 深度成像方法、装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN112163519B (zh) 2024-08-09

Similar Documents

Publication Publication Date Title
CN111210468B (zh) 一种图像深度信息获取方法及装置
CN112435300B (zh) 定位方法及装置
CN107481288A (zh) 双目摄像头的内外参确定方法和装置
CN104766309A (zh) 一种平面特征点导航定位方法与装置
CN110363176B (zh) 一种图像分析方法及装置
CN111862180A (zh) 一种相机组位姿获取方法、装置、存储介质及电子设备
CN112613381A (zh) 一种图像映射方法、装置、存储介质及电子装置
CN110796095A (zh) 仪表模板建立方法、终端设备以及计算机存储介质
CN112085771A (zh) 图像配准方法、装置、终端设备及计算机可读存储介质
CN115170629A (zh) 一种伤口信息获取方法、装置、设备及存储介质
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN116188591A (zh) 多相机全局标定方法及装置、电子设备
CN112163519B (zh) 图像映射处理方法、装置、存储介质及电子装置
JP2019109200A (ja) 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム
CN114943777A (zh) 图像采集设备的外参的标定方法、装置及电子设备
CN113538538A (zh) 双目图像对齐方法、电子设备和计算机可读存储介质
CN112102378A (zh) 图像配准方法、装置、终端设备及计算机可读存储介质
CN109345560B (zh) 增强现实设备的运动跟踪精度测试方法及装置
CN111336938A (zh) 一种机器人及其物体距离检测方法和装置
CN116843759A (zh) 双目摄像头的标定验证方法、系统、计算机设备及介质
CN112396630A (zh) 目标对象状态的确定方法、装置、存储介质及电子装置
CN107734324B (zh) 一种闪光灯照度均匀性的测量方法、系统及终端设备
JP2005084012A (ja) 肌形状計測方法及び肌形状計測装置
CN111311690B (zh) 一种深度相机的标定方法、装置、终端及计算机存储介质
EP4054187A1 (en) Calibration method of a portable electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant