CN110765999A - 一种测温处理方法、装置及热成像设备 - Google Patents

一种测温处理方法、装置及热成像设备 Download PDF

Info

Publication number
CN110765999A
CN110765999A CN201810848253.2A CN201810848253A CN110765999A CN 110765999 A CN110765999 A CN 110765999A CN 201810848253 A CN201810848253 A CN 201810848253A CN 110765999 A CN110765999 A CN 110765999A
Authority
CN
China
Prior art keywords
image
thermal imaging
visible light
target object
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810848253.2A
Other languages
English (en)
Inventor
凌振萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikmicro Sensing Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810848253.2A priority Critical patent/CN110765999A/zh
Priority to PCT/CN2019/096261 priority patent/WO2020020021A1/zh
Priority to EP19840565.6A priority patent/EP3800451A4/en
Publication of CN110765999A publication Critical patent/CN110765999A/zh
Priority to US17/136,888 priority patent/US20210120194A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/0275—Control or determination of height or distance or angle information for sensors or receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/12—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using thermoelectric elements, e.g. thermocouples
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明提供一种测温处理方法、装置及热成像设备，该测温处理方法，应用于图像设备，包括：确定从可见光图像映射至热成像图像的映射关系，所述可见光图像为所述设备通过可见光通道采集的，所述热成像图像为所述设备通过热成像通道采集的；按照所述映射关系将可见光图像中被选中的目标对象的选中特征从所述可见光图像中映射至热成像图像；依据指定偏移参数调整已映射至热成像图像的选中特征在所述热成像图像中的位置，以使所述选中特征选中所述热成像图像中的所述目标对象；对所述热成像图像中所述选中特征选中的目标对象进行测温。防止误选中外形相似的对象。

Description

一种测温处理方法、装置及热成像设备
技术领域
本发明涉及测温技术领域，尤其涉及一种测温处理方法、装置及热成像设备。
背景技术
集可见光成像通道与热成像通道于一体的图像设备中，通常是通过热成像通道来实现测温配置及温度显示功能，测温功能的配置及实现均是通过热成像配置及显示。
由于热成像图像的分辨率较低，典型的分辨率如384*288(384*288代表红外热像仪的图像像素，横向为384个像素，竖向为288个像素)或者640*512，当热成像图像中拍摄到形状与温度相差不大的物体时，明明是不同的物体而人眼却无法从热成像图像中区分出来，图像缺乏细节，基于伪彩色模式的图像无法区分物体。例如，热成像图像中拍摄到了开关和变压器，而图像中的开关和变压器形状差不多，且两者的温度也差不多，则无法从热成像图像中区分出哪个是开关、哪个是变压器。
因此，目前的双通道热成像设备还存在以下的技术问题：由于热成像图像缺乏细节，很难区分图像中的对象，在选择目标对象进行测温时，经常会发生误选中外形相似的对象。
发明内容
有鉴于此，本发明提供一种测温处理方法、装置及热成像设备，防止误选中外形相似的对象。
本发明第一方面提供一种测温处理方法，应用于图像设备，包括：
确定从可见光图像映射至热成像图像的映射关系，所述可见光图像为所述设备通过可见光通道采集的，所述热成像图像为所述设备通过热成像通道采集的；
按照所述映射关系将可见光图像中被选中的目标对象的选中特征从所述可见光图像中映射至热成像图像；
依据指定偏移参数调整已映射至热成像图像的选中特征在所述热成像图像中的位置，以使所述选中特征选中所述热成像图像中的所述目标对象；
对所述热成像图像中所述选中特征选中的目标对象进行测温。
根据本发明的一个实施例，所述映射关系至少包括：可见光图像映射至热成像图像的指定坐标映射关系，指定缩放比例参数；
所述按照所述映射关系将可见光图像中被选中的目标对象的选中特征从所述可见光图像中映射至热成像图像包括：
依据指定缩放比例参数对所述可见光图像进行缩放，以使所述可见光图像中被缩放后的目标对象与映射至热成像图像中并经位置调整后的选中特征所选中的所述热成像图像中的目标对象具有相同尺寸；
依据所述指定坐标映射关系将所述可见光图像中的所述被缩放后的目标对象的选中特征映射至所述热成像图像。
根据本发明的一个实施例，所述指定偏移参数为预配置的偏移参数或者为预配置的偏移参数与已训练得到的指定微调偏移量之和。
根据本发明的一个实施例，所述可见光通道的视场角大于所述热成像通道的视场角。
根据本发明的一个实施例，该方法还包括：
将测出的目标对象的温度数据显示在所述可见光图像中。
本发明第二方面提供一种测温处理装置，应用于图像设备，包括：
映射关系确定模块，用于确定从可见光图像映射至热成像图像的映射关系，所述可见光图像为所述设备通过可见光通道采集的，所述热成像图像为所述设备通过热成像通道采集的；
选中特征映射模块，用于按照所述映射关系将可见光图像中被选中的目标对象的选中特征从所述可见光图像中映射至热成像图像；
位置偏移调整模块，用于依据指定偏移参数调整已映射至热成像图像的选中特征在所述热成像图像中的位置，以使所述选中特征选中所述热成像图像中的所述目标对象；
目标对象测温模块，用于对所述热成像图像中所述选中特征选中的目标对象进行测温。
本发明第三方面提供一种热成像设备，包括：一个非制冷红外焦平面探测器、一个可见光传感器、第一透镜组、第二透镜组、至少一个处理器、及存储器，所述第一透镜组组装于非制冷红外焦平面探测器，所述第二透镜组组装于所述可见光传感器，
所述非制冷红外焦平面探测器用于采集热成像图像；所述可见光传感器用于采集可见光图像；
所述存储器中存储有从可见光图像映射至热成像图像的映射关系的映射关系表、及可被处理器调用的程序；
所述处理器执行所述程序时，实现如下步骤：
读取所述存储器中的映射关系表中的映射关系；
按照所述映射关系将可见光图像中被选中的目标对象的选中特征从所述可见光图像中映射至热成像图像；
依据指定偏移参数调整已映射至热成像图像的选中特征在所述热成像图像中的位置，以使所述选中特征选中所述热成像图像中的所述目标对象；
对所述热成像图像中所述选中特征选中的目标对象进行测温。
本发明实施例的有益效果：通过映射关系将可见光图像中被选中的目标对象的选中特征映射到热成像图像中，再按照指定偏移参数调节已映射在热成像图像中的选中特征的位置，使得选中特征选中热成像图像中的对应目标对象，从而可针对热成像图像中的该目标对象进行测温，不需要直接从热成像图像中选定目标对象，由于可见光图像的分辨率更高，因而选定目标对象更容易且准确，克服了因热成像图像中目标对象模糊而可能导致的选中形状相似的对象进行测温的问题。
附图说明
图1为一示例性实施例提供的测温处理方法的流程示意图；
图2为一示例性实施例提供的测温处理装置的结构框图；
图3为一示例性实施例提供的可见光水平视场角和热成像水平视场角的关系示意图；
图4为另一示例性实施例提供的测温处理方法的流程示意图；
图5为另一示例性实施例提供的测温处理装置的结构框图；
图6为一示例性实施例提供的热成像设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明实施例中，测温处理方法的执行主体可以为图像设备，所使用的一些参数是预先设置好的，可以存储在图像设备中，例如存储在图像设备的非易失性存储器上，在使用时调用即可，下面对本发明实施例中如何确定这些参数的方式进行一下说明，但不作为限制。可以理解，确定这些参数同样是需要付出创造性劳动的。
预配置的偏移参数，可以通过以下步骤确定：
通过指定坐标映射关系将可见光图像中按照指定缩放比例参数缩放的训练对象映射至热成像图像后，调整已映射至热成像图像中的该训练对象的位置，以使映射在热成像图像中的训练对象和所述热成像图像已有的训练对象的位置重合，将位置调整量确定为所述预配置的偏移参数。
指定微调偏移量，可以通过以下步骤确定：
通过指定坐标映射关系将可见光图像中按照指定缩放比例参数缩放的训练对象映射至热成像图像，并按照预配置的偏移参数调整已映射至热成像图像中的训练对象的位置后，对已映射至热成像图像中的训练对象当前存在的位置偏移进行微调，以使映射在热成像图像中的训练对象和所述热成像图像已有的训练对象的位置重合，将当前位置微调量确定为所述指定微调偏移量。
指定缩放比例参数，可以通过以下步骤确定：
比对可见光图像中的训练对象和热成像图像中已有的训练对象的尺寸，调整可见光图像的缩放比例以使可见光图像中的训练对象和热成像图像中已有的训练对象的尺寸相同，将比例调节量确定为所述指定缩放比例参数。
其中，预配置的偏移参数和指定缩放比例参数可以在出厂时一同进行配置，下面具体来说预配置的偏移参数和指定缩放比例参数的配置过程：
先将图像设备设置在离配置用物体的距离为最佳观测距离的位置处；
接着，通过图像设备的可见光通道和热成像图像通道分别采集图像，得到的可见光图像和热成像图像中会包含配置用物体的成像对象，在此简称为训练对象；
接着，比对可见光图像中的训练对象和热成像图像中已有的训练对象的尺寸，将可见光图像进行缩放，直至两者的训练对象的尺寸相同，尺寸相同即所包含的像素数量一致，相应的缩放量确定为指定缩放比例参数；可以理解，可以利用实时采集的多帧可见光图像和对应热成像图像来完成指定缩放比例参数的确定，当然也可以通过一帧可见光图像和对应热成像图像确定；
在指定缩放比例参数确定之后，将可见光图像按照指定缩放比例进行缩放，通过指定坐标映射关系将可见光图像中按照指定缩放比例参数缩放的训练对象映射至热成像图像；指定坐标映射关系同样是预配置的，是缩放后的可见光图像到热成像图像的预测坐标映射关系，映射在热成像图像中的训练对象与其已有的训练对象之间可能存在偏差；
接着，比对缩放后并已映射至热成像图像中的训练对象和热成像图像中已有的训练对象的位置，调整映射在热成像图像中的训练对象和热成像图像已有的训练对象的位置重合，将位置调整量确定为预配置的偏移参数。可以理解，调节位置偏移同样可以是利用实时采集的多帧可见光图像和热成像图像来完成的。
当然，在进行尺寸比对及缩放时，所利用的也可以是可见光图像的训练对象和热成像图像中已有的训练对象进行截取所得的图像区域(简称截图，所截取的图像区域可以通过选定训练对象上若干特征点连线而确定)，可以根据两个截图中的像素数量可确定可见光图像的缩放比例，使得可见光图像缩放后，两个截图的像素数量一致，也就是两者的训练对象所包含的像素数量一致。
同样的训练对象占用同样的像素数量，则将可见光图像的训练对象映射到热成像图像时，可以通过比对训练对象是否重合，进行水平和垂直方向的偏移进行调整，使得两个训练对象对准，来确定预配置的偏移参数。
将图像设备设置在离配置用物体的距离为最佳观测距离的位置处。最佳观测距离可以是图像设备的常用观测距离，用常用观测距离下的预配置的偏移参数和指定缩放比例参数，解决了每个预置点均需要配准的问题，节省了操作时间，提高效率。
可以理解，在预配置的偏移参数和指定缩放比例参数的配置过程中采集的图像，与测温处理过程中的图像是不同时刻采集的图像。
不同物距的情况下，可见光图像映射到对应的热成像图像的映射关系会存在偏移，因而在预配置的偏移参数的基础上，还需要进行实际偏移量的微调。
指定微调偏移量可以在图像设备置于用于对目标物体进行测温处理的预置点时训练确定，此时预配置的偏移参数和指定缩放比例参数已经预置好，下面具体来说指定微调偏移量的训练过程：
针对目标物体，通过图像设备采集可见光图像和对应的热成像图像，两者中包含目标物体分别成像所得的训练对象，其中，图像设备相对目标物体的位置关系(物距)可以在图像设备进行测温处理时沿用，当然目标物体是可以置换为其他物体的；
接着，将可见光图像按照指定缩放比例进行缩放，通过指定坐标映射关系将可见光图像中按照指定缩放比例参数缩放的训练对象映射至热成像图像；
接着，按照预配置的偏移参数调整已映射至热成像图像中的训练对象的位置，完成了位置偏移的粗调，需要对已映射至热成像图像中的训练对象当前存在的位置偏移进行微调；
接着，对已映射至热成像图像中的训练对象位置偏移进行粗调后，比对已映射至热成像图像中的训练对象和热成像图像中已有的训练对象的位置，调整已映射至热成像图像中的训练对象使其与所述热成像图像已有的所述训练对象的位置重合，将当前位置微调量确定为指定微调偏移量。
在不同物距场景下，确定坐标映射关系时考虑了当前偏移量，解决了不同物距下偏移量不同而导致配准参数不能够准确配准的问题。由于当前偏移量的数据是可以保存的，因而在后续相同预置点场景的测温过程中可以通过调用当前偏移量进行，不需要重复进行当前偏移量确定的步骤。
可以理解，在指定微调偏移量的训练过程中采集的图像，与测温处理过程中的图像、或者预配置的偏移参数和指定缩放比例参数的配置过程中采集的图像是不同时刻采集的图像。
可以将预配置的偏移参数和指定微调偏移量分别存储在图像设备中，当后续需要进行测温处理时，则调用预配置的偏移参数和指定微调偏移量进行叠加后作为指定偏移参数使用；或者，可以先将预配置的偏移参数和指定微调偏移量进行叠加后作为指定偏移参数存储在图像设备中，后续直接调用使用。
偏移可以包括图像的水平偏移和/或垂直偏移。预配置的偏移参数和指定微调偏移量进行叠加或者说求和是有方向性的，是矢量求和，例如水平方向上具有正负两个方向，而垂直方向上也具有正负两个方向。
下面对本发明实施例的测温处理方法进行更具体的描述，但不应以此为限。
在一个实施例中，参看图1，一种测温处理方法可以包括：
S100：确定从可见光图像映射至热成像图像的映射关系，所述可见光图像为所述设备通过可见光通道采集的，所述热成像图像为所述设备通过热成像通道采集的；
S200：按照所述映射关系将可见光图像中被选中的目标对象的选中特征从所述可见光图像中映射至热成像图像；
S300：依据指定偏移参数调整已映射至热成像图像的选中特征在所述热成像图像中的位置，以使所述选中特征选中所述热成像图像中的所述目标对象；
S400：对所述热成像图像中所述选中特征选中的目标对象进行测温。
本发明实施例的测温处理方法可应用于图像设备，该图像设备包括可见光通道和热成像通道，两者可针对相同的对象进行图像采集，相应得到可见光图像和热成像图像。
具体的，图像设备可以是热成像设备，可包括：一个非制冷红外焦平面探测器、一个可见光传感器、第一透镜组、第二透镜组、至少一个处理器、及存储器，所述第一透镜组组装于非制冷红外焦平面探测器，所述第二透镜组组装于所述可见光传感器，所述非制冷红外焦平面探测器用于采集热成像图像；所述可见光传感器用于采集可见光图像；存储器中存储有从可见光图像映射至热成像图像的映射关系的映射关系表、及可被处理器调用的程序，所述处理器执行所述程序时，实现步骤S100～S400。由于非制冷红外焦平面探测器和可见光传感器在物理位置上靠的很近，通常来说，可见光通道采集的可见光图像和热成像通道采集的热成像图像中会有相同的对象。
步骤S100中，确定从可见光图像映射至热成像图像的映射关系。其中，可见光图像为图像设备通过可见光通道采集的，热成像图像为图像设备通过热成像通道采集的。
图像设备通过可见光通道和热成像通道采集得到的可见光图像和热成像图像中，存在同一目标对象，当然可能存在的情况是，目标对象在可见光图像中的显示是更清晰完整的，而在热成像图像中的显示是模糊残缺的。可见光图像和热成像图像可以是同时刻采集的，当然也可以是在不同时刻采集的，优选在采集可见光图像和热成像图像时，目标对象对应的目标物体与图像设备的位置关系保持不变。
所确定的映射关系可以将可见光图像映射到热成像图像中即可，可以是可见光图像的成像坐标系到热成像图像的成像坐标系之间的转换关系，具体确定方式不限，能够实现将可见光图像映射到热成像图像，也就能够实现将可见光图像中的图像特征(成像对象或者选中特征等)映射到热成像图像中。
接着执行步骤S200，按照所述映射关系将可见光图像中被选中的目标对象的选中特征从所述可见光图像中映射至热成像图像。
由于可见光图像的分辨率相较于热成像图像来说是更高的，因而在可见光图像中选定目标对象是更为容易的，且不容易选错。直接在可见光通道中配置用来选中可见光图像中的目标对象的选中特征，而非直接在热成像通道中配置，可以防止选错对象。
选中特征在图像中的形状可以是框状，例如目标对象为一个开关对象时，选中特征可以将可见光图像中的开关对象框选出来，而框选形状不需要严格与开关的形状一致，只要能明显选定该开关对象即可。或者，选中特征还可以是点状等等，具体并不限制，只要能够选中需要的目标对象即可。在可见光通道采集的可见光图像中配置选中特征，但是测温仍然在热成像通道中来完成。
选中特征可以是可对可见光图像中的目标对象进行选定的标记，选定可以是通过人工识别或者图像识别的方式来进行选定，可以呈现在可见光图像中，选定后在可见光图像中的位置是确定的，可根据映射关系将其映射到热成像图像中，同样的，热成像图像中同样可以呈现映射后的选中特征，机器能够识别并定位相应的位置。
接着执行步骤S300，依据指定偏移参数调整已映射至热成像图像的选中特征在所述热成像图像中的位置，以使所述选中特征选中所述热成像图像中的所述目标对象。
指定偏移参数可以从图像设备中调用获得，其指示了已映射至热成像图像的对象与热成像图像中对应已有对象之间的偏移情况，因而当可见光图像中的选中特征映射至热成像图像中后，按照指定偏移参数调整已映射至热成像图像的选中特征，便可将已映射至热成像图像的选中特征调整至选中热成像图像中的目标对象的位置上。
接着执行步骤S400，对所述热成像图像中所述选中特征选中的目标对象进行测温。
由于已映射至热成像图像的选中特征已经选中热成像图像中的目标对象，因而可以对该目标对象进行测温。测温方式可以是热成像通道中已有的测温方式，在此不再赘述。
通过映射关系将可见光图像中被选中的目标对象的选中特征从可见光图像中映射到热成像图像中，再按照指定偏移参数调节已映射在热成像图像中的选中特征的位置，使得选中特征选中热成像图像中的对应目标对象，从而可针对热成像图像中的该目标对象进行测温，不需要直接从热成像图像中选定目标对象，由于可见光图像的分辨率更高，因而选定目标对象更容易且准确，克服了因热成像图像中目标对象模糊而可能导致的选中形状相似的对象进行测温的问题。
在一个实施例中，上述方法流程可由测温处理装置10执行，如图2所示，图像处理装置10主要包含4个模块：映射关系确定模块100、选中特征映射模块200、位置偏移调整模块300和目标对象测温模块400。第映射关系确定模块100用于执行上述步骤S100，选中特征映射模块200用于执行上述步骤S200，位置偏移调整模块300用于执行上述步骤S300，目标对象测温模块400用于执行上述步骤S400。
在一个实施例中，所述映射关系至少包括：可见光图像映射至热成像图像的指定坐标映射关系，及指定缩放比例参数。
所述步骤S200中的所述按照映射关系将可见光图像中被选中的目标对象的选中特征从可见光图像中映射至热成像图像包括以下步骤：
S201：依据指定缩放比例参数对所述可见光图像进行缩放，以使所述可见光图像中被缩放后的目标对象与映射至热成像图像中并经位置调整后的选中特征所选中的所述热成像图像中的目标对象具有相同尺寸；
S202：依据所述指定坐标映射关系将所述可见光图像中的所述被缩放后的目标对象的选中特征映射至所述热成像图像。
步骤S201中，指定缩放比例参数是用于指示可见光图像的对象调整至与热成像图像中的对应对象尺寸相同的缩放比例参数，依据指定缩放比例参数对可见光图像进行缩放，相应的也就是对可见光图像中的目标对象及选中特征进行了缩放，使得可见光图像中被缩放后的目标对象与映射至热成像图像中并经位置调整后的选中特征所选中的所述热成像图像中的目标对象具有相同尺寸。
例如，指定缩放比例参数指示需要将可将光图像缩小m倍，同样会将目标对象及选中特征缩小m倍，当然，缩放过程中是以指定点为参考点进行的，缩放前后的可见光图像相对该参考点的位置关系都是已知的。具体可参看前述关于指定缩放比例参数的内容，在此不再赘述。
接着执行步骤S202，可见光图像被缩放后，依据所述指定坐标映射关系将被缩放的目标对象的选中特征映射至热成像图像。将缩放后的选中特征映射至热成像图像中，则保证了已映射至热成像图像的选中特征与热成像图像中已有的选中特征的尺寸一致性，避免选中特征在热成像图像中选中其他的对象或者目标对象的局部未被选中的情况。
在完成步骤S202的映射之后，便可依据指定偏移参数调整已映射至热成像图像的选中特征在热成像图像中的位置。例如指定偏移参数指示已映射至热成像图像的对象应水平向右平移n个像素点，则将已映射至热成像图像中的选中特征水平向右平移n个像素点。
可选的，指定偏移参数为预配置的偏移参数或者为预配置的偏移参数与已训练得到的指定微调偏移量之和。
预配置的偏移参数可以是出厂时配置的，在进行测温处理时，若场景与配准参数的配准场景一致，是可以直接采用预配置的偏移参数来调整可见光图像映射至热成像图像的位置偏移。
但是，不同物距场景下，映射后所需的水平和垂直像素偏移量是不同的，因而基于不同的物距场景，可以采用预配置的偏移参数与已训练得到的指定微调偏移量之和来调整可见光图像映射至热成像图像的位置偏移，指定微调偏移量指示了当前物距场景下的可见光图像映射至热成像图像中并按照预配置的偏移参数进行位置调整后的所需微调的偏移量，使得已映射至热成像图像中的选中特征对目标对象的选中更准确。
具体可参看前述关于预配置的偏移参数、指定微调偏移量及指定偏移参数的内容，在此不再赘述。
参看图3，由于可见光通道和热成像通道的光轴不是完全重合，非制冷红外焦平面探测器和可见光传感器在水平距离上有一定距离D，导致了在可见光通道和热成像通道的光轴之间及热成像通道的光轴右侧出现了“真空区域”，也就是两个通道未全部观测到的距离，如图3中的距离X和距离Y：
Y＝D*sin(90°-b/2)*sin(90°-a/2)/sin(a/2+b/2)；
X＝D*tan(90°-b/2)*tan(90°-a/2)/(tan((90°-b/2)-tan((90°-a/2))；
其中，a为可见光通道水平视场角，b为热成像通道水平视场角。
为了使得可见光视场角覆盖热成像视场角，但同时可见光传感器看到的目标保持尽可能多像素，在一个实施例中，可见光通道的视场角大于所述热成像通道的视场角。换言之，在测温处理过程中，采集可见光图像和热成像图像时，将可见光通道的视场角调整至大于热成像通道的视场角。
不将可见光通道的视场角调节为等于热成像通道的视场角的原因是，根据图3的图例分析，可知可见光通道与热成像通道的光轴相差一定的距离，假使将两者的视场角(垂直视场角和水平视场角是关联的)设置为相等，则两个通道的水平视场角大小相同而又错开，导致“真空区域”很大，因而将可见光通道的视场角调节至大于热成像通道的视场角。
由于可见光图像的分辨率为1080P(在逐行扫描下达到1920×1080的分辨率)，热成像图像的分辨率是384*288或者640*512，可见，两者的水平视场角与垂直视场角比不一致。因而将可见光通道的垂直视场角调节至大于热成像视场角即可。可见光通道通常可变倍的，可以实现将可见光的视场角调节到比热成像大，保证可见光通道采集的可见光图像中包含了热成像通道采集的热成像图像中的对象。
在一个实施例中，参看图4，测温处理方法还可以包括下述步骤：
S500：将测出的目标对象的温度数据显示在所述可见光图像中。
步骤S500可以在步骤S400之后执行，已映射在热成像图像中的选中特征在热成像图像中选出目标对象后，便可针对该目标对象进行测温计算，得到相应的温度数据，将温度数据显示在可见光图像中，实现可见光图像中显示温度数据。可以将测出的目标对象的温度数据与用于选中目标对象的选中特征一并显示在所述可见光图像中，使得温度数据与选中特征所选中的目标对象可对应呈现在可见光图像中，实现温度显示，更便于用户观察。
在一个实施例中，参看图5，测温处理装置10还可以包括温度数据显示模块500，上述步骤S500可通过温度数据显示模块500来实现。
下面对本发明实施例的测温处理装置进行描述，但不应以此为限。
在一个实施例中，参看图2，一种测温处理装置10，应用于图像设备，该装置10可以包括：
映射关系确定模块100，用于确定从可见光图像映射至热成像图像的映射关系，所述可见光图像为所述设备通过可见光通道采集的，所述热成像图像为所述设备通过热成像通道采集的；
选中特征映射模块200，用于按照所述映射关系将可见光图像中被选中的目标对象的选中特征从所述可见光图像中映射至热成像图像；
位置偏移调整模块300，用于依据指定偏移参数调整已映射至热成像图像的选中特征在所述热成像图像中的位置，以使所述选中特征选中所述热成像图像中的所述目标对象；
目标对象测温模块400，用于对所述热成像图像中所述选中特征选中的目标对象进行测温。
在一个实施例中，所述映射关系至少包括：可见光图像映射至热成像图像的指定坐标映射关系，指定缩放比例参数；
所述选中特征映射模块200包括：
比例缩放单元，用于依据指定缩放比例参数对所述可见光图像进行缩放，以使所述可见光图像中被缩放后的目标对象与映射至热成像图像中并经位置调整后的选中特征所选中的所述热成像图像中的目标对象具有相同尺寸；
坐标映射单元，用于依据所述指定坐标映射关系将所述可见光图像中的所述被缩放后的目标对象的选中特征映射至所述热成像图像。
在一个实施例中，所述指定偏移参数为预配置的偏移参数或者为预配置的偏移参数与已训练得到的指定微调偏移量之和。
在一个实施例中，所述可见光通道的视场角大于所述热成像通道的视场角。
在一个实施例中，参看图5，该装置10还可以包括：
温度数据显示模块500，用于将测出的目标对象的温度数据显示在所述可见光图像中。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。
本发明还提供一种热成像设备，包括：一个非制冷红外焦平面探测器、一个可见光传感器、第一透镜组、第二透镜组、至少一个处理器、及存储器，所述第一透镜组组装于非制冷红外焦平面探测器，所述第二透镜组组装于所述可见光传感器，
所述非制冷红外焦平面探测器用于采集热成像图像；所述可见光传感器用于采集可见光图像；
所述存储器中存储有从可见光图像映射至热成像图像的映射关系的映射关系表、及可被处理器调用的程序；
所述处理器执行所述程序时，实现如下步骤：
读取所述存储器中的映射关系表中的映射关系；
按照所述映射关系将可见光图像中被选中的目标对象的选中特征从所述可见光图像中映射至热成像图像；
依据指定偏移参数调整已映射至热成像图像的选中特征在所述热成像图像中的位置，以使所述选中特征选中所述热成像图像中的所述目标对象；
对所述热成像图像中所述选中特征选中的目标对象进行测温。
本发明测温处理装置的实施例可以应用在热成像设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在热成像设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，图6是本发明根据一示例性实施例示出的测温处理装置10所在电子设备的一种硬件结构图，除了图6所示的处理器510、内存530、接口520、以及非易失性存储器540之外，实施例中装置10所在的热成像设备通常根据该电子设备的实际功能，还可以包括其他硬件，例如一个非制冷红外焦平面探测器、一个可见光传感器、第一透镜组、第二透镜组等，对此不再赘述。
本发明还提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中任意一项所述的测温处理方法。
本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (7)

1.一种测温处理方法，其特征在于，应用于图像设备，包括：
确定从可见光图像映射至热成像图像的映射关系，所述可见光图像为所述设备通过可见光通道采集的，所述热成像图像为所述设备通过热成像通道采集的；
按照所述映射关系将可见光图像中被选中的目标对象的选中特征从所述可见光图像中映射至热成像图像；
依据指定偏移参数调整已映射至热成像图像的选中特征在所述热成像图像中的位置，以使所述选中特征选中所述热成像图像中的所述目标对象；
对所述热成像图像中所述选中特征选中的目标对象进行测温。
2.如权利要求1所述的测温处理方法，其特征在于，所述映射关系至少包括：可见光图像映射至热成像图像的指定坐标映射关系，指定缩放比例参数；
所述按照所述映射关系将可见光图像中被选中的目标对象的选中特征从所述可见光图像中映射至热成像图像包括：
依据指定缩放比例参数对所述可见光图像进行缩放，以使所述可见光图像中被缩放后的目标对象与映射至热成像图像中并经位置调整后的选中特征所选中的所述热成像图像中的目标对象具有相同尺寸；
依据所述指定坐标映射关系将所述可见光图像中的所述被缩放后的目标对象的选中特征映射至所述热成像图像。
3.如权利要求1所述的测温处理方法，其特征在于，所述指定偏移参数为预配置的偏移参数或者为预配置的偏移参数与已训练得到的指定微调偏移量之和。
4.如权利要求1所述的测温处理方法，其特征在于，所述可见光通道的视场角大于所述热成像通道的视场角。
5.如权利要求1所述的测温处理方法，其特征在于，该方法还包括：
将测出的目标对象的温度数据显示在所述可见光图像中。
6.一种测温处理装置，其特征在于，应用于图像设备，包括：
映射关系确定模块，用于确定从可见光图像映射至热成像图像的映射关系，所述可见光图像为所述设备通过可见光通道采集的，所述热成像图像为所述设备通过热成像通道采集的；
选中特征映射模块，用于按照所述映射关系将可见光图像中被选中的目标对象的选中特征从所述可见光图像中映射至热成像图像；
位置偏移调整模块，用于依据指定偏移参数调整已映射至热成像图像的选中特征在所述热成像图像中的位置，以使所述选中特征选中所述热成像图像中的所述目标对象；
目标对象测温模块，用于对所述热成像图像中所述选中特征选中的目标对象进行测温。
7.一种热成像设备，包括：一个非制冷红外焦平面探测器、一个可见光传感器、第一透镜组、第二透镜组、至少一个处理器、及存储器，所述第一透镜组组装于非制冷红外焦平面探测器，所述第二透镜组组装于所述可见光传感器，其特征在于，
所述非制冷红外焦平面探测器用于采集热成像图像；所述可见光传感器用于采集可见光图像；
所述存储器中存储有从可见光图像映射至热成像图像的映射关系的映射关系表、及可被处理器调用的程序；
所述处理器执行所述程序时，实现如下步骤：
读取所述存储器中的映射关系表中的映射关系；
按照所述映射关系将可见光图像中被选中的目标对象的选中特征从所述可见光图像中映射至热成像图像；
依据指定偏移参数调整已映射至热成像图像的选中特征在所述热成像图像中的位置，以使所述选中特征选中所述热成像图像中的所述目标对象；
对所述热成像图像中所述选中特征选中的目标对象进行测温。
CN201810848253.2A 2018-07-27 2018-07-27 一种测温处理方法、装置及热成像设备 Pending CN110765999A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810848253.2A CN110765999A (zh) 2018-07-27 2018-07-27 一种测温处理方法、装置及热成像设备
PCT/CN2019/096261 WO2020020021A1 (zh) 2018-07-27 2019-07-17 测温处理方法、装置及热成像设备
EP19840565.6A EP3800451A4 (en) 2018-07-27 2019-07-17 METHOD AND DEVICE FOR TEMPERATURE MEASUREMENT PROCESSING AND THERMAL IMAGING DEVICE
US17/136,888 US20210120194A1 (en) 2018-07-27 2020-12-29 Temperature measurement processing method and apparatus, and thermal imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810848253.2A CN110765999A (zh) 2018-07-27 2018-07-27 一种测温处理方法、装置及热成像设备

Publications (1)

Publication Number Publication Date
CN110765999A true CN110765999A (zh) 2020-02-07

Family

ID=69180338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810848253.2A Pending CN110765999A (zh) 2018-07-27 2018-07-27 一种测温处理方法、装置及热成像设备

Country Status (4)

Country Link
US (1) US20210120194A1 (zh)
EP (1) EP3800451A4 (zh)
CN (1) CN110765999A (zh)
WO (1) WO2020020021A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111358443A (zh) * 2020-03-06 2020-07-03 深圳市爱深盈通信息技术有限公司 体温监测方法及装置
CN111784781A (zh) * 2020-06-28 2020-10-16 杭州海康微影传感科技有限公司 一种参数确定方法、装置、设备及系统
CN111982304A (zh) * 2020-08-25 2020-11-24 南方电网调峰调频发电有限公司 一种红外测温补偿方法和视频测温复合传感器
CN112163519A (zh) * 2020-09-28 2021-01-01 浙江大华技术股份有限公司 图像映射处理方法、装置、存储介质及电子装置
CN113449127A (zh) * 2020-03-27 2021-09-28 杭州海康微影传感科技有限公司 测温文件生成方法、显示方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327290B (zh) * 2021-06-07 2022-11-11 深圳市商汤科技有限公司 双目模组标定方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180039845A1 (en) * 2016-08-08 2018-02-08 International Business Machines Corporation Method and apparatus to identify a live face image using a thermal radiation sensor and a visual radiation sensor
CN107764402A (zh) * 2017-09-25 2018-03-06 深圳市朗驰欣创科技股份有限公司 一种基于红外目标探测的可见光测温方法
CN107976257A (zh) * 2016-10-21 2018-05-01 杭州海康威视数字技术股份有限公司 一种红外热成像仪的图像显示方法、装置及红外热成像仪

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10044946B2 (en) * 2009-06-03 2018-08-07 Flir Systems Ab Facilitating analysis and interpretation of associated visible light and infrared (IR) image information
CN102982518A (zh) * 2012-11-06 2013-03-20 扬州万方电子技术有限责任公司 红外与可见光动态图像的融合方法及装置
JP2015194367A (ja) * 2014-03-31 2015-11-05 株式会社電子技術工房 温度計測装置およびその計測結果の表示処理用のプログラムならびに温度計測システム
CN104359560A (zh) * 2014-12-04 2015-02-18 山东神戎电子股份有限公司 基于步进电机的双光谱观测仪视场同步控制系统及方法
US9684963B2 (en) * 2014-12-31 2017-06-20 Flir Systems, Inc. Systems and methods for dynamic registration of multimodal images
CN107179494B (zh) * 2017-05-27 2023-06-09 浙江万里学院 一种通用电路板板上器件故障检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180039845A1 (en) * 2016-08-08 2018-02-08 International Business Machines Corporation Method and apparatus to identify a live face image using a thermal radiation sensor and a visual radiation sensor
CN107976257A (zh) * 2016-10-21 2018-05-01 杭州海康威视数字技术股份有限公司 一种红外热成像仪的图像显示方法、装置及红外热成像仪
CN107764402A (zh) * 2017-09-25 2018-03-06 深圳市朗驰欣创科技股份有限公司 一种基于红外目标探测的可见光测温方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111358443A (zh) * 2020-03-06 2020-07-03 深圳市爱深盈通信息技术有限公司 体温监测方法及装置
CN113449127A (zh) * 2020-03-27 2021-09-28 杭州海康微影传感科技有限公司 测温文件生成方法、显示方法及装置
CN111784781A (zh) * 2020-06-28 2020-10-16 杭州海康微影传感科技有限公司 一种参数确定方法、装置、设备及系统
CN111982304A (zh) * 2020-08-25 2020-11-24 南方电网调峰调频发电有限公司 一种红外测温补偿方法和视频测温复合传感器
CN112163519A (zh) * 2020-09-28 2021-01-01 浙江大华技术股份有限公司 图像映射处理方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
US20210120194A1 (en) 2021-04-22
WO2020020021A1 (zh) 2020-01-30
EP3800451A4 (en) 2021-07-28
EP3800451A1 (en) 2021-04-07

Similar Documents

Publication Publication Date Title
CN110765999A (zh) 一种测温处理方法、装置及热成像设备
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US8107722B2 (en) System and method for automatic stereo measurement of a point of interest in a scene
Habib et al. Automatic calibration of low-cost digital cameras
US7409152B2 (en) Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method
CN103152526A (zh) 图像处理装置以及图像处理方法
SG191452A1 (en) Automatic calibration method and apparatus
TW201335888A (zh) Ａｒ影像處理裝置及方法
CN109171817B (zh) 三维乳腺超声扫描方法及超声扫描系统
CN112399033B (zh) 摄像机组件和监控摄像机
CN111108742A (zh) 信息处理装置、信息处理方法、程序以及可互换透镜
CN110807431A (zh) 对象定位方法、装置、电子设备及存储介质
CN109118525A (zh) 一种双波段红外图像空域配准方法
CN111105462B (zh) 位姿确定方法及装置、增强现实设备和可读存储介质
JP6162971B2 (ja) 画像処理装置、画像処理方法、撮像装置及びその制御方法
KR102156998B1 (ko) 비디오 시퀀스에서 모션을 감지하기 위한 방법
RU2579532C2 (ru) Оптико-электронный стереоскопический дальномер
CN108510537B (zh) 3d建模方法和装置
JP2005275789A (ja) 三次元構造抽出方法
JP4985213B2 (ja) ３次元形状計測方法および装置ならびにプログラム
JP6292785B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20200196963A1 (en) Measuring instrument attachment assist device and measuring instrument attachment assist method
US11282280B2 (en) Method and system for node vectorisation
Kacperski et al. Calibration of vision systems operating in separate coordinate systems
Peipe et al. Photogrammetric camera calibration software-a comparison

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200702

Address after: 311501 building A1, No. 299, Qiushi Road, Tonglu Economic Development Zone, Tonglu County, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Haikang Micro Shadow Sensing Technology Co.,Ltd.

Address before: Hangzhou City, Zhejiang province 310051 Binjiang District Qianmo Road No. 555

Applicant before: Hangzhou Hikvision Digital Technology Co.,Ltd.

TA01 Transfer of patent application right