CN113642404A - 目标识别检测关联方法、设备、介质及计算机程序产品 - Google Patents

目标识别检测关联方法、设备、介质及计算机程序产品 Download PDF

Info

Publication number
CN113642404A
CN113642404A CN202110792782.7A CN202110792782A CN113642404A CN 113642404 A CN113642404 A CN 113642404A CN 202110792782 A CN202110792782 A CN 202110792782A CN 113642404 A CN113642404 A CN 113642404A
Authority
CN
China
Prior art keywords
target
detection
association
target identification
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110792782.7A
Other languages
English (en)
Inventor
朱进洲
廖成
王心醉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202110792782.7A priority Critical patent/CN113642404A/zh
Publication of CN113642404A publication Critical patent/CN113642404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种目标识别检测关联方法、设备、介质及计算机程序产品，所述目标识别检测关联方法包括：获取多个相机拍摄的区域视频帧，对各所述区域视频帧进行目标识别检测，获得各所述区域视频帧分别对应的目标识别检测结果，根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果。本申请解决了不同相机对目标拍摄的图像对应的目标识别检测结果之间进行关联效率低的技术问题。

Description

目标识别检测关联方法、设备、介质及计算机程序产品
技术领域
本申请涉及图像处理技术领域，尤其涉及一种目标识别检测关联方法、设备、介质及计算机程序产品。
背景技术
随着计算机技术的发展，多目相机的应用越来越广泛。当前，在多目相机的应用中，需要进行标定相机间的姿态和位置关系，目前，通常是使用棋盘格技术完成标定，进而实现相机间的姿态和位置的同步，进而可将不同相机对目标拍摄的图像对应的目标识别检测结果进行关联，然而在一些无法采用棋盘格技术完成标定的场景下，通常是需要采用人工手动进行标注以完成标定，但是，由于不同批次生产的相机在装配环节往往存在差异度，使用人工手动进行标注每批相机操作繁琐，工作量较大，导致同步相机间的姿态和位置关系的效率较低，进而导致在不同相机对目标拍摄的图像对应的目标识别检测结果之间进行关联的效率较低。
发明内容
本申请的主要目的在于提供一种目标识别检测关联方法、设备、介质及计算机程序产品，旨在解决现有技术中不同相机对目标拍摄的图像对应的目标识别检测结果之间进行关联效率低的技术问题。
为实现上述目的，本申请提供一种目标识别检测关联方法，所述目标识别检测关联方法包括：
获取多个相机拍摄的区域视频帧；
对各所述区域视频帧进行目标识别检测，获得各所述区域视频帧分别对应的目标识别检测结果；
根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果。
本申请还提供一种目标识别检测关联装置，所述目标识别检测关联装置为虚拟装置，所述目标识别检测关联装置包括：
获取模块，用于获取多个相机拍摄的区域视频帧；
检测模块，用于对各所述区域视频帧进行目标识别检测，获得各所述区域视频帧分别对应的目标识别检测结果；
关联模块，用于根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果。
本申请还提供一种目标识别检测关联设备，所述目标识别检测关联设备为实体设备，所述目标识别检测关联设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述目标识别检测关联方法的程序，所述目标识别检测关联方法的程序被处理器执行时可实现如上述的目标识别检测关联方法的步骤。
本申请还提供一种介质，所述介质为可读存储介质，所述可读存储介质上存储有实现目标识别检测关联方法的程序，所述目标识别检测关联方法的程序被处理器执行时实现如上述的目标识别检测关联方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的目标识别检测关联方法的步骤。
本申请提供了一种目标识别检测关联方法、设备、介质及计算机程序产品，相比于现有技术采用的基于用人工手动进行标注完成标定以实现多个相机相机间的姿态和位置的同步，以进行不同相机拍摄图像的目标识别检测结果的关联的技术手段，本申请首先获取多个相机拍摄的区域视频帧，进而对各所述区域视频帧进行目标识别检测，获得各所述区域视频帧分别对应的目标识别检测结果，进一步地，根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果，实现了基于所述映射模型，将所述多个相机分别对应的目标识别检测结果自动进行目标关联，进而对于多个相机，即可基于所述映射模型，将多个相机拍摄图像对应的目标识别检测结果进行自动关联，无需人工手动操作标注以完成相机间姿态和位置的同步，以进行不同相机拍摄图像的目标识别检测结果的关联，克服了现有技术中使用人工手动进行标注每批相机操作繁琐，工作量较大，导致同步多个相机之间的姿态和位置关系的效率较低，进而导致不同相机对目标拍摄的图像对应的目标识别检测结果之间进行关联的效率较低的技术缺陷，从而提高了不同相机对目标拍摄的图像对应的目标识别检测结果之间进行关联的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请目标识别检测关联方法第一实施例的流程示意图；
图2为本申请目标识别检测关联方法第二实施例的流程示意图；
图3为本申请目标识别检测关联方法第三实施例的流程示意图；
图4为本申请实施例中目标识别检测关联方法涉及的硬件运行环境的设备结构示意图；
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种目标识别检测关联方法，在本申请目标识别检测关联方法的第一实施例中，参照图1，所述目标识别检测关联方法包括：
步骤S10，获取多个相机拍摄的区域视频帧；
在本实施例中，需要说明的是，所述多个相机可部署于多目相机中，所述相机可以为热红外相机，也可以为可见光相机。
获取多个相机拍摄的区域视频帧，具体地，获取多个相机对指定拍摄区域所拍摄的的区域视频帧。
步骤S20，对各所述区域视频帧进行目标识别检测，获得各所述区域视频帧分别对应的目标识别检测结果；
在本实施例中，对各所述区域视频帧进行目标识别检测，获得各所述区域视频帧分别对应的目标识别检测结果，具体地，对于每一所述区域视频帧均执行一下步骤：
通过将所述区域视频帧输入目标检测模型，对所述区域视频帧进行目标框选取，获得至少一个候选框区域图像，其中，所述候选框区域图像是可能为所述区域视频帧中的包括检测目标的区域，进而通过将每一所述候选区域图像输入图像分类模型，将每一所述候选区域图像映射为识别检测图像表征，其中，所述识别检测图像表征为表示所述候选框区域图像的分类类别的表征，通过预设激活函数可将所述识别检测图像表征转换为分类标签值，进而将预设分类标签值所对应的识别检测图像表征为目标识别检测图像表征，其中，所述将预设分类标签值可以为人脸类别对应的分类标签值或者非人脸类别对应的分类标签值等，进而获得每一所述区域视频帧分别对应的目标识别检测图像表征作为目标识别检测结果。
步骤S30，根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果。
在本实施例中，根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果，具体地，根据各所述相机之间的映射模型，分别将每一所述目标识别检测图像表征映射为若干图像映射表征，进而基于每一所述目标识别检测图像表征与对应的若干图像映射表征之间的相似度，将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果。
其中，所述目标识别检测结果至少包括一目标识别检测图像表征，
所述根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果的步骤包括：
步骤S31，在各所述相机之间的映射模型中确定每一所述目标识别检测图像表征对应的若干映射模型；
在本实施例中，需要说明的是，一所述目标识别检测图像表征对应一映射模型，各所述相机中每一相机与每一相机之间均存在一映射模型，进而每一所述目标识别检测图像表征均对应若干映射模型。
步骤S32，根据每一所述目标识别检测图像表征对应的若干映射模型，分别将每一所述目标识别检测图像表征映射为若干图像映射表征；
在本实施例中，根据每一所述目标识别检测图像表征对应的若干映射模型，分别将每一所述目标识别检测图像表征映射为若干图像映射表征，具体地，对每一所述目标识别检测图像表征均执行以下步骤：
将所述目标识别检测图像表征分别输入若干映射模型，将所述目标识别检测图像表征映射为若干图像映射表征，其中，一所述目标识别检测图像表征对应的映射模型输出一对应的图像映射表征，例如，假设所述目标识别检测图像表征对应5个映射模型，则依据5个映射模型分别对所述目标识别检测图像表征进行映射，得到5个映射模型分别输出的图像映射表征，最终得到5个图像映射表征。
步骤S33，基于每一所述目标识别检测图像表征与对应的若干图像映射表征之间的相似度，将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果。
在本实施例中，基于每一所述目标识别检测图像表征与对应的若干图像映射表征之间的相似度，将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果，具体地，对于每一所述目标识别检测图像表征均执行以下步骤：
计算所述目标识别检测图像表征与对应的每一图像映射表征之间的相似度，进而在各所述图像映射表征中选取与所述目标识别检测图像表征的相似度最高的表征作为目标图像映射表征，进而将所述目标识别检测图像表征与所述目标图像映射表征对应的其他相机对应的目标识别检测图像表征进行关联，进而获得各所述相机对应的目标识别检测图像表征之间的目标识别检测关联结果。
其中，所述目标识别检测结果至少包括一目标检测区域位置信息和目标识别结果，
所述根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果的步骤包括：
步骤A10，根据各所述相机之间的映射模型和各所述目标检测区域位置信息，确定各所述目标识别检测结果对应的目标框选区域图像之间的目标检测区域对应关系；
在本实施例中，需要说明的是，所述目标检测区域位置信息可以为目标框选区域图像各个顶点的坐标值组成的向量或者矩阵，所述目标对应关系为各所述目标识别检测结果之间的位置映射关系，所述目标框选区域图像为所述目标识别。
根据各所述相机之间的映射模型和各所述目标检测区域位置信息，确定各所述目标识别检测结果对应的目标框选区域图像之间的目标检测区域对应关系，具体地，对于每一所述相机均执行一下步骤：
根据所述相机与其他相机之间的映射模型，其中，每一其他相机与每一所述相机之间均具备一映射模型,将所述相机对应的目标检测区域位置信息分别输入各所述映射模型中，得到所述目标检测区域位置信息在各所述映射模型下对应的位置信息映射结果，进而将每一所述位置信息映射结果与各自对应的映射模型对应的其他相机的目标检测区域位置信息进行一一对比，以判断每一所述位置信息映射结果与各自对应的映射模型对应的其他相机的目标检测区域位置信息是否一致，获得目标对比结果，进而根据所述目标对比结果，确定每一所述相机对应的目标识别检测结果与各其他相机对应的目标识别检测结果之间的目标检测区域对应关系，例如，假设相机A与相机B之间的映射模型为T，相机A对应的目标检测区域位置信息为a，相机B对应的目标检测区域位置信息为b，a经映射模型T映射后，得到位置信息映射结果为a1，进而若a1与b一致，则证明相机A的目标检测区域位置信息a与相机B的目标检测区域位置信息b具备目标检测区域对应关系，若a1与b不一致，则证明相机A的目标检测区域位置信息a与相机B的目标检测区域位置信息b不具备目标检测区域对应关系。
其中，所述根据各所述相机之间的映射模型和各所述目标检测区域位置信息，确定各所述目标识别检测结果对应的目标框选区域图像之间的目标检测区域对应关系的步骤包括：
步骤A11，对各所述目标框选区域图像进行重合度计算，获得重合度计算结果；
在本实施例中，需要说明的是，所述重合度计算为计算所述目标框选区域图像之间的重叠程度的计算方式，包括IOU算法和其他重叠计算等方式，所述区域视频帧中至少包括一目标框选区域图像。
对各所述目标框选区域图像进行重合度计算，获得重合度计算结果，具体地，基于各所述目标检测区域位置信息，在每一所述区域视频帧的目标框选区域图像与其他区域视频帧的目标框选区域图像之间以两两组合的方式进行重合度计算，计算每个组合所对应的交集与并集，根据所述交集与所述并集计算每个组合之间的重合度，即可获得不同区域视频帧之间每两个目标框选区域图像之间的重合度结果，例如，假设所述多个相机包括相机c1和相机c2，其中，将相机c1对应的2个目标框选区域图像记为X1，X2，将相机c2对应的2个目标框选区域图像记为Y1，Y2，并将相机c1对应的2个目标框选区域图像与相机c2对应的2个目标框选区域图像依次进行两两组合，获得四种组合结果，分别为(X1，Y1),(X1，Y2),(X2，Y1),(X2，Y2),利用预设重合度计算公式计算四种组合结果对应的重合度，获得X1与Y1，Y2之间的重合度结果，以及X2与Y1，Y2之间的重合度结果，其中，在一种可实施的方式中，计算重合度的计算公式如下所示：
Figure BDA0003160520410000071
其中，IOU为所述重合度结果，X为所述区域视频帧对应的目标框选区域图像，Y为所述其他区域视频帧对应的目标框选区域图像。
步骤A12，基于所述重合度计算结果和所述初始检测区域对应关系，对各所述目标框选区域图像进行关联匹配，获得所述目标检测区域对应关系。
在本实施例中，基于所述重合度计算结果和所述初始检测区域对应关系，对各所述目标框选区域图像进行关联匹配，获得所述目标检测区域对应关系，具体地，基于各所述重合度结果，通过预设匹配算法对各所述区域视频帧之间的目标框选区域图像进行匹配，获得各所述目标框选区域图像分别对应的目标识别检测关联结果，其中，所述预设匹配算法包括匈牙利匹配算法和立体匹配算法等算法，例如，将相机c1对应的3个目标框选区域图像记为X1，X2，X3，将相机c2对应的3个目标框选区域图像记为Y1，Y2，Y3，在通过IOU计算重合度后，获得的重合度结果为X1与Y1，Y2存在对应关系，X2与Y2，Y3存在对应关系，X3与Y2，Y3存在对应关系,进而通过匈牙利匹配算法，将相机c1中的X1，X2，X3，与相机c2中的Y1，Y2，Y3进行一一匹配关联，即可获得X1关联Y1，X2关联Y2，X3关联Y3对应的目标识别检测关联结果，实现了多个相机之间的多个目标框选区域图像进行一一关联匹配的目的。
步骤A20，基于所述目标检测区域对应关系，对各所述目标框选区域图像对应的目标识别结果进行目标关联，获得所述目标识别检测关联结果。
在本实施例中，基于所述目标检测区域对应关系，对各所述目标框选区域图像对应的目标识别结果进行目标关联，获得所述目标识别检测关联结果，具体地，将具备所述目标检测区域对应关系的各目标框选区域图像对应的目标识别结果进行关联，得到所述目标识别检测关联结果，例如，假设所述目标框选区域图像A与所述目标框选区域图像B之间存在目标检测区域对应关系，所述目标框选区域图像A对应的目标识别结果为人脸识别结果X，所述目标框选区域图像B对应的目标识别结果为温度检测结果Y，则所述目标识别检测关联结果为(X,Y)，其中，所述人脸识别结果X为对人脸的身份的识别结果，温度检测结果Y为对人脸的温度的识别结果。
本申请实施例提供了一种目标识别检测关联方法，相比于现有技术采用的基于用人工手动进行标注完成标定以实现多个相机相机间的姿态和位置的同步，以进行不同相机拍摄图像的目标识别检测结果的关联的技术手段，本申请实施例首先获取多个相机拍摄的区域视频帧，进而对各所述区域视频帧进行目标识别检测，获得各所述区域视频帧分别对应的目标识别检测结果，进一步地，根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果，实现了基于所述映射模型，将所述多个相机分别对应的目标识别检测结果自动进行目标关联，进而对于多个相机，即可基于所述映射模型，将多个相机拍摄图像对应的目标识别检测结果进行自动关联，无需人工手动操作标注以完成相机间姿态和位置的同步，以进行不同相机拍摄图像的目标识别检测结果的关联，克服了现有技术中使用人工手动进行标注每批相机操作繁琐，工作量较大，导致同步多个相机之间的姿态和位置关系的效率较低，进而导致不同相机对目标拍摄的图像对应的目标识别检测结果之间进行关联的技术缺陷，从而提高了不同相机对目标拍摄的图像对应的目标识别检测结果之间进行关联的效率。
进一步地，参照图2，基于本申请中第一实施例，在本申请的另一实施例中，所述多个相机包括第一相机和第二相机，
所述根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果的步骤之前，所述目标识别检测关联方法包括：
步骤B10，获取所述第一相机对应的第一训练目标识别检测结果以及所述第二相机对应的第二训练目标识别检测结果；
在本实施例中，获取所述第一相机对应的第一训练目标识别检测结果以及所述第二相机对应的第二训练目标识别检测结果，具体地，对所述第一相机拍摄的区域视频帧进行目标检测，获得所述第一训练目标识别检测结果，以及对所述第二相机拍摄的区域视频帧进行目标检测，获得所述第二训练目标识别检测结果。
步骤B20，基于所述第一训练目标识别检测结果以及所述第二训练目标识别检测结果，对待训练映射模型进行迭代训练优化，获得所述映射模型。
在本实施例中，基于所述第一训练目标识别检测结果以及所述第二训练目标识别检测结果，对待训练映射模型进行迭代训练优化，获得所述映射模型，具体地，根据所述第一训练目标识别检测结果以及述第二训练目标识别检测结果，对所述待训练映射模型进行迭代训练，以优化所述待训练映射模型，并判断优化后的待训练映射模型是否满足预设训练结束条件，其中，所述预设训练结束条件包括损失函数收敛和达到最大迭代次数阈值等条件，若满足，则获得所述映射模型，若不满足，则返回执行步骤：获取所述第一相机对应的第一训练目标识别检测结果以及所述第二相机对应的第二训练目标识别检测结果。
其中，所述基于所述第一训练目标识别检测结果以及所述第二训练目标识别检测结果，对待训练映射模型进行迭代训练优化，获得所述映射模型的步骤包括：
步骤B21，基于所述待训练映射模型，将所述第一训练目标识别检测结果映射为预测映射结果；
在本实施例中，基于所述待训练映射模型，将所述第一训练目标识别检测结果映射为预测映射结果，具体地，将所述第一训练目标识别检测结果作为所述待训练映射模型的输入，进而输出所述第一相机对应的预测映射结果。
步骤B22，根据所述预测映射结果与所述第二训练目标识别检测结果之间的差异度，计算映射模型损失；
在本实施例中，根据所述预测映射结果与所述第二训练目标识别检测结果之间的差异度，计算映射模型损失，具体地，基于所述预测映射结果与所述第二训练目标识别检测结果之间的差异度，通过L2损失函数计算映射模型损失。
步骤B23，基于所述映射模型损失计算的梯度，对所述待训练映射模型进行迭代训练优化，获得所述映射模型。
在本实施例中，基于所述映射模型损失计算的梯度，对所述待训练映射模型进行迭代训练优化，获得所述映射模型，具体地，基于所述映射模型损失计算的梯度，对所述对待训练映射模型进行迭代训练，以优化所述待训练映射模型，并判断优化后的待训练映射模型是否满足预设训练结束条件，若满足，则将所述待训练映射模型作为映射模型，若不满足，则返回执行步骤：获取所述第一相机对应的第一训练目标识别检测结果以及所述第二相机对应的第二训练目标识别检测结果。
本申请实施例提供了一种基于训练目标识别检测结果构建映射模型方法，也即，获取所述第一相机对应的第一训练目标识别检测结果以及所述第二相机对应的第二训练目标识别检测结果，进而基于所述第一训练目标识别检测结果以及所述第二训练目标识别检测结果，对待训练映射模型进行迭代训练优化，获得所述映射模型，实现了基于训练目标识别检测结果，对所述对待训练映射模型进行迭代训练优化，获得所述映射模型，为克服使用人工手动进行标注每批相机操作繁琐，工作量较大，导致同步相机间的姿态和位置关系的效率较低，进而导致不同相机对目标拍摄的图像对应的目标识别检测结果之间进行关联的效率低的技术缺陷奠定了基础。
进一步地，参照图3，基于本申请中第一实施例和第二实施例，在本申请的另一实施例中，所述目标识别检测结果包括所述可见光相机对应的若干人脸识别检测图像表征和所述第二区域视频帧对应的若干温度识别检测图像表征，
所述根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果的步骤包括：
步骤C10，根据所述可见光相机和所述热红外相机之间的映射模型，确定若干所述人脸识别检测图像表征和若干所述温度识别检测图像表征之间的一一目标关联关系；
在本实例中，需要说明的是，所述人脸识别检测图像表征为人脸识别检测模型针对于所述第一区域视频帧输出的表征，可以为人脸识别检测模型的隐藏层输出的高维矩阵，也可以为人脸识别检测模型的全连接层输出一维向量，所述温度识别检测图像表征为人脸温度检测模型针对于所述第二区域视频帧输出的表征，可以为人脸温度检测模型的隐藏层输出的高维矩阵，也可以为人脸温度检测模型的全连接层输出一维向量
根据所述可见光相机和所述热红外相机之间的映射模型，确定若干所述人脸识别检测图像表征和若干所述温度识别检测图像表征之间的一一目标关联关系，具体地，将各所述人脸识别检测图像表征分别输入所述可见光相机和所述热红外相机之间的映射模型，映射得到各所述人脸识别检测图像表征对应的人脸识别映射表征，进而通过计算每一所述人脸识别映射表征与每一所述温度识别检测图像表征之间的表征相似度，基于各所述表征相似度，在各所述人脸识别映射表征确定与每一所述温度识别检测图像表征相似度最高的目标人脸识别映射表征，进而基于所述目标人脸识别映射表征与所述温度识别检测图像表征之间的一一对应关系，以及所述目标人脸识别映射表征与人脸识别检测图像表征之间的一一对应关系，确定每一所述人脸识别检测图像表征和每一所述温度识别检测图像表征之间的一一目标关联关系。
步骤C20，基于所述一一目标关联关系，将若干所述人脸识别检测图像表征和若干所述温度识别检测图像表征进行一一对应聚合，获得各目标识别检测关联表征；
在本实施例中，基于所述一一目标关联关系，将若干所述人脸识别检测图像表征和若干所述温度识别检测图像表征进行一一对应聚合，获得各目标识别检测关联表征，具体地，基于预设聚合规则，将具备所述一一目标关联关系的每一人脸识别检测图像表征与每一温度识别检测图像表征进行聚合，获得各目标识别检测关联表征，其中，预设聚合规则包括求和、求平均以及拼接等。
步骤C30，基于预设分类器，分别对各所述目标识别检测关联表征进行识别检测，获得所述目标识别检测关联结果。
在本实施例中，基于预设分类器，分别对各所述目标识别检测关联表征进行识别检测，获得所述目标识别检测关联结果，具体地，基于预设分类器中的全连接层，分别对各所述目标识别检测关联表征进行全连接，获得各全连接向量，进而基于预设激活函数，分别将各所述全连接向量映射为识别检测标签，进而将各所述识别检测标签作为所述目标识别检测关联结果，其中，所述识别检测标签为标识所述区域视频帧中各检测目标的人脸识别结果与温度检测结果的标签，例如，例如，假设2个目标人脸对应的身份识别结果分别为标签001和标签002，对应的温度检测值分别为36.5℃和36.7℃，进而根据所述可见光相机和所述热红外相机之间的映射模型，在将所述人脸识别检测结果与所述温度检测结果进行目标关联后，得知001以及36.5℃对应同一目标人脸，002以及36.7℃对应同一目标人脸，则生成的目标人体测温结果为(001，36.5℃)以及(002，36.7℃)。
本申请实施例提供了一种基于目标关联的人体测温方法，也即，根据所述可见光相机和所述热红外相机之间的映射模型，确定若干所述人脸识别检测图像表征和若干所述温度识别检测图像表征之间的一一目标关联关系，进而基于所述一一目标关联关系，将若干所述人脸识别检测图像表征和若干所述温度识别检测图像表征进行一一对应聚合，获得各目标识别检测关联表征；基于预设分类器，分别对各所述目标识别检测关联表征进行识别检测，获得所述目标识别检测关联结果，实现了基于所述映射模型，使得所述可见光图像对应的各人脸识别检测图像表征与所述热红外图像对应的各温度识别检测图像表征之间能够准确关联，也即自动将所述可见光图像对应的各身份识别信息与所述热红外图像对应的各温度信息进行一一关联匹配，从而精确定位人体并进行人体测温，提高了人体测温的准确性。
参照图4，图4是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图4所示，该目标识别检测关联设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该目标识别检测关联设备还可以包括矩形用户接口、网络接口、相机、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图4中示出的目标识别检测关联设备结构并不构成对目标识别检测关联设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图4所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及目标识别检测关联方法程序。操作系统是管理和控制目标识别检测关联设备硬件和软件资源的程序，支持目标识别检测关联方法程序以及其它软件和/或，程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与目标识别检测关联方法系统中其它硬件和软件之间通信。
在图4所示的目标识别检测关联设备中，处理器1001用于执行存储器1005中存储的目标识别检测关联方法程序，实现上述任一项所述的目标识别检测关联方法的步骤。
本申请目标识别检测关联设备具体实施方式与上述目标识别检测关联方法各实施例基本相同，在此不再赘述。
本申请还提供一种目标识别检测关联装置，所述目标识别检测关联装置应用于目标识别检测关联设备，所述目标识别检测关联装置包括：
获取模块，用于获取多个相机拍摄的区域视频帧；
检测模块，用于对各所述区域视频帧进行目标识别检测，获得各所述区域视频帧分别对应的目标识别检测结果；
关联模块，用于根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果。
可选地，所述多个相机包括第一相机和第二相机，所述目标识别检测关联装置还用于：
获取所述第一相机对应的第一训练目标识别检测结果以及所述第二相机对应的第二训练目标识别检测结果；
基于所述第一训练目标识别检测结果以及所述第二训练目标识别检测结果，对待训练映射模型进行迭代训练优化，获得所述映射模型。
可选地，所述目标识别检测关联装置还用于：
基于所述待训练映射模型，将所述第一训练目标识别检测结果映射为预测映射结果；
根据所述预测映射结果与所述第二训练目标识别检测结果之间的差异度，计算映射模型损失；
基于所述映射模型损失计算的梯度，对所述待训练映射模型进行迭代训练优化，获得所述映射模型。
可选地，所述目标识别检测结果至少包括一目标识别检测图像表征，所述关联模块还用于：
在各所述相机之间的映射模型中确定每一所述目标识别检测图像表征对应的若干映射模型；
根据每一所述目标识别检测图像表征对应的若干映射模型，分别将每一所述目标识别检测图像表征映射为若干图像映射表征；
基于每一所述目标识别检测图像表征与对应的若干图像映射表征之间的相似度，将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果。
可选地，所述目标识别检测结果至少包括一目标检测区域位置信息和目标识别结果，所述关联模块还用于：
根据各所述相机之间的映射模型和各所述目标检测区域位置信息，确定各所述目标识别检测结果对应的目标框选区域图像之间的目标检测区域对应关系；
基于所述目标检测区域对应关系，对各所述目标框选区域图像对应的目标识别结果进行目标关联，获得所述目标识别检测关联结果。
可选地，所述关联模块还用于：
根据各所述相机之间的映射模型和各所述目标检测区域位置信息，获得各所述目标框选区域图像之间的初始检测区域对应关系；
对各所述目标框选区域图像进行重合度计算，获得重合度计算结果；
基于所述重合度计算结果和所述初始检测区域对应关系，对各所述目标框选区域图像进行关联匹配，获得所述目标检测区域对应关系。
可选地，所述关联模块还用于：
根据所述可见光相机和所述热红外相机之间的映射模型，确定若干所述人脸识别检测图像表征和若干所述温度识别检测图像表征之间的一一目标关联关系；
基于所述一一目标关联关系，将若干所述人脸识别检测图像表征和若干所述温度识别检测图像表征进行一一对应聚合，获得各目标识别检测关联表征；
基于预设分类器，分别对各所述目标识别检测关联表征进行识别检测，获得所述目标识别检测关联结果。
本申请目标识别检测关联装置的具体实施方式与上述目标识别检测关联方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种介质，所述介质为可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的目标识别检测关联方法的步骤。
本申请可读存储介质具体实施方式与上述目标识别检测关联方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种计算机程序产品，且所述计算机程序产品包括有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的目标识别检测关联方法的步骤。
本申请计算机程序产品具体实施方式与上述目标识别检测关联方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种目标识别检测关联方法，其特征在于，所述目标识别检测关联方法包括：
获取多个相机拍摄的区域视频帧；
对各所述区域视频帧进行目标识别检测，获得各所述区域视频帧分别对应的目标识别检测结果；
根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果。
2.如权利要求1所述目标识别检测关联方法，其特征在于，所述多个相机包括第一相机和第二相机，
在所述根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果的步骤之前，所述目标识别检测关联方法包括：
获取所述第一相机对应的第一训练目标识别检测结果以及所述第二相机对应的第二训练目标识别检测结果；
基于所述第一训练目标识别检测结果以及所述第二训练目标识别检测结果，对待训练映射模型进行迭代训练优化，获得所述映射模型。
3.如权利要求2所述目标识别检测关联方法，其特征在于，所述基于所述第一训练目标识别检测结果以及所述第二训练目标识别检测结果，对待训练映射模型进行迭代训练优化，获得所述映射模型的步骤包括：
基于所述待训练映射模型，将所述第一训练目标识别检测结果映射为预测映射结果；
根据所述预测映射结果与所述第二训练目标识别检测结果之间的差异度，计算映射模型损失；
基于所述映射模型损失计算的梯度，对所述待训练映射模型进行迭代训练优化，获得所述映射模型。
4.如权利要求1所述目标识别检测关联方法，其特征在于，所述目标识别检测结果至少包括一目标识别检测图像表征，
所述根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果的步骤包括：
在各所述相机之间的映射模型中确定每一所述目标识别检测图像表征对应的若干映射模型；
根据每一所述目标识别检测图像表征对应的若干映射模型，分别将每一所述目标识别检测图像表征映射为若干图像映射表征；
基于每一所述目标识别检测图像表征与对应的若干图像映射表征之间的相似度，将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果。
5.如权利要求1所述目标识别检测关联方法，其特征在于，所述目标识别检测结果至少包括一目标检测区域位置信息和目标识别结果，
所述根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果的步骤包括：
根据各所述相机之间的映射模型和各所述目标检测区域位置信息，确定各所述目标识别检测结果对应的目标框选区域图像之间的目标检测区域对应关系；
基于所述目标检测区域对应关系，对各所述目标框选区域图像对应的目标识别结果进行目标关联，获得所述目标识别检测关联结果。
6.如权利要求5所述目标识别检测关联方法，其特征在于，所述根据各所述相机之间的映射模型和各所述目标检测区域位置信息，确定各所述目标识别检测结果对应的目标框选区域图像之间的目标检测区域对应关系的步骤包括：
根据各所述相机之间的映射模型和各所述目标检测区域位置信息，获得各所述目标框选区域图像之间的初始检测区域对应关系；
对各所述目标框选区域图像进行重合度计算，获得重合度计算结果；
基于所述重合度计算结果和所述初始检测区域对应关系，对各所述目标框选区域图像进行关联匹配，获得所述目标检测区域对应关系。
7.如权利要求1所述目标识别检测关联方法，其特征在于，所述目标识别检测结果包括所述可见光相机对应的若干人脸识别检测图像表征和所述第二区域视频帧对应的若干温度识别检测图像表征，
所述根据各所述相机之间的映射模型，分别将各所述相机对应的目标识别检测结果进行目标关联，获得目标识别检测关联结果的步骤包括：
根据所述可见光相机和所述热红外相机之间的映射模型，确定若干所述人脸识别检测图像表征和若干所述温度识别检测图像表征之间的一一目标关联关系；
基于所述一一目标关联关系，将若干所述人脸识别检测图像表征和若干所述温度识别检测图像表征进行一一对应聚合，获得各目标识别检测关联表征；
基于预设分类器，分别对各所述目标识别检测关联表征进行识别检测，获得所述目标识别检测关联结果。
8.一种目标识别检测关联设备，其特征在于，所述目标识别检测关联设备包括：存储器、处理器以及存储在存储器上的用于实现所述目标识别检测关联方法的程序，
所述存储器用于存储实现所述目标识别检测关联方法的程序；
所述处理器用于执行实现所述目标识别检测关联方法的程序，以实现如权利要求1至7中任一项所述目标识别检测关联方法的步骤。
9.一种介质，所述介质为可读存储介质，其特征在于，所述可读存储介质上存储有实现目标识别检测关联方法的程序，所述实现目标识别检测关联方法的程序被处理器执行以实现如权利要求1至7中任一项所述目标识别检测关联方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述目标识别检测关联方法的步骤。
CN202110792782.7A 2021-07-13 2021-07-13 目标识别检测关联方法、设备、介质及计算机程序产品 Pending CN113642404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110792782.7A CN113642404A (zh) 2021-07-13 2021-07-13 目标识别检测关联方法、设备、介质及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110792782.7A CN113642404A (zh) 2021-07-13 2021-07-13 目标识别检测关联方法、设备、介质及计算机程序产品

Publications (1)

Publication Number Publication Date
CN113642404A true CN113642404A (zh) 2021-11-12

Family

ID=78417336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110792782.7A Pending CN113642404A (zh) 2021-07-13 2021-07-13 目标识别检测关联方法、设备、介质及计算机程序产品

Country Status (1)

Country Link
CN (1) CN113642404A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645530A (zh) * 2023-04-23 2023-08-25 广东建瀚工程管理有限公司 基于图像比对的施工检测方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709477A (zh) * 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
CN109190521A (zh) * 2018-08-17 2019-01-11 北京亮亮视野科技有限公司 一种基于知识提纯的人脸识别模型的构建方法及应用
CN110008813A (zh) * 2019-01-24 2019-07-12 阿里巴巴集团控股有限公司 基于活体检测技术的人脸识别方法和系统
CN110717414A (zh) * 2019-09-24 2020-01-21 青岛海信网络科技股份有限公司 一种目标检测追踪方法、装置及设备
CN211234731U (zh) * 2020-02-22 2020-08-11 南京亚益盛电子科技有限公司 一种体温快速检测终端
CN112001886A (zh) * 2020-07-17 2020-11-27 深圳市优必选科技股份有限公司 一种温度检测方法、装置、终端及可读存储介质
CN112131976A (zh) * 2020-09-09 2020-12-25 厦门市美亚柏科信息股份有限公司 一种自适应人像温度匹配和口罩识别方法及装置
CN112232186A (zh) * 2020-10-14 2021-01-15 盈合(深圳)机器人与自动化科技有限公司 防疫监测方法与系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709477A (zh) * 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
CN109190521A (zh) * 2018-08-17 2019-01-11 北京亮亮视野科技有限公司 一种基于知识提纯的人脸识别模型的构建方法及应用
CN110008813A (zh) * 2019-01-24 2019-07-12 阿里巴巴集团控股有限公司 基于活体检测技术的人脸识别方法和系统
CN110717414A (zh) * 2019-09-24 2020-01-21 青岛海信网络科技股份有限公司 一种目标检测追踪方法、装置及设备
CN211234731U (zh) * 2020-02-22 2020-08-11 南京亚益盛电子科技有限公司 一种体温快速检测终端
CN112001886A (zh) * 2020-07-17 2020-11-27 深圳市优必选科技股份有限公司 一种温度检测方法、装置、终端及可读存储介质
CN112131976A (zh) * 2020-09-09 2020-12-25 厦门市美亚柏科信息股份有限公司 一种自适应人像温度匹配和口罩识别方法及装置
CN112232186A (zh) * 2020-10-14 2021-01-15 盈合(深圳)机器人与自动化科技有限公司 防疫监测方法与系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645530A (zh) * 2023-04-23 2023-08-25 广东建瀚工程管理有限公司 基于图像比对的施工检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
JP6438403B2 (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
JP2020507850A (ja) 画像内の物体の姿の確定方法、装置、設備及び記憶媒体
US9129435B2 (en) Method for creating 3-D models by stitching multiple partial 3-D models
US9756261B2 (en) Method for synthesizing images and electronic device thereof
JP6594129B2 (ja) 情報処理装置、情報処理方法、プログラム
WO2019042419A1 (zh) 图像跟踪点获取方法、设备及存储介质
KR20200100806A (ko) 테스트 결과를 결정하기 위한 캡처된 이미지의 분석
US20200184697A1 (en) Image Modification Using Detected Symmetry
JP6762913B2 (ja) 情報処理装置、情報処理方法
EP3561776A1 (en) Method and apparatus for processing a 3d scene
CN111553915A (zh) 物品识别检测方法、装置、设备和可读存储介质
JP6662382B2 (ja) 情報処理装置および方法、並びにプログラム
WO2019214641A1 (zh) 基于光标签的信息设备交互方法及系统
Führ et al. Camera self-calibration based on nonlinear optimization and applications in surveillance systems
US20220366658A1 (en) Systems and methods of augmented reality guided image capture
JP2019008622A (ja) 商品特定システム
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
Jog et al. Automated computation of the fundamental matrix for vision based construction site applications
WO2021046773A1 (zh) 人脸防伪检测方法、装置、芯片、电子设备和计算机可读介质
CN113642404A (zh) 目标识别检测关联方法、设备、介质及计算机程序产品
CN109816628B (zh) 人脸评价方法及相关产品
CN114608521A (zh) 单目测距方法及装置、电子设备和存储介质
JP2018182593A (ja) 画像処理装置、画像処理方法
WO2021233058A1 (zh) 监控货架上的物品的方法、计算机和系统
US11989928B2 (en) Image processing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination