CN113129365B - 一种图像标定方法及装置 - Google Patents

一种图像标定方法及装置 Download PDF

Info

Publication number
CN113129365B
CN113129365B CN201911420037.9A CN201911420037A CN113129365B CN 113129365 B CN113129365 B CN 113129365B CN 201911420037 A CN201911420037 A CN 201911420037A CN 113129365 B CN113129365 B CN 113129365B
Authority
CN
China
Prior art keywords
information
position information
semantic information
infrared image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911420037.9A
Other languages
English (en)
Other versions
CN113129365A (zh
Inventor
顾阳
王晋玮
杨徳尧
左钟融
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201911420037.9A priority Critical patent/CN113129365B/zh
Publication of CN113129365A publication Critical patent/CN113129365A/zh
Application granted granted Critical
Publication of CN113129365B publication Critical patent/CN113129365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开一种图像特征点的标定方法及装置，该方法包括：获得图像采集系统在相同采集周期内针对目标对象采集的红外图像；基于预先建立的特征点检测模型，从每一红外图像中确定出其中的备用特征点的检测位置信息及语义信息；对红外图像进行分组，得到至少一组红外图像组；利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息及对应的设备位姿信息，确定出目标语义信息对应的备用特征点对应的目标空间位置信息；基于每一目标语义信息对应的备用特征点对应的目标空间位置信息及每一红外图像对应的设备位姿信息，确定每一红外图像中每一目标语义信息对应的备用特征点的标注位置信息，以实现自动对红外图像中的特征点进行标注。

Description

一种图像标定方法及装置
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种图像标定方法及装置。
背景技术
目前的特征点检测模型都是通过色彩图像样本及其对应的标注信息训练得到的，其对色彩图像包含的特征点的检测准确率较高，但对其他类型的图像包含的特征点的检测准确率则不高。在一些目标场景中，需要对所采集的红外图像中的特征点进行检测，以便进行后续的过程，例如：一些人脸识别场景，需要对所采集的红外图像中的人脸特征点进行检测。因此，为了能够实现对红外图像中特征点的检测，需要构建出可以检测红外图像中特征点的特征点检测模型。
目前为了训练得到可以用于检测红外图像中特征点的特征点检测模型，在训练模型时，一般需要工作人员手动对作为样本图像的红外图像中特征点进行标注。而手动标注红外图像中的特征点所花费的人力成本较大，且时间成本较大。
发明内容
本发明提供了一种图像特征点标定方法及装置，以实现自动对红外图像中的特征点进行标注。具体的技术方案如下：
第一方面，本发明实施例提供了一种图像特征点标定方法，所述方法包括：
获得图像采集系统在相同采集周期内针对目标对象采集的红外图像，其中，所述图像采集系统包括：从不同角度对所述目标对象进行拍摄的多个图像采集设备；
基于预先建立的特征点检测模型，从每一红外图像中确定出其中的备用特征点的检测位置信息及语义信息，其中，所述预先建立的特征点检测模型为：至少基于标注有样本特征点的色彩样本图像训练所得的模型；
基于每一备用特征点的语义信息或红外图像对应的图像采集设备的设备位姿信息，对所述红外图像进行分组，得到至少一组红外图像组；
利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及每一语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息；
针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息，确定每一红外图像中该目标语义信息所对应备用特征点的标注位置信息。
可选的，所述基于每一备用特征点的语义信息或红外图像对应的图像采集设备的设备位姿信息，对所述红外图像进行分组，得到至少一组红外图像组的步骤，通过如下两种实现方式中的任一种实现方式实现：
第一种实现方式：
针对每一语义信息，将包含对应该语义信息的备用特征点的红外图像，划分为一组，得到至少一组红外图像组；
第二种实现方式：
基于红外图像对应的图像采集设备的设备位姿信息，将所对应图像采集设备位置相邻的多个红外图像，划分为一组，得到至少一组红外图像组。
可选的，在针对每一语义信息，将包含该语义信息的备用特征点的红外图像，划分为一组的情况下；
所述利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及每一语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息的步骤，包括：
针对每一红外图像组，利用该红外图像组中的每N帧红外图像中，该红外图像组对应的语义信息所对应备用特征点的检测位置信息，以及该N帧红外图像对应的设备位姿信息，确定该语义信息所对应备用特征点对应的第一三维位置信息，N为不小于2的整数；
针对每一红外图像组，利用该红外图像组对应的语义信息所对应备用特征点对应的第一三维位置信息，以及该语义信息所对应备用特征点的检测位置信息及其对应的设备位姿信息，确定出目标语义信息及其对应的备用特征点对应的目标空间位置信息。
可选的，所述利用该红外图像组对应的语义信息所对应备用特征点对应的第一三维位置信息，以及该语义信息所对应备用特征点的检测位置信息及其对应的设备位姿信息，确定出目标语义信息及其对应的备用特征点对应的目标空间位置信息的步骤，包括：
针对该红外图像组对应的语义信息所对应备用特征点对应的每一第一三维位置信息，利用该第一三维位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该第一三维位置信息所对应空间点在该红外图像组中每一红外图像中的投影位置信息；
针对该红外图像组对应的语义信息所对应备用特征点对应的每一第一三维位置信息，利用该第一三维位置信息所对应空间点在该红外图像组中每一红外图像中的投影位置信息，以及该语义信息所对应备用特征点的检测位置信息，确定该第一三维位置信息对应的重投影误差；
判断所对应第一三维位置信息对应的最小的重投影误差，是否不高于预设重投影误差阈值；
在判断所对应第一三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值的情况下，确定该语义信息为目标语义信息，并将所对应重投影误差最小的第一三维位置信息，确定为该目标语义信息对应的备用特征点对应的目标空间位置信息。
可选的，在基于所述多个图像采集设备的设备位姿信息对所述红外图像进行分组的情况下；
所述利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及每一语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息的步骤，包括：
针对每一红外图像组对应的每一语义信息，基于该语义信息所对应备用特征点的检测位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该语义信息所对应备用特征点对应的第二三维位置信息，其中，若红外图像组中至少两帧红外图像的备用特征点对应相同的语义信息时，将该语义信息作为该红外图像组对应的语义信息；
针对每一语义信息所对应备用特征点对应的每一第二三维位置信息，利用该第二三维位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该第二三维位置信息所对应空间点在每一第一红外图像中的投影位置信息，其中，该第一红外图像为：包含对应该语义信息的备用特征点的红外图像；
针对每一语义信息所对应备用特征点对应的每一第二三维位置信息，利用该第二三维位置信息所对应空间点在每一第一红外图像中的投影位置信息，以及该语义信息对应的备用特征点的检测位置信息，确定该第二三维位置信息对应的重投影误差；
针对每一语义信息，判断所对应第二三维位置信息对应的最小的重投影误差，是否不高于预设重投影误差阈值；
在判断所对应第二三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值的情况下，确定该语义信息为目标语义信息，并将所对应重投影误差最小的第二三维位置信，确定为该目标语义信息所对应备用特征点对应的目标空间位置信息。
可选的，所述针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息，确定每一红外图像中该目标语义信息所对应备用特征点的标注位置信息的步骤，包括：
针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的空间位置信息，以及每一红外图像对应的设备位姿信息，确定该空间位置信息对应的空间点在每一红外图像中的映射位置信息；
针对每一目标语义信息，将该目标空间位置信息对应的空间点在每一红外图像中的映射位置信息，确定为每一红外图像中该目标语义信息所对应备用特征点的标注位置信息。
可选的，在所述针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息，确定每一红外图像中该目标语义信息所对应备用特征点的标注位置信息的步骤之后，所述方法还包括：
利用所述红外图像及其对应的备用特征点的标注位置信息，修正所述预先建立的特征点检测模型。
第二方面，本发明实施例提供了一种图像特征点标定装置，所述装置包括：
第一获得模块，被配置为获得图像采集系统在相同采集周期内针对目标对象采集的红外图像，其中，所述图像采集系统包括：从不同角度对所述目标对象进行拍摄的多个图像采集设备；
第一确定模块，被配置为基于预先建立的特征点检测模型，从每一红外图像中确定出其中的备用特征点的检测位置信息及语义信息，其中，所述预先建立的特征点检测模型为：至少基于标注有样本特征点的色彩样本图像训练所得的模型；
分组模块，被配置为基于每一备用特征点的语义信息或红外图像对应的图像采集设备的设备位姿信息，对所述红外图像进行分组，得到至少一组红外图像组；
第二确定模块，被配置为利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及每一语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息；
第三确定模块，被配置为针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息，确定每一红外图像中该目标语义信息所对应备用特征点的标注位置信息。
可选的，所述分组模块，被具体配置为针对每一语义信息，将包含对应该语义信息的备用特征点的红外图像，划分为一组，得到至少一组红外图像组；
或，被具体配置为基于红外图像对应的图像采集设备的设备位姿信息，将所对应图像采集设备位置相邻的多个红外图像，划分为一组，得到至少一组红外图像组。
可选的，在针对每一语义信息，将包含该语义信息的备用特征点的红外图像，划分为一组的情况下；
所述第二确定模块，包括：
第一确定单元，被配置为针对每一红外图像组，利用该红外图像组中的每N帧红外图像中，该红外图像组对应的语义信息所对应备用特征点的检测位置信息，以及该N帧红外图像对应的设备位姿信息，确定该语义信息所对应备用特征点对应的第一三维位置信息，N为不小于2的整数；
第二确定单元，被配置为针对每一红外图像组，利用该红外图像组对应的语义信息所对应备用特征点对应的第一三维位置信息，以及该语义信息所对应备用特征点的检测位置信息及其对应的设备位姿信息，确定出目标语义信息及其对应的备用特征点对应的目标空间位置信息。
可选的，所述第二确定单元，被具体配置为针对该红外图像组对应的语义信息所对应备用特征点对应的每一第一三维位置信息，利用该第一三维位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该第一三维位置信息所对应空间点在该红外图像组中每一红外图像中的投影位置信息；
针对该红外图像组对应的语义信息所对应备用特征点对应的每一第一三维位置信息，利用该第一三维位置信息所对应空间点在该红外图像组中每一红外图像中的投影位置信息，以及该语义信息所对应备用特征点的检测位置信息，确定该第一三维位置信息对应的重投影误差；
判断所对应第一三维位置信息对应的最小的重投影误差，是否不高于预设重投影误差阈值；
在判断所对应第一三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值的情况下，确定该语义信息为目标语义信息，并将所对应重投影误差最小的第一三维位置信息，确定为该目标语义信息对应的备用特征点对应的目标空间位置信息。
可选的，在基于红外图像对应的图像采集设备的设备位姿信息对所述红外图像进行分组的情况下；
所述第二确定模块，被具体配置为针对每一红外图像组对应的每一语义信息，基于该语义信息所对应备用特征点的检测位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该语义信息所对应备用特征点对应的第二三维位置信息，其中，若红外图像组中至少两帧红外图像的备用特征点对应相同的语义信息时，将该语义信息作为该红外图像组对应的语义信息；
针对每一语义信息所对应备用特征点对应的每一第二三维位置信息，利用该第二三维位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该第二三维位置信息所对应空间点在每一第一红外图像中的投影位置信息，其中，该第一红外图像为：包含对应该语义信息的备用特征点的红外图像；
针对每一语义信息所对应备用特征点对应的每一第二三维位置信息，利用该第二三维位置信息所对应空间点在每一第一红外图像中的投影位置信息，以及该语义信息对应的备用特征点的检测位置信息，确定该第二三维位置信息对应的重投影误差；
针对每一语义信息，判断所对应第二三维位置信息对应的最小的重投影误差，是否不高于预设重投影误差阈值；
在判断所对应第二三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值的情况下，确定该语义信息为目标语义信息，并将所对应重投影误差最小的第二三维位置信，确定为该目标语义信息所对应备用特征点对应的目标空间位置信息。
可选的，所述第三确定模块，被具体配置为针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的空间位置信息，以及每一红外图像对应的设备位姿信息，确定该空间位置信息对应的空间点在每一红外图像中的映射位置信息；
针对每一目标语义信息，将该目标空间位置信息对应的空间点在每一红外图像中的映射位置信息，确定为每一红外图像中该目标语义信息所对应备用特征点的标注位置信息。
可选的，所述装置还包括：
修正模块，被配置为在所述针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息，确定每一红外图像中该目标语义信息所对应备用特征点的标注位置信息之后，利用所述红外图像及其对应的备用特征点的标注位置信息，修正所述预先建立的特征点检测模型。
由上述内容可知，本发明实施例提供的一种图像特征点标定方法及装置，可以获得图像采集系统在相同采集周期内针对目标对象采集的红外图像，其中，图像采集系统包括：从不同角度对目标对象进行拍摄的多个图像采集设备；基于预先建立的特征点检测模型，从每一红外图像中确定出其中的备用特征点的检测位置信息及语义信息，其中，预先建立的特征点检测模型为：至少基于标注有样本特征点的色彩样本图像训练所得的模型；基于每一备用特征点的语义信息或红外图像对应的图像采集设备的设备位姿信息，对红外图像进行分组，得到至少一组红外图像组；利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及每一语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息；针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息，确定每一红外图像中该目标语义信息所对应备用特征点的标注位置信息。
应用本发明实施例，可以利用预先建立的特征点检测模型，从图像采集系统在相同采集周期内针对目标对象采集的红外图像中，初步检测出其中包括的备用特征点的检测位置信息及语义信息；并对红外图像进行分组，使得每组中包括多帧含有相同的语义信息的备用特征点的红外图像；利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息，即构建目标语义信息所对应备用特征点对应的空间点；进而，利用目标语义信息所对应备用特征点对应的空间位置信息以及每一红外图像对应的设备位姿信息，优化确定出每一红外图像中该目标语义信息所对应备用特征点的标注位置信息，以实现自动对红外图像中的特征点进行标注，节省人力成本和时间成本，且通过目标语义信息所对应备用特征点对应的空间点的空间位置信息，对初步得到的目标语义信息所对应备用特征点的检测位置信息进行修正，确定出目标语义信息所对应备用特征点的较准确的标注位置信息。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、可以利用预先建立的特征点检测模型，从图像采集系统在相同采集周期内针对目标对象采集的红外图像中，初步检测出其中包括的备用特征点的检测位置信息及语义信息；并对红外图像进行分组，使得每组中包括多帧含有相同的语义信息的备用特征点的红外图像；利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息，即构建目标语义信息所对应备用特征点对应的空间点；进而，利用目标语义信息所对应备用特征点对应的空间位置信息以及每一红外图像对应的设备位姿信息，优化确定出每一红外图像中该目标语义信息所对应备用特征点的标注位置信息，以实现自动对红外图像中的特征点进行标注，节省人力成本和时间成本，且通过目标语义信息所对应备用特征点对应的空间点的空间位置信息，对初步得到的目标语义信息所对应备用特征点的检测位置信息进行修正，确定出目标语义信息所对应备用特征点的较准确的标注位置信息。
2、在针对每一语义信息，将包含对应该语义信息的备用特征点的红外图像，划分为一组的情况下，针对每一语义信息对应的红外图像组，利用该组中的每N帧红外图像中对应该语义信息的备用特征点的检测位置信息，及该N帧红外图像中对应该语义信息的备用特征点对应的设备位姿信息，确定该语义信息所对应备用特征点对应的第一三维位置信息；进而，基于语义信息对应的备用特征点对应的第一三维位置信息，以及该语义信息所对应备用特征点的检测位置信息及其对应的设备位姿信息，构建每一第一三维位置信息对应的重投影误差；进而，将所对应第一三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值的语义信息作为目标语义信息，并将所对应重投影误差最小的第一三维位置信息，确定为该目标语义信息所对应备用特征点对应的目标空间位置信息，以确定出空间位置较准确的空间点，进而，得到较准确的目标语义信息所对应备用特征点的标注位置信息。
3、在基于红外图像对应的图像采集设备的位姿信息对红外图像进行分组的情况下；针对每一红外图像组对应的每一语义信息，基于该语义信息所对应备用特征点的检测位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该语义信息所对应备用特征点对应的第二三维位置信息，并构建语义信息所对应备用特征点对应的第二三维位置信息对应的重投影误差，将所对应第二三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值的语义信息作为目标语义信息，并将所对应重投影误差最小的第二三维位置信息，确定为该目标语义信息所对应备用特征点对应的目标空间位置信息，以确定出空间位置较准确的空间点，进而，得到较准确的目标语义信息所对应备用特征点的标注位置信息。
4、利用每一目标语义信息所对应备用特征点对应的空间点的目标空间位置信息，确定每一目标语义信息所对应备用特征点对应的空间点在红外图像中的映射位置信息；并将该目标空间位置信息对应的空间点在每一红外图像中的映射位置信息，确定为每一红外图像中该目标语义信息对应的备用特征点的标注位置信息，以得到较准确的目标语义信息所对应备用特征点的标注位置信息。
5、利用所获得的红外图像以及其对应的更准确的每一目标语义信息所对应备用特征点的标注位置信息，修正预先建立的特征点检测模型，以得到对红外图像中特征点的检测结果更准确的特征点检测模型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像特征点的标定方法的一种流程示意图；
图2为本发明实施例提供的图像特征点的标定方法的另一流程示意图；
图3为本发明实施例提供的图像特征点的标定装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种图像特征点的标定方法及装置，以实现自动对红外图像中的特征点进行标注。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的图像特征点的标定方法的一种流程示意图。该方法可以包括以下步骤：
S101：获得图像采集系统在相同采集周期内针对目标对象采集的红外图像。
其中，图像采集系统包括：从不同角度对目标对象进行拍摄的多个图像采集设备。
本发明实施例所提供的该方法可以应用于任意类型的具有计算能力的电子设备中，该电子设备可以为服务器或者终端。该电子设备可以与图像采集系统中的各图像采集设备进行直接或间接连接，可以获得图像采集图像中每一图像采集设备在相同采集周期内所采集的红外图像。
该图像采集系统中的多个图像采集设备可以针对同一目标对象从不同角度进行拍摄，位置相邻的图像采集设备的图像采集区域存在重叠。在一种情况中，该多个图像采集设备可以实现对目标对象进行360度监控。该图像采集系统可以包括至少3台图像采集设备。在一种实现方式中，该图像采集系统中可以包括9台或16台图像采集设备。该图像采集设备可以为红外摄像头以及红外相机等可以采集红外图像的设备。
在一种情况中，该目标对象可以为人脸、人体或某一目标类型的物体。
S102：基于预先建立的特征点检测模型，从每一红外图像中确定出其中的备用特征点的检测位置信息及语义信息。
其中，预先建立的特征点检测模型为：至少基于标注有样本特征点的色彩样本图像训练所得的模型。该预先建立的特征点检测模型可以为基于深度学习的神经网络模型。初始的。该预先建立的特征点检测模型为基于标注有样本特征点的色彩样本图像训练所得的模型，随之时间推移，该预先建立的特征点检测模型为：通过该图像采集系统所采集的红外图像，以及通过本发明实施例所提供的图像特征点的标定流程，从红外图像中自动标注的备用特征点的标注位置信息进行修正后的模型。
其中，基于标注有样本特征点的色彩样本图像，训练得到该预先建立的特征点检测模型的过程，可以参见相关技术中训练得到神经网络模型的过程，在此不再赘述。
电子设备获得图像采集系统中每一图像采集设备采集的红外图像之后，将所获得的红外图像均输入至预先建立的特征点检测模型中，基于预先建立的特征点检测模型，从每一红外图像中确定出其中的特征点的检测位置信息及语义信息，为了描述清楚，将从红外图像中检测出的特征点称为备用特征点。
一种实现中，目标对象为人脸的情况下，该备用特征点可以为人脸特征点，例如可以包括但不限于：人脸轮廓对应的轮廓点、鼻子对应的鼻梁特征点、人眼对应的上下眼睑特征点以及眼角特征点、人嘴对应的上下嘴唇特征点以及嘴角特征点以及眉毛对应的上下缘特征点等等。目标对象为人员的情况下，该备用特征点可以是人员整个身体的各指定位置的特征点。目标对象为某一目标类型的物体的情况下，该备用特征点可以是目标类型的物体的任意指定位置的特征点。
备用特征点对应的语义信息可以是：描述该备用特征点的属性的信息，例如：备用特征点为人脸特征点时，对应的语义信息可以为：左眼的内眼角点，右眼的外眼角点等等。
S103：基于每一备用特征点的语义信息或红外图像对应的图像采集设备的设备位姿信息，对红外图像进行分组，得到至少一组红外图像组。
本步骤中，考虑到不同的图像采集设备采集到的红外图像之间存在重叠区域也存在不重叠区域。相应的，不同的图像采集设备采集到的红外图像之间可以包含对应相同的语义信息的备用特征点，也可能不包含对应相同的语义信息的备用特征点。鉴于此，为了便于计算，减少计算量，可以首先基于每一备用特征点的语义信息或红外图像对应的图像采集设备的设备位姿信息，对红外图像进行分组，得到至少一组红外图像组，其中，每一红外图像中可以包括包含有相同语义信息的备用特征点的红外图像。进而，针对不同的红外图像组，确定该红外图像组对应的语义信息所对应备用特征点对应的空间点的空间位置信息。
其中，在将包含对应该语义信息的备用特征点的红外图像，划分为一组红外图像组的情况下，红外图像组对应的语义信息可以指：所包含红外图像均包含所对应备用特征点的语义信息。在基于红外图像对应的图像采集设备的设备位姿信息，将所对应图像采集设备位置相邻的多个红外图像，划分为一组的情况下，红外图像组对应的语义信息可以指：该红外图像组所包含红外图像中的备用特征点对应的语义信息中，至少存在第一数量个的语义信息，该第一数量不低于2。
在本发明的一种实施例中，基于每一备用特征点的语义信息或红外图像对应的图像采集设备的设备位姿信息，对红外图像进行分组的方式多种多样，为了保证可以针对每一红外图像组中的至少一组对应同一语义信息的备用特征点构建出其对应的空间点，所述S103，可以通过如下两种实现方式中的任一种实现方式实现：
第一种实现方式：针对每一语义信息，将包含对应该语义信息的备用特征点的红外图像，划分为一组，得到每一语义信息对应的红外图像组，以得到至少一组红外图像组。
本实现方式中，针对每一语义信息，将包含对应该语义信息的备用特征点的红外图像，划分为一组，得到每一语义信息对应的红外图像组，使得包含对应相同语义信息的备用特征点的红外图像组成一组红外图像组，便于后续针对同一语义信息的备用特征点构建其对应的空间点。
第二种实现方式：基于红外图像对应的图像采集设备的位姿信息，将所对应图像采集设备位置相邻的多个红外图像，划分为一组，得到至少一组红外图像组。
本实现方式中，考虑到位置相邻的图像采集设备之间的图像采集区域一般存在重叠，其采集的红外图像之间可能包含对应相同的语义信息的备用特征点，为了便于针对同一语义信息的备用特征点构建其对应的空间点，可以基于多个图像采集设备的位姿信息，将所对应图像采集设备位置相邻的多个红外图像，划分为一组，得到至少一组红外图像组。一种情况，可以预先设置该位置相邻的多个图像采集设备的具体数量。
举例而言，图像采集系统包括编号为1至16的16个图像采集设备，编号1至16的16个图像采集设备依次位置相邻，且组成环形；可以针对位于该环形内部的目标对象进行拍摄。此时，可以将编号为1到5的5个图像采集设备分成一组、编号为2到6的5个图像采集设备分成一组，以此类推，将编号为12到16的5个图像采集设备分为一组，将编号为13到1的5个图像采集设备分为一组。
S104：利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及每一语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息。
本步骤，对红外图像进行分组后，可以针对不同的分组依据，利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及每一语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息对应的备用特征点对应的目标空间位置信息。
其中，每一语义信息所对应备用特征点对应的设备位姿信息为：每一语义信息所对应备用特征点所在红外图像对应的设备位姿信息，即采集得到该红外图像的图像采集设备的设备位姿信息。
一种情况中，图像采集设备的设备位姿信息可以为：在该图像采集系统对应的安装对象所在坐标系下的位姿信息，其中，图像采集系统对应的安装对象为安装该图像采集系统的对象。举例而言，若图像采集系统的多个图像采集设备安装于目标车辆上，该目标车辆为图像采集系统对应的安装对象，相应的，图像采集设备的设备位姿信息可以为：在目标车辆的车体坐标系下的位姿信息。图像采集设备相应于目标车辆而言，其安装位置固定，相应的，可以认为图像采集设备在目标车辆的车体坐标系下的位姿信息为固定的。
另一种情况，图像采集设备的设备位姿信息可以为：在世界坐标系下的位姿信息。若图像采集系统中的多个图像采集设备安装于行驶中的车辆时，图像采集设备的设备位姿信息根据行驶中的车辆的车辆位姿信息的变化而变化；图像采集设备的设备位姿信息与行驶中的车辆的车辆位姿信息之间的相对位置关系不同，且各图像采集设备之间的相对位置关系不变。该类情况下，可以基于行驶中的车辆在每一时刻的车辆位姿信息直接确定图像采集设备在该时刻的设备位姿信息。相应的，本发明实施例中，所提到的红外图像对应的图像采集设备的设备位姿信息为：采集得到该红外图像时的设备位姿信息。
在本发明的一种实施例中，在针对每一语义信息，将包含该语义信息的备用特征点的红外图像，划分为一组的情况下；
所述S104，可以包括如下步骤011-012：
011：针对每一红外图像组，利用该红外图像组中的每N帧红外图像中，该红外图像组对应的语义信息所对应备用特征点的检测位置信息，以及该N帧红外图像对应的设备位姿信息，确定该语义信息所对应备用特征点对应的第一三维位置信息。
其中，N为不小于2的整数；
012：针对每一红外图像组，利用该红外图像组对应的语义信息所对应备用特征点对应的第一三维位置信息，以及该语义信息所对应备用特征点的检测位置信息及其对应的设备位姿信息，确定出目标语义信息及其对应的备用特征点对应的目标空间位置信息。
本实施例中，电子设备确定出每一红外图像组之后，针对每一红外图像组对应的语义信息，构建该红外图像组对应的语义信息所对应备用特征点对应的空间点，并确定该空间点的目标空间位置信息。
考虑到通过预先建立的特征点检测模型所检测出的备用特征点可能存在误差的情况。针对每一红外图像组，每一红外图像中包括的该红外图像组对应的语义信息所对应备用特征点的检测位置信息存在优劣之分，即位置信息的识别的准确与否之分。利用该红外图像组对应的语义信息所对应的检测位置信息相对准确的备用特征点，所构建出的该红外图像组对应的语义信息所对应的空间点的位置信息也会相对准确；进而可以利用该红外图像组对应的语义信息所对应的、位置信息相对准确的空间点在红外图像中的投影，优化红外图像中该红外图像组对应的语义信息所对应备用特征点不够准确的检测位置信息；进而得到该红外图像组各红外图像中该红外图像组对应的语义信息所对应备用特征点的位置信息。
鉴于此，在一种实现方式中，电子设备可以针对每一红外图像组，基于预设非线性优化算法，利用该红外图像组中的每N帧红外图像中，该红外图像组对应的语义信息所对应备用特征点的检测位置信息，以及该N帧红外图像对应的设备位姿信息，确定该语义信息所对应备用特征点对应的第一三维位置信息。其中，该预设非线性优化算法可以包括但不限于：牛顿法、梯度下降法以及拟牛顿法。该N的取值范围为[2，M]，M为该红外图像组中红外图像的总数量的整数。
具体的，电子设备可以针对每一红外图像组，随机从该红外图像组中剔除一帧或多帧红外图像，认为该红外图像组中剩余的N帧红外图像中，该红外图像组对应的语义信息所对应备用特征点的检测位置识别较准确，得到该红外图像组对应的多组包含N帧红外图像的子图像组，即得到包含不小于2帧红外图像的子图像组；进而，利用红外图像组中每N帧红外图像中该语义信息所对应备用特征点的检测位置信息，该N帧红外图像中该红外图像组对应的语义信息所对应备用特征点对应的预设投影模型，以及该N帧红外图像对应的设备位姿信息，确定该红外图像组对应的语义信息所对应备用特征点对应的多个第一三维位置信息；后续执行步骤012。其中，上述其各自对应的图像采集设备的设备坐标系，指该红外图像组对应的语义信息所对应备用特征点，对应的图像采集设备的设备坐标系。红外图像组中每N帧红外图像可以组成一个上述的子图像组。
举例而言，一红外图像组a中包含5帧红外图像，分别为红外图像1-5，红外图像组a对应语义A，即该红外图像组a包含的5帧红外图像，均包括对应语义信息A的备用特征点；电子设备针对该红外图像组a，随机剔除一帧或多帧红外图像，将该红外图像组a中剩余的N帧图像作为该红外图像组a对应的一组子图像组，获得该红外图像组a的多组子图像组。该红外图像组a对应的子图像组可以分别包括2帧红外图像，3帧红外图像，4帧红外图像以及5帧红外图像，其中，包括2帧红外图像的子图像组可以为10组，包括3帧红外图像的子图像组可以为10组，包括4帧红外图像的子图像组可以为5组，包括5帧红外图像的子图像组可以为1组。相应的，该红外图像组a对应的该语义信息A所对应备用特征点对应的第一三维位置信息，最多可以为26个。
上述利用红外图像组中每N帧红外图像中，该语义信息所对应备用特征点的检测位置信息，该N帧红外图像中该红外图像组对应的语义信息所对应备用特征点对应的预设投影模型，以及该N帧红外图像对应的设备位姿信息，确定该红外图像组对应的语义信息所对应备用特征点对应的多个第一三维位置信息的过程，可以是：
针对该红外图像组的每N帧红外图像，利用该N帧红外图像中，该红外图像组对应的语义信息所对应备用特征点的检测位置信息，以及该N帧红外图像分别对应的图像采集设备的预设投影模型，确定该语义信息所对应备用特征点，在各自对应的图像采集设备的设备坐标系下的位置信息；进而，利用该N帧红外图像中该语义信息所对应备用特征点在各自对应的图像采集设备的设备坐标系下的位置信息，以及该N帧红外图像中该语义信息所对应备用特征点对应的设备位姿信息，即该N帧红外图像每一图像对应的设备位姿信息，确定利用该N帧红外图像中该红外图像组对应的语义信息所对应备用特征点的检测位置信息，所确定出的该语义信息所对应备用特征点对应的第一三维位置信息。
其中，该N帧红外图像中，该红外图像组对应的语义信息所对应备用特征点对应的设备位姿信息和预设投影模型，分别为：采集得到该N帧红外图像中每一图像的图像采集设备的设备位姿信息和预设投影模型。本发明实施例中，图像采集设备确定，该图像采集设备的预设投影模型确定。
上述利用该N帧红外图像中，该红外图像组对应的语义信息所对应备用特征点的检测位置信息，以及该N帧红外图像分别对应的图像采集设备的预设投影模型，确定该语义信息所对应备用特征点，在各自对应的图像采集设备的设备坐标系下的位置信息的过程，可以采用如下公式(1)进行计算：
Figure BDA0002344768640000141
其中，(uij，vij)表示该N帧红外图像中该红外图像组对应的第j个语义信息所对应第i个备用特征点的检测位置信息，(xcij，ycij，zcij)表示该N帧红外图像中该红外图像组对应的第j个语义信息所对应第i个备用特征点，在其所对应图像采集设备的设备坐标系下的位置信息，K表示该N帧红外图像中该红外图像组对应的第j个语义信息所对应第i个备用特征点所对应图像采集设备的内参矩阵，可以预先标定得到；
Figure BDA0002344768640000142
表示该N帧红外图像中该红外图像组对应的第j个语义信息所对应第i个备用特征点对应的图像采集设备的预设投影模型；i的取值范围可以为[1，N]之间的整数，j的取值范围可以为[1，M]之间的整数，M该红外图像组对应的语义信息的总个数。
上述确定出利用该N帧红外图像中该红外图像组对应的语义信息所对应备用特征点的检测位置信息，所确定出的该语义信息所对应备用特征点对应的第一三维位置信息的过程，可以通过如下公式(2)计算得到；
Figure BDA0002344768640000143
其中，(xwij，ywij，zwij)表示该N帧红外图像中该红外图像组对应的第j个语义信息所对应第i个备用特征点对应的空间点的初始三维位置信息；Ri表示该第i个备用特征点所对应图像采集设备的设备坐标系，与世界坐标系之间的旋转矩阵；ti表示该第i个备用特征点所对应图像采集设备的设备坐标系，与世界坐标系之间的平移矩阵，该Ri和ti可以基于该第i个备用特征点所对应图像采集设备的设备位姿信息确定。该图像采集设备的设备位姿信息为世界坐标系下的位姿信息。
针对每一红外图像组中的每N帧红外图像，利用公式(2)构建出该N帧红外图像中该红外图像组对应的第j个语义信息、所对应每一备用特征点对应的空间点的初始三维位置信息，进而联立构建出的该N帧红外图像中该红外图像组对应的第j个语义信息、所对应每一备用特征点对应的空间点的初始三维位置信息，通过预设非线性优化算法，拟合出该N帧红外图像中该红外图像组对应的第j个语义信息、所对应备用特征点对应的空间点的第一三维位置信息，以得到该红外图像组对应的第j个语义信息所对应备用特征点对应的多个第一三维位置信息。
在一种实现方式中，所述012，可以包括如下步骤0121-0123：
0121：针对该红外图像组对应的语义信息所对应备用特征点对应的每一第一三维位置信息，利用该第一三维位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该第一三维位置信息所对应空间点在该红外图像组中每一红外图像中的投影位置信息。
0122：针对该红外图像组对应的语义信息所对应备用特征点对应的每一第一三维位置信息，利用该第一三维位置信息所对应空间点在该红外图像组中每一红外图像中的投影位置信息，以及该语义信息所对应备用特征点的检测位置信息，确定该第一三维位置信息对应的重投影误差。
0123：判断所对应第一三维位置信息对应的最小的重投影误差，是否不高于预设重投影误差阈值。
S124：在判断所对应第一三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值的情况下，确定该语义信息为目标语义信息，并将所对应重投影误差最小的第一三维位置信息，确定为该目标语义信息对应的备用特征点对应的目标空间位置信息。
本实现方式中，可以确定出该红外图像组对应的语义信息所对应备用特征点对应的多个第一三维位置信息，该多个第一三维位置信息中存在优劣之分，为了保证后续的在该红外图像组的各红外图像中，确定出该红外图像组对应的语义信息所对应备用特征点的相对准确的标注位置信息，可以从该红外图像组对应的语义信息所对应备用特征点对应的多个第一三维位置信息中，筛选出最优的第一三维位置信息，进而利用所确定出的最优的第一三维位置信息，从该红外图像组的各红外图像中，确定出该红外图像组对应的语义信息所对应备用特征点的相对准确的标注位置信息。
具体的，电子设备针对该红外图像组对应的语义信息所对应备用特征点对应的每一第一三维位置信息，利用该第一三维位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定出该第一三维位置信息所对应空间点，在该红外图像组对应的语义信息所对应备用特征点、对应的图像采集设备的设备坐标系下的位置信息；进而，利用该红外图像组对应的语义信息所对应备用特征点对应的图像采集设备的预设投影模型，以及该第一三维位置信息所对应空间点在红外图像组对应的语义信息所对应备用特征点、对应的设备坐标系下的位置信息，确定出该第一三维位置信息对应的空间点在该红外图像组中每一红外图像中的投影点的投影位置信息。
例如：红外图像组b对应语义信息B，红外图像组b对应的语义信息B所对应备用特征点对应的每一第一三维位置信息，存在26个，该红外图像组b中5帧红外图像均包括对应该语义信息B的备用特征点；针对每一个第一三维位置信息，利用该语义信息B所对应备用特征点对应的设备位姿信息，将第一三维位置信息对应的空间点，映射至该语义信息B所对应备用特征点对应的图像采集设备设备坐标系下，得到该第一三维位置信息所对应空间点，在该语义信息B所对应备用特征点、对应的图像采集设备的设备坐标系下的位置信息；进而，利用该语义信息B所对应备用特征点对应的图像采集设备的预设投影模型，以及该第一三维位置信息所对应空间点在语义信息B所对应备用特征点、对应的设备坐标系下的位置信息，确定出该第一三维位置信息对应的空间点在该红外图像组中每一红外图像中的投影位置信息。
相应的，该红外图像组中各红外图像包括：该红外图像组对应的语义信息所对应备用特征点的一个检测位置信息，和每一第一三维位置信息对应的空间点的投影位置信息；针对每一第一三维位置信息，利用该第一三维位置信息所对应空间点在该红外图像组中每一红外图像中的投影位置信息，以及该语义信息所对应备用特征点的检测位置信息，确定该第一三维位置信息对应的重投影误差。具体的，针对该红外图像组中每一红外图像，计算该第一三维位置信息所对应空间点在该红外图像中的投影位置信息，与该红外图像组对应的语义信息所对应备用特征点在该红外图像中的检测位置信息之间的距离，作为该红外图像对应的误差距离；计算该红外图像组中所有红外图像对应的误差距离之和，或者计算该红外图像组中所有红外图像对应的误差距离的平均值，作为第一三维位置信息对应的重投影误差。
从该红外图像组对应的语义信息所对应备用特征点对应的第一三维位置信息中，确定出所对应重投影误差最小的第一三维位置信息，作为第一目标三维位置信息；并判断该第一目标三维位置信息对应的最小的重投影误差，是否不高于预设重投影误差阈值，若判断该第一目标三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值，则认为该第一目标三维位置信息为：所构建出的该红外图像组对应的语义信息对应的较准确地空间点对应的三维位置信息，即该红外图像组对应的语义信息所对应备用特征点的检测位置信息中，存在识别位置较准确的备用特征点；反之，则认为该红外图像组对应的语义信息不对应较准确地空间点对应的三维位置信息，即该红外图像组对应的语义信息所对应备用特征点的检测位置信息中，不存在识别位置较准确的备用特征点。
为了保证所确定出的该红外图像对应的语义信息所对应备用特征点的标注位置信息的准确性，在判断所对应第一三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值的情况下，确定该语义信息为目标语义信息，并将所对应重投影误差最小的第一三维位置信，确定为该目标语义信息对应的备用特征点对应的目标空间位置信息。
上述确定第一三维位置信息对应的空间点在该红外图像组中每一红外图像中的投影点的投影位置信息的过程，可以通过如下公式(3)计算得到；
Figure BDA0002344768640000171
其中，(xwj，ywj，zwj)表示上述红外图像组中N帧红外图像中、该红外图像组对应的第j个语义信息、所对应备用特征点对应的空间点的第一三维位置信息；(uij’，vij’)表示该第一三维位置信息对应的空间点，在第一三维位置信息所对应红外图像组的N帧红外图像中第i个备用特征点所在红外图像中的投影点的投影位置信息。
在针对每一第一三维位置信息而言，将该第一三维位置信息对应的N帧红外图像对应的误差距离之和，作为该第一三维位置信息对应的重投影误差，具体的，可以通过如下公式(4)表示：
Figure BDA0002344768640000172
其中，loss表示上述红外图像组中N帧红外图像中、该红外图像组对应的第j个语义信息、所对应备用特征点对应的空间点的第一三维位置信息对应的重投影误差。
在本发明的另一种实施例中，在基于红外图像对应的图像采集设备的设备位姿信息对红外图像进行分组的情况下；
所述S104，可以包括如下步骤021-024：
021：针对每一红外图像组对应的每一语义信息，基于该语义信息所对应备用特征点的检测位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该语义信息所对应备用特征点对应的第二三维位置信息。
其中，若红外图像组中至少两帧红外图像的备用特征点对应相同的语义信息时，将该语义信息作为该红外图像组对应的语义信息。
022：针对每一语义信息所对应备用特征点对应的每一第二三维位置信息，利用该第二三维位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该第二三维位置信息所对应空间点在每一第一红外图像中的投影位置信息。
其中，该第一红外图像为：包含对应该语义信息的备用特征点的红外图像。
023：针对每一语义信息所对应备用特征点对应的每一第二三维位置信息，利用该第二三维位置信息所对应空间点在每一第一红外图像中的投影位置信息，以及该语义信息所对应备用特征点的检测位置信息，确定该第二三维位置信息对应的重投影误差。
024：针对每一语义信息，判断所对应第二三维位置信息对应的最小的重投影误差，是否不高于预设重投影误差阈值。
025：在判断所对应第二三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值的情况下，确定该语义信息为目标语义信息，并将所对应重投影误差最小的第二三维位置信，确定为该目标语义信息所对应备用特征点对应的目标空间位置信息。
本实现方式中，在基于红外图像对应的图像采集设备的设备位姿信息，对红外图像进行分组的情况下，将所对应图像采集设备位置相邻的多个红外图像，划分为一组，得到至少一组红外图像组。位置相邻的图像采集设备之间的图像采集区域可以存在重叠的区域，其之间采集的红外图像中存在对应相同的语义信息，即对应同一物理点的备用特征点的可能性较高。
电子设备在确定出每一组红外图像组后，针对每一红外图像组，统计其中包括的每一语义信息对应的备用特征点的个数，若语义信息对应的备用特征点的个数不低于2，则确定该语义信息为该红外图像组对应的语义信息。
针对每一红外图像组对应的每一语义信息，基于该语义信息所对应备用特征点的检测位置信息，以及该语义信息所对应备用特征点对应的图像采集设备的预设投影模型，确定该语义信息所对应备用特征点在各自对应的图像采集设备的设备坐标系下的位置信息；基于该语义信息所对应备用特征点在各自对应的图像采集设备的设备坐标系下的位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该语义信息所对应备用特征点对应的第二三维位置信息。其中，该语义信息所对应备用特征点对应的图像采集设备为：采集到该语义信息所对应备用特征点所在红外图像的图像采集设备。在确定每一红外图像组对应的每一语义信息所对应备用特征点对应的第二三维位置信息的过程为：基于预设非线性优化算法确定，以得到每一红外图像组对应的每一语义信息所对应备用特征点对应的多个第二三维位置信息。
进而，针对每一语义信息所对应备用特征点对应的每一第二三维位置信息，利用该第二三维位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该第二三维位置信息所对应空间点在相应的图像采集设备的设备坐标系下的位置信息，进而，结合图像采集设备的预设投影模型，确定该第二三维位置信息所对应空间点在每一第一红外图像中的投影位置信息，即在每一包含该语义信息所对应备用特征点的红外图像中的投影位置信息。进而，针对每一语义信息所对应备用特征点对应的每一第二三维位置信息，计算该第二三维位置信息所对应空间点在每一第一红外图像中的投影位置信息，以及该语义信息所对应备用特征点在该第一红外图像中的检测位置信息之间的距离，确定为每一第一红外图像对应的误差距离；计算所有第一红外图像对应的误差距离之和，或者计算所有第一红外图像对应的误差距离的平均值，作为该第二三维位置信息对应的重投影误差。
针对每一红外图像组，从该红外图像组对应的语义信息所对应备用特征点对应的第二三维位置信息中，确定出所对应重投影误差最小的第二三维位置信息，作为第二目标三维位置信息；判断该第二目标三维位置信息对应的最小的重投影误差，是否不高于预设重投影误差阈值；若判断该第二目标三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值，则认为该第二目标三维位置信息为：所构建出的该红外图像组对应的该语义信息对应的较准确地空间点的三维位置信息，即该红外图像组对应的语义信息所对应备用特征点的检测位置信息中，存在识别位置较准确的备用特征点；反之，则认为该红外图像组对应的语义信息不对应较准确地空间点的三维位置信息，即该红外图像组对应的语义信息所对应备用特征点的检测位置信息中，不存在识别位置较准确的备用特征点。
进而，为了保证所确定出每一红外图像组对应的每一语义信息所对应备用特征点对应的目标空间位置信息的准确性。在判断所对应第二三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值的情况下，确定该语义信息为目标语义信息，并将所对应重投影误差最小的第二三维位置信，确定为该目标语义信息所对应备用特征点对应的目标空间位置信息。
S105：针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息，确定每一红外图像中该目标语义信息所对应备用特征点的标注位置信息。
一种情况中，针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息，以及采集到每一红外图像的图像采集设备的设备位姿信息，确定该目标语义信息所对应备用特征点所对应空间点在每一图像采集设备的设备坐标系下的位姿信息；进而，基于该目标语义信息所对应备用特征点所对应空间点在每一图像采集设备的设备坐标系下的位姿信息，以及每一图像采集设备的预设投影模型，确定该目标语义信息所对应备用特征点所对应空间点每一红外图像中的映射位置信息；进而，将该目标语义信息所对应备用特征点所对应空间点每一红外图像中的映射位置信息，以及该目标语义信息所对应备用特征点的检测位置信息，确定为该目标语义信息所对应备用特征点的标注位置信息。
可以理解的是，所确定出的每一目标语义信息所对应备用特征点对应的目标空间位置信息，为所筛选出的位置相对准确的空间位置信息，可以直接利用每一目标语义信息所对应备用特征点对应的目标空间位置信息对应的空间点，在各红外图像中的投影点的映射位置信息，作为每一目标语义信息所对应备用特征点的标注位置信息，使得所确定出的每一目标语义信息所对应备用特征点的标注位置信息更加准确。
应用本发明实施例，可以利用预先建立的特征点检测模型，从图像采集系统在相同采集周期内针对目标对象采集的红外图像中，初步检测出其中包括的备用特征点的检测位置信息及语义信息；并对红外图像进行分组，使得每组中包括多帧含有相同的语义信息的备用特征点的红外图像；利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息，即构建目标语义信息所对应备用特征点对应的空间点；进而，利用目标语义信息所对应备用特征点对应的空间位置信息以及每一红外图像对应的设备位姿信息，优化确定出每一红外图像中该目标语义信息所对应备用特征点的标注位置信息，以实现自动对红外图像中的特征点进行标注，节省人力成本和时间成本，且通过目标语义信息所对应备用特征点对应的空间点的空间位置信息，对初步得到的目标语义信息所对应备用特征点的检测位置信息进行修正，确定出目标语义信息所对应备用特征点的较准确的标注位置信息。
在本发明的另一实施例中，如图2所示，所述方法可以包括如下步骤：
S201：获得图像采集系统在相同采集周期内针对目标对象采集的红外图像。
其中，图像采集系统包括：从不同角度对目标对象进行拍摄的多个图像采集设备。
S202：基于预先建立的特征点检测模型，从每一红外图像中确定出其中的备用特征点的检测位置信息及语义信息。
其中，预先建立的特征点检测模型为：至少基于标注有样本特征点的色彩样本图像训练所得的模型。
S203：基于每一备用特征点的语义信息或红外图像对应的图像采集设备的设备位姿信息，对红外图像进行分组，得到至少一组红外图像组。
S204：利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及每一语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息。
S205：针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息，确定每一红外图像中该目标语义信息所对应备用特征点的标注位置信息。
S206：利用红外图像及其对应的备用特征点的标注位置信息，修正预先建立的特征点检测模型。
其中，该S201与图1中所示的S101相同，该S202与图1中所示的S102相同，该S203与图1中所示的S103相同，该S204与图1中所示的S104相同，该S205与图1中所示的S105相同，在此不再赘述。
本实施例中，电子设备确定出每一红外图像中该目标语义信息所对应备用特征点的标注位置信息之后，可以将该红外图像以及该红外图像中每一目标语义信息所对应备用特征点的标注位置信息，作为训练集，继续训练该预先建立的特征点检测模型，以修正该预先建立的特征点检测模型。更进一步提高修正后的预先建立的特征点检测模型对红外图像中的特征点的检测的准确率。
通过本实施例，可以实现利用至少基于标注有样本特征点的色彩样本图像训练所得的预先建立的特征点检测模型，对红外图像中的特征点的自动检测，并且，通过所确定出的每一红外图像中目标语义信息所对应备用特征点的标注位置信息以及红外图像，继续修正该预先建立的特征点检测模型，以提高修正后的预先建立的特征点检测模型对红外图像中的特征点的检测的准确率，实现特征点检测的场景转移，从对色彩图像中特征点的准确检测，转移到对红外图像中特征点的自动准确检测。
后续的，一种实现中，通过大量的红外图像及红外图像中各语义信息所对应备用特征点的标注位置信息，对预先建立的特征点检测模型的修正，当该预先建立的特征点检测模型收敛之后，可以直接利用该收敛的预先建立的特征点检测模型对红外图像进行自动检测。
相应于上述方法实施例，本发明实施例提供了一种图像特征点的标定装置，如图3所示，所述装置可以包括：
第一获得模块310，被配置为获得图像采集系统在相同采集周期内针对目标对象采集的红外图像，其中，所述图像采集系统包括：从不同角度对所述目标对象进行拍摄的多个图像采集设备；
第一确定模块320，被配置为基于预先建立的特征点检测模型，从每一红外图像中确定出其中的备用特征点的检测位置信息及语义信息，其中，所述预先建立的特征点检测模型为：至少基于标注有样本特征点的色彩样本图像训练所得的模型；
分组模块330，被配置为基于每一备用特征点的语义信息或红外图像对应的图像采集设备的设备位姿信息，对所述红外图像进行分组，得到至少一组红外图像组；
第二确定模块340，被配置为利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及每一语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息；
第三确定模块350，被配置为针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息，确定每一红外图像中该目标语义信息所对应备用特征点的标注位置信息。
应用本发明实施例，可以利用预先建立的特征点检测模型，从图像采集系统在相同采集周期内针对目标对象采集的红外图像中，初步检测出其中包括的备用特征点的检测位置信息及语义信息；并对红外图像进行分组，使得每组中包括多帧含有相同的语义信息的备用特征点的红外图像；利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息，即构建目标语义信息所对应备用特征点对应的空间点；进而，利用目标语义信息所对应备用特征点对应的空间位置信息以及每一红外图像对应的设备位姿信息，优化确定出每一红外图像中该目标语义信息所对应备用特征点的标注位置信息，以实现自动对红外图像中的特征点进行标注，节省人力成本和时间成本，且通过目标语义信息所对应备用特征点对应的空间点的空间位置信息，对初步得到的目标语义信息所对应备用特征点的检测位置信息进行修正，确定出目标语义信息所对应备用特征点的较准确的标注位置信息。
在本发明的另一实施例中，所述分组模块330，被具体配置为针对每一语义信息，将包含对应该语义信息的备用特征点的红外图像，划分为一组，得到至少一组红外图像组；
或，被具体配置为基于红外图像对应的图像采集设备的设备位姿信息，将所对应图像采集设备位置相邻的多个红外图像，划分为一组，得到至少一组红外图像组。
在本发明的另一实施例中，在针对每一语义信息，将包含该语义信息的备用特征点的红外图像，划分为一组的情况下；
所述第二确定模块340，包括：
第一确定单元(图中未示出)，被配置为针对每一红外图像组，利用该红外图像组中的每N帧红外图像中，该红外图像组对应的语义信息所对应备用特征点的检测位置信息，以及该N帧红外图像对应的设备位姿信息，确定该语义信息所对应备用特征点对应的第一三维位置信息，N为不小于2的整数；
第二确定单元(图中未示出)，被配置为针对每一红外图像组，利用该红外图像组对应的语义信息所对应备用特征点对应的第一三维位置信息，以及该语义信息所对应备用特征点的检测位置信息及其对应的设备位姿信息，确定出目标语义信息及其对应的备用特征点对应的目标空间位置信息。
在本发明的另一实施例中，所述第二确定单元(图中未示出)，被具体配置为
针对该红外图像组对应的语义信息所对应备用特征点对应的每一第一三维位置信息，利用该第一三维位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该第一三维位置信息所对应空间点在该红外图像组中每一红外图像中的投影位置信息；
针对该红外图像组对应的语义信息所对应备用特征点对应的每一第一三维位置信息，利用该第一三维位置信息所对应空间点在该红外图像组中每一红外图像中的投影位置信息，以及该语义信息所对应备用特征点的检测位置信息，确定该第一三维位置信息对应的重投影误差；
判断所对应第一三维位置信息对应的最小的重投影误差，是否不高于预设重投影误差阈值；
在判断所对应第一三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值的情况下，确定该语义信息为目标语义信息，并将所对应重投影误差最小的第一三维位置信息，确定为该目标语义信息对应的备用特征点对应的目标空间位置信息。
在本发明的另一实施例中，在基于红外图像对应的图像采集设备的设备位姿信息对所述红外图像进行分组的情况下；
所述第二确定模块340，被具体配置为
针对每一红外图像组对应的每一语义信息，基于该语义信息所对应备用特征点的检测位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该语义信息所对应备用特征点对应的第二三维位置信息，其中，若红外图像组中至少两帧红外图像的备用特征点对应相同的语义信息时，将该语义信息作为该红外图像组对应的语义信息；
针对每一语义信息所对应备用特征点对应的每一第二三维位置信息，利用该第二三维位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该第二三维位置信息所对应空间点在每一第一红外图像中的投影位置信息，其中，该第一红外图像为：包含对应该语义信息的备用特征点的红外图像；
针对每一语义信息所对应备用特征点对应的每一第二三维位置信息，利用该第二三维位置信息所对应空间点在每一第一红外图像中的投影位置信息，以及该语义信息对应的备用特征点的检测位置信息，确定该第二三维位置信息对应的重投影误差；
针对每一语义信息，判断所对应第二三维位置信息对应的最小的重投影误差，是否不高于预设重投影误差阈值；
在判断所对应第二三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值的情况下，确定该语义信息为目标语义信息，并将所对应重投影误差最小的第二三维位置信，确定为该目标语义信息所对应备用特征点对应的目标空间位置信息。
在本发明的另一实施例中，所述第三确定模块350，被具体配置为
针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的空间位置信息，以及每一红外图像对应的设备位姿信息，确定该空间位置信息对应的空间点在每一红外图像中的映射位置信息；
针对每一目标语义信息，将该目标空间位置信息对应的空间点在每一红外图像中的映射位置信息，确定为每一红外图像中该目标语义信息所对应备用特征点的标注位置信息。
在本发明的另一实施例中，所述装置还包括：
修正模块(图中未示出)，被配置为在所述针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息，确定每一红外图像中该目标语义信息所对应备用特征点的标注位置信息之后，利用所述红外图像及其对应的备用特征点的标注位置信息，修正所述预先建立的特征点检测模型。
上述装置、系统实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (9)

1.一种图像特征点的标定方法，其特征在于，所述方法包括：
获得图像采集系统在相同采集周期内针对目标对象采集的红外图像，其中，所述图像采集系统包括：从不同角度对所述目标对象进行拍摄的多个图像采集设备；
基于预先建立的特征点检测模型，从每一红外图像中确定出其中的备用特征点的检测位置信息及语义信息，其中，所述预先建立的特征点检测模型为：至少基于标注有样本特征点的色彩样本图像训练所得的模型；
基于每一备用特征点的语义信息或红外图像对应的图像采集设备的设备位姿信息，对所述红外图像进行分组，得到至少一组红外图像组；
利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及每一语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息；
针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息，确定每一红外图像中该目标语义信息所对应备用特征点的标注位置信息；
所述针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息，确定每一红外图像中该目标语义信息所对应备用特征点的标注位置信息的步骤，包括：
针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息，以及采集到每一红外图像的图像采集设备的设备位姿信息，确定该目标语义信息所对应备用特征点对应的空间点在每一图像采集设备的设备坐标系下的位姿信息；
基于该目标语义信息所对应备用特征点对应的空间点在每一图像采集设备的设备坐标系下的位姿信息，以及每一图像采集设备的预设投影模型，确定该目标语义信息所对应备用特征点对应的空间点在每一红外图像中的映射位置信息；
将该目标语义信息所对应备用特征点对应的空间点在每一红外图像中的映射位置信息，以及该目标语义信息所对应备用特征点的检测位置信息，确定为该目标语义信息所对应备用特征点的标注位置信息。
2.如权利要求1所述的方法，其特征在于，所述基于每一备用特征点的语义信息或红外图像对应的图像采集设备的设备位姿信息，对所述红外图像进行分组，得到至少一组红外图像组的步骤，通过如下两种实现方式中的任一种实现方式实现：
第一种实现方式：
针对每一语义信息，将包含对应该语义信息的备用特征点的红外图像，划分为一组，得到至少一组红外图像组；
第二种实现方式：
基于红外图像对应的图像采集设备的设备位姿信息，将所对应图像采集设备位置相邻的多个红外图像，划分为一组，得到至少一组红外图像组。
3.如权利要求2所述的方法，其特征在于，在针对每一语义信息，将包含该语义信息的备用特征点的红外图像，划分为一组的情况下；
所述利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及每一语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息的步骤，包括：
针对每一红外图像组，利用该红外图像组中的每N帧红外图像中，该红外图像组对应的语义信息所对应备用特征点的检测位置信息，以及该N帧红外图像对应的设备位姿信息，确定该语义信息所对应备用特征点对应的第一三维位置信息，N为不小于2的任一整数；
针对每一红外图像组，利用该红外图像组对应的语义信息所对应备用特征点对应的第一三维位置信息，以及该语义信息所对应备用特征点的检测位置信息及其对应的设备位姿信息，确定出目标语义信息及其对应的备用特征点对应的目标空间位置信息。
4.如权利要求3所述的方法，其特征在于，所述利用该红外图像组对应的语义信息所对应备用特征点对应的第一三维位置信息，以及该语义信息所对应备用特征点的检测位置信息及其对应的设备位姿信息，确定出目标语义信息及其对应的备用特征点对应的目标空间位置信息的步骤，包括：
针对该红外图像组对应的语义信息所对应备用特征点对应的每一第一三维位置信息，利用该第一三维位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该第一三维位置信息所对应空间点在该红外图像组中每一红外图像中的投影位置信息；
针对该红外图像组对应的语义信息所对应备用特征点对应的每一第一三维位置信息，利用该第一三维位置信息所对应空间点在该红外图像组中每一红外图像中的投影位置信息，以及该语义信息所对应备用特征点的检测位置信息，确定该第一三维位置信息对应的重投影误差；
判断所对应第一三维位置信息对应的最小的重投影误差，是否不高于预设重投影误差阈值；
在判断所对应第一三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值的情况下，确定该语义信息为目标语义信息，并将所对应重投影误差最小的第一三维位置信息，确定为该目标语义信息对应的备用特征点对应的目标空间位置信息。
5.如权利要求2所述的方法，其特征在于，在基于红外图像对应的图像采集设备的设备位姿信息对所述红外图像进行分组的情况下；
所述利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及每一语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息的步骤，包括：
针对每一红外图像组对应的每一语义信息，基于该语义信息所对应备用特征点的检测位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该语义信息所对应备用特征点对应的第二三维位置信息，其中，若红外图像组中至少两帧红外图像的备用特征点对应相同的语义信息时，将该语义信息作为该红外图像组对应的语义信息；
针对每一语义信息所对应备用特征点对应的每一第二三维位置信息，利用该第二三维位置信息，以及该语义信息所对应备用特征点对应的设备位姿信息，确定该第二三维位置信息所对应空间点在每一第一红外图像中的投影位置信息，其中，该第一红外图像为：包含对应该语义信息的备用特征点的红外图像；
针对每一语义信息所对应备用特征点对应的每一第二三维位置信息，利用该第二三维位置信息所对应空间点在每一第一红外图像中的投影位置信息，以及该语义信息对应的备用特征点的检测位置信息，确定该第二三维位置信息对应的重投影误差；
针对每一语义信息，判断所对应第二三维位置信息对应的最小的重投影误差，是否不高于预设重投影误差阈值；
在判断所对应第二三维位置信息对应的最小的重投影误差，不高于预设重投影误差阈值的情况下，确定该语义信息为目标语义信息，并将所对应重投影误差最小的第二三维位置信，确定为该目标语义信息所对应备用特征点对应的目标空间位置信息。
6.如权利要求1-5任一项所述的方法，其特征在于，在所述针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息，确定每一红外图像中该目标语义信息所对应备用特征点的标注位置信息的步骤之后，所述方法还包括：
利用所述红外图像及其对应的备用特征点的标注位置信息，修正所述预先建立的特征点检测模型。
7.一种图像特征点的标定装置，其特征在于，所述装置包括：
第一获得模块，被配置为获得图像采集系统在相同采集周期内针对目标对象采集的红外图像，其中，所述图像采集系统包括：从不同角度对所述目标对象进行拍摄的多个图像采集设备；
第一确定模块，被配置为基于预先建立的特征点检测模型，从每一红外图像中确定出其中的备用特征点的检测位置信息及语义信息，其中，所述预先建立的特征点检测模型为：至少基于标注有样本特征点的色彩样本图像训练所得的模型；
分组模块，被配置为基于每一备用特征点的语义信息或红外图像对应的图像采集设备的设备位姿信息，对所述红外图像进行分组，得到至少一组红外图像组；
第二确定模块，被配置为利用每一红外图像组对应的语义信息所对应备用特征点的检测位置信息，及每一语义信息所对应备用特征点对应的设备位姿信息，确定出目标语义信息所对应备用特征点对应的目标空间位置信息；
第三确定模块，被配置为针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息，确定每一红外图像中该目标语义信息所对应备用特征点的标注位置信息；
第三确定模块，被具体配置为针对每一目标语义信息，基于该目标语义信息所对应备用特征点对应的目标空间位置信息，以及采集到每一红外图像的图像采集设备的设备位姿信息，确定该目标语义信息所对应备用特征点对应的空间点在每一图像采集设备的设备坐标系下的位姿信息；基于该目标语义信息所对应备用特征点对应的空间点在每一图像采集设备的设备坐标系下的位姿信息，以及每一图像采集设备的预设投影模型，确定该目标语义信息所对应备用特征点对应的空间点在每一红外图像中的映射位置信息；将该目标语义信息所对应备用特征点对应的空间点在每一红外图像中的映射位置信息，以及该目标语义信息所对应备用特征点的检测位置信息，确定为该目标语义信息所对应备用特征点的标注位置信息。
8.如权利要求7所述的装置，其特征在于，所述分组模块，被具体配置为针对每一语义信息，将包含对应该语义信息的备用特征点的红外图像，划分为一组，得到至少一组红外图像组；
或，被具体配置为基于红外图像对应的图像采集设备的设备位姿信息，将所对应图像采集设备位置相邻的多个红外图像，划分为一组，得到至少一组红外图像组。
9.如权利要求8所述的装置，其特征在于，在针对每一语义信息，将包含该语义信息的备用特征点的红外图像，划分为一组的情况下；
所述第二确定模块，包括：
第一确定单元，被配置为针对每一红外图像组，利用该红外图像组中的每N帧红外图像中，该红外图像组对应的语义信息所对应备用特征点的检测位置信息，以及该N帧红外图像对应的设备位姿信息，确定该语义信息所对应备用特征点对应的第一三维位置信息，N为不小于2的整数；
第二确定单元，被配置为针对每一红外图像组，利用该红外图像组对应的语义信息所对应备用特征点对应的第一三维位置信息，以及该语义信息所对应备用特征点的检测位置信息及其对应的设备位姿信息，确定出目标语义信息及其对应的备用特征点对应的目标空间位置信息。
CN201911420037.9A 2019-12-30 2019-12-30 一种图像标定方法及装置 Active CN113129365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911420037.9A CN113129365B (zh) 2019-12-30 2019-12-30 一种图像标定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911420037.9A CN113129365B (zh) 2019-12-30 2019-12-30 一种图像标定方法及装置

Publications (2)

Publication Number Publication Date
CN113129365A CN113129365A (zh) 2021-07-16
CN113129365B true CN113129365B (zh) 2022-06-24

Family

ID=76769446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911420037.9A Active CN113129365B (zh) 2019-12-30 2019-12-30 一种图像标定方法及装置

Country Status (1)

Country Link
CN (1) CN113129365B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742311A (zh) * 2017-09-29 2018-02-27 北京易达图灵科技有限公司 一种视觉定位的方法及装置
CN109961471A (zh) * 2017-12-14 2019-07-02 北京猎户星空科技有限公司 一种图像中物体位置的标注方法、装置及电子设备
CN110097584A (zh) * 2019-03-18 2019-08-06 国网浙江省电力有限公司信息通信分公司 结合目标检测和语义分割的图像配准方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742311A (zh) * 2017-09-29 2018-02-27 北京易达图灵科技有限公司 一种视觉定位的方法及装置
CN109961471A (zh) * 2017-12-14 2019-07-02 北京猎户星空科技有限公司 一种图像中物体位置的标注方法、装置及电子设备
CN110097584A (zh) * 2019-03-18 2019-08-06 国网浙江省电力有限公司信息通信分公司 结合目标检测和语义分割的图像配准方法

Also Published As

Publication number Publication date
CN113129365A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN110163114B (zh) 一种人脸角度及人脸模糊度分析方法、系统和计算机设备
CN108734162B (zh) 商品图像中目标识别方法、系统、设备及存储介质
CN111862296B (zh) 三维重建方法及装置、系统、模型训练方法、存储介质
US10592726B2 (en) Manufacturing part identification using computer vision and machine learning
CN104506857B (zh) 一种摄像头位置偏离检测方法及设备
CN113038018B (zh) 辅助用户拍摄车辆视频的方法及装置
CN110163211B (zh) 一种图像识别方法、装置和存储介质
CN110516623B (zh) 一种人脸识别方法、装置及电子设备
CN111325769B (zh) 一种目标对象检测方法及装置
CN101783019A (zh) 被摄体跟踪设备及其控制方法、摄像设备以及显示设备
US8428313B2 (en) Object image correction apparatus and method for object identification
CN104135926A (zh) 图像处理设备、图像处理系统、图像处理方法以及程序
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN110827432B (zh) 一种基于人脸识别的课堂考勤方法及系统
CN111563492B (zh) 一种跌倒检测方法、跌倒检测装置及存储装置
CN111738036A (zh) 图像处理方法、装置、设备及存储介质
CN107948586A (zh) 基于视频拼接的跨区域运动目标检测方法和装置
CN113344002A (zh) 一种目标坐标去重方法、系统、电子设备及可读存储介质
CN112101303A (zh) 一种图像数据处理方法、装置以及计算机可读存储介质
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
CN112749664A (zh) 一种手势识别方法、装置、设备、系统及存储介质
CN113221815A (zh) 一种基于骨骼关键点自动检测技术的步态鉴定方法
CN113129365B (zh) 一种图像标定方法及装置
CN112836682A (zh) 视频中对象的识别方法、装置、计算机设备和存储介质
CN113516705B (zh) 一种手部关键点的标定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211130

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant