CN112262411B - 图像关联方法、系统和装置 - Google Patents

图像关联方法、系统和装置 Download PDF

Info

Publication number
CN112262411B
CN112262411B CN202080000886.3A CN202080000886A CN112262411B CN 112262411 B CN112262411 B CN 112262411B CN 202080000886 A CN202080000886 A CN 202080000886A CN 112262411 B CN112262411 B CN 112262411B
Authority
CN
China
Prior art keywords
image
detection frame
determining
target
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080000886.3A
Other languages
English (en)
Other versions
CN112262411A (zh
Inventor
蔡中昂
吴金易
赵海宇
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime International Pte Ltd
Original Assignee
Sensetime International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from SG10201913017TA external-priority patent/SG10201913017TA/en
Application filed by Sensetime International Pte Ltd filed Critical Sensetime International Pte Ltd
Publication of CN112262411A publication Critical patent/CN112262411A/zh
Application granted granted Critical
Publication of CN112262411B publication Critical patent/CN112262411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/543—Depth or shape recovery from line drawings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本公开实施例提供一种图像关联方法、系统和装置，首先获取第一图像采集设备采集的第一图像和第二图像采集设备采集的第二图像，第一图像由第一图像采集设备在第一视角下采集一个场景获得，第二图像由第二图像采集设备在第二视角下同步采集所述场景获得，第一视角和第二视角不同；然后确定第一图像采集设备在第二图像所在平面中的极点，并确定第一检测框中的第一目标点在第二图像上的投影点；其中，第一检测框是第一图像中的一个目标的检测框；最后根据极点与投影点确定第一检测框在第二图像中的关联检测框。

Description

图像关联方法、系统和装置
技术领域
本公开涉及计算机视觉技术领域，尤其涉及图像关联方法、系统和装置。
背景技术
包括多个图像采集设备的系统(如，多相机系统)在现实生活中非常常见。相较于只有单个图像采集设备的系统，包括多个图像采集设备的系统视野更广、可以解决单图像采集设备无法解决的遮挡问题、通过融合各个图像采集设备的信息得到物体的完整信息。然而，包括多个图像采集设备的系统面临检测关联的问题，即判断一个图像采集设备采集的图像中的物体与另一个图像采集设备采集的图像中的物体是不是物理空间中的同一个物体。
发明内容
本公开实施例提供一种图像关联方法、系统和装置。
具体地，本公开是通过如下技术方案实现的：
根据本公开实施例的第一方面，提供一种图像关联方法，所述方法包括：
获取第一图像和第二图像；其中，所述第一图像是第一图像采集设备在第一视角下采集一个场景获得的，所述第二图像是第二图像采集设备在第二视角下同步采集所述场景获得的，所述第一视角和所述第二视角不同；
确定所述第一图像采集设备在所述第二图像所在平面中的极点；所述极点表征所述第一图像采集设备在所述第二图像所在平面中的位置；
确定第一检测框中的第一目标点在所述第二图像上的投影点；其中，所述第一检测框是所述第一图像中的一个目标的检测框；
根据所述极点与所述投影点确定所述第一检测框在所述第二图像中的关联检测框；其中，所述关联检测框中的目标与所述第一检测框中的目标为所述场景中的同一个目标。
在一些实施例中，所述第一图像中包括多个目标；确定所述第一检测框中的第一目标点在所述第二图像上的投影点，包括：
在所述第一图像中确定与所述多个目标对应的第一检测框，其中，每个所述第一检测框包括第一目标点；以及按照各个第一检测框在所述第一图像中的位置从下往上的顺序，依次确定各个第一检测框中的第一目标点在所述第二图像上的投影点；以及
根据所述极点与所述投影点确定所述第一检测框在所述第二图像上的关联检测框，包括：
按照各个第一检测框在所述第一图像中的位置从下往上的顺序，依次根据所述极点与每个投影点确定与每个投影点对应的第一检测框在所述第二图像上的关联检测框。
在一些实施例中，确定所述第一图像采集设备在所述第二图像所在平面中的极点，包括：
根据预先确定的基本矩阵确定所述第一图像采集设备在所述第二图像所在平面中的极点；所述基本矩阵为所述第一图像的像素坐标系与所述第二图像的像素坐标系之间的转换矩阵。
在一些实施例中，根据预先确定的基本矩阵确定所述第一图像采集设备在所述第二图像所在平面中的极点，包括：
确定所述基本矩阵的各个本征值及与所述本征值对应的本征矢量；以及
根据最小的本征值对应的本征矢量确定所述第一图像采集设备在所述第二图像所在平面中的极点。
在一些实施例中，确定第一检测框中的第一目标点在所述第二图像上的投影点包括：
根据预先确定的单应性矩阵确定所述第一目标点在所述第二图像中的投影点；其中，所述单应性矩阵为第一图像中的公共平面到所述第二图像中的所述公共平面之间的转换矩阵，所述公共平面为所述第一目标点所在的、且在第二图像采集设备的视野中能够出现的平面。
在一些实施例中，根据所述极点与所述投影点确定所述第一检测框在所述第二图像中的关联检测框，包括：
对于所述第二图像中的每个第二检测框，确定该第二检测框中的第二目标点到由所述极点与所述投影点确定的直线的垂足以及距离；其中，第二检测框为所述第二图像中的一个目标的检测框；第二检测框中的第二目标点与该第二检测框的相对位置关系，和所述第一目标点与与其所在的第一检测框的相对位置关系相同；
将距离在预设范围内、且垂足在由所述极点与所述投影点确定的线段上的第二目标点所属的第二检测框，确定为候选检测框；
将所述候选检测框放入候选检测框组中；以及
从所述候选检测框组中确定所述第一检测框在所述第二图像中的关联检测框。
在一些实施例中，从所述候选检测框组中确定所述第一检测框在所述第二图像中的关联检测框，包括：
将垂足与所述投影点的距离次近的第二目标点所属的候选检测框确定为所述关联检测框。
根据本公开实施例的第二方面，提供一种图像关联装置，所述装置包括：
第一获取模块，用于获取第一图像和第二图像；其中，所述第一图像是第一图像采集设备在第一视角下采集一个场景获得的，所述第二图像是第二图像采集设备在第二视角下同步采集所述场景获得的，所述第一视角和所述第二视角不同；
第一确定模块，用于确定所述第一图像采集设备在所述第二图像所在平面中的极点；所述极点表征所述第一图像采集设备在所述第二图像所在平面中的位置；
第二确定模块，用于确定第一检测框中的第一目标点在所述第二图像上的投影点；其中，所述第一检测框是所述第一图像中的一个目标的检测框；以及
关联模块，用于根据所述极点与所述投影点确定所述第一检测框在所述第二图像中的关联检测框；其中，所述关联检测框中的目标与所述第一检测框中的目标为所述场景中的同一个目标。
在一些实施例中，所述第一图像中包括多个目标；所述第二确定模块用于：
在所述第一图像中确定与所述多个目标对应的第一检测框，其中，每个所述第一检测框包括第一目标点；以及按照各个第一检测框在所述第一图像中的位置从下往上的顺序，依次确定各个第一检测框中的第一目标点在所述第二图像上的投影点；
所述关联模块用于：
按照各个第一检测框在所述第一图像中的位置从下往上的顺序，依次根据所述极点与每个投影点确定与每个投影点对应的第一检测框在所述第二图像上的关联检测框。
在一些实施例中，所述第一确定模块用于：
根据预先确定的基本矩阵确定所述第一图像采集设备在所述第二图像所在平面中的极点；所述基本矩阵为所述第一图像的像素坐标系与所述第二图像的像素坐标系之间的转换矩阵。
在一些实施例中，所述第一确定模块包括：
第一确定单元，用于确定所述基本矩阵的各个本征值及与各个本征值对应的本征矢量；以及
第二确定单元，用于根据最小的本征值对应的本征矢量确定所述第一图像采集设备在所述第二图像所在平面中的极点。
在一些实施例中，所述第二确定模块用于：
根据预先确定的单应性矩阵确定所述第一目标点在所述第二图像中的投影点；其中，所述单应性矩阵为第一图像中的公共平面到所述第二图像中的所述公共平面之间的转换矩阵，所述公共平面为所述第一目标点所在的、且在第二图像采集设备的视野中能够出现的平面。
在一些实施例中，所述关联模块包括：
第三确定单元，用于对所述第二图像中的每个第二检测框，确定第二检测框中的第二目标点到由所述极点与所述投影点确定的直线的垂足以及距离；其中，第二检测框为所述第二图像中的一个目标的检测框；第二检测框中的第二目标点与该第二检测框的相对位置关系，和所述第一目标点与与其所在的第一检测框的相对位置关系相同；
第四确定单元，用于将距离在预设范围内、且垂足在由所述极点与所述投影点确定的线段上的第二目标点所属的第二检测框，确定为候选检测框，并将所述候选检测框放入候选检测框组中；
关联单元，用于从所述候选检测框组中确定所述第一检测框在所述第二图像中的关联检测框。
在一些实施例中，所述关联单元用于：
将垂足与所述投影点的距离次近的第二目标点所属的候选检测框确定为所述关联检测框。
根据本公开实施例的第三方面，提供一种图像关联系统，包括：
第一图像采集设备，用于在第一视角下采集一个场景得到第一图像；
第二图像采集设备，用于在第二视角下同步采集所述场景得到第二图像，所述第一视角和所述第二视角不同；
处理器用于获取第一图像和第二图像并确定所述第一图像采集设备在所述第二图像所在平面中的极点；所述极点表征所述第一图像采集设备在所述第二图像所在平面中的位置；以及确定第一检测框中的第一目标点在所述第二图像上的投影点；其中，所述第一检测框是所述第一图像中的一个目标的检测框；并根据所述极点与所述投影点确定所述第一检测框在所述第二图像中的关联检测框；其中，所述关联检测框中的目标与所述第一检测框中的目标为所述场景中的同一个目标。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。
根据本公开实施例的第五方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。
本公开实施例获取第一图像采集设备采集的第一图像和第二图像采集设备采集的第二图像；其中，所述第一图像是第一图像采集设备在第一视角下采集一个场景获得的，所述第二图像是第二图像采集设备在第二视角下同步采集所述场景获得的，所述第一视角和所述第二视角不同；确定所述第一图像采集设备在所述第二图像所在平面中的极点；所述极点表征所述第一图像采集设备在所述第二图像所在平面中的位置；并确定第一检测框中的第一目标点在所述第二图像上的投影点；其中，所述第一检测框是所述第一图像中的一个目标的检测框；根据所述极点与所述投影点确定所述第一检测框在所述第二图像中的关联检测框；其中，所述关联检测框中的目标与所述第一检测框中的目标为所述场景中的同一个目标。该方法相对于传统的三维关联算法，避免了使用单目深度估计算法来估计距离，从而避免了距离估计不准确导致的关联不准确，进而提高了图像关联的可靠性和准确度，且适用于各种包括多个图像采集设备的系统中，适用范围广。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1是本公开一实施例的图像关联方法流程图。
图2是本公开一实施例的包括多个图像采集设备的系统的示意图。
图3是本公开一实施例的不同图像采集设备采集的图像中对应像素点的示意图。
图4是本公开一实施例的图像中的检测框的示意图。
图5是本公开一实施例的确定关联检测框的示意图。
图6是本公开一实施例的公共平面的示意图。
图7是本公开一实施例的确定候选检测框的示意图。
图8是本公开一实施例的确定关联检测框的示意图。
图9是本公开一实施例的图像关联装置的框图。
图10是本公开一实施例的用于实施本公开方法的计算机设备的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
如图1所示，本公开提供一种图像关联方法，所述方法包括：
步骤S101：获取第一图像和第二图像；其中，所述第一图像是第一图像采集设备在第一视角下采集一个场景获得的，所述第二图像是第二图像采集设备在第二视角下同步采集所述场景获得的，所述第一视角和所述第二视角不同；
步骤S102：确定所述第一图像采集设备在所述第二图像所在平面中的极点；所述极点表征所述第一图像采集设备在所述第二图像所在平面中的位置；
步骤S103：确定第一检测框中的第一目标点在所述第二图像上的投影点；其中，所述第一检测框是所述第一图像中的一个目标的检测框；
步骤S104：根据所述极点与所述投影点确定所述第一检测框在所述第二图像中的关联检测框；其中，所述关联检测框中的目标与所述第一检测框中的目标为所述场景中的同一个目标。
本公开实施例可用于包括多个图像采集设备的系统中，其中，图像采集设备可以是相机、摄像头等。一个实施例的包括多个图像采集设备的系统如图2所示。图中示出了包括3个图像采集设备的系统，可以理解，本实施例仅用于举例，实际应用中图像采集设备的数量可以是2个，也可以大于2个，本公开对此不做限定。在该包括多个图像采集设备的系统中，各个图像采集设备均可以采集一定区域内的图像，采集到的图像中可能包括一个或多个目标，其中，目标可以包括但不限于人、动物、物体或者空间等。各个图像采集设备采集的图像需要进行关联处理，以判断所述各个图像中的目标是否为物理空间中的同一个目标。例如，图2中图像采集设备2采集到的图像中包括两个目标，图像采集设备1采集到的图像中包括一个目标，图像采集设备3采集到的图像中也包括一个目标，则需要对这三个图像采集设备采集到的图像进行关联，以确定图像采集设备1采集到的图像中的目标是否为图像采集设备2采集到的图像中的目标之一，以及确定图像采集设备3采集到的图像中的目标是否为图像采集设备2采集到的图像中的目标之一。
为了方便描述，为一个图像上的检测框寻找关联检测框时，该图像称为第一图像，拍摄第一图像的图像采集设备称为第一图像采集设备，其中，该检测框在第一图像中；在一个图像上寻找某个检测框的关联检测框时，该图像称为第二图像，拍摄第二图像的图像采集设备称为第二图像采集设备，其中，该关联检测框在第二图像中。仍以图2所示的多图像采集设备系统为例，假设需要为图像采集设备2采集到的图像中各目标的检测框寻找关联检测框，则图像采集设备2采集到的图像称为第一图像，图像采集设备2称为第一图像采集设备；如果从图像采集设备1采集到的图像和图像采集设备3采集到的图像中确定关联检测框，则图像采集设备1采集到的图像和图像采集设备3采集到的图像均称为第二图像，图像采集设备1和图像采集设备3均称为第二图像采集设备。
在实际应用中，对同一场景在不同视角(例如，俯视视角、左视视角、右视视角等)采集图像的图像采集设备不限于两个，例如，有多个。当图像采集设备为多个时，可以在采集到的多个图像中的两两之间采用本公开实施例提供的图像关联方法来关联图像中的目标，进而确定出多个图像中的目标的关联关系。为了便于描述，下面以第一图像采集设备和第二图像采集设备数量均为1的情况进行说明。图像采集设备超过2个时，各个图像采集设备采集的图像中的目标的关联方法，此处不再赘述。
在步骤S101中，当系统中包括第一图像采集设备和第二图像采集设备时，可以通过第一图像采集设备和第二图像采集设备在不同视角下同步采集图像。例如，第一图像采集设备可以采集一个区域内的俯视图像，第二图像采集设备可以同步采集所述区域内的侧视图像(例如，左视图像、右视图像等)。所述图像可以是视频中的一个图像帧，也可以是图像采集设备拍摄的一张图片。本公开实施例中的第一图像和第二图像分别是由第一图像采集设备和第二图像采集设备同步采集的，也就是说，假设第一图像是所述场景中T时刻的图像，则第二图像也是所述场景中T时刻的图像。
在步骤S102中，可以根据所述第一图像采集设备与所述第二图像采集设备之间的基本矩阵(Fundamental Matrix)确定第一图像采集设备在所述第二图像所在平面中的极点。所述基本矩阵为所述第一图像的像素坐标系与所述第二图像的像素坐标系之间的转换矩阵。基本矩阵可以预先确定，只要第一图像采集设备和第二图像采集设备之间的相对位置未发生改变，基本矩阵就不变。具体而言，可以确定所述基本矩阵的各个本征值及与各个本征值对应的本征矢量，并根据最小的本征值对应的本征矢量确定所述第一图像采集设备在所述第二图像所在平面中的极点(epipole)。该第一图像采集设备在第二图像所在平面中的极点可用于表示第一图像采集设备在第二图像采集设备视野的位置。需要说明的是允许第一图像采集设备在第二图像采集设备的视野之外。
可以获取第一图像和第二图像中的多组对应像素点，然后根据所述多组对应像素点计算第一图像采集设备到第二图像采集设备的基本矩阵。其中，各组对应像素点在物理空间中都对应同一个物理点。当两个图像采集设备有一部分视野重合时，这两个图像采集设备采集的图像中的像素点在现实世界中可以有对应关系。例如桌面上有一个墨水点，该墨水点在第一图像和第二图像中分别形成的像素点存在对应关系。
如图3所示，是本公开一实施例的不同图像采集设备采集的图像中对应像素点的示意图。其中，F1和F2分别是第一图像和第二图像，P是物理空间中的一点，P1和P2分别是点P在第一图像和第二图像中的对应像素点，即，第一图像和第二图像中的一组对应像素点。O1和O2分别是第一图像采集设备和第二图像采集设备的光心，E1和E2分别是O1与O2的连线与第一图像和第二图像的交点，即，E1是第二图像采集设备在第一图像所在平面中的极点，E2是第一图像采集设备在第二图像所在平面中的极点。可通过获取多组对应像素点，根据所述多组对应像素点计算第一图像采集设备到第二图像采集设备的基本矩阵，然后根据基本矩阵确定第一图像采集设备在第二图像所在平面中极点E2。
在步骤S103中，检测框是指为图像中的目标生成的矩形框，目标位于检测框内，每个检测框在图像中的像素位置以及该检测框的大小是已知的(一般会给定每个检测框左上角的像素坐标以及该检测框的长和宽)，因此，通过检测框可以确定目标在图像中的像素位置。一张图像上可以有一个或者多个目标，每个目标有一个检测框，各个检测框分布在图像上的不同位置。如图4所示，是本公开一实施例的图像中的检测框的示意图。图中示出了3个检测框。当存在多个检测框时，可分别为各个检测框确定其关联检测框，对于图4中的检测框，可以分别确定检测框1的关联检测框、检测框2的关联检测框以及检测框3的关联检测框。
在一个实施例中，所述第一图像中包括多个目标，在第一图像中确定与该多个目标对应的第一检测框，其中各个第一检测框包括第一目标点。可以根据各个第一检测框在所述第一图像中的位置按照从下往上的顺序，依次确定各个第一检测框中的第一目标点在所述第二图像上的投影点。按照各个第一检测框在所述第一图像中的位置从下往上的顺序，依次根据所述极点与每个投影点确定与每个投影点对应的第一检测框在所述第二图像上的关联检测框。这里的“上”和“下”是在第一图像中的相对位置关系，其中，“下”是指像素坐标中的纵坐标较大的图像区域，“上”是指像素坐标中的纵坐标较小的图像区域。
如图5所示，是为图4所示的图像中的检测框确定关联检测框的示意图，由于检测框2、检测框3和检测框1在第一图像F1中的位置依次是由下至上的，因此，在第二图像F2中确定关联检测框时，依次确定检测框2中的第一目标点在所述第二图像上的投影点A2、检测框3的第一目标点在所述第二图像上的投影点A3，以及检测框1的第一目标点在所述第二图像上的投影点A1。根据极点与A2确定检测框2在所述第二图像上的关联检测框(即关联检测框2)，然后根据极点与A3确定检测框3在所述第二图像上的关联检测框(即关联检测框3)，然后根据极点与A1确定检测框1在所述第二图像上的关联检测框(即关联检测框1)。其中，第一检测框的第一目标点可以是第一检测框的中心点，也可以是第一检测框内的任意一个点。
一般来说，在第一图像中越靠近下方的目标是与第一图像采集设备距离越近的目标。如果先从第一图像上方的第一检测框开始匹配关联检测框，在第二图像中获取到的关联检测框的数量可能较多，这样一方面更加容易发生匹配错误，另一方面也增加了匹配复杂度。如果是从下往上开始匹配关联检测框，第一图像下方的第一检测框在第二图像中获取到的关联检测框的数量较少，甚至可能是唯一的。下方的第一检测框匹配完成之后，在匹配上方的第一检测框时，可以排除掉下方的第一检测框的关联检测框，从而减少可能的关联检测框的数量，提高匹配准确性，降低匹配复杂度。
第一检测框上的第一目标点在所述第二图像上的投影点，即所述第一目标点在第二图像采集设备视野内的公共平面上的对应点。当第一目标点在某个平面上时，如果该平面能够出现在第二图像采集设备的视野中，则将该平面称为公共平面。一般来说，假设第一图像采集设备和第二图像采集设备都在平面的上方，且该平面同时出现在第一图像采集设备和第二图像采集设备的视野中，则该平面为公共平面。公共平面可以是桌面、路面等平面。如图6所示，是一个实施例的公共平面，该公共平面为虚线框中的路面，由于该路面同时出现在第一图像采集设备和第二图像采集设备的视野中，因此是公共平面。
在一个实施例中，可以根据所述第一图像采集设备与所述第二图像采集设备之间的单应性矩阵确定第一检测框上的第一目标点在所述第二图像上的投影点。其中，第一目标点可以是第一检测框的中心点。对于每个需要匹配的第一检测框，取其中心点作为第一目标点。假设该中心点出现在公共平面上，使用单应性矩阵将其投影到第二图像采集设备视野中的公共平面上一像素点，将该像素点记为投影点。单应性矩阵可以通过第一图像和第二图像上的多组对应像素点预先计算，但是要求用于计算单应性矩阵的所有的像素点对应的物理点都是处于公共平面上。
在步骤S104中，可根据所述极点与所述投影点确定所述第一检测框在所述第二图像中的关联检测框。
具体来说，可以确定各个第二检测框中的第二目标点到由所述极点与所述投影点确定的直线的垂足以及距离；其中，一个第二检测框为所述第二图像中的一个目标的检测框；一个第二检测框中的第二目标点与该第二检测框的相对位置关系，和所述第一目标点与与其所在的第一检测框的相对位置关系相同；将距离在预设范围内、且垂足在由所述极点与所述投影点确定的线段上的第二目标点所属的第二检测框，确定为候选检测框；将该候选检测框放入候选检测框组中；从所述候选检测框组中确定所述第一检测框在所述第二图像中的关联检测框。
本公开一实施例的确定候选检测框的示意图如图7所示。其中，E为极点，N为投影点，EG为线段EN的延长线，M1、M2和M3分别为第二图像上三个第二检测框中的第二目标点，Q1、Q2和Q3分别为M1、M2和M3在线段EN上的垂足。假设M2和M3到直线GN的距离在预设范围内，M1到直线GN的距离不在预设范围内，由于Q3不是在线段EN上，而是在线段EN的延长线上，同时满足距离在预设范围内、且垂足在由所述极点与所述投影点确定的线段上的仅有M2，因此，M2对应的检测框被确定为候选检测框。
如果候选检测框组中的候选检测框超过1个，可以将垂足与所述投影点距离次近的第二目标点所属的候选检测框确定为所述关联检测框。如图8所示，是本公开一实施例的确定关联检测框的示意图，其中，左上角的矩形为第一图像采集设备视野，右上角的矩形为第二图像采集设备视野，下方的梯形为公共平面，公共平面上的点在第一图像采集设备拍摄的第一图像中对应检测框的中心点，在第二图像采集设备拍摄的第二图像中对应所述中心点的投影点，左上角的梯形为第一图像采集设备视野内的公共平面，右上角的梯形为第二图像采集设备视野内的公共平面。
在获取第一图像中深色检测框在第二图像中的关联检测框时，如果第二图像中存在如图8所示的两个检测框，可将第二图像中垂足离投影点较远的第二目标点对应的检测框(即第二图像中的深色检测框)作为第一图像中深色检测框的关联检测框。如果取垂足离投影点最近的第二目标点对应的检测框(浅色检测框)则会发生匹配错误。
在基于二维平面的关联方式中，假设目标都是出现在某一平面(如桌面或者路面)，通过单应性矩阵将一个图像采集设备采集的图像中的物体投影至另一图像采集设备采集的图像，再利用二分图最小损失的匹配算法(Kuhn-Munkres算法)进行匹配。但是，该算法只能适用于平面上物体的关联，应用局限太大，因为并不是所有场景中的所有物体都处于一块公共的2D平面之上。另外，如果图像采集设备的成像平面不与该2D平面平行，相同的像素距离在图像的不同位置对应不同的真实距离，这会对二分图最小损失匹配的算法造成影响，甚至在极端情况下使之完全不可用。在两个平面不平行的时候，检测框只会有一个边与公共2D平面接触，但该边的中点并不是物体的中心。因此即使不考虑各类噪音，多个图像采集设备的检测框的投影不会完全重合，这在物体密集的时候会造成匹配错误。
基于3D空间的关联方式相较基于2D空间的关联方式而言比较复杂，因为图像采集设备没有目标的深度距离信息(即，一个距离较远的大物体和一个距离较近的小物体可以有相同的成像)。因此，需要先使用深度估计的算法(例如，单目图像采集设备可以借助已知的物体大小的信息)来估计深度距离。之后在3D空间上对目标进行二分图最小损失匹配。基于3D空间的关联算法的问题在于单目视觉深度估计的算法，在不借助深度学习模型的情况下，只能依靠检测框的大小进行估计。此处有两个问题：一是检测框往往不是完美的，因此经常不能完美包裹物体，即检测框的大小并不能代表物体的大小；二是物体的真实大小往往是不可知的，即使检测到了物体的正确的类别，该类别的物体的大小也可以有很大的区别。因此，深度估计的鲁棒性不佳，直接影响了接下来匹配算法的精度。
本公开提出的2.5D关联的解决方案结合了2D关联方式和3D关联方式的优势，规避了二者的不足，在借助场景中的2D平面的情况下实现了3D空间中的检测框的匹配。本公开实施例基于计算机视觉中的对极几何，计算第一图像采集设备在第二图像采集设备采集的第二图像所在平面中的位置，以及第一图像采集设备的检测框假设在平面上的点投影至第二图像采集设备的平面上的位置，寻找可能的对应的在第二图像中的关联检测框，以此完成匹配。本公开实施例的技术方案能够实现三维空间中物体的检测框的关联，且相较于传统的三维关联算法，本公开不需要使用深度距离估计算法，提高了图像关联的可靠性和精确度，且适用于各种多图像采集设备系统中，适用范围广。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
如图9所示，本公开还提供一种图像关联装置，所述装置包括：
第一获取模块901，用于获取第一图像和第二图像；其中，所述第一图像是第一图像采集设备在第一视角下采集一个场景获得的，所述第二图像是第二图像采集设备在第二视角下同步采集所述场景获得的，所述第一视角和所述第二视角不同；
第一确定模块902，用于确定所述第一图像采集设备在所述第二图像所在平面中的极点；所述极点表征所述第一图像采集设备在所述第二图像所在平面中的位置；
第二确定模块903，用于确定第一检测框中的第一目标点在所述第二图像上的投影点；其中，所述第一检测框是所述第一图像中的一个目标的检测框；
关联模块904，用于根据所述极点与所述投影点确定所述第一检测框在所述第二图像中的关联检测框；其中，所述关联检测框中的目标与所述第一检测框中的目标为所述场景中的同一个目标。
在一些实施例中，所述第一图像中包括多个目标；所述第二确定模块用于：
在所述第一图像中确定与所述多个目标对应的第一检测框，其中，每个所述第一检测框包括第一目标点；以及按照各个第一检测框在所述第一图像中的位置从下往上的顺序，依次确定各个第一检测框中的第一目标点在所述第二图像上的投影点；
所述关联模块用于：
按照各个第一检测框在所述第一图像中的位置从下往上的顺序，依次根据所述极点与每个投影点确定与每个投影点对应的第一检测框在所述第二图像上的关联检测框。
在一些实施例中，所述第一确定模块用于：
根据预先确定的基本矩阵确定所述第一图像采集设备在所述第二图像所在平面中的极点；所述基本矩阵为所述第一图像的像素坐标系与所述第二图像的像素坐标系之间的转换矩阵。
在一些实施例中，所述第一确定模块包括：
第一确定单元，用于确定所述基本矩阵的各个本征值及与各个本征值对应的本征矢量；以及
第二确定单元，用于根据最小的本征值对应的本征矢量确定所述第一图像采集设备在所述第二图像所在平面中的极点。
在一些实施例中，所述第二确定模块用于：
根据预先确定的单应性矩阵确定所述第一目标点在所述第二图像中的投影点；其中，所述单应性矩阵为第一图像中的公共平面到所述第二图像中的所述公共平面之间的转换矩阵，所述公共平面为所述第一目标点所在的、且在第二图像采集设备的视野中出现的平面。
在一些实施例中，所述关联模块包括：
第三确定单元，用于对所述第二图像中的每个第二检测框，确定该第二检测框中的第二目标点到由所述极点与所述投影点确定的直线的垂足以及距离；其中，该第二检测框为所述第二图像中的一个目标的检测框；该第二检测框中的第二目标点与该第二检测框的相对位置关系，和所述第一目标点与与其所在的第一检测框的相对位置关系相同；
第四确定单元，用于将距离在预设范围内、且垂足在由所述极点与所述投影点确定的线段上的第二目标点所属的第二检测框，确定为候选检测框，并将所述候选检测框放入候选检测框组中；以及
关联单元，用于从所述候选检测框组中确定所述第一检测框在所述第二图像中的关联检测框。
在一些实施例中，所述关联单元用于：
将垂足与所述投影点的距离次近的第二目标点所属的候选检测框确定为所述关联检测框。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提供一种图像关联系统，包括：
第一图像采集设备，用于在第一视角下采集一个场景得到第一图像；
第二图像采集设备，用于在第二视角下同步采集所述场景得到第二图像，所述第一视角和所述第二视角不同；
处理器，用于获取第一图像和第二图像；并确定所述第一图像采集设备在所述第二图像所在平面中的极点；所述极点表征所述第一图像采集设备在所述第二图像所在平面中的位置；以及确定第一检测框中的第一目标点在所述第二图像上的投影点；其中，所述第一检测框是所述第一图像中的一个目标的检测框；并根据所述极点与所述投影点确定所述第一检测框在所述第二图像中的关联检测框；其中，所述关联检测框中的目标与所述第一检测框中的目标为所述场景中的同一个目标。
其中，图像关联系统中，第一图像采集设备和第二图像采集设备如何采集图像，以及处理器如何将第一图像中的目标的检测框和第二图像中的目标的检测框关联起来，可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本说明书装置的实施例可以应用在计算机设备上，例如服务器或终端设备。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过将非易失性存储器中对应的计算机程序指令读取到内存中形成的。从硬件层面而言，如图10所示，为本说明书装置所在计算机设备的一种硬件结构图，除了图10所示的处理器1001、内存1002、网络接口1003、以及非易失性存储器1004之外，实施例中装置所在的服务器或电子设备，根据该计算机设备的实际功能，还可以包括其他硬件，对此不再赘述。
相应地，本公开实施例还提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。
相应地，本公开实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。
本公开可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读命令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本领域技术人员在考虑说明书及实践这里公开的说明书后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

Claims (15)

1.一种图像关联方法，其特征在于，所述方法包括：
获取第一图像和第二图像；其中，所述第一图像是第一图像采集设备在第一视角下采集一个场景获得的，所述第二图像是第二图像采集设备在第二视角下同步采集所述场景获得的，所述第一视角和所述第二视角不同；
确定所述第一图像采集设备在所述第二图像所在平面中的极点；所述极点表征所述第一图像采集设备在所述第二图像所在平面中的位置；
确定第一检测框中的第一目标点在所述第二图像上的投影点；其中，所述第一检测框是所述第一图像中的一个目标的检测框；
根据所述极点与所述投影点确定所述第一检测框在所述第二图像中的关联检测框，包括：
对所述第二图像中的每个第二检测框，
确定该第二检测框中的第二目标点到由所述极点与所述投影点确定的直线的垂足以及距离；其中，该第二检测框为所述第二图像中的一个目标的检测框；该第二检测框中的第二目标点与该第二检测框的相对位置关系，和所述第一目标点与与其所在的第一检测框的相对位置关系相同；
将距离在预设范围内、且垂足在由所述极点与所述投影点确定的线段上的第二目标点所属的第二检测框，确定为候选检测框；
将所述候选检测框放入候选检测框组中；
从所述候选检测框组中确定所述第一检测框在所述第二图像中的关联检测框；
其中，所述关联检测框中的目标与所述第一检测框中的目标为所述场景中的同一个目标。
2.根据权利要求1所述的方法，其特征在于，所述第一图像中包括多个目标；确定所述第一检测框中的第一目标点在所述第二图像上的投影点，包括：
在所述第一图像中确定与所述多个目标对应的第一检测框，其中，每个所述第一检测框包括第一目标点；
按照各个第一检测框在所述第一图像中的位置从下往上的顺序，依次确定各个第一检测框中的第一目标点在所述第二图像上的投影点；
根据所述极点与所述投影点确定所述第一检测框在所述第二图像上的关联检测框，包括：
按照各个第一检测框在所述第一图像中的位置从下往上的顺序，依次根据所述极点与每个投影点确定与每个投影点对应的第一检测框在所述第二图像上的关联检测框。
3.根据权利要求1所述的方法，其特征在于，确定所述第一图像采集设备在所述第二图像所在平面中的极点，包括：
根据预先确定的基本矩阵确定所述第一图像采集设备在所述第二图像所在平面中的极点；所述基本矩阵为所述第一图像的像素坐标系与所述第二图像的像素坐标系之间的转换矩阵。
4.根据权利要求3所述的方法，其特征在于，根据预先确定的基本矩阵确定所述第一图像采集设备在所述第二图像所在平面中的极点，包括：
确定所述基本矩阵的各个本征值及与各个本征值对应的本征矢量；以及
根据最小的本征值对应的本征矢量确定所述第一图像采集设备在所述第二图像所在平面中的极点。
5.根据权利要求1所述的方法，其特征在于，确定第一检测框中的第一目标点在所述第二图像上的投影点包括：
根据预先确定的单应性矩阵确定所述第一目标点在所述第二图像中的投影点；其中，所述单应性矩阵为第一图像中的公共平面到所述第二图像中的所述公共平面之间的转换矩阵，所述公共平面为所述第一目标点所在的、且在第二图像采集设备的视野中能够出现的平面。
6.根据权利要求1所述的方法，其特征在于，从所述候选检测框组中确定所述第一检测框在所述第二图像中的关联检测框，包括：
将垂足与所述投影点的距离次近的第二目标点所属的候选检测框确定为所述关联检测框。
7.一种图像关联装置，其特征在于，所述装置包括：
第一获取模块，用于获取第一图像和第二图像；其中，所述第一图像是第一图像采集设备在第一视角下采集一个场景获得的，所述第二图像是第二图像采集设备在第二视角下同步采集所述场景获得的，所述第一视角和所述第二视角不同；
第一确定模块，用于确定所述第一图像采集设备在所述第二图像所在平面中的极点；所述极点表征所述第一图像采集设备在所述第二图像所在平面中的位置；
第二确定模块，用于确定第一检测框中的第一目标点在所述第二图像上的投影点；其中，所述第一检测框是所述第一图像中的一个目标的检测框；以及
关联模块，用于根据所述极点与所述投影点确定所述第一检测框在所述第二图像中的关联检测框，包括：
第三确定单元，用于对所述第二图像中的每个第二检测框，
确定该第二检测框中的第二目标点到由所述极点与所述投影点确定的直线的垂足以及距离；其中，该第二检测框为所述第二图像中的一个目标的检测框；该第二检测框中的第二目标点与该第二检测框的相对位置关系，和所述第一目标点与与其所在的第一检测框的相对位置关系相同；
第四确定单元，用于将距离在预设范围内、且垂足在由所述极点与所述投影点确定的线段上的第二目标点所属的第二检测框，确定为候选检测框，并将所述候选检测框放入候选检测框组中；
关联单元，用于从所述候选检测框组中确定所述第一检测框在所述第二图像中的关联检测框；
其中，所述关联检测框中的目标与所述第一检测框中的目标为所述场景中的同一个目标。
8.根据权利要求7所述的装置，其特征在于，所述第一图像中包括多个目标；所述第二确定模块用于：
在所述第一图像中确定与所述多个目标对应的第一检测框，其中，每个所述第一检测框包括第一目标点；以及
按照各个第一检测框在所述第一图像中的位置从下往上的顺序，依次确定各个第一检测框中的第一目标点在所述第二图像上的投影点；
所述关联模块用于：
按照各个第一检测框在所述第一图像中的位置从下往上的顺序，依次根据所述极点与每个投影点确定与每个投影点对应的第一检测框在所述第二图像上的关联检测框。
9.根据权利要求7所述的装置，其特征在于，所述第一确定模块用于：
根据预先确定的基本矩阵确定所述第一图像采集设备在所述第二图像所在平面中的极点；所述基本矩阵为所述第一图像的像素坐标系与所述第二图像的像素坐标系之间的转换矩阵。
10.根据权利要求9所述的装置，其特征在于，所述第一确定模块包括：
第一确定单元，用于确定所述基本矩阵的各个本征值及与各个本征值对应的本征矢量；以及
第二确定单元，用于根据最小的本征值对应的本征矢量确定所述第一图像采集设备在所述第二图像所在平面中的极点。
11.根据权利要求7所述的装置，其特征在于，所述第二确定模块用于：
根据预先确定的单应性矩阵确定所述第一目标点在所述第二图像中的投影点；其中，所述单应性矩阵为第一图像中的公共平面到所述第二图像中的所述公共平面之间的转换矩阵，所述公共平面为所述第一目标点所在的、且在第二图像采集设备的视野中能够出现的平面。
12.根据权利要求7所述的装置，其特征在于，所述关联单元用于：
将垂足与所述投影点的距离次近的第二目标点所属的候选检测框确定为所述关联检测框。
13.一种图像关联系统，其特征在于，包括：
第一图像采集设备，用于在第一视角下采集一个场景得到第一图像；
第二图像采集设备，用于在第二视角下同步采集所述场景得到第二图像，所述第一视角和所述第二视角不同；
处理器，用于：
获取第一图像和第二图像；
确定所述第一图像采集设备在所述第二图像所在平面中的极点，其中，所述极点表征所述第一图像采集设备在所述第二图像所在平面中的位置；
确定第一检测框中的第一目标点在所述第二图像上的投影点，其中，所述第一检测框是所述第一图像中的一个目标的检测框；以及
根据所述极点与所述投影点确定所述第一检测框在所述第二图像中的关联检测框，包括：
对所述第二图像中的每个第二检测框，
确定该第二检测框中的第二目标点到由所述极点与所述投影点确定的直线的垂足以及距离；其中，该第二检测框为所述第二图像中的一个目标的检测框；该第二检测框中的第二目标点与该第二检测框的相对位置关系，和所述第一目标点与与其所在的第一检测框的相对位置关系相同；
将距离在预设范围内、且垂足在由所述极点与所述投影点确定的线段上的第二目标点所属的第二检测框，确定为候选检测框；
将所述候选检测框放入候选检测框组中；
从所述候选检测框组中确定所述第一检测框在所述第二图像中的关联检测框，
其中，所述关联检测框中的目标与所述第一检测框中的目标为所述场景中的同一个目标。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6任意一项所述的方法。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任意一项所述的方法。
CN202080000886.3A 2019-12-23 2020-02-25 图像关联方法、系统和装置 Active CN112262411B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10201913017T 2019-12-23
SG10201913017TA SG10201913017TA (en) 2019-12-23 2019-12-23 Image association method, system and apparatus
PCT/IB2020/051580 WO2021130545A1 (en) 2019-12-23 2020-02-25 Image association method, system and apparatus

Publications (2)

Publication Number Publication Date
CN112262411A CN112262411A (zh) 2021-01-22
CN112262411B true CN112262411B (zh) 2024-04-05

Family

ID=74225411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080000886.3A Active CN112262411B (zh) 2019-12-23 2020-02-25 图像关联方法、系统和装置

Country Status (2)

Country Link
US (1) US11120572B2 (zh)
CN (1) CN112262411B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220098311A (ko) * 2020-12-31 2022-07-12 센스타임 인터내셔널 피티이. 리미티드. 조작 이벤트 인식 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080101998A (ko) * 2007-05-17 2008-11-24 연세대학교 산학협력단 임의 시점 영상 합성 시 영상 보정 방법 및 장치
CN103854301A (zh) * 2012-11-29 2014-06-11 沈阳工业大学 基于复杂背景下可见外壳的三维重建方法
JP2014149716A (ja) * 2013-02-01 2014-08-21 Panasonic Corp 物体追跡装置及びその方法
CN105531998A (zh) * 2013-08-19 2016-04-27 诺基亚技术有限公司 用于对象检测和分割的方法、装置及计算机程序产品
CN108288292A (zh) * 2017-12-26 2018-07-17 中国科学院深圳先进技术研究院 一种三维重建方法、装置及设备
CN110148177A (zh) * 2018-02-11 2019-08-20 百度在线网络技术（北京）有限公司 用于确定相机的姿态角的方法、装置、计算设备、计算机可读存储介质以及采集实体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3870491B2 (ja) 1997-07-02 2007-01-17 松下電器産業株式会社 画像間対応検出方法およびその装置
GB0915200D0 (en) * 2009-09-01 2009-10-07 Ucl Business Plc Method for re-localising sites in images
US9509979B2 (en) * 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
US10186067B2 (en) * 2016-10-25 2019-01-22 Aspeed Technology Inc. Method and apparatus for generating panoramic image with rotation, translation and warping process
US10109055B2 (en) * 2016-11-21 2018-10-23 Seiko Epson Corporation Multiple hypotheses segmentation-guided 3D object detection and pose estimation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080101998A (ko) * 2007-05-17 2008-11-24 연세대학교 산학협력단 임의 시점 영상 합성 시 영상 보정 방법 및 장치
CN103854301A (zh) * 2012-11-29 2014-06-11 沈阳工业大学 基于复杂背景下可见外壳的三维重建方法
JP2014149716A (ja) * 2013-02-01 2014-08-21 Panasonic Corp 物体追跡装置及びその方法
CN105531998A (zh) * 2013-08-19 2016-04-27 诺基亚技术有限公司 用于对象检测和分割的方法、装置及计算机程序产品
CN108288292A (zh) * 2017-12-26 2018-07-17 中国科学院深圳先进技术研究院 一种三维重建方法、装置及设备
CN110148177A (zh) * 2018-02-11 2019-08-20 百度在线网络技术（北京）有限公司 用于确定相机的姿态角的方法、装置、计算设备、计算机可读存储介质以及采集实体

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Principal axis-based correspondence between multiple cameras for people tracking;Hu, WM (Hu, WM) ; Zhou, X (Zhou, X) ; Tan, TN (Tan, TN) ; Lou, JG (Lou, JG) ; Maybank, S (Maybank, S);《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20060401;第28卷(第4期);第663-671页 *
基于投影直方图匹配的双目视觉跟踪算法;王杰;蒋明敏;花晓慧;鲁守银;李金屏;《智能系统学报》;20150930;第10卷(第5期);第775-782 *
王帅 ; 杨建玺. 基于双目视觉的泊车机器人障碍物检测系统.《智能计算机与应用》.2019,全文. *

Also Published As

Publication number Publication date
US20210192776A1 (en) 2021-06-24
CN112262411A (zh) 2021-01-22
US11120572B2 (en) 2021-09-14

Similar Documents

Publication Publication Date Title
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
US11601631B2 (en) Super-resolution in structured light imaging
CN107533763B (zh) 图像处理装置、图像处理方法及程序
Li et al. A multiple-camera system calibration toolbox using a feature descriptor-based calibration pattern
US8447099B2 (en) Forming 3D models using two images
US8452081B2 (en) Forming 3D models using multiple images
US8433157B2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
CN111179358A (zh) 标定方法、装置、设备及存储介质
US20100182406A1 (en) System and method for three-dimensional object reconstruction from two-dimensional images
WO2018112788A1 (zh) 图像处理方法及设备
CN112150528A (zh) 一种深度图像获取方法及终端、计算机可读存储介质
KR20160117143A (ko) 실내 2d 평면도의 생성 방법, 장치 및 시스템
Chen et al. Calibration for high-definition camera rigs with marker chessboard
CN112262411B (zh) 图像关联方法、系统和装置
Tsaregorodtsev et al. Extrinsic camera calibration with semantic segmentation
CN113763466A (zh) 一种回环检测方法、装置、电子设备和存储介质
CN115578296B (zh) 一种立体视频处理方法
KR102288237B1 (ko) 이미지 연관 방법, 시스템 및 장치
CN106324976B (zh) 测试系统及测试方法
Tang et al. Self-Calibration for Metric 3D Reconstruction Using Homography.
Fotouhi et al. Projection matrix by orthogonal vanishing points
Januzi Triple-camera setups for image-based depth estimation
Anisimov et al. Calibration and Auto-Refinement for Light Field Cameras
US20220129662A1 (en) System and method for determining information about objects using multiple sensors
Chen et al. Robust homography for real-time image un-distortion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant