CN116051876A - 三维数字化模型的相机阵列目标识别方法及系统 - Google Patents

三维数字化模型的相机阵列目标识别方法及系统 Download PDF

Info

Publication number
CN116051876A
CN116051876A CN202310133115.7A CN202310133115A CN116051876A CN 116051876 A CN116051876 A CN 116051876A CN 202310133115 A CN202310133115 A CN 202310133115A CN 116051876 A CN116051876 A CN 116051876A
Authority
CN
China
Prior art keywords
target
camera
dimensional coordinates
camera images
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310133115.7A
Other languages
English (en)
Inventor
张泽
王爱强
张禹
邱赛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202310133115.7A priority Critical patent/CN116051876A/zh
Publication of CN116051876A publication Critical patent/CN116051876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种三维数字化模型的相机阵列目标识别方法及系统，属于光学探测技术领域，解决了现有技术中难以实现对待测目标三维形貌的同步识别的问题。识别方法包括：同步获取目标成像的N个相机图像；对N个相机图像进行图像匹配，确定每个目标特征点对应的M个相机图像，以及相匹配的M个特征点；采用虚实融合方法将N个相机图像与预先构建的目标成像背景数字化模型进行融合，建立统一世界坐标系，确定N个相机位置的三维坐标；基于M个特征点在对应的M个相机图像中的二维坐标、M个相机图像对应的M个相机位置的三维坐标以及M个相机的拍摄参数，确定每个目标特征点的三维坐标，从而识别出目标。实现了对待测目标三维形貌的同步识别。

Description

三维数字化模型的相机阵列目标识别方法及系统
技术领域
本发明涉及光学探测技术领域，尤其涉及一种三维数字化模型的相机阵列目标识别方法及系统。
背景技术
随着人工智能等技术的发展，对目标的感知、识别和测量在交通、安防、医疗、建筑等诸多应用领域的应用越来越频繁。
当前对目标的识别涉及多种技术手段，比如光学成像、激光探测、振动分析等，这些手段一般是基于待测目标本身的特性，来实现待测目标与场景和其它目标的区分，难以实现对待测目标三维形貌的同步识别。
因此，亟需一种对目标三维形貌同步识别的技术方案。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种三维数字化模型的相机阵列目标识别方法及系统，用以解决现有技术中难以实现对待测目标三维形貌的同步识别的问题。
一方面，本发明实施例提供了一种基于三维数字化模型的相机阵列目标识别方法，所述识别方法包括：
同步获取由N个相机组成的相机阵列对目标成像得到的N个相机图像；
对N个相机图像进行图像匹配，确定每个目标特征点对应的M个相机图像，以及M个相机图像中与目标特征点相匹配的M个特征点；
采用虚实融合方法将N个相机图像与预先构建的目标成像背景数字化模型进行融合，建立N个相机图像的成像场景与目标成像背景数字化模型的统一世界坐标系，根据统一世界坐标系确定N个相机位置的三维坐标；
基于M个特征点在对应的M个相机图像中的二维坐标、M个相机图像对应的M个相机位置的三维坐标以及M个相机的拍摄参数，确定每个目标特征点的三维坐标；基于每个目标特征点的三维坐标得到目标三维形貌，从而识别出目标。
基于上述方法的进一步改进，所述基于M个特征点在对应的M个相机图像中的二维坐标、M个相机图像对应的M个相机位置的三维坐标以及M个相机的拍摄参数，确定每个目标特征点的三维坐标，包括：
根据M个相机的拍摄参数和M个相机图像对应的M个相机位置的三维坐标，对M个特征点在对应的M个相机图像中的二维坐标进行坐标转换，得到M个特征点的三维坐标；
根据M个特征点的三维坐标和M个相机图像对应的M个相机位置的三维坐标确定每个目标特征点的三维坐标。
基于上述方法的进一步改进，所述根据M个特征点的三维坐标和M个相机图像对应的M个相机位置的三维坐标确定每个目标特征点的三维坐标，包括：
以M个特征点的三维坐标为端点，以M个相机图像对应的M个相机位置的三维坐标为方向，确定M个特征点对应的M条射线；
根据M个特征点对应的M条射线，确定每个目标特征点的三维坐标。
基于上述方法的进一步改进，所述根据M个特征点对应的M条射线，确定每个目标特征点的三维坐标，包括：
从M条射线中任取两条射线作为一个射线组合；
遍历M(M-1)/2种射线组合，基于每一种射线组合，获取两条射线的交点三维坐标或者最短距离的中点三维坐标，得到M(M-1)/2个预选三维坐标；
对M(M-1)/2个预选三维坐标求取平均值，将平均值作为每个目标特征点的三维坐标。
基于上述方法的进一步改进，所述识别方法还包括：
在对N个相机图像进行图像匹配时，获取并且存储每个目标特征点对应的颜色信息。
基于上述方法的进一步改进，所述识别方法还包括：
将每个目标特征点对应的颜色信息与每个目标特征点的三维坐标进行融合，得到带有色彩的目标三维形貌。
基于上述方法的进一步改进，所述对N个相机图像进行图像匹配，确定每个目标特征点对应的M个相机图像，以及M个相机图像中与目标特征点相匹配的M个特征点，包括：
从N个相机图像中任取两个相机图像作为一个相机组合；遍历N(N-1)/2种相机组合，基于每一种组合，采用预设匹配算法对两个相机图像匹配，获取两个相机图像匹配成功的特征点，将N(N-1)/2种相机组合中两个相机图像匹配成功的全部特征点作为目标特征点；
对于每一个目标特征点，将含有与该目标特征点相匹配的特征点的相机图像作为该目标特征点对应的相机图像，从而得到每个目标特征点对应的M个相机图像与每个目标特征点相匹配的M个特征点。
基于上述方法的进一步改进，预设匹配算法为SIFT匹配算法、SURF匹配算法、模板匹配算法或SuperGlue匹配算法。
另一方面，本发明实施例提供了一种基于三维数字化模型的相机阵列目标识别系统，所述识别系统包括：
相机阵列，包括N个相机，用于同步采集目标图像；
交换机，与相机阵列连接，用于将相机阵列发送的目标图像转化为单路网络信号并传输给计算机设备；
计算机设备，用于读取单路网络信号，并从中取出相机阵列的所有相机同步采集的图像，基于所有相机同步采集的图像进行如下处理实现目标识别：
对N个相机图像进行图像匹配，确定每个目标特征点对应的M个相机图像，以及M个相机图像中与目标特征点相匹配的M个特征点；
采用虚实融合方法将N个相机图像与预先构建的目标成像背景数字化模型进行融合，建立N个相机图像的场景与目标成像背景数字化模型的统一世界坐标系，根据统一世界坐标系确定N个相机图像对应的N个相机位置的三维坐标；
基于M个特征点在对应的M个相机图像中的二维坐标、M个相机图像对应的M个相机位置的三维坐标以及M个相机的拍摄参数，确定每个目标特征点的三维坐标；基于每个目标特征点的三维坐标得到目标三维形貌，从而识别出目标。
基于上述系统的进一步改进，所述基于M个特征点在对应的M个相机图像中的二维坐标、M个相机图像对应的M个相机位置的三维坐标以及M个相机的拍摄参数，确定每个目标特征点的三维坐标，包括：
根据M个相机的拍摄参数和M个相机图像对应的M个相机位置的三维坐标，对M个特征点在对应的M个相机图像中的二维坐标进行坐标转换，得到M个特征点的三维坐标；
根据M个特征点的三维坐标和M个相机图像对应的M个相机位置的三维坐标确定每个目标特征点的三维坐标。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、本发明通过N个相机组成的相机阵列对目标成像，结合目标成像背景数字化模型，能够快速的得到目标三维形貌，进而实现对目标三维形貌的同步识别。
2、本发明通过同一目标特征点在不同相机对应的多个特征点，根据不同相机在统一世界坐标系中的三维坐标以及多个特征点在不同相机的二维坐标，确定目标的每个目标特征点在统一世界坐标系中的三维坐标，实现对目标特征点的定位。
3、本发明通过在对相机图像进行图像匹配时，获取并且存储每个目标特征点对应的颜色信息，将每个目标特征点对应的颜色信息与每个目标特征点的三维坐标进行融合，能够得到带有色彩的目标三维形貌。
4、本发明采用相机阵列结合数字化模型，建立了实时场景与数字化模型之间统一的世界坐标系，可以获取实时场景中任意位置的世界坐标、三维形貌和目标的三维形貌。数字化模型精度可以达到厘米级，建模范围可以达到公里级。采用相机阵列的测量保证了测量的准确度，不会因为单个传感器的测量偏差影响整个测量结果。通过统一的世界坐标系，获取实时场景的三维信息，对实时目标进行快速三维建模，时效性快、精度高。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例提供的三维数字化模型的相机阵列目标识别方法的流程示意图；
图2为本发明实施例提供的相机图像与预先构建的目标成像背景数字化模型融合的示意图；
图3为本发明实施例提供的目标特征点对应的M条射线在空间相交示意图；
图4为本发明实施例提供的目标特征点对应的M条射线在空间不相交示意图；
图5为本发明实施例提供的三维数字化模型的相机阵列目标识别系统的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种基于三维数字化模型的相机阵列目标识别方法，如图1所示，所述识别方法包括：
步骤S1：同步获取由N个相机组成的相机阵列对目标成像得到的N个相机图像；
步骤S2：对N个相机图像进行图像匹配，确定每个目标特征点对应的M个相机图像，以及M个相机图像中与目标特征点相匹配的M个特征点；
步骤S3：采用虚实融合方法将N个相机图像与预先构建的目标成像背景数字化模型进行融合，建立N个相机图像的成像场景与目标成像背景数字化模型的统一世界坐标系，根据统一世界坐标系确定N个相机位置的三维坐标；
步骤S4：基于M个特征点在对应的M个相机图像中的二维坐标、M个相机图像对应的M个相机位置的三维坐标以及M个相机的拍摄参数，确定每个目标特征点的三维坐标；基于每个目标特征点的三维坐标得到目标三维形貌，从而识别出目标。
具体地，在步骤S1中，N个相机图像是N个相机组成的相机阵列同步获取的，相机阵列中的每一个相机均能够获取到对应的1个相机图像。值得说明的是，同步获取指的是相机阵列中每一个相机在同一时间点对目标成像的获取。
相机阵列中的相机数量N满足N≥2，当相机数量N越大时，能够获取到越多的目标特征点，从而得到细粒度更高的目标三维形貌，对目标的识别越清晰。同时，相机数量N可以根据目标成像场景和目标的大小进行具体设计。
优选地，相机阵列中N个相机的放置位置需要满足临近的两个相机对目标的成像具有重合的视野，并且N个相机对目标的成像需要从不同角度对目标进行完全覆盖。
具体地，在步骤S2中，对N个相机图像进行图像匹配，能够得到目标的目标特征点。可以理解的是，由于N个相机图像是对目标不同角度拍摄获取到的目标图像，可以把N个相机图像中所包括的特征点均作为目标特征点中的其中一个，由于成像角度不同，不同的目标特征点存在于多个不同的相机图像中。
在对N个相机图像进行图像匹配之后，得到目标特征点中每一个目标特征点在N个相机图像中的分布，即确定每一个目标特征点对应的M个相机图像。值得说明的是，针对不同的目标特征点，对应的M个相机图像的数量可能相同，也可能不同。可以理解的是，对于一个目标特征点，至少在两个相机图像上分布，并且最多在N个相机图像上分布。同时，将M个相机图像中与目标特征点相匹配的特征点作为M个相机图像中与目标特征点相匹配的M个特征点，可以理解的是，每一个相机图像中只能有一个特征点与目标特征点相匹配。
优选地，在步骤S2中，所述对N个相机图像进行图像匹配，确定每个目标特征点对应的M个相机图像，以及M个相机图像中与目标特征点相匹配的M个特征点，包括：
从N个相机图像中任取两个相机图像作为一个相机组合；遍历N(N-1)/2种相机组合，基于每一种组合，采用预设匹配算法对两个相机图像匹配，获取两个相机图像匹配成功的特征点，将N(N-1)/2种相机组合中两个相机图像匹配成功的全部特征点作为目标特征点；
对于每一个目标特征点，将含有与该目标特征点相匹配的特征点的相机图像作为该目标特征点对应的相机图像，从而得到每个目标特征点对应的M个相机图像与每个目标特征点相匹配的M个特征点。
具体地，在对N个相机图像进行图像匹配时，从N个相机图像中任意选取两个相机图像作为一个相机组合，即，每一个相机组合包括两个相机图像。可以理解的是，对N个相机图像进行图像匹配，可以得到N(N-1)/2种相机组合。
对于N(N-1)/2种相机组合，可以按照预设的顺序进行遍历，对于每一种相机组合，采用预设匹配算法对两个相机图像匹配。
优选地，预设匹配算法为SIFT匹配算法、SURF匹配算法、模板匹配算法或SuperGlue匹配算法。
具体地，SIFT匹配算法指的是(ScaleInvariant FeatureTransform，SIFT)匹配算法，又叫尺度不变特征变换匹配算法，SIFT特征对于旋转和尺度均具有不变性，并且对于噪声、视角变化和光照变化具有良好的鲁棒性。
具体地，SURF匹配算法指的是(Speeded Up Robust Features，SURF)加速稳健特征匹配算法，SURF特征是一种图像的局部特征，当目标图像发生旋转、尺度缩放、亮度变化时，具有保持不变性，并且对视角变化、仿射变换和噪声等也具有保持一定程度的稳定性。SURF特征提取算法的流程主要包括：特征点检测、特征点描述和特征点匹配三部分。特征点检测采用了基于Hessian矩阵的检测器，其在稳定性和可重复性方面都优于基于Harris的检测器。特征点描述采用Haar小波作为特征描述子，由于Harr特征最大的特点是速度快，能减少计算时间且增加稳健性。用方框滤波近似代替二阶高斯滤波，运用积分图像加速卷积，减少时间计算的复杂度，提高计算速度。
具体地，对于模板匹配算法，模板就是一副已知的小图像，而模板匹配就是在一副大图像中搜寻目标，在已知该大图像中有要找的目标，且该目标同模板有相同的尺寸、方向和图像元素时，通过一定的算法可以在图中找到目标，确定其坐标位置。
具体地，SuperGlue匹配算法是一种基于图卷积神经网络的特征匹配算法，用于完成特征点匹配。
可以理解的是，根据每一种组合包括的两个相机图像，对于其中一个相机图像中的所有的特征点，与另一个相机图像中的特征点进行特征点匹配，能够确定两个相机图像中相匹配的特征点。
具体地，将N(N-1)/2种相机组合中两个相机图像匹配成功的全部特征点作为目标特征点，也就是说，目标的目标特征点至少要在两个相机图像中进行分布。
具体地，对于每一个目标特征点，将含有与该目标特征点相匹配的特征点的相机图像作为该目标特征点对应的相机图像，从而得到每个目标特征点对应的M个相机图像与每个目标特征点相匹配的M个特征点。
具体地，在步骤S3中，如图2所示，采用虚实融合方法将N个相机图像与预先构建的目标成像背景数字化模型进行融合，建立N个相机图像的成像场景与目标成像背景数字化模型的统一世界坐标系，根据统一世界坐标系确定N个相机位置的三维坐标。
具体地，预先构建的目标成像背景数字化模型是根据目标成像背景预先构建完成的，在该目标成像背景数字化模型中，能够展示出目标成像背景。实施时，可以通过无人机获取目标成像背景的图片，然后通过大疆无人机的建模软件，对目标成像背景进行构建，得到目标成像背景数字化模型；或者采用现有技术中其他能够构建三维数字化模型的方法都是可行的，本申请不对数字化模型的构建方法进行保护，采用现有技术获取到即可。
在图2中，采用虚实融合方法将N个相机图像与预先构建的目标成像背景数字化模型融合后，建立N个相机图像的成像场景与目标成像背景数字化模型的统一世界坐标系，可以以目标成像背景数字化模型中的中心作为统一世界坐标系的原点，进而可以得到N个相机位置的三维坐标。
在图2中相机可以代表相机阵列中的任意一个相机，针对相机阵列中的每一个相机，在采用虚实融合方法将N个相机图像与预先构建的目标成像背景数字化模型融合后，虚拟相机在数字化场景中的虚拟相机画面和现实相机拍摄的相机画面完全相同，此时虚拟相机在三维数字模型中的位置即为实体相机的三维位置，从而实现对N个相机的位置定位。
具体地，在步骤S4中，基于M个特征点在对应的M个相机图像中的二维坐标、M个相机图像对应的M个相机位置的三维坐标以及M个相机的拍摄参数，确定每个目标特征点的三维坐标；基于每个目标特征点的三维坐标得到目标三维形貌，从而识别出目标。
可以理解地，在步骤S3结束之后，N个相机的位置在统一世界坐标系中确定下来。目标特征点中的任意一个特征点在M个相机图像中的分布也确定下来，进一步的可以得到M个特征点分别在M个相机图像中的二维坐标。通过M个特征点在对应的M个相机图像中的二维坐标、M个相机图像对应的M个相机位置的三维坐标以及M个相机的拍摄参数，计算得到每个目标特征点的三维坐标。
具体的，相机的拍摄参数包括相机的焦距、放大倍数、成像面尺寸等参数。
每个目标特征点的三维坐标都得到后，将所有的目标特征点进行组合，可以得到目标三维形貌，从而识别出目标。
优选地，在步骤S4中，所述基于M个特征点在对应的M个相机图像中的二维坐标、M个相机图像对应的M个相机位置的三维坐标以及M个相机的拍摄参数，确定每个目标特征点的三维坐标，包括：
根据M个相机的拍摄参数和M个相机图像对应的M个相机位置的三维坐标，对M个特征点在对应的M个相机图像中的二维坐标进行坐标转换，得到M个特征点的三维坐标；
根据M个特征点的三维坐标和M个相机图像对应的M个相机位置的三维坐标确定每个目标特征点的三维坐标。
可以理解的是，相机三维坐标可以是相机中心点所在位置或者是相机镜头中心所在位置，当相机的拍摄参数和相机三维坐标确定时，相机图像上的任意一个特征点相对于相机的位置关系是固定的，根据拍摄参数通过相应的坐标变化，可以得到相机图像中的任意一个特征点的三维坐标。
具体地，如图2所示，对于N个相机中的任意一个相机，其位置的三维坐标为pos1，任意一个特征点P1在该相机图像中的二维坐标是固定的，结合该相机的拍摄参数，对特征点P1的二维坐标进行坐标转换，得到特征点P1在统一世界坐标系中的三维坐标。
具体地，如图3所示，在确定目标特征点中的任意一个目标特征点Q的三维坐标时，与目标特征点Q相匹配的M个相机为M1、M2…Mi…Mj…MM，相匹配的M个特征点为Q1、Q2…Qi…Qj…QM。
可以理解的是，根据每个相机的相机位置的三维坐标和该相机的拍摄参数，对对应的M个相机图像中的二维坐标进行坐标转化，得到每个相机中对应的特征点的三维坐标。
优选地，所述根据M个特征点的三维坐标和M个相机图像对应的M个相机位置的三维坐标确定每个目标特征点的三维坐标，包括：
以M个特征点的三维坐标为端点，以M个相机图像对应的M个相机位置的三维坐标为方向，确定M个特征点对应的M条射线；
根据M个特征点对应的M条射线，确定每个目标特征点的三维坐标。
具体地，如图3所示，以特征点Qi为端点，以相机Mi位置的三维坐标为方向，确定一条射线Li。同理以特征点Qj，以相机Mj位置的三维坐标为方向，确定一条射线Lj。
针对目标特征点Q相匹配的M个特征点Q1、Q2…Qi…Qj…QM，集合对应的相机M1、M2…Mi…Mj…MM的位置的三维坐标，可以得到M条射线L1、L2…Li…Lj…LM，根据M条射线计算得到目标特征点Q的三维坐标。
优选地，所述根据M个特征点对应的M条射线，确定每个目标特征点的三维坐标，包括：
从M条射线中任取两条射线作为一个射线组合；
遍历M(M-1)/2种射线组合，基于每一种射线组合，获取两条射线的交点三维坐标或者最短距离的中点三维坐标，得到M(M-1)/2个预选三维坐标；
对M(M-1)/2个预选三维坐标求取平均值，将平均值作为每个目标特征点的三维坐标。
具体地，从M条射线中任取两条射线作为一个射线组合，可以得到M(M-1)/2种射线组合。遍历M(M-1)/2种射线组合，对于其中的每一种射线组合，如图3所示，两条射线存在交点的情况下，计算射线Li和射线Lj的交点，将该交点三维坐标作为该目标特征点Q的预选三维坐标。同时，如图4所示，在射线Li和射线Lj不存在交点的情况，将两条射线最短距离的中点三维坐标作为目标特征点Q的预选三维坐标。
可以理解的是，因为存在测量误差，在实际工程应用的时候，两条射线很少相交，一般是错开的，可以通过取两射线线最短距离的中点，作为目标特征点Q的预选三维坐标，可以尽量减少测量误差的影响，提高目标特征点的三维坐标的精确度。
在得到M(M-1)/2个预选三维坐标，能够通过计算预选三维坐标的平均值，将平均值作为目标特征点的三维坐标。
为了使获取到的目标的三维形貌更加形象逼真，更容易辨识，可以给目标的三维形貌添加颜色信息。优选地，在步骤S2中，在对N个相机图像进行图像匹配时，获取并且存储每个目标特征点对应的颜色信息。
可以理解的是，对于目标的任意一个相同目标特征点，其对应的颜色信息是相同，即，同一个目标特征点在不同相机中对应的M个特征点的颜色信息也是相同。能够通过M个相机图像中任意一个相机图像中获取该目标特征点的颜色信息，并且将获取到的目标特征点的颜色信息进行存储。
优选地，在步骤S4中，将每个目标特征点对应的颜色信息与每个目标特征点的三维坐标进行融合，得到带有色彩的目标三维形貌。
具体地，能够将每个目标特征点对应的颜色信息与每个目标特征点的三维坐标进行融合，得到带有色彩的目标三维形貌，可以通过可视化显示组件将带有色彩的目标三维形貌进行展示。
实施时，可以合理设置相机阵列N的大小，使目标尽可能的在每一个相机成像上，可以提高目标特征点的数量，进一步提高目标三维形貌的精确度。
与现有技术相比，本发明实施例提供的三维数字化模型的相机阵列目标识别方法通过N个相机组成的相机阵列对目标成像，结合目标成像背景数字化模型，能够快速的得到目标三维形貌，进而实现对目标三维形貌的同步识别；同时，通过同一目标特征点在不同相机对应的多个特征点，根据不同相机在统一世界坐标系中的三维坐标以及多个特征点在不同相机的二维坐标，确定目标的每个目标特征点在统一世界坐标系中的三维坐标，实现对目标特征点的定位；并且，通过在对相机图像进行图像匹配时，获取并且存储每个目标特征点对应的颜色信息，将每个目标特征点对应的颜色信息与每个目标特征点的三维坐标进行融合，能够得到带有色彩的目标三维形貌。
本发明的一个具体实施例，公开了一种基于三维数字化模型的相机阵列目标识别系统，如图5所示，所述识别系统包括：
相机阵列，包括N个相机，用于同步采集目标图像；
交换机，与相机阵列连接，用于将相机阵列发送的目标图像转化为单路网络信号并传输给计算机设备；
计算机设备，用于读取单路网络信号，并从中取出相机阵列的所有相机同步采集的图像，基于所有相机同步采集的图像进行如下处理实现目标识别：
对N个相机图像进行图像匹配，确定每个目标特征点对应的M个相机图像，以及M个相机图像中与目标特征点相匹配的M个特征点；
采用虚实融合方法将N个相机图像与预先构建的目标成像背景数字化模型进行融合，建立N个相机图像的场景与目标成像背景数字化模型的统一世界坐标系，根据统一世界坐标系确定N个相机图像对应的N个相机位置的三维坐标；
基于M个特征点在对应的M个相机图像中的二维坐标、M个相机图像对应的M个相机位置的三维坐标以及M个相机的拍摄参数，确定每个目标特征点的三维坐标；基于每个目标特征点的三维坐标得到目标三维形貌，从而识别出目标。
优选地，所述基于M个特征点在对应的M个相机图像中的二维坐标、M个相机图像对应的M个相机位置的三维坐标以及M个相机的拍摄参数，确定每个目标特征点的三维坐标，包括：
根据M个相机的拍摄参数和M个相机图像对应的M个相机位置的三维坐标，对M个特征点在对应的M个相机图像中的二维坐标进行坐标转换，得到M个特征点的三维坐标；
根据M个特征点的三维坐标和M个相机图像对应的M个相机位置的三维坐标确定每个目标特征点的三维坐标。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于三维数字化模型的相机阵列目标识别方法，其特征在于，所述识别方法包括：
同步获取由N个相机组成的相机阵列对目标成像得到的N个相机图像；
对N个相机图像进行图像匹配，确定每个目标特征点对应的M个相机图像，以及M个相机图像中与目标特征点相匹配的M个特征点；
采用虚实融合方法将N个相机图像与预先构建的目标成像背景数字化模型进行融合，建立N个相机图像的成像场景与目标成像背景数字化模型的统一世界坐标系，根据统一世界坐标系确定N个相机位置的三维坐标；
基于M个特征点在对应的M个相机图像中的二维坐标、M个相机图像对应的M个相机位置的三维坐标以及M个相机的拍摄参数，确定每个目标特征点的三维坐标；基于每个目标特征点的三维坐标得到目标三维形貌，从而识别出目标。
2.根据权利要求1所述的识别方法，其特征在于，所述基于M个特征点在对应的M个相机图像中的二维坐标、M个相机图像对应的M个相机位置的三维坐标以及M个相机的拍摄参数，确定每个目标特征点的三维坐标，包括：
根据M个相机的拍摄参数和M个相机图像对应的M个相机位置的三维坐标，对M个特征点在对应的M个相机图像中的二维坐标进行坐标转换，得到M个特征点的三维坐标；
根据M个特征点的三维坐标和M个相机图像对应的M个相机位置的三维坐标确定每个目标特征点的三维坐标。
3.根据权利要求2所述的识别方法，其特征在于，所述根据M个特征点的三维坐标和M个相机图像对应的M个相机位置的三维坐标确定每个目标特征点的三维坐标，包括：
以M个特征点的三维坐标为端点，以M个相机图像对应的M个相机位置的三维坐标为方向，确定M个特征点对应的M条射线；
根据M个特征点对应的M条射线，确定每个目标特征点的三维坐标。
4.根据权利要求3所述的识别方法，其特征在于，所述根据M个特征点对应的M条射线，确定每个目标特征点的三维坐标，包括：
从M条射线中任取两条射线作为一个射线组合；
遍历M(M-1)/2种射线组合，基于每一种射线组合，获取两条射线的交点三维坐标或者最短距离的中点三维坐标，得到M(M-1)/2个预选三维坐标；
对M(M-1)/2个预选三维坐标求取平均值，将平均值作为每个目标特征点的三维坐标。
5.根据权利要求1所述的识别方法，其特征在于，所述识别方法还包括：
在对N个相机图像进行图像匹配时，获取并且存储每个目标特征点对应的颜色信息。
6.根据权利要求5所述的识别方法，其特征在于，所述识别方法还包括：
将每个目标特征点对应的颜色信息与每个目标特征点的三维坐标进行融合，得到带有色彩的目标三维形貌。
7.根据权利要求1所述的识别方法，其特征在于，所述对N个相机图像进行图像匹配，确定每个目标特征点对应的M个相机图像，以及M个相机图像中与目标特征点相匹配的M个特征点，包括：
从N个相机图像中任取两个相机图像作为一个相机组合；遍历N(N-1)/2种相机组合，基于每一种组合，采用预设匹配算法对两个相机图像匹配，获取两个相机图像匹配成功的特征点，将N(N-1)/2种相机组合中两个相机图像匹配成功的全部特征点作为目标特征点；
对于每一个目标特征点，将含有与该目标特征点相匹配的特征点的相机图像作为该目标特征点对应的相机图像，从而得到每个目标特征点对应的M个相机图像与每个目标特征点相匹配的M个特征点。
8.根据权利要求7所述的识别方法，其特征在于，预设匹配算法为SIFT匹配算法、SURF匹配算法、模板匹配算法或SuperGlue匹配算法。
9.一种基于三维数字化模型的相机阵列目标识别系统，其特征在于，所述识别系统包括：
相机阵列，包括N个相机，用于同步采集目标图像；
交换机，与相机阵列连接，用于将相机阵列发送的目标图像转化为单路网络信号并传输给计算机设备；
计算机设备，用于读取单路网络信号，并从中取出相机阵列的所有相机同步采集的图像，基于所有相机同步采集的图像进行如下处理实现目标识别：
对N个相机图像进行图像匹配，确定每个目标特征点对应的M个相机图像，以及M个相机图像中与目标特征点相匹配的M个特征点；
采用虚实融合方法将N个相机图像与预先构建的目标成像背景数字化模型进行融合，建立N个相机图像的场景与目标成像背景数字化模型的统一世界坐标系，根据统一世界坐标系确定N个相机图像对应的N个相机位置的三维坐标；
基于M个特征点在对应的M个相机图像中的二维坐标、M个相机图像对应的M个相机位置的三维坐标以及M个相机的拍摄参数，确定每个目标特征点的三维坐标；基于每个目标特征点的三维坐标得到目标三维形貌，从而识别出目标。
10.根据权利要求9所述的识别系统，其特征在于，所述基于M个特征点在对应的M个相机图像中的二维坐标、M个相机图像对应的M个相机位置的三维坐标以及M个相机的拍摄参数，确定每个目标特征点的三维坐标，包括：
根据M个相机的拍摄参数和M个相机图像对应的M个相机位置的三维坐标，对M个特征点在对应的M个相机图像中的二维坐标进行坐标转换，得到M个特征点的三维坐标；
根据M个特征点的三维坐标和M个相机图像对应的M个相机位置的三维坐标确定每个目标特征点的三维坐标。
CN202310133115.7A 2023-02-09 2023-02-09 三维数字化模型的相机阵列目标识别方法及系统 Pending CN116051876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310133115.7A CN116051876A (zh) 2023-02-09 2023-02-09 三维数字化模型的相机阵列目标识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310133115.7A CN116051876A (zh) 2023-02-09 2023-02-09 三维数字化模型的相机阵列目标识别方法及系统

Publications (1)

Publication Number Publication Date
CN116051876A true CN116051876A (zh) 2023-05-02

Family

ID=86121948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310133115.7A Pending CN116051876A (zh) 2023-02-09 2023-02-09 三维数字化模型的相机阵列目标识别方法及系统

Country Status (1)

Country Link
CN (1) CN116051876A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524160A (zh) * 2023-07-04 2023-08-01 应急管理部天津消防研究所 基于ar识别的产品一致性辅助核实系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524160A (zh) * 2023-07-04 2023-08-01 应急管理部天津消防研究所 基于ar识别的产品一致性辅助核实系统及方法
CN116524160B (zh) * 2023-07-04 2023-09-01 应急管理部天津消防研究所 基于ar识别的产品一致性辅助核实系统及方法

Similar Documents

Publication Publication Date Title
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
KR101489984B1 (ko) 스테레오-영상 정합 및 변화 검출 시스템 및 방법
CN108694741B (zh) 一种三维重建方法及装置
CN111382613B (zh) 图像处理方法、装置、设备和介质
CN101894366A (zh) 一种获取标定参数的方法、装置及一种视频监控系统
WO2011047888A1 (en) Method of providing a descriptor for at least one feature of an image and method of matching features
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN112419233B (zh) 一种数据标注方法、装置、设备以及计算机可读存储介质
CN110378995B (zh) 一种利用投射特征进行三维空间建模的方法
CN107560592A (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN110634138A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
JP2016194895A (ja) 室内２ｄ平面図の生成方法、装置及びシステム
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
CN116051876A (zh) 三维数字化模型的相机阵列目标识别方法及系统
Ji et al. An evaluation of conventional and deep learning‐based image‐matching methods on diverse datasets
CN106997366B (zh) 数据库构建方法、增强现实融合追踪方法及终端设备
CN110636248B (zh) 目标跟踪方法与装置
CN110363806B (zh) 一种利用不可见光投射特征进行三维空间建模的方法
CN112488022A (zh) 一种环视全景监控方法、装置及系统
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
CN113628251B (zh) 一种智慧酒店终端监测方法
Rathnayake et al. An efficient approach towards image stitching in aerial images
CN114694204A (zh) 社交距离检测方法、装置、电子设备及存储介质
CN115880206A (zh) 图像准确度判断方法、装置、设备及存储介质、程序产品
CN116012625A (zh) 基于改进型图像匹配的目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination