CN116524008B - 一种用于安检ct智能识别的目标物匹配与空间位置估计方法 - Google Patents

一种用于安检ct智能识别的目标物匹配与空间位置估计方法 Download PDF

Info

Publication number
CN116524008B
CN116524008B CN202310398478.3A CN202310398478A CN116524008B CN 116524008 B CN116524008 B CN 116524008B CN 202310398478 A CN202310398478 A CN 202310398478A CN 116524008 B CN116524008 B CN 116524008B
Authority
CN
China
Prior art keywords
image
view angle
dimensional
point
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310398478.3A
Other languages
English (en)
Other versions
CN116524008A (zh
Inventor
查艳丽
冯玮
曾光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Research Institute of Ministry of Public Security
Beijing Zhongdun Anmin Analysis Technology Co Ltd
Original Assignee
First Research Institute of Ministry of Public Security
Beijing Zhongdun Anmin Analysis Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Research Institute of Ministry of Public Security, Beijing Zhongdun Anmin Analysis Technology Co Ltd filed Critical First Research Institute of Ministry of Public Security
Priority to CN202310398478.3A priority Critical patent/CN116524008B/zh
Publication of CN116524008A publication Critical patent/CN116524008A/zh
Application granted granted Critical
Publication of CN116524008B publication Critical patent/CN116524008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30112—Baggage; Luggage; Suitcase

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于安检CT智能识别的目标物匹配与空间位置估计方法，包括目标物匹配和目标物空间位置估计两个部分。本发明方法可对投影产生的二维CT多个视角图像的识别结果进行目标物的匹配和目标物的空间位置估计，目的是对基于二维投影数据的智能识别结果计算其在真实三维空间的位置，在设备屏幕或者系统中各个工作站点可以辅助安检员判读，提高安检效果和效率。

Description

一种用于安检CT智能识别的目标物匹配与空间位置估计方法
技术领域
本发明涉及安检及图像处理技术领域，具体涉及一种用于安检CT智能识别的目标物匹配与空间位置估计方法。
背景技术
在机场、铁路、重要集会等安全等级要求较高的公共场合，利用X射线安检设备对人员携带的行李物品进行安全检查已经成为各国的惯例行为。CT型安全检查设备以三维视觉效果和可以得到更加准确的物质物理属性等优势成为安检领域下一代主流检查设备。近些年深度学习在计算机视觉领域的发展，人工智能赋能安检是大势所趋。为解决由于各领域安检员判图技术水平差异和长时间作业等因素导致公共交通安全依然面临威胁的问题，CT型安全检查系统应具有智能探测能力，应用于真实业务场景，全面提升用户体验和智能探测效果展示。
以深度学习为技术基础的安检智能探测技术在二维图像上的应用已经很成熟，但CT设备的图像是三维的，如何将卷积神经网络在安检CT密集体素图像上运用是比较新的技术领域。原始的CT三维图像具有高纬度高分辨率的特点，直接使用三维卷积对其处理，计算量大，耗时长，无法满足安检实时处理的需求。而使用二维图像做识别，虽然时效性上可以满足需要，但无法直接得到待识别目标物的三维位置信息，结果无法很好的呈现在CT设备屏幕上。
中国专利申请CN113792623A公开了一种安检CT目标物识别方法和装置，首先对三维CT数据进行降维来生成多个二维降维视图，然后针对多个二维视图进行目标物识别，获得目标物的二维语义描述集合，最后对二维语义描述集合进行升维，获得目标物的三维识别结果。
中国专利申请CN110133741A公开了一种多视角匹配和跟踪的自动安检方法，首先是获取不同视角的X光图形序列，然后提取SIFT特征，并采用主成分分析方法对特征进行降维。再此构建视觉词汇树对无序图像进行排序，采用采样优化的随机抽样一致算法及光束法平差减少误匹配点。最后经过匹配生成所有视角图像序列中感兴趣物品的一致轨迹。
中国专利申请CN109975335A公开了一种CT检测方法及装置，该技术方案有两个分支，一个分支是采集单个、两个或多个视角的透视图像，在其上进行智能违禁品判读，综合多个视角的透视图像判读结果。另一个分支是在三维断层数据上进行燃爆物识别判读。最后将两个分支的探测结果合并给出综合判读结果。
CN113792623A的技术方案在升维后还要对三维概率结果进一步分析并进行复杂计算， CN110133741A的技术方案对视角数量是有限制的（小于等于6个），而CN109975335A没有对得到二维投影探测结果进行升维的技术过程描述。
发明内容
针对现有技术的不足，本发明旨在提供一种用于安检CT智能识别的目标物匹配与空间位置估计方法。
为了实现上述目的，本发明采用如下技术方案：
一种用于安检CT智能识别的目标物匹配与空间位置估计方法，具体过程为：
S1、目标物匹配：
S11、确定不同视角之间的位置映射关系，即不同视角图像中不同区域对应关系；
S12、对即将匹配的两个视角确定主视角和副视角；
S13、根据步骤S11和S12确定的映射关系，对副视角进行翻转、镜像和仿射变换，使副视角经过变换后与主视角接近于同一空间方位；
S14、对每个视角的图像进行网格化操作，图像的宽、高分别被划分为设定数量的网格，网格的间隔设置为n个像素，同时记录每个探测框中心点的网格位置；
S15、判断主视角和副视角的探测框是否符合相似度计算要求：相似度计算要求包括两个因素；第一个因素是类别，匹配的探测框需要属于相同类别；第二个因素是位置差距，先找到在同一空间方位下两个视角的探测框中心点在各自视角中的网格坐标，分别计算水平x方向和竖直y方向的差距和/>，若两者都同时小于阈值，则满足位置匹配要求；
S16、针对满足相似度计算要求的探测框进行相似度计算，相似度计算公式为：；
位置相似度分数表示两个视角的探测框中心点所在网格点之间的欧式距离；α和β分别为两种位置相似度和图像相似度的数值调节因子；
图像相似度分数的计算过程为：对主视角和副视角的探测框内容进行截图，通过SURF提取图像特征，设置Hessian关键点检测器的阈值，匹配同一空间中同一类别探测框不同视角的特征点，对相匹配的特征点计算欧式距离并求和/>，将该值作为图像相似度分数；
S17、重复步骤S16，直至当前主视角的探测框在符合相似度计算的副视角的探测框中找到相似度分数最低的匹配对象；
S18、重复步骤S13至步骤S17，将其余类别的探测框找到相似度分数最低的匹配对象；
S19、重复上述步骤S12至步骤S18，直至将所有视角两两匹配；
S2、目标物空间位置估计：
S21、根据相机透视投影原理，将世界坐标系三维点与图像坐标系投影点/>的投影关系表示为/>,其中/>为3×4的投影矩阵；因此给定6组对应点建立方程组，使用直接线性变换求解得到出世界坐标系到相机坐标系的投影矩阵，/>为视角数量；分解矩阵/>得到内参矩阵/>、旋转矩阵/>和平移向量/>；给定6组对应的安检图像三维坐标与投影图像二维坐标，建立几何模型，构建方程组，即可求解得到世界坐标系到相机坐标系的投影矩阵参数；
S22、根据步骤S1获取的各个视角图像探测目标特征匹配关键点，每次选择其中连续的两幅图像，相当于相机i与相机j；设空间中一点，其在相机i的图像投影点为,在相机j的图像投影点为/>,分别对应的投影矩阵为/>和/>；根据步骤S21位姿参数和对应的图像点坐标已知，依托投影矩阵关系，可得到，化简得到所匹配的特征关键点的真实三维坐标/>；每两张图像可得到一个三维特征点集合/>，直至每幅图像均被选中两次，共k个特征点集合；
S23、对步骤S22得到的k个三维特征点坐标集合去除离群点得到特征关键点；每个特征关键点集合的均值进行误差校正得到特征匹配点的三维点坐标，作为该特征点的真实三维坐标；
S24、计算该特征点的最小值与最大值，即该类别目标物体的外接长方体包围框顶点坐标，最终得到所有类别的三维位置信息。
进一步地，步骤S12中，主视角和副视角的判断依据是探测框的数量，对于同时存在于两个视角的某类别探测框而言，主视角的探测框数量不多于副视角的探测框数量，即。
进一步地，步骤S15中，水平x方向和竖直y方向的差距的阈值分别设置为图像的宽、高被划分的网格数量的倍数，该倍数小于1。
进一步地，步骤S15中，探测框中心点落在网格线的竖线的，以左侧网格为准，落在网格线的横线的，以上侧网格为准。
本发明提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
本发明提供一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序时，实现上述方法。
本发明的有益效果在于：本发明方法可对投影产生的二维CT多个视角图像的识别结果进行目标物的匹配和目标物的空间位置估计，目的是对基于二维投影数据的智能识别结果计算其在真实三维空间的位置，在设备屏幕或者系统中各个工作站点可以辅助安检员判读，提高安检效果和效率。
附图说明
图1为本发明实施例1方法的总体流程图；
图2为本发明实施例1方法中步骤S1的具体流程图；
图3为本发明实施例1方法中步骤S2的具体流程图；
图4为本发明实施例1方法中步骤S22的具体示意图；
图5为本发明实施例2的实施示意图；
图6为本发明实施例3的实施示意图。
实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
实施例
本实施例提供一种用于安检CT智能识别的目标物匹配与空间位置估计方法，可将多个视角的二维安检CT图像智能探测结果进行视角间目标物匹配，然后估计目标物的空间位置，计算得到该目标物在CT三维数据空间的外接长方体包围框。相较于直接使用三维数据进行智能探测，本实施例方法在不损失识别精度的前提下，真正实现了快速实时作业，满足安检实际工作场景的需求。
本实施例方法要解决的问题是使用智能识别技术对安检CT产生的多个视角二维图像进行计算得到目标物位置和类别信息后，如何得到目标物在三维空间中的位置坐标的问题。具体的实现过程如图1所示，包括如下步骤：
S1、目标物匹配。如图2所示，步骤S1的具体过程为：
S11、确定不同视角之间的位置映射关系，即不同视角图像中不同区域对应关系。
S12、对即将匹配的两个视角确定主视角和副视角。主视角和副视角的判断依据是探测框的数量，对于同时存在于两个视角的某类别探测框而言，主视角的探测框数量不多于副视角的探测框数量，即。
S13、根据步骤S11和S12确定的映射关系，对副视角进行翻转、镜像、仿射变换，使副视角经过变换后与主视角接近于同一空间方位；
S14、对每个视角的图像进行网格化操作，图像的宽、高分别被划分为设定数量的网格，网格的间隔设置为n个像素，同时记录每个探测框中心点的网格位置。
S15、判断主视角和副视角的探测框是否符合相似度计算要求。相似度计算要求包括2个因素；第一个因素是类别，需要满足匹配的探测框属于相同类别的要求；第二个因素是位置差距，先找到在同一空间方位下两个视角的探测框中心点在各自视角中的网格坐标，分别计算水平x方向和竖直y方向的差距和/>，若两者都同时小于阈值，则满足位置匹配要求；水平x方向和竖直y方向的差距的阈值分别设置为图像的宽、高被划分的网格数量的倍数，该倍数小于1，中心点落在网格线上竖线的，以左侧网格为准，落在网格横线的，以上侧网格为准。
S16、针对满足相似度计算要求的探测框进行相似度计算：
相似度分数的计算主要是对位置相似度和图像相似度进行求和，以最小值对应的探测框作为匹配对象。相似度计算公式为：
；
位置相似度分数表示两个视角的探测框中心点所在网格点之间的欧式距离；α和β分别为两种位置相似度和图像相似度的数值调节因子。
需要说明的是，由于位置相似度和图像相似度的取值范围存在较大差异，因此使用α和β作为两种相似度的数值调节因子，具体通过实验方式确定取值。
图像相似度分数的计算过程为：对主视角和副视角的探测框内容进行截图，通过SURF提取图像特征，设置Hessian关键点检测器的阈值，匹配同一空间中同一类别探测框不同视角的特征点，对相匹配的特征点计算欧式距离并求和/>，将该值作为图像相似度分数。
S17、重复步骤S16，直至当前主视角的探测框在符合相似度计算的副视角的探测框中找到相似度分数最低的匹配对象。
S18、重复步骤S13至步骤S17，将其余类别的探测框找到相似度分数最低的匹配对象。
S19、重复上述步骤S12至步骤S18，直至将所有视角两两匹配。
S2、目标物空间位置估计。如图3所示，步骤S2的具体过程为：
S21、根据相机透视投影原理，将世界坐标系三维点与图像坐标系投影点/> 的投影关系表示为/>,其中/>是尺度因子,/>为3×4的投影矩阵。因此给定6组对应点建立方程组，使用直接线性变换求解得到出世界坐标系到相机坐标系的投影矩阵/>，/>为视角数量。分解矩阵/>得到内参矩阵/>、旋转矩阵/>和平移向量/>。给定6组对应的安检图像三维坐标与投影图像二维坐标，建立几何模型，构建方程组，即可求解得到世界坐标系到相机坐标系的投影矩阵参数。
S22、根据步骤S1获取的各个视角图像探测目标特征匹配关键点，每次选择其中连续的两幅图像，相当于相机i与相机j；设空间中一点，其在相机i的图像投影点为,在相机j的图像投影点为/>,分别对应的投影矩阵为/>和/>；根据步骤S21位姿参数和对应的图像点坐标已知，依托投影矩阵关系，可得到，化简得到所匹配的特征关键点的真实三维坐标/>；每两张图像可得到一个三维特征点集合/>，直至每幅图像均被选中两次，共k个特征点集合。如图4所示。
S23、对步骤S22得到的k个三维特征点坐标集合去除离群点得到特征关键点；每个特征关键点集合的均值进行误差校正得到特征匹配点的三维点坐标，作为该特征点的真实三维坐标；
S24、计算该特征点的最小值与最大值，即该类别目标物体的外接长方体包围框顶点坐标，最终得到所有类别的三维位置信息。
实施例
本实施例旨在根据图5进一步详细说明实施例1所述的一种安检CT智能识别的目标物匹配与空间位置估计方法的工作模式。图5中，第一行是安检CT设备的俯视图，一个行李拉杆箱被放置在该设备的传送带上。拉杆箱内部除了正常的旅客旅行携带物品外，放置了一把仿真枪、一台常规尺寸笔记本电脑。将此行李拉杆箱放于安检CT设备的通道输送带上，采集图像，按照安检员判读习惯，给出了三维图像的三个典型视角，见图5所示的第二行。仿真枪和笔记本电脑都是安检员重点关注的物品。利用智能探测技术对这三个视角进行计算，得到二维探测框后得到第三行的结果，经过实施例1所述的用于安检CT智能识别的目标物匹配与空间位置估计方法，得到目标物在CT三维数据空间的外接长方体包围框，见图5所示的第四行。具体过程如下;
首先经过实施例1方法所述步骤S1的目标物匹配流程。先对图5所示第二行的三个视角进行两两匹配。以第1视角和第2视角匹配为例说明具体计算过程。步骤S11和步骤S12确定该两个视角的主视角和副视角，由于仿真枪和笔记本电脑这两个类在这两个视角中的数量同样多，都为1个，强制第1视角为主视角，第2视角为副视角。步骤S13再对副视角进行图像处理，使用翻转、镜像、仿射变换等操作使副视角经过变换后与主视角接近于同一空间方位。步骤S14进而对每个视角的图像进行间隔为10个像素点的网格化操作，同时记录每个探测框中心点所在的网格位置。接下来步骤S15判断主副视角探测框是否符合相似度计算要求。两个视角的探测框是否符合相似性度量要求需要在匹配过程中判断2个因素，第一个因素是类别，两个视角的探测框需要属于相同类别，在本实施例中两类目标物都满足该要求；第二个因素是位置差距，具体判断方法为，先找到在同一空间方位下两个视角的探测框中心点在各自视角中的网格坐标，分别计算水平x方向和竖直y方向的差距/>和/>，本实施例中/>为宽度方向上的网格数量的0.11倍，/>为高度方向上的网格数量的0.08倍，满足小于阈值的要求。步骤S16针对满足上述步骤S15要求的探测框进行相似度计算，相似度分数的计算主要是对位置相似度和图像相似度进行求和，以最小值对应的探测框作为匹配对象。上述相似度计算公式为：/>。本实施例中，笔记本电脑在第1视角和第2视角探测框的相似度分数为3750，仿真枪在第1视角和第2视角探测框的相似度分数为3300。由于该两种目标物在该匹配的两个视角中的数量一致，所以没有搜索分数最低的过程，直接完成匹配。本实施例可跳过S17和S18。最后步骤S19，重复上述步骤S12至步骤S18，直至将所有视角两两匹配，即完成第2视角和第3视角的匹配流程。
经过步骤S1匹配后，为了计算探测框集合三维信息，需要利用实施例1方法的步骤S2。首先步骤S21是安检CT设备系统建立之初就完成的计算系统投影参数。将一幅三维CT图像投影形成多个二维投影图像，使用6组对应的三维真实坐标与二维投影坐标，根据相机透视投影原理计算可得到世界坐标系到相机坐标系的投影矩阵参数，初步建立三维和二维的关系。当安检CT设备系统建立后，各个视角的投影矩阵可一次性获得。然后步骤S22利用各个视角的投影矩阵和二维投影坐标可计算得到该实施例中两个目标物的真实三维坐标集合。接着步骤S23对上述步骤S22得到的三维关键点坐标集合去除离群点。每个特征关键点集合的均值进行误差校正得到特征匹配点的三维点坐标，视为该点的真实三维坐标。最后通过步骤S24计算该特征点的最小值与最大值，即该类别目标物体的外接长方体包围框顶点坐标，最终得到所有类别的三维位置信息。在本实施例中，笔记本电脑的外接长方体包围框顶点坐标是（415，270，53）和（226，298，289），仿真枪的外接长方体包围框顶点坐标是（382，251，276）和（240，301，345）。
实施例
本实施例旨在根据图6详细说明使用实施例1所述一种安检CT智能识别的目标物匹配与空间位置估计方法的工作模式。图6中，第一行是安检CT设备的俯视图，一个行李拉杆箱被放置在该设备的传送带上。拉杆箱内部除了正常的旅客旅行携带物品外，放置了一把水果刀、一支塑料打火机。将此行李拉杆箱放于安检CT设备的通道输送带上，采集图像，按照安检员判读习惯，给出了三维图像的两个典型视角，见图6所示的第二行。水果刀和塑料打火机都是安检员重点关注的物品。利用智能探测技术对这两个视角进行计算，得到二维探测框后得到第三行的结果，经过实施例1所述用于安检CT智能识别的目标物匹配与空间位置估计方法，得到目标物在CT三维数据空间的外接长方体包围框，见图6所示的第四行。具体过程为：
首先经过实施例1方法所述步骤S1目标物匹配流程。先对图6所示的第二行的两个视角进行匹配。步骤S11和步骤S12确定两个视角主视角和副视角的顺序。就水果刀这类而言，第1视角探测到了2把水果刀，第2视角探测到了1把水果刀，这里第2视角是主视角，第1视角是副视角。就塑料打火机而言，第1视角探测到了1支塑料打火机，第2视角未探测到打火机，这里可结束匹配流程，直接输出塑料打火机的二维坐标待后续估计其空间位置。再利用步骤S13对副视角进行图像处理，使用翻转、镜像、仿射变换等操作使副视角经过变换后与主视角接近于同一空间方位。步骤S14进而对每个视角的图像进行间隔为10个像素点网格化操作，同时记录每个探测框中心点所在的网格位置。接下来步骤S15判断主副视角探测框是否符合相似度计算要求。两个视角的探测框是否进行相似性度量需要在匹配过程中判断2个因素，第一个因素是类别，匹配的探测框需要属于相同类别，在本实施例中两类目标物都满足该要求；第二个因素是位置差距，具体判断方法为，先找到在同一空间方位下两个视角的探测框中心点在各自视角中的网格坐标，计算水平x方向和竖直y方向的差距/>和/>。本实施例中，对水果刀而言，主视角与副视角分别形成两对待检测的匹配对象，第1对的/>为宽度方向上的网格数量的0.165倍，/>为高度方向上的网格数量的0.091倍，满足小于阈值的要求；第2对的/>为宽度方向上的网格数量的0.132倍，/>为高度方向上的网格数量的0.088倍，满足小于阈值的要求。步骤S16针对满足上述步骤S15要求的探测框进行相似度计算，相似度分数的计算主要是对位置相似度和图像相似度进行求和，以最小值对应的探测框作为匹配对象。上述相似度计算公式为：。本实施例中，两对待匹配对象的相似度分数分别为3471和3809。选择第1对作为主视角水果刀的匹配对象。第2对中副视角未配对的水果刀单独输出。本实施例可跳过S17、S18 、S19。本实施例输出3个匹配结果，分别为：a、视角1和视角2匹配成功的水果刀；b、视角1单独输出的水果刀；c、视角1单独输出的塑料打火机。
经过步骤S1匹配后，为了计算探测框集合三维信息，需要利用实施例1所述方法的步骤S2。如同实施例2，系统建立之初，各个视角的投影矩阵已经计算得到。步骤S22利用各个视角的投影矩阵和二维投影坐标可计算得到该实施例中两个目标物的真实三维坐标集合。步骤S23对上述步骤S22得到的三维关键点坐标集合去除离群点，本实施例中，未与视角2匹配成功的水果刀坐标是离群点，事实证明是二维投影图像上的误报警。每个特征关键点集合的均值进行误差校正得到特征匹配点的三维点坐标，视为该点的真实三维坐标。最后通过步骤S24计算该特征点的最小与最大值，即该类别目标物体的外接长方体包围框顶点坐标，最终得到所有类别的三维位置信息。在本实施例中，水果刀的外接长方体包围框顶点坐标是（397，370，132）和（301，381，189），塑料打火机的外接长方体包围框顶点坐标是（274，314，200）和（240，325，263）。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims (6)

1.一种用于安检CT智能识别的目标物匹配与空间位置估计方法，其特征在于，具体过程为：
S1、目标物匹配：
S11、确定不同视角之间的位置映射关系，即不同视角图像中不同区域对应关系；
S12、对即将匹配的两个视角确定主视角和副视角；
S13、根据步骤S11确定的映射关系，对副视角进行翻转、镜像和仿射变换，使副视角经过变换后与主视角接近于同一空间方位；
S14、对每个视角的图像进行网格化操作，图像的宽、高分别被划分为设定数量的网格，网格的间隔设置为n个像素，同时记录每个探测框中心点的网格位置Poscen(x,y)；
S15、判断主视角和副视角的探测框是否符合相似度计算要求：相似度计算要求包括两个因素；第一个因素是类别，匹配的探测框需要属于相同类别；第二个因素是位置差距，先找到在同一空间方位下两个视角的探测框中心点在各自视角中的网格坐标，分别计算水平x方向和竖直y方向的差距diffx和diffy，若两者都同时小于阈值，则满足位置匹配要求；
S16、针对满足相似度计算要求的探测框进行相似度计算，相似度计算公式为：
Scoresim＝α·Scorepos+β·Scoreimg；
位置相似度分数表示两个视角的探测框中心点所在网格点之间的欧式距离；α和β分别为两种位置相似度和图像相似度的数值调节因子；
图像相似度分数Scoreimg的计算过程为：对主视角和副视角的探测框内容进行截图，通过SURF提取图像特征，设置Hessian关键点检测器的阈值，匹配同一空间中同一类别探测框不同视角的特征点，对相匹配的特征点计算欧式距离并求和将该值作为图像相似度分数；
S17、重复步骤S16，直至当前主视角的探测框在符合相似度计算的副视角的探测框中找到相似度分数最低的匹配对象；
S18、重复步骤S13至步骤S17，将其余类别的探测框找到相似度分数最低的匹配对象；
S19、重复上述步骤S12至步骤S18，直至将所有视角两两匹配；
S2、目标物空间位置估计：
S21、根据相机透视投影原理，将世界坐标系三维点Xw(x,y,z)与图像坐标系投影点Xc(u,v)的投影关系表示为λXc＝PXw,其中λ是尺度因子,P为3×4的投影矩阵；因此给定6组对应点建立方程组，使用直接线性变换求解得到世界坐标系到相机坐标系的投影矩阵Pi,i＝{1,2,...k}，k为视角数量；分解矩阵Pi得到内参矩阵Ki、旋转矩阵Ri和平移向量ti；给定6组对应的安检图像三维坐标与投影图像二维坐标，建立几何模型，构建方程组，即可求解得到世界坐标系到相机坐标系的投影矩阵参数；
S22、根据步骤S1获取的各个视角图像探测目标特征匹配关键点，每次选择其中连续的两幅图像，相当于相机i与相机j；设空间中一点Pw(x,y,z)，其在相机i的图像投影点为pi(ui,vi),在相机j的图像投影点为pj(uj,vj),分别对应的投影矩阵为Pi和Pj；根据步骤S21位姿参数和对应的图像点坐标已知，依托投影矩阵关系，可得到化简得到所匹配的特征关键点的真实三维坐标Pw；每两张图像可得到一个三维特征点集合SP，直至每幅图像均被选中两次，共k个特征点集合；
S23、对步骤S22得到的k个三维特征点坐标集合去除离群点得到特征关键点；每个特征关键点集合的均值进行误差校正得到特征匹配点的三维点坐标作为该特征点的真实三维坐标；
S24、计算该特征点的最小值与最大值，即该类别目标物体的外接长方体包围框顶点坐标，最终得到所有类别的三维位置信息。
2.根据权利要求1所述的方法，其特征在于，步骤S12中，主视角和副视角的判断依据是探测框的数量，对于同时存在于两个视角的某类别探测框而言，主视角的探测框数量不多于副视角的探测框数量，即Num主≤Num副。
3.根据权利要求1所述的方法，其特征在于，步骤S15中，水平x方向和竖直y方向的差距的阈值分别设置为图像的宽、高被划分的网格数量的倍数，该倍数小于1。
4.根据权利要求1所述的方法，其特征在于，步骤S15中，探测框中心点落在网格线的竖线的，以左侧网格为准，落在网格线的横线的，以上侧网格为准。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法。
6.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序时，实现权利要求1-4任一所述的方法。
CN202310398478.3A 2023-04-14 2023-04-14 一种用于安检ct智能识别的目标物匹配与空间位置估计方法 Active CN116524008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310398478.3A CN116524008B (zh) 2023-04-14 2023-04-14 一种用于安检ct智能识别的目标物匹配与空间位置估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310398478.3A CN116524008B (zh) 2023-04-14 2023-04-14 一种用于安检ct智能识别的目标物匹配与空间位置估计方法

Publications (2)

Publication Number Publication Date
CN116524008A CN116524008A (zh) 2023-08-01
CN116524008B true CN116524008B (zh) 2024-02-02

Family

ID=87398603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310398478.3A Active CN116524008B (zh) 2023-04-14 2023-04-14 一种用于安检ct智能识别的目标物匹配与空间位置估计方法

Country Status (1)

Country Link
CN (1) CN116524008B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN115063394A (zh) * 2022-07-08 2022-09-16 天津大学 一种图像校正与视差估计相融合的深度估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299261B (zh) * 2014-09-10 2017-01-25 深圳大学 人体三维成像方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN115063394A (zh) * 2022-07-08 2022-09-16 天津大学 一种图像校正与视差估计相融合的深度估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多视角特征点匹配的室外目标定位;王坚 等;华中科技大学学报(自然科学版);43(S1);第241-244页 *

Also Published As

Publication number Publication date
CN116524008A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN107093205B (zh) 一种基于无人机图像的三维空间建筑物窗户检测重建方法
CN109544612B (zh) 基于特征点几何表面描述的点云配准方法
CN111652085B (zh) 基于2d与3d特征结合的物体识别方法
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN108197604A (zh) 基于嵌入式设备的快速人脸定位跟踪方法
CN106530271B (zh) 一种红外图像显著性检测方法
AU2020272936B2 (en) Methods and systems for crack detection using a fully convolutional network
CN110555908A (zh) 基于室内移动目标背景修复的三维重建方法
CN117576079A (zh) 一种工业产品表面异常检测方法、装置及系统
CN112329764A (zh) 一种基于tv-l1模型的红外弱小目标检测方法
Zhang et al. TPMv2: An end-to-end tomato pose method based on 3D key points detection
CN113932712A (zh) 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法
CN117367404A (zh) 基于动态场景下slam的视觉定位建图方法及系统
Tu et al. Detecting facade damage on moderate damaged type from high-resolution oblique aerial images
Džijan et al. Towards fully synthetic training of 3D indoor object detectors: Ablation study
CN116524008B (zh) 一种用于安检ct智能识别的目标物匹配与空间位置估计方法
Yan et al. Building Extraction at Amodal-Instance-Segmentation Level: Datasets and Framework
CN114972433B (zh) 图像处理方法、装置、设备、存储介质及程序产品
CN117315250A (zh) 一种用于多重反光干扰下的激光条纹语义分割方法
Liu et al. Binocular active stereo matching based on multi-scale random forest
Lee et al. Learning-Based Reflection-Aware Virtual Point Removal for Large-Scale 3D Point Clouds
Wu et al. Accurate laser line extraction algorithm based on morphological features under strong interference
Hu et al. A Real-Time Monitoring Computer Algorithm System for Occlusion of Photovoltaic Panels Developed by Machine Vision Technology
Popescu et al. Anomaly detection for the identification of volcanic unrest in satellite imagery
Sun et al. Crack Detection in Orthographic Road Images Based on EC-YOLOX Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant