CN116309741A - Tvds图像配准方法、分割方法、设备及介质 - Google Patents

Tvds图像配准方法、分割方法、设备及介质 Download PDF

Info

Publication number
CN116309741A
CN116309741A CN202310571892.XA CN202310571892A CN116309741A CN 116309741 A CN116309741 A CN 116309741A CN 202310571892 A CN202310571892 A CN 202310571892A CN 116309741 A CN116309741 A CN 116309741A
Authority
CN
China
Prior art keywords
image
tvds
registered
feature
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310571892.XA
Other languages
English (en)
Other versions
CN116309741B (zh
Inventor
龙军
欧毅奇
化刘杰
齐倩倩
罗跃逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Institute of Science and Technology of China Railway Shanghai Group Co Ltd
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202310571892.XA priority Critical patent/CN116309741B/zh
Publication of CN116309741A publication Critical patent/CN116309741A/zh
Application granted granted Critical
Publication of CN116309741B publication Critical patent/CN116309741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种TVDS图像配准方法、分割方法、设备及介质，其中配准方法包括：获取待配准TVDS图像并识别车厢型号；根据车厢型号搜索对应模板图像；对待配准TVDS图像和模板图像进行特征提取；基于滑动窗口的方式对待配准TVDS图像和模板图像中非感兴趣区域进行特征筛选；采用双向匹配策略对特征点进行匹配；将待配准TVDS图像与模板图像垂直排列，各特征点匹配对之间进行连线，依次剔除交点数最多的特征点匹配对，直至所有连线无交点；基于剔除后的匹配结果计算两图像之间的变换参数矩阵，基于变换参数矩阵对待配准TVDS图像进行畸变校正。能够有效解决同型不同主体列车图像之间的配准问题，减少对模板图像的需求。

Description

TVDS图像配准方法、分割方法、设备及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种TVDS图像配准方法、分割方法、设备及介质。
背景技术
在客车故障轨边图像检测系统（TVDS）中，一般采用具有高敏感性、高分辨率、和高动态性的线阵相机对动态过检列车进行成像。线阵相机对运动物体成像时，目标运行速度对成像质量影响很大。当物体匀速运行时，图像成像较为均匀，没有形变。但是在实际应用中，目标运行速度并不是完全理想恒定的，在列车运行方向上，物体所成的像往往会出现拉伸或压缩等变形现象。列车速度对成像的影响具体表现为：线阵相机扫描频率固定，当运行的物体速度变快时，物体成像的图像抽样间隔变大，目标被压缩；当物体运行速度变慢时，图像抽样间隔变小，目标被拉伸。在竖直方向上，由于列车和相机不存在相对运动，所以图像不存在几何的变形问题。在水平方向上，物体被拉伸或者压缩。会使序列图像的整体数量发生变化。同一类型的列车在不同时间经过线阵相机时，往往会获得不同数量的图像，相应的图像也会对应列车的不同位置，给后续目标的自动定位、识别以及故障的自动检测带来挑战。目前，典型的图像配准方法主要包括基于区域的方法和基于特征的方法，在应用于铁路图像配准时，由于存在同型不同主体列车，即车型相同，但是编号不同，列车结构细节略有不同，通常采用一个车厢对应一个模板，即只针对单一主体，需要的模板数量多，造成人工成本过大。
发明内容
本发明提供了一种TVDS图像配准方法、分割方法、设备及介质，以解决现有的TVDS图像配准需要模板数量多，造成成本高的问题。
第一方面，提供了一种TVDS图像配准方法，包括：
S1：获取待配准TVDS图像，并识别其对应的车厢型号；
S2：根据车厢型号搜索对应车厢型号的模板图像；
S3：使用特征检测器提取待配准TVDS图像和模板图像的特征点及对应的特征描述符；
S4：特征筛选，对于待配准TVDS图像和模板图像中非感兴趣区域，基于滑动窗口的方式从每个窗口中筛选特征点作为有效特征点，以替代对应窗口中所有特征点；
S5：对应完成特征筛选的待配准TVDS图像和模板图像，采用双向匹配策略对特征点进行匹配，得到特征点匹配对集；
S6：将待配准TVDS图像与模板图像垂直排列，对各特征点匹配对之间进行连线，分别计算每个特征点匹配对之间连线上的交点数并进行排序，依次剔除交点数最多的特征点匹配对，直至所有特征点匹配对之间连线无交点；
S7：基于待配准TVDS图像和模板图像中保留的特征点匹配对，计算两图像之间的变换参数矩阵，基于变换参数矩阵对待配准TVDS图像进行畸变校正。
根据第一方面，在一种可能的实现方式中，所述待配准TVDS图像通过如下方法得到：
获取拍摄的车辆运行状态的序列图像，以车厢为单位对序列图像进行拼接，得到每节车厢对应的待配准TVDS图像。
根据第一方面，在一种可能的实现方式中，所述步骤S1中，通过OCR技术识别待配准TVDS图像对应的车厢型号。
根据第一方面，在一种可能的实现方式中，所述步骤S3中，所述特征检测器为SIFT特征检测器或Fast特征检测器。
根据第一方面，在一种可能的实现方式中，所述步骤S4中，基于滑动窗口的方式从每个窗口中筛选特征点作为有效特征点，包括：
基于滑动窗口的方式分别对待配准TVDS图像和模板图像中非感兴趣区域进行窗口划分；
计算每个窗口内所有特征点的中心点；
选择每个窗口内距离其对应的中心点距离最近的特征点作为该窗口的有效特征点。
根据第一方面，在一种可能的实现方式中，所述步骤S5中，采用双向匹配策略对特征点进行匹配，得到特征点匹配对集，包括：
遍历待配准TVDS图像中每个特征点与模板图像中每个特征点的欧氏距离；
遍历模板图像中每个特征点与待配准TVDS图像中每个特征点的欧式距离；
以不同图像中的两个特征点互相为各自特征点最近邻时匹配成功为依据，得到特征点匹配对集。
根据第一方面，在一种可能的实现方式中，所述步骤S6中，每次剔除交点数最多的特征点匹配对后，重新计算每个特征点匹配对之间连线上的交点数并进行排序，然后再剔除交点数最多的特征点匹配对，以此类推，直至所有特征点匹配对之间连线无交点。
根据第一方面，在一种可能的实现方式中，所述步骤S7中，通过RANSAC算法或MAGSAC算法计算得到待配准TVDS图像和模板图像之间的变换参数矩阵。
第二方面，提供了一种TVDS图像分割方法，包括：
获取TVDS图像，并采用如上所述的TVDS图像配准方法对其进行配准，得到配准后的TVDS图像；
将配准后的TVDS图像与对应的模板图像对齐；
根据模板图像中目标部件位置对配准后的TVDS图像进行分割，得到配准后的TVDS图像中目标部件图像。
第三方面，提供了一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于加载并执行所述计算机程序，以实现如上所述的TVDS图像配准方法或TVDS图像分割方法。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的TVDS图像配准方法或TVDS图像分割方法。
本发明提出了一种TVDS图像配准方法、分割方法、设备及介质，对于图像中的非感兴趣区域采用滑动窗口的方式进行特征点筛选，降低非感兴趣区域对图像配准的过度干扰，降低计算成本；然后采用双向匹配策略实现特征点的粗匹配，然后再根据几何交叉一致性错误匹配剔除错误的匹配，然后进行图像的配准。本发明能够有效解决同型不同主体列车图像之间的配准问题，每一种车型只需一个模板图像，不再需要为每一个车厢匹配一个模板图像，大大减少了对模板图像的需求，降低人工成本，而且配准精度高，有利于实现精准的图像分割。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的同型不同主体列车对比示例图；
图2是本发明实施例提供的TVDS图像配准方法流程图；
图3是本发明实施例提供的TVDS图像分割方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
在TVDS图像配准领域，存在同型不同主体列车的情况，即车型相同，但是编号不同，列车结构细节略有不同。如图1所示，给出了一种同型号不同编号的两节车厢的对比示例，其主体结构基本一致，即包含的部件及部件位置相对一致，但是不同主体列车图像中的内容存在不同程度的差异，如编码不同，而且，也存在内容一致但是对应区域在其主体上的位置分布存在差异的情况，传统的图像配准方法在应用到该场景下时，内容的差异以及相同内容但位置分布存在差异，会影响图像的配准，导致相同型号但编号不同的两个主体列车不能共用一个模板图像，导致一个车厢需要对应一个模板图像，即只针对单一主体，需要的模板数量多，造成人工成本过大。针对此问题，发明人考虑到，在客车故障轨边图像检测系统（TVDS）的具体应用中，如目标的自动定位、识别以及故障的自动检测等，针对的目标对象基本都是零部件这些感兴趣区域，而不是编码等非感兴趣区域，基于此，本发明提出了一种TVDS图像配准方法、分割方法、设备及介质，降低非感兴趣区域对图像配准的影响，提高配准精度，可以实现同一型号的车厢只需一个模板图像，大大降低减少了对模板图像的需求，降低人工成本。下面，结合具体实施例对本发明的技术方案做具体说明。
实施例1
本实施例提供了一种TVDS图像配准方法，如图2所示，包括：
S1：获取待配准TVDS图像，并识别其对应的车厢型号。
具体地，所述待配准TVDS图像通过如下方法得到：
获取拍摄的车辆运行状态的序列图像，以车厢为单位对序列图像进行拼接，得到每节车厢对应的待配准TVDS图像。得到待配准TVDS图像后，通过OCR（Optical CharacterRecognition，光学字符识别）技术从待配准TVDS图像中识别对应的车厢型号。
S2：根据车厢型号搜索对应车厢型号的模板图像。
实施时，事先通过部署在铁路沿线的 TVDS 高速拍摄装置（线阵相机）拍摄的车辆实时运行状态序列图像，可以按照拍摄的机位，拍摄的车次车厢信息给图像命名。并以车厢为单位对序列图像进行拼接。然后以列车车厢型号为单位，选取光照充足、无畸变的高质量图像制作每个型号的车厢的模板图像，从而构建包括对应各类车厢型号的模板图像数据库。当识别到待配准TVDS图像中的车厢型号后，从模板图像数据库总搜索得到对应车厢型号的模板图像。
S3：使用特征检测器提取待配准TVDS图像和模板图像的特征点及对应的特征描述符。
本实施例中，在进行特征检测时，可使用现有的一些特征检测器实现，如使用SIFT特征检测器或Fast特征检测器，来提取待配准TVDS图像和模板图像的特征点及对应的特征描述符，特征描述符为对应特征点的特征向量。
S4：特征筛选，对于待配准TVDS图像和模板图像中非感兴趣区域，基于滑动窗口的方式从每个窗口中筛选特征点作为有效特征点，以替代对应窗口中所有特征点。
同型不同主体列车图像间的内容存在不同程度的差异，并且列车图像间内容一致的区域在其主体中的分布也可能存在差异，但在结构上具有一定的相似性。针对该问题，本发明设计了上述特征筛选策略，以一个有效特征点替代对应窗口内的所有特征点，以降低差异区域（非感兴趣区域）的响应程度，减少对配准的影响，同时也降低计算成本。
更具体地，上述特征筛选策略包括如下步骤：
基于滑动窗口的方式分别对待配准TVDS图像和模板图像中非感兴趣区域（非ROI）进行窗口划分；
计算每个窗口内所有特征点的中心点；
选择每个窗口内距离其对应的中心点距离最近的特征点作为该窗口的有效特征点。
上述特征筛选策略可以用公式描述如下：
Figure SMS_1
Figure SMS_2
Figure SMS_3
式中，
Figure SMS_4
表示第i个窗口的中心点，
Figure SMS_5
表示窗口内特征点的位置，
Figure SMS_6
表示第i个 窗口，
Figure SMS_7
表示第i个窗口内特征点总数；
Figure SMS_8
表示第i个窗口的有效特征点，
Figure SMS_9
表示第i个窗口内一特征点与中心点的距离，Stride表示滑动窗口步长。
S5：对应完成特征筛选的待配准TVDS图像和模板图像，采用双向匹配策略对特征点进行匹配，得到特征点匹配对集。
具体地，该步骤包括如下过程：
遍历待配准TVDS图像中每个特征点与模板图像中每个特征点的欧氏距离；
遍历模板图像中每个特征点与待配准TVDS图像中每个特征点的欧式距离；
以不同图像中的两个特征点互相为各自特征点最近邻时匹配成功为依据，得到特征点匹配对集。
假设模板图像的N个特征点对应的特征描述符为
Figure SMS_10
，待配准 TVDS图像的M个特征点对应的特征描述符为
Figure SMS_11
，则特征点匹配对集X可以 描述如下：
Figure SMS_12
式中，(
Figure SMS_13
表示特征点匹配对，
Figure SMS_14
表示特征点描述符
Figure SMS_15
和特征点描述 符
Figure SMS_16
之间的欧氏距离，min{…}表示取最小值。
S6：将待配准TVDS图像与模板图像垂直排列，对各特征点匹配对之间进行连线，分别计算每个特征点匹配对之间连线上的交点数并进行排序，依次剔除交点数最多的特征点匹配对，直至所有特征点匹配对之间连线无交点。
针对TVDS图像的只有拉伸与压缩变换的特点，故而认为交线较多的匹配为错误匹配，因此本发明设计了上述通过特征点匹配对之间连线交点为依据的一种有效的错误匹配剔除方法。
更具体地，该错误匹配剔除方法包括如下过程：
S61：将待配准TVDS图像与模板图像垂直排列，对各特征点匹配对之间进行连线；
S62：分别计算每个特征点匹配对之间连线上的交点数并进行降序排列，剔除交点数最多的特征点匹配对；
S63：重新计算每个特征点匹配对之间连线上的交点数并进行降序排列，剔除交点数最多的特征点匹配对；
S64：重复步骤S63，直至所有特征点匹配对之间连线无交点。
S7：基于待配准TVDS图像和模板图像中保留的特征点匹配对，计算两图像之间的变换参数矩阵，基于变换参数矩阵对待配准TVDS图像进行畸变校正。
具体实施时，可通过RANSAC（Random Sample Consensus）算法或MAGSAC（Marginalizing Sample Consensus）算法计算得到待配准TVDS图像和模板图像之间的变换参数矩阵。
下面以RANSAC算法为例进行说明。过程包括：
S71：在完成错误匹配剔除后的特征点匹配对集中随机选择多个特征点匹配对设定为内点群；
S72：基于选择的多个特征点匹配对拟合得到内点群模型，内点群模型为待配准TVDS图像的特征点变换到模板图像对应特征点的变换参数矩阵；
S73：将拟合得到的内点群模型去拟合其他未被选择的特征点匹配对，计算其是否属于内点群；具体通过偏差是否小于设定的内点阈值来判断是否属于内点群；
S74：记下内点群中特征点匹配对数量；
S75：重复上述步骤S71至S74，直到达到迭代次数，返回内点群中特征点匹配对数量最多的内点群模型，即得到待配准TVDS图像与模板图像之间的变换参数矩阵；
S76：基于变换参数矩阵对待配准TVDS图像进行畸变校正。
MAGSAC算法为边缘化采样一致性算法，其提出了一种称为阈值一致性的方法，以消除RANSAC算法中人为设定内点阈值的需求，是对RANSAC算法的进一步改进。MAGSAC算法的具体原理为现有技术，在此不再另做赘述。
实施例2
本实施例提供了一种TVDS图像分割方法，如图3所示，包括：
步骤1：通过对对序列图像进行拼接得到TVDS图像；
步骤2：基于TVDS图像识别其对应的车厢型号；
步骤3：根据车厢型号搜索对应车厢型号的模板图像；
步骤4：使用特征检测器提取TVDS图像和模板图像的特征点及对应的特征描述符；
步骤5：特征筛选，对于TVDS图像和模板图像中非感兴趣区域，基于滑动窗口的方式从每个窗口中筛选特征点作为有效特征点，以替代对应窗口中所有特征点；
步骤6：对应完成特征筛选的TVDS图像和模板图像，采用双向匹配策略对特征点进行匹配，得到特征点匹配对集；
步骤7：将TVDS图像与模板图像垂直排列，对各特征点匹配对之间进行连线，分别计算每个特征点匹配对之间连线上的交点数并进行排序，依次剔除交点数最多的特征点匹配对，直至所有特征点匹配对之间连线无交点；
步骤8：基于TVDS图像和模板图像中保留的特征点匹配对，计算两图像之间的变换参数矩阵，基于变换参数矩阵对TVDS图像进行畸变校正；
步骤9：将配准后（即畸变校正后）的TVDS图像与对应的模板图像对齐；
步骤10：根据模板图像中目标部件（图3是以前后轮为例）位置对配准后的TVDS图像进行分割，得到配准后的TVDS图像中目标部件图像。
本实施例提供的一种TVDS图像分割方法中其他具体实现过程参见前述实施例1提供的TVDS图像配准方法，在此不再赘述。
实施例3
本实施例提供了一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于加载并执行所述计算机程序，以实现如实施例1所述的TVDS图像配准方法或实施例2所述的TVDS图像分割方法。
实施例4
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如实施例1所述的TVDS图像配准方法或实施例2所述的TVDS图像分割方法。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种TVDS图像配准方法，其特征在于，包括：
S1：获取待配准TVDS图像，并识别其对应的车厢型号；
S2：根据车厢型号搜索对应车厢型号的模板图像；
S3：使用特征检测器提取待配准TVDS图像和模板图像的特征点及对应的特征描述符；
S4：特征筛选，对于待配准TVDS图像和模板图像中非感兴趣区域，基于滑动窗口的方式从每个窗口中筛选特征点作为有效特征点，以替代对应窗口中所有特征点；
S5：对应完成特征筛选的待配准TVDS图像和模板图像，采用双向匹配策略对特征点进行匹配，得到特征点匹配对集；
S6：将待配准TVDS图像与模板图像垂直排列，对各特征点匹配对之间进行连线，分别计算每个特征点匹配对之间连线上的交点数并进行排序，依次剔除交点数最多的特征点匹配对，直至所有特征点匹配对之间连线无交点；
S7：基于待配准TVDS图像和模板图像中保留的特征点匹配对，计算两图像之间的变换参数矩阵，基于变换参数矩阵对待配准TVDS图像进行畸变校正。
2.根据权利要求1所述的TVDS图像配准方法，其特征在于，所述待配准TVDS图像通过如下方法得到：
获取拍摄的车辆运行状态的序列图像，以车厢为单位对序列图像进行拼接，得到每节车厢对应的待配准TVDS图像。
3.根据权利要求1所述的TVDS图像配准方法，其特征在于，所述步骤S1中，通过OCR技术识别待配准TVDS图像对应的车厢型号。
4.根据权利要求1所述的TVDS图像配准方法，其特征在于，所述步骤S3中，所述特征检测器为SIFT特征检测器或Fast特征检测器。
5.根据权利要求1所述的TVDS图像配准方法，其特征在于，所述步骤S4中，基于滑动窗口的方式从每个窗口中筛选特征点作为有效特征点，包括：
基于滑动窗口的方式分别对待配准TVDS图像和模板图像中非感兴趣区域进行窗口划分；
计算每个窗口内所有特征点的中心点；
选择每个窗口内距离其对应的中心点距离最近的特征点作为该窗口的有效特征点。
6.根据权利要求1所述的TVDS图像配准方法，其特征在于，所述步骤S5中，采用双向匹配策略对特征点进行匹配，得到特征点匹配对集，包括：
遍历待配准TVDS图像中每个特征点与模板图像中每个特征点的欧氏距离；
遍历模板图像中每个特征点与待配准TVDS图像中每个特征点的欧式距离；
以不同图像中的两个特征点互相为各自特征点最近邻时匹配成功为依据，得到特征点匹配对集。
7.根据权利要求1至6任一项所述的TVDS图像配准方法，其特征在于，所述步骤S6中，每次剔除交点数最多的特征点匹配对后，重新计算每个特征点匹配对之间连线上的交点数并进行排序，然后再剔除交点数最多的特征点匹配对，以此类推，直至所有特征点匹配对之间连线无交点。
8.一种TVDS图像分割方法，其特征在于，包括：
获取TVDS图像，并采用如权利要求1至7任一项所述的TVDS图像配准方法对其进行配准，得到配准后的TVDS图像；
将配准后的TVDS图像与对应的模板图像对齐；
根据模板图像中目标部件位置对配准后的TVDS图像进行分割，得到配准后的TVDS图像中目标部件图像。
9.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于加载并执行所述计算机程序，以实现如权利要求1至7任一项所述的TVDS图像配准方法或如权利要求8所述的TVDS图像分割方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7任一项所述的TVDS图像配准方法或如权利要求8所述的TVDS图像分割方法。
CN202310571892.XA 2023-05-22 2023-05-22 Tvds图像配准方法、分割方法、设备及介质 Active CN116309741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310571892.XA CN116309741B (zh) 2023-05-22 2023-05-22 Tvds图像配准方法、分割方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310571892.XA CN116309741B (zh) 2023-05-22 2023-05-22 Tvds图像配准方法、分割方法、设备及介质

Publications (2)

Publication Number Publication Date
CN116309741A true CN116309741A (zh) 2023-06-23
CN116309741B CN116309741B (zh) 2023-08-11

Family

ID=86818929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310571892.XA Active CN116309741B (zh) 2023-05-22 2023-05-22 Tvds图像配准方法、分割方法、设备及介质

Country Status (1)

Country Link
CN (1) CN116309741B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01180075A (ja) * 1988-01-11 1989-07-18 Agency Of Ind Science & Technol パターン認識のための特徴点コーナーの位置計測方法
CN102323070A (zh) * 2011-06-10 2012-01-18 北京华兴致远科技发展有限公司 列车异常检测方法和系统
CN102982543A (zh) * 2012-11-20 2013-03-20 北京航空航天大学深圳研究院 一种多源遥感图像配准方法
CN104463235A (zh) * 2014-11-18 2015-03-25 中国铁道科学研究院电子计算技术研究所 基于动车组运行图像的故障识别方法及装置
CN104899609A (zh) * 2015-06-19 2015-09-09 四川大学 一种基于图像配准的机械式表计识别方法
CN107703149A (zh) * 2017-10-13 2018-02-16 成都精工华耀机械制造有限公司 一种基于双目视觉与激光散斑的铁轨扣件异常检测系统
CN109271995A (zh) * 2017-07-18 2019-01-25 深圳市凯立德科技股份有限公司 一种高精度的图像匹配方法及系统
CN109741376A (zh) * 2018-11-19 2019-05-10 天津津航技术物理研究所 一种基于改进ransac算法的中、长波红外图像配准方法
US20200234456A1 (en) * 2019-01-22 2020-07-23 Konica Minolta, Inc. Image inspection device, image forming system, image inspection method, and recording medium
CN111815688A (zh) * 2020-06-24 2020-10-23 杭州宏华数码科技股份有限公司 一种长线条图像的精准配准方法
CN112102383A (zh) * 2020-09-18 2020-12-18 深圳市赛为智能股份有限公司 图像配准方法、装置、计算机设备及存储介质
CN115272647A (zh) * 2022-09-26 2022-11-01 苏州朗开医疗技术有限公司 一种肺部图像的识别处理方法及系统
CN116129325A (zh) * 2023-02-20 2023-05-16 城云科技（中国）有限公司 城市治理图像目标提取方法、装置及其应用

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01180075A (ja) * 1988-01-11 1989-07-18 Agency Of Ind Science & Technol パターン認識のための特徴点コーナーの位置計測方法
CN102323070A (zh) * 2011-06-10 2012-01-18 北京华兴致远科技发展有限公司 列车异常检测方法和系统
CN102982543A (zh) * 2012-11-20 2013-03-20 北京航空航天大学深圳研究院 一种多源遥感图像配准方法
CN104463235A (zh) * 2014-11-18 2015-03-25 中国铁道科学研究院电子计算技术研究所 基于动车组运行图像的故障识别方法及装置
CN104899609A (zh) * 2015-06-19 2015-09-09 四川大学 一种基于图像配准的机械式表计识别方法
CN109271995A (zh) * 2017-07-18 2019-01-25 深圳市凯立德科技股份有限公司 一种高精度的图像匹配方法及系统
CN107703149A (zh) * 2017-10-13 2018-02-16 成都精工华耀机械制造有限公司 一种基于双目视觉与激光散斑的铁轨扣件异常检测系统
CN109741376A (zh) * 2018-11-19 2019-05-10 天津津航技术物理研究所 一种基于改进ransac算法的中、长波红外图像配准方法
US20200234456A1 (en) * 2019-01-22 2020-07-23 Konica Minolta, Inc. Image inspection device, image forming system, image inspection method, and recording medium
CN111815688A (zh) * 2020-06-24 2020-10-23 杭州宏华数码科技股份有限公司 一种长线条图像的精准配准方法
CN112102383A (zh) * 2020-09-18 2020-12-18 深圳市赛为智能股份有限公司 图像配准方法、装置、计算机设备及存储介质
CN115272647A (zh) * 2022-09-26 2022-11-01 苏州朗开医疗技术有限公司 一种肺部图像的识别处理方法及系统
CN116129325A (zh) * 2023-02-20 2023-05-16 城云科技（中国）有限公司 城市治理图像目标提取方法、装置及其应用

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DMITRY YUDIN 等: "Vehicle recognition and its trajectory registration on the image sequence using deep convolutional neural network", 《2017 INTERNATIONAL CONFERENCE ON INFORMATION AND DIGITAL TECHNOLOGIES (IDT)》 *
彭丹 等: "基于轨边图像SURF特征的动车底部件异常检测算法", 《信息系统工程》, no. 2 *
陈佳;朱长仁;罗宾;: "一种camshift算法与brisk特征点相结合的运动目标跟踪方法", 重庆理工大学学报(自然科学), no. 12 *
韩超;方露;章盛;: "一种优化的图像配准算法", 电子测量与仪器学报, no. 02, pages 178 - 184 *

Also Published As

Publication number Publication date
CN116309741B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN110427937B (zh) 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
DE112016005059B4 (de) Unterkategorienbewusste faltende neuronale Netzwerke zur Objekterfassung
CN111339839B (zh) 一种密集型目标检测计量方法
CN108229475B (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
CN109961082B (zh) 物体识别处理装置、物体识别处理方法以及存储介质
EP3549332B1 (en) Image processing device and method for producing in real-time a digital composite image from a sequence of digital images
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN112598922B (zh) 车位检测方法、装置、设备及存储介质
CN110544202A (zh) 一种基于模板匹配与特征聚类的视差图像拼接方法及系统
CN112132103A (zh) 一种视频人脸检测识别方法和系统
CN110826415A (zh) 一种场景图像中车辆的重识别方法及设备
CN112183325B (zh) 基于图像对比的公路车辆检测方法
JP3333721B2 (ja) 領域検出装置
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN111898428A (zh) 一种基于orb的无人机特征点匹配方法
CN116309741B (zh) Tvds图像配准方法、分割方法、设备及介质
CN111488762A (zh) 一种车道级定位方法、装置及定位设备
CN116012675B (zh) 一种模型训练方法、图像处理方法及电子设备
CN111985461A (zh) 轨道车辆编号识别方法及系统
CN115019241B (zh) 一种行人识别与追踪方法、装置、可读存储介质及设备
CN116152758A (zh) 一种智能实时事故检测及车辆跟踪方法
CN116343095A (zh) 一种基于视频拼接的车辆轨迹提取方法及相关设备
EP4174770B1 (en) Monocular-vision-based detection of moving objects
CN112634141B (zh) 一种车牌矫正方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231005

Address after: Yuelu District City, Hunan province 410083 Changsha Lushan Road No. 932

Patentee after: CENTRAL SOUTH University

Patentee after: INSTITUTE OF SCIENCE AND TECHNOLOGY, CHINA RAILWAY SHANGHAI GROUP CO.,LTD.

Address before: Yuelu District City, Hunan province 410083 Changsha Lushan Road No. 932

Patentee before: CENTRAL SOUTH University

TR01 Transfer of patent right