CN112997196A - 用于确定物理对象的缺陷的系统及方法 - Google Patents

用于确定物理对象的缺陷的系统及方法 Download PDF

Info

Publication number
CN112997196A
CN112997196A CN201980072375.XA CN201980072375A CN112997196A CN 112997196 A CN112997196 A CN 112997196A CN 201980072375 A CN201980072375 A CN 201980072375A CN 112997196 A CN112997196 A CN 112997196A
Authority
CN
China
Prior art keywords
image
defect
physical object
detector module
defect detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980072375.XA
Other languages
English (en)
Inventor
R·科勒
D·R·克鲁格
劳恩 K
G.斯密特利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BNSF Railway Co
Original Assignee
Burlington Northern and Santa Fe Railway Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Burlington Northern and Santa Fe Railway Co filed Critical Burlington Northern and Santa Fe Railway Co
Publication of CN112997196A publication Critical patent/CN112997196A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

在一实施例中，一种方法包括以下步骤：通过缺陷检测器模块接收物理对象的图像，并通过缺陷检测器模块，使用一个或多个机器学习算法将来自物理对象的图像的一个或多个第一特征分类为一个或多个第一分类。所述方法还包括以下步骤：通过缺陷检测器模块分析所述一个或多个第一分类，以及通过缺陷检测器模块，基于分析一个或多个第一分类来确定物理对象包括缺陷。

Description

用于确定物理对象的缺陷的系统及方法
技术领域
本发明总体上涉及确定缺陷，更具体地，涉及确定物理对象的缺陷。
背景技术
物理对象在各个行业中用于实现业务目标。例如，有轨电车在轨道上运送货物。轨道车和轨道包括许多物理对象的组合。随着时间的推移，物理对象可能会磨损、断裂或以其他方式出现缺陷，并且该缺陷可能需要维修，以确保轨道车和轨道的持续安全运行。通常，技术人员会手动检查铁路部件(railway components)等物理对象，以识别缺陷。
发明内容
根据一实施例，一种方法包括以下步骤：通过缺陷检测器模块接收物理对象的图像，并通过缺陷检测器模块，使用一个或多个机器学习算法将来自物理对象的图像的一个或多个第一特征分类为一个或多个第一分类。所述方法还包括以下步骤：通过缺陷检测器模块分析所述一个或多个第一分类，以及通过缺陷检测器模块，基于分析一个或多个第一分类来确定物理对象包括缺陷。
根据另一实施例，系统包括一个或多个处理器及存储指令的存储器，当所述指令由所述一个或多个处理器执行时，使所述一个或多个处理器执行操作，所述操作，包括以下步骤：通过缺陷检测器模块，接收物理对象的图像，以及通过所述缺陷检测器模块，使用一个或多个机器学习算法将来自所述物理对象的所述图像的一个或多个第一特征分类为一个或多个第一分类。所述操作还包括以下步骤：通过所述缺陷检测器模块，分析所述一个或多个第一分类，以及通过所述缺陷检测器模块，基于分析所述一个或多个第一分类来确定所述物理对象包括缺陷。
根据另一实施例，一个或多个计算机可读存储介质，其包括当由处理器执行时使处理器执行操作的指令，所述操作包括以下步骤：通过缺陷检测器模块，接收物理对象的图像，并通过所述缺陷检测器模块，使用一个或多个机器学习算法将来自所述物理对象的所述图像的一个或多个第一特征分类为一个或多个第一分类。所述操作还包括以下步骤：通过所述缺陷检测器模块，分析所述一个或多个第一分类，以及通过所述缺陷检测器模块，基于分析所述一个或多个第一分类来确定所述物理对象包括缺陷。
本发明的某些实施例的技术优点可以包括以下一个或多个。所公开的图像捕获系统自动捕获物理对象的图像，这消除或减少了手动数据收集和人力，从而节省了时间和金钱。图像捕获系统可以从可能无法通过手动检查识别的角度捕获诸如轨道部件(railcomponents)之类的物理对象的图像，这可以提高检测物理对象中缺陷的准确性。所公开的缺陷检测器模块可以使用机器学习算法来自动检测物理对象的缺陷，这可以消除对潜在缺陷的图像进行扫描和标记的手动劳动。本发明中描述的系统和方法可以概括为不同的运输基础设施，包括铁路、道路和水道。
根据以下附图，说明书和权利要求书，其他技术优点对于本领域技术人员将是显而易见的。而且，尽管上面已经列举了特定的优点，但是各种实施例可以包括所列举的优点中的全部，一些或不包括。
附图说明
为了有助于理解本发明，现结合附图，对以下说明进行参考，其中：
图1示出了用于确定物理对象的缺陷的示例性系统；
图2示出了用于确定物理对象的缺陷的示例性方法；
图3示出了用于确定物理对象的缺陷的另一示例性方法；
图4示出了一种示例性图像捕获系统；
图5示出了可由图4的图像捕获系统使用的示例性模块；
图6示出了使用标记来标记特征的示例性方法；以及
图7示出了可由本文所述的系统及方法使用的示例性计算机系统。
具体实施方式
铁路部件等物理对象用于各种行业，以实现业务目标。随着时间的推移，物理对象可能会断裂或存在缺陷，且该缺陷可能需要维修以确保轨道车(railcar)的持续及安全运行。通常，技术人员将会手动检查铁路部件等物理对象，以识别缺陷。
条件及缺陷分析算法可以利用一种或多种传统计算机视觉技术(例如，感兴趣区域分析、滤波、阈值、斑点技术、边缘分析、轮廓提取、直方图分析等)及公共资产和/或缺陷启发式(defectheuristics)来自动检测各种条件。虽然这些技术在非常具体且一致的情况下可能有效，但它们在实际情况下往往通常很脆弱，并可能需要大量的时间来维护、纠正及增强。
使用机器学习算法进行图像分类和分割(segmentation)任务包括一种与传统计算方法截然不同的图像分析方法。机器学习算法(例如，神经网络)利用一系列经过训练的网络层，图像或图像的一部分，通过这些网络层来预测图像的内容，而不是使用算法对像素矩阵进行滤波、失真、分组、分割及计算。
本发明的实施例使用深度机器学习来捕获和分析视觉图像。所公开的系统和方法识别从运动中的车辆(例如，在轨道上移动的车辆、沿轨道移动的车辆等)上的特定硬件配置观察到的物理对象(例如，轨道部件)，并基于以下信息来解释视觉数据：被标记的训练数据的数量，种类和准确性，这些数据会不断地被捕获，合并和加权。所公开的系统和方法通过对物理对象在捕获的图像数据上采用训练过的模型来执行解释，以获得对捕获的各种物理对象的更高的准确性和更高级别的分析。机器学习算法针对每个硬件配置进行定制训练，以实现对各种物理对象的最佳连续捕获和分析。这些算法用于根据物理对象的图像对某些特征进行分类。然后使用分类来确定物理对象的缺陷。
图1至图7示出了用于确定物理对象的缺陷的示例性系统及方法。图1示出了用于确定物理对象的缺陷的示例性系统。图2及图3示出了用于确定物理对象的缺陷的示例性方法。图4示出了示例性图像捕获系统，图5示出了可由图4的图像捕获系统使用的示例性模块。图6示出了使用标记来标记特征的示例性方法。图7示出了可由本文所述的系统和方法使用的示例性计算机系统。
图1示出了用于确定物理对象的缺陷的示例性系统100。图1的系统100包括网络(network)110、缺陷检测器模块(defect detectormodule)120及图像捕获系统(imagecapturing system)170。系统100或其一部分可以与实体相关联，该实体可以包括任何实体，例如企业、公司(例如，铁路公司、运输公司等)或可能会确定物理对象的缺陷的政府机构(例如，运输部、公共安全部门等)。可以使用硬件、固件和软件的任何适当组合来实现系统100的元件。
网络110可以是促进系统100的组件之间通信的任何类型的网络。网络110可以将缺陷检测器模块120和系统100的图像捕获系统170进行连接。尽管本发明将网络110显示为特定种类的网络，但本发明考虑了任何合适的网络。网络110的一个或多个部分可以包括自组织网络、内联网、外联网、虚拟专用网(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网的一部分，公共交换电话网(PSTN)、蜂窝电话网、3G网、4G网、5G网、长期演进(LTE)蜂窝网网络、其中两个或多个的组合或其它合适类型的网络。网络110的一个或多个部分可以包括一个或多个接入(例如，移动接入)、核心和/或边缘网络。网络110可以是任何通信网络，例如专用网络、公共网络、通过互联网的连接、移动网络、WI-FI网络、蓝牙网络等。网络110可以包括一个或多个网络节点。网络节点是可以通过网络110接收、创建、存储和/或传输数据的连接点。网络110可以包括云计算功能。系统100的一个或多个组件可以通过网络110进行通信。例如，缺陷检测器模块120可以通过网络110进行通信，包括从图像捕获系统170接收信息。
系统100的缺陷检测器模块120表示可用于确定物理对象的缺陷156的任何适当计算组件。缺陷156是有可能损害物理对象的效用的缺陷。物理对象是可识别的物质集合。物理对象可以包括交通基础设施组件，如道路、铁路、气道、水道、运河、管道和终端组件。铁路部件的例子包括接头、开关、辙叉(frog)、轨道头、锚、紧固件、轨距板、镇流器、系带(例如，混凝土系带和木扎带)等。
缺陷检测器模块120包括接口122、存储器124及处理器126。缺陷检测器模块120的接口122表示任何合适的计算机元件，该计算机元件可以从网络110接收信息、通过网络110发送信息、执行适当的信息处理、与图1的系统100的其他组件(例如，图像捕获系统170的组件)通信，或者是以上的任何组合。接口122表示任何端口或连接，真实或虚拟，包括硬件、固件及软件的任何适当组合，包括协议转换和数据处理能力，以通过LAN、WAN或允许图1的系统100在系统100的组件之间交换信息的其他通信系统进行通信。
缺陷检测器模块120的存储器124永久地和/或临时地存储接收和发送的信息，以及系统软件、控制软件、用于缺陷检测器模块120的其他软件及各种其他信息。存储器124可以存储供处理器126执行的信息。存储器124包括适于存储信息的易失性或非易失性本地或远程设备的任意一个或组合。存储器124可以包括随机存取存储器(RAM)、只读存储器(ROM)、磁存储设备、光存储设备或任何其他合适的信息存储设备或这些设备的组合。存储器124可以包括用于缺陷检测器模块120的操作中的任何适当信息。另外，存储器124可以是缺陷检测器模块120外部(或者可以部分地在缺陷检测器模块120的外部)的组件。存储器124可以位于适于存储器124以与缺陷检测器模块120通信的任何位置。缺陷检测器模块120的存储器124可以存储图像收集引擎130、分类引擎132、缺陷检测器引擎134、报告引擎136、标记引擎138及训练引擎140。作为另一示例，图像收集引擎130、分类引擎132、缺陷检测器引擎134、报告引擎136、标记引擎138及训练引擎140可以在存储器124和/或缺陷检测器模块120的外部。
缺陷检测器模块120的图像收集引擎130是一种用于收集物理对象的图像152的应用程序。图像收集引擎130可以经由网络110从图像捕获系统170接收一个或多个物理对象的一个或多个图像152。图像收集引擎130可以在由图像捕获系统170捕获物理对象时实时或近实时地接收物理对象的图像152。图像收集引擎130可以根据时间表(例如，每分钟、每小时、每周等)接收物理对象的图像152。图像收集引擎130可以组合(例如，缝合在一起)一个或多个图像152以创建组合图像152。图像收集引擎130可以根据诸如由物理对象等任何适当组合来对图像152进行分组，此时，通过图像捕获系统170捕获的时间图像152、通过图像收集引擎130接收的时间图像152，和/或通过位置158(例如，地理位置158)捕获图像152。
缺陷检测器模块120的分类引擎132是将来自一个或多个物理对象的一个或多个图像152的特征154分类为一个或多个分类155的应用程序。每个特征154可以是图像152的特征。例如，特征154可以包括诸如螺栓头的铁路部件。特征154可以表示物理对象本身或物理对象的一个或多个组件。例如，第一特征154可以表示物理对象(例如，铁路接头)，并且，一个或多个第二特征154可以表示铁路接头的组件(例如，螺栓头、方螺母、六角螺母、圆螺母、孔等)
分类引擎132通过应用一个或多个机器学习算法来分析来自图像152的数据。机器学习算法可以与一个或多个神经网络(例如，深度神经网络)、一个或多个深度学习算法、一个或多个卷积神经网络(CNNs)、人工智能(AI)、任何其他合适的应用程序或前述的任何合适的组合相关联。可以在标记的图像数据上训练每种机器学习算法，以从一个或多个图像152识别一个或多个特征154。分类引擎132使用的一个或多个机器学习算法被训练，以识别由图像捕获系统170的一个或多个组件(例如，一个或多个照相机)所观察到的特定物理对象(例如，轨道部件)。例如，一个或多个CNN166可以利用图像152或图像152的一部分通过的一系列卷积、池化(pooling)、缩小和完全连接的层来确定有关图像152的内容的预测。一个或多个机器学习算法输出在确定性水平内描述一个或多个图像152的一个或多个特征154的一个或多个分类155。确定性水平可以取决于分类155的数目、期望的精确度、每个分类155的样本训练数据的可用性等。确定性水平可以用概率来表示。
一个或多个分类155用于识别一个或多个特征154。例如，第一分类155可以表示铁路接头的第一特征154，并且一个或多个第二分类155可以表示与铁路接头相关联的一个或多个第二特征154，例如螺栓头、方螺母、六角螺母、圆螺母、孔等。分类155可以包括特征154在图像152内的位置。例如，“螺栓头”的分类155可以包括图像152中螺栓头的位置，该位置可以是物理对象(例如，铁路接头)的一部分。
一个或多个分类155可以包括一个或多个缺陷156。缺陷包括物理对象的任何不完整或缺陷属性。缺陷155可以包括诸如裂纹、断裂、孔、失配、碎屑、磨损等缺陷。例如，用于铁路接头的缺陷155可以包括螺栓缺失、断裂、裂纹、连接状态(例如，恶化的连接)、轨道不匹配、轨道端部间隙、轨道端部倾斜、道碴状态(例如，恶化的道碴)、适当尺寸的插筋(jointbar)等。作为另一示例，铁路道岔的缺陷156可以包括缺口、断点、缺失的紧固件(例如，基本轨)、倾斜的道岔杆、道岔点处的轨道运行、不足的扎带间距、不足的杆间距、不足的轮缘槽宽度等。铁路辙叉的缺陷156可以包括缺口、断点、胎面磨损、轨距板断裂、轨距板倾斜、扣件缺失(例如，辙叉螺栓缺失)、板缺失、护栏断裂等。
轨道头的缺陷156可以包括轨道波纹、轨道剥落、轨道脱壳、轨道断裂等。铁路锚和/或紧固件的缺陷156可以包括缺失的锚和/或紧固件、不适当的锚模式、缺失的夹子、缺失的尖刺等。铁路轨距板的缺陷156可以包括倾斜轨距板、断裂轨距板等。铁路道碴的缺陷包括道碴不足、道碴脏污、道碴脏污等。铁路混凝土系带的缺陷156可以包括断裂系带、开裂系带、劣化系带、系带之间的距离不足等。铁路木扎带的缺陷156可以包括板材切割、车轮切割、扎带之间的距离不足、腐烂扎带、空心扎带等。其他缺陷156可以基于被捕获的物理对象来识别或定义。
缺陷检测器模块120的缺陷检测器引擎134是基于分析一个或多个机器学习算法(例如CNNs 166)的输出来确定物理对象是否包括一个或多个缺陷156的应用程序。例如，缺陷检测器引擎134可以分析由一个或多个机器学习算法输出的一个或多个分类155。缺陷检测器引擎134可以将一个或多个算法应用于检测结果(例如，分类155)，以确定(例如，光学识别)一个或多个缺陷156。
缺陷检测器引擎134可以分析一个或多个分类155以识别一个或多个缺陷156。例如，如果与物理对象相关联的分类155是缺陷156(例如，断裂)，则缺陷检测器引擎134可以确定物理对象(例如，铁路接头)包括缺陷156。缺陷检测器引擎134可以相对于物理对象的其他特征154确定物理对象上的缺陷156的位置158，以产生关于缺陷156的附加信息。例如，缺陷检测器引擎134可以基于一个或多个机器学习算法的结果来识别插筋中的断裂，该算法包括用于“断裂”和“插筋”的分类155。缺陷检测器引擎134可以基于用于“螺栓”的分类155来确定插筋包括螺栓。缺陷检测器引擎134可以确定相对于螺栓的断裂位置。缺陷检测器引擎134随后可基于其相对位置158产生有关中断的附加信息。例如，如果断裂在两个中间螺栓之间，则缺陷检测器引擎134可以将断裂分类为“中心断裂缺陷”。作为另一示例，如果断裂在两个中间螺栓之外，则缺陷检测器引擎134可以将断裂分类为“四分之一断裂缺陷”。
缺陷检测器引擎134可以确定物理对象的缺陷156的地理位置158。缺陷检测器引擎134可以使用从图像收集引擎130接收的信息来确定地理位置158。图像收集引擎130可以捕获表示与一个或多个图像152相关联的一个或多个地理位置158的信息(例如，纬度和经度)，并将该信息发送到缺陷检测器引擎134。缺陷检测器引擎134可以将从图像收集引擎130接收的信息转换成任何合适的格式。例如，缺陷检测器引擎134可以将从图像收集引擎130接收到的纬度和经度转换为轨道类型(tracktype)、轨道编号(track number)、线段、里程碑信息等。缺陷检测器引擎134可以使用一个或多个算法(例如，最近点算法)来定位地图(例如，铁路轨道(railroad track)的现有地图)上的地理位置158。
在某些实施例中，缺陷检测器引擎134可以检测轨道图像152中的焊缝(例如，铝热焊缝)，并使用焊缝位置来识别里程碑。每个图像152的宽度可以是“n”英尺(例如，5英尺)，表示轨道的“n”英尺(例如，5英尺)，其中n表示任何合适的数字。缺陷检测器引擎134可以通过确定来自相对于里程碑的物理对象的图像152的片段来确定物理对象的地理位置158。缺陷检测器引擎134可以通过同物理对象沿上升和/或下降里程碑的方向的镜头来确定物理对象的地理位置158。例如，缺陷检测器引擎134可以确定物理对象是经过里程标100的一定数量的英尺(例如，1000英尺)，其可以表示(例如，输出)为“MP100.0+1000英尺”。作为另一示例，缺陷检测器引擎134可以确定物理对象是在里程标137之前的一定数量的英尺(例如，1000英尺)，其可以表示(例如，输出)为“MP100.0-1000英尺”。在某些实施例中，缺陷检测器引擎134可以将地理位置158表示为全球定位系统(GPS)坐标。
缺陷检测器引擎134可以至少部分地基于相对于物理对象的缺陷156的位置158来确定地理位置158。例如，缺陷检测器引擎134可以部分地基于相对于钢轨接头(railjoint)的断裂位置158来确定钢轨接头断裂的地理位置158。缺陷检测器引擎134可以根据坐标(例如，经纬度)来定义地理位置158，该地理位置158至少部分地基于位于系统100(例如，图像捕获系统170)内的一个或多个传感器(例如，位置传感器)。
缺陷检测器引擎134还可以确定物理对象的识别标记(identification mark)。物理对象的识别标记可以包括适合于识别物理对象的任何字符(例如，数字、字母等)。物理对象的识别标记可以识别物理对象的所有者和/或制造商(例如，铁路制造商)。物理对象的识别标记可以用于追踪物理对象的来源。例如，识别标记可以包括允许物理对象追溯到特定制造批次的批次代码。缺陷检测器引擎134可以基于物理对象的地理位置158和/或通过分析物理对象的一个或多个图像152来确定物理对象的识别标记。
缺陷检测器模块120的报告引擎136是生成一个或多个报告160的应用程序。如果缺陷检测器引擎134确定物理对象不包括缺陷156，则报告引擎136可以生成指示物理对象没有缺陷的报告160。如果缺陷检测器引擎134确定物理对象包括缺陷156，则报告引擎136可以生成指示物理对象有缺陷的报告160。报告160可以采用任何适当的形式(例如，书面和/或口头)来传达缺陷156。报告160可以包括与物理对象、特征154、分类155、位置158、标记(labels)162等相关联的信息。例如，报告160可以包括图6所示的标记162、位置158(例如，地理位置158)和/或识别标记。报告160可以包括一个或多个图表、表格、列表、图形和/或用于传递信息的任何其他适当格式。报告引擎136可以将报告160传送给系统100(例如，图像捕获系统170)的一个或多个组件和/或系统100的用户(例如，管理员、技术人员等)。
缺陷检测器模块120的标记引擎138是生成一个或多个标记162的应用程序。标记162提供与特征154、分类155、缺陷156和/或位置158相关联的视觉信息。标记引擎138标签(tag)具有标记162的一个或多个物理对象的特征154。每个标记162可以包括与物理对象相关联的信息。每个标记162可以包括特征154、概率、与特征154相关联的大小(例如，直径、面积等)、分类155、位置158等。例如，标记162可以将特征154表示为“螺栓头(0.77)”，以描述“螺栓头”的分类155，并且特征154被准确地识别为螺栓头的概率为0.77(即，77％)。
标记引擎138可以在物理对象的图上插入代表物理对象(例如，钢轨接头)的特征154的标记162的一个或多个部分。标记引擎138可以在相关特征154出现在物理对象上的位置158处将标记162的一个或多个部分插入图中。例如，对于螺栓头的特征154，标记引擎138可以将标记162的一个或多个部分插入到物理对象的图上的位置158，位置158是螺栓头定位在物理对象上的位置。标记162可以表示具有任何适当形状或字符的特征154。例如，代表螺栓头的特征154的标记162可以是具有正方形或矩形形状的边界框。如下面的图6所述，缺陷检测器引擎134可以使用标记162来进一步对缺陷156进行分类。
缺陷检测器模块120的训练引擎140是训练一个或多个机器学习算法(例如，CNNs166)的应用程序。训练引擎140使用训练数据(例如，训练图像164)来训练机器学习算法，通过训练数据可以调整权重以准确地识别物理对象。机器学习算法可以在图像捕获系统170的每个特定相机角度上进行训练，以便为每个分类155提供最高的精度。训练引擎140可以通过收集代表每个分类155的样本数据(例如，训练图像164)来训练一个或多个机器学习算法。训练引擎140可以用标记162来标记样本数据，并使用所标记的数据来训练一个或多个机器学习算法以识别每个分类155。训练引擎140可以使用标记图像的子集来检查每个机器学习算法的准确性。
训练引擎140可以从系统100的管理员接收初始训练数据。一个或多个机器学习算法所使用的训练数据(例如，训练图像164)的数量和种类取决于分类155的数量、所需的精度以及每个分类155的样本数据的可用性。
存储器124可以存储数据库150。数据库150可以存储缺陷检测器模块120的某些类型的信息。例如，数据库150可以存储图像152、特征154、分类155、缺陷156、位置158、报告160、标记162、训练图像164及机器学习算法(例如，CNNs 166)。数据库150可以是适合存储信息的易失性或非易失性本地或远程设备的任意一个或组合。数据库150可以包括RAM、ROM、磁性存储设备、光存储设备或任何其他适当的信息存储设备或这些设备的组合。数据库150可以是缺陷检测器模块120外部的组件。数据库150可以位于适合数据库150的任何位置，以存储缺陷检测器模块120的信息。例如，数据库150可以位于云环境中。
缺陷检测器模块120的处理器126通过处理从接口122和存储器124接收到的信息或处理器126以其他方式访问的信息来控制缺陷检测器模块120的某些操作。处理器126通信地耦合到接口122和存储器124。处理器126可以包括用于控制和处理信息的任何硬件和/或软件。处理器126可以是可编程逻辑装置、微控制器、微处理器、任何适当的处理设备或上述任何适当组合。此外，处理器126可以是缺陷检测器模块120外部的组件。处理器126可以位于适合处理器126与缺陷检测器模块120通信的任何位置。缺陷检测器模块120的处理器126控制图像收集引擎130、分类引擎132、缺陷检测器引擎134、报告引擎136、标记引擎138和训练引擎140的操作。
缺陷检测器模块120的一个或多个组件可以在云中操作。云可以通过网络110向缺陷检测器模块120提供不同的服务(例如，应用程序、服务器及存储)。可以使用硬件、固件及软件的任何适当组合来实现云。例如，可以使用图7的计算机系统的一个或多个组件来实现云。
系统100的图像捕获系统170表示用于捕获物理对象的图像152的系统。图像捕获系统包括子框架172、梁174、一个或多个模块176、照明系统178、加热、通风和空调(HVAC)系统180、数据系统182以及一个或多个控制器184。图像捕获系统180的组件可以被连接(例如，物理连接)到车辆(例如，机车)。图像捕获系统170可以在车辆相对于物理对象运动时捕获物理对象的一个或多个图像152。例如，图像捕获系统170可以连接到机车，并且图像捕获系统170可以在机车沿着铁路轨道行驶时捕获钢轨接头的图像152。图像捕获系统170的操作可以类似于平板文档扫描仪，除了图像捕获系统170在运动中同时捕获固定的物理对象的图像152。下面，在图4中更详细地描述图像捕获系统170。
尽管图1示出了网络110、缺陷检测器模块120、接口122、存储器124、处理器126、图像收集引擎130、分类引擎132、缺陷检测器引擎134、报告引擎136、标记引擎138、训练引擎140、数据库150及图像捕获系统170的特定布置，本发明设想了网络110、缺陷检测器模块120、接口122、存储器124、处理器126、图像收集引擎130、分类引擎132、缺陷检测器引擎134、报告引擎136、标记引擎138、训练引擎140、数据库150及图像捕获系统170的任何适当布置。网络110、缺陷检测器模块120、接口122、存储器124、处理器126、图像收集引擎130、分类引擎132、缺陷检测器引擎134、报告引擎136、标记引擎138、训练引擎140、数据库150及图像捕获系统170可以全部或部分地在物理上或逻辑上彼此共存。
尽管图1示出了特定数量的网络110、缺陷检测器模块120、接口122、存储器124、处理器126、图像收集引擎130、分类引擎132、缺陷检测器引擎134、报告引擎136、标记引擎138、训练引擎140、数据库150及图像捕获系统170，本发明设想了任何适当数量的网络110、缺陷检测器模块120、接口122、存储器124、处理器126、图像收集引擎130、分类引擎132、缺陷检测器引擎134、报告引擎136、标记引擎138、训练引擎140、数据库150及图像捕获系统170。可以使用图7的计算机系统的一个或多个组件来实现缺陷检测器模块120和/或图像捕获系统170的一个或多个组件。
尽管图1描述了用于确定物理对象的缺陷156的系统100，但系统100的一个或多个组件可以应用于其他实施方式。例如，缺陷检测器模块120和/或图像捕获系统170的一个或多个组件可用于资产识别和/或库存。例如，缺陷检测器模块120的分类引擎132可用于识别物理对象(例如，轨道插筋、开关、交叉口、辙叉等)，并记录已识别的物理对象的库存。
在操作中，缺陷检测器模块120的图像收集引擎130从图像捕获系统170接收物理对象(例如，钢轨接头)的图像152。缺陷检测器模块120的分类引擎132使用一个或多个机器学习算法(例如，CNNs 166)将来自物理对象的图像152的特征154(例如，螺栓、断裂、不连续及孔)分类为分类155(例如，螺栓、断裂、不连续及孔)。缺陷检测器模块120的缺陷检测器引擎134分析分类155，并基于该分析确定物理对象包括缺陷156(例如，断裂)。缺陷检测器引擎134使用图像152确定缺陷156相对于物理对象的其他特征154的位置158。缺陷检测器引擎134至少部分地基于缺陷156相对于物理对象的其他特征154的位置158来确定物理对象的缺陷156的地理位置158。报告引擎136生成指示物理对象包括缺陷156的报告160。报告160包括缺陷156的地理位置158。标记引擎138用一个或多个标记162来标记图像152的一个或多个第一特征154。标记162包括表示物理对象的缺陷156(例如，断裂)的标记162。
因此，图1的系统100通过捕获物理对象的图像152、分析图像152、使用一个或多个机器学习算法从图像152对特征154进行分类来确定物理对象的缺陷156、以及基于分类155确定缺陷156，这减少或消除了手动检查的需要。
图2示出了用于确定物理对象的缺陷的示例性方法200。方法200从步骤210开始。在步骤220，缺陷检测器模块(例如，图1的缺陷检测器模块120)从图像捕获系统(例如，图1的图像捕获系统170)接收物理对象的图像(例如，图1的图像152)。例如，缺陷检测器模块的图像收集引擎(例如，图1的图像收集引擎130)可以从图像捕获系统接收钢轨接头的图像。图像捕获系统可以连接到部件(例如，机车)，并且图像捕获系统可以在部件相对于物理对象运动时捕获图像。
在步骤230，缺陷检测器模块使用一个或多个机器学习算法(例如，图1的CNNs166)将图像中的一个或多个特征(例如，图1的特征154)分类为一个或多个分类(例如，图1的分类155)。例如，缺陷检测器模块的分类引擎(例如，分类引擎132)可以使用一个或多个CNN将诸如方螺母、螺栓头、断裂、孔、不连续性及钢筋的特征分类为分别包括方螺母、螺栓头、断裂、孔、不连续性及钢筋的分类。一个或多个算法可以逻辑地将方螺母和螺栓头分类缩减为单个螺栓分类，这由于方螺母和螺栓头之间的视觉区别等同于螺栓的物理表示。
在步骤240，缺陷检测器模块分析一个或多个分类。缺陷检测器模块的缺陷检测器引擎(例如，图1的缺陷检测器引擎134)可以分析一个或多个分类以识别物理对象中缺陷(例如，图1的缺陷156)的存在。在步骤250，缺陷检测器模块基于分类来确定物理对象是否有缺陷。如果一个或多个分类包括缺陷(例如，断裂)，则缺陷检测器引擎可以确定物理对象是否有缺陷。
如果缺陷检测器模块基于分类确定物理对象没有缺陷，则方法200从步骤250前进到步骤260，其中报告引擎(例如，图1的报告引擎136)生成指示物理对象没有缺陷的报告。随后，方法200移动到步骤280，其中，方法200结束。如果缺陷检测器模块基于分类确定物理对象有缺陷，则方法200从步骤250前进到步骤270，其中报告引擎生成指示物理对象有缺陷的报告。随后，方法200移动到步骤280，其中，方法200结束。
可以对图2中描述的方法200进行修改、添加或省略。方法200可以包括更多、更少或其它步骤。例如，方法200可以包括通过缺陷检测器模块的训练引擎(例如，图1的训练引擎140)训练一个或多个神经网络和/或算法(例如，CNN)，以正确地识别和分类图像中的特征。作为另一示例，方法200可以包括通过缺陷检测器模块的标记引擎(例如，图1的标记引擎138)生成代表一个或多个特征的一个或多个标记(例如，图1的标记162)。可以并行地或以任何适当的顺序执行步骤。虽然作为完成方法200的步骤的特定组件进行了讨论，但是任何合适的组件都可以执行方法200的任何步骤。
图3示出了用于确定物理对象的缺陷的示例性方法300。方法300开始于步骤305。在步骤310，缺陷检测器模块(例如，图1的缺陷检测器模块120)的图像收集引擎(例如，图1的图像收集引擎130)从图像捕获系统(例如，图1的图像捕获系统170)接收物理对象的图像(例如，图1的图像152)。缺陷检测器模块的图像收集引擎可以检测图像中是否存在钢轨接头。
在步骤315，缺陷检测器模块将来自图像的第一特征(例如，图1的特征154)分类为第一分类(例如，图1的分类155)。例如，可以训练一个或多个CNNs来检测诸如“钢筋(bar)”、“不连续性(discontinuity)”及“端柱(end post)”之类的分类，并且缺陷检测器模块的分类引擎(例如，图1的分类引擎132)可以使用一个或多个CNNs将钢筋的第一特征分类为“钢筋”分类。在步骤320，缺陷检测器模块将图像裁剪到第一特征周围的区域。例如，分类引擎可以将图像裁剪到围绕钢轨接头的钢筋的区域。
在步骤325，缺陷检测器模块使用一个或多个CNNs将来自图像的一个或多个第二特征分类为一个或多个第二分类。例如，可以训练一个或多个CNNs来检测第二分类，例如“螺栓头”、“方螺母”、“六角螺母”、“圆螺母”、“孔”及“断裂”，并且缺陷检测器模块的分类引擎可以使用一个或多个CNNs将断裂的第二特征分类为“断裂”分类。
在步骤330，缺陷检测器模块分析一个或多个第二分类。在步骤335，缺陷检测器模块基于分析一个或多个第二分类来确定图像是否包括缺陷(例如，图1的缺陷156)。例如，如果一个或多个第二分类是缺陷，则缺陷检测器模块的缺陷检测器引擎(例如，图1的缺陷检测器引擎134)可以确定物理对象的图像包括缺陷(例如，图1的缺陷156)。
如果缺陷检测器模块基于一个或多个第二分类确定图像不包括缺陷，则方法300从步骤335前进到步骤345，其中报告引擎(例如，图1的报告引擎136)生成指示物理对象没有缺陷的报告。随后，方法300从步骤345移动到步骤365，其中，方法300结束。
如果缺陷检测器模块基于一个或多个第二分类确定图像包括缺陷，则方法300从步骤335前进到步骤340。在步骤340，缺陷检测器模块确定缺陷是否是物理对象的一部分。例如，如果缺陷的位置是图像的物理对象的一部分，则缺陷检测器引擎可以随后确定物理对象包括缺陷。作为另一示例，如果缺陷的位置在图像的物理对象之外(例如，同一图像的不同物理对象的一部分)，则缺陷检测器引擎可以确定物理对象不包括缺陷。如果缺陷检测器模块确定缺陷不是物理对象的一部分，则方法300从步骤340前进到步骤345，其中报告引擎生成指示物理对象没有缺陷的报告。随后，方法300从步骤345移动到步骤365，其中，方法300结束。
如果缺陷检测器模块确定缺陷是物理对象的一部分，则方法300从步骤340前进到步骤350，其中缺陷检测器模块确定缺陷在裁剪图像中的位置。在步骤355，缺陷检测器模块使用从图像捕获系统(例如，图1的图像捕获系统170)获得的图像内的缺陷的位置和传感器信息来确定物理对象的缺陷的地理位置(例如，GPS位置)。随后，方法300前进到步骤360，其中报告引擎生成指示物理对象有缺陷的报告。该报告还可以指明物理对象缺陷的地理位置。随后，方法300从步骤360移动到步骤365，其中，方法300结束。
可以对图3中描述的方法300进行修改、添加或省略。方法300可以包括更多、更少或其它步骤。例如，方法300可以包括以下步骤：基于缺陷相对于物理对象的其他特征(例如，螺栓、孔及不连续性)的位置，将物理对象(例如，轨道插筋)的缺陷(例如，断裂)进一步分类为更具体的缺陷(例如，中心断裂插筋或四分之一断裂插筋)对象。可以并行地或以任何适当的顺序执行步骤。虽然作为完成方法300的步骤的特定组件进行了讨论，但是任何合适的组件可以执行方法300的任何步骤。
图4示出了示例性图像捕获系统170。图像捕获系统170捕获物理对象的图像(例如，图1的图像152)，并将图像传送到缺陷检测器模块(例如，图1的缺陷检测器模块120)。图像捕获系统170或其部分可以与实体相关联，该实体可以包括任何实体，例如业务、公司(例如，铁路公司、运输公司等)或捕获图像的政府机构(例如，交通部、公共安全部等)。可以使用硬件、固件及软件的任何适当组合来实现系统100的元件。
图4的图像捕获系统170包括车辆410、旋转位置编码器420、子框架172及梁174。车辆410是梁174可连接到的任何机器。车辆410可以具有发动机和/或车轮。车辆410可以是汽车、机车、卡车、公共汽车、飞机或任何其他适合移动的机器。车辆410可以以允许梁174的一个或多个组件(例如，传感器、照相机等)捕获图像的任何速度运行。例如，车辆410可以是每小时行驶70英里的有轨车辆。
图像捕获系统170的旋转位置编码器420是用于测量轴旋转的车轮编码器或其他定时装置。旋转位置编码器420可以测量轴旋转的次数。旋转位置编码器420可以连接到车辆410的车轴上。旋转位置编码器420可以物理地和/或逻辑地连接到图像捕获系统170的一个或多个组件。例如，旋转位置编码器420可以物理地和/或逻辑地连接到模块176的一个或多个照相机和/或传感器。作为另一示例，旋转位置编码器420可以物理地和/或逻辑地连接到控制器184。
旋转位置编码器420可以与模块176的照相机通信，以确保不管车辆410的行驶速度如何，照相机都捕获相同视角和比例的图像。例如，旋转位置编码器420可以与梁174的多个照相机同步，以确保所有照相机同时拍摄图像。作为另一示例，旋转位置编码器420可以与梁174的照相机同步，以确保以第一速度(例如，7英里/小时)随车辆410行驶的照相机捕获与以第二速度(例如，70英里/小时)随车辆410行驶的照相机具有相同视角和比例的图像。
图像捕获系统170的子框架172是将车辆410连接到梁174的中间结构。子框架172在多个位置接合车辆410。子框架172可以通过一个或多个螺栓430、焊缝和/或任何其他合适的联轴器连接到车辆410和/或梁174。子框架172的槽440为梁174提供水平和/或高度调整。槽440可以垂直和/或水平。子框架172的垂直定向的槽440为梁174提供高度调整。子框架172可以连接到车辆410的前端、车辆410的后端、车辆410的侧面或连接车辆410与梁174的任何其他合适的位置。子框架172可以由金属(例如，钢或铝)、塑料或任何其他适合连接车辆410与梁174的材料制成。在某些实施例中，可以省略子框架172，以使梁174直接连接到车辆410。
图像捕获系统170的梁174是一种结构，其包含用于捕获图像的组件(例如，照相机和传感器)并对其进行定向。在某些实施例中，梁174的操作类似于平板文档扫描仪，除了梁174在捕获静止物理对象的图像152时处于运动状态之外。梁174与子框架172接合。例如，可以用螺栓430将梁174螺栓连接到子框架172上。如图4所示，梁174具有三个部分，其包括两个端部和一个中心部分。梁174具有鸥翼形结构，使得中心部分朝梁174的中心向内弯曲。鸥翼配置允许梁174内的模块176的图像捕获组件(例如，传感器、照相机等)相对于被捕获的物理对象在梁174内正确地定向。在某些实施例中，可以省略梁174的中心部分，并且每个端部连接到子框架172。梁174可以由金属(例如，钢或铝)、塑料或任何其他适合于梁174的外壳组件和将梁174固定到子框架172的材料制成。
梁174可以包括一个或多个开口450。开口450可以用于将模块176放置在梁174内。开口可以用于模块176的安装、调整和维护。虽然在图4中示出梁174具有特定的尺寸和形状，但是梁174可以具有适合于容纳和定位其组件(例如，模块176)的任何尺寸和形状。可能有助于梁174的设计的其他因素包括抗冲击性、抗振动性、耐候性、耐久性、易于维护、校准注意事项和安装方便性。
梁174包括模块176、照明系统178、HVAC系统180、数据系统182及控制器184。模块176容纳用于捕获图像的组件。每个模块176可以包括一个或多个传感器、照相机等。模块176位于梁174内，并有助于将图像捕获组件定位和支撑在梁174内。模块176被设计为允许维修和调整。
在某些实施例中，梁174的每个端部容纳一个或多个照相机模块176。例如，梁174的第一端部可以容纳模块176，该模块176包括两个向下的照相机，所述照相机捕获轨道的系结区域和道碴区域的图像。梁174的第一端部可以在第一端部的基本上与轨道水平的部分中容纳两个向下的照相机。与第一端部相对的梁174的第二端部可以容纳两个模块176，每个模块176包括两个成角度的照相机，其用于捕获轨道和轨道紧固系统的两侧的图像。梁174的第二端部可以在第二端部与轨道成一定角度(例如，45度角)的部分中容纳四个成角度的照相机。
根据感测和/或测量要求，图像捕获系统170的模块176可以容纳各种类型的传感器。由模块176容纳的传感器可以包括光学传感器(例如，用于可见光(单色和彩色)、红外、紫外和/或热的照相机)、运动传感器(例如，陀螺仪和加速计)、光检测和测距(LIDAR)传感器、高光谱传感器、GPS传感器等)。光学传感器和激光可以一起用于激光三角测量，以测量挠度(deflection)或轮廓。LIDAR传感器可用于生成三维(3D)点云数据。高光谱传感器可用于特定波长响应。下面，在图5中描述示例性模块176。
图像捕获系统170的照明系统178提供用于捕获图像的外部照明。照明系统178提供用于在白天和黑暗期间捕获图像的照明。当照明系统178以预定速度(例如，每小时70英里)行进时，照明系统178可提供足以捕获静止物理对象的图像的照明强度。照明系统178可以包括用于正确地定向照明的机构。照明系统178可以包括适合于提供足够照明以捕获图像的任何类型的灯。照明系统178可以包括发光二极管(LED)灯(例如，白色LED灯、越野赛车LED灯等)、灯条(例如，越野赛车LED灯条)、辅助灯(例如，LED辅助灯)、红外照明、这些的组合或任何其他适当类型的灯。照明系统178可以包括一个或多个组件，其提供模块176的一个或多个组件(例如，传感器、照相机等)所需的激光照明、红外照明、紫外线照明或任何其他适当类型的照明。
图像捕获系统170的HVAC系统180为图像捕获系统170的梁174提供加热、通风和/或空调。HVAC系统180可以调节梁174的环境条件(例如，内部温度、湿度等)。HVAC系统180可以监测梁174的环境条件，以确保梁174的模块176的操作要求得到满足。例如，HVAC系统180可以向梁174提供冷却，以确保模块176(例如，照相机和传感器)在炎热天气期间操作的回火环境。HVAC系统180可以是传统的HVAC系统，其包括冷凝器、蒸发器、压缩机、膨胀阀、带、软管、制冷剂等中的一个或多个。
HVAC系统180可以通过空气动力涡流发生器向梁174提供冷却。可以将来自车辆410(例如，机车)的主存储系统的干燥、过滤和调节的空气施加到涡流发生器。涡流发生器可以将冷却的压缩空气施加到梁174中。可以将冷却空气输送至每个模块176(例如，一个或多个传感器)以供直接应用。涡流发生器也可以用作湿度调节器。例如，涡流发生器可以将湿度调节到大约50％。压缩空气可以在梁174上提供轻微的正压力，这可以防止外部灰尘和/或碎屑通过小孔进入梁174。
图像捕获系统170的数据系统182将从图像捕获系统170的一个或多个组件接收的所有数据(例如，传感器数据)连接并定向到一个或多个计算机、一个或多个控制器(例如，控制器184)和/或一个或多个存储设备。数据系统182可以包括一条或多条数据电缆，用于将数据传送到控制器和/或存储设备。数据系统182的数据电缆可以包括位于梁174内的内部电缆。数据系统182的数据电缆可以包括位于梁174外部的外部电缆。内部和外部电缆可以通过位于梁174的壁上的防风雨连接器相连。一个或多个外部电缆可以路由到一个或多个计算机、一个或多个控制器和/或一个或多个存储设备。数据系统182的数据电缆提供用于数据进入和/或离开的路径。例如，数据系统182的数据电缆可以触发来自控制器184的信号进入。作为另一示例，数据系统182可以使用任何合适的无线或蜂窝通信协议将数据无线地传送到控制器184和/或存储设备。
图像捕获系统170的控制器184表示可用于处理图像捕获系统170的信息的任何合适的计算组件。控制器184可以协调图像捕获系统170的一个或多个组件。控制器184可以从模块176、照明系统179、HVAC系统180、数据系统182、车辆410和/或旋转位置编码器420接收数据。控制器184可以监视模块176、照明系统178、HVAC系统180及旋转位置编码器420的输入和/或输出。控制器184可以包括允许用户(例如，技术人员)直接接合图像捕获系统170的通信功能。例如，控制器184可以是计算机(例如，膝上型计算机)的一部分，并且用户可以通过计算机的接口(例如，屏幕、图形用户界面(GUI)或面板)访问控制器184。控制器184可经由网络(例如，图1的网络110)与图像捕获系统170的一个或多个组件通信。例如，控制器184可以经由LAN和/或从诸如蜂窝或无线网络的WAN上的远程终端与图像捕获系统170的一个或多个组件通信。控制器184可以位于车辆410内。
控制器184可以启动对图像捕获系统170的一个或多个组件的调整。这些调整可以由控制器184响应于一个或多个条件而自动启动。例如，当梁174内的温度超过预定值时，控制器184可以指示HVAC系统180向梁174提供冷却。可以由控制器184的用户(例如，使用包括控制器184的计算机的技术人员)在本地(例如，在车辆410内)发起调整。这些调整可以由控制器184远程启动(例如，经由蜂窝或无线链路)。调整可以包括调整照明系统178(例如，照明方向、照明强度等)、调整HVAC系统180(例如，温度、湿度等)、调整照相机方向等。
图像捕获系统170的控制器184可以监视图像捕获系统170的一个或多个组件的电源状态。控制器184可以向图像捕获系统170的一个或多个组件(例如，模块176的传感器)提供电源。控制器184可以接合诸如远程复位之类的非数据特征。控制器184可以从旋转位置编码器420接收触发信号，并将该信号分发给模块176的控制器(例如，传感器控制器)。随后，模块176的控制器可以使用控制系统信号实时地驱动模块176(例如，传感器)的一个或多个组件。图像捕获系统170可以包括一个或多个运动感测传感器，例如陀螺仪和加速计，其提供触发信号补偿因子以说明由外部特征(例如，粗糙轨迹)引起的车辆运动。
在某些实施例中，图像捕获系统170可以接收车辆410的速度。控制器184可以从GPS接收器、雷达速度测量系统、激光速度测量系统或可操作以测量车辆410的速度的任何其它适当的组件接收车辆410的速度(例如，GPS速度信号)。
尽管图4示出了车辆410、旋转位置编码器420、子框架172、梁174、模块176、照明系统178、HVAC系统180、数据系统182及控制器184的特定布置，但本发明设想了车辆410、旋转位置编码器420、子框架172、梁174、模块176、照明系统178、HVAC系统180、数据系统182及控制器184的任何适当布置。例如，照明系统170可以位于梁174的外部。车辆410、旋转位置编码器420、子框架172、梁174、模块176、照明系统178、HVAC系统180、数据系统182和控制器184可以在物理上或逻辑上全部或部分地彼此共存。
尽管图4示出了特定数量的车辆410、旋转位置编码器420、子框架172、梁174、模块176、照明系统178、HVAC系统180、数据系统182及控制器184，但本发明考虑了任何适当数量的车辆410、旋转位置编码器420、子框架172、梁174、模块176、照明系统178、HVAC系统180、数据系统182及控制器180。例如，图像捕获系统170可以包括车辆410前端的第一梁174和车辆410后端的第二梁174。作为另一示例，图像捕获系统178可以包括多个控制器184(例如，控制器和子控制器)。可以使用图7的计算机系统的一个或多个组件来实现图像捕获系统170的一个或多个组件。
图5示出了可由图4的图像捕获系统170使用的示例性模块176。模块176包括照相机510、镜头520、顶板530、底板540、盖板550、清洁装置560、螺栓570、开口580及空气压缩机585。照相机510是捕获物理对象的图像(例如，图1的图像152)的任何设备。例如，照相机510可以捕获轨道部件(例如，钢轨接头、道岔、辙叉、紧固件、道碴、轨道头和/或轨道扎带)的图像。在某些实施例中，照相机510是传感器。
一个或多个照相机510可以从不同角度捕获一个或多个物理对象的图像。例如，一个或多个照相机510可以在任何给定位置捕获铁路系统的两个轨道的图像。每个梁(例如，图4的梁174)可以包括多个照相机510。该梁可以包括直接向下瞄准以捕获物理对象的俯视图像的第一照相机510。梁可以包括向下和向外瞄准的第二照相机510，以捕获物理对象的倾斜图像。
照相机510可以是线扫描相机。线扫描相机包括单行像素。照相机510可以是双线扫描照相机。双线扫描相机包括两行像素，可以同时捕获和/或处理。当照相机510在物理对象上移动时，照相机510可以捕获图像，使得可以在软件中逐行重建物理对象的完整图像。照相机510可以具有高达140千赫兹的捕获速率。照相机510可以具有用于检测尺寸至少为1/16英寸的物理对象的分辨率和光学元件。在替代实施例中，照相机510可以是区域扫描相机。
照相机510包括镜头520，其聚焦入射光并将其引导到照相机510的传感器。镜头520可以是玻璃片或其他透明物质。镜头520可以由任何合适的材料(例如，钢、铝、玻璃、塑料或其组合)制成。
顶板530和底板540是用于定位、支撑和/或稳定模块176的一个或多个组件(例如，照相机510或传感器)的结构元件。顶板530和底板540可以由任何合适的材料(例如，钢、铝、塑料、玻璃等)制成。顶板530可以用一个或多个螺栓570连接到底板540。螺栓570(例如，定位螺栓)可以用于改变照相机510的俯仰和/或滚动方向。例如，螺栓570可以用于改变顶板530和底板540之间的有效高度。可以调整顶板530和/或底板540以减少模块176的振动和/或冲击。顶板530和/或底板540可以包括电阻加热元件，以便为照相机510和镜头520在较冷天气期间的操作提供温暖的环境。
盖板550是覆盖底板540的板。盖板550可以由任何合适的材料(例如，玻璃、钢、铝等)制成。盖板550包括开口580。开口580可以用作照相机510的镜头通过其观看物理对象的光圈。开口580允许从环境传输感测信号以到达照相机510的传感器。开口580可以是任何合适的尺寸(例如，椭圆形、矩形等)，以容纳照相机510的视图。照相机510和/或空气压缩机585的镜头520可以直接定位在开口580上方。空气压缩机585可以通过如上文图4所述的空气动力涡流发生器向梁174提供冷却。
清洁装置560是保护镜头520和/或照相机510的传感器免受环境影响的任何装置。清洁装置560通过开口580除去灰尘、小碎屑、水和/或其他可能妨碍视线的物品。清洁装置560对由模块176的组件(例如，照相机或传感器)发送的信号提供最小或无阻碍。清洁装置560可以位于盖板550与底板540之间。在某些实施例中，清洁装置560物理地连接到盖板550和/或底板540。清洁装置560可以由任何合适的材料(例如，玻璃、钢、铝等)制成。清洁装置560可以位于模块176的外表面(例如，模块176的底面)。
清洁装置560可以采用任何合适的方法来清洁照相机510的镜头520。例如，清洁装置560可以包括排放压缩空气、压缩气体或清洁流体的清洁剂。清洁装置560可以包括雨刮片、刷子或任何其它适当方法来清洁镜头520。在某些实施例中，清洁剂是排放压缩空气或压缩气体的压缩机(例如，空气压缩机585)。压缩空气或压缩气体通过孔口排出，孔口设计用于利用柯恩达效应，柯恩达效应将附近的空气带入主流中，以放大通过镜头520排出的空气量(有关气流参见符号590)。在某些实施例中，清洁装置560可以是HVAC系统的一部分(例如，图4中HVAC系统180)。
尽管图5示出了照相机510、镜头520、顶板530、底板540、盖板550、清洁装置560、螺栓570、开口580及空气压缩机585的特定布置，但本发明考虑了照相机510、镜头520、顶板530、底板540、盖板550、清洁装置560、螺栓570、开口580及空气压缩机585的任何适当布置。尽管图5示出了特定数量的照相机510、镜头520、顶板530、底板540、盖板550、清洁装置560、螺栓570、开口580及空气压缩机585，但本发明考虑了任何适当数量的照相机510、镜头520、顶板530、底板540、盖板550，清洁装置560、螺栓570、开口580及空气压缩机585。例如，模块176可以包括多个照相机510。可以使用图7的计算机系统的一个或多个组件来实现模块176的一个或多个组件。
图6示出了用标记162来标记特征154的示例性方法600。图6包括轨道630和轨道插筋632的图。方法600开始于步骤610，其中分类引擎(例如，图1的分类引擎132)识别钢轨接头132的特征154。特征154包括第一方螺母634、第一螺栓头636、第一孔638、第二孔640、第二方螺母642、第二螺栓头636、断裂646及不连续性648。断裂646表示轨道插筋632的缺陷(例如，图1的缺陷156)。不连续性648表示轨道630之间的间隔。分类引擎可以使用一个或多个CNNs来识别(例如，分类)钢轨接头132的特征154。
在方法600的步骤620，标记引擎(例如，图1的标记引擎138)使用标记162来标记钢轨接头132的特征154。如图所示，标记引擎标签(tag)特征634为“方螺母(0.84)”，特征636为“螺栓头(0.77)”，特征638为“孔(0.89)”，特征640为“孔(0.89)”，特征642为“方螺母(0.84)”，特征644为“螺栓头(0.77)”，特征646为“断裂(0.83)”，特征648为“不连续性(0.87)”。每个标记包括每个特征154的分类(例如，图1的分类155)和每个分类准确识别每个特征的概率。例如，标记为“螺栓头(0.77)”的特征636表示“螺栓头”的分类，并且“螺栓头”准确识别特征636的概率为0.77(例如，77％)。作为另一示例，标记为“孔(0.89)”的特征638表示“孔”的分类，并且“孔”准确识别特征638的概率为0.89(例如，89％)。作为另一示例，标记为“断裂(0.83)”的特征646表示“断裂”的分类，并且“断裂”准确识别特征646的概率为0.83(例如，83％)。作为又另一示例，标记为“不连续性(0.87)”的特征648表示“不连续性”的分类，并且“不连续性”准确识别特征648的概率为0.87(例如，87％)。
分类和/或概率可以由分类引擎使用一个或多个机器学习网络(例如，CNNs)和/或算法来确定。在所示的实施例中，每个边界框的位置表示每个特征154相对于其他特征154和相对于轨道插筋632的位置。每个边界框可以是任何合适的四边形(即，正方形、矩形等)。对象检测模型可以用于输出所检测的分类的边界框和标记162。尽管图6的所示实施例表示具有边界框的特征154，但是特征154可以由任何合适的形状和/或字符表示。
方法600可以用于进一步分类缺陷。在图6中，缺陷被示为“断裂”。一个或多个机器学习算法(例如，图6的CNNs 166)，1)可以通过训练来识别图示的方螺母、螺栓头、断裂、孔、不连续及钢筋的分类。当一个或多个CNN被训练在方螺母和螺栓头之间进行视觉区分时，两种分类的视觉表示等同于螺栓存在的物理表示。缺陷检测器引擎(例如，图1的缺陷检测器引擎134)可以使用一个或多个算法将方螺母和螺栓头分类逻辑地减少为单个螺栓分类。缺陷检测器引擎可以使用一个或多个算法来检查每个被检测对象(即螺栓、断裂、孔及不连续性)的相对位置(例如，图1的位置158)。
缺陷检测器引擎可以使用一个或多个算法，使用相对位置来确定在插筋中检测到的断裂是中心断裂还是四分之一断裂的缺陷。在所示的实施例中，检测到的用于断裂的边界框位于两个中间螺栓之间(即，“螺栓头(0.77)”与“方螺母(0.84)”)。缺陷检测器引擎可以确定断裂是由于两个中间螺栓之间的断裂位置造成的中心断裂插筋缺陷，这表明断裂非常接近不连续性。在替代实施例中，断裂可以位于两个中间螺栓的外侧，并且缺陷检测器引擎可以确定断裂是由于断裂在两个中间螺栓外侧的位置而导致的四分之一断裂的插筋。
可以对图6中描述的方法600进行修改、添加或省略。方法600可以包括更多、更少或其它步骤。例如，如上所述，方法600可以包括基于缺陷相对于物理对象的其他特征(例如螺栓、孔及不连续性)的位置，将物理对象(例如，轨道插筋)的缺陷(例如，断裂)进一步分类为更具体的缺陷(例如，中心断裂的插筋或四分之一断裂插筋)。可以并行地或以任何适当的顺序执行步骤。虽然作为完成方法600的步骤的特定组件进行了讨论，但任何合适的组件可以执行方法600的任何步骤。
图7示出了可由本文所述的系统和方法使用的示例性计算机系统。例如，图1的网络110、缺陷检测器模块120及图像捕获系统170可以包括一个或多个接口710、处理电路720、存储器730和/或其他合适的元件。接口710(例如，图1的接口122)接收输入、发送输出、处理输入和/或输出，和/或执行其他合适的操作。接口710可以包括硬件和/或软件。
处理电路720(例如，图1的处理器126)执行或管理组件的操作。处理电路720可以包括硬件和/或软件。处理电路的示例包括一个或多个计算机、一个或多个微处理器、一个或多个应用程序等。在某些实施例中，处理电路720执行逻辑(例如，指令)以执行动作(例如，操作)，例如从输入生成输出。由处理电路720执行的逻辑可以被编码在一个或多个有形、非暂时性计算机可读介质(例如，存储器730)中。例如，逻辑可以包括计算机程序、软件、计算机可执行指令和/或能够由计算机执行的指令。在特定实施例中，实施例的操作可以由一个或多个计算机可读介质来执行，该计算机可读介质存储有、用计算机程序实现和/或编码，和/或具有存储的和/或编码的计算机程序。
存储器730(或存储器单元)存储信息。存储器730(例如，图1的存储器124)可以包括一个或多个非暂时性、有形、计算机可读的和/或计算机可执行的存储介质。存储器730的示例包括计算机存储器(例如，RAM或ROM)、大容量存储介质(例如，硬盘)、可移动存储介质(例如，光盘(CD)或数字视频盘(DVD))、数据库和/或网络存储(例如，服务器)和/或其他计算机可读介质。
在此，计算机可读的非暂时性存储介质可以包括一个或多个基于半导体或其他集成电路(IC)(例如，现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODS)，磁光盘、磁光盘驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、安全数字卡或驱动器、任何其他合适的计算机可读非暂时性存储介质，或其中两种或两种以上的任何合适组合。在适当的情况下，计算机可读的非暂时性存储介质可以是易失性、非易失性或易失性和非易失性的组合。
除非另有明确说明或上下文另有说明，否则此处的“或”是包含性的而非排他性的。因此，在本文中，“A或B”指“A、B或两者”，除非另有明确说明或上下文另有说明。此外，“和”是连带的，除非另有明确说明或上下文另有说明。因此，在本文中，“A和B”是指“A和B，共同地或分别地”，除非另有明确说明或上下文另有说明。
本发明的范围涵盖本领域技术人员将理解的对本文描述或说明的示例性实施例的所有改变、替换、变化、变更及修改。本发明的范围不限于本文描述或附图示出的示例性实施例。此外，尽管本公开描述并图示了本文中的各个实施例，其中包括特定组件、元件、特征、功能、操作或步骤，但是这些实施例中的任何一个都可以包括任何组件、元件、特征、功能、操作的任何组合或排列，或本领域技术人员将理解的在本文任何地方描述或说明的步骤。此外，在所附权利要求书中，对装置或系统或装置或系统的部件的引用，所述装置或系统或装置或系统的部件适于布置成、能够配置成、能够操作成或操作成执行特定功能，包括所述装置、系统、部件，无论其或该特定功能是否被激活、开启或解锁，只要该装置、系统或组件被如此调整、布置、能够、配置、启用、可操作或可操作。另外，尽管本发明将特定实施例描述或图示为提供特定优点，但是特定实施例可以不提供这些优点、部分优点或全部优点。

Claims (20)

1.一种方法，其特征在于，
包括以下步骤：
通过缺陷检测器模块，接收物理对象的图像；
通过所述缺陷检测器模块，使用一个或多个机器学习算法将来自所述物理对象的所述图像的一个或多个第一特征分类为一个或多个第一分类；
通过所述缺陷检测器模块，分析所述一个或多个第一分类；以及
通过所述缺陷检测器模块，基于分析所述一个或多个第一分类来确定所述物理对象包括缺陷。
2.根据权利要求1所述的方法，其特征在于，
还包括以下步骤：
通过所述缺陷检测器模块，确定所述缺陷在所述图像中的位置；
通过所述缺陷检测器模块，确定所述缺陷在所述图像中的位置是所述物理对象的一部分；以及
通过所述缺陷检测器模块，至少部分地基于所述缺陷在所述图像中的位置来确定所述物理对象的所述缺陷的地理位置。
3.根据权利要求1所述的防范，其特征在于，
还包括以下步骤：
通过所述缺陷检测器模块，使用一个或多个标记来标记所述图像的所述一个或多个第一特征。
4.根据权利要求1所述的方法，其特征在于，
还包括以下步骤：
通过所述缺陷检测器模块，训练所述一个或多个机器学习算法，以通过收集代表所述一个或多个第一特征的样本数据来从所述图像中分类所述一个或多个第一特征。
5.根据权利要求1所述的方法，其特征在于，
所述物理对象为钢轨接头；
所述缺陷为断裂的钢轨接头；以及
所述一个或多个第一分类包括以下中的一个或多个：
螺栓；
断裂；
孔；以及
不连续性。
6.根据权利要求1所述的方法，其特征在于，
还包括以下步骤：
通过所述缺陷检测器模块，使用所述一个或多个机器学习算法将来自所述物理对象的所述图像的一个或多个第二特征分类为一个或多个第二分类，其中，所述一个或多个第二分类包括钢筋、不连续性及端柱中的至少一个；以及
通过所述缺陷检测器模块，将所述图像裁剪到所述一个或多个第二特征周围的区域以创建裁剪图像；
其中，将来自所述物理对象的所述图像的所述一个或多个第一特征分类为一个或多个第一分类的步骤包括将来自所述物理对象的所述裁剪图像的所述一个或多个第一特征分类为一个或多个第一分类。
7.根据权利要求1所述的方法，其特征在于，
所述物理对象的所述图像由相对于所述物理对象运动的组件捕获。
8.一种系统，其包括一个或多个处理器及存储指令的存储器，当所述指令由所述一个或多个处理器执行时，使所述一个或多个处理器执行操作，其特征在于，
所述操作，包括以下步骤：
通过缺陷检测器模块，接收物理对象的图像；
通过所述缺陷检测器模块，使用一个或多个机器学习算法将来自所述物理对象的所述图像的一个或多个第一特征分类为一个或多个第一分类；
通过所述缺陷检测器模块，分析所述一个或多个第一分类；以及
通过所述缺陷检测器模块，基于分析所述一个或多个第一分类来确定所述物理对象包括缺陷。
9.根据权利要求8所述的系统，其特征在于，
所述操作，还包括以下步骤：
通过所述缺陷检测器模块，确定所述缺陷在所述图像中的位置；
通过所述缺陷检测器模块，确定所述缺陷在所述图像中的位置是所述物理对象的一部分；以及
通过所述缺陷检测器模块，至少部分地基于所述缺陷在所述图像中的位置来确定所述物理对象的所述缺陷的地理位置。
10.根据权利要求8所述的系统，其特征在于，
所述操作，还包括以下步骤：
通过所述缺陷检测器模块，使用一个或多个标记来标记所述图像的所述一个或多个第一特征。
11.根据权利要求8所述的系统，其特征在于，
所述操作，还包括以下步骤：
通过所述缺陷检测器模块，训练所述一个或多个机器学习算法，以通过收集代表所述一个或多个第一特征的样本数据来从所述图像中分类所述一个或多个第一特征。
12.根据权利要求8所述的系统，其特征在于，
所述物理对象为钢轨接头；
所述缺陷为断裂的钢轨接头；以及
所述一个或多个第一分类包括以下中的一个或多个：
螺栓；
断裂；
孔；以及
不连续性。
13.根据权利要求8所述的系统，其特征在于，
所述操作，还包括以下步骤：
通过所述缺陷检测器模块，使用所述一个或多个机器学习算法将来自所述物理对象的所述图像的一个或多个第二特征分类为一个或多个第二分类，其中，所述一个或多个第二分类包括钢筋、不连续性及端柱中的至少一个；以及
通过所述缺陷检测器模块，将所述图像裁剪到所述一个或多个第二特征周围的区域以创建裁剪图像；
其中，将来自所述物理对象的所述图像的所述一个或多个第一特征分类为一个或多个第一分类的步骤包括将来自所述物理对象的所述裁剪图像的所述一个或多个第一特征分类为一个或多个第一分类。
14.根据权利要求8所述的系统，其特征在于，
所述物理对象的所述图像由相对于所述物理对象运动的组件捕获。
15.一个或多个计算机可读存储介质，其包括当由处理器执行时使处理器执行操作的指令，其特征在于，
所述操作，包括以下步骤：
通过缺陷检测器模块，接收物理对象的图像；
通过所述缺陷检测器模块，使用一个或多个机器学习算法将来自所述物理对象的所述图像的一个或多个第一特征分类为一个或多个第一分类；
通过所述缺陷检测器模块，分析所述一个或多个第一分类；以及
通过所述缺陷检测器模块，基于分析所述一个或多个第一分类来确定所述物理对象包括缺陷。
16.根据权利要求15所述的一个或多个计算机可读存储介质，其特征在于，
所述操作，还包括以下步骤：
通过所述缺陷检测器模块，确定所述缺陷在所述图像中的位置；
通过所述缺陷检测器模块，确定所述缺陷在所述图像中的位置是所述物理对象的一部分；以及
通过所述缺陷检测器模块，至少部分地基于所述缺陷在所述图像中的位置来确定所述物理对象的所述缺陷的地理位置。
17.根据权利要求15所述的一个或多个计算机可读存储介质，其特征在于，
所述操作，还包括以下步骤：
通过所述缺陷检测器模块，使用一个或多个标记来标记所述图像的所述一个或多个第一特征。
18.根据权利要求15所述的一个或多个计算机可读存储介质，其特征在于，
所述操作，还包括以下步骤：
通过所述缺陷检测器模块，训练所述一个或多个机器学习算法，以通过收集代表所述一个或多个第一特征的样本数据来从所述图像中分类所述一个或多个第一特征。
19.根据权利要求15所述的一个或多个计算机可读存储介质，其特征在于，
所述物理对象为钢轨接头；
所述缺陷为断裂的钢轨接头；以及
所述一个或多个第一分类包括以下中的一个或多个：
螺栓；
断裂；
孔；以及
不连续性。
20.根据权利要求15所述的一个或多个计算机可读存储介质，其特征在于，
所述操作，还包括以下步骤：
通过所述缺陷检测器模块，使用所述一个或多个机器学习算法将来自所述物理对象的所述图像的一个或多个第二特征分类为一个或多个第二分类，其中，所述一个或多个第二分类包括钢筋、不连续性及端柱中的至少一个；以及
通过所述缺陷检测器模块，将所述图像裁剪到所述一个或多个第二特征周围的区域以创建裁剪图像；
其中，将来自所述物理对象的所述图像的所述一个或多个第一特征分类为一个或多个第一分类的步骤包括将来自所述物理对象的所述裁剪图像的所述一个或多个第一特征分类为一个或多个第一分类。
CN201980072375.XA 2018-11-20 2019-11-19 用于确定物理对象的缺陷的系统及方法 Pending CN112997196A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/196,990 2018-11-20
US16/196,990 US10984521B2 (en) 2018-11-20 2018-11-20 Systems and methods for determining defects in physical objects
PCT/US2019/062145 WO2020106682A1 (en) 2018-11-20 2019-11-19 Systems and methods for determining defects in physical objects

Publications (1)

Publication Number Publication Date
CN112997196A true CN112997196A (zh) 2021-06-18

Family

ID=69056119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980072375.XA Pending CN112997196A (zh) 2018-11-20 2019-11-19 用于确定物理对象的缺陷的系统及方法

Country Status (9)

Country Link
US (3) US10984521B2 (zh)
EP (1) EP3884430A1 (zh)
JP (2) JP7261527B2 (zh)
KR (1) KR102480613B1 (zh)
CN (1) CN112997196A (zh)
BR (1) BR112021009670A2 (zh)
CA (2) CA3190996A1 (zh)
MX (1) MX2021005882A (zh)
WO (1) WO2020106682A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423527B2 (en) 2018-11-20 2022-08-23 Bnsf Railway Company System and method for minimizing lost vehicle axel motion and filtering erroneous electrical signals
US11755965B2 (en) 2019-04-30 2023-09-12 Transportation Ip Holdings, Llc Asset identification and tracking system
TWI787630B (zh) * 2020-07-03 2022-12-21 兆米智慧檢測股份有限公司 基於人工智能的瑕疵檢測方法及其光學檢測系統
US20230419636A1 (en) * 2020-11-25 2023-12-28 Hewlett-Packard Development Company, L.P. Identifying anomaly location
KR102505484B1 (ko) * 2020-12-18 2023-03-03 한국공학대학교산학협력단 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치
TWI806004B (zh) * 2021-02-09 2023-06-21 麗臺科技股份有限公司 自動化視覺檢測的ai流程管理系統及方法
CN113506293B (zh) * 2021-09-08 2021-12-07 成都数联云算科技有限公司 一种图像处理方法、装置、设备及存储介质
KR102427205B1 (ko) * 2021-11-22 2022-08-01 한국건설기술연구원 인공지능 모델을 위한 학습 데이터 생성 장치 및 방법
WO2023200598A1 (en) * 2022-04-13 2023-10-19 Bnsf Railway Company System and method for minimizing lost vehicle axel motion and filtering erroneous electrical signals in a rotary encoder
KR102569597B1 (ko) * 2023-01-13 2023-08-25 주식회사 아이브 인공지능 모델 학습을 위한 데이터 파이프 라인 관리 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106290378A (zh) * 2016-08-23 2017-01-04 东方晶源微电子科技（北京）有限公司 缺陷分类方法和缺陷检查系统
CN107292870A (zh) * 2017-06-07 2017-10-24 复旦大学 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与系统
CN108463874A (zh) * 2016-01-11 2018-08-28 科磊股份有限公司 基于图像的样品过程控制
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US196456A (en) 1877-10-23 Improvement in nail-assorters
US17911A (en) 1857-07-28 Lewis white
US88891A (en) 1869-04-13 mcmahen
US70283A (en) 1867-10-29 A l b e r t
US171704A (en) 1876-01-04 Improvement in rotary engines
US304083A (en) 1884-08-26 Thomas a
US140509A (en) 1873-07-01 Improvement in rotary blowers
US122569A (en) 1872-01-09 Improvement in embossing
DE3463976D1 (en) 1983-06-24 1987-07-02 Siemens Ag Disturbances detecting and recording system
IL131092A (en) * 1999-07-25 2006-08-01 Orbotech Ltd Optical inspection system
JP2001174413A (ja) * 1999-12-16 2001-06-29 Keisoku Kensa Kk モノレールにおけるレール表面のひび割れ検出方法及びその表示方法
JP2001230289A (ja) * 2000-02-15 2001-08-24 Hitachi Ltd 欠陥解析方法および欠陥解析システム
ITVE20000023A1 (it) 2000-05-12 2001-11-12 Tecnogamma S A S Di Zanin E & Apparecchiatura laser per il controllo delle rotaie di una linea ferrotramviaria.
JP2002022766A (ja) 2000-07-07 2002-01-23 Hino Motors Ltd センサの故障判定装置
JP3659489B2 (ja) 2000-12-20 2005-06-15 日本ビクター株式会社 デジタル音声処理装置及びコンピュータプログラム記録媒体
US6862413B2 (en) 2001-03-30 2005-03-01 Agere Systems Inc. Compensation for polarization mode dispersion in single mode fiber
US7755660B2 (en) 2003-05-02 2010-07-13 Ensco, Inc. Video inspection system for inspection of rail components and method thereof
DE10323915A1 (de) 2003-05-23 2005-02-03 Daimlerchrysler Ag Kamerabasierte Positionserkennung für ein Straßenfahrzeug
WO2005120924A1 (en) * 2004-06-11 2005-12-22 Stratech Systems Limited Method and system for rail track scanning and foreign object detection
JP4675958B2 (ja) * 2004-06-30 2011-04-27 ジヨージタウン・レール・エクイツプメント・カンパニー 鉄道線路を検査するためのシステムおよび方法
US8405837B2 (en) 2004-06-30 2013-03-26 Georgetown Rail Equipment Company System and method for inspecting surfaces using optical wavelength filtering
US8958079B2 (en) 2004-06-30 2015-02-17 Georgetown Rail Equipment Company System and method for inspecting railroad ties
US7403296B2 (en) 2004-11-05 2008-07-22 Board Of Regents Of University Of Nebraska Method and apparatus for noncontact relative rail displacement, track modulus and stiffness measurement by a moving rail vehicle
US7037485B1 (en) 2004-11-18 2006-05-02 Praxair Technology, Inc. Steam methane reforming method
US7860640B1 (en) 2006-02-24 2010-12-28 Wall Iii Henry H Marker means for determining direction and zoom of a means for viewing
US7689347B2 (en) 2005-03-08 2010-03-30 Wall Iii Henry H Traffic signal light control system and method
JP2010139317A (ja) * 2008-12-10 2010-06-24 Mitsubishi Materials Corp 軸物工具表面の欠陥検査方法および装置
KR101321790B1 (ko) * 2009-08-29 2013-11-04 국제비파괴검사(주) 철도레일의 탐상차량
JP2012026982A (ja) * 2010-07-27 2012-02-09 Panasonic Electric Works Sunx Co Ltd 検査装置
US9697596B2 (en) * 2011-05-17 2017-07-04 Gii Acquisition, Llc Method and system for optically inspecting parts
AU2012259405A1 (en) 2011-05-24 2013-05-09 Board Of Regents Of The University Of Nebraska Vision system for imaging and measuring rail deflection
US8935057B2 (en) 2012-01-17 2015-01-13 LimnTech LLC Roadway mark data acquisition and analysis apparatus, systems, and methods
CN202533046U (zh) 2012-04-01 2012-11-14 长安大学 一种道路路面构造深度的激光路面检测装置
US9287864B2 (en) 2012-04-11 2016-03-15 Ford Global Technologies, Llc Proximity switch assembly and calibration method therefor
CN102854191B (zh) 2012-07-18 2014-09-10 湖南大学 高速铁轨表面缺陷的实时视觉检测与识别方法
JP6009894B2 (ja) 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
CN105050868B (zh) * 2012-10-17 2018-12-21 安全堡垒有限责任公司 用于检测和防止对交通工具的攻击的设备
US9628762B2 (en) 2012-11-04 2017-04-18 Board Of Regents Of The University Of Nebraska System for imaging and measuring rail deflection
JP6270271B2 (ja) 2014-03-19 2018-01-31 三和テッキ株式会社 トロリ線の高さ，偏位測定装置
DE102014209137B4 (de) 2014-05-14 2023-02-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
US9533698B2 (en) * 2014-09-24 2017-01-03 Bartlett & West, Inc. Railway monitoring system
JP6403261B2 (ja) * 2014-12-03 2018-10-10 タカノ株式会社 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
EP3327198B1 (en) * 2015-07-21 2021-04-21 Kabushiki Kaisha Toshiba Crack analyzer, crack analysis method, and crack analysis program
US10337676B2 (en) 2015-12-09 2019-07-02 Jiaxing Super Lighting Electric Appliance Co., Ltd. LED tube lamp
JP6839019B2 (ja) * 2016-03-31 2021-03-03 東日本旅客鉄道株式会社 軌道パッド飛び出し量測定装置
JP2018005640A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム
KR101706271B1 (ko) * 2016-08-10 2017-02-22 주식회사 에이베스트 고속철의 도상 균열 검사장치
US10009197B1 (en) 2016-10-10 2018-06-26 Xilinx, Inc. Method and apparatus for intersymbol interference compensation
US10878388B2 (en) * 2018-07-12 2020-12-29 Visionx, Llc Systems and methods for artificial-intelligence-based automated surface inspection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108463874A (zh) * 2016-01-11 2018-08-28 科磊股份有限公司 基于图像的样品过程控制
CN106290378A (zh) * 2016-08-23 2017-01-04 东方晶源微电子科技（北京）有限公司 缺陷分类方法和缺陷检查系统
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
CN107292870A (zh) * 2017-06-07 2017-10-24 复旦大学 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与系统

Also Published As

Publication number Publication date
KR20210058875A (ko) 2021-05-24
JP2022511313A (ja) 2022-01-31
JP2023093546A (ja) 2023-07-04
US10984521B2 (en) 2021-04-20
EP3884430A1 (en) 2021-09-29
US20200160505A1 (en) 2020-05-21
CA3110938A1 (en) 2020-05-28
AU2019384123A1 (en) 2021-03-18
US20210192716A1 (en) 2021-06-24
US20230326007A1 (en) 2023-10-12
US11620743B2 (en) 2023-04-04
KR102480613B1 (ko) 2022-12-23
MX2021005882A (es) 2021-06-23
WO2020106682A1 (en) 2020-05-28
BR112021009670A2 (pt) 2021-08-31
CA3190996A1 (en) 2020-05-28
JP7261527B2 (ja) 2023-04-20

Similar Documents

Publication Publication Date Title
US11620743B2 (en) Systems and methods for determining defects in physical objects
US10518791B2 (en) Integrated rail and track condition monitoring system with imaging and inertial sensors
US8655540B2 (en) Rail vehicle identification and processing
US11875284B2 (en) Asset identification and tracking system
CN108491758B (zh) 一种轨道检测方法及机器人
US11529980B2 (en) Systems and methods for inspecting a railroad
US20200231193A1 (en) Systems and methods for inspecting a railroad track
EP3138753A1 (en) Railroad track survey system
KR102017870B1 (ko) 실시간 선로 결함 검측 시스템
CA2543027A1 (en) Railroad car coupler gap analyzer
AU2017232219B2 (en) Railroadtrack survey system
CN102759347A (zh) 一种高铁接触网在线巡检装置、巡检方法以及其构成的高铁接触网检测系统
US20150323663A1 (en) Danger zone monitoring at a grade crossing
CN110271582B (zh) 跨路桥区域安全监测系统及方法
AU2019384123B2 (en) Systems and methods for determining defects in physical objects
AU2019100119A4 (en) A train driver advisory system
Nguyen Vision-based over-height vehicle detection for warning drivers
EP4286242A1 (en) System and method for detecting railway track anomalies
CN111469887A (zh) 一种基于激光和图像结合的铁路限界检测方法和系统
CN112241946A (zh) 基于神经网络的轨道扣件检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination