CN110046641B - 使用深度学习进行部分辨识和损伤表征 - Google Patents

使用深度学习进行部分辨识和损伤表征 Download PDF

Info

Publication number
CN110046641B
CN110046641B CN201910031194.4A CN201910031194A CN110046641B CN 110046641 B CN110046641 B CN 110046641B CN 201910031194 A CN201910031194 A CN 201910031194A CN 110046641 B CN110046641 B CN 110046641B
Authority
CN
China
Prior art keywords
deep learning
learning model
image
data
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910031194.4A
Other languages
English (en)
Other versions
CN110046641A (zh
Inventor
L.F.贝尔图切利
K.K.雷迪
K.G.洛儿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Otis Elevator Co
Original Assignee
Otis Elevator Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Otis Elevator Co filed Critical Otis Elevator Co
Publication of CN110046641A publication Critical patent/CN110046641A/zh
Application granted granted Critical
Publication of CN110046641B publication Critical patent/CN110046641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G05B23/0254—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model based on a quantitative model, e.g. mathematical relationships between inputs and outputs; functions: observer, Kalman filter, residual calculation, Neural Networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/04—Sorting according to size
    • B07C5/12—Sorting according to size characterised by the application to particular articles, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/34—Devices for discharging articles or materials from conveyor 
    • B65G47/46—Devices for discharging articles or materials from conveyor  and distributing, e.g. automatically, to desired points
    • B65G47/48—Devices for discharging articles or materials from conveyor  and distributing, e.g. automatically, to desired points according to bodily destination marks on either articles or load-carriers
    • B65G47/49—Devices for discharging articles or materials from conveyor  and distributing, e.g. automatically, to desired points according to bodily destination marks on either articles or load-carriers without bodily contact between article or load carrier and automatic control device, e.g. the destination marks being electrically or electronically detected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/52—Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices
    • B65G47/68—Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices adapted to receive articles arriving in one layer from one conveyor lane and to transfer them in individual layers to more than one conveyor lane or to one broader conveyor lane, or vice versa, e.g. combining the flows of articles conveyed by more than one conveyor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Automation & Control Theory (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

根据一个实施方案，提供了一种识别运输系统的一部分的方法。所述方法包括：使用相机捕获运输系统的一部分的图像；使用监督学习对所述运输系统的所述部分进行分类；以及在移动计算装置上显示所述部分的所述部分的分类。

Description

使用深度学习进行部分辨识和损伤表征
背景技术
本文公开的主题大体涉及运输系统领域，并且具体地说，涉及用于运输系统部分识别和损坏检测的方法和设备。
运输系统的现场机械越来越多地试图更有效且安全地完成维护和修理任务。已识别为现场总时间的贡献者的一项关键任务是识别一部分并且确定是否需要更换所述电梯部分。多个部分变化、挑战性光照条件和整体环境条件可能使得运输系统的现场机械识别电梯部分以及确定损坏是耗时的。
发明内容
根据一个实施方案，提供了一种识别运输系统的一部分的方法。所述方法包括：使用相机捕获运输系统的一部分的图像；使用监督学习对所述运输系统的所述部分进行分类；并且在移动计算装置上显示所述部分的分类。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括监督学习还包括深度学习模型。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括分类还包括：响应于数据而确定所述部分的分类。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括分类还包括：提取所述数据的低维表示；将所述图像的所述低维表示与所述部分的计算机辅助设计(CAD)模型的渲染和所述部分的先前拍摄图像中的至少一者进行比较；以及确定所述部分的分类的最近邻近者。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括利用无监督特征提取来提取所述图像的所述低维表示。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括传感器可操作地包括在所述移动计算装置内。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括所述传感器可操作地附接到所述移动计算装置。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括：响应于所述部分的所述分类和所述最近邻近者而确定重建误差。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括：响应于所述重建误差而确定所述部分的损坏量。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括：检测所述部分的实际时间系列数据；将所述部分的所述实际时间系列数据与演示所述部分的正常行为的模拟时间系列数据进行比较；以及响应于所述重建误差而确定所述部分的损坏量。
根据另一实施方案，提供了一种有形地体现在计算机可读介质上的计算机程序产品。所述计算机程序产品包括指令，所述指令在由处理器执行时使得所述处理器执行包括以下操作的操作：使用传感器捕获运输系统的一部分的图像；使用监督学习对所述运输系统的所述部分进行分类；以及在移动计算装置上显示所述部分的分类。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括监督学习还包括深度学习模型。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括：分类还包括：响应于数据而确定所述部分的分类。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括：分类还包括：提取所述数据的低维表示；将所述图像的所述低维表示与所述部分的计算机辅助设计(CAD)模型的渲染和所述部分的先前拍摄图像中的至少一者进行比较；以及确定所述部分的分类的最近邻近者。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括利用无监督特征提取来提取所述图像的所述低维表示。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括传感器可操作地包括在所述移动计算装置内。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括所述传感器可操作地附接到所述移动计算装置。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括所述操作还包括：响应于所述部分的所述分类和所述最近邻近者而确定重建误差。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括操作还包括：响应于所述重建误差而确定所述部分的损坏量。
除了上述特征中的一者或多者之外，或作为替代，其它实施方案可以包括所述操作还包括：检测所述部分的实际时间系列数据；将所述部分的所述实际时间系列数据与演示所述部分的正常行为的模拟时间系列数据进行比较；以及响应于所述重建误差而确定所述部分的损坏量。
本公开的实施方案的技术效果包括利用移动装置相机通过深度学习来辨识电梯部分。
除非另有明确指示，否则前述特征和元件可以各种组合进行组合而无排他性。根据以下描述和附图，这些特征和元件以及其操作将变得更加明显。然而，应理解，以下描述和附图旨在本质上是说明性和解释性的而非限制性的。
附图说明
通过以下结合附图的详细描述，本公开的前述和其它特征以及优点将变得显而易见，在附图中，相同的元件在若干附图中编号相同：
图1示出了根据本公开的实施方案的电梯系统的示意图；以及
图2到3是根据本公开的实施方案的识别图1的电梯系统的一部分的方法的流程图。
具体实施方式
图1示出了根据本公开的实施方案的电梯系统10的示意图。应理解，虽然电梯系统10用于示例性说明，但本文公开的实施方案可以应用于其它运输系统，例如自动扶梯。图2示出了根据本公开的实施方案的结合有图1的电梯系统10的建筑物电梯系统100的示意图。参考图1，电梯系统10包括电梯轿厢23，所述电梯轿厢被配置成沿着多个轿厢导轨60在井道50内垂直向上和向下移动。如在图1中所见，电梯轿厢23包括门27，所述门被配置成打开和关闭，从而允许乘客进出电梯轿厢23。电梯系统10还包括配重28，所述配重经由滑轮系统26可操作地连接到电梯轿厢23。配重28被配置成在井道50内垂直向上和向下移动。配重28在与电梯轿厢23的移动大致相反的方向上移动，如在常规电梯组件中已知。配重28的移动由安装在井道50内的配重导轨70引导。
电梯系统10还包括电源12。电力从电源12提供到开关面板14，所述开关面板可包括断路器、仪表等。从开关面板14，可经由控制器30将电力直接提供到驱动单元20或提供到内部电源充电器16，所述内部电源充电器将AC电力转换成直流(DC)电力以对需要充电的内部电源18进行充电。举例来说，需要充电的内部电源18可以是电池、电容器或本领域普通技术人员已知的任何其它类型的电力存储装置。或者，内部电源18可能不需要来自外部电源12的充电，并且可以是例如气体发电机、太阳能电池、水力发电机、风力涡轮发电机或类似发电装置的装置。当外部电源不可用时，内部电源18可以为电梯系统10的各个部件供电。驱动单元20驱动机器22以经由机器22的牵引滑轮将运动赋予电梯轿厢23。机器22还包括制动器24，所述制动器可以被启动以停止机器22和电梯轿厢23。如本领域技术人员将理解，图1描绘了无机房电梯系统10，然而，本文公开的实施方案可以与其它电梯系统相结合，这些电梯系统不是无机房、水力或包括任何其它已知的电梯配置。此外，还可以使用在每个电梯轿厢轴和/或无绳电梯系统中具有多于一个独立操作的电梯轿厢的电梯系统。在一个实施方案中，电梯轿厢23可以具有两个或更多个隔间。
控制器30负责控制电梯系统10的操作。控制器30还可以确定电梯轿厢23的模式(电动、再生、近平衡)。控制器30可以使用轿厢方向和电梯轿厢23与配重28之间的重量分配来确定电梯轿厢23的模式。控制器30可以调节电梯轿厢23的速度以达到目标楼层。控制器30可以包括处理器和相关联的存储器。处理器可以是但不限于多种可能架构中的任一者的单处理器或均匀或非均匀地布置的多处理器系统，包括现场可编程门阵列(FPGA)、中央处理单元(CPU)、专用集成电路(ASIC)、数字信号处理器(DSP)或图形处理单元(GPU)硬件。存储器可以是但不限于随机存取存储器(RAM)、只读存储器(ROM)或其它电子、光学、磁性或任何其它计算机可读介质。
图2和3示出了根据本公开的实施方案的数据辨识系统100和识别图1的电梯系统的数据的方法102的流程图。在一实施方案中，数据可以是电梯系统的一部分。数据辨识系统100包括如图2所示的学习阶段和如图3所示的部署阶段。数据辨识系统100包括能够由电梯技术人员现场携带到电梯系统10的移动计算装置200。移动计算装置200可以是通常由人携带的装置，例如电话、PDA、智能手表、平板电脑、笔记本电脑等。移动计算装置200可以能够经由包括在移动计算装置200内和/或可操作地附接到移动计算装置200的相机260捕获电梯系统10的电梯部分105的图像106。在一个示例中，相机260可以是包括在智能手机中的智能手机相机。在另一示例中，相机260可以是单独的相机，其经由有线和/或无线附接机构可操作地附接到移动计算装置200。相机260可以是前视红外辐射计(FLIR)。
移动计算装置200可以包括处理器250、存储器252、通信模块254以及一个或多个微机电系统(MEMS)传感器251，如图2所示。MEMS传感器可以是例如加速度计、陀螺仪等传感器或本领域技术人员已知的类似或其它传感器。处理器250可以是任何类型或组合的计算机处理器，例如微处理器、微控制器、数字信号处理器、专用集成电路、可编程逻辑装置和/或现场可编程门阵列。存储器252是有形地体现在移动计算装置200中的非暂时性计算机可读存储介质的示例，其包括例如作为固件存储在其中的可执行指令。通信模块254可以实施一个或多个通信协议，如本文进一步详细描述的。移动计算装置200可以包括凭证258，其指示移动计算装置200属于哪个电梯技术人员。移动计算装置200可以包括被配置成激活警报259的警报装置257。在三个非限制性示例中，警报装置257可以是振动马达、音频扬声器和/或显示屏。警报259可以是听觉的、视觉的、触觉的和/或振动的。移动计算装置200还可以包括应用程序255。本文公开的实施方案可以经由安装在移动计算装置200上的应用程序255来操作。
图2到3还示出了根据本公开的实施方案的操作数据(例如，图像或时间系列)辨识系统100的方法102的流程图。方法102被分解为三段：真实数据学习阶段102a、合成数据学习阶段102b和部署阶段102c。在框110b处，移动计算装置200经由相机260捕获电梯系统10的电梯部分105的输入数据103。在一实施方案中，输入数据106可以是电梯部分105的图像。在框120处，利用移动计算装置200上的应用程序255中的分类模块122来对部分105进行分类(即识别)。在一实施方案中，分类模块122可以是监督深度学习模型124(例如，深度神经网络(DNN)、卷积神经网络(CNN)、递归神经网络(RNN)以及长期短期记忆网络(LSTM)和具有门控递归单元(GRU)的RNN)。分类模块122可以使用合成数据104和/或真实数据106的数据库170来确定由移动计算装置200捕获的输入数据103的分类。
分类描绘输入数据103的身份。分类可以将输入数据103识别为特定部分105。分类模块122可以包括和/或可操作地连接到真实数据库340，所述真实数据库包括先前在不同定向、分辨率、照明和比例(对于图像)或不同操作模式(对于时间系列)下获得的部分105的真实数据(例如图像或时间系列)106。传感器310和/或移动计算装置200可以在框110a处收集真实数据106，并且将其存储在真实数据库340中。在框120处，分类模块122(例如，DNN、CNN、LSTM、RNN、GRU)利用真实数据106来学习执行输入数据103的分类。在框124处，分类模块可以创建用于分类的监督模型。
无监督深度学习模块142也可以利用真实数据106。在框140处，无监督特征提取模块142，例如深度自动编码器(DAE)、卷积自动编码器(CAE)和/或降维技术(例如，主成分分析(PCA)及其变体)，可用于提取合成数据104和/或真实数据106的低维表示。
合成数据104可以起源于各种部分105的计算机辅助设计(CAD)模型410。可以在框412处从CAD模型410渲染数据，并且可以将合成数据104存储在合成数据库360中。合成数据104也可以与数据库170共享，其中可以执行域自适应以在合成数据104与真实数据106之间桥接。数据库170可以存储在移动计算装置200上的应用程序255和/或云计算网络300中。
在框120处，如果分类模块(例如，CNN)对于移动计算装置200所获得的数据106与数据库170中的部分105匹配不具有足够的置信度(即，在框130处的低置信度)，则在框140处，将使用训练后的无监督特征提取模块142(例如，DAE和/或CAE)来提取低维表示，并且在框180处，将使用所述低维表示来搜索部分数据库170中的最近邻近者(即，最接近的匹配部分105)以识别部分105。
无监督特征提取模块142还可以分析重建误差以确定部分105的损坏量。举例来说，部分数据库170中的最近邻近者(即，最接近的匹配部分105)可能由于部分105的损坏而与部分105不完全匹配，但可以通过在最近邻近者与部分105之间测量的重建误差来确定损坏量。
在框160处，可以在电梯技术人员的移动计算装置200上查看重建误差以及最近的邻近部分。相关反馈可以由电梯技术人员在他们审查了他们使用相机260拍摄了图像106的部分105的最近邻近者之后利用移动计算装置200来提供。
另外，为了帮助进一步检测部分105的损坏，一个或多个传感器310可以可操作地连接到电梯系统10的各个部分105。传感器310可以收集电梯系统10的每个部分105的真实数据106(例如，实际时间系列数据)。真实数据106可以包括传感器310在操作条件期间对每个部分105的测量值。真实数据106(例如，实际时间系列数据)存储在可以位于云300中的真实数据库340中。还可以将演示每个部分105的正常行为的合成数据104(例如，模拟时间系列数据)存储在云300中。合成数据104(例如，模拟时间系列数据)存储在合成数据库360中。递归架构(例如RNN、LSTM、GRU)可以与特征提取模块(例如DAE)一起用于学习合成数据104(例如，模拟时间系列数据)以与真实数据106(例如，实际时间系列数据)进行比较，从而确定每个部分105中的异常(即，损坏量)。
尽管以上描述已经以特定次序描述了图2的流程，但应了解，除非在所附权利要求中另有具体要求，否则可以改变步骤的次序。
如上所述，实施方案可以呈处理器实施的过程和用于实践那些过程的装置(例如处理器)的形式。实施方案还可以呈含有体现在有形介质中的指令的计算机程序代码的形式，例如网络云存储装置、SD卡、闪存驱动器、软盘、CD ROM、硬盘驱动器或任何其它计算机可读存储介质，其中，当计算机程序代码被加载到计算机中并且由计算机执行时，计算机成为用于实践实施方案的装置。实施方案还可以呈计算机程序代码的形式，例如，不管是存储在存储介质中、加载到计算机中和/或由计算机执行，还是通过某些传输介质传输、加载到计算机中和/或由计算机执行，或者通过一些传输介质(例如通过电线或电缆、通过光纤，或经由电磁辐射)传输，其中，当计算机程序代码被加载到计算机中且由计算机执行时，计算机成为用于实施实施方案的装置。当在通用微处理器上实施时，计算机程序代码段配置微处理器以创建特定逻辑电路。
本文使用的术语仅用于描述特定实施方案的目的，而不旨在是限制性的。虽然已经出于说明和描述的目的呈现描述，但其并不旨在为穷举性的或限于所公开的形式的实施方案。在不脱离本公开的范围的情况下，本文中未描述的许多修改、变化、改变、替代或等同布置对于本领域普通技术人员将是显而易见的。另外，虽然已经描述了各种实施方案，但应理解，各方面可以仅包括所描述的实施方案中的一些。因此，本公开不应被视为受前述描述的限制，而仅受所附权利要求的范围限制。

Claims (14)

1.一种识别运输系统的一部分的方法，所述方法包括：
捕获运输系统的真实数据；
捕获所述运输系统的合成数据；
执行域自适应以在所述合成数据和所述真实数据之间进行桥接；
响应于所述真实数据、所述合成数据和所述桥接自适应来确定监督深度学习模型；
响应于所述真实数据、所述合成数据和所述桥接自适应来确定无监督深度学习模型；
使用相机捕获所述运输系统的一部分的图像；
使用所述监督深度学习模型和所述无监督深度学习模型至少之一以及所述图像对所述运输系统的所述部分进行分类；
在移动计算装置上显示所述部分的分类；
响应于所述部分的所述分类和最近邻近者确定重建误差；以及
使用递归架构和特征提取模块响应于所述重建误差来确定对所述部分的损坏量。
2.如权利要求1所述的方法，其中：
监督深度学习模型还包括深度学习模型。
3.如权利要求1所述的方法，其中分类还包括：
响应于所述图像和所述监督深度学习模型而确定所述部分的分类。
4.如权利要求1所述的方法，其中分类还包括：
使用所述无监督深度学习模型来提取所述图像的低维表示；
将所述图像的所述低维表示与所述真实数据和所述合成数据的渲染二者中的至少一者进行比较；以及
确定所述部分的分类的最近邻近者。
5.如权利要求1所述的方法，其中：
利用无监督特征提取来提取所述图像的低维表示。
6.如权利要求1所述的方法，其中：
传感器可操作地包括在所述移动计算装置内。
7.如权利要求1所述的方法，其中：
传感器可操作地附接到所述移动计算装置。
8.一种存储有指令的计算机可读介质，所述指令在由处理器执行时使得所述处理器执行包括以下操作的操作：
捕获运输系统的真实数据；
捕获所述运输系统的合成数据；
执行域自适应以在所述合成数据和所述真实数据之间进行桥接；
响应于所述真实数据、所述合成数据和所述桥接自适应来确定监督深度学习模型；
响应于所述真实数据、所述合成数据和所述桥接自适应来确定无监督深度学习模型；
使用传感器捕获所述运输系统的一部分的图像；
使用所述监督深度学习模型和所述无监督深度学习模型至少之一以及所述图像对所述运输系统的所述部分进行分类；
在移动计算装置上显示所述部分的分类；
响应于所述部分的所述分类和最近邻近者确定重建误差；以及
使用递归架构和特征提取模块响应于所述重建误差来确定对所述部分的损坏量。
9.如权利要求8所述的计算机可读介质，其中：
监督深度学习模型还包括深度学习模型。
10.如权利要求8所述的计算机可读介质，其中分类还包括：
响应于所述图像和所述监督深度学习模型而确定所述部分的分类。
11.如权利要求8所述的计算机可读介质，其中分类还包括：
使用所述无监督深度学习模型来提取所述图像的低维表示；
将所述图像的所述低维表示与所述真实数据和所述合成数据的渲染二者中的至少一者进行比较；以及
确定所述部分的分类的最近邻近者。
12.如权利要求8所述的计算机可读介质，其中：
利用无监督特征提取来提取所述图像的低维表示。
13.如权利要求8所述的计算机可读介质，其中：
所述传感器可操作地包括在所述移动计算装置内。
14.如权利要求8所述的计算机可读介质，其中：
所述传感器可操作地附接到所述移动计算装置。
CN201910031194.4A 2018-01-15 2019-01-14 使用深度学习进行部分辨识和损伤表征 Active CN110046641B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/871,526 US10460431B2 (en) 2018-01-15 2018-01-15 Part recognition and damage characterization using deep learning
US15/871526 2018-01-15

Publications (2)

Publication Number Publication Date
CN110046641A CN110046641A (zh) 2019-07-23
CN110046641B true CN110046641B (zh) 2023-05-02

Family

ID=67068953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910031194.4A Active CN110046641B (zh) 2018-01-15 2019-01-14 使用深度学习进行部分辨识和损伤表征

Country Status (3)

Country Link
US (1) US10460431B2 (zh)
CN (1) CN110046641B (zh)
DE (1) DE102019200407A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079837B (zh) * 2019-12-16 2022-06-28 桂林电子科技大学 一种用于二维灰度图像检测识别分类的方法
CN111428632A (zh) * 2020-03-23 2020-07-17 中国科学院重庆绿色智能技术研究院 一种绞车状态检测方法及矿工行为检测方法
US11282240B2 (en) 2020-04-23 2022-03-22 Saudi Arabian Oil Company Generation and implementation of multi-layer encoded data images
US11785022B2 (en) * 2020-06-16 2023-10-10 Zscaler, Inc. Building a Machine Learning model without compromising data privacy

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194105A (zh) * 2010-03-19 2011-09-21 微软公司 用于人体跟踪的代表训练数据

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2695632B1 (fr) 1992-09-16 1994-12-16 Otis Elevator Co Plafond intégré pour cabine d'ascenseur.
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US6763148B1 (en) 2000-11-13 2004-07-13 Visual Key, Inc. Image recognition methods
EP1901987B1 (en) 2005-06-23 2014-10-01 Kone Corporation Elevator arrangement
JP2007091430A (ja) 2005-09-29 2007-04-12 Toshiba Elevator Co Ltd エレベータ装置
US7860317B2 (en) * 2006-04-04 2010-12-28 Microsoft Corporation Generating search results based on duplicate image detection
US8391634B1 (en) 2009-04-28 2013-03-05 Google Inc. Illumination estimation for images
GB2478738A (en) 2010-03-16 2011-09-21 Belron Hungary Kft Zug Branch Eye level display in communication with electronic device
ES2397728B1 (es) 2010-12-16 2014-01-15 Dragados, S.A. Sistema de ayuda al mantenimiento preventivo y reparación de maquinaria remota e in-situ.
US20140368649A1 (en) 2011-08-30 2014-12-18 Kaipo Chen Image Recognition System Controlled Illumination Device
EP2936445A2 (en) 2012-12-20 2015-10-28 Accenture Global Services Limited Context based augmented reality
WO2014094880A1 (en) 2012-12-21 2014-06-26 Metaio Gmbh Method for representing virtual information in a real environment
US9076195B2 (en) * 2013-08-29 2015-07-07 The Boeing Company Methods and apparatus to identify components from images of the components
KR101817452B1 (ko) 2013-09-24 2018-01-11 메타이오 게엠베하 모바일 디바이스 상에 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법 및 그것을 위한 모바일 디바이스
US9324022B2 (en) 2014-03-04 2016-04-26 Signal/Sense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
WO2015161307A1 (en) 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
EP3155758A4 (en) 2014-06-10 2018-04-11 Sightline Innovation Inc. System and method for network based application development and implementation
EP4206870A1 (en) 2014-06-14 2023-07-05 Magic Leap, Inc. Method for updating a virtual world
CN104484523B (zh) 2014-12-12 2017-12-08 西安交通大学 一种增强现实诱导维修系统的实现设备与方法
US11422546B2 (en) * 2014-12-19 2022-08-23 Raytheon Technologies Corporation Multi-modal sensor data fusion for perception systems
US9514391B2 (en) * 2015-04-20 2016-12-06 Xerox Corporation Fisher vectors meet neural networks: a hybrid visual classification architecture
US10339667B2 (en) * 2015-05-15 2019-07-02 Motion Metrics International Corp Method and apparatus for locating a wear part in an image of an operating implement
CN204737554U (zh) 2015-06-18 2015-11-04 吴江骏达电梯部件有限公司 一种带安全抓捕功能的电梯
CN108027911A (zh) 2015-07-29 2018-05-11 伊利诺斯工具制品有限公司 促进焊接即服务软件的系统及方法
KR20170083419A (ko) 2016-01-08 2017-07-18 마우키스튜디오 주식회사 레이블링되지 않은 다수의 학습 데이터를 이용하여 딥 러닝의 모델을 트레이닝하는 방법 및 이를 수행하는 딥 러닝 시스템
ES2909047T3 (es) * 2016-03-14 2022-05-05 Siemens Mobility GmbH Método y sistema para minar eficientemente elementos esenciales de un conjunto de datos con estrategia de remuestreo con reposición en estimación de pose con 6DOF de objetos en 3D
US10546195B2 (en) * 2016-12-02 2020-01-28 Geostat Aerospace & Technology Inc. Methods and systems for automatic object detection from aerial imagery
CN107358596B (zh) * 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
US10733744B2 (en) * 2017-05-11 2020-08-04 Kla-Tencor Corp. Learning based approach for aligning images acquired with different modalities
US20180330194A1 (en) * 2017-05-15 2018-11-15 Siemens Aktiengesellschaft Training an rgb-d classifier with only depth data and privileged information
US20180330205A1 (en) * 2017-05-15 2018-11-15 Siemens Aktiengesellschaft Domain adaptation and fusion using weakly supervised target-irrelevant data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194105A (zh) * 2010-03-19 2011-09-21 微软公司 用于人体跟踪的代表训练数据

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无监督特征学习的人体活动识别;史殿习等;《国防科技大学学报》;20151028(第05期);全文 *

Also Published As

Publication number Publication date
DE102019200407A1 (de) 2019-07-18
US20190217340A1 (en) 2019-07-18
CN110046641A (zh) 2019-07-23
US10460431B2 (en) 2019-10-29

Similar Documents

Publication Publication Date Title
CN110046641B (zh) 使用深度学习进行部分辨识和损伤表征
US20210147182A1 (en) Non-intrusive data analytics system for adaptive intelligent condition monitoring of lifts
US20200102188A1 (en) Elevator system component analysis
Soualhi et al. Hidden Markov models for the prediction of impending faults
CN205906840U (zh) 电梯故障诊断装置
CN102750709B (zh) 利用视频检测打架行为的方法和装置
CN103552890B (zh) 电梯轿厢人数检测系统及方法
US11591183B2 (en) Enhancing elevator sensor operation for improved maintenance
CN109205425A (zh) 电梯传感器系统校准
CN110059646B (zh) 训练动作规划模型的方法及目标搜索方法
CN103496625B (zh) 基于振动分析的多绳摩擦提升机载荷识别方法
EP3508445B1 (en) Elevator auto-positioning for validating maintenance
Medjaher et al. Feature extraction and evaluation for Health Assessment and Failure prognostics.
JP6520539B2 (ja) 検索システム
CN105676635A (zh) 用于电气装置的自学习监控系统
CN116443682B (zh) 一种智能电梯控制系统
KR102358486B1 (ko) 승강장 안전문 고장 진단 및 예측 장치
CN110407052A (zh) 一种电梯内剧烈运动行为检测方法及系统
CN113800352B (zh) 一种电梯制动力矩检测方法及装置
EP3808693A1 (en) Elevator condition based maintenance using an in-car camera
CN115314401B (zh) 接触网状态监测方法、装置、电子设备及存储介质
CN117647664A (zh) 设备运动状态检测、零漂校正参数预测方法、装置及系统
JP2018060383A (ja) 処理装置及び機器の制御システム
CN117475463A (zh) 人员检测方法、装置、设备和存储介质
CN116128786A (zh) 基于深度学习的城轨车底防松脱铁丝断裂检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant