CN108694712A - 设备损坏预测系统 - Google Patents

设备损坏预测系统 Download PDF

Info

Publication number
CN108694712A
CN108694712A CN201810293560.9A CN201810293560A CN108694712A CN 108694712 A CN108694712 A CN 108694712A CN 201810293560 A CN201810293560 A CN 201810293560A CN 108694712 A CN108694712 A CN 108694712A
Authority
CN
China
Prior art keywords
network
image
sub
potential damage
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810293560.9A
Other languages
English (en)
Other versions
CN108694712B (zh
Inventor
林思南
A.贾因
D.迪温斯基
S.邦杜古拉
Y-L.林
边霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN108694712A publication Critical patent/CN108694712A/zh
Application granted granted Critical
Publication of CN108694712B publication Critical patent/CN108694712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
  • Secondary Cells (AREA)

Abstract

本公开提供了一种生成式对抗网络(GAN)系统，包括：生成器子网络，所述生成器子网络被配置成检验设备的一个或多个实际损坏图像。所述生成器子网络还被配置成基于被检验的所述一个或多个实际损坏图像创建一个或多个潜在损坏图像。所述GAN系统还包括鉴别器子网络，所述鉴别器子网络被配置成检验所述一个或多个潜在损坏图像，以确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。

Description

设备损坏预测系统
技术领域
本文中描述的主题涉及使用一个或多个神经网络的图像分析系统。
背景技术
随着时间推移，设备可能磨损最终失效。例如，随着时间推移，涡轮中的叶片可能形成碎片或裂缝，如果没有尽早地发现这种损坏，以致没有进行大修或更换涡轮中的零件，则这可能导致涡轮的灾难性的故障和/或涡轮很长的停机时间。一些已知的系统和方法可以可视地检验设备的各部件，以便识别设备的损坏。
但是，这些系统和方法有某些缺陷。举一个例子，设备的图像或视频中出现的损坏的表征可能是特别主观的，易产生错误。举另一个例子，损坏的严重性和/或扩展的可能性的确定可能需要有关于设备中的各种材料、这些材料所暴露到的环境条件、设备运行的运行条件等的大量信息，需要知道这些信息以准确地识别、表征和/或预测损坏的即将增长。这些信息可能对设备损坏的即将增长的自动分析和/或预测是不可用的。
发明内容
在一个实施例中，GAN系统包括生成器子网络，所述生成器子网络被配置成检验设备的一个或多个实际损坏图像。所述生成器子网络还被配置成基于被检验的所述一个或多个实际损坏图像创建一个或多个潜在损坏图像。所述GAN系统还包括鉴别器子网络，所述鉴别器子网络被配置成检验所述一个或多个潜在损坏图像，以确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。
在一个实施例中，一种方法，包括：使用GAN的生成器子网络检验设备的一个或多个实际损坏图像；使用所述生成器子网络基于被检验的所述一个或多个实际损坏图像创建一个或多个潜在损坏图像；以及通过使用所述GAN的鉴别器子网络检验所述一个或多个潜在损坏图像，确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。
在一个实施例中，GAN系统包括生成器子网络，所述生成器子网络被配置成使用设备的一个或多个实际损坏图像加以训练。所述生成器子网络还被配置成基于被检验的所述一个或多个实际损坏图像创建一个或多个潜在损坏图像。所述GAN系统还包括鉴别器子网络，所述鉴别器子网络被配置成检验所述一个或多个潜在损坏图像，以确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。
具体地，本申请技术方案1涉及一种生成式对抗网络(GAN)系统，包括：生成器子网络，所述生成器子网络被配置成检验设备的一个或多个实际损坏图像；所述生成器子网络还被配置成基于被检验的所述一个或多个实际损坏图像创建一个或多个潜在损坏图像；以及鉴别器子网络，所述鉴别器子网络被配置成检验所述一个或多个潜在损坏图像，以确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。
本申请技术方案2涉及根据技术方案1所述的系统，其中，所述鉴别器子网络被配置成确定一个或多个损失函数，所述损失函数指示所述一个或多个潜在损坏图像中的误差。
本申请技术方案3涉及根据技术方案1所述的系统，其中，所述生成器子网络被配置成使用所述一个或多个实际损坏图像加以训练。
本申请技术方案4涉及根据技术方案3所述的系统，其中，所述生成器子网络被配置成使用所述一个或多个实际损坏图像，通过确定所述一个或多个实际损坏图像的像素特征的分布加以训练。
本申请技术方案5涉及根据技术方案1所述的系统，其还包括控制器，所述控制器被配置成响应于确定所述一个或多个潜在损坏图像代表实际损坏的发展，执行一个或多个动作。
本申请技术方案6涉及根据技术方案1所述的系统，其中，所述鉴别器子网络被配置成通过确定所述一个或多个潜在损坏图像的一个或多个损失函数，确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。
本申请技术方案7涉及根据技术方案6所述的系统，其中，所述鉴别器子网络被配置成响应于所述一个或多个潜在损坏图像的所述一个或多个损失函数不超过指定阈值，确定所述一个或多个潜在损坏图像代表所述设备的实际损坏的发展。
本申请技术方案8涉及一种方法，包括：使用生成式对抗网络(GAN)的生成器子网络，检验设备的一个或多个实际损坏图像；使用所述生成器子网络基于被检验的所述一个或多个实际损坏图像创建一个或多个潜在损坏图像；以及通过使用所述GAN的鉴别器子网络检验所述一个或多个潜在损坏图像，确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。
本申请技术方案9涉及根据技术方案8所述的方法，其还包括，使用所述鉴别器子网络确定一个或多个损失函数，所述损失函数指示所述一个或多个潜在损坏图像中的误差。
本申请技术方案10涉及根据技术方案9所述的方法，其还包括，使用所述一个或多个实际损坏图像训练所述生成器子网络。
本申请技术方案11涉及根据技术方案10所述的方法，其中，训练所述生成器子网络包括确定所述一个或多个实际损坏图像的像素特征的分布。
本申请技术方案12涉及根据技术方案8所述的方法，其还包括，响应于确定所述一个或多个潜在损坏图像代表实际损坏的发展，执行一个或多个动作。
本申请技术方案13涉及根据技术方案8所述的方法，其中，确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展包括确定所述一个或多个潜在损坏图像的一个或多个损失函数。
本申请技术方案14涉及根技术方案13所述的方法，其中，响应于所述一个或多个潜在损坏图像的所述一个或多个损失函数不超过指定阈值，确定所述一个或多个潜在损坏图像代表所述设备的实际损坏的发展。
本申请技术方案15涉及一种生成式对抗网络(GAN)系统，包括：生成器子网络，所述生成器子网络被配置成使用设备的一个或多个实际损坏图像加以训练；所述生成器子网络还被配置成基于被检验的所述一个或多个实际损坏图像创建一个或多个潜在损坏图像；以及鉴别器子网络，所述鉴别器子网络被配置成检验所述一个或多个潜在损坏图像，以确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。
本申请技术方案16涉及根据技术方案15所述的系统，其中，所述鉴别器子网络被配置成确定一个或多个损失函数，所述损失函数指示所述一个或多个潜在损坏图像中的误差。
本申请技术方案17涉及根据技术方案15所述的系统，其中，所述生成器子网络被配置成使用所述一个或多个实际损坏图像，通过确定所述一个或多个实际损坏图像的像素特征的分布加以训练。
本申请技术方案18涉及根据技术方案15所述的系统，其还包括控制器，所述控制器被配置成响应于确定所述一个或多个潜在损坏图像代表实际损坏的发展，执行一个或多个动作。
本申请技术方案19涉及根据技术方案15所述的系统，其中，所述鉴别器子网络被配置成通过确定所述一个或多个潜在损坏图像的一个或多个损失函数，确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。
本申请技术方案20涉及根据技术方案19所述的系统，其中，所述鉴别器子网络被配置成响应于所述一个或多个潜在损坏图像的所述一个或多个损失函数不超过指定阈值，确定所述一个或多个潜在损坏图像代表所述设备的实际损坏的发展。
附图说明
通过参考附图阅读以下非限制性实施例的描述，将更好地理解本公开的主题，以下在所述附图中：
图1说明设备损坏预测系统的一个实施例；
图2说明基于图像预测设备中损坏的发展的方法的一个实施例的流程图；
图3说明图1中所示的生成式对抗网络(GAN)系统的发生器子网络，其创建设备的潜在损坏的一批图像；以及
图4说明使用由GAN系统确定的预测损坏发展的修理系统的一个示例。
具体实施方式
本文中描述的本公开主题的一个或多个实施例提供对设备损坏的增长或发展进行预测的系统和方法。所述系统和方法能够基于或使用同一或其它设备实际损坏的一个或多个图像以及由神经网络基于实际损坏的(若干)图像生成的一个或多个图像，预测设备损坏的发展。例如，深度生成式对抗网络(GAN)系统可以使用没有注释(例如标记图像中的每个像素代表什么)的大的图像数据集生成高质量的图像。可以使用代表设备(例如涡轮发动机叶片)的当前阶段或状态的图像调理GAN系统，并且可以用包括设备可能形成的缺陷的图像训练GAN系统。GAN系统的生成器子网络可以基于实际损坏的图像创建损坏的可能或潜在增长的图像。所创建的图像可以提供至GAN系统的鉴别器子网络。鉴别器子网络确定损失函数、误差和/或置信值，其指示由生成器子网络生成的图像是否是或者可能是设备实际损坏。如果损失函数、误差和/或置信值指示由生成器子网络创建的图像类似于设备实际损坏的图像(例如损失函数或误差低于较低的指定总阈值，或者置信值至少与上限指定阈值一样大)，则所创建的图像可以用来表征设备的损坏随时间的变化。
不同的创建图像可以表示设备损坏的潜在发展或恶化情况。例如，不同的创建图像可以与损坏发展的不同程度或阶段关联。同一或不同设备的后续图像可以与创建图像比较。如果出现在后续图像中的损坏类似于出现在创建图像中的潜在损坏，则可以确定设备损坏正在如何快速发展。此确定可以用来确定是否修改设备的维修计划，并且可选地由自动化系统(例如自动机器人或其它动力系统)自动地实施或执行设备的修理或更换。
上面描述的GAN系统包括两个子网络，即生成器子网络和鉴别器子网络。这些子网络在双玩家最大最小博弈(two-player minimax game)的背景中相互作用。训练期间，生成器子网络尝试基于提供至生成器子网络的训练图像(例如实际损坏图像)学习如何产生看似真实的图像样本(例如创建图像)。鉴别器子网络尝试学习如何区别产生的图像样本和真正的(例如训练)图像样本，所述真正的图像样本是原始的不由生成器子网络产生。这些子网络最终可以收敛到一个平衡点，在这一点，生成器子网络产生的图像样本与真正的图像样本无法区别(从鉴别器子网络的观点)。
本文中描述的系统和方法的至少一个技术效果包括预测设备损坏将如何发展或恶化。这种预测可以用来确定是否和/或何时修理设备，并且在一个实施例中，可以用来自动化地将设备从损坏状态修理到修复状态。
图1说明设备损坏预测系统100的一个实施例。图2说明用于预测设备损坏发展的方法200的一个实施例的流程图。方法200的流程图可以表示由图1所示的系统100执行的操作，例如由一个或多个处理器(例如一个或多个微处理器、现场可编程门阵列和/或集成电路)在软件的指导下执行的由图像确定或预测光学流的功能。可选地，方法200的流程图可以表示用来创建(例如编写)此类软件的算法。
系统100包括神经网络102、104，在一个实施例中，系统100代表GAN系统。神经网络102、104是由一个或多个处理器(例如微处理器、集成电路、现场可编程门阵列等等)形成的人工神经网络。神经网络102、104分成两层或更多层106，例如接收图像的输入层、输出图像或损失函数(例如如下面描述的误差)的输出层以及一个或多个中间层。神经网络102、104的各层106表示人工神经元的不同组合或集合，其可以表示由处理器对图像执行的预测设备损坏随时间如何发展的不同函数。在一个实施例中，神经网络102表示GAN的生成器子网络，并且神经网络104表示GAN的鉴别器子网络。
操作中，在图2所示的方法200的流程图中的202，生成器子网络102接收设备实际损坏112的图像108。所述设备(或设备的一个部件)可以包括涡轮的表面，例如涡轮叶片、喷嘴等等的表面。可选地，所述设备可以包括可随时间而被损坏的其它部件，例如道路或人行道的表面，车辆的表面等等。损坏112可表示设备中的碎片、裂缝、铁锈、点蚀等等。实际损坏112的图像108可以由一个或多个照相机获得，所述一个或多个照相机基于已经有实际损坏112的设备生成图像108。
图像108可由生成器子网络102获得，这是由照相机通过一个或多个有线和/或无线连接将图像108传送到生成器子网络102。可选地，图像108可以存储于有形和非瞬态计算机可读存储器中，例如计算机硬盘、光盘等等，可由生成器子网络102通过一个或多个有线和/或无线连接访问。
在方法200中的204，使用实际损坏112的图像108训练生成器子网络102。生成器子网络102的处理器可检验实际损坏112的图像108中像素114的特征。这些特征可以包括像素114在图像108中的位置，像素114的强度，像素114的颜色等等。生成器子网络102可确定像素特征的统计分布(例如高斯分布)。对图像108中的不同像素或位置，可确定不同的分布。生成器子网络102可检验所述统计分布，并确定每个像素114具有各个特征的概率。
在206，由生成器子网络102生成设备潜在损坏116的一个或多个图像110。生成器子网络102可基于在204确定的所述分布和像素特征的概率，生成创建图像110。生成器子网络102创建一个或多个基于分布的图像110，这些图像110是基于设备实际损坏112的图像108中像素114的特征，对设备其它损坏116看起来会是什么样的预测。生成器子网络102可以基于实际损坏112的输入图像108创建设备可能出现的不同类型的潜在损坏116的多个创建图像110。
图3说明图1所示的系统100的生成器子网络102创建设备潜在损坏116、308、310的一批306图像300、302、304。生成器子网络102可基于由其获得的或另外向其提供的实际损坏112的图像108的特征，创建多个基于分布的图像300、302、304。如图3所示，一些创建图像300、302、304比另一些创建图像300、302、304更有可能表示设备损坏112的发展。
例如，出现在创建图像300中的预测损坏116表示实际损坏112的增长，所以实际损坏112的凸出部分用预测损坏116填充。这可以是实际损坏112的可能的发展。举另一个例子，出现在创建图像304中的预测损坏310表示实际损坏112沿实际损坏112的全部或基本全部(例如至少75％)的外周界增长。这也可以是实际损坏112的可能的发展。而出现在创建图像302中的预测图像308表示实际损坏112沿单个狭窄的延伸部增长。这也可以不是实际损坏112的可能的发展。
在图2所示方法200的208，由GAN系统100的鉴别器子网络104检验创建图像110、300、302、304。在一个实施例中，鉴别器子网络104确定创建图像110、300、302、304的损失函数或误差。损失函数或误差可表示这样的置信度：出现在创建图像110、300、302、304中的潜在损坏116、308、310可能出现或从图像108中所示的损坏112生长。例如，较大的损失函数或误差可相比较小的损失函数或误差，指示潜在损坏116、308、310不太可能从损坏112生长。
鉴别器子网络104可通过检验在创建图像110、300、302、304中的像素114的特征，确定损失函数、误差和/或置信值。例如，鉴别器子网络104可确定相比创建图像110、300、302、304中的不同的第二像素114，创建图像110、300、302、304中的第一像素114的特征更类似于和损坏112的实际图像108关联的像素特征的分布。相比第二像素114，第一像素114可(由鉴别器子网络104)与更大的置信值(或较小的损失函数或误差)关联。可以针对创建图像110、300、302、304中的许多个或全部像素114确定置信值、损失函数和/或误差。相比具有较小置信值、较大损失函数或较大误差的创建图像110、300、302、304，鉴别器子网络104可确定用具有较大置信值、较小损失函数或较小误差的像素114的创建图像110、300、302、304描绘对图像110、300、302、304中所示的部件的损坏的实际或可能的发展。
在一个实施例中，鉴别器子网络104的各层106中的人工神经元可检验所创建图像110、300、302、304中的各个像素114。处理器(作为人工神经元操作)可使用线性分类计算不同的物体类别(本文称作“分类”)的分数，例如树、汽车、人、鸟、热障涂层中的碎片、表面的裂缝、标志等等。这些分数可以指示像素114代表不同分类的概率。每个人工神经元可将例如激励函数的数学函数施加到同一像素，由不同的神经元施加的函数影响由其它神经元施加的函数，不同的神经元对函数中的不同项施加的权重与一个或多个或者其它所有神经元施加的不同。函数的施加产生像素114的分类分数，所述分类分数可用来识别图像110、300、302、304中的物体。鉴别器子网络104的各层106中的神经元检验像素114的特征，例如强度、颜色等等，以确定各像素114的分数。
例如，鉴别器子网络104可确定创建图像110、300、302、304之一中的第一像素114具有分数向量[0.6 0.15 0.05 0.2]。此分数向量表明鉴别器子网络104已经计算出第一像素114代表第一物体类别(例如人体或人)的概率为60％，第一像素114代表第二物体类别(例如汽车)的概率为15％，第一像素114代表第三物体类别(例如树)的概率为5％，第一像素114代表第四物体类别(例如地面)的概率为20％。可对相同图像110、300、302、304中的几个或全部其它像素114重复此过程。
鉴别器子网络104的处理器然后可确定图像110、300、302、304中的像素114的损失函数或误差。损失函数或误差可以像素114的所选物体类别与所述物体类别的物体分数之间的差计算。所述误差值可以是在100％(或1)和所选物体类别的概率之间的差。关于前述实例，第一物体类别是像素114的所选物体类别，原因是第一物体类别相比同一像素114的其它物体类别具有更大的概率(即60％)。所述像素114的损失函数或误差可以计算为[0.4-0.15 -0.05 -0.2]。用1和0.6之间(或者100％和60％之间)的差计算出0.4(或40％)的值。可对几个或全部像素114重复此过程。
在方法200中的210，对于鉴别器子网络104是否将创建图像110、300、302、304识别为部件的实际损坏图像做出确定。例如，对生成器子网络102是否能够创建由鉴别器子网络104确定为实际损坏的实际图像的潜在损坏的图像做出确定。鉴别器子网络104能够检验创建图像110、300、302、304的损失函数，将创建图像110、300、302、304的损失函数相互比较，将创建图像110、300、302、304的损失函数与阈值比较，等等，以确定如果存在则创建图像110、300、302、304中的哪一个看似表明部件的实际损坏。响应于与创建图像110、300、302、304有关的损失函数指示较大误差(例如相对于指定阈值)，鉴别器子网络104可确定创建图像110、300、302、304并不描绘部件损坏。响应于与基于分布的图像有关的损失函数指示较小的误差(例如相对于指定阈值)，鉴别器子网络104可确定出现在创建图像110、300、302、304中的潜在损坏类似于出现在一个或多个图像108中的实际损坏。
如果鉴别器子网络104确定出现在创建图像110、300、302或304中的潜在损坏类似于出现在原始图像108中的实际损坏(例如误差不太大)，则由生成器子网络102创建的出现在图像110、300、302或304中的潜在损坏可能是实际损坏的增长或发展。结果，方法200的流程可朝212继续。但是，如果鉴别器子网络104确定出现在创建图像110、300、302或304中的潜在损坏与出现在原始图像108中的实际损坏不相似(例如误差太大)，则出现在创建图像110、300、302或304中的潜在损坏不是损坏发展的准确预测。结果，方法200的流程可返回206。例如，方法200可返回到创建显示其它或不同潜在损坏的一个或多个附加图像110、300、302、304以由鉴别器子网络104检验。可选地，方法200可以终止。
在212，在监测和/或修理部件时使用潜在损坏的图像。例如，可将同一或其它部件的实际损坏的附加图像与潜在损坏的图像相比。此比较可以人工执行或者可以自动地(例如使用鉴别器子网络104)执行。可使用潜在损坏的图像(在210标识)确定实际损坏可能随时间变化的程度。如果损坏的增长或发展是足够严重的(例如损坏增长比指定的阈值大)，则可以实施一个或多个响应动作。例如，自动化系统(例如机器人系统)可自动地修理部件的损坏部分，例如通过将添加剂喷射到涡轮叶片损坏的热障涂层上。举另一个例子，可以改变部件的维修计划以更早(在损坏的可能发展更显著的情况下)或更晚(在损坏的可能发展不太显著的情况下)地提供修理或维修。
图4说明修理系统400的一个实例，所述修理系统使用由GAN系统402确定的预测损坏发展。GAN系统402代表上面描述的系统100的一个或多个实施例。修理系统400包括传感器404，所述传感器为GAN系统402获得部件(例如发动机、涡轮、涡轮叶片、物体的外表面等)的实际损坏112的图像108。例如，传感器404可以是照相机，其将图像或视频帧作为图像108提供至GAN系统402。可选地，控制系统400包括存储器406，例如计算机硬盘、光盘等，所述存储器存储GAN系统402的图像108。
GAN系统402可如上文描述的预测部件的实际损坏112的发展。预测的损坏发展可传送至自动化动力系统410的控制器408。控制器408表示硬件电路，该硬件电路包括一个或多个处理器和/或与一个或多个处理器连接，所述一个或多个处理器为例如一个或多个微处理器、现场可编程门阵列、集成电路等。控制器408控制动力系统410的操作，所述动力系统可代表自动机器人系统，其操作以修理所述部件，例如通过将添加剂喷射到部件的涂层上，通过更换所述部件等等。控制器408可检验预测的损坏发展，并确定是否需要执行一个或多个响应动作。例如，如果预测的损坏发展表明部件需要被修理或更换，则控制器408可生成并传送控制信号至动力系统410的致动器412，所述致动器自动地将添加剂喷射到部件的涂层上，去除部件，更换部件等。致动器412可以包括喷射装置、动力系统410的抓握臂等等。
在一个实施例中，GAN系统包括生成器子网络，所述生成器子网络被配置成检验设备的一个或多个实际损坏图像。所述生成器子网络还被配置成基于被检验的所述一个或多个实际损坏图像创建一个或多个潜在损坏图像。所述GAN系统还包括鉴别器子网络，所述鉴别器子网络被配置成检验所述一个或多个潜在损坏图像，以确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。
可选地，鉴别器子网络被配置成确定一个或多个损失函数，所述损失函数指示一个或多个潜在损坏图像中的误差。
可选地，鉴别器子网络被配置成使用一个或多个实际损坏图像加以训练。
可选地，生成器子网络被配置成使用一个或多个实际损坏图像，通过确定一个或多个实际损坏图像的像素特征的分布加以训练。
可选地，所述GAN系统还包括控制器，所述控制器被配置成响应于确定一个或多个潜在损坏图像代表实际损坏的发展，执行一个或多个动作。
可选地，所述鉴别器子网络被配置成通过确定一个或多个潜在损坏图像的一个或多个损失函数，确定一个或多个潜在损坏图像是否代表设备实际损坏的发展。
可选地，所述鉴别器子网络被配置成响应于一个或多个潜在损坏图像的一个或多个损失函数不超过指定阈值，确定一个或多个潜在损坏图像代表设备实际损坏的发展。
在一个实施例中，一种方法，包括：使用GAN的生成器子网络检验设备的一个或多个实际损坏图像；使用所述生成器子网络基于被检验的所述一个或多个实际损坏图像创建一个或多个潜在损坏图像；以及通过使用所述GAN的鉴别器子网络检验所述一个或多个潜在损坏图像，确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。
可选地，所述方法还包括使用鉴别器子网络确定一个或多个损失函数，所述损失函数指示一个或多个潜在损坏图像中的误差。
可选地，所述方法还包括使用一个或多个实际损坏图像训练生成器子网络。
可选地，训练生成器子网络包括确定一个或多个实际损坏图像的像素特征的分布。
可选地，所述方法还包括响应于确定一个或多个潜在损坏图像代表实际损坏的发展，执行一个或多个动作。
可选地，确定一个或多个潜在损坏图像是否代表设备实际损坏的发展包括确定一个或多个潜在损坏图像的一个或多个损失函数。
可选地，响应于一个或多个潜在损坏图像的一个或多个损失函数不超过指定阈值，一个或多个潜在损坏图像代表设备实际损坏的发展的确定产生。
在一个实施例中，GAN系统包括生成器子网络，所述生成器子网络被配置成使用设备的一个或多个实际损坏图像加以训练。所述生成器子网络还被配置成基于被检验的所述一个或多个实际损坏图像创建一个或多个潜在损坏图像。所述GAN系统还包括鉴别器子网络，所述鉴别器子网络被配置成检验所述一个或多个潜在损坏图像，以确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。
可选地，鉴别器子网络被配置成确定一个或多个损失函数，所述损失函数指示一个或多个潜在损坏图像中的误差。
可选地，生成器子网络被配置成使用一个或多个实际损坏图像，通过确定一个或多个实际损坏图像的像素特征的分布加以训练。
可选地，所述系统包括控制器，所述控制器被配置成响应于确定一个或多个潜在损坏图像代表实际损坏的发展，执行一个或多个动作。
可选地，所述鉴别器子网络被配置成通过确定一个或多个潜在损坏图像的一个或多个损失函数，确定一个或多个潜在损坏图像是否代表设备实际损坏的发展。
可选地，所述鉴别器子网络被配置成响应于一个或多个潜在损坏图像的一个或多个损失函数不超过指定阈值，确定一个或多个潜在损坏图像代表设备实际损坏的发展。
如本文所使用，以单数形式叙述并且跟在词语“一”或“一个”后的元件或步骤应理解为不排除复数个所述元件或步骤，除非明确陈述此类排除。此外，对当前描述的主题的“一个实施例”的提及并非旨在解释为排除同样并有所述特征的额外实施例的存在。此外，除非明确地陈述为相反情况，否则“包括”或“具有”带有特定属性的一个元件或多个元件的实施例可以包括不带有那个属性的其它此类元件。
应了解，以上描述希望为说明性而非限制性的。举例来说，上述实施例(和/或其方面)可相互组合使用。另外，在不脱离本文所阐述主题的范围的情况下，可进行许多修改以使特定情形或材料适应所述主题的教示。虽然本文所描述的材料的尺寸和类型旨在界定所公开主题的参数，但其绝非是限制性的，而是示范性实施例。所属领域的技术人员在查阅以上描述后将会明白许多其它实施例。因此，本文所描述的主题的范围应参考所附权利要求书以及此类权利要求书有权要求的等效物的完整范围来确定。在所附权利要求书中，术语“包括(including)”和“其中(in which)”用作相应术语“包括(comprising)”和“其中(wherein)”的简明等效用语。此外，在所附权利要求书中，术语“第一”、“第二”和“第三”等仅用作标记，且并不希望对其对象强加数字要求。此外，下面的权利要求书的限制并不按照装置加功能格式编写，并且并非意图根据35U.S.C.§112(f)来解释，除非这类权利要求限制明确使用短语“用于...的装置”加上没有其他结构的功能陈述。
本书面描述使用实例来公开本文所阐述的主题的若干实施例，包括最佳模式，并且还使所属领域的技术人员能够实践所公开主题的实施例，包括制造和使用所述装置或系统并执行所述方法。本文所描述的主题的可获专利范围由权利要求书界定，且可包括所属领域的技术人员想到的其它实例。如果此类其它实例具有与权利要求书无异的字面措辞的结构要素，或如果它们包括与权利要求书的字面措辞无实质差异的等效结构要素，那么它们既定在权利要求范围内。

Claims (10)

1.一种生成式对抗网络(GAN)系统，包括：
生成器子网络，所述生成器子网络被配置成检验设备的一个或多个实际损坏图像；所述生成器子网络还被配置成基于被检验的所述一个或多个实际损坏图像创建一个或多个潜在损坏图像；以及
鉴别器子网络，所述鉴别器子网络被配置成检验所述一个或多个潜在损坏图像，以确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。
2.根据权利要求1所述的系统，其中，所述鉴别器子网络被配置成确定一个或多个损失函数，所述损失函数指示所述一个或多个潜在损坏图像中的误差。
3.根据权利要求1所述的系统，其中，所述生成器子网络被配置成使用所述一个或多个实际损坏图像加以训练。
4.根据权利要求3所述的系统，其中，所述生成器子网络被配置成使用所述一个或多个实际损坏图像，通过确定所述一个或多个实际损坏图像的像素特征的分布加以训练。
5.根据权利要求1所述的系统，其还包括控制器，所述控制器被配置成响应于确定所述一个或多个潜在损坏图像代表实际损坏的发展，执行一个或多个动作。
6.根据权利要求1所述的系统，其中，所述鉴别器子网络被配置成通过确定所述一个或多个潜在损坏图像的一个或多个损失函数，确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。
7.根据权利要求6所述的系统，其中，所述鉴别器子网络被配置成响应于所述一个或多个潜在损坏图像的所述一个或多个损失函数不超过指定阈值，确定所述一个或多个潜在损坏图像代表所述设备的实际损坏的发展。
8.一种方法，包括：
使用生成式对抗网络(GAN)的生成器子网络，检验设备的一个或多个实际损坏图像；
使用所述生成器子网络基于被检验的所述一个或多个实际损坏图像创建一个或多个潜在损坏图像；以及
通过使用所述GAN的鉴别器子网络检验所述一个或多个潜在损坏图像，确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。
9.根据权利要求8所述的方法，其还包括，使用所述鉴别器子网络确定一个或多个损失函数，所述损失函数指示所述一个或多个潜在损坏图像中的误差。
10.一种生成式对抗网络(GAN)系统，包括：
生成器子网络，所述生成器子网络被配置成使用设备的一个或多个实际损坏图像加以训练；所述生成器子网络还被配置成基于被检验的所述一个或多个实际损坏图像创建一个或多个潜在损坏图像；以及
鉴别器子网络，所述鉴别器子网络被配置成检验所述一个或多个潜在损坏图像，以确定所述一个或多个潜在损坏图像是否代表所述设备的实际损坏的发展。
CN201810293560.9A 2017-04-03 2018-04-03 设备损坏预测系统 Active CN108694712B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/477517 2017-04-03
US15/477,517 US10268913B2 (en) 2017-04-03 2017-04-03 Equipment damage prediction system using neural networks

Publications (2)

Publication Number Publication Date
CN108694712A true CN108694712A (zh) 2018-10-23
CN108694712B CN108694712B (zh) 2022-12-13

Family

ID=62046623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810293560.9A Active CN108694712B (zh) 2017-04-03 2018-04-03 设备损坏预测系统

Country Status (5)

Country Link
US (1) US10268913B2 (zh)
EP (1) EP3385888A1 (zh)
CN (1) CN108694712B (zh)
CA (1) CA2998887A1 (zh)
SG (1) SG10201802094XA (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430685B2 (en) * 2016-11-16 2019-10-01 Facebook, Inc. Deep multi-scale video prediction
US10402986B2 (en) * 2017-12-20 2019-09-03 Facebook, Inc. Unsupervised video segmentation
CN109918999A (zh) * 2019-01-22 2019-06-21 西安交通大学 一种小样本数据下基于生成模型的机械设备故障智能诊断方法
US10325201B1 (en) * 2019-01-31 2019-06-18 StradVision, Inc. Method and device for generating deceivable composite image by using GAN including generating neural network and discriminating neural network to allow surveillance system to recognize surroundings and detect rare event more accurately
CN110175513B (zh) * 2019-04-15 2021-01-08 浙江工业大学 一种基于多目标路优化的路牌识别攻击防御方法
CN110147830B (zh) * 2019-05-07 2022-02-11 东软集团股份有限公司 训练影像数据生成网络的方法、影像数据分类方法及装置
TWI730467B (zh) 2019-10-22 2021-06-11 財團法人工業技術研究院 影像轉換方法及影像轉換網路
FR3103045B1 (fr) * 2019-11-07 2021-10-15 Idemia Identity & Security France Procédé d’augmentation d’une base d’images d’apprentissage représentant une empreinte sur un arrière-plan au moyen d’un réseau antagoniste génératif
CN110765339A (zh) * 2019-11-14 2020-02-07 南宁师范大学 一种基于生成对抗网络的残缺中文书法修复补全方法
US11938907B2 (en) 2020-10-29 2024-03-26 Oliver Crispin Robotics Limited Systems and methods of servicing equipment
US11992952B2 (en) 2020-10-29 2024-05-28 General Electric Company Systems and methods of servicing equipment
US11874653B2 (en) 2020-10-29 2024-01-16 Oliver Crispin Robotics Limited Systems and methods of servicing equipment
US11915531B2 (en) 2020-10-29 2024-02-27 General Electric Company Systems and methods of servicing equipment
US11685051B2 (en) 2020-10-29 2023-06-27 General Electric Company Systems and methods of servicing equipment
US20220136405A1 (en) * 2020-10-29 2022-05-05 General Electric Company Systems and methods of servicing equipment
US11935290B2 (en) 2020-10-29 2024-03-19 Oliver Crispin Robotics Limited Systems and methods of servicing equipment
CN114119460A (zh) * 2021-09-18 2022-03-01 上海联麓半导体技术有限公司 半导体图像缺陷识别方法、装置、计算机设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1386193A (zh) * 2000-06-27 2002-12-18 松下电工株式会社 视觉检验程序的编写设备
CN101281606A (zh) * 2007-02-23 2008-10-08 株式会社半导体能源研究所 存储载体及其驱动方法
CN101751963A (zh) * 2008-12-19 2010-06-23 雅马哈株式会社 鉴别调制技术的鉴别器、信号解调器、乐器以及鉴别方法
CN102087226A (zh) * 2009-12-04 2011-06-08 三星Led株式会社 Led测试装置及其测试方法
CN103037217A (zh) * 2011-10-04 2013-04-10 想象技术有限公司 检测内插图像中的图像损坏
CN105705933A (zh) * 2013-11-06 2016-06-22 弗·哈夫曼-拉罗切有限公司 为了培养细胞中包含的至少一种目标组分的周期性结构的存在而检测多个培养细胞的方法
US20160266126A1 (en) * 2013-03-15 2016-09-15 Metamark Genetics, Inc. Compositions and methods for cancer prognosis
CN105989621A (zh) * 2015-03-20 2016-10-05 通用电气公司 用于在图像重构中执行联合估计技术的方法和系统
US20160358384A1 (en) * 2015-06-08 2016-12-08 Airbus Operations (S.A.S.) Damage detection and repair system and method using enhanced geolocation

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5444796A (en) 1993-10-18 1995-08-22 Bayer Corporation Method for unsupervised neural network classification with back propagation
US5566092A (en) 1993-12-30 1996-10-15 Caterpillar Inc. Machine fault diagnostics system and method
US6701615B2 (en) 2002-03-08 2004-03-09 General Electric Company Inspection and sorting system and method for part repair
US6915236B2 (en) * 2002-11-22 2005-07-05 General Electric Company Method and system for automated repair design of damaged blades of a compressor or turbine
US6892127B2 (en) 2003-02-28 2005-05-10 General Electric Company Methods and apparatus for assessing gas turbine engine damage
US8768657B2 (en) 2006-01-12 2014-07-01 Jentek Sensors, Inc. Remaining life prediction for individual components from sparse data
US8761490B2 (en) 2011-11-03 2014-06-24 United Technologies Corporation System and method for automated borescope inspection user interface
US20130311968A1 (en) 2011-11-09 2013-11-21 Manoj Sharma Methods And Apparatus For Providing Predictive Analytics For Software Development
US8825567B2 (en) 2012-02-08 2014-09-02 General Electric Company Fault prediction of monitored assets
CN104809732B (zh) 2015-05-07 2017-06-20 山东鲁能智能技术有限公司 一种基于图像比对的电力设备外观异常检测方法
CN104914851B (zh) 2015-05-21 2017-05-24 北京航空航天大学 一种基于深度学习的飞机旋转作动器驱动装置自适应故障检测方法
US11850631B2 (en) * 2015-08-31 2023-12-26 Helmerich & Payne Technologies, Llc System and method for estimating damage to a shaker table screen using computer vision
US10319076B2 (en) * 2016-06-16 2019-06-11 Facebook, Inc. Producing higher-quality samples of natural images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1386193A (zh) * 2000-06-27 2002-12-18 松下电工株式会社 视觉检验程序的编写设备
CN101281606A (zh) * 2007-02-23 2008-10-08 株式会社半导体能源研究所 存储载体及其驱动方法
CN101751963A (zh) * 2008-12-19 2010-06-23 雅马哈株式会社 鉴别调制技术的鉴别器、信号解调器、乐器以及鉴别方法
CN102087226A (zh) * 2009-12-04 2011-06-08 三星Led株式会社 Led测试装置及其测试方法
CN103037217A (zh) * 2011-10-04 2013-04-10 想象技术有限公司 检测内插图像中的图像损坏
US20160266126A1 (en) * 2013-03-15 2016-09-15 Metamark Genetics, Inc. Compositions and methods for cancer prognosis
CN105705933A (zh) * 2013-11-06 2016-06-22 弗·哈夫曼-拉罗切有限公司 为了培养细胞中包含的至少一种目标组分的周期性结构的存在而检测多个培养细胞的方法
CN105989621A (zh) * 2015-03-20 2016-10-05 通用电气公司 用于在图像重构中执行联合估计技术的方法和系统
US20160358384A1 (en) * 2015-06-08 2016-12-08 Airbus Operations (S.A.S.) Damage detection and repair system and method using enhanced geolocation

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
MICHAEL MATHIEU ET AL: "Deep multi-scale video prediction beyond mean square error", 《MACHINE LEARNING》 *
SAMULI LAINE等: "Temporal ensembling for semi-supervised learning", 《NEURAL AND EVOLUTIONARY COMPUTING》 *
WJ STASZEWSKI ET AL: "Intelligent signal processing for damage detection in composite materials", 《COMPOSITES SCIENCE AND TECHNOLOGY》 *
康晓兵等: "基于谱相关性的数字图像真伪鉴别", 《计算机工程与应用》 *
杨秀红等: "基于自适应模板和置信度更新的图像修复算法", 《电子科技》 *
钱燕云等: "商业生态系统企业演化博弈分析――基于生态位理论", 《上海理工大学学报》 *

Also Published As

Publication number Publication date
US20180286034A1 (en) 2018-10-04
SG10201802094XA (en) 2018-11-29
CA2998887A1 (en) 2018-10-03
EP3385888A1 (en) 2018-10-10
US10268913B2 (en) 2019-04-23
CN108694712B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN108694712A (zh) 设备损坏预测系统
US10475174B2 (en) Visual anomaly detection system
US10262236B2 (en) Neural network training image generation system
US10997711B2 (en) Appearance inspection device
EP3385909B1 (en) Optical flow determination system
US10835930B2 (en) Sorting system
CN108257114A (zh) 一种基于深度学习的输电设备缺陷自动识别方法
CN108564077A (zh) 一种基于深度学习对视频或图片中数字的检测和识别方法
KR20220156769A (ko) 생산 과정을 통하여 생산되는 제품을 분류하는 방법 및 시스템
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
JP7385942B2 (ja) コンテキストアウェアな意味的コンピュータ視覚技術を使用して公共基幹施設の異常を検出するシステム及び方法
KR102189951B1 (ko) 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법
CN115564031A (zh) 一种用于玻璃缺陷检测的检测网络
CN117409341B (zh) 基于无人机照明的图像分析方法及系统
KR20210122429A (ko) 영상 딥러닝을 이용한 ai 기반 화장품 용기 인쇄 제조 공정에서의 자동 결함 탐지 방법 및 시스템
CN110751170A (zh) 面板质量检测方法、系统、终端设备及计算机可读介质
JP6988995B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
WO2021225016A1 (ja) 外観検査システム
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
DE102017213060A1 (de) Computerimplementiertes Verfahren und Vorrichtung zum automatischen Generieren von gekennzeichneten Bilddaten und Analysevorrichtung zum Überprüfen eines Bauteils
CN111415326A (zh) 一种用于铁路接触网螺栓异常状态的检测方法及系统
JP2020064364A (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN116935092A (zh) 自动化缺陷分类和检测
CN115620006A (zh) 一种货物杂质含量检测方法、系统、装置与存储介质
CN112116195B (zh) 基于实例分割的铁路梁生产工序识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant