CN108932711B - 图像分析神经网络系统 - Google Patents

图像分析神经网络系统 Download PDF

Info

Publication number
CN108932711B
CN108932711B CN201810492159.8A CN201810492159A CN108932711B CN 108932711 B CN108932711 B CN 108932711B CN 201810492159 A CN201810492159 A CN 201810492159A CN 108932711 B CN108932711 B CN 108932711B
Authority
CN
China
Prior art keywords
images
neural network
target object
image
rotor assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810492159.8A
Other languages
English (en)
Other versions
CN108932711A (zh
Inventor
林思南
边霄
D.S.迪温斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN108932711A publication Critical patent/CN108932711A/zh
Application granted granted Critical
Publication of CN108932711B publication Critical patent/CN108932711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Neurology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

公开一种方法和系统，所述方法包括经由旋转的目标物体的多个绕转而获得所述目标物体的一系列图像。所述方法包括将所述图像分组成多个不同图像集合。所述不同集合中的每一个中的图像描绘所述目标物体的共用部分。在所述目标物体的不同绕转期间获得每一集合中的所述图像中的至少一些。所述方法进一步包括使用人工神经网络来检验所述多个图像集合中的至少第一集合中的图像以供通过所述人工神经网络对所关注物体进行自动辨识。

Description

图像分析神经网络系统
技术领域
本文中描述的主题涉及使用一个或多个神经网络的图像分析系统。
背景技术
出于各种目的，神经网络可用来分析图像。举例来说，一些神经网络可检验图像以识别图像中描绘的物体。通过向神经网络提供带标记的训练图像，神经网络可被建立或修改(例如，训练)以检测图像中的各种物体。带标记的训练图像包括这样的图像，在这些图像中描绘了已知物体，根据像素至少部分地代表的哪种物体或哪种物体类型识别带标记的训练图像中的每个像素。
但是，标记训练图像的过程是费时、昂贵和/或费力的过程。虽然已使用一些众包途径来降低标记训练图像所涉及的时间和/或成本，但并非所有图像均可用于公开分发(dissemination)众包解决方案。举例来说，医学图像可以经受限定图像分发的法律，由于合约和/或政府限制，某些物体(例如，飞机发动机)的图像可能不会对公开分发开放，其它图像可以经受限定公开分发的隐私法等等。
发明内容
在一个实施例中，一种方法(例如，用于分析图像)包括经由旋转的目标物体的多个绕转获得所述目标物体的一系列图像。所述方法包括将所述图像分组成多个不同图像集合。所述不同集合中的每一个中的图像描绘所述目标物体的共用部分。在所述目标物体的不同绕转期间获得每一集合中的所述图像中的至少一些。所述方法进一步包括使用人工神经网络来检验所述多个图像集合中的至少第一集合中的图像以供通过所述人工神经网络来自动辨识所关注物体。
在一个实施例中，一种系统(例如，图像分析系统)包括数字存储器和一个或多个处理器。所述数字存储器存储人工神经网络。所述一个或多个处理器被配置成经由旋转的目标物体的多个绕转获得所述目标物体的一系列图像。所述一个或多个处理器被配置成将所述图像分组成多个不同图像集合。所述不同集合中的每一个中的图像描绘所述目标物体的共用部分。在所述目标物体的不同绕转期间获得每一集合中的所述图像中的至少一些。所述一个或多个处理器被进一步配置成使用存储在所述存储器中的所述人工神经网络来检验所述多个图像集合中的至少第一集合中的图像以供通过所述人工神经网络对所关注物体进行自动辨识。
在一个实施例中，一种方法(例如，用于分析图像)包括经由旋转的转子组件的多个绕转获得所述转子组件的视频。所述视频包括随着时间推移的一系列图像帧。所述转子组件包括多个叶片。所述方法包括将所述视频的所述图像帧分组成多个不同图像帧集合。所述不同集合中的每一个中的图像帧描绘所述转子组件的共用叶片。在所述转子组件的不同绕转期间获得每一集合中的所述图像帧中的至少一些。所述方法还包括使用人工神经网络来检验所述多个图像帧集合中的至少第一集合中的图像帧以供通过所述人工神经网络来自动辨识所关注物体。所述第一集合中的所述图像帧描绘所述转子组件的第一叶片，且所述人工神经网络被配置成辨识所述第一叶片上的剥落(spalling)或裂缝中的至少一个以作为所关注物体。
技术方案1.一种方法，包括：
经由旋转的目标物体的多个绕转获得所述目标物体的一系列图像；
将所述图像分组成多个不同图像集合，所述不同集合中的每一个中的所述图像描绘所述目标物体的共用部分，在所述目标物体的不同绕转期间获得每一集合中的所述图像中的至少一些；和
使用人工神经网络检验所述多个图像集合中的至少第一集合中的所述图像以供通过所述人工神经网络对所关注物体进行自动辨识。
技术方案2.根据技术方案1所述的方法，其中，所述图像是所述目标物体的视频的不同帧。
技术方案3.根据技术方案1所述的方法，其中，所述不同集合的所述图像描绘所述目标物体的不同部分。
技术方案4.根据技术方案1所述的方法，其中，所述目标物体是包括多个翼面的涡轮组件，每一集合中的所述图像描绘所述涡轮组件的共用翼面。
技术方案5.根据技术方案1所述的方法，其中，所述人工神经网络是长短期记忆神经网络。
技术方案6.根据技术方案1所述的方法，其中，基于所述目标物体的旋转频率而将所述图像分组成所述不同图像集合。
技术方案7.根据技术方案1所述的方法，其中，基于随着时间推移获取所述图像的帧获取速率而将所述图像分组成所述不同图像集合。
技术方案8.根据技术方案1所述的方法，其中，所述目标物体是包括多个翼面的涡轮组件，且其中基于所述翼面中的多少包括在所述涡轮组件中而将所述图像分组成所述不同图像集合。
技术方案9.根据技术方案1所述的方法，其中，检验所述第一集合中的所述图像包括一次一个地检验所述图像中的每一个以作为穿过所述人工神经网络中的人工神经元的层的向前传播方向上的输入图像。
技术方案10.根据技术方案9所述的方法，其中，检验所述第一集合中的所述图像包括确定所述输入图像中的像素的物体分类概率，所述物体分类概率指示所述像素表示所述输入图像中的所关注物体的不同类型的可能性。
技术方案11.根据技术方案10所述的方法，其中，所关注物体的所述不同类型包括所述目标物体中的剥落或裂缝中的至少一个。
技术方案12.根据技术方案1所述的方法，其中，进一步包括通过组合来自所述第一集合中的所述图像的像素特性而生成组合图像，其中检验所述第一集合中的所述图像包括检验所述组合图像以作为穿过所述人工神经网络中的人工神经元的层的向前传播方向上的输入图像。
技术方案13.根据技术方案1所述的方法，其中，进一步包括响应于所述人工神经网络辨识所述第一集合的所述图像中的所关注物体，将信号输出到具有一个或多个处理器的控制器以进行以下操作中的一个或多个：自动地计划针对所述目标物体的维护，或自动地停止所述目标物体的旋转。
技术方案14.一种系统，包括：
数字存储器，其存储人工神经网络；和
一个或多个处理器，其被配置成经由旋转的目标物体的多个绕转获得所述目标物体的一系列图像，所述一个或多个处理器被配置成将所述图像分组成多个不同图像集合，所述不同集合中的每一个中的所述图像描绘所述目标物体的共用部分，在所述目标物体的不同绕转期间获得每一集合中的所述图像中的至少一些，所述一个或多个处理器被进一步配置成使用存储在所述存储器中的所述人工神经网络来检验所述多个图像集合中的至少第一集合中的所述图像，以供通过所述人工神经网络对所关注物体进行自动辨识。
技术方案15.根据技术方案14所述的系统，其中，所述不同集合的所述图像描绘所述目标物体的不同部分。
技术方案16.根据技术方案14所述的系统，其中，所述目标物体是车轮、发动机的轴或包括多个叶片的转子组件中的一个或多个，所述不同集合中的每一个中的所述图像描绘所述车轮的共用区域、所述轴的共用区域或所述转子组件的共用叶片。
技术方案17.根据技术方案14所述的系统，其中，存储在所述存储器中的所述人工神经网络是长短期记忆神经网络。
技术方案18.根据技术方案14所述的系统，其中，所述一个或多个处理器被配置成基于所述目标物体的旋转速度并基于成像装置随着时间推移获得所述图像的帧获取速率而将所述图像分组成所述不同集合。
技术方案19.一种方法，包括：
经由旋转的转子组件的多个绕转获得所述转子组件的视频，所述视频包括随着时间推移的一系列图像帧，所述转子组件包括多个叶片；
将所述视频的所述图像帧分组成多个不同图像帧集合，所述不同集合中的每一个中的所述图像帧描绘所述转子组件的共用叶片，在所述转子组件的不同绕转期间获得每一集合中的所述图像帧中的至少一些；和
使用人工神经网络来检验所述多个图像帧集合中的至少第一集合中的所述图像帧以供通过所述人工神经网络对所关注物体进行自动辨识，其中所述第一集合中的所述图像帧描绘所述转子组件的第一叶片，且所述人工神经网络被配置成辨识所述第一叶片上的剥落或裂缝中的至少一个以作为所关注物体。
技术方案20.根据技术方案19所述的方法，其中，进一步包括响应于所述人工神经网络辨识所述第一叶片上的剥落或裂缝中的至少一个，将信号输出到具有一个或多个处理器的控制器以进行以下操作中的一个或多个：自动地计划针对所述转子组件的维护，或自动地停止所述转子组件的旋转。
技术方案21.根据技术方案19所述的方法，其中，所述不同集合的所述图像帧描绘所述转子组件的不同叶片。
附图说明
通过参考附图阅读以下非限制性实施例的描述，将更好地理解本发明的主题，以下在所述附图中：
图1说明用于图像分析的神经网络系统的一个实施例；
图2是使用根据一实施例的神经网络系统的图像分析系统的框图；
图3说明根据一实施例的图像分析系统的一部分；
图4是展示当转子组件沿顺时针方向旋转时，转子组件的哪个叶片在由成像装置获取的一系列图像帧中的每一个中进行描绘的图；
图5说明展示准备使用人工神经网络进行检验的多个图像帧集合的神经网络系统的一个实施例；
图6说明神经网络系统的替代实施例；且
图7是用于使用一个或多个深度神经网络来对视频数据进行物体预测的方法的一个实施例的流程图。
具体实施方式
本文中所描述的本发明主题的一个实施例提供一种检验人工神经网络中的图像帧集合以用于预测图像帧中所关注物体的存在的图像分析系统和方法。所述系统和方法通过组合来自在不同时间获得的对应的图像帧集合中的多个图像帧的信息来改进对通过神经网络从图像学习什么的理解和深度。举例来说，当分析集合中的当前图像帧而非分析“真空”中的当前图像帧而不参考先前检验的图像帧时，从相同集合中的先前检验的图像帧搜集的信息可供神经网络使用。从先前检验的图像帧搜集的信息可以改进神经网络的各种功能，例如增大神经网络可以分析当前图像帧的速度、改进神经网络在检测当前图像帧中的所关注物体和/或对所关注物体进行分类时的准确度，和/或允许神经网络跟踪不同图像帧中随着时间推移的所关注物体。图像帧中所描绘的所关注物体可以是例如转子组件的叶片上的热屏障涂层上的剥落或叶片的裂缝。
一般来说，人工神经网络包括人工神经元或节点，其接收输入图像并对所述图像执行操作(例如，函数)，选择性地将结果传递到其它神经元上。权重值与网络中的每一向量和神经元相关联，且这些值对输入图像如何与神经元的输出相关进行约束。权重值可由训练数据的迭代流经由网络确定。举例来说，在训练阶段期间建立权重值，其中，网络通过训练或背景真实图像(ground truth images)中的物体的典型输入数据特性，学习如何识别特定的物体分类。
在训练阶段期间，将带标记的训练或背景真实图像输入到人工神经网络中。带标记的训练图像是形成图像的像素的所有或相当大部分与物体分类相关联的图像。物体分类是在图像中出现的物体的类型或类别。举例来说，人体可以是一种物体分类，且汽车是不同的第二物体分类。
可以对像素标记(例如，相关联)概率，其中像素通过向量[a b c d]表示各种不同物体分类，其中a、b、c和d的值指示像素表示物体或事物的不同分类中的每一个的概率。在带标记的训练图像中，标记为[1 0 0 0]的像素可指示所述像素表示第一类物体(例如，由概率a表示的物体分类-人体)的至少一部分的概率为100％，所述像素表示不同的第二类物体(例如，由概率b表示的物体分类一汽车)的至少一部分的概率为零，所述像素表示不同的第三类物体(例如，由概率c表示的物体分类-地面)的至少一部分的概率为零，以及所述像素表示不同的第四类物体(例如，由概率d表示的物体分类-树)的至少一部分的概率为零。
由于图像帧之间的长期时间关系以及被输入到神经网络的每一图像帧中的复杂视觉特征，可能难以使用常规人工神经网络来分析视频分析。举例来说，获取移动的目标物体的视频内容(video feed)的摄像机可以获得目标物体的第一部分的一些图像帧和目标物体的不同的第二部分的其它图像帧。将视频数据引入到常规的人工神经网络可以使物体预测困难且耗时，这是因为神经网络必须独立地分析每一图像帧。
系统和方法可以将在不同时间获得的图像帧(或图像数据)的集合输入到神经网络，这通过提供时间内容来帮助神经网络较准确地预测图像帧中所描绘的物体和/或跟踪图像帧中所描绘的物体而不具有额外学习或数据(例如，而不使用额外带标记的训练图像)。举例来说，共用集合中的图像帧都可以描绘共用物体或物体的共用部分，但可能不会在检验之前得知神经网络中的物体类型或所述共用物体或其部分的分类。将在不同时间获取的图像帧分组成集合的此途径可以不依赖于深度学习系统或神经网络的架构。
此外，在一个或多个实施例中，神经网络是使用来自先前图像帧的长期信息以供视频分析的循环神经网络(recurrent neural network)。循环神经网络可以是长短期记忆(LSTM)网络，其组合来自先前帧的长期信息与来自卷积神经网络的空间(例如，视觉)特征以提供对当前帧中的物体分类的准确预测。举例来说，将来自先前帧的长期信息存储为连续LSTM单元或层中的隐藏(或单元)状态。隐藏状态中的信息影响如何分析并使用当前输入特征，且还影响被传递到后续LSTM层上以作为隐藏状态的信息。因此，相较于当前已知系统，本文中所描述的系统和方法能够更好地通过以下操作来及时分析视频数据以进行准确的物体检测：将相关的图像帧分组成集合，和检验例如LSTM网络的循环神经网络中的集合。
本文中所描述的系统和方法的至少一个技术效果包括快速并准确地识别视频的一个或多个图像帧中所描绘的物体以用于多种最终用途，例如用于识别和修复对部件的损坏(例如，修复发动机中的热屏障涂层)、自动改变车辆移动(例如，响应于识别图像中的人或其它物体而改变移动方向和/或应用制动)等等。在医学应用中，系统和方法可以根据图像快速并准确地识别肿瘤、病变等等，且系统和方法可以自动地实施一个或多个医疗程序以移除或修复所识别的肿瘤或病变。
图1说明用于图像分析的神经网络系统100的一个实施例。神经网络系统100使用一个或多个深度神经网络102来自动检测并辨识图像中的所关注物体。神经网络102是由一个或多个处理器(例如，微处理器、集成电路、现场可编程门阵列等等)形成的人工神经网络。神经网络102被划分成两个或多于两个层104，例如接收输入图像106的输入层104A、输出输出图像108的输出层104B和处于输入层104A与输出层104B之间的一个或多个中间层104C。神经网络102的层104表示人工神经元或节点的不同群组或集合，其可以表示一个或多个处理器对输入图像106执行以识别输入图像106中的物体的不同函数。人工神经元在应用于输入图像106的函数中应用不同权重以尝试识别输入图像106中的物体。神经网络102基于对像素特性的分析，通过将输出图像108中的不同像素指派到不同的物体分类或与不同的物体分类相关联(下文描述)，生成输出图像108。因为神经网络102可能不是100％准确地预测不同像素表示的物体，所以输出图像108可能不完全类似或描绘如图1中所示的输入图像106中的物体。
神经网络102的层104中的人工神经元可检验形成输入图像106的个别像素114。处理器(作为人工神经元操作)可使用线性分类计算不同的物体类别(在本文中被称作“分类”)的分类计分，例如树、汽车、人、热屏障涂层中的剥落、表面的裂缝、标志等等。这些分类计分可以指示像素114表示不同分类的概率。举例来说，可以将像素114的分类计分表示为向量(例如，上文所描述的向量[a b c d])。分类计分在本文中被称作分类向量。每一人工神经元可将数学函数(例如激励函数)应用于同一像素，由不同的神经元应用的函数影响由其它神经元应用的函数。不同的神经元对函数中的不同项应用的权重，可以与一个或多个或者其它所有神经元应用的不同。函数的应用产生像素114的分类向量，所述分类向量可用来识别输入图像106中的物体。
在一个实施例中，经由来自例如摄像机或管道镜的源的一个或多个有线和/或无线连接而将输入图像106提供到神经网络102。神经网络102的层104中的神经元检验输入图像106的像素114的特性，例如强度、颜色等等，以确定各种像素114的分类向量。神经网络102中的人工神经元的层104可以按顺序次序检验输入图像104，其中神经元的第一中间(或隐藏)层104C检验每一像素114、接着是第二中间层104C中的神经元、接着是第三中间层104C中的神经元等等以计算像素114的分类向量。由层104中的神经元向像素114的特性而应用的函数是基于由神经网络102中的先前层104中的神经元应用的函数的结果。
在神经网络102的层104已确定像素114的分类向量之后，神经网络102检验每一像素114的分类向量并确定对于每一像素114哪个物体分类具有最高的概率，或者对于每一像素114哪个物体分类具有比一个或多个或所有其它物体分类都要高的概率。举例来说，分类向量为[0.60.150.050.2]的输入图像106中的第一像素指示神经网络102计算出：第一像素表示第一物体分类(例如，人体或人)的概率为60％，第一像素表示第二物体分类(例如，汽车)的概率为15％，第一像素表示第三物体分类(例如，树)的概率为5％，且第一像素表示第四物体分类(例如，地面)的概率为20％。
输出图像108是基于针对输入图像106中的像素114确定的概率的表示。举例来说，输出图像108中的不同区域116、118分别表示输入图像106中的物体110、112。区域116、118可能稍微表示对应的物体110、112，但并不准确地表示或指示物体110、112，原因是像素114中的至少一些的分类向量的概率小于100％。处理器可以确定每一像素114表示所述像素114的对应分类向量具有最大概率的物体分类。举例来说，由于60％的概率，处理器可以确定上文所描述的第一像素表示人。可对输入图像106中的几个或全部其它像素114重复这个过程。如上文所描述，使用带标记的训练图像或背景真实图像对神经网络102进行额外训练可以改进神经网络102在辨识被输入到神经网络102中的图像中的物体时的准确度，使得输出图像108中的物体116、118较接近地类似于输入图像106中的对应物体110、112。对神经网络102的额外训练可以通过增大给定像素表示多个物体分类中的特定分类的所确定概率而改进准确度。通过修改不同层104中的人工神经元的权重和/或函数来增大概率。
图2是根据一实施例的图像分析系统200的框图。图像分析系统200使用图1中展示的神经网络系统100。图像分析系统200包括可操作地连接到数字存储器206的控制器202，数字存储器206是有形且非暂时性的电脑可读媒体。控制器202被配置成控制图像分析系统200的操作。控制器202包括一个或多个处理器204。控制器202包括和/或表示一个或多个硬件电路或电路系统，其包括一个或多个处理器、控制器和/或其它基于硬件逻辑的装置；与一个或多个处理器、控制器和/或其它基于硬件逻辑的装置联接；或包括一个或多个处理器、控制器和/或其它基于硬件逻辑的装置且与一个或多个处理器、控制器和/或其它基于硬件逻辑的装置联接。控制器202可以包括中央处理单元(CPU)、一个或多个微处理器、图形处理单元(GPU)或能够根据特定逻辑指令处理输入的数据的任何其它电子部件。举例来说，控制器202可以执行存储在存储器206上或存储在另一有形且非暂时性的电脑可读媒体上的指令。在一个实施例中，存储器206存储图1中展示的神经网络102。存储器206可以表示快闪存储器、RAM、ROM、EEPROM等等。控制器202向存储器206提供输入图像以用于使用神经网络102来检验输入图像，以供对输入图像中的物体进行自动检测。
控制器202被配置成获得旋转的目标物体的一系列图像。通过成像装置获取随着时间推移的图像系列。所述图像系列在本文中被称作视频的图像帧。应认识到，使用术语“视频”来表示图像系列未必意味着通过成像装置在一个连续记录会话中获取所有图像帧。举例来说，可以在第一记录会话期间获取图像帧中的一些，且可以在第二记录会话期间获取其它图像帧，由于延迟时段，第二记录会话不会紧接在第一记录会话结束之后开始。在一实施例中，图像分析系统200包括成像装置208，所述成像装置208被定位成获得目标物体210的视频。成像装置208可以是摄像机、管道镜等等，其被配置成在指定的帧获取速率下获取表示视频的图像帧。成像装置208可以经由有线或无线路径将视频传达到控制器202。举例来说，成像装置208可以被配置成将所获取的视频无线地发射或广播到控制器202。
控制器202可以可操作地连接到通信装置212，所述通信装置212从成像装置208接收视频并将视频转发到控制器202以供分析。通信装置212可以包括例如收发器、接收器、发射器等等的硬件，以及与成像装置208无线地通信(例如，发射和/或接收)的相关联电路系统(例如，天线)。通信装置212还可以被配置成与远程服务器、移动装置(例如，由操作员拿着)等等无线地通信。通信装置212可以被配置成使用可以被存储在存储器206或另一有形且非暂时性的电脑可读媒体中的协议固件，建立与例如成像装置208的通信装置的双向通信链路。举例来说，所述协议固件可以向通信装置212提供网络协议语法以组合数据包、建立和/或分割沿着双向通信链路接收的数据，等等。在一替代实施例中，控制器202和/或通信装置212从远程服务器、移动装置等等获得视频，而非直接地从成像装置208获得视频。
成像装置208在成像装置208的视场214内捕获或获取目标物体210的图像数据，所述视场214表示在视频的图像帧中捕获的检测区域。在所说明的实施例中，成像装置208的视场214不包括整个目标物体210，而是仅仅包括目标物体210的部分216。在一实施例中，目标物体210被配置成旋转多个转数，且成像装置208被定位成在目标物体210旋转时获取目标物体210的视频。在所说明的实施例中，目标物体210是围绕车轴220旋转的车轮，例如车辆218的车轮，车辆218可以是汽车、轨道车辆(例如，机车)、越野建设或采矿车辆等等。在一替代实施例中，目标物体210可以是转子组件(例如，涡轮组件)、发动机或工业机器的旋转轴等等，而非车轮。
成像装置208在目标物体210旋转时获取随着时间推移的图像数据。只要成像装置208的帧获取速率不同于车轮210的旋转频率，视频的图像帧中的至少一些包括车轮210的不同部分216。车轮210的旋转频率在本文中也被称作车轮210的旋转速度或每分钟转速(RPM)。举例来说，通过成像装置208获取的第一图像帧可以捕获或描绘图2中展示的车轮210的部分或区域216，且通过成像装置208在指定的帧获取速率下获取的后续第二图像帧可以捕获或描绘车轮210的一部分或区域，由于车轮210的旋转，车轮210的一部分或区域至少部分地不同于部分216。随着车轮210旋转多个转数，通过成像装置208获取的汇总的图像帧可以最终描绘车轮210的整个外围。此外，汇总的图像帧可以描绘在车轮210的不同绕转期间随着时间推移获取的车轮210的一些共用部分。举例来说，视频中的图像帧的子集可以展示在车轮的不同绕转期间随着时间推移的车轮210的所说明部分216。通过控制器202来获得通过成像装置208获取的视频(例如，汇总的图像帧)以供使用神经网络102(图1中展示)进行分析和最终的性物体辨识。
任选地，控制器202可操作地连接到输入/输出(I/O)装置222。I/O装置222可以包括显示器和/或允许操作员与控制器202交互的用户接口。显示器可以是液晶显示器(例如，发光二极管(LED)背光源)、有机发光二极管(OLED)显示器、等离子显示器、CRT显示器等等。显示器可以被配置成显示存储在存储器206中的输入图像和/或输出图像。用户接口被配置成从图像分析系统200的操作员接收输入。用户接口可以包括键盘、鼠标、触摸垫、一个或多个物理按钮等等。任选地，显示器可以是包括用户接口的至少一部分的触摸屏显示器。任选地，I/O装置可以包括额外输出，例如音频扬声器、振动装置等等，以用于警示操作员。
图3说明根据另一实施例的图像分析系统200的一部分，其中目标物体210是转子组件而非车轮。举例来说，转子组件310包括中心鼓或轴302和从鼓302径向向外延伸的多个转子叶片304。叶片304沿着鼓302的外围间隔开。在一实施例中，转子组件310可以是用于动力装置、喷气发动机、涡轮增压器等等中的涡轮机，且叶片304可以是涡轮机的翼面。所说明的实施例中的转子组件310包括六个叶片304(标记为A、B、C、D、E和F)，但在其它实施例中可以包括不同数目个叶片304。举例来说，转子组件310可以包括几十或几百个叶片304。转子组件310被配置成围绕鼓302旋转。如上文参考图2所描述，成像装置208被定位成使得每一所获取的图像帧描绘目标物体210的至少一部分(例如，转子组件)。在所说明的实施例中，成像装置208的视场214捕获叶片304。更具体地说，通过成像装置208获取的一些图像帧可以仅仅描绘单个叶片304，例如图3中展示的叶片304A。通过成像装置208获取的其它图像帧可以描绘多个叶片304，例如叶片304A的一部分和叶片304B的一部分。转子组件310沿着顺时针方向306旋转，使得叶片304A、304B、304C、304D、304E、304F按所述次序越过成像装置208。替代地，转子组件310可以受控制以沿着相反的逆时针方向旋转。
继续参看图3，图4是展示当转子组件310沿着顺时针方向306旋转时，通过成像装置208获取的一系列图像帧中的每一个中描绘转子组件310的哪一叶片304的图400。x轴402表示转子组件310的六个叶片304A、304B、304C、304D、304E、304F。y轴404表示随着时间推移转子组件310的转数。在所说明的实施例中，成像装置208在每秒24个图像帧的帧获取速率下获取图像数据。在图400中标绘通过成像装置208在一秒内获取的24个图像帧。举例来说，每一离散单元406表示24个图像帧中的一个。所说明的实施例中的转子组件310在每秒四个转数(revolutions)的频率或速度下(例如，240RPM)旋转。因此，在图400中沿着y轴404展示在一秒期间转子组件310的四个转数。假设转子组件310的六个叶片304沿着鼓302的外围均匀地间隔开。
如图400中所展示，通过成像装置208获取的第一图像帧(例如，1)描绘叶片304A。随着转子组件310旋转，第二图像帧(例如，2)描绘叶片304B，且这个图案继续穿过描绘叶片304F的第六图像帧(例如，6)。在获取第六图像帧之后，转子组件310完成第一绕转(revolution)并开始第二绕转。因此，通过成像装置208获取的第七图像帧再一次描绘叶片304A。在获取视频数据的一秒内，在四个不同图像帧中描绘叶片304A到304F中的每一个。举例来说，在图像帧1、7、13和19中描绘叶片304A，且在图像帧3、9、15和21中描绘叶片304C。应注意，尽管图像帧1、7、13和19中的每一个描绘共用叶片304A，但在不同时间获取或捕获图像帧1、7、13和19。举例来说，如果成像装置208在这些速率下记录转子组件310的视频达一小时(而非仅一秒)，那么将在所述一小时期间在14,400个图像帧中描绘叶片304A到304F中的每一个。
为了易于描述，选择上述实例中使用的速率，且所述速率可能不会表示转子组件310或其它目标物体旋转的实际速率和/或成像装置208获取视频数据的速率。举例来说，转子组件310可以在比每秒四个转数(four revolutions per second)快的旋转速度下旋转。在另一实施例中，转子组件310以每秒八个转数(例如，480RPM)旋转。假设成像装置208仍然在每秒24个帧的相同帧获取速率下获取视频数据，应注意，将仍然在每秒四个图像帧内各自描述叶片304A到304F。举例来说，第一图像帧描绘叶片304A；第二图像帧描绘叶片304C；第三图像帧描绘叶片304E；第四图像帧描绘叶片304B；第五图像帧描绘叶片304D；第六图像帧描绘叶片304F；第七图像帧描绘叶片304A等等。
在一实施例中，控制器202(图2中所展示)被配置成获得旋转的转子组件310的视频，并分析所述视频以将视频的图像帧分组成多个图像帧集合。每一集合中的图像帧描绘目标物体的共用部分，在所说明实施例中，所述共用部分是转子组件310的共用叶片304。举例来说，控制器202被配置成基于以下方面确定哪些图像帧描绘叶片304A到304F中的每一个：(i)转子组件310相对于成像装置208的开始位置，(ii)转子组件310中叶片304的数目，(iii)成像装置208的帧获取速率，和(iv)转子组件310的频率或旋转速度。如图400中所展示，如果转子组件310具有六个叶片304，成像装置208以每秒24个帧获取视频数据，其以图像帧描绘叶片304A开始，且转子组件310以每秒四个转数旋转，那么控制器202确定第一、第七、第十三和第十九个图像帧每秒描绘叶片304A。在使用相同逻辑的情况下，控制器202可以确定每秒获取的二十个其它图像帧中的每一个中描绘叶片304B到304F中的哪个。
在一替代实施例中，控制器202被配置成寻找在转子组件310旋转时在叶片304之间发生的视频中的间断或中断。举例来说，控制器202针对图像帧中指示邻近叶片之间的空间或间断的重复图案分析所述视频。在知晓转子组件310上叶片304(和视频的开始图像帧中所描绘的初始叶片304)的数目的情况下，控制器202可以使用检测到的间断来确定每一图像帧中描绘哪些叶片304。在进行所述确定之后，控制器202可以将图像帧分组成使得描绘共用叶片304的图像帧被分组到同一集合中。在这个替代实施例中，不需要监控转子组件310的旋转速度。
图5说明展示准备使用人工神经网络102进行检验的图像帧503的多个集合502、504的神经网络系统100的一个实施例。控制器202(图2中所展示)被配置成将视频的图像帧分组成多个集合，使得每一集合中的图像帧描绘目标物体的共用部分。举例来说，图5展示：第一集合502，其包括通过成像系统208获取的第一、第七、第十三和第十九图像帧503；和第二集合504，其包括第二、第八、第十四和第二十个图像帧503。不同集合502、504的图像帧503描绘目标物体的不同部分。举例来说，第一集合502中的图像帧503描绘叶片304A(图3中展示)，且第二集合504中的图像帧503描绘叶片304B(图3)。在目标物体是旋转的车轮或轴的实施例中，不同集合中的图像帧可以描绘沿着车轮或轴的外围的不同区域。尽管仅展示了两个集合502、504，但控制器202可以被配置成将图像帧503分组成六个不同集合，使得每一集合的图像帧描绘六个叶片304A到304F中的不同一个叶片。可以在目标物体的不同绕转期间获取每一集合502、504中的图像帧503，如图4中的图400中所展示。应认识到，每一集合502、504可以包括超过四个图像帧503，例如在数分钟、数小时或数天的持续时间上的不同时间获取的数百个图像帧。
控制器202被配置成经由人工神经网络102的人工神经元的层104检验图像帧503的分组集合中的全部或至少一个，以供通过神经网络102对所关注物体进行自动辨识。举例来说，如图5中所展示，控制器202可以将图像帧503的第一集合502(包括第一、第七、第十三和第十九个帧)引入到神经网络102的输入层104A。在一个实施例中，在向前传播方向上经由人工神经网络102的层104一次一个地引入第一集合502的图像帧503以作为输入图像。举例来说，可以引入第一图像帧以作为第一输入图像，可以引入第七图像帧以作为第一输入图像之后的第二输入图像，且分别引入第十三和第十九图像帧以作为第三和第四输入图像。可以检验神经网络102中在第二输入图像之前的第一输入图像，在第三输入图像之前检验第二输入图像等等。
如上文参考图1所描述，神经网络102的两个或多于两个层104将各种函数中的各种权重应用于输入图像中的每一个以识别各种所关注物体出现在输入图像中的概率。神经网络102针对图像帧中表示输入图像的像素508中的每一个确定物体分类概率。通过神经网络102来确定物体分类概率，所述神经网络102计算像素508表示不同物体分类的可能性。物体分类中的一些表示所关注物体的不同类型。举例来说，在集合502的图像帧描绘转子组件310的叶片304A(图3中展示)的实施例中，第一物体分类可以表示叶片304A上的无破损涂层或屏障，第二物体分类可以表示叶片304A后方的背景中的物体(例如，叶片304B的一部分)，第三物体分类可以表示剥落区域，且第四物体分类可以表示叶片304A的裂缝312(图3中展示)。剥落区域和裂缝是所关注物体的不同类型。剥落区域是叶片304A上的涂层或屏障(例如，热屏障)正剥落和/或已剥落的区域。剥落区域和裂缝(如果检测到)都可以指示叶片304A受损且转子组件310可能需要维护。可以通过分类向量为[0.10.150.60.15]的神经网络102来确定集合502的图像帧中的一个中的实例像素，所述分类向量指示像素具有表示沿着叶片304A的剥落区域的60％概率。神经网络102可以被配置成针对图像帧中的每一像素508选择最高概率，且使用所选择概率来将对应像素508的分类向量转换成一个独热码向量(one hot vector)。相对于先前实例，这涉及将像素508的向量从[0.1 0.15 0.6 0.15]转换成[0 0 1 0]。
在一实施例中，神经网络102可以是使用来自先前图像帧的长期信息以供视频分析的循环神经网络。举例来说，一次一个地检验集合502的图像帧503。当检验第十三图像帧503时，循环神经网络102可以使用从先前检验的第一和第七图像帧503搜集的信息。循环神经网络102可以是长短期记忆(LSTM)网络，其组合来自先前帧的长期信息与来自卷积神经网络的空间(例如，视觉)特征以提供对当前帧中的物体分类的准确预测。举例来说，将来自先前帧的长期信息存储为连续LSTM单元或层104中的隐藏(或单元)状态。隐藏状态中的信息影响如何分析并使用当前输入特征，且还影响被传递到后续LSTM层上以作为隐藏状态的信息。
神经网络102任选地生成输出图像507的集合506。输出图像507可能类似于输入图像帧503，但并不精确地匹配于对应的输入图像帧503，这是因为神经网络102可能不会100％准确地预测何种物体是由不同像素表示。
除了输出类似于第一集合502的图像帧503的、图像507的集合506以外或作为输出所述集合506的替代方案，神经网络102还可以被配置成使用对图像帧503中的一个或多个物体的物体辨识来自动地实施一个或多个响应性动作。作为一个实例，神经网络102可以响应于识别图像中的物体而将信号输出到控制器，以自动地计划维护或开始修复发动机部件的表面或车轮，例如通过将恢复性添加剂喷射到转子组件的叶片的热屏障涂层上。作为另一实例，神经网络可以响应于识别图像中的物体而将信号输出到控制器，以自动地停止转子组件、车辆等等的移动或改变转子组件、车辆等等的移动方向。可以实施自动地停止车辆移动，以便避免车辆与从图像识别的物体之间发生碰撞。在一个实施例中，一体化到神经网络102的一个或多个处理器将信号输出到控制器202(图2中展示)，以供控制器202经由I/O装置222(图2)警示操作员、自动地计划维护和/或自动地停止目标物体的旋转和/或移动。在一替代实施例中，控制器202使用神经网络102来识别图像中的物体，且控制器202将信号输出到另一控制器，例如车辆控制器、远程计划部位处的控制器等等，从而基于检测到的物体的类型来实施适当的补救动作。
在一实施例中，在通过检验神经网络102中第一集合502的图像帧503而识别例如剥落或裂缝312的任何所关注物体是否存在于转子组件310的叶片304A上之后，控制器202可以检验第二集合504和/或神经网络102中的分组图像帧的其它集合的图像帧503。举例来说，控制器202可以被配置成通过检验神经网络102中的图像帧的六个不同集合，检查叶片304A到304F中的每一个的剥落和裂缝312。替代地，控制器202可以负责仅仅检查叶片304A到304F的特定子集的剥落和裂缝312，使得控制器202仅仅检验神经网络102中与目标叶片相关联的图像帧的特定集合。
图6说明神经网络系统100的替代实施例。在所说明的实施例中，代替检验集合502的图像帧503中的每一个以作为用于神经网络102的个别输入图像，使用集合502内的图像帧503来生成组合图像602。接着通过神经网络102的各种层104中的人工神经元来检验组合图像602以作为单个输入图像。可以通过组合来自集合502的所有图像帧503的像素特性来生成组合图像602。举例来说，将第一图像帧503中的特定像素604的特性，例如强度、颜色等等，与第七、第十三和第十九图像帧503中的三个像素604的特性组合，所述三个像素604被定位在与第一图像帧503中的像素604相同的相对部位中。基于集合502的图像帧503中的对应像素604的特性而确定组合图像602中的像素606的特性。可以通过计算四个像素604的特性的平均数或中位数来确定像素606的特性。举例来说，可以通过控制器202(或其一个或多个处理器204)使用图像分析来确定图像帧503中的像素604的波长。可以接着使用像素604的波长来生成或计算平均数或中位值，将所述平均数或中位值指派给像素606以表示像素606的颜色(例如，波长)。可以使用相同或相似计算来生成形成组合图像602的像素的强度和/或其它特性。
当通过神经网络102的层104中的人工神经元检验组合图像602时，神经网络102可以生成输出图像608。输出图像608可能类似于输入的组合图像602，而不精确地匹配于组合图像602，这是因为神经网络102不会100％准确地预测何种物体是不同像素由表示。如上文所描述，神经网络102可以被配置成使用组合图像602中的一个或多个物体的物体辨识来代替产生输出图像608而自动地实施一个或多个响应性动作，或除了产生输出图像608以外还自动地实施一个或多个响应性动作。
图7是用于使用一个或多个深度神经网络来预测视频数据中的物体的方法700的一个实施例的流程图。方法700可以表示以下操作：通过图2中展示的控制器202的一个或多个处理器204和/或图1中展示的神经网络102的处理器执行，以改进自动地辨识在视频数据中捕获的物体的准确度。方法700可以表示用以创建(例如，写入)引导神经网络的操作的一个或多个软件应用程序的算法。
在702处，获得旋转的目标物体的视频。视频是图像帧的视频数据或随着时间推移获取的数据。可以通过一个或多个处理器直接地从获取视频的成像装置或从存储视频的存储器获得视频。目标物体可以是转子组件、发动机的轴、车辆的车轮等等。视频捕获目标物体的多个绕转。可以相对于目标物体定位获取视频的成像装置，使得成像装置的视场会捕获至少接近于目标物体的外围的部分或区域，例如沿着车轮或包括多个叶片的转子组件的叶片的外围的区域。
在704处，确定描绘目标物体的共用部分的视频的图像帧。在一实施例中，进行这个确定而不使用图像分析。替代地，使用成像装置和目标物体的属性和参数进行所述确定，例如(i)旋转的目标物体的旋转速度或频率，(ii)成像装置的帧获取速率，和(iii)当成像装置开始获取视频时，目标物体相对于成像装置的开始位置。可能已知并用于确定的一些其它属性和参数可以包括：成像装置与目标物体相隔的距离、成像装置的视场大小、目标物体的离散零件或部分(例如，叶片)的大小(例如，直径、周长等等)和/或数目等等。可以使用传感器来测量目标物体的旋转速度或频率。成像装置的帧获取速率可以是对成像装置的指定设置。在使用上述信息的情况下，一个或多个处理器被配置成基于目标物体的旋转速度和成像装置的帧获取速率，确定多个图像帧中的哪些描绘目标物体的共用部分。在目标物体的不同绕转期间捕获或获取描绘目标物体的相同部分的图像帧中的至少一些。举例来说，可以确定第一图像帧描绘在转子组件的第一绕转期间转子组件的第一叶片，且视频的第七图像帧、第十三图像帧和第十九图像帧还分别描绘在转子组件的第二、第三和第四绕转期间的第一叶片。
在706处，将描绘目标物体的共用部分的图像帧分组成集合。举例来说，对于转子组件(该转子组件具有24个叶片)的目标物体，可以将视频的图像帧分组成24个不同集合，使得每一集合中的图像帧描绘叶片中的不同一个叶片。在目标物体是车轮且每一图像帧描绘为车轮外围的十二分之一的区域的另一实例中，可以将视频的图像帧分组成12个不同集合，其中每一集合中的图像帧描绘车轮的沿着外围的不同区域或部分。
在708处，检验人工神经网络中图像帧的集合中的一个以供对图像帧中的物体进行辨识。在一个实施例中，一次一个地将集合的图像帧单独地引入到神经网络以作为输入图像。任选地，神经网络可以是使用在对集合的当前图像帧进行检验期间来自先前检验的图像帧的信息的循环神经网络，例如如上文所描述的LSTM网络。在一替代实施例中，可以汇总集合的图像帧以生成组合图像，且将组合图像引入到神经网络中以作为输入图像。
在710处，确定神经网络是否检测到图像帧的集合中的所关注物体。在一实施例中，神经网络被配置成检测目标物体上的涂层的剥落和/或沿着目标物体的裂缝以作为两个所关注物体。但是，神经网络可以被配置成在其它实施例中检测额外和/或不同的所关注物体，例如耗损图案、碎片和其它外物等等。神经网络或其处理器可以通过使用与各种函数和各种权重相关联的人工神经元的多个层来检验图像帧(或组合图像)，确定任何所关注物体是否存在于图像帧的集合中。神经网络可以通过确定图像帧中的像素的物体分类概率来检验图像帧。物体分类概率指示像素表示不同类型的物体，例如所关注物体的可能性。神经网络可以被配置成通过针对给定像素选择具有物体分类概率中反映的最高概率的物体分类，针对经检验的图像帧中的像素中的每一个预测物体分类。因此，如果给定像素的物体分类概率具有像素表示裂缝的70％可能性，那么神经网络选择所述像素是裂缝，但计算像素实际上不表示裂缝的概率是30％。在这个实例中，由于预测像素表示裂缝，所述裂缝是所关注物体，所以神经网络检测到所关注物体存在于经检验的图像帧中。
如果神经网络未检测到经检验的图像帧的集合中的所关注物体，那么流程进行到712，且可以选择图像帧的集合中的另一个(描绘目标物体的不同部分)以供使用神经网络进行检验。举例来说，可以选择描绘转子组件的下一个叶片、车轮或轴的下一个区域(例如，区段)等等的集合以供在神经网络中进行检验。一个或多个处理器可以依序检验图像帧的集合中的全部。替代地，例如通过从操作员接收到的指令，一个或多个处理器仅检验指定的图像帧的集合的选择子集。根据712，方法700的流程可以返回到708以用于检验神经网络中的图像帧的所选择集合。
如果在另一方面，神经网络检测到经检验的图像帧的集合中的所关注物体，那么流程进行到714，且采取适当的补救或响应性动作。举例来说，神经网络中的处理器可以响应于识别图像中的所关注物体而将信号输出到控制器，以自动地进行以下操作：(i)激活输出装置(例如，音频扬声器、灯、显示器、振动装置等等)以警示操作员，(ii)计划针对目标物体的维护，或(iii)开始修复目标物体的表面。所述修复可涉及例如将恢复性添加剂喷射到转子组件的叶片的热屏障涂层上。作为另一实例，神经网络中的处理器可以响应于检测到所关注物体而将信号输出到控制器，以供控制器自动地停止转子组件、车辆等等的移动或改变转子组件、车辆等等的移动方向。可以实施自动地停止车辆移动，以便避免车辆与从图像识别的物体之间发生碰撞。采取的响应性或补救动作可能取决于在图像帧中检测到的所关注物体的类型和/或属性(例如，大小、颜色等等)。举例来说，计划的维护可以适合于在转子组件的叶片中检测到的较小裂缝，且自动地停止转子组件的移动可以适合于较大裂缝。
在714处采取响应性动作之后，方法700可以继续到712以选择图像帧的另一集合从而在神经网络中检验，或可以结束。
在一个实施例中，一种方法(例如，用于分析图像)包括经由旋转的目标物体的多个绕转获得所述目标物体的一系列图像。所述方法包括将所述图像分组成多个不同图像集合。所述不同集合中的每一个中的图像描绘所述目标物体的共用部分。在所述目标物体的不同绕转期间获得每一集合中的所述图像中的至少一些。所述方法进一步包括使用人工神经网络来检验所述多个图像集合中的至少第一集合中的图像以供通过所述人工神经网络来自动辨识所关注物体。
任选地，所述图像是所述目标物体的视频的不同帧。
任选地，所述不同集合的所述图像描绘所述目标物体的不同部分。
任选地，所述目标物体是包括多个翼面的涡轮组件。每一集合中的所述图像描绘所述涡轮组件的共用翼面。
任选地，所述人工神经网络是长短期记忆神经网络。
任选地，基于所述目标物体旋转的频率而将所述图像分组成所述不同图像集合。
任选地，基于随着时间推移获取所述图像的帧获取速率而将所述图像分组成所述不同图像集合。
任选地，所述目标物体是包括多个翼面的涡轮组件。基于所述翼面中的多少包括在所述涡轮组件中而将所述图像分组成所述不同图像集合。
任选地，检验所述第一集合中的所述图像包括一次一个地检验所述图像中的每一个以作为穿过所述人工神经网络中的人工神经元的层的向前传播方向上的输入图像。
任选地，检验第一集合中的图像包括确定输入图像中的像素的物体分类概率。物体分类概率指示像素表示输入图像中的所关注物体的不同类型的可能性。
任选地，所关注物体的不同类型包括目标物体中的剥落或裂缝中的至少一个。
任选地，所述方法进一步包括通过组合来自第一集合中的图像的像素特性而生成组合图像。检验第一集合中的图像包括检验组合图像以作为穿过人工神经网络中的人工神经元的层的向前传播方向上的输入图像。
任选地，所述方法进一步包括响应于人工神经网络辨识第一集合的图像中的所关注物体，将信号输出到具有一个或多个处理器的控制器以进行以下操作中的一个或多个：自动地计划针对目标物体的维护，或自动地停止目标物体的旋转。
在一个实施例中，一种系统(例如，图像分析系统)包括数字存储器和一个或多个处理器。所述数字存储器存储人工神经网络。所述一个或多个处理器被配置成经由旋转的目标物体的多个绕转获得所述目标物体的一系列图像。所述一个或多个处理器被配置成将所述图像分组成多个不同图像集合。所述不同集合中的每一个中的图像描绘所述目标物体的共用部分。在所述目标物体的不同绕转期间获得每一集合中的所述图像中的至少一些。所述一个或多个处理器被进一步配置成使用存储在所述存储器中的所述人工神经网络来检验所述多个图像集合中的至少第一集合中的图像以供通过所述人工神经网络对所关注物体进行自动辨识。
任选地，所述不同集合的所述图像描绘所述目标物体的不同部分。
任选地，所述目标物体是车轮、发动机的轴或包括多个叶片的转子组件中的一个或多个。所述不同集合中的每一个中的所述图像描绘所述车轮的共用区域、所述轴的共用区域或所述转子组件的共用叶片。
任选地，存储在所述存储器中的所述人工神经网络是长短期记忆神经网络(longshort term memory neural network)。
任选地，所述一个或多个处理器被配置成基于目标物体的旋转速度并基于成像装置随着时间推移获得所述图像的帧获取速率而将图像分组成所述不同集合。
在一个实施例中，一种方法(例如，用于分析图像)包括经由旋转的转子组件的多个绕转获得所述转子组件的视频。所述视频包括随着时间推移的一系列图像帧。所述转子组件包括多个叶片。所述方法包括将所述视频的所述图像帧分组成多个不同图像帧集合。所述不同集合中的每一个中的图像帧描绘所述转子组件的共用叶片。在所述转子组件的不同绕转期间获得每一集合中的所述图像帧中的至少一些。所述方法还包括使用人工神经网络来检验所述多个图像帧集合中的至少第一集合中的图像帧以供通过所述人工神经网络来自动辨识所关注物体。所述第一集合中的所述图像帧描绘所述转子组件的第一叶片，且所述人工神经网络被配置成辨识所述第一叶片上的剥落或裂缝中的至少一个以作为所关注物体。
任选地，所述方法进一步包括响应于所述人工神经网络辨识所述第一叶片上的剥落或裂缝中的至少一个，将信号输出到具有一个或多个处理器的控制器以进行以下操作中的一个或多个：自动地计划针对所述转子组件的维护，或自动地停止所述转子组件的旋转。
任选地，所述不同集合的所述图像帧描绘所述转子组件的不同叶片。
如本文中所使用，以单数形式叙述并且跟在词语“一”或“一个”后的元件或步骤应理解为不排除复数个所述元件或步骤，除非明确陈述此类排除。此外，对目前描述的主题的“一个实施例”的提及并非旨在解释为排除同样并有所述特征的额外实施例的存在。此外，除非明确地陈述为相反情况，否则“包括”或“具有”带有特定属性的一个元件或多个元件的实施例可包括不带有所述属性的额外此类元件。
应理解，以上描述旨在为说明性而非限制性的。举例来说，上述实施例(和/或其方面)可以彼此组合使用。另外，在不脱离本主题的范围的情况下，可以进行许多修改以使特定情况或材料适应本文所阐述的主题的教示。虽然本文中所描述的材料的尺寸和类型旨在界定所公开主题的参数，但其绝非是限制性的，而是示范性实施例。所属领域的技术人员在查阅以上描述后将会明白许多其它实施例。因此，本文中所描述的主题的范围应参考所附权利要求书以及赋予此类权利要求书的等效物的完整范围来确定。在所附权利要求书中，术语“包括(including)”和“其中(in which)”用作相应术语“包括(comprising)”和“其中(wherein)”的简明等效用语。此外，在以下权利要求书中，术语“第一”、“第二”和“第三”等等仅用作标签，且并不旨在对其对象施加数字要求。此外，以下权利要求书的限制并不按照装置加功能格式编写，并且并不旨在根据35U.S.C.§112(f)来解释，除非这类权利要求限制明确使用短语“用于…的装置”加上没有另外结构的功能陈述。
本书面描述使用实例来公开本文中所阐述的主题的若干实施例，包括最佳模式，并且还使所属领域的技术人员能够实践所公开主题的实施例，包括制造和使用所述装置或系统并执行所述方法。本文中所描述的主题的可获专利的范围由权利要求书界定，且可包括所属领域的技术人员构想出的其它实例。如果此类其它实例具有与权利要求书的字面语言相同的结构元件，或者如果它们包括与权利要求书的字面语言无实质差别的等效结构元件，那么此类其它实例希望在权利要求书的范围内。

Claims (20)

1.一种图像分析方法，包括：
经由旋转的目标物体的多个绕转获得所述目标物体的一系列图像；
将所述图像分组成多个不同图像集合，所述不同集合中的每一个中的所述图像描绘所述目标物体的共用部分，在所述目标物体的不同绕转期间获得每一集合中的所述图像中的至少一些；和
使用人工神经网络检验所述多个图像集合中的至少第一集合中的所述图像以供通过所述人工神经网络对所关注物体进行自动辨识；
其特征在于，所述人工神经网络是循环神经网络；以及
其特征在于，所述目标物体是包括多个翼面的涡轮组件，每一集合中的所述图像描绘所述涡轮组件的共用翼面。
2.根据权利要求1所述的方法，其特征在于，所述图像是所述目标物体的视频的不同帧。
3.根据权利要求1所述的方法，其特征在于，所述不同集合的所述图像描绘所述目标物体的不同部分。
4.根据权利要求1所述的方法，其特征在于，所述人工神经网络是长短期记忆神经网络。
5.根据权利要求1所述的方法，其特征在于，基于所述目标物体的旋转频率而将所述图像分组成所述不同图像集合。
6.根据权利要求1所述的方法，其特征在于，基于随着时间推移获取所述图像的帧获取速率而将所述图像分组成所述不同图像集合。
7.根据权利要求1所述的方法，其特征在于，所述目标物体是包括多个翼面的涡轮组件，且其中基于所述翼面中的多少包括在所述涡轮组件中而将所述图像分组成所述不同图像集合。
8.根据权利要求1所述的方法，其特征在于，检验所述第一集合中的所述图像包括一次一个地检验所述图像中的每一个以作为穿过所述人工神经网络中的人工神经元的层的向前传播方向上的输入图像。
9.根据权利要求8所述的方法，其特征在于，检验所述第一集合中的所述图像包括确定所述输入图像中的像素的物体分类概率，所述物体分类概率指示所述像素表示所述输入图像中的所关注物体的不同类型的可能性。
10.根据权利要求9所述的方法，其特征在于，所关注物体的所述不同类型包括所述目标物体中的剥落或裂缝中的至少一个。
11.根据权利要求1所述的方法，其特征在于，进一步包括通过组合来自所述第一集合中的所述图像的像素特性而生成组合图像，其中检验所述第一集合中的所述图像包括检验所述组合图像以作为穿过所述人工神经网络中的人工神经元的层的向前传播方向上的输入图像。
12.根据权利要求1所述的方法，其特征在于，进一步包括响应于所述人工神经网络辨识所述第一集合的所述图像中的所关注物体，将信号输出到具有一个或多个处理器的控制器以进行以下操作中的一个或多个：自动地计划针对所述目标物体的维护，或自动地停止所述目标物体的旋转。
13. 一种图像分析系统，包括：
数字存储器，其存储人工神经网络；和
一个或多个处理器，其被配置成经由旋转的目标物体的多个绕转获得所述目标物体的一系列图像，所述一个或多个处理器被配置成将所述图像分组成多个不同图像集合，所述不同集合中的每一个中的所述图像描绘所述目标物体的共用部分，在所述目标物体的不同绕转期间获得每一集合中的所述图像中的至少一些，所述一个或多个处理器被进一步配置成使用存储在所述存储器中的所述人工神经网络来检验所述多个图像集合中的至少第一集合中的所述图像，以供通过所述人工神经网络对所关注物体进行自动辨识；
其特征在于，所述人工神经网络是循环神经网络；以及
其特征在于，所述目标物体是包括多个翼面的涡轮组件，每一集合中的所述图像描绘所述涡轮组件的共用翼面。
14.根据权利要求13所述的系统，其特征在于，所述不同集合的所述图像描绘所述目标物体的不同部分。
15.根据权利要求13所述的系统，其特征在于，所述目标物体是车轮、发动机的轴或包括多个叶片的转子组件中的一个或多个，所述不同集合中的每一个中的所述图像描绘所述车轮的共用区域、所述轴的共用区域或所述转子组件的共用叶片。
16.根据权利要求13所述的系统，其特征在于，存储在所述存储器中的所述人工神经网络是长短期记忆神经网络。
17.根据权利要求13所述的系统，其特征在于，所述一个或多个处理器被配置成基于所述目标物体的旋转速度并基于成像装置随着时间推移获得所述图像的帧获取速率而将所述图像分组成所述不同集合。
18.一种图像分析方法，包括：
经由旋转的转子组件的多个绕转获得所述转子组件的视频，所述视频包括随着时间推移的一系列图像帧，所述转子组件包括多个叶片；
将所述视频的所述图像帧分组成多个不同图像帧集合，所述不同集合中的每一个中的所述图像帧描绘所述转子组件的共用叶片，在所述转子组件的不同绕转期间获得每一集合中的所述图像帧中的至少一些；和
使用人工神经网络来检验所述多个图像帧集合中的至少第一集合中的所述图像帧以供通过所述人工神经网络对所关注物体进行自动辨识，其中所述第一集合中的所述图像帧描绘所述转子组件的第一叶片，且所述人工神经网络被配置成辨识所述第一叶片上的剥落或裂缝中的至少一个以作为所关注物体。
19.根据权利要求18所述的方法，其特征在于，进一步包括响应于所述人工神经网络辨识所述第一叶片上的剥落或裂缝中的至少一个，将信号输出到具有一个或多个处理器的控制器以进行以下操作中的一个或多个：自动地计划针对所述转子组件的维护，或自动地停止所述转子组件的旋转。
20.根据权利要求18所述的方法，其特征在于，所述不同集合的所述图像帧描绘所述转子组件的不同叶片。
CN201810492159.8A 2017-05-22 2018-05-21 图像分析神经网络系统 Active CN108932711B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/600948 2017-05-22
US15/600,948 US10445871B2 (en) 2017-05-22 2017-05-22 Image analysis neural network systems

Publications (2)

Publication Number Publication Date
CN108932711A CN108932711A (zh) 2018-12-04
CN108932711B true CN108932711B (zh) 2022-01-14

Family

ID=62385998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810492159.8A Active CN108932711B (zh) 2017-05-22 2018-05-21 图像分析神经网络系统

Country Status (4)

Country Link
US (1) US10445871B2 (zh)
EP (1) EP3407253A1 (zh)
CN (1) CN108932711B (zh)
CA (1) CA3004577A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755401B2 (en) 2018-12-04 2020-08-25 General Electric Company System and method for work piece inspection
CN111435418B (zh) * 2018-12-26 2024-01-02 深圳市优必选科技有限公司 机器人个性化物体识别方法、装置、存储介质及机器人
CA3136674C (en) * 2019-04-09 2024-02-13 Purdue Research Foundation Methods and systems for crack detection using a fully convolutional network
TWI719713B (zh) * 2019-11-14 2021-02-21 緯創資通股份有限公司 物件偵測方法、電子裝置與物件偵測系統
US11983891B2 (en) * 2020-02-25 2024-05-14 Nippon Telegraph And Telephone Corporation Moving target tracking device, moving target tracking method, moving target tracking system, learning device, and program
US11295430B2 (en) 2020-05-20 2022-04-05 Bank Of America Corporation Image analysis architecture employing logical operations
US11379697B2 (en) 2020-05-20 2022-07-05 Bank Of America Corporation Field programmable gate array architecture for image analysis
CN112131794A (zh) * 2020-09-25 2020-12-25 天津大学 基于lstm网络的水工建筑物多效应量优化预测及可视化方法
US20220314492A1 (en) * 2021-04-05 2022-10-06 Sysdyne Technologies LLC Concrete mixer truck drum rotation measurement using camera
US11790508B2 (en) 2021-04-21 2023-10-17 Baker Hughes Holdings Llc Computer vision predictions for non-destructive testing
WO2023086381A1 (en) * 2021-11-10 2023-05-19 Rhinestahl Cts Electronic positioning system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175818B1 (en) * 1996-05-29 2001-01-16 Domain Dynamics Limited Signal verification using signal processing arrangement for time varying band limited input signal
US7454321B1 (en) * 2002-01-07 2008-11-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Robust, optimal subsonic airfoil shapes
CN102854191A (zh) * 2012-07-18 2013-01-02 湖南大学 高速铁轨表面缺陷的实时视觉检测与识别方法
CN104608799A (zh) * 2014-12-12 2015-05-13 郑州轻工业学院 基于信息融合技术列车轮对踏面损伤在线检测与识别方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5444796A (en) 1993-10-18 1995-08-22 Bayer Corporation Method for unsupervised neural network classification with back propagation
GB0514108D0 (en) * 2005-07-08 2005-08-17 Rolls Royce Plc A monitoring arrangement
GB0612246D0 (en) * 2006-06-21 2006-08-02 Aew Delford Systems Vision system using strobed illumination
FR2949220B1 (fr) * 2009-08-21 2011-09-09 Snecma Procede et systeme de detection de l'ingestion d'un objet par un turboreacteur d'avion au cours d'une mission
US20140003939A1 (en) * 2011-03-15 2014-01-02 Purdue Research Foundation Load shape control of wind turbines
US9453500B2 (en) * 2013-03-15 2016-09-27 Digital Wind Systems, Inc. Method and apparatus for remote feature measurement in distorted images
US10783900B2 (en) 2014-10-03 2020-09-22 Google Llc Convolutional, long short-term memory, fully connected deep neural networks
CN104636751A (zh) 2014-12-11 2015-05-20 广东工业大学 基于时间递归神经网络的人群异常检测和定位系统及方法
EP3265885A4 (en) * 2015-03-03 2018-08-29 Prenav Inc. Scanning environments and tracking unmanned aerial vehicles
US20160350653A1 (en) 2015-06-01 2016-12-01 Salesforce.Com, Inc. Dynamic Memory Network
WO2016206765A1 (en) 2015-06-26 2016-12-29 Sentiance Nv Deriving movement behaviour from sensor data
CN105279495B (zh) 2015-10-23 2019-06-04 天津大学 一种基于深度学习和文本总结的视频描述方法
CN105550699B (zh) 2015-12-08 2019-02-12 北京工业大学 一种基于cnn融合时空显著信息的视频识别分类方法
CN106096568B (zh) 2016-06-21 2019-06-11 同济大学 一种基于cnn和卷积lstm网络的行人再识别方法
US20180122060A1 (en) * 2016-11-02 2018-05-03 Rolls-Royce Corporation Automated inspection protocol for composite components

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175818B1 (en) * 1996-05-29 2001-01-16 Domain Dynamics Limited Signal verification using signal processing arrangement for time varying band limited input signal
US7454321B1 (en) * 2002-01-07 2008-11-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Robust, optimal subsonic airfoil shapes
CN102854191A (zh) * 2012-07-18 2013-01-02 湖南大学 高速铁轨表面缺陷的实时视觉检测与识别方法
CN104608799A (zh) * 2014-12-12 2015-05-13 郑州轻工业学院 基于信息融合技术列车轮对踏面损伤在线检测与识别方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Deep Learning and Its Applications to Machine Health Monitoring: A Survey;Rui Zhao 等;《JOURNAL OF LATEX CLASS FILES》;20150831;第14卷(第8期);第1-14页 *
Pairwise Decomposition of Image Sequences for Active Multi-View Recognition;Edward Johns 等;《2016 IEEE Conference on Computer Vision and Pattern Recognition》;20160627;第3813-3822页 *
Rotating Machinery Diagnostics using Deep Learning on Orbit Plot Images;Haedong Jeong 等;《Procedia Manufacturing》;20160101;第5卷;第1107-1118页第4节 *
基于神经网络的旋转机械振动故障诊断;唐贵基 等;《机械工程师》;20120131;第40-42页 *

Also Published As

Publication number Publication date
US10445871B2 (en) 2019-10-15
CA3004577A1 (en) 2018-11-22
CN108932711A (zh) 2018-12-04
EP3407253A1 (en) 2018-11-28
US20180336674A1 (en) 2018-11-22

Similar Documents

Publication Publication Date Title
CN108932711B (zh) 图像分析神经网络系统
CN109003253B (zh) 神经网络点云生成系统
US10504220B2 (en) Neural network feature recognition system
EP3776462B1 (en) System and method for image-based target object inspection
US10262236B2 (en) Neural network training image generation system
US10475174B2 (en) Visual anomaly detection system
US10268913B2 (en) Equipment damage prediction system using neural networks
CN110334886B (zh) 基于深度学习的设备诊断系统和方法
US10482609B2 (en) Optical flow determination system
US20180253866A1 (en) Image analysis neural network systems
EP3664023A1 (en) System and method for work piece inspection
US10691985B2 (en) Machine learning system for in-situ recognition of common locations in a rotatable body with repeating segments
US20190360942A1 (en) Information processing method, information processing apparatus, and program
JPWO2009102001A1 (ja) 鳥類探査システム、鳥類探査方法およびコンピュータプログラム
Shafi et al. Internal defects detection and classification in hollow cylindrical surfaces using single shot detection and MobileNet
CN114595738A (zh) 为识别模型生成训练数据的方法和生成识别模型的方法
CN117647526A (zh) 一种风力发电机叶片表面缺陷检测方法及装置
JP2011108105A (ja) 画像データ処理装置およびコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant