CN117918026A - 包括自动特征检测和分类的检查工具 - Google Patents

包括自动特征检测和分类的检查工具 Download PDF

Info

Publication number
CN117918026A
CN117918026A CN202280047516.4A CN202280047516A CN117918026A CN 117918026 A CN117918026 A CN 117918026A CN 202280047516 A CN202280047516 A CN 202280047516A CN 117918026 A CN117918026 A CN 117918026A
Authority
CN
China
Prior art keywords
image data
inspection tool
user interface
classification
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280047516.4A
Other languages
English (en)
Inventor
K·M·基冈
P·林肯
J·E·阿伯特
C·U·马丁内斯
D·E·恩德安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Milwaukee Electric Tool Corp
Original Assignee
Milwaukee Electric Tool Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Milwaukee Electric Tool Corp filed Critical Milwaukee Electric Tool Corp
Publication of CN117918026A publication Critical patent/CN117918026A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

用于根据图像数据确定分类的系统和方法。在实施例中,基于对象的音频数据处理系统包括处理器,该处理器被配置为从检查相机接收从关注区域收集的图像数据,通过模型处理该图像数据以确定该关注区域的方面的分类,该模型是用先前接收的图像数据和相应的先前接收或确定的分类来训练的,基于该分类确定该方面的标签,并将该标签和该图像数据提供到用户界面。

Description

包括自动特征检测和分类的检查工具
相关申请的交叉引用
本申请要求于2022年6月15日提交的美国临时专利申请号63/210,839的权益,该美国临时专利申请的全部内容通过援引并入本文。
背景技术
检查工具包括用于执行无损检测(NDT)以收集关于特定系统状况的信息的各种类型的设备。
发明内容
检查工具可以包括控制系统和比如相机、换能器、温度计和压力计等各种传感器。例如,管线检查工具安装在管线内部,并且可以用于识别堵塞和破损,以及比如材料、接头、坡度估计等管道方面。可以采用其他检查工具在改造期间查看建筑工地上的各个方面和环境(比如结构或墙壁后面)。还可以采用其他检查工具来查看机动车辆(例如,汽车)或电气工作(例如,穿过墙壁的布线和电线管)的各个方面。许多检查工具允许用户经由例如(有线或无线地)连接检查系统(例如,控制集线器或支架)的显示器或监视器来手动输入标签。
因此,本披露的实施例总体涉及各种检查工具和系统,其中,采用机器学习分类器来对经由各种传感器收集的信息进行分类。在一些实施例中,机器学习分类器处理从相机接收的数据以确定应用于对象或环境的各个方面的标签。
例如,被配置为收集和处理来自管道的信息的检查工具可以采用可以插入管道中的各种传感器,比如相机。在一些实施例中,机器学习分类器处理从传感器接收到的所收集的数据(例如,图像数据),以确定和标记例如管道的类型(例如,聚氯乙烯(PVC)、铜、黑铁管等)以及路径方面(例如转弯、与其他管道的连接、斜坡等)。在一些实施例中,机器学习分类器可以处理所收集的数据以确定和标记管道或路径的其他方面,比如堵塞、裂缝、根茎、流体积聚、流体流动、磨损、过渡、连接管道、接头、偏移接头、不对准、内衬、腹形管道、泄漏、材料变化(例如,管道类型从铜变为黑铁)等。
作为另一示例,检查工具可以被配置为收集和处理建筑工地中的信息,以确定/检测并标记例如电线、螺柱、钉子、裂缝、日光、管道、软管、出口、螺钉、材料层、管道的转弯和连接等。在另一示例中,检查工具可以被配置为收集并处理来自电机或其他类型的工业机器的信息,以确定/检测并标记例如裂缝、划痕、缺陷、磨损、泄漏、掉落的插座(尤其是10mm插座)等。在另一示例中,检查工具可以被配置为收集和处理用于鱼胶带或电气用途的信息,以确定/检测并标记例如接线盒、转弯、连接、日光等。其他示例包括使用检查工具来辅助清洁排水管和管道、进行管道输送、内部管道焊接和切割(例如,经由等离子体切割)等。在一些示例中,检查工具可以是不受束缚的并且远程、半自主或自主地受控制。
应当理解,根据本披露的方法可以包括本文描述的方面和特征的任何组合。即,根据本披露的方法不限于本文具体描述的方面和特征的组合,还可以包括所提供的方面和特征的任何组合。
在附图和以下描述中阐述了本披露的一个或多个实施方式的细节。本披露的其他特征和优点将根据描述和附图以及权利要求而变得明显。
在详细解释任何实施例之前,应该理解的是,本披露并不将其应用限制在以下说明中阐述的或在以下附图中展示出的构造细节和部件布置中。本披露的各方面能够具有其他实施例并且能够以各种方式来实践或执行。而且,应当理解的是,本文使用的措词和术语是出于描述的目的,并且不应被视为受限制的。本文中使用“包括(including/comprising)”、或“具有(having)”及其变化形式意在涵盖其后列出的项目及其等效物,以及附加项目。术语“安装”、“连接”、“支撑”和“耦接”被广泛地使用并且涵盖直接和间接的安装、连接和耦接。进一步地,“连接”和“耦接”不限于物理或机械的连接或耦接,并且可以包括电连接或耦接,无论是直接的还是间接的。如在本披露和所附权利要求中所使用的,除非上下文中另有明确指明,否则单数形式的“一种”、“一个”以及“该”包括复数个提及的对象。除非另有陈述,否则本文中对“或”的任何提及旨在涵盖“和/或”。
应当注意,可以利用多个基于硬件和软件的设备以及多个不同结构部件来实施本披露的方面。此外,并且如在后续的段落中所描述的,附图中所展示的特定配置旨在举例说明本披露内容的实施例并且其他替代配置是可能的。除非另有陈述,否则术语“处理器”、“中央处理单元”和“CPU”是可互换的。在使用术语“处理器”或“中央处理单元”或“CPU”来指明执行特定功能的单元的情况下,应理解,除非另有陈述,否则那些功能可以由单一处理器或由以任何形式布置的多个处理器(包括并行处理器、串行处理器、串联处理器或云处理/云计算配置)来实施。
如本文所使用的,术语“实时”是指考虑系统的处理限制、准确获得数据和图像所需的时间以及数据和图像的变化率,在无故意延迟的情况下传输或处理数据。在一些示例中,“实时”用于描述从本披露的实施例的部件获得的信息的呈现。
附图说明
图1展示了根据本文描述的实施例的第一检查工具系统。
图2展示了根据本文描述的实施例的第二检查工具系统。
图3展示了根据本文描述的实施例的第三检查工具系统。
图4A和图4B展示了根据本文描述的实施例的第四检查工具系统。
图4C展示了根据本文描述的实施例的第四检查工具系统。
图5A是根据本文描述的实施例的图1至图4C的检查工具系统中的示例检查工具的框图。
图5B是根据本文描述的实施例的图5A的电动工具的机器学习控制器的框图。
图6A和图6B描绘了根据本文描述的实施例的可以在检查工具系统内采用的示例过程的流程图。
具体实施方式
图1展示了第一检查工具系统100。第一检查工具系统100包括检查工具105、外部设备107、服务器110和网络115,该检查工具具有至少一个传感器102、壳体104、显示器或用户界面106。传感器102在检查工具105操作期间收集环境数据。环境数据是指例如关于传感器102放置在其内的环境的数据。例如,传感器102可以位于管道或管子内部、结构后面、机器或电机内部等,并用于从部署到的环境收集比如图像、温度读数、压力读数、位置信息等数据。
在所示的实施例中,检查工具105与外部设备107通信。外部设备107可以包括例如智能电话、平板计算机、蜂窝电话、膝上型计算机、智能手表等。检查工具105与外部设备107通信,例如,以发送检查工具105的环境数据的至少一部分、接收检查工具105的配置信息、或其组合。在一些实施例中,外部设备可以包括用于与检查工具105通信的短距离收发器以及用于与服务器110通信的长距离收发器。在所示实施例中,检查工具105也包括收发器以例如经由诸如等短距离通信协议与外部设备进行通信。在一些实施例中,外部设备107桥接检查工具105与服务器110之间的通信。即,检查工具105将环境数据发送到外部设备107,并且外部设备107将来自检查工具105的环境数据通过网络115转发到服务器110。网络115可以是长距离无线网络,比如因特网、局域网(LAN)、广域网(WAN)或其组合。在其他实施例中,网络115可以是短距离无线通信网络,并且在又一些实施例中,网络115可以是例如使用USB电缆的有线网络。类似地,服务器110可以将信息发送到外部设备107以转发到检查工具105。在一些实施例中,作为短距离收发器的替代或补充,检查工具105配备有长距离收发器。在这样的实施例中,检查工具105直接与服务器110通信。在一些实施例中,检查工具105可以直接与服务器110和外部设备107两者进行通信。在这样的实施例中,例如,外部设备107可以生成图形用户界面以促进对检查工具105的控制和编程,而服务器110可以存储和分析更大量的环境数据以用于检查工具105的未来编程或操作。然而,在其他实施例中,检查工具105可以直接与服务器110通信,而不利用与外部设备107的短距离通信协议。
服务器110包括服务器电子控制组件,该服务器电子控制组件具有服务器电子处理器425、服务器存储器430、收发器和机器学习分类器120。收发器允许服务器110与检查工具105、外部设备107、或这两者进行通信。服务器电子处理器425从检查工具105接收环境数据(例如,经由外部设备107),将接收到的工具环境数据存储在服务器存储器430中,并且在一些实施例中,使用接收到的工具环境数据来构建或调整机器学习分类器120。
机器学习分类器120实施机器学习程序。机器学习分类器120被配置为基于示例输入来构建模型(例如,构建一个或多个算法)。监督学习涉及向计算机程序提供示例输入及其实际输出(例如,类别)。机器学习分类器120被配置为学习基于所提供的示例输入-输出对将输入映射到输出的一般规则或模型。机器学习算法可以被配置为使用各种类型的方法来执行机器学习。例如,机器学习分类器120可以使用决策树学习、关联规则学习、人工神经网络、循环人工神经网络、长短期记忆神经网络、归纳逻辑编程、支持向量机、聚类、贝叶斯网络、强化学习、表示学习、相似性和度量学习、稀疏字典学习、遗传算法、k-最近邻(KNN)等(比如下表1中列出的那些)来实施机器学习程序。
机器学习分类器120被编程和训练以执行特定任务。例如,在一些实施例中,机器学习分类器120被训练以标记检查工具105部署到的环境(例如,在管道内)的各种对象或其他方面。训练机器学习分类器120所针对的任务可以基于例如检查工具的类型、来自用户的选择、检查工具所用于的典型应用等而变化。类似地,机器学习分类器120的训练方式也基于特定任务而变化。特别地,用于训练机器学习分类器的训练样例可以包括不同的信息,并且可以基于机器学习分类器120的任务而具有不同的维度。在机器学习分类器120被配置为识别部署到的环境的各方面的上述示例中,每个训练样例可以包括一组输入,比如从其他类似环境(例如,其他管道或管子)收集的数据。每个训练样例还包括指定的输出。例如,当机器学习分类器130识别管道中的裂缝时,训练样例可以具有包括特定标签的输出,该标签与所识别的方面(比如“裂缝”)相关联。训练样例可以是从例如多个相同类型的检查工具中预先收集的训练样例。例如,训练样例可能先前已经在例如一年的跨度内从例如两百个相同类型的检查工具(例如,管道检查工具)收集。
向机器学习分类器120提供多个不同的训练样例。机器学习分类器120使用这些训练样例来生成有助于基于新输入数据对输出进行分类或估计的模型(例如,规则、一组方程等)。机器学习分类器120可以对不同的训练样例施加不同的权重,例如,对来自机器学习分类器120的不同状况或输出进行优先级排序。例如,与管道中的裂缝相对应的训练样例的权重可以比与管道通路中的弯曲或弯折相对应的训练样例的权重更大,以相对于弯曲剥落状况优先考虑裂缝的正确识别。在一些实施例中,通过将不同的成本函数或值与特定的训练样例或训练样例类型相关联,对各训练样例施加不同的权重。
在一个示例中,机器学习分类器120实施人工神经网络。人工神经网络通常包括输入层、多个隐藏层或节点以及输出层。通常,输入层包括与提供给机器学习分类器120的输入一样多的节点。如上所述,提供给机器学习分类器120的输入的数量(和类型)可以基于机器学习分类器120的特定任务而变化。相应地,基于机器学习分类器120的特定任务,机器学习分类器120的人工神经网络的输入层可以具有不同数量的节点。输入层连接到隐藏层。隐藏层的数量会变化并且可能取决于机器学习分类器120的特定任务。另外,每个隐藏层可能具有不同数量的节点,并且可能以不同方式连接到下一层。例如,输入层的每个节点可以连接到第一隐藏层的每个节点。输入层的每个节点与第一隐藏层的每个节点之间的连接可以被指派权重参数。另外,还可以为神经网络的每个节点指派偏置值。然而,第一隐藏层的每个节点可能不连接到第二隐藏层的每个节点。即,可能有第一隐藏层的一些节点未连接到第二隐藏层的所有节点。第一隐藏层的节点与第二隐藏层的节点之间的连接分别被指派不同的权重参数。隐藏层的每个节点都与激活函数相关联。激活函数定义隐藏层如何用于处理从输入层或前一个输入层接收到的输入。这些激活函数可以变化,并且不仅基于与机器学习分类器120相关联的任务的类型,而且还可以基于所实施的隐藏层的特定类型而变化。
每个隐藏层可以执行不同的功能。例如,一些隐藏层可以是在一些情况下可以减少输入的维数的卷积隐藏层,而其他隐藏层可以执行更多的统计功能,比如最大池化,其可以将一组输入减少到最大值平均层等。在一些隐藏层(也称为“密集层”)中,每个节点都连接到下一个隐藏层的每个节点。包括多于例如三个隐藏层的一些神经网络可以被认为是DNN。最后一个隐藏层连接到输出层。与输入层类似,输出层通常具有与可能的输出相同数量的节点。在机器学习分类器120识别部署到的环境的对象或方面的上述示例中,输出层可以包括例如四个节点。第一节点可以指示管道中的裂缝,第二节点可以指示管道中的弯折或弯曲,第三节点可以指示与另一管道的接合处,并且第四节点可以指示未知(或无法识别)的对象。在一些实施例中,机器学习分类器120然后选择具有最高值的输出节点并向检查工具105或向用户指示对应的标签。在一些实施例中,机器学习分类器120还可以选择多于一个输出节点。机器学习分类器120或电子处理器550然后可以使用多个输出来控制检查工具500。例如,机器学习分类器120可以识别管道中的裂缝并确定应当应用标签“裂缝”。然后,机器学习分类器120或电子处理器550可以将标签提供给例如向外部设备107或检查工具105。机器学习分类器120和电子处理器550可以实施将来自机器学习分类器120的输出进行组合的不同方法。
在训练期间,人工神经网络接收训练样例的输入,并使用每个节点的偏置以及各节点之间的连接和对应权重来生成输出。然后,人工神经网络将生成的输出与训练样例的实际输出进行比较。基于生成的输出和训练样例的实际输出,神经网络改变与每个节点连接相关联的权重。在一些实施例中,神经网络还在训练期间改变与每个节点相关联的权重。训练继续进行,直到满足训练条件。训练条件可以对应于例如使用了预定数量的训练样例、在训练和验证期间达到了最小准确度阈值、完成了预定数量的验证迭代等。不同类型的训练算法可以用于基于训练样例来调整节点连接的偏置值和权重。训练算法可以包括例如梯度下降法、牛顿法、共轭梯度法、拟牛顿法、列文伯格-马夸尔特等,再次参见表1。
在另一示例中,机器学习分类器120可以通过更传统的计算机视觉算法来实施,比如尺度不变特征变换(SIFT)、SURF、定向的基于加速分割测试的特征(FAST)和旋转的二进制鲁棒独立基本特征(BRIEF)(ORB)等。在另一示例中,机器学习分类器120可以采用transformer或基于注意力的网络的形式。在另一示例中,机器学习分类器120可以包括二元决策(例如,裂缝的存在)、多个标签之间的决策(例如,什么最好地描述了环境的区域)、多重分类问题(识别环境的所有正确的特性)或视觉分类问题(识别像素或识别与环境特性相关联的适当边界)(参见图6A)。
在另一示例中,机器学习分类器120可以基于图像的颜色或亮度的分布来确定视觉分类。例如,可以使用像素颜色、阴影或饱和度到逻辑块中的直方图或其他汇总方法(例如,粗逻辑、DNN、随机森林、决策树、KNN、逻辑回归等)来分类环境的某个方面,比如管道中的裂缝(参见图6B)。
在一些实施例中,机器学习分类器120经由RNN和注意力网络对所收集的音频分类进行分类。在一些实施例中,机器学习分类器120识别图像中的“事物”或事物组是否是所关注的。在另一示例中,机器学习分类器120可以识别各种边界。
在一些实施例中,可以对输入图像进行减小或下采样,并且可以不对每一帧都进行分析。在一些实施例中,所分析的帧或样本的频率和/或此类帧或样本的分辨率可以基于例如以下项来修改:1)遍历的速度(因为可以基于从旋转传感器接收到的信息来确定深度),2)最近看到的关注对象,以及3)设备设置(例如,由用户、公司、组、管理员等确定的设置)。
在一些实施例中,至少一个传感器可以包括麦克风、电感传感器、电容传感器、磁力计、温度传感器、湿度传感器、电接触传感器、运动传感器等以及相机。在一些实施例中,机器学习分类器120可以独立接收来自这些传感器的环境数据或者还有由相机提供的图像,这是确定特定分类和标签的过程。例如,PCV不会表现出电感效果,水的存在可以触发电接触传感器以识别潮湿,或者流水的声音可以有助于对流水进行分类。
支持向量机的训练样例包括输入向量,该输入向量包括输入变量的值和输出分类(例如,管道中的裂缝)。在训练期间,支持向量机选择使余量最大化的支持向量(例如,输入向量的子集)。在一些实施例中,支持向量机可能能够定义准确地分离裂缝与其他方面的线或超平面。然而,在其他实施例中(例如,在不可分离的情况下),支持向量机可以定义使余量最大化并且使松弛变量最小化的线或超平面,这些松弛变量衡量支持向量机的分类中的误差。在训练了支持向量机之后,可以将新输入数据与线或超平面进行比较以确定如何对新输入数据进行分类(例如,确定管道是否具有裂缝)。在其他实施例中,如上所述,机器学习分类器120可以实施不同的机器学习算法以基于一组输入数据进行估计或分类。下表2列出了输入数据、处理技术和机器学习算法配对的一些示例。在下表中列为时间序列数据的输入数据包括例如本文描述的时间序列工具环境数据的各种示例中的一个或多个。
在图1的示例中,服务器110从检查工具105接收环境数据。在一些实施例中,服务器110使用接收到的环境数据作为附加训练样例(例如,当实际值或分类也已知时)。在其他实施例中,服务器110将接收到的环境数据发送到训练后的机器学习分类器120。然后,机器学习分类器120用于对环境的各个方面进行分类并基于输入环境数据确定这些方面的标签。例如,训练后的机器学习分类器120可以处理接收到的图像数据以确定管道中已经形成裂缝。服务器110然后可以将针对所确定的分类(例如,“裂缝”)的建议标签发送到外部设备107。外部设备107可以提示用户询问是否想要包括标签。外部设备107还可以提示用户另外的选项,例如“不是裂缝”、“其他”、“忽略”、“不确定”等。另外,用户对某些选项(例如“不确定”)的选择可以触发将图像或镜头片段发送给另一用户或用户网络的提示。此外,选择选项(例如,“裂缝”或“不是裂缝”)可以用作反馈和(重新)训练算法的正面或负面样例。可替代地,在一些实施例中,分类(特别是如果有问题的话)可以不在检查期间出现,而是在检查发生之后、比如在查看视频时出现。在这样的示例中,将向训练后的机器学习分类器120提供另外的时间来分析接收到的环境数据。在一些实施例中,外部设备107提供基于音频的UI,使得用户可以在操作期间口头地确认、否认、调整、添加或移除标签。
在一些实施例中,当机器学习分类器120处理从检查工具105接收到的环境数据时,外部设备107从服务器110实时接收标签。在一些实施例中,外部设备107自动将接收到的标签应用于所收集的数据(例如,视频),该数据经由用户界面显示。在一些实施例中,所应用的标签被存储为与对应所收集的数据(例如,在视频内)相关联的元数据。在一些实施例中,元数据被存储在一个或多个文件中。在一些实施例中,元数据与对应所收集的数据分开存储。在一些实施例中,对于视频数据,标签可以与以下项相关联:每个帧或样本、每第n帧、一组优选连续的帧(例如,连续10帧)、与一个或多个帧相关联的时间戳、或与数据被收集或被标记时的实际时间相关联的时间戳。
在一些实施例中,当从服务器110向外部设备107提供标签(例如,已经识别出环境的一个方面)时,外部设备107向用户提供警报(例如,音频、触觉或视觉警报)。例如,视觉警报可以包括屏幕闪烁、在显示器上突出显示的边框、弹出分类、在视频或图像中的对象周围的边框等。
在一些实施例中,外部设备107可以基于接收到的标签向检查工具105提供指令。例如,外部设备107可以指示检查工具105减慢馈送速率,以便允许用户有更多的时间来查看馈送内容。作为另一示例,当识别出关注的特定事物时,外部设备107可以指示检查工具105进行缩放、平移、旋转、切换(如果有多个相机的话)、改变颜色、照明(例如,调整亮度)等,以帮助查看或将注意力吸引到关注的事物。在一些实施例中,外部设备107可以向检查工具105提供指令以制动滚筒,从而迫使用户暂停。
在一些实施例中,外部设备107可以在显示器上向用户提供选项以辅助用户选择方向或对设备进行导航。在一些实施例中,用户可以输入期望的路径,并且外部设备107指示检查设备105尝试成功地导航该路径(例如,特定的尝试和缩回以及重新尝试)。在一些实施例中,关于正确路径是否到达外部设备107和/或检查设备105的检测可以采用停止、查看、评估、管理(SLAM)技术、运动传感器(例如,加速计、陀螺仪等)来识别和跟踪环境(例如管道)内部的视觉特征。
作为另一示例,当识别出关注的特定对象时,外部设备107在显示器上增强(例如,突出显示;添加边框,提供缩放效果)对象的可视化。在一些实施例中,增强被保存为视频的一部分。在一些实施例中,增强不被保存为视频的一部分以便保留原始图像。在一些实施例中,增强可以被单独存储并取得以供稍后观看视频(例如,保存为另一层、保存在元数据中或保存到单独的文件中)。
在一些实施例中,在外部设备107从服务器110接收标签时显示数据的情况下,可以更改所收集的数据的各种参数。例如,外部设备107可以基于接收到的标签改变(或向检查设备105提供指令以更改)照明、数字对比度、数字分辨率、数字亮度、颜色映射、帧速率(例如,以允许更高质量或更清晰的图像)等。
在一些实施例中,外部设备107可以基于接收到的标签来执行动作。例如,可以基于指示检测到对象的标签而保存具有更高分辨率或更少压缩的视频、图像或声音的区域或部分(无论是在时间上还是逐帧、还是帧的特定部分)。作为另一示例,可以降低转发速度并且可以暂停或停止转发的进程。
在一些实施例中,外部设备107可以经由诸如YOLO、Mask R-CNN、R-CNN、Faster R-CNN等定位算法来实时增强视频。这种增强可以是框、掩膜或轮廓。在一些实施例中,通过采用计算机视觉,可以确定各种已识别方面和对象(例如,裂缝、缺陷、根茎等)的测量结果。在一些实施例中,外部设备107将全球定位系统(GPS)数据、从惯性测量单元接收到的信息以及距卷轴的距离相结合,以使用卡尔曼滤波器确定摄像头的定位和位置。在一些实施例中,GPS可以位于控制集线器或摄像头上。在一些实施例中,惯性测量单元可以位于摄像头上。
在一些实施例中,所确定的标签可以与传感器的深度(延伸)或分类的定位相关联。在一些实施例中,分类的定位可以基于航位推算,其中,从旋转滚筒获知传感器(例如,加速计、陀螺仪、磁力计等)的延伸,并且传感器模块提供方向输入。在一些实施例中,传感器使用重物被动地自调平以确保其与平面(例如地平线)水平。在一些实施例中,采用检测与自调平方案相关联的旋转的传感器来收集关于例如管道何时转弯或用户何时转动电缆的信息。在一些实施例中,关于这些运动的数据被提供给机器学习分类器120以提供关于传感器的位置的进一步信息。在一些实施例中,由机器学习分类器120确定的分类的定位可以基于位置检测装置(例如,探测器)。例如,当管道穿过地下水位以下的土地区域时,探测器的信号强度可能会减弱(与干燥沙地相比)。
在一些实施例中,所确定的标签与比如工地或检查的日期和时间等项目数据相关联。例如,所确定的标签可以用于将工地标记为“该工地已有两条识别出的裂缝并且管道是PVC的”。在一些实施例中,所确定的标签与特定的一个或多个帧的特定区域相关联。例如,管道的两侧都存在裂缝。
在一些实施例中,外部设备107可以将检查工具105经由传感器102收集的图像与例如航位推算拼接在一起。在这样的实施例中,延伸传感器(例如,管线滚筒)可以用于一维(1D)运动。在一些实施例中,传感器102是自调平的并且将传感器102定向到管道的底部。在这样的实施例中,为了简化拼接,可以假定标称的潜在恒定的管道直径,可以假定管道除了在接头处之外基本上是笔直的,或者可以将管道显示为完全笔直的并且唯一的因子是通过管道的1D行进路径。在一些实施例中,利用SLAM技术(例如,光检测和测距(LIDAR)、图像合成、具有运动或深度感测的传感器融合)来执行拼接。在一些实施例中,选择一致的照明或其他视觉方面以进行拼接,从而改善关注的对象的整体视图。
在一些实施例中,拼接可以产生管道或管子的三维(3D)蛇状表示,其中,可以假定管道直径为标称尺寸,使得图像像素可以被映射到管状结构并且3D表示可以不映射到管子,以便可以表示3D物理对象(例如,根茎)。在一些实施例中,拼接可以产生整个系统(例如,在墙壁后面)的3D非蛇状表示。在一些实施例中,拼接可以产生二维(2D)、恒定直径的管道或管子,使得管道或管子可以“展开”成考虑例如接头的1D图像,在接头处,管道或管子沿多个方向延伸。在一些实施例中,一旦展开,该1D图像可能看起来像“树”。
在一些实施例中,基于定位将图像拼接在一起,并且提供拼接图像的视频或循环状动画,其示出例如时间流逝(例如,经由示出流水的动画,或将可能由于照明不同而表现得不同的图像‘拼接’在一起)。在一些实施例中,这样的动画可以用于示出管道的管道段的早期图像,其动画化为管道的后期图像。
在一些实施例中,可以采用3D、2D或1D拼接过程来提供距离和空间的估计,以准确地产生管道或管子的形状。在一些实施例中,标签可以与管道或管子的各个方面相关联。例如,标签可以沿着管道在空间上放置;经由边界、框或边框提供;经由标注表示;用于通过突出显示管道或管子中不太关注的部分或降低其饱和度来增强拼接效果。在一些实施例中,拼接可以裁剪或压缩管道或管子以仅聚焦于关注的区域。
在一些实施例中,随着时间的推移,可以利用新的样例、不同的分类(例如,新的标签)、改进的模型结构来改进训练后的机器学习分类器120。具体地,在图1所示的实施例中,服务器电子控制组件采用分布式学习技术来合并从多个用户接收的训练。例如,某些用户(尤其是那些被认为更熟练的用户)提供的反馈的权重更大。在一些实施例中,服务器电子控制组件采用特定分类的历史普遍性(例如,该用户通常看到裂缝,但看不到根茎)作为训练后的机器学习分类器120的训练中的因子。
在一些实施例中,传感器102的检测波长的变化或通过声纳成像可以透视以允许非金属管道(比如远IR成像)。除了现有问题之外,这将有助于检测即将发生的问题(比如附近即将破坏管道的根茎)。在一些实施例中,检查工具105将音频信号广播到管道中以测量声音,该声音被提供在环境数据内以供机器学习分类器120处理。在一些实施例中,传感器102包括电极以对环境通电,并辅助检测环境的定位(例如,利用其中通电管道充当天线的探测器)。在一些实施例中,通电过程本身可以通过例如测量连接的电阻以检测裂缝或断裂来辅助机器学习分类器120诊断问题,并且可以补充本文描述的视觉技术。
图2展示了第二检查工具系统200。第二检查工具系统200包括检查工具205、外部设备107、服务器210和网络215,该检查工具具有至少一个传感器202、壳体204、显示器或用户界面206。检查工具205类似于图1的检查工具系统100的电动工具,并收集与关于图1描述的类似的环境数据。与第一检查工具系统100的检查工具105不同,第二检查工具系统200的检查工具205包括静态机器学习分类器220。在所示实施例中,检查工具205通过网络215从服务器210接收静态机器学习分类器220。在一些实施例中,检查工具205在制造期间接收静态机器学习分类器220,而在其他实施例中,检查工具205的用户可以选择在检查工具205已经制造之后接收静态机器学习分类器220,并且在一些实施例中,在检查工具205的操作之后接收。静态机器学习分类器220是类似于训练后的机器学习分类器120的训练后的机器学习分类器,其中,机器学习分类器120已经使用各种训练样例进行训练,并且被配置为接收新的输入数据并针对新输入数据生成估计或分类。
检查工具205经由例如上文关于图1描述的外部设备107与服务器210通信。外部设备107还可以向检查工具205提供附加功能(例如,生成图形用户界面)。检查工具系统200的服务器210可以采用来自与检查工具205类似的检查工具的环境数据(例如,当检查工具205是管道检查工具时,服务器210可以从各种其他管道检查工具接收环境数据),并且使用从检查工具接收到的环境数据中的训练样例来训练机器学习程序。然后,服务器210将训练后的机器学习程序发送到检查工具205的机器学习分类器220,以便在检查工具205的未来操作期间执行。
相应地,静态机器学习分类器220包括例如在制造时提供的训练后的机器学习程序。在检查工具205的未来操作期间,静态机器学习分类器220分析来自检查工具205的新环境数据并基于新环境数据生成推荐或动作。如上文关于机器学习分类器120所讨论的,静态机器学习分类器220具有一个或多个特定任务,例如确定检查工具205的部署到的环境的各方面的标签。在其他实施例中,静态机器学习分类器220的任务可能不同。在一些实施例中,检查工具205的用户可以使用例如由外部设备107生成的图形用户界面来为静态机器学习分类器220选择标签。然后,外部设备107可以将静态机器学习分类器220的标签发送到服务器210。然后服务器210将针对标签确定训练的训练后的机器学习程序发送到静态机器学习分类器220。基于来自静态机器学习分类器220的估计或分类,检查工具205可以针对所收集的环境数据提供标签(例如,经由视频显示器)。在一些实施例中,检查工具205可以包括多于一个静态机器学习分类器220,每个具有不同的标签确定。
图3展示了第三检查工具系统300。第三检查工具系统300也包括检查工具305、外部设备107、服务器310和网络315,该检查工具具有至少一个传感器302、壳体304、显示器或用户界面306。检查工具305与上述检查工具105、205类似,并且包括监测检查工具305的各种类型的环境数据的类似传感器。然而,第三检查工具系统300的检查工具305包括可调机器学习分类器320,而不是第二检查工具205的静态机器学习分类器220。在所示实施例中,检查工具305的可调机器学习分类器320通过网络315从服务器310接收机器学习程序。与第二检查工具205的静态机器学习分类器220不同,服务器310可以将机器学习程序的更新版本发送到可调机器学习分类器320以替换之前的版本。
第三检查工具系统300的检查工具305将与可调机器学习分类器320的部署到的环境相关的反馈发送到服务器310(例如,经由外部设备107)。例如,检查工具305可以向服务器310发送关于被可调机器学习分类器320错误分类的方面或对象数量的指示。服务器310接收来自检查工具305的反馈,更新机器学习程序,并将更新的程序提供给可调机器学习分类器320以减少错误分类的方面或对象的数量。因此,服务器310鉴于从检查工具305接收到的反馈来更新或重新训练可调机器学习分类器320。在一些实施例中,服务器310还使用从类似检查工具接收的反馈来调整可调机器学习分类器320。在一些实施例中,服务器310周期性地(例如,每月)更新可调机器学习分类器320。在其他实施例中,当服务器310接收到预定数量的反馈指示时(例如,在服务器310接收到两个反馈指示之后),服务器310更新可调机器学习分类器320。反馈指示可以是正面的(例如,指示可调机器学习分类器320正确分类了方面或对象),或者反馈可以是负面的(例如,指示可调机器学习分类器320错误分类了方面或对象)。
在一些实施例中,服务器310还采用从检查工具305和其他类似检查工具接收的新环境数据来更新可调机器学习分类器320。例如,服务器310可以基于新接收的环境数据周期性地重新训练可调机器学习分类器320(或调整对可调机器学习分类器的训练)。服务器310然后将可调机器学习分类器320的更新版本发送到检查工具305。
在一些实施例中,当检查工具305接收到可调机器学习分类器320的更新版本时(例如,当更新机器学习程序被提供并存储在机器学习分类器320上时),检查工具305将可调机器学习分类器320的当前版本替换为更新版本。在一些实施例中,检查工具305在制造期间配备有可调机器学习分类器320的第一版本。在这样的实施例中,检查工具305的用户可以请求可调机器学习分类器320的较新版本。在一些实施例中,用户可以选择向检查工具305发送可调机器学习分类器320的频率。
图4A展示了第四检查工具系统400。第四检查工具系统400包括检查工具405、外部设备107、网络415和服务器410,该检查工具具有至少一个传感器402、壳体404、显示器或用户界面406。检查工具405包括自更新机器学习分类器420。例如,自更新机器学习分类器420在制造期间首先被加载到检查工具405上。自更新机器学习分类器420进行自我更新。换句话说,自更新机器学习分类器420从检查工具405中的传感器102接收新环境数据以及从用户接收的反馈信息(例如,由机器学习分类器420确定的标签是否正确)。自更新机器学习分类器420然后使用接收到的信息来重新训练自更新机器学习分类器420。
在一些实施例中,当检查工具405未运行时,检查工具405重新训练自更新机器学习分类器420。例如,检查工具405可以检测检查工具402在预定时间段内未运行,并且在检查工具405保持未运行时启动自更新机器学习分类器420的重新训练过程。在检查工具405未运行时训练自更新机器学习分类器420允许在重新训练过程中使用更多的处理能力,而不是争用通常用于操作检查工具405的计算资源。
在一些实施例中,自更新机器学习分类器420可以经由引导加载程序(例如,闪存驱动器)在工具中更新。在一些实施例中,自更新机器学习分类器420包括工具的单个算法、多个算法或整个固件/软件。
如图4A所示,在一些实施例中,检查工具405还与外部设备107和服务器410通信。例如,外部设备107与检查工具405通信,如上文关于图1至图3所描述的。外部设备107生成图形用户界面以促进对检查工具405的操作参数的调整。外部设备107还可以桥接检查工具405与服务器410之间的通信。例如,如上文关于图2所描述的,在一些实施例中,外部设备107接收对来自机器学习分类器420的标签的选择。然后,外部设备107可以从服务器410请求对应的机器学习程序以发送到检查工具405。检查工具405还与服务器410通信(例如,经由外部设备107)。在一些实施例中,服务器410还可以重新训练自更新机器学习分类器420,例如,如上文关于图3所描述的。服务器410可以使用来自其他类似检查工具的附加训练样例。使用这些附加训练样例可以提供更大的可变性并最终使机器学习分类器420更可靠。在一些实施例中,检查工具405在检查工具405未运行时重新训练自更新机器学习分类器420,而服务器410可以在检查工具405保持运行时重新训练机器学习分类器420(例如,当在机器学习分类器420的预先安排的再训练期间检查工具405处于运行时)。相应地,在一些实施例中,自更新机器学习分类器420可以在检查工具405上重新训练、由服务器410重新训练、或通过它们的组合重新训练。在一些实施例中,服务器410不重新训练自更新机器学习分类器420,但仍与检查工具405交换信息。例如,服务器410可以为检查工具405提供其他功能,如例如发送关于检查工具405的各种操作模式的信息。在一些实施例中,自更新机器学习分类器420采用从用户的分类和/或用户的确认/拒绝进行的强化学习来本地训练,从而允许实现对特定用户唯一的新分类标签。
图1至图4A中的每一个描述了检查工具系统100、200、300、400,其中,检查工具105、205、305、405与服务器110、210、310、410以及与外部设备107通信。如上文关于图1所讨论的,外部设备107可以桥接检查工具105、205、305、405与服务器110、210、310、410之间的通信。即,检查工具105、205、305、405可以直接与外部设备107通信。然后,外部设备107可以将从检查工具105、205、305、405接收的信息转发到服务器110、210、310、410。类似地,服务器110、210、310、410可以将信息发送到外部设备107以转发到检查工具105、205、305、405。在这样的实施例中,检查工具105、205、305、405可以包括收发器以例如经由诸如等短距离通信协议与外部设备107进行通信。外部设备107可以包括用于与检查工具105、205、305、405通信的短距离收发器,并且还可以包括用于与服务器110、210、310、410通信的长距离收发器。在一些实施例中,在外部设备107与检查工具105、205、405之间提供有线连接(例如经由USB电缆),以实现外部设备107与检查工具105、205、305、405之间的直接通信。提供有线连接可以在外部设备107与检查工具105、205、305、405之间提供更快和更可靠的通信方法。
外部设备107可以包括例如智能电话、平板计算机、蜂窝电话、膝上型计算机、智能手表等。图1至图4A中所示的服务器110、210、310、410至少包括服务器电子处理器425、服务器存储器430、以及用于经由网络115、215、315、415与检查工具105、205、305、405通信的收发器。服务器电子处理器425从检查工具105、205、305、405接收工具环境数据,将工具环境数据存储在服务器存储器430中,并且在一些实施例中,使用接收到的工具环境数据来构建或调整机器学习分类器120、220、320、420。术语“外部系统设备”在本文中可以用于指代外部设备107和服务器110、210、310和410中的一个或多个,因为每个都在检查工具105、205、305、405的外部。进一步地,在一些实施例中,外部系统设备是无线集线器,比如放置在工地上的信标设备,以监测工具、用作网关网络设备(例如,提供Wi-Fi网络)、或这两者。如本文所述,外部系统设备至少包括用于通信的输入/输出单元(例如,无线或有线收发器)、存储指令的存储器、以及用于执行存储在存储器上的指令以执行归属于外部系统设备的功能的电子处理器。
在一些实施例中,检查工具405可能不与外部设备107或服务器410通信。例如,图4B展示了未连接到外部设备107或服务器410的检查工具405。相反,由于检查工具405包括自更新机器学习分类器420,检查工具405可以在不与外部设备107或服务器410通信的情况下实施机器学习分类器420、接收用户反馈并更新机器学习分类器420。
图4C展示了包括检查工具455和外部设备107的第五检查工具系统450。外部设备107使用上文关于图1至图4A描述的各种方法与检查工具455通信。特别地,检查工具455将关于检查工具455的部署到的环境的环境数据发送到外部设备107。外部设备107生成图形用户界面以促进对检查工具455的部署到的环境的各方面的识别和标记。在图4C所示的实施例中,外部设备107包括机器学习分类器460。在一些实施例中,机器学习分类器460类似于图1的机器学习分类器120。在这样的实施例中,机器学习分类器460从检查工具455接收环境数据,并且分类部署到环境的各方面和针对这些方面的所确定的标签。然后,外部设备107将标签发送到检查工具455以与收集到的数据(例如,作为视频)一起显示给用户。
在一些实施例中,机器学习分类器460类似于图3的机器学习分类器320。在这样的实施例中,外部设备107可以基于例如从检查工具455接收的反馈和/或来自检查工具455的其他环境数据来更新机器学习分类器460。在这样的实施例中,检查工具455还包括与例如图3的可调机器学习分类器320类似的机器学习分类器。外部设备107然后可以修改和更新可调机器学习分类器320并将对机器学习分类器320的更新传送到检查工具455以供实施。例如,外部设备107可以使用来自用户的反馈(例如,对标签的选择)来重新训练机器学习分类器460,继续训练实施强化学习控制的机器学习分类器460,或者在一些实施例中,可以使用反馈来调整例如循环神经网络上的切换率。
在一些实施例中,如上文简要讨论的,检查工具455还包括机器学习分类器。检查工具455的机器学习分类器可以类似于例如图2的静态机器学习分类器220、如上所述的图3的可调机器学习分类器320、或者图4A的自更新机器学习分类器420。
图1至图4C展示了呈管道检查工具105、205、305、405形式的示例检查工具。然而,本文展示和描述的特定检查工具105、205、305、405仅仅是代表性的。在其他实施例中,本文描述的检查工具系统100、200、300、400可以包括诸如上文所述的不同类型的检查工具。
图1至图4C中的每一个展示了不同类型的机器学习分类器120、220、320、420与检查工具105、205、305、405结合使用的各种实施例。在一些实施例中,每个检查工具105、205、305、405可以包括多于一个机器学习分类器120、220、320、420,并且每个机器学习分类器120、220、320、420可以是不同类型的。例如,检查工具105、205、305、405可以包括如关于图2描述的静态机器学习分类器220,并且还可以包括如关于图4A描述的自更新机器学习分类器420。在另一示例中,检查工具105、205、305、405可以包括静态机器学习分类器220。静态机器学习分类器220可以随后被移除并由例如可调机器学习分类器320代替。换言之,相同的检查工具可以包括上文关于图1至图4C中描述的任何机器学习分类器120、220、320、420。另外,图6所示的并且在下面进一步详细描述的机器学习分类器540是可以用作机器学习分类器120、220、320、420和460中的一个或多个的示例控制器。
图5A是呈管道检查工具形式并且包括机器学习分类器的代表性检查工具500的框图。类似于图1至图4C的示例检查工具,检查工具500代表各种类型的检查工具。相应地,关于检查工具500的描述同样适用于其他类型的检查工具。检查工具500的机器学习分类器可以是与第二检查工具205的静态机器学习分类器220类似的静态机器学习分类器、与第三检查工具305的可调机器学习分类器320类似的可调机器学习分类器、或与第四检查工具405的自更新机器学习分类器420类似的自更新机器学习分类器。虽然图5A的检查工具500被描述为与外部设备107或服务器通信,但在一些实施例中,检查工具500在机器学习方面是自给式的或封闭的,并且无需与外部设备107或服务器通信也能执行下文将详细描述的机器学习分类器540的功能。
如图5A所示,检查工具500包括电源接口515、开关网络517、电源输入控制520、无线通信设备525、模式板527、多个传感器530、多个指示器535和电子控制组件536。电子控制组件536包括机器学习分类器540、激活开关545和电子处理器550。在一些实施例中,外部电源包括AC电源。在这样的实施例中,电源接口515包括可连接到例如AC插座的AC电源线。在其他实施例中,外部电源包括电池包。在这样的实施例中,电源接口515包括电池包接口。电池包接口可以包括检查工具500上的电池包接纳部分,该电池包接纳部分被配置为接纳并耦接到电池包。电池包接纳部分可以包括用于接合固定电池包的机构的连接结构和用于将电池包电连接到检查工具500的接线端子。
传感器530耦接到电子处理器550并且将各种输出信号传送到电子处理器550。传感器530包括比如上文关于传感器102、202、302和402详细描述的各种设备,以收集关于检查工具500已部署在其中的环境的信息(例如,图像数据)。
指示器535也耦接到电子处理器550。指示器535从电子处理器500接收控制信号以生成视觉信号,以将关于检查工具500的操作或状态的信息传达给用户。指示器535可以包括例如LED或显示屏,并且可以生成指示例如检查工具500的操作状态或模式、在检查工具500的操作期间检测到的异常状况或事件等的各种信号。在一些实施例中,指示器535包括通过听觉或触觉输出向用户传达信息的元件。在一些实施例中,检查工具500不包括指示器535。
电源接口515耦接到电源输入控制520。电源接口515将从外部电源接收的电力传输到电源输入控制件520。电源输入控制520包括有源部件和/或无源部件(例如,降压控制器、电压转换器、整流器、滤波器等),以调节或控制通过电源接口515接收的到电子处理器550和检查工具500的其他部件(比如无线通信设备525)的电力。
无线通信设备525耦接到电子处理器550。在图1至图4A和图4C的示例检查工具105、205、305、405中,无线通信设备525定位在检查工具105、205、305、405(参见图1至图4C)的底部附近以节省空间。在特定示例中,无线通信设备525位于模式板527下方。无线通信设备525可以包括例如无线电收发器和天线、存储器、处理器和实时时钟。无线电收发器和天线一起操作以向外部设备107、第二检查工具500或服务器110、210、310、410和处理器发送无线消息并从其接收无线消息。无线通信设备525的存储器存储将由处理器实施的指令和/或可以存储与检查工具500与外部设备107、第二检查工具500或服务器110、210、310、410之间的通信相关的数据。无线通信设备525的处理器控制检查工具500与外部设备107、第二检查工具500或服务器110、210、310、410之间的无线通信。例如,无线通信设备525的处理器缓冲传入和/或传出的数据,与电子处理器550通信,并确定要在无线通信中使用的通信协议和/或设置。
在一些实施例中,无线通信设备525是控制器。/>控制器与外部设备107、第二检查工具500或服务器110、210、310、410采用/>协议进行通信。因此,在这样的实施例中,外部设备107、第二检查工具500或服务器110、210、310、410和检查工具500在它们交换数据时处于彼此的通信范围内(即,接近彼此)。在其他实施例中,无线通信设备525在不同类型的无线网络上使用其他协议(例如,Wi-Fi、蜂窝协议、专用协议等)进行通信。例如,无线通信设备525可以被配置为通过比如因特网等广域网或局域网经由Wi-Fi进行通信,或者通过微微网(例如,使用红外或NFC通信)进行通信。经由无线通信设备525的通信可以被加密以保护在检查工具500与外部设备107、第二检查工具500或服务器110、210、310、410之间交换的数据不受第三方影响。
在一些实施例中,无线通信设备525包括实时时钟(RTC)。RTC独立于其他检查工具部件递增和保持时间。RTC在外部电源连接到检查工具500时从电源接口515接收电力,并且在外部电源未连接到检查工具500时可以从备用电源接收电力。RTC可以对来自检查工具500的环境数据加时间戳。另外,当RTC的时间超过由用户确定的锁定时间时,RTC可以启用安全特征,其中检查工具500被禁用(例如,锁定并且变得不可操作)。
在一些实施例中,无线通信设备525从检查工具500(例如,从检查工具电子处理器550)导出环境数据。服务器110、210、310、410直接从无线通信设备525或通过外部设备107接收导出的信息,并记录从检查工具500接收的数据。如下文更详细讨论的,导出的数据可以被检查工具500、外部设备107或服务器110、210、310、410用来训练或适配与类似检查工具相关的机器学习分类器。无线通信设备525还可以从服务器110、210、310、410、外部设备107或第二检查工具500接收信息。例如,无线通信设备525可以直接或经由外部设备107与第二检查工具500交换信息。
在一些实施例中,检查工具500不与外部设备107或不与服务器110、210、310、410通信(例如,图4B中的检查工具405)。相应地,在一些实施例中,检查工具500不包括上述无线通信设备525。在一些实施例中,检查工具500包括有线通信接口以与例如外部设备107或不同设备(例如,另一个检查工具500)通信。有线通信接口可以提供比无线通信设备525更快的通信路由。
在一些实施例中,检查工具500包括数据共享设置。数据共享设置指示将什么数据(如果有的话)从检查工具500导出到服务器110、210、310、410。在一个实施例中,检查工具500接收(例如,经由外部设备107生成的图形用户界面)对要从检查工具500导出的数据类型的指示。在一个实施例中,外部设备107可以显示用于检查工具500的数据共享的各种选项或级别,并且外部设备107经由其生成的图形用户界面接收用户选择。例如,检查工具500可以接收仅从检查工具500导出环境数据(例如,电机电流和电压、递送的冲击次数、与每次冲击相关联的扭矩等)的指示,而可以例如不导出关于由检查工具500实施的模式、检查工具500的定位等的信息。在一些实施例中,数据共享设置可以是是否将关于检查工具500的操作的数据(例如,环境数据)发送到服务器110、210、310、410的二元指示。检查工具500接收用户对数据共享设置的选择并将数据共享设置存储在存储器中以根据所选数据共享设置来控制无线通信设备525的通信。
电子控制组件536电气地和/或通信地连接到检查工具500的各种模块或部件。特别地,电子控制组件136包括电子处理器550(也称为电子控制器)、机器学习分类器540和对应的激活开关545。在一些实施例中,电子处理器550包括为电子处理器550和/或检查工具500内的部件和模块提供电力、操作控制和保护的多个电气部件和电子部件。例如,电子处理器550尤其包括处理单元557(例如,微处理器、微控制器或另一个合适的可编程装置)、存储器560、输入单元565和输出单元570。处理单元557尤其包括控制单元572、算术逻辑单元(ALU)574和多个寄存器576。在一些实施例中,电子处理器550部分地或全部在半导体(例如,现场可编程门阵列[FPGA]半导体)芯片或专用集成电路(ASIC)(比如通过寄存器传输级(RTL)设计过程开发的芯片)上实施。
例如,存储器560包括程序存储区域580和数据存储区域582。程序存储区域580和数据存储区域582可以包括不同类型存储器的组合,比如只读存储器(ROM)、随机存取存储器(RAM)(例如,动态RAM[DRAM]、同步DRAM[SDRAM]等)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、硬盘、SD卡或其他合适的磁存储器设备、光存储器设备、物理存储器设备或电子存储器设备。电子处理器230连接到存储器560并执行软件指令,这些软件指令能够存储在存储器560的RAM(例如,在执行期间)、存储器560的ROM(例如,在通常永久的基础上)或者比如另一存储器或盘等另一非暂态计算机可读介质中。检查工具500的实施方式中包括的软件可以存储在电子处理器550的存储器560中。软件包括例如固件、一个或多个应用程序、程序数据、滤波器、规则、一个或多个程序模块以及其他可执行指令。在一些实施例中,机器学习分类器540可以存储在电子处理器550的存储器560中并且由处理单元557执行。
电子处理器550被配置为从存储器560进行检索并尤其执行与本文描述的控制过程和方法相关的指令。电子处理器550还被配置为在存储器560上存储检查工具信息,包括工具环境数据、标识工具类型的信息、特定工具的唯一标识符、用户特性(例如,身份、行业类型、技能水平)、以及与操作或维护检查工具500相关的其他信息(例如,从诸如外部设备107等外部源接收的或在制造时预编程的信息)。
机器学习分类器540耦接到电子处理器550和激活开关545。激活开关545在激活状态与停用状态之间切换。当激活开关545处于激活状态时,电子处理器550与机器学习分类器540通信并从机器学习分类器540接收决策输出。当激活开关545处于停用状态时,电子处理器550不与机器学习分类器540通信。换言之,激活开关545选择性地启用和禁用机器学习分类器540。如上文关于图1至图4C所描述的,机器学习分类器540包括训练后的机器学习分类器,其利用先前收集的检查工具环境数据来分析和分类来自检查工具500的新环境数据。
如图5B所示,机器学习分类器540包括电子处理器575和存储器580。存储器580存储机器学习控制件585。机器学习控制件585可以包括如上文关于图1至图4C所描述的训练后的机器学习程序。在所示实施例中,电子处理器575包括图形处理单元。在图5B的实施例中,机器学习分类器540作为检查工具500的电子处理器550位于单独的印刷电路板(PCB)上。电子处理器550的PCB和机器学习分类器540利用例如电线或电缆耦接,以启用检查工具500的电子处理器550。然而,在其他实施例中,机器学习控制件585可以存储在电子处理器550的存储器560中并且可以由处理单元557实施。在这样的实施例中,电子控制组件536包括单个电子处理器550。在又一些实施例中,机器学习分类器540在单独的电子处理器575中实施,但与检查工具500的电子处理器550位于同一PCB上。将机器学习分类器540实施为与电子处理器550分离的处理单元的实施例,无论是在相同的还是不同的PCB上,都允许选择处理单元来实施机器学习分类器540和电子处理器550中的每一个,该处理单元具有针对每个单元的特定需求定制的能力(例如,处理能力和内存容量)。这种定制可以降低成本并提高检查工具的效率。在一些实施例中,如图4C所示,例如,外部设备107包括机器学习分类器540,并且检查工具500与外部设备107通信以从机器学习分类器540接收估计或分类。在一些实施例中,机器学习分类器540在易于添加到检查工具500的插入式芯片或控制器中实施。例如,机器学习分类器540可以包括插入式芯片,该插入式芯片被接收在检查工具500的空腔内并且连接到电子处理器550。例如,在一些实施例中,检查工具500包括可锁定隔室,该可锁定隔室包括电触点,该可锁定隔室被配置为接收并电连接到插入式机器学习分类器540。电触点实现插入式机器学习分类器540与电子处理器550之间的双向通信,并使插入式机器学习分类器540能够从检查工具500接收电力。
如上文关于图1所讨论的,机器学习控制件585可以由服务器110构建和操作。在其他实施例中,机器学习控制件585可以由服务器110构建,但由检查工具500(类似于图2和图3)实施,并且在又一些实施例中,检查工具500(例如,电子处理器550、电子处理器575或其组合)构建并实施机器学习控制件585(类似于图4B)。
示例过程
图6A和图6B各自分别描绘了可以由本披露的实施例实施的示例过程600和620的流程图。过程600总体上更详细地示出根据图像数据确定分类,而过程620总体上更详细地示出确定控制检查相机的命令。
为了呈现清楚,下面的描述总体上描述了图1至图5B的背景下的过程600和620。例如,过程600或620可以由服务器电子处理器425或电子处理器550执行。然而,应当理解,过程600和620可以视情况例如由任何其他合适的系统、环境、软件和硬件、或者系统、环境、软件和硬件的组合来执行。在一些实施例中,过程600和620的各种操作可以并行、组合、循环或以任何顺序运行。在一些实施例中,处理器被容纳在移动设备或服务器设备内。在一些实施例中,处理器、检查相机和用户界面被容纳在检查工具内。
对于过程600,在602处,从检查相机接收从关注区域收集的图像数据。在一些实施例中,关注区域包括管道。在一些实施例中,该方面是裂缝、堵塞、根茎、流体积聚、流动流体、管道磨损、过渡、连接管道、接头、不对准、内衬、腹形部、泄漏、管道材料或类型、电线、螺柱、钉子、日光、软管、出口、螺钉、接线盒、日光、关注物或路径方面。在一些实施例中,路径方面包括转弯、与另一管道的连接、或斜坡。在一些实施例中,图像数据包括视频数据。在一些实施例中,根据遍历速度、最近识别的方面、或设备设置来修改图像数据中的帧的频率或分辨率。在一些实施例中,图像数据是从收集的原始图像数据减少或下采样得到的。过程600从602进行到604。
在604处,通过模型处理图像数据以确定关注区域的方面的分类。在一些实施例中,模型是用先前接收的图像数据和相应的先前接收或确定的分类来训练的。在一些实施例中,模型包括映射到逻辑块的像素颜色、色调或饱和度的直方图。在一些实施例中,逻辑块包括粗逻辑、CNN、DNN、RNN、随机森林算法、决策树算法、KNN算法或逻辑回归算法。在一些实施例中,分类是基于颜色或亮度的分布来确定的。在一些实施例中,模型包括计算机视觉算法。在一些实施例中,计算机视觉算法包括SIFT、SURF或ORB。在一些实施例中,分类是基于二元决策、在多个分类之间的决策、多分类问题或视觉分类问题来确定的。在一些实施例中,用图像数据和所确定的分类来重新训练模型。在一些实施例中,基于输出滤波器并借助通过模型处理图像数据来确定分类的置信度指标。在一些实施例中,输出滤波器包括确定该方面的分类的多个连续帧。在一些实施例中,基于分类和图像数据来确定控制检查相机的命令。在一些实施例中,将命令提供给检查相机或容纳检查相机的检查工具。在一些实施例中,命令包括以下项中的至少一项:减慢图像数据的帧速率、向用户界面提供用户提示、降低检查工具的前进速度、停止检查工具的前进进程、用检查相机执行缩放功能、平移检查相机、旋转检查相机、切换相机、调整颜色、调整照明、调整对比度、调整分辨率、调整亮度、调整颜色映射、或增强方面在用户界面上的可视化。在一些实施例中,增强可视化包括突出显示、放大或添加边框围绕该方面。在一些实施例中,可视化的增强被保存为视频的一部分、保存在另一层中、保存为视频的元数据、或者保存在单独的文件中。在一些实施例中,借助通过模型连同图像数据一起或代替图像数据而处理广播到关注区域中的音频信号来确定分类。过程600从604进行到606。
在606处,基于分类确定该方面的标签。在一些实施例中,借助通过第二模型处理分类和图像数据来确定标签,该第二模型是用先前接收的图像数据、相应的先前接收或确定的分类和相应的先前接收或确定的标签来训练的。在一些实施例中,用图像数据、所确定的分类和所确定的标签来重新训练第二模型。过程600从606进行到608。
在608处,将标签和图像数据提供到用户界面。在一些实施例中,用通过用户界面提供的将标签应用到或不应用到该方面的选择来重新训练模型。在一些实施例中,该选择包括标识特定用户的元数据。在一些实施例中,模型针对特定用户进行训练和个性化。在一些实施例中,模型是基于合并来自多个用户的多个训练的分布式学习技术来训练的。在一些实施例中,为该多个用户分配权重。在一些实施例中,根据所分配的权重和相应的训练来训练模型。在一些实施例中,将置信度指标提供到用户界面。在一些实施例中,用户界面被配置为基于置信度指标和阈值而不显示标签。在一些实施例中,阈值是经由用户界面针对用户定制的。在一些实施例中,用户界面被配置为将标签应用到图像数据。在一些实施例中,用户界面被配置为提供确认、否认、调整、添加或移除标签的提示。在一些实施例中,用户界面包括基于音频的用户界面,从而允许用户在操作期间口头地确认、否认、调整、添加或移除标签。在一些实施例中,用户界面被配置为当“不确定”提示被选择时触发向一个或多个用户发送图像数据和标签。在一些实施例中,用户界面包括显示器。在一些实施例中,管道经由用户界面被一维地显示,并且除了在接头处之外基本上被显示为笔直的。在一些实施例中,用户界面被配置为经由使用SLAM技术与图像数据执行的拼接来显示管道的3D表示。在一些实施例中,用户界面被配置为显示包括恒定直径管道的管道的2D表示。在一些实施例中,管道的2D表示被“展开”为1D图像。在一些实施例中,基于分类或标签提供通知。在一些实施例中,通知包括电子邮件、文本消息或电话呼叫。在一些实施例中,通知包括音频通知、触觉通知或视觉通知。在一些实施例中,通过用户界面提供视觉通知,以在图像数据内突出显示方面或标签。在一些实施例中,视觉通知包括屏幕闪烁、突出显示的边框或弹出窗口。在一些实施例中,用户界面基于分类和图像数据提供经裁剪的视频或经压缩的视频。在一些实施例中,标签作为图像数据的元数据提供。在一些实施例中,标签与帧、帧组、时间戳、检查相机在收集时的深度或定位、或工地相关联。在一些实施例中,检查相机的定位是基于位置检测设备来确定的。在一些实施例中,定位是基于由定位探测器提供的信号来确定的。在一些实施例中,定位是基于GPS数据来确定的。在一些实施例中,检查相机和用户界面被容纳在检查工具内。在一些实施例中,检查工具包括麦克风、电感传感器、电容传感器、磁力计、温度传感器、湿度传感器、电接触传感器、运动传感器、延伸传感器、惯性测量单元或相机模块。在一些实施例中,相机模块包括检查相机。在一些实施例中,相机模块是自调平的并且朝向管道的底部定向。在一些实施例中,检查工具包括排水管清洁工具、管道输送工具、管道清洁工具、管道内部焊接工具或管道内部切割工具。在一些实施例中,检查相机被容纳在第一工具内。在一些实施例中,用户界面被容纳在第二工具内。从608处,过程600进行到结束。
对于过程620,在622处,从检查相机接收从关注区域收集的图像数据。在一些实施例中,关注区域包括管道,并且其中,该方面是裂缝、堵塞、根茎、流体积聚、流动流体、管道磨损、过渡、连接管道、接头、不对准、内衬、腹形部、泄漏、管道材料或类型、电线、螺柱、钉子、日光、软管、出口、螺钉、接线盒、日光、关注物或路径方面。在一些实施例中,路径方面包括转弯、与另一管道的连接、或斜坡。在一些实施例中,图像数据包括视频数据。在一些实施例中,根据遍历速度、最近识别的方面、或设备设置来修改图像数据中的帧的频率或分辨率。在一些实施例中,图像数据是从收集的原始图像数据减少或下采样得到的。过程620从622进行到624。
在624处,借助通过模型处理接收到的图像数据来确定关注区域的方面的分类。在一些实施例中,模型是用先前接收的图像数据和相应的先前接收或确定的分类来训练的。在一些实施例中,模型包括映射到逻辑块的像素颜色、色调或饱和度的直方图。在一些实施例中,逻辑块包括粗逻辑、CNN、DNN、RNN、随机森林算法、决策树算法、KNN算法或逻辑回归算法。在一些实施例中,分类是基于颜色或亮度的分布来确定的。在一些实施例中,模型包括计算机视觉算法。在一些实施例中,计算机视觉算法包括SIFT、SURF或ORB。在一些实施例中,分类是基于二元决策、在多个分类之间的决策、多分类问题或视觉分类问题来确定的。在一些实施例中,借助通过模型连同图像数据一起或代替图像数据而处理广播到关注区域中的音频信号来确定分类。过程620从624进行到626。
在626处,基于分类和接收到的图像数据确定控制检查相机的命令。在一些实施例中,命令包括以下项中的至少一项:减慢图像数据的帧速率、向用户界面提供用户提示、降低检查工具的前进速度、停止检查工具的前进进程、用检查相机执行缩放功能、平移检查相机、旋转检查相机、切换相机、调整颜色、调整照明、调整对比度、调整分辨率、调整亮度、调整颜色映射、或增强方面在用户界面上的可视化。在一些实施例中,增强可视化包括突出显示、放大或添加边框围绕该方面。在一些实施例中,可视化的增强被保存为视频的一部分、保存在另一层中、保存为视频的元数据、或者保存在单独的文件中。过程620从626进行到628。
在628处,将命令提供给检查相机。在一些实施例中,基于分类确定该方面的标签。在一些实施例中,将标签和接收到的图像数据提供到用户界面。在一些实施例中,用图像数据和所确定的分类来重新训练模型。在一些实施例中,用通过用户界面提供的将标签应用到或不应用到该方面的选择来重新训练模型。在一些实施例中,该选择包括标识特定用户的元数据,并且其中,模型针对特定用户进行训练和个性化。在一些实施例中,模型是基于合并来自多个用户的多个训练的分布式学习技术来训练的。在一些实施例中,为该多个用户分配权重,并且其中,根据所分配的权重和相应的训练来训练模型。在一些实施例中,借助通过第二模型处理分类和图像数据来确定标签,该第二模型是用先前接收的图像数据、相应的先前接收或确定的分类和相应的先前接收或确定的标签来训练的。在一些实施例中,用图像数据、所确定的分类和所确定的标签来重新训练第二模型。在一些实施例中,基于输出滤波器并借助通过模型处理图像数据来确定分类的置信度指标。在一些实施例中,将置信度指标提供到用户界面。在一些实施例中,输出滤波器包括确定该方面的分类的多个连续帧。在一些实施例中,用户界面被配置为基于置信度指标和阈值而不显示标签。在一些实施例中,阈值是经由用户界面针对用户定制的。在一些实施例中,用户界面被配置为将标签应用到图像数据。在一些实施例中,用户界面被配置为提供确认、否认、调整、添加或移除标签的提示。在一些实施例中,用户界面包括基于音频的用户界面,从而允许用户在操作期间口头地确认、否认、调整、添加或移除标签。在一些实施例中,用户界面被配置为当“不确定”提示被选择时触发向一个或多个用户发送图像数据和标签。在一些实施例中,用户界面包括显示器。在一些实施例中,管道经由用户界面被一维地显示,并且除了在接头处之外基本上被显示为笔直的。在一些实施例中,用户界面被配置为经由使用SLAM技术与图像数据执行的拼接来显示管道的3D表示。在一些实施例中,用户界面被配置为显示包括恒定直径管道的管道的2D表示,并且其中,管道的2D表示被“展开”为1D图像。在一些实施例中,提供基于分类、标签或命令而确定的通知。在一些实施例中,通知包括电子邮件、文本消息或电话呼叫。在一些实施例中,通知包括音频通知、触觉通知或视觉通知。在一些实施例中,通过用户界面提供视觉通知,以在图像数据内突出显示方面或标签。在一些实施例中,视觉通知包括屏幕闪烁、突出显示的边框或弹出窗口。在一些实施例中,用户界面基于分类和图像数据提供经裁剪的视频或经压缩的视频。在一些实施例中,标签作为图像数据的元数据提供。在一些实施例中,标签与帧、帧组、时间戳、检查相机在收集时的深度或定位、或工地相关联。在一些实施例中,检查相机的定位是基于位置检测设备来确定的。在一些实施例中,定位是基于由定位探测器提供的信号来确定的。在一些实施例中,定位是基于GPS数据来确定的。在一些实施例中,检查相机和用户界面被容纳在检查工具内。在一些实施例中,检查工具包括麦克风、电感传感器、电容传感器、磁力计、温度传感器、湿度传感器、电接触传感器、运动传感器、延伸传感器、惯性测量单元或相机模块。在一些实施例中,相机模块包括检查相机。在一些实施例中,相机模块是自调平的并且朝向管道的底部定向。在一些实施例中,检查工具包括排水管清洁工具、管道输送工具、管道清洁工具、管道内部焊接工具或管道内部切割工具。在一些实施例中,检查相机被容纳在第一工具内。在一些实施例中,用户界面被容纳在第二工具内。从628处,过程620结束。
已经描述了该主题的具体实施方式。所描述的实施方式的其他实施方式、更改和排列都在所附权利要求的范围内,这对于本领域技术人员来说将是显而易见的。虽然附图或权利要求中以具体顺序描绘了操作,但这不应被理解成要求这种操作以所示的具体顺序或以有序顺序执行,或者所有展示的操作可以被执行(一些操作可以被认为是可选的),以实现令人希望的结果。
而且,先前描述的实施方式中的不同系统模块和部件的分离或集成不应被理解成在所有实施方式中都要求这种分离或集成,并且应理解的是,所描述的部件和系统通常可以一起集成在单个产品中或封装进多个产品中。因此,示例实施例的先前描述并不限定或限制本披露。在不脱离本披露的精神和范围的情况下,其他改变、替换和更改也是可能的。
因此,除其他外,该描述提供了可以部署在环境内并通过训练的机器学习分类器来识别环境的各个方面的检查工具系统。
示例配置
本披露内容的各个方面可以采用以下示例性配置中的任何一个或多个:
EEE(1)一种用于根据图像数据确定分类的系统,该系统包括:处理器,该处理器被配置为从检查相机接收从关注区域收集的图像数据,通过模型处理该图像数据以确定该关注区域的方面的分类,该模型是用先前接收的图像数据和相应的先前接收或确定的分类来训练的,基于该分类确定该方面的标签,并将该标签和该图像数据提供到用户界面。
EEE(2)根据EEE(1)所述的用于根据图像数据确定分类的系统,其中,该模型包括映射到逻辑块的像素颜色、色调或饱和度的直方图。
EEE(3)根据EEE(1)或EEE(2)中任一项所述的用于根据图像数据确定分类的系统,其中,该逻辑块包括粗逻辑、CNN、DNN、RNN、随机森林算法、决策树算法、KNN算法或逻辑回归算法。
EEE(4)根据EEE(1)至EEE(3)中任一项所述的用于根据图像数据确定分类的系统,其中,该分类是基于颜色或亮度的分布来确定的。
EEE(5)根据EEE(1)至EEE(4)中任一项所述的用于根据图像数据确定分类的系统,其中,该模型包括计算机视觉算法。
EEE(6)根据EEE(1)至EEE(5)中任一项所述的用于根据图像数据确定分类的系统,其中,该计算机视觉算法包括SIFT、SURF或ORB。
EEE(7)根据EEE(1)至EEE(6)中任一项所述的用于根据图像数据确定分类的系统,其中,该分类是基于二元决策、在多个分类之间的决策、多分类问题或视觉分类问题来确定的。
EEE(8)根据EEE(1)至EEE(7)中任一项所述的用于根据图像数据确定分类的系统,其中,用该图像数据和所确定的分类来重新训练该模型。
EEE(9)根据EEE(1)至EEE(8)中任一项所述的用于根据图像数据确定分类的系统,其中,用通过该用户界面提供的将该标签应用到或不应用到该方面的选择来重新训练该模型。
EEE(10)根据EEE(1)至EEE(9)中任一项所述的用于根据图像数据确定分类的系统,其中,该选择包括标识特定用户的元数据,并且其中,该模型针对该特定用户进行训练和个性化。
EEE(11)根据EEE(1)至EEE(10)中任一项所述的用于根据图像数据确定分类的系统,其中,该模型是基于合并来自多个用户的多个训练的分布式学习技术来训练的。
EEE(12)根据EEE(1)至EEE(11)中任一项所述的用于根据图像数据确定分类的系统,其中,为该多个用户分配权重,并且其中,根据所分配的权重和相应的训练来训练该模型。
EEE(13)根据EEE(1)至EEE(12)中任一项所述的用于根据图像数据确定分类的系统,借助通过第二模型处理该分类和该图像数据来确定该标签,该第二模型是用先前接收的图像数据、相应的先前接收或确定的分类和相应的先前接收或确定的标签来训练的。
EEE(14)根据EEE(1)至EEE(13)中任一项所述的用于根据图像数据确定分类的系统,其中,用该图像数据、所确定的分类和所确定的标签重新训练该第二模型。
EEE(15)根据EEE(1)至EEE(14)中任一项所述的用于根据图像数据确定分类的系统,其中,该处理器进一步被配置为基于输出滤波器并借助通过该模型处理该图像数据来确定该分类的置信度指标,以及将该置信度指标提供到该用户界面。
EEE(16)根据EEE(1)至EEE(15)中任一项所述的用于根据图像数据确定分类的系统,其中,该输出滤波器包括确定该方面的分类的多个连续帧。
EEE(17)根据EEE(1)至EEE(16)中任一项所述的用于根据图像数据确定分类的系统,其中,该用户界面被配置为基于该置信度指标和阈值而不显示该标签。
EEE(18)根据EEE(1)至EEE(17)中任一项所述的用于根据图像数据确定分类的系统,其中,该阈值是经由该用户界面针对用户定制的。
EEE(19)根据EEE(1)至EEE(18)中任一项所述的用于根据图像数据确定分类的系统,其中,该处理器进一步被配置为基于该分类和该图像数据确定控制该检查相机的命令;以及将该命令提供给该检查相机或容纳该检查相机的检查工具。
EEE(20)根据EEE(1)至EEE(19)中任一项所述的用于根据图像数据确定分类的系统,其中,该命令包括以下项中的至少一项:减慢该图像数据的帧速率、向该用户界面提供用户提示、降低该检查工具的前进速度、停止该检查工具的前进进程、用该检查相机执行缩放功能、平移该检查相机、旋转该检查相机、切换相机、调整颜色、调整照明、调整对比度、调整分辨率、调整亮度、调整颜色映射、或增强该方面在该用户界面上的可视化。
EEE(21)根据EEE(1)至EEE(20)中任一项所述的用于根据图像数据确定分类的系统,其中,增强该可视化包括突出显示、放大或添加边框围绕该方面。
EEE(22)根据EEE(1)至EEE(21)中任一项所述的用于根据图像数据确定分类的系统,其中,该可视化的增强被保存为视频的一部分、保存在另一层中、保存为视频的元数据、或者保存在单独的文件中。
EEE(23)根据EEE(1)至EEE(22)中任一项所述的用于根据图像数据确定分类的系统,其中,该用户界面被配置为将该标签应用到该图像数据。
EEE(24)根据EEE(1)至EEE(23)中任一项所述的用于根据图像数据确定分类的系统,其中,该用户界面被配置为提供确认、否认、调整、添加或移除该标签的提示。
EEE(25)根据EEE(1)至EEE(24)中任一项所述的用于根据图像数据确定分类的系统,其中,该用户界面包括基于音频的用户界面,从而允许用户在操作期间口头地确认、否认、调整、添加或移除该标签。
EEE(26)根据EEE(1)至EEE(25)中任一项所述的用于根据图像数据确定分类的系统,其中,该用户界面被配置为当“不确定”提示被选择时触发向一个或多个用户发送该图像数据和该标签。
EEE(27)根据EEE(1)至EEE(26)中任一项所述的用于根据图像数据确定分类的系统,其中,该用户界面包括显示器。
EEE(28)根据EEE(1)至EEE(27)中任一项所述的用于根据图像数据确定分类的系统,其中,管道经由该用户界面被一维地显示,并且除了在接头处之外基本上被显示为笔直的。
EEE(29)根据EEE(1)至EEE(28)中任一项所述的用于根据图像数据确定分类的系统,其中,该用户界面被配置为经由使用SLAM技术与该图像数据执行的拼接来显示管道的3D表示。
EEE(30)根据EEE(1)至EEE(29)中任一项所述的用于根据图像数据确定分类的系统,其中,该用户界面被配置为显示包括恒定直径管道的管道的2D表示,并且其中,该管道的2D表示被“展开”为1D图像。
EEE(31)根据EEE(1)至EEE(30)中任一项所述的用于根据图像数据确定分类的系统,其中,该处理器进一步被配置为基于该分类或该标签提供通知。
EEE(32)根据EEE(1)至EEE(31)中任一项所述的用于根据图像数据确定分类的系统,其中,该通知包括电子邮件、文本消息或电话呼叫。
EEE(33)根据EEE(1)至EEE(32)中任一项所述的用于根据图像数据确定分类的系统,其中,该通知包括音频通知、触觉通知或视觉通知。
EEE(34)根据EEE(1)至EEE(33)中任一项所述的用于根据图像数据确定分类的系统,其中,通过该用户界面提供该视觉通知,以在该图像数据内突出显示该方面或该标签。
EEE(35)根据EEE(1)至EEE(34)中任一项所述的用于根据图像数据确定分类的系统,其中,该视觉通知包括屏幕闪烁、突出显示的边框或弹出窗口。
EEE(36)根据EEE(1)至EEE(35)中任一项所述的用于根据图像数据确定分类的系统,其中,该用户界面基于该分类和该图像数据提供经裁剪的视频或经压缩的视频。
EEE(37)根据EEE(1)至EEE(36)中任一项所述的用于根据图像数据确定分类的系统,其中,该关注区域包括管道,并且其中,该方面是裂缝、堵塞、根茎、流体积聚、流动流体、管道磨损、过渡、连接管道、接头、不对准、内衬、腹形部、泄漏、管道材料或类型、电线、螺柱、钉子、日光、软管、出口、螺钉、接线盒、日光、关注物或路径方面。
EEE(38)根据EEE(1)至EEE(37)中任一项所述的用于根据图像数据确定分类的系统,其中,该路径方面包括转弯、与另一管道的连接、或斜坡。
EEE(39)根据EEE(1)至EEE(38)中任一项所述的用于根据图像数据确定分类的系统,其中,该图像数据包括视频数据。
EEE(40)根据EEE(1)至EEE(39)中任一项所述的用于根据图像数据确定分类的系统,其中,根据遍历速度、最近识别的方面、或设备设置来修改该图像数据中的帧的频率或分辨率。
EEE(41)根据EEE(1)至EEE(40)中任一项所述的用于根据图像数据确定分类的系统,其中,该标签作为该图像数据的元数据提供。
EEE(42)根据EEE(1)至EEE(41)中任一项所述的用于根据图像数据确定分类的系统,其中,该标签与帧、帧组、时间戳、该检查相机在收集时的深度或定位、或工地相关联。
EEE(43)根据EEE(1)至EEE(42)中任一项所述的用于根据图像数据确定分类的系统,其中,该检查相机的定位是基于位置检测设备来确定的。
EEE(44)根据EEE(1)至EEE(43)中任一项所述的用于根据图像数据确定分类的系统,其中,该定位是基于由定位探测器提供的信号来确定的。
EEE(45)根据EEE(1)至EEE(44)中任一项所述的用于根据图像数据确定分类的系统,其中,该定位是基于GPS数据来确定的。
EEE(46)根据EEE(1)至EEE(45)中任一项所述的用于根据图像数据确定分类的系统,其中,该图像数据是从收集的原始图像数据减少或下采样得到的。
EEE(47)根据EEE(1)至EEE(46)中任一项所述的用于根据图像数据确定分类的系统,其中,该处理器被容纳在移动设备或服务器设备内。
EEE(48)根据EEE(1)至EEE(47)中任一项所述的用于根据图像数据确定分类的系统,其中,该检查相机和该用户界面被容纳在检查工具内。
EEE(49)根据EEE(1)至EEE(48)中任一项所述的用于根据图像数据确定分类的系统,其中,该检查相机被容纳在第一工具内,并且其中,该用户界面被容纳在第二工具内。
EEE(50)根据EEE(1)至EEE(49)中任一项所述的用于根据图像数据确定分类的系统,其中,该处理器、该检查相机和该用户界面被容纳在检查工具内。
EEE(51)根据EEE(1)至EEE(50)中任一项所述的用于根据图像数据确定分类的系统,其中,该检查工具包括排水管清洁工具、管道输送工具、管道清洁工具、管道内部焊接工具或管道内部切割工具。
EEE(52)根据EEE(1)至EEE(51)中任一项所述的用于根据图像数据确定分类的系统,其中,该检查工具包括麦克风、电感传感器、电容传感器、磁力计、温度传感器、湿度传感器、电接触传感器、运动传感器、延伸传感器、惯性测量单元或相机模块。
EEE(53)根据EEE(1)至EEE(52)中任一项所述的用于根据图像数据确定分类的系统,其中,该相机模块包括该检查相机,并且其中,该相机模块是自调平的并且朝向管道的底部定向。
EEE(54)根据EEE(1)至EEE(53)中任一项所述的用于根据图像数据确定分类的系统,其中,借助通过该模型连同该图像数据一起或代替该图像数据而处理广播到该关注区域中的音频信号来确定该分类。
EEE(55)一种检查工具,包括:壳体;用户界面,该用户界面由该壳体支撑;检查卷轴,该检查卷轴由该壳体支撑并且包括被配置为捕获图像数据的检查相机;控制器,该控制器包括处理器和存储器,该控制器由该壳体支撑并耦接到该检查相机和该用户界面,其中,该处理器被配置为从该检查相机接收从关注区域收集的图像数据,通过模型处理接收到的图像数据以确定该关注区域的方面的分类,该模型是用先前接收到的图像数据和相应的先前接收或确定的分类来训练的,基于该分类确定该方面的标签,并将该标签和接收到的图像数据提供到该用户界面。
EEE(56)根据EEE(55)所述的检查工具,其中,该模型包括映射到逻辑块的像素颜色、色调或饱和度的直方图。
EEE(57)根据EEE(55)或EEE(56)中任一项所述的检查工具,其中,该逻辑块包括粗逻辑、CNN、DNN、RNN、随机森林算法、决策树算法、KNN算法或逻辑回归算法。
EEE(58)根据EEE(55)至EEE(57)中任一项所述的检查工具,其中,该分类是基于颜色或亮度的分布来确定的。
EEE(59)根据EEE(55)至EEE(58)中任一项所述的检查工具,其中,该模型包括计算机视觉算法。
EEE(60)根据EEE(55)至EEE(59)中任一项所述的检查工具,其中,该计算机视觉算法包括SIFT、SURF或ORB。
EEE(61)根据EEE(55)至EEE(60)中任一项所述的检查工具,其中,该分类是基于二元决策、在多个分类之间的决策、多分类问题或视觉分类问题来确定的。
EEE(62)根据EEE(55)至EEE(61)中任一项所述的检查工具,其中,用该图像数据和所确定的分类来重新训练该模型。
EEE(63)根据EEE(55)至EEE(62)中任一项所述的检查工具,其中,用通过该用户界面提供的将该标签应用到或不应用到该方面的选择来重新训练该模型。
EEE(64)根据EEE(55)至EEE(63)中任一项所述的检查工具,其中,该选择包括标识特定用户的元数据,并且其中,该模型针对该特定用户进行训练和个性化。
EEE(65)根据EEE(55)至EEE(64)中任一项所述的检查工具,其中,该模型是基于合并来自多个用户的多个训练的分布式学习技术来训练的。
EEE(66)根据EEE(55)至EEE(65)中任一项所述的检查工具,其中,为该多个用户分配权重,并且其中,根据所分配的权重和相应的训练来训练该模型。
EEE(67)根据EEE(55)至EEE(66)中任一项所述的检查工具,借助通过第二模型处理该分类和该图像数据来确定该标签,该第二模型是用先前接收的图像数据、相应的先前接收或确定的分类和相应的先前接收或确定的标签来训练的。
EEE(68)根据EEE(55)至EEE(67)中任一项所述的检查工具,其中,用该图像数据、所确定的分类和所确定的标签重新训练该第二模型。
EEE(69)根据EEE(55)至EEE(68)中任一项所述的检查工具,其中,该处理器进一步被配置为基于输出滤波器并借助通过该模型处理该图像数据来确定该分类的置信度指标,以及将该置信度指标提供到该用户界面。
EEE(70)根据EEE(55)至EEE(69)中任一项所述的检查工具,其中,该输出滤波器包括确定该方面的分类的多个连续帧。
EEE(71)根据EEE(55)至EEE(70)中任一项所述的检查工具,其中,该用户界面被配置为基于该置信度指标和阈值而不显示该标签。
EEE(72)根据EEE(55)至EEE(71)中任一项所述的检查工具,其中,该阈值是经由该用户界面针对用户定制的。
EEE(73)根据EEE(55)至EEE(72)中任一项所述的检查工具,其中,该处理器进一步被配置为基于该分类和该图像数据确定控制该检查相机的命令;以及将该命令提供给该检查相机。
EEE(74)根据EEE(55)至EEE(73)中任一项所述的检查工具,其中,该命令包括以下项中的至少一项:减慢该图像数据的帧速率、向该用户界面提供用户提示、降低该检查工具的前进速度、停止该检查工具的前进进程、用该检查相机执行缩放功能、平移该检查相机、旋转该检查相机、切换相机、调整颜色、调整照明、调整对比度、调整分辨率、调整亮度、调整颜色映射、或增强该方面在该用户界面上的可视化。
EEE(75)根据EEE(55)至EEE(74)中任一项所述的检查工具,其中,增强该可视化包括突出显示、放大或添加边框围绕该方面。
EEE(76)根据EEE(55)至EEE(75)中任一项所述的检查工具,其中,该可视化的增强被保存为视频的一部分、保存在另一层中、保存为视频的元数据、或者保存在单独的文件中。
EEE(77)根据EEE(55)至EEE(76)中任一项所述的检查工具,其中,该用户界面被配置为将该标签应用到该图像数据。
EEE(78)根据EEE(55)至EEE(77)中任一项所述的检查工具,其中,该用户界面被配置为提供确认、否认、调整、添加或移除该标签的提示。
EEE(79)根据EEE(55)至EEE(78)中任一项所述的检查工具,其中,该用户界面包括基于音频的用户界面,从而允许用户在操作期间口头地确认、否认、调整、添加或移除该标签。
EEE(80)根据EEE(55)至EEE(79)中任一项所述的检查工具,其中,在一些实施例中,用户界面被配置为当“不确定”提示被选择时触发向一个或多个用户发送图像数据和标签。
EEE(81)根据EEE(55)至EEE(80)中任一项所述的检查工具,其中,该用户界面包括显示器。
EEE(82)根据EEE(55)至EEE(81)中任一项所述的检查工具,其中,管道经由该用户界面被一维地显示,并且除了在接头处之外基本上被显示为笔直的。
EEE(83)根据EEE(55)至EEE(82)中任一项所述的检查工具,其中,该用户界面被配置为经由使用SLAM技术与该图像数据执行的拼接来显示管道的3D表示。
EEE(84)根据EEE(55)至EEE(83)中任一项所述的检查工具,其中,该用户界面被配置为显示包括恒定直径管道的管道的2D表示,并且其中,该管道的2D表示被“展开”为1D图像。
EEE(85)根据EEE(55)至EEE(84)中任一项所述的检查工具,其中,该处理器进一步被配置为基于该分类或该标签提供通知。
EEE(86)根据EEE(55)至EEE(85)中任一项所述的检查工具,其中,该通知包括电子邮件、文本消息或电话呼叫。
EEE(87)根据EEE(55)至EEE(86)中任一项所述的检查工具,其中,该通知包括音频通知、触觉通知或视觉通知。
EEE(88)根据EEE(55)至EEE(87)中任一项所述的检查工具,其中,通过该用户界面提供该视觉通知,以在该图像数据内突出显示该方面或该标签。
EEE(89)根据EEE(55)至EEE(88)中的任一项所述的检查工具,其中,该视觉通知包括屏幕闪烁、突出显示的边框或弹出窗口。
EEE(90)根据EEE(55)至EEE(89)中任一项所述的检查工具,其中,该用户界面基于该分类和该图像数据提供经裁剪的视频或经压缩的视频。
EEE(91)根据EEE(55)至EEE(90)中任一项所述的检查工具,其中,该关注区域包括管道,并且其中,该方面是裂缝、堵塞、根茎、流体积聚、流动流体、管道磨损、过渡、连接管道、接头、不对准、内衬、腹形部、泄漏、管道材料或类型、电线、螺柱、钉子、日光、软管、出口、螺钉、接线盒、日光、关注物或路径方面。
EEE(92)根据EEE(55)至EEE(91)中任一项所述的检查工具,其中,该路径方面包括转弯、与另一管道的连接、或斜坡。
EEE(93)根据EEE(55)至EEE(92)中任一项所述的检查工具,其中,该图像数据包括视频数据。
EEE(94)根据EEE(55)至EEE(93)中任一项所述的检查工具,其中,根据遍历速度、最近识别的方面、或设备设置来修改该图像数据中的帧的频率或分辨率。
EEE(95)根据EEE(55)至EEE(94)中任一项所述的检查工具,其中,该标签作为该图像数据的元数据提供。
EEE(96)根据EEE(55)至EEE(95)中任一项所述的检查工具,其中,该标签与帧、帧组、时间戳、该检查相机在收集时的深度或定位、或工地相关联。
EEE(97)根据EEE(55)至EEE(96)中任一项所述的检查工具,其中,该检查相机的定位是基于位置检测设备来确定的。
EEE(98)根据EEE(55)至EEE(97)中任一项所述的检查工具,其中,该定位是基于由定位探测器提供的信号来确定的。
EEE(99)根据EEE(55)至EEE(98)中任一项所述的检查工具,其中,该定位是基于GPS数据来确定的。
EEE(100)根据EEE(55)至EEE(99)中任一项所述的检查工具,其中,该图像数据是从收集的原始图像数据减少或下采样得到的。
EEE(101)根据EEE(55)至EEE(100)中任一项所述的检查工具,包括排水管清洁工具、管道输送工具、管道清洁工具、管道内部焊接工具或管道内部切割工具。
EEE(102)根据EEE(55)至EEE(101)中任一项所述的检查工具,包括麦克风、电感传感器、电容传感器、磁力计、温度传感器、湿度传感器、电接触传感器、运动传感器、延伸传感器、惯性测量单元或相机模块。
EEE(103)根据EEE(55)至EEE(102)中任一项所述的检查工具,其中,该相机模块包括该检查相机,并且其中,该相机模块是自调平的并且朝向管道的底部定向。
EEE(104)根据EEE(55)至EEE(103)中任一项所述的检查工具,其中,借助通过该模型连同该图像数据一起或代替该图像数据而处理广播到该关注区域中的音频信号来确定该分类。
EEE(105)一种用于根据图像数据确定分类的方法,该方法包括:从检查相机接收从关注区域收集的图像数据;通过模型处理该图像数据以确定该关注区域的方面的分类,该模型是用先前接收的图像数据和相应的先前接收或确定的分类来训练的;基于该分类确定该方面的标签;以及将该标签和该图像数据提供到用户界面。
EEE(106)根据EEE(105)所述的用于根据图像数据确定分类的方法,其中,该模型包括映射到逻辑块的像素颜色、色调或饱和度的直方图。
EEE(107)根据EEE(105)或EEE(106)中任一项所述的用于根据图像数据确定分类的方法,其中,该逻辑块包括粗逻辑、CNN、DNN、RNN、随机森林算法、决策树算法、KNN算法或逻辑回归算法。
EEE(108)根据EEE(105)至EEE(107)中任一项所述的用于根据图像数据确定分类的方法,其中,该分类是基于颜色或亮度的分布来确定的。
EEE(109)根据EEE(105)至EEE(108)中任一项所述的用于根据图像数据确定分类的方法,其中,该模型包括计算机视觉算法。
EEE(110)根据EEE(105)至EEE(109)中任一项所述的用于根据图像数据确定分类的方法,其中,该计算机视觉算法包括SIFT、SURF或ORB。
EEE(111)根据EEE(105)至EEE(110)中任一项所述的用于根据图像数据确定分类的方法,其中,该分类是基于二元决策、在多个分类之间的决策、多分类问题或视觉分类问题来确定的。
EEE(112)根据EEE(105)至EEE(111)中任一项所述的用于根据图像数据确定分类的方法,其中,用该图像数据和所确定的分类来重新训练该模型。
EEE(113)根据EEE(105)至EEE(112)中任一项所述的用于根据图像数据确定分类的方法,其中,用通过该用户界面提供的将该标签应用到或不应用到该方面的选择来重新训练该模型。
EEE(114)根据EEE(105)至EEE(113)中任一项所述的用于根据图像数据确定分类的方法,其中,该选择包括标识特定用户的元数据,并且其中,该模型针对该特定用户进行训练和个性化。
EEE(115)根据EEE(105)至EEE(114)中任一项所述的用于根据图像数据确定分类的方法,其中,该模型是基于合并来自多个用户的多个训练的分布式学习技术来训练的。
EEE(116)根据EEE(105)至EEE(115)中任一项所述的用于根据图像数据确定分类的方法,其中,为该多个用户分配权重,并且其中,根据所分配的权重和相应的训练来训练该模型。
EEE(117)根据EEE(105)至EEE(116)中任一项所述的用于根据图像数据确定分类的方法,借助通过第二模型处理该分类和该图像数据来确定该标签,该第二模型是用先前接收的图像数据、相应的先前接收或确定的分类和相应的先前接收或确定的标签来训练的。
EEE(118)根据EEE(105)至EEE(117)中任一项所述的用于根据图像数据确定分类的方法,其中,用该图像数据、所确定的分类和所确定的标签重新训练该第二模型。
EEE(119)根据EEE(105)至EEE(118)中任一项所述的用于根据图像数据确定分类的方法,进一步包括:基于输出滤波器并借助通过该模型处理该图像数据来确定该分类的置信度指标,以及将该置信度指标提供到该用户界面。
EEE(120)根据EEE(105)至EEE(119)中任一项所述的用于根据图像数据确定分类的方法,其中,该输出滤波器包括确定该方面的分类的多个连续帧。
EEE(121)根据EEE(105)至EEE(120)中任一项所述的用于根据图像数据确定分类的方法,其中,该用户界面被配置为基于该置信度指标和阈值而不显示该标签。
EEE(122)根据EEE(105)至EEE(121)中任一项所述的用于根据图像数据确定分类的方法,其中,该阈值是经由该用户界面针对用户定制的。
EEE(123)根据EEE(105)至EEE(122)中任一项所述的用于根据图像数据确定分类的方法,进一步包括:基于该分类和该图像数据确定控制该检查相机的命令;以及将该命令提供给该检查相机或容纳该检查相机的检查工具。
EEE(124)根据EEE(105)至EEE(123)中任一项所述的用于根据图像数据确定分类的方法,其中,该命令包括以下项中的至少一项:减慢该图像数据的帧速率、向该用户界面提供用户提示、降低该检查工具的前进速度、停止该检查工具的前进进程、用该检查相机执行缩放功能、平移该检查相机、旋转该检查相机、切换相机、调整颜色、调整照明、调整对比度、调整分辨率、调整亮度、调整颜色映射、或增强该方面在该用户界面上的可视化。
EEE(125)根据EEE(105)至EEE(124)中的任一项所述的用于根据图像数据确定分类的方法,其中,增强该可视化包括突出显示、放大或添加边框围绕该方面。
EEE(126)根据EEE(105)至EEE(125)中任一项所述的用于根据图像数据确定分类的方法,其中,该可视化的增强被保存为视频的一部分、保存在另一层中、保存为视频的元数据、或者保存在单独的文件中。
EEE(127)根据EEE(105)至EEE(126)中任一项所述的用于根据图像数据确定分类的方法,其中,该用户界面被配置为将该标签应用到该图像数据。
EEE(128)根据EEE(105)至EEE(127)中任一项所述的用于根据图像数据确定分类的方法,其中,该用户界面被配置为提供确认、否认、调整、添加或移除该标签的提示。
EEE(129)根据EEE(105)至EEE(128)中任一项所述的用于根据图像数据确定分类的方法,其中,该用户界面包括基于音频的用户界面,从而允许用户在操作期间口头地确认、否认、调整、添加或移除该标签。
EEE(130)根据EEE(105)至EEE(129)中任一项所述的用于根据图像数据确定分类的方法,其中,该用户界面被配置为当“不确定”提示被选择时触发向一个或多个用户发送该图像数据和该标签。
EEE(131)根据EEE(105)至EEE(130)中任一项所述的用于根据图像数据确定分类的方法,其中,该用户界面包括显示器。
EEE(132)根据EEE(105)至EEE(131)中任一项所述的用于根据图像数据确定分类的方法,其中,管道经由该用户界面被一维地显示,并且除了在接头处之外基本上被显示为笔直的。
EEE(133)根据EEE(105)至EEE(132)中任一项所述的用于根据图像数据确定分类的方法,其中,该用户界面被配置为经由使用SLAM技术与该图像数据执行的拼接来显示管道的三维(3D)表示。
EEE(134)根据EEE(105)至EEE(133)中任一项所述的用于根据图像数据确定分类的方法,其中,该用户界面被配置为显示包括恒定直径管道的管道的2D表示,并且其中,该管道的2D表示被“展开”为1D图像。
EEE(135)根据EEE(105)至EEE(134)中的任一项所述的用于根据图像数据确定分类的方法,进一步包括:基于该分类或该标签提供通知。
EEE(136)根据EEE(105)至EEE(135)中任一项所述的用于根据图像数据确定分类的方法,其中,该通知包括电子邮件、文本消息或电话呼叫。
EEE(137)根据EEE(105)至EEE(136)中任一项所述的用于根据图像数据确定分类的方法,其中,该通知包括音频通知、触觉通知或视觉通知。
EEE(138)根据EEE(105)至EEE(137)中任一项所述的用于根据图像数据确定分类的方法,其中,通过该用户界面提供该视觉通知,以在该图像数据内突出显示该方面或该标签。
EEE(139)根据EEE(105)至EEE(138)中任一项所述的用于根据图像数据确定分类的方法,其中,该视觉通知包括屏幕闪烁、突出显示的边框或弹出窗口。
EEE(140)根据EEE(105)至EEE(139)中任一项所述的用于根据图像数据确定分类的方法,其中,该用户界面基于该分类和该图像数据提供经裁剪的视频或经压缩的视频。
EEE(141)根据EEE(105)至EEE(140)中任一项所述的用于根据图像数据确定分类的方法,其中,该关注区域包括管道,并且其中,该方面是裂缝、堵塞、根茎、流体积聚、流动流体、管道磨损、过渡、连接管道、接头、不对准、内衬、腹形部、泄漏、管道材料或类型、电线、螺柱、钉子、日光、软管、出口、螺钉、接线盒、日光、关注物或路径方面。
EEE(142)根据EEE(105)至EEE(141)中任一项所述的用于根据图像数据确定分类的方法,其中,该路径方面包括转弯、与另一管道的连接、或斜坡。
EEE(143)根据EEE(105)至EEE(142)中任一项所述的用于根据图像数据确定分类的方法,其中,该图像数据包括视频数据。
EEE(144)根据EEE(105)至EEE(143)中任一项所述的用于根据图像数据确定分类的方法,其中,根据遍历速度、最近识别的方面、或设备设置来修改该图像数据中的帧的频率或分辨率。
EEE(145)根据EEE(105)至EEE(144)中任一项所述的用于根据图像数据确定分类的方法,其中,该标签作为该图像数据的元数据提供。
EEE(146)根据EEE(105)至EEE(145)中任一项所述的用于根据图像数据确定分类的方法,其中,该标签与帧、帧组、时间戳、该检查相机在收集时的深度或定位、或工地相关联。
EEE(147)根据EEE(105)至EEE(146)中任一项所述的用于根据图像数据确定分类的方法,其中,该检查相机的定位是基于位置检测设备来确定的。
EEE(148)根据EEE(105)至EEE(147)中任一项所述的用于根据图像数据确定分类的方法,其中,该定位是基于由定位探测器提供的信号来确定的。
EEE(149)根据EEE(105)至EEE(148)中任一项所述的用于根据图像数据确定分类的方法,其中,该定位是基于GPS数据来确定的。
EEE(150)根据EEE(105)至EEE(149)中任一项所述的用于根据图像数据确定分类的方法,其中,该图像数据是从收集的原始图像数据减少或下采样得到的。
EEE(151)根据EEE(105)至EEE(150)中任一项所述的用于根据图像数据确定分类的方法,其中,该方法由被容纳在移动设备或服务器设备内的处理器执行。
EEE(152)根据EEE(105)至EEE(151)中任一项所述的用于根据图像数据确定分类的方法,其中,该检查相机和该用户界面被容纳在检查工具内。
EEE(153)根据EEE(105)至EEE(152)中任一项所述的用于根据图像数据确定分类的方法,其中,该检查相机被容纳在第一工具内,并且其中,该用户界面被容纳在第二工具内。
EEE(154)根据EEE(105)至EEE(153)中的任一项所述的用于根据图像数据确定分类的方法,其中,该方法由被容纳在检查工具内的处理器执行,并且其中,该检查相机和该用户界面被容纳在该检查工具内。
EEE(155)根据EEE(105)至EEE(154)中任一项所述的用于根据图像数据确定分类的方法,其中,该检查工具包括排水管清洁工具、管道输送工具、管道清洁工具、管道内部焊接工具或管道内部切割工具。
EEE(156)根据EEE(105)至EEE(155)中任一项所述的用于根据图像数据确定分类的方法,其中,该检查工具包括麦克风、电感传感器、电容传感器、磁力计、温度传感器、湿度传感器、电接触传感器、运动传感器、延伸传感器、惯性测量单元或相机模块。
EEE(157)根据EEE(105)至EEE(156)中任一项所述的用于根据图像数据确定分类的方法,其中,该相机模块包括该检查相机,并且其中,该相机模块是自调平的并且朝向管道的底部定向。
EEE(158)根据EEE(105)至EEE(157)中任一项所述的用于根据图像数据确定分类的方法,其中,借助通过该模型连同该图像数据一起或代替该图像数据而处理广播到该关注区域中的音频信号来确定该分类。
EEE(159)一种非暂态计算机可读介质,该介质包括指令,这些指令能够由电子处理器执行以执行一组功能,该组功能包括:从检查相机接收从关注区域收集的图像数据;通过模型处理该图像数据以确定该关注区域的方面的分类,该模型是用先前接收的图像数据和相应的先前接收或确定的分类来训练的;基于该分类确定该方面的标签;以及将该标签和该图像数据提供到用户界面。
EEE(160)根据EEE(159)所述的介质,其中,该模型包括映射到逻辑块的像素颜色、色调或饱和度的直方图。
EEE(161)根据EEE(159)或EEE(160)中任一项所述的介质,其中,该逻辑块包括粗逻辑、CNN、DNN、RNN、随机森林算法、决策树算法、KNN算法或逻辑回归算法。
EEE(162)根据EEE(159)至EEE(161)中任一项所述的介质,其中,该分类是基于颜色或亮度的分布来确定的。
EEE(163)根据EEE(159)至EEE(162)中任一项所述的介质,其中,该模型包括计算机视觉算法。
EEE(164)根据EEE(159)至EEE(163)中任一项所述的介质,其中,该计算机视觉算法包括SIFT、SURF或ORB。
EEE(165)根据EEE(159)至EEE(164)中任一项所述的介质,其中,该分类是基于二元决策、在多个分类之间的决策、多分类问题或视觉分类问题来确定的。
EEE(166)根据EEE(159)至EEE(165)中任一项所述的介质,其中,用该图像数据和所确定的分类来重新训练该模型。
EEE(167)根据EEE(159)至EEE(166)中任一项所述的介质,其中,用通过该用户界面提供的将该标签应用到或不应用到该方面的选择来重新训练该模型。
EEE(168)根据EEE(159)至EEE(167)中任一项所述的介质,其中,该选择包括标识特定用户的元数据,并且其中,该模型针对该特定用户进行训练和个性化。
EEE(169)根据EEE(159)至EEE(168)中任一项所述的介质,其中,该模型是基于合并来自多个用户的多个训练的分布式学习技术来训练的。
EEE(170)根据EEE(159)至EEE(169)中任一项所述的介质,其中,为该多个用户分配权重,并且其中,根据所分配的权重和相应的训练来训练该模型。
EEE(171)根据EEE(159)至EEE(170)中任一项所述的介质,借助通过第二模型处理该分类和该图像数据来确定该标签,该第二模型是用先前接收的图像数据、相应的先前接收或确定的分类和相应的先前接收或确定的标签来训练的。
EEE(172)根据EEE(159)至EEE(171)中任一项所述的介质,其中,用该图像数据、所确定的分类和所确定的标签重新训练该第二模型。
EEE(173)根据EEE(159)至EEE(172)中任一项所述的介质,其中,该组功能进一步包括:基于输出滤波器并借助通过该模型处理该图像数据来确定该分类的置信度指标,以及将该置信度指标提供到该用户界面。
EEE(174)根据EEE(159)至EEE(173)中任一项所述的介质,其中,该输出滤波器包括确定该方面的分类的多个连续帧。
EEE(175)根据EEE(159)至EEE(174)中任一项所述的介质,其中,该用户界面被配置为基于该置信度指标和阈值而不显示该标签。
EEE(176)根据EEE(159)至EEE(175)中任一项所述的介质,其中,该阈值是经由该用户界面针对用户定制的。
EEE(177)根据EEE(159)至EEE(176)中任一项所述的介质,其中,该组功能进一步包括:基于该分类和该图像数据确定控制该检查相机的命令;以及将该命令提供给该检查相机或容纳该检查相机的检查工具。
EEE(178)根据EEE(159)至EEE(177)中任一项所述的介质,其中,该命令包括以下项中的至少一项:减慢该图像数据的帧速率、向该用户界面提供用户提示、降低该检查工具的前进速度、停止该检查工具的前进进程、用该检查相机执行缩放功能、平移该检查相机、旋转该检查相机、切换相机、调整颜色、调整照明、调整对比度、调整分辨率、调整亮度、调整颜色映射、或增强该方面在该用户界面上的可视化。
EEE(179)根据EEE(159)至EEE(178)中任一项所述的介质,其中,增强该可视化包括突出显示、放大或添加边框围绕该方面。
EEE(180)根据EEE(159)至EEE(179)中任一项所述的介质,其中,该可视化的增强被保存为视频的一部分、保存在另一层中、保存为视频的元数据、或者保存在单独的文件中。
EEE(181)根据EEE(159)至EEE(180)中任一项所述的介质,其中,该用户界面被配置为将该标签应用到该图像数据。
EEE(182)根据EEE(159)至EEE(181)中任一项所述的介质,其中,该用户界面被配置为提供确认、否认、调整、添加或移除该标签的提示。
EEE(183)根据EEE(159)至EEE(182)中任一项所述的介质,其中,该用户界面包括基于音频的用户界面,从而允许用户在操作期间口头地确认、否认、调整、添加或移除该标签。
EEE(184)根据EEE(159)至EEE(183)中任一项所述的介质,其中,该用户界面被配置为当“不确定”提示被选择时触发向一个或多个用户发送该图像数据和该标签。
EEE(185)根据EEE(159)至EEE(184)中任一项所述的介质,其中,该用户界面包括显示器。
EEE(186)根据EEE(159)至EEE(185)中任一项所述的介质,其中,管道经由该用户界面被一维地显示,并且除了在接头处之外基本上被显示为笔直的。
EEE(187)根据EEE(159)至EEE(186)中任一项所述的介质,其中,该用户界面被配置为经由使用SLAM技术与该图像数据执行的拼接来显示管道的3D表示。
EEE(188)根据EEE(159)至EEE(187)中任一项所述的介质,其中,该用户界面被配置为显示包括恒定直径管道的管道的2D表示,并且其中,该管道的2D表示被“展开”为1D图像。
EEE(189)根据EEE(159)至EEE(188)中任一项所述的介质,其中,该组功能进一步包括:基于该分类或该标签提供通知。
EEE(190)根据EEE(159)至EEE(189)中任一项所述的介质,其中,该通知包括电子邮件、文本消息或电话呼叫。
EEE(191)根据EEE(159)至EEE(190)中任一项所述的介质,其中,该通知包括音频通知、触觉通知或视觉通知。
EEE(192)根据EEE(159)至EEE(191)中任一项所述的介质,其中,通过该用户界面提供该视觉通知,以在该图像数据内突出显示该方面或该标签。
EEE(193)根据EEE(159)至EEE(192)中的任一项所述的介质,其中,该视觉通知包括屏幕闪烁、突出显示的边框或弹出窗口。
EEE(194)根据EEE(159)至EEE(193)中任一项所述的介质,其中,该用户界面基于该分类和该图像数据提供经裁剪的视频或经压缩的视频。
EEE(195)根据EEE(159)至EEE(194)中任一项所述的介质,其中,该关注区域包括管道,并且其中,该方面是裂缝、堵塞、根茎、流体积聚、流动流体、管道磨损、过渡、连接管道、接头、不对准、内衬、腹形部、泄漏、管道材料或类型、电线、螺柱、钉子、日光、软管、出口、螺钉、接线盒、日光、关注物或路径方面。
EEE(196)根据EEE(159)至EEE(195)中任一项所述的介质,其中,该路径方面包括转弯、与另一管道的连接、或斜坡。
EEE(197)根据EEE(159)至EEE(196)中任一项所述的介质,其中,该图像数据包括视频数据。
EEE(198)根据EEE(159)至EEE(197)中任一项所述的介质,其中,根据遍历速度、最近识别的方面、或设备设置来修改该图像数据中的帧的频率或分辨率。
EEE(199)根据EEE(159)至EEE(198)中任一项所述的介质,其中,该标签作为该图像数据的元数据提供。
EEE(200)根据EEE(159)至EEE(199)中任一项所述的介质,其中,该标签与帧、帧组、时间戳、该检查相机在收集时的深度或定位、或工地相关联。
EEE(201)根据EEE(159)至EEE(200)中任一项所述的介质,其中,该检查相机的定位是基于位置检测设备来确定的。
EEE(202)根据EEE(159)至EEE(201)中任一项所述的介质,其中,该定位是基于由定位探测器提供的信号来确定的。
EEE(203)根据EEE(159)至EEE(202)中任一项所述的介质,其中,该定位是基于GPS数据来确定的。
EEE(204)根据EEE(159)至EEE(203)中任一项所述的介质,其中,该图像数据是从收集的原始图像数据减少或下采样得到的。
EEE(205)根据EEE(159)至EEE(204)中任一项所述的介质,其中,该电子处理器被容纳在移动设备或服务器设备内。
EEE(206)根据EEE(159)至EEE(205)中任一项所述的介质,其中,该检查相机和该用户界面被容纳在检查工具内。
EEE(207)根据EEE(159)至EEE(206)中任一项所述的介质,其中,该检查相机被容纳在第一工具内,并且其中,该用户界面被容纳在第二工具内。
EEE(208)根据EEE(159)至EEE(207)中任一项所述的介质,其中,该检查相机、该用户界面和该电子处理器被容纳在检查工具内。
EEE(209)根据EEE(159)至EEE(208)中任一项所述的介质,其中,该检查工具包括排水管清洁工具、管道输送工具、管道清洁工具、管道内部焊接工具或管道内部切割工具。
EEE(210)根据EEE(159)至EEE(209)中任一项所述的介质,其中,该检查工具包括麦克风、电感传感器、电容传感器、磁力计、温度传感器、湿度传感器、电接触传感器、运动传感器、延伸传感器、惯性测量单元或相机模块。
EEE(211)根据EEE(159)至EEE(210)中任一项所述的介质,其中,该相机模块包括该检查相机,并且其中,该相机模块是自调平的并且朝向管道的底部定向。
EEE(212)根据EEE(159)至EEE(211)中任一项所述的介质,其中,借助通过该模型连同该图像数据一起或代替该图像数据而处理广播到该关注区域中的音频信号来确定该分类。
EEE(213)一种检查工具,包括:壳体;用户界面,该用户界面由该壳体支撑;检查卷轴,该检查卷轴由该壳体支撑并且包括被配置为捕获图像数据的检查相机;以及控制器,该控制器包括处理器和存储器,该控制器由该壳体支撑并且耦接到该检查相机和该用户界面,其中,该处理器被配置为:从该检查相机接收从关注区域收集的图像数据,通过模型处理接收到的图像数据以确定该关注区域的方面的分类,该模型是用先前接收的图像数据和相应的先前接收或确定的分类来训练的,基于该分类和接收到的图像数据确定控制该检查相机的命令,以及将该命令提供给该检查相机。
EEE(214)根据EEE(213)所述的检查工具,其中,该模型包括映射到逻辑块的像素颜色、色调或饱和度的直方图。
EEE(215)根据EEE(213)或EEE(214)中任一项所述的检查工具,其中,该逻辑块包括粗逻辑、CNN、DNN、RNN、随机森林算法、决策树算法、KNN算法或逻辑回归算法。
EEE(216)根据EEE(213)至EEE(215)中任一项所述的检查工具,其中,该分类是基于颜色或亮度的分布来确定的。
EEE(217)根据EEE(213)至EEE(216)中任一项所述的检查工具,其中,该模型包括计算机视觉算法。
EEE(218)根据EEE(213)至EEE(217)中任一项所述的检查工具,其中,该计算机视觉算法包括SIFT、SURF或ORB。
EEE(219)根据EEE(213)至EEE(218)中任一项所述的检查工具,其中,该分类是基于二元决策、在多个分类之间的决策、多分类问题或视觉分类问题来确定的。
EEE(220)根据EEE(213)至EEE(219)中任一项所述的检查工具,其中,该命令包括以下项中的至少一项:减慢该图像数据的帧速率、向该用户界面提供用户提示、降低该检查工具的前进速度、停止该检查工具的前进进程、用该检查相机执行缩放功能、平移该检查相机、旋转该检查相机、切换相机、调整颜色、调整照明、调整对比度、调整分辨率、调整亮度、调整颜色映射、或增强该方面在该用户界面上的可视化。
EEE(221)根据EEE(213)至EEE(220)中任一项所述的检查工具,其中,增强该可视化包括突出显示、放大或添加边框围绕该方面。
EEE(222)根据EEE(213)至EEE(221)中任一项所述的检查工具,其中,该可视化的增强被保存为视频的一部分、保存在另一层中、保存为视频的元数据、或者保存在单独的文件中。
EEE(223)根据EEE(213)至EEE(222)中任一项所述的检查工具,其中,该关注区域包括管道,并且其中,该方面是裂缝、堵塞、根茎、流体积聚、流动流体、管道磨损、过渡、连接管道、接头、不对准、内衬、腹形部、泄漏、管道材料或类型、电线、螺柱、钉子、日光、软管、出口、螺钉、接线盒、日光、关注物或路径方面。
EEE(224)根据EEE(213)至EEE(223)中任一项所述的检查工具,其中,该路径方面包括转弯、与另一管道的连接、或斜坡。
EEE(225)根据EEE(213)至EEE(224)中任一项所述的检查工具,其中,该图像数据包括视频数据。
EEE(226)根据EEE(213)至EEE(225)中任一项所述的检查工具,其中,根据遍历速度、最近识别的方面、或设备设置来修改该图像数据中的帧的频率或分辨率。
EEE(227)根据EEE(213)至EEE(226)中任一项所述的检查工具,其中,该处理器进一步被配置为:基于该分类确定该方面的标签,并将该标签和接收到的图像数据提供到该用户界面。
EEE(228)根据EEE(213)至EEE(227)中任一项所述的检查工具,其中,用该图像数据和所确定的分类来重新训练该模型。
EEE(229)根据EEE(213)至EEE(228)中任一项所述的检查工具,其中,用通过该用户界面提供的将该标签应用到或不应用到该方面的选择来重新训练该模型。
EEE(230)根据EEE(213)至EEE(229)中任一项所述的检查工具,其中,该选择包括标识特定用户的元数据,并且其中,该模型针对该特定用户进行训练和个性化。
EEE(231)根据EEE(213)至EEE(230)中任一项所述的检查工具,其中,该模型是基于合并来自多个用户的多个训练的分布式学习技术来训练的。
EEE(232)根据EEE(213)至EEE(231)中任一项所述的检查工具,其中,为该多个用户分配权重,并且其中,根据所分配的权重和相应的训练来训练该模型。
EEE(233)根据EEE(213)至EEE(232)中任一项所述的检查工具,借助通过第二模型处理该分类和该图像数据来确定该标签,该第二模型是用先前接收的图像数据、相应的先前接收或确定的分类和相应的先前接收或确定的标签来训练的。
EEE(234)根据EEE(213)至EEE(233)中任一项所述的检查工具,其中,用该图像数据、所确定的分类和所确定的标签重新训练该第二模型。
EEE(235)根据EEE(213)至EEE(234)中任一项所述的检查工具,其中,该处理器进一步被配置为基于输出滤波器并借助通过该模型处理该图像数据来确定该分类的置信度指标,以及将该置信度指标提供到该用户界面。
EEE(236)根据EEE(213)至EEE(235)中任一项所述的检查工具,其中,该输出滤波器包括确定该方面的分类的多个连续帧。
EEE(237)根据EEE(213)至EEE(236)中任一项所述的检查工具,其中,该用户界面被配置为基于该置信度指标和阈值而不显示该标签。
EEE(238)根据EEE(213)至EEE(237)中任一项所述的检查工具,其中,该阈值是经由该用户界面针对用户定制的。
EEE(239)根据EEE(213)至EEE(238)中任一项所述的检查工具,其中,该用户界面被配置为将该标签应用到该图像数据。
EEE(240)根据EEE(213)至EEE(239)中任一项所述的检查工具,其中,该用户界面被配置为提供确认、否认、调整、添加或移除该标签的提示。
EEE(241)根据EEE(213)至EEE(240)中任一项所述的检查工具,其中,该用户界面包括基于音频的用户界面,从而允许用户在操作期间口头地确认、否认、调整、添加或移除该标签。
EEE(242)根据EEE(213)至EEE(241)中任一项所述的检查工具,其中,该用户界面被配置为当“不确定”提示被选择时触发向一个或多个用户发送该图像数据和该标签。
EEE(243)根据EEE(213)至EEE(242)中任一项所述的检查工具,其中,该用户界面包括显示器。
EEE(244)根据EEE(213)至EEE(243)中任一项所述的检查工具,其中,管道经由该用户界面被一维地显示,并且除了在接头处之外基本上被显示为笔直的。
EEE(245)根据EEE(213)至EEE(244)中任一项所述的检查工具,其中,该用户界面被配置为经由使用SLAM技术与该图像数据执行的拼接来显示管道的3D表示。
EEE(246)根据EEE(213)至EEE(245)中任一项所述的检查工具,其中,该用户界面被配置为显示包括恒定直径管道的管道的2D表示,并且其中,该管道的2D表示被“展开”为1D图像。
EEE(247)根据EEE(213)至EEE(246)中任一项所述的检查工具,其中,该处理器进一步被配置为基于该分类、该标签或该命令提供通知。
EEE(248)根据EEE(213)至EEE(247)中任一项所述的检查工具,其中,该通知包括电子邮件、文本消息或电话呼叫。
EEE(249)根据EEE(213)至EEE(248)中任一项所述的检查工具,其中,该通知包括音频通知、触觉通知或视觉通知。
EEE(250)根据EEE(213)至EEE(249)中任一项所述的检查工具,其中,通过该用户界面提供该视觉通知,以在该图像数据内突出显示该方面或该标签。
EEE(251)根据EEE(213)至EEE(250)中的任一项所述的检查工具,其中,该视觉通知包括屏幕闪烁、突出显示的边框或弹出窗口。
EEE(252)根据EEE(213)至EEE(251)中任一项所述的检查工具,其中,该用户界面基于该分类和该图像数据提供经裁剪的视频或经压缩的视频。
EEE(253)根据EEE(213)至EEE(252)中任一项所述的检查工具,其中,该标签作为该图像数据的元数据提供。
EEE(254)根据EEE(213)至EEE(253)中任一项所述的检查工具,其中,该标签与帧、帧组、时间戳、该检查相机在收集时的深度或定位、或工地相关联。
EEE(255)根据EEE(213)至EEE(254)中任一项所述的检查工具,其中,该检查相机的定位是基于位置检测设备来确定的。
EEE(256)根据EEE(213)至EEE(255)中任一项所述的检查工具,其中,该定位是基于由定位探测器提供的信号来确定的。
EEE(257)根据EEE(213)至EEE(256)中任一项所述的检查工具,其中,该定位是基于GPS数据来确定的。
EEE(258)根据EEE(213)至EEE(257)中任一项所述的检查工具,其中,该图像数据是从收集的原始图像数据减少或下采样得到的。
EEE(259)根据EEE(213)至EEE(258)中任一项所述的检查工具,包括排水管清洁工具、管道输送工具、管道清洁工具、管道内部焊接工具或管道内部切割工具。
EEE(260)根据EEE(259)至EEE(215)中任一项所述的检查工具,包括麦克风、电感传感器、电容传感器、磁力计、温度传感器、湿度传感器、电接触传感器、运动传感器、延伸传感器、惯性测量单元或相机模块。
EEE(261)根据EEE(213)至EEE(260)中任一项所述的检查工具,其中,该相机模块包括该检查相机,并且其中,该相机模块是自调平的并且朝向管道的底部定向。
EEE(262)根据EEE(213)至EEE(261)中任一项所述的检查工具,其中,借助通过该模型连同该图像数据一起或代替该图像数据而处理广播到该关注区域中的音频信号来确定该分类。

Claims (262)

1.一种用于根据图像数据确定分类的系统,该系统包括:
处理器,该处理器被配置为:
从检查相机接收从关注区域收集的图像数据,
通过模型处理该图像数据以确定该关注区域的方面的分类,该模型是用先前接收的图像数据和相应的先前接收或确定的分类来训练的,
基于该分类确定该方面的标签,以及
将该标签和该图像数据提供到用户界面。
2.如权利要求1所述的系统,其中,该模型包括映射到逻辑块的像素颜色、色调或饱和度的直方图。
3.如权利要求2所述的系统,其中,该逻辑块包括粗逻辑、卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)、随机森林算法、决策树算法、k-最近邻(KNN)算法,或逻辑回归算法。
4.如权利要求1所述的系统,其中,该分类是基于颜色或亮度的分布确定的。
5.如权利要求1所述的系统,其中,该模型包括计算机视觉算法。
6.如权利要求5所述的系统,其中,该计算机视觉算法包括尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、或定向的基于加速分割测试的特征(FAST)和旋转的二进制鲁棒独立基本特征(BRIEF)(ORB)。
7.如权利要求1所述的系统,其中,该分类是基于二元决策、在多个分类之间的决策、多分类问题或视觉分类问题来确定的。
8.如权利要求1所述的系统,其中,用该图像数据和所确定的分类来重新训练该模型。
9.如权利要求8所述的系统,其中,用通过该用户界面提供的将该标签应用到或不应用到该方面的选择来重新训练该模型。
10.如权利要求9所述的系统,其中,该选择包括标识特定用户的元数据,并且其中,该模型针对该特定用户进行训练和个性化。
11.如权利要求10所述的系统,其中,该模型是基于合并来自多个用户的多个训练的分布式学习技术来训练的。
12.如权利要求11所述的系统,其中,为该多个用户分配权重,并且其中,根据所分配的权重和相应的训练来训练该模型。
13.如权利要求1所述的系统,其中,借助通过第二模型处理该分类和该图像数据来确定该标签,该第二模型是用先前接收的图像数据、相应的先前接收或确定的分类和相应的先前接收或确定的标签来训练的。
14.如权利要求13所述的系统,其中,用该图像数据、所确定的分类和所确定的标签重新训练该第二模型。
15.如权利要求1所述的系统,其中,该处理器进一步被配置为:
基于输出滤波器并借助通过该模型处理该图像数据来确定该分类的置信度指标,以及
将该置信度指标提供到该用户界面。
16.如权利要求15所述的系统,其中,该输出滤波器包括确定该方面的分类的多个连续帧。
17.如权利要求15所述的系统,其中,该用户界面被配置为基于该置信度指标和阈值而不显示该标签。
18.如权利要求17所述的系统,其中,该阈值是经由该用户界面针对用户定制的。
19.如权利要求1所述的系统,其中,该处理器进一步被配置为:
基于该分类和该图像数据确定控制该检查相机的命令;以及
将该命令提供给该检查相机或容纳该检查相机的检查工具。
20.如权利要求19所述的系统,其中,该命令包括以下项中的至少一项:减慢该图像数据的帧速率、向该用户界面提供用户提示、降低该检查工具的前进速度、停止该检查工具的前进进程、用该检查相机执行缩放功能、平移该检查相机、旋转该检查相机、切换相机、调整颜色、调整照明、调整对比度、调整分辨率、调整亮度、调整颜色映射、或增强该方面在该用户界面上的可视化。
21.如权利要求20所述的系统,其中,增强该可视化包括突出显示、放大或添加边框围绕该方面。
22.如权利要求20所述的系统,其中,该可视化的增强被保存为视频的一部分、保存在另一层中、保存为视频的元数据、或者保存在单独的文件中。
23.如权利要求1所述的系统,其中,该用户界面被配置为将该标签应用到该图像数据。
24.如权利要求1所述的系统,其中,该用户界面被配置为提供确认、否认、调整、添加或移除该标签的提示。
25.如权利要求24所述的系统,其中,该用户界面包括基于音频的用户界面,从而允许用户在操作期间口头地确认、否认、调整、添加或移除该标签。
26.如权利要求24所述的系统,其中,该用户界面被配置为当“不确定”提示被选择时触发向一个或多个用户发送该图像数据和该标签。
27.如权利要求1所述的系统,其中,该用户界面包括显示器。
28.如权利要求27所述的系统,其中,管道经由该用户界面被一维地显示,并且除了在接头处之外基本上被显示为笔直的。
29.如权利要求27所述的系统,其中,该用户界面被配置为经由使用同时定位和映射(SLAM)技术与该图像数据执行的拼接来显示管道的三维(3D)表示。
30.如权利要求27所述的系统,其中,该用户界面被配置为显示包括恒定直径管道的管道的二维(2D)表示,并且其中,该管道的2D表示被“展开”为一维(1D)图像。
31.如权利要求1所述的系统,其中,该处理器进一步被配置为:
基于该分类或该标签提供通知。
32.如权利要求31所述的系统,其中,该通知包括电子邮件、文本消息或电话呼叫。
33.如权利要求31所述的系统,其中,该通知包括音频通知、触觉通知或视觉通知。
34.如权利要求33所述的系统,其中,通过该用户界面提供该视觉通知,以在该图像数据内突出显示该方面或该标签。
35.如权利要求34所述的系统,其中,该视觉通知包括屏幕闪烁、突出显示的边框或弹出窗口。
36.如权利要求1所述的系统,其中,该用户界面基于该分类和该图像数据提供经裁剪的视频或经压缩的视频。
37.如权利要求1所述的系统,其中,该关注区域包括管道,并且其中,该方面是裂缝、堵塞、根茎、流体积聚、流动流体、管道磨损、过渡、连接管道、接头、不对准、内衬、腹形部、泄漏、管道材料或类型、电线、螺柱、钉子、日光、软管、出口、螺钉、接线盒、日光、关注物或路径方面。
38.如权利要求37所述的系统,其中,该路径方面包括转弯、与另一管道的连接、或斜坡。
39.如权利要求1所述的系统,其中,该图像数据包括视频数据。
40.如权利要求39所述的系统,其中,根据遍历速度、最近识别的方面、或设备设置来修改该图像数据中的帧的频率或分辨率。
41.如权利要求1所述的系统,其中,该标签作为该图像数据的元数据提供。
42.如权利要求41所述的系统,其中,该标签与帧、帧组、时间戳、该检查相机在收集时的深度或定位、或工地相关联。
43.如权利要求42所述的系统,其中,该检查相机的定位是基于位置检测设备来确定的。
44.如权利要求42所述的系统,其中,该定位是基于由定位探测器提供的信号来确定的。
45.如权利要求42所述的系统,其中,该定位是基于全球定位系统(GPS)数据来确定的。
46.如权利要求1所述的系统,其中,该图像数据是从收集的原始图像数据减少或下采样得到的。
47.如权利要求1所述的系统,其中,该处理器被容纳在移动设备或服务器设备内。
48.如权利要求1所述的系统,其中,该检查相机和该用户界面被容纳在检查工具内。
49.如权利要求1所述的系统,其中,该检查相机被容纳在第一工具内,并且其中,该用户界面被容纳在第二工具内。
50.如权利要求1所述的系统,其中,该处理器、该检查相机和该用户界面被容纳在检查工具内。
51.如权利要求50所述的系统,其中,该检查工具包括排水管清洁工具、管道输送工具、管道清洁工具、管道内部焊接工具或管道内部切割工具。
52.如权利要求50所述的系统,其中,该检查工具包括麦克风、电感传感器、电容传感器、磁力计、温度传感器、湿度传感器、电接触传感器、运动传感器、延伸传感器、惯性测量单元或相机模块。
53.如权利要求52所述的系统,其中,该相机模块包括该检查相机,并且其中,该相机模块是自调平的并且朝向管道的底部定向。
54.如权利要求1所述的系统,其中,借助通过该模型连同该图像数据一起或代替该图像数据而处理广播到该关注区域中的音频信号来确定该分类。
55.一种检查工具,包括:
壳体;
用户界面,该用户界面由该壳体支撑;
检查卷轴,该检查卷轴由该壳体支撑并且包括被配置为捕获图像数据的检查相机;
控制器,该控制器包括处理器和存储器,该控制器由该壳体支撑并且耦接到该检查相机和该用户界面,其中,该处理器被配置为:
从该检查相机接收从关注区域收集的图像数据,
通过模型处理接收到的图像数据以确定该关注区域的方面的分类,该模型是用先前接收的图像数据和相应的先前接收或确定的分类来训练的,
基于该分类确定该方面的标签,以及
将该标签和接收到的图像数据提供到该用户界面。
56.如权利要求55所述的检查工具,其中,该模型包括映射到逻辑块的像素颜色、色调或饱和度的直方图。
57.如权利要求56所述的检查工具,其中,该逻辑块包括粗逻辑、卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)、随机森林算法、决策树算法、k-最近邻(KNN)算法,或逻辑回归算法。
58.如权利要求55所述的检查工具,其中,该分类是基于颜色或亮度的分布确定的。
59.如权利要求55所述的检查工具,其中,该模型包括计算机视觉算法。
60.如权利要求59所述的检查工具,其中,该计算机视觉算法包括尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、或定向的基于加速分割测试的特征(FAST)和旋转的二进制鲁棒独立基本特征(BRIEF)(ORB)。
61.如权利要求55所述的检查工具,其中,该分类是基于二元决策、在多个分类之间的决策、多分类问题或视觉分类问题来确定的。
62.如权利要求55所述的检查工具,其中,用该图像数据和所确定的分类来重新训练该模型。
63.如权利要求62所述的检查工具,其中,用通过该用户界面提供的将该标签应用到或不应用到该方面的选择来重新训练该模型。
64.如权利要求63所述的检查工具,其中,该选择包括标识特定用户的元数据,并且其中,该模型针对该特定用户进行训练和个性化。
65.如权利要求64所述的检查工具,其中,该模型是基于合并来自多个用户的多个训练的分布式学习技术来训练的。
66.如权利要求65所述的检查工具,其中,为该多个用户分配权重,并且其中,根据所分配的权重和相应的训练来训练该模型。
67.如权利要求55所述的检查工具,其中,借助通过第二模型处理该分类和该图像数据来确定该标签,该第二模型是用先前接收的图像数据、相应的先前接收或确定的分类和相应的先前接收或确定的标签来训练的。
68.如权利要求67所述的检查工具,其中,用该图像数据、所确定的分类和所确定的标签重新训练该第二模型。
69.如权利要求55所述的检查工具,其中,该处理器进一步被配置为:
基于输出滤波器并借助通过该模型处理该图像数据来确定该分类的置信度指标,以及
将该置信度指标提供到该用户界面。
70.如权利要求69所述的检查工具,其中,该输出滤波器包括确定该方面的分类的多个连续帧。
71.如权利要求69所述的检查工具,其中,该用户界面被配置为基于该置信度指标和阈值而不显示该标签。
72.如权利要求71所述的检查工具,其中,该阈值是经由该用户界面针对用户定制的。
73.如权利要求55所述的检查工具,其中,该处理器进一步被配置为:
基于该分类和该图像数据确定控制该检查相机的命令;以及
将该命令提供给该检查相机。
74.如权利要求73所述的检查工具,其中,该命令包括以下项中的至少一项:减慢该图像数据的帧速率、向该用户界面提供用户提示、降低该检查工具的前进速度、停止该检查工具的前进进程、用该检查相机执行缩放功能、平移该检查相机、旋转该检查相机、切换相机、调整颜色、调整照明、调整对比度、调整分辨率、调整亮度、调整颜色映射、或增强该方面在该用户界面上的可视化。
75.如权利要求74所述的检查工具,其中,增强该可视化包括突出显示、放大或添加边框围绕该方面。
76.如权利要求74所述的检查工具,其中,该可视化的增强被保存为视频的一部分、保存在另一层中、保存为视频的元数据、或者保存在单独的文件中。
77.如权利要求55所述的检查工具,其中,该用户界面被配置为将该标签应用到该图像数据。
78.如权利要求55所述的检查工具,其中,该用户界面被配置为提供确认、否认、调整、添加或移除该标签的提示。
79.如权利要求78所述的检查工具,其中,该用户界面包括基于音频的用户界面,从而允许用户在操作期间口头地确认、否认、调整、添加或移除该标签。
80.如权利要求78所述的检查工具,其中,该用户界面被配置为当“不确定”提示被选择时触发向一个或多个用户发送该图像数据和该标签。
81.如权利要求55所述的检查工具,其中,该用户界面包括显示器。
82.如权利要求81所述的检查工具,其中,管道经由该用户界面被一维地显示,并且除了在接头处之外基本上被显示为笔直的。
83.如权利要求81所述的检查工具,其中,该用户界面被配置为经由使用同时定位和映射(SLAM)技术与该图像数据执行的拼接来显示管道的三维(3D)表示。
84.如权利要求81所述的检查工具,其中,该用户界面被配置为显示包括恒定直径管道的管道的二维(2D)表示,并且其中,该管道的2D表示被“展开”为一维(1D)图像。
85.如权利要求55所述的检查工具,其中,该处理器进一步被配置为:
基于该分类或该标签提供通知。
86.如权利要求85所述的检查工具,其中,该通知包括电子邮件、文本消息或电话呼叫。
87.如权利要求85所述的检查工具,其中,该通知包括音频通知、触觉通知或视觉通知。
88.如权利要求87所述的检查工具,其中,通过该用户界面提供该视觉通知,以在该图像数据内突出显示该方面或该标签。
89.如权利要求88所述的检查工具,其中,该视觉通知包括屏幕闪烁、突出显示的边框或弹出窗口。
90.如权利要求55所述的检查工具,其中,该用户界面基于该分类和该图像数据提供经裁剪的视频或经压缩的视频。
91.如权利要求55所述的检查工具,其中,该关注区域包括管道,并且其中,该方面是裂缝、堵塞、根茎、流体积聚、流动流体、管道磨损、过渡、连接管道、接头、不对准、内衬、腹形部、泄漏、管道材料或类型、电线、螺柱、钉子、日光、软管、出口、螺钉、接线盒、日光、关注物或路径方面。
92.如权利要求91所述的检查工具,其中,该路径方面包括转弯、与另一管道的连接、或斜坡。
93.如权利要求55所述的检查工具,其中,该图像数据包括视频数据。
94.如权利要求93所述的检查工具,其中,根据遍历速度、最近识别的方面、或设备设置来修改该图像数据中的帧的频率或分辨率。
95.如权利要求55所述的检查工具,其中,该标签作为该图像数据的元数据提供。
96.如权利要求95所述的检查工具,其中,该标签与帧、帧组、时间戳、该检查相机在收集时的深度或定位、或工地相关联。
97.如权利要求96所述的检查工具,其中,该检查相机的定位是基于位置检测设备来确定的。
98.如权利要求96所述的检查工具,其中,该定位是基于由定位探测器提供的信号来确定的。
99.如权利要求96所述的检查工具,其中,该定位是基于全球定位系统(GPS)数据来确定的。
100.如权利要求55所述的检查工具,其中,该图像数据是从收集的原始图像数据减少或下采样得到的。
101.如权利要求55所述的检查工具,包括排水管清洁工具、管道输送工具、管道清洁工具、管道内部焊接工具或管道内部切割工具。
102.如权利要求55所述的检查工具,包括麦克风、电感传感器、电容传感器、磁力计、温度传感器、湿度传感器、电接触传感器、运动传感器、延伸传感器、惯性测量单元或相机模块。
103.如权利要求102所述的检查工具,其中,该相机模块包括该检查相机,并且其中,该相机模块是自调平的并且朝向管道的底部定向。
104.如权利要求55所述的检查工具,其中,借助通过该模型连同该图像数据一起或代替该图像数据而处理广播到该关注区域中的音频信号来确定该分类。
105.一种用于根据图像数据确定分类的方法,该方法包括:
从检查相机接收从关注区域收集的图像数据;
通过模型处理该图像数据以确定该关注区域的方面的分类,该模型是用先前接收的图像数据和相应的先前接收或确定的分类来训练的;
基于该分类确定该方面的标签;以及
将该标签和该图像数据提供到用户界面。
106.如权利要求105所述的方法,其中,该模型包括映射到逻辑块的像素颜色、色调或饱和度的直方图。
107.如权利要求106所述的方法,其中,该逻辑块包括粗逻辑、卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)、随机森林算法、决策树算法、k-最近邻(KNN)算法,或逻辑回归算法。
108.如权利要求105所述的方法,其中,该分类是基于颜色或亮度的分布确定的。
109.如权利要求105所述的方法,其中,该模型包括计算机视觉算法。
110.如权利要求109所述的方法,其中,该计算机视觉算法包括尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、或定向的基于加速分割测试的特征(FAST)和旋转的二进制鲁棒独立基本特征(BRIEF)(ORB)。
111.如权利要求105所述的方法,其中,该分类是基于二元决策、在多个分类之间的决策、多分类问题或视觉分类问题来确定的。
112.如权利要求105所述的方法,其中,用该图像数据和所确定的分类来重新训练该模型。
113.如权利要求112所述的方法,其中,用通过该用户界面提供的将该标签应用到或不应用到该方面的选择来重新训练该模型。
114.如权利要求113所述的方法,其中,该选择包括标识特定用户的元数据,并且其中,该模型针对该特定用户进行训练和个性化。
115.如权利要求114所述的方法,其中,该模型是基于合并来自多个用户的多个训练的分布式学习技术来训练的。
116.如权利要求115所述的方法,其中,为该多个用户分配权重,并且其中,根据所分配的权重和相应的训练来训练该模型。
117.如权利要求105所述的方法,其中,借助通过第二模型处理该分类和该图像数据来确定该标签,该第二模型是用先前接收的图像数据、相应的先前接收或确定的分类和相应的先前接收或确定的标签来训练的。
118.如权利要求117所述的方法,其中,用该图像数据、所确定的分类和所确定的标签重新训练该第二模型。
119.如权利要求105所述的方法,进一步包括:
基于输出滤波器并借助通过该模型处理该图像数据来确定该分类的置信度指标,以及
将该置信度指标提供到该用户界面。
120.如权利要求119所述的方法,其中,该输出滤波器包括确定该方面的分类的多个连续帧。
121.如权利要求119所述的方法,其中,该用户界面被配置为基于该置信度指标和阈值而不显示该标签。
122.如权利要求121所述的方法,其中,该阈值是经由该用户界面针对用户定制的。
123.如权利要求105所述的方法,进一步包括:
基于该分类和该图像数据确定控制该检查相机的命令;以及
将该命令提供给该检查相机或容纳该检查相机的检查工具。
124.如权利要求123所述的方法,其中,该命令包括以下项中的至少一项:减慢该图像数据的帧速率、向该用户界面提供用户提示、降低该检查工具的前进速度、停止该检查工具的前进进程、用该检查相机执行缩放功能、平移该检查相机、旋转该检查相机、切换相机、调整颜色、调整照明、调整对比度、调整分辨率、调整亮度、调整颜色映射、或增强该方面在该用户界面上的可视化。
125.如权利要求124所述的方法,其中,增强该可视化包括突出显示、放大或添加边框围绕该方面。
126.如权利要求124所述的方法,其中,该可视化的增强被保存为视频的一部分、保存在另一层中、保存为视频的元数据、或者保存在单独的文件中。
127.如权利要求105所述的方法,其中,该用户界面被配置为将该标签应用到该图像数据。
128.如权利要求105所述的方法,其中,该用户界面被配置为提供确认、否认、调整、添加或移除该标签的提示。
129.如权利要求128所述的方法,其中,该用户界面包括基于音频的用户界面,从而允许用户在操作期间口头地确认、否认、调整、添加或移除该标签。
130.如权利要求128所述的方法,其中,该用户界面被配置为当“不确定”提示被选择时触发向一个或多个用户发送该图像数据和该标签。
131.如权利要求105所述的方法,其中,该用户界面包括显示器。
132.如权利要求131所述的方法,其中,管道经由该用户界面被一维地显示,并且除了在接头处之外基本上被显示为笔直的。
133.如权利要求131所述的方法,其中,该用户界面被配置为经由使用同时定位和映射(SLAM)技术与该图像数据执行的拼接来显示管道的三维(3D)表示。
134.如权利要求131所述的方法,其中,该用户界面被配置为显示包括恒定直径管道的管道的二维(2D)表示,并且其中,该管道的2D表示被“展开”为一维(1D)图像。
135.如权利要求105所述的方法,进一步包括:
基于该分类或该标签提供通知。
136.如权利要求135所述的方法,其中,该通知包括电子邮件、文本消息或电话呼叫。
137.如权利要求135所述的方法,其中,该通知包括音频通知、触觉通知或视觉通知。
138.如权利要求137所述的方法,其中,通过该用户界面提供该视觉通知,以在该图像数据内突出显示该方面或该标签。
139.如权利要求138所述的方法,其中,该视觉通知包括屏幕闪烁、突出显示的边框或弹出窗口。
140.如权利要求105所述的方法,其中,该用户界面基于该分类和该图像数据提供经裁剪的视频或经压缩的视频。
141.如权利要求105所述的方法,其中,该关注区域包括管道,并且其中,该方面是裂缝、堵塞、根茎、流体积聚、流动流体、管道磨损、过渡、连接管道、接头、不对准、内衬、腹形部、泄漏、管道材料或类型、电线、螺柱、钉子、日光、软管、出口、螺钉、接线盒、日光、关注物或路径方面。
142.如权利要求141所述的方法,其中,该路径方面包括转弯、与另一管道的连接、或斜坡。
143.如权利要求105所述的方法,其中,该图像数据包括视频数据。
144.如权利要求143所述的方法,其中,根据遍历速度、最近识别的方面、或设备设置来修改该图像数据中的帧的频率或分辨率。
145.如权利要求105所述的方法,其中,该标签作为该图像数据的元数据提供。
146.如权利要求145所述的方法,其中,该标签与帧、帧组、时间戳、该检查相机在收集时的深度或定位、或工地相关联。
147.如权利要求146所述的方法,其中,该检查相机的定位是基于位置检测设备来确定的。
148.如权利要求146所述的方法,其中,该定位是基于由定位探测器提供的信号来确定的。
149.如权利要求146所述的方法,其中,该定位是基于全球定位系统(GPS)数据来确定的。
150.如权利要求105所述的方法,其中,该图像数据是从收集的原始图像数据减少或下采样得到的。
151.如权利要求105所述的方法,其中,该方法由被容纳在移动设备或服务器设备内的处理器执行。
152.如权利要求105所述的方法,其中,该检查相机和该用户界面被容纳在检查工具内。
153.如权利要求105所述的方法,其中,该检查相机被容纳在第一工具内,并且其中,该用户界面被容纳在第二工具内。
154.如权利要求105所述的方法,其中,该方法由被容纳在检查工具内的处理器执行,并且其中,该检查相机和该用户界面被容纳在该检查工具内。
155.如权利要求154所述的方法,其中,该检查工具包括排水管清洁工具、管道输送工具、管道清洁工具、管道内部焊接工具或管道内部切割工具。
156.如权利要求154所述的方法,其中,该检查工具包括麦克风、电感传感器、电容传感器、磁力计、温度传感器、湿度传感器、电接触传感器、运动传感器、延伸传感器、惯性测量单元或相机模块。
157.如权利要求156所述的方法,其中,该相机模块包括该检查相机,并且其中,该相机模块是自调平的并且朝向管道的底部定向。
158.如权利要求105所述的方法,其中,借助通过该模型连同该图像数据一起或代替该图像数据而处理广播到该关注区域中的音频信号来确定该分类。
159.一种非暂态计算机可读介质,该介质包括指令,这些指令能够由电子处理器执行以执行一组功能,该组功能包括:
从检查相机接收从关注区域收集的图像数据;
通过模型处理该图像数据以确定该关注区域的方面的分类,该模型是用先前接收的图像数据和相应的先前接收或确定的分类来训练的;
基于该分类确定该方面的标签;以及
将该标签和该图像数据提供到用户界面。
160.如权利要求159所述的介质,其中,该模型包括映射到逻辑块的像素颜色、色调或饱和度的直方图。
161.如权利要求160所述的介质,其中,该逻辑块包括粗逻辑、卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)、随机森林算法、决策树算法、k-最近邻(KNN)算法,或逻辑回归算法。
162.如权利要求159所述的介质,其中,该分类是基于颜色或亮度的分布确定的。
163.如权利要求159所述的介质,其中,该模型包括计算机视觉算法。
164.如权利要求163所述的介质,其中,该计算机视觉算法包括尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、或定向的基于加速分割测试的特征(FAST)和旋转的二进制鲁棒独立基本特征(BRIEF)(ORB)。
165.如权利要求159所述的介质,其中,该分类是基于二元决策、在多个分类之间的决策、多分类问题或视觉分类问题来确定的。
166.如权利要求159所述的介质,其中,用该图像数据和所确定的分类来重新训练该模型。
167.如权利要求166所述的介质,其中,用通过该用户界面提供的将该标签应用到或不应用到该方面的选择来重新训练该模型。
168.如权利要求167所述的介质,其中,该选择包括标识特定用户的元数据,并且其中,该模型针对该特定用户进行训练和个性化。
169.如权利要求168所述的介质,其中,该模型是基于合并来自多个用户的多个训练的分布式学习技术来训练的。
170.如权利要求169所述的介质,其中,为该多个用户分配权重,并且其中,根据所分配的权重和相应的训练来训练该模型。
171.如权利要求159所述的介质,其中,借助通过第二模型处理该分类和该图像数据来确定该标签,该第二模型是用先前接收的图像数据、相应的先前接收或确定的分类和相应的先前接收或确定的标签来训练的。
172.如权利要求171所述的介质,其中,用该图像数据、所确定的分类和所确定的标签重新训练该第二模型。
173.如权利要求159所述的介质,其中,该组功能进一步包括:
基于输出滤波器并借助通过该模型处理该图像数据来确定该分类的置信度指标,以及
将该置信度指标提供到该用户界面。
174.如权利要求173所述的介质,其中,该输出滤波器包括确定该方面的分类的多个连续帧。
175.如权利要求173所述的介质,其中,该用户界面被配置为基于该置信度指标和阈值而不显示该标签。
176.如权利要求175所述的介质,其中,该阈值是经由该用户界面针对用户定制的。
177.如权利要求159所述的介质,其中,该组功能进一步包括:
基于该分类和该图像数据确定控制该检查相机的命令;以及
将该命令提供给该检查相机或容纳该检查相机的检查工具。
178.如权利要求177所述的介质,其中,该命令包括以下项中的至少一项:减慢该图像数据的帧速率、向该用户界面提供用户提示、降低该检查工具的前进速度、停止该检查工具的前进进程、用该检查相机执行缩放功能、平移该检查相机、旋转该检查相机、切换相机、调整颜色、调整照明、调整对比度、调整分辨率、调整亮度、调整颜色映射、或增强该方面在该用户界面上的可视化。
179.如权利要求178所述的介质,其中,增强该可视化包括突出显示、放大或添加边框围绕该方面。
180.如权利要求178所述的介质,其中,该可视化的增强被保存为视频的一部分、保存在另一层中、保存为视频的元数据、或者保存在单独的文件中。
181.如权利要求159所述的介质,其中,该用户界面被配置为将该标签应用到该图像数据。
182.如权利要求159所述的介质,其中,该用户界面被配置为提供确认、否认、调整、添加或移除该标签的提示。
183.如权利要求182所述的介质,其中,该用户界面包括基于音频的用户界面,从而允许用户在操作期间口头地确认、否认、调整、添加或移除该标签。
184.如权利要求182所述的介质,其中,该用户界面被配置为当“不确定”提示被选择时触发向一个或多个用户发送该图像数据和该标签。
185.如权利要求159所述的介质,其中,该用户界面包括显示器。
186.如权利要求185所述的介质,其中,管道经由该用户界面被一维地显示,并且除了在接头处之外基本上被显示为笔直的。
187.如权利要求185所述的介质,其中,该用户界面被配置为经由使用同时定位和映射(SLAM)技术与该图像数据执行的拼接来显示管道的三维(3D)表示。
188.如权利要求185所述的介质,其中,该用户界面被配置为显示包括恒定直径管道的管道的二维(2D)表示,并且其中,该管道的2D表示被“展开”为一维(1D)图像。
189.如权利要求159所述的介质,其中,该组功能进一步包括:
基于该分类或该标签提供通知。
190.如权利要求189所述的介质,其中,该通知包括电子邮件、文本消息或电话呼叫。
191.如权利要求189所述的介质,其中,该通知包括音频通知、触觉通知或视觉通知。
192.如权利要求191所述的介质,其中,通过该用户界面提供该视觉通知,以在该图像数据内突出显示该方面或该标签。
193.如权利要求192所述的介质,其中,该视觉通知包括屏幕闪烁、突出显示的边框或弹出窗口。
194.如权利要求159所述的介质,其中,该用户界面基于该分类和该图像数据提供经裁剪的视频或经压缩的视频。
195.如权利要求159所述的介质,其中,该关注区域包括管道,并且其中,该方面是裂缝、堵塞、根茎、流体积聚、流动流体、管道磨损、过渡、连接管道、接头、不对准、内衬、腹形部、泄漏、管道材料或类型、电线、螺柱、钉子、日光、软管、出口、螺钉、接线盒、日光、关注物或路径方面。
196.如权利要求195所述的介质,其中,该路径方面包括转弯、与另一管道的连接、或斜坡。
197.如权利要求159所述的介质,其中,该图像数据包括视频数据。
198.如权利要求197所述的介质,其中,根据遍历速度、最近识别的方面、或设备设置来修改该图像数据中的帧的频率或分辨率。
199.如权利要求159所述的介质,其中,该标签作为该图像数据的元数据提供。
200.如权利要求199所述的介质,其中,该标签与帧、帧组、时间戳、该检查相机在收集时的深度或定位、或工地相关联。
201.如权利要求200所述的介质,其中,该检查相机的定位是基于位置检测设备来确定的。
202.如权利要求200所述的介质,其中,该定位是基于由定位探测器提供的信号来确定的。
203.如权利要求200所述的介质,其中,该定位是基于全球定位系统(GPS)数据来确定的。
204.如权利要求159所述的介质,其中,该图像数据是从收集的原始图像数据减少或下采样得到的。
205.如权利要求159所述的介质,其中,该电子处理器被容纳在移动设备或服务器设备内。
206.如权利要求159所述的介质,其中,该检查相机和该用户界面被容纳在检查工具内。
207.如权利要求159所述的介质,其中,该检查相机被容纳在第一工具内,并且其中,该用户界面被容纳在第二工具内。
208.如权利要求159所述的介质,其中,该检查相机、该用户界面和该电子处理器被容纳在检查工具内。
209.如权利要求208所述的介质,其中,该检查工具包括排水管清洁工具、管道输送工具、管道清洁工具、管道内部焊接工具或管道内部切割工具。
210.如权利要求208所述的介质,其中,该检查工具包括麦克风、电感传感器、电容传感器、磁力计、温度传感器、湿度传感器、电接触传感器、运动传感器、延伸传感器、惯性测量单元或相机模块。
211.如权利要求210所述的介质,其中,该相机模块包括该检查相机,并且其中,该相机模块是自调平的并且朝向管道的底部定向。
212.如权利要求159所述的介质,其中,借助通过该模型连同该图像数据一起或代替该图像数据而处理广播到该关注区域中的音频信号来确定该分类。
213.一种检查工具,包括:
壳体;
用户界面,该用户界面由该壳体支撑;
检查卷轴,该检查卷轴由该壳体支撑并且包括被配置为捕获图像数据的检查相机;以及
控制器,该控制器包括处理器和存储器,该控制器由该壳体支撑并且耦接到该检查相机和该用户界面,其中,该处理器被配置为:
从该检查相机接收从关注区域收集的图像数据,
通过模型处理接收到的图像数据以确定该关注区域的方面的分类,该模型是用先前接收的图像数据和相应的先前接收或确定的分类来训练的,
基于该分类和接收到的图像数据确定控制该检查相机的命令,以及
将该命令提供给该检查相机。
214.如权利要求213所述的检查工具,其中,该模型包括映射到逻辑块的像素颜色、色调或饱和度的直方图。
215.如权利要求214所述的检查工具,其中,该逻辑块包括粗逻辑、卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)、随机森林算法、决策树算法、k-最近邻(KNN)算法,或逻辑回归算法。
216.如权利要求213所述的检查工具,其中,该分类是基于颜色或亮度的分布确定的。
217.如权利要求213所述的检查工具,其中,该模型包括计算机视觉算法。
218.如权利要求217所述的检查工具,其中,该计算机视觉算法包括尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、或定向的基于加速分割测试的特征(FAST)和旋转的二进制鲁棒独立基本特征(BRIEF)(ORB)。
219.如权利要求213所述的检查工具,其中,该分类是基于二元决策、在多个分类之间的决策、多分类问题或视觉分类问题来确定的。
220.如权利要求213所述的检查工具,其中,该命令包括以下项中的至少一项:减慢该图像数据的帧速率、向该用户界面提供用户提示、降低该检查工具的前进速度、停止该检查工具的前进进程、用该检查相机执行缩放功能、平移该检查相机、旋转该检查相机、切换相机、调整颜色、调整照明、调整对比度、调整分辨率、调整亮度、调整颜色映射、或增强该方面在该用户界面上的可视化。
221.如权利要求220所述的检查工具,其中,增强该可视化包括突出显示、放大或添加边框围绕该方面。
222.如权利要求220所述的检查工具,其中,该可视化的增强被保存为视频的一部分、保存在另一层中、保存为视频的元数据、或者保存在单独的文件中。
223.如权利要求213所述的检查工具,其中,该关注区域包括管道,并且其中,该方面是裂缝、堵塞、根茎、流体积聚、流动流体、管道磨损、过渡、连接管道、接头、不对准、内衬、腹形部、泄漏、管道材料或类型、电线、螺柱、钉子、日光、软管、出口、螺钉、接线盒、日光、关注物或路径方面。
224.如权利要求223所述的检查工具,其中,该路径方面包括转弯、与另一管道的连接、或斜坡。
225.如权利要求213所述的检查工具,其中,该图像数据包括视频数据。
226.如权利要求225所述的检查工具,其中,根据遍历速度、最近识别的方面、或设备设置来修改该图像数据中的帧的频率或分辨率。
227.如权利要求213所述的检查工具,其中,该处理器进一步被配置为:
基于该分类确定该方面的标签,以及
将该标签和接收到的图像数据提供到该用户界面。
228.如权利要求227所述的检查工具,其中,用该图像数据和所确定的分类来重新训练该模型。
229.如权利要求228所述的检查工具,其中,用通过该用户界面提供的将该标签应用到或不应用到该方面的选择来重新训练该模型。
230.如权利要求229所述的检查工具,其中,该选择包括标识特定用户的元数据,并且其中,该模型针对该特定用户进行训练和个性化。
231.如权利要求230所述的检查工具,其中,该模型是基于合并来自多个用户的多个训练的分布式学习技术来训练的。
232.如权利要求231所述的检查工具,其中,为该多个用户分配权重,并且其中,根据所分配的权重和相应的训练来训练该模型。
233.如权利要求227所述的检查工具,其中,借助通过第二模型处理该分类和该图像数据来确定该标签,该第二模型是用先前接收的图像数据、相应的先前接收或确定的分类和相应的先前接收或确定的标签来训练的。
234.如权利要求233所述的检查工具,其中,用该图像数据、所确定的分类和所确定的标签重新训练该第二模型。
235.如权利要求227所述的检查工具,其中,该处理器进一步被配置为:
基于输出滤波器并借助通过该模型处理该图像数据来确定该分类的置信度指标,以及
将该置信度指标提供到该用户界面。
236.如权利要求235所述的检查工具,其中,该输出滤波器包括确定该方面的分类的多个连续帧。
237.如权利要求235所述的检查工具,其中,该用户界面被配置为基于该置信度指标和阈值而不显示该标签。
238.如权利要求237所述的检查工具,其中,该阈值是经由该用户界面针对用户定制的。
239.如权利要求227所述的检查工具,其中,该用户界面被配置为将该标签应用到该图像数据。
240.如权利要求227所述的检查工具,其中,该用户界面被配置为提供确认、否认、调整、添加或移除该标签的提示。
241.如权利要求240所述的检查工具,其中,该用户界面包括基于音频的用户界面,从而允许用户在操作期间口头地确认、否认、调整、添加或移除该标签。
242.如权利要求240所述的检查工具,其中,该用户界面被配置为当“不确定”提示被选择时触发向一个或多个用户发送该图像数据和该标签。
243.如权利要求227所述的检查工具,其中,该用户界面包括显示器。
244.如权利要求243所述的检查工具,其中,管道经由该用户界面被一维地显示,并且除了在接头处之外基本上被显示为笔直的。
245.如权利要求243所述的检查工具,其中,该用户界面被配置为经由使用同时定位和映射(SLAM)技术与该图像数据执行的拼接来显示管道的三维(3D)表示。
246.如权利要求243所述的检查工具,其中,该用户界面被配置为显示包括恒定直径管道的管道的二维(2D)表示,并且其中,该管道的2D表示被“展开”为一维(1D)图像。
247.如权利要求227所述的检查工具,其中,该处理器进一步被配置为:
基于该分类、该标签或该命令提供通知。
248.如权利要求247所述的检查工具,其中,该通知包括电子邮件、文本消息或电话呼叫。
249.如权利要求247所述的检查工具,其中,该通知包括音频通知、触觉通知或视觉通知。
250.如权利要求249所述的检查工具,其中,通过该用户界面提供该视觉通知,以在该图像数据内突出显示该方面或该标签。
251.如权利要求250所述的检查工具,其中,该视觉通知包括屏幕闪烁、突出显示的边框或弹出窗口。
252.如权利要求227所述的检查工具,其中,该用户界面基于该分类和该图像数据提供经裁剪的视频或经压缩的视频。
253.如权利要求227所述的检查工具,其中,该标签作为该图像数据的元数据提供。
254.如权利要求253所述的检查工具,其中,该标签与帧、帧组、时间戳、该检查相机在收集时的深度或定位、或工地相关联。
255.如权利要求254所述的检查工具,其中,该检查相机的定位是基于位置检测设备来确定的。
256.如权利要求254所述的检查工具,其中,该定位是基于由定位探测器提供的信号来确定的。
257.如权利要求254所述的检查工具,其中,该定位是基于全球定位系统(GPS)数据来确定的。
258.如权利要求213所述的检查工具,其中,该图像数据是从收集的原始图像数据减少或下采样得到的。
259.如权利要求213所述的检查工具,包括排水管清洁工具、管道输送工具、管道清洁工具、管道内部焊接工具或管道内部切割工具。
260.如权利要求213所述的检查工具,包括麦克风、电感传感器、电容传感器、磁力计、温度传感器、湿度传感器、电接触传感器、运动传感器、延伸传感器、惯性测量单元或相机模块。
261.如权利要求260所述的检查工具,其中,该相机模块包括该检查相机,并且其中,该相机模块是自调平的并且朝向管道的底部定向。
262.如权利要求213所述的检查工具,其中,借助通过该模型连同该图像数据一起或代替该图像数据而处理广播到该关注区域中的音频信号来确定该分类。
CN202280047516.4A 2021-06-15 2022-06-15 包括自动特征检测和分类的检查工具 Pending CN117918026A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163210839P 2021-06-15 2021-06-15
US63/210,839 2021-06-15
PCT/US2022/033663 WO2022266245A1 (en) 2021-06-15 2022-06-15 Inspection tool including automatic feature detection and classification

Publications (1)

Publication Number Publication Date
CN117918026A true CN117918026A (zh) 2024-04-23

Family

ID=84526668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280047516.4A Pending CN117918026A (zh) 2021-06-15 2022-06-15 包括自动特征检测和分类的检查工具

Country Status (2)

Country Link
CN (1) CN117918026A (zh)
WO (1) WO2022266245A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2487572A (en) * 2011-01-28 2012-08-01 Ge Inspection Technologies Ltd A non-destructive test method for automatic fastener inspection
US10875125B2 (en) * 2017-06-20 2020-12-29 Lincoln Global, Inc. Machine learning for weldment classification and correlation
CN109767422B (zh) * 2018-12-08 2021-12-24 深圳市勘察研究院有限公司 基于深度学习的管道检测识别方法、存储介质及机器人
CN109800824B (zh) * 2019-02-25 2019-12-20 中国矿业大学(北京) 一种基于计算机视觉与机器学习的管道缺陷识别方法
CN110992349A (zh) * 2019-12-11 2020-04-10 南京航空航天大学 一种基于深度学习的地下管道异常自动化定位与识别方法

Also Published As

Publication number Publication date
WO2022266245A1 (en) 2022-12-22
WO2022266245A8 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
US7627447B2 (en) Method and apparatus for localizing and mapping the position of a set of points on a digital model
EP3682415B1 (en) Image acquisition device and method of controlling the same
US11216935B2 (en) Vision inspection management method and system inspecting based on process data
US20180068206A1 (en) Object recognition and classification using multiple sensor modalities
KR20200085142A (ko) 청소 공간의 지도 데이터를 생성하는 장치 및 방법
KR102092392B1 (ko) 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
KR102096926B1 (ko) 관심 영역 변화를 검출하는 방법 및 시스템
CN110431565B (zh) 直推式和/或自适应最大边界零样本学习方法和系统
EP2405393A1 (en) Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program
KR20180074568A (ko) 차선 정보를 추정하는 방법 및 전자 장치
US10715941B2 (en) Mobile and autonomous audio sensing and analytics system and method
KR101623642B1 (ko) 로봇 청소기, 단말장치의 제어방법 및 이를 포함하는 로봇 청소기 제어 시스템
US20210213619A1 (en) Robot and control method therefor
KR102106029B1 (ko) 간판 검출 성능 향상을 위한 방법 및 시스템
KR102434478B1 (ko) 재난 예방 기능을 포함한 인공지능 기반의 스마트 하천 관제 플랫폼 및 그 제어 방법
KR102189926B1 (ko) 관심 영역 변화를 검출하는 방법 및 시스템
US20200209277A1 (en) System and method for standardized evaluation of activity sequence
JP2012226645A (ja) 画像処理装置および方法、記録媒体並びにプログラム
EP4040400A1 (en) Guided inspection with object recognition models and navigation planning
CN117918026A (zh) 包括自动特征检测和分类的检查工具
JP2019075037A (ja) 情報処理装置、情報処理方法、およびプログラム
CN111630346B (zh) 基于图像和无线电词语的移动设备的改进定位
KR101943426B1 (ko) 관거의 내벽 상태에 대한 도면을 생성하는 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체, 관거의 내벽 상태를 조사하는 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
US11216969B2 (en) System, method, and computer-readable medium for managing position of target
Zaslavskiy et al. Method for automated data collection for 3d reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination