CN109472308A - 一种基于人工智能的免标记仪器设备特征锚点检测方法 - Google Patents

一种基于人工智能的免标记仪器设备特征锚点检测方法 Download PDF

Info

Publication number
CN109472308A
CN109472308A CN201811323110.6A CN201811323110A CN109472308A CN 109472308 A CN109472308 A CN 109472308A CN 201811323110 A CN201811323110 A CN 201811323110A CN 109472308 A CN109472308 A CN 109472308A
Authority
CN
China
Prior art keywords
image
anchor point
feature
training
instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811323110.6A
Other languages
English (en)
Inventor
刘桂雄
黄坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201811323110.6A priority Critical patent/CN109472308A/zh
Publication of CN109472308A publication Critical patent/CN109472308A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于人工智能的免标记仪器设备特征锚点检测方法，包括：采集足够表征该仪器设备操作过程的图像或该仪器设备完整操作过程视频，使用k‑means对筛选Na张图像，其中Ntr张训练图像及Nte张测试图像；在Ntr张训练图像、Nte张测试图像上标记需要检测的特征锚点，生成训练响应图像、测试响应图像；以训练图像作为输入，训练响应图像作为输出，训练DeepLabCut卷积神经网络，达到收敛目标后，形成训练完成的神经网络；将测试图像输入到卷积网络中，以输出响应图像上的最大响应值点作为检出锚点，并计算检出锚点与实际锚点间的距离，用于评价网络效果；将任意需要提取特征锚点的图像输入卷积神经网络，输出特征锚点、对应位置及其置信度。

Description

一种基于人工智能的免标记仪器设备特征锚点检测方法
技术领域
本发明涉及图像模式识别领域，尤其涉及一种基于人工智能的免标记仪器设备特征锚点检测方法。
背景技术
量化操作行为是实现智能评判人工操作的瓶颈之一，视觉图像是在不同环境中观察、记录人工操作的简单方法，然而提取动作特征量化操作行为进行进一步分析的工作量极大。在测量控制中，通常采用添加标记的方法来辅助计算机跟踪，但是标记是侵入性的，且标记数量、位置必须预先确定。本发明提出一种基于人工智能的免标记仪器设备特征锚点检测技术，实现了免标记可定义特征锚点检测，可应用于智能评判人工动作、精密仪器量器跟踪、设备人机协同、遥控装置动作、大型装备操作等各种场景。
发明内容
为解决上述存在的问题与缺陷，本发明实现不添加任何标记地准确跟踪人工操作、可在图像上任意定义特征锚点，实现人工操作位姿量化测量及智能评判操作。
本发明的目的通过以下的技术方案来实现：
一种基于人工智能的免标记仪器设备特征锚点检测方法，样本采集与筛选、样本标注、网络训练、网络评价与网络使用，具体包括以下步骤：
A采集足够表征该仪器设备操作过程的图像或该仪器设备完整操作过程视频，使用k-means对所有图像或视频的所有帧进行分析，并筛选Na张图像，其中Ntr张训练图像及Nte张测试图像
B在Ntr张训练图像、Nte张测试图像上标记需要检测的特征锚点，记录所有nap个特征锚点在图像中的坐标，按照特征锚点生成训练响应图像与测试响应图像
C以训练图像作为输入，训练响应图像作为输出，训练DeepLabCut卷积神经网络，使用训练响应图像的交叉熵损失作为训练的目标，经过Nstep后或达到收敛目标后，形成训练完成的神经网络；
D将测试图像输入到卷积网络中，以输出响应图像上的最大响应值点作为检出锚点，以测试响应图像上的最大响应值点作为实际锚点，计算检出锚点与实际锚点间的距离，用于评价网络效果；
E将任意需要提取特征锚点的图像输入卷积神经网络，输出特征锚点序号nap(nap＝1,2,3...Nap)、对应位置及特征锚点对应序号对应的测试图像的特征锚点的置信度
本发明有益效果是：
实现不添加任何标记地准确跟踪人工操作、可在图像上任意定义特征锚点，实现人工操作位姿量化测量及智能评判操作。
附图说明
图1是本发明所述的基于人工智能的免标记仪器设备特征锚点检测方法流程框图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述。
本发明是基于人工智能的免标记仪器设备特征锚点检测方法，如图1所示，所述方法包括如下步骤：
步骤10样本采集与筛选阶段；采集足够表征该仪器设备操作过程的图像，或该仪器设备完整操作过程视频，使用k-means对所有图像或视频的所有帧进行分析，总共筛选Na张图像，其中Ntr张训练图像及Nte张测试图像
足够表征该仪器设备操作过程的图像指图像应该涵盖整个仪器设备操作过程，并且对于旋转过程，旋转角度差分值应小于等于15°，且仪器应在尽量在整个视野范围中出现。
使用k-means对所有图像或视频的所有帧进行分析：
(1)将所有图像{I1,I2,I3…IN}映射为特征向量{v1,v2,v3…vN}，设总共提取Na张图像，则生成个聚类中心
(2)通过特征向量到各聚类中心的距离则可以判断出任意的第i张图像 Ii属于哪一个聚类中心，将所有图像按照特征向量聚为点集并认为Ii属于第p类(1≤p≤k)
之后，在根据聚类的特征向量来计算新的聚类中心
进入下一次迭代，重复步骤(2)直到聚类中心不再发生变化。
步骤20样本标注阶段；在Ntr张训练图像、Nte张测试图像上由人工标记上需要检测的特征锚点，记录所有nap个特征锚点在图像中坐标，按照特征锚点生成训练响应图像测试响应图像所有Nap个特征锚点在第n张训练图像Itr_n中的坐标为则可以生成
重复则可生成Ntr张训练图像的训练响应图像
同理，也能生成Nte张测试图像的测试响应图像
步骤30网络训练阶段；以训练图像作为输入，训练响应图像作为输出，训练DeepLabCut卷积神经网络，使用响应图像的交叉熵损失作为训练的目标(越小越好)，经过Nstep后或达到收敛目标后，形成训练完成的神经网络；则响应图像上某个像素点的真实响应为输出响应为则交叉熵损失Eloss(p,pout)为：
步骤40网络评价阶段；将测试图像输入到卷积网络中，以输出响应图像上的最大响应值点作为检出锚点，以测试响应图像上的最大响应值点作为实际锚点，并计算检出锚点与实际锚点间的距离，用于评价网络效果；若第 n张训练图像Itr_n中输出的锚点坐标为则平均距离偏差为这一指标指示了检测锚点的偏离程度。
步骤50网络使用阶段；将任意需要提取特征锚点的图像输入卷积神经网络，输出特征锚点、对应位置及其置信度。特征锚点序号 nap(nap＝1,2,3…Nap)、对应位置及特征锚点相应序号对应的测试图像的特征锚点的置信度具体为
上述实施例中为训练图像、为测试图像、Na为图像总数、Ntr为训练图像数量、Nte为测试图像数量、为训练响应图像、为测试响应图像、{v1,v2,v3…vN}为图像特征向量、 {m1 (1),…,mk (1)}为聚类中心、k为聚类中心数量、训练图像Itr_n中的特征锚点坐标Nap为特征锚点数量、特征锚点序号nap(nap＝1,2,3...Nap)、训练响应图像生成式真实响应输出响应交叉熵损失Eloss(p,pout)、平均距离偏差Δd及非训练图像、测试图像的特征锚点位置及其置信度
虽然本发明所揭露的实施方式如上。但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (7)

1.一种基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述方法包括样本采集与筛选、样本标注、网络训练、网络评价与网络使用，具体包括以下步骤：
A采集足够表征该仪器设备操作过程的图像或该仪器设备完整操作过程视频，使用k-means对所有图像或视频的所有帧进行分析，并筛选Na张图像，其中Ntr张训练图像及Nte张测试图像
B在Ntr张训练图像、Nte张测试图像上标记需要检测的特征锚点，记录所有nap个特征锚点在图像中的坐标，按照特征锚点生成训练响应图像与测试响应图像
C以训练图像作为输入，训练响应图像作为输出，训练DeepLabCut卷积神经网络，使用训练响应图像的交叉熵损失作为训练的目标，经过Nstep后或达到收敛目标后，形成训练完成的神经网络；
D将测试图像输入到卷积网络中，以输出响应图像上的最大响应值点作为检出锚点，以测试响应图像上的最大响应值点作为实际锚点，计算检出锚点与实际锚点间的距离，用于评价网络效果；
E将任意需要提取特征锚点的图像输入卷积神经网络，输出特征锚点序号nap(nap＝1,2,3...Nap)、对应位置及特征锚点对应序号对应的测试图像的特征锚点的置信度
2.如权利要求1所述的基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述步骤A中：足够表征该仪器设备操作过程的图像指图像应该涵盖整个仪器设备操作过程，并且对于旋转过程，旋转角度差分值应小于等于15°，且仪器应在尽量在整个视野范围中出现。
3.如权利要求1所述的基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述步骤A中：使用k-means对所有图像或视频的所有帧进行分析包括：
(1)将所有图像{I1,I2,I3…IN}映射为特征向量{v1,v2,v3…vN}，设总共提取Na张图像，则生成个聚类中心{m1 (1),...,mk (1)}；
(2)通过特征向量到各聚类中心的距离则可以判断出任意的第i张图像Ii属于哪一个聚类中心，将所有图像按照特征向量聚为点集并认为Ii属于第p类(1≤p≤k)
之后，在根据聚类的特征向量来计算新的聚类中心
进入下一次迭代，重复步骤(2)直到聚类中心不再发生变化。
4.如权利要求1所述的基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述步骤B中，所有Nap个特征锚点在第n张训练图像Itr_n中的坐标为则可以生成
重复则可生成Ntr张训练图像的训练响应图像
同理，也能生成Nte张测试图像的测试响应图像
5.如权利要求1所述的基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述步骤C中，响应图像上某个像素点的真实响应为输出响应为则交叉熵损失Eloss(p,pout)为：
6.如权利要求1所述的基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述步骤D中，若第n张训练图像Itr_n中输出的锚点坐标为则平均距离偏差为这一指标指示了检测锚点的偏离程度。
7.如权利要求1所述的基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述步骤E中，特征锚点序号nap其中nap＝1,2,3...Nap、对应位置及特征锚点相应序号对应的测试图像的特征锚点的置信度具体为
CN201811323110.6A 2018-11-08 2018-11-08 一种基于人工智能的免标记仪器设备特征锚点检测方法 Pending CN109472308A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811323110.6A CN109472308A (zh) 2018-11-08 2018-11-08 一种基于人工智能的免标记仪器设备特征锚点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811323110.6A CN109472308A (zh) 2018-11-08 2018-11-08 一种基于人工智能的免标记仪器设备特征锚点检测方法

Publications (1)

Publication Number Publication Date
CN109472308A true CN109472308A (zh) 2019-03-15

Family

ID=65671969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811323110.6A Pending CN109472308A (zh) 2018-11-08 2018-11-08 一种基于人工智能的免标记仪器设备特征锚点检测方法

Country Status (1)

Country Link
CN (1) CN109472308A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705418A (zh) * 2019-09-25 2020-01-17 西南大学 一种基于DeepLabCut的跆拳道踢腿运动视频捕捉和评分系统
CN116156199A (zh) * 2019-06-07 2023-05-23 北京达佳互联信息技术有限公司 用于视频解码、视频编码的方法、计算设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202922A (zh) * 2016-07-06 2016-12-07 吴本刚 一种基于聚类算法的变压器故障诊断系统
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN108597053A (zh) * 2018-04-25 2018-09-28 北京御航智能科技有限公司 基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202922A (zh) * 2016-07-06 2016-12-07 吴本刚 一种基于聚类算法的变压器故障诊断系统
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN108597053A (zh) * 2018-04-25 2018-09-28 北京御航智能科技有限公司 基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALEXANDER MATHIS ETA: "DeepLabCut: markerless pose estimation of user-defined body parts with deep learning", 《NATURE NEUROSCIENCE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116156199A (zh) * 2019-06-07 2023-05-23 北京达佳互联信息技术有限公司 用于视频解码、视频编码的方法、计算设备和存储介质
CN116156199B (zh) * 2019-06-07 2023-10-03 北京达佳互联信息技术有限公司 用于视频解码、视频编码的方法、计算设备和存储介质
CN110705418A (zh) * 2019-09-25 2020-01-17 西南大学 一种基于DeepLabCut的跆拳道踢腿运动视频捕捉和评分系统
CN110705418B (zh) * 2019-09-25 2021-11-30 西南大学 一种基于DeepLabCut的跆拳道踢腿运动视频捕捉和评分系统

Similar Documents

Publication Publication Date Title
CN108549876A (zh) 基于目标检测和人体姿态估计的坐姿检测方法
Qin et al. Applying the convolutional neural network deep learning technology to behavioural recognition in intelligent video
CN106204638B (zh) 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法
CN108062753A (zh) 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109118479A (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN107862705A (zh) 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN102054270B (zh) 一种视频图像中提取前景的方法及装置
CN108921039A (zh) 基于多尺寸卷积核的深度卷积模型的森林火灾检测方法
CN110443827A (zh) 一种基于改进孪生网络的无人机视频单目标长期跟踪方法
CN102982336B (zh) 识别模型生成方法和系统
CN108492298A (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN104299243B (zh) 一种基于霍夫森林的目标跟踪方法
CN102053563A (zh) 模拟机飞行训练数据采集及质量评估系统
CN108875794A (zh) 一种基于迁移学习的图像能见度检测方法
CN109002752A (zh) 一种基于深度学习的复杂公共场景快速行人检测方法
CN117272247B (zh) 一种应用于数字孪生智慧乡村的数据集成方法及系统
CN106991666A (zh) 一种适用于多尺寸图片信息的病害图像识别方法
CN106096655A (zh) 一种基于卷积神经网络的光学遥感图像飞机检测方法
CN109472308A (zh) 一种基于人工智能的免标记仪器设备特征锚点检测方法
CN107103614B (zh) 基于层次独立成分编码的运动异常检测方法
CN105096345B (zh) 一种基于动态测量矩阵的目标跟踪方法及系统
CN104777418A (zh) 一种基于深度波尔兹曼机的模拟电路故障诊断方法
CN108682022A (zh) 基于对抗迁移网络的视觉跟踪方法及系统
CN107481260A (zh) 一种区域人群滞留检测方法、装置和存储介质
CN113780242A (zh) 一种基于模型迁移学习的跨场景水声目标分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190315