CN111310536A - 神经网络物体分类的机器持续学习方法及其监控摄像设备 - Google Patents

神经网络物体分类的机器持续学习方法及其监控摄像设备 Download PDF

Info

Publication number
CN111310536A
CN111310536A CN201910371010.9A CN201910371010A CN111310536A CN 111310536 A CN111310536 A CN 111310536A CN 201910371010 A CN201910371010 A CN 201910371010A CN 111310536 A CN111310536 A CN 111310536A
Authority
CN
China
Prior art keywords
parameter
cluster
learning method
machine
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910371010.9A
Other languages
English (en)
Inventor
刘诚杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivotek Inc
Original Assignee
Vivotek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivotek Inc filed Critical Vivotek Inc
Publication of CN111310536A publication Critical patent/CN111310536A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种神经网络物体分类的机器持续学习方法，应用于监控摄像设备内具有物体分类器的处理器。该机器持续学习方法包括该处理器接收图像，该物体分类器解析该图像产生第一参数与第二参数，该处理器判断该第一参数是否相近人工回馈所建立的集群，以及该处理器根据判断结果输出该集群的卷标或该物体分类器产生的该第二参数。本发明的机器持续学习方法及其监控摄像设备不需通过连外网络进行分类训练与更新，每个监控摄像设备能根据其所在监控环境建立专属该监控环境的集群，不需学习其他不同场景的训练样本，因此不用耗费储存空间存放大量训练样本，仅需进行运算量较低的集群分析，即能得到准确的分类结果。

Description

神经网络物体分类的机器持续学习方法及其监控摄像设备
技术领域
本发明涉及一种物体分类方法及其监控摄像设备，特别是有关一种利用神经网络进行物体分类的机器持续学习方法及其监控摄像设备。
背景技术
监控摄像机拍摄取得的监控图像可能涵盖多种对象，机器学习方法利用大量训练样本所生成的神经网络物体分类器建立分类信息，监控图像内可能出现的特殊状况很多，难以确保在各种不同场景的监控情境都没有误判问题。为了解决此问题，传统机器学习方法大量收集误判样本，用来微调神经网络的分类效能。然而新增的误判样本加入神经网络物体分类器的再训练之后，会致使物体分类器逐渐失去原本的辨识能力。此外，若监控摄像机设置在无连外网络环境下，便无法进行误判样本的收集与训练；即便具有连外网络功能，庞大的训练样本及误判样本亦造成监控摄像机的储存空间与运算能力的过度负担。因此，如何设计一种不需耗费过多储存空间及运算能力、又能有效改善分类精确度的神经网络物体分类的机器持续学习方法，为相关产业的重点发展目标之一。
发明内容
本发明涉及一种利用神经网络进行物体分类的机器持续学习方法及其监控摄像设备。
本发明进一步公开一种神经网络物体分类的机器持续学习方法，应用具有物体分类器的处理器。该机器持续学习方法包括该处理器接收图像，该物体分类器解析该图像产生第一参数与第二参数，该处理器判断该第一参数是否相近人工回馈所建立的集群，以及该处理器根据判断结果输出该集群的卷标或该物体分类器产生的该第二参数。
本发明还公开一种利用神经网络进行物体分类的监控摄像设备，其包括图像取得器以及处理器。该图像取得器用来取得图像。该处理器具有物体分类功能，并用来执行机器持续学习，意即该处理器接收图像，该物体分类器解析该图像产生第一参数与第二参数，该处理器判断该第一参数是否相近人工回馈所建立的集群，以及该处理器根据判断结果输出该集群的卷标或该物体分类器产生的该第二参数。
附图说明
图1为本发明实施例的监控摄像设备的功能方块图。
图2与图3为分别为本发明实施例的机器持续学习方法在不同阶段的流程图。图4为本发明实施例的机器持续学习方法的功能方块图。
其中，附图标记说明如下：
10 监控摄像设备
12 图像取得器
14 显示接口
16 操作接口
18 处理器
20 物体分类器
I 图像
P1 第一参数
P2 第二参数
P3 第三参数
M 提示信息
步骤S200、S202、S204、S206、S208、S210
步骤S300、S302、S304、S306、S308
具体实施方式
请参阅图1至图4，图1为本发明实施例的监控摄像设备10的功能方块图，图2与图3分别为本发明实施例的机器持续学习方法在不同阶段的流程图，图4为本发明实施例的机器持续学习方法的功能方块图。图2至图4所述的机器持续学习方法皆适用图1所示的监控摄像设备10。监控摄像设备10可包括电连接在一起的图像取得器12、显示接口14、操作接口16以及处理器18。图像取得器12可以是摄像单元，直接拍摄以取得图像I；也可以是信号接收器，用来接收外部摄像单元所拍摄之图像I。处理器18可具有物体分类器20。物体分类器20系解析图像I而生成代表感兴趣样本特性的多个参数P1及P2。处理器18可利用机器持续学习方法分析图像I，能在无连外网络的封闭环境下以低速运算能力取得图像I内感兴趣样本的分类信息。
首先，执行步骤S200与步骤S202，处理器18接收图像取得器12所取得的图像I，由物体分类器20解析图像I以至少产生第一参数P1与第二参数P2。此实施例中，第一参数P1为图像I内感兴趣样本的特征向量，第二参数P2则为图像I内感兴趣样本的分类结果，然实际应用不限于此。根据监控摄像设备10的运算能力及储存容量，物体分类器20可使用如卷积神经网络介绍(Convolutional Neural Network)(实际应用不限于此)，得到图像I在不同层的特征向量(feature map)或特征向量(feature vector)。可选择较高层(layer)特征作为第一参数P1(特征向量)，也可以选择低层(layer)特征作为第一参数P1(特征向量)，还可以合并较高层(layer)和较低层(layer)的多个特征作为第一参数P1(特征向量)，其变化端视设计需求而定。第二参数P2(分类结果)则为感兴趣样本的属性，例如行人、非人对象或机动车。另需一提的是，处理器18较佳可从图像I内分离出前景图案作为感兴趣样本，物体分类器20解析前景图案而生成第一参数P1及第二参数P2，据此能有效减少运算量。
接下来，执行步骤S204与步骤S206，处理器18生成关联第一参数P1与第二参数P2的提示信息M并显示于显示接口14，然后判读是否有人工回馈所标定的误报样本。用户可观察显示接口14，发现感兴趣样本的分类结果错误时，通过操作接口16人工标定其相近误报样本，若处理器18没有收到误报样本，执行步骤S208，判断其第二参数P2(分类结果)为正确信息；若收到误报样本，执行步骤S210，将误报样本进行集群分析以辨别相近何种集群。举例来说，图像I为道路监控画面，物体分类器20可能将画面内的树木归类为行人，此时人工回馈可标定此分类结果相近误报样本，再由步骤S210的集群分析判断其特征向量应当归类为第一集群(例如行人集群)或第二集群(例如非人集群)。
关于图3所述的机器持续学习方法，首先执行步骤S300与步骤S302，处理器18接收图像取得器12所取得的图像I，再由物体分类器20解析图像I内感兴趣样本以产生第一参数P1与第二参数P2。人工回馈所标定的误报样本具有代表感兴趣样本特性的第三参数P3；一般来说，第三参数P3为误报样本的特征向量，与第一参数P1具有相同性质。因此，步骤S304由处理器18将第一参数P1对比误报样本的第三参数P3，或第三参数P3形成的集群，判断步骤S302取得的第一参数P1是否相近人工回馈所建立的集群。若第一参数P1相近第三参数P3，或第三参数P3形成的集群，表示此感兴趣样本应当已被人工回馈判别为误报样本，其对应的第二参数P2(分类结果)错误信息，故执行步骤S306，依照先前集群分析结果输出对应集群(例如第一集群或第二集群)的标签。若第一参数P1不是相近第三参数P3或第三参数P3形成的集群，表示此感兴趣样本应当没有相近人工回馈所建立之集群，没有被呈报相近误报样本，步骤S308可直接输出第二参数P2(分类结果)。
本发明的机器持续学习方法进一步可取得图像I内感兴趣样本的其它特性进行判读以提高分类精确度。首先，物体分类器20可解析图像I产生特定信息；特定信息可以是感兴趣样本和/或误报样本的位置信息或时间信息。判断感兴趣样本是否相近人工回馈所建立集群时，处理器18将感兴趣样本的特定信息(位置信息或时间信息)相比误报样本的特定信息(位置信息或时间信息)。以时间信息为例，如感兴趣样本被判定相近特定集群，且感兴趣样本的时间信息接近人工回馈所标定的误报样本的时间信息，表示两者特性相符，可直接输出此特定集群的标签。例如：夜间出现的昆虫会出现错误的物体分类结果，若是白天的监控画面(图像I)判断感兴趣样本相近特定集群，因时间信息不符并不会改变其分类结果；相近特定集群的感兴趣样本如出现在夜晚监控画面，即会在夜晚时段修改监控摄像设备10的分类输出结果。另一方面，若感兴趣样本与误报样本的特定信息不相符，则可在显示接口14选择性显示出关于特定信息的提示信息。
综上所述，监控摄像设备根据其使用者提供的人工回馈判断图像内的感兴趣样本是否相近误报样本，利用神经网络物体分类器产生的特征向量持续学习，建立及调整专相近此监控摄像设备的集群分析结果。往后在取得新图像时，物体分类器将图像解析取得其特征向量与分类结果，藉由特征向量及分类结果的比较来决定分类的正确性。若图像的特征向量没有相近已知集群，表示图像并未被呈报相近误报样本，故直接输出分类结果完成分类；若图像的特征向量相近已知集群，表示图像先前已被人工回馈判别为误报样本，其对应的分类结果属错误信息，因此输出已知集群的标签。相比现有技术，本发明的机器持续学习方法及其监控摄像设备不需通过连外网络进行分类训练与更新，每个监控摄像设备能根据其所在监控环境建立专属该监控环境的集群，不需学习其他不同场景的训练样本，因此不用耗费储存空间存放大量训练样本，仅需进行运算量较低的集群分析，即能得到准确的分类结果。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种神经网络物体分类的机器持续学习方法，应用于具有物体分类器的处理器，其特征在于，该机器持续学习方法包括：
该处理器接收图像；
该物体分类器解析该图像产生第一参数与第二参数；
该处理器判断该第一参数是否相近人工回馈所建立的集群；以及
该处理器根据判断结果输出该集群的卷标或该物体分类器产生的该第二参数。
2.如权利要求1所述的机器持续学习方法，其特征在于，该第一参数为特征向量，该第二参数为分类结果。
3.如权利要求1所述的机器持续学习方法，其特征在于，该集群具有第一集群与第二集群，该机器持续学习方法进一步包括：
生成关联该第一参数与该第二参数的提示信息；
取得该人工回馈所标定的误报样本；以及
将该误报样本进行集群分析以辨别相近该第一集群或该第二集群。
4.如权利要求3所述的机器持续学习方法，其特征在于，该第一参数对比该误报样本的第三参数，以判断其是否相近该集群，该第三参数为该误报样本的特征向量。
5.如权利要求3所述的机器持续学习方法，其特征在于，根据该判断结果输出该集群的该卷标或该物体分类器产生的该第二参数包括：
该第一参数相近该集群时，根据该集群分析的结果输出该第一集群或该第二集群的标签。
6.如权利要求3所述的机器持续学习方法，其特征在于，该提示信息显示于显示接口，该误报样本经由操作接口进行人工标定，并且该显示接口与该操作接口电连接该处理器。
7.如权利要求1所述的机器持续学习方法，其特征在于，该机器持续学习方法进一步包括：
从该图像分离出前景图案，其中该物体分类器解析该前景图案以产生该第一参数与该第二参数。
8.如权利要求1所述的机器持续学习方法，其特征在于，该机器持续学习方法进一步包括：
该物体分类器解析该图像以另产生特定信息；
判断该特定信息是否符合该人工回馈所标定的误报样本的对应信息；以及
根据判断结果决定是否输出该集群的标签。
9.如权利要求8所述的机器持续学习方法，其特征在于，该机器持续学习方法进一步包括：如该第一参数相近该集群、且该特定信息符合该对应信息时，输出该集群的该标签。
10.如权利要求8所述的机器持续学习方法，其特征在于，该特定信息不符合该对应信息时，生成关联该特定信息的提示信息。
11.如权利要求8所述的机器持续学习方法，其特征在于，该特定信息为该人工回馈所标定的该误报样本的位置信息或时间信息。
12.一种利用神经网络进行物体分类的监控摄像设备，其特征在于，该监控摄像设备包括：
图像取得器，用来取得图像；以及
处理器，具有物体分类功能，该处理器用来执行如权利要求1至权利要求11的其中之一或其组合所述的机器持续学习方法。
CN201910371010.9A 2018-12-11 2019-05-06 神经网络物体分类的机器持续学习方法及其监控摄像设备 Withdrawn CN111310536A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107144593 2018-12-11
TW107144593A TW202022883A (zh) 2018-12-11 2018-12-11 神經網路物體分類的機器持續學習方法及其監控攝影設備

Publications (1)

Publication Number Publication Date
CN111310536A true CN111310536A (zh) 2020-06-19

Family

ID=70971754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910371010.9A Withdrawn CN111310536A (zh) 2018-12-11 2019-05-06 神经网络物体分类的机器持续学习方法及其监控摄像设备

Country Status (3)

Country Link
US (1) US20200184216A1 (zh)
CN (1) CN111310536A (zh)
TW (1) TW202022883A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019215728A (ja) * 2018-06-13 2019-12-19 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20200184216A1 (en) 2020-06-11
TW202022883A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN105404886B (zh) 特征模型生成方法和特征模型生成装置
CN112489143A (zh) 一种颜色识别方法、装置、设备及存储介质
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
JP2008250908A (ja) 映像判別方法および映像判別装置
CN110533119B (zh) 标识识别方法及其模型的训练方法、装置及电子系统
CN111666922A (zh) 视频匹配方法、装置、计算机设备和存储介质
US20170091573A1 (en) Visual attention detector and visual attention detection method
CN109785288A (zh) 基于深度学习的输电设备缺陷检测方法及系统
CN113255590A (zh) 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统
CN111723656B (zh) 一种基于YOLO v3与自优化的烟雾检测方法及装置
CN115909280A (zh) 基于多头注意力机制的交通标志识别算法
CN112950579A (zh) 图像质量评价方法、装置和电子设备
CN109740527B (zh) 一种视频帧中图像处理方法
CN111612855A (zh) 物体颜色识别方法、装置及电子设备
CN114627394A (zh) 一种基于无人机的渣土车套牌识别方法及系统
CN113505653B (zh) 目标检测方法、装置、设备、介质及程序产品
CN112668675B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN113743378A (zh) 一种基于视频的火情监测方法和装置
CN111310536A (zh) 神经网络物体分类的机器持续学习方法及其监控摄像设备
CN114519689A (zh) 图像篡改检测方法、装置、设备及计算机可读存储介质
CN112733864B (zh) 模型训练方法、目标检测方法、装置、设备及存储介质
CN110738229B (zh) 一种细粒度图像分类方法、装置及电子设备
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
CN113628251B (zh) 一种智慧酒店终端监测方法
CN116189286A (zh) 一种视频图像暴力行为检测模型及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200619