CN112101156A - 一种目标识别的方法、装置和电子设备 - Google Patents

一种目标识别的方法、装置和电子设备 Download PDF

Info

Publication number
CN112101156A
CN112101156A CN202010910389.9A CN202010910389A CN112101156A CN 112101156 A CN112101156 A CN 112101156A CN 202010910389 A CN202010910389 A CN 202010910389A CN 112101156 A CN112101156 A CN 112101156A
Authority
CN
China
Prior art keywords
target
target object
identification
recognition
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010910389.9A
Other languages
English (en)
Inventor
张睿轩
朱江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010910389.9A priority Critical patent/CN112101156A/zh
Publication of CN112101156A publication Critical patent/CN112101156A/zh
Priority to PCT/CN2021/116042 priority patent/WO2022048572A1/zh
Priority to EP21863636.3A priority patent/EP4209959A4/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种目标识别的方法、装置和电子设备。本申请中,电子设备采用指定用于目标识别的第一目标识别模型对实时视频流进行目标识别,然后根据得到的初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签。后续,电子设备可以依据各目标对象对应的目标图像以及对应的识别标签,在第一目标识别模型的基础上重新进行训练得到第二目标识别模型。若该第二识别模型通过设定的性能测试,则指定该第二目标识别模型来对实时视频流进行目标识别。在本实施例中,目标识别模型并非固定不变,其通过在线训练的方法进行多次迭代更新目标识别模型,大大提高目标识别模型的智能化,提高目标识别的准确度。

Description

一种目标识别的方法、装置和电子设备
技术领域
本说明书涉及人工智能领域,尤其涉及一种目标识别的方法、装置和电子设备。
背景技术
随着社会的不断进步,人工智能系统的应用范围越来越广。目前的人工智能系统智能化程度不够高,还处于一种半自动化状态,在很多场景下还需要人工操作,比如当发现异常情况(运动目标等)时,不能自动的识别目标,需要借助人工操作识别目标。
然而,由于人工操作具有滞后性,在人工智能系统中借助具有滞后性的人工操作会影响最终人工智能结果的准确性。
发明内容
本申请提供了一种目标识别的方法、装置和电子设备,以提高目标识别结果的准确度。
具体地,本申请是通过如下技术方案实现的:
根据本申请的第一方面,提供一种目标识别方法,该方法应用于电子设备,该方法包括:
依据已获得的各目标对象的初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签;所述目标对象的初始识别结果是将所述目标对象对应的目标图像输入至已训练的第一目标识别模型得到的,目标对象对应的识别标签与目标对象的初始识别结果关联;
依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练,得到第二目标识别模型,并在所述第二目标识别模型通过设定的性能测试时,将已被指定的用于目标识别的第一目标识别模型更新为所述第二目标识别模型,以通过更新后的第二目标识别模型进行目标识别。
根据本申请的第二方面,提供一种目标识别装置,该装置应用于电子设备,该装置包括:
初始识别单元,用于依据已获得的各目标对象的初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签;所述目标对象的初始识别结果是将所述目标对象对应的目标图像输入至已训练的第一目标识别模型得到的,目标对象对应的识别标签与目标对象的初始识别结果关联;
模型更新单元,用于依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练,得到第二目标识别模型,并在所述第二目标识别模型通过设定的性能测试时,将已被指定的用于目标识别的第一目标识别模型更新为所述第二目标识别模型,以通过更新后的第二目标识别模型进行目标识别。
根据本申请的第三方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现第一方面中所述的方法。
本申请中,电子设备采用初始的第一目标识别模型对实时视频流中的目标对象进行目标识别,得到初始识别结果,然后根据该初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签。后续,电子设备可以依据各目标对象对应的目标图像以及各目标对象对应的识别标签,在第一目标识别模型的基础上重新进行训练得到第二目标识别模型。若该第二识别模型通过设定的性能测试,则将第一识别模型更新为该第二识别模型,以通过更新后的第二目标识别模型对实时视频流中的目标对象进行目标识别。
通过本申请实施例可以看出,在本实施例中,目标识别模型并非固定不变,其借助目标识别模型识别出的目标识别结果并通过在线训练的方法进行多次迭代更新目标识别模型,这相比现有一旦训练好即不变的目标识别模型,大大提高目标识别模型的智能化,无需再借助人工操作即可实现目标识别,提高目标识别的准确度;
进一步地,本实施例中,在迭代更新目标识别模型时,无需人工标注标签,而是借助目标识别模型识别出的目标识别结果进行在线迭代更新,这减少人工工作量,提高目标识别模型的更新效率。
再进一步地,应用于周界防范场景下,本实施例中通过不断优化的目标识别模型进行目标识别,可以避免非目标等的误报,降低周界防范的误报率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1是本申请一示例性实施例示出的一种目标识别方法的流程图。
图2是本申请一示例性实施例示出的另一种目标识别方法的流程图。
图3是本申请一示例性实施例示出的一种用于目标识别装置的一结构示意图。
图4是本申请一示例性实施例示出的一种目标识别装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在一些应用中,当需要进行图像识别时,一种常见的方法为使用目标识别模型来进行目标识别。但是,如背景技术所述,目前很多目标识别模型智能化程度不够高,常常需要人工干预。举例来说,当检测到异常情况(运动目标等)时,目前的目标识别模型无法对运动目标进行进一步区分,例如无法识别该目标是人还是动物,需要人工操作。然而,人工操作具有滞后性,影响了识别效率。
为解决上述缺陷,本申请实施例提出了一种不同的目标识别的方法,具体如图1所示。参见图1,图1是一示例性实施例示出的一种目标识别方法的流程示意图,该方法应用于电子设备。在一个例子中,电子设备可为前端设备。可选地,这里的前端设备可为图像采集设备,比如,相机、传感器等。在另一个例子中,电子设备也可为后端设备。可选地,这里的后端设备可为图像处理设备,比如DVR、NVR、管理服务器等。
如图1所示,该流程可包括以下步骤:
步骤S101:电子设备依据已获得的各目标对象的初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签;所述目标对象的识别结果是将所述目标对象对应的目标图像输入至已训练的第一目标识别模型得到的,目标对象对应的识别标签与目标对象的初始识别结果关联。
在一个例子中,上述已训练的第一目标识别模型其被指定用于目标识别。在具体实现时,作为一个实施例,第一目标识别模型可以保存在电子设备对应的存储介质中。作为另一个实施例,第一目标识别模型也可以保存在独立于电子设备的其他设备上,例如云端设备。
本实施例中,当电子设备获得目标对象对应的目标图像后,假若第一目标识别模型保存在电子设备对应的存储介质中,则电子设备可直接将各目标对象对应的目标图像输入至已训练的第一目标识别模型,即得到各目标对象的初始识别结果。而假若第一目标识别模型也可以保存在独立于电子设备的其他设备上,例如云端设备,则电子设备可以将各目标对象对应的目标图像发送给保存有该第一目标识别模型的其它设备,以由其它设备将各目标对象对应的目标图像输入至第一目标识别模型,并将各目标对象的初始识别结果返回给电子设备。即电子设备得到各目标对象的初始识别结果。
需要说明的是,至于电子设备如何获得目标对象对应的目标图像,其有很多实现方式,比如电子设备在对实时视频流进行检测时,可以检测运动的目标对象,在该目标对象触发预设规则时获取目标对象的目标图像,例如获取该目标对象在触发规则时的图像。当然,也可以通过其他方法获取待识别目标对象的目标图像,这里不进行限定。
本实施例中,在得到目标对象的目标图像后,电子设备可以利用第一目标识别模型来其对进行目标识别。其中,该第一目标识别模型可以是预设的已训练的模型,也可以是使用本申请方法训练并更新后的模型。
可选地,各目标对象的初始识别结果依赖于第一目标识别模型的模型类型确定。比如,第一目标识别模型是一个分类模型,则各目标对象的初始识别结果就是各目标对象的类别。以应用于高速公路场景为例,第一目标识别模型是一个分类模型,可输出以下五类结果:“人”、“车辆”、“动物”、“误报目标”和“未知目标”。基于此,各目标对象的初始识别结果就是该五类结果中的其中一个结果。
设定标签识别策略,其是用于确定该目标对象的目标识别结果。在配置时,可根据实际需求进行配置,下文会对已配置的设定标签识别策略进行描述。至于如何依据已获得的各目标对象的初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签,下文也通过多个实施例进行描述。
为了对该第一目标识别模型进行优化,电子设备还可以将上述识别到的目标对象的目标图像作为样本数据,并依据初始识别结果和设定识别标签策略确定的目标识别结果自动生成样本数据的识别标签,以根据样本数据和对应的识别标签对第一目标识别模型进行优化。
在一个实施例中,电子设备为了提高数据的查找效率,可以将目标对象的各类信息联合存储。其中,目标对象的各类信息包括目标对象的识别标签、目标对象的初始识别结果、以及目标对象的其他信息(例如目标对象的目标图像等)。举例来说,在确定目标对象的目标识别结果后,可以将该目标识别结果与该目标对象的其他信息联合存储。然后,在确定目标对象的识别标签后,也将该目标对象与之前确定的目标识别结果等联合存储。
举例来说,电子设备可以通过表格的方式来联合存储上述各类信息,例如在同一表项中保存目标对象的目标识别结果、目标对象的识别标签以及该目标对象的其他信息。其中,对于目标图像等信息,可以通过链接等形式来进行保存,这里不进行限定。
在另一个实施例中,电子设备也可以通过目标对象的标识来关联目标对象的各类信息。例如在确定目标对象的初始识别结果后,可以确定目标对象的初始识别结果与标识的对应关系;在确定目标对象的识别标签后,可以确定目标对象的识别标签与标识的对应关系。进而,针对同一目标对象的各类信息,可以根据该目标对象的标识来进行查找。
当然,这里只是示例性说明,在实际应用中,还可以通过其他方式来确定目标对象的各类信息之间的关联关系,这里不再赘述。
在一个可选的实施例中,第一目标识别模型的输出结果还包括与初始识别结果一一对应的置信度,电子设备可以置信度来确定目标对象的识别标签。例如,若置信度高于预设阈值(例如70%),则认为该初始识别结果准确,电子设备可以直接将初始识别结果作为目标对象的识别标签;若置信度不高于预设阈值,则认为该初始识别结果不准确,电子设备可以根据初始识别结果和已配置的设定标签识别策略确定目标对象的识别标签。
在另一个可选的实施例中,电子设备可以不考虑置信度,针对每一目标对象,根据初始识别结果和已配置的设定标签识别策略确定目标对象的识别标签。
在根据初始识别结果和已配置的设定标签识别策略确定各目标对象的识别标签时,电子设备可以针对每一目标对象,利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果;当该目标对象对应的初始识别结果与目标识别结果匹配时,将该目标对象对应的初始识别结果或目标识别结果确定为该目标对象对应的识别标签,否则,将该目标对象对应的目标识别结果确定为该目标对象对应的识别标签。
需要说明的是,电子设备可以选择合适的时机来确定目标对象的识别标签。例如,电子设备可以在得到目标对象的初始识别结果后,直接确定该目标对象的识别标签;或者,电子设备也可以对多个目标对象的初始识别结果进行保存,后续按照一定的时间间隔或者当保存的初始识别结果达到一定数量后,确定该多个目标对照中各目标对象的识别标签。
步骤S102:电子设备依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练,得到第二目标识别模型,并在所述第二目标识别模型通过设定的性能测试时,将已被指定的用于目标识别的第一目标识别模型更新为所述第二目标识别模型,以通过更新后的第二目标识别模型进行目标识别。
为便于描述,本步骤102中的模型训练可记为在线模型训练。
相比现有完全依赖于大量的人工标定训练目标识别模型,通过步骤102可以看出,本实施例通过依据已获得的各目标对象的初始识别结果和已配置的设定标签识别策略确定的各目标对象对应的识别标签在线训练模型,可以减少人工标定的工作量,节省模型训练成本。
在一个例子中,电子设备可以保存获取到的目标对象的目标图像、以及步骤S101中确定的目标对象的识别标签,并将该目标图像和识别标签作为样本数据进行模型训练。
在另一个例子中,电子设备还可以将目标对象按预设比例分成两类,对于其中一类,将该目标对象的目标图像和识别标签作为样本数据进行模型训练;对于另一类,将该目标对象的目标图像和识别标签作为测试数据对训练得到目标识别模型进行性能测试。
在确定用于模型训练的样本数据后,若满足预设的触发条件,则电子设备可以依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练,得到第二目标识别模型。
在一个例子中,该触发条件可以是指定历史时间段内已得到的识别标签总量是否大于或等于阈值,其中,该指定历史时间段是指:截至当前时间点已经有的指定时长的一段时间。电子设备可以检测截至当前时间点且时长为指定时长的时间段内已得到的识别标签的数量,若该数量大于或等于设定标签数量阈值,则进行模型训练。举例来说,假设当前时间点为20200701,若指定时长为1个月,则电子设备可以检测从20200601至20200701这一时间段内得到的识别标签数量,并将该识别标签数量与设定阈值进行比较。
其中,已得到的识别标签的数量可以为该历史时间段内新增的识别标签的数量。在实现时,电子设备可以在模型训练结束后删除识别标签,则后续保存的识别标签为新增数据;或者,电子设备也可以为各识别标签依次进行编号,并记录上一次模型训练时所使用的识别标签的编号段,则后续电子设备可以根据编号来确定新增的识别标签的数量。
在另一个例子中,触发条件还可以是预设时间间隔,例如以预设的周期(例如10天、30天等)进行模型训练及更新。
当然,本申请中还可以使用其他方法来触发进行模型训练,例如用户手动触发等,这里不进行具体限定。
可以理解的是,本实施例中的第一目标识别模型为电子设备当前指定的用于目标识别的模型,例如可以是电子设备出厂时预设的模型,也可以是基于本申请方法更新后的模型。电子设备可以多次使用本申请中的方法来优化模型,例如,电子可以周期性地检测识别标签数量,若达到新增的识别标签的数量满足预设条件则通过图1所示流程来更新模型;或者,电子设备也可以周期性地接收用户指令,在接收到用户指示时,通过图1所示的流程来更新模型。由此,本申请可以使用更多的样本数据来进行训练模型,实现对模型的优化,提高目标识别的准确率。
模型训练的方法可以参考相关技术,这里不再赘述。
在一个实施例中,设定的性能测试可以是检测第二目标识别模型的识别准确率,并判断该第二目标识别模型的识别准确率是否满足预设条件。
在进行准确率测试时,可以使用预设的测试集来进行测试,该测试集包括多对测试数据,每对测试数据包括测试图像和测试图像对应的识别标签。其中,测试数据可以是电子设备保存目标对象后,按比例确定样本数据和测试数据时所确定的,测试数据中的目标图像作为测试图像,该测试数据中的识别标签作为与测试图像对应的识别标签。或者,测试数据也可是通过网络或者监控设备预先采集的测试图像,且每个测试图像对应有人工标注的识别标签。
具体地,准确率测试可以包括以下步骤:
首先,将各测试图像输入该第二目标识别模型,并基于第二目标识别模型的输出确定该测试图像的识别结果。将该测试结果与测试图像对应的识别标签进行对比,两者一致则表示该测试结果准确。
然后,获取测试结果准确的数量,将其与测试结果的总数量的比值作为该第二目标识别模型的目标识别准确率。若该目标识别准确率大于预设阈值,则确定对该第二识别模型的测试结果符合预设条件;该目标识别准确率不大于预设阈值,则确定对该第二识别模型的测试结果不符合预设条件。
在另一个实施例中,性能测试还可以包括模型运行时的资源消耗情况。例如,电子设备可以在使用测试集进行测试时,检测电子设备的内存、CPU等的性能使用情况,并判断该性能使用情况是否小于预设性能阈值。
当然,第二目标识别模型的性能测试还可以包括其他更多维度的测试,例如工作效率等,本说明书只是示例性说明,不进行具体限定。
在完成对第二目标识别模型的性能测试后,电子设备可以根据性能测试的结果来确定是否需要对第一目标识别模型进行更新。
若第二目标识别模型通过设定的性能测试,则将已被指定的用于目标识别的第一目标识别模型更新为该第二目标识别模型,后续,电子设备可以使用更新后的第二目标识别模型进行目标识别。
若第二目标识别模型未通过设定的性能测试,则不对第一目标识别模型进行更新,仍使用原第一目标识别模型进行目标识别。
至此,完成了图1所示流程。由以上描述可知,电子设备采用初始的第一目标识别模型对实时视频流中的目标对象进行目标识别,得到初始识别结果,然后根据该初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签。后续,电子设备可以依据各目标对象对应的目标图像以及各目标对象对应的识别标签,在第一目标识别模型的基础上重新进行训练得到第二目标识别模型。若该第二识别模型通过设定的性能测试,则将第一识别模型更新为该第二识别模型,以通过更新后的第二目标识别模型对实时视频流中的目标对象进行目标识别。
通过本申请实施例可以看出,在本实施例中,目标识别模型并非固定不变,其借助目标识别模型识别出的目标识别结果并通过在线训练的方法进行多次迭代更新目标识别模型,这相比现有一旦训练好即不变的目标识别模型,大大提高目标识别模型的智能化,无需再借助人工操作即可实现目标识别,提高目标识别的准确度;
进一步地,本实施例中,在迭代更新目标识别模型时,无需人工标注标签,而是借助目标识别模型识别出的目标识别结果进行在线迭代更新,这减少人工工作量,提高目标识别模型的更新效率。
再进一步地,应用于周界防范场景下,本实施例中通过不断优化的目标识别模型进行目标识别,可以避免非目标等的误报,降低周界防范的误报率。
下面对上述步骤101中如何依据已获得的各目标对象的初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签进行举例描述:
参见图2,图2为本申请实施例提供的步骤101实现流程图。
步骤201,针对每一目标对象,利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果;
如上描述,已配置的设定标签识别策略用于确定该目标对象的目标识别结果,基于此,本步骤201即可依据已配置的设定标签识别策略确定该目标对象对应的目标识别结果。下文会通过实施例描述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果。
步骤202,当该目标对象对应的初始识别结果与目标识别结果匹配时,将该目标对象对应的初始识别结果或目标识别结果确定为该目标对象对应的识别标签,否则,将该目标对象对应的目标识别结果确定为该目标对象对应的识别标签。
基于步骤201中确定的目标对象的目标识别结果,可以将其与根据第一目标识别模型得到的该目标对象的初始识别结果进行比对,若目标识别结果与初始识别结果相匹配,则将该目标识别结果确定为目标对象的识别标签。
可选的,若目标识别结果与初始识别结果不匹配,可以根据其他策略来确定是否目标对象的识别标签,例如可以将目标对象的识别标签确定为“未知目标”。
其中,上述判断目标识别结果和初始识别结果进行比对的方法有多种,例如可以是判断目标识别结果与初始识别结果是否一致,若一致,则认为目标识别结果和初始识别结果匹配;若不一致,则认为目标识别结果和初始识别结果不匹配。
至此,完成图2所示的流程。
下面,本说明书通过具体的实施例来介绍电子设备利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果的方法。当然,电子设备也可以采用其他方法来确定目标识别结果,这里只是示例性说明,并不是进行限定。
实施例1:
本实施例1中,已配置的设定标签识别策略是指借助目标对象的跟踪结果确定目标对象对应的目标识别结果。
基于此,在本实施例中,上述步骤利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
步骤a1,获得已跟踪所述目标对象的跟踪结果;所述跟踪结果包括所述目标对象的运动信息。
本实施例中,跟踪结果为已采集的指定时间段内的视频流中通过对目标对象进行跟踪得到的结果,其可包括目标对象的运动信息例如运动速度等。
步骤a2,依据所述跟踪结果中所述目标对象的运动信息确定目标对象对应的目标识别结果。
作为一个实施例,本实施例可预先针对不同目标对象配置不同的运动信息。以运动信息为运动速度为例,电子设备可以预先针对各类不同对象配置不同的运动速度。
类别 运动速度
4km/h~10km/h
车辆 30km/h~100km/h
树叶 0km~5km/h
表1
基于此,本步骤102中,可依据所述跟踪结果中目标对象的运动速度和表1确定目标对象的运动信息确定目标对象对应的目标识别结果。作为一个实施例,本步骤102可比较所述跟踪结果中目标对象的运动速度与表1中的运动速度,若跟踪结果中目标对象的运动速度,与表1中与该目标对象对应的表项所指示的运动速度范围相匹配,则确定目标对象的初始识别结果准确,并确定所述指定识别结果条件对应的识别结果为该目标对象对应的目标识别结果;若跟踪结果中目标对象的运动速度,与表1中与该目标对象对应的表项所指示的运动速度范围不匹配,则可以确定目标对象的初始识别结果准确,采用预设的其他方法生成目标识别结果。
举例来说,假设目标对象的初始识别结果为车辆:
假若该目标对象的运动速度为60km/h,根据表1可知,当类别为车辆时对应的运动速度属于30~100km/h,此时可认为目标对象的运动速度60km/h与表1中类别为车辆时对应的运动速度匹配,此时可直接确定目标对象的目标识别结果为车辆。
再假若该目标对象的运动速度10km/h,根据表1可知,当类别为车辆时对应的运动速度属于30~100km/h,此时可认为目标对象的运动速度10km/h与表1中类别为车辆时对应的运动速度不匹配,此时可确定目标对象初始识别结果不准确,并按照预设的方法生成目标识别结果。这里,生成目标识别结果的方法有多种,例如根据在表1中查询与该运动速度匹配的类别,并将该目标对象的目标识别结果为人;或者,也可以直接确定目标对象的目标识别结果为“未知目标”。
再举例:假设目标对象的初始识别结果为人:
假若该目标对象的运动速度为6km/h,根据表1可知,当类别为人时对应的运动速度属于4km/h~10km/h,此时可认为目标对象的运动速度6km/h与表1中类别为人时对应的运动速度相匹配,此时可直接确定目标对象的目标识别结果为人。
假若该目标对象的运动速度为60km/h,根据表1可知,当类别为人时对应的运动速度属于4km/h~10km/h,此时可认为目标对象的运动速度60km/h与表1中类别为人时对应的运动速度不匹配,此时可确定目标对象初始识别结果不准确,并按照预设的方法生成目标识别结果。这里,生成目标识别结果的方法有多种,例如根据在表1中查询与该运动速度匹配的类别,并将该目标对象的目标识别结果为车辆;或者,也可以直接确定目标对象的目标识别结果为“未知目标”。
至此,完成实施例1的描述。
实施例2:
本实施例2中,以配置的设定标签识别策略是指借助其他指定模型的识别结果确定目标对象对应的目标识别结果。
基于此,在本实施例中,上述步骤利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
步骤b1,采用已训练出的至少一个指定模型对所述目标对象进行识别,得到至少一个参考识别结果。
本实施例中,已训练是出的至少一个指定模型可以是电子设备预先保存在设备存储介质上的,也可以电子设备根据实际需求通过网络获取到的。电子设备可以将目标对象的目标图像输入至少一个指定模型,并根据各指定模型的输出结果来确定与该指定模型对应的参考识别结果。
步骤b2,将已得到的所有参考识别结果中的其中一个参考识别结果确定为该目标对象对应的目标识别结果,所述其中一个参考识别结果在已得到的所有参考识别结果中占有的比例最大。
本实施例中,可以依据步骤b1中得到的与至少一个指定模型对应的至少一个参考识别结果来确定目标识别结果。
在一个例子中,可以将参考识别结果中占有比例最大的参考识别结果作为目标识别结果。例如,若使用5个指定模型,分别得到每个指定模型的参考识别结果,该5个参考识别结果中,1个指示目标对象为人,4个指示目标对象为车辆,则可以确定占有比例最大的参考识别结果为指示目标对象为车辆,继而确定目标对象的目标识别结果为车辆。
在另一个例子中,还可以根据目标对象的参考识别结果与初始识别结果的比较结果来确定目标识别结果。例如确定参考识别结果中与目标识别结果一致的数量,然后计算该一致的数量在参考目标识别结果中的比例。若该比例大于预设的比例阈值,则确定目标对象的目标识别结果为第一识别结果。若该比例不大于预设的比例阈值,则可以采用其他方法来确定目标识别结果,例如将参考识别结果中占有比例最大的参考识别结果作为目标识别结果。
举例来说,若第一目标识别结果指示目标对象为人,使用5个指定模型得到的5个参考目标识别结果中,有1个指示目标对象为人、3个个指示目标对象为车辆、1个个指示目标对象为误报,则可以确定在该参考识别结果中,共有1个与第一识别结果一致,所占比例为20%。若预设的比例阈值为80%,则该比值不大于预设的比例阈值。电子设备可以使用其他方法来确定目标识别结果,例如将参考识别结果中占有比例最大的“车辆”作为目标识别结果。
至此,完成实施例2的描述。
实施例3:
本实施例3中,已配置的设定标签识别策略是通过聚类的方法来确定目标对象对应的目标识别结果。
基于此,在本实施例中,上述步骤利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
步骤c1,按照设定的聚类方式对各目标对象进行聚类。
本实施例中,对目标对象进行聚类的方式可以有多种,例如将目标对象的目标图像转换为图像向量后,根据图像向量对目标对象进行聚类。
需要说明的是,将目标图像转换为图像向量的方法可以有多种,例如可以采用graph2vec、Node2vec等算法来对目标图像进行图嵌入,得到目标图像对应的图像向量。
对图像向量进行聚类的方法也有很多,例如可以采用K-means(K-均值)算法、GMM(Gaussian Mixture Model,高斯混合模型)算法等。
当然,本申请还可以采用其他方法来对目标对象进行聚类,这里不再赘述。
基于预设的聚类方式,可以将多个目标对象划分成多个类,且每个类包括至少一个目标对象。举例来说,假设待处理的目标对象为1000个,可以采用这1000个目标对象的图像向量将这些目标对象划分成5个类别,每个类别中包括至少一个目标对象。
步骤c2,针对每一类中的第一目标对象,将该类中第二目标对象的指定标签确定为该第一目标对象的目标识别结果。
本实施例中,第一目标对象为未被指定任一指定标签的对象;第二目标对象为被指定一指定标签的一个对象,同一类中不同第二目标对象被指定同一指定标签。
本实施例中,针对聚类形成的每一类,可以从中筛选出若干个第二目标对象,并将该第二目标对象通过可视化界面展示给用户,进而获取用户为该第二目标对象确定的指定标签。
在一个例子中,第二目标对象可以是与聚类中心距离最近的目标对象。在实现时,电子设备根据聚类结果确定每一类的聚类中心,然后计算该类中各目标对象与聚类中心的距离,然后将距离数值最小的目标对象作为第二目标对象。在确定每一类中的一个第二目标对象后,可以通过电子设备的可视化界面展示该第二目标对象,以使用户为该第二目标对象确定指定标签,然后电子设备可以将该指定标签作为该类中第一目标对象的目标识别结果。
当然,对于第二目标对象,可以直接将该第二目标对象的指定标签作为目标识别结果。
举例来说,若采用K-means聚类算法将1000个目标对象划分成5个类别。具体包括以下步骤:
首先,从该1000个目标对象中随机选取5个目标对象作为中心点;然后,针对除中心点外其他995个目标对象中的每一个,分别计算该目标对象与5个中心点的距离(例如欧式距离、余弦距离等),确定其中距离数值最小的中心点,并将该目标对象划分至该距离最小的中心点所属的集合;接着,对于划分后形成的5个集合,重新计算每个集合的中心点,例如可以将该集合中各目标对象的平均值作为中心点;重复执行上述步骤,直到确定的中心点满足设定的条件(例如新确定的中心点与上一次确定的中心点的距离小于预设阈值),则结束聚类。
根据上述步骤,可以将1000个目标对象划分成5个类别,并将最后一次聚类确定的中心点作为每一类的聚类中心。可以理解的是,这里中心点可以是计算得到的平均值,并不代表任何一个目标对象。
针对划分后的5个类别,可以再次计算该类别中每个目标对象与聚类中心的距离,并将与聚类中心距离最近的目标对象确定为第二目标对象,得到5个第二目标对象。然后可以将该5个第二目标对象展示给用户,并获取用户为其确定的指定标签,进而将该指定标签作为该类中各第一目标对象的目标识别结果。例如,若用户为第一类别中的第二目标对象确定的指定标签为车辆,则可以将该第一类别中的第一目标对象的目标识别结果确定为车辆。
可以理解的是,在实现上述聚类算法时,可以使用目标对象的图像向量来实现进行具体计算,得到的中心点也可以表示为向量,这里不再赘述。
在另一个例子中,第二目标对象可以是每一类中随机选取的多个目标对象。针对划分后的每一个类别,电子设备可以从该类别中随机选取若干个目标对象作为第二目标对象,并获取用户为第二目标对象确定的指定标签。一般地,在聚类结果准确的情况下,每一类中的第二目标对象的指定标签通常是相同的。继而,可以针对每一类,将该类中第二目标对象的指定标签作为第一目标对象的目标识别。仍以上述1000个目标对象为例,在将该1000个目标对象划分成5个类别后,可以从每个类别中随机获取若干个目标对象作为第二目标对象,然后获取用户为第二目标对象确定的指定标签,并将该指定标签作为该类中的第一目标对象的目标识别结果。
当然,若聚类结果误差较大,则同一类中筛选的第二目标对象的指定标签可能不同。基于此,电子设备可以采用其他方式来确定目标识别结果;或者电子设备也可以重新选取第二目标对象,并重新确定指定标签等。或者本实施例也可以采用其他方法来处理同一类中第二目标对象的指定标签不同的情况,这里只是示例性说明,并不进行限定。
至此,完成实施例3的描述。可以理解的是,本实施例虽然仍需要用户指定第二目标对象的指定标签,但第二目标对象的数量,远远小于待确定目标识别结果的目标对象的数量。从而本实施例可以根据用户少量的指定标签,来确定大量的目标对象的识别结果,与人工为每个目标对象标注标签相比,本实施例减少了人工工作量,提高了工作效率。
实施例4:
本实施例4中,已配置的设定标签识别策略是根据图像之间的相似度来确定目标对象对应的目标识别结果。
基于此,在本实施例中,上述步骤利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
步骤d1,将所有目标对象划分为第一类目标对象和第二类目标对象;第一类目标对象包括至少一个第一目标对象,所述第一目标对象为未被指定任一指定标签的对象;所述第二类目标对象包括至少一个第二目标对象,所述第二目标对象为被指定了一指定标签的对象。所述第二类目标对象中至少两个不同第二目标对象被指定不同指定标签,和/或,所述第二类目标对象中至少两个不同第二目标对象被指定同一指定标签。
本实施例中,根据目标对象是否被指定指定标签划分成两类,将未被指定任一指定标签的对象划分至第一类目标对象,第一类目标对象中包括至少一个第一目标对象;将被指定了一指定标签的对象对划分至第二类目标对象,第二类目标对象中包括至少一个第二目标对象。
在一个实施例中,第二目标对象的指定标签可以由用户确定。举例来说,可以随机选取一定数量或者一定比例的目标对象,通过电子设备的可视化界面展示给用户,并获取用户为这些目标对象的指定标签。
可选地,第二类目标对象中可以包括至少多个不同的第二目标对象,该多个第二目标对象中,可以包括被指定不同指定标签的第二目标对象,或者也可以包括被指定了同一指定标签的第二目标对象,或者可以既包括被指定不同标签的第二目标对象,也包括被指定同一指定标签的第二目标对象。
步骤d2,针对第一目标对象,确定该第一目标对象与所述第二类目标对象中各第二目标对象之间的相似度,依据该第一目标对象与所述第二类目标对象中各第二目标对象之间的相似度,选取其中一个第二目标对象被指定的指定标签,将该选取的指定标签确定为该第一目标对象的目标识别结果。
本实施例中,可以针对每一个第一目标对象,确定该第一目标对象与第二类目标对象中各第二目标对象之间的相似度。
作为一个实施例,可以将目标对象的目标图像转换为图像向量,然后根据图像向量之间的距离来确定目标对象之间的相似度,相似度与距离成正相关。
需要说明的是,将目标图像转换为图像向量的方法与上文实施例3中相同,这里不再赘述。确定图像向量之间的距离的方式可以有多种,例如可以计算图像向量之间的欧式距离、曼哈顿距离等,这里不进行限定。
举例来说,若第二目标对象包括G1、G2、G3,对于第一目标对象P1,可以根据图像向量之间的距离,分别确定P1与G1的相似度S11、P1与G2的相似度S12、以及P1与G3的相似度S13。
本实施例中,基于确定的第一目标对象与各第二目标对象之间的相似度,然后根据该相似度选取一个第二目标对象,将该选中的第二目标对象的指定标签确定为该第一目标对象的目标识别结果。可选的,在选取第二目标对象时,可以选取相似度最高的第二目标对象;或者可以从相似度超过预设相似度阈值的第二目标对象中随机选取等。
本实施例中,根据确定的第二目标对象,将该第二目标对象对应的指定标签确定为该第一目标对象的目标识别结果。
仍以上述第一目标对象P1为例,可以按照预设的方式选取一个第二目标对象,例如选取第二目标对象G1,则可以将G1的指定标签确定为P1的目标识别结果。例如若G1的指定标签为车辆,则可以确定P1的目标识别结果为车辆。
至此,完成实施例4的描述。
可以理解的是,上述4个实施例为本说明书示例性示出的确定目标识别结果的可行实现方式,在实际使用中,还可以根据上述实施例进行拓展,或者,将上述实施例中的多个进行组合,此处不再赘述。
下面以电子设备为管理服务器,并在周界防范应用中使用本申请实施例为例来进行描述。
在周界防范应用中,针对获取到的视频流,首先检测并跟踪视频流中的目标对象,若该目标对象触发了预设的规则,则从视频流中提取出该运动目标的目标图像,并根据目标图像来对运动目标进行目标识别。
举例来说,用户可以为高速公路上的“应急车道”设置周界防范。首先,可以针对实时视频流进行检测,从视频流的单帧图像中提取目标对象,该目标对象包括静态或动态目标,例如从图像中框选出车辆、人、路标等。然后,在上述单帧图像的后续图像帧中跟踪已提取出的目标对象,筛选出其中运动的目标对象;接着,在跟踪过程中,检测该运动的目标对象是否触发预设规则,例如判断目标对象是否越过上述“应急车道”的边界,若目标对象触发预设规则,则提取包含该目标对象的目标图像。
基于上述提取的目标对象的目标图像,可以使用本申请方法进行目标识别。以目标对象为目标对象A为例,可以包括以下步骤:
首先,电子设备首先将目标对象A的目标图像输入第一目标识别模型,得到该目标对象的初始识别结果为车辆。
然后,电子设备根据预设的标签识别策略来确定该目标对象A的目标识别结果,可以确定其目标识别结果为车辆。
接着,电子设备可以将目标对象A的目标识别结果和初始识别结果进行对比,目标识别结果和初始识别结果均为车辆,可以确定两者匹配,并确定该目标对象A的的识别标签为车辆。
重复上述步骤,直到电子设备确定在当前周期内新增确定的识别标签的总量大于阈值,则可以在第一目标识别模型的基础上,使用这些目标对象的目标图像以及识别标签重新进行模型训练,得到第二目标识别模型。
继而,使用预设的性能测试的方法,例如对第二目标识别模型的识别准确率进行测试,若满足预设条件,则将第一目标识别模型更新为该第二目标识别模型。
后续,电子设备可以使用第二目标识别模型来对实时视频流中的目标对象进行目标识别。
至此,完成了电子设备在周界防范应用中使用本申请方法的流程。
与前述目标识别方法的实施例相对应,本说明书还提供了目标识别装置的实施例。
本说明书目标识别装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图3所示,为本说明书目标识别装置所在电子设备的一种硬件结构图,除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的电子设备通常根据该电子设备的实际功能,还可以包括其他硬件,对此不再赘述。
图4是本申请一示例性实施例示出的一种目标识别装置的框图。
请参考图4,所述目标识别装置400可以应用在前述图3所示的电子设备中,包括有:
初始识别单元,用于依据已获得的各目标对象的初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签;所述目标对象的初始识别结果是将所述目标对象对应的目标图像输入至已训练的第一目标识别模型得到的,目标对象对应的识别标签与目标对象的初始识别结果关联;
模型更新单元,用于依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练,得到第二目标识别模型,并在所述第二目标识别模型通过设定的性能测试时,将已被指定的用于目标识别的第一目标识别模型更新为所述第二目标识别模型,以通过更新后的第二目标识别模型进行目标识别。
可选地,所述依据已获得的各目标对象的初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签,包括:
针对每一目标对象,利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果;
当该目标对象对应的初始识别结果与目标识别结果匹配时,将该目标对象对应的初始识别结果或目标识别结果确定为该目标对象对应的识别标签,否则,将该目标对象对应的目标识别结果确定为该目标对象对应的识别标签。
可选地,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
获得已跟踪所述目标对象的跟踪结果;所述跟踪结果包括所述目标对象的运动信息;
依据所述跟踪结果中所述目标对象的运动信息确定目标对象对应的目标识别结果。
可选地,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
采用已训练出的至少一个指定模型对所述目标对象进行识别,得到至少一个参考识别结果;
将已得到的所有参考识别结果中的其中一个参考识别结果确定为该目标对象对应的目标识别结果,所述其中一个参考识别结果在已得到的所有参考识别结果中占有的比例最大。
可选地,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
按照设定的聚类方式对各目标对象进行聚类,针对每一类中的第一目标对象,将该类中第二目标对象的指定标签确定为该第一目标对象的目标识别结果;所述第一目标对象为未被指定任一指定标签的对象;所述第二目标对象为被指定一指定标签的一个对象,同一类中不同第二目标对象被指定同一指定标签。
可选地,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
将所有目标对象划分为第一类目标对象和第二类目标对象;第一类目标对象包括至少一个第一目标对象,所述第一目标对象为未被指定任一指定标签的对象;所述第二类目标对象包括至少一个第二目标对象,所述第二目标对象为被指定了一指定标签的对象;所述第二类目标对象中至少两个不同第二目标对象被指定不同指定标签,和/或,所述第二类目标对象中至少两个不同第二目标对象被指定同一指定标签;
针对第一目标对象,确定该第一目标对象与所述第二类目标对象中各第二目标对象之间的相似度,依据该第一目标对象与所述第二类目标对象中各第二目标对象之间的相似度,选取其中一个第二目标对象被指定的指定标签,将该选取的指定标签确定为该第一目标对象的目标识别结果。
可选地,所述初始识别单元,在用于依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练之前,还用于:
检测指定历史时间段内已得到的识别标签总量是否大于或等于设定标签数量阈值,如果是,继续执行依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练;所述指定历史时间段是指:截至当前时间点且时长为指定时长的时间段。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
与前述目标识别方法的实施例相对应,本说明书还提供一种电子设备,该电子设备包括:处理器以及用于存储机器可执行指令的存储器。其中,处理器和存储器通常借由内部总线相互连接。在其他可能的实现方式中,所述设备还可能包括外部接口,以能够与其他设备或者部件进行通信。
在本实施例中,通过读取并执行所述存储器存储的与目标识别逻辑对应的机器可执行指令,所述处理器被促使:
依据已获得的各目标对象的初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签;所述目标对象的初始识别结果是将所述目标对象对应的目标图像输入至已训练的第一目标识别模型得到的,目标对象对应的识别标签与目标对象的初始识别结果关联;
依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练,得到第二目标识别模型,并在所述第二目标识别模型通过设定的性能测试时,将已被指定的用于目标识别的第一目标识别模型更新为所述第二目标识别模型,以通过更新后的第二目标识别模型进行目标识别。
可选地,所述依据已获得的各目标对象的初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签,包括:
针对每一目标对象,利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果;
当该目标对象对应的初始识别结果与目标识别结果匹配时,将该目标对象对应的初始识别结果或目标识别结果确定为该目标对象对应的识别标签,否则,将该目标对象对应的目标识别结果确定为该目标对象对应的识别标签。
可选地,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
获得已跟踪所述目标对象的跟踪结果;所述跟踪结果包括所述目标对象的运动信息;
依据所述跟踪结果中所述目标对象的运动信息确定目标对象对应的目标识别结果。
可选地,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
采用已训练出的至少一个指定模型对所述目标对象进行识别,得到至少一个参考识别结果;
将已得到的所有参考识别结果中的其中一个参考识别结果确定为该目标对象对应的目标识别结果,所述其中一个参考识别结果在已得到的所有参考识别结果中占有的比例最大。
可选地,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
按照设定的聚类方式对各目标对象进行聚类,针对每一类中的第一目标对象,将该类中第二目标对象的指定标签确定为该第一目标对象的目标识别结果;所述第一目标对象为未被指定任一指定标签的对象;所述第二目标对象为被指定一指定标签的一个对象,同一类中不同第二目标对象被指定同一指定标签。
可选地,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
将所有目标对象划分为第一类目标对象和第二类目标对象;第一类目标对象包括至少一个第一目标对象,所述第一目标对象为未被指定任一指定标签的对象;所述第二类目标对象包括至少一个第二目标对象,所述第二目标对象为被指定了一指定标签的对象;所述第二类目标对象中至少两个不同第二目标对象被指定不同指定标签,和/或,所述第二类目标对象中至少两个不同第二目标对象被指定同一指定标签;
针对第一目标对象,确定该第一目标对象与所述第二类目标对象中各第二目标对象之间的相似度,依据该第一目标对象与所述第二类目标对象中各第二目标对象之间的相似度,选取其中一个第二目标对象被指定的指定标签,将该选取的指定标签确定为该第一目标对象的目标识别结果。
可选地,所述依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练之前,进一步包括:
检测指定历史时间段内已得到的识别标签总量是否大于或等于设定标签数量阈值,如果是,继续执行依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练;所述指定历史时间段是指:截至当前时间点且时长为指定时长的时间段。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。

Claims (15)

1.一种目标识别方法,其特征在于,该方法应用于电子设备,该方法包括:
依据已获得的各目标对象的初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签;所述目标对象的初始识别结果是将所述目标对象对应的目标图像输入至已训练的第一目标识别模型得到的,目标对象对应的识别标签与目标对象的初始识别结果关联;
依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练,得到第二目标识别模型,并在所述第二目标识别模型通过设定的性能测试时,将已被指定的用于目标识别的第一目标识别模型更新为所述第二目标识别模型,以通过更新后的第二目标识别模型进行目标识别。
2.根据权利要求1所述的方法,其特征在于,所述依据已获得的各目标对象的初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签,包括:
针对每一目标对象,利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果;
当该目标对象对应的初始识别结果与目标识别结果匹配时,将该目标对象对应的初始识别结果或目标识别结果确定为该目标对象对应的识别标签,否则,将该目标对象对应的目标识别结果确定为该目标对象对应的识别标签。
3.根据权利要求2所述的方法,其特征在于,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
获得已跟踪所述目标对象的跟踪结果;所述跟踪结果包括所述目标对象的运动信息;
依据所述跟踪结果中所述目标对象的运动信息确定目标对象对应的目标识别结果。
4.根据权利要求2所述的方法,其特征在于,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
采用已训练出的至少一个指定模型对所述目标对象进行识别,得到至少一个参考识别结果;
将已得到的所有参考识别结果中的其中一个参考识别结果确定为该目标对象对应的目标识别结果,所述其中一个参考识别结果在已得到的所有参考识别结果中占有的比例最大。
5.根据权利要求2所述的方法,其特征在于,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
按照设定的聚类方式对各目标对象进行聚类,针对每一类中的第一目标对象,将该类中第二目标对象的指定标签确定为该第一目标对象的目标识别结果;所述第一目标对象为未被指定任一指定标签的对象;所述第二目标对象为被指定一指定标签的一个对象,同一类中不同第二目标对象被指定同一指定标签。
6.根据权利要求2所述的方法,其特征在于,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
将所有目标对象划分为第一类目标对象和第二类目标对象;第一类目标对象包括至少一个第一目标对象,所述第一目标对象为未被指定任一指定标签的对象;所述第二类目标对象包括至少一个第二目标对象,所述第二目标对象为被指定了一指定标签的对象;所述第二类目标对象中至少两个不同第二目标对象被指定不同指定标签,和/或,所述第二类目标对象中至少两个不同第二目标对象被指定同一指定标签;
针对第一目标对象,确定该第一目标对象与所述第二类目标对象中各第二目标对象之间的相似度,依据该第一目标对象与所述第二类目标对象中各第二目标对象之间的相似度,选取其中一个第二目标对象被指定的指定标签,将该选取的指定标签确定为该第一目标对象的目标识别结果。
7.根据权利要求1所述的方法,其特征在于,所述依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练之前,进一步包括:
检测指定历史时间段内已得到的识别标签总量是否大于或等于设定标签数量阈值,如果是,继续执行依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练;所述指定历史时间段是指:截至当前时间点且时长为指定时长的时间段。
8.一种目标识别装置,其特征在于,该装置应用于电子设备,该装置包括:
初始识别单元,用于依据已获得的各目标对象的初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签;所述目标对象的初始识别结果是将所述目标对象对应的目标图像输入至已训练的第一目标识别模型得到的,目标对象对应的识别标签与目标对象的初始识别结果关联;
模型更新单元,用于依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练,得到第二目标识别模型,并在所述第二目标识别模型通过设定的性能测试时,将已被指定的用于目标识别的第一目标识别模型更新为所述第二目标识别模型,以通过更新后的第二目标识别模型进行目标识别。
9.根据权利要求8所述的装置,其特征在于,所述依据已获得的各目标对象的初始识别结果和已配置的设定标签识别策略确定各目标对象对应的识别标签,包括:
针对每一目标对象,利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果;
当该目标对象对应的初始识别结果与目标识别结果匹配时,将该目标对象对应的初始识别结果或目标识别结果确定为该目标对象对应的识别标签,否则,将该目标对象对应的目标识别结果确定为该目标对象对应的识别标签。
10.根据权利要求9所述的装置,其特征在于,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
获得已跟踪所述目标对象的跟踪结果;所述跟踪结果包括所述目标对象的运动信息;
依据所述跟踪结果中所述目标对象的运动信息确定目标对象对应的目标识别结果。
11.根据权利要求9所述的装置,其特征在于,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
采用已训练出的至少一个指定模型对所述目标对象进行识别,得到至少一个参考识别结果;
将已得到的所有参考识别结果中的其中一个参考识别结果确定为该目标对象对应的目标识别结果,所述其中一个参考识别结果在已得到的所有参考识别结果中占有的比例最大。
12.根据权利要求9所述的装置,其特征在于,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
按照设定的聚类方式对各目标对象进行聚类,针对每一类中的第一目标对象,将该类中第二目标对象的指定标签确定为该第一目标对象的目标识别结果;所述第一目标对象为未被指定任一指定标签的对象;所述第二目标对象为被指定一指定标签的一个对象,同一类中不同第二目标对象被指定同一指定标签。
13.根据权利要求9所述的装置,其特征在于,所述利用已配置的设定标签识别策略确定该目标对象对应的目标识别结果,包括:
将所有目标对象划分为第一类目标对象和第二类目标对象;第一类目标对象包括至少一个第一目标对象,所述第一目标对象为未被指定任一指定标签的对象;所述第二类目标对象包括至少一个第二目标对象,所述第二目标对象为被指定了一指定标签的对象;所述第二类目标对象中至少两个不同第二目标对象被指定不同指定标签,和/或,所述第二类目标对象中至少两个不同第二目标对象被指定同一指定标签;
针对第一目标对象,确定该第一目标对象与所述第二类目标对象中各第二目标对象之间的相似度,依据该第一目标对象与所述第二类目标对象中各第二目标对象之间的相似度,选取其中一个第二目标对象被指定的指定标签,将该选取的指定标签确定为该第一目标对象的目标识别结果。
14.根据权利要求8所述的装置,其特征在于,所述初始识别单元,在用于依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练之前,还用于:
检测指定历史时间段内已得到的识别标签总量是否大于或等于设定标签数量阈值,如果是,继续执行依据各目标对象对应的目标图像以及各目标对象对应的识别标签在所述第一目标识别模型的基础上重新进行模型训练;所述指定历史时间段是指:截至当前时间点且时长为指定时长的时间段。
15.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现如权利要求1-7中任一项所述的方法。
CN202010910389.9A 2020-09-02 2020-09-02 一种目标识别的方法、装置和电子设备 Pending CN112101156A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010910389.9A CN112101156A (zh) 2020-09-02 2020-09-02 一种目标识别的方法、装置和电子设备
PCT/CN2021/116042 WO2022048572A1 (zh) 2020-09-02 2021-09-01 目标识别方法、装置和电子设备
EP21863636.3A EP4209959A4 (en) 2020-09-02 2021-09-01 TARGET IDENTIFICATION METHOD AND DEVICE AND ELECTRONIC DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010910389.9A CN112101156A (zh) 2020-09-02 2020-09-02 一种目标识别的方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN112101156A true CN112101156A (zh) 2020-12-18

Family

ID=73757667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010910389.9A Pending CN112101156A (zh) 2020-09-02 2020-09-02 一种目标识别的方法、装置和电子设备

Country Status (3)

Country Link
EP (1) EP4209959A4 (zh)
CN (1) CN112101156A (zh)
WO (1) WO2022048572A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705648A (zh) * 2021-08-19 2021-11-26 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备
WO2022048572A1 (zh) * 2020-09-02 2022-03-10 杭州海康威视数字技术股份有限公司 目标识别方法、装置和电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359341B (zh) * 2022-08-19 2023-11-17 无锡物联网创新中心有限公司 一种模型更新方法、装置、设备及介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389004A (zh) * 2007-09-13 2009-03-18 中国科学院自动化研究所 一种基于在线学习的运动目标分类方法
CN103927878A (zh) * 2014-04-10 2014-07-16 中海网络科技股份有限公司 一种用于违章停车的自动抓拍装置及自动抓拍方法
CN108921040A (zh) * 2018-06-08 2018-11-30 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN109359517A (zh) * 2018-08-31 2019-02-19 深圳市商汤科技有限公司 图像识别方法和装置、电子设备、存储介质、程序产品
CN109582793A (zh) * 2018-11-23 2019-04-05 深圳前海微众银行股份有限公司 模型训练方法、客服系统及数据标注系统、可读存储介质
CN109741332A (zh) * 2018-12-28 2019-05-10 天津大学 一种人机协同的图像分割与标注方法
CN109784391A (zh) * 2019-01-04 2019-05-21 杭州比智科技有限公司 基于多模型的样本标注方法及装置
CN110046666A (zh) * 2019-04-18 2019-07-23 深圳市深视创新科技有限公司 海量图片标注方法
CN110147852A (zh) * 2019-05-29 2019-08-20 北京达佳互联信息技术有限公司 图像识别的方法、装置、设备及存储介质
US10430692B1 (en) * 2019-01-17 2019-10-01 Capital One Services, Llc Generating synthetic models or virtual objects for training a deep learning network
CN110751191A (zh) * 2019-09-27 2020-02-04 广东浪潮大数据研究有限公司 一种图像的分类方法及系统
CN110796143A (zh) * 2019-10-31 2020-02-14 天津大学 一种基于人机协同的场景文本识别方法
CN110909780A (zh) * 2019-11-14 2020-03-24 腾讯科技(深圳)有限公司 一种图像识别模型训练和图像识别方法、装置及系统
CN110991491A (zh) * 2019-11-12 2020-04-10 苏州智加科技有限公司 图像标注方法、装置、设备及存储介质
CN111372037A (zh) * 2018-12-25 2020-07-03 杭州海康威视数字技术股份有限公司 目标抓拍系统和方法
CN111382704A (zh) * 2020-03-10 2020-07-07 北京以萨技术股份有限公司 基于深度学习的车辆压线违章判断方法、装置及存储介质
CN111401394A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 一种图像标注方法及装置、计算机可读存储介质
CN111414942A (zh) * 2020-03-06 2020-07-14 重庆邮电大学 一种基于主动学习和卷积神经网络的遥感图像分类方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101388145B (zh) * 2008-11-06 2010-09-15 北京汇大基业科技有限公司 道路交通安全自动警示方法及装置
CN103310207B (zh) * 2013-07-06 2016-03-09 中国科学技术大学 一种基于多高斯模型的助力车检测方法
CN103400157B (zh) * 2013-07-23 2017-02-08 青岛海信网络科技股份有限公司 一种基于视频分析的道路行人及非机动车检测方法
US10209974B1 (en) * 2017-12-04 2019-02-19 Banjo, Inc Automated model management methods
US11094191B2 (en) * 2018-04-27 2021-08-17 Iurii V. Iuzifovich Distributed safety infrastructure for autonomous vehicles and methods of use
CN109492571B (zh) * 2018-11-02 2020-10-09 北京地平线机器人技术研发有限公司 识别人体年龄的方法、装置及电子设备
CN111414861A (zh) * 2020-03-20 2020-07-14 赛特斯信息科技股份有限公司 基于深度学习实现行人及非机动车辆检测处理的方法
CN112101156A (zh) * 2020-09-02 2020-12-18 杭州海康威视数字技术股份有限公司 一种目标识别的方法、装置和电子设备

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389004A (zh) * 2007-09-13 2009-03-18 中国科学院自动化研究所 一种基于在线学习的运动目标分类方法
CN103927878A (zh) * 2014-04-10 2014-07-16 中海网络科技股份有限公司 一种用于违章停车的自动抓拍装置及自动抓拍方法
CN108921040A (zh) * 2018-06-08 2018-11-30 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN109359517A (zh) * 2018-08-31 2019-02-19 深圳市商汤科技有限公司 图像识别方法和装置、电子设备、存储介质、程序产品
CN109582793A (zh) * 2018-11-23 2019-04-05 深圳前海微众银行股份有限公司 模型训练方法、客服系统及数据标注系统、可读存储介质
CN111372037A (zh) * 2018-12-25 2020-07-03 杭州海康威视数字技术股份有限公司 目标抓拍系统和方法
CN109741332A (zh) * 2018-12-28 2019-05-10 天津大学 一种人机协同的图像分割与标注方法
CN111401394A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 一种图像标注方法及装置、计算机可读存储介质
CN109784391A (zh) * 2019-01-04 2019-05-21 杭州比智科技有限公司 基于多模型的样本标注方法及装置
US10430692B1 (en) * 2019-01-17 2019-10-01 Capital One Services, Llc Generating synthetic models or virtual objects for training a deep learning network
CN110046666A (zh) * 2019-04-18 2019-07-23 深圳市深视创新科技有限公司 海量图片标注方法
CN110147852A (zh) * 2019-05-29 2019-08-20 北京达佳互联信息技术有限公司 图像识别的方法、装置、设备及存储介质
CN110751191A (zh) * 2019-09-27 2020-02-04 广东浪潮大数据研究有限公司 一种图像的分类方法及系统
CN110796143A (zh) * 2019-10-31 2020-02-14 天津大学 一种基于人机协同的场景文本识别方法
CN110991491A (zh) * 2019-11-12 2020-04-10 苏州智加科技有限公司 图像标注方法、装置、设备及存储介质
CN110909780A (zh) * 2019-11-14 2020-03-24 腾讯科技(深圳)有限公司 一种图像识别模型训练和图像识别方法、装置及系统
CN111414942A (zh) * 2020-03-06 2020-07-14 重庆邮电大学 一种基于主动学习和卷积神经网络的遥感图像分类方法
CN111382704A (zh) * 2020-03-10 2020-07-07 北京以萨技术股份有限公司 基于深度学习的车辆压线违章判断方法、装置及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022048572A1 (zh) * 2020-09-02 2022-03-10 杭州海康威视数字技术股份有限公司 目标识别方法、装置和电子设备
CN113705648A (zh) * 2021-08-19 2021-11-26 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备
CN113705648B (zh) * 2021-08-19 2024-03-01 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备

Also Published As

Publication number Publication date
EP4209959A4 (en) 2023-12-20
WO2022048572A1 (zh) 2022-03-10
EP4209959A1 (en) 2023-07-12

Similar Documents

Publication Publication Date Title
CN111523621B (zh) 图像识别方法、装置、计算机设备和存储介质
US8798357B2 (en) Image-based localization
CN112101156A (zh) 一种目标识别的方法、装置和电子设备
CN111898739B (zh) 基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质
CN113688851B (zh) 数据标注方法和装置和精细粒度识别方法和装置
CN112614187A (zh) 回环检测方法、装置、终端设备和可读存储介质
CN113313053B (zh) 图像处理方法、装置、设备、介质及程序产品
CN112633255B (zh) 目标检测方法、装置及设备
EP4053757A1 (en) Degradation suppression program, degradation suppression method, and information processing device
CN115115825B (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
CN105678333B (zh) 一种拥挤区域的确定方法和装置
CN114140663A (zh) 一种基于多尺度注意力学习网络的害虫识别方法及系统
CN112200862B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN113743455A (zh) 目标检索方法、装置、电子设备及存储介质
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN113902944A (zh) 模型的训练及场景识别方法、装置、设备及介质
CN116071569A (zh) 图像选择方法、计算机设备及存储装置
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质
CN114140822A (zh) 行人重识别方法及装置
CN113723431A (zh) 图像识别方法、装置以及计算机可读存储介质
CN113591765A (zh) 一种基于实例分割算法的异物检测方法及系统
CN113657180A (zh) 一种车辆识别方法、服务器和计算机可读存储介质
CN112529038B (zh) 一种主板物料的识别方法、装置及存储介质
CN116052220B (zh) 行人重识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination