CN111783718A - 目标对象状态识别方法、装置、存储介质及电子装置 - Google Patents

目标对象状态识别方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN111783718A
CN111783718A CN202010665102.0A CN202010665102A CN111783718A CN 111783718 A CN111783718 A CN 111783718A CN 202010665102 A CN202010665102 A CN 202010665102A CN 111783718 A CN111783718 A CN 111783718A
Authority
CN
China
Prior art keywords
state
target object
target
frame image
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010665102.0A
Other languages
English (en)
Inventor
朱亚伦
邵明
吕翠文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010665102.0A priority Critical patent/CN111783718A/zh
Publication of CN111783718A publication Critical patent/CN111783718A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种目标对象状态识别方法、装置、存储介质及电子装置，其中，该方法包括：获取目标帧图像，其中，目标帧图像为对目标对象进行拍摄所得到的图像；基于第一规则对目标帧图像进行识别，以得到目标对象的第一状态识别结果；使用第一模型对目标帧图像进行分析，以得到目标对象的第二状态识别结果，其中，第一模型为使用多组数据通过对初始模型进行机器学习训练所得到的，多组数据中的每组数据均包括：帧图像和帧图像中包括的对象的状态识别结果；综合第一状态识别结果和第二状态识别结果确定目标对象的状态。通过本发明，解决了相关技术中存在的目标对象状态识别不准确的问题，提高了识别的准确率。

Description

目标对象状态识别方法、装置、存储介质及电子装置
技术领域
本发明实施例涉及通信领域，具体而言，涉及一种目标对象状态识别方法、装置、存储介质及电子装置。
背景技术
目前，越来越多的物品有独一无二的标识，人们可以根据独一无二的标识判断出物品的状态，下面以车辆为例进行说明：
车辆号牌是车辆的身份证，国家交通部门可以通过车牌对车辆进行管理查找以及车辆违法违章的抓怕判罚。实际场景中不法司机通过纸巾，布料等遮挡车牌，磨损车牌字符，甚至直接摘除车牌来躲避监控设备识别到车牌信息。
在相关技术中，车牌识别算法首先是先定位到车牌位置，然后再对车牌内容作识别，如果车牌被部分或完全遮挡，车牌位置很难被定位到且车牌字符易被识别错误，因此，通过车牌识别算法并不能很好判定出来车牌识别被遮挡，未悬挂车牌的行为。
由此可知，相关技术中存在目标对象状态识别不准确的问题。
针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种目标对象状态识别方法、装置、存储介质及电子装置，以至少解决相关技术中存在的目标对象状态识别不准确的问题。
根据本发明的一个实施例，提供了一种目标对象状态识别方法，包括：获取目标帧图像，其中，所述目标帧图像为对目标对象进行拍摄所得到的图像；基于第一规则对所述目标帧图像进行识别，以得到所述目标对象的第一状态识别结果；使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果，其中，所述第一模型为使用多组数据通过对初始模型进行机器学习训练所得到的，所述多组数据中的每组数据均包括：帧图像和帧图像中包括的对象的状态识别结果；综合所述第一状态识别结果和所述第二状态识别结果确定所述目标对象的状态。
根据本发明的另一个实施例，提供了一种目标对象状态识别装置，包括：获取模块，用于获取目标帧图像，其中，所述目标帧图像为对目标对象进行拍摄所得到的图像；识别模块，用于基于第一规则对所述目标帧图像进行识别，以得到所述目标对象的第一状态识别结果；分析模块，用于使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果，其中，所述第一模型为使用多组数据通过对初始模型进行机器学习训练所得到的，所述多组数据中的每组数据均包括：帧图像和帧图像中包括的对象的状态识别结果；确定模块，用于综合所述第一状态识别结果和所述第二状态识别结果确定所述目标对象的状态。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，利用第一规则对目标对象的目标帧图像进行识别，得到目标对象的第一状态识别结果，利用通过机器学习训练得到的第一模型对目标对象的目标帧图像进行分析，得到目标对象的第二状态识别结果，综合第一状态识别结果和第二状态识别结果确定目标对象的状态，由于将第一状态识别结果和第二状态识别结果进行综合来确定目标对象的状态，因此，可以解决相关技术中存在的目标对象状态识别不准确的问题，提高了识别的准确率。
附图说明
图1是本发明实施例的一种目标对象状态识别方法的移动终端的硬件结构框图；
图2是根据本发明实施例的目标对象状态识别方法的流程图；
图3是根据本发明示例性实施例的目标区域图像示意图；
图4是根据本发明示例性实施例的未知状态示意图；
图5是根据本发明示例性实施例的正常状态示意图；
图6是根据本发明示例性实施例的缺失状态示意图；
图7是根据本发明示例性实施例的污损遮挡状态示意图；
图8是根据本发明具体实施例的目标对象状态识别方法流程图；
图9是根据本发明实施例的目标对象状态识别装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种目标对象状态识别方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标对象状态识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种目标对象状态识别方法，图2是根据本发明实施例的目标对象状态识别方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取目标帧图像，其中，所述目标帧图像为对目标对象进行拍摄所得到的图像；
步骤S204，基于第一规则对所述目标帧图像进行识别，以得到所述目标对象的第一状态识别结果；
步骤S206，使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果，其中，所述第一模型为使用多组数据通过对初始模型进行机器学习训练所得到的，所述多组数据中的每组数据均包括：帧图像和帧图像中包括的对象的状态识别结果；
步骤S208，综合所述第一状态识别结果和所述第二状态识别结果确定所述目标对象的状态。
在上述实施例中，目标对象可以为车辆、人员、动物、物品等，目标帧图像可以是前端相机连续采集的多帧实际场景图像，还可以是通过摄像设备提前拍摄的包括目标对象的图像，第一规则可以为目标对象的长度规则、宽度规则及排列规则等，初始模型可以为卷积神经网络模型等，多组数据可以为在网上搜集的或拍摄的包括有对象及其对应状态的图像或视频。当目标对象为车辆时，目标对象的状态可以为未知状态，正常状态，缺失状态，污损遮挡状态等。
可选地，上述步骤的执行主体可以是后台处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有图像获取设备以及数据处理设备的机器，其中，图像获取设备可以包括摄像头等图形采集模块，数据处理设备可以包括计算机、手机等终端，但不限于此。
通过本发明，利用第一规则对目标对象的目标帧图像进行识别，得到目标对象的第一状态识别结果，利用通过机器学习训练得到的第一模型对目标对象的目标帧图像进行分析，得到目标对象的第二状态识别结果，综合第一状态识别结果和第二状态识别结果确定目标对象的状态，由于将第一状态识别结果和第二状态识别结果进行综合，因此，可以解决相关技术中存在的目标对象状态识别不准确的问题，提高了识别的准确率。
在一个示例性实施例中，基于第一规则对所述目标帧图像进行识别，以得到第一状态识别结果包括：检测得到所述目标帧图像的目标区域图像；基于所述第一规则对所述目标区域图像进行识别，以得到所述第一状态识别结果。在本实施例中，可以利用第一规则对目标帧图像进行识别，确定目标对象的第一状态识别结果，首先可以利用检测模块检测出目标区域图像，再将目标区域图像输入至识别模块中，识别出目标对象的第一状态识别结果。例如，当目标对象为车辆时，第一规则可以为车牌的长度及排列规则，目标帧图像可以为卡口电警场景下相机俯拍采集到的车辆图像，可以利用车牌检测模型检测车辆的目标区域图像，即包括车牌的区域，若车牌检测模块能检测到车牌区域，则将车牌区域输入到车牌识别模块，在车牌识别模块中识别出车牌内容，如果有识别内容且字符长度和字符规则符合正常车牌的长度和规则，则输出正常车牌字符内容，如果未检测到车牌，或者检测到车牌但车牌识别结果为异常结果，则输出车牌字符内容为空。
在一个示例性实施例中，使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果包括：检测得到所述目标帧图像的目标区域图像；使用第一模型对所述目标区域图像进行分析，以得到所述目标对象的第二状态识别结果。在本实施例中，可以利用训练好的卷积神经网络模型对目标帧图像进行分析，确定目标对象的第二状态识别结果。首先检测目标帧图像的目标区域图像，将目标区域图像输入至第一模型中，识别目标对象的第二状态识别结果。例如，当目标对象为车辆时，目标帧图像可以为卡口电警场景下相机俯拍采集到的车辆图像，车身角度较正，因此，可以选取车辆区域下半部分作为车牌状态分类模块输入图像，即将包含有车牌的图像区域作为目标区域图像，利用卷积神经网络模型对目标区域图像进行分析，确定目标对象的第二状态识别结果。例如，可以选取车辆区域下半部分高度为车辆区域宽度的1/2的部分作为输入图像(该取值仅是一种可实现方式，还可以选取车辆区域宽度的1/3、2/3等部分作为输入图像)。其中，可以目标区域图像的大小可以选择图像宽度为128，高度为64的图像(该图像的大小仅是一种可选的方式，具体可以根据目标帧图像的大小、像素等确定目标区域图像的大小，例如还可以是56×32，256×128，本发明对目标图像区域的大小不做限制)，目标区域图像示意图可参见附图3。
在一个示例性实施例中，所述第一状态识别结果和所述第二状态识别结果均用于指示在所述目标对象的目标区域中是否正常设置有目标物品，其中，所述状态识别结果包括以下结果之一：未知状态，正常状态，缺失状态，污损遮挡状态。在本实施例中，当目标对象为车辆时，目标物品可以为车牌，当目标帧图像中不包含车辆或者车辆不完整时，目标区域不存在车牌或车牌只有一部分时，该类状态可以为未知状态，未知状态可以避免车辆检测模块定位不准造成的车辆误检，或者车辆检测只把车牌框了一半导致误分为污损遮挡；目标帧图像中的车辆悬挂了正常完整车牌可以为正常状态；目标帧图像中的车辆未悬挂车牌可以为缺失状态；目标帧图像中的车辆所悬挂的车牌存在污损，部分遮挡，完全遮挡，加装LED灯等情况可以为污损遮挡状态。在本实施例中，可以对车辆未悬挂车牌，车牌被完全遮挡，或者车牌被部分遮挡但车牌检测模块无法检测的情况进行判定，通用型更好。其中，未知状态示意图可参见附图4，正常状态示意图可参见附图5，缺失状态示意图可参见附图6，污损遮挡状态示意图可参见附图7。
在一个示例性实施例中，综合所述第一状态识别结果和所述第二状态识别结果确定所述目标对象的状态包括：在确定所述第一状态识别结果为正常结果的情况下，将所述目标对象的状态确定为正常，其中，所述正常结果用于指示在所述目标对象的目标区域中正常设置有所述目标物品；在确定所述第一状态识别结果用于为除所述正常结果之外的其他结果的情况下，将所述目标对象的状态确定为所述第二状态识别结果所指示的状态。在本实施例中，当目标对象为车辆时，若第一状态识别结果为有车牌，则输出当前帧该车辆车牌状态为正常，若第一状态识别结果为无车牌或异常，则可以直接将第二状态识别结果中的车牌状态作为当前帧该车辆最终输出的车牌状态。
在一个示例性实施例中，在使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果之前，所述方法还包括：将所述初始模型的损失函数配置为softmax+cross_entropy损失函数；使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果包括：使用第一模型对所述目标帧图像进行分析，将softmax分类层置信度最大的类别作为所述第二状态识别结果。在本实施例中，可以获取大量的包含未知状态，正常状态，缺失状态，污损遮挡状态的图像对卷积神经网络进行训练，损失函数采用softmax+cross_entropy损失函数。卷积神经网络训练完成后，当目标对象为车辆时，可以将待判定目标帧图像输入至训练好的卷积神经网络，将网络中softmax分类层置信度最大的类别确定为车辆的车牌状态。
在一个示例性实施例中，获取目标帧图像包括：获取对目标对象进行拍摄所得到的多张目标帧图像；基于第一规则对所述目标帧图像进行识别，以得到所述目标对象的第一状态识别结果包括：基于第一规则对每张所述目标帧图像进行识别，以得到每张所述目标帧图像所对应的所述目标对象的第一状态识别结果；使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果包括：使用第一模型对每张所述目标帧图像进行分析，以得到每张所述目标帧图像所对应的所述目标对象的第二状态识别结果；综合所述第一状态识别结果和所述第二状态识别结果确定所述目标对象的状态包括：综合每张所述目标帧图像所对应的所述第一状态识别结果和第二状态识别结果确定每张所述目标帧图像所对应的所述目标对象的状态；将多张所述目标帧图像所对应的所述目标对象的状态中出现次数最多的状态确定为所述目标对象的最终状态。在本实施例中，可以将连续多帧同一辆车的车牌状态结果依次放入投票队列中，对投票队列中的车牌状态结果进行投票，取结果票数占多数的车牌状态作为对应车辆的最终输出状态，如果两种或多种车牌状态票数相同且都为最多票数，可以随机取其中一种状态作为最终输出车牌状态。由于综合考虑了多帧的车牌状态结果，并进行投票，提高了算法的准确性和鲁棒性。
下面结合具体实施方式对如何识别目标对象的状态进行说明：
图8是根据本发明具体实施例的目标对象状态识别方法流程图，如图8所示，该流程包括：
步骤S802，前端相机连续采集多帧实际场景图像。
步骤S804，将第i帧图像输入至车辆检测模块，并令i＝i+1。即，对每一帧图像通过车辆检测模块进行检测，定位到车辆区域。
步骤S806，获取车辆区域。
步骤S808，将车辆区域输入到车牌检测模块，车牌检测模块检测车辆区域内是否有车牌。
步骤S810，判断是否检测到车牌，如果判断结果为是，则执行步骤S812，如果判断结果为否，则执行步骤S822。
步骤S812，获取车牌区域(对应于上述目标区域)。
步骤S814，将车牌区域输入到车牌识别模块，利用车牌识别模型识别车牌。
步骤S816，判断识别结果是否正确，即在车牌识别模块中识别出车牌内容，如果有识别内容且字符长度和字符规则符合正常车牌的长度和规则，则识别结果正确(对应于上述的基于第一规则对目标区域图像进行识别)。如果判断结果为是，则执行步骤S818，如果判断结果为否，则执行步骤S822。
步骤S818，输出识别字符结果。
步骤S820，输出车牌状态为正常。
步骤S822，如果未检测到车牌，或者检测到车牌但车牌识别结果为异常结果，则输出车牌字符内容为空，输出空字符结果。
步骤S824，选取车辆图像下半部分作为输入图像，卡口电警场景下车辆图像为相机俯拍采集到的图像，且车身角度较正，因此，可以选取车辆区域下半部分作为车牌状态分类模块输入图像(对应于上述目标区域图像)，例如，选取车辆区域下半部分高度为车辆区域宽度的1/2的部分作为输入图像，车牌状态分类模块采用卷积神经网络分类算法，网络输入图像宽度为128，高度为64。
步骤S826，将输入图像输入至卷积神经网络车牌状态分类模块，对车牌状态进行分类。
步骤S828，确定车牌状态PS。
步骤S830，输出车牌状态PS。
步骤S832，综合考虑步骤S820和步骤S830，如果步骤S820中有车牌识别结果，则输出当前帧该车辆车牌状态为正常，如果步骤S820中没有车牌识别结果，则直接取步骤S830中的车牌状态作为当前帧该车辆最终输出的车牌状态。
步骤S834，将当前帧车牌状态结果放入车牌状态投票队列中。
步骤S836，判断i是否小于N，如果判断结果为是，则执行步骤S804，如果判断结果为否，则执行步骤S838。即判断同一辆车的多帧图像是否均识别完毕，对连续多帧图像重复步骤S804～步骤S838。
步骤S838，将连续多帧同一辆车的车牌状态结果依次放入投票队列中，对投票队列中的车牌状态结果进行多数投票。
步骤S840，取结果票数占多数的车牌状态作为对应车辆的最终输出状态，如果两种或多种车牌状态票数相同且都为最多票数，随机取其中一种状态作为最终输出车牌状态。
在前述实施例中，综合考虑了车辆检测模块误检到非车辆区域或检测的车辆不完整导致的车牌状态误判问题，增加未知类别对车辆误检进行过滤，即，在车牌状态分类网络中加入了未知类别，可以过滤因车辆检测不准导致的车牌状态的误判，另外，将车牌状态分类结果和车牌识别结果进行综合，判断车牌的状态，而不仅仅依赖分类网络对车牌状态的判定结果，当车牌识别结果为正常车牌时，车牌状态强制输出为正常，避免了正常车牌误判为污损遮挡，防止正常车牌误判为污损遮挡状态，因此，在一定程度上提升了车牌违法状态判定的有效率。此外，连续对同一辆车车牌状态的多帧结果进行投票，提升了对车牌状态判定的准确率。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种目标对象状态识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图9是根据本发明实施例的目标对象状态识别装置的结构框图，如图9所示，该装置包括：
获取模块92，用于获取目标帧图像，其中，所述目标帧图像为对目标对象进行拍摄所得到的图像；
识别模块94，用于基于第一规则对所述目标帧图像进行识别，以得到所述目标对象的第一状态识别结果；
分析模块96，用于使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果，其中，所述第一模型为使用多组数据通过对初始模型进行机器学习训练所得到的，所述多组数据中的每组数据均包括：帧图像和帧图像中包括的对象的状态识别结果；
确定模块98，用于综合所述第一状态识别结果和所述第二状态识别结果确定所述目标对象的状态。
在一个示例性实施例中，所述识别模块94可以通过如下方式实现基于第一规则对所述目标帧图像进行识别，以得到第一状态识别结果：检测得到所述目标帧图像的目标区域图像；基于所述第一规则对所述目标区域图像进行识别，以得到所述第一状态识别结果。
在一个示例性实施例中，所述分析模块96可以通过如下方式实现使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果：检测得到所述目标帧图像的目标区域图像；使用第一模型对所述目标区域图像进行分析，以得到所述目标对象的第二状态识别结果。
在一个示例性实施例中，所述第一状态识别结果和所述第二状态识别结果均用于指示在所述目标对象的目标区域中是否正常设置有目标物品，其中，所述状态识别结果包括以下结果之一：未知状态，正常状态，缺失状态，污损遮挡状态。
在一个示例性实施例中，所述确定模块98可以通过如下方式实现综合所述第一状态识别结果和所述第二状态识别结果确定所述目标对象的状态：在确定所述第一状态识别结果为正常结果的情况下，将所述目标对象的状态确定为正常，其中，所述正常结果用于指示在所述目标对象的目标区域中正常设置有所述目标物品；在确定所述第一状态识别结果用于为除所述正常结果之外的其他结果的情况下，将所述目标对象的状态确定为所述第二状态识别结果所指示的状态。
在一个示例性实施例中，所述装置可以用于在使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果之前，将所述初始模型的损失函数配置为softmax+cross_entropy损失函数；所述分析模块96可以通过如下方式实现使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果：使用第一模型对所述目标帧图像进行分析，将softmax分类层置信度最大的类别作为所述第二状态识别结果。
在一个示例性实施例中，所述获取模块92可以通过如下方式实现获取目标帧图像包括：获取对目标对象进行拍摄所得到的多张目标帧图像；所述识别模块94可以通过如下方式实现基于第一规则对所述目标帧图像进行识别，以得到所述目标对象的第一状态识别结果：基于第一规则对每张所述目标帧图像进行识别，以得到每张所述目标帧图像所对应的所述目标对象的第一状态识别结果；所述分析模块96可以通过如下方式实现使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果：使用第一模型对每张所述目标帧图像进行分析，以得到每张所述目标帧图像所对应的所述目标对象的第二状态识别结果；所述确定模块98可以通过如下方式实现综合所述第一状态识别结果和所述第二状态识别结果确定所述目标对象的状态：综合每张所述目标帧图像所对应的所述第一状态识别结果和第二状态识别结果确定每张所述目标帧图像所对应的所述目标对象的状态；将多张所述目标帧图像所对应的所述目标对象的状态中出现次数最多的状态确定为所述目标对象的最终状态。
其中，所述识别模块对应于上述车牌检测模块即车牌识别模块。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标对象状态识别方法，其特征在于，包括：
获取目标帧图像，其中，所述目标帧图像为对目标对象进行拍摄所得到的图像；
基于第一规则对所述目标帧图像进行识别，以得到所述目标对象的第一状态识别结果；
使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果，其中，所述第一模型为使用多组数据通过对初始模型进行机器学习训练所得到的，所述多组数据中的每组数据均包括：帧图像和帧图像中包括的对象的状态识别结果；
综合所述第一状态识别结果和所述第二状态识别结果确定所述目标对象的状态。
2.根据权利要求1所述的方法，其特征在于，基于第一规则对所述目标帧图像进行识别，以得到第一状态识别结果包括：
检测得到所述目标帧图像的目标区域图像；
基于所述第一规则对所述目标区域图像进行识别，以得到所述第一状态识别结果。
3.根据权利要求1所述的方法，其特征在于，使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果包括：
检测得到所述目标帧图像的目标区域图像；
使用第一模型对所述目标区域图像进行分析，以得到所述目标对象的第二状态识别结果。
4.根据权利要求1所述的方法，其特征在于，所述第一状态识别结果和所述第二状态识别结果均用于指示在所述目标对象的目标区域中是否正常设置有目标物品，其中，所述状态识别结果包括以下结果之一：
未知状态，正常状态，缺失状态，污损遮挡状态。
5.根据权利要求1或4所述的方法，其特征在于，综合所述第一状态识别结果和所述第二状态识别结果确定所述目标对象的状态包括：
在确定所述第一状态识别结果为正常结果的情况下，将所述目标对象的状态确定为正常，其中，所述正常结果用于指示在所述目标对象的目标区域中正常设置有所述目标物品；
在确定所述第一状态识别结果用于为除所述正常结果之外的其他结果的情况下，将所述目标对象的状态确定为所述第二状态识别结果所指示的状态。
6.根据权利要求1所述的方法，其特征在于，
在使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果之前，所述方法还包括：将所述初始模型的损失函数配置为softmax+cross_entropy损失函数；
使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果包括：使用第一模型对所述目标帧图像进行分析，将softmax分类层置信度最大的类别作为所述第二状态识别结果。
7.根据权利要求1所述的方法，其特征在于，
获取目标帧图像包括：获取对目标对象进行拍摄所得到的多张目标帧图像；
基于第一规则对所述目标帧图像进行识别，以得到所述目标对象的第一状态识别结果包括：基于第一规则对每张所述目标帧图像进行识别，以得到每张所述目标帧图像所对应的所述目标对象的第一状态识别结果；
使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果包括：使用第一模型对每张所述目标帧图像进行分析，以得到每张所述目标帧图像所对应的所述目标对象的第二状态识别结果；
综合所述第一状态识别结果和所述第二状态识别结果确定所述目标对象的状态包括：综合每张所述目标帧图像所对应的所述第一状态识别结果和第二状态识别结果确定每张所述目标帧图像所对应的所述目标对象的状态；将多张所述目标帧图像所对应的所述目标对象的状态中出现次数最多的状态确定为所述目标对象的最终状态。
8.一种目标对象状态识别装置，其特征在于，包括：
获取模块，用于获取目标帧图像，其中，所述目标帧图像为对目标对象进行拍摄所得到的图像；
识别模块，用于基于第一规则对所述目标帧图像进行识别，以得到所述目标对象的第一状态识别结果；
分析模块，用于使用第一模型对所述目标帧图像进行分析，以得到所述目标对象的第二状态识别结果，其中，所述第一模型为使用多组数据通过对初始模型进行机器学习训练所得到的，所述多组数据中的每组数据均包括：帧图像和帧图像中包括的对象的状态识别结果；
确定模块，用于综合所述第一状态识别结果和所述第二状态识别结果确定所述目标对象的状态。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。
CN202010665102.0A 2020-07-10 2020-07-10 目标对象状态识别方法、装置、存储介质及电子装置 Pending CN111783718A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010665102.0A CN111783718A (zh) 2020-07-10 2020-07-10 目标对象状态识别方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010665102.0A CN111783718A (zh) 2020-07-10 2020-07-10 目标对象状态识别方法、装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN111783718A true CN111783718A (zh) 2020-10-16

Family

ID=72768301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010665102.0A Pending CN111783718A (zh) 2020-07-10 2020-07-10 目标对象状态识别方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN111783718A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634592A (zh) * 2020-12-18 2021-04-09 杭州鸿泉物联网技术股份有限公司 结合摄像头的识别卷扬乱绳的方法及装置
CN112734699A (zh) * 2020-12-24 2021-04-30 浙江大华技术股份有限公司 物品状态告警方法、装置、存储介质及电子装置
CN113688802A (zh) * 2021-10-22 2021-11-23 季华实验室 基于肌电信号的手势识别方法、装置、设备及存储介质
CN113692590A (zh) * 2021-09-14 2021-11-23 商汤国际私人有限公司 数据安全处理方法及装置、设备、存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710820A (zh) * 2018-03-30 2018-10-26 百度在线网络技术（北京）有限公司 基于人脸识别的婴儿状态识别方法、装置和服务器
CN109376603A (zh) * 2018-09-25 2019-02-22 北京周同科技有限公司 一种视频识别方法、装置、计算机设备及存储介质
CN110390265A (zh) * 2019-06-21 2019-10-29 万翼科技有限公司 一种无人机巡检的识别检测方法及系统
WO2019208793A1 (ja) * 2018-04-26 2019-10-31 日本電信電話株式会社 移動状況認識モデル学習装置、移動状況認識装置、方法、及びプログラム
WO2019218774A1 (zh) * 2018-05-14 2019-11-21 腾讯科技（深圳）有限公司 对象识别方法、装置及存储介质
CN111126346A (zh) * 2020-01-06 2020-05-08 腾讯科技（深圳）有限公司 脸部识别方法、分类模型的训练方法、装置和存储介质
CN111126206A (zh) * 2019-12-12 2020-05-08 创新奇智(成都)科技有限公司 基于深度学习的冶炼状态检测系统及检测方法
CN111382808A (zh) * 2020-05-29 2020-07-07 浙江大华技术股份有限公司 一种车辆检测处理方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710820A (zh) * 2018-03-30 2018-10-26 百度在线网络技术（北京）有限公司 基于人脸识别的婴儿状态识别方法、装置和服务器
WO2019208793A1 (ja) * 2018-04-26 2019-10-31 日本電信電話株式会社 移動状況認識モデル学習装置、移動状況認識装置、方法、及びプログラム
WO2019218774A1 (zh) * 2018-05-14 2019-11-21 腾讯科技（深圳）有限公司 对象识别方法、装置及存储介质
CN109376603A (zh) * 2018-09-25 2019-02-22 北京周同科技有限公司 一种视频识别方法、装置、计算机设备及存储介质
CN110390265A (zh) * 2019-06-21 2019-10-29 万翼科技有限公司 一种无人机巡检的识别检测方法及系统
CN111126206A (zh) * 2019-12-12 2020-05-08 创新奇智(成都)科技有限公司 基于深度学习的冶炼状态检测系统及检测方法
CN111126346A (zh) * 2020-01-06 2020-05-08 腾讯科技（深圳）有限公司 脸部识别方法、分类模型的训练方法、装置和存储介质
CN111382808A (zh) * 2020-05-29 2020-07-07 浙江大华技术股份有限公司 一种车辆检测处理方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634592A (zh) * 2020-12-18 2021-04-09 杭州鸿泉物联网技术股份有限公司 结合摄像头的识别卷扬乱绳的方法及装置
CN112734699A (zh) * 2020-12-24 2021-04-30 浙江大华技术股份有限公司 物品状态告警方法、装置、存储介质及电子装置
CN113692590A (zh) * 2021-09-14 2021-11-23 商汤国际私人有限公司 数据安全处理方法及装置、设备、存储介质
CN113688802A (zh) * 2021-10-22 2021-11-23 季华实验室 基于肌电信号的手势识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111783718A (zh) 目标对象状态识别方法、装置、存储介质及电子装置
CN108776819A (zh) 一种目标识别方法、移动终端及计算机可读存储介质
CN109446936A (zh) 一种用于监控场景的身份识别方法及装置
CN110879995A (zh) 目标物品检测方法及装置、存储介质及电子装置
CN111563480A (zh) 冲突行为检测方法、装置、计算机设备和存储介质
CN112418360B (zh) 卷积神经网络的训练方法、行人属性识别方法及相关设备
CN111079621B (zh) 检测对象的方法、装置、电子设备和存储介质
CN112052815A (zh) 一种行为检测方法、装置及电子设备
CN112633297A (zh) 目标对象的识别方法、装置、存储介质以及电子装置
CN109558773B (zh) 信息识别方法、装置及电子设备
CN112115803A (zh) 口罩状态提醒方法、装置及移动终端
CN112307994A (zh) 基于扫地机的障碍物识别方法、电子装置及存储介质
CN109448193A (zh) 身份信息识别方法及装置
Amin et al. An automatic number plate recognition of Bangladeshi vehicles
CN111027510A (zh) 行为检测方法及装置、存储介质
CN112861711A (zh) 区域入侵检测方法、装置、电子设备及存储介质
CN114494355A (zh) 基于人工智能的轨迹分析方法、装置、终端设备及介质
CN113780126A (zh) 一种基于rfid识别的安全保护方法及装置
CN113469135A (zh) 对象身份信息的确定方法、装置、存储介质及电子装置
CN116311080B (zh) 监控影像检测方法及装置
CN114038197B (zh) 场景状态的确定方法、装置、存储介质及电子装置
Strišković et al. Recognition of maximal speed limit traffic signs for use in advanced ADAS algorithms
CN109344799A (zh) 物品识别方法、装置及设备、存储介质、电子装置
CN114419471B (zh) 一种楼层识别方法、装置、电子设备及存储介质
CN113255472B (zh) 一种基于随机嵌入稳定性的人脸质量评价方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination