CN110852247A - 异常检测方法、装置、电子设备及计算机可读存储介质 - Google Patents

异常检测方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110852247A
CN110852247A CN201911082319.2A CN201911082319A CN110852247A CN 110852247 A CN110852247 A CN 110852247A CN 201911082319 A CN201911082319 A CN 201911082319A CN 110852247 A CN110852247 A CN 110852247A
Authority
CN
China
Prior art keywords
video data
detection model
shipment process
identification
shipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911082319.2A
Other languages
English (en)
Inventor
支涛
李梦男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yunji Technology Co Ltd
Original Assignee
Beijing Yunji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunji Technology Co Ltd filed Critical Beijing Yunji Technology Co Ltd
Priority to CN201911082319.2A priority Critical patent/CN110852247A/zh
Publication of CN110852247A publication Critical patent/CN110852247A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38Outdoor scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F9/00Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/026Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus for alarm, monitoring and auditing in vending machines or means for indication, e.g. when empty

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种异常检测方法、装置、电子设备及计算机可读存储介质,属于数据处理领域。该方法包括:获取售货柜出货时的视频数据,所述视频数据用于表征出货过程;通过预先保存的检测模型对所述出货过程进行识别,得到识别结果;根据所述识别结果,确定所述视频数据对应的出货过程是否异常。在本方案中,针对售货柜而言,只是额外增加了摄像头,并未对售货柜的其他硬件关系做出较大改变,因此,可以减小售货柜的制作复杂度以及硬件故障风险。此外,相较于传统方案中采用硬件传感器的方案,本方案采用基于摄像头所采集到的视频数据进行识别,对环境的要求较低,更具鲁棒性,得到的识别结果准确度更高。

Description

异常检测方法、装置、电子设备及计算机可读存储介质
技术领域
本申请属于数据处理领域,具体涉及一种异常检测方法、装置、电子设备及计算机可读存储介质。
背景技术
对于无人售货柜,若出货异常时,需要对出货异常的操作进行核实。现有技术通过触碰开关电路、红外信号、重力感应等借助硬件传感器方式来核实,在一定程度上会增加货柜制作复杂度和硬件故障的风险,不易于维护。此外,采用上述传感器进行识别时,还存在易受环境影响产生错误信号,导致误识别等问题。
发明内容
有鉴于此,本申请的目的在于提供一种异常检测方法、装置、电子设备及计算机可读存储介质,提高对货柜出货过程的识别准确度。
本申请的实施例是这样实现的:
第一方面,本申请实施例提供一种异常检测方法,所述方法包括:获取售货柜出货时的视频数据,所述视频数据用于表征出货过程;通过预先保存的检测模型对所述出货过程进行识别,得到识别结果;根据所述识别结果,确定所述视频数据对应的出货过程是否异常。在本方案中,针对售货柜而言,只是额外增加了摄像头,并未对售货柜的其他硬件关系做出较大改变,因此,可以减小售货柜的制作复杂度以及硬件故障风险。此外,相较于传统方案中采用硬件传感器的方案,本方案采用基于摄像头所采集到的视频数据进行识别,对环境的要求较低,更具鲁棒性,得到的识别结果准确度更高。
结合第一方面实施例,在一种可能的实施方式中,所述视频数据包括用于表征所述视频数据的来源的标识信息,且所述标识信息预先与检测模型之间建立对应关系,在所述通过预先保存的检测模型对所述出货过程进行识别之前,所述方法还包括:通过所述标识信息,从预先保存的多个检测模型中确定与所述标识信息对应的检测模型;相应的,所述通过所述检测模型对所述出货过程进行识别,包括:通过与所述标识信息对应的检测模型对所述出货过程进行识别。
结合第一方面实施例,在一种可能的实施方式中,所述视频数据按照时间点的先后顺序包括多个视频帧,所述识别结果包括多个识别子结果,所述通过预先保存的检测模型对所述出货过程进行识别,包括:按照时间点的先后顺序,通过所述检测模型依次对每个视频帧进行识别,得到多个识别子结果。
结合第一方面实施例,在一种可能的实施方式中,所述视频数据按照时间点的先后顺序包括多个视频帧,所述识别结果包括多个识别子结果,所述通过预先保存的检测模型对所述出货过程进行识别,包括:按照预设频率对所述视频数据所包括的视频帧进行抽取,得到抽取视频帧;按照时间点的先后顺序,通过所述检测模型依次对每个抽取视频帧进行识别,得到多个识别子结果。
结合第一方面实施例,在一种可能的实施方式中,针对每个识别子结果,其包括第一状态、第二状态、第三状态中的一种,针对所述识别结果,其由多个识别子结果构成状态序列,所述根据所述识别结果,确定所述视频数据对应的出货过程是否异常,包括:在所述识别结果所表征的状态序列与预设的状态序列一致时,确定所述视频数据对应的出货过程正常;否则,确定所述视频数据对应的出货过程异常。
结合第一方面实施例,在一种可能的实施方式中,在所述获取售货柜出货时的视频数据之前,所述方法还包括:获取样本图片训练得到所述检测模型。
第二方面,本申请实施例提供一种异常检测装置,所述装置包括:获取模块,用于获取售货柜出货时的视频数据,所述视频数据用于表征出货过程;识别模块,用于通过预先保存的检测模型对所述出货过程进行识别,得到识别结果;确定模块,用于根据所述识别结果,确定所述视频数据对应的出货过程是否异常。
结合第二方面实施例,在一种可能的实施方式中,所述视频数据包括用于表征所述视频数据的来源的标识信息,且所述标识信息预先与检测模型之间建立对应关系。所述确定模块,还用于通过所述标识信息,从预先保存的多个检测模型中确定与所述标识信息对应的检测模型;相应的,所述识别模块,用于通过与所述标识信息对应的检测模型对所述出货过程进行识别。
结合第二方面实施例,在一种可能的实施方式中,所述视频数据按照时间点的先后顺序包括多个视频帧,所述识别结果包括多个识别子结果,所述识别模块,用于按照时间点的先后顺序,通过所述检测模型依次对每个视频帧进行识别,得到多个识别子结果。
结合第二方面实施例,在一种可能的实施方式中,所述视频数据按照时间点的先后顺序包括多个视频帧,所述识别结果包括多个识别子结果,所述识别模块,用于按照预设频率对所述视频数据所包括的视频帧进行抽取,得到抽取视频帧;按照时间点的先后顺序,通过所述检测模型依次对每个抽取视频帧进行识别,得到多个识别子结果。
结合第二方面实施例,在一种可能的实施方式中,针对每个识别子结果,其包括第一状态、第二状态、第三状态中的一种,针对所述识别结果,其由多个识别子结果构成状态序列,所述确定模块,用于在所述识别结果所表征的状态序列与预设的状态序列一致时,确定所述视频数据对应的出货过程正常;否则,确定所述视频数据对应的出货过程异常。
结合第二方面实施例,在一种可能的实施方式中,所述获取模块,还用于获取样本图片训练得到所述检测模型。
第三方面,本申请实施例还提供一种电子设备包括:存储器和处理器,所述存储器和所述处理器连接;所述存储器用于存储程序;所述处理器调用存储于所述存储器中的程序,以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
第四方面,本申请实施例还提供一种非易失性计算机可读取存储介质(以下简称计算机可读存储介质),其上存储有计算机程序,所述计算机程序被计算机运行时执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。通过附图所示,本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图,重点在于示出本申请的主旨。
图1示出了本申请实施例提供的一种异常检测方法的流程图。
图2示出了本申请实施例提供的一种异常检测装置的结构框图。
图3示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
再者,本申请中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
此外,针对目前市面上的无人售货柜/售货机,当买家实际购买进行支付后,经常出现商品没有出来或出来的商品不正确或者数量不正确等问题,这时买家会进行投诉。针对买家的投诉,需要商家对出货过程进行核实。然而,针对商家而言,核实过程较为繁琐,不仅耗费精力、时间,还会给客户带来不好的用户体验。因此,结合无人货柜/售货机的出货流程去检测货柜的出货过程是否发生故障是非常必要的。在现有技术中,通常通过触碰开关电路、红外信号或重力感应等借助硬件传感器的方式来检测无人货柜/售货机的出货过程是否发生故障。然而,采用上述硬件传感器在一定程度上会增加无人货柜/售货机的制作复杂度和硬件故障的风险,不易于维护,此外,上述硬件传感器在工作时易受环境影响产生错误信号(例如RFID(Radio Frequency Identification)正常工作时对环境的温度有要求,而瓶装饮料有冷热之分;红外传感器正常工作时对光照有要求等),导致误识别,使得最后得到的检测结果错误。
为了解决上述问题,本申请实施例提供一种异常检测方法、装置、电子设备及计算机可读存储介质,可以提高对货柜出货过程的识别准确度。该技术可采用相应的软件、硬件以及软硬结合的方式实现。
下面将针对本申请所提供的异常检测方法进行详细介绍。
请参阅图1,本申请实施例提供一种应用于电子设备的异常检测方法。其中,电子设备可以是云服务器。
下面将结合图1对其所包含的步骤进行说明。
步骤S110:获取售货柜出货时的视频数据,所述视频数据用于表征出货过程。
在本申请实施例的无人售货柜(以下简称为售货柜)中,设置有摄像头,用于采集售货柜在出货过程中的视频数据,并将视频数据发送到电子设备,以供电子设备进行处理。其中,视频数据中包括本次出货过程的时间,便于后续商家进行出货订单的追溯。
作为一种可选的实施方式,本申请实施例中,摄像头可以安装在售货柜的内顶部,例如其安装位置与售货柜出货口的位置相对应,用于采集出货过程中售货柜的内部情况。
作为另一种可选的实施方式,摄像头可以安装在售货柜的外顶部,例如其安装位置与售货柜出货口的位置相对应,用于采集出货过程中售货柜的外部情况。
可选的,售货柜内的控制部件可以在检测到启动出货流程时向摄像头发送开始拍摄指令,并在结束出货流程时向摄像头发送关闭拍摄指令,从而使得摄像头可以拍摄到完整的出货过程,并将完整的出货过程发送给电子设备。
当售货柜将通过摄像头采集到的视频实时发出后,电子设备可以获取到视频数据,并对视频数据进行识别,以判断售货柜的出货过程是否发生异常。
由于针对售货柜而言,只是额外增加了摄像头,并未对售货柜的其他硬件关系做出较大改变;此外,在异常检测流程中,售货柜只是起到视频数据采集的作用,后续异常检测都是由电子设备在执行,因此,可以减小售货柜的制作复杂度以及硬件故障风险。
下面将针对电子设备对视频数据的识别进行介绍。
步骤S120:通过预先保存的检测模型对所述出货过程进行识别,得到识别结果。
值得指出的是,电子设备在对视频数据进行识别之前,预先保存有用于对视频数据进行识别的检测模型,且该检测模型预先已被训练好,可以对视频数据进行识别,从而得到识别结果。
下面将针对训练检测模型进行介绍(以摄像头安装在售货柜的内顶部为例)。
针对售货柜所发送的视频数据(该视频数据所表征的出货过程未出现异常),先将视频数据以视频帧的形式进行拆分,得到多个视频帧。针对每个视频帧,工作人员根据其内容进行标注,使得视频数据所包括的多个视频帧分为三个样本类型,分别为:背景样本(不包括接货托盘的图片)、空样本(包括接货托盘但不包括商品)、有货样本(包括接货托盘以及商品)。
可以理解,当摄像头安装在售货柜的外顶部时,视频数据所包括的多个视频帧所划分的样本类型需要根据实际情况做出改变。
后续,工作人员将上述样本随机分为训练集以及测试集,并保存在电子设备内,使得电子设备基于训练集对神经网络模型进行训练,基于测试集对训练后的神经网络模型进行分类测试。针对测试集中的每个样本,将其得到的分类结果与其标注的分类一致时,表征测试正确,否则表征测试错误。电子设备基于神经网络模型对测试集中的每个样本进行分类测试后,得到一系列的测试结果。当测试结果的正确率达到阈值时,表征该神经网络模型性能稳定,并将该神经网络模型确定为检测模型,用于后续对视频数据进行识别。
可选的,电子设备内所保存的检测模型也可以是由其他设备训练好后保存在电子设备内。
当然,针对不同类型的售货柜,其图像特征可能不相同(例如接货托盘的形状、形态不一样)。因此,作为一种可选的实施方式,当电子设备需要接收来自不同类型的售货柜发送的视频数据时,电子设备可以根据不同类型的售货柜分别训练与售货柜类型对应的检测模型,即在电子设备中可以根据售货柜类型的不同而同时保存多个不同的检测模型,以根据发送视频数据的售货柜类型来确定用哪个检测模型对视频数据进行识别。
在这种实施方式下,视频数据中包括用于表征该视频数据的来源的标识信息(例如售货柜的地址、售货柜的设备ID等),且所述标识信息预先与检测模型之间建立对应关系。
当电子设备在获取到视频数据后,先根据标识信息从预先保存的多个检测模型中确定与标识信息对应的检测模型,然后再根据确定出的检测模型对视频数据所表征的出货过程进行识别。
例如存在两种类型的售货柜,分别为售货柜A以及售货柜B,相应的,在电子设备内预先保存有与售货柜A对应的检测模型A以及与售货柜B对应的检测模型B。当售货柜A向电子设备发送视频数据时,该视频数据中携带有售货柜A的设备标识,当售货柜B向电子设备发送视频数据时,该视频数据中携带有售货柜B的设备标识。后续,当电子设备获取到售货柜A发送的视频数据,通过视频数据中的设备标识,确定应该由检测模型A对该视频数据进行识别,当电子设备获取到售货柜B发送的视频数据,通过视频数据中的设备标识,确定应该由检测模型B对该视频数据进行识别。由此,可以根据售货柜的类型来确定使用哪个检测模型,更加精确地提高检测的准确性。
在电子设备内置检测模型且电子设备获取到视频数据后,电子设备开始对视频数据进行识别,得到识别结果。其中,识别结果包括多个识别子结果。
作为一种可选的实施方式,电子设备可以将获取到的视频数据按照时间点的先后顺序拆分成多个视频帧,后续,电子设备通过确定的检测模型,按照得到视频帧的先后顺序,依次对多个视频帧进行识别,得到多个识别子结果。
作为另一种可选的实施方式,由于相邻视频帧的内容在一定程度上重复度较高,因此,为了节约计算资源,电子设备可以将获取到的视频数据按照时间点的先后顺序拆分成多个视频帧,然后再按照预设频率对视频数据所包括的视频帧进行抽取(例如每隔1S抽取一帧),得到抽取视频帧。然后电子设备通过确定的检测模型,按照抽取视频帧的先后顺序,依次对每个抽取视频帧进行识别,得到多个识别子结果,避免对每个视频帧进行识别,从而达到节约计算资源的目的。
值得指出的是,针对被识别的视频帧,其识别子结果与样本类型中的一种样本类型相对应。例如当样本类型包括背景样本、空样本、有货样本三种类型时,识别子结果为上述三种样本类型中的其中一种样本类型所对应的状态。因此,当样本类型为三种时,识别子结果的状态也相应的为第一状态、第二状态、第三状态中的一种状态。其中,第一状态与背景样本相对应,第二状态与空样本相对应,第三状态与有货样本相对应。
当某个视频帧的识别子结果为第一状态时,表征在该视频帧内不包括接货托盘的图片;当某个视频帧的识别子结果为第二状态时,表征在该视频帧内包括接货托盘但不包括商品;当某个视频帧的识别子结果为第三状态时,表征在该视频帧内包括接货托盘以及商品。因此,在这种实施方式下,当连续多帧视频被识别后,得到的识别结果为多个识别子结果依次构成的状态序列,例如可能为:第一状态、第一状态、第一状态、第三状态、第三状态、第三状态、第三状态、第三状态、第二状态、第二状态、第二状态、第二状态。
为了便于查看,在输出识别子结果时,可以用字符表征每种识别子结果的状态,例如用数字0表征第一状态,用数字1表征第二状态,用数字2表征第三状态。因此,对应于上述结果为有背景样本、有货样本、空样本时,在本实施方式下,识别结果可以表示为:0、0、0、2、2、2、2、2、1、1、1、1。
当然,也可以用其他字符来表征每种识别子结果的状态,例如用英文字母A表征第一状态,用英文字母B表征第二状态,用英文字母C表征第三状态。
可选的,在得到用于表征识别结果的状态序列后,还可以对状态序列进行预处理,例如过滤处理和/或去重处理。
电子设备通过检测模型对视频帧进行识别时,难免存在误识别的情况。为了增加识别结果的准确性,电子设备在得到识别结果后,可以对识别结果对应的状态序列进行过滤处理,以将误识别的状态过滤,保留正确识别的状态。由于相邻视频帧的内容在一定程度上重复度较高,因此,在状态序列中,大概率存在某一段状态重复的情况。此时,若检测到某个状态序列中存在一个与前后状态均不一致的状态,则可以确定该状态为误识别。例如针对某个识别结果所对应的状态序列为:“0、0、1、0、0、2、2、2、2、2、1、1、1、1”时,第三个状态“1”与前后的状态均不一致,为误识别,因此,电子设备将其过滤,得到用于表征识别结果的状态序列“0、0、0、0、2、2、2、2、2、1、1、1、1”。
针对由状态序列构成的识别结果,由于相邻视频帧的内容在一定程度上重复度较高,因此,在状态序列中存在某一段状态重复的情况,例如上文中的状态序列“0、0、0、0、2、2、2、2、2、1、1、1、1”,其中,“0”重复出现四次,“2”重复出现五次,“1”重复出现四次。为了便于后续数据的比对,作为一种可选的实施方式,可以对识别结果进行去重处理:针对相邻重复出现的状态,只保留其中一个状态。例如上文中的“0、0、0、0、2、2、2、2、2、1、1、1、1”,经过去重处理后,得到的最后识别结果为:0、2、1。
值得指出的是,当预处理同时包括去重处理以及过滤处理时,为了保证数据的可靠性,电子设备先执行过滤处理后再执行去重处理。
步骤S130:根据所述识别结果,确定所述视频数据对应的出货过程是否异常。
值得指出的是,在电子设备内预先保存有用于表征出货过程正常的状态序列。例如当用数字0表征第一状态,用数字1表征第二状态,用数字2表征第三状态,且电子设备对状态序列进行去重处理时,用于表征出货过程正常的状态序列为021(摄像头安装在出货口,先识别出托盘以及商品,状态为0,后续托盘承载商品来到出货口,状态为2,后续商品被弹出,剩下空托盘,状态为1)。
电子设备在得到识别结果后,将识别结果所表征的状态序列与预设的用于表征出货过程正常的状态序列进行比对。当两者一致时,电子设备确定视频数据对应的出货过程正常。否则,确定视频数据对应的出货过程异常。
可选的,在电子设备内还可以保存有用于表征异常类别的状态序列,例如当用数字0表征第一状态,用数字1表征第二状态,用数字2表征第三状态,且电子设备对状态序列进行去重处理时,用状态序列为010表示托盘未接到商品,用状态序列000表示托盘未移动,用状态序列020表示托盘上的商品未送出去。后续,电子设备确定出货过程异常时,可以根据识别结果得到异常的类别,用于指导商家有针对性地进行维修。
本申请实施例所提供的一种异常检测方法,电子设备在对售货柜的出货过程是否出现异常进行检测时,针对售货柜而言,只是额外增加了摄像头,并未对售货柜的其他硬件关系做出较大改变,因此,可以减小售货柜的制作复杂度以及硬件故障风险。此外,相较于传统方案中采用硬件传感器的方案,本方案采用基于摄像头所采集到的视频数据进行识别,对环境的要求较低,更具鲁棒性,得到的识别结果准确度更高。
此外,对应于图1,请参看图2,本申请实施例还提供一种异常检测装置400,异常检测装置400可以包括:获取模块410、识别模块420以及确定模块430。
获取模块410,用于获取售货柜出货时的视频数据,所述视频数据用于表征出货过程;
识别模块420,用于通过预先保存的检测模型对所述出货过程进行识别,得到识别结果;
确定模块430,用于根据所述识别结果,确定所述视频数据对应的出货过程是否异常。
在一种可能的实施方式中,所述视频数据包括用于表征所述视频数据的来源的标识信息,且所述标识信息预先与检测模型之间建立对应关系。所述确定模块430,还用于通过所述标识信息,从预先保存的多个检测模型中确定与所述标识信息对应的检测模型;相应的,所述识别模块420,用于通过与所述标识信息对应的检测模型对所述出货过程进行识别。
在一种可能的实施方式中,所述视频数据按照时间点的先后顺序包括多个视频帧,所述识别结果包括多个识别子结果,所述识别模块420,用于按照时间点的先后顺序,通过所述检测模型依次对每个视频帧进行识别,得到多个识别子结果。
可选的,在一种可能的实施方式中,所述视频数据按照时间点的先后顺序包括多个视频帧,所述识别结果包括多个识别子结果,所述识别模块420,用于按照预设频率对所述视频数据所包括的视频帧进行抽取,得到抽取视频帧;按照时间点的先后顺序,通过所述检测模型依次对每个抽取视频帧进行识别,得到多个识别子结果。
在一种可能的实施方式中,针对每个识别子结果,其包括第一状态、第二状态、第三状态中的一种,针对所述识别结果,其由多个识别子结果构成状态序列,所述确定模块430,用于在所述识别结果所表征的状态序列与预设的状态序列一致时,确定所述视频数据对应的出货过程正常;否则,确定所述视频数据对应的出货过程异常。
在一种可能的实施方式中,所述获取模块410,还用于获取样本图片训练得到所述检测模型。
本申请实施例所提供的异常检测装置400,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
此外,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被计算机运行时,执行如上述的异常检测方法所包含的步骤。
此外,请参看图3,本申请实施例还提供一种用于实现本申请实施例的异常检测方法、装置的电子设备100,可以包括:处理器110、存储器120。电子设备100可以用于实现本申请实施例的异常检测方法、装置。
其中,电子设备100可以是实体服务器、实体服务器集群或者云服务器。
应当注意,图3所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,电子设备100也可以具有其他组件和结构。
处理器110、存储器120以及其他可能出现于电子设备100的组件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,处理器110、存储器120以及其他可能出现的组件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
存储器120用于存储程序,例如存储有前文出现的异常检测方法对应的程序或者前文出现的异常检测装置。可选的,当存储器120内存储有异常检测装置时,异常检测装置包括至少一个可以以软件或固件(firmware)的形式存储于存储器120中的软件功能模块。
可选的,异常检测装置所包括软件功能模块也可以固化在电子设备100的操作系统(operating system,OS)中。
处理器110用于执行存储器120中存储的可执行模块,例如异常检测装置包括的软件功能模块或计算机程序。当处理器110在接收到执行指令后,可以执行计算机程序,例如执行:获取售货柜出货时的视频数据,所述视频数据用于表征出货过程;通过预先保存的检测模型对所述出货过程进行识别,得到识别结果;根据所述识别结果,确定所述视频数据对应的出货过程是否异常。
当然,本申请任一实施例所揭示的方法都可以应用于处理器110中,或者由处理器110实现。
综上所述,本发明实施例提出的异常检测方法、装置、电子设备及计算机可读存储介质,该方法包括:获取售货柜出货时的视频数据,所述视频数据用于表征出货过程;通过预先保存的检测模型对所述出货过程进行识别,得到识别结果;根据所述识别结果,确定所述视频数据对应的出货过程是否异常。在本方案中,针对售货柜而言,只是额外增加了摄像头,并未对售货柜的其他硬件关系做出较大改变,因此,可以减小售货柜的制作复杂度以及硬件故障风险。此外,相较于传统方案中采用硬件传感器的方案,本方案采用基于摄像头所采集到的视频数据进行识别,对环境的要求较低,更具鲁棒性,得到的识别结果准确度更高。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,笔记本电脑,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种异常检测方法,其特征在于,所述方法包括:
获取售货柜出货时的视频数据,所述视频数据用于表征出货过程;
通过预先保存的检测模型对所述出货过程进行识别,得到识别结果;
根据所述识别结果,确定所述视频数据对应的出货过程是否异常。
2.根据权利要求1所述的方法,其特征在于,所述视频数据包括用于表征所述视频数据的来源的标识信息,且所述标识信息预先与检测模型之间建立对应关系,在所述通过预先保存的检测模型对所述出货过程进行识别之前,所述方法还包括:
通过所述标识信息,从预先保存的多个检测模型中确定与所述标识信息对应的检测模型;
相应的,所述通过所述检测模型对所述出货过程进行识别,包括:
通过与所述标识信息对应的检测模型对所述出货过程进行识别。
3.根据权利要求1所述的方法,其特征在于,所述视频数据按照时间点的先后顺序包括多个视频帧,所述识别结果包括多个识别子结果,所述通过预先保存的检测模型对所述出货过程进行识别,包括:
按照时间点的先后顺序,通过所述检测模型依次对每个视频帧进行识别,得到多个识别子结果。
4.根据权利要求1所述的方法,其特征在于,所述视频数据按照时间点的先后顺序包括多个视频帧,所述识别结果包括多个识别子结果,所述通过预先保存的检测模型对所述出货过程进行识别,包括:
按照预设频率对所述视频数据所包括的视频帧进行抽取,得到抽取视频帧;
按照时间点的先后顺序,通过所述检测模型依次对每个抽取视频帧进行识别,得到多个识别子结果。
5.根据权利要求3或4所述的方法,其特征在于,针对每个识别子结果,其包括第一状态、第二状态、第三状态中的一种,针对所述识别结果,其由多个识别子结果构成状态序列,所述根据所述识别结果,确定所述视频数据对应的出货过程是否异常,包括:
在所述识别结果所表征的状态序列与预设的状态序列一致时,确定所述视频数据对应的出货过程正常;
否则,确定所述视频数据对应的出货过程异常。
6.根据权利要求1所述的方法,其特征在于,在所述获取售货柜出货时的视频数据之前,所述方法还包括:
获取样本图片训练得到所述检测模型。
7.一种异常检测装置,其特征在于,所述装置包括:
获取模块,用于获取售货柜出货时的视频数据,所述视频数据用于表征出货过程;
识别模块,用于通过预先保存的检测模型对所述出货过程进行识别,得到识别结果;
确定模块,用于根据所述识别结果,确定所述视频数据对应的出货过程是否异常。
8.根据权利要求7所述的装置,所述获取模块,还用于
获取样本图片训练得到所述检测模型。
9.一种电子设备,其特征在于,包括:存储器和处理器,所述存储器和所述处理器连接;
所述存储器用于存储程序;
所述处理器调用存储于所述存储器中的程序,以执行如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被计算机运行时执行如权利要求1-6中任一项所述的方法。
CN201911082319.2A 2019-11-07 2019-11-07 异常检测方法、装置、电子设备及计算机可读存储介质 Pending CN110852247A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911082319.2A CN110852247A (zh) 2019-11-07 2019-11-07 异常检测方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911082319.2A CN110852247A (zh) 2019-11-07 2019-11-07 异常检测方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110852247A true CN110852247A (zh) 2020-02-28

Family

ID=69598771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911082319.2A Pending CN110852247A (zh) 2019-11-07 2019-11-07 异常检测方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110852247A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112486747A (zh) * 2020-11-30 2021-03-12 维沃移动通信有限公司 存储器异常检测方法、装置、电子设备及可读存储介质
CN112738466A (zh) * 2020-12-25 2021-04-30 浙江大华技术股份有限公司 一种包装附件齐套检测方法、装置及系统
CN115294690A (zh) * 2022-08-12 2022-11-04 常熟市恒仕达电器有限公司 一种售卖柜的防盗系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271527A (zh) * 2008-02-25 2008-09-24 北京理工大学 一种基于运动场局部统计特征分析的异常行为检测方法
CN102622797A (zh) * 2012-02-22 2012-08-01 易程(苏州)电子科技股份有限公司 应用于检票闸机的监控方法
CN103235944A (zh) * 2013-05-15 2013-08-07 青岛科技大学 人群流分割及人群流异常行为识别方法
CN104090716A (zh) * 2014-07-25 2014-10-08 广东欧珀移动通信有限公司 一种移动终端快速截屏的方法及装置
CN104102910A (zh) * 2014-08-07 2014-10-15 吉林农业大学 基于时空局部模式的体育视频战术行为识别方法
CN104269028A (zh) * 2014-10-23 2015-01-07 深圳大学 一种疲劳驾驶检测方法及系统
CN105989839A (zh) * 2015-06-03 2016-10-05 乐视致新电子科技(天津)有限公司 语音识别方法和装置
CN107169423A (zh) * 2017-04-24 2017-09-15 南京邮电大学 一种视频人物运动类型识别方法
CN108038420A (zh) * 2017-11-21 2018-05-15 华中科技大学 一种基于深度视频的人体行为识别方法
CN108566534A (zh) * 2018-04-23 2018-09-21 Oppo广东移动通信有限公司 基于视频监控的报警方法、装置、终端及存储介质
CN109131335A (zh) * 2018-08-20 2019-01-04 中国联合网络通信集团有限公司 一种路面状况识别方法、装置及系统
CN109523694A (zh) * 2018-10-22 2019-03-26 南京云思创智信息科技有限公司 一种基于商品检测的零售系统及方法
CN109829392A (zh) * 2019-01-11 2019-05-31 平安科技(深圳)有限公司 考场作弊识别方法、系统、计算机设备和存储介质
CN109858393A (zh) * 2019-01-11 2019-06-07 平安科技(深圳)有限公司 车辆违规识别方法、系统、计算机设备和存储介质
CN109961080A (zh) * 2017-12-26 2019-07-02 腾讯科技(深圳)有限公司 终端识别方法及装置
CN110136328A (zh) * 2019-04-25 2019-08-16 武汉市哈哈便利科技有限公司 一种基于动态视觉识别的ai智能售货柜

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271527A (zh) * 2008-02-25 2008-09-24 北京理工大学 一种基于运动场局部统计特征分析的异常行为检测方法
CN102622797A (zh) * 2012-02-22 2012-08-01 易程(苏州)电子科技股份有限公司 应用于检票闸机的监控方法
CN103235944A (zh) * 2013-05-15 2013-08-07 青岛科技大学 人群流分割及人群流异常行为识别方法
CN104090716A (zh) * 2014-07-25 2014-10-08 广东欧珀移动通信有限公司 一种移动终端快速截屏的方法及装置
CN104102910A (zh) * 2014-08-07 2014-10-15 吉林农业大学 基于时空局部模式的体育视频战术行为识别方法
CN104269028A (zh) * 2014-10-23 2015-01-07 深圳大学 一种疲劳驾驶检测方法及系统
CN105989839A (zh) * 2015-06-03 2016-10-05 乐视致新电子科技(天津)有限公司 语音识别方法和装置
CN107169423A (zh) * 2017-04-24 2017-09-15 南京邮电大学 一种视频人物运动类型识别方法
CN108038420A (zh) * 2017-11-21 2018-05-15 华中科技大学 一种基于深度视频的人体行为识别方法
CN109961080A (zh) * 2017-12-26 2019-07-02 腾讯科技(深圳)有限公司 终端识别方法及装置
CN108566534A (zh) * 2018-04-23 2018-09-21 Oppo广东移动通信有限公司 基于视频监控的报警方法、装置、终端及存储介质
CN109131335A (zh) * 2018-08-20 2019-01-04 中国联合网络通信集团有限公司 一种路面状况识别方法、装置及系统
CN109523694A (zh) * 2018-10-22 2019-03-26 南京云思创智信息科技有限公司 一种基于商品检测的零售系统及方法
CN109829392A (zh) * 2019-01-11 2019-05-31 平安科技(深圳)有限公司 考场作弊识别方法、系统、计算机设备和存储介质
CN109858393A (zh) * 2019-01-11 2019-06-07 平安科技(深圳)有限公司 车辆违规识别方法、系统、计算机设备和存储介质
CN110136328A (zh) * 2019-04-25 2019-08-16 武汉市哈哈便利科技有限公司 一种基于动态视觉识别的ai智能售货柜

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112486747A (zh) * 2020-11-30 2021-03-12 维沃移动通信有限公司 存储器异常检测方法、装置、电子设备及可读存储介质
CN112738466A (zh) * 2020-12-25 2021-04-30 浙江大华技术股份有限公司 一种包装附件齐套检测方法、装置及系统
CN115294690A (zh) * 2022-08-12 2022-11-04 常熟市恒仕达电器有限公司 一种售卖柜的防盗系统

Similar Documents

Publication Publication Date Title
US11638490B2 (en) Method and device for identifying product purchased by user and intelligent shelf system
CN110852247A (zh) 异常检测方法、装置、电子设备及计算机可读存储介质
CN107206384B (zh) 用于实验室自动化的侧视样品管图像中的条形码标签检测
CN107451511B (zh) 一种基于车型信息提取obd数据的系统、方法
CN112052813B (zh) 染色体间易位识别方法、装置、电子设备及可读存储介质
CN111967322B (zh) 数据处理方法、装置、电子设备和存储介质
US10878232B2 (en) Automated processing of receipts and invoices
CN110705596A (zh) 白屏检测方法、装置、电子设备及存储介质
CN111428822A (zh) 物品识别方法、装置及设备、智能货柜、智能货柜系统
CN111382635B (zh) 一种商品类别识别方法、装置及电子设备
WO2019218004A1 (en) Method, device, computer apparatus and storage medium for verifying details of an item
US11295167B2 (en) Automated image curation for machine learning deployments
JP5865316B2 (ja) 商品登録装置およびプログラム
CN111369317A (zh) 订单生成方法、装置、电子设备及存储介质
CN116934195A (zh) 一种商品信息查验方法、装置、电子设备及存储介质
CN110826481A (zh) 数据处理方法、商品识别方法、服务器和存储介质
US20240193995A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
CN112364702A (zh) 一种物品核验方法及装置
JP2019220116A (ja) 情報処理装置、判定方法、および対象物判定プログラム
CN113378601A (zh) 防止货损的方法、自助设备及存储介质
CN112794274A (zh) 一种油罐车底部装油口安全监控方法及系统
US20240029017A1 (en) Information processing device, information processing method, and recording medium
US11669206B2 (en) System and method for detecting imperfections in a screen
US20230073167A1 (en) Registration checking apparatus, control method, and non-transitory storage medium
CN111222377B (zh) 一种商品信息确定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200228

RJ01 Rejection of invention patent application after publication