CN112149546B - 一种信息处理方法、装置、电子设备及存储介质 - Google Patents
一种信息处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112149546B CN112149546B CN202010976672.1A CN202010976672A CN112149546B CN 112149546 B CN112149546 B CN 112149546B CN 202010976672 A CN202010976672 A CN 202010976672A CN 112149546 B CN112149546 B CN 112149546B
- Authority
- CN
- China
- Prior art keywords
- action
- duration
- detection data
- data
- action type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 20
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000009471 action Effects 0.000 claims abstract description 247
- 238000001514 detection method Methods 0.000 claims abstract description 114
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000002159 abnormal effect Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims description 18
- 239000012634 fragment Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000007621 cluster analysis Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 3
- 238000003466 welding Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 238000004378 air conditioning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
- G06Q10/1091—Recording time for administrative or management purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Strategic Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Business, Economics & Management (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Entrepreneurship & Innovation (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Marketing (AREA)
- Social Psychology (AREA)
- Primary Health Care (AREA)
- Manufacturing & Machinery (AREA)
- Human Computer Interaction (AREA)
- Educational Administration (AREA)
- Psychiatry (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种信息处理方法、装置、电子设备及存储介质。该方法包括:获取多组检测数据,所述检测数据包括动作类型对应的置信度,以及动作持续时间;对所述动作类型对应的置信度以及动作持续时间进行分析确定异常数据;根据所述异常数据更新所述检测数据;根据更新后的检测数据计算所述动作类型对应的目标动作持续时间。本申请通过对动作类型对应的置信度以及动作持续时间进行分析确定异常数据,并将异常数据从检测数据中剔除,根据更新后的检测数据计算目标动作持续时间,以此实现目标动作持续时间的自动化处理,不再需要人工进行操作,且能够提升目标动作持续时间的准确率。
Description
技术领域
本申请涉及数据处理领域,尤其涉及一种信息处理方法、装置、电子设备及存储介质。
背景技术
工作持续时长是在工作环境下,采用人工的方式进行一道加工工序所需的时间。工作持续时长可以用于预估工厂负荷产量、制定生产计划、保证生产平衡等,对生产制造企业有着至关重要的作用。现有技术中一般采用计时器对一个岗位的动作持续时间进行计时,由于计时器需要人工进行控制,因此会导致测量的动作持续时间会存在误差,从而使最终计算得到该岗位的平均动作持续时间不准确。
发明内容
为了解决现有技术计算得到的平均动作持续时间不准确技术问题,本申请提供了一种信息处理方法、装置、电子设备及存储介质。
根据本申请实施例的一个方面,提供了一种信息处理方法,包括:
获取多组检测数据,所述检测数据包括动作类型对应的置信度,以及动作持续时间;
对所述动作类型对应的置信度以及动作持续时间进行分析确定异常数据;
根据所述异常数据更新所述检测数据;
根据更新后的检测数据计算所述动作类型对应的目标动作持续时间。
进一步的,所述获取多组检测数据,包括:
获取待检测视频,所述待检测视频中包括处于工作状态的对象;
对所述待检测视频进行检测得到检测结果,所述检测结果包括确定所述对象的动作类型以及所述动作类型的置信度;
根据所述检测结果确定所述动作类型对应的动作持续时间;
将所述动作类型,以及所述动作类型对应的动作持续时间和置信度作为所述检测数据。
进一步的,所述对所述待检测视频进行检测得到检测结果,所述检测结果包括确定所述对象的动作类型以及所述动作类型的置信度,包括:
按照预设时间间隔对所述待检测视频数据进行划分得到至少一个时间区间,并从所述时间区间中随机获取预设帧数的待检测图像;
将所述待检测图像输入预先训练好的检测模型,由所述检测模型从所述待检测图像中提取所述对象的动作特征,根据所述动作特征确定所述对象在所述时间区间内的动作类型,以及在所述时间区间内所述动作类型对应的置信度。
进一步的,所述根据所述检测结果确定所述动作类型对应的动作持续时间包括:
从所述待检测视频获取所述动作类型对应的至少两个相邻的时间区间;
根据所述至少两个相邻的时间区间确定所述动作类型的动作持续时间。
进一步的,所述方法还包括:
获取样本视频片段,所述样本视频片段中包括处于工作状态的对象;
获取所述样本视频片段的标注信息,所述标注信息包括:所述对象的动作特征,以及所述动作特征对应的动作类型;
采用所述样本视频片段和所述标注信息对预设卷积神经网络模型进行训练,由所述预设卷积神经网络模型学习所述动作特征与所述动作类型的对应关系,得到所述检测模型。
进一步的,所述对所述动作类型对应的置信度以及动作持续时间进行分析确定异常数据,包括:
对所述动作类型的置信度以工作时长进行归一化得到二维数据;
对所述二维数据进行聚类分析得到所述检测数据中的异常数据。
进一步的,所述根据更新后的检测数据计算所述动作类型对应的目标动作持续时间,包括:
获取所述更新后的检测数据中动作类型的数量,以及动作类型对应的动作持续时间;
根据所述数量以及更新后的动作持续时间计算得到平均值,将所述平均值作为所述目标动作持续时间。
根据本申请实施例的另一方面,还提供了一种信息处理装置,包括:
获取模块,用于获取多组检测数据,所述检测数据包括动作类型对应的置信度,以及动作持续时间;
分析模块,用于对所述动作类型对应的置信度以及动作持续时间进行分析确定异常数据;
更新模块,用于根据所述异常数据更新所述检测数据;
处理模块,用于根据更新后的检测数据计算所述动作类型对应的目标动作持续时间。
根据本申请实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,程序运行时执行上述的步骤。
根据本申请实施例的另一方面,还提供了一种电子装置,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:存储器,用于存放计算机程序;处理器,用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法中的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:本申请通过对动作类型对应的置信度以及动作持续时间进行分析确定异常数据,并将异常数据从检测数据中剔除,根据更新后的检测数据计算目标动作持续时间,以此实现目标动作持续时间的自动化处理,不再需要人工进行操作,且能够提升目标动作持续时间的准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种信息处理方法的流程图;
图2为本申请另一实施例提供的一种信息处理方法的流程图;
图3为本申请实施例提供的一种动作检测装置的框图;
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个类似的实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供了一种信息处理方法、装置、电子设备及存储介质。本发明实施例所提供的方法可以应用于任意需要的电子设备,例如,可以为服务器、终端等电子设备,在此不做具体限定,为描述方便,后续简称为电子设备。
根据本申请实施例的一方面,提供了一种信息处理方法的方法实施例。图1为本申请实施例提供的一种信息处理方法的流程图,如图1所示,该方法包括:
步骤S11,获取多组检测数据,检测数据包括动作类型对应的置信度,以及动作持续时间;
在本申请实施例中,多组检测数据包括多种不同动作类型的检测数据,其中每种动作类型对应多组检测数据,每组检测数据包括:该动作类型的置信度,以及动作持续时间。
作为一个示例,焊接动作包括三组检测数据,第一组检测数据包括:焊接动作的置信度L1,焊接动作的动作持续时间T1。第二组检测数据包括:焊接动作的置信度L2,焊接动作的动作持续时间T2,第三组检测数据包括:焊接动作的置信度L3,焊接动作的动作持续时间T3。
现有技术中,为核算一个岗位的工作持续时间,通常需要测试员,前往测试岗位,以掐表计时的方式进行多次记录,然后再进行分析计算,同时又存在多种不同类型岗位。发明人发现,当生产环境和设备发生变化时,还需要重新测量工作持续时间,以此会消耗大量资源。
为了解决上述问题,本申请实施例提供了一种自动检测动作持续时间的方法,然后根据自动检测得到动作持续时间作为检测数据。以下实施例对获取检测数据的过程进行具体说明,如图2所示,步骤S11,获取多组检测数据,包括:
步骤A1,获取待检测视频,待检测视频中包括处于工作状态的对象;
在本申请实施例中,待检测视频是通过视频采集设备对工作岗位上且处于工作状态的对象(即工作人员)进行拍摄得到的。其中视频采集设备可以是摄像机,网络摄像头,或者携带摄像装置的移动终端等等。本实施例中的工作岗位可以是空调零件焊接岗位,空调零件组装岗位,空调包装岗位等等,在此不做具体限定。
步骤A2,对待检测视频进行检测得到检测结果,检测结果包括确定对象的动作类型以及动作类型的置信度;
在本申请实施例中,首先按照预设时间间隔对待检测视频数据进行划分得到至少一个时间区间,并从时间区间中随机获取预设帧数的待检测图像;
预设时间间隔可以是工作人员根据需要进行设定,可以是为1s,2s等等,例如,预设时间间隔为2s时,待检测视频的时间长度为1min,按照预设时间间隔对待检测视频进行分割,得到30个时间区间。然后从每个时间区间中随机提取预设帧数的待检测图像,本实施例中预设帧数为3帧,具体数值可以是工作人员根据需要设定,在此对其不做具体限定。
然后将待检测图像输入预先训练好的检测模型,由检测模型从待检测图像中提取对象的动作特征,根据动作特征确定对象在时间区间内的动作类型,以及在时间区间内动作类型对应的置信度。
在本申请实施例中,首先确定预先训练好的检测模型,然后将待检测图像输入预先训练好的检测模型,由检测模型从待检测图像中提取对象的动作特征,根据动作特征确定对象在时间区间内的动作类型,以及在时间区间内动作类型对应的置信度。
可以理解的,由于不同的工作岗位也会存在相同的动作,因此,当待检测图像输入检测模型,检测模型会根据待检测图像中的动作特征得到多个动作类型,以及每个动作类型的置信度,然后按照置信度对动作类型进行排序,将置信度最高的动作类型,以及该动作类型对应的置信度作为检测结果。
检测模型的训练过程如下:获取样本视频片段,样本视频片段中包括处于工作状态的对象,获取样本视频片段的标注信息,标注信息包括:对象的动作特征,以及动作特征对应的动作类型,采用样本视频片段和标注信息对预设卷积神经网络模型进行训练,由预设卷积神经网络模型学习动作特征与动作类型的对应关系,得到检测模型。
作为一个示例,对象的动作特征可以是拿焊枪的动作特征,贴包装纸的动作特征,拧螺丝的动作特征等等,在此不做具体限定。动作特征与动作类型的对应关系可以是拿焊枪的动作特征对应的动作类型为焊接动作,拧螺丝的动作特征对应的动作类型为组装动作,贴包装纸的动作特征对应的动作类型为包装动作。
步骤A3,根据检测结果确定动作类型对应的动作持续时间;
在本申请实施例中,从待检测视频获取动作类型对应的至少两个相邻的时间区间,根据至少两个相邻的时间区间确定动作类型的动作持续时间。
作为一个示例,待检测视频的时间长度为30min,按照预设时间间隔对待检测视频进行分割,得到900个时间区间,其中,焊接动作对应400个时间区间,安装动作对应400个时间区间,包装动作对应100个时间区间。其中,从焊接动作所对应的400个时间区间中得到四组时间段,其中每组时间区间中包括100个相邻的时间区间。100个相邻的时间段即为焊接动作的动作持续时间。
步骤A4,将动作类型,以及动作类型对应的动作持续时间和置信度作为所述检测数据。
本申请实施例将从待检测视频中提取的待检测图像输入预先训练好的检测模型得到对象在时间区间内的动作类型,通过分析对象的动作类型,确定对象的动作类型的动作持续时间,解决了现有技术中采用采用掐表计时的方式计算动作持续时间,耗费大量的资源的技术问题。
同时针对现有计算方式的耗时耗力、采集样本多样性差的问题,利用动作识别技术实现不同动作类型的动作持续时间的自动分析计算。
步骤S12,对动作类型对应的置信度以及动作持续时间进行分析确定异常数据;
在本申请实施例中,对置信度以及动作持续时间进行分析确定异常检测数据,包括:对动作类型的置信度以动作持续时间进行归一化得到二维数组,对二维数组进行聚类分析得到检测数据中的异常检测数据。
具体的,多组检测数据的总数表示为Si,其中i为组数,动作持续时间表示为di,置信度表示为ci,动作类别数为M,即ai∈Z([1,M])。
对每个动作类别的进行异常值检测,以ai=1(动作类别为1)的情况为例,假设该动作类别的检测数据的数量为N,对动作持续时间和置信度进行归一化处理,计算过程如下:
其中,/>为平均动作持续时间,/>为平均置信度。
其中,/>为归一化后得到的动作持续时间,/>为归一化后得到的置信度。
然后根据归一化结果确定二维数组,即然后对二维数组进行聚类分析,得到异常检测数据,在本申请实施例中采用DBSCAN算法进行聚类分析,其中邻域半径为0.2,最小数目点取0.1N。
DBSCAN(Density—Based Spatial Clustering of Application with Noise)算法是一种典型的基于密度的聚类方法。它将簇定义为密度相连的点的最大集合,能够把具有足够密度的区域划分为簇,并可以在有噪音的空间数据集中发现任意形状的簇。
步骤S13,根据异常数据更新检测数据;
步骤S14,根据更新后的检测数据计算动作类型对应的目标动作持续时间。
在本申请实施例中,根据更新后的检测数据计算动作类型对应的目标动作持续时间,包括:获取更新后的检测数据中动作类型的数量,以及动作类型对应的动作持续时间,根据数量以及更新后的动作持续时间计算得到平均值,将平均值作为目标动作持续时间。
本申请实施例提供的方法,本申请实施例采用异常值检测及排除方法,并将异常数据从检测数据中剔除,根据更新后的检测数据计算目标动作持续时间,以此实现目标动作持续时间的自动化处理,不再需要人工进行操作,且能够提升目标动作持续时间的准确率。
图3为本申请实施例提供的一种动作检测装置的框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图3所示,该动作检测装置包括:
获取模块31,用于获取多组检测数据,检测数据包括动作类型对应的置信度,以及动作持续时间;
分析模块32,用于对动作类型对应的置信度以及动作持续时间进行分析确定异常数据;
更新模块33,用于根据异常数据更新检测数据;
处理模块34,用于根据更新后的检测数据计算动作类型对应的目标动作持续时间。
进一步的,获取模块31,包括:
获取子模块,用于获取待检测视频,待检测视频中包括处于工作状态的对象;
检测子模块,用于对待检测视频进行检测得到检测结果,检测结果包括确定对象的动作类型以及动作类型的置信度;
确定子模块,用于根据检测结果确定动作类型对应的动作持续时间;
处理子模块,用于将动作类型,以及动作类型对应的动作持续时间和置信度作为检测数据。
进一步的,检测子模块,具体用于按照预设时间间隔对待检测视频数据进行划分得到至少一个时间区间,并从时间区间中随机获取预设帧数的待检测图像;将待检测图像输入预先训练好的检测模型,由检测模型从待检测图像中提取对象的动作特征,根据动作特征确定对象在时间区间内的动作类型,以及在时间区间内动作类型对应的置信度。
进一步的,确定子模块,具体用于从待检测视频获取动作类型对应的至少两个相邻的时间区间;根据至少两个相邻的时间区间确定动作类型的动作持续时间。
进一步的,方法还包括训练模块,用于获取样本视频片段,样本视频片段中包括处于工作状态的对象;获取样本视频片段的标注信息,标注信息包括:对象的动作特征,以及动作特征对应的动作类型;采用样本视频片段和标注信息对预设卷积神经网络模型进行训练,由预设卷积神经网络模型学习动作特征与动作类型的对应关系,得到检测模型。
进一步的,分析模块32,具体用于对动作类型的置信度以工作时长进行归一化得到二维数据;对二维数据进行聚类分析得到检测数据中的异常数据。
进一步的,处理模块34,具体用于获取更新后的检测数据中动作类型的数量,以及动作类型对应的动作持续时间;根据数量以及更新后的动作持续时间计算得到平均值,将平均值作为目标动作持续时间。
本申请实施例还提供一种电子设备,如图4所示,电子设备可以包括:处理器1501、通信接口1502、存储器1503和通信总线1504,其中,处理器1501,通信接口1502,存储器1503通过通信总线1504完成相互间的通信。
存储器1503,用于存放计算机程序;
处理器1501,用于执行存储器1503上所存放的计算机程序时,实现上述实施例的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的信息处理方法。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的信息处理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk)等。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种信息处理方法,其特征在于,包括:
获取多组检测数据,所述检测数据包括动作类型对应的置信度,以及动作持续时间;
对所述动作类型对应的置信度以及动作持续时间进行分析确定异常数据;
根据所述异常数据更新所述检测数据,包括:将所述异常数据从所述检测数据中剔除;
根据更新后的检测数据计算所述动作类型对应的目标动作持续时间;
所述对所述动作类型对应的置信度以及动作持续时间进行分析确定异常数据,包括:
对所述动作类型的置信度以动作持续时间进行归一化得到二维数据;
对所述二维数据进行聚类分析得到所述检测数据中的异常数据;
所述根据更新后的检测数据计算所述动作类型对应的目标动作持续时间,包括:获取所述更新后的检测数据中动作类型的数量,以及动作类型对应的动作持续时间;根据所述数量以及更新后的动作持续时间计算得到平均值,将所述平均值作为所述目标动作持续时间。
2.根据权利要求1所述的方法,其特征在于,所述获取多组检测数据,包括:
获取待检测视频,所述待检测视频中包括处于工作状态的对象;
对所述待检测视频进行检测得到检测结果,所述检测结果包括确定所述对象的动作类型以及所述动作类型的置信度;
根据所述检测结果确定所述动作类型对应的动作持续时间;
将所述动作类型,以及所述动作类型对应的动作持续时间和置信度作为所述检测数据。
3.根据权利要求2所述的方法,其特征在于,所述对所述待检测视频进行检测得到检测结果,所述检测结果包括确定所述对象的动作类型以及所述动作类型的置信度,包括:
按照预设时间间隔对所述待检测视频数据进行划分得到至少一个时间区间,并从所述时间区间中随机获取预设帧数的待检测图像;
将所述待检测图像输入预先训练好的检测模型,由所述检测模型从所述待检测图像中提取所述对象的动作特征,根据所述动作特征确定所述对象在所述时间区间内的动作类型,以及在所述时间区间内所述动作类型对应的置信度。
4.根据权利要求3所述的方法,其特征在于,所述根据所述检测结果确定所述动作类型对应的动作持续时间包括:
从所述待检测视频获取所述动作类型对应的至少两个相邻的时间区间;
根据所述至少两个相邻的时间区间确定所述动作类型的动作持续时间。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取样本视频片段,所述样本视频片段中包括处于工作状态的对象;
获取所述样本视频片段的标注信息,所述标注信息包括:所述对象的动作特征,以及所述动作特征对应的动作类型;
采用所述样本视频片段和所述标注信息对预设卷积神经网络模型进行训练,由所述预设卷积神经网络模型学习所述动作特征与所述动作类型的对应关系,得到所述检测模型。
6.一种信息处理装置,其特征在于,包括:
获取模块,用于获取多组检测数据,所述检测数据包括动作类型对应的置信度,以及动作持续时间;
分析模块,用于对所述动作类型对应的置信度以及动作持续时间进行分析确定异常数据;
更新模块,用于根据所述异常数据更新所述检测数据;
处理模块,用于根据更新后的检测数据计算所述动作类型对应的目标动作持续时间;
所述分析模块具体用于:
对所述动作类型的置信度以动作持续时间进行归一化得到二维数据;
对所述二维数据进行聚类分析得到所述检测数据中的异常数据;
所述处理模块还用于:获取所述更新后的检测数据中动作类型的数量,以及动作类型对应的动作持续时间;根据所述数量以及更新后的动作持续时间计算得到平均值,将所述平均值作为所述目标动作持续时间。
7.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至5中任一项所述的方法步骤。
8.一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:
存储器,用于存放计算机程序;
处理器,用于通过运行存储器上所存放的程序来执行权利要求1-5中任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010976672.1A CN112149546B (zh) | 2020-09-16 | 2020-09-16 | 一种信息处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010976672.1A CN112149546B (zh) | 2020-09-16 | 2020-09-16 | 一种信息处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112149546A CN112149546A (zh) | 2020-12-29 |
CN112149546B true CN112149546B (zh) | 2024-05-03 |
Family
ID=73893945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010976672.1A Active CN112149546B (zh) | 2020-09-16 | 2020-09-16 | 一种信息处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112149546B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108681690A (zh) * | 2018-04-04 | 2018-10-19 | 浙江大学 | 一种基于深度学习的流水线人员规范操作检测系统 |
CN110516636A (zh) * | 2019-08-30 | 2019-11-29 | 盈盛智创科技(广州)有限公司 | 一种工序的监测方法、装置、计算机设备和存储介质 |
CN110543830A (zh) * | 2019-08-12 | 2019-12-06 | 珠海格力电器股份有限公司 | 动作检测方法、装置、存储介质 |
CN111104855A (zh) * | 2019-11-11 | 2020-05-05 | 杭州电子科技大学 | 一种基于时序行为检测的工作流识别方法 |
CN111144262A (zh) * | 2019-12-20 | 2020-05-12 | 北京容联易通信息技术有限公司 | 一种基于监控视频的工序异常检测方法 |
CN111325144A (zh) * | 2020-02-19 | 2020-06-23 | 上海眼控科技股份有限公司 | 行为检测方法、装置、计算机设备和计算机可读存储介质 |
WO2020151172A1 (zh) * | 2019-01-23 | 2020-07-30 | 平安科技(深圳)有限公司 | 运动目标检测方法、装置、计算机设备及存储介质 |
-
2020
- 2020-09-16 CN CN202010976672.1A patent/CN112149546B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108681690A (zh) * | 2018-04-04 | 2018-10-19 | 浙江大学 | 一种基于深度学习的流水线人员规范操作检测系统 |
WO2020151172A1 (zh) * | 2019-01-23 | 2020-07-30 | 平安科技(深圳)有限公司 | 运动目标检测方法、装置、计算机设备及存储介质 |
CN110543830A (zh) * | 2019-08-12 | 2019-12-06 | 珠海格力电器股份有限公司 | 动作检测方法、装置、存储介质 |
CN110516636A (zh) * | 2019-08-30 | 2019-11-29 | 盈盛智创科技(广州)有限公司 | 一种工序的监测方法、装置、计算机设备和存储介质 |
CN111104855A (zh) * | 2019-11-11 | 2020-05-05 | 杭州电子科技大学 | 一种基于时序行为检测的工作流识别方法 |
CN111144262A (zh) * | 2019-12-20 | 2020-05-12 | 北京容联易通信息技术有限公司 | 一种基于监控视频的工序异常检测方法 |
CN111325144A (zh) * | 2020-02-19 | 2020-06-23 | 上海眼控科技股份有限公司 | 行为检测方法、装置、计算机设备和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112149546A (zh) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109587001B (zh) | 一种性能指标异常检测方法及装置 | |
CN109165691B (zh) | 用于识别作弊用户的模型的训练方法、装置及电子设备 | |
WO2021179742A1 (zh) | 一种臭氧缺失数据的插补方法、装置及插补设备 | |
CN111598913B (zh) | 一种基于机器人视觉的图像分割方法和系统 | |
CN114414935A (zh) | 基于大数据的配电网馈线故障区域自动化定位方法和系统 | |
CN113449703B (zh) | 环境在线监测数据的质控方法、装置、存储介质及设备 | |
CN110969600A (zh) | 一种产品缺陷检测方法、装置、电子设备及存储介质 | |
CN110991761B (zh) | 一种供热负荷预测方法及装置 | |
CN111507483A (zh) | 返修板检测装置、方法及计算机可读存储介质 | |
CN113723467A (zh) | 用于缺陷检测的样本收集方法、装置和设备 | |
KR20190060548A (ko) | 변수 구간별 불량 발생 지수를 도출하여 공정 불량 원인을 파악하고 시각화하는 방법 | |
CN112149546B (zh) | 一种信息处理方法、装置、电子设备及存储介质 | |
CN117149565A (zh) | 云平台关键性能指标的状态检测方法、装置、设备及介质 | |
CN112434717B (zh) | 一种模型训练方法及装置 | |
CN114463585A (zh) | 针对内容社区的违规旗帜识别方法及系统 | |
CN115293735A (zh) | 一种无人工厂工业互联网平台监测管理方法及系统 | |
CN111767938B (zh) | 一种异常数据检测方法、装置及电子设备 | |
CN113808088A (zh) | 一种污染检测方法及系统 | |
CN113284141A (zh) | 用于缺陷检测的模型确定方法、装置和设备 | |
CN112967223A (zh) | 一种基于人工智能的纺织品检测系统、方法及介质 | |
CN117710756B (zh) | 一种目标检测及模型训练方法、装置、设备、介质 | |
CN112150795A (zh) | 一种车辆轨迹异常的检测方法及装置 | |
CN111835830B (zh) | 一种数据感知系统、方法及装置 | |
CN117523324B (zh) | 图像处理方法和图像样本分类方法、装置和存储介质 | |
CN113537363B (zh) | 一种异常对象检测方法及装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |