CN113936253B - 料件搬运作业周期生成方法、存储介质、电子设备及装置 - Google Patents
料件搬运作业周期生成方法、存储介质、电子设备及装置 Download PDFInfo
- Publication number
- CN113936253B CN113936253B CN202111541197.6A CN202111541197A CN113936253B CN 113936253 B CN113936253 B CN 113936253B CN 202111541197 A CN202111541197 A CN 202111541197A CN 113936253 B CN113936253 B CN 113936253B
- Authority
- CN
- China
- Prior art keywords
- feature value
- critical
- image
- characteristic value
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000463 material Substances 0.000 title claims abstract description 274
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 172
- 230000003993 interaction Effects 0.000 claims abstract description 90
- 238000012163 sequencing technique Methods 0.000 claims abstract description 8
- 238000005192 partition Methods 0.000 claims description 81
- 230000011218 segmentation Effects 0.000 claims description 42
- 230000015654 memory Effects 0.000 claims description 33
- 238000005070 sampling Methods 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 7
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 9
- 238000013528 artificial neural network Methods 0.000 description 39
- 229910000831 Steel Inorganic materials 0.000 description 17
- 239000010959 steel Substances 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 15
- 239000002699 waste material Substances 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000007689 inspection Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 239000012634 fragment Substances 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 238000003491 array Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 239000000969 carrier Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004064 recycling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000007830 nerve conduction Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种料件搬运作业周期生成方法、存储介质、电子设备及装置。方法包括：获得多个图像；针对每个图像，根据该图像中是否存在料件搬运器检测框以及该图像的交互比生成该图像的特征值；按照拍摄时间的先后次序对特征值进行排序得到特征值数组；遍历特征值数组找到临界特征值片段，其包括在特征值数组中连续分布且均大于预设特征值阈值的特征值，并且利用临界特征值片段的每一个所包括的特征值确定对应的临界特征值；基于临界特征值生成分割标识，根据分割标识将特征值数组分割成多个区块，并且根据多个区块和分割标识确定料件搬运器相对于料件搬运作业区域的至少一个作业周期。如此提升检测效果和抗干扰性。
Description
技术领域
本申请涉及计算机视觉技术领域，具体涉及一种料件搬运作业周期生成方法、存储介质、电子设备及装置。
背景技术
随着人工智能技术和计算机视觉技术的发展，通过机器学习模型来进行人脸识别、身份检判的方式已经在交通出行和安防监控等领域取得了广泛应用。在工业应用领域，例如物流中心的货物自动识别和分拣和废钢回收环节的废弃钢材自动识别和搬运等，也可以通过机器学习模型和基于计算机视觉技术的产品来实现对特定对象的识别并为后续的分拣搬运等操作提供判断依据，有利于提高生产自动化和信息化程度，降低安全隐患和人力成本等。
上面提及的工业应用领域，例如物流中心的货物自动识别和分拣和废钢回收环节的废弃钢材自动识别和搬运等，一般需要对堆积在一起的多个物件进行识别并获悉物件类型等信息从而为后续自动化操作提供依据。这些堆积在一起的需要被识别的多个物件可以统称为“料件”，例如堆积在一起的多个废弃钢材可以叫做废钢料件。将堆积在一起的多个料件搬运到另一个地方的操作流程称之为料件搬运作业流程。一个料件搬运作业流程往往涉及到多次的搬运操作，每次搬运操作通过料件搬运器（也即用于搬运料件的装置）搬运其中一部分的料件。为了实现整个料件搬运作业流程的自动化检测，需要建立与料件搬运作业流程对应的料件搬运作业周期算法，为此需要一种料件搬运作业周期生成方法、存储介质、电子设备及装置。
发明内容
第一方面，本申请实施例提供了一种作业周期生成方法。所述作业周期生成方法包括：获得多个图像，所述多个图像基于预设采样频率采集；针对所述多个图像的每个图像，根据该图像中是否存在料件搬运器检测框以及该图像的交互比生成该图像的特征值，其中，该图像的交互比是：该图像中的该料件搬运器检测框和料件搬运作业区域检测框之间的交集面积与该料件搬运器检测框的面积的比值；按照所述多个图像各自的拍摄时间的先后次序对所述多个图像各自的特征值进行排序，得到特征值数组；遍历所述特征值数组找到至少一个临界特征值片段，其中，该至少一个临界特征值片段包括在所述特征值数组中连续分布且均大于预设特征值阈值的至少一个特征值，并且利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值；基于所述至少一个临界特征值片段的每一个临界特征值片段各自对应的临界特征值生成至少一个分割标识，根据所述至少一个分割标识将所述特征值数组分割成多个区块，并且根据所述多个区块和所述至少一个分割标识确定料件搬运器相对于料件搬运作业区域的至少一个作业周期。
第一方面所描述的技术方案，将料件搬运作业流程拆分成至少一个作业周期，实现了整个料件搬运作业流程的自动化检测，并且利用预设特征值阈值确定临界特征值片段然后利用临界特征值片段确定分割标识进而确定该至少一个作业周期，可以有效地克服各种干扰因素所导致的波动，具有更好的检测效果和抗干扰表现。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值，包括：将所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值中的最大特征值作为与该临界特征值片段对应的临界特征值。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值，包括：将所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值的统计结果作为与该临界特征值片段对应的临界特征值，其中，该统计结果包括中位数、平均数或者最大值。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，基于所述至少一个临界特征值片段的每一个临界特征值片段各自对应的临界特征值生成所述至少一个分割标识，包括：针对所述至少一个临界特征值片段的每一个临界特征值片段，将该临界特征值片段所包括的特征值中等于与该临界特征值片段对应的临界特征值的最后一个特征值作为与该临界特征值片段对应的分割标识。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，根据所述至少一个分割标识将所述特征值数组分割成所述多个区块，包括：针对所述至少一个分割标识的每一个分割标识，将所述特征值数组中紧邻在该分割标识之前且紧邻在另一分割标识之后的部分作为所述多个区块中的一个区块，或者，将所述特征值数组中紧邻在该分割标识之后且紧邻在另一分割标识之前的部分作为所述多个区块中的一个区块。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，根据所述多个区块和所述至少一个分割标识确定所述至少一个作业周期，包括：针对所述至少一个分割标识的每一个分割标识，根据所述特征值数组中紧邻在该分割标识之后的区块确定所述至少一个周期的结束标志。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，根据该图像中是否存在该料件搬运器检测框以及该图像的交互比生成该图像的特征值，包括：当该图像中不存在该料件搬运器检测框时，该图像的特征值为第一特征值，当该图像中存在该料件搬运器检测框且该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框没有重叠时，该图像的特征值为第二特征值，当该图像中存在该料件搬运器检测框且该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框有重叠时，该图像的特征值为该图像的交互比。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，将该图像的交互比与最小重叠度阈值比较，当该图像的交互比小于该最小重叠度阈值时该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框没有重叠，否则该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框有重叠。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，根据所述多个区块和所述至少一个分割标识确定所述至少一个作业周期，包括：针对所述至少一个分割标识的每一个分割标识，确定所述特征值数组中紧邻在该分割标识之后的区块，然后逐个判断该区块所包括的特征值是否为所述第一特征值或者所述第二特征值并且统计所判断出的所述第一特征值和所述第二特征值的总个数；当该总个数达到预设个数时，确定最后一个被统计的所述第一特征值或所述第二特征值指示所述至少一个周期的结束标志。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，根据所述多个区块和所述至少一个分割标识确定所述至少一个作业周期，包括：针对所述至少一个分割标识的每一个分割标识，确定所述特征值数组中紧邻在该分割标识之后的区块，然后根据该区块所包括的特征值中等于所述第一特征值或者等于所述第二特征值的特征值的分布，确定所述至少一个周期的结束标志。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述预设个数根据所述预设采样频率确定。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述作业周期生成方法用于生成废钢料件搬运作业周期，所述料件搬运器是用于搬运待搬运废钢料件集合的吸盘、抓手或者废钢料件搬运器，所述料件搬运作业区域是用于装载所述待搬运废钢料件集合的车辆的车厢。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述作业周期生成方法用于生成货物搬运作业周期，所述料件搬运器是用于搬运待搬运货物集合的吸盘、抓手或者货物搬运器，所述料件搬运作业区域是用于装载所述待搬运货物集合的载具的货物容纳区域或者用于货物堆放的指定区域。
根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述多个图像经过数据增强操作，所述数据增强操作包括以下至少之一：随机翻转、旋转、翻转及旋转、随机变换、随机缩放、随机裁剪、模糊化、高斯噪声添加、填充。
第二方面，本申请实施例提供了一种非瞬时性计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现根据第一方面中任一项所述的作业周期生成方法。
第二方面所描述的技术方案，将料件搬运作业流程拆分成至少一个作业周期，实现了整个料件搬运作业流程的自动化检测，并且利用预设特征值阈值确定临界特征值片段然后利用临界特征值片段确定分割标识进而确定该至少一个作业周期，可以有效地克服各种干扰因素所导致的波动，具有更好的检测效果和抗干扰表现。
第三方面，本申请实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现根据第一方面中任一项所述的作业周期生成方法。
第三方面所描述的技术方案，将料件搬运作业流程拆分成至少一个作业周期，实现了整个料件搬运作业流程的自动化检测，并且利用预设特征值阈值确定临界特征值片段然后利用临界特征值片段确定分割标识进而确定该至少一个作业周期，可以有效地克服各种干扰因素所导致的波动，具有更好的检测效果和抗干扰表现。
第四方面，本申请实施例提供了一种作业周期生成装置。所述作业周期生成装置包括：接收模块，用于获得多个图像，所述多个图像基于预设采样频率采集；特征值生成模块，用于针对所述多个图像的每个图像，根据该图像中是否存在料件搬运器检测框以及该图像的交互比生成该图像的特征值，其中，该图像的交互比是：该图像中的该料件搬运器检测框和料件搬运作业区域检测框之间的交集面积与该料件搬运器检测框的面积的比值；特征值数组生成模块，用于按照所述多个图像各自的拍摄时间的先后次序对所述多个图像各自的特征值进行排序，得到特征值数组；临界特征值片段生成模块，用于遍历所述特征值数组找到至少一个临界特征值片段，其中，该至少一个临界特征值片段包括在所述特征值数组中连续分布且均大于预设特征值阈值的至少一个特征值，并且利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值；分割模块，用于基于所述至少一个临界特征值片段的每一个临界特征值片段各自对应的临界特征值生成至少一个分割标识，根据所述至少一个分割标识将所述特征值数组分割成多个区块，并且根据所述多个区块和所述至少一个分割标识确定料件搬运器相对于料件搬运作业区域的至少一个作业周期。
第四方面所描述的技术方案，将料件搬运作业流程拆分成至少一个作业周期，实现了整个料件搬运作业流程的自动化检测，并且利用预设特征值阈值确定临界特征值片段然后利用临界特征值片段确定分割标识进而确定该至少一个作业周期，可以有效地克服各种干扰因素所导致的波动，具有更好的检测效果和抗干扰表现。
根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值，包括：将所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值中的最大特征值或者统计结果作为与该临界特征值片段对应的临界特征值，其中，该统计结果包括中位数、平均数或者最大值。
根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，基于所述至少一个临界特征值片段的每一个临界特征值片段各自对应的临界特征值生成所述至少一个分割标识，包括：针对所述至少一个临界特征值片段的每一个临界特征值片段，将该临界特征值片段所包括的特征值中等于与该临界特征值片段对应的临界特征值的最后一个特征值作为与该临界特征值片段对应的分割标识，其中，根据所述至少一个分割标识将所述特征值数组分割成所述多个区块，包括：针对所述至少一个分割标识的每一个分割标识，将所述特征值数组中紧邻在该分割标识之前且紧邻在另一分割标识之后的部分作为所述多个区块中的一个区块，或者，将所述特征值数组中紧邻在该分割标识之后且紧邻在另一分割标识之前的部分作为所述多个区块中的一个区块。
根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，根据该图像中是否存在该料件搬运器检测框以及该图像的交互比生成该图像的特征值，包括：当该图像中不存在该料件搬运器检测框时，该图像的特征值为第一特征值，当该图像中存在该料件搬运器检测框且该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框没有重叠时，该图像的特征值为第二特征值，当该图像中存在该料件搬运器检测框且该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框有重叠时，该图像的特征值为该图像的交互比。
根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，将该图像的交互比与最小重叠度阈值比较，当该图像的交互比小于该最小重叠度阈值时该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框没有重叠，否则该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框有重叠。
根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，根据所述多个区块和所述至少一个分割标识确定所述至少一个作业周期，包括：针对所述至少一个分割标识的每一个分割标识，确定所述特征值数组中紧邻在该分割标识之后的区块，然后逐个判断该区块所包括的特征值是否为所述第一特征值或者所述第二特征值并且统计所判断出的所述第一特征值和所述第二特征值的总个数；当该总个数达到预设个数时，确定最后一个被统计的所述第一特征值或所述第二特征值指示所述至少一个周期的结束标志。
根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，根据所述多个区块和所述至少一个分割标识确定所述至少一个作业周期，包括：针对所述至少一个分割标识的每一个分割标识，确定所述特征值数组中紧邻在该分割标识之后的区块，然后根据该区块所包括的特征值中等于所述第一特征值或者等于所述第二特征值的特征值的分布，确定所述至少一个周期的结束标志。
根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述作业周期生成装置用于生成废钢料件搬运作业周期，所述料件搬运器是用于搬运待搬运废钢料件集合的吸盘、抓手或者废钢料件搬运器，所述料件搬运作业区域是用于装载所述待搬运废钢料件集合的车辆的车厢。
根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述作业周期生成装置用于生成货物搬运作业周期，所述料件搬运器是用于搬运待搬运货物集合的吸盘、抓手或者货物搬运器，所述料件搬运作业区域是用于装载所述待搬运货物集合的载具的货物容纳区域或者用于货物堆放的指定区域。
附图说明
为了说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1示出了本申请实施例提供的作业周期生成方法的流程示意图。
图2示出了本申请实施例提供的用于图1所示的作业周期生成方法的电子设备的框图。
图3示出了本申请实施例提供的作业周期生成装置的框图。
具体实施方式
本申请实施例为了解决如何实现整个料件搬运作业流程的自动化检测以及建立与料件搬运作业流程对应的料件搬运作业周期算法，提供了一种料件搬运作业周期生成方法、存储介质、电子设备及装置。所述作业周期生成方法包括：获得多个图像，所述多个图像基于预设采样频率采集；针对所述多个图像的每个图像，根据该图像中是否存在料件搬运器检测框以及该图像的交互比生成该图像的特征值，其中，该图像的交互比是：该图像中的该料件搬运器检测框和料件搬运作业区域检测框之间的交集面积与该料件搬运器检测框的面积的比值；按照所述多个图像各自的拍摄时间的先后次序对所述多个图像各自的特征值进行排序，得到特征值数组；遍历所述特征值数组找到至少一个临界特征值片段，其中，该至少一个临界特征值片段包括在所述特征值数组中连续分布且均大于预设特征值阈值的至少一个特征值，并且利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值；基于所述至少一个临界特征值片段的每一个临界特征值片段各自对应的临界特征值生成至少一个分割标识，根据所述至少一个分割标识将所述特征值数组分割成多个区块，并且根据所述多个区块和所述至少一个分割标识确定料件搬运器相对于料件搬运作业区域的至少一个作业周期。如此，将料件搬运作业流程拆分成至少一个作业周期，实现了整个料件搬运作业流程的自动化检测，并且利用预设特征值阈值确定临界特征值片段然后利用临界特征值片段确定分割标识进而确定该至少一个作业周期，可以有效地克服各种干扰因素所导致的波动，具有更好的检测效果和抗干扰表现。
本申请实施例可用于以下应用场景，包括但是不限于，工业自动化、物流中心货物分拣、港口自动化、货物智能化自动检判、废弃钢材回收、废弃钢材智能化自动检判以及任意的可能通过用于料件智能检判的识别方法、装置来提高生产效率和降低人力成本的应用场景如煤炭自动化分拣、垃圾回收和垃圾自动化分拣等。
本申请实施例可以依据具体应用环境进行调整和改进，此处不做具体限定。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请的实施例进行描述。
本申请各方面以及以下所提及的各种实施例和实施方式涉及到人工智能、机器学习和神经网络等概念。一般而言，人工智能（Artificial Intelligence，AI）研究人类智能的本质并构建能以人类智能相似的方式作出反应的智能机器。人工智能应用领域的研究包括机器人、语音识别、自然语言处理、图像识别、决策推理、人机交互和专家系统等。机器学习（Machine Learning，ML）研究人工智能系统如何模拟或实现人类的学习行为，获取新的知识或技能，重新组织已有知识结构以及改善自身能力。机器学习通过各种算法从大量样本、数据或者经验中学习规律，从而对新的样本做出识别或者对事件做出决策和预测。机器学习算法的例子包括决策树学习、贝叶斯分类、支持向量机、聚类算法等。深度学习（DeepLearning，DL）参考了人类大脑的天然深层结构和按深度分级的认知过程，研究如何将大量数据输入复杂模型中，并“训练”模型来学习如何抓取特征。神经网络（Neural Network，NN）可以分成人工神经网络（Artificial Neural Network，ANN）和脉冲神经网络（SpikingNeural Network，SNN）。SNN模仿生物神经工作机制的脉冲神经元模型，计算过程中采用脉冲编码的信息。目前获得广泛应用的是ANN。本文中所提及的神经网络NN，除非特别说明或者另有所指或者结合上下文得出不同的解释，否则一般情况下指的是人工神经网络也即ANN。
ANN指的是受到大脑神经元结构及神经传导原理的启发而建立的算法数学模型，具有模仿动物神经网络行为特征进行信息处理的网络结构。神经网络包括大量相互联接的节点或者称神经元，这些节点或称神经元受到大脑神经元结构启发，有时也称作人工神经元或者感知器。浅层神经网络（Shallow Neural Network）只包括输入层和输出层，输入层负责接收输入信号，输出层负责输出神经网络的计算结果。输入信号经过线性组合后，被施加激活函数（Activation Function）进行变换得到输出层的结果。深度学习中用到的复杂模型主要是多层神经网络，有时也称作深度神经网络（Deep Neural Network，DNN）。多层神经网络除了输入层和输出层还包括隐藏层，每个隐藏层包括任意数量的神经元，这些神经元在网络结构中作为节点与前一层的节点连接，每个神经元可以看作线性组合器并给每个连接的输入值分配权重进行加权线性组合。激活函数是对输入信号进行加权线性组合之后的非线性映射，在多层神经网络中可以理解为上一层神经元的输出与下一层神经元的输入之间的函数关系。每个隐藏层可以有不同的激活函数。常见的激活函数有ReLU、Sigmoid、Tanh等。神经网络通过网状结构将每一层的信息传递给下一层。正向传播是从输入层到输出层逐层计算的过程，在正向传播过程中反复进行加权线性组合和通过激活函数进行变换，最后计算损失函数（Loss Function）用于衡量模型预测值和真实值之间的偏离程度。反向传播是从输出层向隐藏层反向传播直至输入层，在反向传播过程中根据实际输出和期望输出之间的误差进行神经网络参数的修正。DNN按照基本层的组成可以分为卷积神经网络（Convolutional Neural Network，CNN）、全连接神经网络（Fully Connected NeuralNetwork，FCN）和循环神经网络（Recurrent Neural Network，RNN）。CNN由卷积层、池化层和全连接层组成。FCN由多个全连接层组成。RNN由全连接层组成但层与层之间具有反馈路径和门控操作，也叫递归层。不同类型的神经网络基本层具有不同的计算特点和计算需求，例如有的神经网络中卷积层的计算占比很高且各卷积层的计算量很大。另外，神经网络的各卷积层的计算参数如卷积核大小和输入输出特征图尺寸等也变化多样。
图1示出了本申请实施例提供的作业周期生成方法的流程示意图。如图1所示，作业周期生成方法100包括以下步骤。
步骤S102：获得多个图像，所述多个图像基于预设采样频率采集。
在步骤S102，所获得的多个图像可以通过监控设备、摄像机或者任意合适的传感器或采集设备获取。在一些实施例中，用于获得多个图像的传感器或采集设备可以设置于具有较高海拔的位置并以鸟瞰式的角度或者俯视的角度来获取原始数据。这里，所述多个图像基于预设采样频率采集，指的是该多个图像是按照预设采样频率从原始数据中进行数据采集得到。该原始数据就是用于获得该多个图像的传感器或者采集设备所记录下来的数据。原始数据可以是视频数据，所述多个图像基于预设采样频率采集意味着通过抽帧、采样、截图或者任意合适的方式，按照该预设采样频率从该视频数据中提取图像数据，如通过视频抽帧自动截图算法提取图像数据。该预设采样频率可以是任意合适的数值，例如按照每秒抽取三张图像的预设采样频率提取图像数据。原始数据还可以是流媒体数据、图像帧集合或者任意合适的数据格式或者以任意合适的载体存在，只要能基于预设采样频率从原始数据中提取图像数据得到该多个图像。应当理解的是，对于固定的某个时间段内所获取的原始数据，更高的预设采样频率意味着更多的对应该时间段的图像。例如，在30秒的固定时间段内录制的视频数据，如果按照每秒抽取三张图像的预设采样频率提取图像数据则可以获得90张图像，但是如果按照每秒抽取五张图像的预设采样频率提取图像数据则可以获得150张图像。
步骤S104：针对所述多个图像的每个图像，根据该图像中是否存在料件搬运器检测框以及该图像的交互比生成该图像的特征值，其中，该图像的交互比是：该图像中的该料件搬运器检测框和料件搬运作业区域检测框之间的交集面积与该料件搬运器检测框的面积的比值。
其中，工业应用领域如物流中心的货物自动识别和分拣以及废钢回收环节的废弃钢材自动识别和搬运等，一般需要对堆积在一起的多个物件进行识别并获悉物件类型等信息从而为后续自动化操作提供依据。这些堆积在一起的需要被识别的多个物件可以统称为“料件”，例如堆积在一起的多个废弃钢材可以叫做废钢料件。将堆积在一起的多个料件搬运到另一个地方的操作流程称之为料件搬运作业流程。一个料件搬运作业流程往往涉及到多次的搬运操作，每次搬运操作通过料件搬运器（也即用于搬运料件的装置）搬运其中一部分的料件。料件搬运器可以根据具体应用场景而定，例如料件搬运器可以是用于搬运废钢料件的电磁铁吸盘、抓手等。在步骤S104，判断每个图像中是否存在料件搬运器检测框，可以通过基于目标检测技术或者任意合适技术，例如yolov3目标检测模型、yolov4目标检测模型和yolov5目标检测模型。通过判断该图像中是否存在料件搬运器检测框，可以区分开图像中存在料件搬运器检测框和图像中不存在料件搬运器检测框的两种情况。考虑到在步骤S102中的用于获得多个图像的传感器或采集设备，可能受限于其最大视场角或者拍摄距离等因素从而无法确保料件搬运器一定会被拍摄到，例如料件搬运器可能移动了太远距离而超出了图像上的边界，这样可以更好地捕捉关于料件搬运器的运动规律。为了实现整个料件搬运作业流程的自动化检测，需要建立与料件搬运作业流程对应的料件搬运作业周期算法，也就是需要将料件搬运作业流程（也即将堆积在一起的多个料件搬运到另一个地方的操作流程）拆分成多个作业周期，为此需要获得料件搬运器检测框并且进一步根据该图像的交互比生成该图像的特征值，下面详细说明这一点。
在步骤S104，该图像的交互比定义为该图像中的该料件搬运器检测框和料件搬运作业区域检测框之间的交集面积与该料件搬运器检测框的面积的比值。其中，料件搬运器检测框可以基于由机器学习模型（例如基于目标检测技术的深度学习神经网络）输出的代表了料件搬运器的预测结果如预测边框或者坐标等或者对料件搬运器的位置、大小、外延等信息作出的判断结果，这些预测结果或判断结果最终以料件搬运器检测框的形式体现。料件搬运作业区域指的是料件搬运器进行搬运操作的作业区域，也可以理解为定义了所有需要被搬运的料件最初被堆放的区域。料件搬运作业流程指的是将位于料件搬运作业区域的所有待搬运的料件都通过料件搬运器搬到另一个地方。取决于具体的应用场景，料件搬运作业区域可以与特定的交通工具关联，例如在废弃钢材的智能化自动检判的应用场景下料件搬运作业区域指的是用来装载废弃钢材的车辆的车厢区域，再例如在港口自动化的应用场景下料件搬运作业区域可能指的是用来装载待搬运货物的驳船上的船舱区域。料件搬运作业区域检测框可以基于由机器学习模型（例如基于图像语义分割识别技术的深度学习神经网络）输出的代表了料件搬运作业区域的预测结果如预测边框并且以料件搬运作业区域检测框的形式体现。以废弃钢材回收的应用为例，料件搬运器检测框指的是电磁铁吸盘的检测框，而料件搬运作业区域检测框指的是用于装载废弃钢材的车辆的车厢区域。
继续参阅步骤S104，将料件搬运作业流程拆分成多个作业周期意味着根据料件搬运器相对于料件搬运作业区域的运动规律拆分成多个作业周期。这里，料件搬运器相对于料件搬运作业区域的运动规律可以看作重复地依次进行三种阶段的运动，这三种阶段分别是：料件搬运器朝着料件搬运作业区域的方向移动并逐渐进入料件搬运作业区域，料件搬运器进入料件搬运作业区域并开始吸附料件，料件搬运器朝着远离料件搬运作业区域的方向移动并逐渐离开料件搬运作业区域直至完全脱离料件搬运作业区域。因此，料件搬运器要完成一次搬运操作就必须进入料件搬运作业区域并且离开料件搬运作业区域。或者说，一次搬运操作的时间段开始于料件搬运器进入料件搬运作业区域和结束于料件搬运器离开料件搬运作业区域。为了区分开不同的搬运操作的时间段，只需要区分开上一次搬运操作的结束和下一次搬运操作的开始，并且不需要精确的时间。并且，考虑到实际应用中，料件搬运器停留在料件搬运作业区域内的时间是不确定的，可能需要较多的时间来吸附料件（例如吸附较重的料件花费的时间较多）也可能需要较少的时间来吸附料件，这也意味着料件搬运器每次进入料件搬运作业区域后到离开料件搬运作业区域的等待时间不确定。而且，料件搬运器每次离开料件搬运作业区域后到下一次进入料件搬运作业区域的等待时间也不确定。因此，将料件搬运器相对于料件搬运作业区域的运动规律总结为上述三种阶段的运动的重复，有利于灵活应对这些不确定的等待时间。总之，只需要区分开上一次搬运操作的结束和下一次搬运操作的开始，就可以将上一次搬运操作的时间段和下一次操作的时间段进行足够充分的区分从而将料件搬运作业流程拆分成多个作业周期，每个作业周期对应一次搬运操作。例如，一个作业周期从上一次搬运操作的结束持续到下一次搬运操作的开始，或者，一个作业从一次搬运操作的开始持续到同一次搬运操作的结束，这些可以根据实际需要具体限定。
另外，该图像的交互比定义为该图像中的该料件搬运器检测框和料件搬运作业区域检测框之间的交集面积与该料件搬运器检测框的面积的比值。这里，相比于直接利用该料件搬运器检测框和料件搬运作业区域检测框之间的交集面积作为判断依据，将该交集面积与该料件搬运器检测框的面积的比值作为交互比，可以有效地克服因为料件搬运器的移动和图像中的远近距离变化而导致的该料件搬运器检测框的大小的变化，从而提高检测效果。这样定义得到的交互比，最大值为100% 或者说比值为1，最大值的交互比意味着该交集面积等于该料件搬运器检测框的面积也就是说该料件搬运器检测框完全位于该料件搬运作业区域检测框内，例如料件搬运器完全进入了料件搬运作业区域。相对地，该交互比的最小值为0或者说比值为0，最小值的交互比意味着该交集面积为零，也就是说该料件搬运器检测框和料件搬运作业区域检测框之间没有任何交集。因此，该图像的交互比指示了该图像上该料件搬运器检测框和料件搬运作业区域检测框之间的重叠程度，随着重叠程度的增加该交互比也会增加，随着重叠程度的减少该交互比也会减少。根据该图像的交互比生成该图像的特征值，可以指的是以该交互比所对应的百分比的数值部分作为该图像的特征值。例如该图像的交互比为80%，则该图像的特征值为80；该图像的交互比为95%，则该图像的特征值为95。
步骤S106：按照所述多个图像各自的拍摄时间的先后次序对所述多个图像各自的特征值进行排序，得到特征值数组。
上面提到，所述多个图像各自的特征值根据所述多个图像各自的交互比确定，而交互比指示了该图像上料件搬运器检测框和料件搬运作业区域检测框之间的重叠程度。将所述多个图像各自的拍摄时间的先后次序对所述多个图像各自的特征值进行排序，得到特征值数组，这样得到的特征值数组的各个特征值指示了按照时间的先后次序的料件搬运器检测框和料件搬运作业区域检测框之间的重叠程度的变化，也因此可用于推算料件搬运器检测框相对于料件搬运作业区域检测框的运动规律。具体地，上面提到，料件搬运器相对于料件搬运作业区域的运动规律可以看作重复地依次进行三种阶段的运动，这三种阶段分别是：料件搬运器朝着料件搬运作业区域的方向移动并逐渐进入料件搬运作业区域，料件搬运器进入料件搬运作业区域并开始吸附料件，料件搬运器朝着远离料件搬运作业区域的方向移动并逐渐离开料件搬运作业区域直至完全脱离料件搬运作业区域。可以看出，这三种阶段可以通过检测料件搬运器检测框和料件搬运作业区域检测框之间的重叠程度的变化而进行划分，因此可以通过对特征值数组的各个特征值进行分析来区分开上一次搬运操作的结束和下一次搬运操作的开始，进而将料件搬运作业流程拆分成多个作业周期。
应当理解的是，步骤S106的排序操作，也就是按照所述多个图像各自的拍摄时间的先后次序对所述多个图像各自的特征值进行排序得到特征值数组，可以与步骤S102的获得多个图像的操作整合在一起。换句话说，在步骤S102，可以获得已经按照拍摄时间的先后次序进行排序后的多个图像，这样在步骤S106就不需要再次进行排序操作。因此，步骤S102、步骤S104以及步骤S106也可以整合成一个步骤，也就是获得按照拍摄时间的先后次序进行排序后的多个图像各自的对应的特征值。在一些实施例中，可以先获得多个图像（未排序的），然后获得多个图像的特征值，再进行排序得到特征值数组。在另一些实施例中，可以先获得多个图像（未排序的），然后对多个图像按照拍摄时间的先后次序进行排序，再获得排序后的多个图像的特征值，从而得到特征值数组。总之，按照拍摄时间的先后次序进行排序的操作只需要进行一次，并且可以选择在任意合适的节点进行，只要确保最后得到的特征值数组是满足按照拍摄时间的先后次序进行排序后的从而可以体现特征值随着时间推移而发生的变化或者演变。
步骤S108：遍历所述特征值数组找到至少一个临界特征值片段，其中，该至少一个临界特征值片段包括在所述特征值数组中连续分布且均大于预设特征值阈值的至少一个特征值，并且利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值。
上面提到，特征值数组是满足按照拍摄时间的先后次序进行排序后的，而特征值数组的各个特征值指示了按照时间的先后次序的料件搬运器检测框和料件搬运作业区域检测框之间的重叠程度的变化。设以该交互比所对应的百分比的数值部分作为该图像的特征值（如该图像的交互比为80%，则该图像的特征值为80），下面以示例性的特征值数组说明如何通过分析特征值数组来区分开上一次搬运操作的结束和下一次搬运操作的开始，进而将料件搬运作业流程拆分成多个作业周期。将示例性的特征值数组命名为M，特征值数组M的特征值依次为M（-1，-1，-1，0，0，0，1，8，29，46，60，75，88，95，100，100，99，95，98，100，98，90，78，69，53，44，30，15，6，0，0，0，-1，-1，-1）。其中，-1的特征值对应的是在步骤S104检测到图像中不存在料件搬运器检测框的情况。也可以用除了-1以外的特征值来指示图像中不存在料件搬运器检测框的情况，例如-5、-10或者字母符号等，只要不会与图像中存在料件搬运器检测框的情况下的可能的特征值有冲突。另外，0的特征值对应的是在步骤S104检测到的最小值的交互比，也就意味着该交集面积为零，或者说该料件搬运器检测框和料件搬运作业区域检测框之间没有任何交集。100的特征值对应的是在步骤S104检测到的最大值的交互比，也就意味着该交集面积等于该料件搬运器检测框的面积也就是说该料件搬运器检测框完全位于该料件搬运作业区域检测框内，例如料件搬运器完全进入了料件搬运作业区域。特征值数组M的其它特征值例如29、46以及78等，则结合该图像的交互比的定义，分别体现了不同的料件搬运器检测框和料件搬运作业区域检测框之间的重叠程度。如此，以特征值数组M为例，可以通过分析特征值数组M的特征值随时间的变化，从而结合料件搬运器相对于料件搬运作业区域的运动规律是重复地依次进行三种阶段的运动这一特性，实现了区分开上一次搬运操作的结束和下一次搬运操作的开始。具体地，上面提到，这三种阶段分别是：料件搬运器朝着料件搬运作业区域的方向移动并逐渐进入料件搬运作业区域，料件搬运器进入料件搬运作业区域并开始吸附料件，料件搬运器朝着远离料件搬运作业区域的方向移动并逐渐离开料件搬运作业区域直至完全脱离料件搬运作业区域。以特征值数组M为例，特征值从-1到0再到首次大于0，意味着从图像中不存在料件搬运器检测框的情况演变到图像中存在料件搬运器检测框但没有任何交集的情况，接着再演变到料件搬运器开始接触料件搬运作业区域的情况（交集从0变成大于0），这种变化指示了料件搬运器进入料件搬运作业区域的事件。这在特征值数组M中，可以体现为前面的若干个特征值也即（-1，-1，-1，0，0，0，1）。类似地，特征值从大于0到0再到-1的变化，则指示了料件搬运器离开料件搬运作业区域的事件。因此，通过分析特征值数组M中的特征值的变化，可以大致判断出料件搬运器进入以及离开料件搬运作业区域的事件。这是因为料件搬运器相对于料件搬运作业区域的运动规律必然具有内在的规律性，而这种内在的规律性是由多次搬运操作中每次搬运操作必然包括的料件搬运器进入以及离开料件搬运作业区域的事件所决定的（为了完成一次搬运操作料件搬运器必须进入料件搬运作业区域才能吸附料件并且必须离开料件搬运作业区域才能完成该次搬运操作），而在步骤S106得到的特征值数组例如示例性的特征值数组M，其中的特征值满足按照拍摄时间的先后次序进行排序，因此特征值数组可用于区分开上一次搬运操作的结束和下一次搬运操作的开始从而将料件搬运作业流程拆分成多个作业周期，每个作业周期对应一次搬运操作。应当理解的是，特征值数组M仅为示例性，实际应用中可能根据任意数量的图像获得各自的特征值并生成相应的特征值数组，因此特征值数组所包括的特征值可以是任意数量并且可能对应包含了任意数量的搬运操作的料件搬运作业流程。
另外，考虑到存在料件搬运器的抖动（如因天气等原因使得料件搬运器难以稳定），拍摄装置的抖动，模型识别误差以及障碍物遮挡等各种干扰因素，根据图像的交互比所生成的图像的特征值可能与实际情况存在一定程度的偏离。例如，在雨天或者大风等天气，由于雨水水滴或者被大风吹起的尘土影响，可能使得基于计算机视觉技术的目标检测存在一定误差，从而使得对交互比和相应特征值的计算存在一定的波动，如在90到100之间波动。为了在各种环境下和面对各种干扰因素时能实现整个料件搬运作业流程的自动化检测，需要根据特征值数组的实际情况来设计作业周期的生成方式，下面详细说明。
在步骤S108，遍历所述特征值数组找到至少一个临界特征值片段。其中，该至少一个临界特征值片段包括在所述特征值数组中连续分布且均大于预设特征值阈值的至少一个特征值，并且利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值。这里，通过遍历该特征值数组的全部内容可能找到一个或者多个临界特征值片段，这些找到的临界特征值片段对应的是料件搬运器停留在料件搬运作业区域内作业的时刻。上面提到，料件搬运器相对于料件搬运作业区域的运动规律是重复地依次进行三种阶段的运动，而这三种阶段分别是：料件搬运器朝着料件搬运作业区域的方向移动并逐渐进入料件搬运作业区域，料件搬运器进入料件搬运作业区域并开始吸附料件，料件搬运器朝着远离料件搬运作业区域的方向移动并逐渐离开料件搬运作业区域直至完全脱离料件搬运作业区域。这里，临界特征值片段所处的阶段是中间阶段也就是料件搬运器进入料件搬运作业区域并开始吸附料件。以特征值数组M为例，设预设特征值阈值为89，则特征值数组M的临界特征值片段是连续分布且均大于89的特征值组成，也就是其中的（95，100，100，99，95，98，100，98，90）。可以看出，随着预设特征值阈值的变化，由连续分布且均大于预设特征值阈值的特征值所组成的临界特征值片段也会变化。还是以特征值数组M为例，设预设特征值阈值为94，则特征值数组M的临界特征值片段是连续分布且均大于94的特征值组成，也就是其中的（95，100，100，99，95，98，100，98）。通过调节预设特征阈值，可以决定所找到的临界特征值片段的具体内容，相当于筛选出了一个或者多个连续分布的特征值片段。这样得到的至少一个临界特征值片段指示了同样个数的搬运操作或者说同样个数的料件搬运器停留在料件搬运作业区域内的中间阶段。并且，不同的临界特征值片段必然对应不同的搬运操作，也就是说在特征值数组上相邻的两个临界特征值片段必然各自对应不同的搬运操作，并且前一个临界特征值片段属于上一个搬运操作，而下一个临界特征值片段属于下一个搬运操作，这也就意味着在特征值数组上相邻的两个临界特征值片段之间必然存在上一次搬运操作的结束和下一次搬运操作的开始。因此先遍历所述特征值数组找到至少一个临界特征值片段，然后利用所述至少一个临界特征值片段区分开上一次搬运操作的结束和下一次搬运操作的开始，可以简化检测和计算过程并且能有效地克服因为天气原因、料件搬运器的抖动、拍摄装置的抖动、模型识别误差以及障碍物遮挡等各种干扰因素而导致的不利影响。并且，相比于直接确定一次搬运操作的开始和结束，以及相比于直接确定料件搬运器进入及离开料件搬运作业区域的事件，作业周期生成方法100所采用的先遍历所述特征值数组找到临界特征值片段然后利用临界特征值片段的方式具有更好的检测效果和抗干扰表现。这是因为，在各种干扰因素的影响下，可能使得对交互比和相应特征值的计算存在一定的波动，例如本应为0的特征值最后计算结果是大于0，或者本应大于0的特征值最后计算结果是0，而直接确定搬运操作的开始或者说直接确定料件搬运器进入料件搬运作业区域的事件需要监控特征值从-1到0再到首次大于0的演变，这样就容易受到各种干扰因素所导致的波动而出现识别误差。类似地，直接确定搬运操作的结束或者说直接确定料件搬运器离开料件搬运作业区域的事件需要监控特征值从大于0到0再到-1的变化，这样就容易受到各种干扰因素所导致的波动而出现识别误差。而这些干扰因素所导致的波动对于根据可调节的预设特征值阈值确定临界特征值片段的方式产生的影响有限，而且可以结合实际上的干扰严重程度来调节预设特征值阈值以降低误识别的可能性。例如，在天气干扰因素较严重的时候，如台风或者大风天气导致料件搬运器如用于搬运废弃钢材的电磁铁吸盘有较为严重的晃动（也可能是支撑电磁铁洗盘的长臂的晃动等），这样就可能使得在计算交互比时有比较大的波动也就导致特征值有较大波动如在90到100之间进行变化，但是在特征值为90时该电磁铁吸盘实质上仍在进行吸附作业，这时候可以根据干扰严重程度适当降低预设特征值阈值如从95降低到90，从而降低误识别的可能性。因此，作业周期生成方法100利用可调节的预设特征值阈值确定临界特征值片段然后利用临界特征值片段，可以有效地克服各种干扰因素所导致的波动，具有更好的检测效果和抗干扰表现。
请继续参阅步骤S108，利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值，这样得到的与每个临界特征值片段对应的临界特征值用于后续的进一步处理，下面详细说明。
步骤S110：基于所述至少一个临界特征值片段的每一个临界特征值片段各自对应的临界特征值生成至少一个分割标识，根据所述至少一个分割标识将所述特征值数组分割成多个区块，并且根据所述多个区块和所述至少一个分割标识确定料件搬运器相对于料件搬运作业区域的至少一个作业周期。
上面提到，不同的临界特征值片段必然对应不同的搬运操作，也就是说在特征值数组上相邻的两个临界特征值片段必然各自对应不同的搬运操作，并且前一个临界特征值片段属于上一个搬运操作，而下一个临界特征值片段属于下一个搬运操作，这也就意味着在特征值数组上相邻的两个临界特征值片段之间必然存在上一次搬运操作的结束和下一次搬运操作的开始。因此先遍历所述特征值数组找到至少一个临界特征值片段，然后利用所述至少一个临界特征值片段区分开上一次搬运操作的结束和下一次搬运操作的开始。并且，利用每个临界特征值片段所包括的特征值，也就是利用每个临界特征值片段所包括的连续分布且均大于预设特征阈值的特征值，确定与每个临界特征值片段对应的临界特征值。在步骤S110，通过每个临界特征值片段各自对应的临界特征值生成分割标识，再利用分割标识将特征值数组分割成多个区块。因为相邻的两个临界特征值片段必然各自对应不同的搬运操作，并且前一个临界特征值片段属于上一个搬运操作，而下一个临界特征值片段属于下一个搬运操作，因此相邻的两个临界特征值片段各自对应的临界特征值可用于生成两个分割标识，在这两个分割标识之间的区块必然存在上一次搬运操作的结束和下一次搬运操作的开始。接着，在步骤S108，根据所述多个区块和所述至少一个分割标识确定料件搬运器相对于料件搬运作业区域的至少一个作业周期，这意味着利用这些分割标识和由这些分割标识划分得到的区块确定每两个相邻的分割标识之间存在的上一次搬运操作的结束和下一次搬运操作的开始，进而实现将料件搬运作业流程拆分成多个作业周期，每个作业周期对应一次搬运操作。
请参阅步骤S102至步骤S110，作业周期生成方法100将料件搬运作业流程拆分成至少一个作业周期，实现了整个料件搬运作业流程的自动化检测，并且利用预设特征值阈值确定临界特征值片段然后利用临界特征值片段确定分割标识进而确定该至少一个作业周期，可以有效地克服各种干扰因素所导致的波动，具有更好的检测效果和抗干扰表现。
在一些实施例中，利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值，包括：将所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值中的最大特征值作为与该临界特征值片段对应的临界特征值。如此，将每一个临界特征值片段所包括的特征值中的最大特征值作为临界特征值。以特征值数组M为例，设预设特征值阈值为89，则特征值数组M的临界特征值片段是连续分布且均大于89的特征值组成，也就是其中的（95，100，100，99，95，98，100，98，90）。则其中的最大特征值是100也就是临界特征值。
在一些实施例中，利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值，包括：将所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值的统计结果作为与该临界特征值片段对应的临界特征值，其中，该统计结果包括中位数、平均数或者最大值。以特征值数组M为例，设预设特征值阈值为89，则特征值数组M的临界特征值片段是连续分布且均大于89的特征值组成，也就是其中的（95，100，100，99，95，98，100，98，90）。如此，可以将该特征值数组M的临界特征值片段的中位数、平均数或者最大值或者其它统计结果作为临界特征值。
在一些实施例中，基于所述至少一个临界特征值片段的每一个临界特征值片段各自对应的临界特征值生成所述至少一个分割标识，包括：针对所述至少一个临界特征值片段的每一个临界特征值片段，将该临界特征值片段所包括的特征值中等于与该临界特征值片段对应的临界特征值的最后一个特征值作为与该临界特征值片段对应的分割标识。以特征值数组M为例，设预设特征值阈值为89，则特征值数组M的临界特征值片段是连续分布且均大于89的特征值组成，也就是其中的（95，100，100，99，95，98，100，98，90）。再设临界特征值是100，则分割标识是最后一个出现的为100的特征值。
在一些实施例中，根据所述至少一个分割标识将所述特征值数组分割成所述多个区块，包括：针对所述至少一个分割标识的每一个分割标识，将所述特征值数组中紧邻在该分割标识之前且紧邻在另一分割标识之后的部分作为所述多个区块中的一个区块，或者，将所述特征值数组中紧邻在该分割标识之后且紧邻在另一分割标识之前的部分作为所述多个区块中的一个区块。上面提到，相邻的两个临界特征值片段必然各自对应不同的搬运操作，并且前一个临界特征值片段属于上一个搬运操作，而下一个临界特征值片段属于下一个搬运操作，因此相邻的两个临界特征值片段各自对应的临界特征值可用于生成两个分割标识，在这两个分割标识之间的区块必然存在上一次搬运操作的结束和下一次搬运操作的开始。如此，可以通过一个分割标识和另一分割标识来进行区块分割。
在一些实施例中，根据所述多个区块和所述至少一个分割标识确定所述至少一个作业周期，包括：针对所述至少一个分割标识的每一个分割标识，根据所述特征值数组中紧邻在该分割标识之后的区块确定所述至少一个周期的结束标志。上面提到，相邻的两个临界特征值片段必然各自对应不同的搬运操作，并且前一个临界特征值片段属于上一个搬运操作，而下一个临界特征值片段属于下一个搬运操作，因此相邻的两个临界特征值片段各自对应的临界特征值可用于生成两个分割标识，在这两个分割标识之间的区块必然存在上一次搬运操作的结束和下一次搬运操作的开始。如此，针对特定的分割标识，可以根据在该特定分割标识之后的区块确定上一次搬运操作的结束也就是周期的结束标志。
在一些实施例中，根据该图像中是否存在该料件搬运器检测框以及该图像的交互比生成该图像的特征值，包括：当该图像中不存在该料件搬运器检测框时，该图像的特征值为第一特征值，当该图像中存在该料件搬运器检测框且该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框没有重叠时，该图像的特征值为第二特征值，当该图像中存在该料件搬运器检测框且该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框有重叠时，该图像的特征值为该图像的交互比。以上面提及的特征值数组M为例，特征值数组M的特征值依次为M（-1，-1，-1，0，0，0，1，8，29，46，60，75，88，95，100，100，99，95，98，100，98，90，78，69，53，44，30，15，6，0，0，0，-1，-1，-1）。这里，-1是第一特征值，0是第二特征值，其它的数值用于是该图像的交互比。在一些实施例中，将该图像的交互比与最小重叠度阈值比较，当该图像的交互比小于该最小重叠度阈值时该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框没有重叠，否则该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框有重叠。这里，最小重叠度阈值可以是3、5或者其它数值。最小重叠度阈值用于应对各种干扰因素所导致的波动而出现识别误差的情况。这是因为，在各种干扰因素的影响下，可能使得对交互比和相应特征值的计算存在一定的波动，例如本应为0的特征值最后计算结果是大于0，或者本应大于0的特征值最后计算结果是0，因此通过比较交互比和最小重叠度阈值，可以抑制因为干扰因素导致的不利影响。在一些实施例中，根据所述多个区块和所述至少一个分割标识确定所述至少一个作业周期，包括：针对所述至少一个分割标识的每一个分割标识，确定所述特征值数组中紧邻在该分割标识之后的区块，然后逐个判断该区块所包括的特征值是否为所述第一特征值或者所述第二特征值并且统计所判断出的所述第一特征值和所述第二特征值的总个数；当该总个数达到预设个数时，确定最后一个被统计的所述第一特征值或所述第二特征值指示所述至少一个周期的结束标志。这里，以特征值数组M为例，统计第一特征值就是统计-1的特征值，统计第二特征值就是统计0的特征值。通过统计-1和0的总个数，当该总个数达到预设个数的时候，就确定最后一个被统计的-1或0的特征值指示所述至少一个周期的结束标志。这意味着从该分割标识开始寻找刚好与预设个数一致的-1或0的特征值，这样可以确保料件搬运器充分地离开了料件搬运作业区域。例如，可以设定预设个数是20个，也就是要求统计的-1和0的总个数达到20个。如此，实现了利用这些分割标识和由这些分割标识划分得到的区块确定每两个相邻的分割标识之间存在的上一次搬运操作的结束和下一次搬运操作的开始，进而实现将料件搬运作业流程拆分成多个作业周期。并且，所述预设个数根据所述预设采样频率确定。这是因为随着预设采样频率提高，例如将每秒抽取三张图像的预设采样频率提高到每秒抽取五张图像的预设采样频率，则必须相应地提高预设个数才能匹配更密集的数据采样频率。在一些实施例中，根据所述多个区块和所述至少一个分割标识确定所述至少一个作业周期，包括：针对所述至少一个分割标识的每一个分割标识，确定所述特征值数组中紧邻在该分割标识之后的区块，然后根据该区块所包括的特征值中等于所述第一特征值或者等于所述第二特征值的特征值的分布，确定所述至少一个周期的结束标志。这意味着从该分割标识开始根据等于所述第一特征值或者等于所述第二特征值的特征值的分布来确定所述至少一个周期的结束标志，有利于更好地结合实际场景进行调节达到更好的识别效果。
在一些实施例中，所述作业周期生成方法100用于生成废钢料件搬运作业周期，所述料件搬运器是用于搬运待搬运废钢料件集合的吸盘、抓手或者废钢料件搬运器，所述料件搬运作业区域是用于装载所述待搬运废钢料件集合的车辆的车厢。如此，体现了在废钢料件的自动识别等场景下的适用性。
在一些实施例中，所述作业周期生成方法100用于生成货物搬运作业周期，所述料件搬运器是用于搬运待搬运货物集合的吸盘、抓手或者货物搬运器，所述料件搬运作业区域是用于装载所述待搬运货物集合的载具的货物容纳区域或者用于货物堆放的指定区域。如此，体现了在货物自动识别等场景下的适用性，可用于工业自动化、物流中心货物分拣、港口自动化等。
在一些实施例中，所述多个图像经过数据增强操作，所述数据增强操作包括以下至少之一：随机翻转、旋转、翻转及旋转、随机变换、随机缩放、随机裁剪、模糊化、高斯噪声添加、填充。应当理解的是，还可以经过任意合适的预处理或者数据增强操作，在此不做具体限定。
应当理解的是，上述方法可以通过相应的执行主体或者载体来实现。在一些示例性实施例中，一种非瞬时性计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现上述方法以及上述任意实施例、实施方式或者它们的组合。在一些示例性实施例中，一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现上述方法以及上述任意实施例、实施方式或者它们的组合。
图2示出了本申请实施例提供的用于图1所示的作业周期生成方法的电子设备的框图。如图2所示，电子设备200包括主处理器202，内部总线204，网络接口206，主存储器208，以及辅助处理器210和辅助内存212，还有辅助处理器220和辅助内存222。其中，主处理器202与主存储器208连接，主存储器208可用于存储主处理器202可执行的计算机指令，从而可以实现图1所示的作业周期生成方法100，包括其中部分或者全部步骤，也包括其中步骤的任意可能的组合或结合以及可能的替换或者变体。网络接口206用于提供网络连接以及通过网络收发数据。内部总线204用于提供在主处理器202、网络接口206、辅助处理器210以及辅助处理器220之间的内部的数据交互。其中，辅助处理器210与辅助内存212连接并一起提供辅助计算能力，而辅助处理器220与辅助内存222连接并一起提供辅助计算能力。辅助处理器210和辅助处理器220可以提供相同或者不同的辅助计算能力，包括但是不限于，针对特定计算需求进行优化的计算能力如并行处理能力或者张量计算能力，针对特定算法或者逻辑结构进行优化的计算能力例如迭代计算能力或者图计算能力等。辅助处理器210和辅助处理器220可以包括特定类型的一个或者多个处理器，如数字信号处理器（DSP），专用集成电路（ASIC），现场可编程门阵列（FPGA）等，从而可以提供定制化的功能和结构。在一些示例性实施例中，电子设备200可以不包括辅助处理器，可以包括仅一个辅助处理器，还可以包括任意数量的辅助处理器且各自具有相应的定制化功能及结构，在此不做具体限定。图2中所示出的两个辅助处理器的架构仅为说明性而不应解释为限制性。另外，主处理器202可以包括单核或者多核的计算单元，用于提供本申请实施例所必需的功能和操作。另外，主处理器202和辅助处理器（如图2中的辅助处理器210和辅助处理器220）可以具有不同的架构，也就是电子设备200可以是基于异构架构的系统，例如主处理器202可以是基于指令集操作体系的通用型处理器如CPU，而辅助处理器可以是适合并行化计算的图形处理器GPU或者是适合神经网络模型相关运算的专用加速器。辅助内存（例如图2所示的辅助内存212和辅助内存222）可以用于配合各自对应的辅助处理器来实现定制化功能及结构。而主存储器208用于存储必要的指令、软件、配置、数据等从而可以配合主处理器202提供本申请实施例所必需的功能和操作。在一些示例性实施例中，电子设备200可以不包括辅助内存，可以包括仅一个辅助内存，还可以包括任意数量的辅助内存，在此不做具体限定。图2中所示出的两个辅助内存的架构仅为说明性而不应解释为限制性。主存储器208以及可能的辅助内存可以包括以下一个或多个特征：易失性，非易失性，动态，静态，可读/写，只读，随机访问，顺序访问，位置可寻址性，文件可寻址性和内容可寻址性，并且可以包括随机存取存储器（RAM），闪存，只读存储器（ROM），可擦可编程只读存储器（EPROM），电可擦可编程只读存储器（EEPROM），寄存器，硬盘，可移动磁盘，可记录和/或可重写光盘（CD），数字多功能光盘（DVD），大容量存储介质设备或任何其他形式的合适存储介质。内部总线204可以包括不同总线结构中的任何一种或不同总线结构的组合，例如存储器总线或存储器控制器，外围总线，通用串行总线和/或利用多种总线体系结构中的任何一种的处理器或本地总线。应当理解的是，图2所示的电子设备200，其所示的结构并不构成对有关装置或系统的具体限定，在一些示例性实施例中，电子设备200可以包括比具体实施例和附图更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者具有不同的部件布置。
请继续参阅图2，在一种可能的实施方式中，辅助处理器210和/或辅助处理器220可以具有针对神经网络计算的特点而进行了定制化设计的计算架构，例如神经网络加速器。并且，电子设备200还可以包括任意数量的辅助处理器且各自具有针对神经网络计算的特点而进行了定制化设计的计算架构，或者说电子设备200可以包括任意数量的神经网络加速器。在一些实施例中，仅处于说明性目的，示例性的神经网络加速器可以是：具有基于控制流的时域计算架构的神经网络加速器，其基于神经网络算法定制指令集的指令流对计算资源和存储资源进行集中控制；或者，具有基于数据流的空域计算架构的神经网络加速器，例如基于行固定（Row Stationary，RS）的数据流的二维空域计算阵列、采用脉动阵列（Systolic Array）的二维矩阵乘法阵列等；或者，任意具有任意合适的定制化设计的计算架构的神经网络加速器。
图3示出了本申请实施例提供的作业周期生成装置的框图。如图3所示，作业周期生成装置300包括：接收模块310，用于获得多个图像，所述多个图像基于预设采样频率采集；特征值生成模块320，用于针对所述多个图像的每个图像，根据该图像中是否存在料件搬运器检测框以及该图像的交互比生成该图像的特征值，其中，该图像的交互比是：该图像中的该料件搬运器检测框和料件搬运作业区域检测框之间的交集面积与该料件搬运器检测框的面积的比值；特征值数组生成模块330，用于按照所述多个图像各自的拍摄时间的先后次序对所述多个图像各自的特征值进行排序，得到特征值数组；临界特征值片段生成模块340，用于遍历所述特征值数组找到至少一个临界特征值片段，其中，该至少一个临界特征值片段包括在所述特征值数组中连续分布且均大于预设特征值阈值的至少一个特征值，并且利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值；分割模块350，用于基于所述至少一个临界特征值片段的每一个临界特征值片段各自对应的临界特征值生成至少一个分割标识，根据所述至少一个分割标识将所述特征值数组分割成多个区块，并且根据所述多个区块和所述至少一个分割标识确定料件搬运器相对于料件搬运作业区域的至少一个作业周期。
请参阅图3，作业周期生成装置300将料件搬运作业流程拆分成至少一个作业周期，实现了整个料件搬运作业流程的自动化检测，并且利用预设特征值阈值确定临界特征值片段然后利用临界特征值片段确定分割标识进而确定该至少一个作业周期，可以有效地克服各种干扰因素所导致的波动，具有更好的检测效果和抗干扰表现。
在一种可能的实施方式中，利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值，包括：将所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值中的最大特征值或者统计结果作为与该临界特征值片段对应的临界特征值，其中，该统计结果包括中位数、平均数或者最大值。
在一种可能的实施方式中，基于所述至少一个临界特征值片段的每一个临界特征值片段各自对应的临界特征值生成所述至少一个分割标识，包括：针对所述至少一个临界特征值片段的每一个临界特征值片段，将该临界特征值片段所包括的特征值中等于与该临界特征值片段对应的临界特征值的最后一个特征值作为与该临界特征值片段对应的分割标识，其中，根据所述至少一个分割标识将所述特征值数组分割成所述多个区块，包括：针对所述至少一个分割标识的每一个分割标识，将所述特征值数组中紧邻在该分割标识之前且紧邻在另一分割标识之后的部分作为所述多个区块中的一个区块，或者，将所述特征值数组中紧邻在该分割标识之后且紧邻在另一分割标识之前的部分作为所述多个区块中的一个区块。
在一种可能的实施方式中，根据该图像中是否存在该料件搬运器检测框以及该图像的交互比生成该图像的特征值，包括：当该图像中不存在该料件搬运器检测框时，该图像的特征值为第一特征值，当该图像中存在该料件搬运器检测框且该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框没有重叠时，该图像的特征值为第二特征值，当该图像中存在该料件搬运器检测框且该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框有重叠时，该图像的特征值为该图像的交互比。在一些实施例中，将该图像的交互比与最小重叠度阈值比较，当该图像的交互比小于该最小重叠度阈值时该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框没有重叠，否则该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框有重叠。在一些实施例中，根据所述多个区块和所述至少一个分割标识确定所述至少一个作业周期，包括：针对所述至少一个分割标识的每一个分割标识，确定所述特征值数组中紧邻在该分割标识之后的区块，然后逐个判断该区块所包括的特征值是否为所述第一特征值或者所述第二特征值并且统计所判断出的所述第一特征值和所述第二特征值的总个数；当该总个数达到预设个数时，确定最后一个被统计的所述第一特征值或所述第二特征值指示所述至少一个周期的结束标志。在一些实施例中，根据所述多个区块和所述至少一个分割标识确定所述至少一个作业周期，包括：针对所述至少一个分割标识的每一个分割标识，确定所述特征值数组中紧邻在该分割标识之后的区块，然后根据该区块所包括的特征值中等于所述第一特征值或者等于所述第二特征值的特征值的分布，确定所述至少一个周期的结束标志。
在一种可能的实施方式中，所述作业周期生成装置300用于生成废钢料件搬运作业周期，所述料件搬运器是用于搬运待搬运废钢料件集合的吸盘、抓手或者废钢料件搬运器，所述料件搬运作业区域是用于装载所述待搬运废钢料件集合的车辆的车厢。
在一种可能的实施方式中，所述作业周期生成装置300用于生成货物搬运作业周期，所述料件搬运器是用于搬运待搬运货物集合的吸盘、抓手或者货物搬运器，所述料件搬运作业区域是用于装载所述待搬运货物集合的载具的货物容纳区域或者用于货物堆放的指定区域。
本申请提供的具体实施例可以用硬件，软件，固件或固态逻辑电路中的任何一种或组合来实现，并且可以结合信号处理，控制和/或专用电路来实现。本申请具体实施例提供的设备或装置可以包括一个或多个处理器（例如，微处理器，控制器，数字信号处理器（DSP），专用集成电路（ASIC），现场可编程门阵列（FPGA）等），这些处理器处理各种计算机可执行指令从而控制设备或装置的操作。本申请具体实施例提供的设备或装置可以包括将各个组件耦合在一起的系统总线或数据传输系统。系统总线可以包括不同总线结构中的任何一种或不同总线结构的组合，例如存储器总线或存储器控制器，外围总线，通用串行总线和/或利用多种总线体系结构中的任何一种的处理器或本地总线。本申请具体实施例提供的设备或装置可以是单独提供，也可以是系统的一部分，也可以是其它设备或装置的一部分。
本申请提供的具体实施例可以包括计算机可读存储介质或与计算机可读存储介质相结合，例如能够提供非暂时性数据存储的一个或多个存储设备。计算机可读存储介质/存储设备可以被配置为保存数据，程序器和/或指令，这些数据，程序器和/或指令在由本申请具体实施例提供的设备或装置的处理器执行时使这些设备或装置实现有关操作。计算机可读存储介质/存储设备可以包括以下一个或多个特征：易失性，非易失性，动态，静态，可读/写，只读，随机访问，顺序访问，位置可寻址性，文件可寻址性和内容可寻址性。在一个或多个示例性实施例中，计算机可读存储介质/存储设备可以被集成到本申请具体实施例提供的设备或装置中或属于公共系统。计算机可读存储介质/存储设备可以包括光存储设备，半导体存储设备和/或磁存储设备等等，也可以包括随机存取存储器（RAM），闪存，只读存储器（ROM），可擦可编程只读存储器（EPROM），电可擦可编程只读存储器（EEPROM），寄存器，硬盘，可移动磁盘，可记录和/或可重写光盘（CD），数字多功能光盘（DVD），大容量存储介质设备或任何其他形式的合适存储介质。
以上是本申请实施例的实施方式，应当指出，本申请具体实施例描述的方法中的步骤可以根据实际需要进行顺序调整、合并和删减。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。可以理解的是，本申请实施例以及附图所示的结构并不构成对有关装置或系统的具体限定。在本申请另一些实施例中，有关装置或系统可以包括比具体实施例和附图更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者具有不同的部件布置。本领域技术人员将理解，在不脱离本申请具体实施例的精神和范围的情况下，可以对具体实施例记载的方法和设备的布置，操作和细节进行各种修改或变化；在不脱离本申请实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。
Claims (19)
1.一种作业周期生成方法，其特征在于，所述作业周期生成方法包括：
获得多个图像，所述多个图像基于预设采样频率采集；
针对所述多个图像的每个图像，根据该图像中是否存在料件搬运器检测框以及该图像的交互比生成该图像的特征值，其中，该图像的交互比是：该图像中的该料件搬运器检测框和料件搬运作业区域检测框之间的交集面积与该料件搬运器检测框的面积的比值；
按照所述多个图像各自的拍摄时间的先后次序对所述多个图像各自的特征值进行排序，得到特征值数组；
遍历所述特征值数组找到至少一个临界特征值片段，其中，该至少一个临界特征值片段包括在所述特征值数组中连续分布且均大于预设特征值阈值的至少一个特征值，并且利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值；
基于所述至少一个临界特征值片段的每一个临界特征值片段各自对应的临界特征值生成至少一个分割标识，根据所述至少一个分割标识将所述特征值数组分割成多个区块，并且根据所述多个区块和所述至少一个分割标识确定料件搬运器相对于料件搬运作业区域的至少一个作业周期，
根据该图像中是否存在该料件搬运器检测框以及该图像的交互比生成该图像的特征值，包括：
当该图像中不存在该料件搬运器检测框时，该图像的特征值为第一特征值，
当该图像中存在该料件搬运器检测框且该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框没有重叠时，该图像的特征值为第二特征值，
当该图像中存在该料件搬运器检测框且该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框有重叠时，该图像的特征值为该图像的交互比，
根据所述多个区块和所述至少一个分割标识确定所述至少一个作业周期，包括：针对所述至少一个分割标识的每一个分割标识，确定所述特征值数组中紧邻在该分割标识之后的区块，然后逐个判断该区块所包括的特征值是否为所述第一特征值或者所述第二特征值并且统计所判断出的所述第一特征值和所述第二特征值的总个数；当该总个数达到预设个数时，确定最后一个被统计的所述第一特征值或所述第二特征值指示所述至少一个周期的结束标志，
或者，
根据所述多个区块和所述至少一个分割标识确定所述至少一个作业周期，包括：针对所述至少一个分割标识的每一个分割标识，确定所述特征值数组中紧邻在该分割标识之后的区块，然后根据该区块所包括的特征值中等于所述第一特征值或者等于所述第二特征值的特征值的分布，确定所述至少一个周期的结束标志。
2.根据权利要求1所述的作业周期生成方法，其特征在于，利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值，包括：
将所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值中的最大特征值作为与该临界特征值片段对应的临界特征值。
3.根据权利要求1所述的作业周期生成方法，其特征在于，利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值，包括：
将所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值的统计结果作为与该临界特征值片段对应的临界特征值，其中，该统计结果包括中位数、平均数或者最大值。
4.根据权利要求1所述的作业周期生成方法，其特征在于，基于所述至少一个临界特征值片段的每一个临界特征值片段各自对应的临界特征值生成所述至少一个分割标识，包括：
针对所述至少一个临界特征值片段的每一个临界特征值片段，将该临界特征值片段所包括的特征值中等于与该临界特征值片段对应的临界特征值的最后一个特征值作为与该临界特征值片段对应的分割标识。
5.根据权利要求1所述的作业周期生成方法，其特征在于，根据所述至少一个分割标识将所述特征值数组分割成所述多个区块，包括：
针对所述至少一个分割标识的每一个分割标识，将所述特征值数组中紧邻在该分割标识之前且紧邻在另一分割标识之后的部分作为所述多个区块中的一个区块，或者，将所述特征值数组中紧邻在该分割标识之后且紧邻在另一分割标识之前的部分作为所述多个区块中的一个区块。
6.根据权利要求1所述的作业周期生成方法，其特征在于，根据所述多个区块和所述至少一个分割标识确定所述至少一个作业周期，包括：
针对所述至少一个分割标识的每一个分割标识，根据所述特征值数组中紧邻在该分割标识之后的区块确定所述至少一个周期的结束标志。
7.根据权利要求1所述的作业周期生成方法，其特征在于，将该图像的交互比与最小重叠度阈值比较，当该图像的交互比小于该最小重叠度阈值时该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框没有重叠，否则该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框有重叠。
8.根据权利要求1所述的作业周期生成方法，其特征在于，所述预设个数根据所述预设采样频率确定。
9.根据权利要求1至8中任一项所述的作业周期生成方法，其特征在于，所述作业周期生成方法用于生成废钢料件搬运作业周期，所述料件搬运器是用于搬运待搬运废钢料件集合的吸盘、抓手或者废钢料件搬运器，所述料件搬运作业区域是用于装载所述待搬运废钢料件集合的车辆的车厢。
10.根据权利要求1至8中任一项所述的作业周期生成方法，其特征在于，所述作业周期生成方法用于生成货物搬运作业周期，所述料件搬运器是用于搬运待搬运货物集合的吸盘、抓手或者货物搬运器，所述料件搬运作业区域是用于装载所述待搬运货物集合的载具的货物容纳区域或者用于货物堆放的指定区域。
11.根据权利要求1至8中任一项所述的作业周期生成方法，其特征在于，所述多个图像经过数据增强操作，所述数据增强操作包括以下至少之一：随机翻转、旋转、翻转及旋转、随机变换、随机缩放、随机裁剪、模糊化、高斯噪声添加、填充。
12.一种非瞬时性计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现根据权利要求1至11中任一项所述的作业周期生成方法。
13.一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现根据权利要求1至11中任一项所述的作业周期生成方法。
14.一种作业周期生成装置，其特征在于，所述作业周期生成装置包括：
接收模块，用于获得多个图像，所述多个图像基于预设采样频率采集；
特征值生成模块，用于针对所述多个图像的每个图像，根据该图像中是否存在料件搬运器检测框以及该图像的交互比生成该图像的特征值，其中，该图像的交互比是：该图像中的该料件搬运器检测框和料件搬运作业区域检测框之间的交集面积与该料件搬运器检测框的面积的比值；
特征值数组生成模块，用于按照所述多个图像各自的拍摄时间的先后次序对所述多个图像各自的特征值进行排序，得到特征值数组；
临界特征值片段生成模块，用于遍历所述特征值数组找到至少一个临界特征值片段，其中，该至少一个临界特征值片段包括在所述特征值数组中连续分布且均大于预设特征值阈值的至少一个特征值，并且利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值；
分割模块，用于基于所述至少一个临界特征值片段的每一个临界特征值片段各自对应的临界特征值生成至少一个分割标识，根据所述至少一个分割标识将所述特征值数组分割成多个区块，并且根据所述多个区块和所述至少一个分割标识确定料件搬运器相对于料件搬运作业区域的至少一个作业周期，
根据该图像中是否存在该料件搬运器检测框以及该图像的交互比生成该图像的特征值，包括：
当该图像中不存在该料件搬运器检测框时，该图像的特征值为第一特征值，
当该图像中存在该料件搬运器检测框且该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框没有重叠时，该图像的特征值为第二特征值，
当该图像中存在该料件搬运器检测框且该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框有重叠时，该图像的特征值为该图像的交互比，
根据所述多个区块和所述至少一个分割标识确定所述至少一个作业周期，包括：针对所述至少一个分割标识的每一个分割标识，确定所述特征值数组中紧邻在该分割标识之后的区块，然后逐个判断该区块所包括的特征值是否为所述第一特征值或者所述第二特征值并且统计所判断出的所述第一特征值和所述第二特征值的总个数；当该总个数达到预设个数时，确定最后一个被统计的所述第一特征值或所述第二特征值指示所述至少一个周期的结束标志，
或者，
根据所述多个区块和所述至少一个分割标识确定所述至少一个作业周期，包括：针对所述至少一个分割标识的每一个分割标识，确定所述特征值数组中紧邻在该分割标识之后的区块，然后根据该区块所包括的特征值中等于所述第一特征值或者等于所述第二特征值的特征值的分布，确定所述至少一个周期的结束标志。
15.根据权利要求14所述的作业周期生成装置，其特征在于，利用所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值确定与该临界特征值片段对应的临界特征值，包括：
将所述至少一个临界特征值片段的每一个临界特征值片段所包括的特征值中的最大特征值或者统计结果作为与该临界特征值片段对应的临界特征值，其中，该统计结果包括中位数、平均数或者最大值。
16.根据权利要求14所述的作业周期生成装置，其特征在于，基于所述至少一个临界特征值片段的每一个临界特征值片段各自对应的临界特征值生成所述至少一个分割标识，包括：
针对所述至少一个临界特征值片段的每一个临界特征值片段，将该临界特征值片段所包括的特征值中等于与该临界特征值片段对应的临界特征值的最后一个特征值作为与该临界特征值片段对应的分割标识，
其中，根据所述至少一个分割标识将所述特征值数组分割成所述多个区块，包括：
针对所述至少一个分割标识的每一个分割标识，将所述特征值数组中紧邻在该分割标识之前且紧邻在另一分割标识之后的部分作为所述多个区块中的一个区块，或者，将所述特征值数组中紧邻在该分割标识之后且紧邻在另一分割标识之前的部分作为所述多个区块中的一个区块。
17.根据权利要求14所述的作业周期生成装置，其特征在于，将该图像的交互比与最小重叠度阈值比较，当该图像的交互比小于该最小重叠度阈值时该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框没有重叠，否则该图像的交互比指示该料件搬运器检测框与该料件搬运作业区域检测框有重叠。
18.根据权利要求14至17中任一项所述的作业周期生成装置，其特征在于，所述作业周期生成装置用于生成废钢料件搬运作业周期，所述料件搬运器是用于搬运待搬运废钢料件集合的吸盘、抓手或者废钢料件搬运器，所述料件搬运作业区域是用于装载所述待搬运废钢料件集合的车辆的车厢。
19.根据权利要求14至17中任一项所述的作业周期生成装置，其特征在于，所述作业周期生成装置用于生成货物搬运作业周期，所述料件搬运器是用于搬运待搬运货物集合的吸盘、抓手或者货物搬运器，所述料件搬运作业区域是用于装载所述待搬运货物集合的载具的货物容纳区域或者用于货物堆放的指定区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111541197.6A CN113936253B (zh) | 2021-12-16 | 2021-12-16 | 料件搬运作业周期生成方法、存储介质、电子设备及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111541197.6A CN113936253B (zh) | 2021-12-16 | 2021-12-16 | 料件搬运作业周期生成方法、存储介质、电子设备及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113936253A CN113936253A (zh) | 2022-01-14 |
| CN113936253B true CN113936253B (zh) | 2022-03-01 |
Family
ID=79289176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111541197.6A Active CN113936253B (zh) | 2021-12-16 | 2021-12-16 | 料件搬运作业周期生成方法、存储介质、电子设备及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113936253B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114706859B (zh) * | 2022-06-06 | 2022-09-02 | 广东鹰视能效科技有限公司 | 一种用电情况的快速分析方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09218948A (ja) * | 1996-02-09 | 1997-08-19 | Nireco Corp | 同心円傾向画像中心算出方法 |
| CN101564300A (zh) * | 2009-06-03 | 2009-10-28 | 哈尔滨工程大学 | 基于区域特征分析的步态周期检测方法 |
| CN111178194A (zh) * | 2019-12-18 | 2020-05-19 | 深圳前海达闼云端智能科技有限公司 | 入侵检测方法、装置和设备 |
| CN112949639A (zh) * | 2021-01-26 | 2021-06-11 | 浙江大学医学院附属儿童医院 | 一种先天性心脏病心音智能分割分类算法、装置及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3492946B1 (en) * | 2017-12-01 | 2021-05-12 | Origin Wireless, Inc. | Method, apparatus, and system for object tracking and navigation |
| CN113033501A (zh) * | 2021-05-06 | 2021-06-25 | 泽恩科技有限公司 | 一种基于关节四元数的人体分类方法及装置 |
-
2021
- 2021-12-16 CN CN202111541197.6A patent/CN113936253B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09218948A (ja) * | 1996-02-09 | 1997-08-19 | Nireco Corp | 同心円傾向画像中心算出方法 |
| CN101564300A (zh) * | 2009-06-03 | 2009-10-28 | 哈尔滨工程大学 | 基于区域特征分析的步态周期检测方法 |
| CN111178194A (zh) * | 2019-12-18 | 2020-05-19 | 深圳前海达闼云端智能科技有限公司 | 入侵检测方法、装置和设备 |
| CN112949639A (zh) * | 2021-01-26 | 2021-06-11 | 浙江大学医学院附属儿童医院 | 一种先天性心脏病心音智能分割分类算法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于区域特征分析的步态周期检测;王科俊 等;《2009 Chinese Conference on Pattern Recognition》;20091106;1-6 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113936253A (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Saito et al. | Multiple object extraction from aerial imagery with convolutional neural networks | |
| US20190065817A1 (en) | Method and system for detection and classification of cells using convolutional neural networks | |
| CN111797895B (zh) | 一种分类器的训练方法、数据处理方法、系统以及设备 | |
| CN114187442A (zh) | 图像处理方法、存储介质、电子设备及图像处理装置 | |
| CN114092817B (zh) | 目标检测方法、存储介质、电子设备及目标检测装置 | |
| CN113935997B (zh) | 用于料件检测的图像处理方法、存储介质及图像处理装置 | |
| CN113936253B (zh) | 料件搬运作业周期生成方法、存储介质、电子设备及装置 | |
| US11210559B1 (en) | Artificial neural networks having attention-based selective plasticity and methods of training the same | |
| CN113936220B (zh) | 图像处理方法、存储介质、电子设备及图像处理装置 | |
| Díaz-Romero et al. | Simultaneous mass estimation and class classification of scrap metals using deep learning | |
| US20230201973A1 (en) | System and method for automatic detection of welding tasks | |
| Sikora et al. | Artificial neural networks and fuzzy logic in nondestructive evaluation | |
| CN114067171A (zh) | 一种克服小数据训练集的图像识别精度提升方法及系统 | |
| Moskalenko et al. | Improving the effectiveness of training the on-board object detection system for a compact unmanned aerial vehicle | |
| KR102462733B1 (ko) | 샴 네트워크를 활용하는 강인한 다중 객체 검출 장치 및 방법 | |
| Suzuki et al. | Superpixel convolution for segmentation | |
| CN114187211A (zh) | 用于优化图像语义分割结果的图像处理方法及装置 | |
| Tho et al. | Using ANFIS to predict picking position of the fruits sorting system | |
| CN113963280B (zh) | 用于料件智能检判的识别方法、装置及存储介质 | |
| CN114170194A (zh) | 用于废钢料件自动检测的图像处理方法、存储介质及装置 | |
| CN114241262A (zh) | 吸盘作业周期生成方法、存储介质、电子设备及装置 | |
| CN114359698B (zh) | 一种基于双向跨跃反馈循环结构声纳图像识别方法及系统 | |
| PANJAITAN et al. | Counting of Oil Palm Fresh Fruit Bunches using Computer Vision | |
| KR102635727B1 (ko) | 인공지능에 기반한 재활용품 분류를 위한 장치, 시스템, 및 방법 | |
| Cenkeramaddi et al. | Multi-Target Classification Using Deep Learning Models for Automotive Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |