CN116433930A - 搬运车辆动作识别方法、装置、电子设备及可读存储介质 - Google Patents
搬运车辆动作识别方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN116433930A CN116433930A CN202111658580.XA CN202111658580A CN116433930A CN 116433930 A CN116433930 A CN 116433930A CN 202111658580 A CN202111658580 A CN 202111658580A CN 116433930 A CN116433930 A CN 116433930A
- Authority
- CN
- China
- Prior art keywords
- motion
- image
- sequence
- action
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 368
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims description 93
- 230000004927 fusion Effects 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 8
- 239000013589 supplement Substances 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种搬运车辆动作识别方法、装置、电子设备及可读存储介质，本方法包括：获取待识别的初始图像序列；提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征；根据所述动作特征和所述动作时序特征，预测所述目标搬运车辆的动作。一方面，本方法结合了初始图像序列中包含了空间信息的动作特征和包含了时间信息的动作时序特征，以预测目标搬运车辆的动作，相比仅根据空间特征进行动作识别的方法信息更加丰富，因此识别精度更高。另一方面，动作特征中的空间信息可以对动作时序特征中的信息进行补充，相比仅根据时序特征进行动作识别的方法，可以避免动作时序特征中包含的空间信息不准确而误判目标搬运车辆的动作。
Description
技术领域
本申请涉及物流技术领域，具体涉及一种搬运车辆动作识别方法、装置、电子设备及可读存储介质。
背景技术
物流行业中，叉车是必不可少的运载工具。在实际生产过程中，为了保证叉车规范作业，需要对叉车的作业情况进行监督。其中，一种经常采用的方法是识别叉车的动作，根据叉车的动作判断叉车的作业情况。
目前，通常采用人工和机器判断的方法对叉车的动作进行识别，但是采用人工识别的方法会大大提高人力成本，而采用机器判断的方法识别精度离实际应用仍然相差较远。
发明内容
本申请提供一种搬运车辆动作识别方法、装置、电子设备及可读存储介质，旨在解决目前对叉车动作进行识别的方法精度不高的问题。
第一方面，本申请提供一种搬运车辆动作识别方法，包括：
获取待识别的初始图像序列；
提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征；
根据所述动作特征和所述动作时序特征，预测所述目标搬运车辆的动作。
在本申请一种可能的实现方式中，所述提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征，包括：
将所述初始图像序列中的各初始图像按顺序进行划分，得到多个预设颜色空间通道各自对应的图像子序列；
对各所述图像子序列进行颜色空间转换融合，得到动作信息图像；
对所述动作信息图像进行动作特征提取，得到目标搬运车辆的动作特征；
根据各所述图像子序列，确定所述动作特征对应的动作时序特征。
在本申请一种可能的实现方式中，所述对各所述图像子序列进行颜色空间转换融合，得到动作信息图像，包括：
根据各所述图像子序列中的各所述初始图像，确定各所述图像子序列的均值图像；
将各所述图像子序列的所述均值图像设定为对应预设颜色空间通道的颜色空间通道图像，得到动作信息图像。
在本申请一种可能的实现方式中，所述根据各所述图像子序列，确定所述动作特征对应的动作时序特征，包括：
分别从对应的所述图像子序列中，选择各所述预设颜色空间通道对应的序列图像，得到动作图像序列；
对所述动作图像序列进行时序特征提取，得到所述动作特征对应的动作时序特征。
在本申请一种可能的实现方式中，所述提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征，包括：
对所述初始图像序列的各初始图像进行融合，得到融合图像；
提取所述融合图像中目标搬运车辆的运动轨迹特征；
根据所述运动轨迹特征，预测所述融合图像中目标搬运车辆的运动区域；
根据所述运动区域，对各所述初始图像进行裁剪，得到目标图像序列；
提取所述目标图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征。
在本申请一种可能的实现方式中，所述提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征，包括：
将所述初始图像序列中的各初始图像进行融合，得到动作信息图像；
根据所述初始图像序列，确定动作图像序列；
将所述动作信息图像和所述初始图像序列输入预设的动作识别模型，得到目标搬运车辆的动作特征和所述动作特征对应的动作时序特征；
所述根据所述动作特征和所述动作时序特征，预测所述目标搬运车辆的动作，包括：
通过预设的所述动作识别模型处理所述动作特征和所述动作时序特征融合后得到的融合特征，预测所述目标搬运车辆的动作。
在本申请一种可能的实现方式中，预设的所述动作识别模型通过以下步骤训练得到：
获取训练数据，其中，所述训练数据包括训练图像序列和所述训练图像序列中样本搬运车辆的实际动作；
将所述训练图像序列中的各训练图像进行融合，得到动作信息图像；
根据所述训练图像序列，确定训练动作图像序列；
将所述动作信息图像和所述训练图像序列输入初始的动作识别模型，得到所述样本搬运车辆的预测动作；
根据所述预测动作和所述实际动作，对初始的所述动作识别模型中的参数进行调整，得到预设的所述动作识别模型。
在本申请一种可能的实现方式中，所述根据所述动作特征和所述动作时序特征，预测所述目标搬运车辆的动作之后，所述方法还包括：
根据所述初始图像序列中各初始图像的拍摄时间，查询预设的排班时间表，得到所述目标搬运车辆的合规动作；
若所述动作与所述合规动作不相同，则通过目标终端发送提示信息。
第二方面，本申请提供一种搬运车辆动作识别装置，包括：
获取单元，用于获取待识别的初始图像序列；
提取单元，用于提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征；
预测单元，用于根据所述动作特征和所述动作时序特征，预测所述目标搬运车辆的动作。
在本申请一种可能的实现方式中，提取单元还用于：
将所述初始图像序列中的各初始图像按顺序进行划分，得到多个预设颜色空间通道各自对应的图像子序列；
对各所述图像子序列进行颜色空间转换融合，得到动作信息图像；
对所述动作信息图像进行动作特征提取，得到目标搬运车辆的动作特征；
根据各所述图像子序列，确定所述动作特征对应的动作时序特征。
在本申请一种可能的实现方式中，提取单元还用于：
根据各所述图像子序列中的各所述初始图像，确定各所述图像子序列的均值图像；
将各所述图像子序列的所述均值图像设定为对应预设颜色空间通道的颜色空间通道图像，得到动作信息图像。
在本申请一种可能的实现方式中，提取单元还用于：
分别从对应的所述图像子序列中，选择各所述预设颜色空间通道对应的序列图像，得到动作图像序列；
对所述动作图像序列进行时序特征提取，得到所述动作特征对应的动作时序特征。
在本申请一种可能的实现方式中，提取单元还用于：
对所述初始图像序列的各初始图像进行融合，得到融合图像；
提取所述融合图像中目标搬运车辆的运动轨迹特征；
根据所述运动轨迹特征，预测所述融合图像中目标搬运车辆的运动区域；
根据所述运动区域，对各所述初始图像进行裁剪，得到目标图像序列；
提取所述目标图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征。
在本申请一种可能的实现方式中，提取单元还用于：将所述初始图像序列中的各初始图像进行融合，得到动作信息图像；
根据所述初始图像序列，确定动作图像序列；
将所述动作信息图像和所述初始图像序列输入预设的动作识别模型，得到目标搬运车辆的动作特征和所述动作特征对应的动作时序特征；
预测单元还用于：
通过预设的所述动作识别模型处理所述动作特征和所述动作时序特征融合后得到的融合特征，预测所述目标搬运车辆的动作；
在本申请一种可能的实现方式中，搬运车辆动作识别装置还包括训练单元，训练单元用于：
获取训练数据，其中，所述训练数据包括训练图像序列和所述训练图像序列中样本搬运车辆的实际动作；
将所述训练图像序列中的各训练图像进行融合，得到动作信息图像；
根据所述训练图像序列，确定训练动作图像序列；
将所述动作信息图像和所述训练图像序列输入初始的动作识别模型，得到所述样本搬运车辆的预测动作；
根据所述预测动作和所述实际动作，对初始的所述动作识别模型中的参数进行调整，得到预设的所述动作识别模型。
在本申请一种可能的实现方式中，搬运车辆动作识别装置还包括提示单元，提示单元用于：
根据所述初始图像序列中各初始图像的拍摄时间，查询预设的排班时间表，得到所述目标搬运车辆的合规动作；
若所述动作与所述合规动作不相同，则通过目标终端发送提示信息。
第三方面，本申请还提供一种电子设备，电子设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序，处理器调用存储器中的计算机程序时执行本申请提供的任一种搬运车辆动作识别方法中的步骤。
第四方面，本申请还提供一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本申请提供的任一种搬运车辆动作识别方法中的步骤。
综上所述，本申请实施例提供的搬运车辆动作识别方法包括：获取待识别的初始图像序列；提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征；根据所述动作特征和所述动作时序特征，预测所述目标搬运车辆的动作。一方面，本申请实施例提供的方法结合了初始图像序列中包含了空间信息的动作特征和包含了时间信息的动作时序特征，以预测目标搬运车辆的动作，相比仅根据空间特征进行动作识别的方法信息更加丰富，因此识别精度更高。另一方面，动作特征中的空间信息可以对动作时序特征中的信息进行补充，相比仅根据时序特征进行动作识别的方法，可以避免动作时序特征中包含的空间信息不准确而误判目标搬运车辆的动作。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的动作识别模型的结构示意图；
图2是本申请实施例提供的搬运车辆动作识别方法的应用场景示意图；
图3是本申请实施例中提供的搬运车辆动作识别方法的一种流程示意图；
图4是本申请实施例中提供的确定动作时序特征的一种流程示意图；
图5是本申请实施例中提供的对初始图像序列进行裁剪的一种流程示意图；
图6是本申请实施例中提供的运动区域的一种示意图；
图7是本申请实施例中提供的得到动作后若与合规动作不同，则进行提示的一种流程示意图；
图8是本申请实施例中提供的模块结构的一种示意图；
图9是本申请实施例中提供的搬运车辆动作识别装置的一个实施例结构示意图；
图10是本申请实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的过程进行详细阐述，以避免不必要的细节使本申请实施例的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请实施例所公开的原理和特征的最广范围相一致。
本申请实施例提供一种搬运车辆动作识别方法、装置、电子设备和可读存储介质。其中，该搬运车辆动作识别装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
本申请实施例搬运车辆动作识别方法的执行主体可以为本申请实施例提供的搬运车辆动作识别装置，或者集成了该搬运车辆动作识别装置的服务器设备、物理主机或者用户设备(User Equipment，UE)等不同类型的电子设备，其中，搬运车辆动作识别装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备。
该电子设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式。
首先，介绍一种可用于对货物搬运车辆进行动作识别的动作识别模型，货物搬运车辆是指对货物进行装卸、堆垛和短距离运输作业的各种轮式搬运车辆，例如，快递物流行业用来对包裹进行处理的叉车即为一种货物搬运车辆。参考图1，图1中的动作识别模型100包括：
第一特征提取层101，第一特征提取层101可由二维卷积神经网络(2-dimentionalConvolutional Neural Networks,2D CNN)构成，用于从一张输入图像中提取得到该图像中货物搬运车辆的动作特征。
第二特征提取层102，第二特征提取层102可由三维卷积神经网络(3-dimentionalConvolutional Neural Networks,3D CNN)构成，用于从输入的图像序列中提取得到该图像序列中货物搬运车辆的动作时序特征。
特征融合层103，用于将第一特征提取层101输出的动作特征和第二特征提取层102输出的动作时序特征融合，以得到融合特征，融合的方式可以包括拼接等等。
深度特征提取层104，可由二维卷积神经网络构成，用于从融合特征中提取更深层次的特征，相当于对融合特征进行提炼和精简。
动作预测层105，可由全连接层(fully connected layers，FC)构成，用于根据深度特征提取层104所输出的特征对货物搬运车辆的动作进行预测。
在进行动作识别时，为了保证动作时序特征和动作特征对应，即动作特征中包含信息所对应的特征与动作时序特征中包含信息所对应的特征相同，可以将输入第二特征提取层102的图像序列中所包含的各图像融合，得到包含了各图像中特征的融合图像，在该融合图像中包含了图像序列对应的时间段内每个时间点货物搬运车辆所作行为的特征，然后通过第一特征提取层101提取融合图像中的特征，以得到图像序列中货物搬运车辆的动作特征。
可见，图1中的动作识别模型100分别通过第一特征提取层101和第二特征提取层102提取了图像序列中的空间信息和时间信息，可以准确预测货物搬运车辆的动作。
参见图2，图2是本申请实施例所提供的搬运车辆动作识别系统的场景示意图。其中，该搬运车辆动作识别系统可以包括电子设备200，电子设备200中集成有搬运车辆动作识别装置。
另外，如图2所示，该搬运车辆动作识别系统还可以包括存储器201，用于存储数据，如存储文本数据。
需要说明的是，图2所示的搬运车辆动作识别系统的场景示意图仅仅是一个示例，本申请实施例描述的搬运车辆动作识别系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着搬运车辆动作识别系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
下面，开始介绍本申请实施例提供的搬运车辆动作识别方法，本申请实施例中以电子设备作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体，该搬运车辆动作识别包括：获取待识别的初始图像序列；提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征；根据所述动作特征和所述动作时序特征，预测所述目标搬运车辆的动作。
参照图3，图3是本申请实施例提供的搬运车辆动作识别方法的一种流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该搬运车辆动作识别方法具体可以包括以下步骤301-步骤303，其中：
301、获取待识别的初始图像序列。
初始图像序列中的各图像是包含待进行违规判断的目标搬运车辆的图像，初始图像序列可以是由这些图像按时间顺序组成的图像序列，为了方便描述，在后文中将初始图像序列中的图像称为初始图像。目标搬运车辆是指初始图像序列中拍摄到的货物搬运车辆，例如初始图像序列中拍摄到某辆叉车时，该叉车即为目标搬运车辆，货物搬运车辆的解释可以参考上文对图1进行说明时的解释，在此不进行赘述。
在一些实施例中，初始图像序列中的各初始图像可以是灰度图像，也可以不是灰度图像，当各初始图像不是灰度图像时，可以将各初始图像转换为灰度图像，然后再继续后面的步骤。
本申请实施例对获取初始图像的方法不进行限制，示例性地，可以通过以下描述方法中的任意一种获取初始图像：
(1)可以在待进行动作识别的场地上集成摄像头等图像获取设备，通过该图像获取设备实时拍摄得到目标搬运车辆的视频帧或图像，以得到各初始图像。例如，可以在中转场或者仓库的天花板上集成摄像头，通过该摄像头实时拍摄得到叉车的视频帧或图像，以得到各初始图像。
(2)可以从存储有图像获取设备拍摄得到的图像的相关存储介质，读取出图像获取设备获取到的目标搬运车辆图像，以得到各初始图像。
(3)读取预先采集并存储在电子设备内部的目标搬运车辆视频帧或图像，以得到各初始图像。
其中，图像获取设备可根据预设的拍摄方式拍摄初始图像，例如可设置摄像头的拍摄高度、拍摄方向或者拍摄距离，其具体拍摄方式可根据图像获取设备本身进行调节，具体在此不作限定。
在一些实施例中，可以对图像获取设备获取到的图像进行一定的预处理，以得到图像内容清晰的初始图像。例如，可以对图像获取设备获取到的图像进行对比度增强、去噪等预处理，以得到初始图像。
302、提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征。
其中，动作特征是指货物搬运车辆在图像序列对应的拍摄时间段中所作动作的图像特征，动作特征包含了货物搬运车辆在图像序列的各图像中对应的信息。示例性地，动作特征可以包含货物搬运车辆在图像序列的各图像中对应的姿态信息，其中，姿态信息包括货物搬运车辆的载货信息、货叉状态信息等等。
以下举一个具体场景的例子对动作特征进行说明。例如，若初始图像序列中依次包含了a时间点拍摄的初始图像A、b时间点拍摄的初始图像B、c时间点拍摄的初始图像C、d时间点拍摄的初始图像D，a时间点相较其他拍摄时间点最早，d时间点相较其他拍摄时间点最晚，则初始图像序列中的动作特征是指a时间点至d时间点之间目标搬运车辆所作动作的图像特征，其中可以包含初始图像A、初始图像B、初始图像C、初始图像D中目标搬运车辆的各姿态信息。
动作时序特征是动作特征对应的时序特征，表征了动作特征中各图像对应的信息的时间先后顺序。同样对于依次包含了a时间点拍摄的初始图像A、b时间点拍摄的初始图像B、c时间点拍摄的初始图像C、d时间点拍摄的初始图像D的初始图像序列，初始图像序列中的动作时序特征为初始图像A对应的信息1、初始图像B对应的信息2、初始图像C对应的信息3、初始图像D对应的信息4之间实施的先后顺序。例如本例子中的信息1、信息2、信息3和信息4分别包含了目标搬运车辆的姿态1、姿态2、姿态3、姿态4的信息时，初始图像序列中的动作时序特征所包含的信息为“目标搬运车辆的姿态依次为姿态1、姿态2、姿态3、姿态4”。
在一些实施例中，可以通过图1中预设的动作识别模型100提取初始图像序列中的动作特征和动作时序特征。示例性地，可以通过预设的动作识别模型100中的第一特征提取层101和第二特征提取层102分别提取初始图像序列中的动作特征和动作时序特征。此时，可以通过以下方法得到初始图像序列中目标搬运车辆的动作特征和该动作特征对应的动作时序特征：将所述初始图像序列中的各初始图像进行融合，得到动作信息图像；根据所述初始图像序列，确定动作图像序列；将所述动作信息图像和所述初始图像序列输入预设的动作识别模型，得到目标搬运车辆的动作特征和所述动作特征对应的动作时序特征。
例如，在进行动作识别时，可以首先将初始图像序列中所包含的各初始图像融合，得到包含了各初始图像中特征的融合图像，并将融合图像输入预设的动作识别模型100中的第一特征提取层101，以得到初始图像序列中目标搬运车辆的动作特征。同时，将初始图像序列输入预设的动作识别模型100中的第二特征提取层102，以得到初始图像序列中目标搬运车辆的动作时序特征。
预设的动作识别模型100可以通过以下方式训练得到：
(1)获取训练数据，其中，所述训练数据包括训练图像序列和所述训练图像序列中样本搬运车辆的实际动作。
样本搬运车辆是指训练图像序列中拍摄到的货物搬运车辆，样本搬运车辆和目标搬运车辆可以相同，也可以不同。
本申请实施例对获取训练图像序列中各训练图像的方法不进行限制，例如，可以通过以下描述方法中的任意一种获取各图像：
(1.1)可以在初始动作序列的拍摄场地上集成摄像头等图像获取设备，通过该图像获取设备实时拍摄得到样本搬运车辆的视频帧或图像，以得到训练图像序列中的各训练图像。例如，可以在中转场或者仓库的天花板上集成摄像头，通过该摄像头实时拍摄得到叉车的视频帧或图像，以得到训练图像序列中的各训练图像。
(1.2)可以从存储有图像获取设备拍摄得到的图像的相关存储介质，读取出图像获取设备获取到的样本搬运车辆图像，以得到训练图像序列中的各训练图像。
(1.3)读取预先采集并存储在电子设备内部的样本搬运车辆视频帧或图像，以得到训练图像序列中的各训练图像。
实际动作是指样本搬运车辆的真实动作，可以通过人工或者机器的方式对训练图像序列中样本搬运车辆的实际动作进行标注。例如，可以人工观察各训练图像序列，以对训练图像序列中样本搬运车辆的实际动作进行标注。或者，也可以通过电子设备自动对各训练图像序列进行标注，例如，电子设备可以读取预设的搬运车辆值班表，确定样本搬运车辆的实际动作并标注对应的训练图像序列。
(2)将所述训练图像序列中的各训练图像进行融合，得到动作信息图像。
(3)根据所述训练图像序列，确定训练动作图像序列。
(4)将所述动作信息图像和所述训练图像序列输入初始的动作识别模型，得到所述样本搬运车辆的预测动作。
(5)根据所述预测动作和所述实际动作，对初始的所述动作识别模型中的参数进行调整，得到预设的所述动作识别模型。
在对初始的动作识别模型进行训练之前，可以通过以下步骤进行训练准备：
(1)搭建动作识别模型的训练环境，训练环境是指模型的配置环境；
(2)构建动作识别模型，定义动作识别模型的损失函数，其中，损失函数可以是交叉熵损失函数、平方损失函数等等；
(3)修改训练参数配置，训练参数可以包括训练步长、训练速率等等；
(4)导入动作识别模型的预训练权重，得到初始的动作识别模型。
执行完上述训练准备的步骤后，可以通过标注好的训练图像序列对初始的动作识别模型进行训练。
此外，还可以将训练图像序列划分为训练图像序列集和测试图像序列集，通过训练图像序列集中的训练图像序列对初始的动作识别模型进行训练，通过测试图像序列集中的训练图像序列验证训练后的动作识别模型，如果训练后的动作识别模型满足预设的训练终止条件，则将训练后的动作识别模型作为预设的动作识别模型。
在本申请实施例中，同时提取初始图像序列中动作特征和动作时序特征的原因如下：
一方面，虽然提取得到的动作时序特征中包含了部分空间信息，例如对于依次包含了a时间点拍摄的初始图像A、b时间点拍摄的初始图像B、c时间点拍摄的初始图像C、d时间点拍摄的初始图像D的初始图像序列，提取得到的动作时序特征中包含了信息1、信息2、信息3和信息4中的部分信息，但是动作时序特征中包含的空间信息远不如动作特征中包含的空间信息丰富，因此本申请实施例中的方法可以共享动作特征和动作时序特征中的空间信息，提高对初始图像序列中各初始图像对应的各信息的判断精确度，进而准确识别目标搬运车辆的动作。例如对于依次包含了a时间点拍摄的初始图像A、b时间点拍摄的初始图像B、c时间点拍摄的初始图像C、d时间点拍摄的初始图像D的初始图像序列，如果仅通过初始图像序列的动作时序特征中包含的空间信息，可能在进行动作识别时，对信息1、信息2、信息3和信息4的内容产生误判，例如信息1、信息2、信息3和信息4分别对应姿态1、姿态2、姿态3、姿态4时，可能对各姿态产生误判，进而识别得到的动作不准确。如果同时结合初始图像序列的动作时序特征和动作特征，则可以大大降低这种误判发生的概率。
另一方面，如果仅基于各初始图像中包含的信息进行动作识别，而不考虑各初始图像中信息的先后顺序，则同样会导致识别得到的动作不准确。
以下举一例进行说明，假设对于动作“装货”，其对应的姿态依次为“未载货”、“未载货”、“载货”、“载货”，对于动作“卸货”，其对应的姿态依次为“载货”、“载货”、“未载货”、“未载货”。如果对应包含了4张初始图像的初始图像序列，这3张初始图像按时间顺序分别包含了“载货”、“载货”、“未载货”、“未载货”的姿态信息，在考虑这4张初始图像中信息的先后顺序时，可以确定目标搬运车辆的动作为“卸货”，如果未考虑这4张初始图像中信息的先后顺序，则有可能将目标搬运车辆的动作识别为“装货”。
303、根据所述动作特征和所述动作时序特征，预测所述目标搬运车辆的动作。
目标搬运车辆的动作可以是多种预设动作中的一种。例如，目标搬运车辆的动作可以是静止、装货、卸货等等。
在一些实施例中，可以通过图1中预设的动作识别模型100预测目标搬运车辆的动作。此时可以通过以下步骤预测目标搬运车辆的动作：通过预设的所述动作识别模型处理所述动作特征和所述动作时序特征融合后得到的融合特征，预测所述目标搬运车辆的动作。示例性地，可以通过预设的动作识别模型100中的动作预测层105处理初始图像序列中动作特征和动作时序特征融合后得到的融合特征，预测目标搬运车辆的动作。例如，可以首先通过预设的动作识别模型100中的特征融合层103，将第一特征提取层101输出的动作特征和第二特征提取层102输出的动作时序特征融合，以得到初始图像序列的融合特征，然后通过深度特征提取层104对融合特征进行提炼和精简，以得到最终的特征，然后通过动作预测层105，根据最终的特征预测目标搬运车辆的动作。
综上所述，本申请实施例提供的搬运车辆动作识别方法包括：获取待识别的初始图像序列；提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征；根据所述动作特征和所述动作时序特征，预测所述目标搬运车辆的动作。一方面，本申请实施例提供的方法结合了初始图像序列中包含了空间信息的动作特征和包含了时间信息的动作时序特征，以预测目标搬运车辆的动作，相比仅根据空间特征进行动作识别的方法信息更加丰富，因此识别精度更高。另一方面，动作特征中的空间信息可以对动作时序特征中的信息进行补充，相比仅根据时序特征进行动作识别的方法，可以避免动作时序特征中包含的空间信息不准确而误判目标搬运车辆的动作。
在一些实施例中，可以将初始图像序列中的各初始图像进行像素值平均计算，以简单地融合各初始图像，进而得到动作特征。但是这种方法会将各初始图像中包含的信息混淆在一起，导致动作特征提取困难，并且动作特征中各初始图像对应的信息区分不明显，在进行动作识别时对动作特征中包含的不同信息不敏感。
为了克服上述提取动作特征时的问题，在另一些实施例中可以将各初始图像融合为颜色空间图像，以放大动作特征中不同信息的区别，降低动作特征提取的难度，提高进行动作识别时对动作特征中包含的不同信息的敏感度，敏感度是指获取不同信息的能力。参考图4，此时步骤“提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征”包括：
401、将所述初始图像序列中的各初始图像按顺序进行划分，得到多个预设颜色空间通道各自对应的图像子序列。
在本申请实施例中，可以根据初始图像序列中各初始图像的拍摄时间点顺序，对各初始图像进行划分，得到多个图像子序列，划分时可以平均划分，以保证每个图像子序列中包含相同数量的初始图像，进而每个预设颜色空间通道对应的图像子序列中包含的信息量相同。将各初始图像进行划分的原因是由于融合得到的图像为颜色空间图像，因此首先需要得到各颜色空间通道对应的通道图像。例如融合后得到的图像为RGB图像时，可以将各初始图像划分为3份，得到3个图像子序列，分别对应R通道、G通道和B通道，其中，各图像子序列和预设颜色空间通道之间并没有严格的对应规则，假设对各初始图像进行划分得到图像子序列a、图像子序列b、图像子序列c，则图像子序列a、图像子序列b、图像子序列c可以分别对应R通道、G通道和B通道，也可以分别对应G通道、B通道和R通道等等。
402、对各所述图像子序列进行颜色空间转换融合，得到动作信息图像。
颜色空间转换融合是指将各图像子序列中的初始图像进行融合，得到颜色空间图像，动作信息图像即为得到的颜色空间图像。在一些实施例中，颜色空间转换可以是指将各图像子序列中的初始图像进行融合，得到RGB图像，动作信息图像即为得到的RGB图像。在得到的动作信息图像中，融合了初始图像序列中各初始图像所包含的信息，因此可以理解的是，步骤401和步骤402的目的是为了将初始图像序列中各初始图像包含的信息融合在一张图像中，以便提取动作特征。
示例性地，可以通过以下的步骤得到动作信息图像，此时步骤“对各所述图像子序列进行颜色空间转换融合，得到动作信息图像”包括：
(1)根据各所述图像子序列中的各所述初始图像，确定各所述图像子序列的均值图像。
(2)将各所述图像子序列的所述均值图像设定为对应预设颜色空间通道的颜色空间通道图像，得到动作信息图像。
示例性地，可以计算每一个图像子序列中各初始图像的图像均值，得到每一个图像子序列对应的均值图像，并将每一个图像子序列对应的均值图像作为该图像子序列对应的预设颜色空间通道的颜色空间通道图像，一个图像子序列的图像均值是指将该图像子序列的各初始图像中，相同位置的像素值进行平均求和之后，得到的像素值矩阵，该像素值矩阵对应的图像即为该图像子序列的均值图像。以下举一例具体说明：如果对初始图像序列划分后，得到R通道、G通道和B通道分别对应的图像子序列a、图像子序列b、图像子序列c，可以分别对图像子序列a、图像子序列b、图像子序列c所包含的初始图像计算图像均值，得到图像子序列a、图像子序列b、图像子序列c分别对应的均值图像a、均值图像b、均值图像c，并将均值图像a、均值图像b、均值图像c分别作为R通道、G通道和B通道的颜色空间通道图像，以得到在RGB颜色空间中的动作信息图像。
通过计算均值图像，可以将一个图像子序列中所有初始图像包含的信息融合至一个图像，即对应的均值图像中，由于划分后每个图像子序列对应的拍摄时间段很短，可以认为在每个图像子序列中各初始图像包含的信息近似，因此即使以均值的方式进行融合，也不会导致信息混淆，并且还可以将初始图像序列中的多个拍摄时间点简化为n个时间点，同时降低提取动作特征和动作时序特征时的难度和计算量，其中，n为图像子序列的数量。
可以理解的，在本申请实施例中通过将初始图像序列中的各初始图像融合为颜色空间图像，为不同初始图像对应的信息提供了定性标准。示例性地，当动作信息图像为RGB图像时，在得到的动作信息图像中，不同图像子序列中目标搬运车辆的信息以不同颜色的形式存在。例如对初始图像序列划分后得到R通道、G通道和B通道分别对应的图像子序列a、图像子序列b、图像子序列c时，图像子序列a中各初始图像包含的信息在动作信息图像中的红色区域内，图像子序列b中各初始图像包含的信息在动作信息图像中的绿色区域内，图像子序列c中各初始图像包含的信息在动作信息图像中的蓝色区域内。可见，动作信息图像中图像子序列a、图像子序列b、图像子序列c分别包含的信息区分明显，有利于提高动作特征提取的准确性和进行动作识别时对动作特征中各信息的敏感度。
403、对所述动作信息图像进行动作特征提取，得到目标搬运车辆的动作特征。
在一些实施例中，可以通过图1中预设的动作识别模型100对动作信息图像进行动作特征提取。例如，可以通过预设的动作识别模型100中的第一特征提取层101对动作信息图像进行卷积、池化等处理，以得到目标搬运车辆的动作特征。
404、根据各所述图像子序列，确定所述动作特征对应的动作时序特征。
在一些实施例中，可以从每个图像子序列中选择一部分初始图像，以组成新的图像序列，再根据新的图像序列确定动作特征对应的动作时序特征，以减少提取动作时序特征时的初始图像数量，降低计算量要求，另一方面，还可以减少动作时序特征中包含的冗余信息数量。此时，步骤“根据各所述图像子序列，确定所述动作特征对应的动作时序特征”包括：
(1)分别从对应的所述图像子序列中，选择各所述预设颜色空间通道对应的序列图像，得到动作图像序列。
一个预设颜色空间通道对应的序列图像是指在该预设颜色空间通道对应的图像子序列中，包含的各初始图像中的一张或多张。根据上文所述，可以认为一个图像子序列中各初始图像所包含的信息类似，因此对于一个预设颜色空间通道，可以仅选择一张序列图像。示例性地，如果各预设颜色空间通道分别指R通道、G通道、B通道，则可以在R通道、G通道、B通道对应的图像子序列中分别获取一张序列图像，可以随机选择，也可以按一定的顺序选择，例如，可以选择各图像子序列中拍摄时间最早的一张，以得到3张序列图像。
动作图像序列是由序列图像组成的图像序列。
(2)对所述动作图像序列进行时序特征提取，得到所述动作特征对应的动作时序特征。
在一些实施例中，可以通过图1中预设的动作识别模型100对动作图像序列进行时序特征提取，以得到初始图像序列中动作特征对应的动作时序特征。示例性地，可以将动作图像序列输入预设的动作识别模型100中的第二特征提取层102，以得到初始图像序列中动作特征对应的动作时序特征。
需要说明的是，在训练时同样可以通过获取训练图像的动作图像序列的方法，对初始的动作识别模型进行训练，具体不进行赘述。
在一些实施例中，可以将初始图像序列中的初始图像进行裁剪，得到新的图像序列，再根据新的图像序列对目标搬运车辆的动作进行预测。参考图5，此时步骤“提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征”包括：
501、对所述初始图像序列的各初始图像进行融合，得到融合图像。
在一些实施例中，可以采用步骤401-步骤402中得到动作信息图像的方法对各初始图像进行融合，得到融合图像，这样，在后续提取初始图像序列的动作特征时，无需再获取动作信息图像，并且也无需专门为了裁剪图像而进行一次图像融合，在识别过程中仅进行一次图像融合就可以实现提取动作特征和裁剪图像的目的。可以理解的，由于融合图像中包含了各初始图像中的信息，因此在融合图像中，包含了目标搬运车辆在不同拍摄时间点的位置信息，即融合图像中包含了多个目标搬运车辆的位置。
502、提取所述融合图像中目标搬运车辆的运动轨迹特征。
运动轨迹特征包含了目标搬运车辆在融合图像中运动轨迹的信息，运动轨迹由融合图像中目标搬运车辆的多个位置组成。以下举一例具体说明，假设初始图像序列中包含3张初始图像，各初始图像中目标搬运车辆对应的位置分别为位置a、位置b和位置c，则在融合后得到的融合图像中，目标搬运车辆的运动轨迹特征包含了位置a、位置b和位置c的信息。
503、根据所述运动轨迹特征，预测所述融合图像中目标搬运车辆的运动区域。
运动区域是指在融合图像中，包含了目标搬运车辆的各位置的范围区域。
参考图6，图6为示出了初始图像序列和对应融合图像的一种情况，其中，图6的初始图像序列包含3张初始图像a、b、c，在各初始图像a、b、c中目标搬运车辆的对应位置分别为实心矩形a、b、c的位置，如果实心矩形a、b、c分别在融合图像d中对应的位置为a1、b1和c1，则运动区域是指融合图像中包含了位置a1、b1和c1的运动区域e，其中，运动区域e可以是融合图像中包含位置a1、b1和c1的最小矩形区域。
504、根据所述运动区域，对各所述初始图像进行裁剪，得到目标图像序列。
在一些实施例中，可以将运动区域在融合图像中的初始位置范围转换为各初始图像中对应的映射位置范围，然后根据对应的映射位置范围对各初始图像进行裁剪，保留各初始图像中映射位置范围对应的区域，以得到各裁剪图像，并将各裁剪图像组合，得到目标图像序列。继续参考图6，如果融合图像中的运动区域e在初始图像a、b、c中分别对应的区域为d1、d2和d3，则在对初始图像a、b、c进行裁剪后得到的裁剪图像分别包含了d1、d2和d3中的图像内容。
505、提取所述目标图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征。
提取目标图像序列中目标搬运车辆的动作特征和对应动作时序特征的方法可以参考上文中的描述，例如，可以通过图1中预设的动作识别模型100中的第一特征提取层101和第二特征提取层102分别提取目标图像序列中目标搬运车辆的动作特征和对应的动作时序特征，具体不进行赘述。
在一些实施例中，可以根据识别得到的动作，判断目标搬运车辆是否违规。参考图7，此时，步骤“根据所述动作特征和所述动作时序特征，预测所述目标搬运车辆的动作”之后，可以执行以下步骤：
701、根据所述初始图像序列中各初始图像的拍摄时间，查询预设的排班时间表，得到所述目标搬运车辆的合规动作。
合规动作是指在预先规定的作业安排中，目标搬运车辆被安排的作业动作。示例性地，可以将初始图像序列对应的拍摄时间段与预先设置的排班时间表进行匹配，以得到目标搬运车辆被安排的作业动作。以下举一个具体例子进行说明：参考表1，表1中为目标搬运车辆的排班时间表，
表1
如果初始图像序列中各初始图像的拍摄时间均在10:00-12:00的时间范围内，则目标搬运车辆的合规动作为表1中时间“10:00-12:00”对应的作业动作“装货”，如果初始图像序列中各初始图像的拍摄时间均在14:00-18:00的时间范围内，则目标搬运车辆的合规动作为表1中时间“14:00-18:00”对应的作业动作“卸货”。
702、若所述动作与所述合规动作不相同，则通过目标终端发送提示信息。
如果识别得到的动作与合规动作不相同，则说明目标搬运车辆未实施被安排的作业动作，即未正常工作，此时可以通过目标终端向工作人员发送语音信息、光信息等等用于提示的信息。本申请实施例对目标终端的种类不进行限制，目标终端可以是智能手机、平板电脑、视频矩阵、监控平台、车载设备等等。
本申请实施例还提供一种可以执行搬运车辆动作识别方法的模块结构，参考图8，图8中的模块结构包括搬运车辆检测模块801、动作识别模块802、图像获取模块803和终端模块804。其中，搬运车辆检测模块801包括数据集制作模块8011和识别模型训练模块8012，数据集制作模块8011用于获取训练图像序列，并执行以下两个步骤得到初始的动作识别模型的输入：
(1)对训练图像序列进行标注；
(2)根据将训练图像序列中的各训练图像进行融合，得到动作信息图像。
除了以上两个步骤之外，数据集制作模块8011还可以用于将训练图像序列划分为训练图像序列集和测试图像序列集。识别模型训练模块8012用于进行训练准备，构建初始的搬运车辆检测模型，并通过数据集制作模块8011输出的训练图像序列集和测试图像序列集对初始的动作识别模型进行训练，得到预设的动作识别模型。
动作识别模块802用于执行以下两个步骤：
(1)用于检测初始图像序列的各初始图像中目标搬运车辆的运动区域，并根据对应的运动区域对各初始图像进行裁剪，得到目标图像序列；
(2)用于通过预设的动作识别模型对目标图像序列进行处理，以预测目标搬运车辆的动作。
图像获取模块803用于获取初始图像序列。
终端模块804用于在目标搬运车辆的动作违规时发出提示信息。
为了更好实施本申请实施例中搬运车辆动作识别方法，在搬运车辆动作识别方法基础之上，本申请实施例中还提供一种搬运车辆动作识别装置，如图9所示，为本申请实施例中搬运车辆动作识别装置的一个实施例结构示意图，该搬运车辆动作识别装置900包括：
获取单元901，用于获取待识别的初始图像序列；
提取单元902，用于提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征；
预测单元903，用于根据所述动作特征和所述动作时序特征，预测所述目标搬运车辆的动作。
在本申请一种可能的实现方式中，提取单元902还用于：
将所述初始图像序列中的各初始图像按顺序进行划分，得到多个预设颜色空间通道各自对应的图像子序列；
对各所述图像子序列进行颜色空间转换融合，得到动作信息图像；
对所述动作信息图像进行动作特征提取，得到目标搬运车辆的动作特征；
根据各所述图像子序列，确定所述动作特征对应的动作时序特征。
在本申请一种可能的实现方式中，提取单元902还用于：
根据各所述图像子序列中的各所述初始图像，确定各所述图像子序列的均值图像；
将各所述图像子序列的所述均值图像设定为对应预设颜色空间通道的颜色空间通道图像，得到动作信息图像。
在本申请一种可能的实现方式中，提取单元902还用于：
分别从对应的所述图像子序列中，选择各所述预设颜色空间通道对应的序列图像，得到动作图像序列；
对所述动作图像序列进行时序特征提取，得到所述动作特征对应的动作时序特征。
在本申请一种可能的实现方式中，提取单元902还用于：
对所述初始图像序列的各初始图像进行融合，得到融合图像；
提取所述融合图像中目标搬运车辆的运动轨迹特征；
根据所述运动轨迹特征，预测所述融合图像中目标搬运车辆的运动区域；
根据所述运动区域，对各所述初始图像进行裁剪，得到目标图像序列；
提取所述目标图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征。
在本申请一种可能的实现方式中，提取单元902还用于：将所述初始图像序列中的各初始图像进行融合，得到动作信息图像；
根据所述初始图像序列，确定动作图像序列；
将所述动作信息图像和所述初始图像序列输入预设的动作识别模型，得到目标搬运车辆的动作特征和所述动作特征对应的动作时序特征；
预测单元903还用于：
通过预设的所述动作识别模型处理所述动作特征和所述动作时序特征融合后得到的融合特征，预测所述目标搬运车辆的动作；
在本申请一种可能的实现方式中，搬运车辆动作识别装置900还包括训练单元904，训练单元904用于：
获取训练数据，其中，所述训练数据包括训练图像序列和所述训练图像序列中样本搬运车辆的实际动作；
将所述训练图像序列中的各训练图像进行融合，得到动作信息图像；
根据所述训练图像序列，确定训练动作图像序列；
将所述动作信息图像和所述训练图像序列输入初始的动作识别模型，得到所述样本搬运车辆的预测动作；
根据所述预测动作和所述实际动作，对初始的所述动作识别模型中的参数进行调整，得到预设的所述动作识别模型。
在本申请一种可能的实现方式中，搬运车辆动作识别装置900还包括提示单元905，提示单元905用于：
根据所述初始图像序列中各初始图像的拍摄时间，查询预设的排班时间表，得到所述目标搬运车辆的合规动作；
若所述动作与所述合规动作不相同，则通过目标终端发送提示信息。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由于该搬运车辆动作识别装置可以执行任意实施例中搬运车辆动作识别方法中的步骤，因此，可以实现本申请任意实施例中搬运车辆动作识别方法所能实现的有益效果，详见前面的说明，在此不再赘述。
此外，为了更好实施本申请实施例中搬运车辆动作识别方法，在搬运车辆动作识别方法基础之上，本申请实施例还提供一种电子设备，参阅图10，图10示出了本申请实施例电子设备的一种结构示意图，具体的，本申请实施例提供的电子设备包括处理器1001，处理器1001用于执行存储器1002中存储的计算机程序时实现任意实施例中搬运车辆动作识别方法的各步骤；或者，处理器1001用于执行存储器1002中存储的计算机程序时实现如图9对应实施例中各单元的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器1002中，并由处理器1001执行，以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
电子设备可包括，但不仅限于处理器1001、存储器1002。本领域技术人员可以理解，示意仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
处理器1001可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
存储器1002可用于存储计算机程序和/或模块，处理器1001通过运行或执行存储在存储器1002内的计算机程序和/或模块，以及调用存储在存储器1002内的数据，实现计算机装置的各种功能。存储器1002可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的搬运车辆动作识别装置、电子设备及其相应单元的具体工作过程，可以参考任意实施例中搬运车辆动作识别方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种可读存储介质，可读存储介质上存储有计算机程序，该计算机程序被处理器执行时执行本申请任意实施例中搬运车辆动作识别方法中的步骤，具体操作可参考任意实施例中搬运车辆动作识别方法的说明，在此不再赘述。
其中，该可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
由于该可读存储介质中所存储的指令，可以执行本申请任意实施例中搬运车辆动作识别方法中的步骤，因此，可以实现本申请任意实施例中搬运车辆动作识别方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请实施例所提供的一种搬运车辆动作识别方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (11)
1.一种搬运车辆动作识别方法，其特征在于，包括：
获取待识别的初始图像序列；
提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征；
根据所述动作特征和所述动作时序特征，预测所述目标搬运车辆的动作。
2.根据权利要求1所述的搬运车辆动作识别方法，其特征在于，所述提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征，包括：
将所述初始图像序列中的各初始图像按顺序进行划分，得到多个预设颜色空间通道各自对应的图像子序列；
对各所述图像子序列进行颜色空间转换融合，得到动作信息图像；
对所述动作信息图像进行动作特征提取，得到目标搬运车辆的动作特征；
根据各所述图像子序列，确定所述动作特征对应的动作时序特征。
3.根据权利要求2所述的搬运车辆动作识别方法，其特征在于，所述对各所述图像子序列进行颜色空间转换融合，得到动作信息图像，包括：
根据各所述图像子序列中的各所述初始图像，确定各所述图像子序列的均值图像；
将各所述图像子序列的所述均值图像设定为对应预设颜色空间通道的颜色空间通道图像，得到动作信息图像。
4.根据权利要求2所述的搬运车辆动作识别方法，其特征在于，所述根据各所述图像子序列，确定所述动作特征对应的动作时序特征，包括：
分别从对应的所述图像子序列中，选择各所述预设颜色空间通道对应的序列图像，得到动作图像序列；
对所述动作图像序列进行时序特征提取，得到所述动作特征对应的动作时序特征。
5.根据权利要求1所述的搬运车辆动作识别方法，其特征在于，所述提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征，包括：
对所述初始图像序列的各初始图像进行融合，得到融合图像；
提取所述融合图像中目标搬运车辆的运动轨迹特征；
根据所述运动轨迹特征，预测所述融合图像中目标搬运车辆的运动区域；
根据所述运动区域，对各所述初始图像进行裁剪，得到目标图像序列；
提取所述目标图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征。
6.根据权利要求1所述的搬运车辆动作识别方法，其特征在于，所述提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征，包括：
将所述初始图像序列中的各初始图像进行融合，得到动作信息图像；
将所述动作信息图像和所述初始图像序列输入预设的动作识别模型，得到目标搬运车辆的动作特征和所述动作特征对应的动作时序特征；
所述根据所述动作特征和所述动作时序特征，预测所述目标搬运车辆的动作，包括：
通过预设的所述动作识别模型处理所述动作特征和所述动作时序特征融合后得到的融合特征，预测所述目标搬运车辆的动作。
7.根据权利要求6所述的搬运车辆动作识别方法，其特征在于，预设的所述动作识别模型通过以下步骤训练得到：
获取训练数据，其中，所述训练数据包括训练图像序列和所述训练图像序列中样本搬运车辆的实际动作；
将所述训练图像序列中的各训练图像进行融合，得到动作信息图像；
将所述动作信息图像和所述训练图像序列输入初始的动作识别模型，得到所述样本搬运车辆的预测动作；
根据所述预测动作和所述实际动作，对初始的所述动作识别模型中的参数进行调整，得到预设的所述动作识别模型。
8.根据权利要求1-7任一项所述的搬运车辆动作识别方法，其特征在于，所述根据所述动作特征和所述动作时序特征，预测所述目标搬运车辆的动作之后，所述方法还包括：
根据所述初始图像序列中各初始图像的拍摄时间，查询预设的排班时间表，得到所述目标搬运车辆的合规动作；
若所述动作与所述合规动作不相同，则通过目标终端发送提示信息。
9.一种搬运车辆动作识别装置，其特征在于，包括：
获取单元，用于获取待识别的初始图像序列；
提取单元，用于提取所述初始图像序列中目标搬运车辆的动作特征和所述动作特征对应的动作时序特征；
预测单元，用于根据所述动作特征和所述动作时序特征，预测所述目标搬运车辆的动作。
10.一种电子设备，其特征在于，所述电子设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的搬运车辆动作识别方法中的步骤。
11.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的搬运车辆动作识别方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111658580.XA CN116433930A (zh) | 2021-12-30 | 2021-12-30 | 搬运车辆动作识别方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111658580.XA CN116433930A (zh) | 2021-12-30 | 2021-12-30 | 搬运车辆动作识别方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116433930A true CN116433930A (zh) | 2023-07-14 |
Family
ID=87091196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111658580.XA Pending CN116433930A (zh) | 2021-12-30 | 2021-12-30 | 搬运车辆动作识别方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116433930A (zh) |
-
2021
- 2021-12-30 CN CN202111658580.XA patent/CN116433930A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210319582A1 (en) | Method(s) and System(s) for Vehicular Cargo Management | |
| CN109727275B (zh) | 目标检测方法、装置、系统和计算机可读存储介质 | |
| CN111512317A (zh) | 一种多目标实时跟踪方法、装置及电子设备 | |
| CN111553302B (zh) | 关键帧选取方法、装置、设备及计算机可读存储介质 | |
| KR20210084449A (ko) | 목표 대상 인식 시스템, 방법, 장치, 전자 디바이스 및 기록 매체 | |
| US20210192780A1 (en) | Method(s) and System(s) for Vehicular Cargo Management | |
| US11538238B2 (en) | Method and system for performing image classification for object recognition | |
| CN111832345A (zh) | 集装箱监控方法、装置及设备、存储介质 | |
| US20150063637A1 (en) | Image recognition method and robot | |
| CN113192081A (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
| JP6674515B2 (ja) | 判定装置および判定方法 | |
| CN112785595B (zh) | 目标属性检测、神经网络训练及智能行驶方法、装置 | |
| CN116433930A (zh) | 搬运车辆动作识别方法、装置、电子设备及可读存储介质 | |
| JP2013532451A (ja) | 倉庫内の物体の位置を特定するための方法及び装置 | |
| CN113978987B (zh) | 栈板物品打包提货方法、装置、设备及介质 | |
| EP3647236B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
| CN111723614A (zh) | 交通信号灯识别方法及装置 | |
| US20230005162A1 (en) | Image processing system, image processing method, and storage medium | |
| US11551379B2 (en) | Learning template representation libraries | |
| WO2023213070A1 (zh) | 基于2d相机获取货物位姿方法、装置、设备及存储介质 | |
| CN114596239A (zh) | 装卸货事件检测方法、装置、计算机设备和存储介质 | |
| KR20220166732A (ko) | 파렛트 적층 확인 방법, 컴퓨터 디바이스 및 저장 매체 | |
| CN116433742A (zh) | 搬运车辆违规判断方法、装置、电子设备及可读存储介质 | |
| CN111967290B (zh) | 物体识别方法、装置及车辆 | |
| CN112329849A (zh) | 基于机器视觉的废钢料场卸料状态识别方法、介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |