CN113449149A - 物流信息的提取方法、装置、设备及计算机可读存储介质 - Google Patents

物流信息的提取方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113449149A
CN113449149A CN202010222134.3A CN202010222134A CN113449149A CN 113449149 A CN113449149 A CN 113449149A CN 202010222134 A CN202010222134 A CN 202010222134A CN 113449149 A CN113449149 A CN 113449149A
Authority
CN
China
Prior art keywords
logistics
piece
information
frame image
video information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010222134.3A
Other languages
English (en)
Inventor
张劲松
郭明坚
刘晓萍
张恒瑞
张宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
SF Tech Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN202010222134.3A priority Critical patent/CN113449149A/zh
Publication of CN113449149A publication Critical patent/CN113449149A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0833—Tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了物流信息的提取方法、装置、设备及计算机可读存储介质，在通过视频信息跟踪物流件的物流信息过程中，提高跟踪效率。本申请实施例提供的物流信息的提取方法，包括：获取视频信息，其中，视频信息的信息内容用于记录物流件的物流运输过程；在视频信息中识别出物流件，其中，物流件的个数至少为一个；从视频信息中提取物流件的物流信息，并进行存储。

Description

物流信息的提取方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及物流领域，具体涉及物流信息的提取方法、装置、设备及计算机可读存储介质。
背景技术
视频监控是安全防范系统的重要组成部分，以其直观、准确、及时还有信息内容丰富的特点，而广泛存在于许多应用场景。
以物流领域为例，在传统作业中，用户在网点进行寄件时，可以通过手机等设备记录下整个寄件过程，留下视频证据并确保物品在寄件过程中是完好无损状态的；与此同时，网点也可布置视频监控，记录寄件全程，也留下视频证据。当然，视频监控的应用，还可用于物流件的其他运输过程中，例如物流件的中转场、运输车辆，都可部署视频监控，以收集更多的视频证据。
视频监控在为物流领域提供充足的视频证据，供物流件跟踪、得到物流信息的同时，也需获悉的是，在现有的相关技术中，其视频监控方式仍是简单地部署摄像头并将摄像头上传至服务器，供工作人员人手查阅，该方式费时费力、跟踪效率低下，导致物流件的跟踪效果有限。
发明内容
本申请实施例提供了物流信息的提取方法、装置、设备及计算机可读存储介质，在通过视频信息跟踪物流件的物流信息过程中，提高跟踪效率。
第一方面，本申请实施例提供了一种物流信息的提取方法，方法包括：
获取视频信息，其中，视频信息的信息内容用于记录物流件的物流运输过程；
在视频信息中识别出物流件，其中，物流件的个数至少为一个；
从视频信息中提取物流件的物流信息，并进行存储。
结合本申请实施例第一方面，在本申请实施例第一方面第一种可能的实现方式中，从视频信息中提取物流件的物流信息包括：
从视频信息解析出多张的单帧图像；
在多张的单帧图像中跟踪物流件，并得到出现物流件的目标单帧图像；
从目标单帧图像中提取物流件的物流信息。
结合本申请实施例第一方面第一种可能的实现方式，在本申请实施例第一方面第二种可能的实现方式中，在多张的单帧图像中跟踪物流件，并得到出现物流件的目标单帧图像包括：
在多张的单帧图像中，捕捉首次出现物流件的起始单帧图像；
按照相邻单帧图像中两个物流件的特向向量的距离小于距离阈值时判断两个物流件为同一物流件的判断条件，在多张的单帧图像中，从起始单帧图像的时间戳开始捕捉出现物流件的剩余单帧图像，并确定单帧图像以及剩余单帧图像两者作为出现物流件的目标单帧图像。
结合本申请实施例第一方面第一种可能的实现方式，在本申请实施例第一方面第三种可能的实现方式中，从目标单帧图像中提取物流件的物流信息包括：
提取物流件的特征向量，其中，特征向量用于在视频信息中标识物流件的图像特征，特征向量在视频信息中识别出物流件的过程中得到，或者特征向量在多张的单帧图像中跟踪物流件的过程中得到；
生成目标单帧图像的缩略图；
将特征向量以及缩略图作为物流件的物流信息。
结合本申请实施例第一方面第三种可能的实现方式，在本申请实施例第一方面第四种可能的实现方式中，特征向量包括物流件在目标单帧图像中的出现时间特征、空间位置特征、形状特征、纹理特征以及颜色特征中的至少一种。
结合本申请实施例第一方面，在本申请实施例第一方面第五种可能的实现方式中，从视频信息中提取物流件的物流信息，并进行存储之后，方法还包括：
当触发查询事件时，查询存储的物流件的物流信息，其中，查询事件用于查询物流件的物流动态；
反馈物流件的物流信息。
结合本申请实施例第一方面第五种可能的实现方式，在本申请实施例第一方面第六种可能的实现方式中，当触发查询事件时，查询存储的物流件的物流信息包括：
当触发理赔事件时，调取理赔请求对应的目标物流件的物流件信息，其中，理赔请求用于请求理赔目标物流件；
查询与目标物流件的物流件信息相匹配的存储的物流件的物流信息。
第二方面，本申请实施例提供了一种物流信息的提取装置，装置包括：
获取单元，用于获取视频信息，其中，视频信息的信息内容用于记录物流件的物流运输过程；
识别单元，用于在视频信息中识别出物流件，其中，物流件的个数至少为一个；
提取单元，用于从视频信息中提取物流件的物流信息，并进行存储。
结合本申请实施例第二方面，在本申请实施例第二方面第一种可能的实现方式中，提取单元，具体用于：
从视频信息解析出多张的单帧图像；
在多张的单帧图像中跟踪物流件，并得到出现物流件的目标单帧图像；
从目标单帧图像中提取物流件的物流信息。
结合本申请实施例第二方面第一种可能的实现方式，在本申请实施例第二方面第二种可能的实现方式中，提取单元，具体用于：
在多张的单帧图像中，捕捉首次出现物流件的起始单帧图像；
按照相邻单帧图像中两个物流件的特向向量的距离小于距离阈值时判断两个物流件为同一物流件的判断条件，在多张的单帧图像中，从起始单帧图像的时间戳开始捕捉出现物流件的剩余单帧图像，并确定单帧图像以及剩余单帧图像两者作为出现物流件的目标单帧图像。
结合本申请实施例第二方面第一种可能的实现方式，在本申请实施例第二方面第三种可能的实现方式中，提取单元，用于：
提取物流件的特征向量，其中，特征向量用于在视频信息中标识物流件的图像特征，特征向量在视频信息中识别出物流件的过程中得到，或者特征向量在多张的单帧图像中跟踪物流件的过程中得到；
生成目标单帧图像的缩略图；
将特征向量以及缩略图作为物流件的物流信息。
结合本申请实施例第二方面第三种可能的实现方式，在本申请实施例第二方面第四种可能的实现方式中，特征向量包括物流件在目标单帧图像中的出现时间特征、空间位置特征、形状特征、纹理特征以及颜色特征中的至少一种。
结合本申请实施例第二方面，在本申请实施例第二方面第五种可能的实现方式中，装置还包括应用单元，用于：
当触发查询事件时，查询存储的物流件的物流信息，其中，查询事件用于查询物流件的物流动态；
反馈物流件的物流信息。
结合本申请实施例第二方面第五种可能的实现方式，在本申请实施例第二方面第六种可能的实现方式中，应用单元，具体用于：
当触发理赔事件时，调取理赔请求对应的目标物流件的物流件信息，其中，理赔请求用于请求理赔目标物流件；
查询与目标物流件的物流件信息相匹配的存储的物流件的物流信息。
第三方面，本申请实施例还提供了一种物流信息的提取设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本申请实施例提供的任一种方法中的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请实施例提供的任一种方法中的步骤。
从以上内容可得出，本申请实施例具有以下的有益效果：
在获取到物流件的视频信息后，从该视频信息中进行识别，确定视频信息中包含的物流件，再继续从物流件的视频信息中提取出对应的物流信息，如此，无需工作人员手动查阅，即可实现物流件的自动化视频检索，在视频监控的技术背景下，显著降低从视频信息中跟踪具体物流件的物流动态的操作难度，方便对具体物流件进行视频回溯，提高跟踪效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种场景示意图；
图2为本申请实施例物流信息的提取方法的一种流程示意图；
图3为本申请图2对应实施例步骤S203的一种流程示意图；
图4为本申请图3对应实施例步骤S302的一种流程示意图；
图5为本申请图3对应实施例步骤S303的一种流程示意图；
图6为本申请实施例物流信息的提取方法的又一种流程示意图；
图7为本申请实施例物流信息的提取装置的一种结构示意图；
图8为本申请实施例物流信息的提取设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在以下的说明中，本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本申请原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本申请的原理使用许多其它泛用性或特定目的运算、通信环境或组态来进行操作。所熟知的适合用于本申请的运算系统、环境与组态的范例可包括(但不限于)手持电话、个人计算机、服务器、多处理器系统、微电脑为主的系统、主架构型计算机、及分布式运算环境，其中包括了任何的上述系统或装置。
本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。
首先，在介绍本申请实施例之前，先介绍下本申请实施例关于应用背景的相关内容。
在现有的相关技术中，其在网点、运输车辆上，通过固定布置、自动拍摄的摄像设备，或者通过手动控制的摄像设备采集到物流件在收件、运输等物流运输过程的视频信息后，仅是本地保存或者上传至服务器进行保存，供工作人员手动查阅，在该应用场景下，若是需要根据视频信息确定某一物流件的具体物流动态，进行物流件跟踪，显然工作人员需要在大量的视频信息中初步确定可能包括该物流件的视频信息，并从这些可能存在该物流件的视频信息中跟踪到该物流件，确定该物流件的物流动态，存在着费时费力、跟踪效率低下的问题，
基于现有的相关技术存在的上述缺陷，本申请实施例提供了物流信息的提取方法，或者说一种视频信息的处理方法，至少在一定程度上克服现有的相关技术所存在的缺陷。
本申请实施例提及的物流信息的提取方法，其执行主体可以为装置，或者集成了该装置的服务器设备、物理主机或者用户设备(User Equipment，UE)等不同类型的物流信息的提取设备，其中，装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal DigitalAssistant，PDA)等终端设备。
其中，物流信息的提取设备还可分为多个设备，共同执行本申请实施例提供的方法，如图1示出的本申请实施例的一种场景示意图，可在收件网点、派件网点、中转场、运输车辆等物流件可途径的地点部署摄像设备101，拍摄物流件运输过程，并将得到的视频信息通过网络102上传至服务器103，由服务器103从视频信息中提取物流件的物流信息。
摄像设备101可以为摄像头，或者也可以为包括摄像头的设备，例如PDA、智能手机或者平板电脑等设备；网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等；服务器103可以是多个服务器组成的服务器集群等，服务器103也可以为云服务器。根据实际需要，可以具有任意数目的摄像设备101、网络102和服务器103。
图2示出了本申请实施例物流信息的提取方法的一种流程示意图，如图2示出的，本申请实施例提供的物流信息的提取方法，具体可包括如下步骤：
步骤S201，获取视频信息，其中，视频信息的信息内容用于记录物流件的物流运输过程；
步骤S202，在视频信息中出物流件，其中，物流件的个数至少为一个；
步骤S203，从视频信息中提取物流件的物流信息，并进行存储。
在图2所示实施例提出的技术方案中，在获取到物流件的视频信息后，从该视频信息中进行识别，确定视频信息中包含的物流件，再继续从物流件的视频信息中提取出对应的物流信息，如此，无需工作人员手动查阅，即可实现物流件的自动化视频检索，在视频监控的技术背景下，显著降低从视频信息中跟踪具体物流件的物流动态的操作难度，方便对具体物流件进行视频回溯，提高跟踪效率。
以下继续对图2所示实施例进行详细阐述：
在本申请实施例中，所针对的物流运输具体可以为快递运输，即，本申请实施例所提供的物流信息的提取方法，可以从记录有快递件的快递运输过程的视频信息中，提取出快递件的快递信息，供工作人员直接查询具体某一快递件的快递信息。
运输过程，具体可以为收件环节、运输环节以及派件环节，可针对其中的一个或者多个环节作为本申请实施例的应用范围。
视频信息可实时通过自身的摄像头，或者实时根据外部的摄像头记录物流件的物流运输过程得到；或者，也可以通过自身的存储地址或者其他存储有视频信息的设备调取得到。
在视频信息中识别物流件的过程中，可通过图像识别，例如通过目标检测算法(Single Shot MultiBox Detector，SSD)从初始的视频信息中识别所包含的物流件，并从初始的视频信息中提取包含该物流件的图像的视频信息。
以人工智能(Artificial Intelligence，AI)为例，容易理解，物流件的图像特征相较于运输环境的环境特征，具有较大的区分度，且物流件本身通常为箱体结构，图像特征较为规律，因此，可结合物流件识别模型，快速、精准地识别出视频信息中所包含的物流件。
该物流件识别模型，可将包含有物流件的训练用视频信息或者包含有物流件的训练用图像作为训练集，并通过物流件标签标识出训练用视频信息所包含的物流件，将该训练集输入初始神经网络模型进行正向传播，再根据模型输出的物流件识别结果结合损失函数进行反向传播，调整模型的参数，如此反反复复的训练直至完成模型的训练目标，此时的模型则可作为物流件识别模型。
其中，损失函数具体可以采用交叉熵损失函数或者Triplet损失函数等类型的损失函数。
交叉熵损失函数：
Figure BDA0002426463090000081
其中，y和i为两种样本标签，pi表示真实标记的概率分布，qi则为模型的识别标记的概率分布，LID用于衡量pi与qi的相似性，或者说通过概率分布qi来表达概率分布pi的困难程度，LID越小，两个分布差异性越小。
Triplet损失函数：
LTriplet＝[dp-dn+α]+，
其中，dp和dn是正样本对和负样本对的特征距离，α是边缘设置用于挑选出困难样本对，一般设置为0.3，tripletloss损失函数可以使得同类数据距离更小，不同类的数据距离更远。
应当理解，视频信息包括了多张的单帧图像，包括p1、p2、p3、p4…，每张单帧图像都有着对应的时间戳，对应t1、t2、t3、t4…，在时间轴的基础上结合每张单帧图像的时间戳进行组合，即可构成动态的视频信息。
对应的，作为图2对应实施例步骤S203的一种具体实现方式，如图3示出的本申请图2对应实施例步骤S203的一种流程示意图，在捕捉到视频信息中所包含的物流件后，可通过如下步骤S301至步骤S303，以继续提取该物流件的物流信息：
步骤S301，从视频信息解析出多张的单帧图像；
从上述可理解到的，摄像头所拍摄得到的视频信息，本身是由多张的单帧图像构成的，因此，还可反向地进行解析，得到视频信息所包含的多张的单帧图像。
步骤S302，在多张的单帧图像中跟踪物流件，并得到出现物流件的目标单帧图像；
接下来，则可通过上述提及的图像识别，从这些单帧图像中识别物流件并进行跟踪，确定每个物流件分为出现过的单帧图像，并依次将每个物流件出现过的单帧图像作为每个物流件对应的目标单帧图像。
其中，在物流件的运输过程中，物流件在具体摄像头的取景视野中可能只存在一个时间段，或者也可能存在多个的时间段，对应的，每个物流件在视频信息中可能出现一个时间段，或者也可能存在多个的时间段，因此，每个物流件跟踪得到的目标单帧图像的时间戳往往是连续的，或者分为多个连续的部分。
示例性的，当前从视频信息解析得到的多张的单帧图像，用[p1,p2,p3,p4,p5,p6,p7,p8…pn]表示，从这些单帧图像中识别到3个不同的物流件，分别表示为[x1,x2,x3]，通过物流件跟踪，物流件x1的目标单帧图像为[p2,p3,p4]，物流件x2的目标单帧图像为[p3,p4,p5,p6,p7,p8]，物流件x3的目标单帧图像为[pn-2,pn-1,pn]。
其中，所称的物流件跟踪，是指在单帧图像中，通过在相邻时间戳的单帧图像中，对特定的物流件图像进行定位，并确定特定的物流件在相邻时间戳的单帧图像中的移动，以此即可确定出现特定物流件的目标单帧图像。
其中，作为又一种具体的实现方式，如图4示出的本申请图3对应实施例步骤S302的一种流程示意图，图3对应实施例步骤S302在实际应用中，具体可包括：
步骤S401，在多张的单帧图像中，捕捉首次出现物流件的起始单帧图像；
步骤S402，按照相邻单帧图像中两个物流件的特向向量的距离小于距离阈值时判断两个物流件为同一物流件的判断条件，在多张的单帧图像中，从起始单帧图像的时间戳开始捕捉出现物流件的剩余单帧图像，并确定单帧图像以及剩余单帧图像两者作为出现物流件的目标单帧图像。
在提取目标单帧图像的过程中，可先沿着时间轴，即根据单帧图像的时间戳的时序，依次检测每张单帧图像中所包含的物流件，此时所检测出的每个物流件时无论属于同一单帧图像还是属于不同的单帧图像，都是相互独立的。
每检测出一个物流件，则可从相邻单帧图像中开始跟踪该物流件，确定在前一帧图像或者后一帧图像中是否也出现了该物流件，其中，同一物流件在相邻帧图像中的移动幅度是较小的，可通过特征点之间的距离结合距离阈值来判断是否为同一物流件，其距离计算公式可以为：
Figure BDA0002426463090000101
其中，距离d越大，意味着相似度越高。特征点可用特向向量表示，为物流件在图像中的图像特征，图像特征用于在单帧图像中标识物流件。
该图像特征可以用图像的特征向量表示，具体可以为物流件在目标单帧图像中的出现时间特征、空间位置特征、形状特征、纹理特征以及颜色特征中的至少一种，通过不同类别的图像特征以及相同类别下相近、相似的图像特征的设置，可从多个维度对图像进行特征的识别、提取。而维度越多，相似度的度量能力越强，但是计算耗时越长，在实际应用中可设置1024个维度，1024个维度相对计算量和度量相似度的性能取得较好的权衡。
出现时间特征为单帧图像的时间戳，或者将时间戳转化得到的其他格式的时间数据，用于指示物流件在单帧图像中出现的时间特征，例如2019年9月8日13时39分45秒16.7毫秒，或者第458帧。
空间位置特征为物流件的图像在单帧图像中的坐标集合或者像素范围，用于指示物流件在图像中场景所处位置的特征。
形状特征为物流件的图像的轮廓坐标点云或者像素点云，用于指示物流件的图像在轮廓上的特征。
纹理特征为物流件在单帧图像中物体表面的缓慢变化或者周期性变化的表面结构组织排列属性，用于指示物流件在物体表面上同质现象的特征。
颜色特征为视觉特征，例如可以用红绿蓝(Red Green Blue，RGB)颜色特征，或者可以用色调、色饱和度和强度(Hue Saturation Intensity，HIS)颜色特征，或者可以用色度、色饱和度和亮度(Hue Saturation value，HSV)颜色特征。
步骤S303，从目标单帧图像中提取物流件的物流信息。
在本申请实施例中，若是在跟踪物流件动态时，需要查询某一物流件的视频或者图像，则此时可分为两种情况，第一种情况是，提供物流件的物流件标识，以快递件为例，可提供想要查询快递动态的快递单号，再根据该快递单号查询包含该快递单号的快递件的目标单帧图像及其对应的物流信息；第二种情况是，提供物流件的物流件图像，继续以快递件为例，可提供想要查询快递动态的快递件图像，再根据该快递件图像查询包含该快递件图像的目标单帧图像及其对应的物流信息。
对应的，在本申请实施例中，从目标单帧图像中提取出的物流件的物流信息，也可分为两种情况。
第一种是目标单帧图像中所包含的物流件的物流件标识，例如物流件上记载的文字信息，例如物流单号、寄件人、寄件人联系方式，收件人，收件人联系方式等的基础信息，在实际应用中，物流件标识往往记载于物流详情单中，以快递为例，物流详情单可以为快递详情单、快递单据、快递面单等不同类型或者不同名称的纸质凭证，并贴于快递表面，在收发件、运输过程中可通过该纸质凭证标识快递件，与其他快递件区分开，一般可由扫描仪、PDA等具有摄像功能的终端设备通过光学字符识别(Optical Character Recognition，OCR)的方式，拍摄纸质凭证中的文字得到图像文件，识别图像中的文字并输出相应的文本，其图像识别难度较低；
第二种是目标单帧图像中所包含的物流件的图像特征，该图像特征为在多张的单帧图像中通过物流件识别模型识别物流件时识别到的图像特征，或者也可以为在多张的单帧图像中初步识别物流件时继续通过物流件识别模型识别该物流件时得到的进一步的图像特征，该图像特征从图像处理层面出发，用于在单帧图像中标识物流件，其图像识别难度较高。
其中，该图像特征可以用图像的特征向量表示，具体可以为物流件在目标单帧图像中的出现时间特征、空间位置特征、形状特征、纹理特征以及颜色特征中的至少一种，这些图像特征已在前文说明，具体在此不再赘述。
从上述可看出，本申请实施例所称的物流信息，指的是物流件在物流运输中可出现的相关信息，例如物流件的物流件标识，又或者包含物流件的单帧图像或者视频信息。
进一步的，可以理解的是，物流件的物流信息若是物流件标识，则可直接与特定的物流件本身建立一对一的连接关系，如此，在明确目标单帧图像中所包含的物流件具体为哪个物流件的情况下，可根据想要查询的物流件标识直接查询物流件的目标单帧图像，进而还可确定包括物流件，即包括目标单帧图像的视频信息；而物流件的物流信息若是物流件的图像特征，目标单帧图像中所包含的物流件具体为哪个物流件则是未知的，当根据物流件图像查询包含该物流件图像的目标单帧图像时，查询出的单帧图像不仅可包括该物流件图像的目标单帧图像，还可能包括具有相近物流件图像特征的单帧图像。
因此，从目标单帧图像中提取出的物流信息除了可以为上述列出的物流件标识或者图像特征，也可以为物流件标识以及图像特征的组合，该情况下不仅可以提供更为丰富的数据支持，同时也方便结合所用户查询时所提供的物流件标识以及物流件图像进行查询，可锁定目标物流件，并提供包含物流件的目标单帧图像或者视频信息，提高查询的灵活性。
作为又一种具体实现方式，在提取出的图像特征，即特征向量的基础上，考虑实际应用，还可进一步地进行优化，参阅图5示出的本申请图3对应实施例步骤S303的一种流程示意图，本申请图3对应实施例步骤S303可包括：
步骤S501，提取物流件的特征向量，其中，特征向量用于在视频信息中标识物流件的图像特征，特征向量为在视频信息中识别出物流件的过程中得到，或者特征向量在多张的单帧图像中跟踪物流件的过程中得到；
容易理解的，在上述图2对应实施例步骤S202中通过物流件识别模型识别多张单帧图像中的物流件，以及在上述图3对应实施例步骤S302中通过物流件识别模型从多张的单帧图像中跟踪物流件的过程中，都可涉及到检测物流件的特征向量，因此，可提取物流件在识别或者跟踪过程中出现的特征向量。
其中，特征向量具体可以为物流件在目标单帧图像中的出现时间特征、空间位置特征、形状特征、纹理特征以及颜色特征中的至少一种，这些图像特征已在前文说明，具体在此不再赘述。
步骤S502，生成目标单帧图像的缩略图；
另一边，在得到包含物流件的目标单帧图像后，还可生成该目标单帧图像的缩略图，该缩略图保留了原目标单帧图像的部分图像特征，即包括了物流件部分的图像特征，与原目标单帧图像相比，可大大减少图像的数据量大小，减少存储成本。
步骤S503，将特征向量以及缩略图作为物流件的物流信息。
可以理解，当在跟踪物流件的物流动态时，可提供需要查询的物流件的图像，再根据该图像中的物流件的图像特征，与存储的从不同目标单帧图像中的物流件的图像特征进行匹配，由此在数据处理层面上可匹配到具有相近或者相同图像特征的物流件，且由于存储的图像特征(特征向量)还具有对应关系的目标单帧图像的缩略图，还方便人工对照缩略图以及需要查询的物流件的图像，不仅可提供更加丰富的数据支持，且对于实际操作来说，还兼顾了机器查询以及人工查询的需要，具有更佳的应用价值。
其中，还可将特征向量与缩略图进行融合、合并，以此减少物流件的特征数量，为后续查找物流件减少涉及的计算量。
需要理解的是，在上述内容中，与从视频信息中识别出物流件类似的，从视频信息中提取物流信息也可通过神经网络模型实现，该模型的训练与上述的物流件识别模型类似，具体在此不再赘述，其中，所应用的交叉熵损失函数还可发挥着指导模型学习空间特征的效果，而Triplet损失函数也具有使得模型学习到的特征向量在特征空间中的距离是有度量意义的效果。
同时，在上述内容中，识别存在物流件的目标单帧图像以及从目标单帧图像中提取物流件的物流信息，是分开描述的，而在实际应用中，两者可以为不同的执行步骤，即初步从多张的单帧图像中识别存在物流件的目标单帧图像，再从目标单帧图像中提取物流件的物流信息，或者也可以为，直接从多张的单帧图像中直接检测是否存在物流件的物流信息，如此，在识别出物流件的同时也识别出了物流件的物流信息。
接下来，则从后续的查询角度，继续介绍本申请实施例提供的物流信息的提取方法。如图6示出的本申请实施例物流信息的提取方法的又一种流程示意图，在图2对应实施例步骤S203之后，还可包括：
步骤S601，当触发查询事件时，查询存储的物流件的物流信息，其中，查询事件用于查询物流件的物流动态；
查询事件可以根据不同的物流件的物流信息的查询场景，配置对应的查询事件。
以快递件为例，用户可在网页、客户端、小程序等方式查询快递件的快递信息；或者，快递工作人员也可在网页、客户端、小程序等当时查询快递件的快递信息；或者，需要定期调取、存储快递信息的设备，也可查询、调取、存储快递件的快递信息。
其中，查询处理，可通过上述提及的查询方式，例如提供想要查询快递动态的快递单号，再根据该快递单号查询包含该快递单号的快递件的快递信息；或者提供想要查询快递动态的快递件图像，再根据该快递件图像查询包含该快递件图像的快递信息。
由于本申请实施例所提取出的物流信息是从视频信息中提取出的，物流信息存在具有对应关系的视频信息，因此，本申请实施例所提取出的物流信息，相比于现有技术中查询物流动态的物流信息，还可结合视频信息，提供数据支持更为直观、更为丰富的视频内容，实现更打的应用价值并应用在更广泛的应用场景。
在一种具体实现方式中，具体可以应用在理赔场景中，容易理解，理赔服务若结合理赔物流件本身的视频信息，则可从视频角度出发，直观地显示物流件在物流运输过程中的保存情况，可直接得获悉物流件是否发生了破损甚至丢件、遗失情况，以此可快速推进理赔进程，提高理赔效率，这对于物流运输具有较大的应用价值。
对应的，其查询过程可包括：
当触发理赔事件时，调取理赔请求对应的目标物流件的物流件信息，其中，理赔请求用于请求理赔目标物流件；
查询与目标物流件的物流件信息相匹配的存储的物流件的物流信息。
示例性的，该理赔事件的触发，可检测物流系统上物流件的系统动态实现，例如当接收到用户的理赔请求时，系统可生成物流件的理赔事件；或者，当检测到运输物流件的物流车辆发生火灾、损毁时，系统也可生成物流件的理赔事件；或者，当检测到物流件发生丢件时，系统也可生成物流件的理赔事件，等等，理赔事件也由用户、工作人员或者系统根据预设的触发条件触发生成。
步骤S602，反馈物流件的物流信息。
在查询到物流件的物流件信息后，即可进行反馈。
为便于更好的实施本申请实施例提供的物流信息的提取方法，本申请实施例还提供物流信息的提取装置。
参阅图7，图7为本申请实施例物流信息的提取装置的一种结构示意图，在本申请实施例中，物流信息的提取装置700具体可包括如下结构：
获取单元701，用于获取视频信息，其中，视频信息的信息内容用于记录物流件的物流运输过程；
识别单元702，用于在视频信息中识别出物流件，其中，物流件的个数至少为一个；
提取单元703，用于从视频信息中提取物流件的物流信息，并进行存储。
在一种具体实现方式中，提取单元703，具体用于：
从视频信息解析出多张的单帧图像；
在多张的单帧图像中跟踪物流件，并得到出现物流件的目标单帧图像；
从目标单帧图像中提取物流件的物流信息。
在又一种具体实现方式中，提取单元703，具体用于：
在多张的单帧图像中，捕捉首次出现物流件的起始单帧图像；
按照相邻单帧图像中两个物流件的特向向量的距离小于距离阈值时判断两个物流件为同一物流件的判断条件，在多张的单帧图像中，从起始单帧图像的时间戳开始捕捉出现物流件的剩余单帧图像，并确定单帧图像以及剩余单帧图像两者作为出现物流件的目标单帧图像。
在又一种具体实现方式中，提取单元703，用于：
提取物流件的特征向量，其中，特征向量用于在视频信息中标识物流件的图像特征，特征向量在视频信息中识别出物流件的过程中得到，或者特征向量在多张的单帧图像中跟踪物流件的过程中得到；
生成目标单帧图像的缩略图；
将特征向量以及缩略图作为物流件的物流信息。
在又一种具体实现方式中，特征向量包括物流件在目标单帧图像中的出现时间特征、空间位置特征、形状特征、纹理特征以及颜色特征中的至少一种。
在又一种具体实现方式中，装置还包括应用单元704，用于：
当触发查询事件时，查询存储的物流件的物流信息，其中，查询事件用于查询物流件的物流动态；
反馈物流件的物流信息。
在又一种具体实现方式中，应用单元704，具体用于：
当触发理赔事件时，调取理赔请求对应的目标物流件的物流件信息，其中，理赔请求用于请求理赔目标物流件；
查询与目标物流件的物流件信息相匹配的存储的物流件的物流信息。
本申请实施例还提供了物流信息的提取设备，参阅图8，图8示出了本申请实施例物流信息的提取设备的一种结构示意图，具体的，本申请提供的物流信息的提取设备包括处理器801，处理器801用于执行存储器802中存储的计算机程序时实现如图1至图6对应任意实施例中物流信息的提取方法的各步骤；或者，处理器801用于执行存储器802中存储的计算机程序时实现如图7对应实施例中各单元的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器802中，并由处理器801执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
物流信息的提取设备可包括，但不仅限于处理器801、存储器802。本领域技术人员可以理解，示意仅仅是物流信息的提取设备的示例，并不构成对物流信息的提取设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如物流信息的提取设备还可以包括输入输出设备、网络接入设备、总线等，处理器801、存储器802、输入输出设备以及网络接入设备等通过总线相连。
处理器801可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是物流信息的提取设备的控制中心，利用各种接口和线路连接整个设备的各个部分。
存储器802可用于存储计算机程序和/或模块，处理器1101通过运行或执行存储在存储器802内的计算机程序和/或模块，以及调用存储在存储器802内的数据，实现计算机装置的各种功能。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据物流信息的提取设备的使用所创建的数据(比如音频信息、视频信息等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的物流信息的提取装置、设备及其相应单元的具体工作过程，可以参考如图1至图6对应任意实施例中物流信息的提取方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1至图6对应任意实施例中物流信息的提取方法中的步骤，具体操作可参考如图1至图6对应任意实施例中物流信息的提取方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1至图6对应任意实施例中物流信息的提取方法中的步骤，因此，可以实现本申请如图1至图6对应任意实施例中物流信息的提取方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请提供的物流信息的提取方法、装置、设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种物流信息的提取方法，其特征在于，所述方法包括：
获取视频信息，其中，所述视频信息的视频内容记录物流件的物流运输过程；
在所述视频信息中识别出所述物流件，其中，所述物流件的个数至少为一个；
从所述视频信息中提取所述物流件的物流信息，并进行存储。
2.根据权利要求1所述的方法，其特征在于，所述从所述视频信息中提取所述物流件的物流信息包括：
从所述视频信息解析出多张的单帧图像；
在所述多张的单帧图像中跟踪所述物流件，并得到出现所述物流件的目标单帧图像；
从所述目标单帧图像中提取所述物流件的物流信息。
3.根据权利要求2所述的方法，其特征在于，所述在所述多张的单帧图像中跟踪所述物流件，并得到出现所述物流件的目标单帧图像包括：
在所述多张的单帧图像中，捕捉首次出现所述物流件的起始单帧图像；
按照相邻单帧图像中两个物流件的特向向量的距离小于距离阈值时判断所述两个物流件为同一物流件的判断条件，在所述多张的单帧图像中，从所述起始单帧图像的时间戳开始捕捉出现所述物流件的剩余单帧图像，并确定所述单帧图像以及所述剩余单帧图像两者作为所述出现所述物流件的目标单帧图像。
4.根据权利要求2所述的方法，其特征在于，所述从所述目标单帧图像中提取所述物流件的物流信息包括：
提取所述物流件的特征向量，其中，所述特征向量用于在所述视频信息中标识所述物流件的图像特征，所述特征向量在所述视频信息中识别出所述物流件的过程中得到，或者所述特征向量在所述多张的单帧图像中跟踪所述物流件的过程中得到；
生成所述目标单帧图像的缩略图；
将所述特征向量以及所述缩略图作为所述物流件的物流信息。
5.根据权利要求4所述的方法，其特征在于，所述特征向量包括所述物流件在所述目标单帧图像中的出现时间特征、空间位置特征、形状特征、纹理特征以及颜色特征中的至少一种。
6.根据权利要求1所述的方法，其特征在于，所述从所述视频信息中提取所述物流件的物流信息，并进行存储之后，所述方法还包括：
当触发查询事件时，查询存储的所述物流件的物流信息，其中，所述查询事件用于查询所述物流件的物流动态；
反馈所述物流件的物流信息。
7.根据权利要求6所述的方法，其特征在于，所述当触发查询事件时，查询存储的所述物流件的物流信息包括：
当触发理赔事件时，调取所述理赔请求对应的目标物流件的物流件信息，其中，所述理赔请求用于请求理赔所述目标物流件；
查询与所述目标物流件的物流件信息相匹配的存储的所述物流件的物流信息。
8.一种物流信息的提取装置，其特征在于，所述装置包括：
获取视频信息，其中，所述视频信息的视频内容用于记录物流件的物流运输过程；
在所述视频信息中识别出所述物流件，其中，所述目物流件的个数至少为一个；
从所述视频信息中提取所述物流件的物流信息，并进行存储。
9.一种物流信息的提取设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的方法。
CN202010222134.3A 2020-03-26 2020-03-26 物流信息的提取方法、装置、设备及计算机可读存储介质 Pending CN113449149A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010222134.3A CN113449149A (zh) 2020-03-26 2020-03-26 物流信息的提取方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010222134.3A CN113449149A (zh) 2020-03-26 2020-03-26 物流信息的提取方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113449149A true CN113449149A (zh) 2021-09-28

Family

ID=77807014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010222134.3A Pending CN113449149A (zh) 2020-03-26 2020-03-26 物流信息的提取方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113449149A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933542A (zh) * 2015-06-12 2015-09-23 临沂大学 一种基于计算机视觉的物流仓储监控方法
US20180365634A1 (en) * 2017-06-20 2018-12-20 Stamps.Com Inc. System and method for facilitating model-based tracking-related prediction for shipped items
CN109345177A (zh) * 2018-10-20 2019-02-15 龙口盛福达食品有限公司 一种基于云视频信息处理的冷链食品物流可视化方法
CN109685833A (zh) * 2018-12-28 2019-04-26 镇江市高等专科学校 移动目标跟踪方法
CN110121058A (zh) * 2019-05-07 2019-08-13 深圳市捷储科技有限公司 基于生产以及分拣过程中的监控视频处理方法和系统
US20190385337A1 (en) * 2018-03-20 2019-12-19 Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Article positioning method and system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933542A (zh) * 2015-06-12 2015-09-23 临沂大学 一种基于计算机视觉的物流仓储监控方法
US20180365634A1 (en) * 2017-06-20 2018-12-20 Stamps.Com Inc. System and method for facilitating model-based tracking-related prediction for shipped items
US20190385337A1 (en) * 2018-03-20 2019-12-19 Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Article positioning method and system
CN109345177A (zh) * 2018-10-20 2019-02-15 龙口盛福达食品有限公司 一种基于云视频信息处理的冷链食品物流可视化方法
CN109685833A (zh) * 2018-12-28 2019-04-26 镇江市高等专科学校 移动目标跟踪方法
CN110121058A (zh) * 2019-05-07 2019-08-13 深圳市捷储科技有限公司 基于生产以及分拣过程中的监控视频处理方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘林: "物联网关键技术应用在公路集装箱物流运输中的探索", 《科技风》 *
曹炯清: "基于LapSVM的物流编号图像自动识别算法", 《物流技术》 *
李静: "基于ARM的物流线路优化与实施跟踪研究", 《自动化与仪器仪表》 *

Similar Documents

Publication Publication Date Title
US11321583B2 (en) Image annotating method and electronic device
US9076069B2 (en) Registering metadata apparatus
WO2019047789A1 (zh) 关于增强现实场景的处理方法、终端设备、系统及计算机存储介质
CN106462728B (zh) 用于基于图像特征的识别的系统和方法
CN105072337A (zh) 图片处理方法及装置
US8805123B2 (en) System and method for video recognition based on visual image matching
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
US10860877B2 (en) Logistics parcel picture processing method, device and system
CN111967322B (zh) 数据处理方法、装置、电子设备和存储介质
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN111553302B (zh) 关键帧选取方法、装置、设备及计算机可读存储介质
CN111666816A (zh) 物流件状态的检测方法、装置以及设备
CN114283416A (zh) 车险理赔图片的处理方法和装置
CN105608423A (zh) 一种视频匹配方法及装置
CN111047731A (zh) 一种基于ar技术的电信机房巡检方法及系统
CN113449149A (zh) 物流信息的提取方法、装置、设备及计算机可读存储介质
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质
US11798210B2 (en) Neural network based detection of image space suitable for overlaying media content
CN114926464A (zh) 在双录场景下的图像质检方法、图像质检装置及系统
CN115004245A (zh) 目标检测方法、装置、电子设备和计算机存储介质
JP2018194956A (ja) 画像認識装置、方法、及びプログラム
CN113978987A (zh) 栈板物品打包提货方法、装置、设备及介质
CN112949672A (zh) 商品识别方法、装置、设备以及计算机可读存储介质
CN111797922A (zh) 文本图像分类方法及装置
CN111753766A (zh) 一种图像处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210928

RJ01 Rejection of invention patent application after publication