CN114694064B - 一种基于目标识别的切图方法与系统 - Google Patents

Abstract

本发明公开了一种基于目标识别的切图方法与系统，具体包括以下步骤：S1、获取X光机发送的视频流；S2、从所述视频流中提取视频帧图片，获得图片集；S3、遍历所述图片集中所有视频帧图片，以当前遍历的视频帧图片为基准图片，对所述基准图片以及基准图片的后一张视频帧图片进行识别与去重处理，获得包含新包裹信息的视频帧图片，直到遍历完图片集中的视频帧图片；S4、基于所有新包裹信息对视频帧图片进行切图处理，获得包裹图片。本发明解决对安检机获取的包裹图像遗漏和重复的切分问题，同时提升了安检机的过货效率。

Description

一种基于目标识别的切图方法与系统

技术领域

本发明涉及智能安检领域，具体涉及一种基于目标识别的切图方法与系统。

背景技术

目前安检图像切分主要是针对单路包裹情况，即安检机安检时只有一路包裹通过。目前安检图像切分方法有：

首先对当前帧图像进行包裹切割；然后判断目标包裹是否是新包裹；新包裹则通过物体检测神经网络确定所述目标包裹的检测结果；反之，则将与目标包裹相同的包裹的检测结果作为目标包裹的检测结果；最后将当前帧图像中每个目标包裹的检测结果进行合成处理。

其中新包裹的检测为：先将图像中的所有包裹都切分开，然后计算包裹图像的哈希值，保存在堆栈或队列中，当新包裹被切分后，将其哈希值与之前的堆栈或队列中进行比较，当相似度高时就认为是重复包裹，予以剔除。

这种方法的一个缺点是当有相同的包裹经过安检机后，因哈希值相同或接近被剔除，导致得到的包裹图像有遗漏。

发明内容

本发明的目的在于提供一种基于目标识别的切图方法与系统，从视频流中依序间隔提取到视频帧图片，通过对任意量相邻的两张帧图片进行识别与去重处理，获得新包裹对应的区域信息，用以解决对安检机获取的包裹图像遗漏和重复的切分问题，同时提升了安检机的过货效率。

一种基于目标识别的切图方法，具体包括以下步骤：

S1、获取X光机发送的视频流；

S2、从所述视频流中提取视频帧图片，获得图片集；

S3、遍历所述图片集中所有视频帧图片，以当前遍历的视频帧图片为基准图片，对所述基准图片以及基准图片的后一张视频帧图片进行识别与去重处理，获得包含新包裹信息的视频帧图片，直到遍历完图片集中的视频帧图片；

S4、基于所有新包裹信息对视频帧图片进行切图处理，获得包裹图片。

进一步地，所述识别去重处理具体包括以下步骤：

对所述基准图片进行包裹识别，获得所述基准图片中对应于各个包裹的区域信息；

基于所述各个包裹的区域信息，选取距离起始侧距离最小的区域信息为基准区域信息，所述起始侧为包裹像素在视频帧图片中最先出现的一侧；

基于所述基准区域信息，获得去重区间；

对所述基准图片的后一张视频帧图片进行包裹识别，获得所述后一张视频帧图片中对应于各个包裹的区域信息；

基于所述后一张视频帧图片中对应于各个包裹的区域信息，选取位于去重区间以内的区域信息为新包裹信息。

进一步地，从所述视频流中提取视频帧图片具体为：每预设间隔n从所述视频流中抽取视频帧图片。

进一步地，所述区域信息为各个包裹在视频帧图片中的坐标信息，通过以下步骤获得：

对所述基准图片进行包裹识别，获得所述基准图片中对应于各个包裹的标注框；

基于基准图片建立坐标系，获得各个标注框的坐标信息，所述坐标信息为对应于包裹的区域信息。

进一步地，所述X光机的传送带带动包裹进行传输运动，对应于视频流中包裹像素的运动，当所述传送带相对于X光机从右向左进行传输时，所述起始侧为基准图片的右侧，基于基准图片建立坐标系，具体包括以下步骤：

以基准图片的左上角顶点的坐标为原点(0,0)，以原点至左下角顶点的连线为X轴，以原点至右上角顶点的连线为Y轴建立坐标系，则基准图片的右下角顶点的坐标为(w,h)。

进一步地，所述区域信息包各个包裹在视频帧图片中最右侧的顶点的坐标信息，所述基准区域信息，通过以下步骤获得：

获取各个包裹在视频帧图片中最右侧的顶点的坐标信息为：包裹1(x1,y1)、包裹2(x2,y2)、…包裹n(xn,yn)；

根据所述坐标信息，获得Y轴坐标的最大值，所述Y轴坐标的最大值对应的区域信息为距离起始侧距离最小的区域信息。

进一步地，所述去重区间通过以下步骤获得：

获取包裹像素移动的速度v；

将所述Y轴坐标的最大值yk减去包裹移动的像素v*n,即ry＝yk-v*n；

将Y轴坐标(ry+α，w-β)之间的区间作为去重区间,所述α、β为补偿量。

进一步地，所述新包裹信息为：在所述后一张视频帧图片中对应于各个包裹的区域信息中，若存在最右侧的顶点的Y轴坐标位于(ry，h)区间内，则该区域信息为一个新包裹信息。

进一步地，所述包裹图片为包含多个不同时间点包裹拼接成的图片。

一种基于目标识别的切图系统，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现所述的一种基于目标识别的切图方法，所述一个或多个程序包括：

接收模块，用于获取X光机发送的视频流；

提取模块，用于从所述视频流中提取视频帧图片，获得图片集；

新包裹模块，用于遍历所述图片集中所有视频帧图片，以当前遍历的视频帧图片为基准图片，对所述基准图片以及基准图片的后一张视频帧图片进行识别去重处理，获得包含新包裹信息的视频帧图片，直到遍历完图片集中的视频帧图片；

切图模块，用于基于所有新包裹信息对视频帧图片进行切图处理，获得包裹图片。

本发明具有的有益效果：

1、根据实际应用场景，选取适当的间隔数n，从视频流中依序以间隔n提取到视频帧图片，形成图片集，并对所述图片集中的任意两张视频帧图片进行识别与去重处理，根据X光安检机传输的方向，从上一帧视频帧图片中选取距离起始侧距离最小的区域信息，并以此确定去重区间，选取下一帧视频帧图片的区域信息中满足最右侧的顶点的Y轴坐标位于(ry，h)区间内的区域信息作为新包裹对应的区域信息，从而获得所有新包裹的区域信息，并以该基于所有新包裹信息对视频帧图片进行切图处理，获得所有新包裹图片。

2、避免计算每个包裹的哈希值，大大减少了计算量，通过提取—区域信息—去重区间—新包裹获得新包裹图片，在提高安检识别效率的同时，减少了复杂的计算量；

附图说明

图1为本发明的方法流程示意图；

图2为本发明的系统结构示意图；

图3为本发明的数据流程示意图；

图4为本发明的区域信息示意图；

具体实施方式

下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖向”、“纵向”、“侧向”、“水平”、“内”、“外”、“前”、“后”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“开有”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

一种基于目标识别的切图方法，具体包括以下步骤：

S1、获取X光机发送的视频流；

S2、从所述视频流中提取视频帧图片，获得图片集；

S3、遍历所述图片集中所有视频帧图片，以当前遍历的视频帧图片为基准图片，对所述基准图片以及基准图片的后一张视频帧图片进行识别与去重处理，获得包含新包裹信息的视频帧图片，直到遍历完图片集中的视频帧图片；

S4、基于所有新包裹信息对视频帧图片进行切图处理，获得包裹图片。

所述X光机传送带携带包裹进行传输，对应于视频流中包裹像素的运动，所述识别去重处理具体包括以下步骤：

对所述基准图片进行包裹识别，获得所述基准图片中对应于各个包裹的区域信息；

基于所述各个包裹的区域信息，选取距离起始侧距离最小的区域信息为基准区域信息，所述起始侧为包裹像素在视频帧图片中最先出现的一侧；

基于所述基准区域信息，获得去重区间；

对所述基准图片的后一张视频帧图片进行包裹识别，获得所述后一张视频帧图片中对应于各个包裹的区域信息；

基于所述后一张视频帧图片中对应于各个包裹的区域信息，选取位于去重区间以内的区域信息为新包裹信息。

从所述视频流中提取视频帧图片具体为：每预设间隔n从所述视频流中抽取视频帧图片。

所述区域信息为各个包裹在视频帧图片中的坐标信息，通过以下步骤获得：

对所述基准图片进行包裹识别，获得所述基准图片中对应于各个包裹的标注框；

基于基准图片建立坐标系，获得各个标注框的坐标信息，所述坐标信息为对应于包裹的区域信息。

当所述传送带相对于X光机从右向左进行传输时，所述起始侧为基准图片的右侧，基于基准图片建立坐标系，具体包括以下步骤：

以基准图片的左上角顶点的坐标为原点(0,0)，以原点至左下角顶点的连线为X轴，以原点至右上角顶点的连线为Y轴建立坐标系，则基准图片的右下角顶点的坐标为(w,h)。

所述区域信息包各个包裹在视频帧图片中最右侧的顶点的坐标信息，所述基准区域信息，通过以下步骤获得：

获取各个包裹在视频帧图片中最右侧的顶点的坐标信息为：包裹1(x1,y1)、包裹2(x2,y2)、…包裹n(xn,yn)；

根据所述坐标信息，获得Y轴坐标的最大值，所述Y轴坐标的最大值对应的区域信息为距离起始侧距离最小的区域信息。

具体的，对所述基准图片的后一张视频帧图片进行包裹识别，获得后一张视频帧图片中对应于各个包裹的标注框；

基于基准图片的后一张视频帧图片建立坐标系，获得各个标注框的坐标信息，所述坐标信息为对应于包裹的区域信息。

所述去重区间通过以下步骤获得：

获取包裹像素移动的速度v；

将所述Y轴坐标的最大值yk减去包裹移动的像素v*n,即ry＝yk-v*n；

将Y轴坐标(ry+α，w-β)之间的区间作为去重区间,所述α、β为补偿量。

在一种实施例中，所述α、β取10像素，可以理解的是α、β补偿量为根据各个站点的客流量、硬件设备处理速度等进行实验调试所选取的参量。

所述新包裹信息为：在所述后一张视频帧图片中对应于各个包裹的区域信息中，若最右侧的顶点的Y轴坐标位于(ry，h)区间内，则该区域信息为一个新包裹信息。

在一种具体的实时例中，对所述基准图片进行包裹识别，获得所述基准图片中对应于各个包裹的标注框，基于所述标注框，获得标注框对应的区域信息，所述区域信息包括标注框的大小，如长、宽所占的像素，以及标注框与基准图片两侧之间的距离，所述距离为沿传送带传送方向的距离，选取距离最小的区域信息作为基准区域。

基于所述基准区域，获得去重区间。所述去重区间为(l1,l2)：根据最短距离l与传送带传送的速度v、以及提取的帧间隔n计算得到，l1＝l+v*n,l2＝0。

具体的，考虑到实际包裹在传送带中运行的情况，给所述去重区间添加一个补偿量，即(l1-α,l2+β)。

因此，所述新包裹信息为：在所述后一张视频帧图片中对应于各个包裹的区域信息中，若最右侧的顶点的Y轴坐标位于(l1-α,l2+β)区间内，则该区域信息为一个新包裹信息。

可以理解的是，对所述基准图片的后一张视频帧图片进行包裹识别，获得后一张视频帧图片中对应于各个包裹的标注框，基于所述标注框，获得标注框对应的区域信息，所述区域信息包括标注框的大小，如长、宽所占的像素，以及标注框与基准图片两侧之间的距离，所述距离为沿传送带传送方向的距离，选取距离最小的区域信息作为基准区域。

如图4所示：灰色框为视频的某一帧图像，xy方向如图上所示。视频帧图片的长为w，高为h。视频帧进行切图系统识别后，得到图像中的包裹(如灰色区域),包裹图片的左上顶点GnP0(x0,y0)和右下顶点GnP1(x1,y1)。那么可以通过P0,P1的坐标可以把包裹图片从视频中提取出来。GnP0表示第n个包裹图片的左上顶点，GnP1表示第n个包裹图片的右下顶点。用ry表示上一帧中最右侧的包裹图片的右下顶点的y坐标。

对于基准图片中的像素点ry取值的两种情况：

(1)当视频帧中没有识别出包裹图片时，ry＝0

(2)视频帧图像中识别出来包裹图片，取每个包裹图片的右下角顶点的y，过滤掉大于等于w-10的y值，若y数据全部过滤了，则ry＝0。若y数据没有全部过滤，则进行降序排序后取最大值。

记传送带的速度为v，间隔固定取n帧后的视频帧图像。所以基准图片的像素点ry经过n帧后变换为像素点ry’，ry’＝ry–nv。

对该帧图像中的识别出的包裹图片的y坐标进行判断。

过滤掉小于等于(ry’+10)和大于等于(w-10)的y数据

对剩余的y数据降序排序，更新ry，如果没有新包裹数据了，ry＝0。如果还有y数据，选取最大y对ry进行更新。

对剩余y数据对应的包裹图片进行包裹切图。

1、本实施例中的识别采样现有的神经网络模型，具体包括：

2、对含有包裹图片进行标注；

3、对标注好的包裹图片使用神经网络进行学习，得到数据模型；

4、切图系统加载数据模型；

5、切图系统对输入的图片进行识别。

实施例2

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现所述的一种基于目标识别的切图方法，所述一个或多个程序包括：

接收模块，用于获取X光机发送的视频流；

提取模块，用于从所述视频流中提取视频帧图片，获得图片集；

新包裹模块，用于遍历所述图片集中所有视频帧图片，以当前遍历的视频帧图片为基准图片，对所述基准图片以及基准图片的后一张视频帧图片进行识别去重处理，获得包含新包裹信息的视频帧图片，直到遍历完图片集中的视频帧图片；

切图模块，用于基于所有新包裹信息对视频帧图片进行切图处理，获得包裹图片。

实施例3，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现所述的一种基于目标识别的切图方法。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (4)

1.一种基于目标识别的切图方法，其特征在于，具体包括以下步骤：

S1、获取X光机发送的视频流；

S2、从所述视频流中提取视频帧图片，具体为：每预设间隔n从所述视频流中抽取视频帧图片，获得图片集；

S3、遍历所述图片集中所有视频帧图片，以当前遍历的视频帧图片为基准图片，对所述基准图片以及基准图片的后一张视频帧图片进行识别与去重处理，获得包含新包裹信息的视频帧图片，直到遍历完图片集中的视频帧图片；

所述识别与去重处理具体包括以下步骤：

对所述基准图片进行包裹识别，获得所述基准图片中对应于各个包裹的区域信息；

所述区域信息为各个包裹在视频帧图片中的坐标信息，通过以下步骤获得：

对所述基准图片进行包裹识别，获得所述基准图片中对应于各个包裹的标注框；

基于基准图片建立坐标系，获得各个标注框的坐标信息，所述坐标信息为对应于包裹的区域信息；

基于所述各个包裹的区域信息，选取距离起始侧距离最小的区域信息为基准区域信息，所述起始侧为包裹像素在视频帧图片中最先出现的一侧；所述X光机的传送带带动包裹进行传输运动，对应于视频流中包裹像素的运动，当所述传送带相对于X光机从右向左进行传输时，所述起始侧为基准图片的右侧，基于基准图片建立坐标系，具体包括以下步骤：

以基准图片的左上角顶点的坐标为原点（0,0），以原点至左下角顶点的连线为X轴，以原点至右上角顶点的连线为Y轴建立坐标系，则基准图片的右下角顶点的坐标为（w,h），w为基准图片的长，h为基准图片的高；

所述区域信息包括各个包裹在视频帧图片中最右侧的顶点的坐标信息，所述基准区域信息，通过以下步骤获得：

获取各个包裹在视频帧图片中最右侧的顶点的坐标信息为：包裹1（x1,y1）、包裹2（x2,y2）、…包裹n（xn,yn）；

根据所述坐标信息，获得Y轴坐标的最大值，所述Y轴坐标的最大值对应的区域信息为距离起始侧距离最小的区域信息；

基于所述基准区域信息，获得去重区间；所述去重区间通过以下步骤获得：

获取包裹像素移动的速度v；

将所述Y轴坐标的最大值yk减去包裹移动的像素v*n，即ry=yk-v*n；ry表示基准图片中最右侧的包裹图片在后一张视频帧图片中的右下顶点的y坐标；

将Y轴坐标（ry+α，w-β）之间的区间作为去重区间,所述α、β为补偿量；

对所述基准图片的后一张视频帧图片进行包裹识别，获得所述后一张视频帧图片中对应于各个包裹的区域信息；

基于所述后一张视频帧图片中对应于各个包裹的区域信息，选取位于去重区间以内的区域信息为新包裹信息；

S4、基于所有新包裹信息对视频帧图片进行切图处理，获得包裹图片。

2.根据权利要求1所述的一种基于目标识别的切图方法，其特征在于，所述新包裹信息为：在所述后一张视频帧图片中对应于各个包裹的区域信息中，若存在最右侧的顶点的Y轴坐标位于（ry，w）区间内，则该区域信息为一个新包裹信息。

3.根据权利要求1所述的一种基于目标识别的切图方法，其特征在于，所述包裹图片为包含多个不同时间点包裹拼接成的图片。

4.一种基于目标识别的切图系统，其特征在于，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至3中任意一项所述的一种基于目标识别的切图方法，所述一个或多个程序包括：

接收模块，用于获取X光机发送的视频流；

提取模块，用于从所述视频流中提取视频帧图片，获得图片集；

新包裹模块，用于遍历所述图片集中所有视频帧图片，以当前遍历的视频帧图片为基准图片，对所述基准图片以及基准图片的后一张视频帧图片进行识别去重处理，获得包含新包裹信息的视频帧图片，直到遍历完图片集中的视频帧图片；

切图模块，用于基于所有新包裹信息对视频帧图片进行切图处理，获得包裹图片。

Images