CN110378912B - 包裹检测方法、装置、计算机可读存储介质和计算机设备 - Google Patents

包裹检测方法、装置、计算机可读存储介质和计算机设备 Download PDF

Info

Publication number
CN110378912B
CN110378912B CN201910631371.2A CN201910631371A CN110378912B CN 110378912 B CN110378912 B CN 110378912B CN 201910631371 A CN201910631371 A CN 201910631371A CN 110378912 B CN110378912 B CN 110378912B
Authority
CN
China
Prior art keywords
image
package
video
parcel
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910631371.2A
Other languages
English (en)
Other versions
CN110378912A (zh
Inventor
黄鼎隆
马修·罗伯特·斯科特
杜竹君
黄丹
王梓儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yuepu Investment Center LP
Original Assignee
Shenzhen Malong Artificial Intelligence Research Center
Shenzhen Malong Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Malong Artificial Intelligence Research Center, Shenzhen Malong Technologies Co Ltd filed Critical Shenzhen Malong Artificial Intelligence Research Center
Priority to CN201910631371.2A priority Critical patent/CN110378912B/zh
Publication of CN110378912A publication Critical patent/CN110378912A/zh
Application granted granted Critical
Publication of CN110378912B publication Critical patent/CN110378912B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本申请涉及一种包裹检测方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取由视频采编器转换安检视频得到的数字视频；所述安检视频由安检机的工控计算机输出至视频采编器；当解码所述数字视频得到视频帧图像时，将所述视频帧图像中包含有包裹特征的图像区域进行图像分割，获得多个包裹透视图像；判断所述多个包裹透视图像中是否存在与历史包裹特征匹配的图像；若存在，则将匹配的图像从所述多个包裹透视图像中去除，得到去重后包裹透视图像；对所述去重后包裹透视图像中包裹所包含的物品进行检测。本申请提供的方案可以提高包裹检测的准确性。

Description

包裹检测方法、装置、计算机可读存储介质和计算机设备
技术领域
本申请涉及图像处理技术领域，特别是涉及一种包裹检测方法、装置、计算机可读存储介质和计算机设备。
背景技术
在机场、地铁和车站等公共场所，通常会有X射线的安检机对用户的包裹进行安全检测，以保证人们的生命和财产安全。一般地，安检机包括有电机、传送系统、包围在传送系统中部的机身和X光机。用户的包裹放置在传送系统的一端，传送系统将会将包裹从放置的一端传输到另一端，在传输的过程中，X光机将会在安检通道对包裹进行扫描生成X光成像，从而可以检测包裹中是否存在违禁物品。
然而，在扫描包裹所生成的X光成像之后，安检机通常只支持自动存储加密格式图像，不支持自动保存通用格式的图像(如JPG或PNG格式图像)，从而需要在现役安检机加装包裹智能检测功能来对加密格式图像进行检测，在加装过程中需要修改安检机工控程序，从而导致兼容性问题，使得检测的准确性较低。
发明内容
基于此，有必要针对包裹检测的准确性较低的技术问题，提供一种视频片段的推荐方法、装置、计算机可读存储介质和计算机设备。
一种包裹检测方法，包括：
获取由视频采编器转换安检视频得到的数字视频；所述安检视频由安检机的工控计算机输出至所述视频采编器；
当解码所述数字视频得到视频帧图像时，将所述视频帧图像中包含有包裹特征的图像区域进行图像分割，获得多个包裹透视图像；
判断所述多个包裹透视图像中是否存在与历史包裹特征匹配的图像；
若存在，则将匹配的图像从所述多个包裹透视图像中去除，得到去重后包裹透视图像；
对所述去重后包裹透视图像中包裹所包含的物品进行检测。
一种包裹检测装置，所述装置包括：
视频获取模块，用于获取由视频采编器转换安检视频得到的数字视频；所述安检视频由安检机的工控计算机输出至所述视频采编器；
图像分割模块，用于当解码所述数字视频得到视频帧图像时，将所述视频帧图像中包含有包裹特征的图像区域进行图像分割，获得多个包裹透视图像；
特征匹配模块，用于判断所述多个包裹透视图像中是否存在与历史包裹特征匹配的图像；
滤除模块，用于若存在与历史包裹特征匹配的图像，则将匹配的图像从所述多个包裹透视图像中去除，得到去重后包裹透视图像；
检测模块，用于对所述去重后包裹透视图像中包裹所包含的物品进行检测。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述包裹检测方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述包裹检测方法的步骤。
上述包裹检测方法、装置、计算机可读存储介质和计算机设备，通过视频采编器对安检机输出的安检视频进行转换得到数字视频，从而可以获得用于进行包裹检测的数据源。对数字视频进行解码得到视频帧图像后，对包含有包裹特征的图像区域进行分割得到包裹透视图像，然后进行去重处理，从而确保同一包裹透视图像不被多次重复处理，有利于降低计算机的开销。对去重后包裹透视图像中包裹所包含的物品进行检测，从而可以检测出包裹中的物品。由于通过视频采编器便可得到安检机的安检视频，无需对现役安检机加装包裹智能检测功能来对加密格式图像进行检测，避免了修改安检机工控程序，从而可以提升包裹检测的准确性。
附图说明
图1为一个实施例中包裹检测方法的应用环境图；
图2为一个实施例中包裹检测方法的流程示意图；
图3为一个实施例中视频帧图像中各区域的示意图；
图4为一个实施例中视频帧图像中包含非安检操作页面的示意图；
图5为一个实施例中包裹透视图的示意图；
图6为一个实施例中对包裹中的物品识别的界面示意图；
图7为一个实施例中包裹检测方法的时序图；
图8为一个实施例中包裹去重方法的流程示意图；
图9为一个实施例中包裹检测装置的结构框图；
图10为另一个实施例中包裹检测装置的结构框图；
图11为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中包裹检测方法的应用环境图。参照图1，该包裹检测方法应用于包裹检测系统。该包裹检测系统包括安检机110、视频采编器120、终端130和安检监视器140。安检机110、视频采编器120、终端130和安检监视器140之间可以通过数据线、网线或无线连接。安检机110拍摄包裹得到安检视频，将该安检视频输出至视频采编器120；视频采编器120一方面将安检视频环出至安检监视器140进行安全监测，另一方面将安检视频转换为数字视频，并将其输出至终端130；终端130获得视频采编器120输出的数字视频时，对该数字视频进行解码得到视频帧图像，将视频帧图像中包含有包裹特征的图像区域进行图像分割，获得多个包裹透视图像；判断多个包裹透视图像中是否存在与历史包裹特征匹配的图像；若存在，则将匹配的图像从多个包裹透视图像中去除，得到去重后包裹透视图像；对去重后包裹透视图像中包裹所包含的物品进行检测。
其中，安检机110可以是安装有X光机的设备，安检机110中除了包含有X光机，还可以包含有工控计算机(图1中未示出)，视频采编器120与工控计算机连接，获得安检机110采集的安检视频。终端130具体可以是安装有安检图像智能检测系统的包裹检测设备，包括但不限于台式终端或移动终端，移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。
如图2所示，在一个实施例中，提供了一种包裹检测方法。本实施例主要以该方法应用于上述图1中的终端110来举例说明。参照图2，该包裹检测方法具体包括如下步骤：
S202，获取由视频采编器转换安检视频得到的数字视频。
其中，安检视频由安检机的工控计算机输出至视频采编器。视频采编器可以是VGA(Video Graphics Array，视频图形阵列)视频采编器。视频采编器将输入的VGA视频，一方面环出至安检监控器，由安检监控器显示由视频采编器环出的VGA视频，以进行人工监控；另一方面，视频采编器对VGA视频进行编码得到数字视频，然后通过RTSP(Real TimeStreaming Protocol，实时流传输协议)通信方式传输至终端。VGA是一种视频传输标准，具有分辨率高、显示速率快和颜色丰富等优点。RTSP是TCP(Transmission ControlProtocol，传输控制协议)和IP(Internet Protocol，互联网协议)体系中的一个应用层协议，定义了应用程序如何有效地通过IP网络传送多媒体数据。
在一个实施例中，安检机通过内置的X光机拍摄安检通道中的包裹，得到X光成像，将X光成像合成安检视频。安检机在合成安检视频之后，将安检视频传输至安检机自带的工控计算机，通过工控计算机的显卡将安检视频输出至视频采编器。视频采编器一方面将安检视频环出至安检监控器进行安全监测，另一方面将安检视频转换为数字视频，并将转换所得的数字视频传输至终端。其中，工控计算机与视频采编器采用VGA线进行连接。
在一个实施例中，终端与视频采编器建立通信连接，接收视频采编器采用RTSP通信方式发送的数字视频。其中，该通信连接可以是有线连接，也可以是无线连接。
S204，当解码数字视频得到视频帧图像时，将视频帧图像中包含有包裹特征的图像区域进行图像分割，获得多个包裹透视图像。
其中，视频帧图像指的是对数字视频进行解码得到的图像，该图像中可以包含有包裹特征以及包裹中所携带的物品的特征(即物品特征)。由于视频帧图像是X光成像图，因此分割图像之后所得的包裹图像为透视的包裹图像，即包裹透视图像。由于每个包裹透视图像中只包含有一个包裹的包裹特征，从而实现了将多个包裹从视频帧图像中切分开，以便后续对包裹中的物品进行识别。
在一个实施例中，终端对数字视频进行解码，得到多张视频帧图像。终端确定安检机拍摄安检视频的帧率，根据帧率确定采样间隔，按照采样间隔从多个视频帧图像中选取至少一张视频帧图像，以便进行图像分割处理。
例如，当安检机拍摄安检视频的帧率为24，即每一秒视频由24帧图像组成，由于安检机在传送包裹时，包裹从一端到另一端需要一定的时间，假设需要5秒，那么包裹经过安检通道需要拍摄5×24＝120帧。若终端每一次所获得的数字视频具有24帧，在解码数字视频得到这24帧视频帧图像时，若对这所有24帧的视频帧图像进行检测，将会增大终端的计算量，因此，可以每隔一定的帧数抽取一张图像进行检测，可有效地降低终端开销。
由于安检视频是工控计算机通过显卡输出的，使得输出的安检视频画面中将会包含有：X光图展示区域和控制面板区域，此外，还可以包含有安检机出入口展示区域，如图3所示。此外，安检视频中也可能会包含有非安检图像界面的内容，例如工控计算机在显示安检视频过程中，将安检图像界面最小化、或是切换到其他系统界面、或在安检图像界面上显示其它内容，因此输出的安检视频将会携带有包含有非安检图像界面的内容，如图4所示。其中，X光图片展示区域是出现包裹的区域。控制面板区域是用于控制安检视频播放的功能区。
在一个实施例中，终端对视频帧图像进行有效性检查，以确定视频帧图像中是否为有效图像，即包含有安检图像界面，若包含，则将视频帧图像中的控制面板区域裁剪掉，保留X光图片展示区域，从而得到包含有包裹特征的图像区域。若不包含，则确定该视频帧图像为无效图像，将其进行去除。
例如，工控计算机在显示安检视频时，由于安检图像界面最小化或是切换到其他系统界面，从而导致显示的画面中不包含安检图像界面，使得从工控计算机输出的安检视频为无效视频，对应的数字视频也为无效视频，解码所得的视频帧图像为无效图像，则去除该无效图像。
由于安检机的工控计算机所输出的安检视频中除了X光成像图的图像区域之外，一般都含有操作界面，例如按钮、图标及标签等，因此，在检测包裹之前，对每一张有效的视频帧图像进行裁剪，即将视频帧图像中不包含包裹特征的边缘区域进行裁剪。
在一个实施例中，在S204之前，该方法还可以包括：终端检测视频帧图像是否为包含有包裹特征的有效图像；若否，则去除视频帧图像，返回执行S202；若是，则将视频帧图像中不包含包裹特征的边缘区域进行裁剪。
在裁剪的过程中，对于某-固定机型的安检机而言，其安检图像界面是确定的，因此可以通过提取预设的安检图像界面特征点来进行帧有效性检查。
在一个实施例中，检测视频帧图像是否为包含有包裹特征的有效图像的步骤，具体可以包括：终端从视频帧图像中选取多个矩形图像块；分别提取矩形图像块中的像素值，得到像素值矩阵；对像素值矩阵中的像素值与对应预设像素值矩阵中的像素值进行求差，得到像素差值；预设像素值矩阵是基于安检图像界面提取所得；计算像素差值的均值和方差；根据均值和方差，判断视频帧图像中是否为包含有包裹特征的有效图像。
在一个实施例中，将视频帧图像中不包含包裹特征的边缘区域进行裁剪的步骤，具体可以包括：终端在视频帧图像中查找标定的图像区域；将图像区域以外的、不包含包裹特征的边缘区域从频帧图像裁剪掉，得到包含有包裹特征的图像区域。由于在裁剪的过程中，对于某一固定机型的安检机而言，其安检图像界面是确定的，因此可以预设一个或若干个矩形区域用来标定有效的图像区域，在接收到判定为有效的视频帧图像之后，通过预设的矩形区域对视频帧图像进行裁剪。
例如，终端预先获取正常安检图像界面所得的数字视频，并对该数字视频进行解码得到视频帧图像，按照具体的安检机机型从视频帧图像中选取N个矩形图像块(例如16×16像素)；然后，提取各个矩形图像块内的RGB值，根据提取的RGB值形成预设像素值矩阵，将其保存以作为后续的匹配数据。在后续需要进行包裹检测时，对于每一视频帧图像提取相同尺寸、相同位置的矩形图像块，以及提取该矩形图像块内的RGB值，得到像素差值。终端将该像素差值中的RGB值与预先存储的预设像素值矩阵中的RGB值进行求差，然后计算差值的均值及方差。若均值大于预设均值、且方差大于预设方差时，则视频帧图像中不是包含有包裹特征的有效图像；若均值小于或等于预设均值、且方差小于或等于预设方差时，则视频帧图像中是包含有包裹特征的有效图像。
在对视频帧图像进行有效性检查之后，终端将会对视频帧图像进行图像分割，即把包含有包裹特征的图像区域进行分割，得到多个包裹透视图像，每个包裹透视图像中包含有一个包裹特征，从而可以将多个包裹切分开，以便后续对包裹中的物品进行识别。如图5所示，图5(a)和图5(b)即为从图3中分割出来的包裹透视图像。
在一个实施例中，对于图像分割的步骤，具体可以包括：终端在包含有包裹特征的图像区域，按照图像坐标系的水平方向和竖直方向分别提取图像梯度，得到与图像梯度对应的梯度图像；从梯度图像中提取封闭轮廓区域；从封闭轮廓区域中，筛选区域面积达到面积阈值的目标封闭轮廓区域；将目标封闭轮廓区域确定为包含有包裹特征的包裹透视图像。
在一个实施例中，从梯度图像中提取封闭轮廓区域的步骤，具体可以包括：终端对图像梯度进行二值化处理，得到二值化图像；利用预设卷积核对二值化图像进行卷积处理，并对卷积处理后所得的图像进行放大处理；从放大处理后所得的图像中提取封闭轮廓区域。其中，对图像进行放大处理是指对图像的尺寸进行放大，放大的倍数为n，n为大于1的正数，例如放大的倍数n＝2。
其中，在一个视频帧图像中，可能包含多个包裹或多个包裹粘连叠放在一起，需要对视频帧图像中的包裹进行提取，并计算包裹特征，以保证多个视频帧图像中同一包裹特征不被多次重复处理。
例如，a)对于判定为有效的视频帧图像，终端分别按照图像坐标系X及Y轴方向提取图像梯度；b)通过设置的阈值，对由图像梯度形成的梯度图像进行二值化处理，即梯度图像中的梯度值小于阈值时，将该梯度值置为0；梯度图像中的梯度值大于或等于阈值时，将该梯度值置为1，从而得到对应的二值化图像，从而留存粗糙包裹区域；c)利用预设卷积核对二值化图像进行卷积处理，对于每一步卷积处理，当且仅当，预设卷积核对应的二值化图像的图块中每个像素都为1时，则输出1，否则输出0；然后对卷积处理后所得的图像进行放大处理，从而过滤掉噪点、优化有效区域几何形状；d)从放大处理后所得的图像中提取封闭轮廓区域，该区域呈现形式为多边形；e)对每个封闭轮廓区域求面积，然后过滤掉面积过小的封闭轮廓区域；f)在过滤掉面积过小的封闭轮廓区域之后，将剩余的封闭轮廓区域作为有效包裹区域，对每个封闭轮廓区域进行图像提取。
在一个实施例中，终端在裁剪包裹透视图像之后，计算该包裹透视图像相对视频帧图像的偏移量，或者，计算该包裹透视图像相对裁剪边缘区域后的视频帧图像的偏移量。
在另一个实施例中，终端在包裹透视图像中提取包裹特征，并计算该包裹特征相对视频帧图像的偏移量，或者，计算该包裹特征相对裁剪边缘区域后的视频帧图像的偏移量。
S206，判断多个包裹透视图像中是否存在与历史包裹特征匹配的图像。
在一个实施例中，终端在提取了视频帧图像内的包裹透视图像之后，可以将包裹透视图像中的包裹特征与历史包裹特征进行匹配比较，确定视频帧图像中哪些是已出现并处理的包裹，哪些是新出现并需要处理的包裹。
在一个实施例中，S206具体可以包括：终端从多个包裹透视图像中提取包裹特征；将所提取的包裹特征与历史包裹特征进行特征匹配，得到匹配结果；当匹配结果达到匹配阈值时，则确定多个包裹透视图像中存在与历史包裹特征匹配的图像；当匹配结果未达到匹配阈值时，则确定多个包裹透视图像中不存在与历史包裹特征匹配的图像。
其中，匹配结果可以是匹配程度值，当匹配程度值越大，表示包裹特征与历史包裹特征两者越匹配，即相似程度高。当匹配程度值越小，表示包裹特征与历史包裹特征两者越不匹配，即相似程度低。
例如，终端利用以下几种特性：安检机传送系统平移、各视频帧图像中包裹出现的时间顺序固定、包裹在安检机产生的各视频帧图像中几何形状稳定、以及包裹在各视频帧图像中的特征稳定等特性，将视频帧图像中的各包裹特征与历史包裹特征进行特征匹配；若包裹特征与存储的历史包裹特征的匹配程度都大于预设阈值，表示包裹特征与历史包裹特征相似度很高，则认为对应的包裹之前已经出现过；若包裹特征与存储的历史包裹特征的匹配程度都小于预设阈值，表示包裹特征与历史包裹特征相似度较高，则认为对应的包裹是新出现的。
在一个实施例中，将所提取的包裹特征与历史包裹特征进行特征匹配之前，该方法还可以包括：终端分别将属于各视频帧图像中包裹透视图像的包裹特征之间进行特征匹配，以判断各视频帧图像中包裹透视图像的包裹特征之间是否存在相同的包裹特征。若相同的包裹特征，则在相同的包裹特征中保留其中一个，将另外的包裹特征删除。在删除相同部分的包裹特征之后，将剩余的包裹特征与历史包裹特征进行特征匹配，得到匹配结果。
在一个实施例中，该方法还可以包括：终端在分割出多个包裹透视图像之后，计算各包裹透视图像在视频帧图像中的偏移量。终端判断多个包裹透视图像中是否存在与历史包裹特征匹配的图像，当多个包裹透视图像中存在与历史包裹特征匹配的图像时，根据图像的偏移量对包裹信息库进行更新；以及，将多个包裹透视图像中与历史包裹特征不匹配的图像，以及对应的偏移量保存于包裹信息库。
S208，若存在与历史包裹特征匹配的图像，则将匹配的图像从多个包裹透视图像中去除，得到去重后包裹透视图像。
例如，假设有5个包裹透视图像，分别为图像a、图像b、图像c、图像d和图像e，与上述5个包裹透视图像对应的包裹特征分别为特征a、特征b、特征c、特征d和特征e，若特征a和特征b与历史包裹特征之间的匹配程度高(即匹配程度值大于匹配阈值)，则认为特征a和特征b所对应的图像a和图像b历史出现过，也就是说，对应的包裹a和包裹b在上一次X光扫描时，已经描述过，此时，将图像a和图像b从5个包裹透视图像中去除，从而实现去重处理。通过去重处理之后，同一包裹将只会被处理一次，可以极大降低后续智能判图等计算密集型模块的负载压力，提升系统的适应性和灵活性。
S210，对去重后包裹透视图像中包裹所包含的物品进行检测。
在一个实施例中，S210具体可以包括：终端从去重后包裹透视图像中提取物品特征；将物品特征与预存的参考物品特征进行特征匹配，得到匹配程度值；当匹配程度值达到匹配阈值时，确定物品特征对应的物品类型与参考物品特征的参考类型一致；方法还包括：当物品类型为属于违禁物品类型时，发出提示警报。
在一个实施例中，终端展示包裹检测页面，在包裹检测页面配置视频帧图像展示区域，在该区域中展示解码所得的视频帧图像；在包裹检测页面右侧或左侧配置参考物品区域，在该区域展示各种参考物品；在包裹检测页面的下方配置历史包裹透视图像展示区，该展示区以缩显的方式显示历史一段时间内出现的包裹透视图像，可参考图6。
例如，当包裹透视图像中的物品特征与参考物品特征相匹配，则可以确定对应的物品类型是什么。如图6所示，图中的物品A，当检测出该物品A的特征与瓶/罐的特征匹配时，则确定该物品A为瓶/罐。
在一个实施例中，当检测出物品类型为属于违禁物品类型时，除了发出提示警报之外，还可以向安检机发送一条控制指令，通过该控制指令来控制安检机的传送系统停止转动，以便安检人员对该物品进行复查。
上述实施例中，通过视频采编器对安检机输出的安检视频进行转换得到数字视频，从而可以获得用于进行包裹检测的数据源。对数字视频进行解码得到视频帧图像后，对包含有包裹特征的图像区域进行分割得到包裹透视图像，然后进行去重处理，从而确保同一包裹透视图像不被多次重复处理，有利于降低计算机的开销。对去重后包裹透视图像中包裹所包含的物品进行检测，从而可以检测出包裹中的物品。由于通过视频采编器便可得到安检机的安检视频，无需对现役安检机加装包裹智能检测功能来对加密格式图像进行检测，避免了修改安检机工控程序，从而可以提升包裹检测的准确性。
作为一个示例，本实施例提供了一种包裹检测方法，通过采集安检机的安检视频，通过视频采编器编码成数字视频，然后将数字视频解码成视频帧图像，提取视频帧图像中的安检图像界面，得到有效的视频帧图像，其中，该安检图像界面包含有包裹透视图像，如图3所示。对视频帧图像中的包裹进行提取、切分并去重，产生单一独立的、且不重复的包裹透视图像，进而将该不重复的包裹透视图像进行包裹内物品判断。
在本实施例中，主要涉及到：安检视频采集、安检视频分析、视频帧图像有效性判断、视频帧图像的有效区域裁剪、视频帧图像中包裹提取和包裹图像去重与跟踪。包裹检测方法包括以下步骤：
S702，安检机通过X光机拍摄包裹得到安检视频。
S704，安检机通过主控计算机将安检视频输出至视频采编器。
S706，视频采编器安检视频环出至安检监控器。
S708，视频采编器将安检视频转换为数字视频，采用RTSP方式将数字视频传输至终端。
其中，该终端是本发明实施例提供的安装有安检图像智能检测系统的包裹检测设备。
S710，终端对数字视频解码得到视频帧图像。
S712，终端对视频帧图像进行有效性检测。
终端判断当前传入的视频帧图像中是否包含有安检图像界面，若包含有安检图像界面安检图像界面，则执行S712。
S714，终端通过预配置的有效区域，对视频帧图像中的安检图像界面进行裁剪，得到有效的视频帧图像。
S716，终端将视频帧图像中包含包裹特征的区域进行分割，得到关于单个包裹的包裹透视图像和对应的偏移量。
终端可以通过ORB(Oriented FAST and Rotated BRIEF)提取包裹特征，其中，ORB是一种快速特征点提取和描述的算法。
S718，终端将包裹透视图像中的包裹特征与过去帧中已存在的包裹特征进行对比。
通过对比结果确定包裹透视图像与过去帧中包裹透视图像的对应关系，进而确认哪些是已处理过的包裹，哪些是新出现的包裹，从而完成去重。
S720，终端通过去重后的包裹透视图像进行物品类型的识别，以确定包裹中所包含的物品类型。
此外，终端还会将将新出现的包裹透视图像及对应的偏移量保存于包裹信息库。
由此，通过上述包裹检测方法，安检图像智能检测系统可以很方便的接入各种不同机型的安检机，方便了整套安检图像智能检测系统的部署与适配。
作为另一个示例，本实施例提供了另一种包裹检测方法，如图8所示，具体内容包括：
(1)视频采编与解码
采用VGA视频采编器，输入VGA视频，编码成两路输出，一路为原视频环出，一路为数字视频，可采用RTSP等方式传输数字视频。
终端通过网络接收到数字视频信号后，对视频进行解码得到每一帧的视频帧图像。
(2)帧有效性检查
由于安检机输出的监视器画面可能会包含非安检图像界面的内容，例如实际操作中，将安检图像界面最小化，或是切换到其他系统界面，则这些界面对于本系统而言是无效视频帧图像，则将其删除。
对于某一固定机型的安检机而言，其安检图像界面是确定的，因此可以通过预先设置安检图像界面特征点，以便进行帧有效性检查。
有效性检查的方法步骤，包括：
1)在正常安检图像界面下，依据具体机型选取N个矩形区域(例如16x16像素)；其中，N为正整数。
2)提取各个矩形区域内的RGB值，然后进行保存作为预设匹配矩阵。
3)在处理视频帧图像时，对于每一帧提取相同尺寸和相同位置的矩形区域及矩形区域内的RGB值，得到待匹配矩阵。
4)将该待匹配矩阵中的元素与预设匹配矩阵中的元素求差，得到差值。
5)计算差值的均值和方差，若均值大于预设均值、且方差大于预设方差，则认为该视频帧图像不是有效帧图像。
(3)帧有效区域裁剪
由于安检机输出的监视器画面中除了包裹透视图像之外，一般都含有操作界面，例如按钮、图标及标签等，这些操作界面对于包裹提取是无用的，需要进行裁剪。
有效区域裁剪的方法步骤，包括：
1)对于某一机型的安检机，可以通过预先标定一个或多个有效的图像区域；
2)接收到判定为有效的视频帧图像后，终端通过预先标定的矩形区域对图像视频帧图像进行裁剪。
(4)包裹特征提取
视频帧图像中可能包含有多个包裹或多个包裹叠放在一起，此时，终端需对视频帧图像中的包裹进行提取得到包裹特征，保证多个视频帧图像中同一包裹透视图像不被重复处理。
包裹特征提取的方法步骤，包括：
1)对于有效的视频帧图像，终端按照X轴和Y轴方向提取图像梯度；
2)对对应的梯度图像进行二值化处理，从而留存粗糙包裹区域；
3)对二值化处理所得得二值化图像进行消融及放大处理，从而过滤掉噪点，优化有效区域几何形状；
其中，对二值化图像进行消融指的是对二值化图像进行腐蚀(erode)处理，也就是说对二值化图像中的目标轮廓进行收缩。具体而言，对二值化图进行二维卷积操作，对于每一步卷积处理，当且仅当，卷积核对应的二值化图像的图块中每个像素都为1时，则输出1，否则输出0。
4)从处理后的二值化图像中提取封闭轮廓区域；
5)计算每个封闭轮廓区域的面积，并将面积过小的封闭轮廓区域过滤掉；
6)将过滤后保留下来的封闭轮廓区域作为有效包裹区域，从而得到包裹透视图像，计算包裹透视图像相对视频帧图像的偏移量，并提取包裹特征。
(5)包裹跟踪
在获得每一个包裹的包裹透视图像及相关信息后，将包裹透视图像中的包裹特征与过往包裹特征匹配比较，以确认哪些是已出现并处理的包裹，哪些是新出现并需要处理的包裹。
包裹跟踪方法步骤，包括：
1)安检机传送系统平移、多张视频帧图像中包裹出现的时间顺序固定、包裹在安检机产生的各视频帧图像中几何形状稳定、以及包裹在各视频帧图像中的图像特征稳定等多种特性，将当前处理的包裹透视图像与过往包裹透视图像进行特征匹配，得到匹配结果；
2)若匹配结果都大于预设阈值，表示对应的包裹与历史处理的包裹之间相似度高，则认为该包裹是历史出现的包裹，则将该包裹特征或包裹透视图像更新到已存储的包裹信息中；
3)若匹配结果小于预设阈值，表示对应的包裹与历史处理的包裹之间相似度低，则认为该包裹是新出现的包裹，对该包裹透视图像中包裹所包含的物品进行检测；
4)通过这个方法，同一包裹只会被处理一次，可以极大降低后续对包裹中的物品进行识别的负载压力，提升系统的适应性和灵活性。
图2、7-8为一个实施例中包裹检测方法的流程示意图。应该理解的是，虽然图2、7-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、7-8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图9所示，在一个实施例中，提供了一种包裹检测装置，该包裹检测装置具体包括：视频获取模块902、图像分割模块904、特征匹配模块906、滤除模块908和检测模块910；其中：
视频获取模块902，用于获取由视频采编器转换安检视频得到的数字视频；安检视频由安检机的工控计算机输出至视频采编器；
图像分割模块904，用于当解码数字视频得到视频帧图像时，将视频帧图像中包含有包裹特征的图像区域进行图像分割，获得多个包裹透视图像；
特征匹配模块906，用于判断多个包裹透视图像中是否存在与历史包裹特征匹配的图像；
滤除模块908，用于若存在与历史包裹特征匹配的图像，则将匹配的图像从多个包裹透视图像中去除，得到去重后包裹透视图像；
检测模块910，用于对去重后包裹透视图像中包裹所包含的物品进行检测。
在一个实施例中，如图10所示，该装置还包括：
有效图像检测模块912，用于将视频帧图像中包含有包裹特征的图像区域进行图像分割之前，检测视频帧图像是否为包含有包裹特征的有效图像；
滤除模块908，还用于若不包含有包裹特征的有效图像，则去除视频帧图像；
图像裁剪模块914，用于若包含有包裹特征的有效图像，则将视频帧图像中不包含包裹特征的边缘区域进行裁剪。
在一个实施例中，有效图像检测模块912还用于：从视频帧图像中选取多个矩形图像块；分别提取矩形图像块中的像素值，得到像素值矩阵；对像素值矩阵中的像素值与对应预设像素值矩阵中的像素值进行求差，得到像素差值；预设像素值矩阵是基于安检图像界面提取所得；计算像素差值的均值和方差；根据均值和方差，判断视频帧图像中是否为包含有包裹特征的有效图像。
在一个实施例中，图像裁剪模块914还用于：在视频帧图像中查找标定的图像区域；将图像区域以外的、不包含包裹特征的边缘区域从频帧图像裁剪掉，得到包含有包裹特征的图像区域。
在一个实施例中，如图10所示，该装置还包括：
透视图像提取模块916，用于在包含有包裹特征的图像区域，按照图像坐标系的水平方向和竖直方向分别提取图像梯度，得到与图像梯度对应的梯度图像；从梯度图像中提取封闭轮廓区域；从封闭轮廓区域中，筛选区域面积达到面积阈值的目标封闭轮廓区域；将目标封闭轮廓区域确定为包含有包裹特征的包裹透视图像。
在一个实施例中，透视图像提取模块916用于：对图像梯度进行二值化处理，得到二值化图像；利用预设卷积核对二值化图像进行卷积处理，并对卷积处理后所得的图像进行放大处理；从放大处理后所得的图像中提取封闭轮廓区域。
在一个实施例中，特征匹配模块906，还用于：从多个包裹透视图像中提取包裹特征；将所提取的包裹特征与历史包裹特征进行特征匹配，得到匹配结果；当匹配结果达到匹配阈值时，则确定多个包裹透视图像中存在与历史包裹特征匹配的图像；当匹配结果未达到匹配阈值时，则确定多个包裹透视图像中不存在与历史包裹特征匹配的图像。
在一个实施例中，如图10所示，该装置还包括：
偏移量计算模块918，用于计算各包裹透视图像在视频帧图像中的偏移量；
信息存储模块920，用于当多个包裹透视图像中存在与历史包裹特征匹配的图像时，根据图像的偏移量对包裹信息库进行更新；以及，将多个包裹透视图像中与历史包裹特征不匹配的图像，以及对应的偏移量保存于包裹信息库。
在一个实施例中，如图10所示，该装置还包括：提示模块922；其中：
检测模块910，还用于：从去重后包裹透视图像中提取物品特征；将物品特征与预存的参考物品特征进行特征匹配，得到匹配程度值；当匹配程度值达到匹配阈值时，确定物品特征对应的物品类型与参考物品特征的参考类型一致；
提示模块922，用于当物品类型为属于违禁物品类型时，发出提示警报。
上述实施例中，通过视频采编器对安检机输出的安检视频进行转换得到数字视频，从而可以获得用于进行包裹检测的数据源。对数字视频进行解码得到视频帧图像后，对包含有包裹特征的图像区域进行分割得到包裹透视图像，然后进行去重处理，从而确保同一包裹透视图像不被多次重复处理，有利于降低计算机的开销。对去重后包裹透视图像中包裹所包含的物品进行检测，从而可以检测出包裹中的物品。由于通过视频采编器便可得到安检机的安检视频，无需对现役安检机加装包裹智能检测功能来对加密格式图像进行检测，避免了修改安检机工控程序，从而可以提升包裹检测的准确性。
图11示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图11所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现包裹检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行包裹检测方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的包裹检测装置可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该包裹检测装置的各个程序模块，比如，图9所示的视频获取模块902、图像分割模块904、特征匹配模块906、滤除模块908和检测模块910。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的包裹检测方法中的步骤。
例如，图11所示的计算机设备可以通过如图9所示的包裹检测装置中的视频获取模块902执行S202。计算机设备可通过图像分割模块904执行S204。计算机设备可通过特征匹配模块906执行S206。计算机设备可通过滤除模块908执行S208。计算机设备可通过检测模块910执行S210。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行：获取由视频采编器转换安检视频得到的数字视频；安检视频由安检机的工控计算机输出至视频采编器；当解码数字视频得到视频帧图像时，将视频帧图像中包含有包裹特征的图像区域进行图像分割，获得多个包裹透视图像；判断多个包裹透视图像中是否存在与历史包裹特征匹配的图像；若存在，则将匹配的图像从多个包裹透视图像中去除，得到去重后包裹透视图像；对去重后包裹透视图像中包裹所包含的物品进行检测。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行：在将视频帧图像中包含有包裹特征的图像区域进行图像分割的步骤之前，检测视频帧图像是否为包含有包裹特征的有效图像；若否，则去除视频帧图像，返回执行获取由视频采编器转换安检视频得到的数字视频的步骤；若是，则将视频帧图像中不包含包裹特征的边缘区域进行裁剪。
在一个实施例中，计算机程序被处理器执行检测视频帧图像是否为包含有包裹特征的有效图像的步骤时，使得处理器具体执行：从视频帧图像中选取多个矩形图像块；分别提取矩形图像块中的像素值，得到像素值矩阵；对像素值矩阵中的像素值与对应预设像素值矩阵中的像素值进行求差，得到像素差值；预设像素值矩阵是基于安检图像界面提取所得；计算像素差值的均值和方差；根据均值和方差，判断视频帧图像中是否为包含有包裹特征的有效图像。
在一个实施例中，计算机程序被处理器执行将视频帧图像中不包含包裹特征的边缘区域进行裁剪的步骤时，使得处理器具体执行：在视频帧图像中查找标定的图像区域；将图像区域以外的、不包含包裹特征的边缘区域从频帧图像裁剪掉，得到包含有包裹特征的图像区域。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行：在包含有包裹特征的图像区域，按照图像坐标系的水平方向和竖直方向分别提取图像梯度，得到与图像梯度对应的梯度图像；从梯度图像中提取封闭轮廓区域；从封闭轮廓区域中，筛选区域面积达到面积阈值的目标封闭轮廓区域；将目标封闭轮廓区域确定为包含有包裹特征的包裹透视图像。
在一个实施例中，计算机程序被处理器执行从梯度图像中提取封闭轮廓区域的步骤时，使得处理器具体执行：对图像梯度进行二值化处理，得到二值化图像；利用预设卷积核对二值化图像进行卷积处理，并对卷积处理后所得的图像进行放大处理；从放大处理后所得的图像中提取封闭轮廓区域。
在一个实施例中，计算机程序被处理器执行判断多个包裹透视图像中是否存在与历史包裹特征匹配的图像的步骤时，使得处理器具体执行：从多个包裹透视图像中提取包裹特征；将所提取的包裹特征与历史包裹特征进行特征匹配，得到匹配结果；当匹配结果达到匹配阈值时，则确定多个包裹透视图像中存在与历史包裹特征匹配的图像；当匹配结果未达到匹配阈值时，则确定多个包裹透视图像中不存在与历史包裹特征匹配的图像。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行：计算各包裹透视图像在视频帧图像中的偏移量；当多个包裹透视图像中存在与历史包裹特征匹配的图像时，根据图像的偏移量对包裹信息库进行更新；以及，将多个包裹透视图像中与历史包裹特征不匹配的图像，以及对应的偏移量保存于包裹信息库。
在一个实施例中，计算机程序被处理器执行对去重后包裹透视图像中包裹所包含的物品进行检测的步骤时，使得处理器具体执行：从去重后包裹透视图像中提取物品特征；将物品特征与预存的参考物品特征进行特征匹配，得到匹配程度值；当匹配程度值达到匹配阈值时，确定物品特征对应的物品类型与参考物品特征的参考类型一致；当物品类型为属于违禁物品类型时，发出提示警报。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行：获取由视频采编器转换安检视频得到的数字视频；安检视频由安检机的工控计算机输出至视频采编器；当解码数字视频得到视频帧图像时，将视频帧图像中包含有包裹特征的图像区域进行图像分割，获得多个包裹透视图像；判断多个包裹透视图像中是否存在与历史包裹特征匹配的图像；若存在，则将匹配的图像从多个包裹透视图像中去除，得到去重后包裹透视图像；对去重后包裹透视图像中包裹所包含的物品进行检测。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行：在将视频帧图像中包含有包裹特征的图像区域进行图像分割的步骤之前，检测视频帧图像是否为包含有包裹特征的有效图像；若否，则去除视频帧图像，返回执行获取由视频采编器转换安检视频得到的数字视频的步骤；若是，则将视频帧图像中不包含包裹特征的边缘区域进行裁剪。
在一个实施例中，计算机程序被处理器执行检测视频帧图像是否为包含有包裹特征的有效图像的步骤时，使得处理器具体执行：从视频帧图像中选取多个矩形图像块；分别提取矩形图像块中的像素值，得到像素值矩阵；对像素值矩阵中的像素值与对应预设像素值矩阵中的像素值进行求差，得到像素差值；预设像素值矩阵是基于安检图像界面提取所得；计算像素差值的均值和方差；根据均值和方差，判断视频帧图像中是否为包含有包裹特征的有效图像。
在一个实施例中，计算机程序被处理器执行将视频帧图像中不包含包裹特征的边缘区域进行裁剪的步骤时，使得处理器具体执行：在视频帧图像中查找标定的图像区域；将图像区域以外的、不包含包裹特征的边缘区域从频帧图像裁剪掉，得到包含有包裹特征的图像区域。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行：在包含有包裹特征的图像区域，按照图像坐标系的水平方向和竖直方向分别提取图像梯度，得到与图像梯度对应的梯度图像；从梯度图像中提取封闭轮廓区域；从封闭轮廓区域中，筛选区域面积达到面积阈值的目标封闭轮廓区域；将目标封闭轮廓区域确定为包含有包裹特征的包裹透视图像。
在一个实施例中，计算机程序被处理器执行从梯度图像中提取封闭轮廓区域的步骤时，使得处理器具体执行：对图像梯度进行二值化处理，得到二值化图像；利用预设卷积核对二值化图像进行卷积处理，并对卷积处理后所得的图像进行放大处理；从放大处理后所得的图像中提取封闭轮廓区域。
在一个实施例中，计算机程序被处理器执行判断多个包裹透视图像中是否存在与历史包裹特征匹配的图像的步骤时，使得处理器具体执行：从多个包裹透视图像中提取包裹特征；将所提取的包裹特征与历史包裹特征进行特征匹配，得到匹配结果；当匹配结果达到匹配阈值时，则确定多个包裹透视图像中存在与历史包裹特征匹配的图像；当匹配结果未达到匹配阈值时，则确定多个包裹透视图像中不存在与历史包裹特征匹配的图像。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行：计算各包裹透视图像在视频帧图像中的偏移量；当多个包裹透视图像中存在与历史包裹特征匹配的图像时，根据图像的偏移量对包裹信息库进行更新；以及，将多个包裹透视图像中与历史包裹特征不匹配的图像，以及对应的偏移量保存于包裹信息库。
在一个实施例中，计算机程序被处理器执行对去重后包裹透视图像中包裹所包含的物品进行检测的步骤时，使得处理器具体执行：从去重后包裹透视图像中提取物品特征；将物品特征与预存的参考物品特征进行特征匹配，得到匹配程度值；当匹配程度值达到匹配阈值时，确定物品特征对应的物品类型与参考物品特征的参考类型一致；当物品类型为属于违禁物品类型时，发出提示警报。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种包裹检测方法，包括：
获取由视频采编器转换安检视频得到的数字视频；所述安检视频由安检机的工控计算机输出至所述视频采编器；
当解码所述数字视频得到视频帧图像时，在包含有包裹特征的图像区域，按照图像坐标系的水平方向和竖直方向分别提取图像梯度，得到与所述图像梯度对应的梯度图像；对所述梯度图像进行二值化处理，得到二值化图像；利用预设卷积核对所述二值化图像进行卷积处理，并对卷积处理后所得的图像进行放大处理；从放大处理后所得的图像中提取封闭轮廓区域；从所述封闭轮廓区域中，筛选区域面积达到面积阈值的目标封闭轮廓区域；将所述目标封闭轮廓区域确定为包含有包裹特征的包裹透视图像，并从所述视频帧图像中分割出所述目标封闭轮廓区域，获得多个包裹透视图像；其中，对于每一步卷积处理，当所述预设卷积核对应的二值化图像的图块中每个像素都为1时，则输出1，否则输出0；
判断所述多个包裹透视图像中是否存在与历史包裹特征匹配的图像；
若存在，则将匹配的图像从所述多个包裹透视图像中去除，得到去重后包裹透视图像；
对所述去重后包裹透视图像中包裹所包含的物品进行检测。
2.根据权利要求1所述的方法，其特征在于，所述在包含有包裹特征的图像区域，按照图像坐标系的水平方向和竖直方向分别提取图像梯度之前，所述方法还包括：
检测所述视频帧图像是否为包含有包裹特征的有效图像；
若否，则去除所述视频帧图像，返回执行所述获取由视频采编器转换安检视频得到的数字视频的步骤；
若是，则将所述视频帧图像中不包含所述包裹特征的边缘区域进行裁剪。
3.根据权利要求2所述的方法，其特征在于，所述检测所述视频帧图像是否为包含有包裹特征的有效图像包括：
从所述视频帧图像中选取多个矩形图像块；
分别提取所述矩形图像块中的像素值，得到像素值矩阵；
对所述像素值矩阵中的像素值与对应预设像素值矩阵中的像素值进行求差，得到像素差值；所述预设像素值矩阵是基于安检图像界面提取所得；
计算所述像素差值的均值和方差；
根据所述均值和所述方差，判断所述视频帧图像中是否为包含有包裹特征的有效图像。
4.根据权利要求2或3所述的方法，其特征在于，所述将所述视频帧图像中不包含所述包裹特征的边缘区域进行裁剪包括：
在所述视频帧图像中查找标定的图像区域；
将所述图像区域以外的、不包含所述包裹特征的边缘区域从所述频帧图像裁剪掉，得到所述包含有包裹特征的图像区域。
5.根据权利要求1所述的方法，其特征在于，所述判断所述多个包裹透视图像中是否存在与历史包裹特征匹配的图像包括：
从所述多个包裹透视图像中提取包裹特征；
将所提取的包裹特征与历史包裹特征进行特征匹配，得到匹配结果；
当所述匹配结果达到匹配阈值时，则确定所述多个包裹透视图像中存在与历史包裹特征匹配的图像；
当所述匹配结果未达到匹配阈值时，则确定所述多个包裹透视图像中不存在与历史包裹特征匹配的图像。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
计算各所述包裹透视图像在所述视频帧图像中的偏移量；
当所述多个包裹透视图像中存在与历史包裹特征匹配的图像时，根据所述图像的偏移量对包裹信息库进行更新；以及，
将所述多个包裹透视图像中与历史包裹特征不匹配的图像，以及对应的偏移量保存于所述包裹信息库。
7.根据权利要求1所述的方法，其特征在于，所述对所述去重后包裹透视图像中包裹所包含的物品进行检测包括：
从所述去重后包裹透视图像中提取物品特征；
将所述物品特征与预存的参考物品特征进行特征匹配，得到匹配程度值；
当所述匹配程度值达到匹配阈值时，确定所述物品特征对应的物品类型与所述参考物品特征的参考类型一致；
所述方法还包括：当所述物品类型为属于违禁物品类型时，发出提示警报。
8.一种包裹检测装置，其特征在于，所述装置包括：
视频获取模块，用于获取由视频采编器转换安检视频得到的数字视频；所述安检视频由安检机的工控计算机输出至所述视频采编器；
透视图像提取模块，用于当解码所述数字视频得到视频帧图像时，在包含有包裹特征的图像区域，按照图像坐标系的水平方向和竖直方向分别提取图像梯度，得到与所述图像梯度对应的梯度图像；对所述梯度图像进行二值化处理，得到二值化图像；利用预设卷积核对所述二值化图像进行卷积处理，并对卷积处理后所得的图像进行放大处理；从放大处理后所得的图像中提取封闭轮廓区域；从所述封闭轮廓区域中，筛选区域面积达到面积阈值的目标封闭轮廓区域；将所述目标封闭轮廓区域确定为包含有包裹特征的包裹透视图像；其中，对于每一步卷积处理，当所述预设卷积核对应的二值化图像的图块中每个像素都为1时，则输出1，否则输出0；
图像分割模块，用于从所述视频帧图像中分割出所述目标封闭轮廓区域，获得多个包裹透视图像；
特征匹配模块，用于判断所述多个包裹透视图像中是否存在与历史包裹特征匹配的图像；
滤除模块，用于若存在与历史包裹特征匹配的图像，则将匹配的图像从所述多个包裹透视图像中去除，得到去重后包裹透视图像；
检测模块，用于对所述去重后包裹透视图像中包裹所包含的物品进行检测。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
CN201910631371.2A 2019-07-12 2019-07-12 包裹检测方法、装置、计算机可读存储介质和计算机设备 Expired - Fee Related CN110378912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910631371.2A CN110378912B (zh) 2019-07-12 2019-07-12 包裹检测方法、装置、计算机可读存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910631371.2A CN110378912B (zh) 2019-07-12 2019-07-12 包裹检测方法、装置、计算机可读存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN110378912A CN110378912A (zh) 2019-10-25
CN110378912B true CN110378912B (zh) 2021-11-16

Family

ID=68252961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910631371.2A Expired - Fee Related CN110378912B (zh) 2019-07-12 2019-07-12 包裹检测方法、装置、计算机可读存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN110378912B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069984A (zh) * 2020-09-03 2020-12-11 浙江大华技术股份有限公司 一种物品边框匹配显示方法及装置
CN113436151A (zh) * 2021-06-07 2021-09-24 中国铁道科学研究院集团有限公司电子计算技术研究所 安检方法、装置、电子设备及存储介质
CN114140542B (zh) * 2021-12-09 2022-11-22 成都智元汇信息技术股份有限公司 基于色彩补偿的切图方法、电子设备及介质
CN114758259B (zh) * 2022-06-15 2022-09-06 科大天工智能装备技术（天津）有限公司 一种基于x光物体图像识别的包裹检测方法及系统
CN117437304B (zh) * 2023-12-18 2024-04-16 科大讯飞(苏州)科技有限公司 安检机标定方法及相关方法、装置、设备和存储介质
CN117495861B (zh) * 2024-01-02 2024-06-14 同方威视科技江苏有限公司 安检图像查验方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599174A (zh) * 2009-08-13 2009-12-09 哈尔滨工业大学 基于边缘和统计特征的水平集医学超声图像区域轮廓提取方法
CN103971660A (zh) * 2014-05-20 2014-08-06 河北科技大学 一种多路信号多屏拼接处理系统
CN105045712A (zh) * 2015-07-15 2015-11-11 中国航空无线电电子研究所 一种用于测试图形处理模块的测试系统
CN105405126A (zh) * 2015-10-27 2016-03-16 大连理工大学 一种基于单目视觉系统的多尺度空-地参数自动标定方法
CN106204618A (zh) * 2016-07-20 2016-12-07 南京文采科技有限责任公司 基于机器视觉的产品包装表面缺陷检测与分类方法
CN107871122A (zh) * 2017-11-14 2018-04-03 深圳码隆科技有限公司 安检检测方法、装置、系统及电子设备
CN108108700A (zh) * 2017-12-27 2018-06-01 江苏大学 一种基于弦轴变换的猪的特征区域识别方法
CN108520225A (zh) * 2018-03-30 2018-09-11 南京信息工程大学 一种基于空间变换卷积神经网络的指纹检测分类方法
US10147187B2 (en) * 2016-11-04 2018-12-04 Sichuan University Kind of DR radiography lung contour extraction method based on fully convolutional network
CN109934800A (zh) * 2019-01-30 2019-06-25 红云红河烟草(集团)有限责任公司 一种烟包卡纸的定位方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766829A (zh) * 2017-10-27 2018-03-06 浙江大华技术股份有限公司 一种物品检测的方法和设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599174A (zh) * 2009-08-13 2009-12-09 哈尔滨工业大学 基于边缘和统计特征的水平集医学超声图像区域轮廓提取方法
CN103971660A (zh) * 2014-05-20 2014-08-06 河北科技大学 一种多路信号多屏拼接处理系统
CN105045712A (zh) * 2015-07-15 2015-11-11 中国航空无线电电子研究所 一种用于测试图形处理模块的测试系统
CN105405126A (zh) * 2015-10-27 2016-03-16 大连理工大学 一种基于单目视觉系统的多尺度空-地参数自动标定方法
CN106204618A (zh) * 2016-07-20 2016-12-07 南京文采科技有限责任公司 基于机器视觉的产品包装表面缺陷检测与分类方法
US10147187B2 (en) * 2016-11-04 2018-12-04 Sichuan University Kind of DR radiography lung contour extraction method based on fully convolutional network
CN107871122A (zh) * 2017-11-14 2018-04-03 深圳码隆科技有限公司 安检检测方法、装置、系统及电子设备
CN108108700A (zh) * 2017-12-27 2018-06-01 江苏大学 一种基于弦轴变换的猪的特征区域识别方法
CN108520225A (zh) * 2018-03-30 2018-09-11 南京信息工程大学 一种基于空间变换卷积神经网络的指纹检测分类方法
CN109934800A (zh) * 2019-01-30 2019-06-25 红云红河烟草(集团)有限责任公司 一种烟包卡纸的定位方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BING: Binarized normed gradients for objectness estimation at 300fps;Ming-Ming Cheng 等;《Computational Visual Media》;20190331;第3-20页 *

Also Published As

Publication number Publication date
CN110378912A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110378912B (zh) 包裹检测方法、装置、计算机可读存储介质和计算机设备
CN110446062B (zh) 大数据文件传输的接收处理方法、电子装置及存储介质
CN103400099B (zh) 终端和二维码识别方法
KR101901026B1 (ko) 비디오 파일내에서의 표적 오브젝트를 식별하는 방법
US10158840B2 (en) Steganographic depth images
CN111901604B (zh) 视频压缩、重构方法及对应装置、摄像头及视频处理设备
EP3273388A1 (en) Image information recognition processing method and device, and computer storage medium
KR101341482B1 (ko) 부분 암호화 기능을 구비한 네트워크 촬영 장치
CN113496208B (zh) 视频的场景分类方法及装置、存储介质、终端
CN111212246B (zh) 视频生成方法、装置、计算机设备及存储介质
CN111339368B (zh) 基于视频指纹的视频检索方法、装置和电子设备
CN114882446A (zh) 图像关联方法、装置、设备和介质
CN111428568A (zh) 活体视频图片处理方法、装置、计算机设备和存储介质
CN107770487B (zh) 一种特征提取并优选的方法、系统及终端设备
CN113377713A (zh) 一种多媒体数据处理方法及装置、设备、存储介质
CN107135421B (zh) 视频特征检测方法及装置
CN107563257B (zh) 视频理解方法及装置
CN109308449B (zh) 一种基于深度学习的异物过滤视频编码芯片和方法
US20190035046A1 (en) Image processing device, image processing method, and program
US8553995B2 (en) Method and device for embedding a binary sequence in a compressed video stream
CN110933458B (zh) 一种过包检测的方法、装置、计算机设备和存储介质
CN114170090A (zh) 一种由模糊监控视频重建高分辨率图像的方法与系统
CN111583101B (zh) 基于深度学习的图像防盗系统和方法
TR201722926A2 (tr) Vi̇deolarin görsel kali̇tesi̇ni̇ geli̇şti̇rmeye yöneli̇k yöntem
US9158990B2 (en) System, method and computer program product for motion detection using sets of trinary bits

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220701

Address after: Room 368, 302, 211 Fute North Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: Shanghai Yuepu Investment Center (L.P.)

Address before: 518081 floor 33, Yantian modern industry service center, 3018 Shayan Road, Shatoujiao street, Yantian District, Shenzhen, Guangdong Province

Patentee before: SHENZHEN MALONG TECHNOLOGY Co.,Ltd.

Patentee before: Shenzhen Malong artificial intelligence research center

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211116