CN107507214B - 获取货物图像的方法和装置 - Google Patents

Abstract

本发明提供一种获取货物图像的方法和装置，所述方法包括：获取传输带传送货物的视频；按照预先设置的采样间隔，对所述视频进行采样，得到当前采样图像；根据当前采样图像中货物的完整度和图像的清晰度，从视频流中选择当前货物检出源图像；根据所述当前货物检出源图像，计算传输带传送所述货物的初始区域；根据所述传输带传送所述货物的初始区域的图像信息，计算所述货物的切割模板；利用所述货物的切割模板对所述当前货物检出源图像进行处理，获取当前货物检出图像。

Description

获取货物图像的方法和装置

技术领域

本发明涉及信息监测领域，尤其涉及一种获取货物图像的方法和装置。

背景技术

现有技术中，通常采用人工连续观测进行货物数量的清点、货物外观完好性的进一步监测，这种方式不仅耗费人力资源，而且需要观测人员长时间保持注意力集中状态。即便是通过视频远程观测，也需要时刻关注视频图像；此外，若需要对货物进行再次观测，必须从存储视频中再次寻找货物，造成很大的不便。而基于视频的传输带传送物检出方法，利用视频分割技术，对视频序列或图像按一定的标准分割成区域，从而从视频序列中分离出有一定意义的实体。视频分割提取视频对象可以很大地提高压缩效率，并为存储、传输和使用提供了便利。

现有技术中对视频中运动物体的检出多采用目标跟踪方法，如光流法等。稠密光流需要使用某种插值方法在比较容易跟踪的像素之间进行插值以解决那些运动不明确的像素，所以它的计算开销是相当大的。而对于稀疏光流来说，在他计算时需要在被跟踪之前指定一组点(容易跟踪的点，例如角点)，对于少纹理的目标，稀疏光流就比较容易跟丢。

目标跟踪的方法由于“计算开销大”或“容易跟丢”并不适用于传输带传送物体监测这一应用，因此，目前如何高效准确地获取传输带上获取图像信息是亟待解决的问题。

发明内容

本发明旨在解决上面描述的问题。本发明的一个目的是提供一种解决以上问题中的任何一个的获取货物图像的方法和装置。具体地，本发明提供能够高效准确地获取传输带上获取图像信息。

根据本发明的第一方面，提供一种获取货物图像的方法，包括：

获取传输带传送货物的视频；按照预先设置的采样间隔，对所述视频进行采样，得到当前采样图像；根据当前采样图像中货物的完整度和图像的清晰度，从视频流中选择当前货物检出源图像；根据所述当前货物检出源图像，计算传输带传送所述货物的初始区域；根据所述传输带传送所述货物的初始区域的图像信息，计算所述货物的切割模板；利用所述货物的切割模板对所述当前货物检出源图像进行处理，获取当前货物检出图像。

其中，所述根据当前采集图像中货物的完整度和图像的清晰度，从视频流中选择当前货物检出源图像，包括：

利用传输带在空转状态下的图像，与当前采样图像进行帧差计算，确定货物远离视频采集设备时刻的采样图像；根据帧差波动确定货物的完整度和图像的清晰度，从所述视频中选择采样图像作为货物检出源图像。

其中，所述根据所述当前货物检出源图像，计算当前传输带传送货物的初始区域，包括：

根据预先设置的阈值，对货物检出源图像与背景图像的帧差图进行二值化处理，计算最大连通区域，其中所述阈值是根据所述传输带移动引入噪声的程度设定；合并最大连通区域及所述最大连通区域周边临近连通区域，作为所述传输带传送货物的初始区域。

其中，所述根据所述传输带传送所述货物的初始区域的图像信息，计算所述货物的切割模板，包括：

获取所述初始区域的外接矩形；对所述外接矩形区域的图像进行前景和背景的细化分割，得到前景区域，填充前景区域空洞得到所述当前货物的切割模板。

其中，所述利用所述货物的切割模板对所述当前货物检出源图像进行处理，获取当前货物检出图像，包括：

根据所述货物的切割模板，确定所述当前货物检出源图像中货物的区域，并将其他区域设置为与货物颜色不同的颜色，得到当前货物检出图像。

另一方面，本发明还提供一种获取货物图像的装置，包括：

视频获取模块，用于获取传输带传送货物的视频；图像采样模块，用于按照预先设置的采样间隔，对所述视频进行采样，得到当前采样图像；源图像计算模块，用于根据当前采样图像中货物的完整度和图像的清晰度，从视频流中选择当前货物检出源图像；区域计算模块，用于根据所述当前货物检出源图像，计算所述货物的切割模板；切割模板计算模块，用于根据所述当前货物检出源图像，计算所述货物的切割模板；处理模块，用于利用所述货物的切割模板对所述当前货物检出源图像进行处理，获取当前货物检出图像。

其中，所述源图像计算模块，用利用传输带在空转状态下的图像，与当前采样图像进行帧差计算，根据帧差波动确定货物的完整度和图像的清晰度，定位货物远离视频采集设备时刻的采样图像，将所述采样图像作为货物检出源图像。

其中，所述区域计算模块，用于根据预先设置的阈值，对货物检出源图像与背景图像的帧差图进行二值化处理，计算最大连通区域，其中所述阈值是根据所述传输带移动引入噪声的程度设定的；合并最大连通区域及所述最大连通区域周边临近连通区域，作为所述传输带传送货物的初始区域。

其中，所述切割模板计算模块，用于获取所述初始区域的外接矩形；对所述外接矩形区域的图像进行前景和背景的细化分割，得到前景区域，填充前景区域空洞得到所述当前货物的切割模板。

其中，所述处理模块，用于根据所述述货物的切割模板，确定所述当前货物检出源图像中货物的区域，并将其他区域设置为与货物颜色不同的颜色，得到当前货物检出源图像的货物检出图像。

本发明提供的方法，通过提取传送物的图像帧，保证传送物图像的完整性和清晰度，避免传送物漏检；通过确定图像前景区域，利用图像处理相关算法准确提取传送物切割模板，进而使用传送物切割模板在当前传送物检出源图像上抠取传送物，避免了对视频流进行处理，既有效降低算法开销，同时又提高了目标传送物边缘提取的精确度。

参照附图来阅读对于示例性实施例的以下描述，本发明的其他特性特征和优点将变得清晰。

附图说明

并入到说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与描述一起用于解释本发明的原理。在这些附图中，类似的附图标记用于表示类似的要素。下面描述中的附图是本发明的一些实施例，而不是全部实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。

图1示例性地示出了获取货物图像的方法流程图；

图2示例性地示出了基于视频的传输带传送物监测的方法的流程图；

图3示例性地示出了获取货物图像的装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1示例性地示出了获取货物图像的方法流程图。图1所示方法，包括：

步骤101、获取传输带传送货物的视频；

步骤102、按照预先设置的采样间隔，对所述视频进行采样，得到当前采样图像；

步骤103、根据当前采样图像中货物的完整度和图像的清晰度，从视频流中选择当前货物检出源图像；

步骤104、根据所述当前货物检出源图像，计算传输带传送货物的初始区域；

步骤105、根据所述当前传输带传送货物的初始区域，计算所述货物的切割模板；

步骤106、利用所述货物的切割模板对所述当前货物检出源图像进行处理，得到当前货物检出图像。

本发明提供的方法，通过提取传送物的图像帧，保证传送物图像的完整性和清晰度，避免传送物漏检；通过确定图像前景区域，利用图像处理相关算法准确提取传送物切割模板，进而使用传送物切割模板在当前传送物检出源图像上抠取传送物，避免了对视频流进行处理，既有效降低算法开销，同时又提高了目标传送物边缘提取的精确度。

下面对本发明提供的方法作进一步说明：

在步骤101中，传输带传送货物的视频可以通过视频采集设备对传输带传送的过程进行拍摄得到的。

在步骤102中，对视频进行采样的间隔是根据传输带转速设置的。

在步骤103中，货物检出源图像是通过如下方式得到的：

利用传输带在空转状态下的图像，与当前采样图像进行帧差计算，根据帧差波动确定货物的完整度和图像的清晰度，定位被传送货物远离视频采集设备时刻的采样图像，将所述采样图像作为货物检出源图像。

其中，货物的完整度和清晰度是根据当前采样图像和背景图像做差得到的帧差图像来判断，即帧差越大，货物越完整和清晰，因此找的是帧差最大的当前采样图像。

进一步说明的，传输带包括空置、单货物传送、多货物传送3种常见状态。空置状态即传输带上没有放置任何货物，处于空转状态，即背景图像的采集时刻；单货物传送状态即在视频图像中同时只存在一件货物；多货物传送状态即在视频图像中同时存在两件或两件以上的货物。

其中，货物检出源图像，即包含传送物的视频帧图像，主要是从连续的视频中选取包含货物的帧；针对某一具体的货物，该货物所在帧被定位，且只定位一次，即同一货物一定被检出且只被检出一次；因此，需要考虑货物在图像中的完整性和清晰度来选择货物检出源图像；其中：完整性指货物整体都在图像中，清晰度是指距离视频采集设备最近时刻；

因此，在货物的出库、入库或安全监测实时视频进行货物检出处理，基于帧差法准确定位用于提取传送物的图像帧，保证传送物图像的完整性和清晰度，避免传送物漏检。

在步骤104中，根据预先设置的阈值，对货物检出源图像与背景图像的帧差图进行二值化处理，计算最大连通区域，其中所述阈值是根据传送带移动引入噪声的程度设定；合并最大连通区域及所述最大连通区域周边临近连通区域，作为所述传输带传送货物的初始区域；其中周边临近连通区域是根据传送带的宽度及最大联通区域的范围设定。

通过设置阈值来克服传输带移动的干扰，使得初始区域的选择更为精准。

在步骤105中，所述根据所述当前传输带传送所述货物的初始区域的图像信息，计算所述货物的切割模板，包括：

获取所述初始区域的外接矩形；

对所述外接矩形区域的图像进行前景和背景的细化分割，得到前景区域，填充前景区域空洞得到所述当前货物的切割模板。

视频图像中包括传输设备以及单个或多个货物，其中传输带及货物属于运动物体，其他部分属于静止物体。前景区域指包含目标传送物的区域。本应用场景中，传输带与被传送物同时在运动，融为一体，成为准确检测物体边缘的重大干扰因素，且传送带多为黑色，受光线影响，物体(可能为多个)、阴影、传送带容易连成一片，增加单个货物边缘检测难度。确定前景区域为目标货物的精确提取提供了保障。

假定前景区域外部的图像全部为背景，前景区域内部的图像可能为目标传送物也可能为背景，迭代分段求取前景与背景的细化分割，填充前景区域空洞得到目标传送物切割模板；利用切割模板对传送物整体图像进行目标物切割，填充背景色，从而精确提取目标传送物要求准确定位物体边缘，将传送物与传送带及阴影进行准确分割。

在步骤106中，所述利用所述货物的切割模板对所述当前货物检出源图像进行处理，获取当前货物检出图像，包括：根据所述当前货物的切割模板，确定所述当前货物源图像中货物的区域，并将其他区域设置为与货物颜色不同的颜色，得到当前货物检出源图像的货物检出图像。

在实际应用中，根据当前得到的前景区域模板切割当前货物检出源图像，将背景区域填充为给定单一背景色得到当前传送物检出图像。

下面以应用实例对本发明提供的方法作进一步说明：

图2示例性地示出了基于视频的传输带传送物监测的方法的流程图。图2所示方法包括以下步骤：

步骤1：利用视频采集设备实时获取传输带传送货物的视频；

步骤2：将空置传输带时刻设置为背景帧，抓取背景图像；

步骤3：根据传输带转速设置视频图像采样间隔；

步骤4：计算当前采样图像与背景图像的帧差，根据帧差波动定位被传送货物远离视频采集设备时刻的采样图像，作为传送物检出源图像；

步骤5：设置阈值克服传输带移动的干扰，对帧差图像进行二值化，求取最大连通区域，合并最大连通区域及其周边临近连通区域为初始被传送货物区域；

步骤6：将初始被传送货物区域的外接矩形设置为初始前景区域进行前景与背景的细化分割，填充前景区域空洞得到当前区域前景切割模板；

步骤7：根据当前区域模板切割当前采样图像，将背景区域填充为给定单一背景色得到当前传送物检出图像；

实时对采集得到的视频迭代进行上述4-7步骤，得到检出物图像集合。

本发明提供的应用实例，对货物的出库、入库或安全监测实时视频进行货物检出处理，基于帧差法准确定位用于提取传送物的图像帧，较现有技术更能保证传送物图像的完整性和清晰度，同时有效避免传送物漏检；通过分析帧差图像，确定图像前景区域，利用图像处理相关算法准确提取前景模板，进而使用前景模板在当前帧图像上抠取传送物，避免了对视频流进行处理，有效降低算法开销，同时又提高了目标传送物边缘提取的精确度。

图3示例性地示出了获取货物图像的装置的示意图。图3所示装置包括：

视频获取模块301，用于获取传输带传送货物的视频；

图像采样模块302，用于按照预先设置的采样间隔，对所述视频进行采样，得到当前采样图像；

源图像计算模块303，用于根据当前采样图像中货物的完整度和图像的清晰度，从视频流中选择当前货物检出源图像；

区域计算模块304，用于根据所述当前货物检出源图像，计算传输带传送所述货物的初始区域；

切割模板计算模块305，用于根据所述当前货物检出源图像，计算所述货物的切割模板；

处理模块306，用于利用所述货物的切割模板对所述当前货物检出源图像进行处理，获取当前货物检出图像。

其中，所述源图像计算模块303，用利用传输带在空转状态下的图像，与当前采样图像进行帧差计算，根据帧差波动确定货物的完整度和图像的清晰度，定位被传送货物远离视频采集设备时刻的采样图像，将所述采样图像作为货物检出源图像。

其中，所述区域计算模块304，用于根据预先设置的阈值，对货物检出源图像与背景图像的帧差图进行二值化处理，计算最大连通区域，其中所述阈值是根据传送带移动引入噪声的程度设定；合并最大连通区域及所述最大连通区域周边临近连通区域，作为所述传输带传送货物的初始区域。

其中，所述切割模板计算模块305，用于获取所述初始区域的外接矩形；对所述外接矩形区域的图像进行前景和背景的细化分割，得到前景区域，填充前景区域空洞得到所述当前货物的切割模板。

其中，所述处理模块306，用于根据所述述货物的切割模板，确定所述当前货物检出源图像中货物的区域，并将其他区域设置为与货物颜色不同的颜色，得到当前货物检出源图像的货物检出图像。

本发明提供的装置，通过定位传送物的图像帧，保证传送物图像的完整性和清晰度，避免传送物漏检；通过确定图像前景区域，利用图像处理相关算法准确提取前景传送物切割模板，进而使用传送物切割模板在当前传送物检出源图像上抠取传送物，避免了对视频流进行处理，既有效降低算法开销，同时又提高了目标传送物边缘提取的精确度。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种获取货物图像的方法，其特征在于，包括：

获取传输带传送货物的视频；

按照预先设置的采样间隔，对所述视频进行采样，得到当前采样图像；

确定当前采样图像与视频流中传输带处于空转状态下采集的背景图像之间的帧差，根据帧差波动，将保证货物完整度和清晰度的当前采样图像选择为当前货物检出源图像；

根据预先设置的阈值，对所述当前货物检出源图像与背景图像的帧差图进行二值化处理，计算最大连通区域，合并最大连通区域及所述最大连通区域周边临近连通区域，确定为传输带传送所述货物的初始区域，其中，所述阈值是根据传输带移动引入噪声的程度设定；

根据所述传输带传送所述货物的初始区域的图像信息，通过迭代分段求取前景与背景的细化分割，计算所述货物的切割模板；

利用所述货物的切割模板对所述当前货物检出源图像进行处理，获取当前货物检出图像。

2.根据权利要求1所述的方法，其特征在于，所述根据当前采集图像中货物的完整度和图像的清晰度，将视频流中与传输带处于空转状态时的背景图像之间帧差最大的当前采集图像，选择为当前货物检出源图像，包括：

利用传输带在空转状态下采集的背景图像，与当前采样图像进行帧差计算，将与所述背景图像之间帧差最大的当前采集图像确定为货物远离视频采集设备时刻的采样图像；

根据帧差波动确定货物的完整度和图像的清晰度，选择所述采样图像作为货物检出源图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述传输带传送所述货物的初始区域的图像信息，通过迭代分段求取前景与背景的细化分割，计算所述货物的切割模板，包括：

获取所述初始区域的外接矩形；

对所述外接矩形区域的图像进行迭代分段计算前景和背景的细化分割，得到前景区域，填充前景区域空洞得到所述当前货物的切割模板。

4.根据权利要求1所述的方法，其特征在于，所述利用所述货物的切割模板对所述当前货物检出源图像进行处理，获取当前货物检出图像，包括：

根据所述货物的切割模板，确定所述当前货物检出源图像中货物的区域，并将其他区域设置为与货物颜色不同的颜色，得到当前货物检出图像。

5.一种获取货物图像的装置，其特征在于，包括：

视频获取模块，用于获取传输带传送货物的视频；

图像采样模块，用于按照预先设置的采样间隔，对所述视频进行采样，得到当前采样图像；

源图像计算模块，用于确定当前采样图像与传输带处于空转状态时的背景图像之间的帧差，根据帧差波动，将保证货物完整度和清晰度的当前采样图像选择为当前货物检出源图像；

区域计算模块，用于根据预先设置的阈值，对所述当前货物检出源图像与背景图像的帧差图进行二值化处理，计算最大连通区域，合并最大连通区域及所述最大连通区域周边临近连通区域，确定为传输带传送所述货物的初始区域，其中，所述阈值是根据传输带移动引入噪声的程度设定；

切割模板计算模块，用于根据所述初始区域的图像信息，通过迭代分段求取前景与背景的细化分割，计算所述货物的切割模板；

处理模块，用于利用所述货物的切割模板对所述当前货物检出源图像进行处理，获取当前货物检出图像。

6.根据权利要求5所述的装置，其特征在于：

所述源图像计算模块，用于利用传输带在空转状态下采集的背景图像，与当前采样图像进行帧差计算，将与所述背景图像之间帧差最大的当前采集图像确定为货物远离视频采集设备时刻的采样图像，根据帧差波动确定货物的完整度和图像的清晰度，将所述采样图像作为货物检出源图像。

7.根据权利要求5所述的装置，其特征在于：

所述切割模板计算模块，用于获取所述初始区域的外接矩形；对所述外接矩形区域的图像进行迭代分段计算前景和背景的细化分割，得到前景区域，填充前景区域空洞得到所述当前货物的切割模板。

8.根据权利要求5所述的装置，其特征在于：

所述处理模块，用于根据所述述货物的切割模板，确定所述当前货物检出源图像中货物的区域，并将其他区域设置为与货物颜色不同的颜色，得到当前货物检出源图像的货物检出图像。

Images