CN101871768B - 一种基于单目视觉的行李外观信息自动获取系统及其方法 - Google Patents

Abstract

本发明公开了一种基于单目视觉的行李外观信息自动获取系统及其方法，系统主要由载物台、彩色相机、照明设备、图像处理模块和服务器组成。其中，载物台又包括水平标定板、竖直标定板和安装台。本发明提供的方法，其一是从行李图像中分割出行李区域，得到行李在水平和竖直标定板的投影，进而计算行李的长、宽、高尺寸；其二是对行李图像进行颜色空间变换，提取行李主色调颜色特征并分类，获得行李颜色信息；另一方面是提取行李的纹理特征并分类，获取行李的纹理信息。本发明利用计算机视觉和图像处理技术自动提取行李的尺寸、颜色和纹理信息，可实现行李外观信息的自动获取，特别适合于小型机场、火车站、汽车站等多种场合的事故行李信息获取。

Description

一种基于单目视觉的行李外观信息自动获取系统及其方法

技术领域

本发明属于计算机视觉与图像处理技术领域，具体地说涉及一种基于单目视觉的行李外观信息自动获取系统及其方法。

发明背景

随着世界各国航空客运市场的快速发展，乘坐飞机来往于各地的旅客人数在不断增多。然而，受机场、行李装卸、分检设备、人员素质、甚至天气等多种不确定因素的影响，航班行李发生不正常运输的事故越来越多。

为了有效处理不正常运输的行李，世界行李查询系统WORLDTRACER应运而生。该系统是一套可实现事故行李自动核对查找、实时监控和系统管理的现代化信息管理系统，然而，受高昂的费用、无中文功能等因素影响，这套系统目前尚没办法在我国机场，尤其是小型机场普遍推广使用。

目前，我国各航空公司独立处理不正常运输的行李，对事故行李缺乏有效沟通，使得行李运输的事故率居高不下，旅客的行李投诉率也逐年攀升，增加了承运人的运营成本，极大影响了承运人的信誉。为此，国内有个别航空公司，如南航，对外公布开发了用于行李查询、能与互联网相衔接的、具有中文功能的行李查询系统，但这套系统因为仅限于本航空公司内部使用，而且使用的航站少，还没有充分发挥出其应有的作用。

如何实现机场事故行李的信息自动获取与查询，成为广大机场和航空公司高度关注的问题。对于不正常运输的行李，当前国内大多数机场主要依赖行李处理人员通过人工目视方法获得行李的基本信息，人工登记行李基本情况表。随着行李不正常运输事故的日益增多，这种重复、低效的人工处理方式，严重影响了事故行李处理的效率，也给事故行李处理人员带来了繁重的工作量。对于我国这样一个航空运输业快速发展的大国，当前不正常运输行李的低效处理现状与我国民航运输的发展极不和谐。

利用计算机视觉和图像处理技术对事故行李图像进行分析处理，自动获取行李的外观信息，具有成本低、非接触、自动处理的特点，可用于机场、火车站、长途汽车站等多种场合的事故行李信息自动获取。尤其对于规模较小、运营成本有限的小型机场、火车站和长途汽车站等场合，基于单目视觉来自动获取行李信息是一种非常有效的途径。目前，虽然单目视觉技术已经在很多领域得到了应用，但是还未曾出现基于单目视觉的行李外观信息自动获取系统。

发明内容

本发明的目的在于提供一种基于单目视觉的行李外观信息自动获取系统及其方法，利用计算机视觉和图像处理技术，实现行李尺寸、颜色与纹理外观信息的低成本自动获取，为事故行李查询提供数据支撑。

为了实现本发明的目的，本发明的第一方面在于提供一种基于单目视觉的行李外观信息自动获取系统，该系统包括：载物台、彩色相机、照明设备、图像处理模块和服务器，其中：载物台用来放置行李、安装彩色相机与照明设备；彩色相机用于获取行李和载物台的彩色图像；照明设备则为彩色相机成像提供稳定的照明；图像处理模块与彩色相机连接，用来对彩色相机获取的行李图像进行分析处理，获得行李的尺寸、颜色和纹理信息；服务器存储图像处理模块获得的行李尺寸、颜色和纹理外观信息，同时保存彩色行李图像，为行李管理人员和旅客提供行李信息的查询服务；其中：所述载物台呈

或

的形状，载物台由水平底面、竖直侧面和上顶面组成，载物台的水平底面为水平标定板，竖直侧面为竖直标定板，水平标定板和竖直标定板上均有棋盘格样式的刻度线，载物台的上顶面为安装台，用于安装和固定彩色相机和照明设备；所述图像处理模块从行李图像中分割出行李区域后，进行三方面的分析与处理，一是根据分割出的行李区域，得到行李在水平标定板和竖直标定板上的投影，根据该投影获取行李在水平标定板和竖直标定板上覆盖的棋盘格数目，进而结合水平标定板和竖直标定板的棋盘格边长，计算得到行李的长、宽、高尺寸，二是对彩色行李图像中的行李区域进行颜色空间变换，提取行李区域的主色调颜色特征并分类，获得行李的颜色信息；三是提取行李区域的纹理特征，并对纹理特征进行分类，获得行李的纹理信息描述。

其中，彩色相机和照明设备均安装于载物台上的安装台内侧。

为了实现本发明的目的，本发明的第二方面在于利用行李外观信息自动获取装置，提供一种行李外观信息自动获取方法，该方法包括步骤如下：

步骤S1：载物台上未放置行李时，启动彩色相机，获取场景的背景图像，并将背景图像发送给图像处理模块；

步骤S2：将行李放置于载物台上，行李的底面置于水平标定板上，同时行李有一侧面紧贴竖直标定板；启动彩色相机获取行李图像，并将行李图像发送给图像处理模块；

步骤S3：图像处理模块通过对背景图像和行李图像进行比较分析，从行李图像中分割出行李区域；

步骤S4：根据分割出的行李区域，得到行李在水平标定板和竖直标定板上的投影，进而统计行李在水平标定板和竖直标定板上的投影所覆盖的棋盘格数目，结合水平标定板和竖直标定板的棋盘格边长，计算得到行李的长、宽、高尺寸；

步骤S5：对行李图像中的行李区域进行颜色空间变换，从变换后的图像中提取行李的主色调颜色特征，与预先设定好的颜色类进行分析比较，将行李的主色调颜色特征进行分类，获得行李的颜色信息；

步骤S6：针对分割出的行李区域提取行李的纹理特征，并与预先设定好的纹理类进行分析比较，将行李的纹理特征进行归类，从而获得行李的纹理描述；

步骤S7：将行李的尺寸、颜色和纹理信息以及彩色行李图像，送给服务器进行存储，以方便行李管理人员和旅客查询。

本发明的有益效果：本发明的基于单目视觉的行李外观信息自动获取系统与方法，利用计算机视觉和图像处理技术，通过对彩色图像的分析处理，自动获取行李的尺寸、颜色与纹理信息。系统结构简单，成本低廉，易于安装，占用空间小，非常适合于规模较小或场地受限的机场、火车站或汽车站等多种场合的事故行李信息自动获取。

附图说明

图1是本发明系统总体结构图；

图2是本发明系统工作流程图；

图3是黑白棋盘格标定板正视图。

附图中主要标号说明

1：载物台；      11：水平标定板；   12：竖直标定板；

13：安装台；     2：彩色相机；      3：照明设备；

4：图像处理模块；5：服务器；        6：行李

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

实例：小型机场事故行李信息的自动获取

根据本发明提出的一种基于单目视觉的行李外观信息自动获取系统与方法，可广泛用于事故行李外观信息的自动获取。下面，以小型机场事故行李信息的自动提取为例，进行具体说明。

基于单目视觉的小型机场事故行李外观信息自动获取系统，除电源外，主要由载物台1、彩色相机2、照明设备3、图像处理模块4和服务器5组成。

如图1所示，载物台1，呈口字形缺右边

或口字形缺左边

的形状，主要由水平底面、竖直侧面和上顶面组成。载物台1的水平底面为水平标定板11，竖直侧面为竖直标定板12。水平标定板11和竖直标定板12上均有棋盘格样式的刻度线，刻度均匀，且二者的刻度间隔一致。水平标定板11和竖直标定板12是行李尺寸计算的客观依据。本实施方案中水平标定板11和竖直标定板12均采用黑白棋盘格相间排列的标定板，如图3所示，棋盘格为边长L一定的正方形，本实施方案中棋盘格边长L取为3cm。载物台1的上顶面为安装台13，用于安装和固定彩色相机2和照明设备3。载物台1处于静止状态，它的功能是用来放置行李6，并安装彩色相机2和照明设备3。水平标定板11与安装台13相互平行放置，且竖直标定板12的竖直面与安装台13和水平标定板11水平面相互垂直放置。

彩色相机2和照明设备3均安装于载物台1的安装台13的内侧，如图1所示。彩色相机2用来采集载物台和行李的彩色数字图像，本方案中采用彩色面阵CCD高分辨相机；照明设备3则用来为彩色相机2成像提供稳定的照明，本实施方案采用普通的LED照明设备。

图像处理模块4用来对彩色相机2采集的行李图像进行分析处理，获得行李的尺寸、颜色和纹理外观信息；服务器5负责接收并存储图像处理模块4得到的行李外观信息，同时保存行李图像，为行李管理人员和旅客提供行李信息的查询服务。

图像处理模块4，用于图像的分析处理，包括图像预处理、图像分割、特征提取、行李尺寸计算、颜色分类、纹理分类等。图像处理模块4既包括支撑数据存储和运算的硬件单元，也包括专门用于图像处理与分析，如特征提取、行李尺寸计算、颜色与纹理分类等算法模块。

服务器5，是一般的计算机系统，用于行李尺寸、颜色和纹理信息及彩色行李图像的存储与查询。

如图2示出本发明的基于单目视觉的行李信息自动获取系统的获取方法的流程图，首先是利用彩色相机2采集载物台的彩色背景图像和彩色行李图像；然后图像处理模块4对彩色相机2获取的彩色背景图像和彩色行李图像进行比较分析，分割出行李区域；接下来图像处理模块4对行李区域作进一步分析处理，获得行李6的尺寸、颜色和纹理信息；行李6的外观信息(包括行李6的尺寸、颜色和纹理)以及彩色行李图像，送往服务器5以备查询。具体实现如下：

步骤S1：背景图像采集：载物台1上未放置行李6时，开启照明设备3，启动彩色相机2获取场景的背景图像，并将背景图像发送给图像处理模块4；

步骤S2：行李图像采集：将行李6放置于载物台1上，行李的底面置于水平标定板11上，同时行李有一侧面紧贴竖直标定板12。启动彩色相机2获取行李图像，并将行李图像发送给图像处理模块4；

步骤S3：行李区域分割：图像处理模块4通过对背景图像和行李图像进行比较分析，从行李图像中分割出行李区域；

步骤S4：行李尺寸计算：根据分割出的行李区域，得到行李6在水平标定板11和竖直标定板12上的投影，进而统计行李6在水平标定板11和竖直标定板12上的投影所覆盖的棋盘格数目，结合水平标定板11和竖直标定板12的棋盘格边长，计算得到行李6的长、宽、高尺寸；

步骤S5：行李颜色信息获取：对彩色行李图像中的行李区域进行颜色空间变换，提取行李的主色调颜色特征，与预先设定好的颜色类进行分析比较，将行李6的主色调颜色特征进行分类，获得行李6的颜色信息；

步骤S6：行李纹理信息获取：针对分割出的行李区域，提取行李6的纹理特征，与预先设定好的纹理类进行分析比较，将行李6的纹理特征进行归类，从而获得行李6的纹理描述；

步骤S7：信息存储与查询：将行李6的尺寸、颜色和纹理信息以及彩色行李图像，送给服务器5进行存储，以方便行李管理人员和旅客查询。

所述的背景图像采集步骤S1和行李图像采集步骤S2中，彩色相机2的成像参数是不变的，即彩色相机2固定于载物台1上的安装台13内侧，彩色相机2的成像视角和焦距均保持不变。

所述步骤S3中，图像处理模块4采用背景减除法，利用行李图像与背景图像的差分，得到行李图像中与背景图像变化较大的区域，并结合形态学算子去除干扰因素，得到行李图像中的行李区域。

所述步骤S4中，根据行李图像中分割出的行李区域，在背景图像中找到行李区域所覆盖的棋盘格区域。分别统计行李区域在水平标定板11和竖直标定板12上所覆盖的棋盘格数目，设长度、宽度和高度方向所覆盖的棋盘格数目分别为X、Y和Z，若棋盘格边长为L厘米，则行李的长度、宽度和高度分别为：X*L、Y*L和Z*L，单位为厘米。

所述步骤S5中，对彩色行李图像中的行李区域进行颜色空间变换，将三基色(红、绿、蓝)颜色空间表示的彩色图像变换到色度、饱和度和强度(Hue-Saturation-Intensity，简称HSI)颜色空间，变换后的图像中，提取行李的主色调颜色特征。预先将行李可能出现的颜色分成几大类，如红色、白色、黑色、黄色、蓝色等。将提取出来的行李主色调颜色特征，与预先设定的这几大类颜色进行匹配比较，本实施方案中可采用最近邻方法，找到与行李主色调颜色特征最接近的一类，获得行李6的颜色信息，即预先设定好的颜色类中的颜色类名。

所述步骤S6中，对彩色行李图像中的行李区域提取统计纹理特征。预先将行李可能出现的纹理分成几大类，如条纹、格子块、纯色无图案等。将提取出来的行李纹理特征，与预先设定的这几大类纹理进行匹配比较，本实施方案中可采用最近邻方法，找到与行李纹理特征最接近的一类，得到行李6的纹理类别信息。

上述处理过程适用于形状规则行李的外观信息获取，对于形状非规则的行李，其颜色与纹理信息的获取与上述处理过程中的颜色、纹理处理方法一致，只是其尺寸信息的获取略有不同，即除了步骤S2-S4不同外，其它步骤与形状规则行李的处理过程相同。上述过程的步骤S2-S4，可用如下步骤代替：

(1)将行李6放置于水平标定板11上，使得行李6的底面与水平标定板11相贴合，在此状态下，启动彩色相机2采集行李图像I1，并将行李图像I1发送给图像处理模块4；

(2)将行李6放倒，使得行李6的一个侧面与水平标定板11相贴合，在此状态下，启动彩色相机2再次采集行李图像I2，并将该行李图像I2发送给图像处理模块4；

(3)图像处理模块4对两次获取的行李图像I1和I2，分别与背景图像进行比较分析，从图像I1与I2中分别分割出行李区域；

(4)根据图像I1分割出的行李区域，得到图像I1中行李6在水平标定板11上的投影，统计行李6在水平标定板11上的投影所覆盖的棋盘格数目，结合水平标定板11的棋盘格边长，计算得到行李6的长、宽尺寸；

(5)根据图像I2分割出的行李区域，得到图像I2中行李6在水平标定板11上的投影，统计行李6在水平标定板11上的投影所覆盖的棋盘格数目，结合水平标定板11的棋盘格边长，计算得到行李6的高度。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。

Claims (3)

1.一种基于单目视觉的行李外观信息自动获取系统，其特征在于，该系统包括：载物台、彩色相机、照明设备、图像处理模块和服务器，其中：载物台用来放置行李、安装彩色相机与照明设备；彩色相机用于获取行李和载物台的彩色图像；照明设备则为彩色相机成像提供稳定的照明；图像处理模块与彩色相机连接，用来对彩色相机获取的图像进行分析处理，获得行李的尺寸、颜色和纹理信息；服务器存储图像处理模块获得的行李尺寸、颜色和纹理外观信息，同时保存彩色行李图像，为行李管理人员和旅客提供行李信息的查询服务；其中：

所述载物台呈

或

的形状，载物台由水平底面，竖直侧面和上顶面组成，载物台的水平底面为水平标定板，竖直侧面为竖直标定板，水平标定板和竖直标定板上均有棋盘格样式的刻度线，载物台的上顶面为安装台，用于安装与固定彩色相机和照明设备；

所述图像处理模块从行李图像中分割出行李区域后，进行三方面的分析与处理，一是根据分割出的行李区域，得到行李在水平标定板和竖直标定板上的投影，根据该投影获取行李在水平标定板和竖直标定板上覆盖的棋盘格数目，进而结合水平标定板和竖直标定板的棋盘格边长，计算得到行李的长、宽、高尺寸，二是对行李图像中的行李区域进行颜色空间变换，提取行李区域的主色调颜色特征并分类，获得行李的颜色信息；三是提取行李区域的纹理特征，并对纹理特征进行分类，获得行李的纹理信息描述。

2.如权利要求1所述的行李外观信息自动获取系统，其特征在于，彩色相机和照明设备均安装于载物台上的安装台内侧。

3.一种利用权利要求1所述系统的行李外观信息自动获取方法，其特征在于，该方法包括步骤如下：

步骤S1：载物台上未放置行李时，启动彩色相机，获取场景的背景图像，并将背景图像发送给图像处理模块；

步骤S2：将行李放置于载物台上，行李的底面置于水平标定板上，同时行李有一侧面紧贴竖直标定板；启动彩色相机获取行李图像，并将行李图像发送给图像处理模块；

步骤S3：图像处理模块通过对背景图像和行李图像进行比较分析，从行李图像中分割出行李区域；

步骤S4：根据分割出的行李区域，得到行李在水平标定板和竖直标定板上的投影，进而统计行李在水平标定板和竖直标定板上的投影所覆盖的棋盘格数目，结合水平标定板和竖直标定板的棋盘格边长，计算得到行李的长、宽、高尺寸；

步骤S5：对行李图像中的行李区域进行颜色空间变换，从变换后的图像中提取行李的主色调颜色特征，与预先设定好的颜色类进行分析比较，将行李的主色调颜色特征进行分类，获得行李的颜色信息；

步骤S6：针对分割出的行李区域提取行李的纹理特征，并与预先设定好的纹理类进行分析比较，将行李的纹理特征进行归类，从而获得行李的纹理描述；

步骤S7：将行李的尺寸、颜色和纹理信息以及彩色行李图像，送给服务器进行存储，以方便行李管理人员和旅客查询。

Images