CN102339289B - 文字信息与图像信息的匹配识别方法及装置 - Google Patents

Abstract

本申请实施例公开了一种文字信息与图像信息的匹配识别方法及服务器，该方法包括：接收用户输入的图像信息和所述图像信息的描述信息；根据所述描述信息查找预设的图像特征库，获取与所述描述信息对应的特征图像；根据所述图像信息与所述特征图像匹配的结果确定所述描述信息与所述图像信息是否一致。本申请解决了现有技术中无法进行文字信息和图像信息是否对应一致的计算机自动识别工作，并且由于无需设置大量的人力资源对图像信息与图像的描述信息是否对应一致进行核对，所有识别都由服务器执行并输出识别结果，因此，当需要识别大量的上传图像时，可以显著提高识别效率，并及时将识别结果通知用户，提高图像信息的发布速度。

Description

文字信息与图像信息的匹配识别方法及装置

技术领域

本申请涉及信息处理技术领域，尤其涉及一种文字信息与图像信息的匹配识别方法及服务器。

背景技术

网络购物已经成为人们生活中的一种常见的购物方式，以淘宝网（www.taobao.com）为例，注册了淘宝网的用户通过本地客户端发布商品信息后，该商品信息经过网站服务器处理后，会展示在其他用户的客户端上。通常商品信息主要包括商品名称和与该商品名称对应的商品图像，然而，在发布商品信息时会经常出现用户输入的商品名称与用户上传的商品图像并不一致的情况，如，用户输入的商品名称为“手机”，却误将“MP3”的图像上传至网站。为了识别出用户输入的商品名称是否与其上传的商品图像对应一致，网站目前的做法是在后台对用户发布的每一商品信息进行人工核对。

发明人在对现有技术的研究过程中发现，现有技术中并没有快速、有效的识别用户输入的商品名称与其发布的商品图像是否对应一致的方法，当网络用户上传了商品信息后，需要网站在后台提供大量人力资源对商品名称和商品图像进行核对，人工核对降低了商品信息发布的速度，并不能及时将核对结果通知发布商品信息的用户；而且网站需要为每一位商品信息审核人配置相应的工作平台，也将耗费大量成本。

发明内容

本申请实施例的目的是提供一种文字信息与图像信息的匹配识别方法及服务器，以解决现有技术中需要通过人工对商品信息的有效性进行识别，导致操作复杂且效率低下的问题。

为解决上述技术问题，本申请实施例提供了一种文字信息与图像信息的匹配识别方法，是这样实现的：

一种文字信息与图像信息的匹配识别方法，所述方法包括：

接收用户输入的图像信息和所述图像信息的描述信息；

根据所述描述信息查找预设的图像特征库，获取与所述描述信息对应的特征图像；

根据所述图像信息与所述特征图像匹配的结果确定所述描述信息与所述图像信息是否一致。

为解决上述技术问题，本申请实施例还提供了一种服务器，是这样实现的：

一种服务器，包括：

接收单元，用于接收用户输入的图像信息和所述图像信息的描述信息；

查找单元，用于根据所述描述信息查找预设的图像特征库，获取与所述描述信息对应的特征图像；

匹配单元，用于根据所述图像信息与所述特征图像匹配的结果确定所述描述信息与所述图像信息是否一致。

可见，本申请实施例中当接收到用户输入的图像信息和该图像信息的描述信息后，根据描述信息查找预设的图像特征库，获取与描述信息对应的特征图像，根据图像信息与特征图像匹配的结果确定图像信息与用户输入的描述信息是否对应一致。本申请实施例应用图像识别技术，当用户上传图像信息后，通过图像特征库中的特征图像对所上传的商品信息进行匹配，以识别所上传的图像与用户输入的描述信息是否对应一致，与现有技术相比，解决了现有技术中无法进行文字信息和图像信息是否对应一致的计算机自动识别工作，并且由于无需设置大量的人力资源对图像信息与图像的描述信息是否对应一致进行核对，所有识别都由服务器执行并输出识别结果，因此，当需要识别大量的上传图像时，可以显著提高识别效率，并及时将识别结果通知用户，提高图像信息的发布速度，并且也相应减少了人力资源成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请文字信息与图像信息的匹配识别方法的第一实施例流程图；

图2为本申请文字信息与图像信息的匹配识别方法的第二实施例流程图；

图3为本申请服务器的第一实施例框图；

图4A为本申请服务器的第二实施例框图；

图4B为图4A中建立单元的实施例框图；

图4C为图4A中查找单元的实施例框图；

图4D为图4A中匹配单元的实施例框图。

具体实施方式

本申请实施例提供一种文字信息与图像信息的匹配识别方法及服务器。

为了使本技术领域的人员更好地理解本申请实施例中的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

参见图1，为本申请文字信息与图像信息的匹配识别方法的第一实施例流程图：

步骤101：接收用户输入的图像信息和该图像信息的描述信息。

以用户需要在购物网站上发布商品信息为例，用户需要通过终端设备登录网站，并在网站提供的上传界面中输入商品名称，并上传所拍摄的商品图像，所上传的商品图像可以为最能反映商品特征轮廓的一张图片，也可以上传反映该商品不同角度的特征轮廓的若干张图片。

上例中，图像信息即为所拍摄的商品图像本身，描述信息为对该商品图像的文字描述，通常为商品名称；另外，在论坛管理中，用户输入的图像信息通常为用户在某个主题下想要呈现给其他用户的共享图片，描述信息则为最能反映该共享图片内容的文字描述。

步骤102：根据描述信息查找预设的图像特征库，获取与该描述信息对应的特征图像。

图像特征库是为了自动识别用户所上传图像信息的真实性所建立的图片数据库。当图像特征库中的记录较少时，该图像特征库可以直接建立在服务器内，当图像数据库中的记录较多时，为了提高处理效率，也可以独立于服务器单独设置该图像特征库。

由于图像特征库的每条记录中包含了特征图像和对应的描述信息，因此可以根据输入的描述信息顺序查找图像特征库中的记录，当查找到一致的描述信息后，将与该描述信息对应的特征图像提取出来。

步骤103：根据图像信息与特征图像匹配的结果确定描述信息与图像信息是否一致，结束当前流程。

保存在图像特征库中的特征图像通常有固定的尺寸，而用户上传的图像信息通常大小不一，因此服务器首先需要将图像信息按照所获取的特征图像的比例进行缩放，然后将缩放后的图像信息与获取的特征图像通过扫描逐一进行比较，当根据扫描结果确定上传的图像信息与某个特征图像一致时，向用户返回上传的图像信息与描述信息一致的信息，当根据扫描结果确定上传的图像信息与所有特征图像均不一致时，向用户返回上传的图像信息与描述信息不一致的信息，由此通过服务器实现对用户所上传图像信息真实性的自动识别。

由上述实施例可见，当用户上传图像信息后，通过图像特征库中的特征图像对所上传的商品信息进行匹配，以识别所上传的图像与用户输入的描述信息是否对应一致，与现有技术相比，解决了现有技术中无法进行文字信息和图像信息是否对应一致的计算机自动识别工作，并且由于无需设置大量的人力资源对图像信息与图像的描述信息是否对应一致进行核对，所有识别都由服务器执行并输出识别结果，因此，当需要识别大量的上传图像时，可以显著提高识别效率，并及时将识别结果通知用户，提高图像信息的发布速度，并且也相应减少了人力资源成本。

参见图2，为本申请文字信息与图像信息的匹配识别的第二实施例流程图，该实施例以建立商品图像特征库为例详细示出了识别上传的商品图像与商品名称是否一致的过程：

步骤201：提取每一种商品在若干视觉角度下的特征轮廓，生成商品特征图像。

在提取商品的特征轮廓时，可以采用现有的图像处理技术，通常为了全面反映商品不同视觉角度下的特征，可以先获取商品在若干视觉角度下拍摄的图像，然后对这些图像分别进行特征轮廓提取，生成每一个视觉角度下的商品特征图像（也可称为商品轮廓图像）。以手机为例，在提取手机的特征轮廓时，可以先获取该手机在不同视觉角度下的图像，视觉角度可以包括正视、后视、侧视、旋转30度、旋转60度等，然后对每一张图像进行特征轮廓提取，生成该手机的商品特征图像；其中，手机的特征轮廓主要指该手机在亮度不同的区域之间的明显变化，即由明度级差变化而形成的边界线或外形线，该边界线或外形线构成该手机的形状。

为了缩短建设商品特征库的成本，可以从网站现有的图像数据库中提取每种商品的若干图像，并对每种商品的若干图像进行特征轮廓提取，生成商品特征图像，由此可以在建设商品特征库初期，缩短为拍摄海量商品图像而增加商品特征库的建设时间。

步骤202：按照每一种商品所属的类别为每一种商品分配类标识。

对于购物网站来说，商品种类往往数以百万计，在保存商品特征图像时，如果仅以商品名称为索引，则在后续查找过程中往往需要耗费大量时间和服务器资源进行商品名称的匹配，因此在建立商品特征库的过程中，为特征库中属于同一大类的商品分配相同的类标识，以便后续可以通过查找类标识，缩小需要匹配的商品名称的记录范围。例如，对于不同厂家生产的不同型号的手机，可以为它们分配统一的手机类标识，需要说明的是，对于商品种类的划分可以灵活进行，例如也可以将手机、MP4、MP3等划分为小型电子商品类，对此本申请实施例不进行限制，将商品划分种类并分配类标识的目的就是为了缩短查询时间。

步骤203：将每一种商品的商品名称和对应的商品特征图像保存到与其类标识对应的存储空间。

本实施例中，商品特征库中的存储空间根据对商品的分类进行进一步划分，每个类标识对应一个存储空间，也就是在每一条商品名称与商品特征图像对应关系的记录前写入该商品名称的类标识。

步骤204：接收用户输入的商品名称和上传的商品图像。

当用户需要在购物网站上发布商品信息时，需要通过终端设备登录网站，并在网站提供的上传界面中输入商品名称，并上传所拍摄的商品图像，所上传的商品图像可以为最能反映商品特征轮廓的一张图片，也可以上传反映该商品不同角度的特征轮廓的若干张图片。

进一步，为了方便将商品图像与特征库中的商品特征图像进行匹配，网站在上传界面中可以提示用户所上传商品图像的视角类型，例如：要求用户上传商品的正视图像和后视图像。

步骤205：根据输入的商品名称确定该商品的类标识。

当服务器接收到用户输入的商品名称后，可以根据预先对所有商品的分类结果，确定该商品名称对应的类标识。

步骤206：按照商品的类标识查找商品特征库，定位到与该类标识对应的存储空间。

由于商品特征库中的所有记录都有用于识别其所属类别的类标识，当确定了用户输入的商品名称的类标识后，可以根据该类标识在商品特征库中快速定位到与该类标识对应的存储空间内，也就是将需要匹配的商品名称缩小到某一类商品的范围内，由此可以减少服务器匹配资源，节约匹配时间。

步骤207：从对应的存储空间内获取与输入的商品名称对应的商品特征图像。

当定位到商品特征库中所输入商品名称所属类的存储空间时，进一步从该存储空间中根据商品名称进行搜索，查找与该商品名称匹配的记录，当查找到匹配的记录后，从该记录中提取商品特征图像。根据建立商品特征库时所提取的商品特征图像的数量的不同，本步骤可能因商品名称的不同提取数量不同的商品特征图像。

步骤208：将商品图像按照所获取的商品特征图像的比例进行缩放。

用户所上传的商品图像根据拍摄时的远近不同，其大小也可能不同，为了进行商品图像的匹配，可以按照商品特征库中所保存的商品特征图像的大小，对该商品图像进行缩放，使其尺寸与商品特征图像一致。

步骤209：将缩放后的商品图像与获取的商品特征图像逐一进行比较。

可以通过扫描的方式比较缩放后的商品图像和查找到的商品特征图像，由于商品特征图像可能有若干张，因此可以将商品图像分别与每一个商品特征图像进行比较；当用户上传的商品图像有若干张时，则将每一张商品图像分别与每一个商品特征图像进行比较；当用户按照网站提示上传了某个视角的商品图像时，则可以先从商品特征图像中提取与该视角对应的商品特征图像，并将商品图像与提取的商品特征图像进行比较，由此减少扫描比较的次数。

在通过扫描方式比较商品图像和商品特征图像时，可以先提取商品图像的特征轮廓，再将二者进行对比。扫描时，可以对待比较的两个特征轮廓进行逐帧扫描，或者，为了节省扫描时间，也可以按照预设的帧间隔对两个特征轮廓进行扫描；上述扫描可以是横向扫描、纵向扫描或者二者结合。

需要说明的是，考虑到扫描的误差，无论对于逐帧扫描还是隔帧扫描，当两个特征轮廓之间的帧扫描结果的相同率达到某个阈值时，例如，达到90%时，就可以确定二者一致。

步骤210：判断是否匹配到与商品图像一致的商品特征图像，若是，则执行步骤211；否则，执行步骤212。

步骤211：返回商品图像有效的信息，结束当前流程。

当匹配到与商品图像的特征轮廓一致的商品特征图像时，则说明用户上传的商品图像与商品名称一致，接受该用户上传的商品信息，同时向用户返回商品图像有效的信息。

步骤212：返回商品图像无效的信息，结束当前流程。

当商品图像的特征轮廓与所有商品特征图像都不匹配时，则说明用户上传的商品图像与商品名称不一致，拒绝该用户上传的商品信息，同时向用户返回商品图像无效的信息。

由上述实施例可见，当用户上传图像信息后，通过图像特征库中的特征图像对所上传的商品信息进行匹配，以识别所上传的图像与用户输入的描述信息是否对应一致，与现有技术相比，解决了现有技术中无法进行文字信息和图像信息是否对应一致的计算机自动识别工作，并且由于无需设置大量的人力资源对图像信息与图像的描述信息是否对应一致进行核对，所有识别都由服务器执行并输出识别结果，因此，当需要识别大量的上传图像时，可以显著提高识别效率，并及时将识别结果通知用户，提高图像信息的发布速度，并且也相应减少了人力资源成本；另外，由于在建立商品特征库时，为商品分配类标识，因此可以缩短匹配商品特征图像的时间。

与本申请识别上传图像有效性的方法的实施例相对应，本申请还提供了服务器的实施例。

参见图3，为本申请服务器的第一实施例框图：

该服务器包括：接收单元310、查找单元320和匹配单元330。

其中，接收单元310，用于接收用户输入的图像信息和所述图像信息的描述信息；

查找单元320，用于根据所述描述信息查找预设的图像特征库，获取与所述描述信息对应的特征图像；

匹配单元330，用于根据所述图像信息与所述特征图像匹配的结果确定所述描述信息与所述图像信息是否一致。

参见图4A，为本申请服务器的第二实施例框图：

该服务器包括：建立单元410、接收单元420、查找单元430和匹配单元440。

其中，建立单元410，用于预先建立图像特征库，所述图像特征库的每条记录中包含特征图像和对应的描述信息，其中，所述图像特征库具体为商品图像特征库；

接收单元420，用于接收用户输入的商品图像信息和所述商品图像信息的描述信息，其中所述商品图像的描述信息具体为商品名称；

查找单元430，用于根据所述商品名称查找预设的商品图像特征库，获取与所述商品名称对应的商品特征图像；

匹配单元440，用于根据所述图像信息与所述特征图像匹配的结果确定所述描述信息与所述图像信息是否一致；当对商品图像的真实性进行识别时，则具体用于根据所述商品图像与所述商品特征图像匹配的结果确定所述商品图像与所述商品名称是否一致。

参见图4B，为图4A中建立单元410的实施例框图：

该建立单元410包括：

特征提取单元411，用于提取每一种商品在若干视觉角度下的特征轮廓，生成商品特征图像；

图像保存单元412，用于保存所述每一种商品的商品名称和对应的商品特征图像；

进一步，还可以包括：标识分配单元413，用于按照每一种商品所属的类别为所述每一种商品分配类标识；相应的，所述图像保存单元412，具体用于将所述每一种商品的商品名称和对应的商品特征图像保存到与其类标识对应的存储空间。

参见图4C，为图4A中查找单元430的实施例框图：

该查找单元430包括：

标识确定单元431，用于根据所述商品名称确定所述商品的类标识；

空间定位单元432，用于按照所述商品的类标识查找所述商品特征库，定位到与所述类标识对应的存储空间；

图像获取单元433，用于从所述对应的存储空间内获取与所述商品名称对应的商品特征图像。

参见图4D，为图4A中匹配单元440的实施例框图：

该匹配单元440包括：

图像缩放单元441，用于将所述图像信息按照所获取的特征图像的比例进行缩放；

图像比较单元442，用于将所述缩放后的图像信息与所述获取的特征图像通过扫描逐一进行比较；

信息返回单元443，用于当根据扫描结果确定图像信息与某个特征图像一致时，返回所述描述信息与所述图像信息一致的信息，当根据扫描结果确定图像信息与所有特征图像均不一致时，返回所述描述信息与所述图像信息不一致的信息。

通过以上的实施方式的描述可知，本申请实施例中当接收到用户输入的图像信息和该图像信息的描述信息后，根据描述信息查找预设的图像特征库，获取与描述信息对应的特征图像，根据图像信息与特征图像匹配的结果确定图像信息与用户输入的描述信息是否对应一致。本申请实施例应用图像识别技术，当用户上传图像信息后，通过图像特征库中的特征图像对所上传的商品信息进行匹配，以识别所上传的图像与用户输入的描述信息是否对应一致，与现有技术相比，解决了现有技术中无法进行文字信息和图像信息是否对应一致的计算机自动识别工作，并且由于无需设置大量的人力资源对图像信息与图像的描述信息是否对应一致进行核对，所有识别都由服务器执行并输出识别结果，因此，当需要识别大量的上传图像时，可以显著提高识别效率，并及时将识别结果通知用户，提高图像信息的发布速度，并且也相应减少了人力资源成本。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (12)

1.一种文字信息与图像信息的匹配识别方法，其特征在于，所述方法包括：

接收用户输入的图像信息和所述图像信息的描述信息；

根据所述描述信息查找预设的图像特征库，获取与所述描述信息对应的特征图像；

根据所述图像信息与所述特征图像匹配的结果确定所述描述信息与所述图像信息是否一致。

2.根据权利要求1所述的方法，其特征在于，还包括：

预先建立图像特征库，所述图像特征库的每条记录中包含特征图像和对应的描述信息。

3.根据权利要求2所述的方法，其特征在于，当所述图像特征库具体为商品图像特征库时，建立所述商品图像特征库包括：

提取每一种商品在若干视觉角度下的特征轮廓，生成商品特征图像；

保存所述每一种商品的商品名称和对应的商品特征图像。

4.根据权利要求3所述的方法，其特征在于，还包括：按照每一种商品所属的类别为所述每一种商品分配类标识；

所述保存每一种商品的商品名称和对应的商品特征图像具体为：

将所述每一种商品的商品名称和对应的商品特征图像保存到与其类标识对应的存储空间。

5.根据权利要求4所述的方法，其特征在于，所述根据描述信息查找预设的图像特征库具体为：根据商品名称查找预设的商品图像特征库；

所述根据商品名称查找预设的商品图像特征库包括：

根据所述商品名称确定所述商品的类标识；

按照所述商品的类标识查找所述商品特征库，定位到与所述类标识对应的存储空间；

所述获取与所述描述信息对应的特征图像具体为：从所述对应的存储空间内获取与所述商品名称对应的商品特征图像。

6.根据权利要求1所述的方法，其特征在于，所述根据图像信息与特征图像匹配的结果确定所述描述信息与所述图像信息是否一致包括：

将所述图像信息按照所获取的特征图像的比例进行缩放；

将所述缩放后的图像信息与所述获取的特征图像通过扫描逐一进行比较；

当根据扫描结果确定图像信息与某个特征图像一致时，返回所述描述信息与所述图像信息一致的信息，当根据扫描结果确定图像信息与所有特征图像均不一致时，返回所述描述信息与所述图像信息不一致的信息。

7.一种文字信息与图像信息的匹配识别装置，其特征在于，包括：

接收单元，用于接收用户输入的图像信息和所述图像信息的描述信息；

查找单元，用于根据所述描述信息查找预设的图像特征库，获取与所述描述信息对应的特征图像；

匹配单元，用于根据所述图像信息与所述特征图像匹配的结果确定所述描述信息与所述图像信息是否一致。

8.根据权利要求7所述的装置，其特征在于，还包括：

建立单元，用于预先建立图像特征库，所述图像特征库的每条记录中包含特征图像和对应的描述信息。

9.根据权利要求8所述的装置，其特征在于，所述建立单元，具体用于建立商品图像特征库；

所述建立单元包括：

特征提取单元，用于提取每一种商品在若干视觉角度下的特征轮廓，生成商品特征图像；

图像保存单元，用于保存所述每一种商品的商品名称和对应的商品特征图像。

10.根据权利要求9所述的装置，其特征在于，所述建立单元还包括：

标识分配单元，用于按照每一种商品所属的类别为所述每一种商品分配类标识；

所述图像保存单元，具体用于将所述每一种商品的商品名称和对应的商品特征图像保存到与其类标识对应的存储空间。

11.根据权利要求10所述的装置，其特征在于，所述查找单元，具体用于根据商品名称查找预设的商品图像特征库；

所述查找单元包括：

标识确定单元，用于根据所述商品名称确定所述商品的类标识；

空间定位单元，用于按照所述商品的类标识查找所述商品特征库，定位到与所述类标识对应的存储空间；

图像获取单元，用于从所述对应的存储空间内获取与所述商品名称对应的商品特征图像。

12.根据权利要求7所述的装置，其特征在于，所述匹配单元包括：

图像缩放单元，用于将所述图像信息按照所获取的特征图像的比例进行缩放；

图像比较单元，用于将所述缩放后的图像信息与所述获取的特征图像通过扫描逐一进行比较；

信息返回单元，用于当根据扫描结果确定图像信息与某个特征图像一致时，返回所述描述信息与所述图像信息一致的信息，当根据扫描结果确定图像信息与所有特征图像均不一致时，返回所述描述信息与所述图像信息不一致的信息。

Images