CN111860232A - 信息解析方法及装置、设备、存储介质 - Google Patents

Abstract

本申请实施例公开了一种信息解析方法，包括：确定待解析对象中所包括信息的信息类型；其中，所述待解析对象为与应用程序相关的图像；在所述信息类型包括预设类型的情况下，对所述待解析对象中预设类型对应的信息进行解析，确定所述应用程序的标识信息；响应于接收搜索所述应用程序的指令，根据所述应用程序的标识信息跳转到应用程序商店。本申请实施例还同时提供了一种信息解析装置、设备及存储介质。

Description

信息解析方法及装置、设备、存储介质

技术领域

本申请涉及图像处理技术领域，涉及但不限定于信息解析方法及装置、设备、存储介质。

背景技术

在很多用户扫描场景下，对于取景框中的预览图像都存在即时获取待扫描对象的相关信息的需求，比如用户看到了某应用程序(Application，APP)的宣传广告或海报图片，想快速获取该应用程序的名称或身份标识号码(Identity，ID)。在这种情况下，用户的扫描习惯通常是先检测宣传广告中的二维码。然而，如果二维码本身损坏或者图标更新的情况下，不能解析得到正确信息。同时存在无二维码场景的局限性。

发明内容

本申请实施例提供一种信息解析方法及装置、设备、存储介质。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种信息解析方法，所述方法包括：

确定待解析对象中所包括信息的信息类型；其中，所述待解析对象为与应用程序相关的图像；

在所述信息类型包括预设类型的情况下，对所述待解析对象中预设类型对应的信息进行解析，确定所述应用程序的标识信息；

响应于接收搜索所述应用程序的指令，根据所述应用程序的标识信息跳转到应用程序商店。

第二方面，本申请实施例提供一种信息解析装置，所述装置包括确定模块、解析模块和跳转模块，其中：

所述确定模块，用于确定待解析对象中所包括信息的信息类型；其中，所述待解析对象为与应用程序相关的图像；

所述解析模块，用于在所述信息类型包括预设类型的情况下，对所述待解析对象中预设类型对应的信息进行解析，确定所述应用程序的标识信息；

所述跳转模块，用于响应于接收搜索所述应用程序的指令，根据所述应用程序的标识信息跳转到应用程序商店。

第三方面，本申请实施例提供一种信息解析设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述信息解析方法中的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述信息解析方法中的步骤。

本发明实施例提供的技术方案带来的有益效果至少包括：

在本申请实施例中，首先，确定待解析对象中所包括信息的信息类型；其中，所述待解析对象为与应用程序相关的图像；然后，在所述信息类型包括预设类型的情况下，对所述待解析对象中预设类型对应的信息进行解析，确定所述应用程序的标识信息；最后，响应于接收搜索所述应用程序的指令，根据所述应用程序的标识信息跳转到应用程序商店；如此，通过对待解析对象中预设类型的信息进行解析，将获取的待解析对象快速映射为应用程序的标识信息并跳转至应用商店，以解决用户需要快速获取应用程序标识信息，但二维码损坏或图标更新时不能正确解析的问题，同时适用无二维码场景的情况。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1为本申请实施例提供的信息解析方法的一个可选的流程示意图；

图2为本申请实施例提供的条形码和二维码的示意图；

图3为本申请实施例提供的信息解析方法的一个可选的流程示意图；

图4为本申请实施例提供的信息解析方法的一个可选的流程示意图；

图5为本申请实施例提供的信息解析方法的一个可选的流程示意图；

图6为本申请实施例提供的信息解析方法的一个可选的流程示意图；

图7为本申请实施例提供的一种应用程序海报示意图；

图8A为本申请实施例提供的二维码检测和校正的流程示意图；

图8B为本申请实施例提供的海报裁剪和校正的流程示意图；

图9为本申请实施例提供的对无图标二维码的信息解析的流程示意图；

图10为本申请实施例提供的对有图标二维码的信息解析的流程示意图；

图11为本申请实施例提供的对图标的信息解析的流程示意图；

图12为本申请实施例提供的对宣传内容的信息解析的流程示意图；

图13为本申请实施例提供的基于图像搜索的单特征对比的方案流程示意图；

图14为本申请实施例提供的基于图像搜索的多特征融合对比的方案流程示意图；

图15为本申请实施例提供的基于图像识别的单信息识别的方案流程示意图；

图16为本申请实施例提供的基于图像识别的多信息识别的融合方案流程示意图；

图17为本申请实施例提供的信息解析装置的组成结构示意图；

图18为本申请实施例提供的信息解析设备的硬件实体示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。以下实施例用于说明本申请，但不用来限制本申请的范围。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请实施例所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本申请实施例提供一种信息解析方法，应用于移动终端。所述移动终端包括但不限于手机、笔记本电脑、平板电脑和掌上上网设备、多媒体设备、流媒体设备、移动互联网设备、可穿戴设备或其他类型的终端设备。该方法所实现的功能可以通过移动终端中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该移动终端至少包括处理器和存储介质。

图1为本申请实施例提供的信息解析方法的一个可选的流程示意图，如图1所示，所述方法包括：

步骤S110，确定待解析对象中所包括信息的信息类型。

这里，所述待解析对象为与应用程序相关的图像，通常存在产品图标、预设图片、标识字符、产品介绍、链接地址等不同的信息，相应的信息类型包括图片、文本，还有综合产品名称、生产日期、制造厂商和链接地址等信息的条码/二维码。在实际扫描场景中，预览画面中的信息可能仅包含上述某个信息或某几个信息的组合。

这里，所述信息的信息类型表示一种信息编码方式，根据所承载的信息的不同，采用不同的信息编码方式，从而产生了文本、声音、视频、图片等不同的信息类型。

示例的，如图2所示，条形码21和二维码22都是用于信息编码和解析的常见图像载体，条形码21为实现对信息的自动扫描而设计的，是实现快速、准确而可靠地采集数据的有效手段。二维码22比传统条形码21能存储更多的信息，也能表示更多类型的数据，同时具有很强的纠错能力。主流的二维码应用包括信息获取、网站跳转、手机支付、账号登陆等。

步骤S120，在所述信息类型包括预设类型的情况下，对所述待解析对象中预设类型对应的信息进行解析，确定所述应用程序的标识信息。

这里，所述预设类型的信息为表征所述应用程序或对应产品的核心内容的信息，至少包括以下预设类型的信息之一：二维码、应用程序图标和文本信息。

需要说明的是，有些二维码中心包含应用程序图标，有些二维码则只采用黑白像素矩阵编码的方式；应用程序图标包括所述二维码中心位置的应用程序图标和/或应用程序海报的版面上的应用程序图标；文本信息为预设的内容关键字，例如应用程序或产品名称、标语等，其中应用程序名称可能在三个场景出现：下载地址画面中、图标附近和宣传内容中。

这里，所述应用程序的标识信息可以是应用程序名称或对应的产品名称，也可以是ID号码。通过视觉算法如图像搜索技术或图像识别技术对每一预设类型信息进行解析，从而实现在扫描与应用程序相关的图像时快速获取应用程序或产品的名称/ID等。

步骤S130，响应于接收搜索所述应用程序的指令，根据所述应用程序的标识信息跳转到应用程序商店。

这里，通过在特定界面接收指示搜索所述应用程序的操作，根据所述应用程序的标识信息生成链接地址，并跳转到应用程序商店的界面。

需要说明的是，通过设计终端本身的逻辑实现当前扫描程序到应用程序商店程序的跳转。在实施过程中，可以以应用程序名称或产品名称作为输入，在应用程序商店搜索对应的应用程序软件进行下载和安装。

在本申请实施例中，首先，确定待解析对象中所包括信息的信息类型；其中，所述待解析对象为与应用程序相关的图像；然后，在所述信息类型包括预设类型的情况下，对所述待解析对象中预设类型对应的信息进行解析，确定所述应用程序的标识信息；最后，响应于接收搜索所述应用程序的指令，根据所述应用程序的标识信息跳转到应用程序商店；如此，通过对待解析对象中预设类型的信息进行解析，将获取的待解析对象快速映射为应用程序的标识信息并跳转至应用商店，以解决用户需要快速获取应用程序标识信息，但二维码损坏或图标更新时不能正确解析的问题，同时适用无二维码场景的情况。

图3为本申请实施例提供的信息解析方法的一个可选的流程示意图，如图3所示，所述待解析对象为应用程序海报，所述预设类型对应的信息为含应用程序图标的二维码，所述方法至少包括以下步骤：

步骤S310，确定应用程序海报中所包括的信息的信息类型。

步骤S320，在所述应用程序图标位于所述二维码中的情况下，从所述含应用程序图标的二维码中截取所述应用程序图标对应的图像区域。

这里，对于所述信息类型包括含应用程序图标的二维码的情况即应用程序图标与二维码同时出现的场景，可以通过二维码的位置定位到应用程序图标的位置和区域。例如，可以通过目标检测算法、图像分割算法等获取图标的位置和区域。

步骤S330，对所述图像区域进行解析，确定所述应用程序的标识信息。

这里，通过对所述图标对应的图像区域进行图像识别或图像搜索，确定所述应用程序的标识信息。其中，所述应用程序的标识信息可以是应用程序名称或对应的产品名称，也可以是ID。

步骤S340，响应于搜索所述应用程序的指令，根据所述应用程序的标识信息跳转到应用程序商店。

这里，通过在特定界面接收指示下载所述应用程序的操作，根据所述应用程序的标识信息生成链接地址，并跳转到应用程序商店的界面。

步骤S350，响应于下载所述应用程序的指令，通过应用程序商店下载所述应用程序。

这里，可以将所述应用程序的标识信息如产品名称作为输入，通过应用程序商店下载该应用程序。

在本申请实施例中，对于二维码中包含应用程序图标的扫描场景，通过截取二维码中应用程序图标对应的区域进行解析，这样在扫描时就可以忽略二维码本身的信息，直接对图标进行检测和识别，能够避免二维码损坏不能得到正确解析结果的情况，提高用户体验。同时，将解析得到的应用程序标识信息进行信息导流，并直接跳转到应用程序商店，方便用户下载或购买。

图4为本申请实施例提供的信息解析方法的一个可选的流程示意图，如图4所示，所述待解析对象为应用程序海报，所述信息类型包括两种以上预设类型，所述方法至少包括以下步骤：

步骤S410，确定应用程序海报中所包括信息的信息类型。

步骤S420，在所述信息类型包括两种以上预设类型的情况下，对所述应用程序海报进行预处理，从所述应用程序海报中确定每一预设类型的信息。

这里，在所述信息类型包括两种以上预设类型的情况下，首先对相机扫描的应用程序海报进行预处理，包括获取的海报图像信息与标准图像的对齐归一化，以及宣传内容和二维码的定位、裁剪、校正等，应用程序图标的定位、检测与分割等等，从而从应用程序海报中分别提取出二维码、应用程序图标和宣传内容等信息。

步骤S430，对所述每一预设类型对应的信息进行优先级排序。

步骤S440，根据排序结果，确定目标信息。

这里，所述目标信息的优先级高于所述每一预设类型的信息中其他任一信息的优先级。

需要说明的是，应用程序海报中的不同预设类型的信息如二维码、应用程序图标、文本等信息可能同时包含需要的内容，在对不同预设类型的信息进行解析前，可以经过优先级排序确定当前最重要的信息作为目标信息。

在一些可能的实施例中，所述两种以上预设类型的信息中包括无所述应用程序图标的二维码，所述方法还包括：确定所述无所述应用程序图标的二维码的优先级等级低于其他预设类型的信息的优先级等级。

这里，对于无应用程序图标的二维码直接扫描可能存在二维码损坏不能解析得到正确信息的情况，可以设置该无图标的二维码的优先级等级低于将其他预设类型的信息的优先级等级，从而从其他预设类型的信息中选择目标信息进行优先解析。

步骤S450，对所述目标信息进行解析，确定所述应用程序的标识信息。

这里，可以将所述目标信息输入到训练好的特征提取模型，提取目标信息所包含的特征，从而获取目标信息所包含的应用程序的标识；还可以将所述目标信息输入到训练好的信息识别模型中，直接获取目标信息所包含的应用程序的标识。

在一些可能的实施例中，上述步骤S440可以通过以下步骤实现“对所述目标信息进行特征提取，得到目标特征点集合；将所述目标特征点集合与预设的样本特征点集合进行特征比对，确定所述应用程序的标识信息”。

在一些可能的实施例中，上述步骤S440可以通过以下步骤实现“对所述目标信息进行图像识别，得到所述应用程序的标识信息”。

步骤S460，响应于接收搜索所述应用程序的指令，根据所述应用程序的标识信息跳转到应用程序商店。

本申请实施例通过对待解析对象中的不同预设类型的信息进行优先级排序，确定目标信息，从而基于特征提取以及特征比对算法或者基于图像识别算法，快速解析出当前最重要的信息内容，将与应用程序相关的图像映射为对应应用程序的介绍信息，以便作下一步处理如进行下载或购买。

图5为本申请实施例提供的信息解析方法的一个可选的流程示意图，如图5所示，所述待解析对象为应用程序海报，所述方法至少包括以下步骤：

步骤S510，确定应用程序海报中所包括的信息的信息类型。

步骤S520，在所述信息类型包括两种以上预设类型的情况下，调用每一所述预设类型对应的解析器，对每一所述预设类型的信息进行特征提取，得到至少一个特征点集合。

这里，所述待解析的应用程序海报中可能同时包含二维码、应用程序图标、文本等信息，可以分别对每一预设类型的信息进行特征提取，即通过单模特征提取得到每一预设类型的信息对应的特征点集合。

需要说明的是，可以通过各种应用程序的人工拍摄海报、图标数据，与标准的应用程序海报和图标数据联合训练得到特征提取模型。从而利用特征提取模型对对每一所述预设类型的信息进行特征提取。同时动态增加新的应用程序信息或已有的应用程序更新海报图片进行特征提取模型的实时训练更新。

步骤S530，对所述至少一个特征点集合进行特征融合，得到目标特征点集合。

这里，所述特征融合(feature fusion)是将提取的不同特征通过某种方法生成新的特征。通过对不同预设类型的信息对应的特征点集合进行特征融合，使新特征更能表征应用程序海报包含的信息。例如，将对二维码提取的特征点集合和对应用程序图标提取的特征点集合进行特征融合，从而得到应用程序海报包含的综合特征点集合。值得注意的是，融合的过程可以在输入、特征、输出三个层面上进行

步骤S540，将所述目标特征点集合与预设的样本特征点集合进行特征比对，确定所述应用程序的标识信息。

这里，所述预设的样本特征点集合为对样本应用程序海报进行特征提取得到的。

这里，标特征点集合与预设的样本特征点集合进行特征比对的过程，实质是待扫描的应用程序海报与样本应用程序海报在高维特征空间的比对。通过与样本应用程序海报的特征进行匹配，确定最终的应用程序的标识信息。

步骤S550，响应于接收的下载所述应用程序的操作，根据所述应用程序的标识信息跳转到应用程序商店。

本申请实施例将应用程序海报中不同预设类型的信息分别进行特征提取，得到每一预设类型的信息对应的特征点集合，然后进行特征融合得到目标特征点集合，最后将目标特征点集合与样本应用程序海报对应的预设的样本特征点集合进行特征比对，确定应用程序的标识信息。

图6为本申请实施例提供的信息解析方法的一个可选的流程示意图，如图6所示，所述待解析对象为应用程序海报，所述方法至少包括以下步骤：

步骤S610，确定应用程序海报中所包括的信息的信息类型。

步骤S620，在所述信息类型包括两种以上预设类型的情况下，调用每一所述预设类型对应的解析器，对每一所述预设类型的信息进行信息识别，得到至少一组识别数据。

这里，对每一所述预设类型的信息识别是指对所述应用程序海报中所包含的信息区域进行图像识别，以识别各种不同类型的信息内容。例如，对应用程序海报中的二维码进行图像识别，得到二维码所包含的信息内容即得到一组识别数据；对应用程序海报中的图标进行图像识别，得到图标所包含的信息内容即得到另外一组识别数据等。

需要说明的是，可以使用大量拍摄的应用程序海报或图标图像，通过人工标注作为训练数据，训练信息识别模型，然后通过训练好的信息识别模型来识别海报、图标等信息。同时动态增加新的应用程序信息或已有的应用程序更新海报图片进行信息识别模型的实时训练更新。

步骤S630，根据预设的识别置信度，对所述至少一组识别数据进行数据融合，确定所述应用程序的标识信息。

这里，所述预设的识别置信度表征识别得到的均值和总体真实情况的差距小于特定阈值的概率。所谓置信度，也称为置信水平，是指特定个体对待特定命题真实性相信的程度。

这里，按照预设的识别置信度，对识别出的识别数据进行数据融合，也即是将应用程序海报汇总每一预设类型的信息所包含的内容进行融合，从而确定应用程序的标识信息和下载地址信息。

步骤S640，响应于接收的下载所述应用程序的操作，根据所述应用程序的标识信息跳转到应用程序商店。

本申请实施例将应用程序海报中不同预设类型的信息分别进行图像识别，得到多个与应用程序相关的信息，然后根据识别置信度做信息输出层面的融合，最终确定应用程序的标识信息和下载地址信息。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。

本申请实施例提出一种能够通过视觉算法解析海报信息的技术方案，使得应用程序海报图片与应用程序或产品的名称/ID一一对应。这样当用户使用本机智能扫一扫功能扫描海报时，可以快速获取对应的应用程序/产品名称，以作为下一步跳转到应用商店或购买地址的输入。本申请实施例提供的信息解析方法的技术流程主要包含两部分：一部分为对应用程序海报中不同类型信息的提取和预处理；另一部分则针对不同类型信息分别进行识别解析。

一、应用程序海报中不同类型信息的提取和预处理

应用程序海报中可能包含的核心信息如二维码、应用程序图标、宣传内容和文本信息这四大类和应用程序相关的信息，基本上覆盖了用户在各种扫描场景画面可能会遇到的信息类型。在实际使用中，扫描画面中的场景可能仅包含上述某个信息或某几个信息的组合。

图7为本申请实施例提供的一种应用程序海报示意图，如图7所示，应用程序海报包括二维码71、宣传内容72、二维码71中心位置的图标73、宣传内容72左上角的图标73、宣传内容72中心位置的应用程序名称74和标语75。其中，二维码71中心位置的图标73和宣传内容72左上角的图标73均为应用程序图标，宣传内容72中心位置的应用程序名称74和标语75均为文本信息。

二维码71是相机扫描的重点信息，应用程序的二维码71中心大多包含图标72，不过也有不包含图标的情况。检测二维码71的技术手段有很多种，可选择二维码检测专用算法、目标检测+图像后处理、语义分割、关键点检测、文本区域检测(比如回归不规则四边形思路)等方式获取二维码区域。

真实场景下，无论是纸质海报，还是设备屏幕中的海报画面，所包含的二维码、图标、宣传内容等信息基本可以看成是分布在二维平面下。当用户使用手机扫描对应信息时，由于相机的位置和姿态原因，拍摄的画面常常是经过了逆仿射变换，常规的矩形/正方形在画面中变成不规则四边形。

在单独处理各信息之前，可以先对宣传内容72或二维码71进行文档裁剪和校正，具体技术可以使用关键点检测或直线检测。图8A为本申请实施例提供的二维码检测和校正的流程示意图，如图8A所示，取景框中检测到的二维码区域81一般为不规则四边形，可以对二维码区域81进行校正，得到常规矩形状的二维码区域82。图8B为本申请实施例提供的海报裁剪和校正的流程示意图，如图8B所示，裁剪后的宣传内容为不规则四边形83，通过A、B、C、D四个顶点计算出仿射变换矩阵，并对不规则四边形83做仿射变换，从而得到常规矩形84。

图标73会在两种不同的场景出现：第一种是与二维码71同时出现，且位于二维码71的中心位置；第二种是独立于二维码71出现，例如可能出现于应用程序海报的顶端，也可能出现在终端设备的桌面界面上，或者是下载地址的画面中。

在检测图标73之前，默认已经完成了宣传内容72或二维码71的校正。对于图标73与二维码71同时出现的场景，可以通过二维码71的位置定位到图标73的位置和区域，也可以设计单独的算法，同时检测二维码71和图标73。这种融合两种不同特征的多任务模型，常常可以提升各自的检测准确率。对于图标73独立于二维码71出现的场景，则可以通过目标检测算法、图像分割算法等获取图标73的位置和区域。

对于应用程序名称74可以通过常用的光学字符识别(Optical CharacterRecognition，OCR)技术提取文字，并与数据库中已有的应用程序名称进行匹配，确定最终的应用程序名称。

二、对不同类型信息分别进行识别解析

从用户的当前认知和使用习惯来看，在海报场景，用户打开扫一扫功能的进行扫描的优先级是：先扫描二维码71，再扫描应用程序图标73，最后扫描宣传内容72，基于这个优先级，总结出以下几个应用场景：

1、扫描无图标二维码71

可以通过截屏来实现应用程序信息解码。

图9为本申请实施例提供的对无图标二维码的信息解析的流程示意图，如图8所示，至少包括：S901二维码检测；S902信息解码；在地址跳转过程中执行S903截屏；S904图标识别和名称识别；最终获得应用程序名称或ID。

2、扫描有图标的二维码71

因为二维码中包含应用程序图标，在扫描时就可以忽略二维码本身的信息，直接对图标进行检测和识别。

图10为本申请实施例提供的对无图标二维码的信息提取的流程示意图，如图10所示，包括方案1和方案2。对于方案1，包括S1001二维码检测；S1002图标定位；对于方案2，则包括S1003二维码和图标多任务定位检测；最后方案1和方案2均经过S1003图标识别，得到最终的应用程序名称或ID。

3、扫描图标73

扫描图标包含两种情况，第一种是画面中只有图标的，第二种是图标附近同时包含应用程序名称或标语的。

图11为本申请实施例提供的对图标信息解析的流程示意图，如图11所示，对于第一种情况，包括S1101图标定位和S1102图标识别，最终得到应用程序名称或ID；对于第二种情况，包括S1103文本检测、S1104 OCR文字识别和S1105文字匹配，最终得到应用程序名称或ID。

4、扫描宣传内容72

当用户扫描应用程序海报时，画面中可能只有宣传内容72，也可能包含二维码71、图标73、应用程序名称74或标语75等。因此，可以独立做宣传内容72的识别，也可以做多维度信息融合识别。可以建立单任务和多任务模型，例如对于识别的图标73特征与识别的宣传内容72特征进行特征融合或跨模态特征融合。

图12为本申请实施例提供的对宣传内容的信息解析的流程示意图，如图12所示，包括S1201宣传内容裁剪校正、S1202宣传内容识别；S1203图标定位、S1204图标识别；S1205文本检测、S1206 OCR识别和文字匹配，最终得到应用程序名称或ID。

三、整体技术方案的实现

之前的两个步骤是实现了信息提取预处理和信息识别解析，接下来构建海报信息解析整体技术框架。这里会介绍四种不同的方案，如图13至16所示，前两种方案是基于图像搜索技术的，适用于应用程序/产品类别数量多、数据更新频繁、样本数量少的场景；后两种方案是基于图像识别技术的，适用于应用程序/产品类别数量较少、数据更新较慢、标准和自然环境拍摄样本较多的场景。

本申请实施例提供的基于图像搜索的单特征对比的方案，在信息提取和预处理后经过信息优先级确定当前最重要的信息，然后做特征提取和比对。

图13为本申请实施例提供的基于图像搜索的单特征对比的方案流程示意图，如图13所示，包括以下步骤：S1301获取海报图片；S1302信息提取和预处理；S1303优先级排序；S1304特征提取；S1305在线实时训练特征提取模型；S1306实时更新标准海报图和应用程序信息数据库；S1307特征提取；S1308更新特征数据库；S1309特征比对；S1310输出应用程序名称/ID。其中，步骤S1304中是对优先级最高的信息进行特征提取，步骤S1307是对标准海报图中的相应信息进行特征提取。

本申请实施例提供的基于图像搜索的多特征融合方案，是将所有提取到的信息分别做特征提取，然后做特征融合和比对。

图14为本申请实施例提供的基于图像搜索的多特征融合对比的方案流程示意图，如图14所示，包括以下步骤：S1401获取海报图片；S1402信息提取和预处理；S1403特征提取；S1404特征融合；S1405在线实时训练特征提取模型；S1406实时更新标准海报图和应用程序信息数据库；S1407特征提取；S1408更新融合特征数据库；S1409特征比对；S1410输出应用程序名称/ID。其中，步骤S1404中是对获取的海报图片中的不同信息分别进行特征提取，步骤S1407是对标准海报图中的相应信息进行特征提取。

本申请实施例提供的基于单信息图像识别的方案，在信息提取和预处理后经过信息优先级确定当前最重要的信息，然后通过识别模型直接输出解析后的名称或ID信息。

图15为本申请实施例提供的基于图像识别的单信息识别的方案流程示意图，如图15所示，包括以下步骤：S1501获取海报图片；S1502信息提取和预处理；S1503信息识别；S1504实时更新标准海报图；S1505更新应用程序信息数据库；S1506在线实时训练信息识别模型；S1507信息融合；S1508输出应用程序名称/ID。其中，S1504至S1506是进行信息识别模型训练的过程。

本申请实施例提供的基于多信息图像识别的融合方案，将所有提取到的信息分别做识别，得出多个名称和ID信息，然后根据识别置信度做信息输出层面的融合。

图16为本申请实施例提供的基于图像识别的多信息识别的融合方案流程示意图，如图16所示，包括以下步骤：S1601获取海报图片；S1602信息提取和预处理；S1603信息识别；S1604实时更新标准海报图；S1604更新应用程序信息数据库；S1606在线实时训练信息识别模型；S1607信息融合；S1608输出应用程序名称/ID。其中，S1604至S1606是进行信息识别模型训练的过程。

在四种方案里有几个模块需要重点说明：

1、信息提取和预处理模块

智能终端设备相机获取的图像如果直接与标准图标、标准海报图片进行特征比对，准确率会受很大影响。本申请实施例首先对相机扫描的画面进行预处理，包括海报和二维码的定位、裁剪、校正等，图标的定位、检测与分割等，以及提取的海报图像信息与标准图像的对齐归一化等。

2、特征提取模型或识别模型的训练模块

前两种方案是基于图像搜索的，本质上是图像在高维特征空间的比对，基于搜索的方案通过各种应用程序的人工拍摄海报、图标数据，与标准的海报和图标数据联合训练得到特征提取模型。

后两种方案是基于图像识别的，使用大量拍摄的海报和图标图像，通过人工标注作为训练数据，训练信息识别模型，识别海报、图标等信息。

四种方案中的特征提取模型和识别模型可以是单任务或多任务学习模型。

3、在线实时更新数据库和特征提取/识别模型模块

动态增加新的应用程序信息，或已有的应用程序更新标准图标、海报图片，人工拍摄的图片，信息数据库和特征数据库(或融合特征数据库)的更新，以及特征提取模型和信息识别模型的实时训练更新。

4、信息优先级排序模块

可以按照所包含信息的重要程度，将应用程序海报中的不同信息进行优先级排序，例如二维码中图标、宣传内容中图标、宣传内容、应用程序名称/产品名称/标语的优先级依次降低。

5、单信息处理和特征/信息融合模块

扫描的画面中可能同时包含二维码、图标、文本等信息，可通过单模特征提取比对，也可以通过多模特征融合比对。备注：融合可以在输入、特征、输出三个层面上进行。

本申请实施例可实现对海报的应用程序或产品名称/ID的解析。海报/图标不再是单纯的图片，可以作为小信息存储的载体，比如存储应用程序或产品名称以及相应的ID等，通过本申请实施例，可以从输入的海报图片中解析出对应的信息，可以作为应用程序下载、产品购买的输入。也可以基于名称和ID做终端扫一扫功能，实现增强现实广告，丰富海报内容。

本申请实施例可以拓展扫一扫应用场景，提高应用商店应用程序下载概率。例如用户可以方便快捷的使用本地智能扫一扫功能，拓展了扫一扫功能的应用场景，无论是对着包含图标的二维码、应用程序图标或者是海报，在各种用户扫码场景下都能跳转至本地应用商店进行应用程序下载。这种便捷性会触发更多应用程序下载的时机，提高了用户下载应用程序的概率。同时本申请实施例将各种扫描到的信息映射为对应应用程序的名字/ID，并直接跳转到应用商店的下载地址页面。

本申请实施例首先提出了海报中可能存在的图标、二维码、宣传内容、文本等信息的提取和预处理方法，然后基于传统和深度学习视觉算法，搭建了整体技术架构。而核心创新点主要体现在四种不同的海报综合信息解析的技术架构以及图像搜索/识别技术在海报信息解析场景中的应用。

本申请实施例提供一种信息解析装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过终端中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(Central Rrocessing Unit，CPU)、微处理器(Micro Rrocessing Unit，MPU)、数字信号处理器(Digital Signal Processor，DSP)或现场可编程门阵列(Field Programmable Gate Array，FPGA)等。

图17为本申请实施例提供的一种信息解析装置的组成结构示意图，如图17所示，所述装置1700包括确定模块1701、解析模块1702和跳转模块1703，其中：

所述确定模块1701，用于确定待解析对象中所包括信息的信息类型；其中，所述待解析对象为与应用程序应用程序相关的图像；

所述解析模块1702，用于在所述信息类型包括预设类型的情况下，对所述待解析对象中预设类型对应的信息进行解析，确定所述应用程序的标识信息；

所述跳转模块1703，用于响应于接收搜索所述应用程序的指令，根据所述应用程序的标识信息跳转到应用程序商店。

在一些可能的实施例中，所述待解析对象为应用程序海报，所述应用程序海报中预设类型的信息至少包括以下之一：二维码、应用程序图标和文本信息；其中，所述应用程序图标位于所述应用程序海报的版面上，和/或，位于所述二维码上。

在一些可能的实施例中，所述装置1700还包括下载模块，用于响应于下载所述应用程序的指令，通过应用程序商店下载所述应用程序。

在一些可能的实施例中，所述解析模块1702包括截取子模块和第一解析子模块，其中：所述截取子模块，用于在所述应用程序图标位于所述二维码中的情况下，从所述含应用程序图标的二维码中截取所述应用程序图标对应的图像区域；所述第一解析子模块，用于对所述图像区域进行解析，确定所述应用程序的标识信息。

在一些可能的实施例中，所述信息类型包括两种以上预设类型，所述解析模块1702包括优先级排序子模块、确定子模块和第二解析子模块，其中：所述优先级排序子模块，用于在所述信息类型包括两种以上预设类型的情况下，对所述两种以上预设类型对应的信息进行优先级排序；所述确定子模块，用于根据排序结果，确定目标信息；其中，所述目标信息的优先级高于所述待解析对象中其他预设类型的信息的优先级；所述第二解析子模块，用于对所述目标信息进行解析，确定所述应用程序的标识信息。

在一些可能的实施例中，所述两种以上预设类型的信息中包括无所述应用程序图标的二维码，所述优先级排序子模块还用于确定所述无所述应用程序图标的二维码的优先级等级低于其他预设类型的信息的优先级等级。

在一些可能的实施例中，所述信息类型包括两种以上预设类型，所述解析模块1702包括第三解析子模块和特征融合子模块，其中：所述第三解析子模块，用于分别对每一预设类型的信息进行解析，得到每一所述信息的解析结果；所述特征融合子模块，用于将所述每一所述信息的解析结果进行特征融合，得到所述应用程序的标识信息。

这里需要指出的是：以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的信息解析方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得包含该存储介质的设备自动测试线执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

对应地，本申请实施例提供一种信息解析设备，图18为本申请实施例提供的信息解析设备的硬件实体示意图，如图18所示，该设备1800的硬件实体包括：处理器1801、通信接口1802和存储器1803，其中

处理器1801通常控制设备1800的总体操作。

通信接口1802可以使设备1800通过网络与其他终端或服务器通信。

存储器1803配置为存储由处理器1801可执行的指令和应用，还可以缓存待处理器1801以及设备1800中各模块待处理或已经处理的数据(例如，图像数据)，可以通过闪存(FLASH)或随机访问存储器(Random Access Memory，RAM)实现。

对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的信息解析方法中的步骤。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本申请实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得设备自动测试线执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种信息解析方法，其特征在于，所述方法包括：

确定待解析对象中所包括信息的信息类型；其中，所述待解析对象为与应用程序相关的图像；

在所述信息类型包括预设类型的情况下，对所述待解析对象中预设类型对应的信息进行解析，确定所述应用程序的标识信息；

响应于接收搜索所述应用程序的指令，根据所述应用程序的标识信息跳转到应用程序商店。

2.如权利要求1所述的方法，其特征在于，所述与应用程序相关的图像为应用程序海报，所述应用程序海报中预设类型的信息至少包括以下之一：二维码、应用程序图标和文本信息；

其中，所述应用程序图标位于所述应用程序海报的版面上，和/或，位于所述二维码中。

3.如权利要求2所述的方法，其特征在于，所述在所述信息类型包括预设类型的情况下，对所述待解析对象中预设类型对应的信息进行解析，确定所述应用程序的标识信息，包括：

在所述应用程序图标位于所述二维码中的情况下，从所述二维码中截取所述应用程序图标对应的图像区域；

对所述图像区域进行解析，确定所述应用程序的标识信息。

4.如权利要求1或2所述的方法，其特征在于，所述信息类型包括两种以上预设类型，所述在所述信息类型包括预设类型的情况下，对所述待解析对象中预设类型对应的信息进行解析，确定所述应用程序的标识信息，包括：

对所述两种以上预设类型对应的信息进行优先级排序；

根据排序结果，确定目标信息；其中，所述目标信息的优先级高于所述待解析对象中其他预设类型的信息的优先级；

对所述目标信息进行解析，确定所述应用程序的标识信息。

5.如权利要求4所述的方法，其特征在于，所述两种以上预设类型的信息中包括无所述应用程序图标的二维码，所述对所述两种以上预设类型对应的信息进行优先级排序，包括：

确定所述无所述应用程序图标的二维码的优先级等级低于其他预设类型的信息的优先级等级。

6.如权利要求1所述的方法，其特征在于，所述信息类型包括两种以上预设类型，所述在所述信息类型包括预设类型的情况下，对所述待解析对象中预设类型对应的信息进行解析，确定所述应用程序的标识信息，包括：

分别对每一预设类型的信息进行解析，得到每一所述信息的解析结果；

将所述每一所述信息的解析结果进行特征融合，得到所述应用程序的标识信息。

7.如权利要求1所述的方法，其特征在于，根据所述应用程序的标识信息跳转到应用程序商店之后，所述方法还包括：

响应于下载所述应用程序的指令，通过应用程序商店下载所述应用程序。

8.一种信息解析装置，其特征在于，所述装置包括确定模块、解析模块和跳转模块，其中：

所述确定模块，用于确定待解析对象中所包括信息的信息类型；其中，所述待解析对象为与应用程序相关的图像；

所述解析模块，用于在所述信息类型包括预设类型的情况下，对所述待解析对象中预设类型对应的信息进行解析，确定所述应用程序的标识信息；

所述跳转模块，用于响应于接收搜索所述应用程序的指令，根据所述应用程序的标识信息跳转到应用程序商店。

9.一种信息解析设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述方法中的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述方法中的步骤。

Images