CN109816429B - 信息推广方法和装置 - Google Patents

Abstract

本发明提供信息推广方法和相关装置，其中，方法包括：获取第一图像，所述第一图像为商场中的展示屏对应的拍摄装置拍摄到的图像；检测所述第一图像中是否存在商标；在检测到所述第一图像中存在商标的情况下，确定所述第一图像中至少一个第一商标的特征信息；在商标信息库中查找与每个第一商标的特征信息匹配的第二商标；在所述展示屏中显示所述第二商标对应的推广信息，所述推广信息包括所述第二商标对应的商品在所述商场中的位置信息。本发明的技术方案，可以解决信息推广效果不够好的问题。

Description

信息推广方法和装置

技术领域

本发明涉及信息推广领域，尤其涉及信息推广方法和装置。

背景技术

商标是商品的生产者、经营者在其生产、制造、加工、拣选或者经销的商品上或者服务的提供者在其提供的服务上采用的，用于区别商品或服务来源，包括文字、图形、字母、数字、三维标志、颜色组合和声音等，以及上述要素的组合，具有显著特征的标志。

目前商场中展示的关于商标的推广信息一般为固定的，每个消费者看到的推广信息都相同，由于消费者的兴趣爱好差异较大，所以很多消费者对固定播放的推广信息可能不感兴趣，导致信息推广效果比较差。

发明内容

本发明实施例提供信息推广方法和装置，解决信息推广效果不好的问题。

第一方面，提供信息推广方法，包括：

获取第一图像，所述第一图像为商场中的展示屏对应的拍摄装置拍摄到的图像；

检测所述第一图像中是否存在商标；

在检测到所述第一图像中存在商标的情况下，确定所述第一图像中至少一个第一商标的特征信息；

在商标信息库中查找与每个第一商标的特征信息匹配的第二商标；

在所述展示屏中显示所述第二商标对应的推广信息，所述推广信息包括所述第二商标对应的商品在所述商场中的位置信息。

结合第一方面，在一种可能的实现方式中，每个第一商标的特征信息包括第一商标的商标名称以及第一商标在所述第一图像中的位置坐标，所述在商标信息库中查找与每个第一商标的特征信息匹配的第二商标，包括：根据所述第一商标的名称在所述商标信息库中查找与所述第一商标的名称相同的商标，将所述与所述第一商标的名称相同的商标确定为第二商标；或者，根据所述第一商标在所述第一图像中的位置坐标对应的目标图像，在所述商标信息库中查找与所述目标图像的相似度高于相似度阈值的商标图案，将所述与所述目标图像的相似度高于相似度阈值的商标图案确定为第二商标。通过根据商标名称或者商标图案查找对应的商标的方式，可以查找到相匹配的商标以及商标对应的推广信息。

结合第一方面，在一种可能的实现方式中，所述在所述展示屏中显示所述第二商标对应的推广信息，包括：在所述第二商标为多个的情况下，在商场的展示屏中按顺序切换显示所述多个所述第二商标对应的推广信息，或者，在所述第二商标为多个的情况下，在商场的展示屏中同时显示所述多个所述第二商标对应的推广信息。通过在商场展示屏上切换显示或同时显示商标对应的推广信息，便于消费者更直观地看到商标对应的商品推广信息。

结合第一方面，在一种可能的实现方式中，所述检测所述第一图像中是否存在商标，包括：基于目标检测模型中的卷积层对所述第一图像进行卷积处理，得到目标卷积特征图，所述目标卷积特征图包括多个目标卷积特征子图；分别确定所述多个目标卷积特征子图中各个目标卷积特征子图对应的目标卷积特征信息；分别确定各个目标卷积特征信息与所述目标检测模型中多个商标名称之间的匹配概率，以及，所述各个目标卷积特征信息对应的位置坐标，并分别将在所述第一图像中与所述各个目标卷积特征信息对应的位置坐标所对应的区域作为所述各个目标卷积特征信息对应的第一区域；分别根据所述各个目标卷积特征信息与所述目标检测模型中多个商标名称之间的匹配概率，确定所述各个目标卷积特征信息对应的最大匹配概率，分别将所述各个目标卷积特征信息对应的最大匹配概率确定为所述各个目标卷积特征信息对应的第一区域的置信度，并分别将所述各个目标卷积特征信息对应的最大匹配概率所对应的商标名称作为与所述各个目标卷积特征信息对应的第一区域所对应的商标名称；判断各个第一区域的置信度是否大于第一阈值；当至少一个第一区域的置信度大于或等于所述第一阈值时，检测到所述第一图像中存在商标；当所述各个第一区域的置信度均小于所述第一阈值时，检测到所述第一图像中不存在商标。通过基于目标检测模型中的卷积网络结构对图像进行检测，提高了商标检测的效率以及准确度。

结合第一方面，在一种可能的实现方式中，所述确定所述第一图像中至少一个第一商标的特征信息，包括：将置信度大于或等于所述第一阈值的第一区域组成的集合确定为第一集合；在所述第一集合中的第一区域的数量为多个的情况下，将所述第一集合中置信度最大的第一区域确定为第一目标区域；在所述第一集合中的第一区域的数量为一个的情况下，将所述第一集合中的第一区域确定为第一目标区域；将所述第一目标区域对应的位置坐标和所述第一目标区域对应的商标名称确定为一个第一商标的特征信息。

结合第一方面，在一种可能的实现方式中，所述确定所述第一图像中至少一个第一商标的特征信息，还包括：将所述第一集合中排除所述第一目标区域之后的第一区域组成的集合确定为第二集合；判断所述第二集合中每个第一区域与所述第一目标区域的重合度(intersection over union，IOU)是否大于或等于第二阈值；当所述第二集合中每个第一区域与所述第一目标区域的重合度均小于所述第二阈值时，确定所述第二集合的第二目标区域；当所述第二集合中至少一个第一区域与所述第一目标区域的重合度大于或等于所述第二阈值时，将所述第二集合中与所述第一目标区域的重合度大于或等于所述第二阈值的第一区域确定为第二区域，并将所述第二集合中排除所述第二区域之后的第一区域组成的集合确定为第三集合，且确定所述第三集合的第三目标区域；将所述第二目标区域对应的位置坐标和所述第二目标区域对应的商标名称确定为另一个第一商标的特征信息，或将所述第三目标区域对应的位置坐标和所述第三目标区域对应的商标名称确定为另一个第一商标的特征信息。通过在集合中比较重合度去除了第二区域中包含有商标的重复区域，使得商标检测更准确以及商标检测效率更高。

第二方面，提供一种信息推广装置，包括：

获取模块，用于获取第一图像，所述第一图像为商场中的展示屏对应的拍摄装置拍摄到的图像；

检测模块，用于检测所述第一图像中是否存在商标；

信息确定模块，用于在检测到所述第一图像中存在商标的情况下，确定所述第一图像中至少一个第一商标的特征信息；

查找模块，用于在商标信息库中查找与每个第一商标的特征信息匹配的第二商标；

显示模块，用于在所述展示屏中显示所述第二商标对应的推广信息，所述推广信息包括所述第二商标对应的商品在所述商场中的位置信息。

第三方面，提供一种信息推广装置，包括处理器、存储器以及通信接口，所述处理器、存储器和通信接口相互连接，其中，所述通信接口用于输入或输出数据，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行上述第一方面的方法。

第四方面，提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行上述第一方面的方法。

本发明实施例中，通过对获取到的第一图像进行检测，检测第一图像中是否存在商标，在检测到图像中存在商标的情况下，确定第一图像中每个第一商标的特征信息，在商标信息库中查找与每个第一商标的特征信息匹配的第二商标，并在商场的展示屏中显示与第二商标对应的推广信息，通过在商场展示屏上显示与检测到的商标对应的推广信息，便于消费者观看并查找商标对应的商品在商场中的位置，由于第一图像为商场中的展示屏对应的拍摄装置拍摄到的图像，该图像为在该展示屏附近的消费者的图像的可能性较高，那么检测到的商标很可能为该消费者服装或者其他部位(如背包)上的商标，而消费者的着装在一定程度上可以用于反馈用户对商品的喜好，显示与商标相匹配的推广信息，相当于是显示用户喜欢的商品的推广信息，起到了针对性地投放推广信息的作用，即根据用户的喜好进行推广，由于是根据用户的喜好进行推广，可以实现推广信息的精准投放，从而可以使得推广的效果更好。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种场景示意图；

图2本发明实施例提供的一种信息推广方法的流程示意图；

图3是本发明实施例提供的一种检测商标名称的结构示意图；

图4是本发明实施例提供的另一种信息推广方法的流程示意图；

图5是本发明实施例提供的目标检测模型中的卷积网络结构的示意图；

图6是本发明实施例提供的目标卷积特征图与目标卷积特征子图之间的关系示意图；

图7是本发明实施例提供的目标卷积特征图与第一图像之间的映射关系的示意图；

图8是本发明实施例提供的一种基于目标检测模型卷积处理后得到的三种目标卷积特征图与对应的目标卷积特征子图之间的关系示意图；

图9是本发明实施例提供的又一种信息推广方法的流程示意图；

图10是本发明实施例提供的一种确定出第一图像中的两个第一商标的特征信息的示意图；

图11是本发明实施例提供的一种在第一图像中确定出多个第一商标对应的区域的示意图；

图12是本发明实施例提供的一种信息推广装置的组成结构示意图；

图13是本发明实施例提供的另一种信息推广装置的组成结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的技术方案适用于对图像进行检测，从而得到对应的商标检测结果，并根据该商标检测结果在商标信息库中查找并显示商标对应的推广信息的场景。在一种可能的场景下，如图1所示，展示屏01对应的拍摄装置02在感应到其正对面有消费者时，周期性的对其正对面的且距离在预设距离内的消费者服装上的不同部位进行拍照，将拍摄的图像发送给相应的图像处理装置03进行检测，当检测到图像中包含有商标的情况下，根据检测到的商标的特征信息在商标信息库04中查找匹配的商标，并确定该商标对应的推广信息，以使展示屏01显示该推广信息，使消费者能更好的观看到商标对应的信息以及查找到在该商场中商标对应的商品。该拍摄装置可以为展示屏上的摄像头，也可以为展示屏对应的其他拍摄装置，例如可以为具有拍照功能的设备，例如个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，周期可以为0.1s、0.3s、0.5s等任意值，该预设距离可以为0.5m、1m、1.5m等任意值。

请参见图2，图2是本发明实施例提供的一种信息推广方法的流程示意图，如图所示，该方法包括如下步骤：

S101，获取第一图像，第一图像为商场中的展示屏对应的拍摄装置拍摄到的图像。

本发明实施例中，拍摄装置对消费者服装、背包等不同部位进行拍照，获取到第一图像。其中，获取到的第一图像中可以包括商标，也可以不包括商标。例如，获取到的图像可以包括商标以及物品上具有装饰作用的图案或者背景等除商标以外的图形，如图3中所示，“云”与“雨”形图像为物品上具有装饰作用的背景图案。拍摄装置可以为展示屏上方的摄像头，如图1中02所示，也可以为其他具有拍照功能的设备。

S102，检测第一图像中是否存在商标。

本发明实施例中，如图3所示,图3是本发明实施例提供的一种检测商标名称的结构示意图，可以将获取的第一图像调整至预设尺寸后检测第一图像中是否存在商标。具体地，在第一图像的尺寸大于预设尺寸的情况下，通过下采样的方式对第一图像进行处理，使第一图像缩小为与预设尺寸大小相同的图像；在第一图像的尺寸小于预设尺寸的情况下，通过上采样的方式对第一图像进行处理，使第一图像放大为与预设尺寸大小相同的图像。预设尺寸可以为32*32的整数倍数，例如预设尺寸可以为416*416。

检测第一图像中是否存在商标的具体方式参考图4对应的实施例，此处不做过多描述。

S103，在检测到第一图像中存在商标的情况下，确定第一图像中至少一个第一商标的特征信息。

本发明实施例中，在检测到第一图像中不存在商标的情况下，则不再进行后续步骤；在检测到第一图像中存在商标的情况下，确定第一图像中至少一个第一商标的特征信息。这里，第一商标为第一图像中存在的商标，该第一商标的数量可以为多个。第一商标的特征信息包括第一商标的商标名称以及第一商标在第一图像中的位置坐标。例如，第一图像中存在两个第一商标时，则第一图像中第一商标的特征信息包括两个第一商标的商标名称以及两个第一商标在第一图像中的位置坐标。例如，如图3所示，由于图3中只有一个商标，所以确定出来的第一图像中的特征信息为商标名称“NIKE”以及商标在第一图像中的位置坐标对应的区域10c。

S104，在商标信息库中查找与每个第一商标的特征信息匹配的第二商标。

本发明实施例中，由于步骤S103确定到的第一图像中第一商标的特征信息可能为多个，则分别根据每个第一商标的特征信息在商标信息库中查找匹配的第二商标，且每个第一商标的特征信息可能与商标信息库中的多个第二商标匹配，则第二商标也可能为多个。在商标信息库中查找与每个第一商标的特征信息匹配的第二商标可以包括以下几种情况：

第一种情况，根据第一商标的商标名称在商标信息库中查找与第一商标的商标名称相同的商标，将与第一商标的商标名称相同的商标确定为第二商标。

第二种情况，根据第一商标在第一图像中的位置坐标对应的目标图像在商标信息库中查找与目标图像的相似度高于相似度阈值的商标图案，将与目标图像的相似度高于相似度阈值的商标图案确定为第二商标。可以根据第一商标在第一图像中的位置坐标对应的目标图像在商标信息库中查找与目标图像的相似度高于相似度阈值的商标图案，将该商标图案确定为第二商标。相似度阈值可以为80％、85％、90％等任意值。

第三种情况，还可以根据第一商标的商标名称与第一商标在第一图像中的位置坐标对应的商标图案同时在商标信息库中查找相匹配的商标，将查找到的商标确定为第二商标。

这里，商标信息库用于存储商标信息，该商标信息可以包括商标名称以及商标对应的商标图案，第二商标为商标信息库中存储的多种商标。可以理解的是，这里的匹配指相同或者相似度达到相似度阈值即可认为两者相匹配，相似度阈值可以为80％、85％、90％等任意值。

在查找到与第一图像中第一商标的特征信息匹配的第二商标后，确定商标信息库中第二商标对应的推广信息。其中，推广信息可以包括第二商标对应的商品在商场中的位置信息。第二商标对应的商品在商场中的位置信息具体可以为：以当前终端所在位置为坐标原点建立直角坐标系，该商标在直角坐标系中的位置信息即对应于该第二商标对应的商品在商场中的位置信息。推广信息还可以包括第二商标的商标名称，这里，商标名称可以为中文名称或者英文名称，以及简称等，例如“NIKE”的名称可以包括“NIKE”、“耐克”。推广信息还可以包括第二商标的商标图案，商标图案的颜色可以为黑白色，也可以为彩色，该图案可以为平面图形，也可以为3D图形。推广信息还可以包括第二商标的商标介绍，商标介绍可以为该商标的基本信息，例如商标来源、商标寓意、商标适用群体、商标对应的商品的价格以及商标包含的商品种类等信息。

S105，在商场中的展示屏中显示第二商标对应的推广信息，推广信息包括第二商标对应的商品在商场中的位置信息。

通过步骤S104确定出第二商标对应的推广信息。在第二商标为多个的情况下，可以有下面两种方式在商场的展示屏中显示多个第二商标对应的推广信息：

第一种情况，可以根据各个第二商标对应的推广信息的获取时间顺序设置优先级，从而按顺序切换显示多个第二商标对应的推广信息。例如，当第二商标为两个时，对应的推广信息也为两个，且第二商标A对应的推广信息的获取时间在第二商标B对应的推广信息之前，则优先在时间阈值内显示第二商标A对应的推广信息，当达到时间阈值时，显示第二商标B对应的推广信息，当再次达到时间阈值时，显示第二商标A对应的推广信息，依次按顺序切换显示各个第二商标对应的推广信息。时间阈值可以为3S、5S、10S等任意值。

第二种情况，可以在商场的展示屏上同时显示多个第二商标对应的推广信息，例如将展示屏划分为多个区域，该区域的数量与第二商标对应的推广信息数量相同，该区域可以为大小不等的多个区域，从而实现同时显示多个第二商标对应的推广信息。

本发明实施例中，通过对获取到的第一图像进行检测，检测第一图像中是否存在商标，在检测到图像中存在商标的情况下，确定第一图像中至少一个第一商标的特征信息，在商标信息库中查找与每个第一商标的特征信息匹配的第二商标，并在商场的展示屏中显示与第二商标对应的推广信息，通过在商场展示屏上显示与检测到的商标对应的推广信息，便于消费者观看并查找商标对应的商品在商场中的位置，由于第一图像为商场中的展示屏对应的拍摄装置拍摄到的图像，该图像为在该展示屏附近的消费者的图像的可能性较高，那么检测到的商标很可能为该消费者服装或者其他部位(如背包)上的商标，而消费者的着装在一定程度上可以用于反馈用户对商品的喜好，显示与商标相匹配的推广信息，相当于是显示用户喜欢的商品的推广信息，起到了针对性地投放推广信息的作用，即根据用户的喜好进行推广，由于是根据用户的喜好进行推广，可以实现推广信息的精准投放，从而可以使得推广的效果更好。

在一种可能的实现方式中，可以通过目标检测模型检测第一图像中是否存在商标以及确定第一图像中至少一个第一商标的特征信息，其中目标检测模型可以为基于回归目标检测算法的目标检测模型，也可以是基于其他算法的目标检测模型，目标检测模型采用的具体算法在此不做限定。通过目标检测模型检测第一图像中是否存在商标以及确定第一图像中第一商标的特征信息的具体步骤如图4所示，图4是本发明实施例提供的一种信息推广方法的流程示意图，如图所示，该方法包括：

S201，基于目标检测模型中的卷积层对第一图像进行卷积处理，得到目标卷积特征图，目标卷积特征图包括多个目标卷积特征子图。

本发明实施例中，目标检测模型通过在特征图上通过卷积核来预测位置框对应的类别和偏移量(位置框对应图中的哪一个位置)。该目标检测模型中的卷积网络结构包括多个一般卷积层、卷积特征层、残差单元、上采样单元、以及融合单元，可以理解的是，该卷积网络中除了残差单元、上采样单元、卷积特征层以及融合单元中包括的卷积层以外，其他的卷积层的都可以为一般卷积层，一般卷积层为卷积网络中只起卷积作用的卷积层，卷积特征层用于生成进行图像检测的目标卷积特征图。每个卷积层对应不同尺寸的卷积核，通过不同尺寸的卷积核对图像进行卷积处理，得到不同尺寸的卷积图，不同尺寸的卷积核对应不同的多个先验框，通过卷积核对应的先验框对与卷积核对应的卷积图进行预测处理，可得到多个边界框。

这里，目标检测模型中的卷积层对第一图像进行卷积处理，得到多个尺寸不同的目标卷积特征图，多个尺寸不同的目标卷积特征图具体是指：通过目标检测模型中的卷积特征层分别输出的结果，其中，每个卷积特征层对应多个尺寸相同的目标卷积特征图，卷积特征层对应的尺寸越小，则卷积特征层对应的目标卷积特征图的数量越多。例如，尺寸为64*64的目标卷积特征图的数量少于尺寸为32*32的目标卷积特征图的数量，尺寸为32*32的目标卷积特征图的数量少于尺寸为16*16的目标卷积特征图的数量，尺寸为16*16的目标卷积特征图的数量少于尺寸为8*8的目标卷积特征图的数量……

具体实现中，可以将第一图像的尺寸调整为目标检测模型对应的输入图像的尺寸(该尺寸可以是416*416)，该图像的尺寸为目标检测模型对应的输入图像的尺寸。然后将该图像输入到目标检测模型的卷积网络中，将该图像作为卷积网络中的第一个卷积层的输入，依次通过该卷积网络中的卷积层对应的卷积核对上一个卷积层输出的结果进行卷积处理，然后将该卷积网络中的卷积特征层输出的结果确定为多个尺寸不同的目标卷积特征图。其中，通过卷积层对应的卷积核对上一个卷积层输出的结果进行卷积处理具体是指通过该卷积核对应的矩阵与上一个卷积层输出的矩阵相乘，通过卷积层对应的卷积核对上一个卷积层输出的结果进行卷积处理得到的结果为该卷积层对应的尺寸的矩阵，该矩阵对应的图像即为该卷积层对应的卷积图。

下面通过对目标检测模型中的卷积层对第一图像进行卷积处理的过程进行具体说明，参见图5，图5是本发明实施例提供的目标检测模型中的卷积网络结构的示意图，目标检测模型的卷积网络包括多个一般卷积层、三个卷积特征层、五个残差单元、两个上采样单元、以及两个融合单元。

将第一图像调整尺寸后输入卷积网络中，通过一般卷积层中的卷积核对第一图像进行卷积处理，得到一般卷积图，通过第一残差单元中的卷积层对一般卷积图进行卷积处理，得到第一卷积图，通过第二残差单元中的卷积层对第一卷积图进行卷积处理后得到第二卷积图，通过第三残差单元中的卷积层对第二卷积图进行卷积处理后得到第三卷积图，通过第四残差单元中的卷积层对第三卷积图进行卷积处理后得到第四卷积图，通过第五残差单元中的卷积层对第四卷积图进行卷积处理后得到第五卷积图。通过一般卷积层中的卷积核对第五卷积图进行卷积处理，得到第六卷积图，通过上采样单元对第六卷积图进行上采样处理，得到第一上采样卷积图，通过融合单元融合第一上采样卷积图与第四卷积图，得到第一融合卷积图，通过一般卷积层中的卷积核对第一融合卷积图进行卷积处理，得到第七卷积图，通过上采样单元对第七卷积图进行上采样处理，得到第二上采样卷积图，通过融合单元融合第二上采样卷积图与第三卷积图，得到第二融合卷积图，通过一般卷积层中的卷积核对第二融合卷积图进行卷积处理，得到第八卷积图，然后将第六卷积图、第七卷积图、第八卷积图确定为目标卷积特征图。

其中，第六卷积图、第七卷积图、第八卷积图的数量都为多个，且第六卷积图、第七卷积图、第八卷积图的数量依次减少，即第六卷积图的数量多于第七卷积图的数量，第七卷积图的数量多于第八卷积层。即处理后得到的目标卷积特征图为三种不同尺寸的卷积图，且每种卷积图的尺寸与数量不一样。这里，第六卷积图有多个，且每个第六卷积图尺寸相同；第七卷积图有多个，每个第七卷积图尺寸相同；第八卷积图有多个，每个第八卷积图的尺寸相同。

其中的一个残差单元对图像的处理方法如下，以第一残差单元为例，通过第一残差单元中的第一卷积层对应的卷积核对输入的图像进行卷积处理，得到第一卷积子图，通过第一残差单元中的第二卷积层对应的卷积核对第一卷积子图进行卷积处理，得到第二卷积子图，对第一卷积子图与第二卷积子图进行残差学习，得到第一残差单元对应的第一卷积图。

需说明的是，这里的举例仅用于说明利用卷积网络对第一图像进行卷积处理的过程，不对本发明实施例进行限制，在可选实施例中，卷积网络还可以包括更多的一般卷积层、卷积特征层、残差单元、上采样单元和更多的融合单元。

这里，目标卷积特征子图是指目标卷积特征图包含的特征单元，例如，目标卷积特征图的尺寸为3*3，则目标卷积特征图可以如图6所示，图6是本发明实施例提供的目标卷积特征图与目标卷积特征子图之间的关系示意图，目标卷积特征图一共包含9个特征单元，每个特征单元为目标卷积特征图中的一个单元格，编号为1～9，即目标卷积特征图包含9个目标卷积特征子图。

S202，分别确定多个目标卷积特征子图中各个目标卷积特征子图对应的目标卷积特征信息。

这里，各个目标卷积特征子图对应的目标卷积特征信息是指：以目标卷积特征图对应的先验框作为边界框在该目标卷积特征图中以目标卷积特征子图为中心所圈出来的内容。例如，卷积特征图如图6所示，图6是本发明实施例提供的目标卷积特征图与目标卷积特征子图之间的关系示意图，则对于该目标卷积特征图中的目标卷积特征子图9，该目标卷积特征子图9对应的目标卷积特征信息为图6中的三个尺寸不同的虚线框所对应的该目标卷积特征图的内容。

具体实现中，可以以目标卷积特征图对应的先验框作为边界框，确定目标卷积特征图中的各个目标卷积特征子图对应的边界框内的信息，将该边界框内的信息确定为该边界框对应的目标卷积特征子图的目标卷积特征信息，从而确定目标卷积特征图对应的目标卷积特征信息。

例如，目标卷积特征图如图6所示，则确定目标卷积特征图对应的目标卷积特征信息可以为：以尺寸为3*3的卷积特征对应的先验框作为边界框，将边界框以特征单元1为中心，确定该边界框对应的信息，将该边界框对应的信息确定为特征单元1对应的目标卷积特征信息，从而确定特征单元1对应的三个边界框对应的信息为三个目标卷积特征信息；将边界框以特征单元2为中心，确定该边界框对应的信息，将该边界框对应的信息确定为特征单元2对应的目标卷积特征信息，从而确定特征单元2对应的三个边界框对应的信息为三个目标卷积特征信息；……；将边界框以特征单元9为中心，确定该边界框对应的信息，将该边界框对应的信息确定为特征单元9对应的目标卷积特征信息，从而确定特征单元9对应的三个边界框对应的信息为三个目标卷积特征信息；最后将特征单元1～特征单元9对应的目标卷积特征信息确定为目标卷积特征图对应的目标卷积特征信息，可得到27个目标卷积特征信息。

S203，分别确定各个目标卷积特征信息与目标检测模型中多个商标名称之间的匹配概率，以及，各个目标卷积特征信息对应的位置坐标，并分别将在第一图像中与各个目标卷积特征信息对应的位置坐标所对应的区域作为各个目标卷积特征信息对应的第一区域。

具体地，可以通过目标检测模型中的分类器对各个目标卷积特征信息与目标检测模型中的多种商标名称对应的商标图形之间的匹配概率进行计算，从而分别确定各个目标卷积特征信息与目标检测模型中的多种商标名称对应的商标图形之间的匹配概率。确定到的匹配概率的数量和目标检测模型中的商标名称对应的商标图形的数量相同。

这里，由于每个目标卷积特征信息都与目标检测模型中的每种商标名称对应的商标图形之间进行匹配，则每个目标卷积特征信息对应多个匹配概率，匹配概率即该目标卷积特征信息是目标检测模型中的各种商标名称对应的商标图形的可能性。

这里，各个目标卷积特征信息对应的位置坐标是指将各个目标卷积特征信息对应的各个边界框映射回第一图像时所对应的位置坐标，每个目标卷积特征信息对应四个位置坐标，这四个位置坐标分别对应边界框的四个顶点，将边界框的四个顶点映射回原图所得到的四个点的坐标即为目标卷积特征信息对应的位置坐标，由此可得到各个目标卷积特征信息对应的位置坐标。

由于各个目标卷积特征图是由第一图像经过尺寸调整以及卷积处理而来，所以各个目标卷积特征图中的每个点与第一图像中的点或区域存在对应关系，根据该对应关系可确定各个边界框在第一图像中对应四个点的位置坐标，进而将各个边界框在第一图像中对应的四个点的位置坐标确定为各个边界框对应的各个目标卷积特征信息对应的位置坐标，将该位置坐标对应的点所形成的区域确定为各个目标卷积特征信息对应的第一区域，因此，可得到每个目标卷积特征信息对应于第一图像中的每个第一区域。

举例来进行说明，例如，目标卷积特征信息对应的边界框如图7所示，图7是本发明实施例提供的目标卷积特征图与第一图像之间的映射关系的示意图，边界框的四个顶点分别为a1、a2、a3以及a4，该四个顶点映射回第一图像时分别对应点b1、b2、b3以及b4，b1在第一图像中的位置坐标为(b11，b12)，b2在第一图像中的位置坐标为(b21，b22)，b3在第一图像中的位置坐标为(b31，b34)，b4在第一图像中的位置坐标为(b41，b44)，则将b1的位置坐标(b11，b12)、b2的位置坐标(b21，b22)、b3的位置坐标(b31，b32)以及b4的位置坐标(b41，b42)确定为目标卷积特征信息对应的位置坐标，将点b1、b2、b3以及b4所在第一图像中形成的区域确定为目标卷积特征信息对应的第一区域。

具体实现中，可以根据该目标卷积特征信息对应的目标卷积特征图与第一图像之间的映射关系确定各个目标卷积特征信息对应的位置坐标，即可确定该位置坐标在第一图像中对应的点，点组合成的区域为第一区域。

S204，分别根据各个目标卷积特征信息与目标检测模型中多个商标名称之间的匹配概率，确定各个目标卷积特征信息对应的最大匹配概率，分别将各个目标卷积特征信息对应的最大匹配概率确定为各个目标卷积特征信息对应的第一区域的置信度，并分别将各个目标卷积特征信息对应的最大匹配概率所对应的商标名称作为与各个目标卷积特征信息对应的第一区域所对应的商标名称。

本发明实施例中，由于各个目标卷积特征信息都与目标检测模型中的每种商标名称对应的商标图形之间进行匹配，则卷积特征信息集合中的每个目标卷积特征信息对应多个匹配概率，分别将各个目标卷积特征信息对应的多个匹配概率中最大的匹配概率确定为各个目标卷积特征信息对应的第一区域的置信度，则可得到每个目标卷积特征信息对应的第一区域的置信度，并分别将各个目标卷积特征信息对应的最大匹配概率所对应的商标名称作为与各个目标卷积特征信息对应的第一区域所对应的商标名称。

这里，第一区域的置信度为第一区域对应的图像与目标检测模型中多个商标名称对应的商标图形之间的匹配概率中最大的匹配概率。

以一个目标卷积特征信息(即一个边界框内的信息)为例进行说明，例如，确定出目标卷积特征信息A与目标检测模型中的商标名称1对应的商标图形的匹配概率为0.80；目标卷积特征信息A与目标检测模型中的商标名称2对应的商标图形的匹配概率为0.20；目标卷积特征信息A与目标检测模型中的商标名称3对应的商标图形的匹配概率为0.15，则目标卷积特征信息A与目标检测模型中的商标名称1对应的商标图形具有最大匹配概率，且最大匹配概率为0.80。则该最大匹配概率为第一区域的置信度，该置信度为0.80，该第一区域对应的商标名称为商标名称1。

为了便于理解，下面通过举例的方式对步骤S202～S204中的过程进行介绍，例如，如图8所示，图8是本发明实施例提供的一种目标检测模型卷积处理后得到的三种目标卷积特征图与对应的目标卷积特征子图之间的关系示意图，假设通过S201的方式对输入的图像A进行处理后得到三种尺寸不同的目标卷积特征图B1、B2、B3，假设B1的尺寸为3*3、数量为10、编号分别为1～10，B2的尺寸为6*6、数量为6、编号分别为11～16，B3的尺寸为9*9、数量为4、编号分别为17～20。C1中的一个小方格为B1中的目标卷积特征图对应的一个目标卷积特征子图，C2中的一个小方格为B2中的目标卷积特征图对应的一个目标卷积特征子图，C3中的一个小方格为B3中的目标卷积特征图对应的一个目标卷积特征子图。可得到B1中编号为1的目标卷积特征图中有9个目标卷积特征子图，如C1所示，C1中的每一个小方格代表一个目标卷积特征子图，每个目标卷积特征子图对应3个目标卷积特征信息(即C1中一个小方格对应3个目标卷积特征信息，且一个目标卷积特征信息对应一个边界框)，则B1中编号为1的目标卷积特征图对应27(3*3*3＝27)个目标卷积特征信息，B1中编号为2的目标卷积特征图对应27个目标卷积特征信息，……B1中编号为10的目标卷积特征图对应27个目标卷积特征信息。对于尺寸为3*3的目标卷积特征图B1而言，由于B1的数量为10个，则可得到270(27*10＝270)个目标卷积特征信息。可知，尺寸为6*6的目标卷积特征图B2中编号为11的目标卷积特征子图中有108(6*6*3＝108)个目标卷积特征信息，……，尺寸为6*6的目标卷积特征图B2中编号为16的目标卷积特征子图中有108个目标卷积特征信息对于尺寸为6*6的目标卷积特征图B2而言，由于B2的数量为6个，则可得到648(108*6＝648)个目标卷积特征信息。可知，尺寸为9*9的目标卷积特征图B3中编号为17的目标卷积特征子图中有243(9*9*3＝243)个目标卷积特征信息，……，尺寸为9*9的目标卷积特征图B3中编号为20的目标卷积特征子图中有243个目标卷积特征信息，对于尺寸为9*9的目标卷积特征图B3而言，由于B3的数量为4个，则可得到972(243*4＝972)个目标卷积特征信息。这里，可得到三种不同尺寸的目标卷积特征图B1、B2、B3对应的270+648+972＝1890个目标卷积特征信息。

假设该1890个目标卷积特征信息分别为目标卷积特征信息1，……，目标卷积特征信息1890。首先确定目标卷积特征信息1与目标检测模型中的多种商标名称对应的商标图形之间的匹配概率。例如，目标检测模型中有50个商标名称对应的商标图形，则可得到目标卷积特征信息1对应的50个匹配概率，并将目标卷积特征信息1对应的边界框映射回第一图像中的区域确定为目标卷积特征信息1对应的第一区域1。同理，可确定目标卷积特征信息2对应的50个匹配概率以及目标卷积特征信息2对应的边界框映射回第一图像中的第一区域2，……，可确定目标卷积特征信息1890对应的50个匹配概率以及目标卷积特征信息1890对应的边界框映射回第一图像中的第一区域1890。

其次，以目标卷积特征信息1为例，将目标卷积特征信息1对应的50个匹配概率中最大的匹配概率确定为第一区域1的置信度，并将该最大的匹配概率所对应的商标名称作为第一区域1对应的商标名称，从而得到目标卷积特征信息1对应的第一区域1的置信度以及第一区域1对应的商标名称。同理，可得到目标卷积特征信息2对应的第一区域2的置信度以及第一区域2对应的商标名称，……，可得到目标卷积特征信息1890对应的第一区域1890的置信度以及第一区域1890对应的商标名称。

最后，可得到1890个第一区域，每个第一区域都有对应的置信度以及对应的商标名称。

S205，判断各个第一区域的置信度是否大于第一阈值。

这里，由于第一区域的置信度为第一区域对应的图像与目标检测模型中多个商标名称对应的商标图形之间的匹配概率中最大的匹配概率，第一区域的置信度大于第一阈值说明第一区域对应的图像与该目标检测模型中的多个商标名称对应的商标图形的匹配概率较大，即该第一区域对应的图像为该目标检测模型中多个商标名称对应的商标图形的可能性较大；第一区域的置信度小于第一阈值说明第一区域对应的图像为该目标检测模型中多个商标名称对应的商标图形的可能性较小。

S206，当至少一个第一区域的置信度大于或等于第一阈值时，检测到第一图像中存在商标。

S207，当各个第一区域的置信度均小于第一阈值时，检测到第一图像中不存在商标。

如前所述，假设确定了1890个第一区域，每个第一区域都有对应的置信度，假设第一阈值为0.60，当1890个第一区域中至少存在一个第一区域的置信度大于或等于0.60时，则说明第一图像中存在商标，当1890个第一区域中每个第一区域的置信度均小于0.60时，则说明第一图像中不存在商标。这里，第一阈值可以为0.60、0.75、0.85等任意数值。至此，检测出了第一图像中是否存在商标。

本发明实施例中，通过目标检测模型对图像进行检测，该目标检测模型中的卷积网络结构包括残差单元、上采样单元、融合单元、卷积特征层以及一般卷积层，残差单元可以使卷积网络结构在很深的情况下仍能收敛，残差单元中的卷积层可以压缩每次卷积得到的图像对应的特征，减少了模型中的参数量以及计算量；上采样单元对图像进行上采样使网络层数在很深的情况下表达效果也很好；融合单元使网络同时学习深层与浅层特征，使卷积后的图像对应的特征更多；卷积特征层输出三个不同尺度的卷积后的图像，从而可以对三个不同尺度的卷积后的图像进行检测，可以检测出图像中是否存在商标。由于检测过程中减少了模型中的参数量以及计算量，从而提高了商标检测的效率，且通过对三个不同尺度的卷积后的图像进行检测，提高了商标检测的准确度。

可选地，在利用上述目标检测检测模型对第一图像进行检测，以确定第一商标在第一图像中的位置坐标和第一商标对应的商标名称之前，还可以先训练目标检测模型，训练目标检测模型时，首先对训练样本图像进行标注，包括对商标的位置、商标名称等信息进行标注。然后利用标注好的样本图像对初始模型进行训练，待模型收敛并达到一定精度(指模型中的损失函数值小于损失阈值且精度大于精度阈值)时保存模型，该保存下来的模型就是目标检测检测模型。

在一种可能的实现方式中，在检测到第一图像中存在商标的情况下，确定第一图像中至少一个第一商标的特征信息的方法如下，如图9所示，图9为本发明实施例提供的一种信息推广方法的流程示意图，该方法包括：

S301，将置信度大于或等于第一阈值的第一区域组成的集合确定为第一集合。

如前所述，假设确定了1890个第一区域，每个第一区域都有对应的置信度，假设第一阈值为0.60，该1890个第一区域中有200个第一区域的置信度大于或等于0.60，则第一集合为该200个第一区域组成的集合。

S302，在第一集合中的第一区域的数量为多个的情况下，将第一集合中置信度最大的第一区域确定为第一目标区域。

例如，第一集合由{第一区域1，第一区域2，第一区域3，第一区域4}组成时，且各个第一区域的置信度分别为0.42、0.55、0.85、0.95,则将置信度为0.95的第一区域4确定为第一目标区域。

S303，在第一集合中的第一区域的数量为一个的情况下，将第一集合中的第一区域确定为第一目标区域。

例如，第一集合由{第一区域1}组成时，则第一区域1为第一目标区域。

S304，将第一目标区域对应的位置坐标和第一目标区域对应的商标名称确定为一个第一商标的特征信息。

例如，第一目标区域为第一区域1，则将第一区域1对应的位置坐标以及第一区域1对应的商标名称确定为一个第一商标的特征信息，即第一图像中第一个第一商标的特征信息。

这里，通过步骤S301-S304，确定出第一图像中的第一个商标在第一图像中所在的区域，该区域为第一目标区域，通过确定第一目标区域的位置坐标和商标名称，可确定出该商标在第一图像中的位置坐标和该商标的名称，即确定出第一图像中第一个商标的特征信息。在一些可能的情况中，第一图像中可能存在多个商标，在确定一个商标的特征信息后，还可以通过步骤S305～S310确定第一图像中是否有第二个商标的存在，并在第二个商标存在的情况下确定第二个商标的特征信息。

S305，将第一集合中排除第一目标区域之后的第一区域组成的集合确定为第二集合。

假设第一集合由{第一区域1，第一区域2，第一区域3，第一区域4}组成，且第一目标区域为第一区域4，则第二集合为{第一区域1，第一区域2，第一区域3}组成的集合。

S306，判断第二集合中每个第一区域与第一目标区域的重合度是否大于或等于第二阈值。

本发明实施例中，可以通过比较IOU的方式判断第二集合中每个第一区域与第一目标区域的重合度，并将计算得到的重合度与第二阈值进行比较。IOU又称为交并比，即两个区域中图像的重合度，计算第一区域1与第一区域2的IOU具体是指计算第一区域1与第一区域2在第一图像中的重合度，IOU越大则代表两个区域的重合度越大，IOU越小则代表两个区域的重合度越小。第一区域1与第一区域2的IOU等于第一区域1与第一区域2的交集除以第一区域1与第一区域2的并集，用公式表达为：IOU＝[area(C)∩area(D)]/[area(C)∪area(D)]，area(C)为第一区域1，area(D)为第一区域2。具体实现中，可以根据第一区域1的位置坐标和第一区域2的位置坐标计算第一区域1与第一区域2的交并比。这里，第二阈值为一个评估两个区域之间的重合度的临界点，第二阈值具体可以为0.60、0.85，等等。当两个区域的IOU大于第二阈值时，说明两个区域的重合度较高。

S307，当第二集合中每个第一区域与第一目标区域的重合度均小于第二阈值时，确定第二集合的第二目标区域。

这里，第二集合的第二目标区域为第二集合中置信度最大的第一区域。例如，假设第二阈值为0.65，第二集合中包括{第一区域A,第一区域B，第一区域C，第一区域D}，且置信度分别为0.62、0.68、0.75、0.85，第一目标区域为第一区域E，当第一区域A、第一区域B、第一区域C、第一区域D与第一区域E的重合度均小于0.65，则第二集合的第二目标区域为第一区域D。

S308，当第二集合中至少一个第一区域与第一目标区域的重合度大于或等于第二阈值时，将第二集合中与第一目标区域的重合度大于或等于第二阈值的第一区域确定为第二区域，并将第二集合中排除第二区域之后的第一区域组成的集合确定为第三集合，且确定第三集合的第三目标区域。

这里，第三集合的第三目标区域为第三集合中置信度最大的第一区域。例如，假设第二阈值为0.65，第二集合中包括{第一区域F,第一区域G，第一区域H，第一区域I}，且置信度分别为0.65、0.69、0.78、0.86，第一目标区域为第一区域J，且第一区域F、第一区域G与第一区域J的重合度小于0.65，第一区域H、第一区域I与第一区域J的重合度大于0.65，则第二区域包括第一区域H、第一区域I，则第三集合为第二集合中排除第二区域之后的第一区域组成的集合，即第三集合为{第一区域F、第一区域G}，第三目标区域为第三集合中的第一区域G。

可选地，在当第二集合中的每个第一区域与第一目标区域的重合度均大于或等于第二阈值的情况下，确定第二集合中不存在第二目标区域，即确定第一图像中不存在第二个商标。

S309，将第二目标区域对应的位置坐标和第二目标区域对应的商标名称确定为另一个第一商标的特征信息。

通过步骤S305-S308确定了第一图像中存在另一个第一商标，即第一图像中存在两个第一商标，则将第一图像中的第二个商标对应的第二目标区域对应的位置坐标和第二目标区域对应的商标名称确定为第二个商标的特征信息。

如步骤S307中确定出第二集合的第二目标区域为第一区域D，则将第一区域D对应的位置坐标和第一区域D对应的商标名称确定为第二个商标的特征信息。

S310，将第三目标区域对应的位置坐标和第三目标区域对应的商标名称确定为另一个第一商标的特征信息。

这里，可知第一图像中有两个第一商标，另一个第一商标的特征信息为第一图像中的第二个第一商标的特征信息。假设确定出第三目标区域为第一区域G，则将第一区域G对应的位置坐标和第一区域G对应的商标名称确定为另一个第一商标的特征信息，即第二个第一商标的特征信息。

例如，步骤S308-S309中确定出来的第二目标区域与第三目标区域为第一图像中的另一个第一商标(即第一图像中的第二个第一商标)对应的区域，根据目标区域确定第一图像中第二个第一商标的特征信息可以如图10中所示，图10是本发明实施例提供的一种确定出第一图像中的两个第一商标的特征信息的示意图，由于图中有两个第一商标，一个第一商标(第一个商标)的特征信息可以为图10中的商标名称“NIKE”以及商标在第一图像中的位置坐标对应的区域10e，另一个第一商标(第二个第一商标)的特征信息可以为图10中的商标名称“特步”以及商标在第一图像中的位置坐标对应的区域10d。

这里，通过步骤S305-S310，确定出第一图像中的另一个第一商标(第二个第一商标)在第一图像中所在的区域，该区域为第二目标区域，通过确定第二目标区域的位置坐标和商标名称，可确定出第一图像中的另一个第一商标(第二个第一商标)的特征信息。同理，还可以参考步骤S305-S310的具体实现方式确定第一图像中是否有更多的第一商标的存在以及确定更多的第一商标的特征信息，直到依次确定出第一图像中的所有第一商标的特征信息。以下通过举例的方式来对依次确定出第一图像中所有第一商标的特征信息的过程进行描述。

参见图11，图11是本发明实施例提供的一种在第一图像中确定出多个第一商标对应的区域的示意图，首先，假设第二阈值为0.60，确定出的第一图像中第一集合有9个第一区域(图中虚线框代表第一区域)，分别为A、B、C、D、E、F、G、H、I，置信度分别为0.60、0.62、0.65、0.73、0.95、0.75、0.65、0.68、0.60，则将置信度为0.95的第一区域E确定为第一目标区域，第二集合为第一集合中排除第一目标区域后的第一区域组成的集合，即第二集合由A、B、C、D、F、G、H、I组成。则第一目标区域E为第一图像中的一个第一商标所在的区域，则确定出第一图像中的第一个第一商标所在的区域。

其次，分别判断第二集合中A、B、C、D、F、G、H、I与E的重合度。当A、B、C、D、F、G、H、I与E的IOU都小于0.60，则第二集合的第二目标区域为F，则第二目标区域F为第一图像中的第二个(另一个)第一商标所在的区域，则确定出第一图像中的第二个第一商标所在的区域；当第二集合中A、B、C、D、F、G、H、I中至少一个第一区域与E的IOU大于或等于0.60，假设第二集合中A、B、C、D、F、G、H、与E的IOU都大于或等于0.60，则第二区域包括A、B、C、D、F、G、H，则第三集合为第二集合中排除第二区域的第一区域组成的集合，即第三集合为I，则第三目标区域为I，则第三目标区域I为第一图像中的第二个第一商标所在的区域，则确定出第一图像中的第二个第一商标所在的区域。

假设第二集合中A、B、C、D与E的IOU大于或等于0.60，则第二区域包括A、B、C、D，第三集合为第二集合排除第二区域后的集合，即第三集合由F、G、H、I组成，且第三目标区域为第三集合中置信度最大的区域，即F。则将第三区域中排除F后的区域确定为第四集合，由于第四集合中还存在多个第一区域，则继续判断第四集合中G、H、I与第三目标区域F的重合度，假设G、H、I与F的重合度均大于0.60，则第三区域包括G、H、I，第四集合中排除第三区域后为空集，则第三目标区域F为第一图像中的第三个第一商标所在的区域，则确定出第一图像中的第三个第一商标所在的区域。最终确定出在第一图像中三个第一商标对应的区域，即第一目标区域、第二目标区域、第三目标区域，即第一图像中存在三个第一商标。

最后，将第一图像中存在的三个第一商标对应的三个目标区域对应的位置坐标和商标名称确定为第一图像对应的三个第一商标的特征信息，即将第一目标区域对应的位置坐标和商标名称确定为第一个第一商标的特征信息、将第二目标区域对应的位置坐标和商标名称确定为第二个第一商标的特征信息、将第三目标区域对应的位置坐标和商标名称确定为第三个第一商标的特征信息。至此，确定出了第一图像中所有第一商标的特征信息。

本发明实施例中，当检测到图像中存在商标时，通过比较重合度的方法去除了同一位置的重复商标，确定了图像中商标所在的区域以及商标对应的商标名称，通过比较重合度的方法去除了重复商标，提高了商标检测的速度与准确度。

上面介绍了发明实施例的方法，下面介绍发明实施例的装置。

参见图12，图12是本发明实施例提供的一种信息推广装置的组成结构示意图，该装置50包括：

获取模块501，用于获取第一图像，所述第一图像为商场中的展示屏对应的拍摄装置拍摄到的图像；

检测模块502，用于检测所述第一图像中是否存在商标；

信息确定模块503，用于在检测到所述第一图像中存在商标的情况下，确定所述第一图像中至少一个第一商标的特征信息；

查找模块504，用于在商标信息库中查找与每个第一商标的特征信息匹配的第二商标；

显示模块505，用于在所述展示屏中显示所述第二商标对应的推广信息，所述推广信息包括所述第二商标对应的商品在所述商场中的位置信息。

在一种可能的设计中，每个第一商标的特征信息包括第一商标的商标名称以及第一商标在所述第一图像中的位置坐标，所述查找模块504具体用于根据所述第一商标的名称在所述商标信息库中查找与所述第一商标的名称相同的商标，将所述与所述第一商标的名称相同的商标确定为第二商标；或者，根据所述第一商标在所述第一图像中的位置坐标对应的目标图像，在所述商标信息库中查找与所述目标图像的相似度高于相似度阈值的商标图案，将所述与所述目标图像的相似度高于相似度阈值的商标图案确定为第二商标。

在一种可能的设计中，所述显示模块505具体用于在所述第二商标为多个的情况下，在商场的展示屏中按顺序切换显示所述多个所述第二商标对应的推广信息，或者，在所述第二商标为多个的情况下，在商场的展示屏中同时显示所述多个所述第二商标对应的推广信息。

在一种可能的设计中，所述检测模块502包括：

处理单元5021，用于基于目标检测模型中的卷积层对所述第一图像进行卷积处理，得到目标卷积特征图，所述目标卷积特征图包括多个目标卷积特征子图；

确定单元5022，用于分别确定所述多个目标卷积特征子图中各个目标卷积特征子图对应的目标卷积特征信息；

所述确定单元5022，还用于分别确定各个目标卷积特征信息与所述目标检测模型中多个商标名称之间的匹配概率，以及，所述各个目标卷积特征信息对应的位置坐标，并分别将在所述第一图像中与所述各个目标卷积特征信息对应的位置坐标所对应的区域作为所述各个目标卷积特征信息对应的第一区域；

匹配单元5023，用于分别根据所述各个目标卷积特征信息与所述目标检测模型中多个商标名称之间的匹配概率，确定所述各个目标卷积特征信息对应的最大匹配概率，分别将所述各个目标卷积特征信息对应的最大匹配概率确定为所述各个目标卷积特征信息对应的第一区域的置信度，并分别将所述各个目标卷积特征信息对应的最大匹配概率所对应的商标名称作为与所述各个目标卷积特征信息对应的第一区域所对应的商标名称；

判断单元5024，用于判断各个第一区域的置信度是否大于第一阈值；

所述判断单元5024，还用于当至少一个第一区域的置信度大于或等于所述第一阈值时，检测到所述第一图像中存在商标；

所述判断单元5024，还用于当所述各个第一区域的置信度均小于所述第一阈值时，检测到所述第一图像中不存在商标。

在一种可能的设计中，所述匹配单元5023，具体用于：

将置信度大于或等于所述第一阈值的第一区域组成的集合确定为第一集合；

在所述第一集合中的第一区域的数量为多个的情况下，将所述第一集合中置信度最大的第一区域确定为第一目标区域；

在所述第一集合中的第一区域的数量为一个的情况下，将所述第一集合中的第一区域确定为第一目标区域；

将所述第一目标区域对应的位置坐标和所述第一目标区域对应的商标名称确定为所述第一特征信息，并将所述第一特征信息确定为一个第一商标的特征信息。

在一种可能的设计中，所述匹配单元5023，具体用于：

将所述第一集合中排除所述第一目标区域之后的第一区域组成的集合确定为第二集合；

判断所述第二集合中每个第一区域与所述第一目标区域的重合度是否大于或等于第二阈值；

当所述第二集合中每个第一区域与所述第一目标区域的重合度均小于所述第二阈值时，确定所述第二集合的第二目标区域；

当所述第二集合中至少一个第一区域与所述第一目标区域的重合度大于或等于所述第二阈值时，将所述第二集合中与所述第一目标区域的重合度大于或等于所述第二阈值的第一区域确定为第二区域，并将所述第二集合中排除所述第二区域之后的第一区域组成的集合确定为第三集合，且确定所述第三集合的第三目标区域；

将所述第二目标区域对应的位置坐标和所述第二目标区域对应的商标名称确定为另一个第一商标的特征信息，或将所述第三目标区域对应的位置坐标和所述第三目标区域对应的商标名称确定为另一个第一商标的特征信息。

需要说明的是，图12对应的实施例中未提及的内容可参见方法实施例的描述，这里不再赘述。

本发明实施例中，通过目标检测模型对获取到的第一图像进行检测，该目标检测模型中的卷积网络结构包括残差单元、上采样单元、融合单元、卷积特征层以及一般卷积层，残差单元可以使卷积网络结构在很深的情况下仍能收敛，残差单元中的卷积层可以压缩每次卷积得到的图像对应的特征，减少了模型中的参数量以及计算量；上采样单元对图像进行上采样使网络层数在很深的情况下表达效果也很好；融合单元使网络同时学习深层与浅层特征，使卷积后的图像对应的特征更多；卷积特征层输出三个不同尺度的卷积后的图像，从而可以对三个不同尺度的卷积后的图像进行检测，提高了商标检测的效率以及准确度，在检测到图像中存在商标的情况下，通过比较重合度的方法去除了重复商标，确定了第一图像中每个第一商标的特征信息，在商标信息库中查找与每个第一商标的特征信息匹配的第二商标，并在商场的展示屏中显示与第二商标对应的推广信息，通过在商场展示屏上显示与检测到的商标对应的推广信息，便于消费者观看并查找商标对应的商品在商场中的位置，由于第一图像为商场中的展示屏对应的拍摄装置拍摄到的图像，该图像为在该展示屏附近的消费者的图像的可能性较高，那么检测到的商标很可能为该消费者服装或者其他部位(如背包)上的商标，而消费者的着装在一定程度上可以用于反馈用户对商品的喜好，显示与商标相匹配的推广信息，相当于是显示用户喜欢的商品的推广信息，起到了针对性地投放推广信息的作用，即根据用户的喜好进行推广，由于是根据用户的喜好进行推广，可以实现推广信息的精准投放，从而可以使得推广的效果更好。

参见图13，图13是本发明实施例提供的一种信息推广装置的组成结构示意图，该装置包括处理器601、存储器602以及通信接口603。处理器601连接到存储器602和通信接口603，例如处理器601可以通过总线连接到存储器602和通信接口603。

处理器601被配置为支持所述信息推广的装置执行图2、图4、图9所述的信息推广的方法中相应的功能。该处理器601可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)，硬件芯片或者其任意组合。上述硬件芯片可以是专用集成电路(application specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。

存储器602存储器用于存储程序代码等。存储器602可以包括易失性存储器(volatile memory，VM)，例如随机存取存储器(random access memory，RAM)；存储器602也可以包括非易失性存储器(non-volatile memory，NVM)，例如只读存储器(read-onlymemory，ROM)，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器602还可以包括上述种类的存储器的组合。

所述通信接口603用于发送或接收数据。

处理器601可以调用所述程序代码以执行以下操作：

通过通信接口603获取第一图像，所述第一图像为商场中的展示屏对应的拍摄装置拍摄到的图像；

检测所述第一图像中是否存在商标；

在检测到所述第一图像中存在商标的情况下，确定所述第一图像中至少一个第一商标的特征信息；

在商标信息库中查找与每个第一商标的特征信息匹配的第二商标；

在所述展示屏中显示所述第二商标对应的推广信息，所述推广信息包括所述第二商标对应的商品在所述商场中的位置信息。

需要说明的是，各个操作的实现还可以对应参照图2、图4、图9所示的方法实施例的相应描述；所述处理器601还可以与通信接口603配合执行上述方法实施例中的其他操作。

本发明实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时使所述计算机执行如前述实施例所述的方法，所述计算机可以为上述提到的信息推广装置的一部分。例如为上述的处理器601。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (8)

1.一种信息推广方法，其特征在于，包括：

获取第一图像，所述第一图像为商场中的展示屏对应的拍摄装置拍摄到的图像；所述第一图像包括消费者着装的图像；

检测所述第一图像中是否存在商标；

在检测到所述第一图像中存在商标的情况下，确定所述第一图像中至少一个第一商标的特征信息；

在商标信息库中查找与每个第一商标的特征信息匹配的第二商标；

在所述展示屏中显示所述第二商标对应的推广信息，所述推广信息包括所述第二商标对应的商品在所述商场中的位置信息；

所述检测所述第一图像中是否存在商标，包括：

基于目标检测模型中的卷积层对所述第一图像进行卷积处理，得到多个尺寸不同的目标卷积特征图，所述目标卷积特征图包括多个目标卷积特征子图；

分别确定所述多个目标卷积特征子图中各个目标卷积特征子图对应的目标卷积特征信息；

分别确定各个目标卷积特征信息与所述目标检测模型中多个商标名称之间的匹配概率，以及，所述各个目标卷积特征信息对应的位置坐标，并分别将在所述第一图像中与所述各个目标卷积特征信息对应的位置坐标所对应的区域作为所述各个目标卷积特征信息对应的第一区域；

分别根据所述各个目标卷积特征信息与所述目标检测模型中多个商标名称之间的匹配概率，确定所述各个目标卷积特征信息对应的最大匹配概率，分别将所述各个目标卷积特征信息对应的最大匹配概率确定为所述各个目标卷积特征信息对应的第一区域的置信度，并分别将所述各个目标卷积特征信息对应的最大匹配概率所对应的商标名称作为与所述各个目标卷积特征信息对应的第一区域所对应的商标名称；

判断各个第一区域的置信度是否大于第一阈值；

当至少一个第一区域的置信度大于或等于所述第一阈值时，检测到所述第一图像中存在商标；

当所述各个第一区域的置信度均小于所述第一阈值时，检测到所述第一图像中不存在商标；

所述目标检测模型的卷积网络包括多个一般卷积层、卷积特征层、残差单元、上采样单元、以及融合单元，所述卷积特征层用于生成进行图像检测的目标卷积特征图；

所述基于目标检测模型中的卷积层对所述第一图像进行卷积处理，得到多个尺寸不同的目标卷积特征图，包括：

将所述第一图像作为所述目标检测模型的卷积网络中的第一个卷积层的输入，依次通过所述卷积网络中的卷积层对应的卷积核对上一个卷积层输出的结果进行卷积处理，然后将所述卷积网络中的卷积特征层输出的结果确定为多个尺寸不同的目标卷积特征图。

2.根据权利要求1所述的方法，其特征在于，每个第一商标的特征信息包括第一商标的商标名称以及第一商标在所述第一图像中的位置坐标，

所述在商标信息库中查找与每个第一商标的特征信息匹配的第二商标，包括：

根据所述第一商标的名称在所述商标信息库中查找与所述第一商标的名称相同的商标，将所述与所述第一商标的名称相同的商标确定为第二商标；或者，

根据所述第一商标在所述第一图像中的位置坐标对应的目标图像，在所述商标信息库中查找与所述目标图像的相似度高于相似度阈值的商标图案，将所述与所述目标图像的相似度高于相似度阈值的商标图案确定为第二商标。

3.根据权利要求1所述的方法，其特征在于，所述在所述展示屏中显示所述第二商标对应的推广信息，包括：

在所述第二商标为多个的情况下，在所述展示屏中按顺序切换显示所述多个所述第二商标对应的推广信息，或者，

在所述第二商标为多个的情况下，在所述展示屏中同时显示所述多个所述第二商标对应的推广信息。

4.根据权利要求1所述的方法，其特征在于，所述确定所述第一图像中至少一个第一商标的特征信息，包括：

将置信度大于或等于所述第一阈值的第一区域组成的集合确定为第一集合；

在所述第一集合中的第一区域的数量为多个的情况下，将所述第一集合中置信度最大的第一区域确定为第一目标区域；

在所述第一集合中的第一区域的数量为一个的情况下，将所述第一集合中的第一区域确定为第一目标区域；

将所述第一目标区域对应的位置坐标和所述第一目标区域对应的商标名称确定为一个第一商标的特征信息。

5.根据权利要求4所述的方法，其特征在于，所述确定所述第一图像中至少一个第一商标的特征信息，还包括：

将所述第一集合中排除所述第一目标区域之后的第一区域组成的集合确定为第二集合；

判断所述第二集合中每个第一区域与所述第一目标区域的重合度是否大于或等于第二阈值；

当所述第二集合中每个第一区域与所述第一目标区域的重合度均小于所述第二阈值时，确定所述第二集合的第二目标区域；

当所述第二集合中至少一个第一区域与所述第一目标区域的重合度大于或等于所述第二阈值时，将所述第二集合中与所述第一目标区域的重合度大于或等于所述第二阈值的第一区域确定为第二区域，并将所述第二集合中排除所述第二区域之后的第一区域组成的集合确定为第三集合，且确定所述第三集合的第三目标区域；

将所述第二目标区域对应的位置坐标和所述第二目标区域对应的商标名称确定为另一个第一商标的特征信息，或将所述第三目标区域对应的位置坐标和所述第三目标区域对应的商标名称确定为另一个第一商标的特征信息。

6.一种信息推广装置，其特征在于，包括：

获取模块，用于获取第一图像，所述第一图像为商场中的展示屏对应的拍摄装置拍摄到的图像；所述第一图像包括消费者着装的图像；

检测模块，用于检测所述第一图像中是否存在商标；

信息确定模块，用于在检测到所述第一图像中存在商标的情况下，确定所述第一图像中至少一个第一商标的特征信息；

查找模块，用于在商标信息库中查找与每个第一商标的特征信息匹配的第二商标；

显示模块，用于在所述展示屏中显示所述第二商标对应的推广信息，所述推广信息包括所述第二商标对应的商品在所述商场中的位置信息；

所述检测模块，包括：

处理单元，用于基于目标检测模型中的卷积层对所述第一图像进行卷积处理，得到多个尺寸不同的目标卷积特征图，所述目标卷积特征图包括多个目标卷积特征子图；

确定单元，用于分别确定所述多个目标卷积特征子图中各个目标卷积特征子图对应的目标卷积特征信息；

所述确定单元，还用于分别确定各个目标卷积特征信息与所述目标检测模型中多个商标名称之间的匹配概率，以及，所述各个目标卷积特征信息对应的位置坐标，并分别将在所述第一图像中与所述各个目标卷积特征信息对应的位置坐标所对应的区域作为所述各个目标卷积特征信息对应的第一区域；

匹配单元，用于分别根据所述各个目标卷积特征信息与所述目标检测模型中多个商标名称之间的匹配概率，确定所述各个目标卷积特征信息对应的最大匹配概率，分别将所述各个目标卷积特征信息对应的最大匹配概率确定为所述各个目标卷积特征信息对应的第一区域的置信度，并分别将所述各个目标卷积特征信息对应的最大匹配概率所对应的商标名称作为与所述各个目标卷积特征信息对应的第一区域所对应的商标名称；

判断单元，用于判断各个第一区域的置信度是否大于第一阈值；

所述判断单元，还用于当至少一个第一区域的置信度大于或等于所述第一阈值时，检测到所述第一图像中存在商标；

所述判断单元，还用于当所述各个第一区域的置信度均小于所述第一阈值时，检测到所述第一图像中不存在商标；

所述目标检测模型的卷积网络包括多个一般卷积层、卷积特征层、残差单元、上采样单元、以及融合单元，所述卷积特征层用于生成进行图像检测的目标卷积特征图；

所述处理单元基于目标检测模型中的卷积层对所述第一图像进行卷积处理，得到多个尺寸不同的目标卷积特征图，包括：

将所述第一图像作为所述目标检测模型的卷积网络中的第一个卷积层的输入，依次通过所述卷积网络中的卷积层对应的卷积核对上一个卷积层输出的结果进行卷积处理，然后将所述卷积网络中的卷积特征层输出的结果确定为多个尺寸不同的目标卷积特征图。

7.一种信息推广装置，其特征在于，包括处理器、存储器以及通信接口，所述处理器、存储器和通信接口相互连接，其中，所述通信接口用于输入或输出数据，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，执行如权利要求1-5任一项所述的方法。

8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-5任一项所述的方法。

Images