CN111368761B - 店铺营业状态识别方法、装置、可读存储介质和设备 - Google Patents

Abstract

本申请涉及一种店铺营业状态识别方法、装置、可读存储介质和设备，将计算机视觉技术应用于店铺营业状态识别，在获取包含目标店铺的目标图像之后，基于目标图像得到店铺区域图像，再基于店铺区域图像确定目标店铺的营业状态，该方法不同于现有技术中采用人工识别店铺状态的方法，而是可以通过计算机设备依据目标图像自动实现目标店铺的营业状态识别，即基于人工智能的处理方式识别店铺的营业状态，从而可以提高店铺营业状态识别效率，进而提高店铺信息更新效率，减少人力资源消耗。另外，由于店铺区域图像可以准确反映店铺的当前状态，通过对店铺区域图像进行区域划分，再通过深度学习网络确定营业状态，可以提高店铺营业状态识别结果的准确性。

Description

店铺营业状态识别方法、装置、可读存储介质和设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种店铺营业状态识别方法、装置、可读存储介质和设备。

背景技术

随着社会经济的发展，店铺的种类及数量也越来越多，为了方便人们的购物，现有的地图应用通常会在店铺的相关信息内显示该店铺的当前营业状态，例如正在营业、关门、店铺维修等。

现有技术中，地图应用需要及时对店铺的营业状态进行维护更新，以保证地图应用中店铺相关信息的准确性和及时性。

然而，目前的店铺信息更新通常是人工手动更新，即采取人工的方式识别店铺的营业状态，然后更新相应的信息，从而导致店铺信息更新效率较低，且比较耗费人力资源。

发明内容

基于此，有必要针对现有技术存在的技术问题，提供一种可以提高店铺信息更新效率、减少人力资源消耗的店铺营业状态识别方法、装置、可读存储介质和设备。

一种店铺营业状态识别方法，所述方法包括：

获取包含目标店铺的目标图像，所述目标店铺为需要进行营业状态识别的店铺；

基于所述目标图像，得到所述目标店铺对应的店铺区域图像，所述店铺区域图像为包含所述目标店铺的营业区域的图像；

对所述店铺区域图像进行区域划分，并对区域划分结果进行营业状态检测，根据所述区域划分结果对应的营业状态检测结果确定所述目标店铺的营业状态。

一种店铺营业状态识别装置，所述装置包括：

目标图像获取模块，用于获取包含目标店铺的目标图像，所述目标店铺为需要进行营业状态识别的店铺；

店铺区域确定模块，用于基于所述目标图像，得到所述目标店铺对应的店铺区域图像，所述店铺区域图像为包含所述目标店铺的营业区域的图像；

营业状态检测模块，用于对所述店铺区域图像进行区域划分，并对区域划分结果进行营业状态检测，根据所述区域划分结果对应的营业状态检测结果确定所述目标店铺的营业状态。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：

获取包含目标店铺的目标图像，所述目标店铺为需要进行营业状态识别的店铺；

基于所述目标图像，得到所述目标店铺对应的店铺区域图像，所述店铺区域图像为包含所述目标店铺的营业区域的图像；

对所述店铺区域图像进行区域划分，并对区域划分结果进行营业状态检测，根据所述区域划分结果对应的营业状态检测结果确定所述目标店铺的营业状态。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：

获取包含目标店铺的目标图像，所述目标店铺为需要进行营业状态识别的店铺；

基于所述目标图像，得到所述目标店铺对应的店铺区域图像，所述店铺区域图像为包含所述目标店铺的营业区域的图像；

对所述店铺区域图像进行区域划分，并对区域划分结果进行营业状态检测，根据所述区域划分结果对应的营业状态检测结果确定所述目标店铺的营业状态。

上述店铺营业状态识别方法、装置、可读存储介质和设备，获取包含目标店铺的目标图像，目标店铺为需要进行营业状态识别的店铺；基于目标图像，得到目标店铺对应的店铺区域图像，店铺区域图像为包含目标店铺的营业区域的图像；对店铺区域图像进行区域划分，并对区域划分结果进行营业状态检测，根据区域划分结果对应的营业状态检测结果确定目标店铺的营业状态。

在获取包含目标店铺的目标图像之后，基于目标图像得到店铺区域图像，再基于店铺区域图像确定目标店铺的营业状态，该方法不同于现有技术中采用人工识别店铺状态的方法，而是可以通过计算机设备依据目标图像自动实现目标店铺的营业状态识别，即基于人工智能的处理方式识别店铺的营业状态，从而可以提高店铺营业状态识别效率，进而提高店铺信息更新效率，减少人力资源消耗。另外，由于店铺区域图像可以准确反映店铺的当前状态，通过对店铺区域图像进行区域划分再确定营业状态，可以提高店铺营业状态识别结果的准确性。

附图说明

图1为一个实施例中店铺营业状态识别方法的应用环境图；

图2为一个实施例中店铺营业状态识别方法的流程示意图；

图3为一个实施例中目标图像的示例图；

图4为一个实施例中获取包含目标店铺的目标图像的流程示意图；

图5为一个实施例中基于目标图像，得到目标店铺对应的店铺区域图像的流程示意图；

图6为一个实施例中根据店铺名称的第一顶点位置坐标以及倾斜度，确定店铺区域对应的第二顶点位置坐标以及区域高度的示例图；

图7为一个实施例中对店铺区域图像进行区域划分，并对区域划分结果进行营业状态检测，根据区域划分结果对应的营业状态检测结果确定目标店铺的营业状态的流程示意图；

图8为一个实施例中对店铺区域图像进行区域划分的示例图；

图9为一个实施例中对地图应用中店铺营业状态属性进行更新的流程示意图；

图10为一个实施例中店铺营业状态识别装置的结构框图；

图11为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

首先，对本申请实施例中涉及的名词进行解释说明：

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

图1为一个实施例中店铺营业状态识别方法的应用环境图。其中，终端10通过网络与服务器20通过网络进行通信，终端10可以用于拍摄包含店铺的图像，并将该图像发送至服务器20，服务器20在接收到终端10发送的该图像之后，可以通过本申请的店铺营业状态识别方法对该店铺的营业状态进行识别，得到的状态识别结果可以应用于其他场景，例如，可以对地图应用中相应的店铺信息进行更新等。

其中，终端10可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。另外，终端10也可以是其他类型的设备设施，例如，终端10还可以是可以进行街景拍摄的摄像头等，只要该设备设施能够拍摄包含店铺的图像即可。

服务器20可以用独立的服务器或者是多个服务器组成的服务器集群来实现。网络具体可以是无线网络或有线网络。有线网络可以是城域网、局域网、光纤网等，无线网络可以是移动通信网络(例如2G、3G、4G、5G等)或无线保真网络(Wireless Fidelity，WIFI)。

在一个实施例中，如图2所示，提供一种店铺营业状态识别方法，本实施例主要以该方法应用于上述图1中的服务器20来举例说明。参照图2，该店铺营业状态识别方法主要包括以下步骤：

步骤S100，获取包含目标店铺的目标图像。

其中，目标店铺为需要进行营业状态识别的店铺，具体例如：A理发店、B养生馆、C银行、D批发部等。目标图像可以是从不同方位拍摄的图像，例如，可以是在目标店铺正前方拍摄的图像，也可以是在目标店铺的左侧、右侧等方位拍摄的图像，只要该目标图像包含该目标店铺即可。

本实施例中，目标图像包含目标店铺，可以理解为完全包含，也可以是部分包含，例如，可以是完全包含店铺的整个门面，也可以是包含该店铺的门面的一部分等。

具体地，服务器在获取目标图像时，可以是直接获取上述图1中的终端拍摄的目标图像，即用户通过终端拍摄得到包含目标店铺的目标图像后，将该目标图像上传至服务器。当然，目标图像也可以预先拍摄好，存储在存储介质或者云端，并限定其存储时间小于某一预设时长(如几小时或者几天等)，在存储时间达到预设时长时，需重新拍摄，以保证目标图像的实时性。当需要进行店铺营业状态识别时，服务器直接从存储介质或者云端获取该目标图像。本实施例对服务器获取目标图像的获取方式不做限定。

可以理解，目标图像并不仅仅是指代单独一张图像，目标图像也可以是指代一个图像集，例如，当一个店铺的门面还包括若干个子门面时，目标图像可以是由包含各子门面的各图像所组成的图像集等。

步骤S200，基于目标图像，得到目标店铺对应的店铺区域图像。

服务器在得到包含目标店铺的目标图像之后，基于该目标图像得到包含目标店铺的店铺区域的店铺区域图像。其中，店铺区域是指目标店铺的门面区域，即该目标店铺进行日常营业的区域，店铺区域图像即为包含目标店铺的营业区域的图像。

例如，如图3所示，为目标图像的示例图，以目标店铺为A理发店为例进行解释说明。参考图3，图中包含A理发店的店铺名称31，该店铺的店铺区域32为进行店铺日常营业的区域，例如，用户33a正在为用户33b理发。

步骤S300，对店铺区域图像进行区域划分，并对区域划分结果进行营业状态检测，根据区域划分结果对应的营业状态检测结果确定目标店铺的营业状态。

服务器在得到目标店铺对应的店铺区域图像后，首先进行区域划分，然后再对通过区域划分得到的图像进行营业状态检测，从而可以根据区域划分结果对应的营业状态检测结果确定该目标店铺的营业状态。由于店铺区域为目标店铺进行日常营业活动的区域，从而可以基于该店铺区域图像确定目标店铺当前是否处于营业状态。

本实施例提供一种店铺营业状态识别方法，该方法将计算机视觉技术应用于店铺营业状态识别，在获取包含目标店铺的目标图像之后，基于目标图像得到店铺区域图像，再基于店铺区域图像确定目标店铺的营业状态，该方法不同于现有技术中采用人工识别店铺状态的方法，而是可以通过计算机设备依据目标图像自动实现目标店铺的营业状态识别，即基于人工智能的处理方式识别店铺的营业状态，从而可以提高店铺营业状态识别效率，进而提高店铺信息更新效率，减少人力资源消耗。另外，由于店铺区域图像可以准确反映店铺的当前状态，通过对店铺区域图像进行区域划分再确定营业状态，可以提高店铺营业状态识别结果的准确性。

在一个实施例中，如图4所示，获取包含目标店铺的目标图像包括步骤S120至步骤S160。

步骤S120，获取至少两张原始图像；

步骤S140，分别对各原始图像进行字符识别，得到各原始图像对应的字符识别结果；

步骤S160，将目标店铺的店铺名称与各字符识别结果进行相似度匹配，确定相似度匹配结果满足预设条件的字符识别结果对应的原始图像为目标图像。

其中，原始图像为包含至少一个店铺的图像，该原始图像可以是包含目标店铺的图像，也可以是不包含目标店铺的图像。例如，当目标店铺为A理发店时，原始图像可能是只包含A理发店的图像，也可能是只包含C银行的图像，也可能是同时包含A理发店和C银行的图像。

当终端发送至服务器的图像为至少两张时，至少两张图像可能不全是目标店铺对应的目标图像，此时，服务器需要对至少两张图像进行内容鉴定，以确认图像是否可以目标店铺对应。

具体地，服务器分别对各原始图像进行字符识别，以得到各原始图像对应的字符识别结果，字符识别结果具体可以是原始图像中所包含的店铺名称对应的字符串。例如，服务器可以通过光学字符识别得到字符识别结果，光学字符识别是指通过检测图像中暗、亮的模式确定形状，然后用字符识别方法将形状翻译成计算机文字的过程。

然后，服务器将店铺名称分别与各原始图像对应的字符识别结果进行相似度匹配，当原始图像的字符识别结果与店铺名称的相似度匹配结果满足预设条件时，可以认为该字符识别结果与店铺名称一致，从而，该字符识别结果对应的原始图像即为包含目标店铺的目标图像。

例如，在对店铺名称以及字符识别结果进行相似度匹配时，可以通过莱文斯坦距离计算方法实现。具体地，定义str1为店铺名称对应的字符串长度，str2为字符识别结果对应的字符串长度，则莱文斯坦距离r的计算公式为：

r＝(str1+str2-ldist)/(str1+str2-ldist)

其中，ldist为类编辑距离，用于描述由一个字串转化成另一个字串最少的操作次数，其中的操作包括插入、删除、替换等。

可以理解，在第一次对各原始图像分别进行字符识别，得到各原始图像对应的字符识别结果之后，可以将该字符识别结果与原始图像对应保存，例如，可以将字符识别结果设置为原始图像对应的图像标签等。从而，在下一次对新的目标店铺进行相似度匹配时，可以直接调用之前的字符识别结果，从而减少处理流程，提高匹配效率。

本实施例中，预设条件可以是按照相似度指标排名而确定的条件，例如，在按照相似度指标由大到小的顺序，对各字符识别结果进行排序之后，可以确定排名第一的字符识别结果对应的原始图像为目标图像；也可以是确定排名在预设名次以内(如前三名)的字符识别结果对应的原始图像为目标图像。

另外，预设条件也可以是按照相似度指标的具体大小而确定的条件，例如，在得到各字符识别结果对应的相似度指标后，可以确定相似度指标达到预设阈值的字符识别结果对应的原始图像为目标图像。

本实施例通过对目标店铺的店铺名称以及各原始图像的字符识别结果进行相似度匹配，从而可以准确确定包含目标店铺的目标图像，进而有助于提高店铺营业状态识别结果的准确性。

在一个实施例中，如图5所示，基于目标图像，得到目标店铺对应的店铺区域图像包括步骤S220至步骤S260。

步骤S220，获取目标店铺的店铺名称在目标图像中的第一位置信息；

步骤S240，基于第一位置信息，确定目标店铺的店铺区域在目标图像中的第二位置信息；

步骤S260，根据第一位置信息以及第二位置信息，得到目标店铺对应的店铺区域图像。

具体地，对于店铺来说，其店铺名称通常设置于店铺区域的上方，即店铺的日常营业范围通常在店铺名称下方。因此，在确定店铺区域图像时，服务器首先获取店铺名称的第一位置信息，然后基于该第一位置信息确定店铺区域对应的第二位置信息，从而服务器可以根据该第一位置信息以及第二位置信息，在目标图像中确定目标店铺对应的店铺区域图像。服务器在确定店铺区域图像之后，可以进一步对该店铺区域图像采取截取、标记等方式进行体现。

可选地，第一位置信息包括店铺名称的第一顶点位置坐标以及倾斜度。对于图像中的店铺名称，通常可以使用店铺名称的外接四边形表示该店铺名称所在的区域。相应地，第一位置信息中店铺名称的第一顶点位置坐标可以是店铺名称的外接四边形的四个顶点的位置坐标。

对于店铺名称的外接四边形来说，通常包含水平方向的两条直线以及竖直方向的两条直线。需要说明的是，该水平方向的两条直线以及竖直方向的两条直线并不仅仅是指代完全处于水平或者竖直的直线，也可以是指代与水平线或者与竖直线的存在一定的夹角，且该夹角小于一定角度的直线。相应地，第一位置信息的倾斜度是指竖直方向的两条直线的倾斜角。

基于第一位置信息，确定目标店铺的店铺区域在目标图像中的第二位置信息包括：根据店铺名称的第一顶点位置坐标以及倾斜度，确定店铺区域对应的第二顶点位置坐标以及区域高度，第二位置信息包括第二顶点位置坐标以及区域高度。

如图6所示，为根据店铺名称的第一顶点位置坐标以及倾斜度，确定店铺区域对应的第二顶点位置坐标以及区域高度的示例图。参考图6，定义店铺名称对应区域S1的第一顶点位置坐标，即区域S1的左上、右上、左下、右下四个顶点分别为P1(X1，Y1)、P2(X2，Y2)、P3(X3，Y3)、P4(X4，Y4)，定义店铺区域S2对应的第二顶点位置坐标，即区域S2的左上、右上、左下、右下四个顶点分别为P5(X5，Y5)、P6(X6，Y6)、P7(X7，Y7)、P8(X8，Y8)；另外，定义店铺名称的倾斜度，即直线P1-P3以及直线P2-P4的倾斜角分别为a1和a2。其中，P1(X1，Y1)、P2(X2，Y2)、P3(X3，Y3)、P4(X4，Y4)、a1、a2为已知。

对于P5和P6，其横坐标X5、X6可以通过以下计算公式得到：

其中，OFFSET_X为经验偏置值，OFFSET_X的具体取值例如可以为20。

P5的纵坐标Y5可以通过以下计算公式得到：

另外，由于P6可以认为是和P5处于同一水平位置，因此Y6＝Y5。

在确定店铺区域S2对应的左上、右上两个顶点的坐标后，只需确定店铺区域S2的区域高度即可确定其余两个顶点的位置。店铺区域S2的区域高度H可以通过以下计算公式得到：

其中，scale设置为经验值，scale的具体取值例如可以为1.2,另外，H最大不超过目标图像的高度的1/3。

本实施例基于目标店铺的店铺名称在目标图像中的第一位置信息，确定店铺区域在目标图像中的第二位置信息，进而得到目标店铺对应的店铺区域图像，从而可以对该店铺区域图像进行营业状态识别，得到目标店铺的营业状态识别结果。

在一个实施例中，如图7所示，对店铺区域图像进行区域划分，并对区域划分结果进行营业状态检测，根据区域划分结果对应的营业状态检测结果确定目标店铺的营业状态包括步骤S320至步骤S360。

步骤S320，对店铺区域图像进行区域划分，得到多个子区域图像；

步骤S340，分别对店铺区域图像以及各子区域图像进行营业状态检测，得到店铺区域图像以及各子区域图像对应的检测结果；

步骤S360，对店铺区域图像以及各子区域图像对应的检测结果进行检测结果融合，基于融合结果确定目标店铺的营业状态。

具体地，服务器基于目标店铺的店铺名称的第一位置信息确定店铺区域图像后，由于诸多因素的影响，通过步骤S220至步骤S260得到的店铺区域图像可能存在有误差的情况，例如真实的店铺区域只占该店铺区域图像的一部分等，为了进一步提高店铺营业状态识别结果的准确性，本实施例将店铺区域图像进行区域划分，得到不同的子区域图像，再分别进行状态检测，最后进行检测结果融合，得到最终的营业状态结果。

如图8所示，为对店铺区域图像进行区域划分的示例图。参考图8，可以将店铺区域图像M划分为四等份，即得到四个子区域图像M1、M2、M3、M4，另外，还可以取店铺区域图像M的中心区域作为第五个子区域，得到第五个子区域图像M5。可以理解，以上仅为对店铺区域划分的举例说明，在实际处理过程中，对于店铺区域图像的划分并不仅仅局限于以上内容。

在进行区域划分后，处理器分别对店铺区域图像M以及子区域图像M1、M2、M3、M4、M5进行营业状态检测。

可选地，分别对店铺区域图像以及各子区域图像进行营业状态检测，得到店铺区域图像以及各子区域图像对应的检测结果包括步骤342至步骤344。

步骤342，将店铺区域图像以及各子区域图像输入深度学习网络；

步骤344，通过深度学习网络分别对店铺区域图像以及各子区域图像进行营业状态分类处理，得到店铺区域图像以及各子区域图像对应的检测结果，检测结果包括状态类别以及对应的置信度。

对店铺区域图像以及各子区域图像进行营业状态检测的步骤可以通过预先训练好的深度学习网络实现，深度学习(DeepLearning，DL)属于机器学习的子类，是利用深度神经网络来解决特征表达的一种学习过程。该深度学习网络可以通过不同营业状态的样本图像以及相应的营业状态标签训练得到，深度学习网络的具体训练过程可以通过现有的网络训练方法实现。深度学习网络可以是现有的网络，例如，深度学习网络具体可以是轻量级深度学习网络MobileNet-v2，也可以是其他网络，例如Inception网络等。

在将店铺区域图像以及各子区域图像输入深度学习网络后，通过深度学习网络分别对店铺区域图像以及各子区域图像进行营业状态分类处理，得到的检测结果包含图像对应的状态类别以及置信度。例如，对于图8中的子区域图像M1，检测结果包括该子区域属于正在营业状态的置信度、属于关门状态的置信度以及属于店铺维修状态的置信度等。

可选地，状态类别包括第一营业状态以及与第一营业状态不同的至少一种其他营业状态；第一营业状态具体可以是正在营业状态、关门状态或者店铺维修状态等。

可选地，在分别对店铺区域图像以及各子区域图像进行营业状态检测时，除了采用进行状态分类处理的网络外，也可以是采取其他功能的网络，例如，还可以是对图像进行图像特征提取，然后基于提取的图像特征确定对应的营业状态等。

本实施例中，对店铺区域图像以及各子区域图像对应的检测结果进行检测结果融合，基于融合结果确定目标店铺的营业状态包括步骤362至步骤364。

步骤362，当检测结果中第一营业状态对应的置信度达到第一阈值时，确定检测结果对应的营业状态为第一营业状态；

步骤364，在店铺区域图像以及各子区域图像中，当检测结果对应的营业状态为第一营业状态的图像数量达到第二阈值时，确定目标店铺的营业状态为第一营业状态。

以第一营业状态为正在营业状态，结合图8中的店铺区域图像M以及各子区域图像M1、M2、M3、M4、M5为例进行解释说明。

如下表所示，设定第一阈值为0.75，第二阈值为3，基于各图像对应的正在营业状态的置信度，子区域图像M1、M3、M5对应的置信度大于第一阈值，因此，可以认为子区域图像M1、M3、M5的检测结果对应的营业状态为正在营业状态。另外，在店铺区域图像M以及子区域图像M1、M2、M3、M4、M5中，检测结果对应的营业状态为第一营业状态的图像数量为3，达到了第二阈值，因此，可以最终确定目标店铺的营业状态为正在营业状态。

图像	正在营业状态的置信度	检测结果对应的营业状态
			店铺区域图像M	0.5
子区域图像M1	0.8	正在营业状态
			子区域图像M2	0.3
子区域图像M3	0.9	正在营业状态
			子区域图像M4	0.4
子区域图像M5	0.85	正在营业状态

本申请还提供一种应用场景，该应用场景应用上述的店铺营业状态识别方法。

在地图应用中，POI(Point of Information，信息点或兴趣点)是不可或缺的组成部分，丰富的POI属性和及时的POI属性变化可以给地图应用的用户带来更好的使用体验。作为POI属性之一的营业状态属性，同样需要补充和及时更新。例如，某用户在地图应用上搜索某一个店面，而此时该店面由于近期装修没有营业，如果该店面的营业状态属性未及时更新，该用户在不知情的情况下前往该店面，则会给该用户带来不便，用户还需重新寻找其他类似的店面。而如果该店面的营业状态属性可以及时更新，则可以提示用户选择其他正常营业的店面，从而可以避免给用户带来的不便。

具体地，如图9所示，本实施例中，对于地图应用中店铺营业状态属性的更新过程如下：

(1)获取至少两张第一图像，第一图像为包含至少一个店铺的图像。该第一图像具体可以是众包采集图像、街景图像等。其中，众包采集图像是指由众包人员所拍摄的、用于更新POI信息的图像，街景图像可以是通过街景摄像头拍摄的图像。

(2)对至少两张第一图像进行字符识别，得到各第一图像对应的字符识别结果。

(3)将店铺营业状态属性需要更新的店铺的店铺名称，与各字符识别结果进行相似度匹配，得到包含该店铺的第二图像。若得不到第二图像，则返回步骤(1)重新获取新的第一图像。

(4)基于第二图像，得到包含该店铺的店铺区域的第三图像。

(5)将第三图像进行区域划分，得到至少两张第四图像，第四图像为第三图像的子区域图像。

(6)将第三图像以及第四图像输入预先训练好的深度学习网络，通过深度学习网络分别对第三图像以及第四图像进行营业状态分类处理，得到第三图像以及第四图像对应的检测结果。

(7)将第三图像以及第四图像对应的检测结果进行检测结果融合，得到店铺的当前营业状态。

(8)根据店铺的当前营业状态，对地图应用中该店铺的营业状态属性进行更新。

在对店铺营业状态属性进行更新时，若通过本申请得到的当前营业状态与地图应用中该店铺的状态一致，则可以保持该状态不变；若不一致，则将地图应用中该店铺的状态修改为通过本申请得到的当前营业状态。

在本应用场景中，在通过本申请各实施例所描述的店铺营业状态识别方法对地图应用中店铺的营业状态属性进行更新后，一方面，可以为地图应用的用户带来更好的出行指导外，另一方面，也可以用于对地图应用中的POI进行管理。

对于地图应用来说，当新的店铺开张时，相关人员可以在地图应用内添加对应的POI，由此使得地图应用中的POI数量越来越多。而对于关门停止停业的店铺来说，地图应用中仍存在相应的POI，关门停止停业的店铺对应的POI可以认为是过期的POI，属于是没有价值的POI。因此，为了控制POI的数量，方便管理，同时也为了提高用户的使用体验，需要对关门停止停业的店铺进行剔除，即剔除地图应用中的过期POI。

具体地，服务器在通过本申请各实施例所描述的店铺营业状态识别方法得到店铺的营业状态属性之后，若营业状态属性为停止营业，则服务器开始统计该店铺处于停止营业状态的持续时间。当持续时间达到预设时长时，例如几个月或者一年，则可以认为该店铺处于关门的状态，可以剔除地图应用中该店铺对应的POI，从而可以更好地对地图POI进行管理，另外也能减少过期POI对用户带来的不便。

在合理条件下应当理解，虽然前文各实施例涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图10所示，提供一种店铺营业状态识别装置，该装置主要包括以下模块：

目标图像获取模块100，用于获取包含目标店铺的目标图像，目标店铺为需要进行营业状态识别的店铺；

店铺区域确定模块200，用于基于目标图像，得到目标店铺对应的店铺区域图像；

营业状态检测模块300，用于对店铺区域图像进行区域划分，并对区域划分结果进行营业状态检测，根据区域划分结果对应的营业状态检测结果确定目标店铺的营业状态。

本实施例提供一种店铺营业状态识别装置，该装置将计算机视觉技术应用于店铺营业状态识别，在获取包含目标店铺的目标图像之后，基于目标图像得到店铺区域图像，再基于店铺区域图像确定目标店铺的营业状态，该方法不同于现有技术中采用人工识别店铺状态的方法，而是可以通过计算机设备依据目标图像自动实现目标店铺的营业状态识别，即基于人工智能的处理方式识别店铺的营业状态，从而可以提高店铺营业状态识别效率，进而提高店铺信息更新效率，减少人力资源消耗。另外，由于店铺区域图像可以准确反映店铺的当前状态，通过对店铺区域图像进行区域划分再确定营业状态，可以提高店铺营业状态识别结果的准确性。

在一个实施例中，目标图像获取模块100还用于：获取至少两张原始图像，原始图像为包含至少一个店铺的图像；分别对各原始图像进行字符识别，得到各原始图像对应的字符识别结果；将目标店铺的店铺名称与各字符识别结果进行相似度匹配，确定相似度匹配结果满足预设条件的字符识别结果对应的原始图像为目标图像。

在一个实施例中，店铺区域确定模块200还用于：获取目标店铺的店铺名称在目标图像中的第一位置信息；基于第一位置信息，确定目标店铺的店铺区域在目标图像中的第二位置信息；根据第一位置信息以及第二位置信息，得到目标店铺对应的店铺区域图像。

在一个实施例中，店铺区域确定模块200还用于：根据店铺名称的第一顶点位置坐标以及倾斜度，确定店铺区域对应的第二顶点位置坐标以及区域高度，第二位置信息包括第二顶点位置坐标以及区域高度。

在一个实施例中，营业状态检测模块300还用于：对店铺区域图像进行区域划分，得到多个子区域图像；分别对店铺区域图像以及各子区域图像进行营业状态检测，得到店铺区域图像以及各子区域图像对应的检测结果；对店铺区域图像以及各子区域图像对应的检测结果进行检测结果融合，基于融合结果确定目标店铺的营业状态。

在一个实施例中，营业状态检测模块300还用于：将店铺区域图像以及各子区域图像输入深度学习网络；通过深度学习网络分别对店铺区域图像以及各子区域图像进行营业状态分类处理，得到店铺区域图像以及各子区域图像对应的检测结果，检测结果包括状态类别以及对应的置信度。

在一个实施例中，营业状态检测模块300还用于：当检测结果中第一营业状态对应的置信度达到第一阈值时，确定检测结果对应的营业状态为第一营业状态；在店铺区域图像以及各子区域图像中，当检测结果对应的营业状态为第一营业状态的图像数量达到第二阈值时，确定目标店铺的营业状态为第一营业状态。

关于店铺营业状态识别装置的具体限定可以参见上文中对于店铺营业状态识别方法的限定，在此不再赘述。上述店铺营业状态识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图11示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器20。如图11所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现店铺营业状态识别方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行店铺营业状态识别方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的店铺营业状态识别装置可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该店铺营业状态识别装置的各个程序模块，比如，图10所示的目标图像获取模块、店铺区域确定模块和营业状态检测模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的店铺营业状态识别方法中的步骤。

例如，图11所示的计算机设备可以通过如图10所示的店铺营业状态识别装置中的目标图像获取模块获取包含目标店铺的目标图像，目标店铺为需要进行营业状态识别的店铺；通过店铺区域确定模块于基于目标图像，得到目标店铺对应的店铺区域图像；通过营业状态检测模块对店铺区域图像进行区域划分，并对区域划分结果进行营业状态检测，根据区域划分结果对应的营业状态检测结果确定目标店铺的营业状态。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述店铺营业状态识别方法的步骤。此处店铺营业状态识别方法的步骤可以是上述各个实施例的店铺营业状态识别方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述店铺营业状态识别方法的步骤。此处店铺营业状态识别方法的步骤可以是上述各个实施例的店铺营业状态识别方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种店铺营业状态识别方法，其特征在于，所述方法包括：

获取包含目标店铺的目标图像，所述目标店铺为需要进行营业状态识别的店铺；

基于所述目标图像得到所述目标店铺对应的店铺区域图像，所述店铺区域图像为包含所述目标店铺的营业区域的图像；

对所述店铺区域图像进行区域划分，并对区域划分结果进行营业状态检测，根据所述区域划分结果对应的营业状态检测结果确定所述目标店铺的营业状态；

所述基于所述目标图像得到所述目标店铺对应的店铺区域图像包括：

获取所述目标店铺的店铺名称在所述目标图像中的第一位置信息，所述第一位置信息包括所述店铺名称的第一顶点位置坐标以及倾斜度，所述第一顶点位置坐标为店铺名称的外接四边形的四个顶点的位置坐标；

根据所述店铺名称的第一顶点位置坐标以及倾斜度，确定所述店铺区域对应的上顶点位置坐标以及区域高度，所述上顶点位置坐标包括左上顶点位置坐标以及右上顶点位置坐标；

基于所述上顶点位置坐标以及区域高度，得到所述店铺区域对应的下顶点位置坐标，所述下顶点位置坐标包括左下顶点位置坐标以及右下顶点位置坐标；

根据所述上顶点位置坐标、所述下顶点位置坐标以及所述区域高度，得到所述店铺区域对应的第二位置信息；

根据所述第一位置信息以及所述第二位置信息，得到所述目标店铺对应的店铺区域图像。

2.根据权利要求1所述的店铺营业状态识别方法，其特征在于，所述获取包含目标店铺的目标图像包括：

获取至少两张原始图像，所述原始图像为包含至少一个店铺的图像；

分别对各所述原始图像进行字符识别，得到各所述原始图像对应的字符识别结果；

将所述目标店铺的店铺名称与各所述字符识别结果进行相似度匹配，确定相似度匹配结果满足预设条件的字符识别结果对应的原始图像为所述目标图像。

3.根据权利要求1所述的店铺营业状态识别方法，其特征在于，所述对所述店铺区域图像进行区域划分，并对区域划分结果进行营业状态检测，根据所述区域划分结果对应的营业状态检测结果确定所述目标店铺的营业状态包括：

对所述店铺区域图像进行区域划分，得到多个子区域图像；

分别对所述店铺区域图像以及各所述子区域图像进行营业状态检测，得到所述店铺区域图像以及各所述子区域图像对应的检测结果；

对所述店铺区域图像以及各所述子区域图像对应的检测结果进行检测结果融合，基于融合结果确定所述目标店铺的营业状态。

4.根据权利要求3所述的店铺营业状态识别方法，其特征在于，所述分别对所述店铺区域图像以及各所述子区域图像进行营业状态检测，得到所述店铺区域图像以及各所述子区域图像对应的检测结果包括：

将所述店铺区域图像以及各所述子区域图像输入深度学习网络；

通过所述深度学习网络分别对所述店铺区域图像以及各所述子区域图像进行营业状态分类处理，得到所述店铺区域图像以及各所述子区域图像对应的检测结果，所述检测结果包括状态类别以及对应的置信度。

5.根据权利要求4所述的店铺营业状态识别方法，其特征在于，所述状态类别包括第一营业状态以及与所述第一营业状态不同的至少一种其他营业状态；

所述对所述店铺区域图像以及各所述子区域图像对应的检测结果进行检测结果融合，基于融合结果确定所述目标店铺的营业状态包括：

当检测结果中第一营业状态对应的置信度达到第一阈值时，确定所述检测结果对应的营业状态为所述第一营业状态；

在所述店铺区域图像以及各所述子区域图像中，当检测结果对应的营业状态为所述第一营业状态的图像数量达到第二阈值时，确定所述目标店铺的营业状态为所述第一营业状态。

6.一种店铺营业状态识别装置，其特征在于，所述装置包括：

目标图像获取模块，用于获取包含目标店铺的目标图像，所述目标店铺为需要进行营业状态识别的店铺；

店铺区域确定模块，用于基于所述目标图像，得到所述目标店铺对应的店铺区域图像，所述店铺区域图像为包含所述目标店铺的营业区域的图像；

营业状态检测模块，用于对所述店铺区域图像进行区域划分，并对区域划分结果进行营业状态检测，根据所述区域划分结果对应的营业状态检测结果确定所述目标店铺的营业状态；

所述店铺区域确定模块还用于获取所述目标店铺的店铺名称在所述目标图像中的第一位置信息，所述第一位置信息包括所述店铺名称的第一顶点位置坐标以及倾斜度，所述第一顶点位置坐标为店铺名称的外接四边形的四个顶点的位置坐标，根据所述店铺名称的第一顶点位置坐标以及倾斜度，确定所述店铺区域对应的上顶点位置坐标以及区域高度，所述上顶点位置坐标包括左上顶点位置坐标以及右上顶点位置坐标，基于所述上顶点位置坐标以及区域高度，得到所述店铺区域对应的下顶点位置坐标，所述下顶点位置坐标包括左下顶点位置坐标以及右下顶点位置坐标，根据所述上顶点位置坐标、所述下顶点位置坐标以及所述区域高度，得到所述店铺区域对应的第二位置信息，根据所述第一位置信息以及所述第二位置信息，得到所述目标店铺对应的店铺区域图像。

7.根据权利要求6所述的店铺营业状态识别装置，其特征在于，目标图像获取模块还用于：获取至少两张原始图像，原始图像为包含至少一个店铺的图像；分别对各原始图像进行字符识别，得到各原始图像对应的字符识别结果；将目标店铺的店铺名称与各字符识别结果进行相似度匹配，确定相似度匹配结果满足预设条件的字符识别结果对应的原始图像为目标图像。

8.根据权利要求6所述的店铺营业状态识别装置，其特征在于，营业状态检测模块还用于：对店铺区域图像进行区域划分，得到多个子区域图像；分别对店铺区域图像以及各子区域图像进行营业状态检测，得到店铺区域图像以及各子区域图像对应的检测结果；对店铺区域图像以及各子区域图像对应的检测结果进行检测结果融合，基于融合结果确定目标店铺的营业状态。

9.根据权利要求8所述的店铺营业状态识别装置，其特征在于，营业状态检测模块还用于：将店铺区域图像以及各子区域图像输入深度学习网络；通过深度学习网络分别对店铺区域图像以及各子区域图像进行营业状态分类处理，得到店铺区域图像以及各子区域图像对应的检测结果，检测结果包括状态类别以及对应的置信度。

10.根据权利要求9所述的店铺营业状态识别装置，其特征在于，营业状态检测模块还用于：当检测结果中第一营业状态对应的置信度达到第一阈值时，确定检测结果对应的营业状态为第一营业状态；在店铺区域图像以及各子区域图像中，当检测结果对应的营业状态为第一营业状态的图像数量达到第二阈值时，确定目标店铺的营业状态为第一营业状态。

11.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。

12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。

Images