CN111881785A - 客流分析方法及装置、存储介质和系统 - Google Patents

客流分析方法及装置、存储介质和系统 Download PDF

Info

Publication number
CN111881785A
CN111881785A CN202010670971.2A CN202010670971A CN111881785A CN 111881785 A CN111881785 A CN 111881785A CN 202010670971 A CN202010670971 A CN 202010670971A CN 111881785 A CN111881785 A CN 111881785A
Authority
CN
China
Prior art keywords
face
edge device
passenger flow
flow analysis
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010670971.2A
Other languages
English (en)
Inventor
范畅
赵馨逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010670971.2A priority Critical patent/CN111881785A/zh
Publication of CN111881785A publication Critical patent/CN111881785A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种客流分析方法及装置、存储介质和系统，其中，该方法包括：采集指定区域的视频流；其中，所述指定区域至少包括店铺内的部分区域；对所述视频流中的图像进行视觉任务处理，得到任务处理结果；按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文，并将所述目标报文向云端服务器发送。

Description

客流分析方法及装置、存储介质和系统
技术领域
本公开涉及计算机视觉处理领域，尤其涉及一种客流分析方法及装置、存储介质和系统。
背景技术
目前，边缘设备采集到视频流后，可以将视频流发送到云端服务器，由云端服务器对视频流中的图像进行识别，虽然减少了边缘设备的计算和资源占用，但是边缘设备对云服务的依赖较大。
另外，边缘设备的部署主要以项目方式沉淀，存在项目周期长、投入成本高、且定制化需求较多的特点，主要是服务于购物中心、4S店、大型连锁等具备一定规模的客户，但是针对存量市场较大的零售小店、餐饮店、幼儿园等客户，由于成本受限，缺少专门的交付团队与运维团队支持，可能无法对边缘设备进行更好的维护。
发明内容
本公开提供了一种客流分析、对话生成方法及装置、存储介质和系统。
根据本公开实施例的第一方面，提供一种客流分析方法，用于边缘设备，包括：采集指定区域的视频流；其中，所述指定区域至少包括店铺内的部分区域；对所述视频流中的图像进行视觉任务处理，得到任务处理结果；按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文，并将所述目标报文向云端服务器发送。
在一些可选实施例中，所述视觉任务包括以下至少之一：人脸识别任务、人体部位检测任务；所述报文格式包括按照预设字段顺序排列的至少一个报文字段；其中，所述至少一个报文字段包括以下至少之一：报文生成时间戳字段、上报报文的边缘设备标识字段、用于采集所述视频流的摄像头标识字段、与所述任务处理结果对应的结果信息字段；所述视觉任务包括所述人脸识别任务，所述结果信息字段包括以下至少之一：身份标识信息字段、性别信息字段、年龄信息字段、人员类型信息字段；所述视觉任务包括所述人体部位检测任务，所述结果信息字段包括用于指示存在人员进入所述指定区域的事件字段。
在一些可选实施例中，在所述视觉任务包括人脸识别任务的情况下，所述任务处理结果包括人脸识别结果；所述对所述视频流中的图像进行视觉任务处理，得到任务处理结果，包括：提取所述视频流中的图像所包括的人脸特征，得到第一人脸特征信息；将所述第一人脸特征信息与所述边缘设备本地存储的第一人脸库中的人脸特征信息进行比对，得到比对结果；响应于所述比对结果为所述第一人脸特征信息与所述第一人脸库中的第二人脸特征信息匹配，将所述第一人脸库中与所述第二人脸特征信息对应的人脸标识信息作为人脸识别结果。
在一些可选实施例中，所述对所述视频流中的图像进行视觉任务处理，得到任务处理结果，还包括：将所述第一人脸特征信息输入预先训练好的人脸属性检测神经网络，获得所述人脸属性检测神经网络输出的与所述第一人脸特征信息对应的人脸属性信息；所述将所述第一人脸库中与所述第二人脸特征信息对应的人脸标识信息作为人脸识别结果，包括：将所述人脸标识信息和与所述第一人脸特征信息对应的人脸属性信息中的至少一项作为所述人脸识别结果。
在一些可选实施例中，所述方法还包括：响应于所述比对结果为所述第一人脸库中不存在与所述第一人脸特征信息匹配的人脸特征信息，在所述边缘设备本地的第二人脸库中，存储所述第一人脸特征信息以及与所述第一人脸特征信息对应的关联信息。
在一些可选实施例中，所述第一人脸库所包括的人脸特征信息对应的人员类型属于以下之一：会员、白名单成员、黑名单成员；所述按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文，包括：响应于所述人脸识别结果指示所述第一人脸特征信息对应的人员类型不属于所述白名单成员，按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文。
在一些可选实施例中，所述方法还包括：接收并显示所述云端服务器根据所述目标报文发送的实时到访推送信息。
在一些可选实施例中，在所述视频分析任务包括人体部位检测任务的情况下，所述任务处理结果包括人体部位检测结果；所述对所述视频流中的图像进行视觉任务处理，得到任务处理结果，包括：通过预先训练好的人体部位检测神经网络，检测所述视频流中的多帧图像所包括的人体部位和所述人体部位对应的追踪标识；响应于确定所述多帧图像中时序在后的图像相对于时序在前的图像出现对应新的追踪标识的人体部位，确定所述人体部位检测结果为检测到存在人员进入指定区域的事件。
在一些可选实施例中，所述将所述目标报文向云端服务器发送，包括：响应于所述边缘设备处于在线状态，在生成所述目标报文后实时将所述目标报文向所述云端服务器发送；或是，响应于所述边缘设备处于未在线状态，生成所述目标报文后存储在所述边缘设备本地，并响应于所述边缘设备由未在线状态转换为在线状态，将在所述边缘设备本地存储的所述目标报文向所述云端服务器发送。
在一些可选实施例中，所述采集指定区域的视频流，包括：通过预先绑定所述边缘设备的至少一个摄像头采集所述视频流。
在一些可选实施例中，所述方法还包括：在所述边缘设备的指定页面上配置并添加用于绑定所述至少一个摄像头的摄像头信息。
在一些可选实施例中，所述摄像头信息包括以下至少之一：摄像头标识信息、摄像头采集的视频流对应的实时流传输协议RTSP地址信息、摄像头用于执行采集视频流的任务指示信息。
在一些可选实施例中，所述将所述目标报文向云端服务器发送之后，所述方法还包括：接收所述云端服务器根据所述目标报文进行客流分析后生成的目标操作指令；根据所述目标操作指令，执行相应的目标操作。
在一些可选实施例中，所述目标操作指令包括以下至少之一：店铺管理操作指令、设备管理操作指令、远程升级操作指令、远程监控操作指令。
根据本公开实施例的第二方面，提供一种客流分析方法，用于云端服务器，包括：接收边缘设备发送的目标报文；根据所述目标报文进行客流分析，得到与所述目标报文对应的店铺的客流分析结果。
在一些可选实施例中，所述目标报文包括以下至少之一：与人脸识别任务对应的第一报文、与人体部位检测任务对应的第二报文；所述根据所述目标报文进行客流分析，得到与所述目标报文对应的店铺的客流分析结果，包括以下至少之一：根据所述第一报文，得到在预设时间段内进入指定区域的会员人数、非会员人数、总人数、年龄分布情况、性别分布情况中的至少一项；其中，所述指定区域至少包括所述店铺内的部分区域；根据所述第二报文，得到在所述预设时间段内进入所述指定区域的到访人次。
在一些可选实施例中，所述方法还包括：根据所述目标报文，向所述边缘设备和/或与所述目标报文对应的终端设备发送实时到访推送信息。
在一些可选实施例中，所述方法还包括：根据所述客流分析结果，生成目标操作指令；向所述边缘设备发送所述目标操作指令。
在一些可选实施例中，所述目标操作指令包括以下至少之一：店铺管理操作指令、设备管理操作指令、远程升级操作指令、远程监控操作指令。
根据本公开实施例的第三方面，提供一种客流分析装置，用于边缘设备，包括：采集模块，用于采集指定区域的视频流；其中，所述指定区域至少包括店铺内的部分区域；视觉任务处理模块，用于对所述视频流中的图像进行视觉任务处理，得到任务处理结果；第一执行模块，用于按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文，并将所述目标报文向云端服务器发送。
在一些可选实施例中，所述视觉任务包括以下至少之一：人脸识别任务、人体部位检测任务；所述报文格式包括按照预设字段顺序排列的至少一个报文字段；其中，所述至少一个报文字段包括以下至少之一：报文生成时间戳字段、上报报文的边缘设备标识字段、用于采集所述视频流的摄像头标识字段、与所述任务处理结果对应的结果信息字段；所述视觉任务包括所述人脸识别任务，所述结果信息字段包括以下至少之一：身份标识信息字段、性别信息字段、年龄信息字段、人员类型信息字段；所述视觉任务包括所述人体部位检测任务，所述结果信息字段包括用于指示存在人员进入所述指定区域的事件字段。
在一些可选实施例中，在所述视觉任务包括人脸识别任务的情况下，所述任务处理结果包括人脸识别结果；所述视觉任务处理模块包括：提取子模块，用于提取所述视频流中的图像所包括的人脸特征，得到第一人脸特征信息；比对子模块，用于将所述第一人脸特征信息与所述边缘设备本地存储的第一人脸库中的人脸特征信息进行比对，得到比对结果；第一确定子模块，用于响应于所述比对结果为所述第一人脸特征信息与所述第一人脸库中的第二人脸特征信息匹配，将所述第一人脸库中与所述第二人脸特征信息对应的人脸标识信息作为人脸识别结果。
在一些可选实施例中，所述视觉任务处理模块还包括：获取子模块，用于将所述第一人脸特征信息输入预先训练好的人脸属性检测神经网络，获得所述人脸属性检测神经网络输出的与所述第一人脸特征信息对应的人脸属性信息；所述第一确定子模块包括：确定单元，用于将所述人脸标识信息和与所述第一人脸特征信息对应的人脸属性信息中的至少一项作为所述人脸识别结果。
在一些可选实施例中，所述装置还包括：存储模块，用于响应于所述比对结果为所述第一人脸库中不存在与所述第一人脸特征信息匹配的人脸特征信息，在所述边缘设备本地的第二人脸库中，存储所述第一人脸特征信息以及与所述第一人脸特征信息对应的关联信息。
在一些可选实施例中，所述第一人脸库所包括的人脸特征信息对应的人员类型属于以下之一：会员、白名单成员、黑名单成员；所述第一执行模块包括：报文生成子模块，用于响应于所述人脸识别结果指示所述第一人脸特征信息对应的人员类型不属于所述白名单成员，按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文。
在一些可选实施例中，所述装置还包括：第二执行模块，用于接收并显示所述云端服务器根据所述目标报文发送的实时到访推送信息。
在一些可选实施例中，在所述视频分析任务包括人体部位检测任务的情况下，所述任务处理结果包括人体部位检测结果；所述视觉任务处理模块包括：检测子模块，用于通过预先训练好的人体部位检测神经网络，检测所述视频流中的多帧图像所包括的人体部位和所述人体部位对应的追踪标识；第二确定子模块，用于响应于确定所述多帧图像中时序在后的图像相对于时序在前的图像出现对应新的追踪标识的人体部位，确定所述人体部位检测结果为检测到存在人员进入指定区域的事件。
在一些可选实施例中，所述第一执行模块包括：发送子模块，用于响应于所述边缘设备处于在线状态，在生成所述目标报文后实时将所述目标报文向所述云端服务器发送；或是，执行子模块，用于响应于所述边缘设备处于未在线状态，生成所述目标报文后存储在所述边缘设备本地，并响应于所述边缘设备由未在线状态转换为在线状态，将在所述边缘设备本地存储的所述目标报文向所述云端服务器发送。
在一些可选实施例中，所述采集模块包括：采集子模块，用于通过预先绑定所述边缘设备的至少一个摄像头采集所述视频流。
在一些可选实施例中，所述装置还包括：第三执行模块，用于在所述边缘设备的指定页面上配置并添加用于绑定所述至少一个摄像头的摄像头信息。
在一些可选实施例中，所述摄像头信息包括以下至少之一：摄像头标识信息、摄像头采集的视频流对应的实时流传输协议RTSP地址信息、摄像头用于执行采集视频流的任务指示信息。
在一些可选实施例中，所述装置还包括：第二接收模块，用于接收所述云端服务器根据所述目标报文进行客流分析后生成的目标操作指令；第四执行模块，用于根据所述目标操作指令，执行相应的目标操作。
在一些可选实施例中，所述目标操作指令包括以下至少之一：店铺管理操作指令、设备管理操作指令、远程升级操作指令、远程监控操作指令。
根据本公开实施例的第四方面，提供一种客流分析装置，用于云端服务器，包括：第一接收模块，用于接收边缘设备发送的目标报文；客流分析模块，用于根据所述目标报文进行客流分析，得到与所述目标报文对应的店铺的客流分析结果。
在一些可选实施例中，所述目标报文包括以下至少之一：与人脸识别任务对应的第一报文、与人体部位检测任务对应的第二报文；所述客流分析模块包括以下至少之一：第一分析子模块，用于根据所述第一报文，得到在预设时间段内进入指定区域的会员人数、非会员人数、总人数、年龄分布情况、性别分布情况中的至少一项；其中，所述指定区域至少包括所述店铺内的部分区域；第二分析子模块，用于根据所述第二报文，得到在所述预设时间段内进入所述指定区域的到访人次。
在一些可选实施例中，所述装置还包括：第一发送模块，用于根据所述目标报文，向所述边缘设备和/或与所述目标报文对应的终端设备发送实时到访推送信息。
在一些可选实施例中，所述装置还包括：指令生成模块，用于根据所述客流分析结果，生成目标操作指令；第二发送模块，用于向所述边缘设备发送所述目标操作指令。
在一些可选实施例中，所述目标操作指令包括以下至少之一：店铺管理操作指令、设备管理操作指令、远程升级操作指令、远程监控操作指令。
根据本公开实施例的第五方面，提供一种边缘设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现第一方面中任一项所述的客流分析方法。
根据本公开实施例的第六方面，提供一种云端服务器，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现第二方面中任一项所述的客流分析方法。
根据本公开实施例的第七方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行第一方面或第二方面任一所述的客流分析方法。
根据本公开实施例的第八方面，提供一种客流分析系统，包括：第五方面所述的边缘设备，以及第六方面所述的云端服务器。所述的云端服务器。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例中，可以将对视频流中的图像的视觉任务处理过程部署在边缘设备上，边缘设备得到任务处理结果后，按照与视觉任务对应的报文格式，生成目标报文并将目标报文向云端服务器发送，云端服务器可以直接根据边缘设备发送的目标报文进行客流分析，减少了边缘设备对云端服务器的依赖，更适用于经营规模较小的店铺的场景。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开根据一示例性实施例示出的一种客流分析方法流程图；
图2是本公开根据一示例性实施例示出的另一种客流分析方法流程图；
图3是本公开根据一示例性实施例示出的另一种客流分析方法流程图；
图4是本公开根据一示例性实施例示出的另一种客流分析方法流程图；
图5是本公开根据一示例性实施例示出的另一种客流分析方法流程图；
图6是本公开根据一示例性实施例示出的另一种客流分析方法流程图；
图7是本公开根据一示例性实施例示出的另一种客流分析方法流程图；
图8是本公开根据一示例性实施例示出的另一种客流分析方法流程图；
图9是本公开根据一示例性实施例示出的另一种客流分析方法流程图；
图10是本公开根据一示例性实施例示出的另一种客流分析方法流程图；
图11是本公开根据一示例性实施例示出的另一种客流分析方法流程图；
图12是本公开根据一示例性实施例示出的一种边缘设备与云端服务器的网络结构示意图；
图13是本公开根据一示例性实施例示出的一种客流分析装置框图；
图14是本公开根据一示例性实施例示出的另一种客流分析装置框图；
图15是本公开根据一示例性实施例示出的一种用于客流分析装置的一结构示意图；
图16是本公开根据一示例性实施例示出的一种客流分析系统的一结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开运行的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中运行的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所运行的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本公开提供了一种客流分析方法，该方法可以用于边缘设备，在本公开实施例中，边缘设备是部署在店铺中可以与云端服务器进行通信的终端设备，包括但不限于以下至少之一：手持电脑、台式计算机、手持终端等。例如图1所示，该方法可以包括以下步骤：
在步骤101中，采集指定区域的视频流。
在本公开实施例中，可以通过至少一个摄像头来采集指定区域的视频流。指定区域是预先设置的至少一个区域，包括但不限于店铺内的部分的区域、整个店铺内的区域、店铺外的相关区域，其中，店铺外的相关区域可以包括但不限于店铺入口区域、店铺外进行活动宣传的区域、店铺人员较为关心的区域(店铺所在商场入口区域、电梯口区域等)。
在本公开实施例中，至少一个摄像头可以预先与边缘设备绑定，且可以根据客户实际需求部署在店铺内部、店铺门口、收银台、店铺所在位置的楼梯口等位置，以便拍摄到画质清晰的视频流。
在步骤102中，对所述视频流中的图像进行视觉任务处理，得到任务处理结果。
在本公开实施例中，视觉任务包括但不限于以下至少之一：人脸识别任务、人体部位检测任务。其中，人体部位包括但不限于头肩部位等人体关键部位。
在步骤103中，按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文，并将所述目标报文向云端服务器发送。
在本公开实施例中，与视觉任务对应的报文格式包括至少一个报文字段，其中，至少一个报文字段可以根据需要进行配置，配置好的至少一个报文字段分别占用指定字节长度，且至少一个字段的前后顺序固定。
例如，报文格式包括的字段顺序依次为字段1、字段2、字段3，其中字段1和字段2分别占用4个字节，字段3占用16个字节。
在一个示例中，至少一个报文字段包括以下至少之一：报文生成时间戳字段、上报报文的边缘设备标识字段、用于采集所述视频流的摄像头标识字段、与所述任务处理结果对应的结果信息字段。
其中，在视觉任务包括人脸识别任务的情况下，结果信息字段包括但不限于以下至少之一：身份标识信息字段、性别信息字段、年龄信息字段、人员类型信息字段。其中，身份标识信息字段可以用于表示人物的具体身份，例如姓名、身份证号等信息。人员类型信息字段可以用于指示但不限于指示以下至少之一的人员类型：会员、白名单人员、黑名单人员。其中，会员还可以包括更加细分的会员类型，包括但不限于银卡会员、金卡会员、白金卡会员等等。白名单成员包括但不限于店员。黑名单成员可以包括但不限于之前存在不良信用记录的顾客。
在视觉任务包括人体部位检测任务的情况下，结果信息字段包括用于指示存在人员进入所述指定区域的事件字段。
在本公开实施例中，可以按照报文格式，生成目标报文，边缘设备生成目标报文后可以通过网络向云端服务器发送目标报文，由云端服务器根据目标报文对该店铺进行客流分析。
上述实施例中，可以将对视频流中的图像的视觉任务处理过程部署在边缘设备上，边缘设备得到任务处理结果后，按照与视觉任务对应的报文格式，生成目标报文并将目标报文向云端服务器发送，云端服务器可以直接根据边缘设备发送的目标报文进行客流分析，减少了边缘设备对云端服务器的依赖，更适用于经营规模较小的店铺的场景。
在一些可选实施例中，在视觉任务包括人脸识别任务的情况下，相应地，任务处理结果包括人脸识别结果，例如图2所示，步骤102可以包括：
在步骤201中，提取所述视频流中的图像所包括的人脸特征，得到第一人脸特征信息。
在本公开实施例中，可以通过至少一个卷积层提取视频流中的图像所包括的至少一个人脸图像的人脸特征，得到与不同人物对应的第一人脸特征信息。
在一个示例中，为了确保提取的第一人脸特征信息的准确，可以先对视频流中的图像进行人脸区域检测与跟踪以及人脸质量检测，去掉人脸质量较差的人脸图像，对属于同一人脸标识的人脸区域图像通过至少一个卷积层提取人脸特征，得到对应不同人脸标识的第一人脸特征信息。
在步骤202中，将所述第一人脸特征信息与所述边缘设备本地存储的第一人脸库中的人脸特征信息进行比对，得到比对结果。
在本公开实施例中，第一人脸库可以采用但不限于已经采集了人脸特征信息和对应的人脸标识信息的数据库。
在步骤203中，响应于所述比对结果为所述第一人脸特征信息与所述第一人脸库中的第二人脸特征信息匹配，将所述第一人脸库中与所述第二人脸特征信息对应的人脸标识信息作为人脸识别结果。
在本公开实施例中，如果对应某个人物的第一人脸特征信息在第一人脸库中有匹配的人脸特征信息，将第一人脸库中匹配的人脸特征信息作为第二人脸特征信息，并将与第二人脸特征信息对应的人脸标识信息作为人脸识别结果。其中，人脸标识信息包括但不限于身份标识信息、类型信息。后续边缘设备可以根据人脸标识信息生成目标报文中的结果信息字段。
上述实施例中，可以先将图像中提取出的第一人脸特征信息与第一人脸数据库中存储的人脸特征信息进行比对，从而得到人脸识别结果。通过将人脸识别过程部署在边缘设备上进行，且将第一人脸库存储在边缘设备的本地，实现了在边缘设备上进行人脸识别的目的，减少了对云端服务器的依赖。
在一些可选实施例中，例如图3所示，步骤102还可以包括：
在步骤204中，将所述第一人脸特征信息输入预先训练好的人脸属性检测神经网络，获得所述人脸属性检测神经网络输出的与所述第一人脸特征信息对应的人脸属性信息。
在本公开实施例中，可以先构建一个神经网络，该神经网络可以采用视觉几何组(Visual Geometry Group，VGG)网络、残差(ResNet)网络中的任一个作为骨干网(backbone)，从样本图像中提取人脸特征信息作为输入值，并以样本图像中的人脸属性标签作为监督对该神经网络进行训练，将训练完成的神经网络作为人脸属性检测神经网络。
将第一人脸特征信息输入该人脸属性检测神经网络，得到人脸属性检测神经网络输出的与所述第一人脸特征信息对应的人脸属性信息。其中，人脸属性信息包括但不限于以下之一：性别信息、年龄信息。
相应地，上述步骤203可以包括：
将所述人脸标识信息和与所述第一人脸特征信息对应的人脸属性信息中的至少一项作为所述人脸识别结果。
上述实施例中，可以将人脸识别信息和与第一人脸特征信息对应的人脸属性信息中的至少一项作为所述人脸识别结果。实现了在边缘设备上进行人脸识别的目的，减少了对云端服务器的依赖。
在一些可选实施例中，例如图4所示，上述方法还可以包括：
在步骤104中，响应于所述比对结果为所述第一人脸库中不存在与所述第一人脸特征信息匹配的人脸特征信息，在所述边缘设备本地的第二人脸库中，存储所述第一人脸特征信息以及与所述第一人脸特征信息对应的关联信息。
在本公开实施例中，在第一人脸库中不存在与所述第一人脸特征信息匹配的人脸特征信息的情况下，可以将第一人脸特征信息以及与第一人脸特征信息对应的关联信息，动态存储在边缘设备本地的第二人脸库中。其中，关联信息可以包括但不限于可以标识第一人脸特征信息对应的人员的至少一个属性的标签信息和/或标识信息，例如可以将上述人脸属性检测神经网络输出的与第一人脸特征信息对应的人脸属性信息作为关联信息，和/或还可以将第一人脸特征信息对应的人员进入和/或离开指定区域的时间信息作为关联信息。
另外，在本公开实施例中，第二人脸库所包括的人脸特征信息对应的人员类型与第一人脸库对应的人员类型不同，第二人脸库对应的人员类型可以包括但不限于普通顾客或普通用户。
上述实施例中，可以在边缘设备的本地存储第二人脸库，将属于普通顾客或普通用户的顾客的人脸特征信息和对应的关联信息存储在第二人脸库中，便于店铺后续进行普通顾客或普通用户的统计和管理等，可用性高。
在一些可选实施例中，上述的第一人脸库所包括的人脸特征信息对应的人员类型包括但不限于以下之一：会员、白名单成员、黑名单成员。
在一个示例中，针对步骤103，可以根据人脸识别结果，按照与视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文，然后将目标报文向云端服务器发送，由云端服务器进行客流分析。
在另一个示例中，可以结合人脸识别结果，在第一人脸特征信息对应的人员类型不属于所述白名单成员，即人脸识别结果指示该人员不属于店员的情况下，按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文，然后将目标报文向云端服务器发送，由云端服务器进行客流分析，从而提高客流分析的准确性。
上述实施例中，可以在人脸识别结果指示所述第一人脸特征信息对应的人员类型不属于所述白名单成员的情况下，按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文，并将目标报文向云端服务器发送，从而提高云端服务器进行客流分析的准确性。
在一些可选实施例中，例如图5所示，上述方法还可以包括：
在步骤105中，接收并显示所述云端服务器根据所述目标报文发送的实时到访推送信息。
在本公开实施例中，可以在边缘设备在线的情况下，通过边缘设备所包括的显示设备，例如显示屏上显示实时到访推送信息，例如会员到店、姓名张三、性别男、年龄27、会员类型银卡会员。
在一个示例中，可以针对至少一个人员类型的顾客进行实时到访推送。在另一个示例中，也可以根据店铺需要，针对指定人员类型的顾客进行实时到访推送，指定人员类型包括但不限于以下至少之一：会员、普通顾客、黑名单成员。例如顾客到店、该顾客属于普通顾客或普通用户、年龄20-25、性别女。再例如，顾客到店、该顾客属于黑名单成员，请注意。
上述实施例中，可以在边缘设备所包括的显示设备上显示实时到访推送信息，可用性更高。
在一些可选实施例中，在视频分析任务包括人体部位检测任务的情况下，相应地，所述任务处理结果包括人体部位检测结果，例如图6所示，步骤102可以包括：
在步骤301中，通过预先训练好的人体部位检测神经网络，检测所述视频流中的多帧图像所包括的人体部位和所述人体部位对应的追踪标识。
在本公开实施例中，同样可以先构建一个神经网络，该神经网络采用VGG网络、ResNet网络中的任一个作为骨干网，以样本图像作为输入值，样本图像中的人体部位标签作为监督，对该神经网络进行训练，将训练完成的神经网络作为人体部位检测神经网络。
将视频流中的多帧图像输入该人体部位检测神经网络，得到多帧图像所包括的人体部位和所述人体部位对应的追踪标识。
在步骤302中，响应于确定所述多帧图像中时序在后的图像相对于时序在前的图像出现对应新的追踪标识的人体部位，确定所述人体部位检测结果为检测到存在人员进入指定区域的事件。
在本公开实施例中，可以预先在指定区域部署摄像头，在指定区域部署的摄像头所采集的视频流中，如果时序在后的图像中出现时序在前的图像中所未包括的、对应新的追踪标识的人体部位，说明有人员进入指定区域，可以得到人体部位检测结果为检测到存在人员进入指定区域的事件。其中，指定区域是预先设置的至少一个区域，包括但不限于店铺内的部分区域、整个店铺内的区域、店铺外的相关区域。
上述实施例中，可以对视频流中的多帧图像进行人体部位检测，从而确定人体部位检测结果，实现了在边缘设备上进行人体部位检测的目的，减少了对云端服务器的依赖。
在一些可选实施例中，例如图7所示，步骤103可以包括：
在步骤401中，响应于所述边缘设备处于在线状态，在生成所述目标报文后实时将所述目标报文向所述云端服务器发送。
在步骤402中，响应于所述边缘设备处于未在线状态，生成所述目标报文后存储在所述边缘设备本地，并响应于所述边缘设备由未在线状态转换为在线状态，将在所述边缘设备本地存储的所述目标报文向所述云端服务器发送。
在本公开实施例中，在一个示例中，可以在边缘设备连接到网络的情况下，确定边缘设备处于在线状态，在边缘设备未连接到网络的情况下，确定边缘设备处于未在线状态。
在另一个示例中，在线状态和/或未在线状态可以基于预先设置进行确定，用于区分目标报文的存储状态。
例如，预先设置边缘设备处于在线状态，对应的目标报文的存储状态为不在边缘设备本地进行存储，预先设置边缘设备处于未在线状态，对应的目标报文的存储状态为需要在边缘设备本地进行存储。再例如，预先设置边缘设备在某个时间段处于在线状态，那么在该时间段内，边缘设备处于在线状态，对应的目标报文的存储状态为不在边缘设备本地进行存储。在未处于该时间段内的情况下，边缘设备处于未在线状态，对应的目标报文的存储状态为需要在边缘设备本地进行存储。
在本公开实施例中，边缘设备连接到网络，则确定边缘设备处于在线状态，或边缘设备根据预先设置确定处于在线状态，可以在生成所述目标报文后不在边缘设备本地进行存储，而是实时将目标报文向云端服务器发送。
边缘设备未连接到网络则确定处于未在线状态，或边缘设备根据预先设置确定处于未在线状态，可以在生成所述目标报文后在边缘设备本地进行存储，其中，存储位置可以是边缘设备本地指定的文件夹或目录。一旦边缘设备由未连接到网络转换为连接到网络，或根据预先设置确定由未在线状态转换为在线状态，可以将在所述边缘设备本地存储的所述目标报文向所述云端服务器发送。
上述实施例中，边缘设备处于在线状态，那么可以在生成目标报文后实时向云端服务器发送目标报文。即使边缘设备处于未在线状态也可以得到人脸识别结果和人体部位检测结果，在边缘设备本地存储生成的目标报文，并响应于边缘设备由未在线状态转换为在线状态，将边缘设备本地存储的目标报文向云端服务器发送。实现了数据的同步或异步上传，边缘设备由未在线状态转换为在线状态后就可以在云端服务器上自动查看数据。在不影响后续客流分析的准确性的同时，减少了对云端服务器的依赖，可靠性更高，操作鲁棒性更强。
在一些可选实施例中，步骤101可以包括：
通过预先绑定所述边缘设备的至少一个摄像头采集所述视频流。
在本公开实施例中，可以将至少一个摄像头预先与边缘设备绑定，从而在摄像头采集到视频流后发送给边缘设备。其中，绑定是指在某个设备上添加另一个设备的相关信息，通过另一个的设备的相关信息，让某个设备可以通过网络对另一个设备进行管理、获取另一个设备上的数据等等，在本公开实施例中，至少一个摄像头与边缘设备绑定是指在边缘设备上添加至少一个摄像头各自的摄像头信息，边缘设备通过摄像头信息可以对至少一个摄像头进行管理(例如调整某个摄像头的方向、角度、拍摄时间段等)、获取至少一个摄像头采集的视频流等。
在一个示例中，在绑定过程中，可以在所述边缘设备的指定页面上配置并添加用于绑定所述至少一个摄像头的摄像头信息。指定页面可以是本地硬件管理页面。摄像头信息包括但不限于以下至少之一：摄像头标识信息、摄像头采集的视频流对应的实时流传输协议(Real Time Streaming Protocol，RTSP)地址信息、摄像头用于执行采集视频流的任务指示信息。其中，任务指示信息用于指示摄像头执行采集视频流的任务。
上述实施例中，可以由店铺的店员自主配置摄像头，绑定边缘设备，不需要专业团队支持和维护，安装方式简便，可以实现开箱即用。
在一些可选实施例中，例如图8所示，在步骤103之后，上述方法还可以包括：
在步骤106中，接收所述云端服务器根据所述目标报文进行客流分析后生成的目标操作指令。
在本公开实施例中，云端服务器会根据同一个边缘设备上报的多个目标报文进行客流分析，得到客流分析结果，进一步地，云端服务器可以根据客流分析结果生成目标操作指令。其中，所述目标操作指令包括但不限于以下至少之一：店铺管理操作指令、设备管理操作指令、远程升级操作指令、远程监控操作指令。
在步骤107中，根据所述目标操作指令，执行相应的目标操作。
在本公开实施例中，目标操作指令为店铺管理操作指令的情况下，边缘设备执行的目标操作包括但不限于以下至少之一：对指定区域的人员的行为进行监控、显示受欢迎程度高的商品、显示对店铺的运营时间和/或经营的商品进行建议的内容。
目标操作指令为设备管理操作指令的情况下，边缘设备执行的目标操作包括但不限于以下之一：设置边缘设备启动和/或关闭的时间点、设置边缘设备进行远程升级的指定时间段和/或指定升级条件、设置边缘设备处于在线状态和/或未在线状态的条件、设置在边缘设备本地存储目标报文的文件夹或目录。
目标操作指令为远程升级操作指令的情况下，边缘设备执行的目标操作包括但不限于以下至少之一：获取远程升级数据包、在指定时间段和/或满足指定升级条件的情况下对边缘设备进行升级、将远程升级结果向云端服务器发送、显示远程升级结果。其中，指定时间段和/或指定升级条件可以是云端服务器通过设备管理操作指令发送给边缘设备的，也可以是店员根据业务需求设置的。
目标操作指令为远程监控操作指令的情况下，边缘设备执行的目标操作包括但不限于以下至少之一：将边缘设备的互联网协议地址(Internet Protocol Address，IP)地址和/或媒体访问控制(Media Access Control Address，MAC)地址向云端服务器发送、显示处于远程监控状态、将绑定边缘设备的至少一个摄像头采集的视频流向云端服务器发送、将边缘设备的设备信息向云端服务器发送。
上述实施例中，可以根据云端服务器发送的目标操作指令执行相应的目标操作，实现通过云端服务器对边缘设备进行控制和远程管理，从而不需要专业团队对边缘设备进行管理和维护，且边缘设备的部署安装方式简洁易操作，用户可以开箱即用。
本公开还提供了另一种客流分析方法，该方法可以用于云端服务器，在本公开实施例中，云端服务器可以指进行云计算的服务器。例如图9所示，该方法可以包括以下步骤：
在步骤501中，接收边缘设备发送的目标报文。
在步骤502中，根据所述目标报文进行客流分析，得到与所述目标报文对应的店铺的客流分析结果。
上述实施例中，可以将对视频流中的图像的视觉任务处理过程部署在边缘设备上，云端服务器负责根据边缘设备发送的目标报文进行客流分析，减少了边缘设备对云端服务器的依赖，使得边缘服务器的维护和管理不需要专业团队支持，更适用于经营规模较小的店铺的场景。
在一些可选实施例中，目标报文包括但不限于以下至少之一：与人脸识别任务对应的第一报文、与目标部位检测任务对应的第二报文。
相应地，步骤502可以包括但不限于以下至少之一：
根据所述第一报文，得到在预设时间段内进入指定区域的会员人数、非会员人数、总人数、年龄分布情况、性别分布情况、是否实时推送人脸识别结果中的至少一项；
根据所述第二报文，得到在所述预设时间段内进入指定区域的到访人次。
其中，预设时间段可以指预先设置的一个时间段，也可以是根据接收到的目标报文确定的时间段。例如，预先设置的时间段为营业时间段，每天上午10点到晚上11点，或者云端服务器在一个月内最早接收到的目标报文的时间点为1号的10点10分，最晚接收到目标报文的时间点为31号的晚上5点，则预设时间段可以为该月1号的早上10点10分到31号的晚上5点。
指定区域至少包括店铺内的部分区域，是绑定了边缘设备的摄像头所能够覆盖的区域，包括但不限于店铺内的部分区域、整个店铺内的区域、店铺外的相关区域，其中，店铺外的相关区域可以包括但不限于店铺入口区域、店铺外进行活动宣传的区域、店铺人员较为关心的区域(店铺所在商场入口区域、电梯口区域等)。
人数是指去重后得到的结果，人次则是指不需要去重得到的结果，例如得到的在预设时间段内进入指定区域的到访人次为3人，其中一人进入指定区域2次，则通过去重得到的进入指定区域的总人数为2人，到访人次为3人次。
再例如，根据第二报文可以直接得到在预设时间段内曾经进入指定区域的到访人次，假设为12人次(这些人次中可能是不同的人员，也可能是至少一个人员多次进入该覆盖区域)。根据第一报文则可以进一步得到在该预设时间段内进入指定区域的会员人数，假设为2人，非会员人数为6人，总人数为8人，年龄分布情况包括20-25岁4人、25-30岁2人、40-45岁1人、45岁以上1人，性别分布情况包括男人1人、女人7人。
上述实施例中，可以根据边缘设备的人体部位检测结果快速得到预设时间段内进入指定区域的到访人次，以及根据边缘设备的人脸识别结果可以进行更具体的客流分析，可用性更高。
在一些可选实施例中，例如图10所示，上述方法还可以包括：
在步骤503中，根据所述目标报文向所述边缘设备和/或与所述目标报文对应的终端设备发送实时到访推送信息。
在本公开实施例中，云端服务器在接收到边缘设备上报的目标报文后，根据目标报文确定实时到访推送信息，可以在边缘设备处于在线状态的情况下，向边缘设备发送该实时到访推送信息。其中，实时到访推送信息可以包括但不限于以下之一：人员类型、推送的具体内容，推送的具体内容例如该人员历史喜欢、当季店铺内的新款、会员优惠活动等，本公开对此不作限定。
在本公开实施例中，云端服务器还可以根据预存的与目标报文对应的用户的终端设备标识，向终端设备发送实时到访推送信息。在该终端设备上已经安装了与云端服务器对应的应用程序的情况下，可以通过该应用程序在终端设备上显示接收到的实时到访推送信息。
在一个示例中，云端服务器可以针对至少一个人员类型对应的终端设备发送实时到访推送信息。在另一个示例中，云端服务器可以针对指定人员类型对应的终端设备发送实时到访推送信息，指定人员类型包括但不限于以下至少之一：会员、普通顾客、黑名单成员。
上述实施例中，可以由云端服务器根据目标报文，向实时到访推送信息给边缘设备和/或终端设备发送实时到访推送信息，便于店铺的店员更好地为顾客提供服务，可用性更高。
在一些可选实施例中，例如图11所示，上述方法还可以包括：
在步骤504中，根据所述客流分析结果，生成目标操作指令。
根据客流分析结果，云端服务器认为需要对店铺进行管理，则可以将店铺管理操作指令发送给边缘设备，如果认为需要对边缘设备进行管理，则可以发送设备管理操作指令到边缘设备。在边缘设备需要升级时，也可以由云端服务器发送远程升级操作指令给边缘设备，同时也可以将升级所需要的数据通过压缩包形式发送给边缘设备，以便边缘设备进行升级。另外，云端服务器根据客流分析结果，如果认为数据可能出现误差，但是不知道是什么原因造成的误差的情况下，也可以由云端服务器对边缘设备进行远程监控操作。
在步骤505中，发送所述目标操作指令到所述边缘设备。
在本公开实施例中，边缘设备在接收到目标操作指令后，会执行对应的目标操作。
上述实施例中，云端服务器可以发送目标操作指令让边缘设备执行相应的目标操作，实现通过云端服务器对边缘设备进行控制和远程管理的目的，边缘设备可以不需要专业团队进行管理和维护，可用性更高。
在一些可选实施例中，边缘设备与云端服务器的架构如图12所示。
其中，边缘设备可以部署在线下经营规模较小的店铺中，例如零售门店、学校、幼儿园、餐饮店等。该边缘设备预先绑定至少一个摄像头，至少一个摄像头可以部署在店铺内部、店铺门口、收银台、店铺所在位置的楼梯口等指定区域位置，以便拍摄到画质清晰的视频流。绑定过程与上述实施例中的绑定过程相同，在此不再赘述。
摄像头采集了视频流之后，向边缘设备发送视频流。边缘设备可以采用模块化方式对所述视频流中的图像进行视觉任务处理，得到任务处理结果，以及将报文发送给云端服务器、进行云边协调等操作。
在本公开实施例中，边缘设备可以依次通过人脸检测与跟踪模块对视频流中的图像进行人脸区域检测与跟踪，通过人脸质量检测模块检测采集的视频流中的人脸图像质量，通过人脸特征提取模块提取第一人脸特征信息，以及通过人脸库比对模块将第一人脸特征信息与第一人脸库中的人脸特征信息进行比对。
另外，边缘设备还可以通过人体部位检测模块对头肩部位等人体关键部位进行检测与跟踪。
边缘设备上的第一人脸库可以采用但不限于已经采集了人脸特征信息和对应的人脸标识信息的数据库，所包括的人脸特征信息对应的人员类型属于以下之一：会员、白名单成员、黑名单成员，第二人脸库可以动态保存实时识别出的第一人脸特征信息以及与第一人脸特征信息对应的关联信息，且所包括的人脸特征信息对应的人员类型与第一人脸库的不同，包括但不限于普通顾客或普通用户。边缘设备可以通过人脸库管理模块对第一人脸库和/或第二人脸库进行管理。
边缘设备在线的情况下，可以通过报文模块生成目标报文并将目标报文向云端服务器发送，边缘设备处于未在线的情况下，报文模块用于生成并存储目标报文在边缘设备本地，并在边缘设备由未在线状态转换为在线状态，立即将在边缘设备本地存储的目标报文向云端服务器发送。
边缘设备可以通过摄像头管理模块绑定至少一个摄像头，从而采集视频流，另外也可以通过摄像头管理模块对至少一个摄像头进行管理控制。
此外，边缘设备可以通过系统设置模块对自身进行网络和软件的管理。
云边协同模块可以与云端服务器进行目标操作指令的交互，以便让边缘设备根据目标操作指令执行相应的目标操作。
对于云端服务器而言，同样可以采用模块化方式实现管理。其中，客流统计模块可以用于根据边缘设备发送的目标报文进行客流统计分析，到访推送模块可以在边缘设备处于在线状态的情况下，根据目标报文进行实时到访推送，将实施到访推送信息向边缘设备和/或终端设备发送。账号管理模块可以用于根据边缘设备提供的账号等信息进行边缘设备的注册/登录等管理。店铺管理模块、设备管理模块、远程升级管理模块和远程监控管理模块可以与边缘设备的云边协同模块进行交互，对边缘设备进行目标操作指令的推送，以便让边缘设备进行相应的目标操作。
在本公开实施例中，云端服务器可以实现软件即服务(Software-as-a-service)的能力输出，包括但不限于以下至少之一：客流看板能力输出(店铺的实时和/或历史客流)、实时到访提醒能力输出(该顾客属于会员、非会员还是黑名单成员)、边缘设备的注册登录输出、店铺管理能力输出(创建和/或编辑店铺管理信息)、设备管理能力输出(绑定边缘设备、升级边缘设备、监控边缘设备)。
上述实施例中，边缘设备和摄像头的安装过程简洁，不需要专业团队支持就可以实现，用户可以开箱即用，更加适用于经营规模较小的店铺。另外，可与将视觉任务处理过程部署在边缘设备上，云端服务器进行客流分析统计和saas能力输出展示，减少了边缘设备对云端服务器的依赖。
与前述方法实施例相对应，本公开还提供了装置的实施例。
如图13所示，图13是本公开根据一示例性实施例示出的一种客流分析装置框图，所述装置用于边缘设备，包括：采集模块610，用于采集指定区域的视频流；其中，所述指定区域至少包括店铺内的部分区域；视觉任务处理模块620，用于对所述视频流中的图像进行视觉任务处理，得到任务处理结果；第一执行模块630，用于按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文，并将所述目标报文向云端服务器发送。
在一些可选实施例中，所述视觉任务包括以下至少之一：人脸识别任务、人体部位检测任务；所述报文格式包括按照预设字段顺序排列的至少一个报文字段；其中，所述至少一个报文字段包括以下至少之一：报文生成时间戳字段、上报报文的边缘设备标识字段、用于采集所述视频流的摄像头标识字段、与所述任务处理结果对应的结果信息字段；所述视觉任务包括所述人脸识别任务，所述结果信息字段包括以下至少之一：身份标识信息字段、性别信息字段、年龄信息字段、人员类型信息字段；所述视觉任务包括所述人体部位检测任务，所述结果信息字段包括用于指示存在人员进入所述指定区域的事件字段。
在一些可选实施例中，在所述视觉任务包括人脸识别任务的情况下，所述任务处理结果包括人脸识别结果；所述视觉任务处理模块包括：提取子模块，用于提取所述视频流中的图像所包括的人脸特征，得到第一人脸特征信息；比对子模块，用于将所述第一人脸特征信息与所述边缘设备本地存储的第一人脸库中的人脸特征信息进行比对，得到比对结果；第一确定子模块，用于响应于所述比对结果为所述第一人脸特征信息与所述第一人脸库中的第二人脸特征信息匹配，将所述第一人脸库中与所述第二人脸特征信息对应的人脸标识信息作为人脸识别结果。
在一些可选实施例中，所述视觉任务处理模块还包括：获取子模块，用于将所述第一人脸特征信息输入预先训练好的人脸属性检测神经网络，获得所述人脸属性检测神经网络输出的与所述第一人脸特征信息对应的人脸属性信息；所述第一确定子模块包括：确定单元，用于将所述人脸标识信息和与所述第一人脸特征信息对应的人脸属性信息中的至少一项作为所述人脸识别结果。
在一些可选实施例中，所述装置还包括：存储模块，用于响应于所述比对结果为所述第一人脸库中不存在与所述第一人脸特征信息匹配的人脸特征信息，在所述边缘设备本地的第二人脸库中，存储所述第一人脸特征信息以及与所述第一人脸特征信息对应的关联信息。
在一些可选实施例中，所述第一人脸库所包括的人脸特征信息对应的人员类型属于以下之一：会员、白名单成员、黑名单成员；所述第一执行模块包括：报文生成子模块，用于响应于所述人脸识别结果指示所述第一人脸特征信息对应的人员类型不属于所述白名单成员，按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文。
在一些可选实施例中，所述装置还包括：第二执行模块，用于接收并显示所述云端服务器根据所述目标报文发送的实时到访推送信息。
在一些可选实施例中，在所述视频分析任务包括人体部位检测任务的情况下，所述任务处理结果包括人体部位检测结果；所述视觉任务处理模块包括：检测子模块，用于通过预先训练好的人体部位检测神经网络，检测所述视频流中的多帧图像所包括的人体部位和所述人体部位对应的追踪标识；第二确定子模块，用于响应于确定所述多帧图像中时序在后的图像相对于时序在前的图像出现对应新的追踪标识的人体部位，确定所述人体部位检测结果为检测到存在人员进入指定区域的事件。
在一些可选实施例中，所述第一执行模块包括：发送子模块，用于响应于所述边缘设备处于在线状态，在生成所述目标报文后实时将所述目标报文向所述云端服务器发送；或是，执行子模块，用于响应于所述边缘设备处于未在线状态，生成所述目标报文后存储在所述边缘设备本地，并响应于所述边缘设备由未在线状态转换为在线状态，将在所述边缘设备本地存储的所述目标报文向所述云端服务器发送。
在一些可选实施例中，所述采集模块包括：采集子模块，用于通过预先绑定所述边缘设备的至少一个摄像头采集所述视频流。
在一些可选实施例中，所述装置还包括：第三执行模块，用于在所述边缘设备的指定页面上配置并添加用于绑定所述至少一个摄像头的摄像头信息。
在一些可选实施例中，所述摄像头信息包括以下至少之一：摄像头标识信息、摄像头采集的视频流对应的实时流传输协议RTSP地址信息、摄像头用于执行采集视频流的任务指示信息。
在一些可选实施例中，所述装置还包括：第二接收模块，用于接收所述云端服务器根据所述目标报文进行客流分析后生成的目标操作指令；第四执行模块，用于根据所述目标操作指令，执行相应的目标操作。
在一些可选实施例中，所述目标操作指令包括以下至少之一：店铺管理操作指令、设备管理操作指令、远程升级操作指令、远程监控操作指令。
如图14所示，图14是本公开根据一示例性实施例示出的另一种客流分析装置框图，所述装置用于云端服务器，包括：第一接收模块710，用于接收边缘设备发送的目标报文；客流分析模块720，用于根据所述目标报文进行客流分析，得到与所述目标报文对应的店铺的客流分析结果。
在一些可选实施例中，所述目标报文包括以下至少之一：与人脸识别任务对应的第一报文、与人体部位检测任务对应的第二报文；所述客流分析模块包括以下至少之一：第一分析子模块，用于根据所述第一报文，得到在预设时间段内进入指定区域的会员人数、非会员人数、总人数、年龄分布情况、性别分布情况中的至少一项；其中，所述指定区域至少包括所述店铺内的部分区域；第二分析子模块，用于根据所述第二报文，得到在所述预设时间段内进入所述指定区域的到访人次。
在一些可选实施例中，所述装置还包括：第一发送模块，用于根据所述目标报文，向所述边缘设备和/或与所述目标报文对应的终端设备发送实时到访推送信息。
在一些可选实施例中，所述装置还包括：指令生成模块，用于根据所述客流分析结果，生成目标操作指令；第二发送模块，用于向所述边缘设备发送所述目标操作指令。
在一些可选实施例中，所述目标操作指令包括以下至少之一：店铺管理操作指令、设备管理操作指令、远程升级操作指令、远程监控操作指令。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本公开实施例还提供了一种边缘设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现上述用于边缘设备的任一项所述的客流分析方法。
根据本公开实施例的第六方面，提供一种云端服务器，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现上述用于云端服务器的任一项所述的客流分析方法。
本公开实施例还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述任一所述的客流分析方法。
在一些可选实施例中，本公开实施例提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的客流分析方法的指令。
在一些可选实施例中，本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的客流分析方法的操作。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
本公开实施例还提供了一种客流分析装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为调用所述存储器中存储的可执行指令，实现上述任一项所述的客流分析方法。
图15为本公开实施例提供的一种客流分析装置的硬件结构示意图。该客流分析装置810包括处理器811，还可以包括输入装置812、输出装置818和存储器814。该输入装置812、输出装置818、存储器814和处理器811之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
可以理解的是，图15仅仅示出了一种客流分析装置的简化设计。在实际应用中，客流分析装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本公开实施例的客流分析装置都在本公开的保护范围之内。本公开实施例还提供了一种客流分析系统，图16为本公开实施例提供的一种客流分析系统的硬件结构示意图，包括：边缘设备910，以及云端服务器920。
其中，边缘设备910将采集指定区域的视频流；其中，所述指定区域至少包括店铺内的部分区域；对所述视频流中的图像进行视觉任务处理，得到任务处理结果；按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文，并将所述目标报文向云端服务器920发送；
云端服务器920接收边缘设备910发送的目标报文后，根据所述目标报文进行客流分析，得到与所述目标报文对应的店铺的客流分析结果。
进一步地，云端服务器920根据所述目标报文，向所述边缘设备910发送实时到访推送信息，和/或云端服务器920根据客流分析结果，向边缘设备910发送目标操作指令。边缘设备910接收到实时到访推送信息后进行显示，和/或接收到目标操作指令后，执行相应的目标操作。
上述实施例中，将对视频流中的图像的视觉任务处理过程部署在客流分析系统中的边缘设备上，边缘设备根据事件任务处理结果生成目标报文，并将目标报文向客流分析系统中的云端服务器发送，云端服务器可以直接根据边缘设备发送的目标报文进行客流分析，从而减少了边缘设备对云端服务器的依赖，更适用于经营规模较小的店铺的场景。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (19)

1.一种客流分析方法，其特征在于，用于边缘设备，包括：
采集指定区域的视频流；其中，所述指定区域至少包括店铺内的部分区域；
对所述视频流中的图像进行视觉任务处理，得到任务处理结果；
按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文，并将所述目标报文向云端服务器发送。
2.根据权利要求1所述的方法，其特征在于，在所述视觉任务包括人脸识别任务的情况下，所述任务处理结果包括人脸识别结果；
所述对所述视频流中的图像进行视觉任务处理，得到任务处理结果，包括：
提取所述视频流中的图像所包括的人脸特征，得到第一人脸特征信息；
将所述第一人脸特征信息与所述边缘设备本地存储的第一人脸库中的人脸特征信息进行比对，得到比对结果；
响应于所述比对结果为所述第一人脸特征信息与所述第一人脸库中的第二人脸特征信息匹配，将所述第一人脸库中与所述第二人脸特征信息对应的人脸标识信息作为人脸识别结果。
3.根据权利要求2所述的方法，其特征在于，所述对所述视频流中的图像进行视觉任务处理，得到任务处理结果，还包括：
将所述第一人脸特征信息输入预先训练好的人脸属性检测神经网络，获得所述人脸属性检测神经网络输出的与所述第一人脸特征信息对应的人脸属性信息；
所述将所述第一人脸库中与所述第二人脸特征信息对应的人脸标识信息作为人脸识别结果，包括：
将所述人脸标识信息和与所述第一人脸特征信息对应的人脸属性信息中的至少一项作为所述人脸识别结果。
4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
响应于所述比对结果为所述第一人脸库中不存在与所述第一人脸特征信息匹配的人脸特征信息，在所述边缘设备本地的第二人脸库中，存储所述第一人脸特征信息以及与所述第一人脸特征信息对应的关联信息。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述第一人脸库所包括的人脸特征信息对应的人员类型属于以下之一：会员、白名单成员、黑名单成员；
所述按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文，包括：
响应于所述人脸识别结果指示所述第一人脸特征信息对应的人员类型不属于所述白名单成员，按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文。
6.根据权利要求2-5任一项所述的方法，其特征在于，所述方法还包括：
接收并显示所述云端服务器根据所述目标报文发送的实时到访推送信息。
7.根据权利要求1-6任一项所述的方法，其特征在于，在所述视频分析任务包括人体部位检测任务的情况下，所述任务处理结果包括人体部位检测结果；
所述对所述视频流中的图像进行视觉任务处理，得到任务处理结果，包括：
通过预先训练好的人体部位检测神经网络，检测所述视频流中的多帧图像所包括的人体部位和所述人体部位对应的追踪标识；
响应于确定所述多帧图像中时序在后的图像相对于时序在前的图像出现对应新的追踪标识的人体部位，确定所述人体部位检测结果为检测到存在人员进入指定区域的事件。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述将所述目标报文向云端服务器发送，包括：
响应于所述边缘设备处于在线状态，在生成所述目标报文后实时将所述目标报文向所述云端服务器发送；
或是，响应于所述边缘设备处于未在线状态，生成所述目标报文后存储在所述边缘设备本地，并响应于所述边缘设备由未在线状态转换为在线状态，将在所述边缘设备本地存储的所述目标报文向所述云端服务器发送。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述将所述目标报文向云端服务器发送之后，所述方法还包括：
接收所述云端服务器根据所述目标报文进行客流分析后生成的目标操作指令；
根据所述目标操作指令，执行相应的目标操作。
10.一种客流分析方法，其特征在于，用于云端服务器，包括：
接收边缘设备发送的目标报文；
根据所述目标报文进行客流分析，得到与所述目标报文对应的店铺的客流分析结果。
11.根据权利要求10所述的方法，其特征在于，所述目标报文包括以下至少之一：与人脸识别任务对应的第一报文、与人体部位检测任务对应的第二报文；
所述根据所述目标报文进行客流分析，得到与所述目标报文对应的店铺的客流分析结果，包括以下至少之一：
根据所述第一报文，得到在预设时间段内进入指定区域的会员人数、非会员人数、总人数、年龄分布情况、性别分布情况中的至少一项；其中，所述指定区域至少包括所述店铺内的部分区域；
根据所述第二报文，得到在所述预设时间段内进入所述指定区域的到访人次。
12.根据权利要求10或11所述的方法，其特征在于，所述方法还包括：
根据所述目标报文，向所述边缘设备和/或与所述目标报文对应的终端设备发送实时到访推送信息。
13.根据权利要求10-12任一项所述的方法，其特征在于，所述方法还包括：
根据所述客流分析结果，生成目标操作指令；
向所述边缘设备发送所述目标操作指令。
14.一种客流分析装置，其特征在于，用于边缘设备，包括：
采集模块，用于采集指定区域的视频流；其中，所述指定区域至少包括店铺内的部分区域；
视觉任务处理模块，用于对所述视频流中的图像进行视觉任务处理，得到任务处理结果；
第一执行模块，用于按照与所述视觉任务对应的报文格式，根据所述任务处理结果，生成目标报文，并将所述目标报文向云端服务器发送。
15.一种客流分析装置，其特征在于，用于云端服务器，包括：
第一接收模块，用于接收边缘设备发送的目标报文；
客流分析模块，用于根据所述目标报文进行客流分析，得到与所述目标报文对应的店铺的客流分析结果。
16.一种边缘设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现权利要求1-9中任一项所述的客流分析方法。
17.一种云端服务器，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现权利要求10-13中任一项所述的客流分析方法。
18.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-9或10-13任一所述的客流分析方法。
19.一种客流分析系统，其特征在于，包括：权利要求16所述的边缘设备，以及权利要求17所述的云端服务器。
CN202010670971.2A 2020-07-13 2020-07-13 客流分析方法及装置、存储介质和系统 Pending CN111881785A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010670971.2A CN111881785A (zh) 2020-07-13 2020-07-13 客流分析方法及装置、存储介质和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010670971.2A CN111881785A (zh) 2020-07-13 2020-07-13 客流分析方法及装置、存储介质和系统

Publications (1)

Publication Number Publication Date
CN111881785A true CN111881785A (zh) 2020-11-03

Family

ID=73150962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010670971.2A Pending CN111881785A (zh) 2020-07-13 2020-07-13 客流分析方法及装置、存储介质和系统

Country Status (1)

Country Link
CN (1) CN111881785A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347909A (zh) * 2020-11-05 2021-02-09 上海蜂雀网络科技有限公司 一种零售门店出入口客流统计方法
CN113222637A (zh) * 2021-02-26 2021-08-06 深圳前海微众银行股份有限公司 门店访客信息的架构方法、装置、设备、介质及程序产品
CN114338353A (zh) * 2021-12-31 2022-04-12 新开普电子股份有限公司 一种基于云边协同的物联网平台运维方法
WO2023272431A1 (zh) * 2021-06-28 2023-01-05 华为技术有限公司 图像处理方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809178A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种基于人脸属性的人群分析方法及装置
CN106845738A (zh) * 2015-12-03 2017-06-13 小米科技有限责任公司 人群数目推送方法及装置
CN108416258A (zh) * 2018-01-23 2018-08-17 华侨大学 一种基于人体部位模型的多人体跟踪方法
CN108805111A (zh) * 2018-09-07 2018-11-13 杭州善贾科技有限公司 一种基于人脸识别的客流检测系统及其检测方法
WO2019001363A1 (zh) * 2017-06-30 2019-01-03 阿里巴巴集团控股有限公司 实体店铺应用系统、用户信息处理方法及装置
CN109345316A (zh) * 2018-10-23 2019-02-15 出门问问信息科技有限公司 信息处理方法、装置、电子设备及计算机可读存储介质
CN109729144A (zh) * 2018-11-27 2019-05-07 广州市科传计算机科技股份有限公司 离线传输系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809178A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种基于人脸属性的人群分析方法及装置
CN106845738A (zh) * 2015-12-03 2017-06-13 小米科技有限责任公司 人群数目推送方法及装置
WO2019001363A1 (zh) * 2017-06-30 2019-01-03 阿里巴巴集团控股有限公司 实体店铺应用系统、用户信息处理方法及装置
CN108416258A (zh) * 2018-01-23 2018-08-17 华侨大学 一种基于人体部位模型的多人体跟踪方法
CN108805111A (zh) * 2018-09-07 2018-11-13 杭州善贾科技有限公司 一种基于人脸识别的客流检测系统及其检测方法
CN109345316A (zh) * 2018-10-23 2019-02-15 出门问问信息科技有限公司 信息处理方法、装置、电子设备及计算机可读存储介质
CN109729144A (zh) * 2018-11-27 2019-05-07 广州市科传计算机科技股份有限公司 离线传输系统和方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347909A (zh) * 2020-11-05 2021-02-09 上海蜂雀网络科技有限公司 一种零售门店出入口客流统计方法
CN113222637A (zh) * 2021-02-26 2021-08-06 深圳前海微众银行股份有限公司 门店访客信息的架构方法、装置、设备、介质及程序产品
WO2023272431A1 (zh) * 2021-06-28 2023-01-05 华为技术有限公司 图像处理方法及装置
CN114338353A (zh) * 2021-12-31 2022-04-12 新开普电子股份有限公司 一种基于云边协同的物联网平台运维方法

Similar Documents

Publication Publication Date Title
CN111881785A (zh) 客流分析方法及装置、存储介质和系统
US11631278B2 (en) Face recognition system, face recognition method, and storage medium
CN110033298B (zh) 信息处理设备及其控制方法、系统和存储介质
CN107103218B (zh) 一种业务实现方法和装置
JP5780348B1 (ja) 情報提示プログラム及び情報処理装置
US20180040046A1 (en) Sales management device, sales management system, and sales management method
JP2008152810A (ja) 顧客情報収集管理システム
CN111597999A (zh) 一种基于视频检测的4s店销售服务管理方法和系统
CN109447232A (zh) 机器人主动问询方法、装置、电子设备及存储介质
CN109191635B (zh) 基于人脸识别技术的判客方法、装置及存储介质
US10929675B2 (en) Decentralized video tracking
CN112507314B (zh) 客户身份核实方法、装置、电子设备及存储介质
CN112233690A (zh) 双录方法、装置、终端及存储介质
CN113887884A (zh) 商超服务系统
CN207676378U (zh) 一种基于面部识别的商品交易系统
CN111178923A (zh) 线下导购方法、装置及电子设备
CN111383405A (zh) 一种售货处理方法、系统、装置和收银处理方法、装置
CN108985853A (zh) 一种交易的促进方法，装置及系统
JP2016173735A (ja) 顧客情報システム及びプログラム
CN112165514A (zh) 一种确定展示内容的系统及方法
CN112101979A (zh) 广告推送方法及其推送系统
CN114245204B (zh) 基于人工智能的视频面签方法、装置、电子设备及介质
CN114974255A (zh) 基于酒店场景的声纹识别方法、系统、设备及存储介质
KR20230022596A (ko) 인공지능 기반의 영상 분석 모델을 이용하여 무인 매장 고객의 행동 패턴을 분석하는 방법 및 장치
KR20230022598A (ko) 인공지능 모델을 이용하여 분석된 무인 매장 고객 행동 분석 결과를 표현하는 방법 및 장치, 그리고 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201103