CN111598173A - 防占座方法及装置 - Google Patents

防占座方法及装置 Download PDF

Info

Publication number
CN111598173A
CN111598173A CN202010423132.0A CN202010423132A CN111598173A CN 111598173 A CN111598173 A CN 111598173A CN 202010423132 A CN202010423132 A CN 202010423132A CN 111598173 A CN111598173 A CN 111598173A
Authority
CN
China
Prior art keywords
seat
user
state
occupied
identity information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010423132.0A
Other languages
English (en)
Inventor
赖文星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010423132.0A priority Critical patent/CN111598173A/zh
Publication of CN111598173A publication Critical patent/CN111598173A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Educational Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供了一种防占座方法、装置、电子设备及计算机可读存储介质；方法包括：从目标场所中识别被占用的座位中用户的身份信息，根据所述用户的身份信息记录所述座位的已使用状态；当检测到所述用户离开所述座位、且所述座位被物品占据时，根据用户的身份信息获取所述用户的离开位置和离开时长，并根据所述离开位置和所述离开时长记录所述座位的状态；其中，所述状态的类型包括：未使用状态；所述已使用状态；已过期状态；响应于针对所述座位的查询请求，根据所述座位的实时的状态响应所述查询请求。通过本发明，能够有效杜绝无效占座的情况，从而提高座位的利用率。

Description

防占座方法及装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种防占座方法、装置、电子设备及计算机可读存储介质。
背景技术
图书馆一直都是人们学习的必选之地，但是图书馆的自习室空间有限，因此，其所设置的座位数量通常难以满足所有用户的需求。例如，对于学校里的图书馆来说，特别是临近考试的时候，图书馆自习室中的座位更是会被一抢而空，供不应求。而为了能够在图书馆的自习室学习，一些学生会求助同学将课本、水杯等物品放置在空座位上以此来占座，从而避免本人晚到图书馆却无法找到空座的情况。但是占座这种行为对于其他学生来说是非常不公平的，并且会大大降低了图书馆自习室中座位的利用率，不能充分地利用好图书馆的座位资源，同时也会给图书馆的管理工作带来很大的麻烦。
针对上述问题，相关技术提供了采用物理传感器的方式检测座位是否有人使用，再通过无线模块将座位状态上传至中心节点，进而判断是否有人占座，然而，此方案成本较高，且改造复杂；或者是仅仅通过设置计时器来判断用户是否暂离，超时则座位过期，然而，此方案不够灵活，存在无效占座的情况，无法满足实际需求，座位利用率也得不到保证。
发明内容
本发明实施例提供一种防占座方法、装置、电子设备及计算机可读存储介质，能够杜绝无效占座的情况，从而有效提高座位的利用率。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种防占座方法，包括：
从目标场所中识别被占用的座位中用户的身份信息，根据所述用户的身份信息记录所述座位的已使用状态；
当检测到所述用户离开所述座位、且所述座位被物品占据时，根据所述用户的身份信息获取所述用户的离开位置和离开时长，并
根据所述离开位置和所述离开时长记录所述座位的状态；
其中，所述状态的类型包括：未使用状态；所述已使用状态；已过期状态；
响应于针对所述座位的查询请求，根据所述座位的实时的状态响应所述查询请求。
本发明实施例提供一种防占座装置，包括：
识别模块，用于从目标场所中识别被占用的座位中用户的身份信息；
记录模块，用于根据所述用户的身份信息记录所述座位的已使用状态；
获取模块，用于当检测到所述用户离开所述座位、且所述座位被物品占据时，根据所述用户的身份信息获取所述用户的离开位置和离开时长；
所述记录模块，还用于根据所述离开位置和所述离开时长记录所述座位的状态；
其中，所述状态的类型包括：未使用状态；所述已使用状态；已过期状态；
响应模块，用于响应于针对所述座位的查询请求，根据所述座位的实时的状态响应所述查询请求。
上述方案中，所述装置还包括检测模块，用于检测所述目标场所中处于已使用状态的座位；所述识别模块，还用于从座位图像中识别出所述处于已使用状态的座位中所述用户的人脸特征，根据所述人脸特征检索对应的身份信息；或者从座位图像中识别出所述处于已使用状态的座位中所述用户的人体特征，在多个人脸特征中确定与识别出的所述人体特征属于同一用户的人脸特征，查询与所述属于同一用户的人脸特征绑定的身份信息；其中，所述多个人脸特征是在所述目标场所的出入区域进行识别得到，与所述多个人脸绑定的身份信息是基于每个所述人脸特征进行检索得到。
上述方案中，所述识别模块，还用于调用第一神经网络模型执行以下处理：将识别出的所述人体特征与每个所述人脸特征进行匹配，得到识别出的所述人体特征属于不同用户的概率；确定最大概率对应的人脸特征与识别出的所述人体特征属于同一用户；其中，所述第一神经网络模型是以不同样本用户的人脸抠图和人体抠图为训练集训练得到。
上述方案中，所述检测模块，还用于周期性检测所述目标场所中的每个座位，当第n次检测到所述座位坐有用户，第n-1次检测到所述座位未坐有用户，则确定所述座位处于已使用状态；其中，n为正整数；当第m次检测到所述座位未坐有用户，第m-1次检测到所述座位未坐有用户，且第m次检测有物品占据所述座位时，确定所述座位处于被占座状态；其中，m为正整数；当第t次检测所述座位未坐有用户，第t-1次检测到所述座位坐有用户，且第t次检测没有物品占据所述座位时，确定所述座位处于未使用状态；其中，t为正整数。
上述方案中，所述检测模块，还用于通过第二神经网络模型执行以下处理：针对座位图像中的多个候选框，预测每个所述候选框中包括T个类型中任一类型物品的位置的置信度、以及每个所述候选框中包括所述任一类型物品的条件概率；将所述任一类型物品的置信度和对应的条件概率的乘积作为得分，将得分最高的类型以及位置对应作为占据所述座位的物品类型和位置；其中，所述第二神经网络模型是以不同样本座位图像、所述样本座位图像中物品的抠图、以及所述样本座位图像是否被物品占据的标注作为训练集训练得到。
上述方案中，所述获取模块，还用于当检测到所述用户离开所述座位时，以所述用户的身份信息为索引并开始计时，得到所述用户的离开时长；根据所述用户的身份信息，从监控系统查询所述用户在所述目标场所所属的区域中的位置。
上述方案中，所述记录模块，还用于当所述用户未离开所述目标场所时，记录所述座位处于暂时离开状态；当所述用户离开所述目标场所，在第一预设时长内出现在所述目标场所所属区域的第一子区域内，且在第二预设时长内返回所述目标场所时，记录所述座位处于暂时离开状态；当所述用户离开所述目标场所所属区域，或进入所述目标场所所属区域的第二子区域，且在第三预设时长内未返回所述目标场所时，记录所述座位处于已过期状态；设置第四预设时长的计时器，当在所述计时器的时间已经到达，且未检测到所述用户返回所述目标场所时，记录所述座位处于已过期状态。
上述方案中，所述装置还包括设置模块，用于在所述座位中设置图形码或指示灯；并针对所述图形码：引导所述查询请求跳转到座位详情页，在所述座位详情页中显示所述座位的已使用状态或已过期状态；以及针对所述指示灯：控制所述指示灯指示所述座位的已使用状态或已过期状态。
本发明实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的防占座方法。
本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的防占座方法。
本发明实施例具有以下有益效果：
通过综合用户的离开位置和离开时长来记录该用户所绑定的座位的状态，如此，既可以满足用户在离开目标场所前往其他区域(例如食堂就餐、或者去休息区休息)等较长离开时间的需求，又避免了用户离开目标场所所属区域(例如离开学校)时造成座位的浪费，从而大大提高了座位的利用率。
附图说明
图1是本发明实施例提供的防占座系统的一个可选的架构示意图；
图2是本发明实施例提供的服务器的一个可选的结构示意图；
图3是本发明实施例提供的防占座方法的一个可选的流程示意图；
图4是本发明实施例提供的防占座方法的另一个可选的流程示意图；
图5是本发明实施例提供的针对视频帧图像进行处理的一个可选的流程示意图；
图6是本发明实施例提供的针对图书馆中每个座位的状态进行判断的一个可选的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
图书馆一直是人们学习的必选之地，但是图书馆的自习室空间有限，因此，其所设置的座位数量通常难以满足所有用户的需求，例如，对于校图书馆来说，特别是临近考试的时候，图书馆自习室中的座位更是会被一抢而空，供不应求。而为了能够在图书馆的自习室学习，一些学生会求助同学将课本、水杯等物品放置在空座位上以此来占座，从而避免本人晚到图书馆却无法找到空座的情况。但是占座这种行为对于其他学生来说是非常不公平的，并且会大大降低了图书馆自习室中座位的利用率，不能充分地利用好图书馆的座位资源，同时也会给图书馆的管理工作带来很大的麻烦。
针对上述问题，本发明实施例提供了一种防占座方法、装置、电子设备和计算机可读存储介质，能够有效提高座位的利用率。
下面说明本发明实施例提供的防占座设备的示例性应用，本发明实施例提供的防占座设备可以实施为服务器或服务器集群。
需要说明的是，上述的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器，本发明在此不做限制。
下面，将说明防占座设备实施为服务器时的示例性应用。参见图1，图1是本发明实施例提供的防占座系统100的一个可选的架构示意图。其中，防占座系统100包括：服务器200、网络300和终端400，将分别进行说明。
服务器200用于识别出目标场所中每个被占用的座位中用户的身份信息，并根据用户的身份信息记录对应座位的已使用状态；以及在检测到任一用户离开座位、且该座位被物品占据时，获取该用户的离开位置和离开时长，并根据离开位置和离开时长记录该用户对应的座位的实时的状态，随后，服务器200将目标场所中每个座位的实时的状态信息通过网络300发送给终端400。
网络300用于作为服务器200和终端400之间通信的媒介，网络300可以是广域网或者局域网，又或者是二者的组合。
终端400上运行有客户端410，在客户端410的图形界面中展示服务器200下发的目标场所中每个座位的实时的状态。
参见图2，图2是本发明实施例提供的服务器200的结构示意图，图2所示的服务器200包括：至少一个处理器210、存储器240、至少一个网络接口220。服务器200中的各个组件通过总线系统230耦合在一起。可理解，总线系统230用于实现这些组件之间的连接通信。总线系统230除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统230。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
存储器240可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器240可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器240包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器240旨在包括任意适合类型的存储器。
在一些实施例中，存储器240能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统241，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块242，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
在一些实施例中，本发明实施例提供的防占座装置可以采用软件方式实现，图2示出了存储在存储器240中的防占座装置243，其可以是程序和插件等形式的软件，包括以下软件模块：识别模块2431、记录模块2432、获取模块2433和响应模块2434，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在一些实施例中，本发明实施例提供的防占座方法可以结合人工智能云服务技术实现。
人工智能云服务(AIaaS，AI as a Service)是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城，所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自己专属的云人工智能服务。
对于本发明实施例提供的防占座方法，可以将检测出的目标场所中每个座位的实时的状态信息存储到人工智能云服务上，从而，用户可以通过终端设备向人工智能云服务发起查询请求，以获得人工智能云服务返回的目标场所中每个座位的实时的状态信息。
在另一些实施例中，本发明实施例提供的防占座方法也可以结合区块链技术实现。
区块链是指由区块形成的加密的、链式的交易的存储结构。它是一个共享数据库，存储于其中的数据或者信息，具有不可伪造、可以追溯、集体维护的特点。
下面以服务器将目标场所中每个座位的状态上传到区块链网络进行保存为例，说明区块链网络的示例性应用。
首先，服务器在确定出目标场所中每个座位的状态，并将每个座位的状态发送至区块链网络时，生成对应的交易，交易包括：为了上链每个座位的状态所需要调用的智能合约、以及向智能合约传递的参数；交易还包括服务器的数字证书、签署的数字签名，并将交易广播至区块链网络中的共识节点。
接着，区块链网络中的共识节点在接收到交易时，对交易携带的数字证书和数字签名进行验证，验证成功后，根据交易中携带的业务主体的身份，确认业务主体是否是具有交易权限，数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署共识节点自己的数字签名(例如，使用节点的私钥对交易的摘要进行加密得到)，并继续在区块链网络中广播。
然后，区块链网络中的共识节点接收到验证成功的交易后，将交易填充到新的区块中，并进行广播。区块链网络中的共识节点广播的新区块时，会对新区块进行验证，例如，验证新区块中交易的数字签名是否有效，如果验证成功，则将新区块追加到自身所存储的区块链的尾部，并根据交易的结果更新状态数据库，执行新区块中的交易：对于提交的存储目标场所中每个座位的状态的交易，在状态数据库中添加包括每个座位的状态的键值对。
下面再以客户端在区块链网络中查询目标场所中每个座位的状态为例，说明区块链网络的示例性应用。
在一些实施例中，首先对客户端的权限进行验证，当客户端具有发起查询目标场所中每个座位的状态的权限时，可以由客户端生成用于查询目标场所中每个座位的状态的交易并提交到区块链网络中，从共识节点执行交易以从状态数据库中查询相应的目标场所中每个座位的状态信息，并返回客户端。
下面将结合本发明实施例提供的防占座设备实施为服务器时的示例性应用，说明本发明实施例提供的防占座方法。
参见图3，图3是本发明实施例提供的防占座方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。
在步骤S101中，服务器从目标场所中识别被占用的座位中用户的身份信息，并根据用户的身份信息记录座位的已使用状态。
这里，目标场所可以是公共图书馆，例如省图书馆、市图书馆等，供所有公众使用；也可以是非公共的图书馆，例如高校中的图书馆，仅供在校师生使用；还可以是社区中的阅览室等提供座位供社区居民学习的场所。
示例的，以目标场所为学校中的图书馆为例，服务器从学校图书馆中识别被占用的座位中用户(即该校的学生或者老师)的身份信息，并根据用户的身份信息记录对应座位的已使用状态。例如，服务器检测到图书馆的座位A上有学生入座，则识别座位A上入座的学生的身份信息，假设该学生的身份信息为“张三”，随后，服务器根据该学生的身份信息记录座位A的已使用状态，即服务器将座位A与张三进行绑定，并将座位A的状态设置为已使用状态。
示例的，以目标场所为市图书馆为例，服务器从市图书馆中识别被占用的座位中用户(即该市的市民)的身份信息，并根据用户的身份信息记录对应座位的已使用状态。例如，服务器检测到市图书馆的座位B上有市民入座，则识别座位B上入座的市民的身份信息，假设该市民的身份信息为“李四”，随后，服务器根据该市民的身份信息记录座位B的已使用状态，即服务器将座位B与李四进行绑定，并将座位B的状态设置为已使用状态。
在一些实施例中，图3示出的步骤S101中的从目标场所中识别被占用的座位中用户的身份信息，可以通过图4示出的步骤S201至步骤S203实现，将结合图4示出的步骤进行说明。
在步骤S201中，服务器检测目标场所中处于已使用状态的座位。
在一些实施例中，服务器检测目标场所中处于已使用状态的座位可以通过以下方式实现：通过调用部署在目标场所内部的摄像头，对目标场所中所有有用户入座的座位进行拍摄，随后针对拍摄得到的座位图像进行检测。
在步骤S202中，服务器从座位图像中识别出处于已使用状态的座位中用户的人脸特征，根据识别出的人脸特征检索对应的身份信息。
这里，承接上述实施例，在针对目标场所中处于已使用状态的座位进行拍摄得到相应的座位图像后，服务器可以从座位图像中识别出用户的人脸特征，进而根据所识别出的人脸特征检索对应的身份信息。
示例的，以学校图书馆为例，服务器调用部署在学校图书馆内部的摄像头对每个有学生或者老师入座的座位进行拍摄，得到包含有学生或者老师的人脸图像的座位图像，随后，针对座位图像中包含的人脸图像进行特征提取，得到对应的人脸特征，最后，基于所得到的人脸特征检索学校内部自建的师生人脸-身份数据库，找到与该人脸特征最匹配的身份信息，作为该学生或者老师的身份信息。
示例的，以市图书馆为例，服务器调用部署在市图书馆内部的摄像头对每个有市民入座的座位进行拍摄，得到包含有市民的人脸图像的座位图像，随后，针对座位图像中包含的市民的人脸图像进行特征提取，得到对应的人脸特征，最后，基于所得到的人脸特征调用公安部门的数据库接口进行检索，得到与该人脸特征最匹配的身份信息，作为该市民的身份信息。
在步骤S203中，服务器从座位图像中识别出处于已使用状态的座位中用户的人体特征，并在多个人脸特征中确定与所识别出的人体特征属于同一用户的人脸特征，查询与所确定出的属于同一用户的人脸特征绑定的身份信息；其中，多个人脸特征是在目标场所的出入区域进行识别得到，与多个人脸特征绑定的身份信息是基于每个人脸特征进行检索得到。
这里，由于拍摄角度的限制，目标场所内部的摄像头可能无法拍摄到某些座位上用户清晰的人脸图像，而仅能拍摄到用户的人体图像，此时，服务器可以基于所拍摄到的人体图像进行特征提取，得到对应的人体特征，随后，基于所得到的人体特征与针对目标场所的出入区域进行拍摄得到的视频帧图像进行识别得到的多个人脸特征进行匹配，以确定出与所识别出的人体特征属于同一用户的人脸特征，最后，基于所确定出的属于同一用户的人脸特征进行检索，得到该用户的身份信息。
在一些实施例中，服务器在多个人脸特征中确定与所识别出的人体特征属于同一用户的人脸特征可以通过以下方式实现：调用第一神经网络模型执行以下处理：将识别出的人体特征与每个人脸特征进行匹配，得到识别出的人体特征属于不同用户的概率；确定最大概率对应的人脸特征与所识别出的人体特征属于同一用户；其中，第一神经网络模型是以不同样本用户的人脸抠图和人体抠图为训练集训练得到的。
示例的，以学校图书馆为例，在入馆处部署摄像头，确保能够拍摄到在图书馆的开馆期间每个进入图书馆的学生或者老师的人脸图像和人体图像，接着，对所拍摄到的人脸图像和人体图像进行识别，将经图像识别后得到的人脸特征和人体特征存入数据库中，随后，还可以进一步根据时间从门禁系统的刷卡情况找到该学生或者老师的身份信息，进而将身份信息、人脸特征、以及人体特征进行关联并存储。
承接上述示例，并以学生甲为例，当服务器检测到学生甲入座座位A时，服务器调用部署在图书馆内部的摄像头对座位A进行拍摄，由于座位A的位置比较偏僻，摄像头只能拍摄到座位A中学生甲的人体图像，而无法拍摄到学生甲清晰的人脸图像，此时，服务器可以针对所拍摄到的学生甲的人体图像进行特征提取，得到学生甲的人体特征，随后，服务器调用已训练好的神经网络模型，将学生甲的人体特征与通过对部署在入馆处的摄像头拍摄得到的视频帧图像进行识别得到的多个人脸特征进行匹配，以查询到学生甲的人脸特征，从而可以基于所查询到的学生甲的人脸特征在门禁系统(门禁系统中注册有学生或者老师的人脸特征以及对应的身份信息)中找到学生甲的身份信息。
本发明实施例通过将属于同一用户的人脸特征和人体特征进行绑定，如此，即使在某些特定情况下无法获得用户的人脸图像时，也可以仅仅根据用户的人体图像进行用户身份的识别。
在步骤S102中，服务器在检测到用户离开座位、且座位被物品占据时，根据用户的身份信息获取用户的离开位置和离开时长。
这里，用户的离开位置是指用户离开座位后的位置，例如，用户可能离开座位后前往食堂就餐、或者前往宿舍休息，此时，用户的离开位置是指用户就餐的食堂或者休息的宿舍。
在一些实施例中，服务器检测用户离开后的座位上是否被物品占据可以通过以下方式实现：通过第二神经网络模型执行以下处理，以检测出座位上是否被物品占据：针对座位图像中的多个候选框，预测每个候选框中包括T个类型中任一类型物品的位置的置信度、以及每个候选框中包括任一类型物品的条件概率；将任一类型物品的置信度和对应的条件概率的乘积作为得分，将得分最高的类型以及位置对应作为占据座位的物品类型和位置；其中，第二神经网络模型是以不同样本座位图像、样本座位图像中物品的抠图、以及样本座位图像是否被物品占据的标注作为训练集训练得到的。
在另一些实施例中，服务器获取用户的离开位置和离开时长可以通过以下方式实现：当检测到用户离开座位时，以该用户的身份信息为索引并开始计时，得到用户的离开时长；根据用户的身份信息，从监控系统中查询该用户在目标场所所属的区域中的位置。
这里，以用户A为例，当检测到用户A离开目标场所后，服务器可以与监控系统进行通信，并根据用户A的身份信息，从部署在目标场所所属的区域中的多个摄像头中确定出拍摄到用户A的摄像头(即服务器对每个摄像头拍摄得到的视频帧图像进行人脸识别，得到该摄像头所拍摄到的不同用户的身份信息，并判断这些用户中是否存在用户A，若存在，则确定该摄像头拍摄到用户A)，随后，服务器可以将这些拍摄到用户A的摄像头所处的位置，确定为用户A在目标场所所属的区域中出现的位置。
例如，以目标场所为校图书馆为例，当检测到学生甲离开校图书馆时，服务器与校园监控管理系统进行通信，以得到拍摄到学生甲的摄像头，并将这些拍摄到学生甲的摄像头所处的位置，确定为学生甲出现的位置。例如，假设部署在食堂处的摄像头在11:00拍摄到学生甲，则确定学生甲在11:00出现在食堂；而部署在教室门口的摄像头在11:30拍摄到学生甲，则确定学生甲在11:30出现在教室，从而得到学生甲在整个学校中的活动轨迹。
示例的，以学校图书馆为例，当服务器检测到学生甲离开座位A时，继续调用部署在图书馆内部的摄像头对座位A进行拍摄，得到座位A的图像，接着，利用已训练好的神经网络模型对座位A的图像进行识别，以判断出座位A是否被书本、水杯等物品占据。当确定出座位A被物品占据时，服务器针对座位A开始计时，得到学生甲离开座位A的时长，同时，服务器通过网络与校园管理监控系统进行通信，并基于学生甲的身份信息查询学生甲在学校中的位置。
本发明实施例在检测到用户离开座位、且座位被物品占据时，同时获取用户的离开位置和离开时长，从而可以基于离开位置和离开时长综合记录座位的状态，以提高座位的利用率。
在步骤S103中，服务器根据用户的离开位置和离开时长记录座位的状态；其中，座位的状态类型包括：未使用状态；已使用状态；已过期状态。
在一些实施例中，服务器根据用户的离开位置和离开时长记录座位的状态可以通过以下方式实现：当检测到用户未离开目标场所时，记录座位处于暂时离开状态(即用户只是暂时离开座位，座位仍处于已使用状态)；当检测到用户离开目标场所，在第一预设时长内出现在目标场所所属区域的第一子区域内，且在第二预设时长内返回目标场所时，记录座位处于暂时离开状态；当检测到用户离开目标场所所属区域，或进入目标场所所属区域的第二子区域，且在第三预设时长内未返回目标场所时，记录座位处于已过期状态；或者，设置第四预设时长的计时器，当在计时器的时间已经到达，且未检测到用户返回目标场所时，记录座位处于已过期状态。
示例的，以学校图书馆为例，当服务器检测到学生甲离开座位A，但没有离开图书馆时，记录座位A的状态为暂时离开状态，即学生甲只是暂时离开座位A，座位A仍处于已使用状态；当检测到学生甲离开图书馆，且在第一预设时长(例如15分钟)内出现在食堂，并在第二预设时长(例如45分钟)内返回图书馆时，记录座位A的状态为暂时离开状态；当检测到学生甲离开学校，或者进入教室后且在第三预设时长(例如20分钟)内没有返回图书馆时，记录座位A的状态为已过期状态，此时，允许其他学生使用座位A，如此，通过综合考虑学生的离开位置和离开时长，既可以满足学生前往食堂就餐、或者前往宿舍休息等较长离开时间的需求，又避免了学生因为离开学校、或者前往教室上课导致的座位浪费的问题。
在一些实施例中，当目标场所支持用户在线预约座位时，对于目标场所中没有用户入座、且同时没有被物品占据的座位，用户仍然首先需要查询该座位当前所处的状态(这是因为这个座位可能已经被其他用户预约了)，并在确定出该座位处于未使用状态后，才能使用该座位。举例来说，假设学生甲在校图书馆寻找座位时，发现座位A上当前没有学生入座，同时座位A也没有被物品占据，此时，学生甲仍然首先需要查询座位A的实时的状态(例如通过扫描座位A上的二维码来获得座位A当前所处的状态)，当确定出座位A没有被其他学生预约时(即确定出座位A处于未使用状态)，学生甲才能使用座位A。
在一些实施例中，服务器还可以周期性地针对目标场所中的每个座位进行检测，以得到每个座位的实时的状态。
示例的，服务器可以周期性地(例如每隔一秒或者每隔一分钟)检测目标场所中的每个座位，当第n次检测到某个座位坐有用户，第n-1次检测到该座位未坐有用户，则确定该座位处于已使用状态；其中，n为正整数；或者，当第m次检测到某个座位未坐有用户，第m-1次检测到该座位未坐有用户，且第m次检测到有物品占据该座位时，确定该座位处于被占座状态；其中，m为正整数；或者，当第t次检测到某个座位未坐有用户，第t-1次检测到该座位坐有用户，且第t次检测到没有物品占据该座位时，确定该座位处于未使用状态；其中，t为正整数。
在另一些实施例中，当服务器确定出目标场所中座位的使用率超过使用率阈值时，例如当目标场所中80％的座位都有用户入座时，针对处于被占座状态的座位，向对应的用户所关联的终端发送提醒消息，并开始计时；当计时结束后，且检测到该座位仍处于被占座状态时，向目标场所的管理员所关联的终端发送提醒消息。
示例的，以学校图书馆为例，当确定出图书馆中80％的座位有学生或者老师入座时，针对处于被占座状态的座位，向对应的学生或者老师的终端设备发送提醒消息，以使学生或者老师收回占座的物品，并设置倒计时；当倒计时结束后，该学生或者老师仍没有收回占座的物品时，向图书馆管理员的终端设备发送提醒消息，以让管理员前往被占座的座位收回占座的物品。
本发明实施例通过综合考虑用户的离开位置和离开时长来记录座位的状态，既可以满足用户前往食堂就餐等较长离开时间的需求，又避免了用户离开目标场所导致的座位浪费，有效提高了座位的利用率。
在步骤S104中，服务器响应于针对座位的查询请求，并根据座位的实时的状态响应查询请求。
在一些实施例中，服务器响应于针对座位的查询请求，并根据座位的实时的状态响应查询请求可以通过以下方式实现：在座位中设置图形码或者指示灯，针对图形码：引导查询请求跳转至座位详情页，在座位详情页中显示座位的已使用状态或者已过期状态；针对指示灯：控制指示灯指示座位的已使用状态或者已过期状态。
示例的，以学校图书馆为例，可以在图书馆的每个座位上张贴图形码，例如二维码，学生或者老师在使用某个座位前，首先需要通过终端设备(例如手机)上安装的应用扫描座位上的二维码，在对二维码进行解析后将跳转至座位详情页，座位详情页上显示有该座位实时的状态信息，如此，学生或者老师可以根据该座位的实时的状态，选择入座该座位或者选择其他座位。
示例的，也可以在每个座位上配置信号灯，例如LED灯，并以不同的颜色显示座位的实时的状态，例如以红色表示该座位处于已使用状态，以绿色表示该座位处于已过期状态；或者，也可以以明确的文字显示座位的实时的状态，例如显示“已使用”表示该座位当前的状态为已经有人员使用了，请选择其他的座位入座；显示“已过期”或者“未使用”表示该座位当前的状态为无人使用，可以选择入座该座位。
在一些实施例中，当服务器确定出某个座位的实时的状态为已使用状态时，响应查询请求的消息还可以包括占据该座位的用户的身份信息。例如，假设用户甲对座位A进行查询，当服务器确定出座位A当前的状态为已使用状态时，服务器还可以进一步将当前占据座位A的用户的身份信息返回给用户甲。
在另一些实施例中，用户也可以通过网页、或者客户端来进行查询，服务器在接收到用户通过网页、或者客户端发送的查询请求时，向网页、或者客户端返回目标场所中每个座位的实时的状态信息，以在网页、或者客户端的图形界面中显示目标场所中当前每个座位的状态。
本发明实施例通过在目标场所的每个座位中设置图形码或者信号灯，从而用户通过扫码或者观察信号灯即可了解座位的实时的状态，实现简单，改造成本低，同时也避免了后来者与占座者之间的矛盾冲突。
下面继续说明本发明实施例提供的防占座装置243实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器240的防占座装置243中的软件模块可以包括：识别模块2431、记录模块2432、获取模块2433和响应模块2434。
识别模块2431，用于从目标场所中识别被占用的座位中用户的身份信息；记录模块2432，用于根据用户的身份信息记录座位的已使用状态；获取模块2433，用于当检测到用户离开座位、且座位被物品占据时，根据用户的身份信息获取用户的离开位置和离开时长；记录模块2432，还用于根据离开位置和离开时长记录座位的状态；其中，状态的类型包括：未使用状态；已使用状态；已过期状态；响应模块2434，用于响应于针对座位的查询请求，根据座位的实时的状态响应查询请求。
在一些实施例中，防占座装置243还包括检测模块2435，用于检测目标场所中处于已使用状态的座位；识别模块2431，还用于从座位图像中识别出处于已使用状态的座位中用户的人脸特征，根据人脸特征检索对应的身份信息；或者从座位图像中识别出处于已使用状态的座位中用户的人体特征，在多个人脸特征中确定与识别出的人体特征属于同一用户的人脸特征，查询与属于同一用户的人脸特征绑定的身份信息；其中，多个人脸特征是在目标场所的出入区域进行识别得到，与多个人脸绑定的身份信息是基于每个人脸特征进行检索得到。
在一些实施例中，识别模块2431，还用于调用第一神经网络模型执行以下处理：将识别出的人体特征与每个人脸特征进行匹配，得到识别出的人体特征属于不同用户的概率；确定最大概率对应的人脸特征与识别出的人体特征属于同一用户；其中，第一神经网络模型是以不同样本用户的人脸抠图和人体抠图为训练集训练得到。
在一些实施例中，检测模块2435，还用于周期性检测目标场所中的每个座位，当第n次检测到座位坐有用户，第n-1次检测到座位未坐有用户，则确定座位处于已使用状态；其中，n为正整数；当第m次检测到座位未坐有用户，第m-1次检测到座位未坐有用户，且第m次检测有物品占据座位时，确定座位处于被占座状态；其中，m为正整数；当第t次检测座位未坐有用户，第t-1次检测到座位坐有用户，且第t次检测没有物品占据座位时，确定座位处于未使用状态；其中，t为正整数。
在一些实施例中，检测模块2435，还用于通过第二神经网络模型执行以下处理：针对座位图像中的多个候选框，预测每个候选框中包括T个类型中任一类型物品的位置的置信度、以及每个候选框中包括任一类型物品的条件概率；将任一类型物品的置信度和对应的条件概率的乘积作为得分，将得分最高的类型以及位置对应作为占据座位的物品类型和位置；其中，第二神经网络模型是以不同样本座位图像、样本座位图像中物品的抠图、以及样本座位图像是否被物品占据的标注作为训练集训练得到。
在一些实施例中，获取模块2433，还用于当检测到用户离开座位时，以用户的身份信息为索引并开始计时，得到用户的离开时长；根据用户的身份信息，从监控系统查询用户在目标场所所属的区域中的位置。
在一些实施例中，记录模块2432，还用于当用户未离开目标场所时，记录座位处于暂时离开状态；当用户离开目标场所，在第一预设时长内出现在目标场所所属区域的第一子区域内，且在第二预设时长内返回目标场所时，记录座位处于暂时离开状态；当用户离开目标场所所属区域，或进入目标场所所属区域的第二子区域，且在第三预设时长内未返回目标场所时，记录座位处于已过期状态；设置第四预设时长的计时器，当在计时器的时间已经到达，且未检测到用户返回目标场所时，记录座位处于已过期状态。
在一些实施例中，防占座装置243还包括设置模块2436，用于在座位中设置图形码或指示灯；并针对图形码：引导查询请求跳转到座位详情页，在座位详情页中显示座位的已使用状态或已过期状态；以及针对指示灯：控制指示灯指示座位的已使用状态或已过期状态。
需要说明的是，本发明实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本发明实施例提供的防占座装置中未尽的技术细节，可以根据图3-4、6任一附图的说明而理解。
下面，以学校中的图书馆自习室场景为例，说明本发明实施例提供的防占座方法。
校图书馆的自习室一直都是学生学习的必选之地，但是图书馆的自习室空间有限，因此，其所设置的座位数量通常难以满足所有学校学生的需求，特别是临近考试的时候，图书馆自习室中的座位更是会被一抢而空，供不应求。而为了能够在图书馆的自习室学习，一些学生会求助同学将课本、水杯等物品放置在空座位上以此来占座，从而避免本人晚到图书馆却无法找到空座的情况。但是占座这种行为对于其他学生来说是非常不公平的，并且会大大降低了图书馆自习室中座位的利用率，不能充分地利用好图书馆的座位资源，同时也会给图书馆的管理工作带来很大的麻烦。
针对上述问题，相关技术提供了如下几种解决方案：
1)方案A提出了一种基于身份识别卡(例如学生证)和生物识别(例如指纹识别或人脸识别)的防占座系统，其主要组成部分为含有可升降挡板、具有扫描身份识别卡和具备生物识别功能的书桌，该系统在身份识别卡认证、以及生物识别通过后，将降低书桌的挡板，以供学生使用。
2)方案B提供了一种通过压力传感器来判断是否有人入座，通过人脸识别来判断门禁权限，以及通过书桌上的按键、座位上的压力传感器来判断人员是否暂时离开的图书馆自习室座位监测系统。
3)方案C提供了一种通过热释电红外传感器监测座位是否有人使用，以及通过桌上的光敏电阻来判断是否有书本等物品占据桌面的自习室防占座信息处理系统。
4)方案D提供了一种通过人脸识别进行入座人身份识别，以及基于图像识别的姿态检测方案进行人员是否暂离座位的判断的图书馆座位管理系统。
然而，在本发明实施例中发现，相关技术提供的上述几种方案存在如下问题：
1)对于方案A，原有书桌无法继续使用，每张书桌都需要加入身份识别卡识别装置和生物识别装置，导致成本过高；此外，该系统无法判断书桌前是否有人正在使用，只能根据系统里的预约时间进行判断，且也无法识别书桌在使用者暂离期间是否被他人违规占用，功能有限。
2)对于方案B，该方案通过改造原有书桌进行投入使用，但每张书桌都需要增加配合暂离系统的按键、屏幕，每张椅子都需要加入压力传感器，导致改造复杂、成本高；另外，压力传感器可以通过将书本、书包等物品放置在椅子上伪装成使用者未离开的假象，系统的容错率较低；进一步的，该系统也无法判断书桌是否被物品占据，功能有限。
3)对于方案C，该方案也是通过改造原有书桌进行投入使用，但每张书桌都需要增加光敏电阻，每张椅子都需要增加热释电红外传感器，导致改造复杂、成本高；另外，光敏电阻受环境的影响较大，红外传感器也可以通过热水杯伪装成使用者没有离开的假象，系统的容错率较低；进一步的，该系统也无法识别书桌在使用者暂离期间是否被他人违规占用，或者，判断出书桌是否被物品占据等情况，功能有限。
4)对于方案D，该方案仅通过人脸识别来完成座位使用者的身份认证，但有限的摄像头无法保证每张人脸都能一直被清晰地拍摄到，可能存在死角；同时，该方案也无法判断书桌是否被物品占据，功能有限。
进一步的，在本发明实施例中还发现，图书馆自习室防占座的核心不在于预约座位，预约座位只是将线下的排队等位变成了线上的抢占，其最为核心的关键在于需要做到以下两点：
1)监测座位是否被书本等物品占据，且该情况能够实时地被需要入座的同学知晓。需要入座的同学可能因为座位被书本占据从而认为该座位已经有人，或是被占据该座位的同学告知该座位有人在使用，从而找不到座位或者碍于情面不得不另寻座位。
2)暂离系统需要可定制性。相关技术提供的上述几种方案均是仅仅通过设置计时器来判断使用者是否暂离，超时则座位过期。然而，计时器无法获取该同学是前往食堂就餐或者是回宿舍午休，还是离开学校或者是前往教室上课。一般来说，去食堂就餐或者回宿舍午休应该认为是暂离，而离校、上课等不应该算作暂离，也就是说，通过单纯的计时不仅无法满足学生就餐、回宿舍午休等较长时间离开的需求，也无法判断学生是否离馆、离校、或者前往教室上学等情况造成座位的浪费。
鉴于此，本发明实施例提供了一种防占座方法，通过人脸识别进行使用者身份的认证、人体识别和人脸信息进行绑定、对书桌、椅子进行识别以判断出是否有书本等物品占据，进一步的，通过与校园管理监控系统进行通信，以查询使用者在校园内的活动信息，以准确判断出暂离条件是否满足。
本发明实施例提供的防占座方法可以应用于图书馆场景。
在图书馆加入摄像头进行场所的监控，并在每个座位上张贴二维码以供查询该座位的使用情况，或者在每个座位上安装LED灯以颜色显示该座位的使用情况。
示例的，当有人员入馆时，入口处的摄像头将抓拍到该人员的面部信息和人体信息，并进行绑定(即将属于同一人员的人脸信息和人体信息进行绑定)，当图书馆有门禁系统时，还可以进一步直接与门禁系统进行交互以关联该人员的身份(由于门禁系统中已经存在该人员的身份信息，因此可以直接结合该人员的刷卡时间和摄像头拍摄到的人脸图像进行绑定)。
需要说明的是，门禁系统只是可选项(例如部分公共图书馆可能并无门禁系统，在此情况下，当识别出不同的人脸信息时，可以针对这些不同的人脸信息分别新增对应的身份)，下文以假设图书馆存在门禁系统为例进行说明。
当某人想要使用某座位时，则可通过扫描桌面上的二维码来判断该座位是否被使用，或者通过观察安装在桌面上的LED灯的颜色来判断该座位是否被使用。当摄像头拍摄到某座位被某人使用时，则通过人脸识别将该座位与该人员进行绑定，并在系统中将该座位的状态设置为“已使用”。当该使用者暂时离开座位：若其没有离开图书馆，则确定为暂时离开；若其离开图书馆且在第一预设时长(例如15分钟)内出现在食堂且在第二预设时长(例如45分钟)内返回图书馆，则确定为暂时离开；若其离开学校或者进入教室后且在第三预设时长(例如20分钟)内未返回图书馆，则确定座位过期，解除该人员与该座位之间的绑定关系。对于其他情况，则启动第四预设时长(例如30分钟)的计时器，当使用者超时未返回座位时，则确定座位过期，解除该人员与该座位之间的绑定关系。
在一些实施例中，当图书馆的座位使用紧张时(例如当图书馆的上座率超过预设阈值时，示例的，预设阈值可以是80％)，摄像头拍摄到部分座位未被使用却被书本等物品占据，系统在识别到该情况后发送提醒消息至图书馆管理员所关联的终端；若拍摄到某人放置书本等物品在空置座位上时，系统识别到该情况并发送提醒消息给该人员所关联的终端设备，要求其收回占座的物品，在一段时间后若检测到其没有收回占座的物品时，则发送提醒消息至管理员所关联的终端，提醒管理员进行占座物品的清理。
下面针对本发明实施例提供的防占座方法进行具体说明。
本发明实施例提供的防占座方法需要在图书馆入口处部署摄像头，以确保能够拍摄到入馆人员的人脸图像和人体图像；同时，在图书馆内部也部署摄像头，使得能够拍摄到每张座位的情况；随后，使用边缘计算设备或者服务器对摄像头采集得到的视频流图像进行人脸识别、人体识别、以及对每张座位进行识别，以判断出每张座位是否被书本、水杯等物品占据。
示例的，参见图5，图5是本发明实施例提供的针对视频帧图像进行处理的一个可选的流程示意图。如图5所示，视频帧图像包括图书馆入口处部署的摄像头采集得到的视频帧图像、以及图书馆内部部署的摄像头采集得到的视频帧图像。随后，针对视频帧图像中包含的人脸图像进行人脸特征提取、包含的人体图像进行人体特征提取、以及对包含有座位的图像进行检测，以判断出该座位上是否有人，或者该座位是否被书本、水杯等物品占据，并将上述信息发送给服务器。
示例的，对于人脸特征提取，在提取出人脸特征后，还可以基于所提取的人脸特征查找出匹配的身份信息(即将人脸特征与所对应人员的身份进行绑定)，随后，可以进一步进行人体特征匹配，查找到对应的人体信息(即将属于同一人员的人脸信息和人体信息进行绑定)，最后，当确定该人员入座某个座位时，将该人员和该座位进行绑定，并向服务器发送身份-座位的绑定信息。
示例的，对于人体特征提取，在提取出人体特征之后，还可以进一步对该人员的人体动作进行识别，当确定出该人员的人体姿态为坐下时，向服务器发送对应的人体信息。
下面针对图书馆自习室中每个座位对应的状态判断过程进行具体说明。
示例的，参见图6，服务器可以定时(例如每秒或者每分钟)对图书馆中的每个座位的状态进行判断，具体的判断流程如下。
在步骤S601中，服务器判断当前是否有人入座，当有人入座时，执行步骤S602，当没有人入座时，执行步骤S603。
在步骤S602中，服务器判断上一时刻该座位上是否有人，当没有人时，执行步骤S604。
在步骤S603中，服务器判断上一时刻该座位上是否有人，当没有人时，执行步骤S605，当有人时，执行步骤S613。
在步骤S604时，服务器将该座位标记为已使用。
这里，服务器在判断出该座位在上一时刻没有人入座时，则该人员可以使用该座位，服务器将该人员与该座位进行绑定，并将该座位的状态标记为已使用。
在步骤S605中，服务器判断该座位是否被书本等物品占据，当被占据时，执行步骤S606。
在步骤S606中，服务器将该座位的状态标记为被占座，并设置计时器。
这里，服务器定时对每个状态为被占座的座位设置计时器，并进行判断，超时则向管理员所关联的终端发送提醒消息。
在步骤S607中，服务器判断图书馆的入座率是否超出预设阈值，当超出时，执行步骤S608。
在步骤S608中，服务器判断在一定时间内该座位旁是否有人入座，当有人入座时，执行步骤S612；当没有人入座时，执行步骤S609。
在步骤S609中，服务器判断该座位旁边是否有人入座，当没有人入座时，执行步骤S610；当有人入座时，执行步骤S611。
在步骤S610中，服务器向管理员所关联的终端设备发送提醒消息。
在步骤S611中，服务器向该座位旁边的人员所关联的终端设备发送提醒消息。
在步骤S612中，服务器向新入座人员所关联的终端设备发送提醒消息。
在步骤S613中，服务器判断该座位是否被书本等物品占据，当被占据时，执行步骤S614；当没有被占据时，执行步骤S615。
在步骤S614中，服务器将该座位的状态标记为暂时离开。
这里，服务器可以进一步定时对每个状态为暂时离开的座位进行判断，当不满足暂离条件(例如确定出该人员离开学校，或者离开时间超出预设时长时)，则将该座位的状态设置成被占座，并在计时器的时间到达时向管理员所关联的终端发送提醒消息。
在步骤S615中，服务器将该座位的状态标记为未使用。
下面针对本发明实施例提供的防占座方法的一些关键步骤进行具体说明。
(1)人脸-人体特征的绑定
在图书馆入口处部署摄像头，对每个入馆人员的人脸和人体同时进行采集得到视频帧图像，经图像识别后将所提取的人脸特征和人体特征存入数据库中，并进一步根据时间从门禁系统的刷卡情况找到该人员的身份，进而将身份、人脸特征、人体特征的关联关系存入数据库中。
在一些实施例中，对于更新人脸识别、人体特征提取神经网络的参数可以通过以下方式实现：在图书馆闭馆期间，将上一次更新后至闭馆前的所有身份-人脸特征、以及人脸特征-人体特征的数据作为训练集，更新人脸识别、人脸-人体绑定的神经网络的参数，以达到“越用越精准”的目的。
其中，更新人脸识别神经网络的参数的方法与普通深度学习的方法类似，概况如下：
首先从数据库中导出人脸抠图-身份数据集，接着利用该人脸抠图-身份数据集作为输入，通过梯度下降的方法进行人脸识别神经网络参数的更新。
对于负责人脸-人体绑定的神经网络，其实际解决的是：不同情况(例如不同角度、姿态)下的人体图像的分类问题(其样本类别可以通过与人体图像相关联的人脸信息得到)；解决该问题后，就可以将无人脸信息的人体图像和有人脸信息的人体图像进行匹配，从而达到在无人脸信息时，仅通过人体图像进行身份匹配的目的。人脸-人体绑定神经网络的预训练和更新神经网络的参数的步骤和原理类似，这里仅以更新神经网络的参数为例进行说明。
1、数据准备：在图书馆开馆期间，将采集到的可以匹配人脸信息的人体图像按身份进行分类存储，即得到入馆的人体图像集合B1,…,Bn，这里Bi表示第i人的人体图像。由于入馆处的摄像头能够清晰地拍摄到每个入馆人员的人脸图像和人体图像，因此可以保证每一个入馆人员的人体照片的数量|Bi|＞0。此外，由于一天内同一人员更换发型、衣物的概率较小，因此数据集按天来划分并进行迭代训练。
2、损失函数：目的为最大化不同人员的人体图像之间的输出特征的差异、最小化同一人员的人体图像之间的输出特征的差异，例如最大化不同人员的人体图像之间的输出特征向量的cos距离、最小化同一人员的人体图像之间的输出特征向量的cos距离。
在一些实施例中，损失函数可以使用Large-Margin Softmax Loss或AngularSoftmax Loss。当使用Large-Margin Softmax Loss作为损失函数时，其计算公式如下：
Figure BDA0002497695810000251
Figure BDA0002497695810000252
其中，xi表示第i个输入特征，yi表示第i个输入特征对应的标签，W为激活函数，m为正整数变量。
相比于传统的softmax函数，Large-Margin Softmax Loss可以加大特征之间的分离程度。
3、训练步骤：训练过程可以按照常规的卷积神经网络训练方法进行训练，并通过梯度下降的方法迭代更新网络参数。
需要说明的是，上述训练过程中batch size(一次训练所选取的样本数)、epoch(将所有训练样本训练一次的过程)、learning rate(学习率，决定着目标函数能否收敛到局部最小值以及何时收敛到最小值)和损失函数中的参数选择(例如m)的选择策略由预训练决定，本发明实施例在此不再赘述。
(2)座位是否被物品占据的判断
对于书桌上有无物品占据的判断，可以通过以下方式实现：首先识别出视频帧图像中的书桌与座位并进行抠图，随着识别出抠图中对应的书桌、座位上是否有放置物品。
在一些实施例中，在部署前，可以在服务器中内置已训练好的神经网络，如此，可以直接对部署在图书馆内部的摄像头采集得到的视频帧图像进行识别，在一定的精确度下识别出上述情况。当然，为了进一步保证识别的准确性，还可以针对图书馆中的书桌、座位进行一轮训练。
示例的，在网页或者客户端模块中，管理员可以针对视频画面标注出书桌、椅子的位置，以及书桌、椅子上有无放置书本等物品。随后，将视频画面、对应的抠图和有无书本占据的标注结果作为训练集，对神经网络进行一轮训练。该部分预训练和部署后的训练步骤、原理类似，下面仅以部署后的训练为例进行说明。
该步骤的目的是确定出图像中书桌、座位的位置、以及图像中书本、作业本、水杯、书包等物品的位置(通过物品和座位位置的比较即可确定出某座位上是否放置有物品)，具体实现过程如下：首先将图像划分成S×S个网格，对于T种物品，每个网格预测每种物品落在此网格内部分的中心距离该网格边界的距离(坐标)、该物品落在此网格内部分的长和宽、该物品落在此网格内的置信度(置信度的衡量可以是
Figure BDA0002497695810000261
这里T为该物品在该网格中的预测位置的预测面积，P为该物品在该网格中的实际位置的实际面积，即预测与实际的交叉部分的面积与预测与实际的总面积之比)与该网格包含T种物品中其中一个的条件下该物品落在该网格内的条件概率。
其中，目标检测算法的具体实现可以采用YOLO v3、YOLOv3-Tiny、或RetinaNet等，本发明实施例在此不做具体的限定。
需要说明的是，上述训练过程在适配图书馆的过程中，为提高识别精度，需要管理员手动框选一些图像并进行标注，由于此步骤是人工完成的，故得到的数据集的大小有限，因此，在另一些实施例中，为了进一步增加数据集的大小、提高训练精度，可以通过“伪造”训练数据的方法进行。
例如，可以对原始图像进行旋转、镜像缩放、伸缩等处理，生成新的训练图像；或者，也可以通过将预置的物品抠图和空白桌面、座位图像进行结合来生成新的训练图像，还可以通过已训练好的深度对抗网络来生成包含有物品的桌面、座位图像，其具体实现过程如下。
训练两个深度对抗网络，第一个为实现从无物品占据的座位图像(集合记为X)生成有物品占据的座位图像(集合记为Y)的深度对抗网络，包括生成器GX和判别器DY；第二个为实现从Y到X的深度对抗网络，包括生成器GY和判别器DX，该方案的一种具体实现可以参照CycleGan，其损失函数的具体公式如下：
L(GX,GY)＝L(GX,DY,X,Y)+L(GY,DX,Y,X)+λL*(GX,GY)
其中，L(GX,DY,X,Y)和L(GY,DX,Y，X)都是深度对抗网络中通用的损失函数，即最大化判别器的准确度的同时通过生成器使得该值最小化；L*(GX,GY)为X中图像x通过GX生成的Y中图像GX(x)，再通过GY生成X中图像GY(GX(x))和x的差异加上X中图像x通过GX生成的Y中图像GX(x)，再通过GY生成X中图像GY(GX(x))和x的差异和Y中图像y通过GY生成的X中图像GY(x)，再通过GX生成Y中图像GX(GY(y))和y的差异。
(3)在每个座位上张贴二维码或者安装LED指示灯
在一些实施例中，可以在桌面上或者座椅上通过张贴二维码或者配置LED指示灯来显示该座位当前的状态。
示例的，用户通过终端设备扫描桌面上的二维码后，跳转至查询该座位情况的网页，网页后台系统检查该座位的状态信息并返回给用户终端，其中，座位的状态信息包括该座位是否被占用、以及暂离的剩余时间等。
示例的，单片机或者边缘计算设备，通过无线或者蓝牙与服务器进行连接，并对座位的状态信息进行定时的查询，当接收到服务器返回的该座位是否被占用的信息后，调整其连接的LED指示灯的颜色，从而使得使用者通过LED指示灯当前显示的颜色来识别出该座位是否被占用。
(4)暂离条件的判断
在一些实施例中，可以通过网络与校园管理监控系统进行通信，以查询使用者在校园内的活动信息，以判断出该使用者所绑定的座位的状态是否满足暂离的条件。例如，当查询到该使用者离开学校时，则将该使用者所绑定的座位的状态调整为被占用，并在一定时长后解除两者之间的绑定关系。
在另一些实施例中，使用者也可以通过客户端、或者网页查询图书馆内当前所有座位的使用情况。当图书馆内座位的使用率超过一定阈值时，服务器可以向占用了周围座位的使用者所关联的终端设备发送提醒消息，并开启倒计时，在倒计时结束后再次监测周围座位是否被占用，如果仍然被占用，则向管理员所关联的终端发送提醒消息。
本发明实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的方法，例如，如图3-4示出的防占座方法。
在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本发明实施例具有以下有益效果：
1)改造成本低：可以利用原有的摄像头，并只需额外增加能够覆盖馆内所有座位的摄像头，以及增加能够进行人脸识别、人体识别、以及座位识别的边缘计算设备。
2)实现简单：除了在座位上张贴二维码或者安装LED指示灯之外，无需对座位进行其他的改造。
3)识别精度高：采用人脸-人体绑定的方案，在无法进行人脸识别的角度也能完成使用者身份的识别；此外，在闭馆期间，利用开馆期间的数据进行训练，实现识别精度越来越精准、达到“为每座图书馆量身定制”的效果。
4)无感知运行：整个实现过程无需图书馆使用者参与。
5)功能完备：具备可定制的暂离系统、以及占座通知功能。
6)使用无负担：图书馆使用者可以通过扫码或者观察LED指示灯的方式获知座位的使用情况，避免了与占座者之间的矛盾冲突。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (10)

1.一种防占座方法，其特征在于，所述方法包括：
从目标场所中识别被占用的座位中用户的身份信息，根据所述用户的身份信息记录所述座位的已使用状态；
当检测到所述用户离开所述座位、且所述座位被物品占据时，根据所述用户的身份信息获取所述用户的离开位置和离开时长，并
根据所述离开位置和所述离开时长记录所述座位的状态；
其中，所述状态的类型包括：未使用状态；所述已使用状态；已过期状态；
响应于针对所述座位的查询请求，根据所述座位的实时的状态响应所述查询请求。
2.根据权利要求1所述的方法，其特征在于，所述从目标场所中识别被占用的座位中用户的身份信息，包括：
检测所述目标场所中处于已使用状态的座位；
从座位图像中识别出所述处于已使用状态的座位中所述用户的人脸特征，根据所述人脸特征检索对应的身份信息；或者
从座位图像中识别出所述处于已使用状态的座位中所述用户的人体特征，在多个人脸特征中确定与识别出的所述人体特征属于同一用户的人脸特征，查询与所述属于同一用户的人脸特征绑定的身份信息；
其中，所述多个人脸特征是在所述目标场所的出入区域进行识别得到，与所述多个人脸绑定的身份信息是基于每个所述人脸特征进行检索得到。
3.根据权利要求2所述的方法，其特征在于，
所述在多个人脸特征中确定与识别出的所述人体特征属于同一用户的人脸特征，包括：
调用第一神经网络模型执行以下处理：
将识别出的所述人体特征与每个所述人脸特征进行匹配，得到识别出的所述人体特征属于不同用户的概率；
确定最大概率对应的人脸特征与识别出的所述人体特征属于同一用户；
其中，所述第一神经网络模型是以不同样本用户的人脸抠图和人体抠图为训练集训练得到。
4.根据权利要求2所述的方法，其特征在于，所述检测所述目标场所中处于已使用状态的座位，包括：
周期性检测所述目标场所中的每个座位，当第n次检测到所述座位坐有用户，第n-1次检测到所述座位未坐有用户，则确定所述座位处于已使用状态；其中，n为正整数；
所述方法还包括：
当第m次检测到所述座位未坐有用户，第m-1次检测到所述座位未坐有用户，且第m次检测有物品占据所述座位时，确定所述座位处于被占座状态；其中，m为正整数；
当第t次检测所述座位未坐有用户，第t-1次检测到所述座位坐有用户，且第t次检测没有物品占据所述座位时，确定所述座位处于未使用状态；其中，t为正整数。
5.根据权利要求4所述的方法，其特征在于，
通过第二神经网络模型执行以下处理：
针对座位图像中的多个候选框，预测每个所述候选框中包括T个类型中任一类型物品的位置的置信度、以及每个所述候选框中包括所述任一类型物品的条件概率；
将所述任一类型物品的置信度和对应的条件概率的乘积作为得分，将得分最高的类型以及位置对应作为占据所述座位的物品类型和位置；
其中，所述第二神经网络模型是以不同样本座位图像、所述样本座位图像中物品的抠图、以及所述样本座位图像是否被物品占据的标注作为训练集训练得到。
6.根据权利要求1所述的方法，其特征在于，所述根据所述用户的身份信息获取所述用户的离开位置和离开时长，包括：
当检测到所述用户离开所述座位时，以所述用户的身份信息为索引并开始计时，得到所述用户的离开时长；
根据所述用户的身份信息，从监控系统查询所述用户在所述目标场所所属的区域中的位置。
7.根据权利要求1所述的方法，其特征在于，所述根据所述离开位置和所述离开时长记录所述座位的状态，包括：
当所述用户未离开所述目标场所时，记录所述座位处于暂时离开状态；
当所述用户离开所述目标场所，在第一预设时长内出现在所述目标场所所属区域的第一子区域内，且在第二预设时长内返回所述目标场所时，记录所述座位处于暂时离开状态；
当所述用户离开所述目标场所所属区域，或进入所述目标场所所属区域的第二子区域，且在第三预设时长内未返回所述目标场所时，记录所述座位处于已过期状态；
所述方法还包括：
设置第四预设时长的计时器，当在所述计时器的时间已经到达，且未检测到所述用户返回所述目标场所时，记录所述座位处于已过期状态。
8.根据权利要求1所述的方法，其特征在于，
所述座位中设置有图形码或指示灯；
所述响应于针对所述座位的查询请求，根据所述座位的实时的状态响应所述查询请求，包括：
针对所述图形码：引导所述查询请求跳转到座位详情页，在所述座位详情页中显示所述座位的已使用状态或已过期状态；
针对所述指示灯：控制所述指示灯指示所述座位的已使用状态或已过期状态。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：
当接收到通过网页或客户端的查询请求时，向所述网页或所述客户端返回所述目标场所中每个座位实时的状态信息，以在所述网页或所述客户端的图形页面中显示所述目标场所中每个座位实时的状态；
当所述目标场所中座位的使用率超过使用率阈值时，针对处于被占座状态的座位，向对应的用户所关联的终端发送提醒消息，并开始计时；
当计时结束后，且检测到所述座位仍处于被占座状态时，向所述目标场所的管理员所关联的终端发送提醒消息。
10.一种防占座装置，其特征在于，所述装置包括：
识别模块，用于从目标场所中识别被占用的座位中用户的身份信息；
记录模块，用于根据所述用户的身份信息记录所述座位的已使用状态；
获取模块，用于当检测到所述用户离开所述座位、且所述座位被物品占据时，根据所述用户的身份信息获取所述用户的离开位置和离开时长；
所述记录模块，还用于根据所述离开位置和所述离开时长记录所述座位的状态；
其中，所述状态的类型包括：未使用状态；所述已使用状态；已过期状态；
响应模块，用于响应于针对所述座位的查询请求，根据所述座位的实时的状态响应所述查询请求。
CN202010423132.0A 2020-05-19 2020-05-19 防占座方法及装置 Pending CN111598173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010423132.0A CN111598173A (zh) 2020-05-19 2020-05-19 防占座方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010423132.0A CN111598173A (zh) 2020-05-19 2020-05-19 防占座方法及装置

Publications (1)

Publication Number Publication Date
CN111598173A true CN111598173A (zh) 2020-08-28

Family

ID=72185744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010423132.0A Pending CN111598173A (zh) 2020-05-19 2020-05-19 防占座方法及装置

Country Status (1)

Country Link
CN (1) CN111598173A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991628A (zh) * 2021-02-04 2021-06-18 福建乐摩物联科技有限公司 一种动态调整共享按摩椅可占座时间的方法、系统和介质
CN114170573A (zh) * 2021-12-17 2022-03-11 福州大学 一种基于YOLO v5的校园图书馆的占座检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991628A (zh) * 2021-02-04 2021-06-18 福建乐摩物联科技有限公司 一种动态调整共享按摩椅可占座时间的方法、系统和介质
CN112991628B (zh) * 2021-02-04 2022-07-26 福建乐摩物联科技有限公司 一种动态调整共享按摩椅可占座时间的方法、系统和介质
CN114170573A (zh) * 2021-12-17 2022-03-11 福州大学 一种基于YOLO v5的校园图书馆的占座检测方法

Similar Documents

Publication Publication Date Title
CN112562161A (zh) 一种基于5g物联网及ai智能门禁综合管理系统
CN110211262B (zh) 房屋使用状态判断系统、方法及门禁设备
US11011003B1 (en) Systems and methods for managing infectious disease dissemination
US20210201610A1 (en) Methods and System for Distributed Cameras and Demographics Analysis
KR102177235B1 (ko) 딥러닝 기반 얼굴 인식 출석체크 시스템
CN108122350A (zh) 图书自助借阅、归还系统及方法
CN108597161A (zh) 一种图书馆自助服务系统
CN111598173A (zh) 防占座方法及装置
CN111951424A (zh) 一种用于宿舍的智能管理系统
CN109360305B (zh) 一种基于人脸识别的图书馆管理方法及其系统
CN113053013A (zh) 基于人脸识别的门禁控制方法、装置、计算机设备和介质
CN109635977A (zh) 基于微信公众号的自习室座位管理系统及其预约管理方法
JP5813829B1 (ja) 防犯システム
Kumar et al. A face recognition method in the IoT for security appliances in smart homes, offices and cities
CN107464316A (zh) 智能访客机及其操作系统
CN111612664A (zh) 基于大数据的智慧校园平台
JP2024050659A (ja) ロッカーシステム及びロッカー管理方法
CN109426779A (zh) 一种电子书柜的取书和还书方法
JP2000126160A (ja) セキュリティシステム
JP2021149854A (ja) 情報配信システム及び情報配信方法
CN208014043U (zh) 基于人脸识别的访客机
Mishra et al. Multimodal Biometric Attendance System
US7784091B2 (en) Data processing system
CN113836511A (zh) 一种手机保管箱、学生监督系统和学生监督方法
JP2002117426A (ja) 顧客情報の通知システム、入出場管理システム、顧客情報の通知方法、及び入出場管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination