CN113808318A - 建筑物入口管理系统、方法及非暂时性计算机可读介质 - Google Patents

建筑物入口管理系统、方法及非暂时性计算机可读介质 Download PDF

Info

Publication number
CN113808318A
CN113808318A CN202110223514.3A CN202110223514A CN113808318A CN 113808318 A CN113808318 A CN 113808318A CN 202110223514 A CN202110223514 A CN 202110223514A CN 113808318 A CN113808318 A CN 113808318A
Authority
CN
China
Prior art keywords
entity
arrival
input
information
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110223514.3A
Other languages
English (en)
Inventor
胡昊
张艳霞
刘琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Publication of CN113808318A publication Critical patent/CN113808318A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/38—Individual registration on entry or exit not involving the use of a pass with central registration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/181—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

建筑物入口管理系统、方法及非暂时性计算机可读介质。一种计算机实现的方法包括以下步骤：接收与实体的到达相关联的输入；对所述输入执行分类以确定所述实体的所述到达的目的；以及基于所确定的所述实体的所述到达的所述目的的分类，调用动作。

Description

建筑物入口管理系统、方法及非暂时性计算机可读介质
技术领域
示例实现方式的各方面涉及与对建筑物(building)的实体(例如，对象和/或访问者)的虚拟管理(virtual management)相关联的方法、系统和用户体验，并且更具体地，涉及对访问者进行分类并基于分类调用动作的预测工具(predictive tool)的应用。
背景技术
在相关技术中，常驻者(resident)必须走到门前并亲自确定每个访问者的目的。当没有人在家时，这种相关技术情况可能导致对紧急消息的延迟响应。当住宅(residence)被其他人占用时，相关技术的方法可能不方便。当没有人在家时，可能会错过消息，例如，如果该消息被留给邻居。当有恶意的人来访问住所时，存在与直接应门相关联的风险，因为这可能有助于访问者闯入房屋并伤害常驻者。
关于相关技术的递送服务(delivery service)，由于递送服务通常在工作时间期间进行，因此常驻者可能无法亲自接收递送物，这是因为当递送到达时，常驻者正在工作。因此，递送操作者经常将物品放(drop)在门前而不检查收件人是否已成功接收到物品。结果，物品可能会因天气原因损坏或被他人拿走。另外，如果常驻者不在家，则该常驻者可能会错过来自访问者的消息。
此外，相关技术的线上活动持续增长，特别是在保持社交距离和线上购物增长的背景下。因此，越来越多的家庭正依赖诸如购物和订购食物这样的针对日常需求的递送服务。然而，由于线上请求和线下递送之间不可避免的延迟，因此很难将期望的递送时间与常驻者自己的日程安排相协调。因此，物品可能被递送并留在外面，使得它们可能容易地被盗而不被注意。
在相关技术中存在开发一种帮助常驻者识别访问者的目的的解决方案的未满足的需求。
发明内容
根据示例实现方式的一方面，提供了一种计算机实现的方法，该方法包括以下步骤：接收与实体的到达相关联的输入；对所述输入执行分类以确定所述实体的所述到达的目的；以及基于所确定的所述实体的所述到达的所述目的的分类，调用动作。
示例实现方式还可以包括具有存储设备和处理器的非暂时性计算机可读介质，该处理器能够执行与对访问者进行分类并基于该分类调用动作的预测工具的应用相关联的指令。
附图说明
可以通过研究附图而部分地收集本公开的实施方式的关于其结构和操作的细节，其中，相同的附图标记指代相同的部件，并且其中：
图1是示例实现方式的功能框图；
图2是示例实现方式的工作流程；
图3是示例实现方式的工作流程；
图4是示例实现方式的工作流程；
图5是示例实现方式的工作流程；
图6A和图6B是根据本公开的方法的示例实现方式的流程图；
图7是根据本公开的计算环境的示例实现方式的功能框图；以及
图8是根据本公开的示例性操作环境的功能框图。
具体实施方式
以下详细描述提供了本申请的附图和示例实现方式的进一步细节。为了清楚起见，省略了附图之间的冗余元件的附图标记和描述。整个说明书中使用的术语仅作为示例提供，并不旨在进行限制。
示例实现方式的各方面涉及一种系统，该系统以智能方式管理诸如建筑物(例如，住所或寓所)的访问者或对象的到来实体(incoming entity)。在IoT时代，智能访问者管理(Intelligent Visitor Management，IVM)可以形成智能家居解决方案的一部分，因为它允许以高效且安全的方式接待访问者。示例实现方式包括一种集成的多功能IVM解决方案，其通过自动提取用户的访问目的并通知相应的常驻者来协助建筑物(例如，住所)的常驻者在不同情境下接待访问者。因此，常驻者可以不需要应答每个门铃，或者不必担心错过重要消息或者使递送物受损或被盗。
例如，示例实现方式可以经由集成框架(integrated framework)解决相关技术问题。应用诸如目的预测和对话系统这样的人工智能(AI)模块，以识别每个访问者的预测目的并且基于预测目的相应地提供动作和逻辑。
当访问者为了访问常驻者或提供递送物而到达时，示例实现方式将直接通知该访问者想要会见、递送或服务的常驻者。如果确定访问者具有恶意意图，则向常驻者提供警告以使其有所准备，并监视访问者的行为以向常驻者警示潜在伤害。
对于放下的(drop-off)递送物，示例实现方式可以继续监视递送的物品并检测试图拿走该物品的任何个人，因此降低了递送的物品被盗的风险。如果常驻者具有定制的要求，则示例实现方式可以向操作者提供相应的指令，以确保在递送时间合适地处理物品。
图1示出了根据示例实现方式100的各种系统元件。更具体地，系统的核心组件包括例如可以安装在门上的诸如相机101的传感器和诸如扬声器103的输出设备。此外，提供了基于视觉和音频的AI模块以用于对象检测105、目的预测107和对话系统109。相机101捕获用户的视觉信息，并且基于视觉信息，如下文所述地预测目的。
当进行部署时，将要求常驻者111通过拍照进行注册并且经由个人设备注册账户(例如，在智能手机上下载应用)。之后，常驻者可以使用示例实现方式来检测到来的访问者113，并且基于从传感器接收的信息(例如从相机101收集的视觉信息)来预测他们的目的。
根据由目的预测模块107确定的预测目的，将访问者归类(categorize)为不同的类型：普通访问者、公用服务事业访问者、包裹快递员(parcel courier)、常驻者、列入黑名单者(blacklisted)以及其他。然后，对于每种类型的访问者，系统可以生成不同的动作，如下所述。
普通访问者可以接入对话系统109，以进一步与访问者113进行交互，从而确保他/她的目的得到了适当的处理。例如，可以生成查询(query)以确定访问者113想要会见的人以及他/她有什么事务。如果访问者113来会见其中一个常驻者，则将直接向相应的常驻者111通知即将到来的访问。如果存在访问者115想要给出的任何消息，则可以记录该消息并将其直接发送给常驻者111。
在目标常驻者113远离建筑物的情况下(例如，如通过对常驻者的个人设备进行定位而确定)，系统可以进一步与访问者113安排时间并向常驻者通知重新访问的信息，或者记录访问者113想要传递的消息，并将记录的消息115发送给常驻者111。对于上述所有情况，同一房屋中的其他常驻者均不会被涉及，并且将不会受到干扰影响。
如果常驻者113在外出时需要安排公用服务事业，则他们可以向服务提供商请求服务者的生物特征信息并将其发送到系统。当服务者到达并被分类为公用服务事业访问者113时，将通过对他/她的生物特征信息与来自提供商的生物特征信息进行比较来执行认证。在认证之后，如果常驻者111允许，则可以为服务者解锁门。
对于包裹快递员，可以指示作为访问者113的快递员将递送的物品117放置在指定的覆盖区域。系统配备有可以指定放置区域的激光指示器(例如，安装在门上)。在物品117放下之后，将通知常驻者111，并且系统开始监视该区域。如果检测到该区域中的物品117被除了常驻者以外的其他人移动，则向常驻者发出有关潜在盗窃的警示，并且捕获场景以用于潜在证据。
如果常驻者111返回并被识别，则系统(例如，扬声器和视频屏幕)将传递热情的问候以欢迎常驻者111回家，并且提醒自动安排的重新访问和记录的消息115(如果有的话)。
常驻者111可以将不受欢迎的访问目的(例如，推销)放入黑名单。当访问者113被归类为列入黑名单者时，他/她将被直接通知常驻者111无法联系。在这种情况下，将不通知常驻者111，使得他们能够完全摆脱烦人的干扰。
如果将访问者113识别为“其他”，则意味着他/她的真实目的不清楚，并且可能对常驻者11有害。在这种情况下，谨慎验证用户的身份。像普通访问者的情况一样，可能会向访问者询问有关访问目的的几个问题。在这种情况下，由于该分类的警告(cautionary)性质，所有常驻者(而不是单个常驻者)都会被通知该访问者并且被要求验证是否预期该访问。同时，将在门口追踪访问者的行为，以确保在检测到有害行为时及时向常驻者113发出警示。
除了处理访问者的情境外，集成模块还可以允许它做其他事情。例如，常驻者可以定制示例实现方式的功能来满足他们的特殊需求。常驻者可以在对话系统中添加或删除问题，以进行更认真或更高效的目的验证。
如果常驻者确定默认位置可能造成不便，则可以更改所安装的激光指示器的角度，以调整用于监视放下的物品的区域。
当没有看见访问者时，可以执行对周围环境的监视，并且可以提供预测温度和天气(例如，下雨、刮风、下雪)，以建议将递送物放置在适当位置处。
关于示例实现方式，示例实现方式的核心功能是通过以下基于视觉和音频的AI模块实现的：对象检测105，目的预测107和对话系统109。
对象检测模块105负责持续追踪留在相机101的视场中的对象或人的位置。示例实现方式基于诸如YOLOv3这样的检测方法，YOLOv3是以从相机捕获的图像作为输入并且以检测到的对象的坐标进行输出的卷积神经网络(Convolutional Neural Network，CNN)。首先将在大规模数据集(诸如ImageNet和MS COCO)上对网络进行训练。然后，将在集中于人类和包裹的数据集上调谐网络，以专门化地检测访问者和物品。
目的预测模块107将访问者的图像分类到不同的组。如图2中所示，目的预测模块200接收由相机203捕获的访问者201的视觉信息作为输入。目的预测模块200的分类器205将访问目的分类为多个类别207之一。例如但不作为限制，这些类别可以包括但不限于：普通访问者、公用服务事业、包裹递送服务、常驻者、列入黑名单的访问者以及其他。基于类别207，调用一个或更多个动作。
与对象检测模块105相似，目的预测模块107是将把访问者图像转换成特征向量并且使用分类器(例如，softmax)以端到端的方式对特征向量进行归类的卷积神经网络(CNN)。根据示例实现方式，例如，MobileNetV2[7]可以用于预测访问者的目的。
为了进行认证，目的预测模块107将把由服务提供商提供的服务者图像转换成特征向量。然后，基于距离对每个访问者的特征向量进行比较以识别服务者。可以使用三元组损失(triplet loss)对模块进行训练，以确保同一服务者的图像将具有最小的特征距离。
对话系统109将访问者语音(speech)作为输入，然后将输入处理成机器可读内容，并且提取关键信息以确定校正动作(corrective action)。对话系统109可以基于不同的目的分为两个子模块：语音识别和文本摘要。用于语音识别的子模块将音频信号转化成可读内容，所述可读内容被进一步发送到摘要子模块，以提取关键信息(诸如访问者的姓名和意图等)并且基于所提取的信息触发相应的反应。可以使用诸如用于语音识别的Attention+ConvNet和用于摘要的预训练Bert这样的方法来实现这两个子模块。
图3示出了根据示例实现方式的处理流程300。更具体地，如果目的预测模块301将访问者307识别为公用服务事业人员，则将涉及对话系统303。更具体地，访问者可以提供语音作为输入，所述输入由对话系统303处理，该对话系统303进而提取用户的信息并提供认证。如果目的预测模块301将访问者307分类为包裹递送人员，则调用对象检测模块305。如上所述，执行对包裹的监视以避免盗窃或损坏以及放下物品(drop item)309(如果有的话)。如果将访问者307分类为“其他”，则将调用对话系统33和对象系统305二者，以追踪可疑行为，并且如有必要，则向常驻者提供对访问者307的行为的早期警告。根据该处理流程300，常驻者不需要亲自应门。
图4示出了根据示例实现方式的处理流程400。更具体地，如果目的预测模块401确定访问者405被识别为常驻者，则通过诸如扬声器403的输出设备向访问者405提供问候。另选地，如果目的预测模块401将访问者405识别为被列入黑名单，则通过诸如扬声器403的输出设备向访问者405提供拒绝通知。在这种情况下，常驻者也无需亲自应门。
图5示出了根据示例实现方式的处理流程500。更具体地，如果目的预测模块501将访问者507识别为普通访问者，则对话系统503加入。更具体地，从访问者507提取信息。此外，对话系统503向常驻者509提供访问者507的通知。访问者507可以通过向对话系统503提供消息505来进行沟通。类似地，常驻者509可以通过经由对话系统503提供对消息505的记录来与访问者507进行沟通。
图6A和图6B是根据本公开的方法的实施方式的流程图。方法600可以由计算环境(例如，下面描述的计算环境)中的一个或更多个处理器实现。如图6A中所示，方法600可以是包括在601处接收与诸如对象或个人的实体的到达相关联的输入，在602处执行对实体的到达目的的分类，以及在603处基于所确定的实体的到达目的的分类调用动作的多个子处理的组合。以上针对图1至图5的描述公开了接收的特定输入、分类的类别和动作。
更详细地，图6B示出了与本示例实现方式相关联的示例处理。尽管本文中描述的操作根据附图进行了排序，但是本发明不限于此。例如，在不脱离本发明范围的情况下，可以改变操作的顺序，并且可以组合、分离或删除操作。
在605处，实体可以接近建筑物。例如但不作为限制，访问者可以接近住宅、办公楼(office building)或零售场所(retail location)。
在610处，传感器可以感测实体的存在。更具体地，传感器可以确定实体已来到感测范围内。这样的感测范围可以是停车场、界址线、周界、围栏线或者其他基于距传感器的距离的区域。此外，传感器可以是相机或者是可通信地协同联接的多个相机，以在实体移动时追踪实体并捕获实体的图像。
尽管传感器在本文中被提作相机，但是本示例实现方式不限于相机或视觉图像。捕获与实体相关联的识别信息的其他传感器可以代替相机或与相机结合使用。在不脱离本发明范围的情况下，热传感器、红外传感器、雷达、基于音频的传感器或其他传感器可以代替相机。
在615处，传感器获得与所检测到且追踪的实体相关联的进一步位置信息。例如，除了感测到的图像信息之外，相机还可以获得与检测的访问者或对象相关联的坐标。
除了相机之外，其他传感器也可以与相机一起使用，以获得与实体相关联的附加信息。例如，但不作为限制，可以提供条形码读取器或QR码扫描器，从而可以以允许识别包裹的内容的方式感测所递送的包裹上的外部信息。因此，如果所递送的包裹具有诸如需要适当存储的药品、需要冷藏或冷冻的食品或需要立即保护的重要文件等的敏感方面，则可以执行适当的识别并且可以采取动作。
在620处，由一个或更多个传感器感测到的信息(包括但不限于图像信息和坐标)被提供给目的预测模块。以上针对示例限制描述了目的预测模块的更多细节。
因此，可以如上面解释的操作605-620那样执行检测601。如下面所解释的，可以执行分类602。
在625处，目的预测模块从传感器接收一个或更多个输入。例如但不作为限制，所接收的输入可以包括与图像、位置、条形码或QR码、温度或者可以提供用于目的预测模块的识别数据的其他感测信息相关联的信息。
在630处，目的预测模块应用接收到的输入以执行分类。上文针对示例实现方式描述了分类操作的细节。结果，目的预测模块提供了包括访问的预测目的的输出。上文还解释了访问的预测目的的示例。
在635处，生成目的预测模块的输出，并将其提供给对话系统。如本公开中在其他地方所解释的，对话系统基于分类生成要采取的动作。
在640处，对话系统(其也可以称为对话管理系统)接收经分类的目的预测，并将经分类的目的预测应用于与常驻者相关联的规则和设置。对话系统还可以基于提供给访问者的提示或者可能基于访问者发起的输入，从访问者接收音频和视觉输入。
除了麦克风之外，访问者还可以在距建筑物的入口(entry of the building)较远的位置处直接从他或她的移动设备提供信息。因此，访问者能够在与对话系统传达必要信息的同时保持社交距离。类似地，可以提供对讲机系统(intercom system)，以使访问者直接输入任何必要的信息。如在本公开中所解释的，根据目的预测模块的特定分类结果，还可能需要认证。
在645处，对话系统提取必要的信息。该信息可以来自数据库或云服务，并且可以包括规则库(rule base)，规则库为对话系统提供有关基于分类要采取的动作的类型的必要信息。可以从传感器、目的预测模块或其他信息源中提取更多信息。
在650处，对话系统生成必要的信息以采取校正动作。以上针对所引入的每个示例分类描述了要采取的校正动作。
这些分类仅仅是分类的示例，并且可以在不脱离本发明范围的情况下提供附加分类或附加分类可以代替现有分类。例如但不作为限制，尽管本文中描述的分类通常可能涉及作为住宅的建筑物的情况，但是可以在零售建筑物、制造设施(manufacturingfacility)、交通枢纽(transportation hub)(诸如机场、港口或火车站等)以及办公楼或者可以具有出于不同目的到达的不同实体的其他建筑物的情况下采用其他分类。
此外，还要注意的是，尽管一些示例实现方式可能涉及使访问者携带产品的产品递送，但是示例实现方式不限于这种递送方式。例如但不作为限制，递送可以由无人驾驶或以自动方式导航或者可以在没有人的情况下将包裹递送到其最终位置的车辆执行。如本领域技术人员将理解的，这些方法可以包括机器人、无人机或其他自动递送技术。
图7是根据本公开的计算环境的实施方式的功能框图。具有示例计算机设备705的计算环境700适合于在一些示例实现方式中使用。计算环境700中的计算设备705可以包括一个或更多个处理单元、核或处理器710、存储器715(例如，RAM和/或ROM等)、内部存储设备720(例如，磁性、光学、固态和/或有机存储设备)、和/或I/O接口725，它们中的任何一个都可以联接在用于传递信息的通信机构或总线730上或者嵌入在计算设备705中。例如，环境700可以支持与系统100相关联的操作。
根据本示例实现方式，与神经活动相关联的处理可以在作为中央处理单元(CPU)的处理器710上发生。另选地，可以在不脱离本发明构思的情况下用其他处理器代替。例如但不作为限制，图形处理单元(GPU)和/或神经处理单元(NPU)可以代替CPU或与CPU结合使用以执行用于前述示例实现方式的处理。
计算设备705可以可通信地联接到输入/接口735和输出设备/接口740。输入/接口735和输出设备/接口740中的任一者或两者可以是有线或无线接口，并且可以是可拆卸的。输入/接口735可以包括能够用于提供输入的任何物理或虚拟的设备、组件、传感器或者接口(例如，按钮、触摸屏接口、键盘、指点/光标控件、麦克风、相机、盲文、运动传感器或/或光学读取器等)。
输出设备/接口740可以包括显示器、电视、监视器、打印机、扬声器或盲文等。在一些示例实现方式中，输入/接口735(例如，用户接口)和输出设备/接口740可以嵌入计算设备705或者物理联接到计算设备705。在其他示例实现方式中，其他计算设备可以用作计算设备705的输入/接口735和输出设备/接口740或提供其功能。
计算设备705的示例可以包括但不限于高度移动的设备(例如，智能电话、车辆和其他机器中的设备以及人类和动物携带的设备等)、移动设备(例如，平板电脑、笔记本电脑、手提电脑、个人计算机、便携式电视和收音机等)以及不是针对移动性设计的设备(例如，台式计算机、服务器设备、其他计算机、信息亭、其中嵌入有和/或联接有一个或更多个处理器的电视以及收音机等)。
计算设备705可以可通信地联接(例如，经由I/O接口725)到外部存储设备745和网络750以用于与任何数量的包括相同或不同配置的一个或更多个计算设备的联网组件、设备和系统通信。计算设备705或任何连接的计算设备可以用作或被称作服务器、客户端、瘦服务器、通用机器、专用机器或另一标签或提供其服务。例如但不作为限制，网络750可以包括区块链网络和/或云。
I/O接口725可以包括但不限于使用任何通信或I/O协议或标准(例如，以太网、802.11x、通用系统总线、WiMAX、调制解调器和蜂窝网络协议等)以用于与计算环境700中的至少所有连接的组件、设备和网络进行信息通信的有线和/或无线接口。网络750可以是任何网络或者网络(例如，Internet、局域网、广域网、电话网络、蜂窝网络和卫星网络等)的组合。
计算设备705可以使用计算机可用或计算机可读的介质(包括暂时性介质和非暂时性介质)和/或使用计算机可用或计算机可读的介质(包括暂时性介质和非暂时性介质)来进行通信。暂时性介质包括传输介质(例如，金属线缆、光纤)、信号和载波等。非暂时性介质包括磁性介质(例如，磁盘和磁带)、光学介质(例如，CD ROM、数字视频磁盘、蓝光盘)、固态介质(例如，RAM、ROM、闪存存储器、固态存储设备)以及其他非易失性存储设备或存储器。
计算设备705可以用于实现一些示例计算环境中的技术、方法、应用、过程或计算机可执行指令。可以从暂时性介质中获取计算机可执行指令，并且可以将计算机可执行指令存储在非暂时性介质中并从非暂时性介质中获取计算机可执行指令。可执行指令可以源自任何编程、脚本和机器语言(例如，C、C++、C#、Java、Visual Basic、Python、Perl和JavaScript等)中的一种或更多种。
处理器710可以在自然环境或虚拟环境中在任何操作系统(OS)(未示出)下执行。可以部署一个或更多个应用，包括逻辑单元755、应用编程接口(API)单元760、输入单元765、输出单元770、目的预测单元775、对象检测单元780、预测单元785和用于使不同单元(例如，编码器110和解码器120)彼此通信、与OS通信以及与其他应用(未示出)通信的单元间通信机构795。
目的预测单元775可以执行与接收输入、处理输入以及确定访问者的分类相关联的功能。对象检测单元780可以执行与正在被递送的对象的检测相关联的功能。对话管理单元785可以执行与接收来自访问者的输入(诸如语音)相关联的功能，并且为常驻者提供向访问者提供输出的机会。
例如，除了方法300和方法400之外，目的预测单元775、对象检测单元780和对话管理单元785还可以实现以上针对上述结构示出的一个或更多个处理。所描述的单元和元件可以在设计、功能、配置或实现方式上变化，并且不限于所提供的描述。
在一些示例实现方式中，当信息或执行指令被API单元760接收时，其可以被传达给一个或更多个其他单元(例如，逻辑单元755、输入单元765、目的预测单元775、对象检测单元780以及预测单元785)。
在一些情况下，逻辑单元755可以被配置为控制单元之间的信息流并且引导在上述一些示例实现方式中由API单元760、输入单元765、目的预测单元775、对象检测单元780和对话管理单元785提供的服务。例如，可以由逻辑单元755单独或与API单元760结合来控制一个或更多个处理或实现方式的流。
图8是根据本公开的示例性操作环境的功能框图。环境800可以适合于本文中公开的一些示例实现方式。环境800包括设备805-845，并且每个设备经由例如网络860(例如，通过有线和/或无线连接)可通信地连接到至少一个其他设备。一些设备可以可通信地连接到一个或更多个存储设备830和845。
一个或更多个设备805-845的示例可以分别是图7中描述的计算设备705。设备805-845可以包括但不限于如上所述的具有监视器和关联的网络摄像头的计算机805(例如，膝上型计算设备)、移动设备810(例如，智能电话或平板电脑)、电视815、与车辆820相关联的设备、服务器计算机825、计算设备835-840、存储设备830和845。
在一些实现中，设备805-820可以被认为是与用户相关联的用户设备，用户可以远程地获得用作前述示例实现方式的输入的所感测到的音频输入。在本示例实现方式中，这些用户设备805-820中的一个或更多个可以与可以感测如上所述的本示例实现方式所需的信息的一个或更多个传感器(例如用户的电话中的麦克风)相关联。
尽管前述示例实现方式包括作为住宅的建筑物的示例，但是本发明范围不限于此。例如但不作为限制，建筑物可以是用于零售、制造商、办公室、运输或其他功能的建筑物。此外，对于建筑物的每种不同功能，可以定制分类的类型以匹配建筑物的功能。
例如但不作为限制，在零售建筑物的情况下，访问者目的的分类可以包括购物以购买新商品，退回先前购买的产品、对现有商品的维护或服务、来上班的员工、要出售的库存的递送、清洁与卫生、执法与安全、消防或其他。根据示例实现方式的目的预测模块的分类系统被提供有必要的类别信息，以针对建筑物的零售环境执行适当的目的预测。
类似地，在办公室的情况下，本示例实现方式可以用于提供对接待功能的支持。在许多办公室环境(诸如医疗办公室、法律或会计办公室、工程办公室等)中，可能存在少数具有大量功能要求的接待员(receptionist)。例如，接待员可以负责维护大厅状况，向访问者发出问候，将访问者带到会议室或检查室，对患者进行初步调查或评估，接收递送邮件，处理保险和金融交易，维护安全性，与信息技术人员进行对接，维护厨房环境等。本示例实现方式为每个访问者提供分类。
因此，因为常驻者不必在每种情况下都应答或直接互动，所以接待员可以能够更容易地执行他或她的功能，而不必在每次对象或访问者到达办公室时都不断地切换他或她的注意力或身体位置。根据示例站，接待员可以能够更高效地执行功能而不会分散注意力，并且专注于与具有要求这种交互的目的的访问者的交互。
此外，尽管前述示例实现方式涉及各种传感器的实现方式，但是要注意，本示例实现方式可以与在建筑物处的现有传感器技术集成。例如但不作为限制，处于具有视频和音频输入的对讲机系统的建筑物可以与目的预测模块、对话系统等集成，而无需购买新的传感器或相关硬件。
尽管前述示例实现方式涉及访问者或对象，且每个访问者或对象可以具有单一目的，但是本示例实现方式不限于此。例如但不作为限制，访问者可以到达执行服务，但是也可以是朋友或同事。类似地，递送产品的访问者也可能被列入黑名单。因此，本示例实现方式设想了基于规则的冲突解决机制和允许用户定制的分层方法(hierarchical approach)以及用于处理这些情况的标准化规则(standardized rule)。
关于定制，本示例实现方式允许可以是与系统相关联的账户的所有者的常驻者创建常驻者已经筛选为适合于会见或者已经限制为不适合会见的访问者的列表。这样的列表可以基于个人进行维护，或者可以在多个设施之间进行共享。根据一种这样的方法，用户可能希望不仅将他或她的列表包括在他或她的住宅中，而且将他或她的列表包括在他或她的办公室中，使得如果列表中的一个列表上的人员试图访问办公室而不是住所，则该人员将适当地被提供访问权限或者被拒绝访问。
此外，定制还可以针对诸如包裹的对象递送。根据一个示例实现方式，可以向特定的包裹提供特定规则。另外，可以将定制的消息提供给递送人员，使递送人员必须自始至终亲自将包裹递送到建筑物的入口。例如但不作为限制，在接近建筑物的入口时，递送人员可能被要求佩戴适当的防护性个人设备，诸如口罩、面罩或手套等。
定制也可以作为规则被包括在内，使得当包裹由特定组织递送，或者掩埋特定标识信息时，总是向该人员提供相同的消息。该消息还可以指示在递送过程期间用于放置或处理包裹的任何特殊规则。
根据本示例实现方式，可以为服务、产品和访问者提供认证。例如但不作为限制，如果确定访问者的目的是执行诸如在建筑物内的维护或修理这样的服务，则可以预先向访问者提供代码，使得当访问者到达时，他或她可以简单地输入该代码，使入口自动解锁，然后进入建筑物以执行必要的服务，而无需常驻者应门或者与维修人员交互。
根据本示例实现方式的认证可以允许常驻者接收在诸如住所的建筑物内的服务和维护，而不必与进行维修的人员进行物理交互。因此，常驻者可以能够在允许访问者执行必要的建筑物内服务的同时保持社交距离。结果，减少了传染性疾病或病毒传播的风险，同时常驻者能够享受维修服务，并且维修人员能够继续执行他或她的业务。
相对于相关技术，示例实现方式的各方面可以具有各种优点和益处。例如但不作为限制，示例实现方式提供了对象检测和视频记录以及目的预测和对话系统的组合，以允许常驻者与建筑物的入口进行远程交互。在访问者被分类为可疑者的情况下，可以向常驻者发出警告。当访问者提供包裹时，可以追踪包裹。
根据一些示例实现方式，可以定制工作流，并且可以认证访问者。此外，如上所述，一些访问者可以被列入黑名单。结果，仅当分类系统确定由于访问者的不良意图而存在危险时，才警告常驻者，而不是每次访问者进入了监督区域时都向常驻者发出通知。因此，减少了不必要的错误警报。此外，当访问者和递送物品到达时，通过使用目的预测对话系统，特定类别的访问者和递送物品将被自动处理，而无需常驻者应答访问者。
尽管已经示出并描述了一些示例实现方式，但是提供这些示例实现方式是为了将本文中所描述的主题传达给熟悉该领域的人。应该理解的是，本文中所描述的主题可以以各种形式实现，而不限于所描述的示例实现方式。可以在没有具体限定或描述的主题的情况下或者以未描述的其他或不同元素或主题来实践本文中描述的主题。熟悉本领域的技术人员将领会，可以在不脱离如所附的权利要求及其等同物限定的本文中所描述的主题的情况下对这些示例实现方式进行改变。
本公开的特定非限制性实施方式的各方面处理了以上讨论的特征和/或以上未描述的其他特征。然而，非限制性实施方式的各方面不需要处理上述特征，并且本公开的非限制性实施方式的各方面可以不处理上述特征。

Claims (20)

1.一种计算机实现的方法，该方法包括以下步骤：
接收与实体的到达相关联的输入；
对所述输入执行分类以确定所述实体的所述到达的目的；以及
基于所确定的所述实体的所述到达的所述目的的分类，调用动作。
2.根据权利要求1所述的计算机实现的方法，其中，所述实体包括对象和访问者中的至少一个，并且所述到达包括所述对象和所述访问者中的至少一个到达建筑物附近。
3.根据权利要求2所述的计算机实现的方法，其中，所述建筑物包括住宅、办公楼、零售场所、制造设施和交通枢纽中的一个或更多个。
4.根据权利要求1所述的计算机实现的方法，其中，接收与所述实体的所述到达相关联的输入的步骤包括以下步骤：通过传感器感测在感测范围内的所述实体的存在，以获得与所述实体相关联的位置信息以及所感测到的图像信息；以及通过代码读取器感测与对象上的代码相关联的信息。
5.根据权利要求1所述的计算机实现的方法，其中，执行所述分类的步骤包括基于所述输入执行预测的步骤，执行所述预测的步骤包括以下步骤：接收由传感器捕获的所述实体的视觉信息作为所述输入；通过使用卷积神经网络CNN对预测目的进行分类，以生成包括所述实体的所述到达的所述预测目的的输出，所述CNN将输入的所述视觉信息转换成特征向量并且使用分类器以端到端的方式对所述特征向量进行归类。
6.根据权利要求1所述的计算机实现的方法，其中，所述目的包括下列各项中的一个或更多个：普通访问、公用服务事业、包裹递送服务、所述到达的位置的常驻者和列入黑名单的实体。
7.根据权利要求1所述的计算机实现的方法，其中，调用所述动作的步骤包括以下步骤：通过应用与所述到达的位置处的常驻者的一个或更多个定制的偏好相关联的规则和设置，基于预测来生成所述动作。
8.根据权利要求1所述的计算机实现的方法，其中，所述动作包括下列各项中的一个或更多个：认证、监视、授予访问权限、拒绝访问、从所述实体提取信息、向所述到达的位置的常驻者发出通知、以及从所述实体接收信息和/或向所述实体发送信息。
9.根据权利要求8所述的计算机实现的方法，其中，所述认证包括：将由服务提供商提供的服务者图像转换成特征向量，以及基于距离比较所述实体的特征向量以识别服务者，其中，执行训练以使得普通服务者的图像将具有最小的特征距离。
10.一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括能够在处理器上执行的指令，所述指令包括：
接收与实体的到达相关联的输入；
对所述输入执行分类以确定所述实体的所述到达的目的；以及
基于所确定的所述实体的所述到达的所述目的的分类，调用动作。
11.根据权利要求10所述的非暂时性计算机可读介质，其中，所述实体包括对象和访问者中的至少一个，并且所述到达包括所述对象和所述访问者中的至少一个到达建筑物附近，所述建筑物包括住宅、办公楼、零售场所、制造设施和交通枢纽中的一个或更多个。
12.根据权利要求10所述的非暂时性计算机可读介质，其中，接收与所述实体的所述到达相关联的输入包括：通过传感器感测在感测范围内的所述实体的存在，以获得与所述实体相关联的位置信息以及所感测到的图像信息；以及通过代码读取器感测与对象上的代码相关联的信息。
13.根据权利要求10所述的非暂时性计算机可读介质，其中，执行所述分类包括基于所述输入执行预测，执行所述预测包括：接收由传感器捕获的所述实体的视觉信息作为所述输入；通过使用卷积神经网络CNN对预测目的进行分类，以生成包括所述实体的所述到达的所述预测目的的输出，所述CNN将输入的所述视觉信息转换成特征向量并且使用分类器以端到端的方式对所述特征向量进行归类。
14.根据权利要求10所述的非暂时性计算机可读介质，其中，所述目的包括下列各项中的一个或更多个：普通访问、公用服务事业、包裹递送服务、所述到达的位置的常驻者和列入黑名单的实体。
15.根据权利要求10所述的非暂时性计算机可读介质，其中，调用所述动作包括：通过应用与所述到达的位置处的常驻者的一个或更多个定制的偏好相关联的规则和设置，基于预测来生成所述动作。
16.根据权利要求10所述的非暂时性计算机可读介质，其中，所述动作包括下列各项中的一个或更多个：认证、监视、授予访问权限、拒绝访问、从所述实体提取信息、向所述到达的位置的常驻者发出通知、以及从所述实体接收信息和/或向所述实体发送信息，其中，所述认证包括：将由服务提供商提供的服务者图像转换成特征向量；以及基于距离比较所述实体的特征向量以识别服务者，其中，执行训练以使得普通服务者的图像将具有最小的特征距离。
17.一种系统，该系统包括：
传感器，所述传感器接收与实体的到达相关联的输入；
处理器，所述处理器对所述输入执行分类以确定所述实体的所述到达的目的；并且
基于所确定的所述实体的所述到达的所述目的的分类，所述处理器调用由设备执行的动作。
18.根据权利要求17所述的系统，其中，所述传感器感测在感测范围内的所述实体的存在，以获得与所述实体相关联的位置信息以及所感测到的图像信息，并且进一步感测与对象上的代码相关联的信息。
19.根据权利要求17所述的系统，其中，执行所述分类包括基于所述输入执行预测，执行所述预测包括：接收由传感器捕获的所述实体的视觉信息作为所述输入；通过使用卷积神经网络CNN对预测目的进行分类，以生成包括所述实体的所述到达的所述预测目的的输出，所述CNN将输入的所述视觉信息转换成特征向量并且使用分类器以端到端的方式对所述特征向量进行归类。
20.根据权利要求17所述的系统，其中，调用所述动作包括：通过应用与所述到达的位置处的常驻者的一个或更多个定制的偏好相关联的规则和设置，基于预测来生成所述动作，其中，所述动作包括下列各项中的一个或更多个：认证、监视、授予访问权限、拒绝访问、从所述实体提取信息、向所述到达的位置的常驻者发出通知、以及从所述实体接收信息和/或向所述实体发送信息，其中，所述认证包括：将由服务提供商提供的服务者图像转换成特征向量，以及基于距离比较所述实体的特征向量以识别服务者，其中，执行训练以使得普通服务者的图像将具有最小的特征距离。
CN202110223514.3A 2020-06-16 2021-03-01 建筑物入口管理系统、方法及非暂时性计算机可读介质 Pending CN113808318A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/903,176 2020-06-16
US16/903,176 US11586857B2 (en) 2020-06-16 2020-06-16 Building entry management system

Publications (1)

Publication Number Publication Date
CN113808318A true CN113808318A (zh) 2021-12-17

Family

ID=78825587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110223514.3A Pending CN113808318A (zh) 2020-06-16 2021-03-01 建筑物入口管理系统、方法及非暂时性计算机可读介质

Country Status (3)

Country Link
US (1) US11586857B2 (zh)
JP (1) JP2021197139A (zh)
CN (1) CN113808318A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116029617B (zh) * 2023-03-24 2023-06-23 山东铁路投资控股集团有限公司 质量验收表单的生成方法、装置、设备及可读存储介质
CN117830960B (zh) * 2024-03-05 2024-05-14 毕昇云(武汉)信息技术有限公司 一种基于智慧社区的风险识别方法、装置、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7944468B2 (en) * 2005-07-05 2011-05-17 Northrop Grumman Systems Corporation Automated asymmetric threat detection using backward tracking and behavioral analysis
US9247219B2 (en) * 2013-07-26 2016-01-26 SkyBell Technologies, Inc. Doorbell communication systems and methods
US10593336B2 (en) * 2018-07-26 2020-03-17 Accenture Global Solutions Limited Machine learning for authenticating voice
US11941629B2 (en) * 2019-09-27 2024-03-26 Amazon Technologies, Inc. Electronic device for automated user identification
US20210264496A1 (en) * 2020-02-21 2021-08-26 Goldenspear Llc Machine learning for rapid analysis of image data via curated customer personas

Also Published As

Publication number Publication date
US11586857B2 (en) 2023-02-21
US20210390354A1 (en) 2021-12-16
JP2021197139A (ja) 2021-12-27

Similar Documents

Publication Publication Date Title
US11386285B2 (en) Systems and methods of person recognition in video streams
US11256951B2 (en) Systems and methods of person recognition in video streams
US20190246075A1 (en) Audio-visual monitoring using a virtual assistant
US20140071273A1 (en) Recognition Based Security
US20150310381A1 (en) Systems and methods for secure package delivery
US11308792B2 (en) Security systems integration
US9693181B1 (en) Surveillance detection based on an identification of a carried mobile device
KR20110130033A (ko) 행동패턴 데이터베이스를 이용한 능동형 영상감시 시스템 및 그 방법
CN113808318A (zh) 建筑物入口管理系统、方法及非暂时性计算机可读介质
CN112258718A (zh) 一种人体测温及人员识别方法和系统
US11783010B2 (en) Systems and methods of person recognition in video streams
EP3410343A1 (en) Systems and methods of person recognition in video streams
US11875657B2 (en) Proactive loss prevention system
CN114584733A (zh) 可视门铃的图像采集装置、信息处理方法和可视门铃系统
Mehra et al. Home security system using iot and aws cloud services
Chakraborty et al. IoT-based smart home security and automation system
WO2020213058A1 (ja) デジタルスマート・ディフェンスセキュリティシステム、方法及びプログラム
Khan et al. Smart Home with Wireless Smart Doorbell with Smart Response
JP2007122435A (ja) Ｒｆｉｄを利用した進入通知システム及び方法
JPWO2018143341A1 (ja) 監視システム、監視方法及びプログラム
WO2021152736A1 (ja) 監視システム、監視装置、監視方法、およびプログラム
KR102690657B1 (ko) 일반 cctv 카메라를 재활용 할 수 있는 지능형 모니터링 시스템
Nieminen et al. Multi-sensor logical decision making in the single location surveillance point system
US20240112555A1 (en) Multifaceted security system
Shimpi et al. Door Surveillance with Smart Bell

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination