CN117043551A - 机器人几何相机校准以及监测警报配置和测试 - Google Patents

Abstract

一种校准包括相机(902)的系统的方法，所述方法包括：检测在被建模为地理多边形空间的环境内导航的机器人(909)，包括所述机器人(909)通过由所述相机(902)捕获的所述环境的场景的运输；将所述场景的图像中由所述机器人(909)占据的多个点映射到所述地理多边形空间；记录关于所述映射的数据；以及使用所记录的关于所述映射的所述数据配置至少一个警报，所述警报由所述计算系统(901)执行并且配置为由穿过所述场景的目标触发。

Description

机器人几何相机校准以及监测警报配置和测试

背景技术

本公开总体上涉及计算机处理，并且更具体地涉及用于使用机器人校准/配置包括一个或多个相机的计算系统的系统和方法。

许多空间配备有相机系统。这些相机可具有多种用途，包括监视对安全规则的符合性。这些系统中的许多要求广泛的配置。

发明内容

根据本发明的一些实施例，一种校准包括相机的系统的方法包括检测在被建模为地理多边形空间的环境内导航的机器人，包括所述机器人通过由所述相机捕获的所述环境的场景的运输，将所述场景的图像中由所述机器人所占据的多个点映射到所述地理多边形空间，记录关于所述映射的数据，以及使用所记录的关于所述映射的所述数据配置至少一个警报，所述警报由所述计算系统执行且被配置以由穿过所述场景的对象触发。

根据一个或多个实施例，一种系统包括包含处理器和存储器的计算系统、连接到该计算系统的网络、经由该网络连接到该计算系统的多个相机，具有环境的视场的每个相机、在所述环境中的至少一个机器人、以及在所述计算系统上执行的至少一个软件模块，使得所述计算系统能够学习被配置成识别所述环境中的所述机器人的模型，并且创建由所述计算系统执行的目标检测模型触发的至少一个警报。

如本文使用的，“促进”动作包括执行该动作、使该动作更容易、帮助执行该动作、或使得该动作被执行。因此，作为示例而非限制，在一个处理器上执行的指令可以通过发送适当的数据或命令来促进由在远程处理器上执行的指令执行的动作以促使或帮助执行动作。为了避免疑问，在动作者通过除了执行动作之外的行为来促进该动作的情况下，该动作仍然由某个实体或实体的组合执行。

本发明的一个或多个实施例或其元素可以以计算机程序产品的形式实现，该计算机程序产品包括具有可用程序代码的计算机可读存储介质，该可用程序代码用于执行所指示的方法步骤。此外，本发明的一个或多个实施例或其元素能够以系统(或装置)的形式实现，该系统(或装置)包括存储器和至少一个处理器、至少一个处理器耦合到存储器并且可操作以执行示范性方法步骤。更进一步地，在另一方面，本发明的一个或多个实施例或其元素能够以用于执行本文描述的方法步骤中的一者或多者的装置的形式来实现；该装置可以包括(i)硬件模块，(ii)存储在计算机可读存储介质(或多个这样的介质)中并在硬件处理器上实现的软件模块，或者(i)和(ii)的组合(iii)；(i)-(iii)中的任一个实现本文中阐述的特定技术。

本发明的技术可以提供实质性有益的技术效果。例如，一个或多个实施例可以提供：

相机的自动配置，包括(例如)几何校准、绘制感兴趣区域以及配置监控警报；以及

感兴趣区域的改进配置。

本发明的这些和其他特征和优点将从其说明性实施例的以下详细说明中变得清楚，这些详细说明将结合附图进行阅读。

附图说明

下面将参考附图更详细地描述本发明的优选实施例：

图1描绘了根据本发明的实施例的云计算环境；

图2描绘了根据本发明的实施例的抽象模型层；

图3是示出了根据本发明的一些实施例的一种用于建立设置数据的方法的流程图；

图4是示出了根据本发明的一些实施例的用于机器人的动态控制的方法的流程图；

图5是示出根据本发明的一些实施例的用于配置计算系统的警报的方法的流程图；

图6是示出了根据本发明的一些实施例的一种用于自动生成边界框的方法的流程图；

图7示出了根据本发明的一些实施例的启用相机校准的用户界面(UI)700；

图8示出了根据本发明的一些实施例的启用警报配置的UI；

图9是可以用于实现本发明的一个或多个方面和/或元件的计算机系统的示图；以及

图10描绘了可以用于实现本发明的一个或多个方面和/或元件的计算机系统。

具体实施方式

本发明的实施例解决了使用机器人、视频分析和IoT设施管理的相机的自动校准和配置。根据一些实施例，由计算系统执行的方法使用这些相机自动测试视频分析流水线，并且自动收集注释的训练数据。

在某些生产环境中，视频分析与其他产品集成，诸如使得能够管理许多物联网(IOT)设备(包括相机)。根据本发明的一个或多个实施例，这些产品可以在工作安全解决方案中一起使用以强制实施一个或多个模型工作区目标或法规(例如，最大占用率、个人防护设备使用、记录事故等)。

根据一些实施例，注释的训练数据的自动测试和收集可以用作视频分析解决方案的输入，从而消除了对模拟使用情况进行测试警报被正确且准确地触发的需要。

现在将参考以下讨论和本申请所附的附图来更详细地描述本申请。要注意的是，提供本申请的附图仅仅用于说明的目的，并且因此，附图未按比例绘制。还应注意，相同和相应的元件由相同的附图标记指代。

在以下描述中，阐述了许多具体细节，如具体结构、组件、材料、尺寸、处理步骤和技术，以便提供对本申请的不同实施例的理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实践本申请的不同实施例。在其他情况下，为了避免使本申请模糊，未详细描述众所周知的结构或者处理步骤。

提前理解的是，尽管本公开包括关于云计算的详细描述，但本文所叙述的教导的实现不限于云计算环境。相反，本发明的实施例能够结合现在已知的或以后开发的任何其他类型的计算环境来实现。

云计算是一种服务交付模型，用于使得能够方便地、按需地访问可配置计算资源(例如，可配置计算资源的共享池)的共享池。网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机和服务)，其能够以最小的管理努力或与服务的提供商的交互快速地供应和释放。该云模型可以包括至少五个特性、至少三个服务模型和至少四个部署模型。

特征如下：

按需自助服务：云消费者可以根据需要自动地单方面地配设计算能力，如服务器时间和网络存储，而无需与服务的提供商进行人类交互。

广泛的网络访问：能力可通过网络获得并且通过标准机制访问，这些标准机制促进异构瘦客户机平台或厚客户机平台(例如，移动电话、膝上计算机、和PDA)的使用。

资源池：提供者的计算资源被池化以使用多租户模型来服务多个消费者，其中不同的物理和虚拟资源根据需要动态地分配和重新分配。存在位置独立性的感觉，因为消费者通常不具有对所提供的资源的确切位置的控制或了解，但可能能够以较高抽象级别(例如，国家、州或数据中心)指定位置。

快速弹性：能够快速和弹性地提供能力(在一些情况下自动地)以快速缩小和快速释放以快速放大。对于消费者而言，可用于供应的能力通常显得不受限制并且可以在任何时间以任何数量购买。

测量服务：云系统通过在适合于服务类型(例如，存储、处理、带宽、和活动用户账户)的某个抽象级别处利用计量能力来自动控制和优化资源使用。可以监视、控制和报告资源使用，为所利用的服务的提供者和消费者提供透明度。

服务模型如下：

软件即服务(SaaS)：提供给消费者的能力是使用在云基础设施上运行的提供商的应用。可通过诸如web浏览器(例如，基于web的电子邮件)之类的瘦客户端接口从不同客户端设备访问应用。消费者不管理或控制包括网络、服务器、操作系统、存储或甚至单独的应用能力的底层云基础设施，可能的例外是有限的用户特定应用配置设置。

平台即服务(PaaS)：提供给消费者的能力是将消费者创建的或获取的使用由提供商支持的编程语言和工具创建的应用程序部署到云基础设施上。消费者不管理或控制包括网络、服务器、操作系统或存储的底层云基础设施，但是对所部署的应用和可能的应用托管环境配置具有控制。

基础设施即服务(IaaS)：向消费者提供的能力是提供处理、存储、网络和消费者能够部署和运行任意软件的其他基本计算资源，该软件可以包括操作系统和应用程序。消费者不管理或控制底层云基础设施，而是具有对操作系统、存储、所部署的应用的控制以及对所选联网组件(例如，主机防火墙)的可能受限的控制。

部署模型如下：

私有云：云基础设施仅针对组织操作。它可以由组织或第三方管理，并且可以存在于场所内或场所外。

社区云：云基础设施由若干组织共享并且支持已经共享关注(例如，任务、安全要求、策略、和合规性考虑)的特定社区。它可以由组织或第三方管理，并且可以存在于场所内或场所外。

公共云：云基础设施可供公众或大型行业团体使用，并且由出售云服务的组织拥有。

混合云：云基础设施是两个或更多个云(私有、社区或公共)的组合，这些云保持唯一实体但通过使数据和应用能够移植的标准化或专有技术(例如，云突发以用于云之间的负载平衡)绑定在一起。

云计算环境是面向服务的，专注于状态性、低耦合、模块性和语义互操作性。云计算的核心是包括互连节点网络的基础设施。

现在参见图1，描绘了说明性云计算环境50。如图所示，云计算环境50包括云消费者使用的本地计算设备可以与其通信的一个或多个云计算节点10，本地计算设备诸如例如个人数字助理(PDA)或蜂窝电话54A、台式计算机54B、膝上型计算机54C和/或汽车计算机系统54N。节点10可彼此通信。它们可以物理地或虚拟地分组(未示出)在一个或多个网络中，诸如如上所述的私有云、社区云、公共云或混合云、或其组合。这允许云计算环境50提供基础设施、平台和/或软件作为云消费者不需要为其维护本地计算设备上的资源的服务。应当理解，图1中所示的计算装置54A-N的类型仅旨在是说明性的，并且计算节点10和云计算环境50可通过任何类型的网络和/或网络可寻址连接(例如，使用网络浏览器)与任何类型的计算机化装置通信。

现在参见图2，示出了由云计算环境50(图1)提供的一组功能抽象层。应提前理解，图2中所示的组件、层和功能仅旨在是说明性的，并且本发明的实施例不限于此。如所描述，提供以下层和对应功能：

硬件和软件层60包括硬件和软件组件。硬件组件的示例包括：大型机61；基于RISC(精简指令集计算机)架构的服务器62；服务器63；刀片服务器64；存储设备65；以及网络和联网组件66。在一些实施例中，软件组件包括网络应用服务器软件67和数据库软件68。

虚拟化层70提供抽象层，从该抽象层可以提供虚拟实体的以下示例：虚拟服务器71；虚拟存储器72；虚拟网络73，包括虚拟专用网络；虚拟应用和操作系统74；以及虚拟客户端75。

在一个示例中，管理层80可以提供以下描述的功能。资源供应81提供用于在云计算环境内执行任务的计算资源和其他资源的动态采购。计量和定价82在云计算环境内利用资源时提供成本跟踪，并为这些资源的消费开账单或发票。在一个示例中，这些资源可以包括应用软件许可证。安全性为云消费者和任务提供身份验证，以及为数据和其他资源提供保护。用户门户83为消费者和系统管理员提供对云计算环境的访问。服务水平管理84提供云计算资源分配和管理，使得满足所需的服务水平。服务水平协议(SLA)规划和履行85提供根据SLA预期未来需求的云计算资源的预安排和采购。

工作负载层90提供可以利用云计算环境的功能的示例。可以从该层提供的工作负荷和功能的示例包括：地图和导航91；软件开发和生命周期管理92；虚拟课堂教育交付93；数据分析处理94；交易处理95；以及使用机器人的包括一个或多个相机的计算系统的校准/配置96。

根据一些实施例并且参考图3，方法300包括计算系统确定平面图、相机在环境中的位置以及相机用于给定环境的规范301。此外，在框301处，可以在从设施管理软件产品接收设置数据时执行对平面图、相机位置和相机规范中的一个或多个的确定。根据一些实施例，设施管理软件产品与一个或多个设备(例如，IoT)设备通信，提供对环境的洞察。摄像机连接到视频分析软件302。在框302处，相机可以连接到视频管理系统。根据一些实施例，在框302处，使用单应性或其他几何方法来执行相机的初始校准以用于确定由相机俘获的图像之间的关系。在单应性的示例中，单应性涉及环境中的同一平坦表面的不同图像。根据至少一个实施例，相机旋转和平移可以从单应性矩阵提取并且用于引导机器人的导航。在由相机从不同角度捕获的环境的不同图像之间计算单应性矩阵，使得矩阵包含图像的扭曲形式。所述方法包括提供能够使用平面图导航的一个或多个机器人303。例如，机器人使用在301中确定的特定地理坐标来导航平面图。为了便于相机校准，机器人可包括配置图形，例如，(对计算系统)尺寸已知的几何形状。这些图形是在场景中可见的可检测标记，且可打印在机器人上或由机器人显示。在一些实施例中，机器人的形状类似于平行六面体(即，由六个平行四边形形成的三维图形)，其模拟人的高度和宽度(例如，大约168cm高X38cm宽)。根据至少一个实施例，机器人包括用于配置平行六面体的尺寸的内部可调节框架(或其他机构)。在一些实施例中，机器人的侧面中的一个或多个侧面包括一个或多个可检测令牌(例如，校准网格、不同颜色等)，这些可检测令牌可以用于区分机器人的侧面、确定机器人的朝向等。根据一些实施例，一个或多个机器人具有类似人类的形状。根据一些实施例，计算系统创建被配置为检测机器人的对象检测模型304。模型可由计算系统使用以检测机器人的一个或多个可检测令牌或特征(例如，平行六面体的角落)。根据一个或多个实施例，目标检测模型配置成在304执行对目标、地标等的检测。目标检测模型可以被配置为深度学习模型，通过重复的检测任务来改进检测功能性。

根据一些实施例，并且鉴于前述内容，框301-304表示初始设置过程。

根据一些实施例，在框[305-]处执行机器人检测设置。

根据至少一个实施例，物体检测模型被训练成用于检测机器人及其关键地标中的一些(例如，平行六面体的拐角)305。例如，可以使用深度学习目标检测或基于代表性的度量学习方法来训练目标检测模型。

在另一个实施例中，机器人对环境进行一次或多次初始巡视306。当机器人浏览其在相机的视场内和/或通过相机的视场穿过的环境(在下文中被称为场景)时，计算系统使用该模型来检测机器人307。

根据一些实施例，检测307使用背景减除技术来检测场景中的机器人。在机器人是场景中仅有的移动物体的情况下(例如，机器人被部署在诸如数小时之后的零售商店的环境中)，机器人可以非常简单地与背景隔离。否则，在场景包括除了机器人之外的其他移动物体的情况下，可以使用后处理技术将机器人与其他移动物体区分开来，例如，在所检测的物体颜色直方图中查找对应于来自机器人的已知发射颜色的尖峰。根据一些实施例，计算系统可以向机器人传送控制信号，从而使得机器人更新当前可检测令牌(例如，已知图案、颜色、特征的组合等)308。例如，可检测令牌可根据当前场景动态地校准，使得机器人可在计算系统确定可检测令牌太类似于场景中的其他移动物体的情况下改变可检测令牌。例如，在计算系统检测到多于一个可检测令牌但期望仅检测到一个可检测令牌的情况下，计算系统可以向机器人发信号以更新可检测令牌。在另一示例中，计算系统可以将可检测标记与前述进行比较，并且在可检测标记接近的情况下(例如，基于阈值)。

根据一些实施例，并且参见图4的方法400，给定一组颜色C，由计算系统S使用视频分析软件来分析来自(多个)相机的场景的图像，机器人和S之间的通信流水线，x＝1，可检测标记308的更新可包括由机器人发出颜色Cx401，计算系统S检测场景中的所有移动目标并为每个目标生成颜色直方图H402，计算系统S检测在H403中具有尖锐峰值Cx的多个移动目标P，并且在404处，计算系统确定机器人是否是唯一的。例如，如果P＝1(即，只有机器人发出颜色Cx)，保持颜色，睡眠N次；否则，如果P>2，x＝x+1并且将新的颜色Cx发送到机器人405。可以迭代地执行方法308。

当在其旅程306-307期间在场景中检测到机器人时，从当前图像裁剪机器人并且将每个裁剪图像保存在数据库309中。一旦保存了机器人的N个样本图像，设置旅程就结束310。根据一些实施例，然后使用样本图像来训练机器人检测模型311。根据至少一个实施例，机器人检测模型的训练使用传统技术，诸如深度学习目标检测或基于代表性的度量学习方法。

根据一些实施例并且参考图5，相机校准和配置方法500包括：针对每个相机，使用相机规范和平面布置图对投影到平面布置图上作为地理多边形的相机场景进行初始估计501(参见方法的现有技术中的计算机视觉书)。该方法包括机器人导航地理多边形502。机器人导航可以由计算系统控制或例如使用地理定位和平面布置图自主地操作。该方法包括使用机器人检测深度学习模型来检测机器人何时进入和离开相机503的场景。在框504，该方法包括在深度学习推断数据与机器人发送的地理定位数据之间执行时间同步。根据一些实施例，系统使用两个数据源，包括从机器人接收的坐标(例如，GPS坐标)和从相机接收的视频流，并且这些数据源是时间同步的以提高检测结果和所生成的模型的准确性，例如，使得生成警报的准确时间可以与机器人在图像中的外观(例如，机器人是否完全在场景中、进入和部分地在场景中、退出场景并且仍然部分可见，等等)进行比较。该方法包括将相机的场景中的至少一个点映射至机器人的地理坐标，该地理坐标可被转换成地理多边形505内的位置，这使得用户能够选择相机的视频流上的点并且将机器人发送至该位置。在框506处，记录关于相机的场景的数据，其使得能够发现盲角并且重新定位相机。记录507关于所检测的机器人地标的数据，其中机器人占据场景中的不同位置。使用几何方法(诸如单应性)，所记录的数据(即，所检测的和所记录的机器人地标)可以用于校准相机。在框508处配置警报。为了配置涉及感兴趣区域/不感兴趣的或虚拟的三条线的警报508，用户在平面图的数字表示/显示器上画出多边形或线，并且几何形状被映射到地理坐标，这使得机器人能够沿着地理多边形的边缘移动，同时视频分析检测机器人并捕获轨迹，其中捕获的轨迹被用作视频流上的感兴趣区域(ROI)的表示。在这种情况下，使用人形机器人是有帮助的。为了配置涉及最小和/或最大像素数的警报508(其可以由计算系统执行/触发)，机器人横贯感兴趣区域，视频分析检测机器人并计算其像素大小，跨感兴趣区域计算最小和最大大小。如果机器人尺寸不相等(例如，深度＜宽度)，则机器人可以在不同方向上交叉感兴趣区域多次。能够修改机器人的尺寸(例如，使用可调整的框架)在这种情况下可以是有帮助的。如果机器人的尺寸是已知的，则可以将尺寸外推到需要导航环境的其他目标(例如，人)的最小和最大尺寸。在特定环境中，这些尺寸可进一步由预期出现在由相机俘获的图像中的目标的已知尺寸约束。

根据一些实施例，计算系统生成相机定位建议。如果兴趣区域或虚拟三线索部分地在场景之外，则生成警报并且推荐相机定位调整。相机(甚至静态相机)的位置可改变。通过周期性地重新运行校准步骤(参见图5)，计算系统可检测摄像机是否已移动(例如，通过将摄像机的场景中的点与地理坐标相比较)。在检测到变化(例如，大于阈值，诸如2度的弧度)时，计算系统可以向用户发出警报。

图7示出了根据本发明的一些实施例的启用相机校准的用户界面(UI)700。UI包含配置窗口701，其使得用户能够(例如，通过拖放)移动边界框的边缘(例如，702)或顶点(例如，703)以配置摄像机视角。UI包括可视化窗口704，其中可视化窗口704中检测到的目标(例如，在包括检测到的目标周围的框705的经增强视图中)和它们的向量(例如，参见向量706)。

根据一些实施例，并且参考图6，自动测试方法600包括提供具有类人形状的机器人601，并且使用该机器人测试该计算系统，包括视频分析。类人形状可由视频分析流水线中使用的深度学习检测模型检测为人。对于每个视频分析警报定义602，机器人被指示导航到相应的感兴趣区603(被监视并且其中某些活动将触发警报的区的区域)，并且在机器人604满足(或多个)警报条件(例如，最小或最大尺寸、方向、速度等)的地方确定准确的情境和位置，其中计算系统可以验证警报是否被触发605。根据一些实施例，机器人被控制以模拟人类在感兴趣区域中的行为，被模拟的行为被配置为触发一个或多个警报条件。例如，可以控制机器人以触发与跑步的人相关联的警报条件的速度通过感兴趣区域。在警报未被机器人触发的情况下，利用自动注释606生成附加训练数据。通过迭代通过视频分析警报定义，计算系统可以捕获机器人607在不同位置、不同定位和不同维度中的图像，并且使用单应性来自动生成机器人608周围的边界框。例如，在608处，给定机器人的地理坐标及其物理尺寸，并且应用在校准相机时定义的单应性来提取机器人在由相机捕获的图像中的像素坐标。这些像素坐标与相机图像一起构成新的训练数据。

根据一些实施例，在图6的框606-608处，如果在机器人再现警报状况时没有触发警报，则检测模型未能检测到机器人。这样的故障将指示需要附加训练数据以重新训练模型。附加训练数据可以包括场景的图像捕获，所述图像捕获设置有边界框，所述边界框标识机器人应在较早迭代中由模型检测到的环境内的感兴趣区域的位置。

应当理解，边界框可以存储为界定所检测到的目标的坐标集合。出于性能原因，选择在检测到的目标周围尽可能小的边界框可以是有用的。

图8示出了根据本发明的一些实施例的启用警报配置的UI 800。UI包括警报的列表801，以及用于创建和修改每个警报的一组控件。控件包括例如参数802、时间表803(例如，用于设置警报激活的时间)、响应804(例如，用于配置文本警报、音频警报、控制IoT设备(例如)以控制照明、锁定/解锁门等)。每个标签(例如，802-804)可以揭示出包括用于调整其各个特征的控件。UI包括可视化窗口805，其中可以为在警报列表801中选择的当前警报设置边界框806、虚拟三线等。

图9示出了包括多个连接的相机(例如，902)的计算系统901，其中，计算系统和相机通过网络903连接，例如包括以太网连接、无线连接、同轴电缆等。计算系统901包括诸如视频分析流水线的软件模块904和存储设施905(例如，存储器、本地数据库、云存储等)。视频分析流水线包括存储在计算系统901的存储器905中的学习模型906、目标检测模型907等。一个或多个相机可包括用于调节视场的运动控制伺服系统908。网络903还将计算系统901连接到IoT设备909，该IoT设备909接收对应于警报等的信号。计算系统901还例如通过蓝牙或其他无线通信功能连接到一个或多个机器人909。

根据本发明的一些实施例，该检测方法使用背景减除过程。所述背景减法过程包括背景初始化，所述背景初始化包括：提供所述环境的初始背景图像；通过比较所述背景图像和所述后续图像将由所述相机中的至少一个相机所捕获的后续图像中的像素分类为前景或背景；以及通过使用所述先前背景、所述后续图像和前景检测掩模来更新所述背景图像。该过程重复多次，检测方法例如通过深度学习来改进每次迭代。

概括：

根据本发明的一些实施例，一种校准包括相机的系统的方法包括：接收关于被建模为地理多边形空间301的环境的数据，对由相机501捕获的环境的场景进行初始估计，检测在环境503内导航的机器人，包括机器人通过场景的转移，将场景的图像中机器人所占据的多个点映射到地理多边形空间505，记录关于映射的数据506，以及使用记录的关于映射的数据来配置至少一个警报，所述警报由计算系统执行且经配置以由转移场景508的目标触发。

根据一个或多个实施例，一种系统包括：计算系统901，该计算系统包括处理器16和存储器28；网络903，该网络连接到该计算系统上，多个相机，例如902，经由网络连接到计算系统，每个相机具有环境的视场，在环境中的至少一个机器人909，以及在所述计算系统上执行的至少一个软件模块904，使得所述计算系统能够学习被配置成标识所述环境中的所述机器人的模型，以及创建由所述计算系统执行的目标检测模型触发的至少一个警报。

本公开的实施例的方法可以特别适合用于电子装置或替代系统中。因此，本发明的实施方式可以采取完全硬件实施方式或结合软件和硬件方面的实施方式的形式，在本文中可以统称为“处理器”、“电路”、“模块”或“系统”。

此外，应注意的是，在此所描述的任何方法可以包括提供用于组织和服务计算机系统的资源的计算机系统的附加步骤。进一步，计算机程序产品可包括有形的计算机可读可记录存储介质，该计算机可读可记录存储介质具有被适配成被执行以执行本文所描述的一个或多个方法步骤的代码，包括提供具有不同软件模块的系统。

本发明的一个或多个实施例或其元件可以按装置的形式来实现，该装置包括存储器和至少一个处理器，该至少一个处理器耦合至该存储器并且可操作用于执行示范性方法步骤。图10示出了可用于实现本发明的一个或多个方面和/或元件的计算机系统，也表示根据本发明的一个实施方式的云计算节点。现在参见图10，云计算节点10仅是合适的云计算节点的一个示例，并且不旨在对本文描述的本发明的实施例的使用或功能的范围提出任何限制。无论如何，云计算节点10能够被实现和/或执行上文阐述的任何功能。

在云计算节点10中，存在计算机系统/服务器12，其可与许多其他通用或专用计算系统环境或配置一起操作。可以适用于计算机系统/服务器12的公知的计算系统、环境和/或配置的示例包括但不限于个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机系统、大型计算机系统和包括上述任何系统或设备的分布式云计算环境等。

计算机系统/服务器12可以在由计算机系统执行的计算机系统可执行指令(如程序模块)的一般背景下进行描述。一般而言，程序模块可包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。计算机系统/服务器12可以在分布式云计算环境中实践，其中任务由通过通信网络链接的远程处理设备执行。在分布式云计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机系统存储介质中。

如图10所示，云计算节点10中的计算机系统/服务器12以通用计算设备的形式示出。计算机系统/服务器12的组件可以包括但不限于一个或多个处理器或处理单元16、系统存储器28和将包括系统存储器28的不同系统组件耦合到处理器16的总线18。

总线18表示若干类型的总线结构中的任何一种或多种，包括存储器总线或存储器控制器、外围总线、加速图形端口、以及使用各种总线架构中的任一种的处理器或局部总线。作为示例而非限制，这样的体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线和外围组件互连(PCI)总线。

计算机系统/服务器12典型地包括多种计算机系统可读介质。这样的介质可以是可由计算机系统/服务器12访问的任何可用介质，并且其包括易失性和非易失性介质、可移动和不可移动介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其他可移动/不可移动、易失性/非易失性计算机系统存储介质。仅通过示例的方式，存储系统34可以被提供用于从不可移动、非易失性磁介质(未示出，并且通常被称为“硬盘驱动器”)中读取和向其写入。尽管未示出，可以提供用于从可移动非易失性磁盘(例如，“软盘”)读取或向其写入的磁盘驱动器，以及用于从可移动非易失性光盘(如CD-ROM、DVD-ROM或其他光学介质)读取或向其写入的光盘驱动器。在这样的情况下，每一个可以通过一个或多个数据介质接口连接到总线18。如以下将进一步描绘和描述的，存储器28可以包括具有被配置为执行本发明的实施例的功能的一组(例如，至少一个)程序模块的至少一个程序产品。

具有一组(至少一个)程序模块42的程序/实用程序40、以及操作系统、一个或多个应用程序、其他程序模块、和程序数据可以通过举例而非限制的方式存储在存储器28中。操作系统、一个或多个应用程序、其他程序模块和程序数据中的每一个或它们的一些组合可以包括网络环境的实现方式。程序模块42通常执行如在此所描述的本发明的实施例的功能和/或方法。

计算机系统/服务器12也可以与一个或多个外部设备14(如键盘、定点设备、显示器24等和/或使得计算机系统/服务器12能够与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等))通信。这种通信可经由输入/输出(I/O)接口22进行。此外，计算机系统/服务器12可以通过网络适配器20与一个或多个网络通信，例如局域网(LAN)、通用广域网(WAN)和/或公共网络(例如互联网)。如图所示，网络适配器20通过总线18与计算机系统/服务器12的其他组件通信。应当理解，虽然未示出，但是其他硬件和/或软件组件可以与计算机系统/服务器12结合使用。示例包括但不限于：微代码、设备驱动器、冗余处理单元和外部磁盘驱动阵列、RAID系统、磁带驱动器和数据归档存储系统等。

因此，一个或多个实施例可以利用在通用计算机或工作站上运行的软件。参考图10，这种实现方式可以例如采用处理器16、存储器28和到显示器24和外部设备14(诸如键盘、定点设备等)的输入/输出接口22。如本文中使用的术语“处理器”旨在包括任何处理设备，例如，包括CPU(中央处理单元)和/或其他形式的处理电路的处理设备。此外，术语“处理器”可以指多于一个单独的处理器。术语“存储器”旨在包括与处理器或CPU相关联的存储器，例如，RAM(随机存取存储器)30、ROM(只读存储器)、固定存储设备(例如，硬盘驱动器34)、可移动存储设备(例如，磁盘)、闪存等。此外，如本文中使用的短语“输入/输出接口”旨在考虑例如用于将数据输入至处理单元的一个或多个机构(例如，鼠标)的接口，以及用于提供与处理单元相关联的结果的一个或多个机构(例如，打印机)的接口。处理器16、存储器28和输入/输出接口22可以例如经由作为数据处理单元12的一部分的总线18互连。合适的互连(例如经由总线18)也可以被提供给网络接口20(诸如网卡)和介质接口(诸如软盘或CD-ROM驱动器)，网络接口20可以被提供用于与计算机网络接口连接，介质接口可以被提供用于与合适的介质接口连接。

因此，如在此描述的，包括用于执行本发明的方法的指令或代码的计算机软件可以存储在相关联的存储器装置(例如，ROM、固定或可移动存储器)中的一个或多个中，并且当准备好被使用时，被部分或全部加载(例如，加载到RAM中)并且由CPU实现。这样的软件可以包括但不限于固件、驻留软件、微代码等。

一种适于存储和/或执行程序代码的数据处理系统将包括至少一个处理器16，该至少一个处理器通过系统总线18直接或间接地联接到存储器元件28。存储器元件可以包括在程序代码的实际实现期间使用的本地存储器、大容量存储器、以及提供至少一些程序代码的临时存储以便减少在实现期间必须从大容量存储器取回代码的次数的高速缓冲存储器32。

输入/输出或I/O设备(包括但不限于键盘、显示器、定点设备等)可以直接地或通过中间的I/O控制器耦合至系统。

网络适配器20还可以耦合至系统，以便使得数据处理系统能够通过介入专用或公共网络耦合至其他数据处理系统或远程打印机或存储设备。调制解调器、电缆调制解调器和以太网卡仅是一些当前可用类型的网络适配器。

如本文中使用的，包括权利要求书，“服务器”包括运行服务器程序的物理数据处理系统(例如，如图10所示的系统12)。将理解，这样的物理服务器可包括或可不包括显示器和键盘。

一个或多个实施例可以至少部分地在云或虚拟机环境的背景下实施，尽管这是示范性的并且非限制性的。参考回图1-2和所附文本。例如，考虑层66中的数据库应用。

应注意的是，在此所描述的任何方法可以包括提供系统的附加步骤，该系统包括体现在计算机可读存储介质上的不同软件模块；这些模块可以包括例如框图中所描绘的和/或在此描述的任何或所有适当元件；通过举例而非限制的方式，所描述的任何一个、一些或全部模块/框和/或子模块/框。然后可以使用在诸如16的一个或多个硬件处理器上执行的如上所述的系统的不同软件模块和/或子模块来执行方法步骤。进一步，计算机程序产品可包括计算机可读存储介质，该计算机可读存储介质具有适于实现以执行本文描述的一个或多个方法步骤的代码，包括提供具有不同软件模块的系统。

可以在一些情况下采用的用户界面的示例是由服务器等提供给用户的计算设备的浏览器的超文本标记语言(HTML)代码。HTML由用户的计算设备上的浏览器解析以创建图形用户界面(GUI)。

示例性系统和制造物细节

本发明可以是系统、方法、和/或计算机程序产品。计算机程序产品可包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质(或多个介质)。

计算机可读存储介质可以是能够保留和存储供指令执行设备使用的指令的有形设备。计算机可读存储介质可以是，例如但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或者上述的任意合适的组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下各项：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式紧凑盘只读存储器(CD-ROM)、数字通用盘(DVD)、记忆棒、软盘、诸如穿孔卡之类的机械编码设备或具有记录在其上的指令的槽中的凸出结构、以及上述各项的任何合适的组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线发射的电信号。

在此所描述的计算机可读程序指令可以经由网络(例如，互联网、局域网、广域网和/或无线网络)从计算机可读存储介质下载至相应的计算/处理设备或下载至外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据、或以一种或多种程序设计语言的任何组合编写的源代码或目标代码，这些程序设计语言包括面向对象的程序设计语言(诸如Smalltalk、C++等)和过程程序设计语言(诸如“C”程序设计语言或类似程序设计语言)。计算机可读程序指令可以完全地在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接至用户计算机，或者可连接至外部计算机(例如，使用互联网服务提供商通过互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来使电子电路个性化来执行计算机可读程序指令，以便执行本发明的各方面。

在此参照根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的多个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以被提供给通用计算机、专用计算机、或其他可编程数据处理装置的处理器以产生机器，这样使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的或多个框中指定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置、和/或其他设备以特定方式工作，从而，其中存储有指令的计算机可读存储介质包括包含实现流程图和/或框图中的或多个方框中规定的功能/动作的方面的指令的制造物。

计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置、或其他设备上，以使得一系列操作步骤在计算机、其他可编程装置或其他设备上执行以产生计算机实现的过程，从而使得在计算机、其他可编程装置、或其他设备上执行的指令实现流程图和/或框图的或多个框中指定的功能/动作。

附图中的流程图和框图展示了根据本发明的不同实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。对此，流程图或框图中的每个框可表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些备选实现中，框中标注的功能可以不按照图中标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个块实际上可以基本上同时执行，或者这些块有时可以以相反的顺序执行。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作或执行专用硬件与计算机指令的组合的专用的基于硬件的系统来实现。

已经出于说明的目的呈现了本发明的各个实施例的描述，但并不旨在是详尽的或限于所公开的实施例。在不脱离所描述的实施例的范围的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。这里使用的术语被选择来最好地解释实施例的原理、实际应用或对在市场中找到的技术的技术改进，或者使得本领域普通技术人员能够理解这里公开的实施例。

Claims (16)

1.一种校准包括相机的系统的方法，所述方法包括：

检测在被建模为地理多边形空间的环境内导航的机器人，包括所述机器人通过由所述相机捕获的所述环境的场景的运输；

将所述场景的图像中由所述机器人所占据的多个点映射到所述地理多边形空间；

记录关于所述映射的数据；以及

使用所记录的关于所述映射的所述数据配置至少一个警报，所述警报由所述计算系统执行并且被配置为由穿过所述场景的目标触发。

2.根据权利要求1所述的方法，进一步包括：

为所述机器人提供所述环境内的感兴趣区域的位置；

向所述机器人提供警报条件；

由所述机器人在所述机器人通过所述场景的所述运输期间模拟所述警报条件；以及

确定所述机器人满足所述警报条件。

3.根据权利要求1所述的方法，进一步包括：

为所述机器人提供所述环境内的感兴趣区域的位置；

向所述机器人提供警报条件；

由所述机器人在所述机器人通过所述场景的所述运输期间模拟所述警报条件；

确定所述机器人不满足所述警报条件；以及

记录关于场景中的机器人的附加数据，直到能够满足该条件。

4.根据权利要求3所述的方法，进一步包括向所述系统提供训练数据，所述训练数据包括所述场景的图像，所述图像包括识别所述环境内的所述感兴趣区域的位置的边界框。

5.根据权利要求1所述的方法，进一步包括使从所述机器人接收的地理定位数据的定时数据与所述计算系统的定时数据同步。

6.根据权利要求1所述的方法，进一步包括接收关于所述机器人的数据，所述数据包括所述机器人的至少一个维度。

7.一种校准包括相机的系统的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质包括计算机可执行指令，所述计算机可执行指令在被计算机执行时使所述计算机执行用于校准包括相机的系统的方法，所述方法包括：

检测在被建模为地理多边形空间的环境内导航的机器人，包括所述机器人通过由所述相机捕获的所述环境的场景的运输；

将所述场景的所述图像中由所述机器人所占据的多个点映射到所述地理多边形空间；

记录关于所述映射的数据；以及

使用所记录的关于所述映射的所述数据配置至少一个警报，所述警报由所述计算机执行并且被配置为由穿过所述场景的目标触发。

8.根据权利要求7所述的计算机程序产品，进一步包括：

为所述机器人提供所述环境内的感兴趣区域的位置；

向所述机器人提供警报条件；

由所述机器人在所述机器人通过所述场景的所述运输期间模拟所述警报条件；以及

确定所述机器人满足所述警报条件。

9.根据权利要求7所述的计算机程序产品，进一步包括：

为所述机器人提供所述环境内的感兴趣区域的位置；

向所述机器人提供警报条件；

由所述机器人在所述机器人通过所述场景的所述运输期间模拟所述警报条件；

确定所述机器人不满足所述警报条件；以及

记录关于场景中的机器人的附加数据，直到能够满足该条件。

10.根据权利要求9所述的计算机程序产品，进一步包括向所述系统提供训练数据，所述训练数据包括所述场景的图像，所述图像包括识别所述环境内的所述感兴趣区域的位置的边界框。

11.根据权利要求7所述的计算机程序产品，进一步包括使从所述机器人接收的地理定位数据的定时数据与所述计算系统的定时数据同步。

12.根据权利要求7所述的计算机程序产品，进一步包括接收关于所述机器人的数据，所述数据包括所述机器人的至少一个维度。

13.一种系统，包括：

计算系统，所述计算系统包括处理器和存储器；

网络，连接到所述计算系统；

多个相机，所述多个相机经由所述网络连接到所述计算系统，每个相机具有环境的视场；

在所述环境中的至少一个机器人；以及

在所述计算系统上执行的至少一个软件模块，使得所述计算系统能够学习被配置成识别所述环境中的所述机器人的模型，并且创建由所述计算系统执行的目标检测模型触发的至少一个警报。

14.根据权利要求13所述的系统，其中，所述至少一个机器人包括至少一个配置图形。

15.根据权利要求13所述的系统，其中，所述至少一个配置图形是已知尺寸的几何形状。

16.根据权利要求13所述的系统，其中，所述机器人包括被配置为显示对所述多个相机可见的可检测令牌的至少一个显示器。