CN111656735A - 使用硬件在环即服务(hilaas)测试嵌入式系统和应用程序 - Google Patents

Abstract

由处理器在物联网(IoT)环境中测试嵌入式系统及其应用程序的实施例，表示为“在环硬件即服务”(HiLaaS)。在仿真环境中，可以根据接收到的控制参数针对价格实时测试联网系统中的一个或多个仿真实体和一个或多个真实实体。价格由系统根据其他参数估算，并提供给用户接受或拒绝。或者，用户可以指定价格，系统估计控制参数，并且用户可以接受或拒绝控制参数。当价格和控制参数被接受时，可以基于对一个或多个仿真实体的测试来估计一个或多个实体、联网系统或其组合的一个或多个属性。

Description

使用硬件在环即服务(HILAAS)测试嵌入式系统和应用程序

背景

导致该申请的项目已根据第692455号拨款协议，从欧洲领导力联合事业的电子元件系统获得了资助。该联合事业得到了欧盟Horizon 2020研究与创新计划以及奥地利、丹麦、德国、芬兰，捷克共和国、意大利、西班牙、葡萄牙、波兰、爱尔兰、比利时、法国、荷兰、英国、斯洛伐克、挪威的支持。

技术领域

本发明总体上涉及计算系统，更具体地，涉及在使用实时连接的各种传感器(也称为物联网IoT)监视联网系统的环境中的各种测试嵌入式系统，并且其中一些嵌入式系统以制造形式提供，而其他嵌入式系统则按需进行仿真，表示为硬件在环即服务(HiLaaS)。

背景技术

在当今社会中，消费者、商务人士、教育者和其他人在各种环境中使用各种计算系统，其中许多涉及所述系统的互连。随着集成电路的出现和进一步的小型化，计算系统可以被集成到各种各样的个人、商业、健康、家庭、教育、娱乐、旅行和其他设备中。例如，每种车辆都配备有多个计算系统。随着此类数据处理设备的使用在整个社会中继续激增，此类设备在社会被依赖。为了对此类设备(尤其是它们的交互作用)充满信心，测试此类设备的属性至关重要。

发明内容

根据一个方面，提供了一种由处理器在物联网(IoT)环境中测试联网系统的方法，该方法包括：接收一个或多个控制参数和与仿真环境有关的信息；根据所述一个或多个控制参数，作为所述仿真环境中的测试即服务(TaaS)测试与所述联网系统关联的一个或多个实体、与所述联网系统关联的一个或多个仿真实体、或其组合；以及基于对所述一个或多个仿真实体的测试，估计所述一个或多个实体、所述联网系统或其组合的一个或多个属性。

根据另一方面，提供了一种用于在物联网(IoT)网络环境中测试联网系统的系统，该系统包括：一台或多台具有可执行指令的计算机，所述指令在执行时使系统：接收一个或多个控制参数和与仿真环境有关的信息；作为仿真环境中的测试即服务(TaaS)测试与联网系统关联的一个或多个实体、与联网系统关联的一个或多个仿真实体、或其组合；以及基于对所述一个或多个仿真实体的测试，估计所述一个或多个实体、所述联网系统或其组合的一个或多个属性。

根据另一方面，提供了一种用于由处理器在计算环境中测试联网系统的计算机程序产品，该计算机程序产品包括具有存储在其中的计算机可读程序代码部分的非暂时性计算机可读存储介质，该计算机可读程序代码部分包括：可执行部分，其接收一个或多个控制参数和与仿真环境有关的信息；以及可执行部分，其根据所述一个或多个控制参数，作为所述仿真环境中的测试即服务(TaaS)测试与所述联网系统关联的一个或多个实体、与所述联网系统关联的一个或多个仿真实体、或其组合；以及可执行部分，其基于对所述一个或多个仿真实体的测试，估计所述一个或多个实体、所述联网系统或其组合的一个或多个属性。

提供了用于在物联网(IoT)环境中测试联网系统的各种实施例。在一个实施例中，仅作为示例，提供了一种用于在计算环境中由处理器使用硬件在环即服务(HiLaaS)来测试嵌入式系统和应用程序的方法。HiLaaS测试包括根据控制参数实时测试一个或多个实际被测嵌入式系统以及一个或多个联网系统的一个或多个仿真实体。可以接收和/或定义用于仿真的控制参数以在仿真环境中进行测试。HiLaaS测试的费用可能取决于控制参数和联网系统。HiLaaS测试的输出可以是基于一个或多个仿真实体的测试对一个或多个实体、联网系统或其组合的一个或多个属性的估计。

附图说明

为了容易理解本发明的优点，将通过参考在附图中示出的特定实施例来对以上简要描述的本发明进行更具体的描述。理解这些附图仅示出了本发明的典型实施例，因此不应认为是对本发明范围的限制，将通过使用附图以附加的特征和细节来描述和解释本发明，其中：

图1是示出根据本发明实施例的示例性计算节点的框图；

图2是示出根据本发明的实施例的示例性云计算环境的附加框图；

图3是示出根据本发明的实施例的抽象模型层的附加框图；

图4是示出根据本发明的实施例的用于在物联网(IoT)计算网络环境中运行的流量仿真测试的示例性系统的图；

图5是示出根据本发明的实施例的用于在物联网(IoT)计算网络环境中运行的流量仿真测试的示例性系统的附加图；

图6是示出用于使用硬件在环即服务(HiLaaS)在物联网(IoT)计算网络环境中测试嵌入式系统和应用程序的示例性方法的流程图，同样，可以实施本发明的各个实施例；

图7是示出用于使用硬件在环即服务(HiLaaS)在物联网(IoT)网络环境中测试嵌入式系统和应用程序的示例性方法的另一流程图，同样，本发明的各个实施例可以在HiLaaS中实施；

图8是示出用于使用HiLaaS在IoT网络环境中测试嵌入式系统和应用程序的示例性方法的附加流程图，其中本发明的各种实施方式可以在HiLaaS中实施；以及

图9是示出用于使用HiLaaS在IoT网络环境中测试嵌入式系统和应用程序的示例性方法的额外的流程图，同样本发明的各种实施方式可以在HiLaaS中实施。

具体实施方式

计算机和网络技术的出现使得人们或设备从世界的一侧到另一侧的相互通信成为可能。例如，例如可以通过“基础设施即服务(IaaS)”、“平台即服务”(PaaS)和/或“软件即服务(SaaS)”的形式通过互联网将云计算作为服务提供。通常IaaS可以按服务收费提供物理或虚拟计算设备和/或附件，客户端/用户可以在其上加载和/或安装、管理平台、应用程序和/或数据。PaaS可以将计算平台和解决方案堆栈作为服务，例如软件开发平台、应用程序服务(例如团队协作、Web服务集成、数据库集成和/或开发人员社区促进)交付。SaaS软件供应商可以将软件许可作为应用程序部署给客户，以按需用作服务。SaaS软件供应商可以将应用程序托管在自己的云上，也可以将这些应用程序从云下载到云客户端，从而在使用后或按需合同到期后将其禁用。

在另一方面，物联网，也称为对象物联网，是指日常对象的网络互连或计算设备(IoT设备)的互连。它被描述为传感器的自配置无线网络，其目的将是互连所有事物。物联网设备可以是唯一可识别的，并且可以通过计算网络与一个或多个其他物联网设备通信以形成设备配置。可以在IoT设备中实现多个协议、域和应用程序。IoT设备可以嵌入各种物理设备或产品中，例如家用电器、制造设备、工业打印机、汽车、恒温器、智能交通信号灯、车辆、建筑物等。此外，IoT计算系统可以包括，例如，例如在可以远程控制电力负载的地方，“需求响应管理”提供了部分控制住宅用户的电力负载的能力。作为另外的示例，在运输业中，IoT计算系统的元件可以包括一种或多种类型的车辆。

然而，当前的挑战影响了各种云计算和物联网计算系统。例如，在物联网计算系统中，很难一次部署数十万个传感器(例如，“智能线”和温度的在线测量)，并且从提议的试点项目中仅部署几个传感器来预知传感器的好处可能也很有挑战性。因此，本发明优选地寻求提供一种解决方案，以使用硬件在环即服务(HiLaaS)在物联网(IoT)网络环境中测试嵌入式系统和应用程序。

在一个实施例中，回路中的硬件可以与例如具有固定数量的仿真元件的仿真引擎(例如，简单的仿真引擎)结合使用，以与车辆的其余部分无关地测试车辆的引擎，同时仿真4个车轮的牵引力和1个驱动轮的输入。在物联网应用程序中，仿真元件的数量趋于变化并趋于更大，例如成千上万辆，结果的精度取决于仿真元件的数量。这样，本发明优选地提供HiLaaS测试可以应用于这样的联网系统，其中，被测联网系统中的元件数量随时间变化。因此，所示实施例的机制可以提供对联网系统的仿真，其中可以对一些实际的或真实的元件进行检测以实时地提供数据，还可以仿真随时间变化的很多其他元件。例如，在电力系统中，HiLaaS测试不仅限于测试在一段时间内可以保持不变的拓扑(例如，测试电站中断的影响)，还包括测试随时间变化的拓扑(例如，最佳传输切换)以及测试考虑单个用户中断(例如，测试由用户增加或减小功率负载引起的功率负载的单个中断)。作为另外的示例，所示出的实施例的机制可以通过使用实际的、真实的车辆的全球定位卫星(“GPS”)以及时变的其他车辆的数量(例如，在交通仿真测试中时变的其他仿真车辆的数量)的仿真交通来提供给HiLaaS测试运输部门。

在一个实施例中，对联网系统的HiLaaS测试时变多个实体对于长期分析至关重要。例如，仅当考虑到非常短的时间段(例如，分钟)时，许多应用程序(例如，电力系统、运输、网络)的需求才显示出平稳性。因此，本发明优选地提供了许多以非平稳的方式改变的仿真实体，以在选定的时间段(例如，大于或等于24小时)内仿真应用程序或系统。如果仿真要运行更长的时间段(例如，在测试自动驾驶汽车的道路安全中的年份)，则例如由于实际原因(例如，故障、按比例的仿真等)，真实实体的数量也可能会改变。

在一个实施例中，可以定义要仿真的事件的频率，例如，低频事件(例如，1赫兹“Hz”)，而联网系统中的元件数量在大小方面可能很大(例如，数千个元件)。例如，在运输应用程序中，例如54公里(“km”)的环形道路或高速公路上的速度咨询系统，道路上有三千辆汽车，每辆汽车可能在道路上停留一个小时，因此，车辆进出道路的频率为1Hz。在城市规模的速度咨询系统中，高峰时段150公里的道路网络上可能有十万辆汽车，进出频率为30Hz。此外，在运输应用程序中，车辆可能无法任意快速地加速和减速，这使得建议的频率也成为许多其他事件的实际的离散化。

应用于具有联网系统的IoT计算系统的HiLaaS测试可以包括测试元件的交互作用(例如，非线性交互作用)(与测试单个元件的数量相比)。例如，在确定车辆的速度时，基于多个因素来设置所述车辆的速度，所述多个因素包括在同一车道中前后的车辆的速度以及合并到车道中的车辆以及可能的在其他车道上的车辆。理想地，本文示例中考虑的速度咨询系统可以考虑所有这样的因素，包括道路上所有车辆的速度，以及共同设置道路上所有车辆的速度。随着联网系统各个元件的连通性和自动化程度的提高，可能会监视和仿真交互，从而提高了仿真准确性。

为了详细说明速度咨询示例，假设在选定的地理区域(例如区域“A”)中，正在运行速度建议系统，其中输入是一定数量的实际车辆在该街道上的位置。传统上，此类系统仅在仿真中进行测试，然后部署到所有用户，因此所有用户都必须对仿真测试做出反应。在HiLaaS测试中，HiLaaS测试系统可以为一个或多个道路用户部署，并且可以在接受传感器数据(例如坡度测量数据)的同时仿真其他道路用户的行为。可以定义仿真环境中的一个或多个规则，例如，接管未被仿真，仿真车辆的速度不能超过其位置被输入并被接受的实际车辆的速度。其他规则，例如道路用户对建议速度的遵守程度，可能是一个粗略估算。尽管如此，HiLaaS测试仍可以通过考虑真实和仿真之间的各种相互作用来估计联网系统的属性，例如流量密度及其随时间的演变。

作为另外的示例，在电力系统中，由于大的电力用户(例如公司或组织)期望电力价格上涨，因此报告的风速的下降可能触发对有功功率的需求的下降。这种交互也可以在HiLaaS测试中建模。应该注意的是，在HiLaaS测试中，大量实际实体可能更可取。在交通运输应用程序中，如果只有少量的实际车辆提供其位置并且少量的实际车辆是“对抗性的”(例如，非常缓慢地驾驶以故意造成交通拥挤的印象)，那么速度咨询系统可能会提供次优的建议。结果，在大规模部署中，即使并非绝对必要，许多驾驶员也可能会重新安排行程。

为了测试大规模的联网系统，在选定的时间段(例如，短时间段)内可能需要高性能计算(例如，数百和/或数千个计算节点)。虽然出于测试目的而购买高性能硬件可能并不经济，但是HiLaaS测试可“作为服务”(例如，按需提供服务)提供对高性能硬件的访问，从而使高性能计算设施在云计算环境中共享。

在一个实施例中，本发明的机制可以将各种仿真参数(例如，“输入”)使用到用于HiLaaS测试的仿真环境中。仿真参数(例如，“输入”)可以包括但不限于与联网系统有关的静态数据(例如，电力系统的描述和详细信息，运输网络的描述和详细信息等)，对于选定的时间段(例如，“每日数据”，例如单位承诺调度(schedule)、运输时间表/调度，日历数据等)的数据，来自一个或多个实体以及与联网系统(例如，可中断负载的负载，测试车辆的位置)有关的环境的实时流数据以及与一个或多个实体相关的信息(例如，用于HiLaaS测试的仿真引擎的类型、HiLaaS测试的配置、实体的行为或其他用户定义的信息)。

使用各种仿真参数或“输入”，HiLaaS测试可以估计多个实体，以仿真和/或估计仿真实体、真实实体(例如，非仿真实体)和联网系统环境之间的相互作用。联网系统的HiLaaS测试的输出可以为仿真实体提供实时流数据，并为仿真实体提供相同数据的预测，以供在其他应用程序可能的使用。应当注意，例如可以出于一个或多个原因或动机来预测联网系统的行为，以便基于预测来设置实时提供的服务的价格(例如，联网系统的预测行为以在选定的价格提供HiLaaS服务)。联网系统的HiLaaS测试的输出还可以基于仿真实体及其预测来估计联网系统的一个或多个属性。

本文将进一步描述所示实施例的各个方面的其他示例以及相应的益处。

首先应当理解，尽管本公开包括关于云计算的详细描述，但其中记载的技术方案的实现却不限于云计算环境，而是能够结合现在已知或以后开发的任何其它类型的计算环境而实现。

云计算是一种服务交付模式，用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源，例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。

特征如下：

按需自助式服务：云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。

广泛的网络接入：计算能力可以通过标准机制在网络上获取，这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台(例如移动电话、膝上型电脑、个人数字助理PDA)对云的使用。

资源池：提供者的计算资源被归入资源池并通过多租户(multi-tenant)模式服务于多重消费者，其中按需将不同的实体资源和虚拟资源动态地分配和再分配。一般情况下，消费者不能控制或甚至并不知晓所提供的资源的确切位置，但可以在较高抽象程度上指定位置(例如国家、州或数据中心)，因此具有位置无关性。

迅速弹性：能够迅速、有弹性地(有时是自动地)部署计算能力，以实现快速扩展，并且能迅速释放来快速缩小。在消费者看来，用于部署的可用计算能力往往显得是无限的，并能在任意时候都能获取任意数量的计算能力。

可测量的服务：云系统通过利用适于服务类型(例如存储、处理、带宽和活跃用户帐号)的某种抽象程度的计量能力，自动地控制和优化资源效用。可以监测、控制和报告资源使用情况，为服务提供者和消费者双方提供透明度。

服务模型如下：

软件即服务(SaaS)：向消费者提供的能力是使用提供者在云基础架构上运行的应用。可以通过诸如网络浏览器的瘦客户机接口(例如基于网络的电子邮件)从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置外，消费者既不管理也不控制包括网络、服务器、操作系统、存储、乃至单个应用能力等的底层云基础架构。

平台即服务(PaaS)：向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用，这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构，但对其部署的应用具有控制权，对应用托管环境配置可能也具有控制权。

基础架构即服务(IaaS)：向消费者提供的能力是消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构，但是对操作系统、存储和其部署的应用具有控制权，对选择的网络组件(例如主机防火墙)可能具有有限的控制权。

部署模型如下：

私有云：云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。

共同体云：云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。

公共云：云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。

混合云：云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成，这些云依然是独特的实体，但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。

云计算环境是面向服务的，特点集中在无状态性、低耦合性、模块性和语意的互操作性。云计算的核心是包含互连节点网络的基础架构。

现在参考图1，其中显示了云计算节点的一个例子。图1显示的云计算节点10仅仅是适合的云计算节点的一个示例，不应对本发明实施例的功能和使用范围带来任何限制。总之，云计算节点10能够被用来实现和/或执行以上所述的任何功能。

云计算节点10具有计算机系统/服务器12，其可与众多其它通用或专用计算系统环境或配置一起操作。众所周知，适于与计算机系统/服务器12一起操作的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任意系统的分布式云计算技术环境，等等。

计算机系统/服务器12可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括执行特定的任务或者实现特定的抽象数据类型的例程、程序、目标程序、组件、逻辑、数据结构等。计算机系统/服务器12可以在通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实施。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

如图1所示，云计算节点10中的计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是能够被计算机系统/服务器12访问的任意可获得的介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图1未显示，通常称为“硬盘驱动器”)。尽管图1中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，其它硬件和/或软件模块可以与计算机系统/服务器12一起操作，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

现在参考图2，其中显示了示例性的云计算环境50。如图所示，云计算环境50包括云计算消费者使用的本地计算设备可以与其相通信的一个或者多个云计算节点10，本地计算设备例如可以是个人数字助理(PDA)或移动电话54A，台式电脑54B、笔记本电脑54C和/或汽车计算机系统54N。云计算节点10之间可以相互通信。可以在包括但不限于如上所述的私有云、共同体云、公共云或混合云或者它们的组合的一个或者多个网络中将云计算节点10进行物理或虚拟分组(图中未显示)。这样，云的消费者无需在本地计算设备上维护资源就能请求云计算环境50提供的基础架构即服务(IaaS)、平台即服务(PaaS)和/或软件即服务(SaaS)。应当理解，图2显示的各类计算设备54A-N仅仅是示意性的，云计算节点10以及云计算环境50可以与任意类型网络上和/或网络可寻址连接的任意类型的计算设备(例如使用网络浏览器)通信。

现在参考图3，其中显示了云计算环境50(图2)提供的一组功能抽象层。首先应当理解，图3所示的组件、层以及功能都仅仅是示意性的，本发明的实施例不限于此。如图3所示，提供下列层和对应功能：

设备层55包括物理和/或虚拟设备，嵌入的和/或独立的电子设备、传感器、致动器和其他对象以在云计算环境50中执行各种任务。设备层55中的每个设备都包含有到其他功能抽象层的联网能力，使得可以向其提供从设备获得的信息，和/或可以将来自其他抽象层的信息提供给设备。在一个实施例中，包括设备层55在内的各种设备可以包括被统称为“物联网”(IoT)的实体网络。如本领域的普通技术人员将理解的，这样的实体网络允许数据的相互通信、收集和分发以实现各种各样的目的。

如图所示，所示的设备层55包括传感器52、致动器53、“学习”恒温器56(具有集成处理、传感器和联网电子设备)、照相机57、可控家用管道/容器58、和可控电气开关59。其他可能的设备可能包括但不限于各种其他传感器设备、网络设备、电子设备(例如远程控制设备)、其他执行器设备、例如冰箱或洗衣机/干衣机等所谓的“智能”设备，以及各种其他可能的互连对象。

硬件和软件层60包括硬件和软件组件。硬件组件的例子包括：主机61；基于RISC(精简指令集计算机)体系结构的服务器62；服务器63；刀片服务器64；存储设备65；网络和网络组件66。软件组件的例子包括：网络应用服务器软件67以及数据库软件68。

虚拟层70提供一个抽象层，该层可以提供下列虚拟实体的例子：虚拟服务器71、虚拟存储72、虚拟网络73(包括虚拟私有网络)、虚拟应用和操作系统74，以及虚拟客户端75。

在一个示例中，管理层80可以提供下述功能：资源供应功能81：提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取；计量和定价功能82：在云计算环境内对资源的使用进行成本跟踪，并为此提供帐单和发票。在一个例子中，该资源可以包括应用软件许可。安全功能：为云的消费者和任务提供身份认证，为数据和其它资源提供保护。用户门户功能83：为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能84：提供云计算资源的分配和管理，以满足必需的服务水平。服务水平协议(SLA)计划和履行功能85：为根据SLA预测的对云计算资源未来需求提供预先安排和供应。

工作负载层90提供云计算环境可能实现的功能的示例。在该层中，可提供的工作负载或功能的示例包括：地图绘制与导航91；软件开发及生命周期管理92；虚拟教室的教学提供93；数据分析处理94；交易处理95；以及在本发明的所示实施例的上下文中，用于使用HiLaaS测试嵌入式系统和应用的各种工作负载和功能96。另外，用于使用HiLaaS测试嵌入式系统和应用程序的工作负载和功能96可以包括诸如数据分析操作、数据分析以及如将进一步描述的通知功能。本领域的普通技术人员将理解，用于使用HiLaaS测试嵌入式系统和应用程序的工作负载和功能96还可与各种抽象层的其他部分(例如硬件和软件60、虚拟化70、管理层80和其他工作负载90(例如数据分析处理94)中的那些)结合工作，来完成本发明所示实施例的各种目的。

如前所述，所示实施例的机制提供了新颖的方法来在计算环境中使用HiLaaS测试嵌入式系统和应用程序。可以使用一个或多个真实实体和一个或多个仿真实体在仿真环境中接收和/或定义仿真参数以进行测试。在仿真环境中，可以根据仿真参数实时测试联网系统中的一个或多个实体的一个或多个仿真实体和/或真实实体。可以基于对一个或多个仿真实体的测试来估计一个或多个实体、联网系统或其组合的一个或多个属性。

在一个实施例中，在仿真环境中，可以根据接收到的控制参数针对选择的价格(例如，在选择的范围内的价格或者低于价格阈值)实时地测试联网系统中的一个或多个仿真实体和一个或多个真实实体。价格由系统根据其他参数估算，并提供给用户接受或拒绝。或者，用户可以指定价格、系统估计控制参数，并且用户可以接受或拒绝控制参数。当接受价格和控制参数时，可以基于对一个或多个仿真实体的测试来估计一个或多个实体、联网系统或其组合的一个或多个属性。

在一个实施例中，一个或多个实体可以彼此交互并且与联网系统相关联的环境交互。在仿真环境中的仿真实体的数量可以在选定的时间段内进行调整或修改。也就是说，在选定的时间段内，仿真实体的数量不包括来自相同分布的样本，而是被来自真实实体(例如，真实实体的实时流数据)的实时信息影响、选拔、选择和/或甚至确定的，并且受历史数据和给定日期的调度数据影响、选拔、选择和/或甚至确定的。例如考虑运输应用程序。传统上，可以预期，道路上的车辆数量(例如，网络或“道路网络”)是根据需求模型抽样的，该模型可以是静态的或特定于一周中的每个小时的。但是，可以考虑来自实际车辆的输入(例如车辆的速度)以及来自第三方传感器(例如交通控制系统的感应回路或测量降雪量的传感器)的输入来调整该车辆的数量。这可能会产生更准确的仿真。

另外，所示实施例的机制可以合并实时反馈，该实时反馈可以从联网系统的一个或多个用户、联网系统、仿真实体和/或真实实体获得。例如，获得的反馈可以包括一个或多个真实实体的实时流数据。以这种方式，反馈信息也可以用于改变、更新，更改和/或修改各种仿真参数。

另外，所示实施例的机制提供了服务于多个用户的灵活的“共享”服务，该服务可以从被测联网系统的多个真实元件输入数据，在一个应用程序域中，完全、部分甚至根本不共享数据。而且，所示实施例的机制可以服务于广泛的应用程序(例如，交通仿真的加速建议、速度建议，路线建议等)，其中每个应用程序都依赖于真实的、仿真的和/或仿真数据特定的组合以及数据交换。被测联网系统的真实元件可以完全、部分或完全不访问在仿真环境中仿真的虚拟环境数据。

现在转到图4，该图示出了用于IoT网络环境中的流量仿真测试的示例性系统。图4示出了使用HiLaaS的示例性计算、数据处理、感知、测试嵌入式系统和应用程序以及在移动车辆402的背景下示出的其他组件400的图，其中可以实现本发明的各种实施例。各种组件400可以协同工作以使用HiLaaS在IoT网络环境中测试嵌入式系统和应用程序。

如图4所示，该示例使用测试系统408(例如，仿真引擎)在被测系统406(例如，仿真环境)中仿真一辆或多辆车辆402(例如，IoT网络实体)的交通。即，可以在被测系统406中测试一辆或多辆车辆402。然而，可以在多种环境、场景和/或其他类型的联网系统中采用使用HiLaaS 404(例如，HiLaaS接口404)的被测系统406。如本文所用，“车辆”可以是汽车、自行车、气垫船、踏板车，公共汽车、摩托车、船、轮船、航空器、飞机、直升机、无人机、越野车、卡车，拖拉机和/或其他用于运动或运输的设备。另外，“车辆”可以是虚拟车辆，其可以由被测系统406用来仿真一个或多个“真实”或实际车辆以在被测系统406中进行测试。在一个实施例中，一个或多个用户(例如，用户410)也可以与HiLaaS404(例如，HiLaaS接口404)通信。

在一个实施例中，车辆402可以仅是一种类型的车辆(例如，仅是汽车)。可替代地，车辆402可以是车辆类型的组合(例如，汽车、摩托车、公共汽车，踏板车、自行车上的骑自行车的人等)。每辆车辆402可以包括一种或多种类型的IoT设备(例如，IoT传感器设备)，例如，油耗传感器、照相机、射频识别“RFID”读取器、生物特征传感器、可穿戴传感器、计算机、手持式设备(例如，全球定位系统“GPS”设备或计步器)、智能手机和/或其他基于传感器的设备。

在一个实施例中，被测系统406可以是速度咨询系统，其基于1)车辆402的位置，2)实时斜坡计量数据和/或3)需要的进一步观察(例如，来自全球移动通信系统(“GSM”)网络的基站的观察)设置车辆402的速度。例如，需要的观察可能是打算从A点移动到B点的车辆数量。为了改变打算从A点移动到B点的车辆数量，可以使用一个或多个起点(“OD”)矩阵。鉴于需要的观察可能随时间变化并且也是有条件的，因此可以对车辆使用其他表示形式。

测试系统408可用于测试和验证被测系统406的一个或多个属性。测试系统408可以是一个或多个仿真器引擎，例如，交通车辆的微型仿真器(例如，城市交通仿真(“SUMO”)、车辆交通的宏观仿真器(例如，基于队列网络)、多模型仿真器(“MOVSIM”)、行人仿真器和/或骑自行车的人仿真器。

此外，测试系统408使用HiLaaS 404在仿真环境或“虚拟”环境中测试联网系统，例如被测系统406。HiLaaS 404可以将数据发送到测试系统408和/或从测试系统408接收数据。更具体地，一辆或多辆车辆402可以通过HiLaaS 404将实时流数据提供给测试系统408。

如图所示，用户410可以向HiLaaS 404发送一个或多个控制参数(例如，用户可以为HiLaaS 404设置控制参数)。例如，用户410可以经由HiLaaS接口404向测试系统408发送一个或多个控制参数。HiLaaS 404可以向用户提供用于执行测试的价格信息。用户410可以授权和/或批准价格信息。

此外，一辆或多辆车辆402可向HiLaaS 404提供与一辆或多辆车辆402有关的信息的状态更新(“status()”)(例如，定位位置、速度数据、转向信号信息等等)。反过来，测试系统408可以从HiLaaS 404接收交通信息(例如，使用“gettraffic info()”函数或“getenvironment info()”函数操作)，例如，从所选择数量的一辆或多辆车辆402接收数据。HiLaaS404可以提供与一辆或多辆车辆402的真实或“实际”车辆有关的数据。因此，测试系统408可以在实际环境中通过仿真实际车辆402来向用户提供“错觉”。

另外，使用一个或多个仿真参数，被测系统406可以指示(作为测试的输出)一辆或多辆车辆402的行为，例如，每辆车辆402应当在轨迹的每个点上行驶的速度、每辆车辆应该驾驶的方向、或者仿真参数的其他输出。可替代地，一或多辆车辆402可以从被测系统406中检索(例如，“GetSomeService()”函数)与仿真环境有关的特定信息。在一个实施例中，仅作为示例，测试系统408包括处于运输设置中的交通仿真器。被测系统406可以是速度咨询系统。因此，测试系统408可以是仿真器，并且被测系统406可以是要被测试的系统。

在操作中，测试系统408可以考虑一组“场景”(其可以包括仿真参数和规则)，例如高层抽象情况，以验证所有场景中的一些“安全属性”。例如，一种场景可能会测试事件发生后两条车道何时合并成一条车道。可以使用模态和时间逻辑来描述每个安全属性，从而可以向HiLaaS 404提供文本语言，例如““任何轨迹点上的车辆都不会彼此之间的距离小于10厘米”，而用户或实体可能正在对仿真参数和规则进行推理，其中包括车辆402(例如，速度、加速度、制动等)和测试系统406(例如，速度咨询系统)。

为了“实例化”并具体化“场景”，HiLaaS 404能够“仿真”被测系统406的车辆402的每辆车辆的实际运动，似乎1)速度咨询系统是在IoT网络中已经存在；2)“场景”已在IoT网络中实际运行。基于来自选定数量的车辆402的GPS轨迹的数据(通过音频或视觉手段(例如，挡风玻璃上的投影)使其驾驶员知道了仿真场景)，测试系统408得出了其他车辆402的轨迹(其或者完全是虚拟的，或者对应于由感应环(例如，对车辆进行计数的装置，例如感应环交通检测器)记录的已知到达路段的车辆，和/或轨迹上的没有进一步可用数据)。

作为对HiLaaS 404和测试系统408的进一步解释，HiLaaS 404和测试系统408可以相互配合工作，但是HiLaaS 404可以与被测系统406无关。HiLaaS 404可以是允许仿真运行在云计算系统上并且可以将真实实体插入或关联于仿真环境的仿真的服务。HiLaaS 404可以是与应用程序无关的。为了测试特定的应用程序或服务，可以执行和评估一组测试用例和场景，这可以是测试系统408的角色。测试系统408可以是运行与应用程序相关的特定场景(使用HiLaaS 404)，并在这些场景下衡量应用程序的成功的系统。

HiLaaS 404可以与允许执行测试但与被测系统无关的单元测试框架有关，并且测试系统408可以与单元测试有关，该单元测试特定于给定测试的系统以及待测试的属性(“应用程序”)。例如，假设对车辆的速度咨询系统进行了测试。速度咨询系统的目标是为车辆建议最佳速度，以减少污染，同时出于一个或多个原因将交通保持在“良好状态”。为了评估速度咨询系统对道路安全的影响，评估速度咨询系统在不同条件下的性能，和/或研究速度咨询算法参数对污染和交通拥堵的影响，可以提供测试系统408，其具有一组预定义的场景和参数。测试系统408可以在HiLaaS 404上运行仿真，可能将一个或多个实际(或真实)车辆连接至仿真，并且测试系统408监视速度咨询系统的结果以及对总体交通和污染的影响。测试系统408还可以分析来自真实车辆和驾驶员的数据，以反映驾驶员的满意度或速度咨询对其行为的影响，反之亦然。

现在转到图5，示出了使用测试系统408(例如，仿真引擎)来仿真一辆或多辆车辆402(例如，IoT网络实体)的交通的另一示例。也就是说，图5示出了使用HiLaaS的示例性计算、数据处理、感知、测试嵌入式系统和应用程序，以及在交通仿真中在一辆或多辆车辆的情景中示出的其他组件500。如将看到的，图1-4的一个或多个实施例可以被包括在图5中和/或用图5实现。例如，组件500可以被包括在图1的计算机系统/服务器12中和/或与之相关联，并结合了一个或多个处理单元16以执行根据本发明的各种实施例的各种计算、数据处理和其他功能。各种组件500可以协同工作以使用HiLaaS在IoT网络环境中测试嵌入式系统和应用程序。

如图所示，组件500包括用户502、图4的一辆或多辆车辆402，HiLaaS接口404(例如，HiLaaS Restful Application编程接口“API”)以及一个或多个流量/网络仿真器(例如图4的测试系统408)。在一个实施例中，图4中描述的在用户410和HiLaaS 404之间的操作也可以在用户502和HiLaaS接口404之间发生(例如，设置控制参数、HiLaaS的估算/设置定价、以及批准定价)。

在操作中，用户502可以向HiLaaS界面404发送一个或多个查询。例如，用户502可以通过HiLaaS界面404向测试系统408发送开始仿真操作(例如，“StartSimulation”函数)、请求仿真状态更新(例如“GetSimulationStatus”函数)、更新仿真(例如“UpdateSimulation”函数)和/或发送停止仿真命令(例如“StopSimulation”函数)。

一辆或多辆车辆402还可以向HiLaaS接口404提供实时流数据。例如，一辆或多辆车辆402可以通过HiLaaS接口404将数据发送至测试系统408以检入(check in)一辆或更多的车辆402(例如“CheckInVehicle”函数)。一辆或多辆车辆402还可以使用HiLaaS接口404提供实时流数据，该数据更新一辆或多辆车辆402的数据(例如，“UpdateVehicleData”函数)、请求进行仿真状态更新(例如，“GetSimulationStatus”函数)和/或发送实时流数据以检出(check out)车辆(例如“CheckOutVehicle”函数，例如停止考虑测试系统408中的实际车辆和/或从测试系统408移除考虑的车辆的函数)。

在所示出的实施例的机制的上下文中，并且如先前使用图-5所描述的，提供以下示例作为示例用例。应当注意，其他用例也可能适用。

在第一用例中，假设用户期望响应于不同类型的停车实时信息以及在当前交通状况的状态下的相关后果来分析驾驶员的驾驶行为。用户可以注册该服务(例如，HiLaaS服务)，并且可以被提供凭证。可以向用户提供对基于Rest的API(或其他类型)的访问，以使用HiLaaS界面。用户可以创建仿真并且可以定义一个或多个仿真参数，例如，经由配置文件来定义特定场景(例如，网络选择、交通状态、停车位数量、停车需求等)。用户可以在仿真中检入一辆或多辆真实车辆。用户可以在例如每次GPS位置更新时将车辆数据更新到仿真中。用户可以更新(实时或“动态”)仿真(例如，“动态”改变仿真的车辆路线)，这可能需要更新配置文件。用户可以检索仿真状态，并可以访问所有仿真车辆的数据。用户可以检索任何车辆的状态。用户还可以使用分析服务，该服务利用检索到的仿真和车辆状态并向实际驾驶的车辆提供建议。真实车辆对给定建议的反应可以被存储(作为历史数据)以用于以后的分析。用户检出车辆并停止仿真(例如，测试系统408可将车辆从考虑中移除)。

在第二用例中，假设用户希望或打算分析行人对繁忙的购物街、旅游城市等中的商业路线建议的响应，以优化客户满意度、购买的商品数量、走路的舒适度。用户可以注册该服务(例如，HiLaaS服务)并可以被提供凭据。可以向用户提供对基于Rest的API(或其他类型)的访问，以使用HiLaaS界面。用户可以创建仿真并且可以通过配置文件(例如，区域选择、街道负荷、购物商店的容量等)来定义特定场景。用户可以在仿真中检入一个或多个行人(例如，带GPS记录器的行人)。应当注意，装备行人的成本是低的(例如，可以在用户可以下载到计算设备的计算设备上使用应用程序)。用户可以例如在每次GPS位置更新时将行人数据更新为(微)仿真。用户可以更新(实时或“动态”)仿真，例如动态地更改仿真的行人路线，这可能需要更新配置文件。用户可以更新(实时或“动态”)仿真(例如，“动态”改变仿真的车辆路线)并且可以访问所有仿真的行人数据。用户可以特别地检索任何车辆状态，例如，关于特定车辆类型的信息。用户还可以使用分析服务，该服务利用检索到的仿真和行人状态并向装备好的行人提供建议。可以分析行人对给定建议的反应(及其对行人交通的影响)。用户还可以使用分析服务。用户可以从仿真中检出行人并停止仿真。

在第三用例中，假设用户希望调查骑车人的行为以响应诸如避免污染的路线建议，或者在不利的天气条件下优化覆盖区域。用户可以注册该服务(例如，HiLaaS服务)，并且可以被提供凭证。可以向用户提供对基于Rest的API(或其他类型)的访问，以使用HiLaaS界面。用户可以创建一个仿真，并可以定义一个或多个仿真参数，例如，通过配置文件(例如，区域选择、始发地-目的地矩阵或对运输、交通状况、天气条件等的要求建模的方式)定义特定的场景。用户可以在仿真中检入一个或多个骑车人，例如具有GPS记录器的骑车人。应该注意的是，考虑到移动电话的广泛普及，装备骑车人的成本很低，例如通过向骑车人提供安装在移动设备(例如，智能手机或其他计算设备)上的应用程序。例如，每次GPS位置更新时，用户都可以将车人的数据更新到(微)仿真。用户可以实时或“动态”更新仿真，例如动态更改仿真的骑车人的路线或天气状况。用户可以检索仿真状态，并可以访问所有仿真骑车人的数据，以及骑车人路线上车辆通行产生的污染物浓度数据。用户可以检索骑车人状态(例如，与骑车人类型相对应的那些人的骑车人状态)。用户还可以使用分析服务，该服务利用检索到的仿真数据和骑车人的状态，并向真实的骑车人提供建议。可以分析骑车人对给定推荐的反应。用户可以从仿真中检出骑车人并停止仿真。

现在转到图6，描述了一种由处理器使用硬件在环即服务(HiLaaS)在物联网(IoT)网络环境中测试嵌入式系统和应用程序的方法600，其中可以实现所示实施例的各个方面。功能600可以被实现为在机器上作为指令执行的方法，其中指令被包括在至少一个计算机可读介质或一个非暂时性机器可读存储介质上。功能600可以在框602中开始。如框604中，可以接收控制参数和与仿真环境有关的信息。如框606中，在仿真环境中，可以根据仿真参数实时地测试联网系统中一个或多个实体中的一个或多个仿真实体。如框608中，可以基于对一个或多个仿真实体的测试来估计一个或多个实体、联网系统或其组合的一个或多个属性。如框610中，功能600可以结束。

现在转到图7，示出了由处理器使用硬件在环即服务(HiLaaS)在物联网(IoT)网络环境中测试嵌入式系统和应用程序的附加方法700。功能700可以被实现为在机器上作为指令执行的方法，其中指令被包括在至少一个计算机可读介质或一个非暂时性机器可读存储介质上。功能700可以在框702开始。如框704中，为了测试仿真参数，可以使用与联网系统有关的静态数据、选定时间段的数据、来自一个或多个实体的实时流数据以及与联网系统相关联的外部系统，以及与一个或多个实体有关的信息(和/或作为仿真参数的一部分来接收)。如框706中那样，可以设置联网系统一个或多个控制参数(例如，联网系统的一个或多个属性的估计的置信区间)。如框708中，可以估计要在选定的时间段内进行仿真的一个或多个实体的数量和/或可以估计一个或多个实体与一个或多个仿真实体之间的交互次数，以及与联网系统相关联的外部系统。如框710中所示，可以批准TaaS(例如，为测试估计价格并且可以为测试价格确定价格)。如框712，可以提供一个或多个仿真实体的实时流数据。如框714中，可以基于一个或多个仿真实体来估计联网系统的一个或多个属性。如框716中，功能700可以结束。

在一个实施例中，结合图6-7或者作为图6-7至少一个框的一部分，方法600或700的操作可以包括以下每个。方法600或700的操作可以接收与联网系统有关的数据，接收针对选定时间段的调度数据，从一个或多个实体接收实时流数据，和/或接收与仿真器的类型有关的信息以用于测试。一个或多个实体、用户或其组合可以使用和/或访问HiLaaS界面，以访问仿真环境。

可以估计一个或多个实体的数量以在选定的时间段内进行仿真。也可以估计一个或多个实体、一个或多个仿真实体以及与联网系统相关联的环境之间的交互的数量。

方法600或700的操作可以基于对一个或多个仿真实体的测试来为一个或多个实体提供实时流数据。方法600或700的操作可以根据仿真参数来仿真一个或多个实体，和/或在仿真期间实时地更新仿真参数。另外，方法600或700的操作可以在仿真环境中使一个或多个实体与一个或多个仿真实体的一个或多个操作同步。

现在转到图8，描述了一种由处理器使用HiLaaS在物联网(IoT)网络环境中测试嵌入式系统和应用程序的方法800，其中可以实现所示实施例的各个方面。功能800可以被实现为在机器上作为指令执行的方法，其中指令被包括在至少一个计算机可读介质或一个非暂时性机器可读存储介质上。功能800可以在框802中开始。如框804中，可以接收对仿真环境的描述和价格。如在框806中，可以根据价格和对仿真环境的描述来估计测试的一个或多个控制参数。如在框806中，可以在接受一个或多个控制参数之后，根据一个或多个控制参数来测试联网系统中的一个或多个实体、一个或多个仿真实体、或其组合。如框808中所示，可以基于对一个或多个仿真实体的测试来估计一个或多个实体、联网系统或其组合的一个或多个属性。如在框810中，功能800可以结束。

现在转到图9，示出了一种由处理器使用HiLaaS在物联网(IoT)网络环境中测试嵌入式系统和应用程序的方法900。功能900可以被实现为在机器上作为指令执行的方法，其中指令被包括在至少一个计算机可读介质或一个非暂时性机器可读存储介质上。功能900可以在框902开始。如框904中，可以接收一个或多个控制参数以及与仿真环境有关的信息。如框906中，在仿真环境中，可以根据一个或多个控制参数对与联网系统相关联的一个或多个实体、与联网系统相关联的一个或多个仿真实体或其组合，以测试即服务(“TaaS”，例如HiLaaS)进行测试。如框908中，可以基于对一个或多个仿真实体的测试来估计一个或多个实体、联网系统或其组合的一个或多个属性。如框910中，功能900可以结束。

在一个实施例中，结合图8-9的至少一个框和/或作为其至少一部分，方法800或900的操作可以包括以下每个。方法800或900可以根据一个或多个控制参数来估计用于在仿真环境中进行测试的价格；接收对测试的估计价格的批准；和/或测试一个或多个实体、一个或多个仿真实体或其组合。此外，方法800或900可以接收最大阈值价格、定价范围或其组合，以在仿真环境中进行测试；根据最大阈值价格、定价范围或其组合来调整一个或多个控制参数，以在仿真环境中进行测试；接收对调整后控制的批准；和/或测试一个或多个实体、一个或多个仿真实体或其组合。

根据接收一个或多个控制参数和与仿真环境有关的信息，方法800或900可以接收对仿真环境的描述，接收对联网系统的描述，其中，该描述至少包括：联网系统的拓扑、接收与联网系统的操作有关的历史数据、接收在联网系统的操作的选定时间段内的调度数据，从一个或多个实体接收实时流数据，接收来自一个或多个第三方的实时流数据，其中，流数据可以包括天气监视数据、污染监视数据、卫星图像数据、或航空图像数据、或其组合(和/或第三方提供的其他数据)，接收选定的时间来执行测试并提供测试结果，接收一个或多个用于测试一个或多个仿真实体的条件，接收一个或多个用于测试被测系统的一个或多个实体的条件一个或多个测试条件，和/或接收测试准确性的度量。

方法800或900可以估计一个或多个实体的数量，以根据一个或多个控制参数在选定的时间段内进行仿真，根据一个或多个控制参数，估计一个或多个实体、一个或多个仿真实体、以及与联网系统相关联的环境之间的交互数量，和/或根据一个或多个控制参数，估计仿真一个或多个实体所需的一个或多个计算系统以及在一个选定的时间段内交互次数。

方法800或900可以根据控制参数来仿真一个或多个实体，在仿真期间实时更新仿真环境，其中，更新至少包括联网系统的操作的历史数据，和/或提供一个或多个仿真实体的实时流数据作为一个或多个仿真实体的测试输出。方法800或900可以提供用于由一个或多个实体、用户或其组合进行远程访问的接口，以访问仿真环境。

方法800或900可以接收对仿真环境的描述和价格；根据价格和仿真环境的描述，估算测试的一个或多个控制参数；接受一个或多个控制参数后，根据控制参数测试一个或多个关联实体，一个或多个仿真实体或其组合；以及/或基于对一个或多个仿真实体的测试来估计一个或多个实体、联网系统或其组合的一个或多个属性。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的实施例的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的实施例。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (24)

1.一种由处理器在物联网(IoT)环境中测试联网系统的方法，包括：

接收一个或多个控制参数和与仿真环境有关的信息；

根据所述一个或多个控制参数，作为所述仿真环境中的测试即服务(TaaS)测试与所述联网系统关联的一个或多个实体、与所述联网系统关联的一个或多个仿真实体、或其组合；以及

基于对所述一个或多个仿真实体的测试，估计所述一个或多个实体、所述联网系统或其组合的一个或多个属性。

2.如权利要求1所述的方法，其中，作为所述仿真环境中的TaaS测试还包括：

根据所述一个或多个控制参数估计在所述仿真环境中进行测试的价格；

接收对测试的估计价格的批准；或者

测试所述一个或多个实体、所述一个或多个仿真实体或其组合。

3.如权利要求1所述的方法，其中，作为所述仿真环境中的TaaS测试还包括：

接收最大阈值价格、定价范围或其组合，以在所述仿真环境中进行测试；

根据所述最大阈值价格，所述定价范围或其组合来调整一个或多个控制参数，以在所述仿真环境中进行测试；

接收对调整后的控制的批准；或者

测试所述一个或多个实体、所述一个或多个仿真实体或其组合。

4.如权利要求1所述的方法，其中，接收一个或多个控制参数和与仿真环境有关的信息包括：

接收对所述仿真环境的描述；

接收对所述联网系统的描述，其中，所述描述至少包括所述联网系统的拓扑；

接收与所述联网系统的操作有关的历史数据；

接收所述联网系统操作的选定时间段的调度数据；

从所述一个或多个实体接收实时流数据；或者

从一个或多个第三方接收实时流数据。

5.如权利要求1所述的方法，其中，接收一个或多个控制参数还包括：

接收选定的时间以执行测试并提供测试结果；

接收用于测试所述一个或多个仿真实体的一个或多个条件；

接收用于测试被测系统的所述一个或多个实体的一个或多个测试条件；或者

接受所述测试准确性的度量。

6.如权利要求1所述的方法，还包括在作为所述仿真环境中的TaaS测试之前：

根据所述一个或多个控制参数，估计所述一个或多个实体的数量，以在选定的时间段内进行仿真；

根据所述一个或多个控制参数，估计所述一个或多个实体、所述一个或多个仿真实体以及与所述联网系统相关联的环境之间的交互次数；或者

根据所述一个或多个控制参数，估计仿真所述一个或多个实体所需的一个或多个计算系统以及在一个选定的时间段内交互的次数。

7.如权利要求1所述的方法，其中，所述测试还包括：

根据所述控制参数仿真所述一个或多个实体；以及

在所述仿真过程中实时更新所述仿真环境，其中所述更新至少包括所述联网系统的操作的历史数据。

8.如权利要求1所述的方法，还包括提供用于所述一个或多个仿真实体的实时流数据作为所述一个或多个仿真实体的所述测试的输出。

9.如权利要求1所述的方法，还包括提供用于由所述一个或多个实体、用户或其组合进行远程访问的接口，以用于访问所述仿真环境。

10.如权利要求1所述的方法，还包括：

接收仿真环境的描述和价格；

根据所述价格和仿真环境的所述描述，估计测试的所述一个或多个控制参数；

在接受所述一个或多个控制参数后，根据所述控制参数测试所述一个或多个关联的实体、所述一个或多个仿真实体或其组合；以及

基于对所述一个或多个仿真实体的所述测试，估计所述一个或多个实体、所述联网系统或其组合的所述一个或多个属性。

11.一种用于在物联网(IoT)网络环境中测试联网系统的系统，包括：

一台或多台具有可执行指令的计算机，所述指令在执行时使系统：

接收一个或多个控制参数和与仿真环境有关的信息；

根据一个或多个控制参数，作为仿真环境中的测试即服务(TaaS)测试与所述联网系统关联的一个或多个实体、与所述联网系统关联的一个或多个仿真实体、或其组合；以及

基于对所述一个或多个仿真实体的测试，估计所述一个或多个实体、所述联网系统或其组合的一个或多个属性。

12.如权利要求11所述的系统，其中，所述可执行指令在被执行时使所述系统：

根据所述一个或多个控制参数估计在所述仿真环境中进行测试的价格；

接收对测试的估计价格的批准；

接收最大阈值价格、定价范围或其组合，以在所述仿真环境中进行测试；

根据所述最大阈值价格，所述定价范围或其组合来调整一个或多个控制参数，以在所述仿真环境中进行测试；

接收对调整后的控制的批准；或者

测试所述一个或多个实体、所述一个或多个仿真实体或其组合。

13.如权利要求11所述的系统，其中，根据接收所述一个或多个控制参数和与所述仿真环境有关的所述信息，所述可执行指令在被执行时使所述系统：

接收对所述仿真环境的描述；

接收对所述联网系统的描述，其中，所述描述至少包括所述联网系统的拓扑；

接收与所述联网系统的操作有关的历史数据；

接收所述联网系统操作的选定时间段的调度数据；

从所述一个或多个实体接收实时流数据；

从一个或多个第三方接收实时流数据，其中，所述流数据包括天气监视数据，污染监视数据，卫星图像数据、或航空图像数据，或其组合；

接收选定的时间以执行测试并提供测试结果；

接收用于测试所述一个或多个仿真实体的一个或多个条件；

接收用于测试被测系统的所述一个或多个实体的一个或多个测试条件；或者

接受所述测试准确性的度量。

14.如权利要求11所述的系统，其中，所述可执行指令在被执行时使所述系统：

根据所述一个或多个控制参数，估计所述一个或多个实体的数量，以在选定的时间段内进行仿真；

根据所述一个或多个控制参数，估计所述一个或多个实体、所述一个或多个仿真实体以及与所述联网系统相关联的环境之间的交互次数；或者

根据所述一个或多个控制参数，估计仿真所述一个或多个实体所需的一个或多个计算系统以及在一个选定的时间段内交互的次数。

15.如权利要求11所述的系统，其中，所述可执行指令在被执行时使所述系统：

根据所述控制参数仿真所述一个或多个实体；

在所述仿真过程中实时更新所述仿真环境，其中所述更新至少包括所述联网系统的操作的历史数据；或者

提供用于所述一个或多个仿真实体的实时流数据作为所述一个或多个仿真实体的所述测试的输出。

16.如权利要求11所述的系统，其中，所述可执行指令在被执行时使所述系统提供用于由所述一个或多个实体、用户或其组合进行远程访问的接口，以用于访问所述仿真环境。

17.如权利要求11所述的系统，其中，所述可执行指令在被执行时使所述系统：

接收仿真环境的描述和价格；

根据所述价格和仿真环境的所述描述，估计测试的所述一个或多个控制参数；

在接受所述一个或多个控制参数后，根据所述控制参数测试所述一个或多个关联的实体、所述一个或多个仿真实体或其组合；以及

基于对所述一个或多个仿真实体的所述测试，估计所述一个或多个实体、所述联网系统或其组合的所述一个或多个属性。

18.一种用于由处理器在计算环境中测试联网系统的计算机程序产品，该计算机程序产品包括具有存储在其中的计算机可读程序代码部分的非暂时性计算机可读存储介质，该计算机可读程序代码部分包括：

可执行部分，其接收一个或多个控制参数和与仿真环境有关的信息；

可执行部分，其根据所述一个或多个控制参数，作为所述仿真环境中的测试即服务(TaaS)测试与所述联网系统关联的一个或多个实体、与所述联网系统关联的一个或多个仿真实体、或其组合；以及

可执行部分，其基于对所述一个或多个仿真实体的测试，估计所述一个或多个实体、所述联网系统或其组合的一个或多个属性。

19.如权利要求18所述的计算机程序产品，其中，作为所述仿真环境中的TaaS测试的所述可执行部分还包括：

根据所述一个或多个控制参数估计在所述仿真环境中进行测试的价格；

接收对测试的估计价格的批准；

接收最大阈值价格、定价范围或其组合，以在所述仿真环境中进行测试；

根据所述最大阈值价格，所述定价范围或其组合来调整一个或多个控制参数，以在所述仿真环境中进行测试；

接收对调整后的控制的批准；或者

测试所述一个或多个实体、所述一个或多个仿真实体或其组合。

20.如权利要求18所述的计算机程序产品，还包括可执行部分，所述可执行部分：

接收对所述仿真环境的描述；

接收对所述联网系统的描述，其中，所述描述至少包括所述联网系统的拓扑；

接收与所述联网系统的操作有关的历史数据；

接收所述联网系统操作的选定时间段的调度数据；

从所述一个或多个实体接收实时流数据；

从一个或多个第三方接收实时流数据，其中，所述流数据包括天气监视数据，污染监视数据，卫星图像数据、或航空图像数据，或其组合；

接收选定的时间以执行测试并提供测试结果；

接收用于测试所述一个或多个仿真实体的一个或多个条件；

接收用于测试被测系统的所述一个或多个实体的一个或多个测试条件；或者

接受所述测试准确性的度量。

21.如权利要求18所述的计算机程序产品，还包括可执行部分，所述可执行部分：

根据所述一个或多个控制参数，估计所述一个或多个实体的数量，以在选定的时间段内进行仿真；

根据所述一个或多个控制参数，估计所述一个或多个实体、所述一个或多个仿真实体以及与所述联网系统相关联的环境之间的交互次数；或者

根据所述一个或多个控制参数，估计仿真所述一个或多个实体所需的一个或多个计算系统以及在一个选定的时间段内交互的次数。

22.如权利要求18所述的计算机程序产品，还包括可执行部分，所述可执行部分：

根据所述控制参数仿真所述一个或多个实体；

在所述仿真过程中实时更新所述仿真环境，其中所述更新至少包括所述联网系统的操作的历史数据；或者

提供用于所述一个或多个仿真实体的实时流数据作为所述一个或多个仿真实体的所述测试的输出。

23.如权利要求18所述的计算机程序产品，还包括可执行部分，该可执行部分提供用于由所述一个或多个实体、用户或其组合进行远程访问的接口，以用于访问所述仿真环境。

24.如权利要求18所述的计算机程序产品，还包括可执行部分，所述可执行部分：

接收仿真环境的描述和价格；

根据所述价格和仿真环境的所述描述，估计测试的所述一个或多个控制参数；

在接受所述一个或多个控制参数后，根据所述控制参数测试所述一个或多个关联的实体、所述一个或多个仿真实体或其组合；以及

基于对所述一个或多个仿真实体的所述测试，估计所述一个或多个实体、所述联网系统或其组合的所述一个或多个属性。

Images