CN108508826A - 一种防止人工智能行为体失控的装置及系统 - Google Patents

Abstract

本发明公开了一种防止人工智能行为体失控的装置及系统，该装置包括：串口模块、接收模块、能源控制模块、人工智能行为体交互模块、应急处理模块、反摘除模块、容错模块、数据记录模块、监控模块和单向导入模块。本装置串接在人工智能行为体的决策模块和驱动装置之间。采用本发明技术方案，能提高人工智能行为体的安全系数，从根本上防止人工智能行为体，失控或降低人工智能行为体失控时所带来的危害。

Description

一种防止人工智能行为体失控的装置及系统

技术领域

本发明涉及人工智能技术领域，尤其涉及一种防止人工智能行为体失控的装置及系统。

背景技术

随着人工智能技术的高速发展，人工智能行为体越来越有可能在不远的将来成为人类生活的重要组成部分。人工智能行为体具有高于人类的计算能力，以及强大的逻辑分析能力，能够帮助人类完成各项工作、提高人类生活品质，但同时人类也需要高度重视人工智能行为体失控的潜在威胁。

人工智能行为体主要由感知系统、人工智能决策系统、驱动装置和能源供应系统组成。其中人工智能决策系统相当于人体的大脑，感知系统相当于人体的感知器官，驱动装置相当于人体的躯干和四肢，而能源供应系统则相当于人体的心脏，为人体的各个部分活动行为提供能源。

目前，相关研究领域专家都已认识到人工智能存在巨大风险，并从人工智能安全设计原则、标准规范、道德伦理方面进行呼吁。但是，针对如何设计一个防止人工智能行为体失控的装置、该装置应具备的核心功能和性能指标、该装置的软硬件形态等，目前尚无研究成果。

发明内容

本发明实施例提出一种防止人工智能行为体失控的装置及系统，能提高人工智能行为的安全系数，降低人工智能行为体失控时所带来的危害。

本发明实施例提供一种防止人工智能行为体失控的装置，包括：串口模块、接收模块、能源控制模块、人工智能行为体交互模块、应急处理模块、反摘除模块、容错模块、监控模块和单向导入模块；

其中，所述串口模块用于与所述人工智能行为体的决策系统和驱动装置连接；

所述接收模块用于接收远程设备发送的远程控制命令；

所述能源控制模块用于根据预设配置或所述远程控制命令，对所述人工智能行为体的能源供应设备进行控制；

所述人工智能行为体交互模块用于与所述决策系统和所述驱动装置进行数据和控制交互；

所述应急处理模块用于风险识别和自动报警，以及在所述人工智能行为体交互模块失效后，控制所述决策系统；

所述反摘除模块用于在发生暴力拆除时，毁灭所述人工智能行为体或使其失效；

所述监控模块用于监控或约束所述人工智能行为体的移动范围、速度、距离、输出功率和力；

所述单向导入模块用于读取所述人工智能行为体输入的数据，拒绝外部数据的写入。

进一步的，所述防止人工智能行为体失控的装置还包括：数据记录模块；

所述数据记录模块用于记录所述装置的工作过程、所述人工智能行为体的数据和外部环境数据。

进一步的，所述远程设备发送的远程控制命令包括：操作控制命令、应急响应控制命令、风险分析控制命令、强制停用控制命令和远程销毁控制命令。

进一步的，所述人工智能行为体交互模块还用于根据所述远程控制命令，控制所述人工智能行为体进行自我销毁、恢复出厂设置、停止所有行动、决策系统指令篡改或者能源供应控制。

进一步的，所述应急处理模块在所述人工智能行为体交互模块失效后，控制所述决策系统，具体为：

所述应急处理模块在所述人工智能行为体交互模块失效后，根据所述远程控制命令，控制所述人工智能行为体进行自我销毁、恢复出厂设置、停止所有行动、决策系统指令篡改或者能源供应控制。

进一步的，所述容错模块为三模表决系统或多模表决系统；

所述三模表决系统包含三个表决单元，三个表决单元同时执行相同的操作，比较三个输出结果，得出所述三模表决系统的输出结果。

相应地，本发明实施例还提供一种防止人工智能行为体失控的系统，包括：决策系统、驱动装置和本发明所述的装置；

其中，所述装置串接在所述决策系统和所述驱动装置之间。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的防止人工智能行为体失控的装置及系统，在人工智能行为体发生失控时，本装置能根据远程控制命令，实现人工智能行为体的远程控制，使其无法危害人类或将危害控制到最低。此外，本装置会对人工智能行为体进行风险识别，当识别出风险时，发出警报示警，进一步防止人工智能行为体因为失控而造成的损害。

附图说明

图1是本发明提供的防止人工智能行为体失控的装置的一种实施例的结构示意图；

图2是本发明提供的防止人工智能行为体失控的系统的一种实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明提供的防止人工智能行为体失控的装置的一种实施例的结构示意图。如图1所示，该装置包括：串口模块、接收模块、能源控制模块、人工智能行为体交互模块、应急处理模块、反摘除模块、容错模块、数据记录模块、监控模块和单向导入模块。

其中，串口模块用于与人工智能行为体的决策系统和驱动装置连接。

在本实施例中，串口模块按照国际标准规范，可与人工智能行为体的决策系统和驱动装置进行连接。

接收模块用于接收远程控制设备发送的远程控制命令。

在本实施例中，接收模块具备联网能力，用于接收远程设备发送的远程控制命令，并可将其转发给能源控制模块、应急处理模块、数据记录模块和人工智能行为体交互模块，以使上述各模块执行相应的操作。接收模块可以但不限于对接收到的远程控制命令进行检测校验，以确保远程控制命令的真实性、机密性、完整性、来源不可抵赖性、权限合法性等安全属性。

在本实施例中，远程控制命令包括操作控制命令、应急响应控制命令、风险分析控制命令、强制停用控制命令和远程销毁控制命令。

能源控制模块用于根据预设配置或所述远程控制命令，对人工智能行为体的能源供应设备进行控制，防止人工智能行为体滥用或抢占能源产生危害。

在本实施例中，能源控制模块具备电能、热能、光能、化学能、原子能等各种形式下能源的优先占用能力。

人工智能行为体交互模块用于与决策系统和驱动装置进行数据交互。

在本实施例中，人工智能行为体交互模块还用于根据远程控制命令，控制人工智能行为体进行自我销毁、恢复出厂设置、停止所有行动、决策系统指令篡改或者能源供应控制。

应急处理模块用于风险识别和自动报警，以及在人工智能行为体交互模块失效后，控制决策系统。

在本实施例中，应急处理模块具备风险识别、自动报警、强制销毁、恢复出厂设置、停止一切行为、能源停止或限量供应、决策系统指令篡改等功能。其中，大部分功能在人工智能行为体交互模块失效后开始接管控制权，但风险识别和自动报警功能可在常态下不停机运行。

在本实施例中，应急处理模块在人工智能行为体交互模块失效后，控制所述决策系统，具体为：应急处理模块在人工智能行为体交互模块失效后，根据接收到的远程控制命令，控制人工智能行为体进行自我销毁、恢复出厂设置、停止所有行动、决策系统指令篡改或者能源供应控制。

反摘除模块用于在发生暴力拆除时，毁灭人工智能行为体。反摘除模块确保本装置无法从人工智能行为体中摘除。

容错模块为三模表决系统或多模表决系统。三模表决系统包含三个表决单元，三个表决单元同时执行相同的操作，比较三个输出结果，得出三模表决系统的输出结果。本发明的容错模块用于提高本装置的容错能力，容错是指软件检测应用程序所运行的软件或硬件中发生的错误并从错误中恢复的能力，通常可以从系统的可靠性、可用性、可测性等几个方面来衡量。三模表决系统是最常用的一种容错设计技术，三个模块同时执行相同的操作，以多数相同的输出作为表决系统的正确输出，通常称为三取二。三个模块中只要不同时出现两个相同的错误，掩蔽掉故障模块的错误。由于三个模块是互相独立的，两个模块同时出现错误是小概率事件，可以大大提高系统的可用性和可靠性。

作为本实施例的一种举例，容错模块可以但不限于采用三模表决或其他容错机制，保证本装置多个表决器产出不同结果时可以容错，保证输送给AI宿主命令的正确性和唯一性。

监控模块用于监控或约束人工智能行为体的移动范围、速度、距离、输出功率和力。

在本实施例中，监控模块可以但不限于监控或约束移动范围、速度、距离、输出功率和力。移动范围限制类似于大疆无人机在特殊区域是禁飞的，本装置配备GPS接收机，运行控制程序接收GPS定位数据，利用GPS确定安全活动区。速度与距离监控，即当人工智能行为体中某个危险部件与人之间的距离小于安全距离时，应该触发保护停止、触发与人工智能行为体相连的安全级功能(例如关闭所有可能导致危险的工具)、该模块降低违反安全距离风险的方法包括但不限于：(1)降低速度，然后可能会切换到安全的监控停止状态；(2)选择一个不会违反最小安全距离的路径，在保持速度和距离监控功能激活的情况下继续运动；(3)如果降低了移动速度，则安全保护距离也可相应地缩小。输出功率和力的约束，目的是避免伤害事件的发生。该模块可以检测到外围的碰撞或者挤压，具备高级碰撞检测功能。一旦检测到危险接触，将立即限制输出功率和力。

单向导入模块用于读取人工智能行为体输入的数据，拒绝外部数据的写入。

在本实施例中，单向导入模块能确保本发明装置可以读取人工智能行为体输入的数据，但不可以任何方式被写入任何数据，从而防止其被篡改。该模块类似于我国保密领域常用的“三合一”装置。

数据记录模块用于记录工作进程记录、人工智能行为体的数据和外部环境数据。数据记录模块类似于飞机上的“黑匣子”，能把实时关键数据加密记录下来。数据记录模块安装在本装置内部的安全部位，通过钢板和多层绝热防冲击抗压保护材料来保护，其记录的数据可用于取证、事故分析，有助于事故原因的调查分析。

在本实施例中，为了让人工智能行为体的总体集成方、零件(如机器手、车轮)制造方、决策系统研发方、内部算法设计方等可以与本发明装置无缝融合，需要一个多方共同遵守的标准规范。该标准规范类似于联合国公约，强制要求上述各方遵守，各方之间可互相识别和认证，且实时检测未遵守本标准规范的可疑人工智能行为体，一旦检测即触发报警。标准规范的核心要点包括：(1)人工智能行为体的驱动装置需采取主动探测或被动监听等方法，以检测到一个授权的、认证的、可信的本发明装置的存在，并接受其完全控制；(2)人工智能行为体的决策系统需要在运行之初就需采取主动探测或被动监听等方法，以检测到一个授权的、认证的、可信的本发明装置的存在，并接受其完全控制；(3)当人工智能行为体无法检测到一个授权的、认证的、可信的本发明装置的存在时，应停止一切工作。

相应地，参见图2，图2是本发明提供的防止人工智能行为体失控的系统的一种实施例的结构示意图。如图2所示，该系统包括：决策系统、驱动装置和本发明所述的装置。其中，该装置串接在决策系统和驱动装置之间。

由上可见，本发明实施例提供的防止人工智能行为体失控的装置及系统，在人工智能行为体发生失控时，本装置能根据远程控制命令，实现人工智能行为体的远程控制，使其无法危害人类或将危害控制到最低。此外，本装置会对人工智能行为体进行风险识别，当识别出风险时，发出警报示警，进一步防止人工智能行为体因为失控而造成的损害。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种防止人工智能行为体失控的装置，其特征在于，包括：串口模块、接收模块、能源控制模块、人工智能行为体交互模块、应急处理模块、反摘除模块、容错模块、监控模块和单向导入模块；

其中，所述串口模块用于与所述人工智能行为体的决策系统和驱动装置连接；

所述接收模块用于接收远程设备发送的远程控制命令；

所述能源控制模块用于根据预设配置或所述远程控制命令，对所述人工智能行为体的能源供应设备进行控制；

所述人工智能行为体交互模块用于与所述决策系统和所述驱动装置进行数据和控制交互；

所述应急处理模块用于风险识别和自动报警，以及在所述人工智能行为体交互模块失效后，控制所述决策系统；

所述反摘除模块用于在发生暴力拆除时，毁灭所述人工智能行为体或使其失效；

所述监控模块用于监控或约束所述人工智能行为体的移动范围、速度、距离、输出功率和力；

所述单向导入模块用于读取所述人工智能行为体输入的数据，拒绝外部数据的写入。

2.根据权利要求1所述的防止人工智能行为体失控的装置，其特征在于，还包括：数据记录模块；

所述数据记录模块用于记录所述装置的工作过程、所述人工智能行为体的数据和外部环境数据。

3.根据权利要求1所述的防止人工智能行为体失控的装置，其特征在于，所述远程设备发送的远程控制命令包括：操作控制命令、应急响应控制命令、风险分析控制命令、强制停用控制命令和远程销毁控制命令。

4.根据权利要求3所述的防止人工智能行为体失控的装置，其特征在于，所述人工智能行为体交互模块还用于根据所述远程控制命令，控制所述人工智能行为体进行自我销毁、恢复出厂设置、停止所有行动、决策系统指令篡改或者能源供应控制。

5.根据权利要求4所述的防止人工智能行为体失控的装置，其特征在于，所述应急处理模块在所述人工智能行为体交互模块失效后，控制所述决策系统，具体为：

所述应急处理模块在所述人工智能行为体交互模块失效后，根据所述远程控制命令，控制所述人工智能行为体进行自我销毁、恢复出厂设置、停止所有行动、决策系统指令篡改或者能源供应控制。

6.根据权利要求1所述的防止人工智能行为体失控的装置，其特征在于，所述容错模块为三模表决系统或多模表决系统；

所述三模表决系统包含三个表决单元，三个表决单元同时执行相同的操作，比较三个输出结果，得出所述三模表决系统的输出结果。

7.一种防止人工智能行为体失控的系统，其特征在于，包括：决策系统、驱动装置和如权利要求1至6任一项所述的装置；

其中，所述装置串接在所述决策系统和所述驱动装置之间。