CN117251844A - 始终在线的人工智能安全硬件辅助的输入/输出形状变化 - Google Patents

始终在线的人工智能安全硬件辅助的输入/输出形状变化 Download PDF

Info

Publication number
CN117251844A
CN117251844A CN202310698775.XA CN202310698775A CN117251844A CN 117251844 A CN117251844 A CN 117251844A CN 202310698775 A CN202310698775 A CN 202310698775A CN 117251844 A CN117251844 A CN 117251844A
Authority
CN
China
Prior art keywords
secure
processor
change
verifier
executable binary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310698775.XA
Other languages
English (en)
Inventor
萧志祥
许嘉锋
王泽宇
苏轼咏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN117251844A publication Critical patent/CN117251844A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/53—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/629—Protecting access to data via a platform, e.g. using keys or access control rules to features or functions of an application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G06V40/53—Measures to keep reference information secret, e.g. cancellable biometrics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72418—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services
    • H04M1/72421—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services with automatic activation of emergency service functions, e.g. upon sensing an alarm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/04—Telephonic communication systems specially adapted for combination with other electrical systems with alarm systems, e.g. fire, police or burglar alarm systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/03—Protecting confidentiality, e.g. by encryption
    • H04W12/033—Protecting confidentiality, e.g. by encryption of the user plane, e.g. user's traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/08—Access security
    • H04W12/088—Access security using filters or firewalls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/10—Integrity
    • H04W12/106—Packet or message integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/10—Details of telephonic subscriber devices including a GPS signal receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

始终在线的人工智能安全硬件辅助的输入/输出形状变化。本发明的各方面提供了一种可以在IO变化的情况下执行人工智能(AI)模型的装置。例如，该装置可以包括第一安全处理器、嵌入在第一安全处理器中并与AI模型相关联的安全应用程序、被配置为存储与AI模型相关联的AI可执行二进制文件的安全存储器、被配置为执行AI可执行二进制文件的第二安全处理器、被配置为触发IO变化并触发第二安全处理器执行AI可执行二进制文件的子系统、存储在安全存储器中的IO元数据、被配置为通过确定IO元数据来验证IO变化的IO验证器、以及被配置为当IO验证器确定IO变化与IO元数据相匹配时将IO变化修补到运行于第二安全处理器上的AI可执行二进制文件的IO预发模块。

Description

始终在线的人工智能安全硬件辅助的输入/输出形状变化
相关专利申请的交叉引用
本发明要求2022年6月16日提交的美国临时专利申请No.63/352,706以及2023年6月9日提交的美国专利申请No.18/332,346的优先权，二者全部内容通过引用并入本文。
技术领域
本发明涉及神经网络(neural network，NN)，并且更具体地，涉及始终在线(always-on)的人工智能(artificial intelligence，AI)安全。
背景技术
本文所提供的背景技术描述出于概括地呈现本发明上下文的目的。当前提及的发明人的工作(到本背景技术部分中描述该工作的程度)以及描述的各个方面(其在提交时不以其他方式作为现有技术来描述)既不明确地、也不隐含地被承认为针对本发明的现有技术。
将机器学习(Machine learning，ML)功能集成到硬件路径是趋势，并且需要灵活和可扩展的设计来降低深度神经网络(deep neural network，DNN)加速器实现的设计复杂性。
发明内容
本发明的各方面提供了一种可以在输入/输出IO变化的情况下执行人工智能(AI)模型的装置。例如，该装置可以包括第一安全处理器和嵌入在第一安全处理器中的安全应用程序。安全应用程序可以与人工智能(AI)模型相关联。该装置还可以包括耦接到第一安全处理器的安全存储器。安全存储器可以被配置为存储与AI模型相关联的AI可执行二进制文件(executable binary)。该装置还可以包括耦接到安全存储器的第二安全处理器。第二安全处理器可以被配置为执行存储在安全存储器中的AI可执行二进制文件。该装置还可以包括耦接在第一安全处理器与第二安全处理器之间的子系统。子系统可以被配置为触发IO变化并触发第二安全处理器以执行存储在安全存储器中的AI可执行二进制文件。该装置还可以包括存储在安全存储器中的IO元数据(meta data)。该装置还可以包括耦接到子系统和安全存储器的IO验证器。IO验证器可以被配置为通过确定IO元数据来验证IO变化。该装置还可以包括耦接到IO验证器的IO预发模块。IO预发模块可以被配置为，当IO验证器确定IO变化与IO元数据相匹配时，将IO变化修补到(patch)运行于第二安全处理器上的AI可执行二进制文件。在一个实施方式中，IO验证器可以被嵌入到第二安全处理器中。在另一实施方式中，IO预发模块可以被嵌入到第二安全处理器中。
在一个实施方式中，IO元数据可以包括IO地址范围，IO变化可以包括IO地址，IO验证器可以验证IO地址是否在IO地址范围内，并且当IO验证器确定IO地址在IO地址范围内时，IO预发模块可以将IO地址修补到运行于第二安全处理器上的AI可执行二进制文件。在另一实施方式中，IO元数据可以包括多个不同的分辨率(resolution)，IO变化可以包括分辨率变化，IO验证器可以验证分辨率变化是否与IO元数据中指定的不同分辨率中的任何一个分辨率相匹配，并且当IO验证器确定分辨率变化与不同分辨率中的一个分辨率匹配时，IO预发模块可以将分辨率变化修补到运行于第二安全处理器上的AI可执行二进制文件。
在一个实施方式中，该装置还可以包括嵌入在第一安全处理器中的安全操作系统(OS)，该安全OS被配置为提供可信执行环境(TEE)，在该可信执行环境中，安全应用程序受到保护。在另一实施方式中，安全存储器和第二安全处理器可以由第一防火墙保护。在一些实施方式中，子系统可以由不同于第一防火墙的第二防火墙保护。在各种实施方式中，第一防火墙可以提供比第二防火墙更高的安全级别。
在一个实施方式中，该装置还可以包括耦接到安全存储器的图像信号处理器(ISP)。ISP可以被配置为处理图像并将所处理的图像存储到安全存储器中。在另一实施方式中，该装置还可以包括面部生物特征模式，该面部生物特征模式在TEE内是安全的。在一些实施方式中，第二安全处理器可以执行AI可执行二进制文件，以确定所处理的图像中的任何一个图像是否与面部生物特征模式相匹配。
在一个实施方式中，第一安全处理器可以包括安全中央处理单元(CPU)。在另一实施方式中，第二安全处理器可以包括安全深度学习加速器(DLA)。在一些实施方式中，DLA可以包括加速处理单元(APU)。
注意，本发明内容部分并没有指定本发明或要求保护的发明的每个实施方式和/或递增的新颖方面。相反，本发明内容仅提供了与常规技术相比的不同实施方式和对应新颖点的初步讨论。对于本发明和实施方式的附加细节和/或可能的视角，请读者参考本发明的具体实施方式部分和对应的附图，如下面进一步讨论的。
附图说明
将参考以下附图详细描述作为示例而提出的本发明的各种实施方式，其中相同的数字指代相同的元件，并且其中：
图1是第一启用环境智能(ambient intelligence，AmI)的装置的功能框图；
图2是第二启用AmI的装置的功能框图；
图3是第三启用AmI的装置的功能框图；
图4是第四启用AmI的装置的功能框图；
图5是第五启用AmI的装置的功能框图；
图6是根据本发明的一些实施方式的第一启用AmI的装置的功能框图；以及
图7是根据本发明的一些实施方式的第二启用AmI的装置的功能框图。
具体实施方式
提出环境智能(AmI)(例如，环境感测)，旨在增强环境和人彼此互动的方式。具体来说，AmI表示将不要求明确的输入和输出设备的智能计算；相反，可以将各种传感器(例如，加速度计、全球定位系统(GPS)、麦克风、摄像头等)和处理器嵌入到日常电子设备(例如，移动电话)中，以使用人工智能(AI)技术收集和处理上下文信息，例如以便解释环境状态和用户需求。
例如，谷歌推出的“个人安全”应用程序具有如下功能，即，可以感测个体是否已发生车祸，如果已发生车祸，则可以代表该个体拨打紧急电话。作为另一示例，安装在摄像头中的AI和机器学习(ML)算法(或模型)能够例如通过确定摄像头捕获的图像是否与所有者面部的面部生物特征模式相匹配来识别其所有者的面部。
为了使车祸感测功能真正发挥作用，移动电话需要能够随时检测车祸。例如，可以通过连续轮询加速度计和麦克风、然后处理由此收集的数据(例如，通过执行始终在线的人工智能(AI))来确定是否发生车祸。然而，持续始终在线的感测任务消耗了移动电话大量宝贵的电力资源。
传感器集线器(或上下文集线器)是一种低功率子系统(例如，处理器)，其可以被设计成处理和解释从传感器收集的数据，并唤醒主应用处理器(application processor，AP)采取行动。例如，在处理和解释所收集到的数据并确定发生了车祸之后，传感器集线器可以唤醒AP，并且移动电话可以呼叫紧急服务。
图1是启用AmI的装置100(例如，移动电话)的功能框图。装置100可以包括AP 110、耦接到AP 110的低功率子系统120(例如，传感器集线器)、耦接到传感器集线器120的信号处理器130(例如，低功率图像信号处理器(low-power image signal processor，ISP))、耦接到传感器集线器120的处理器140(例如，AI加速器(诸如深度学习加速器(deep learningaccelerator，DLA)、例如加速处理单元(accelerated processing unit，APU)))、以及耦接到传感器集线器120、ISP 130和APU 140的存储器150。
AP 110可以启用环境感测功能，例如，始终在线的视觉(always-on vision，AOV)客户端111，并将AI模型122加载到传感器集线器120，以将从嵌入式传感器(例如，摄像头(未示出))收集的大量处理数据卸载到传感器集线器120。在传感器集线器120中，摄像头驱动器123可以基于AOV客户端111来驱动ISP 130，以处理由摄像头捕获的图像(例如，用户面部)，并将经处理的图像发送到存储器150的摄像头输入151。软件开发工具包(softwaredevelopment kit，SDK)121(例如，AI推理SDK)可以驱动APU 140对经处理的图像执行AI模型122。例如，APU 140可以利用与AI模型122相对应的AI可执行二进制文件来对从摄像头输入151发送的经处理的图像执行AI模型122，并生成输出152，例如，输出152可以是相关联於所捕获的用户面部是否与所有者面部的面部生物特征模式相匹配的分类结果。
在装置100中，传感器集线器120可以提供具有有限灵活性的安全计算。例如，当移动电话正在运行时，传感器集线器120可以在安全引导阶段保护固定的功能和安全。环境感测持续感测数据，这些数据包括用户隐私，例如语音、视觉、周围、位置等。如果这种数据以及加载到传感器集线器122中的AI模型122没有受到良好的保护，它们很可能会被攻击、窃取或篡改。此外，APU 140在其上执行AI模型122的经处理的图像可能不是从摄像头捕获的，而是由攻击者从外部发送的。
防火墙是一种网络安全装置，其可以监测所有传入和传出流量，并根据定义的一组安全规则来接受、拒绝或丢弃所述流量。例如，防火墙可以通过如下方式来控制网络访问，即，监测任何开放系统互连(OSI)层、直到应用层上的传入和传出数据包，并允许它们基于源和目的地IP地址、协议、端口以及状态表中数据包的历史记录来通过或停止，以保护数据包免受攻击、窃取或篡改。防火墙可以是基于硬件的，也可以是基于软件的。
图2是启用AmI的装置200(例如，移动电话)的功能框图。装置200与装置100的不同之处在于，在装置200中，传感器集线器120和存储器150受到良好的保护(例如，经由防火墙290)(以黑色背景示出)。因此，感测到的数据和AI模型122是安全的，并且攻击者不能将图像发送到存储器150中。然而，AI模型122需要不时地被恢复或更新(例如，使用新AI模型112)，以根据装置训练或互联网来持续增强性能或安全。AP 110不能恢复或更新存储在传感器集线器120中的AI模型122，因为传感器集线器120受到防火墙290的保护，并且AP 110没有访问传感器集线器120的权限。
图3是启用AmI的装置300(例如，移动电话)的功能框图。装置300可以包括安全操作系统(operating system，OS)360。安全OS 360可以为Android提供可信执行环境(trusted execution environment，TEE)393(以黑色背景示出)，其中代码和数据(例如，可信应用程序(trusted application，TA))可以在机密性和完整性方面得到保护。安全OS360可以在与Android运行的处理器(例如，AP 110)相同的处理器上运行，但是通过硬件和软件与在富执行环境(rich execution environment，REE)内运行富OS的系统的其余部分隔离。
AI模型322可以加载在由安全OS 360提供的TEE 393内，并且可以准备AI模型322的AI可执行二进制文件381和控制流(包括AI会话(session)327，例如AI模型322的标识符(identifier，ID)，以及AI执行器328)，统称为AI准备361。AI可执行二进制文件381可以被发送到安全存储器380，并且AI会话327和AI执行器328可以被发送至低功率子系统320，例如传感器集线器。诸如AI加速器(诸如DLA，例如APU)之类的处理器340可以通过确定AI会话327和AI执行器328来执行AI可执行二进制文件381。在一个实施方式中，存储器380和APU340也是安全的(以黑色背景示出)(例如，经由防火墙391)，以保护AI可执行二进制文件381不被攻击、窃取或篡改。在图3所示的示例实施方式中，传感器集线器320不受保护，因为它仅提供用于AI模型322的控制流，而不涉及任何感测数据。在一些实施方式中，传感器集线器320也可以受到保护(例如，经由防火墙)。例如，该防火墙可以提供比防火墙391更低的安全级别，因为AI会话327和AI执行器328不如AI可执行二进制文件381重要。
在一个实施方式中，数据(例如，面部生物特征模式363)在TEE 393内也是安全的，并且被下载和存储到安全存储器380中。例如，APU 340可以利用AI可执行二进制文件381对从ISP 130(如图1所示)发送的经处理的图像(例如，用户面部)执行AI模型322，并生成与所捕获的用户面部是否与所有者面部(即，面部生物特征模式363)相匹配相关联的输出，例如，分类结果。
由于硬件的各种实现(例如，装置300的安全存储器380和AI加速器340)，输入/输出(input/output，IO)数据以及与其相关的信息(例如，IO数据的地址)可能需要修改，以便在被部署到AI加速器340的AI模型322上运行。例如，在为了提高性能而捕获多个图像帧的场景中，安全摄像头可以包括环形缓冲器(或循环缓冲器)，该环形缓冲器被配置为使所捕获的图像帧串行化。每当图像帧在环形缓冲器中被消耗时，指向环形缓冲器中的图像帧的开始和结束的指针会被更新，并且输入到AI模型322的地址会变化。作为另一示例，在AI模型322被用于识别模式(patterns)并且包括多个连接的子图(subgraphs)(例如，特征提取和检测子图以及识别子图)的场景中，如果APU 340具有有限的能力，则输入到特征提取和检测子图并由其检测的模式可以由识别子图基于它们的大小(size)利用不同的(例如，高或低)分辨率来识别。
然而，当IO数据和/或与其相关的信息变化时，因为AI可执行二进制文件381在安全存储器380和AI加速器340中受到保护，所以AI执行器328不能修改AI可执行二进制文件381。例如，如图4的装置400所示，嵌入在由安全OS 360提供的TEE 393内的IO预发(pre-fire)模块420不能将IO变化(例如，IO 410的地址)修补到被加载到AI加速器340的AI可执行二进制文件381，并且AI执行器328不能修改AI可执行二进制文件381。作为另一示例，如图5的装置500所示，其包括多个隔离的虚拟机(virtual machine，VM)，第一VM(VM0)501具有比Android系统502和第二VM(VM1)503更高的特权，Android系统502和第二VM(VM1)503两者都连接到AI加速器340，嵌入在VM0 501内的IO预发模块520不能将IO变化(例如，IO 510的地址)修补到由VM0 501准备并加载到AI加速器340的AI可执行二进制文件381，并且Android系统502的AI执行器528和VM1 503的AI执行器538不能修改AI可执行二进制文件381。
图6是根据本发明的一些实施方式的启用AmI的装置600(例如，移动电话)的功能框图。装置600可以在IO变化的情况下执行AI模型。与装置300相比，装置600还可以包括IO元数据640、IO验证器/检查器630和IO预发模块620。在一个实施方式中，IO元数据640可以由安全OS 360提供，同时准备AI模型322的AI可执行二进制文件381和控制流(包括AI会话327和AI执行器328)，统称为AI准备361，并将其发送到安全存储器380并嵌入安全存储器380中。在图6的示例实施方式中，由于安全存储器380受到保护(例如，经由防火墙391)，因此还可以保护IO元数据640不被攻击、窃取或篡改。在另一实施方式中，IO验证器/检查器630和IO预发模块620可以嵌入AI加速器340中，并且也可以受到保护(例如，经由防火墙391)。在一个实施方式中，安全OS 360或VM(例如，VM0 501)可以嵌入TEE 393内。在另一实施方式中，子系统320可以是传感器集线器或VM(例如，VM1 503)。在图6的示例实施方式中，子系统320不受保护。在一些实施方式中，子系统320也可以受到保护(例如，经由防火墙)。例如，防火墙可以提供比防火墙391更低的安全级别，因为AI会话327和AI执行器328不如AI可执行二进制文件381重要。
在一个实施方式中，IO元数据640可以包括IO地址修补信息和/或有效/可访问的IO(地址)范围。例如，IO元数据640可以包括指向安全摄像头的环形缓冲器的开始和结束的指针(或地址)。在另一实施方式中，IO验证器/检查器630可以验证/检查IO变化(例如，IO地址610)是否在IO元数据640中指定的IO地址范围内，并且如果IO地址610在IO地址范围内，则IO预发模块620可以将IO地址610修补到AI可执行二进制文件381。例如，由于在示例实施方式中子系统320没有受到良好的保护，因此IO地址610可能是由恶意实体(例如黑客)提供的。在这种场景下，IO验证器/检查器630可以验证/检查IO地址610，并确定IO地址610不在IO地址范围内，因此IO预发模块620不会将未被证实(unverified)的IO地址610修补到被分配到并运行于AI加速器340上的AI可执行二进制文件381。作为另一示例，当IO验证器/检查器630验证/检查IO地址610，并确定IO地址610在IO地址范围内时，IO预发模块620可以将IO地址610修补到运行于AI加速器340上的AI可执行二进制文件381。因此，APU 340可以将动态形状信息应用于AI可执行二进制文件381并执行推理。
图7是根据本发明的一些实施方式的启用AmI的装置700(例如，移动电话)的功能框图。装置700可以在IO变化的情况下执行AI模型。与装置300相比，装置700还可以包括IO元数据740、(形状)IO验证器730和(形状)IO预发模块720。在一个实施方式中，可以提供IO元数据740，同时准备AI可执行二进制文件381，并将IO元数据740发送并嵌入到安全存储器380中。由于安全存储器380受到保护(例如，经由防火墙391)，IO元数据740也可以受到保护而不被攻击、窃取或篡改。在另一实施方式中，(形状)IO验证器730和(形状)I/O预发模块720可以嵌入AI加速器340中，并且也可以受到保护(例如，经由防火墙391)。
在一个实施方式中，IO元数据740可以包括许多不同的分辨率，例如，低分辨率和高分辨率。在另一实施方式中，(形状)IO验证器730可以验证触发分辨率变化的控件710是否与IO元数据740中指定的不同分辨率中的任何一个分辨率相匹配，并且如果分辨率变化与IO元数据740中指定的不同分辨率中的任何一个分辨率相匹配，则(形状)IO预发模块720可以将分辨率变化修补到AI可执行二进制文件381。例如，由于在示例实施方式中子系统320没有受到良好的保护，因此分辨率变化可能是由恶意实体(例如，黑客)提供的。在这样的场景中，(形状)IO验证器730可以验证分辨率变化，并确定分辨率变化与不同分辨率中的任何一个分辨率不匹配，因此，(形状)I/O预发模块720不会将未经证实的分辨率变化修补到被分配到并运行于AI加速器340上的AI可执行二进制文件381。作为另一示例，当(形状)IO验证器730验证分辨率变化，并确定分辨率变化与IO元数据740中指定的不同分辨率中的一个分辨率相匹配时，(形状)I/O预发模块720可以将分辨率变化修补到运行于AI加速器340上的AI可执行二进制文件381。因此，APU 340可以将动态形状信息应用于AI可执行二进制文件381并执行推理。
虽然已经结合作为示例提出的本发明的具体实施方式描述了本发明的各方面，但可以对这些示例进行替换、修改和变化。因此，本文所阐述的实施方式旨在例示而非限制。在不脱离下面所阐述的权利要求的范围的情况下，可以进行一些变化。

Claims (13)

1.一种执行人工智能模型的装置，所述装置包括：
第一安全处理器；
安全应用程序，所述安全应用程序嵌入在所述第一安全处理器中，所述安全应用程序与人工智能AI模型相关联；
安全存储器，所述安全存储器耦接到所述第一安全处理器，所述安全存储器被配置为存储与所述AI模型相关联的AI可执行二进制文件；
第二安全处理器，所述第二安全处理器耦接到所述安全存储器，所述第二安全处理器被配置为执行存储在所述安全存储器中的所述AI可执行二进制文件；
子系统，所述子系统耦接在所述第一安全处理器与所述第二安全处理器之间，所述子系统被配置为触发IO变化并触发所述第二安全处理器以执行存储在所述安全存储器中的所述AI可执行二进制文件；
IO元数据，所述IO元数据存储在所述安全存储器中；
IO验证器，所述IO验证器耦接到所述子系统和所述安全存储器，所述IO验证器被配置为通过确定所述IO元数据来验证IO变化；以及
IO预发模块，所述IO预发模块耦接到所述IO验证器，所述IO预发模块被配置为，当所述IO验证器确定所述IO变化与所述IO元数据相匹配时，将所述IO变化修补到运行于所述第二安全处理器上的所述AI可执行二进制文件。
2.根据权利要求1所述的装置，其中，所述IO元数据包括IO地址范围，所述IO变化包括IO地址，所述IO验证器验证所述IO地址是否在所述IO地址范围内，并且当所述IO验证器确定所述IO地址在所述IO地址范围内时，所述IO预发模块将所述IO地址修补到运行于第二安全处理器上的所述AI可执行二进制文件。
3.根据权利要求1所述的装置，其中，所述IO元数据包括多个不同的分辨率，所述IO变化包括分辨率变化，所述IO验证器验证所述分辨率变化是否与所述IO元数据中指定的不同分辨率中的任何一个分辨率相匹配，并且当所述IO验证器确定所述分辨率变化与所述不同分辨率中的一个分辨率相匹配时，所述IO预发模块将所述分辨率变化修补到运行于所述第二安全处理器上的所述AI可执行二进制文件。
4.根据权利要求1所述的装置，其中，所述IO验证器嵌入在所述第二安全处理器中。
5.根据权利要求1所述的装置，其中，所述IO预发模块嵌入在所述第二安全处理器中。
6.根据权利要求1所述的装置，所述装置还包括嵌入在所述第一安全处理器中的安全操作系统OS，所述安全OS被配置为提供可信执行环境TEE，在所述可信执行环境内，所述安全应用程序受到保护。
7.根据权利要求6所述的装置，其中，所述安全存储器和所述第二安全处理器由第一防火墙保护。
8.根据权利要求7所述的装置，其中，所述子系统由不同于所述第一防火墙的第二防火墙保护。
9.根据权利要求8所述的装置，其中，所述第一防火墙提供比所述第二防火墙更高的安全级别。
10.根据权利要求6所述的装置，所述装置还包括：
图像信号处理器ISP，所述ISP耦接到所述安全存储器，所述ISP被配置为处理图像并将所处理的图像存储到所述安全存储器中，以及
面部生物特征模式，所述面部生物特征模式在TEE内是安全的，
其中，所述第二安全处理器执行所述AI可执行二进制文件，以确定所处理的图像中的任何一个图像是否与所述面部生物特征模式相匹配。
11.根据权利要求1所述的装置，其中，所述第一安全处理器包括安全中央处理单元CPU。
12.根据权利要求1所述的装置，其中，所述第二安全处理器包括安全深度学习加速器DLA。
13.根据权利要求12所述的装置，其中，所述DLA包括加速处理单元APU。
CN202310698775.XA 2022-06-16 2023-06-13 始终在线的人工智能安全硬件辅助的输入/输出形状变化 Pending CN117251844A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US63/352,706 2022-06-16
US202318332346A 2023-06-09 2023-06-09
US18/332,346 2023-06-09

Publications (1)

Publication Number Publication Date
CN117251844A true CN117251844A (zh) 2023-12-19

Family

ID=89132005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310698775.XA Pending CN117251844A (zh) 2022-06-16 2023-06-13 始终在线的人工智能安全硬件辅助的输入/输出形状变化

Country Status (1)

Country Link
CN (1) CN117251844A (zh)

Similar Documents

Publication Publication Date Title
AU2019221570B2 (en) Asset management method and apparatus, and electronic device
AU2019222729B2 (en) Asset management method and apparatus, and electronic device
US11468048B2 (en) Asset management method and apparatus, and electronic device
JP7338044B2 (ja) 顔画像送信方法、値転送方法、装置および電子機器
AU2019222743B2 (en) Asset management method and apparatus, and electronic device
US9330257B2 (en) Adaptive observation of behavioral features on a mobile device
EP2949144B1 (en) Adaptive observation of behavioral features on a mobile device
CN105637522B (zh) 使用受信证书的世界驱动访问控制
US20140150100A1 (en) Adaptive Observation of Driver and Hardware Level Behavioral Features on a Mobile Device
KR20170108019A (ko) 메모리 모니터링을 통한 데이터 흐름 추적
US20230222843A1 (en) Method and device for registering biometric feature
WO2023049648A1 (en) Data protection for computing device
CN117251844A (zh) 始终在线的人工智能安全硬件辅助的输入/输出形状变化
TW202403564A (zh) 人工智慧裝置
US20230328031A1 (en) Always-on artificial intelligence (ai) security
CN112740209A (zh) 通过使用安全元件提供服务的电子装置及其操作方法
US20220311792A1 (en) Forensics Analysis for Malicious Insider Attack Attribution based on Activity Monitoring and Behavioral Biometrics Profiling
CN114287002A (zh) 用于控制对设备资源的访问的电子设备及其操作方法
CN111989693A (zh) 生物识别方法及装置
WO2017054482A1 (zh) 网络操作控制方法及设备
EP4250254A1 (en) Fast sensor fusion for free space detection
CN116455665A (zh) 一种网络流量的检测方法、系统及电子设备
CN115203713A (zh) 终端设备的入网合规性检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination