CN117828625A - 移动终端操作系统的多模态数据机密智能计算方法及系统 - Google Patents

移动终端操作系统的多模态数据机密智能计算方法及系统 Download PDF

Info

Publication number
CN117828625A
CN117828625A CN202311369319.7A CN202311369319A CN117828625A CN 117828625 A CN117828625 A CN 117828625A CN 202311369319 A CN202311369319 A CN 202311369319A CN 117828625 A CN117828625 A CN 117828625A
Authority
CN
China
Prior art keywords
data
user
mobile terminal
intelligent computing
operating system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311369319.7A
Other languages
English (en)
Inventor
古金宇
夏虞斌
臧斌宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202311369319.7A priority Critical patent/CN117828625A/zh
Publication of CN117828625A publication Critical patent/CN117828625A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6281—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database at program execution time, where the protection is within the operating system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供了一种移动终端操作系统的多模态数据机密智能计算方法及系统，包括步骤S1：获取移动终端内操作系统的用户数据；步骤S2：在TEE硬件安全环境中部署基于端侧大模型的智能计算系统；所述智能计算系统处理用户提问，包括存储多模态数据的向量数据库；步骤S3：根据当前移动终端运行上下文的状态动态调节获取数据的频率；步骤S4：使用TEE进行设备间的安全认证，并构建分布式安全存储系统。本发明能够根据当前系统运行状态动态调整数据提取的频率，从而对数据进行筛选去重，且支持运行在TEE中的向量数据库把部分历史数据存储到其他个人设备的TEE存储中，以降低存储负担，保护了个人数据的存算安全。

Description

移动终端操作系统的多模态数据机密智能计算方法及系统
技术领域
本发明涉及通信领域，具体地，涉及一种移动终端操作系统的多模态数据机密智能计算方法及系统。
背景技术
1.1基于可信执行环境的机密计算技术
数据和代码的私密性和完整性日益受到关注，基于可信执行环境(TrustedExecution Environment，TEE)的机密计算技术蓬勃发展。TEE技术支持在机器上创建隔离的执行环境以运行安全敏感的代码或存放机密数据，能够保证运行在该执行环境之外的软件(包括特权软件)以及不可信硬件都无法对其中的代码和数据进行攻击。目前已经普及的TEE技术解决方案，包括ARM的TrustZone和Intel的Software Guard Extensions(SGX)等。ARM TrustZone支持将硬件分为“安全”和“非安全”两个世界，支持将安全敏感数据存放在安全世界；Intel SGX则允许应用程序创建受到硬件保护的enclave隔离区。新的TEE技术如ARM CCA、AMD SEV、Intel TDX等也在发展中。
1.2语言大模型
以OpenAI GPT为代表的大型语言模型正成为人工智能的研究热点，OpenAI公司基于GPT系列模型提供的ChatGPT产品展示了大型语言模型在文本生成任务中的优势，可以准确地基于上下文回答用户的提问。除了云端部署外，也有许多关于本地运行的大模型的相关研究，Google和Meta等在人工智能与机器学习领域备受关注的公司也推出了PaLM2Gecko、Llama 2等可以运行在用户设备上的大型语言模型。另外，现有的大型人工智能模型主要处理文本数据，而实际上存在对文本、图像、声音等多种类型数据进行处理的需求，这也催生了许多关于多模态大模型的研究，例如，Google Gemini将会具备多模态能力。关于多模态和本地运行的大模型研究为综合处理各种类型的用户数据提供了基础能力。向量数据库是一种特化的数据库系统，专门为存储和查询大规模向量数据设计，对于向量间距离的高效计算、海量数据下的最近邻搜索等具有优势，适用于与语言模型应用结合。
1.3个人数据
个人数据呈现多维护、分散化的特点。首先，不存在一家主体，拥有公民的所有数据，不同主体之间因为竞争的关系，很大概率不提供数据的跨组织共享，同时《个人信息保护法》《数据安全法》也不允许主体在未经公民同意的情况下擅自共享数据。其次，在一些数据需要打通的场景下，由于不同服务商的数据接口、数据格式的不同，构建互联互通的系统也需要花费较大的时间人力成本。个人数据具有重要价值，一方面其中包含诸多个人隐私，另一方面对于精准广告等应用场景非常重要。个人数据的可控使用是按数据要素进行分配的基础。
然而，上述技术仍存在许多问题：
1.基于大模型的智能应用如何获取移动终端的多模态个人数据：现有大模型应用的知识库缺失个人数据，因此难以形成个性化服务。例如，用户如果想要针对个人数据进行提问，现有的大语言模型难以完成该需求。
2.面向个人数据的大模型智能应用，如何保证存储与计算的机密性：如果用户主动将自己的隐私数据提供给大语言模型，例如发送到云端部署的大模型，那么将存在数据泄露的风险。
3.多模态个人数据的存储开销问题：用户在使用移动终端的过程中，会实时产生个人数据，大量的多模态数据信息对于移动终端的存储容量来说是极大的负担。
在公开号为CN1852523A的中国专利文献中，公开了一种移动终端使用方法及移动终端和移动终端系统，包括在移动终端设置用户列表，在所述用户列表设置用户及其用户识别码对应关系，当移动用户使用该移动终端时，根据所述用户列表为其分配使用模式。然而，该专利文献仅通过控制用户的访问权限避免其个人数据泄露，没有针对减少存储容量等问题采取措施，因此无法解决上述问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种移动终端操作系统的多模态数据机密智能计算方法及系统。
根据本发明提供的一种移动终端操作系统的多模态数据机密智能计算方法，包括：
步骤S1：获取移动终端内操作系统的用户数据；
步骤S2：在TEE硬件安全环境中部署基于端侧大模型的智能计算系统；所述智能计算系统处理用户提问，且所述智能计算系统包括存储多模态数据的向量数据库；
步骤S3：根据当前移动终端运行上下文的状态动态调节获取数据的频率，并对相邻时间窗口内获取的数据进行相似度和关键信息比对；
步骤S4：使用TEE进行设备间的安全认证，并构建分布式安全存储系统。
优选的，所述用户数据包括原始数据和其他数据；所述用户数据保存至沙箱后进行分析处理；所述其他数据由大模型转换为特征向量后存入所述向量数据库；所述原始数据存入普通数据库。
优选的，所述智能计算系统为经过筛查后的第三方应用提供上层接口；所述上层接口提供所述第三方应用代码的传输。
优选的，所述步骤S2包括以下子步骤：
步骤S2.1：用户基于个人终端使用文字或语音进行提问；
步骤S2.2：将用户发送的语音转换为文字；
步骤S2.3：使用向量数据库查询，获取与提问信息相似的特征向量；
步骤S2.4:根据特征向量携带的元数据获取原始数据，将所述原始数据及用户提问信息发送给大模型；
步骤S2.5：大模型接收处理原始数据及用户提问信息，将处理结果返回用户个人终端。
根据本发明提供的一种移动终端操作系统的多模态数据机密智能计算系统，包括：
模块M1：获取移动终端内操作系统的用户数据；
模块M2：在TEE硬件安全环境中部署基于端侧大模型的智能计算系统；所述智能计算系统处理用户提问，且所述智能计算系统包括存储多模态数据的向量数据库；
模块M3：根据当前移动终端运行上下文的状态动态调节获取数据的频率，并对相邻时间窗口内获取的数据进行相似度和关键信息比对；
模块M4：使用TEE进行设备间的安全认证，并构建分布式安全存储系统。
优选的，所述用户数据包括原始数据和其他数据；所述用户数据保存至沙箱后进行分析处理；所述其他数据由大模型转换为特征向量后存入所述向量数据库；所述原始数据存入普通数据库。
优选的，所述智能计算系统为经过筛查后的第三方应用提供上层接口；所述上层接口提供所述第三方应用代码的传输。
优选的，所述模块M2包括以下子模块：
模块M2.1：用户基于个人终端使用文字或语音进行提问；
模块M2.2：将用户发送的语音转换为文字；
模块M2.3：使用向量数据库查询，获取与提问信息相似的特征向量；
模块M2.4:根据特征向量携带的元数据获取原始数据，将所述原始数据及用户提问信息发送给大模型；
模块M2.5：大模型接收处理原始数据及用户提问信息，将处理结果返回用户个人终端。
优选的，所述经过筛查后的第三方应用在沙盒中运行，并根据智能计算系统的处理结果对用户进行精准推荐。
与现有技术相比，本发明具有如下的有益效果：
1、本发明在移动终端的TEE操作系统上部署基于端侧大模型的智能计算系统，保证了大模型智能应用在针对个人数据计算时不造成隐私泄露，保护了个人数据的存算安全。
2、本发明能够根据当前系统运行状态动态调整数据提取的频率，从而对数据进行筛选去重，且支持运行在TEE中的向量数据库把部分历史数据存储到其他个人设备的TEE存储中，以降低存储负担。
3、本发明可以利用移动终端操作系统的能力(获取屏幕、应用、键盘、声音等信息)，获取流经操作系统的用户数据，解决了数据来源多样化的问题。
4、本发明提供的方法能够让用户在本地设备上灵活使用大型语言模型和多模态模型进行文本生成、问答和多模态数据处理等任务(例如查询车票信息、日程安排、回忆对话信息等)，具有丰富的功能应用；在保证数据安全性的同时提供了良好的用户体验。
本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例中应用在用户日常使用时的工作架构图。
图2为本发明实施例中应用于私人助手功能时的应用场景示意图。
图3为本发明实施例中应用三方算法服务的应用场景示意图。
图4为本发明实施例中用户提问和第三方应用算法执行推荐的系统流程图。
图5为本发明实施例中应用的大模型用户提问流程图。
图6为本发明实施例中应用的第三方应用在TEE保护下执行推荐算法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
参照图1和图2所示，一种移动终端操作系统的多模态数据机密智能计算方法，包括：
首先，利用移动终端操作系统的能力(获取屏幕、应用、键盘、声音等信息)，获取流经操作系统的用户数据，解决数据来源多样化的问题。
用户数据保存至沙箱后进行分析处理，且其包含原始数据和其他数据。其中，其他数据由大模型转换为特征向量后存入向量数据库，而原始数据则存入普通数据库。
接着在个人移动终端设备上的TEE硬件安全环境中部署基于端侧大模型的智能计算系统。智能计算系统可以处理用户提问，且含有存储多模态数据的向量数据库。与现有大模型部署模式相比，一方面保证了个人数据不离开个人设备，另一方面TEE硬件和TEE操作系统的强隔离性也保护了个人数据的存算安全。
其中，用户提问的具体流程为：
用户在个人终端上使用文字或语音进行提问后，将语音部分转换为文字，然后使用向量数据库查询，获取与提问信息相似的特征向量。根据特征向量携带的元数据获取原始数据，将其与用户提问信息发送给大模型。大模型接收处理原始数据及用户提问信息后，将处理结果返回用户个人终端，个人终端通过屏幕向用户展示。
智能计算系统同时也为经过筛查后的第三方应用提供上层接口，该接口可以传输第三方应用的代码。第三方应用也在沙盒中运行，并根据智能计算系统的处理结果对用户进行精准推荐。
根据当前移动终端运行上下文的状态动态调节获取数据的频率，例如，在看视频、玩游戏等场景下降低数据获取频率。对相邻时间窗口内获取的数据进行相似度和关键信息比对，从而进行去重，进一步降低存储开销。
由于移动终端的存储容量有限，对于历史个人数据可以在进行压缩和加密后存储到其他个人或家居设备中。为了保证数据的机密性，本发明利用TEE进行设备间安全认证，并构建分布式安全存储。
本发明具有丰富的应用场景。包括但不限于，私人助理应用：用户可以在本地设备上灵活使用大型语言模型和多模态模型进行文本生成、问答和多模态数据处理等任务(例如查询车票信息、日程安排、回忆对话信息等)，在保证数据安全性的同时提供良好的用户体验；个人医生应用和精准广告应用等：引入第三方算法，针对个人数据进行计算，同时保证三方算法和个人数据的安全性。
以上为本发明的基础实施例，下面通过一个优选实施例对本发明的技术方案做进一步的说明。
实施例1
参照图1所示，当用户使用自己的便携式设备时，运行在操作系统上的系统应用会自动记录用户的屏幕显示内容、传感器数据等设备信息，同时也会记录其他应用使用数据。本发明应用将这些数据传递给大模型端，由大模型转换为特征向量，存入向量数据库；同时，系统应用也会将原始数据存入普通数据库。
而支撑大模型运行的设备可以是用户的日常便携设备，也可以是用户的高性能计算设备；向量数据库则位于用户的端侧设备上。
参照图2所示，当用户提问时，私人助手将基于图1所保存下的用户的个人数据进行回答，并将相关的场景同步显示给用户。
具体来说，私人助手会将用户的提问转换成向量，在用户的向量数据库中进行搜索，根据搜索到的相关结果获取位于普通数据库中的原始数据。之后，私人助手会将用户提问与原始数据一同发送给大模型侧，由大模型侧进行运算处理，并将处理结果返回给用户。如果用户的日常便携设备与用户的高性能计算设备之间可以通信，私人助手可以将用户数据交由高性能计算设备上的大模型进行处理。
参照图3所示，为了避免隐私泄露问题，用户的个人数据会被存储在数据库中，并由TEE进行保护。但是为了实现精准推荐，一部分第三方应用服务也拥有访问用户个人数据的需求。
因此，本实施例通过TEE提供可信执行环境，并给第三方应用服务提供上层接口，第三方应用可以通过该接口执行自己的代码，同时保证三方算法和个人数据的安全性。
本实施例将用户在日常使用的便携式设备上产生的原始数据保存到普通数据库中，经向量化处理后保存至向量数据库中。同时本实施例将作为系统应用申请部分系统权限，记录用户在日常使用便携式设备时获取的文字、图片、音频等信息，将其经过数据压缩处理后保存。上述数据可以传递给本地部署的大模型处理，供用户提问使用。如果用户便携式设备算力欠缺，也可以通过分布式计算形式利用其他高性能设备(如PC、打印机等)，将待计算的数据和计算结果在设备间传输。保存在数据库中的数据借由TEE进行保护，给一部分第三方应用提供上层接口，允许这些应用借用用户的隐私数据进行计算，同时避免用户的隐私数据泄露问题。具体而言，本实施例使用方案包含如下步骤：
(1)用户在个人便携式设备上安装本发明应用，并授权部分本发明应用所需的权限。
(2)用户在使用便携式设备的过程中，将会浏览购物应用、备忘录、通信应用等各种类型应用。本实施例将采用智能方案，通过传感器数据、屏幕显示内容等获取应用数据。
(3)本实施例应用将这些数据筛选和处理后，通过数据压缩技术保存到普通数据库中，经过向量化处理后保存至向量数据库中。
(4)本实施例将为一部分需要用户隐私数据进行算法计算的第三方应用进行资格审查，通过后提供上层接口，允许第三方应用在TEE保护的环境中进行计算。例如，一部分推荐系统算法可以借用此机制，在第三方无法接触用户数据的环境下进行计算，从而在保护用户隐私的情况下达成精准推荐的目的。
(5)用户可以利用本发明应用进行文字或语音的提问，本实施例将用户的问题传递给本地部署的大模型，大模型将利用向量数据库中的向量进行计算并反馈给用户答案。在用户的便携式设备算力不足时，将采用分布式计算的方法，把计算任务分配给周围的其他设备上(如PC，智能家居等)。
参照图4所示，下面以用户授权应用相应权限后，本实施例开始采集用户使用设备的数据和其他应用数据，处理后加入向量数据库并用于后续大模型计算为例，进行步骤描述。
首先，用户授权本实施例提到的系统权限，同时允许本实施例在后台执行。
随着用户开始使用设备的各项功能，浏览通信应用、购物应用、知识应用、地图应用等各类应用，本实施例采用智能方案将用户所浏览重要信息时的屏幕显示内容、传感器数据等关键数据保存至应用沙箱中，例如屏幕截图，环境音频等数据，这些会被保存重要信息的包括但不限于通信应用中的关键聊天截图，购物应用中的购物车与收藏物品，知识应用中的长期停留的文字或图片，地图应用中浏览过的路线方案等。
接着筛选、分析处理并压缩上文保存的数据。例如，本实施例将采用OCR技术，对这些数据使用数据压缩技术并保存到由TEE保护的普通数据库中。
本实施例将前述数据利用大模型转换为特征向量，对于屏幕显示内容的截图进行有效文字信息的提取。在数据处理完成后保存至由TEE保护的向量数据库中。如果条件允许，本实施例可以将数据库中的向量用于后续用户的端侧设备上部署的大模型进行计算。
最后，本实施例数据采集，数据分析和数据向量化处理过程结束，可用于后续处理大模型用户提问和第三方应用推荐算法在TEE保护下执行计算。
参照图5所示，当用户需要进行相关问答时，本实施例将采用如下步骤对用户进行相应。
用户先在个人终端上打开本应用，使用文字或者语音的方式进行提问。如果采用语音方式提问，本实施例将使用离线语音转文字模型将其转化为文字。
将得到的文字进行处理，之后在向量数据库中进行查询，获取与提问信息相似的特征向量。如果用户拥有能够本地发现的安装了本应用的其他终端，本实施例将使用分布式能力同时在其他终端的数据库中进行查询。
根据特征向量携带的元数据获取原始数据，将原始数据以及用户提问信息发送给大模型侧进行处理。如果本地存在高性能计算设备，本实施例将能够利用高性能计算设备上运行的大模型进行处理。
接着，大模型对接收到的数据进行处理，并将结果返回给产生处理请求的设备。设备上运行的本实施例收到处理结果后，将其展示给用户。
该流程使得用户的了便携式设备充当起私人助理的功能，用户可以选择查看被处理的原始数据，方便用户进行相关场景的联想回忆，并在一定程度上弥补目前大模型产生的输出准确性不足的问题。
参照图6所示，当用户授权本发明应用开放上层接口供第三方应用使用时，本实施例将采用如下步骤。该步骤适用于本实施例提供TEE沙盒环境供第三方应用算法计算的场景。
具体步骤如下：
用户授权本发明应用提供上层接口给第三方应用，例如购物应用，知识应用，运动健康等应用使用。
然后本实施例提供由TEE保护的沙盒执行环境，将数据库中的数据和第三方应用推荐系统的处理算法放到该沙盒中执行。这样做保证用户数据对于第三方应用不可见，第三方推荐系统算法对于用户不可见。
接着将算法结果返回给第三方应用，并由第三方应用再对用户进行精准推荐。
该流程相比于现有的推荐系统技术，能在安全保障下，处理用户的涉及日常生活，兴趣爱好，知识图谱，健康数据等更多更高级别的隐私数据，既能保证用户数据不会被第三方应用恶意使用或者泄露，也能保证第三方应用能在做到技术保密同时，能更精准更全面的为用户定义个性化方案。
本发明还提供一种移动终端操作系统的多模态数据机密智能计算系统，所述移动终端操作系统的多模态数据机密智能计算系统可以通过执行所述移动终端操作系统的多模态数据机密智能计算方法的流程步骤予以实现，即本领域技术人员可以将所述移动终端操作系统的多模态数据机密智能计算方法理解为所述移动终端操作系统的多模态数据机密智能计算系统的优选实施方式。
具体的，一种移动终端操作系统的多模态数据机密智能计算系统，包括：
模块M1：获取移动终端内操作系统的用户数据；
模块M2：在TEE硬件安全环境中部署基于端侧大模型的智能计算系统；所述智能计算系统处理用户提问，且所述智能计算系统包括存储多模态数据的向量数据库；
模块M3：根据当前移动终端运行上下文的状态动态调节获取数据的频率，并对相邻时间窗口内获取的数据进行相似度和关键信息比对；
模块M4：使用TEE进行设备间的安全认证，并构建分布式安全存储系统。
所述用户数据包括原始数据和其他数据；所述用户数据保存至沙箱后进行分析处理；所述其他数据由大模型转换为特征向量后存入所述向量数据库；所述原始数据存入普通数据库。
所述智能计算系统为经过筛查后的第三方应用提供上层接口；所述上层接口提供所述第三方应用代码的传输。
所述模块M2包括以下子模块：
模块M2.1：用户基于个人终端使用文字或语音进行提问；
模块M2.2：将用户发送的语音转换为文字；
模块M2.3：使用向量数据库查询，获取与提问信息相似的特征向量；
模块M2.4：根据特征向量携带的元数据获取原始数据，将所述原始数据及用户提问信息发送给大模型；
模块M2.5：大模型接收处理原始数据及用户提问信息，将处理结果返回用户个人终端。
所述经过筛查后的第三方应用在沙盒中运行，并根据智能计算系统的处理结果对用户进行精准推荐。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种移动终端操作系统的多模态数据机密智能计算方法，其特征在于，包括：
步骤S1：获取移动终端内操作系统的用户数据；
步骤S2：在TEE硬件安全环境中部署基于端侧大模型的智能计算系统；所述智能计算系统处理用户提问，且所述智能计算系统包括存储多模态数据的向量数据库；
步骤S3：根据当前移动终端运行上下文的状态动态调节获取数据的频率，并对相邻时间窗口内获取的数据进行相似度和关键信息比对；
步骤S4：使用TEE进行设备间的安全认证，并构建分布式安全存储系统。
2.根据权利要求1所述的一种移动终端操作系统的多模态数据机密智能计算方法，其特征在于，所述用户数据包括原始数据和其他数据；所述用户数据保存至沙箱后进行分析处理；所述其他数据由大模型转换为特征向量后存入所述向量数据库；所述原始数据存入普通数据库。
3.根据权利要求1所述的一种移动终端操作系统的多模态数据机密智能计算方法，其特征在于，所述智能计算系统为经过筛查后的第三方应用提供上层接口；所述上层接口提供所述第三方应用代码的传输。
4.根据权利要求2所述的一种移动终端操作系统的多模态数据机密智能计算方法，其特征在于，所述步骤S2包括以下子步骤：
步骤S2.1：用户基于个人终端使用文字或语音进行提问；
步骤S2.2：将用户发送的语音转换为文字；
步骤S2.3：使用向量数据库查询，获取与提问信息相似的特征向量；
步骤S2.4：根据特征向量携带的元数据获取原始数据，将所述原始数据及用户提问信息发送给大模型；
步骤S2.5：大模型接收处理原始数据及用户提问信息，将处理结果返回用户个人终端。
5.根据权利要求3所述的一种移动终端操作系统的多模态数据机密智能计算方法，其特征在于，所述经过筛查后的第三方应用在沙盒中运行，并根据智能计算系统的处理结果对用户进行精准推荐。
6.一种移动终端操作系统的多模态数据机密智能计算系统，其特征在于，包括：
模块M1：获取移动终端内操作系统的用户数据；
模块M2：在TEE硬件安全环境中部署基于端侧大模型的智能计算系统；所述智能计算系统处理用户提问，且所述智能计算系统包括存储多模态数据的向量数据库；
模块M3：根据当前移动终端运行上下文的状态动态调节获取数据的频率，并对相邻时间窗口内获取的数据进行相似度和关键信息比对；
模块M4：使用TEE进行设备间的安全认证，并构建分布式安全存储系统。
7.根据权利要求6所述的一种移动终端操作系统的多模态数据机密智能计算系统，其特征在于，所述用户数据包括原始数据和其他数据；所述用户数据保存至沙箱后进行分析处理；所述其他数据由大模型转换为特征向量后存入所述向量数据库；所述原始数据存入普通数据库。
8.根据权利要求6所述的一种移动终端操作系统的多模态数据机密智能计算系统，其特征在于，所述智能计算系统为经过筛查后的第三方应用提供上层接口；所述上层接口提供所述第三方应用代码的传输。
9.根据权利要求7所述的一种移动终端操作系统的多模态数据机密智能计算系统，其特征在于，所述模块M2包括以下子模块：
模块M2.1：用户基于个人终端使用文字或语音进行提问；
模块M2.2：将用户发送的语音转换为文字；
模块M2.3：使用向量数据库查询，获取与提问信息相似的特征向量；
模块M2.4：根据特征向量携带的元数据获取原始数据，将所述原始数据及用户提问信息发送给大模型；
模块M2.5：大模型接收处理原始数据及用户提问信息，将处理结果返回用户个人终端。
10.根据权利要求8所述的一种移动终端操作系统的多模态数据机密智能计算系统，其特征在于，所述经过筛查后的第三方应用在沙盒中运行，并根据智能计算系统的处理结果对用户进行精准推荐。
CN202311369319.7A 2023-10-20 2023-10-20 移动终端操作系统的多模态数据机密智能计算方法及系统 Pending CN117828625A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311369319.7A CN117828625A (zh) 2023-10-20 2023-10-20 移动终端操作系统的多模态数据机密智能计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311369319.7A CN117828625A (zh) 2023-10-20 2023-10-20 移动终端操作系统的多模态数据机密智能计算方法及系统

Publications (1)

Publication Number Publication Date
CN117828625A true CN117828625A (zh) 2024-04-05

Family

ID=90510348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311369319.7A Pending CN117828625A (zh) 2023-10-20 2023-10-20 移动终端操作系统的多模态数据机密智能计算方法及系统

Country Status (1)

Country Link
CN (1) CN117828625A (zh)

Similar Documents

Publication Publication Date Title
US11902413B2 (en) Secure machine learning analytics using homomorphic encryption
CN110795528A (zh) 一种数据查询方法、装置、电子设备及存储介质
CN108369596A (zh) 个性化自然语言理解系统
CN111582505A (zh) 联邦建模方法、装置、设备及计算机可读存储介质
CN110929806B (zh) 基于人工智能的图片处理方法、装置及电子设备
CN110738323B (zh) 基于数据共享建立机器学习模型的方法和装置
CN110825863A (zh) 一种文本对融合方法及装置
CN114973351B (zh) 人脸识别方法、装置、设备及存储介质
CN115270163B (zh) 数据处理方法、相关装置及存储介质
CN107590484A (zh) 用于呈现信息的方法和装置
CN114694226A (zh) 一种人脸识别方法、系统及存储介质
CN114758388A (zh) 一种人脸识别方法、相关装置及存储介质
CN114357278A (zh) 一种话题推荐方法、装置及设备
CN115146815A (zh) 一种业务处理方法、装置、计算机及可读存储介质
CN112231309A (zh) 纵向联邦数据统计的去重方法、装置、终端设备及介质
CN110008926A (zh) 用于识别年龄的方法和装置
CN117669582A (zh) 一种基于深度学习的工程咨询处理方法、装置及电子设备
CN113486364A (zh) 一种终端、服务器以及数据处理方法
CN116095671B (zh) 一种基于元宇宙的资源共享方法及其相关设备
CN114821751B (zh) 图像识别方法、装置、系统及存储介质
CN117828625A (zh) 移动终端操作系统的多模态数据机密智能计算方法及系统
CN115203674A (zh) 一种应用程序自动登录方法、系统、装置及存储介质
CN115203391A (zh) 一种信息检索方法、装置、计算机设备及存储介质
CN102768671B (zh) 一种文件处理方法和系统
CN115205089A (zh) 图像加密方法、网络模型的训练方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination