CN117459324A - Gpt模型的访问方法、设备及计算机可读存储介质 - Google Patents
Gpt模型的访问方法、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN117459324A CN117459324A CN202311777009.9A CN202311777009A CN117459324A CN 117459324 A CN117459324 A CN 117459324A CN 202311777009 A CN202311777009 A CN 202311777009A CN 117459324 A CN117459324 A CN 117459324A
- Authority
- CN
- China
- Prior art keywords
- model
- gpt
- data
- query request
- access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 49
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 79
- 230000004044 response Effects 0.000 claims description 54
- 230000000873 masking effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009118 appropriate response Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Bioethics (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种GPT模型的访问方法、设备及计算机可读存储介质，属于网络工程领域，应用于模型访问网关，所述模型访问网关的一侧与私有网络中的用户端联通，另一侧与部署于公共网络的公网GPT模型联通，和/或与私有化部署的GPT模型联通，所述GPT模型的访问方法包括以下步骤：接收所述用户端发送的查询请求；对所述查询请求进行语义分析，并根据所述语义分析的结果确定所述查询请求是否涉及隐私数据；如果是执行以下步骤：在所述用户端的用户权限与所述隐私数据的需求权限匹配时，将所述查询请求发送至所述GPT模型；和/或在过滤所述隐私数据后，将所述查询请求发送至所述公网GPT模型。通过上述方法，实现了企业公司员工对于GPT模型的安全访问。
Description
技术领域
本发明涉及网络工程领域，尤其涉及GPT模型的访问方法、设备及计算机可读存储介质。
背景技术
GPT（Generative Pre-trained Transformer，一种基于转换器架构的预训练语言模型）模型作为一种便捷的文本处理工具，常被企业或公司中的员工在日常办公和业务处理的场景中频繁使用。但以上场景通常会涉及企业或公司的大量隐私性数据，如果在使用GPT模型时，不对隐私数据进行管控处理，会存在企业或公司隐私数据泄露的风险。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种GPT模型的访问方法，旨在解决企业或公司的员工在使用GPT模型时，存在泄露内部隐私数据风险的技术问题。
为实现上述目的，本发明提供一种GPT模型的访问方法，应用于模型访问网关，所述模型访问网关的一侧与私有网络中的用户端联通，另一侧与部署于公共网络的公网GPT模型联通，和/或与私有化部署的GPT模型联通，所述GPT模型的访问方法包括以下步骤：
接收所述用户端发送的查询请求；
对所述查询请求进行语义分析，并根据所述语义分析的结果确定所述查询请求是否涉及隐私数据；
如果是执行以下步骤：
在所述用户端的用户权限与所述隐私数据的需求权限匹配时，将所述查询请求发送至所述GPT模型；和/或
在过滤所述隐私数据后，将所述查询请求发送至所述公网GPT模型。
可选地，所述对所述查询请求进行语义分析，并根据所述语义分析的结果确定所述查询请求是否涉及隐私数据的步骤之前，还包括：
接收用户权限数据和/或隐私数据库；
在确保所述用户权限数据和/或所述隐私数据库内容完整时，建立对应的索引并存储至对应的位置；
将所述用户权限数据和/或所述隐私数据库，同步至所述模型访问网关。
可选地，所述模型访问网关中部署有语义分析模型，所述对所述查询请求进行语义分析，并根据所述语义分析的结果确定所述查询请求是否涉及隐私数据的步骤包括：
在对所述查询请求对应的文本内容进行预处理后，确定所述文本内容对应的文本向量；
对所述文本向量进行特征提取，以转化为固定长度的查询特征向量；
基于所述语义分析模型，确定所述查询特征向量与对比特征向量之间的余弦相似度，其中，所述对比特征向量为所述用户权限数据和/或所述隐私数据库中包含的隐私数据对应的向量；
当所述余弦相似度大于预设相似度阈值时，则判定所述查询请求涉及所述隐私数据。
可选地，所述基于所述语义分析模型，确定所述查询特征向量与对比特征向量之间的余弦相似度的步骤包括：
确定所述查询特征向量和所述对比特征向量之间的向量点积；
确定所述查询特征向量和所述对比特征向量分别对应的向量模；
基于所述向量点积和所述向量模，计算所述查询特征向量和所述对比特征向量之间的余弦相似度。
可选地，所述对所述查询请求进行语义分析，并根据所述语义分析的结果确定所述查询请求是否涉及隐私数据的步骤之后，还包括：
在所述用户端的用户权限与所述隐私数据的需求权限不匹配时，拒绝所述用户端访问所述GPT模型，并将禁止访问的信息发送至所述用户端；
在接收到所述GPT模型返回的响应内容时，对所述响应内容进行语义分析，以确定所述响应内容是否存在超出所述用户权限的隐私数据；
若所述响应内容存在所述隐私数据，在过滤所述隐私数据后，将所述响应内容发送至所述用户端。
可选地，所述在过滤所述隐私数据后，将所述查询请求发送至所述公网GPT模型的步骤之前，还包括：
将所述查询请求中所述隐私数据中的字符数据进行掩码处理；
基于所述隐私数据的统计特征，生成对应的合成数据；
使用所述合成数据替换所述隐私数据，以过滤所述查询请求中的隐私数据。
可选地，所述接收所述用户端发送的查询请求的步骤之后，还包括：
若所述查询请求存在多项查询内容，将所述查询请求拆分为多个子请求；
对所述子请求进行语义分析，以确定所述子请求是否存在隐私数据；
将不存在所述隐私数据的子请求发送至所述公网GPT模型；
将存在所述隐私数据，且所述用户端的用户权限与所述隐私数据的需求权限匹配的子请求，发送至所述GPT模型。
可选地，所述将存在所述隐私数据，且所述用户端的用户权限与所述隐私数据的需求权限匹配的子请求，发送至所述GPT模型的步骤之后，还包括：
接收所述公网GPT模型返回的第一子响应内容，和所述GPT模型返回的第二子响应内容；
在过滤所述第二子响应中的隐私数据后，将所述第一子响应内容和第二子响应内容基于文本逻辑进行整合处理；
将整合处理后的总响应内容发送给所述用户端。
此外，为实现上述目的，本发明还提供一种GPT模型的访问设备，所述GPT模型的访问设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的GPT模型的访问程序，所述GPT模型的访问程序配置为实现如上所述的GPT模型的访问方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述存储介质上存储有GPT模型的访问程序，所述GPT模型的访问程序被处理器执行时实现如上所述的GPT模型的访问方法的步骤。
本发明实施例通过提供一种GPT模型的访问方法，设置一个模型访问网关，该网关一侧与用户端联通，一侧与在公共互联上的公网GPT模型联通，和/或与私有化部署的GPT模型联通，在接收到用户端发送的访问请求时，该网关会对请求内容进行语义分析，判断其中是否存在隐私数据，倘若存在，在用户端的用户权限与隐私数据的需求权限匹配时，将查询请求发送至私有化部署的GPT模型，和/或，在过滤完隐私数据之后，将查询请求发送至公共网络上部署的公网GPT模型。通过上述方法，实现了企业公司员工对于GPT模型的安全且灵活的访问，防止内部隐私数据泄露。
附图说明
图1为本发明GPT模型的访问方法第一实施例的流程示意图；
图2为本发明GPT模型的访问方法第二实施例的流程示意图；
图3为本发明GPT模型的访问方法第三实施例的流程示意图；
图4为本发明第三实施例示例参考示意图；
图5为此前公网GPT模型的访问方式参考示意图；
图6是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
近年来GPT模型技术发展迅猛，其强大的生成能力和语义理解能力企业和公司的青睐，在其日常办公和业务处理中已经开始逐步扩大GPT模型使用的深度和广度。由于企业和公司通常都涉及大量隐私性数据，并负有保密义务，因此GPT模型技术的应用必须首先确保数据的安全。此前已经有多项研究已经表明，利用GPT生成的文本数据可以被推断出原始数据的信息。所以如何在提升工作效率的同时保护企业和公司隐私数据的安全，避免隐私数据被暴露在公共互联网上，或被企业或公司内部没有数据权限的用户非法获得，是需要重点关注的。
目前企业和公司访问GPT模型的方式分为两种，参照图5，一种是禁止拥有隐私数据的单位和部门访问公共互联网上部署的GPT模型；另一种只允许访问私有化部署GPT模型，并使用公司或企业非隐私数据训练私有化部署的GPT模型。但以上两种方式难以同时实现防止隐私数据泄露和使用到语言处理能力成熟的GPT模型。对于禁止使用公共互联网上部署的GPT模型的工作人员来说，虽然做到了绝对意义上的防止隐私数据泄露，但无法使用GPT模型来提升工作效率。而对于只能访问私有化部署GPT模型的工作人员来说，难以使用到语言处理能力成熟的GPT模型，并且访问私有化部署的GPT模型，同样存在着越权访问导致隐私数据内部泄露的风险。
为解决上述两种方式难以同时实现防止隐私数据泄露和使用到语言处理能力成熟的GPT模型的缺陷，本发明实施例提供一种GPT模型的访问方法，设置一个模型访问网关，该网关一侧与用户端联通，一侧与在公共互联上的公网GPT模型联通，和/或与私有化部署的GPT模型联通，在接收到用户端发送的访问请求时，该网关会对请求内容进行语义分析，判断其中是否存在隐私数据，倘若存在，在用户端的用户权限与隐私数据的需求权限匹配时，将查询请求发送至私有化部署的GPT模型，和/或，在过滤完隐私数据之后，将查询请求发送至公共网络上部署的公网GPT模型。
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种GPT模型的访问方法，参照图1，图1为本发明一种GPT模型的访问方法第一实施例的流程示意图。
本实施例中，所述GPT模型的访问方法包括：
步骤S10：接收所述用户端发送的查询请求。
在本实施例中，GPT模型的访问方法应用于模型访问网关，该模型访问网关一侧与用户端联通，另一侧即可以与在公共互联网的公网GPT模型联通，也可以与在私有化部署的GPT模型联通。公网GPT模型可以理解为任何用户都可访问的GPT模型，目前语言处理能力成熟的GPT模型基本是部署在公共互联网上，但企业人员若直接访问容易造成内部隐私数据的泄露。用户端是指用户基于移动设备、浏览器或业务系统访问GPT模型的一端，私有化部署的GPT模型，可以理解为仅私有局域网络以内的人员可以访问的GPT模型，并且该GPT模型使用了企业或公司的非隐私数据进行训练，但其并未使用相关的隐私数据进行训练，因此只能在一些简单的业务场景中使用，无法满足其他复杂业务场景的需求，比如精准匹配、业务趋势分析、安全审计等。模型访问网关是用于管理和控制GPT模型访问的中间层系统，该模型访问网关提供了一种接口和权限管理机制，使得企业或公司员工对于GPT模型的访问可以更加安全可控且可管理。
与常规的模型访问网关不同，本发明在模型访问网关中设置了一种语义分析模型，该语义分析模型部署在模型访问网关当中，能够在网关接收到用户端的查询请求时，对请求内容进行语义分析，判断其中是否存在隐私数据。
此外，模型访问网关还具备对查询请求进行身份认证和权限验证的功能，当用户想要访问的是私有化部署的GPT模型时，确保只有经过授权的用户或服务可以访问模型。并且，模型访问网关还包括以下功能：模型访问网关可以根据设定的策略和配额对访问流量进行控制和限制，以防止过度使用或滥用模型资源。数据转换和预处理：对输入数据进行转换和预处理，以适应模型的要求，例如文本进行分词等。日志和监控：记录访问日志和性能指标，帮助管理员和开发人员监控模型的使用情况和性能表现。
在本实施例中，通过模型访问网关，可以对GPT模型的访问进行集中管理和控制，提高模型的安全性和可管理性。
步骤S20、对所述查询请求进行语义分析，并根据所述语义分析的结果确定所述查询请求是否涉及隐私数据。
在本实施例中，引入Word2vec-CNN-DSSM模型并将其部署为模型访问网关。Word2Vec-CNN-DSSM模型结合了Word2Vec（一种用于产生词向量的模型）、卷积神经网络（CNN）和深度语义模型（Deep Structured Semantic Model，DSSM）的特点和优势，能够将用户端发送的查询请求对应的文本内容进行语义分析。其中Word2Vec用于将文本中的词语映射到连续向量空间，其主要是通过训练一个浅层神经网络模型，将每个词语表示为一个稠密的向量，这样可以捕捉到词语之间的语义关系，使得相似的词语在向量空间中距离较近。CNN用于提取文本特征，通过滑动窗口和卷积操作来捕捉局部特征，并通过池化操作来减少特征维度，以此来将文本表示为一组固定长度的特征向量。DSSM则作为进行语义匹配的深度学习模型，将两个文本向量输入映射到相似度得分，用于衡量它们之间的语义相似性。Word2Vec-CNN-DSSM模型此前已经与企业已经部署的用户数据权限管理系统，和/或企业构建的隐私数据库整合，整合后的Word2Vec-CNN-DSSM模型能够在进行语义分析的过程中，计算查询请求的文本内容与不同等级权限对应的用户权限数据和/或隐私数据的相似度，并根据相似度判定其中是否存在隐私数据，以及存在哪些隐私数据。
进一步地，当Word2Vec-CNN-DSSM模型获取到用户端的查询请求对应的文本内容时，首先对文本进行分词、去除停用词等预处理操作。进而使用预训练的Word2Vec模型将每个词语编码为向量表示，将编码后的词向量输入到CNN中，通过卷积和池化操作提取文本的局部特征，将不同窗口大小的特征拼接在一起，并进行归一化操作，得到一组低维稠密向量，将归一化后的查询特征向量，输入到DSSM模型中，该模型会基于此前整合的用户权限数据和/或隐私数据对应的对比特征向量，将两个文本向量映射到相同的隐空间，使它们在向量空间中能够进行比较，通过计算两个文本向量之间的相似度来评估它们的语义相似性，这里可以使用余弦相似度作为相似性度量指标，余弦相似度越高表示两个向量越相似。当二者之间的余弦相似度大于预设相似度阈值时，则判定查询内容中存在隐私数据，其中，余弦相似度的计算公式为：
similarity = (q · d) / (|q| * |d|)，
其中，similarity表示余弦相似度，q和d分别表示query（查询特征向量）和doc（指隐私数据以及用户权限数据对应的对比特征向量），·表示向量的点积，|q|、|d|分别表示查询特征向量和对比特征的向量模。
在本实施例中，通过应用Word2Vec-CNN-DSSM模型，可以进行高效的文本相似性计算、相关性排序等操作，而其中的DSSM可以作为关键模块来提升语义分析的准确度。
步骤S30、如果是执行以下步骤：在所述用户端的用户权限与所述隐私数据的需求权限匹配时，将所述查询请求发送至所述GPT模型。
倘若用户端的查询请求中包含了隐私数据，则根据不同的访问场景，进行相对应的处理。在本实施例中，针对的是私有化部署的GPT模型。模型访问网关对于私有化部署的GPT模型的访问控制，主要是为了防止用户的越权访问。当用户端的用户权限与该隐私数据的需求权限相匹配时，也就是该查询请求不存在越权访问时，就将其提交给私有化部署的GPT模型。而倘若查询请求存在越权访问时，则直接拒绝用户的访问请求，并将禁止访问的消息发送给用户端，告知其存在越权访问的情况，不具备获取相关隐私数据的用户权限数。
示例性的，一企业具备自身的私有化部署GPT模型，该企业的用户权限分为员工、会计和总经理。员工仅可以利用GPT模型中查询与自身工作相关的生产资料，而财务信息以及商业数据则不被允许查询，会计允许在GPT模型中查询企业的财务信息，而更为机密的商业信息则仍不被允许查询，总经理则拥有最高等级的用户权限，可以利用GPT模型查询企业内部任何相关的数据或信息。以用户的查询请求为例，当用户输入的查询请求涉及财务信息相关的隐私数据时，则禁止用户越权访问，并告知用户本次查询请求不具备查询权限，而当用户输入的查询请求并未超出自身的用户权限时，则将其查询请求提交给GPT模型。
进一步地，私有化部署的GPT模型会根据提交的查询请求，会根据其内部的预训练知识和语言模型生成一个响应。具体地，GPT模型首先会对查询进行语义理解，分析查询的语法、上下文以及关键词等信息，以便更好地理解查询的意图和目的。基于对查询的理解，GPT模型会利用其内部的大规模语料库和预训练的语言模型，生成一个合适的响应，该响应可以是一个完整的句子、一段文字或者是一组相关的信息。而GPT模型生成的响应在返回给用户端的过程中，仍然需要经过模型访问网关，模型访问网关中的语义分析模型，仍然会对该响应进行语义分析，检测其中是否存在超出用户权限的隐私数据，如果存在，就过滤掉超越用户权限的数据，返回给用户端。
需要说明的是，为了模型访问网关能够准确对各个等级用户进行访问控制，防止用户越权访问，此前还需要基于用户权限管理系统中获取用户权限以及各等级权限允许访问的数据，并将其整合同步给模型访问网关。模型访问网关基于同步的用户权限以及用户权限数据，才能够得以对查询请求进行防止越权访问的控制。
在本实施例中，通过模型访问网关对的用户查询请求进行访问控制，并对GPT模型返回的响应信息同样进行隐私数据的检测及过滤，防止企业或公司的用户越权访问私有化部署的GPT模型，以及用户权限以外的隐私数据泄漏情况的发生。
步骤S40、和/或在过滤所述隐私数据后，将所述查询请求发送至所述公网GPT模型。
在本实施例中，针对用户端访问公共互联网上部署的公网GPT模型的场景，对于该种场景下的访问控制，需要构建企业或公司的隐私数据库，并将隐私数据库中的隐私数据同步给模型访问网关。在构建隐私数据库时，首先基于企业或公司的相关数据，进行分类和标记，将隐私数据和非隐私数据进行区分，在隐私数据库中，如果某些数据不再需要使用，需要及时进行删除和销毁，相应的，每当隐私数据库中的内容更新时，都要同步更新至模型访问网关中。
进一步地，在对查询请求中的隐私数据进行过滤时，可以其中的隐私数据进行脱敏处理，如通过匿名化处理，去除个人身份信息，如姓名、地址、电话号码等，以避免直接识别个人身份，或者直接删除或屏蔽敏感数据，只收集和保留必要的数据。而为了保证即使隐私数据被过滤，也尽可能地不影响查询效果，还可以将查询请求中的隐私数据进行抽象化处理，以消除具体的个人身份或敏感信息。例如，将姓名替换为通用的称谓，将地址替换为地理区域的代表性名称等。而对于字符类型的隐私数据，还可以进行掩码处理，通过替换或修改敏感数据的部分内容，以隐藏真实值。例如，对手机号码进行掩码处理，只显示部分数字或字符。在过滤隐私数据时，保留查询请求中的上下文信息，以确保GPT模型能够理解用户的意图和背景，以此减少对查询效果的影响。可选地，在另一可行的实施方式中，对于包含隐私数据的查询请求，还可以通过生成合成数据来替代真实的隐私数据，合成数据为根据原始数据的统计特征生成的，具有相似的分布和特征，但不包含真实的隐私数据。这样可以保护用户隐私同时维持查询效果。在过滤了隐私数据之后，就可以将其提交给公网GPT模型，由公网GPT模型进行响应。
在本实施例中，对于公网GPT模型的访问控制，依旧采用模型访问网关来执行，仅需设置隐私数据库并将其同步到模型访问网关中，就可以防止企业或公司的内部人员泄露隐私数据。
进一步的，参照图2，本发明GPT模型的访问方法第二实施例，所述步骤S20之前，还包括以下步骤：
步骤S50、接收用户权限数据和/或隐私数据库。
步骤S60、在确保所述用户权限数据和/或所述隐私数据库内容完整时，建立对应的索引并存储至对应的位置；
步骤S70、将所述用户权限数据和/或所述隐私数据库，同步至所述模型访问网关。
在本实施例中，在利用模型访问网关进行隐私数据的检测和过滤之前，还需要将隐私数据库和/或用户权限数据同步至模型访问网关。隐私数据库用于公网GPT模型的访问控制。用户隐私数据从用户权限管理系统中获取，用于私有化部署的GPT模型的访问控制。进一步地，在一种可行的实施方式中，先将隐私数据库中的隐私数据和/或用户权限数据传输至网关系统，这里可以使用安全的数据传输协议，如HTTPS（一种通过加密和身份验证保护网络通信安全的协议）或SFTP（安全文件传输协议）等，确保数据在传输过程中的机密性和完整性，如果数据在传输过程中被加密或压缩，需要在网关系统中进行解密或解压缩操作，以还原数据的原始格式。进一步地，将解密/解压缩后的数据存储至网关系统中的合适位置，并建立相应的索引，以便后续的数据访问和查询。此外，需要定期进行数据同步，确保网关系统中的数据与隐私数据库保持一致，这里可以采用增量同步或定期全量同步的方式，同步更新模型访问网关的隐私数据库。
在本实施例中，通过将隐私数据库和/或用户权限数据同步至模型访问网关当中，可以使得模型访问网关对用户端输入的查询请求进行访问控制，防止用户越权访问或隐私数据泄漏情况的发生。
参照图3，本发明GPT模型的访问方法第三实施例，所述步骤S10之后，还包括以下步骤：
步骤S80、若所述查询请求存在多项查询内容，将所述查询请求拆分为多个子请求。
步骤S90、对所述子请求进行语义分析，以确定所述子请求是否存在隐私数据。
步骤S100、将不存在所述隐私数据的子请求发送至所述公网GPT模型。
步骤S110、将存在所述隐私数据，且所述用户端的用户权限与所述隐私数据的需求权限匹配的子请求，发送至所述GPT模型。
此前内容已经提到，私有部署的GPT模型实际的语言处理能力，不如公网GPT模型。因此，在本实施例中，模型访问网关可以在对查询请求进行语义分析，倘若查询请求其中涉及多项查询内容或多个查询问题时，将查询请求进行拆分，将涉及用户权限数据但不存在越权访问的查询内容提交给私有化部署的GPT模型，将常规的查询请求提交给公网GPT模型。最后两个GPT模型返回的响应内容进行整合，包括过滤私有化部署的GPT模型返回的隐私数据，按照查询内容的先后顺序以及合理的文本逻辑合并响应内容。如此一来，使得查询请求可以同时访问私有化部署的GPT模型和公网GPT模型，结合公网GPT模型和私有化部署的GPT模型两者的优势，以此来为用户端提供更加全面和灵活的访问控制。
进一步地，根据具体应用需求和条件来确定如何分配查询请求，在一可行的实施方式中，模型访问网关在对查询请求进行语义分析的过程中，根据进行隐私数据的词汇匹配、文本分类以及查询请求上下文情感分析的结果，将查询请求拆分为至少两个子请求。参照图4，已知用户端发生的查询请求为AB，经由网关处理后，将AB拆分为子请求A和子请求B，将敏感性较高的子请求A提交到私有化部署的GPT模型，以确保数据隐私和安全性。而对于一般性的子请求B，可以提交到公网GPT模型，以利用其广泛的知识和资源得到更为具体的响应答复。而两个GPT模型的返回的子响应内容（包括第一子响应内容和第二子响应内容），均返回至模型访问网关之后，由模型访问网关对私有化部署的GPT模型返回的第二子响应内容中的隐私数据进行过滤，随后将两个子响应内容按照文本逻辑进行分段处理，划分为多个语义单元，并在文本中使用适当的标点符号和格式，可以使得文本更加清晰、易读。此外，响应内容中，可能存在一些语法错误或不规范的表达方式，可以使用语法纠错、词性标注等自然语言处理技术对其进行修正，使得文本更加通顺、流畅。最后按照此前子请求之间的先后顺序，将响应内容整合在一起，得到最终的总响应内容，并将其返回给用户端。
此外，在其他可行的实施方式中，用户可以不用自行选择使用哪种GPT模型进行查询请求，而是由模型访问网关在进行语义分析后，选择合适的GPT模型进行发生，如根据实时性划分查询请求，即将不涉及任何隐私数据且需要快速响应的查询请求发送到公网GPT模型，以利用其高性能和低延迟得到响应。而对于不那么紧急的查询请求，可以发送到私有化部署的GPT模型，以满足特定的隐私和安全需求。或者，根据查询请求的特定需求，将其发送到最适合的模型进行处理。例如，对于需要访问私有数据的查询请求，将其发送到私有化部署的GPT模型，而对于需要访问公开数据的查询请求，可以发送到公网GPT模型。
在本实施例中，通过对查询请求进行拆分处理，或是根据不同的应用需求，去访问私有化部署的GPT模型和公网GPT模型，可以结合公网GPT模型和私有化部署的GPT模型两者的优势，以此来为用户端提供更加全面和灵活的访问控制。
参照图6，图6为本发明实施例方案涉及的硬件运行环境的GPT模型的访问设备结构示意图。
如图6所示，该GPT模型的访问设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图6中示出的结构并不构成对GPT模型的访问设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图6所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及GPT模型的访问程序。
在图6所示的GPT模型的访问设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明GPT模型的访问设备中的处理器1001、存储器1005可以设置在GPT模型的访问设备中，所述GPT模型的访问设备通过处理器1001调用存储器1005中存储的GPT模型的访问程序，并执行以下步骤：
接收所述用户端发送的查询请求；
对所述查询请求进行语义分析，并根据所述语义分析的结果确定所述查询请求是否涉及隐私数据；
如果是执行以下步骤：
在所述用户端的用户权限与所述隐私数据的需求权限匹配时，将所述查询请求发送至所述GPT模型；和/或
在过滤所述隐私数据后，将所述查询请求发送至所述公网GPT模型。
进一步地，所述GPT模型的访问设备通过处理器1001调用存储器1005中存储的GPT模型的访问程序，还执行以下步骤：
接收用户权限数据和/或隐私数据库；
在确保所述用户权限数据和/或所述隐私数据库内容完整时，建立对应的索引并存储至对应的位置；
将所述用户权限数据和/或所述隐私数据库，同步至所述模型访问网关。
进一步地，所述GPT模型的访问设备通过处理器1001调用存储器1005中存储的GPT模型的访问程序，还执行以下步骤：
在对所述查询请求对应的文本内容进行预处理后，确定所述文本内容对应的文本向量；
对所述文本向量进行特征提取，以转化为固定长度的查询特征向量；
基于所述语义分析模型，确定所述查询特征向量与对比特征向量之间的余弦相似度，其中，所述对比特征向量为所述用户权限数据和/或所述隐私数据库中包含的隐私数据对应的向量；
当所述余弦相似度大于预设相似度阈值时，则判定所述查询请求涉及所述隐私数据。
进一步地，所述GPT模型的访问设备通过处理器1001调用存储器1005中存储的GPT模型的访问程序，还执行以下步骤：
确定所述查询特征向量和所述对比特征向量之间的向量点积；
确定所述查询特征向量和所述对比特征向量分别对应的向量模；
基于所述向量点积和所述向量模，计算所述查询特征向量和所述对比特征向量之间的余弦相似度。
进一步地，所述GPT模型的访问设备通过处理器1001调用存储器1005中存储的GPT模型的访问程序，还执行以下步骤：
在所述用户端的用户权限与所述隐私数据的需求权限不匹配时，拒绝所述用户端访问所述GPT模型，并将禁止访问的信息发送至所述用户端；
在接收到所述GPT模型返回的响应内容时，对所述响应内容进行语义分析，以确定所述响应内容是否存在超出所述用户权限的隐私数据；
若所述响应内容存在所述隐私数据，在过滤所述隐私数据后，将所述响应内容发送至所述用户端。
进一步地，所述GPT模型的访问设备通过处理器1001调用存储器1005中存储的GPT模型的访问程序，还执行以下步骤：
将所述查询请求中所述隐私数据中的字符数据进行掩码处理；
基于所述隐私数据的统计特征，生成对应的合成数据；
使用所述合成数据替换所述隐私数据，以过滤所述查询请求中的隐私数据。
进一步地，所述GPT模型的访问设备通过处理器1001调用存储器1005中存储的GPT模型的访问程序，还执行以下步骤：
若所述查询请求存在多项查询内容，将所述查询请求拆分为多个子请求；
对所述子请求进行语义分析，以确定所述子请求是否存在隐私数据；
将不存在所述隐私数据的子请求发送至所述公网GPT模型；
将存在所述隐私数据，且所述用户端的用户权限与所述隐私数据的需求权限匹配的子请求，发送至所述GPT模型。
进一步地，所述GPT模型的访问设备通过处理器1001调用存储器1005中存储的GPT模型的访问程序，还执行以下步骤：
接收所述公网GPT模型返回的第一子响应内容，和所述GPT模型返回的第二子响应内容；
在过滤所述第二子响应中的隐私数据后，将所述第一子响应内容和第二子响应内容基于文本逻辑进行整合处理；
将整合处理后的总响应内容发送给所述用户端。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还 包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、 方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光 盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种GPT模型的访问方法，其特征在于，应用于模型访问网关，所述模型访问网关的一侧与私有网络中的用户端联通，另一侧与部署于公共网络的公网GPT模型联通，和/或与私有化部署的GPT模型联通，所述GPT模型的访问方法包括以下步骤：
接收所述用户端发送的查询请求；
对所述查询请求进行语义分析，并根据所述语义分析的结果确定所述查询请求是否涉及隐私数据；
如果是执行以下步骤：
在所述用户端的用户权限与所述隐私数据的需求权限匹配时，将所述查询请求发送至所述GPT模型；和/或
在过滤所述隐私数据后，将所述查询请求发送至所述公网GPT模型。
2.如权利要求1所述的GPT模型的访问方法，其特征在于，所述对所述查询请求进行语义分析，并根据所述语义分析的结果确定所述查询请求是否涉及隐私数据的步骤之前，还包括：
接收用户权限数据和/或隐私数据库；
在确保所述用户权限数据和/或所述隐私数据库内容完整时，建立对应的索引并存储至对应的位置；
将所述用户权限数据和/或所述隐私数据库，同步至所述模型访问网关。
3.如权利要求2所述的GPT模型的访问方法，其特征在于，所述模型访问网关中部署有语义分析模型，所述对所述查询请求进行语义分析，并根据所述语义分析的结果确定所述查询请求是否涉及隐私数据的步骤包括：
在对所述查询请求对应的文本内容进行预处理后，确定所述文本内容对应的文本向量；
对所述文本向量进行特征提取，以转化为固定长度的查询特征向量；
基于所述语义分析模型，确定所述查询特征向量与对比特征向量之间的余弦相似度，其中，所述对比特征向量为所述用户权限数据和/或所述隐私数据库中包含的隐私数据对应的向量；
当所述余弦相似度大于预设相似度阈值时，则判定所述查询请求涉及所述隐私数据。
4.如权利要求3所述的GPT模型的访问方法，其特征在于，所述基于所述语义分析模型，确定所述查询特征向量与对比特征向量之间的余弦相似度的步骤包括：
确定所述查询特征向量和所述对比特征向量之间的向量点积；
确定所述查询特征向量和所述对比特征向量分别对应的向量模；
基于所述向量点积和所述向量模，计算所述查询特征向量和所述对比特征向量之间的余弦相似度。
5.如权利要求1所述的GPT模型的访问方法，其特征在于，所述对所述查询请求进行语义分析，并根据所述语义分析的结果确定所述查询请求是否涉及隐私数据的步骤之后，还包括：
在所述用户端的用户权限与所述隐私数据的需求权限不匹配时，拒绝所述用户端访问所述GPT模型，并将禁止访问的信息发送至所述用户端；
在接收到所述GPT模型返回的响应内容时，对所述响应内容进行语义分析，以确定所述响应内容是否存在超出所述用户权限的隐私数据；
若所述响应内容存在所述隐私数据，在过滤所述隐私数据后，将所述响应内容发送至所述用户端。
6.如权利要求1所述的GPT模型的访问方法，其特征在于，所述在过滤所述隐私数据后，将所述查询请求发送至所述公网GPT模型的步骤之前，还包括：
将所述查询请求中所述隐私数据中的字符数据进行掩码处理；
基于所述隐私数据的统计特征，生成对应的合成数据；
使用所述合成数据替换所述隐私数据，以过滤所述查询请求中的隐私数据。
7.如权利要求1所述的GPT模型的访问方法，其特征在于，所述接收所述用户端发送的查询请求的步骤之后，还包括：
若所述查询请求存在多项查询内容，将所述查询请求拆分为多个子请求；
对所述子请求进行语义分析，以确定所述子请求是否存在隐私数据；
将不存在所述隐私数据的子请求发送至所述公网GPT模型；
将存在所述隐私数据，且所述用户端的用户权限与所述隐私数据的需求权限匹配的子请求，发送至所述GPT模型。
8.如权利要求7所述的GPT模型的访问方法，其特征在于，所述将存在所述隐私数据，且所述用户端的用户权限与所述隐私数据的需求权限匹配的子请求，发送至所述GPT模型的步骤之后，还包括：
接收所述公网GPT模型返回的第一子响应内容，和所述GPT模型返回的第二子响应内容；
在过滤所述第二子响应中的隐私数据后，将所述第一子响应内容和第二子响应内容基于文本逻辑进行整合处理；
将整合处理后的总响应内容发送给所述用户端。
9.一种GPT模型的访问设备，其特征在于，所述GPT模型的访问设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的GPT模型的访问程序，所述GPT模型的访问程序配置为实现如权利要求1至8中任一项所述的GPT模型的访问方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有GPT模型的访问程序，所述GPT模型的访问程序被处理器执行时实现如权利要求1至8任一项所述的GPT模型的访问方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311777009.9A CN117459324B (zh) | 2023-12-22 | 2023-12-22 | Gpt模型的访问方法、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311777009.9A CN117459324B (zh) | 2023-12-22 | 2023-12-22 | Gpt模型的访问方法、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117459324A true CN117459324A (zh) | 2024-01-26 |
| CN117459324B CN117459324B (zh) | 2024-03-22 |
Family
ID=89589498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311777009.9A Active CN117459324B (zh) | 2023-12-22 | 2023-12-22 | Gpt模型的访问方法、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117459324B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180203851A1 (en) * | 2017-01-13 | 2018-07-19 | Microsoft Technology Licensing, Llc | Systems and methods for automated haiku chatting |
| CN110473622A (zh) * | 2018-05-09 | 2019-11-19 | 上海商汤智能科技有限公司 | 信息处理方法及装置、电子设备及存储介质 |
| CN111316276A (zh) * | 2017-11-03 | 2020-06-19 | 谷歌有限责任公司 | 将分布式状态机与自动助手用于人机对话以保护隐私数据 |
| CN114117498A (zh) * | 2021-12-01 | 2022-03-01 | 恒安嘉新（北京）科技股份公司 | 脱敏数据的实现方法、装置、系统、设备及存储介质 |
| CN115914148A (zh) * | 2021-08-04 | 2023-04-04 | 香港科技大学 | 具有两侧建模的对话智能体 |
| CN116310238A (zh) * | 2023-03-16 | 2023-06-23 | 华中师范大学 | 多用户虚拟化身交互行为安全保护方法及系统 |
-
2023
- 2023-12-22 CN CN202311777009.9A patent/CN117459324B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180203851A1 (en) * | 2017-01-13 | 2018-07-19 | Microsoft Technology Licensing, Llc | Systems and methods for automated haiku chatting |
| CN111316276A (zh) * | 2017-11-03 | 2020-06-19 | 谷歌有限责任公司 | 将分布式状态机与自动助手用于人机对话以保护隐私数据 |
| CN110473622A (zh) * | 2018-05-09 | 2019-11-19 | 上海商汤智能科技有限公司 | 信息处理方法及装置、电子设备及存储介质 |
| CN115914148A (zh) * | 2021-08-04 | 2023-04-04 | 香港科技大学 | 具有两侧建模的对话智能体 |
| CN114117498A (zh) * | 2021-12-01 | 2022-03-01 | 恒安嘉新（北京）科技股份公司 | 脱敏数据的实现方法、装置、系统、设备及存储介质 |
| CN116310238A (zh) * | 2023-03-16 | 2023-06-23 | 华中师范大学 | 多用户虚拟化身交互行为安全保护方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117459324B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3803668B1 (en) | Obfuscating information related to personally identifiable information (pii) | |
| US10963578B2 (en) | Methods and systems for preventing transmission of sensitive data from a remote computer device | |
| US9330376B2 (en) | System and method for assigning a business value rating to documents in an enterprise | |
| US10127401B2 (en) | Redacting restricted content in files | |
| Joshi et al. | Semantic approach to automating management of big data privacy policies | |
| US11321479B2 (en) | Dynamic enforcement of data protection policies for arbitrary tabular data access to a corpus of rectangular data sets | |
| KR102192235B1 (ko) | Ｖｓｔｏ 기반 전자문서 비식별화 서비스 제공 장치 | |
| JPWO2007105273A1 (ja) | 機密情報管理プログラム、方法及び装置 | |
| Alshaikh et al. | Social network analysis and mining: privacy and security on Twitter | |
| DE112019005865T5 (de) | Datenverarbeitungsvorrichtung und datenverarbeitungsverfahren | |
| US20180262474A1 (en) | Systems and Methods for Secure Online Communication | |
| CN117459324B (zh) | Gpt模型的访问方法、设备及计算机可读存储介质 | |
| CN116246745A (zh) | 一种基于医疗数据的高安全性存储数据库系统 | |
| KR102392300B1 (ko) | 개인정보 보호 기반 음성 정보 처리 서비스 제공 시스템 | |
| CN110766091B (zh) | 一种套路贷团伙的识别方法及系统 | |
| GB2598130A (en) | Controlled data access | |
| Polikarpova et al. | Development information system of cryptographic protection for enterprise local network | |
| CN114866276B (zh) | 异常传输文件的终端检测方法、装置、存储介质及设备 | |
| CN114626074B (zh) | 一种防护数据泄漏的方法、装置、存储介质及计算机设备 | |
| Nwafor et al. | A policy-driven framework for document classification and enterprise security | |
| CN116450745B (zh) | 基于多设备的笔记文件操作方法、系统和可读存储介质 | |
| CN117951174A (zh) | 一种基于数据集的数据分类分级方法、装置、设备及介质 | |
| JP2010097343A (ja) | 情報拡散システム、情報拡散装置、情報拡散方法、および情報拡散プログラム | |
| CN116663061A (zh) | 一种数据审计方法、装置、设备及可读存储介质 | |
| CN115906175A (zh) | 一种支持隐私保护的消费数据管理方法、系统及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |