CN113992659B - 业务模型的跨境流转方法、装置及存储介质 - Google Patents

业务模型的跨境流转方法、装置及存储介质 Download PDF

Info

Publication number
CN113992659B
CN113992659B CN202111266754.8A CN202111266754A CN113992659B CN 113992659 B CN113992659 B CN 113992659B CN 202111266754 A CN202111266754 A CN 202111266754A CN 113992659 B CN113992659 B CN 113992659B
Authority
CN
China
Prior art keywords
model
service environment
module
environment
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111266754.8A
Other languages
English (en)
Other versions
CN113992659A (zh
Inventor
马超
崔洋
彭岗
殷文莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202111266754.8A priority Critical patent/CN113992659B/zh
Publication of CN113992659A publication Critical patent/CN113992659A/zh
Application granted granted Critical
Publication of CN113992659B publication Critical patent/CN113992659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0281Proxies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101Access control lists [ACL]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/12Applying verification of the received information
    • H04L63/126Applying verification of the received information the source of the received data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例涉及大数据技术领域,具有公开了一种业务模型的跨境流转方法、装置及存储介质,通过预先构建实现文件单向流转的文件传输机制,并将该文件传输机制作为代理节点独立部署在开发、测试、生产等对应的业务环境中,从而可以按照最小需求原则,仅开通必要的文件传输端口,即可实现模型文件的跨环境传输。通过本说明书提供的文件传输机制及部署方式,可以避免暴露各业务环境关键节点的地址信息,提高传输的安全性以及准确性。

Description

业务模型的跨境流转方法、装置及存储介质
技术领域
本说明书涉及大数据技术领域,特别地,涉及一种业务模型的跨境流转方法、装置及存储介质。
背景技术
MLOps(Machine Learning Operations,机器学习操作)系统是一种实现大数据模型全生命周期集成化管理的解决方案。该系统主要包括三部分,分别是为大数据建模分析而准备数据的应用程序、执行计算和分析的工具、以及自动移动大数据模型和生命周期中关联数据的工具,涵盖模型开发、测试、生产等全部流转环节,能够有效降低模型落地成本,缩短建模周期,提升模型交付效率。
业界内不同业务背景的公司部署模型时会采用不同的MLOps模式。银行等金融机构尤为重视数据与技术安全,使得其模型构建以及交付过程更加复杂、安全性要求更高。通常,金融机构的模型构建以及交付需按照生产建模、开发对接、测试、生产部署四个环节进行,并采用开发、测试、生产三套独立运行的环境分别支撑对应环节的部署任务,模型及关联数据需经过跨环境流转交付到其他环境的模型仓库中。同时,各环境之间的防火墙除开通必要端口外均完全隔离,各环境的火墙开通需遵循最小需求原则,不能暴露关键节点IP信息,以满足安全管控的需求。
在这种模式下,MLOps系统的自动移动大数据模型和生命周期中关联数据的工具就必须满足模型跨环境安全流转和部署的需要,确保模型以及配套元数据等信息的安全性,避免出现模型泄露等问题。
发明内容
本说明书实施例的目的在于提供一种业务模型的跨境流转方法、装置及存储介质,可以提高业务模型文件跨环境流转的安全性以及准确性。
本说明书提供一种业务模型的跨境流转方法、装置及存储介质是包括如下方式实现的:
一种业务模型的跨境流转方法,所述方法应用于跨境流转装置,所述装置部署在业务系统的业务环境中,所述装置至少包括调度模块、关联数据拉取模块、文件传输模块、文件接收模块;以接收模型跨环境转出请求的业务环境作为第一业务环境,以接收模型跨环境转入请求的业务环境作为第二业务环境;所述方法包括:第一业务环境的调度模块接收模型跨环境转出请求;所述转出请求至少包括转出模型的模型参数信息以及第二业务环境的环境参数信息;第一业务环境的调度模块生成所述转出请求的第一任务标识,并将所述模型参数信息以及环境参数信息与所述第一任务标识关联后存储至数据库中,得到第一任务记录;以及将所述第一任务标识传输给第一业务环境的拉取模块;第一业务环境的拉取模块依据接收的所述第一任务标识所关联的第一任务记录,从第一业务环境的模型仓库中拉取对应的模型文件至第一指定目录中;并将所述模型文件的名称以及第一指定目录写入所述第一任务记录中;以及将所述第一任务标识传输给第一业务环境的文件传输模块;第一业务环境的文件传输模块依据接收的所述第一任务标识所关联的第一任务记录,从所述第一指定目录中调取模型文件并传输给第二业务环境的文件接收模块,以使第二业务环境的文件接收模块将模型文件存储至第二业务环境的模型仓库中。
另一方面,本说明书实施例还提供一种业务模型的跨境流转装置,所述装置部署在业务系统的业务环境中,所述装置至少包括调度模块、关联数据拉取模块、文件传输模块、文件接收模块;以接收模型跨环境转出请求的业务环境作为第一业务环境,以接收模型跨环境转入请求的业务环境作为第二业务环境;第一业务环境的调度模块用于接收模型跨环境转出请求;所述转出请求至少包括待转出模型的模型参数信息以及第二业务环境的环境参数信息;以及,还用于生成所述转出请求的第一任务标识,并将所述模型参数信息以及环境参数信息与所述第一任务标识关联后存储至数据库中,得到第一任务记录;以及还用于将所述第一任务标识传输给第一业务环境的拉取模块;第一业务环境的拉取模块用于依据接收的所述第一任务标识所关联的第一任务记录,从当前业务环境的模型仓库中拉取对应的模型文件至第一指定目录中;并将所述模型文件的名称以及第一指定目录写入所述第一任务记录中;以及还用于将所述第一任务标识传输给第一业务环境的文件传输模块;第一业务环境的文件传输模块用于依据接收的所述第一任务标识所关联的第一任务记录,从所述第一指定目录中调取模型文件并传输给第二业务环境的文件接收模块,以使第二业务环境的文件接收模块将模型文件存储至第二业务环境的模型仓库中。
另一方面,本说明书实施例还提供一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现上述任意一个或者多个实施例所述方法的步骤。
本说明书一个或多个实施例提供的业务模型的跨境流转方法、装置及存储介质,通过预先构建实现文件单向流转的文件传输机制,并将该文件传输机制作为代理节点独立部署在开发、测试、生产等对应的业务环境中,从而可以按照最小需求原则,仅开通必要的文件传输端口,即可实现模型文件的跨环境传输。通过本说明书提供的文件传输机制及部署方式,可以避免暴露各业务环境关键节点的地址信息,提高传输的安全性以及准确性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本说明书提供的业务模型的跨境流转装置的模块结构示意图;
图2为本说明书提供的业务模型的跨境流转方法的流程示意图;
图3为本说明书提供的业务模型的跨境流转方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是说明书一部分实施例,而不是全部的实施例。基于说明书一个或多个实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书实施例方案保护的范围。
本说明书的一个场景示例中,如图1所示,本说明书提供一种业务模型的跨境流转装置,所述装置可以部署在业务系统的业务环境中。所述业务环境如可以为开发环境、测试环境以及生产环境等。
所述装置可以包括调度模块1、拉取模块2、加密模块3、文件传输模块4、传输通知模块5、文件接收模块6、解密模块7、推送模块8、日志记录模块9,其中调度模块1、拉取模块2、加密模块3、文件传输模块4、传输通知模块5、文件接收模块6、解密模块7、推送模块8均通过总线10与日志记录模块9相连,调度模块1与拉取模块2相连,调度模块1与文件接收模块6相连,拉取模块2与加密模块3相连,加密模块3与文件传输模块4相连,文件传输模块4与传输通知模块5相连,文件接收模块6与解密模块7相连,解密模块7与推送模块8相连。
调度模块1,可以用于接收业务模型跨环境转出请求,同时也接收其他环境的文件传输通知模块5的业务模块跨环境转入请求。所述业务模型跨环境转出请求可以包括模型转入的业务环境的环境参数信息、需要转出的业务模型的模型参数信息等。
所述业务模型跨环境转出请求可以是由业务人员通过业务终端发出的,或者,也可以是由其他设备基于定时机制发出的;或者,也可以是由业务模型需转入的业务环境发出的。可以将发出业务模型跨环境转出请求的一方作为请求方。
为了便于表述,可以以接收模型跨环境转出请求的业务环境作为第一业务环境,以接收模型跨环境转入请求的业务环境作为第二业务环境。
请求方可以以json的方式将业务模型跨环境转出请求所涉及的环境参数信息、模型参数信息发送至第一业务环境的调度模块1。
第一业务环境的调度模块1可以用于对传入参数解析,并可以根据当前时间以哈希算法生成一个任务标识(任务ID),作为第一任务标识(第一任务ID),以对该请求在第一业务环境中的模型流转信息进行标识。结合当前时间以哈希算法生成任务标识,可以保证任务标识的唯一性。例如,可以利用哈希算法对接收的所述转入请求的时间以及所述转入请求所涉及的参数信息进行处理,得到第一任务标识。当然,也可以采用其他算法进行任务标识的构建。
第一业务环境的调度模块1可以用于将所述模型跨环境转出请求所涉及的参数,利用第一任务标识进行标识后,写入数据库,生成一条任务记录。为了便于区分表述,可以将该任务记录描述为第一任务记录。
第一业务环境的调度模块1还可以用于将第一任务ID传输给第一业务环境的拉取模块2。
第二业务环境的调度模块1可以用于接收第一业务环境的传输通知模块5发送的业务模型跨环境转入请求。业务模型跨环境转入请求如可以包括第一业务环境的环境参数信息、转入模型的模型参数信息。
第二业务环境的调度模块1还可以用于对发送业务模型跨环境转入请求的服务器IP地址进行校验,只有在来源白名单中的服务器IP才被视为合法IP。在确认IP地址合法后,第二业务环境的调度模块1还可以用于对业务模型跨环境转入请求所涉及的参数进行解析后传输给第二业务环境的文件接收模块6。若IP地址不合法,则拒绝执行业务模型跨环境转入请求。通过上述校验的方式,可以进一步在避免第一业务环境的关键节点IP地址(如模型仓库的IP地址)暴露的情况下,实现对来源合法性的校验,提高文件传输的安全性。
第一业务环境的拉取模块2,用于接收第一业务环境的调度模块1传输的第一任务ID,并从数据库中读取第一任务ID对应的第一任务记录,以从第一任务记录中调取所需的参数信息,调取的参数信息如可以包括需要转出的业务模型的模型参数信息等。并依据这些调取的参数信息从第一业务环境的模型仓库中拉取相应的模型文件至第一指定目录中。还可以用于将模型文件的名称以及第一指定目录写入数据库中所述第一任务ID所标识的第一任务记录中。以及,还可以用于将第一任务ID传输给第一业务环境的加密模块3。
第一业务环境的加密模块3,用于接收第一业务环境的拉取模块2传输的第一任务ID,并读取数据库中第一任务ID所标识的第一任务记录,以从第一任务记录中调取所需的参数信息。调取的参数信息如可以包括模型文件的名称以及第一指定目录等。所述模型文件可以包括模型实体以及关联数据文件。加密模块3还可以用于依据调取的参数信息,使用模型混淆技术将相应第一指定目录下的模型实体加密,以及使用对称算法加密技术将关联数据文件加密。并将加密后的模型文件的名称写入数据库中所述第一任务ID所标识的第一任务记录中。之后可以将第一任务ID传输给第一业务环境的文件传输模块4。
第一业务环境的文件传输模块4可以用于接收第一业务环境的加密模块3传输的第一任务ID,并从数据库中读取第一任务ID所标识的第一任务记录,以从所述第一任务记录中调取所需的参数信息。该参数信息可以包括加密后的模型文件的名称以及所需传输至的第二业务环境的环境参数信息等,以将相应的加密后的模型文件传输给第二业务环境的文件接收模块6。还可以用于在接收到传输成功的指令后,将第一任务ID传输给第一业务环境的传输通知模块5。
第一业务环境的传输通知模块5,用于接收第一业务环境的文件传输模块4传输的第一任务ID,并读取数据库中第一任务ID所标识的第一任务记录,以从第一任务记录中调取所需的参数信息。该调取的参数信息如可以包括加密后的模型文件的名称、待传输至的第二业务环境的环境参数信息等。并将调取的参数信息以json的请求方式传送给第二业务环境的调度模块1。以及将数据库中的第一任务ID所标识的第一任务记录的状态更新为成功。
第二业务环境的文件接收模块6,可以用于接收第一业务环境的文件传输模块4传输的加密后的模型文件,并存储至第二指定目录中。以及,还可以生成第二任务标识(第二任务ID),以对该业务模型转入在第二业务环境中的模型流转信息进行标识。生成方式参加第一任务ID,这里不做赘述。如可以利用哈希算法对模型文件接收完成的时间以及模型文件的名称进行处理,得到第二任务标识。然后,可以将加密后的模型文件的名称以及第二指定目录,利用第二任务ID标识后,写入数据库中,形成一条任务记录。为了便于区分表述,可以将该任务记录描述为第二任务记录。还可以在接收到第二业务环境的调取服务模块1发送的模型转入请求参数信息后,获取该发送的参数信息所对应的第二任务ID,并将该第二任务ID传输给第二业务模型的解密模块7。
第二业务模型的解密模块7,用于接收第二业务环境的文件接收模块6传入的第二任务ID,并读取数据库中该第二任务ID所标识的第二任务记录,以调取所需的参数信息。调取的参数信息如可以包括加密的模型文件的名称以及模型文件存储的第二指定目录,以对相应的模型文件进行解密。之后可以将解密后的模型文件的名称写入第二任务ID所标识的第二任务记录中,并将该第二任务ID传输给第二业务环境的推送模块8。
第二业务环境的推送模块8,用于接收第二业务环境的文件接收模块6传入的第二任务ID,并读取数据库中该第二任务ID所标识的第二任务记录,以调取所需的参数信息。调取的参数信息可以包括解密后的模型文件的名称,以将相应的解密后的模型文件推送到第二业务环境的模型仓库中。
第一业务环境以及第二业务环境的日志记录模块9,用于记录上述模型转出以及转入的流转日志,便于查询错误信息、统计模型流转进度等。
总线10,用于调度模块1、拉取模块2、加密模块3、文件传输模块4、传输通知模块5、文件接收模块6、解密模块7、推送模块8与日志记录模块9进行通讯。
上述装置采用加密模型及关联数据文件,单向同步和请求来源IP校验等技术,能够有效解决解决人工智能模型跨环境安全流转问题,同时通过中转传输服务器避免各环境的模型仓库等关键节点的IP和端口暴露,规避关键节点被跨环境直接访问,实现一定程度的安全管控,增加抵御网络攻击的能力。
图2是业务模型单次跨环境安全流转的流程示意图。如图2所示,该装置的执行流程包括如下步骤:
步骤S101:第一业务环境的调度模块1接收业务模块跨环境转出请求,生成第一任务ID,并形成第一任务ID所标识的第一任务记录,并将第一任务ID传输给第一业务环境的拉取模块2。
步骤S102:第一业务环境的拉取模块2接收第一业务环境的调度模块1的第一任务ID,并依据第一任务ID关联的参数信息从第一业务环境的模型仓库中拉取对应的模型文件到第一指定目录中,将模型文件的名称以及第一指定目录写入数据库的第一任务记录中,并将第一任务ID传输给第一业务环境的加密模块3。
步骤S103:第一业务环境的加密模块3接收第一业务环境的拉取模块2传输的第一任务ID,并依据第一任务ID关联的参数信息,将第一指定目录下的模型文件加密,将加密后的模型文件的名称写入数据库的第一任务记录中,之后将第一任务ID传输给第一业务环境的文件传输模块4。
步骤104:第一业务环境的文件传输模块4接收第一业务环境的加密模块3传输的第一任务ID,并依据第一任务ID关联的参数信息,将加密后的模型文件传输给第二业务环境的文件接收模块6。
步骤105:第一业务环境的文件传输模块4如果传输成功,将第一任务ID传输给第一业务环境的传输通知模块5,否则触发第一业务环境的文件传输模块4重新传输。
步骤106:第一业务环境的传输通知模块5接收到第一业务环境的文件传输模块4传输的第一任务ID后,并依据第一任务ID关联的参数信息,将其以json的请求方式传送给第二业务环境的调度模块1,并将数据库中的第一任务记录状态更新为成功。当然,也可以通过其他文件传输格式将参数信息传输给第二业务模型。
步骤107:第二业务环境的调度模块1校验请求IP是否合法,在确认合法后将相关参数信息传递给第二业务环境的文件接收模块6,第二业务环境的文件接收模块6接收到第一业务环境的文件传输模块4传输的模型文件后,存储至第二指定目录中;并生成第二任务ID,将加密后的模型文件的名称以及第二指定目录利用第二任务ID标识后保存在数据库中,形成第二任务记录。第二业务环境的文件接收模块6接收到第二业务环境的调度模块1传入的参数信息后,将相应参数信息对应的第二任务ID传输给第二业务环境的解密模块7,以对第二任务ID所关联的模型文件解密,之后将解密后的模型文件的名称写入第二任务记录中,并将第二任务ID传输给第二业务环境的推送模块8。
步骤108:第二业务环境的推送模块8接收到第二业务环境的解密模块7传输的第二任务ID,并依据第二任务ID关联的相关参数将解密后的模型文件推送到第二业务环境的模型仓库中。
步骤109:如果第二业务环境的推送模块8推动成功,则完成一次模型跨环境流转,否则触发第二业务环境的推送模块8重新推送。
步骤110:完成一次模型跨环境流转,任务结束。
图3是模型全流程跨环境单向安全流转的执行流程示意图。如图3所示,执行流程包括如下步骤:
步骤S201:用户终端发送请求,触发业务模型跨环境流转。
步骤202:生产环境同步机制接收请求并同步模型。触发生产环境的跨环境流转装置从生产环境模型仓库中拉取模型及关联数据文件,加密后推送给开发环境的跨环境流转装置。
步骤S203:开发环境同步机制接收模型并推送。触发开发环境的跨环境流转装置接收解密模型文件及关联数据文件后,推送给开发环境的模型仓库。
步骤S204:开发环境同步机制接收请求并同步模型。触发开发环境的跨环境流转装置从开发环境模型仓库中拉取模型及关联数据文件,加密后推送给测试环境的跨环境流转装置。
步骤S205:测试环境同步机制接收模型并推送。触发测试环境的跨环境流转装置接收解密模型文件及关联数据文件后,推送给测试环境模型仓库。
步骤S206:测试环境同步机制接收请求并同步模型。触发测试环境的跨环境流转装置从测试环境模型仓库中拉取模型及关联数据文件,加密后推送给生产环境的跨环境流转装置。
步骤S207:生产环境同步机制接收模型并推送。触发生产环境的跨环境流转装置接收解密模型文件及关联数据文件后,推送给生产环境模型仓库。
基于上述场景示例,本说明书实施例还提供一种业务模型的跨环节流转方法,应用于所述跨境流转装置,所述方法可以包括如下步骤:
第一业务环境的调度模块接收模型跨环境转出请求;所述转出请求至少包括转出模型的模型参数信息以及第二业务环境的环境参数信息;
第一业务环境的调度模块生成所述转出请求的第一任务标识,并将所述模型参数信息以及环境参数信息与所述第一任务标识关联后存储至数据库中,得到第一任务记录;以及将所述第一任务标识传输给第一业务环境的拉取模块;
第一业务环境的拉取模块依据接收的所述第一任务标识所关联的第一任务记录,从第一业务环境的模型仓库中拉取对应的模型文件至第一指定目录中;并将所述模型文件的名称以及第一指定目录写入所述第一任务记录中;以及将所述第一任务标识传输给第一业务环境的文件传输模块;
第一业务环境的文件传输模块依据接收的所述第一任务标识所关联的第一任务记录,从所述第一指定目录中调取模型文件并传输给第二业务环境的文件接收模块,以使第二业务环境的文件接收模块将模型文件存储至第二业务环境的模型仓库中。
通过预先构建实现文件单向流转的文件传输装置,并将该文件传输装置作为代理节点独立部署在开发、测试、生产等对应的业务环境中。相应的,第一业务环境中部署的该文件传输代理节点在接收到转出请求后,可以先将模型文件先从模型仓库中调取出来,暂时缓存至指定目录下,再将文件传输从指定目录下传输给第二业务环境的文件传输代理节点,以使第二业务环境的文件传输代理节点转入第二业务环境的模型仓库中。通过该传输机制,可以按照最小需求原则,仅开通必要的文件传输端口(即第一业务环境的文件传输模块向第二业务环境的文件接收模型的传输接口)即可实现文件传输,且该文件传输接口位于代理节点中,从而可以避免暴露各业务环境关键节点(如模型仓库)的地址信息,提高传输的安全性。且传输过程中,对整个传输流程利用任务标识以及任务记录进行标识和记录,可以进一步保证文件单向传输的准确性,在出现传输错误时,还可以更加简单有效地完成传输问题节点追溯。
另一些实施例中,所述方法还包括:
第一业务环境的文件传输模块在接收到传输成功的指令后,将所述第一任务标识发送给第一业务环境的传输通知模块;
第一业务环境的传输通知模块依据接收的所述第一任务标识所关联的第一任务记录,向第二业务环境的调度模块发送模型跨环境转入请求;所述转入请求至少包括转入模型的模型参数数据以及第一业务环境的环境参数数据;
第二业务环境的调度模块在基于第一业务环境的环境参数数据确定所述转入请求合法后,将所述转入模型的模型参数数据传递给第二业务环境的文件接收模块;
第二业务环境的文件接收模块将所述转入模型的模型参数数据所对应的模型文件存储至第二业务环境的模型仓库中。
各业务环境的文件传输代理节点之间还可以进行传输来源是否合法性校验,再校验通过后,再执行后续的传输,从而可以进一步提高文件传输的安全性。且校验的过程中也不涉及业务环境的关键节点信息,进一步保证避免各业务环境关键节点信息的暴露。
优选的,一些实施例中,所述第一业务环境的环境参数数据可以包括第一业务环境的跨境流转装置所在的服务器地址;相应的,第二业务环境的调度模块校验所述服务器地址是否属于服务器地址白名单中,如果在白名单中,则确定所述转入请求合法。
当然,所述第一业务环境的环境参数数据还可以包括其他信息,如预先配置的环境标识信息等,以基于该环境标识信息执行合法性校验。
另一些实施例中,所述方法还包括:第二业务环境的文件接收模块将接收到的模型文件存储至第二指定目录中;并生成第二任务标识,并将所述接收到的模型文件的名称以及所述第二指定目录与所述第二任务标识关联后存储至数据库中,得到第二任务记录;相应的,第二业务环境的文件接收模块在接收到所述转入模型的模型参数数据后,读取接收的所述模型参数数据所对应的第二任务记录,以基于所述第二任务记录将所述第二指定目录中模型文件存储至第二业务环境的模型仓库中。
对于第二业务环境,在业务模型流转过程中,也可以对整个传输流程利用任务标识以及任务记录进行标识和记录,可以进一步保证文件单向传输的准确性,在出现传输错误时,还可以更加简单有效地完成传输问题节点追溯。
另一些实施例中,所述方法还包括:第一业务环境的拉取模块将所述第一任务标识传输给第一业务环境的加密模块;第一业务环境的加密模块依据接收的所述第一任务标识所关联的第一任务记录,将所述第一指定目录下的模型文件加密,将加密后的模型文件的名称发送写入数据库的所述第一任务记录中;相应的,所述第一业务环境的加密模块将所述第一任务标识传输给第一业务环境的文件传输模块。
相应的,第二业务环境的文件接收模块将所述第二任务标识发送至第二业务环境的解密模块;第二业务环境的解密模块依据接收的所述第二任务标识对应的第二任务记录,对所述第二指定目录下的模型文件进行解密;并将解密后的模型文件的名称写入第二任务记录中;以及将第二任务标识传输给第二业务环境的推送模块;第二业务环境的推送模块依据接收的所述第二任务标识所关联的第二任务记录,将所述第二指定目录下的解密后的模型文件推送到第二业务环境的模型仓库中。
通过上述方式,可以进一步对模型进行混淆及解混淆处理、对模型所关联的文件进行加密及解密处理,从而实现模型文件的加密跨环境传输,进一步提高文件传输的安全性。
另一些实施例中,第一业务环境的传输通知模块在接收到第一任务标识后,向所述数据库发送更新所述第一任务标识所关联的第一任务记录的状态为成功的指令。
另一些实施例中,所述日志记录模块与所述装置的其他各模块相连,以记录所述装置的其他各模块之间的传输日志。通过记录各环节日志的形式,可以进一步提高文件传输错误节点的追溯简便性,以及还可以实现对整体传输进度的准确直观地分析。
当然,所属领域技术人员在本说明书实施例的技术精髓启示下,还可能有其它变更实施方式,但只要其实现的功能和效果相同或相似,均应涵盖于本说明书保护范围内。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。具体的可以参照前述相关处理相关实施例的描述,在此不做一一赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
基于上述跨境流转方法,本说明书实施例还提供一种业务模型的跨境流转装置,所述装置部署在业务系统的业务环境中,所述装置至少包括调度模块、关联数据拉取模块、文件传输模块、文件接收模块;以接收模型跨环境转出请求的业务环境作为第一业务环境,以接收模型跨环境转入请求的业务环境作为第二业务环境。其中,
第一业务环境的调度模块可以用于接收模型跨环境转出请求;所述转出请求至少包括待转出模型的模型参数信息以及第二业务环境的环境参数信息;以及,还用于生成所述转出请求的第一任务标识,并将所述模型参数信息以及环境参数信息与所述第一任务标识关联后存储至数据库中,得到第一任务记录;以及还用于将所述第一任务标识传输给第一业务环境的拉取模块;
第一业务环境的拉取模块可以用于依据接收的所述第一任务标识所关联的第一任务记录,从当前业务环境的模型仓库中拉取对应的模型文件至第一指定目录中;并将所述模型文件的名称以及第一指定目录写入所述第一任务记录中;以及还用于将所述第一任务标识传输给第一业务环境的文件传输模块;
第一业务环境的文件传输模块可以用于依据接收的所述第一任务标识所关联的第一任务记录,从所述第一指定目录中调取模型文件并传输给第二业务环境的文件接收模块,以使第二业务环境的文件接收模块将模型文件存储至第二业务环境的模型仓库中。
需要说明的,上述所述的装置根据方法实施例以及场景示例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
基于上述跨境流转方法,本说明书实施例还提供一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现上述任意一个或者多个实施例所述方法的步骤。所述存储介质可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括:利用电能方式存储信息的装置如,各式存储器,如RAM、ROM等;利用磁能方式存储信息的装置如,硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置如,CD或DVD。当然,还有其他方式的可读存储介质,例如量子存储器、石墨烯存储器等等。
需要说明的是,本说明书实施例并不局限于必须是符合标准数据模型/模板或本说明书实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例,仍然可以属于本说明书的可选实施方案范围之内。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种业务模型的跨境流转方法,其特征在于,所述方法应用于跨境流转装置,所述装置部署在业务系统的业务环境中,所述装置至少包括调度模块、关联数据拉取模块、文件传输模块、文件接收模块;以接收模型跨环境转出请求的业务环境作为第一业务环境,以接收模型跨环境转入请求的业务环境作为第二业务环境,所述第一业务环境和所述第二业务环境分别配置跨境流转装置,所述跨境流转装置采用文件单向流转的文件传输机制;所述方法包括:
第一业务环境的调度模块接收模型跨环境转出请求;所述转出请求至少包括转出模型的模型参数信息以及第二业务环境的环境参数信息;
第一业务环境的调度模块生成所述转出请求的第一任务标识,并将所述模型参数信息以及环境参数信息与所述第一任务标识关联后存储至数据库中,得到第一任务记录;以及将所述第一任务标识传输给第一业务环境的拉取模块;
第一业务环境的拉取模块依据接收的所述第一任务标识所关联的第一任务记录,从第一业务环境的模型仓库中拉取对应的模型文件至第一指定目录中;并将所述模型文件的名称以及第一指定目录写入所述第一任务记录中;以及将所述第一任务标识传输给第一业务环境的文件传输模块;
第一业务环境的文件传输模块依据接收的所述第一任务标识所关联的第一任务记录,从所述第一指定目录中调取模型文件并传输给第二业务环境的文件接收模块,以使第二业务环境的文件接收模块将模型文件存储至第二业务环境的模型仓库中。
2.根据权利要求1所述的方法,其特征在于,所述装置还包括传输通知模块,所述方法还包括:
第一业务环境的文件传输模块在接收到传输成功的指令后,将所述第一任务标识发送给第一业务环境的传输通知模块;
第一业务环境的传输通知模块依据接收的所述第一任务标识所关联的第一任务记录,向第二业务环境的调度模块发送模型跨环境转入请求;所述转入请求至少包括转入模型的模型参数数据以及第一业务环境的环境参数数据;
第二业务环境的调度模块在基于第一业务环境的环境参数数据确定所述转入请求合法后,将所述转入模型的模型参数数据传递给第二业务环境的文件接收模块;
第二业务环境的文件接收模块将所述转入模型的模型参数数据所对应的模型文件存储至第二业务环境的模型仓库中。
3.根据权利要求2所述的方法,其特征在于,所述第一业务环境的环境参数数据包括第一业务环境的跨境流转装置所在的服务器地址;
相应的,第二业务环境的调度模块校验所述服务器地址是否属于服务器地址白名单中,如果在白名单中,则确定所述转入请求合法。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
第二业务环境的文件接收模块将接收到的模型文件存储至第二指定目录中;并生成第二任务标识,并将所述接收到的模型文件的名称以及所述第二指定目录与所述第二任务标识关联后存储至数据库中,得到第二任务记录;
相应的,第二业务环境的文件接收模块在接收到所述转入模型的模型参数数据后,读取接收的所述模型参数数据所对应的第二任务记录,以基于所述第二任务记录将所述第二指定目录中模型文件存储至第二业务环境的模型仓库中。
5.根据权利要求4所述的方法,其特征在于,所述装置还包括加密模块,所述方法还包括:
第一业务环境的拉取模块将所述第一任务标识传输给第一业务环境的加密模块;
第一业务环境的加密模块依据接收的所述第一任务标识所关联的第一任务记录,将所述第一指定目录下的模型文件加密,将加密后的模型文件的名称发送写入数据库的所述第一任务记录中;
相应的,所述第一业务环境的加密模块将所述第一任务标识传输给第一业务环境的文件传输模块。
6.根据权利要求5所述的方法,其特征在于,所述装置还包括解密模型以及推送模块,所述方法还包括:
第二业务环境的文件接收模块将所述第二任务标识发送至第二业务环境的解密模块;
第二业务环境的解密模块依据接收的所述第二任务标识对应的第二任务记录,对所述第二指定目录下的模型文件进行解密;并将解密后的模型文件的名称写入第二任务记录中;以及将第二任务标识传输给第二业务环境的推送模块;
第二业务环境的推送模块依据接收的所述第二任务标识所关联的第二任务记录,将所述第二指定目录下的解密后的模型文件推送到第二业务环境的模型仓库中。
7.根据权利要求1所述的方法,其特征在于,第一业务环境的传输通知模块在接收到第一任务标识后,向所述数据库发送更新所述第一任务标识所关联的第一任务记录的状态为成功的指令。
8.根据权利要求1所述的方法,其特征在于,所述装置还包括日志记录模块;所述日志记录模块与所述装置的其他各模块相连,以记录所述装置的其他各模块之间的传输日志。
9.一种业务模型的跨境流转装置,其特征在于,所述装置部署在业务系统的业务环境中,所述装置至少包括调度模块、关联数据拉取模块、文件传输模块、文件接收模块;以接收模型跨环境转出请求的业务环境作为第一业务环境,以接收模型跨环境转入请求的业务环境作为第二业务环境,所述第一业务环境和所述第二业务环境分别配置跨境流转装置,所述跨境流转装置采用文件单向流转的文件传输机制;
第一业务环境的调度模块用于接收模型跨环境转出请求;所述转出请求至少包括待转出模型的模型参数信息以及第二业务环境的环境参数信息;以及,还用于生成所述转出请求的第一任务标识,并将所述模型参数信息以及环境参数信息与所述第一任务标识关联后存储至数据库中,得到第一任务记录;以及还用于将所述第一任务标识传输给第一业务环境的拉取模块;
第一业务环境的拉取模块用于依据接收的所述第一任务标识所关联的第一任务记录,从当前业务环境的模型仓库中拉取对应的模型文件至第一指定目录中;并将所述模型文件的名称以及第一指定目录写入所述第一任务记录中;以及还用于将所述第一任务标识传输给第一业务环境的文件传输模块;
第一业务环境的文件传输模块用于依据接收的所述第一任务标识所关联的第一任务记录,从所述第一指定目录中调取模型文件并传输给第二业务环境的文件接收模块,以使第二业务环境的文件接收模块将模型文件存储至第二业务环境的模型仓库中。
10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述指令被执行时实现权利要求1-8中任一项所述方法的步骤。
CN202111266754.8A 2021-10-28 2021-10-28 业务模型的跨境流转方法、装置及存储介质 Active CN113992659B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111266754.8A CN113992659B (zh) 2021-10-28 2021-10-28 业务模型的跨境流转方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111266754.8A CN113992659B (zh) 2021-10-28 2021-10-28 业务模型的跨境流转方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113992659A CN113992659A (zh) 2022-01-28
CN113992659B true CN113992659B (zh) 2024-03-26

Family

ID=79743899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111266754.8A Active CN113992659B (zh) 2021-10-28 2021-10-28 业务模型的跨境流转方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113992659B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106657413A (zh) * 2017-02-28 2017-05-10 腾讯科技(深圳)有限公司 文件传输方法、装置和系统
CN110609732A (zh) * 2019-08-13 2019-12-24 平安普惠企业管理有限公司 应用程序部署方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289409B2 (en) * 2017-03-29 2019-05-14 The Travelers Indemnity Company Systems, methods, and apparatus for migrating code to a target environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106657413A (zh) * 2017-02-28 2017-05-10 腾讯科技(深圳)有限公司 文件传输方法、装置和系统
CN110609732A (zh) * 2019-08-13 2019-12-24 平安普惠企业管理有限公司 应用程序部署方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113992659A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
US11108863B2 (en) Tag operating system
CN108416577B (zh) 一种区块链服务系统
US10891305B2 (en) Synchronization of data between systems
US20200364525A1 (en) Rf tag operating system with iot connector core
CN103098070B (zh) 用于监视网络服务中数据位置的方法、装置和系统
CN110263585A (zh) 测试监管方法、装置、设备及存储介质
CN112000741B (zh) 内外网数据交换系统、方法、装置、计算机设备和介质
CN109683869A (zh) Dapp的开发方法和装置
CN102742303B (zh) 具有本地pim集成的基于消息的移动对象
CN110659907B (zh) 用于执行智能合约的方法和装置
US20200175583A1 (en) Blockchain-based leasing
US20240020392A1 (en) Enabling reliable communications between computing instances
CN112134956A (zh) 一种基于区块链的分布式物联网指令管理方法和系统
CN112804354B (zh) 跨链进行数据传输的方法、装置、计算机设备和存储介质
CN103873547A (zh) 存储区域网
WO2019157122A1 (en) Rf tag operating system with iot connector core
CN105893456B (zh) 地理围栏感知的计算基础设施的分离的方法和系统
WO2022206439A1 (zh) 提供跨链消息的方法和装置
CN109657167B (zh) 数据采集方法、装置、服务器及存储介质
CN109325360B (zh) 信息管理方法与装置
CN110148441A (zh) 一种基于区块链的临床试验电子数据采集管理方法以及装置
CN113992659B (zh) 业务模型的跨境流转方法、装置及存储介质
CN110232570B (zh) 一种信息监管方法及装置
Krummacker et al. DLT architectures for trust anchors in 6G
CN115268847A (zh) 区块链智能合约的生成方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant