CN114650292A - 一种跨域数据传输方法、装置及存储介质 - Google Patents

一种跨域数据传输方法、装置及存储介质 Download PDF

Info

Publication number
CN114650292A
CN114650292A CN202011503003.9A CN202011503003A CN114650292A CN 114650292 A CN114650292 A CN 114650292A CN 202011503003 A CN202011503003 A CN 202011503003A CN 114650292 A CN114650292 A CN 114650292A
Authority
CN
China
Prior art keywords
domain
cross
transmission
data
authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011503003.9A
Other languages
English (en)
Other versions
CN114650292B (zh
Inventor
洪冬冬
申银杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202011503003.9A priority Critical patent/CN114650292B/zh
Publication of CN114650292A publication Critical patent/CN114650292A/zh
Application granted granted Critical
Publication of CN114650292B publication Critical patent/CN114650292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1059—Inter-group management mechanisms, e.g. splitting, merging or interconnection of groups

Abstract

本申请实施例提供了一种跨域数据传输方法、装置以及存储介质；其中，所述方法应用于包含多个服务器集群的服务系统中，不同所述服务集群为不同的域，所述方法包括：接收跨域传输请求，其中，所述跨域传输请求为：在不同所述域之间进行数据传输的请求；根据所述跨域传输请求，对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证；在所述认证通过之后，根据所述跨域传输请求生成跨域传输任务；将所述跨域传输任务分发给所述跨域传输请求涉及的源域，其中，所述跨域传输任务，用于触发所述源域的资源协调者将所述源域的数据写入到所述目标域。

Description

一种跨域数据传输方法、装置及存储介质
技术领域
本发明涉及大数据领域，尤其涉及一种跨域数据传输方法、装置及存储介质。
背景技术
现有技术中，由于计算需求、区域分布、技术能力等一系列原因，通常会有多个不同配置的HADOP集群同时存在，多个集群间由于计算或者统计等需求需要相互之间进行数据传输同步。
目前，对集群间数据跨域传输的解决方案主要有两种：Hadoop集群Distcp工具和中转数据传输。其中，通过Hadoop集群Distcp工具对集群间数据跨域传输的核心是集群互信，通过集群配置kerberos互信，使得数据源集群的票据能够在目标集群被识别且能合法使用。完成集群互信后，可以直接使用Hadoop自带Distcp工具进行集群间数据传输。
中转数据传输则是通过源集群将待传输数据上传至数据中转站存储，再通过数据中转站将待传输数据转发到目标集群。
Hadoop集群Distcp工具方案在集群间配置完互信后，只需要源数据集群或者目标集群任一票据就可以实现集群间的数据拷贝，使用简单。但是具有集群互信配置复杂，配置过程中容易导致集群故障影响使用的缺陷；在所有配置完成后还需要对互信集群进行重启操作。
中转数据传输方案首先需要建立数据中转站，在数据传输中转过程中数据安全性较低。
发明内容
本发明实施例提供一种跨域数据传输方法、装置及存储介质。
本发明实施例技术方案是这样实现的：
本发明实施例提供一种跨域数据传输方法，应用于包含多个服务器集群的服务系统中，其特征在于，不同所述服务集群为不同的域，包括：
接收跨域传输请求，其中，所述跨域传输请求为：在不同所述域之间进行数据传输的请求；
根据所述跨域传输请求，对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证；
在所述认证通过之后，根据所述跨域传输请求生成跨域传输任务；
将所述跨域传输任务分发给所述跨域传输请求涉及的源域，其中，所述跨域传输任务，用于触发所述源域的资源协调者将所述源域的数据写入到所述目标域。
上述方案中，所述跨域传输请求，包括：
所述跨域传输请求至少包括：所述源域的目录地址、所述目标域的目录地址和所述用户标识；
所述对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证，包括：
根据所述用户标识，向所述源域发送读权限的认证请求并接收基于所述读权限的认证请求返回的认证结果；
根据所述用户标识，向所述目标域发送写权限的认证请求并和接收基于所述写权限的认证请求返回的认证结果。
上述方案中，在所述将所述跨域传输任务分发给所述跨域传输请求涉及的源域之后，所述方法还包括：
确定是否接收到操控指令；
在确定接收到所述操控指令之后，将所述操控指令分发给所述跨域传输请求涉及的源域；
其中，所述操控指令，用于控制所述源域的资源协调者改变所述跨域数据传输的传输状态。
上述方案中，所述操控指令，包括以下至少之一：
撤回指令，指示撤回数据的跨域传输；
暂停指令，指示中断数据的跨域传输；
终止指令，指示取消数据的跨域传输；
重试指令，指示重新执行数据的跨域传输。
本发明实施例还提供了一种跨域数据传输方法，应用于源域中，包括：
从跨域传输调度系统，接收读权限的认证请求；
根据所述读权限的认证请求，对请求跨域数据传输的用户进行读权限认证得到认证结果；
将所述认证结果返回给所述跨域传输调度系统；
从跨域传输调度系统，接收在所述认证结果指示所述读权限认证通过时发送的跨域传输任务；
根据所述跨域传输任务，将所述源域的数据写入到所述目标域。
上述方案中，所述跨域传输任务，至少包括：
目标域的目的地址及待传输的数据标识；
所述根据所述跨域传输任务，将所述源域的数据写入到所述目标域，包括：
根据所述数据标识，调用所述源域的资源协调者从所述源域中读取数据；
将从所述源域读取的数据，写入所述目的地址所指示的目标域中。
上述方案中，将从所述源域读取的数据，写入所述目的地址所指示的目标域中，包括：
利用映射规约MapReduce代码，根据所述跨域传输任务将所述源域的数据写入到所述目标域。
上述方案中，从所述源域读取的数据，写入所述目的地址所指示的目标域中，还包括：
确定是否接收到操控指令；
在确定接收到所述操控指令后，根据所述操控指令改变所述源域的资源协调者中的所述跨域数据传输的传输状态。
上述方案中，所述根据所述操控指令，改变所述源域的资源协调者中的所述跨域数据传输的传输状态，包括：
根据撤回指令，所述源域的资源协调者撤回所述跨域数据传输的传输；
或，
根据暂停指令，所述源域的资源协调者中断所述跨域数据传输的传输；
或，
根据终止指令，所述源域的资源协调者取消所述跨域数据传输的传输；
或，
根据重试指令，所述源域的资源协调者重新执行所述跨域数据传输的传输。
本发明实施例还提供一种跨域数据传输方法，应用于目标域中，包括：
从跨域传输调度系统，接收写权限的认证请求；
根据所述写权限的认证请求，对请求跨域数据传输的用户进行写权限认证得到认证结果；
将所述认证结果返回给所述跨域传输调度系统；
在所述认证结果指示所述写权限认证通过时，接收所述源域的资源协调者写入的数据。
上述方案中，所述在所述认证结果指示所述写权限认证通过时，接收所述源域的资源协调者写入的数据，包括：
接收所述源域发送的写权限获取请求，并返回所述源域请求结果；
在所述请求结果指示成功获取所述写权限之后，接收所述源域写入的数据。
本发明实施例还提供一种跨域数据传输装置，所述装置包括：第一接收模块、第一认证模块、生成模块和分发模块；其中，
所述第一接收模块，用于接收跨域传输请求，其中，所述跨域传输请求为：在不同所述域之间进行数据传输的请求；
所述第一认证模块，用于根据所述跨域传输请求，对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证；
所述生成模块，用于在所述认证通过之后，根据所述跨域传输请求生成跨域传输任务；
所述分发模块，用于将所述跨域传输任务分发给所述跨域传输请求涉及的源域和目标域，其中，所述跨域传输任务，用于触发所述源域的资源协调者将所述源域的数据写入到所述目标域。
本发明实施例还提供一种跨域数据传输装置，应用于源域中，所述装置包括：第二接收模块、第二认证模块、第一返回模块、第一发送模块和写入模块；其中，
所述第二接收模块，用于从跨域传输调度系统，接收读权限的认证请求；
所述第二认证模块，用于根据所述读权限的认证请求，对请求跨域数据传输的用户进行读权限认证得到认证结果；
所述第一返回模块，用于将所述认证结果返回给所述跨域传输调度系统；
所述第一发送模块，用于从跨域传输调度系统，接收在所述认证结果指示所述读权限认证通过时发送的跨域传输任务；
所述写入模块，用于根据所述跨域传输任务，将所述源域的数据写入到所述目标域。
本发明实施例还提供一种跨域数据传输装置，应用于目标域中，所述装置包括：第三接收模块、第三认证模块、第二返回模块和第四接收模块；其中，
所述第三接收模块，用于从跨域传输调度系统，接收写权限的认证请求；
所述第三认证模块，用于根据所述写权限的认证请求，对请求跨域数据传输的用户进行写权限认证得到认证结果；
所述第二返回模块，用于将所述认证结果返回给所述跨域传输调度系统；
所述第四接收模块，用于在所述认证结果指示所述写权限认证通过时，接收所述源域的资源协调者写入的数据。
本发明实施例还提供了一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现上述任一项实施例提供的数据传输方法。
本发明实施例中，在认证了跨域传输请求用户在源域中的读权限和在目标域中的写权限之后，将跨域传输任务分发给指定源域。通过源域的资源协调者直接将源域的数据写入到目标域中，无需设置第三方中转站，减少了中转过程中数据安全性低的问题。同时，通过源域自身的资源协调者直接将源域的数据写入到目标域中，无需对集群进行互信配置，减少了配置过程和出错的概率。实现了每个集群认证系统之间相互独立，保证每个集群的数据安全；也无需重启集群，不影响线上任务，对集群运维友好，简单方便易于管理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的跨域数据传输方法的流程示意图；
图2为本发明提供的跨域数据传输方法的另一种流程示意图；
图3为本发明提供的跨域数据传输方法的另一种流程示意图；
图4为本发明实施例提供的跨域数据传输装置的结构示意图；
图5为本发明实施例提供的另一种跨域数据传输装置的结构示意图；
图6为本发明实施例提供的另一种跨域数据传输装置的结构示意图；
图7为本发明实施例提供的一种跨域数据传输装置的结构示意图；
图8为本发明实施例提供的一种跨域数据传输方法的流程示意图；
图9为本发明实施例提供的另一种跨域数据传输方法的流程示意图；
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
本发明实施例提供一种跨域数据传输方法。图1为本发明提供的跨域数据传输方法的流程示意图；如图1所示，所述方法包括：
步骤S101：接收跨域传输请求，其中，所述跨域传输请求为：在不同所述域之间进行数据传输的请求；
步骤S102：根据所述跨域传输请求，对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证；
步骤S103：在所述认证通过之后，根据所述跨域传输请求生成跨域传输任务；
步骤S104：将所述跨域传输任务分发给所述跨域传输请求涉及的源域，其中，所述跨域传输任务，用于触发所述源域的资源协调者将所述源域的数据写入到所述目标域。
在本实施例中，所述跨域数据传输方法应用于包含多个服务器集群的服务系统中，其特征在于，不同所述服务集群为不同的域。在所述步骤S101中，所述接收跨域传输请求可以为跨域传输调度系统接收用户从终端发送的在不同集群之间进行数据传输的请求。
进一步地，所述跨域传输请求至少包括：所述源域的目录地址、所述目标域的目录地址和所述用户标识。这里的跨域传输请求为：被传输数据的源域不同于目标域的数据传输请求。
具体地，在一些实施例中，所述用户标识可以为用户设置的用户名，还可以是用户设备的设备标识。在另一些实施例中，跨域传输请求不一定是包含用户标识，还可以是包括：其他任意一种用于进行权限认证的信息，例如，传输口令；该传输口令可包括：源域和目标域通过安全认证之后发送的令牌；这里不做具体限定。
具体地，源域的目录地址指示源域中文件夹的位置；目标域的目录地址指示目标域中文件夹的位置。这里所述源域的目录地址指将要进行数据读取的源集群文件的文件目录地址；所述目标域的目录地址指将要进行数据写入的目标集群文件的文件目录地址；其中，所述源集群可以为一个，也可以为多个；所述目标集群可以为一个，也可以为多个。即所述跨域传输请求可以为请求将一个源集群中的数据传输给一个或多个目标集群，也可以为将多个源集群中的数据传输给一个目标集群，还可以为将多个源集群中的数据传输给多个目标集群，这里不做具体限定。
具体来说，在本实施例中，跨域传输调度系统接收用户从终端发送的跨域传输请求，其中，所述跨域传输请求指示了用于获取数据的源集群的目录地址，指示接收源集群中的数据并进行处理的所述目标集群的目录地址以及指示用于进行权限认证的用户标识。
本申请提供了使用Hadoop工具基于Web服务的跨域传输方法，通过Web服务为用户提供了可视化的操作，简单点击即可实现数据的跨域传输。无需配置集群互信，也不依靠第三方中转，直接在集群间进行数据传输，同时集群间的安全认证相互隔离，保障了数据的安全性。
具体来说，在所述步骤S102中，根据所述跨域传输请求中的所指示的数据传输操作，向所述跨域传输请求中所涉及的源集群和目标集群进行用户的读写权限的认证。
进一步地，所述步骤S102中还包括：根据所述用户标识，向所述源域发送读权限的认证请求并接收基于所述读权限的认证请求返回的认证结果；根据所述用户标识，向所述目标域发送写权限的认证请求并和接收基于所述写权限的认证请求返回的认证结果。
具体地，Keberos是为TCP/IP网络系统设计的可信的第三方认证协议，是一种网络身份验证协议。它旨在通过使用密钥加密技术为客户端/服务器应用程序提供强身份验证。所述读写权限的认证请求通过Keberos服务中的密钥分发中心(Key DistributionCenter,KDC)对发送请求用户身份及其权限进行认证。
具体来说，跨域传输调度系统根据所述用户标识，向跨域传输请求中所涉及的源集群的目录地址所指示的源集群中的KDC服务发送只读权限认证，并接收所述源域返回的认证结果；根据所述用户标识，向跨域传输请求中所涉及的目标域的目录地址所指示的目标集群中的KDC服务发送写权限认证，并接收所述目标域返回的认证结果。
在本实施例中，通过同时对跨域传输请求中所涉及到的源集群和目标集群进行多个集群的Kerberos认证，无需对所涉及的集群进行集群互信操作，降低了实施和操作的难度，也保证了每个集群间认证环境相互独立，有效阻止集群间的危险操作。
具体地，在所述步骤S103中，在所述源集群返回的认证结果和所述目标集群返回的认证结果都指示认证通过之后，根据所述跨域传输请求生成跨域传输任务；其中，所述跨域传输任务至少包括：目标集群的目的地址和待传输的数据标识。
在一些实施例中，如果所述源集群返回的认证结果和所述目标集群返回的认证结果中有任意一个指示认证不通过，则所述跨域传输调度系统显示认证失败，并提示用户缺少对应读写权限，此次跨域数据传输失败。
具体地，在步骤S104中，资源协调者(Yet Another Resource Negotiator，YARN)将资源管理和作业调度两个功能分开，YARN主要包括三个组件资源管理器(ResourceManager)、节点管理器(Node Manager)和应用管理器(Application Master)。资源管理器负责全局资源分配，每个节点一个应用管理器，负责当前节点的调度和协调。节点管理器是每台机器的代理，监控应用程序的资源使用情况，并汇报给资源管理器。与传统MapReduce相比，YARN把资源管理与任务调度的工作分离开来，减少了MapReduce中Job Tracker的压力。
具体来说，根据所述跨域传输请求中的源集群的目的地址，将生成的所述跨域传输任务分发至所述跨域传输请求中的源集群的目的地址所指示的源集群中。其中，所述跨域传输任务用于触发所述源集群中的资源协调者读取源集群中存储于分布式文件系统(Hadoop Distributed File System，HDFS)内的数据，并写入到对应的目标集群中。
在本实施例中，无需对所涉及的一个或多个集群进行集群间的互信操作，在降低了实施和操作的难度的同时，也保证了每个集群间认证环境相互独立，有效阻止集群间的危险操作；相对于设置第三方中转数据传输的方式，本实施例中也无需配置第三方存储系统，减少资源和时间的损耗。集群的数据只能在集群中被访问，不经过第三发存储转发，也有效的保护了数据的安全性和完整性，减少本集群外可能带来的数据泄露和丢失风险操作。通过源集群中的YARN直接读取源集群中的数据并写入到对应的目标集群中，采用MapReduce分布式引擎进行数据传输，并且点对点不经过第三发转存，极大的提高资源使用率，提高传输效率。
进一步地，在步骤S104之后，所述方法还包括：确定是否接收到操控指令；在确定接收到所述操控指令之后，将所述操控指令分发给所述跨域传输请求涉及的源域；其中，所述操控指令，用于控制所述源域的资源协调者改变所述跨域数据传输的传输状态。
具体地，在将所述跨域传输任务分发给所述跨域传输请求涉及的源域之后，还需要不断检测是否接收到用户用于改变所述跨域数据传输的传输状态的操控指令。如果在所述跨域数据传输过程中，确定没有接收到用户的操控指令，则所述跨域数据传输按照原始用户指令执行；如果在所述跨域数据传输过程中，确定接收到用户的操控指令，则将检测到的用户操控指令发送至源集群中，控制当前跨域传输所涉及的所述源域的资源协调者改变所述跨域数据传输的传输状态。
进一步地，所述操控指令，包括以下至少之一：撤回指令，指示撤回数据的跨域传输；暂停指令，指示中断数据的跨域传输；终止指令，指示取消数据的跨域传输；重试指令，指示重新执行数据的跨域传输。
具体来说，当确定接收的操控指令为撤回指令时，则指示所述源集群的资源协调者撤回当前的数据跨域传输；当确定接收的操控指令为暂停指令时，则指示所述源集群的资源协调者中断当前的数据跨域传输；当确定接收的操控指令为终止指令时，则指示所述源集群的资源协调者取消当前的数据跨域传输；当确定接收的操控指令为重试指令时，则指示所述源集群的资源协调者重新执行当前的数据跨域传输。
在本实施例中，通过资源协调者进行跨域数据传输，基于其在跨域数据传输过程中将资源管理和作业调度两个功能分开，当子集群中有部分任务失败时，可以由资源协调者中重新启动任务，对实现失败的任务重新进行执行，重新计算并重新申请资源，节省计算资源和时间，确保任务的成功率；同时，资源协调者可以管理用户所有跨域传输任务，可对任务执行停止，回滚，重启等操作。
本发明实施例提供一种跨域数据传输方法，应用于源域中。图2为本发明提供的跨域数据传输方法的另一种流程示意图；如图2所示，所述方法包括：
步骤S201：从跨域传输调度系统，接收读权限的认证请求；
步骤S202：根据所述读权限的认证请求，对请求跨域数据传输的用户进行读权限认证得到认证结果；
步骤S203：将所述认证结果返回给所述跨域传输调度系统；
步骤S204：从跨域传输调度系统，接收在所述认证结果指示所述读权限认证通过时发送的跨域传输任务；
步骤S205：根据所述跨域传输任务，将所述源域的数据写入到所述目标域。
具体地，在所述步骤S202中，在一些实施例中，源集群根据接收的跨域传输调度系统中发送的认证请求，并通过集群内的KDC服务对发起所述认证请求的用户进行身份和权限认证。确定请求跨域数据传输的用户的用户标识是否在本源集群的KDC数据库内，如果在KDC的数据库内则指示该用户具有当前源集群的读权限，即认证成功；不在KDC的数据库内，则指示该用户不具有当前源集群的读权限，即认证失败。
在本实施例中，通过同时对跨域传输请求中所涉及到的源集群进行多个集群的Kerberos认证，无需对所涉及的集群进行集群互信操作，降低了实施和操作的难度，也保证了每个集群间认证环境相互独立，有效阻止集群间的危险操作。
在步骤S204中，在生成指示认证成功的认证结果之后，接收跨域传输调度系统发送的跨域传输任务；
具体地，所述跨域传输任务，至少包括：目标域的目的地址及待传输的数据标识；
具体来说，所述目标域的目的地址指示跨域数据传输的目标集群地址，所述待传输的数据标识用于指示在所述源集群中的待传输数据。所述源集群在KDC认证通过后，接收跨域传输调度系统发送的跨域传输任务并将任务提交给源集群的资源协调者(YetAnother Resource Negotiator，YARN)执行；其中，YARN控制整个集群并管理应用程序向基础计算资源的分配，负责任务的调度和监控。
进一步地，在步骤S205中，所述方法还包括：根据所述数据标识，调用所述源域的资源协调者从所述源域中读取数据；将从所述源域读取的数据，写入所述目的地址所指示的目标域中。
进一步地，利用映射规约MapReduce代码，根据所述跨域传输任务将所述源域的数据写入到所述目标域。
具体地，YARN执行接收到的跨域传输任务，采用MapReduce分布式传输引擎进行数据传输；YARN负责资源管理和调度，Application Master负责任务管理。每个MapReduce启动一个MapReduce Application Master(MRAppMaster)，MRAppMaster负责任务切分、任务调度、任务监控和容错。YARN将资源分配给MRAppMaster，MRAppMaster进一步将资源分配给内部任务。MRAppMaster运行失败后，由YARN重新启动；任务运行失败后，由YARN重新申请资源。
具体来说，YARN接收到跨域传输任务后，根据编写的跨域传输MapReduce代码，启动若干Map传输任务，在启动的Map传输任务中，YARN分别向对应的目标集群发送写权限获取请求，以获取对应的目标集群的写权限。在获取到写权限之后，YARN从源域中读取待传输数据后，直接通过数据流的传输将待传输数据从源集群复制到目标集群。
在本实施例中，无需对所涉及的一个或多个集群进行集群间的互信操作，在降低了实施和操作的难度的同时，也保证了每个集群间认证环境相互独立，有效阻止集群间的危险操作；相对于设置第三方中转数据传输的方式，本实施例中也无需配置第三方存储系统，减少资源和时间的损耗。集群的数据只能在集群中被访问，不经过第三发存储转发，也有效的保护了数据的安全性和完整性，减少本集群外可能带来的数据泄露和丢失风险操作。通过源集群中的YARN直接读取源集群中的数据并写入到对应的目标集群中，采用MapReduce分布式引擎进行数据传输，并且点对点不经过第三发转存，极大的提高资源使用率，提高传输效率。
进一步地，在所述步骤S205中，所述方法还包括：确定是否接收到操控指令；在确定接收到所述操控指令后，根据所述操控指令改变所述源域的资源协调者中的所述跨域数据传输的传输状态。
具体地，在源集群中的资源协调者接收到用户发送的用于改变所述跨域数据传输的传输状态的操控指令时，则所述资源协调者按照所述操控指令改变当前的数据传输状态；如果在跨域数据传输过程中没有接收到用户的操控指令，则所述资源协调者按照原始的用户指令执行数据传输操作。
进一步地，所述根据所述操控指令，改变所述源域的资源协调者中的所述跨域数据传输的传输状态，包括：根据撤回指令，所述源域的资源协调者撤回所述跨域数据传输的传输；或，根据暂停指令，所述源域的资源协调者中断所述跨域数据传输的传输；或，根据终止指令，所述源域的资源协调者取消所述跨域数据传输的传输；或，根据重试指令，所述源域的资源协调者重新执行所述跨域数据传输的传输。
具体地，当所述资源协调者接收到撤回指令时，资源协调者内部的资源管理器命令各个节点管理器中的应用管理器删除已经完成的部分或全部数据，使源集群恢复到原始状态；当所述资源协调者接收到暂停指令时，资源协调者内部的资源管理器命令各个节点管理器中的应用管理器终端当前数据的获取和传输；当所述资源协调者接收到终止指令时，资源协调者内部的资源管理器命令各个节点管理器中的应用管理器取消当前数据的获取和传输；当所述资源协调者接收到重试指令时，资源协调者内部的资源管理器命令各个节点管理器中的应用管理器重新按照跨域传输任务进行源集群数据的获取和传输。
在本实施例中，通过资源协调者进行跨域数据传输，基于其在跨域数据传输过程中将资源管理和作业调度两个功能分开，当子集群中有部分任务失败时，可以由资源协调者中重新启动任务，对实现失败的任务重新进行执行，重新计算并重新申请资源，节省计算资源和时间，确保任务的成功率；同时，资源协调者可以管理用户所有跨域传输任务，可对任务执行停止，回滚，重启等操作。
本发明实施例提供一种跨域数据传输方法，应用于目标域中。图3为本发明提供的跨域数据传输方法的另一种流程示意图；如图3所示，所述方法包括：
步骤S301：从跨域传输调度系统，接收写权限的认证请求；
步骤S302：根据所述写权限的认证请求，对请求跨域数据传输的用户进行写权限认证得到认证结果；
步骤S303：将所述认证结果返回给所述跨域传输调度系统；
步骤S304：在所述认证结果指示所述写权限认证通过时，接收所述源域的资源协调者写入的数据。
具体地，在所述步骤S302中，在一些实施例中，目标集群根据接收的跨域传输调度系统中发送的认证请求，并通过集群内的KDC服务对发起所述认证请求的用户进行身份和权限认证。确定请求跨域数据传输的用户的用户标识是否在本目标集群的KDC数据库内，如果在KDC的数据库内则指示该用户具有当前目标集群的写权限，即认证成功；不在KDC的数据库内，则指示该用户不具有当前目标集群的写权限，即认证失败。
在本实施例中，通过同时对跨域传输请求中所涉及到的目标集群进行多个集群的Kerberos认证，无需对所涉及的集群进行集群互信操作，降低了实施和操作的难度，也保证了每个集群间认证环境相互独立，有效阻止集群间的危险操作。
具体地，在步骤S304中，所述方法还包括：接收所述源域发送的写权限获取请求，并返回所述源域请求结果；在所述请求结果指示成功获取所述写权限之后，接收所述源域写入的数据。
具体来说，基于源集群发送的写权限获取请求，确定所述源集群具有允许写入本目标集群的权限；在确定具有写权限后，将指示获取写入目标集群权限的请求成功的请求结果返回给所述源集群；由目标集群中的资源协调者接收对应源集群发送的数据，写入到自身的分布式文件系统中，完成整个跨域数据的传输。在确定所述源集群不具有写权限后，将指示获取写入目标集群权限的请求失败的请求与结果返回给所述源集群，则当前跨域数据传输失败。
在本实施例中，无需对所涉及的一个或多个集群进行集群间的互信操作，在降低了实施和操作的难度的同时，也保证了每个集群间认证环境相互独立，有效阻止集群间的危险操作；相对于设置第三方中转数据传输的方式，本实施例中也无需配置第三方存储系统，减少资源和时间的损耗。集群的数据只能在集群中被访问，不经过第三发存储转发，也有效的保护了数据的安全性和完整性，减少本集群外可能带来的数据泄露和丢失风险操作。通过源集群中的YARN直接读取源集群中的数据并写入到对应的目标集群中，采用MapReduce分布式引擎进行数据传输，并且点对点不经过第三发转存，极大的提高资源使用率，提高传输效率。
以下，以一个具体示例对本发明实施例跨域数据传输方法进行说明：
步骤1：用户通过跨域传输调度系统发起查询权限请求。
步骤2：跨域传输调度系统接收用户的查询请求后，向对应源集群和目标集群发起权限认证请求。请求对象为对应源集群和目标集群中的KDC服务，确保用户具有源数据集群对应目录的读取权限以及目标集群对应目录的写权限。
步骤3：确定用户在两个集群中都具有相操作权限后，跨域传输调度系统生成跨域传输任务。其中。所述跨域传输任务至少包含源集群的目录地址，目标集群的目录地址以及查询的读写权限获取结果等，任务底层依赖Hadoop的MapReduce框架。
步骤4：跨域传输调度系统将生成的跨域传输任务发送给对应源集群。
步骤5：源集群中通过Distcp工具将所述跨域传输任务任务提交到YARN中执行，由YARN负责任务的调度和监控。
步骤6：YARN采用MapReduce分布式传输引擎执行数据传输。YARN接收到跨域传输任务后，根据编写的映射规约MapReduc代码，启动若干Map传输任务，在启动的Map任务中分别获取对应目标集群的写权限。
步骤7：在获取到对应目标集群的写权限之后，源集群中的YARN直接通过数据流的传输将数据从源集群复制到对应的目标集群。
步骤8：接收用户发起操控指令。
步骤8.1：接收用户发起取消操控指令。在任务执行阶段，通过当前任务的运行日志或任务进程，终止YARN中相关数据传输任务并删除已完成的部分数据或全部数据，使源集群和目标集群恢复到传输前状态。
步骤8.2：接收用户发起撤回操控指令。在任务传输完成后，任务进程采用任务的持久化元数据控制YARN，删除已写入目标集群中的数据，达到回滚效果。
步骤8.3：接收用户发起暂停操控指令。在任务进行阶段，通过任务进程中断源集群中YARN的数据读取以及目标集群中YARN的数据写入。
步骤8.4：接收用户发起重试操控指令。在任务执行阶段，如果某个文件的传输失败，可以通过日志和监控信息将失败的传输任务告知YARN，重新生成新的任务提交YARN执行，提高任务成功率和容错性。
如图4所示，为本发明实施例提供的跨域数据传输装置的结构示意图，该跨域数据传输装置包括：第一接收模块401、第一认证模块402、生成模块403和分发模块404。其中，
所述第一接收模块401，用于接收跨域传输请求，其中，所述跨域传输请求为：在不同所述域之间进行数据传输的请求；
所述第一认证模块402，用于根据所述跨域传输请求，对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证；
所述生成模块403，用于在所述认证通过之后，根据所述跨域传输请求生成跨域传输任务；
所述分发模块404，用于将所述跨域传输任务分发给所述跨域传输请求涉及的源域和目标域，其中，所述跨域传输任务，用于触发所述源域的资源协调者将所述源域的数据写入到所述目标域。
如图5所示，为本发明实施例提供的另一种跨域数据传输装置的结构示意图，应用于源域中，该跨域数据传输装置包括：第二接收模块501、第二认证模块502、第一返回模块503、第一发送模块504和写入模块505。其中，
所述第二接收模块501，用于从跨域传输调度系统，接收读权限的认证请求；
所述第二认证模块502，用于根据所述读权限的认证请求，对请求跨域数据传输的用户进行读权限认证得到认证结果；
所述第一返回模块503，用于将所述认证结果返回给所述跨域传输调度系统；
所述第一发送模块504，用于从跨域传输调度系统，接收在所述认证结果指示所述读权限认证通过时发送的跨域传输任务；
所述写入模块505，用于根据所述跨域传输任务，将所述源域的数据写入到所述目标域。
如图6所示，为本发明实施例提供的另一种跨域数据传输装置的结构示意图，应用于目标域中，该跨域数据传输装置包括：第三接收模块601、第三认证模块602、第二返回模块603和第四接收模块604。其中，
所述第三接收模块601，用于从跨域传输调度系统，接收写权限的认证请求；
所述第三认证模块602，用于根据所述写权限的认证请求，对请求跨域数据传输的用户进行写权限认证得到认证结果；
所述第二返回模块603，用于将所述认证结果返回给所述跨域传输调度系统；
所述第四接收模块604，用于在所述认证结果指示所述写权限认证通过时，接收所述源域的资源协调者写入的数据。
为实现本发明实施例的方法，本发明实施例提供的一种跨域数据传输装置，具体来说，如图7所示，所述装置70包括处理器701和用于存储能够在处理器上运行的计算机程序的存储器702；
其中，所述处理器701用于运行所述计算机程序时，执行：接收跨域传输请求，其中，所述跨域传输请求为：在不同所述域之间进行数据传输的请求；根据所述跨域传输请求，对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证；在所述认证通过之后，根据所述跨域传输请求生成跨域传输任务；将所述跨域传输任务分发给所述跨域传输请求涉及的源域，其中，所述跨域传输任务，用于触发所述源域的资源协调者将所述源域的数据写入到所述目标域。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：所述跨域传输请求至少包括：所述源域的目录地址、所述目标域的目录地址和所述用户标识；所述对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证，包括：根据所述用户标识，向所述源域发送读权限的认证请求并接收基于所述读权限的认证请求返回的认证结果；根据所述用户标识，向所述目标域发送写权限的认证请求并和接收基于所述写权限的认证请求返回的认证结果。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：确定是否接收到操控指令；在确定接收到所述操控指令之后，将所述操控指令分发给所述跨域传输请求涉及的源域；其中，所述操控指令，用于控制所述源域的资源协调者改变所述跨域数据传输的传输状态。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：所述操控指令，包括以下至少之一：撤回指令，指示撤回数据的跨域传输；暂停指令，指示中断数据的跨域传输；终止指令，指示取消数据的跨域传输；重试指令，指示重新执行数据的跨域传输。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：从跨域传输调度系统，接收读权限的认证请求；根据所述读权限的认证请求，对请求跨域数据传输的用户进行读权限认证得到认证结果；将所述认证结果返回给所述跨域传输调度系统；从跨域传输调度系统，接收在所述认证结果指示所述读权限认证通过时发送的跨域传输任务；根据所述跨域传输任务，将所述源域的数据写入到所述目标域。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：所述跨域传输任务，至少包括：目标域的目的地址及待传输的数据标识；所述根据所述跨域传输任务，将所述源域的数据写入到所述目标域，包括：根据所述数据标识，调用所述源域的资源协调者从所述源域中读取数据；将从所述源域读取的数据，写入所述目的地址所指示的目标域中。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：将从所述源域读取的数据，写入所述目的地址所指示的目标域中，包括：利用映射规约MapReduce代码，根据所述跨域传输任务将所述源域的数据写入到所述目标域。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：确定是否接收到操控指令；在确定接收到所述操控指令后，根据所述操控指令改变所述源域的资源协调者中的所述跨域数据传输的传输状态。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：根据撤回指令，所述源域的资源协调者撤回所述跨域数据传输的传输；或，根据暂停指令，所述源域的资源协调者中断所述跨域数据传输的传输；或，根据终止指令，所述源域的资源协调者取消所述跨域数据传输的传输；或，根据重试指令，所述源域的资源协调者重新执行所述跨域数据传输的传输。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：从跨域传输调度系统，接收写权限的认证请求；根据所述写权限的认证请求，对请求跨域数据传输的用户进行写权限认证得到认证结果；将所述认证结果返回给所述跨域传输调度系统；在所述认证结果指示所述写权限认证通过时，接收所述源域的资源协调者写入的数据。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：接收所述源域发送的写权限获取请求，并返回所述源域请求结果；在所述请求结果指示成功获取所述写权限之后，接收所述源域写入的数据。
需要说明的是：上述实施例提供的跨域数据传输装置与跨域数据传输方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
当然，实际应用时，如图7所示，该装置70还可以包括：至少一个网络接口703。跨域数据传输装置70中的各个组件通过总线系统704耦合在一起。可理解，总线系统704用于实现这些组件之间的连接通信。总线系统704除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统704。其中，所述处理器701的个数可以为至少一个。网络接口703用于扭曲文档的文字识别装置70与其他设备之间有线或无线方式的通信。
本发明实施例中的存储器702用于存储各种类型的数据以支持跨域数据传输装置70的操作。
上述本发明实施例揭示的方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器701可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器702，处理器701读取存储器702中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，跨域数据传输装置70可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器702，上述计算机程序可由跨域数据传输装置70的处理器701执行，以完成前述方法所述步骤。
具体地，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行：接收跨域传输请求，其中，所述跨域传输请求为：在不同所述域之间进行数据传输的请求；根据所述跨域传输请求，对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证；在所述认证通过之后，根据所述跨域传输请求生成跨域传输任务；将所述跨域传输任务分发给所述跨域传输请求涉及的源域，其中，所述跨域传输任务，用于触发所述源域的资源协调者将所述源域的数据写入到所述目标域。
在一实施例中，所述计算机程序被处理器运行时，执行：所述跨域传输请求至少包括：所述源域的目录地址、所述目标域的目录地址和所述用户标识；所述对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证，包括：根据所述用户标识，向所述源域发送读权限的认证请求并接收基于所述读权限的认证请求返回的认证结果；根据所述用户标识，向所述目标域发送写权限的认证请求并和接收基于所述写权限的认证请求返回的认证结果。
在一实施例中，所述计算机程序被处理器运行时，执行：确定是否接收到操控指令；在确定接收到所述操控指令之后，将所述操控指令分发给所述跨域传输请求涉及的源域；其中，所述操控指令，用于控制所述源域的资源协调者改变所述跨域数据传输的传输状态。
在一实施例中，所述计算机程序被处理器运行时，执行：所述操控指令，包括以下至少之一：撤回指令，指示撤回数据的跨域传输；暂停指令，指示中断数据的跨域传输；终止指令，指示取消数据的跨域传输；重试指令，指示重新执行数据的跨域传输。
在一实施例中，所述计算机程序被处理器运行时，执行：从跨域传输调度系统，接收读权限的认证请求；根据所述读权限的认证请求，对请求跨域数据传输的用户进行读权限认证得到认证结果；将所述认证结果返回给所述跨域传输调度系统；从跨域传输调度系统，接收在所述认证结果指示所述读权限认证通过时发送的跨域传输任务；根据所述跨域传输任务，将所述源域的数据写入到所述目标域。
在一实施例中，所述计算机程序被处理器运行时，执行：所述跨域传输任务，至少包括：目标域的目的地址及待传输的数据标识；所述根据所述跨域传输任务，将所述源域的数据写入到所述目标域，包括：根据所述数据标识，调用所述源域的资源协调者从所述源域中读取数据；将从所述源域读取的数据，写入所述目的地址所指示的目标域中。
在一实施例中，所述计算机程序被处理器运行时，执行：将从所述源域读取的数据，写入所述目的地址所指示的目标域中，包括：利用映射规约MapReduce代码，根据所述跨域传输任务将所述源域的数据写入到所述目标域。
在一实施例中，所述计算机程序被处理器运行时，执行：确定是否接收到操控指令；在确定接收到所述操控指令后，根据所述操控指令改变所述源域的资源协调者中的所述跨域数据传输的传输状态。
在一实施例中，所述计算机程序被处理器运行时，执行：根据撤回指令，所述源域的资源协调者撤回所述跨域数据传输的传输；或，根据暂停指令，所述源域的资源协调者中断所述跨域数据传输的传输；或，根据终止指令，所述源域的资源协调者取消所述跨域数据传输的传输；或，根据重试指令，所述源域的资源协调者重新执行所述跨域数据传输的传输。
在一实施例中，所述计算机程序被处理器运行时，执行：从跨域传输调度系统，接收写权限的认证请求；根据所述写权限的认证请求，对请求跨域数据传输的用户进行写权限认证得到认证结果；将所述认证结果返回给所述跨域传输调度系统；在所述认证结果指示所述写权限认证通过时，接收所述源域的资源协调者写入的数据。
在一实施例中，所述计算机程序被处理器运行时，执行：接收所述源域发送的写权限获取请求，并返回所述源域请求结果；在所述请求结果指示成功获取所述写权限之后，接收所述源域写入的数据。
需要说明的是：本发明实施例提供的计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (15)

1.一种跨域数据传输方法，应用于包含多个服务器集群的服务系统中，其特征在于，不同所述服务集群为不同的域，所述方法包括：
接收跨域传输请求，其中，所述跨域传输请求为：在不同所述域之间进行数据传输的请求；
根据所述跨域传输请求，对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证；
在所述认证通过之后，根据所述跨域传输请求生成跨域传输任务；
将所述跨域传输任务分发给所述跨域传输请求涉及的源域，其中，所述跨域传输任务，用于触发所述源域的资源协调者将所述源域的数据写入到所述目标域。
2.根据权利要求1所述的方法，其特征在于，所述跨域传输请求，包括：
所述跨域传输请求至少包括：所述源域的目录地址、所述目标域的目录地址和所述用户标识；
所述对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证，包括：
根据所述用户标识，向所述源域发送读权限的认证请求并接收基于所述读权限的认证请求返回的认证结果；
根据所述用户标识，向所述目标域发送写权限的认证请求并和接收基于所述写权限的认证请求返回的认证结果。
3.根据权利要求1所述的方法，其特征在于，在所述将所述跨域传输任务分发给所述跨域传输请求涉及的源域之后，所述方法还包括：
确定是否接收到操控指令；
在确定接收到所述操控指令之后，将所述操控指令分发给所述跨域传输请求涉及的源域；
其中，所述操控指令，用于控制所述源域的资源协调者改变所述跨域数据传输的传输状态。
4.根据权利要求3所述的方法，其特征在于，所述操控指令，包括以下至少之一：
撤回指令，指示撤回数据的跨域传输；
暂停指令，指示中断数据的跨域传输；
终止指令，指示取消数据的跨域传输；
重试指令，指示重新执行数据的跨域传输。
5.一种跨域数据传输方法，应用于源域中，其特征在于，所述方法包括：
从跨域传输调度系统，接收读权限的认证请求；
根据所述读权限的认证请求，对请求跨域数据传输的用户进行读权限认证得到认证结果；
将所述认证结果返回给所述跨域传输调度系统；
从跨域传输调度系统，接收在所述认证结果指示所述读权限认证通过时发送的跨域传输任务；
根据所述跨域传输任务，将所述源域的数据写入到所述目标域。
6.根据权利要求5所述的方法，其特征在于，所述跨域传输任务，至少包括：
目标域的目的地址及待传输的数据标识；
所述根据所述跨域传输任务，将所述源域的数据写入到所述目标域，包括：
根据所述数据标识，调用所述源域的资源协调者从所述源域中读取数据；
将从所述源域读取的数据，写入所述目的地址所指示的目标域中。
7.根据权利要求5或6所述的方法，其特征在于，将从所述源域读取的数据，写入所述目的地址所指示的目标域中，包括：
利用映射规约MapReduce代码，根据所述跨域传输任务将所述源域的数据写入到所述目标域。
8.根据权利要求7所述的方法，其特征在于，从所述源域读取的数据，写入所述目的地址所指示的目标域中，还包括：
确定是否接收到操控指令；
在确定接收到所述操控指令后，根据所述操控指令改变所述源域的资源协调者中的所述跨域数据传输的传输状态。
9.根据权利要求8所述的方法，其特征在于，所述根据所述操控指令，改变所述源域的资源协调者中的所述跨域数据传输的传输状态，包括：
根据撤回指令，所述源域的资源协调者撤回所述跨域数据传输的传输；
或，
根据暂停指令，所述源域的资源协调者中断所述跨域数据传输的传输；
或，
根据终止指令，所述源域的资源协调者取消所述跨域数据传输的传输；
或，
根据重试指令，所述源域的资源协调者重新执行所述跨域数据传输的传输。
10.一种跨域数据传输方法，应用于目标域中，其特征在于，所述方法包括：
从跨域传输调度系统，接收写权限的认证请求；
根据所述写权限的认证请求，对请求跨域数据传输的用户进行写权限认证得到认证结果；
将所述认证结果返回给所述跨域传输调度系统；
在所述认证结果指示所述写权限认证通过时，接收所述源域的资源协调者写入的数据。
11.根据权利要求10所述的方法，其特征在于，所述在所述认证结果指示所述写权限认证通过时，接收所述源域的资源协调者写入的数据，包括：
接收所述源域发送的写权限获取请求，并返回所述源域请求结果；
在所述请求结果指示成功获取所述写权限之后，接收所述源域写入的数据。
12.一种跨域数据传输装置，其特征在于，所述装置包括：第一接收模块、第一认证模块、生成模块和分发模块；其中，
所述第一接收模块，用于接收跨域传输请求，其中，所述跨域传输请求为：在不同所述域之间进行数据传输的请求；
所述第一认证模块，用于根据所述跨域传输请求，对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证；
所述生成模块，用于在所述认证通过之后，根据所述跨域传输请求生成跨域传输任务；
所述分发模块，用于将所述跨域传输任务分发给所述跨域传输请求涉及的源域和目标域，其中，所述跨域传输任务，用于触发所述源域的资源协调者将所述源域的数据写入到所述目标域。
13.一种跨域数据传输装置，应用于源域中，其特征在于，所述装置包括：第二接收模块、第二认证模块、第一返回模块、第一发送模块和写入模块；其中，
所述第二接收模块，用于从跨域传输调度系统，接收读权限的认证请求；
所述第二认证模块，用于根据所述读权限的认证请求，对请求跨域数据传输的用户进行读权限认证得到认证结果；
所述第一返回模块，用于将所述认证结果返回给所述跨域传输调度系统；
所述第一发送模块，用于从跨域传输调度系统，接收在所述认证结果指示所述读权限认证通过时发送的跨域传输任务；
所述写入模块，用于根据所述跨域传输任务，将所述源域的数据写入到所述目标域。
14.一种跨域数据传输装置，应用于目标域中，其特征在于，所述装置包括：第三接收模块、第三认证模块、第二返回模块和第四接收模块；其中，
所述第三接收模块，用于从跨域传输调度系统，接收写权限的认证请求；
所述第三认证模块，用于根据所述写权限的认证请求，对请求跨域数据传输的用户进行写权限认证得到认证结果；
所述第二返回模块，用于将所述认证结果返回给所述跨域传输调度系统；
所述第四接收模块，用于在所述认证结果指示所述写权限认证通过时，接收所述源域的资源协调者写入的数据。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一所述方法的步骤；或者，所述计算机程序被处理器执行时实现权利要求5至9任一所述方法的步骤；或者，所述计算机程序被处理器执行时实现权利要求10至11任一所述方法的步骤。
CN202011503003.9A 2020-12-17 2020-12-17 一种跨域数据传输方法、装置及存储介质 Active CN114650292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011503003.9A CN114650292B (zh) 2020-12-17 2020-12-17 一种跨域数据传输方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011503003.9A CN114650292B (zh) 2020-12-17 2020-12-17 一种跨域数据传输方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114650292A true CN114650292A (zh) 2022-06-21
CN114650292B CN114650292B (zh) 2024-01-30

Family

ID=81990696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011503003.9A Active CN114650292B (zh) 2020-12-17 2020-12-17 一种跨域数据传输方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114650292B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262474A (zh) * 2008-04-22 2008-09-10 武汉理工大学 一种基于跨域授权中介实现角色和组映射的跨域访问控制系统
CN101286845A (zh) * 2008-05-12 2008-10-15 华中科技大学 一种基于角色的域间访问控制系统
CN104133831A (zh) * 2014-02-25 2014-11-05 清华大学 跨域数据联接系统、跨域数据联接方法及节点
CN104243496A (zh) * 2014-10-11 2014-12-24 北京邮电大学 一种软件定义网跨域安全代理方法和系统
CN105045656A (zh) * 2015-06-30 2015-11-11 深圳清华大学研究院 基于虚拟容器的大数据存储与管理方法
US20160072726A1 (en) * 2014-09-10 2016-03-10 Mohit Soni Systems and methods for resource sharing between two resource allocation systems
WO2017166803A1 (zh) * 2016-03-30 2017-10-05 华为技术有限公司 一种资源调度方法及装置
CN107864211A (zh) * 2017-11-17 2018-03-30 中国联合网络通信集团有限公司 集群资源调度方法及系统
US20190138654A1 (en) * 2017-11-09 2019-05-09 Cloudera, Inc. Design-time information based on run-time artifacts in transient cloud-based distributed computing clusters
US20190227842A1 (en) * 2018-01-22 2019-07-25 Salesforce.Com, Inc. Capacity scheduling in a data-processing cluster
CN111190718A (zh) * 2020-01-07 2020-05-22 第四范式（北京）技术有限公司 实现任务调度的方法、装置及系统
CN111431850A (zh) * 2020-02-18 2020-07-17 北京网聘咨询有限公司 云计算中跨域安全认证方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262474A (zh) * 2008-04-22 2008-09-10 武汉理工大学 一种基于跨域授权中介实现角色和组映射的跨域访问控制系统
CN101286845A (zh) * 2008-05-12 2008-10-15 华中科技大学 一种基于角色的域间访问控制系统
CN104133831A (zh) * 2014-02-25 2014-11-05 清华大学 跨域数据联接系统、跨域数据联接方法及节点
US20160072726A1 (en) * 2014-09-10 2016-03-10 Mohit Soni Systems and methods for resource sharing between two resource allocation systems
CN104243496A (zh) * 2014-10-11 2014-12-24 北京邮电大学 一种软件定义网跨域安全代理方法和系统
CN105045656A (zh) * 2015-06-30 2015-11-11 深圳清华大学研究院 基于虚拟容器的大数据存储与管理方法
WO2017166803A1 (zh) * 2016-03-30 2017-10-05 华为技术有限公司 一种资源调度方法及装置
US20190138654A1 (en) * 2017-11-09 2019-05-09 Cloudera, Inc. Design-time information based on run-time artifacts in transient cloud-based distributed computing clusters
CN107864211A (zh) * 2017-11-17 2018-03-30 中国联合网络通信集团有限公司 集群资源调度方法及系统
US20190227842A1 (en) * 2018-01-22 2019-07-25 Salesforce.Com, Inc. Capacity scheduling in a data-processing cluster
CN111190718A (zh) * 2020-01-07 2020-05-22 第四范式（北京）技术有限公司 实现任务调度的方法、装置及系统
CN111431850A (zh) * 2020-02-18 2020-07-17 北京网聘咨询有限公司 云计算中跨域安全认证方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李跃;蔡超;顾青;姚一兆;钱勇;: "基于网络信任体系的电子政务跨域单点登录管理平台", 电子政务, no. 09 *
邹翔;沈寒辉;陈兵;: "基于双向防御的跨安全域访问控制方法研究", 信息网络安全, no. 10 *

Also Published As

Publication number Publication date
CN114650292B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN113169952B (zh) 一种基于区块链技术的容器云管理系统
CN109542611B (zh) 数据库即服务系统、数据库调度方法、设备及存储介质
ES2703901T3 (es) Sistema de archivo distribuido mediante nodos de consenso
US20220075653A1 (en) Scheduling method and apparatus, and related device
CN106843749B (zh) 写入请求处理方法、装置及设备
CN110825420B (zh) 分布式集群的配置参数更新方法、装置、设备及存储介质
US11860738B2 (en) User authorization for file level restoration from image level backups
US10819701B2 (en) Autonomous secrets management for a managed service identity
US8219990B2 (en) Techniques for managing virtual machine (VM) states
KR101941728B1 (ko) 클러스터화된 클라이언트 장애 해결 기법
US10691790B2 (en) Autonomous secrets management for a temporary shared access signature service
WO2017114262A1 (zh) 一种管理分布式存储系统的方法及分布式存储系统
CN108073823B (zh) 数据处理方法、装置及系统
CN110971700B (zh) 分布式锁的实现方法及装置
US9230110B2 (en) Accessing privileged objects in a server environment
WO2020232859A1 (zh) 分布式存储系统、数据写入方法、装置和存储介质
CN110289965B (zh) 一种应用程序服务的管理方法及装置
CN109522043B (zh) 一种配置数据的管理方法、装置及存储介质
CN114185558A (zh) 基于K8s的原生应用选主方法、装置及存储介质
WO2021082465A1 (zh) 一种保证数据一致性的方法及相关设备
CN106462472B (zh) 使用多个租赁服务器获取资源租赁
US11483158B2 (en) Distributed ledger device, distributed ledger system, and distributed ledger management method
CN112015563B (zh) 消息队列切换方法、装置、电子设备及存储介质
CN114650292B (zh) 一种跨域数据传输方法、装置及存储介质
CN111225007B (zh) 数据库连接方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant