CN111314407B - 用于处理元数据的通信设备和通信方法 - Google Patents

用于处理元数据的通信设备和通信方法 Download PDF

Info

Publication number
CN111314407B
CN111314407B CN201911164110.0A CN201911164110A CN111314407B CN 111314407 B CN111314407 B CN 111314407B CN 201911164110 A CN201911164110 A CN 201911164110A CN 111314407 B CN111314407 B CN 111314407B
Authority
CN
China
Prior art keywords
metadata
data
information
search
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911164110.0A
Other languages
English (en)
Other versions
CN111314407A (zh
Inventor
伊藤章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN111314407A publication Critical patent/CN111314407A/zh
Application granted granted Critical
Publication of CN111314407B publication Critical patent/CN111314407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

用于处理元数据的通信设备和通信方法。一种连接到网络的通信设备包括接收机、存储装置、索引生成器和停止请求器。所述接收机接收包括数据的属性信息和所述数据的访问信息的元数据。所述存储装置存储由所述接收机接收到的所述元数据。所述索引生成器从被包括在所述元数据中的所述属性信息提取关键字，并且将索引信息存储在所述存储装置中，在所述索引信息中所述关键字和用于识别所述元数据的信息彼此相关联。当存储在所述存储装置中的所述索引信息的量大于或者等于指定的阈值时，所述停止请求器向所述网络中的参与节点发送停止请求，所述停止请求是用于停止元数据的发送的请求。

Description

用于处理元数据的通信设备和通信方法
技术领域
本文讨论的实施例涉及用于处理元数据的通信设备和通信方法。
背景技术
数据分发服务(data distribution)在近些年已经开始变得普及。数据分发服务中的数据提供方可以向数据分发网络提供由这一数据提供方拥有的数据。数据用户可以使用被提供用于该数据分发网络的数据。
当数据分发网络的规模较大时，将难于找到存储期望数据的服务器。因而，创建针对被提供用于数据分发网络的数据的元数据。元数据包括被提供的数据的访问信息和属性信息。元数据被供应到一个或更多个网关。例如，网关可以被实现在由每一个公司运行的公司内网络中。
在从数据用户接收到与请求的数据有关的搜索请求时，网关向数据用户提供与所述请求相对应的元数据。然而，当网关并不具有与从数据用户接收到的请求相对应的元数据时，该网关从另一网关获取与接收到的请求相对应的元数据，并且将这一元数据提供给数据用户。在这种情形下，例如，网关可以将搜索请求广播到与数据分发网络连接的所有网关。
数据用户根据被包括在所获取的元数据中的属性信息来决定数据是否有用。当决定数据有用时，数据用户通过使用访问信息访问存储所述数据的站点(site)。结果，数据用户能够使用期望的数据。
一种提出的分布式数据库设备是即使在其它位置中的服务器计算机已经停止工作也能够经由这一设备所属于的部门的服务器计算机来使用数据库的一种设备(例如，日本在审专利公开No.10-055301)。一种提出的用于分布式数据库控制系统的技术是一种用于避免负载增长的系统，该负载增长可能由被提供用于被密集访问的某些站点的服务器造成(例如，日本在审专利公开No.10-116393)。已经提出用于在不需要大容量存储装置的情况下执行非常快速的数据检索的技术(例如，日本在审专利公开No.2006-293441).
在上面描述的数据分发网络中，针对要提供的数据创建的元数据被供应到一个或更多个网关。在这一情形下，例如，元数据可以由诸如区块链(block chain)的分发注册库(distribution registry)管理。多个计算机检查网络上的事务业务(transaction)，并且仅已经构建一致性(consensus)的事务被记录在分发注册库中。因而，能够在不提供用于管理整个网络的服务器的情况下建立高度可靠的系统。
然而，在其中元数据被以分布式方式管理的配置中，难于确定哪一个节点保持针对期望数据的元数据。因而，当数据分发网络的规模较大时，与被广播到所有参与节点的搜索请求相关的业务将增加。
例如，如果每一个参与节点(即，每一个网关)保持增加数量的元数据，这一问题可以得到解决。然而，网关管理员会在增加用于保持元数据的存储器容量方面感觉到阻力。因而，即使一些网关保持大量的元数据，只要其它网关仅保持少量的元数据，与搜索请求的广播相关联的业务量就不会显著降低。
本发明一个方面的目的在于减少用于在网络中提取期望数据的业务。
发明内容
根据实施例的一个方面，一种连接到网络的通信设备包括：接收机，其被配置为接收包括数据的属性信息和该数据的访问信息的元数据；存储装置，其被配置为存储由所述接收机接收到的元数据；索引生成器，其被配置为从被包括在所述元数据中的属性信息中提取关键字并且将索引信息存储在所述存储装置中，在所述索引信息中所述关键字与用于识别所述元数据的信息彼此相关联；以及停止请求器，其被配置为当存储在所述存储装置中的所述索引信息的量大于或者等于指定阈值时向所述网络中的参与节点发送停止请求，所述停止请求是用于停止元数据的发送的信息。
附图说明
图1示出了根据本发明实施例的通信系统的示例；
图2示出了元数据的示例；
图3示出了网关设备的配置的示例；
图4示出了元数据表的示例；
图5示出了在数据分发网络中元数据的发送序列的示例；
图6是指示由已接收到元数据的网关设备执行的处理的示例的流程图；
图7是指示由已从数据提供方接收到注册元数据的请求的网关设备执行的处理示例的流程图；
图8是指示由已从数据用户接收到搜索请求的网关设备执行的处理的示例的流程图；
图9是指示由已从另一参与节点接收到搜索请求的网关设备执行的处理的示例的流程图；
图10示出了作为网关设备操作的计算机的硬件配置的示例。
具体实施方式
图1示出了根据本发明实施例的通信系统的示例。根据本发明实施例的通信系统100包括多个网关设备1(1a-1d)。网关设备1连接到数据分发网络2。例如，数据分发网络2可以包括多个路由器。数据分发网络2可以是用于转发与数据分发服务相关的数据和信息的虚拟网络。
每一个网关设备1设置在公司内网络3与数据分发网络2之间。公司内网络3a-3d可以是分别由公司A-D使用的私有网络(例如，LAN和/或WAN)。网关设备1a-1d可以分别由公司A-D管理。
一个或更多个终端设备4连接到每一个公司内网络3。例如，终端设备4可以是公司中的用户使用的计算机。另选地，终端设备4可以是在公司中被管理的服务器计算机。在图1中描绘的示例中，终端设备4a连接到公司内网络3a中的网关设备1a。终端设备4b连接到公司内网络3b中的网关设备1b。
每一个用户可以为数据分发网络2提供他/她拥有的数据。因此，每一个用户可以通过使用数据分发网络2为其它用户提供他/她拥有的数据。每一个用户可以通过使用数据分发网络2获取从其他用户提供的数据。
在这一示例中，属于公司A的用户(以下将其称为数据提供方)向数据分发网络2提供数据D1。终端设备4a是由数据提供方使用的计算机。属于公司B的用户(以下将其称为数据用户)通过使用数据分发网络2来使用数据D1。终端设备4b是由数据用户使用的计算机。
数据提供方可以指定被允许访问数据D1的对象。具体地，数据提供方可以指定被允许使用数据D1的用户。在这一示例中，数据提供方允许公司B和公司C中的用户使用数据D1。
数据提供方在向数据分发网络2提供数据D1时创建针对数据D1的元数据(以下将其称为元数据MD1)。元数据MD1包括数据D1的访问信息和属性信息。访问信息指示用于访问数据D1的信息。因此，被包括在元数据MD1中的访问信息例如指示存储有数据D1的存储区域的地址或者URL。属性信息包括描述数据D1的概要(compendium)的信息。具体地说，被包括在元数据MD1中的属性信息例如描述数据D1中包括什么类型的信息。
图2示出了元数据的示例。在这一示例中，元数据MD1包括数据提供方ID、访问信息、被允许访问数据的节点以及描述。数据提供方ID指示提供数据D1的用户的ID。访问信息指示关于存储数据D1的站点的信息(例如，URL)。被允许访问数据的节点由数据提供方指定，其指示能够使用数据D1的用户。描述是对数据D1的细节的简要描述。
当向数据分发网络2提供数据D1时，数据提供方向网关设备1a发送针对数据D1创建的元数据MD1。接着，网关设备1a将从数据提供方接收到的元数据MD1注册在网关设备1a中的指定存储器区域中。因而，元数据MD1被注册在网关设备1a中。网关设备1a还将元数据MD1发送到在元数据MD1中被指定为被允许访问数据的参与节点。在图2中描绘的示例中，公司B和公司C被指定为被允许访问数据的节点。在这种情形下，网关设备1a向网关设备1b和1c发送元数据MD1。网关设备1a不向网关设备1d发送元数据MD1。“参与节点”指示参与由数据分发网络2提供的数据分发服务的用户所属于的节点。
在从另一节点接收到元数据MD1时，每一个网关设备1执行针对该元数据的注册处理。下面描述了当网关设备1b从网关设备1a接收到元数据MD1时执行的注册处理。
图3示出了网关设备1的配置的示例。如在图3中描绘的，网关设备1包括接收机11、发射机12、控制器13、存储装置14和接口15。网关设备1可以包括图3中未描绘的其它电路或功能。
接收机11通过数据分发网络2接收从其它参与节点(在这一示例中为网关设备1a、1c和1d)发送的数据和/或信息。发射机12通过数据分发网络2向其它参与节点发送数据和/或信息。接口15连接到公司内网络3。
控制器13控制网关设备1的操作。控制器13包括索引生成器21、停止请求器22和提取器23，将在后面对之进行描述。控制器13可以包括图3中未描绘的其它功能。存储装置14包括元数据存储装置31。此外，存储装置14存储元数据表32和数据量表33。
网关设备1b的接收机11接收从网关设备1a发送的元数据MD1。接收机11将接收到的元数据MD1传送到控制器13。
控制器13将接收到的元数据MD1存储在元数据存储装置31中。元数据存储装置31存储网关设备1b从其它参与节点接收到的元数据。控制器13还将从网关设备1b下的用户(即，连接到公司内网络3b的用户)接收到的元数据存储在元数据存储装置31中。
索引生成器21生成针对所接收到的元数据的索引信息。具体地说，索引生成器21从被包括在元数据MD1中的属性信息提取关键字。索引生成器21生成索引信息，其中从属性信息提取的关键字与用于识别元数据的信息彼此相关联。由索引生成器21生成的索引信息被注册在元数据表32中。
例如，当网关设备1b接收到在图2中描绘的元数据MD1时，索引生成器21从属性信息中的“描述”提取关键字。用于从给定句子中提取被认为是重要的字词的方法并不受到特别限制并且可以使用任何公知的技术实现。在这一示例中，通过提取处理提取“顾客”、“年龄”、“性别”、“便利店”和“购买历史”。在这种情形下，索引生成器21将与元数据MD1相关的索引信息注册在元数据表32中，如在图4中所描绘的。在元数据表32中记录的“ID”可以是用于识别由元数据描述的数据的信息，而不是用于识别元数据的信息。
注册处理由接收到元数据的每一个网关设备1执行。例如，可以将元数据MD1从网关设备1a发送到网关设备1b和1c。因而，网关设备1c也执行类似的注册处理。
每一个公司内网络3中的用户(在这一示例中是数据用户)可以通过使用被提供到该用户所属于的节点的网关设备1的元数据来搜索期望数据。在这一情形下，例如，数据用户可以通过使用从数据分发网络2提供的数据搜索应用来输入关键字。这一关键字由网关设备1接收。例如，由连接到公司内网络3b的数据用户输入的关键字可以由网关设备1b接收。
网关设备1b的提取器23通过从数据用户接收到的关键字来搜索元数据表32。提取器23决定包括从数据用户接收到的关键字的索引信息是否已经被注册在元数据表32中。当关键字匹配时，提取器23指定与这一关键字相对应的元数据并且从元数据存储装置31获取该指定的元数据。提取器23向数据用户发送根据关键字从元数据存储器装置31获取的元数据。
例如，当“关键字：便利店和购买历史”从图3中描绘的终端设备(数据用户)4b输入时，提取器23可以通过搜索在图4中描绘的元数据表32来指定MD1。接着，提取器23从元数据存储装置31获取元数据MD1并且将这一元数据发送到终端设备4b。
数据用户按照上面描述的方式获取与输入的关键字相对应的元数据。如在图2中指示的，元数据包括由这一元数据描述的数据的访问信息。因而，数据用户可以根据访问信息使用该数据。
然而，存储装置14的尺寸受到限制，并且元数据存储装置31和/或元数据表32可能需要减小尺寸。因此，根据本发明的实施例，设置网关设备1的元数据表32的尺寸的上限。设置元数据表32的尺寸的上限将导致限制被存储在元数据存储装置31中的元数据的量。
元数据表32的尺寸由停止请求器22监测。具体地说，每当索引信息被添加到元数据表32时，停止请求器22决定被注册在元数据表32中的索引信息的量是否大于或等于指定的阈值。在这一情形下，停止请求器22可以决定索引信息已被注册在元数据表32中的记录数量是否大于或等于指定的阈值。
当被注册在元数据表32中的索引信息的量大于或等于指定的阈值时，停止请求器22生成作为停止发送元数据的请求的停止请求。停止请求被发送到数据分发网络2中的每一个参与节点。例如，当在图1或图3中描绘的网关设备1b已生成了停止请求时，网关设备1b的发射机12可以将这一停止请求发送到网关设备1a、1c和1d。
在接收到停止请求时，每一个网关设备1停止向作为停止请求的源的节点发送元数据。例如，当网关设备1a已从网关设备1b接收到停止请求时，网关设备1a可以停止向网关设备1b发送元数据。然而，网关设备1a不停止向除了网关设备1b之外的网关设备1发送元数据。
已接收到停止请求的网关设备1生成数据量信息。数据量信息指示在网关设备1接收到停止请求之后已从网关设备1下的用户提供给数据分发网络2的数据的量。另选地，数据量信息指示在网关设备1接收到停止请求之后已从网关设备1下的用户提供到数据分发网络2的数据产品(data product)的数量。接着，已接收到停止请求的网关设备1将生成的数据量信息发送到作为停止请求的源的节点。例如，当网关设备1a已从网关设备1b接收到停止请求时，网关设备1a可以生成数据量信息并且将该数据量信息发送到网关设备1b。网关设备1a可以生成指示在新提供到数据分发网络2的数据当中网关设备1b被允许访问的数据的量的数据量信息。在这一情形下，数据量信息指示在新提供到数据分发网络2的数据当中作为停止请求的源的节点被允许访问的数据的量。
例如，可以在每次网关设备1从用户接收到与新数据相对应的元数据时生成或者更新数据量信息。每次生成或者更新数据量信息时，网关设备1可以向作为停止请求的源的节点发送最新的数据量信息。另选地，网关设备1可以周期性地向作为停止请求的源的节点发送最新数据量信息。例如，可以每小时生成和发送数据量信息。
图5示出了数据分发网络2中的元数据的发送序列的示例。在这一示例中，属于公司A的用户(数据提供方)向数据分发网络2提供数据。在这一情形下，与每一条数据相对应的元数据被从数据提供方发送到网关设备1a。假设数据能够由公司B和C访问。
在这一情形下，网关设备1a向网关设备1b和1c发送与每一条数据相对应的元数据。网关设备1b和1c分别将接收到的元数据存储在元数据存储装置31中，生成针对所接收到的元数据的索引信息，并且将该索引信息注册在元数据表32中。网关设备1a也将元数据存储在元数据存储装置31中、生成针对元数据的索引信息、并且将索引信息注册在元数据表32中。
假设存储在网关设备1b的元数据表32中的索引信息的量已变得大于或者等于阈值。在这一情形下，网关设备1b向每一个参与节点(参照图5的网关设备1a和1c)发送停止请求。
在从网关设备1b接收到停止请求之后，网关设备1a停止向网关设备1b发送元数据。例如，当从数据提供方接收到与公司B和C被允许访问的数据相对应的元数据时，网关设备1a将该元数据发送到网关设备1c但是不将这一元数据发送到网关设备1b。在图5所描绘的示例中，网关设备1a仅向网关设备1c发送元数据MD2和MD3。
网关设备1a对在从网关设备1b接收到停止请求之后从数据提供方提供到数据分发网络2的数据产品的数量进行计数。网关设备1a生成数据量信息并且向作为停止请求的源的节点(即，网关设备1b)发送数据量信息，该数据量信息指示计数的结果。
在图5中描绘的示例中，元数据MD2被注册用于在网关设备1a接收到停止请求之后由数据提供方提供的第一数据。在这一情形下，网关设备1a向网关设备1b发送数据量信息(图5中的“数据量信息(1)”)，该数据量信息指示在停止请求做出之后已向数据分发网络2提供了一个数据产品。随后，元数据MD3被注册用于在网关设备1a接收到停止请求之后由数据提供方提供的第二数据。在这一情形下，网关设备1a向网关设备1b发送数据量信息(图5中的“数据量信息(2)”)，该数据量信息指示在停止请求做出之后已向数据分发网络2提供了两个数据产品。
当从另一参与节点接收到数据量信息时，网关设备1更新数据量表33。如在图3中描绘的，数据量表33记录彼此相关联的节点ID和数据量。“节点ID”指示作为数据量信息的源的节点。“数据量”指示由数据量信息报告的数据产品的数量。
如上所述，当存储在某一网关设备1(下文中将其称为“这一网关设备”)的元数据表32中的索引信息的量已变得大于或者等于阈值时，这一网关设备向参与节点发送停止请求。然后，这一网关设备不再从参与节点接收元数据。因而，即使当参与节点具有被指向(addressed to)这一网关设备的元数据，该元数据也不会被发送到这一网关设备。在这一情形下，参与节点的网关设备向这一网关设备发送数据量信息，该数据量信息指示如果没有做出停止请求的话将被发送给这一网关设备的元数据的量。因此，在这一网关设备的数据量表33中记录的数据量指示，对于每一个参与节点的，应该已被发送到这一网关设备但是没有被发送到这一网关设备而是被存储在参与节点处的元数据的量。
当网关设备1已从数据用户接收到用于数据搜索的关键字时，可以引用数据量表33。具体地说，当网关设备1已从数据用户接收到关键字时，提取器23使用关键字搜索元数据表32。当关键字匹配时，提取器23从元数据存储装置31获取与关键字相对应的元数据并且将这一元数据发送到数据用户。当关键字不匹配时，提取器23引用数据量表33以指定要对其做出执行搜索的请求的参与节点。接着，提取器23针对指定的参与节点做出请求以执行数据搜索。
作为示例，提取器23可以指定在数据量表33中具有最大数据量的参与节点。提取器23针对指定的参与节点做出请求以执行数据搜索。在图3中描绘的示例中，节点C将被指定。在给定网关设备的数据量表33中记录的数据量指示应该已被发送给网关设备1b但是没有被发送给网关设备1b而是被存储在参与节点处的元数据的量。因而，具有大数据量的参与节点极有可能保持有与关键字相对应的元数据。因此，提取器23针对节点C(即，网关设备1c)做出请求以执行数据搜索。响应于来自网关设备1b的搜索请求，网关设备1c通过使用网关设备1c所属于的节点中的元数据表32来执行搜索并且将搜索结果发送给网关设备1b。
如上所述，在存储在元数据表32中的索引信息的量已变得大于或者等于阈值时，网关设备1不再从其它参与节点接收元数据。然而，通过引用数据量表33，网关设备1能够指定极有可能存储有与用户需要的数据相对应的元数据的参与节点。因此，极有可能在不向所有节点广播搜索请求的情况下获取与用户需要的数据相对应的元数据。因而，能够减少与元数据的搜索相关联的业务量，同时减少被存储在存储装置14中的信息(即，元数据)的量。
图6是指示由已接收到元数据的网关设备1执行的处理的示例的流程图。网关设备1可以从网关设备1所属于的节点内的用户或者从其它参与节点接收元数据。
在S1中，控制器13等待元数据。通过接收机11接收从另一参与节点发送的元数据，同时通过接口15接收从这一控制器所属于的节点内的用户发送的元数据。
在S2中，控制器13将接收到的元数据存储在元数据存储装置31中。在S3中，索引生成器21生成针对接收到的元数据的索引信息。索引信息包括从元数据提取的关键字以及用于识别元数据的信息。在S4中，所生成的索引信息被存储在元数据32中。
在S5中，停止请求器22决定被存储在元数据表32中的索引信息的量是否大于或者等于阈值。当索引信息的量大于或者等于阈值时，在S6中，停止请求器22向参与节点发送停止请求。停止请求是停止发送元数据的请求。除了用于做出停止发送元数据的请求的信息之外，停止请求可以包括用于请求发送数据量信息的请求，该数据量信息指示在向参与节点发送停止请求之后从参与节点向数据分发网络2提供的数据的量(或者数据产品的量)。
已接收到停止请求的网关设备1停止发送元数据并且将数据量信息发送到作为停止请求的源的节点。数据量信息指示在接收到停止请求之后被提供给数据分发网络2的数据的量(或者与在接收到停止请求之后被提供到数据分发网络2的数据相对应的元数据的量)。
在S7中，控制器13等待从另一参与节点发送的数据量信息。当接收到数据量信息时，控制器13在S8中根据接收到的数据量信息更新数据量表33。数据量表33针对每一个参与节点记录由数据量信息报告的最新数据量。
图7是指示由已从数据提供方接收到注册元数据的请求的网关设备1执行的处理的示例的流程图。当向数据分发网络2提供由数据提供方所拥有的数据时，数据提供方生成针对该数据的元数据并且将这一元数据注册在网关设备1中。
在S11中，控制器13等待来自数据提供方的注册元数据的请求。当接收到注册元数据的请求时，控制器13执行S12-S17的处理。
在S12中，控制器13执行注册处理。这一注册处理基本上与在图6中描绘的S2-S4的处理相同。相应地，控制器13将从数据提供方接收到的元数据存储在元数据存储装置31中并且将针对元数据生成的索引信息存储在元数据表32中。
在S13中，控制器13决定是否已从另一参与节点接收到停止请求。当还没有接收到停止请求时，控制器13在S14中向被允许访问与元数据相对应的数据的节点发送元数据。被允许访问数据的对象由数据提供方指定并且由在图2中描绘的元数据描述。
当已接收到停止请求时，控制器13在S15中向除了作为停止请求的源的节点之外的被允许访问数据的节点发送元数据。在S16中，控制器13增加(increment)数据量信息。在这一示例中，最新数据量信息被记录在存储装置14内的指定区域中。在这一情形下，数据量信息指示在停止请求做出之后被提供给数据分发网络2的总数据量。
在S17中，控制器13向作为停止请求的源的节点发送数据量信息。然而，控制器13不需要每次从数据提供方接收到元数据时都发送数据量信息。例如，与新的元数据的接收无关，控制器13可以周期性地发送数据量信息。在每次从数据提供方接收到元数据时都发送数据量信息的情况下，数据量信息可以指示“新提供了数据”而非指示在停止请求做出之后被提供给数据分发网络2的数量的“总”量。在这种情况下，数据量信息指示值“1”。
图8是指示由已从数据用户接收到搜索请求的网关设备1执行的处理的示例的流程图。数据用户通过使用数据搜索应用输入与期望数据相关的关键字。接着，搜索关键字被从终端设备4发送到网关设备1。
在S21中，提取器23等待来自数据用户的搜索关键字。在接收到搜索关键字时，提取器23执行S22-S30的处理。
在S22-S23中，提取器23使用从数据用户输入的关键字搜索在本地存储装置中的元数据表32。当在搜索中匹配到关键字时，提取器23在S24中从元数据存储装置31获取与搜索关键字相对应的元数据。接着，提取器23将获取的元数据发送到数据用户。
当在搜索中未匹配到关键字时，提取器23在S25中决定停止请求器22是否已向另一参与节点发送了停止请求。当已发送了停止请求时，提取器23在S26中根据在数据量表33中记录的数据量来指定搜索节点。作为示例，具有在数据量表33中记录的最大数据量的参与节点可以被指定为搜索节点。提取器23向指定的搜索节点发出搜索请求。在这一情形中，提取器23向搜索节点发送从数据用户输入的搜索关键字。
已接收到搜索请求的网关设备1搜索与关键字相对应的元数据。搜索结果将被发送到作为搜索请求的源的节点。
在S27中，提取器23从搜索节点中的网关设备1接收搜索结果。在S28中，提取器23检查接收到的搜索结果是否包括元数据。当接收到的搜索结果包括元数据时，提取器23在S29中将元数据发送到数据用户。
当接收到的搜索结果不包括元数据时，提取器23可以在S30中执行相关处理。例如，相关处理可以是提取器23指定在数据量表33中具有第二大数据量的参与节点并且向这一参与节点发出搜索请求的处理。在这一情形下，提取器23可以按照数据量降低的顺序访问参与节点，直到获取了元数据。另选地，提取器23可以向所有参与节点发出搜索请求。在这些情况下，在执行相关处理之后，提取器23的处理返回到S27。
当在本地存储装置中未匹配到关键字(S23：否)并且还没有发送停止请求(S25：否)时，提取器23向数据用户提供指示没有找到与搜索关键字相对应的元数据的消息。当在本地存储装置中未匹配到关键字并且没有从另一参与节点接收到元数据时，向数据用户提供类似的消息。
图9是指示由已从另一参与节点接收到搜索请求的网关设备1执行的处理示例的流程图。例如，搜索请求可以在图8中的S26中被发送。搜索请求包括由数据用户输入的搜索关键字。
在S31中，控制器13等待要从另一参与节点发送的搜索请求。在接收到搜索请求时，控制器13执行S32-S37的处理。
S32-S34的处理基本上与图8中的S22-S24的处理相同。因而，提取器23使用搜索关键字搜索本地存储装置中的元数据表32。当在搜索中匹配到关键字时，提取器23从元数据存储装置31获取与搜索关键字相对应的元数据。
在S35中，提取器23检查作为搜索请求的源的节点是否已被允许访问与所获取的元数据相对应的数据。被允许访问提被供给数据分发网络2的数据的节点在相对应的元数据中描述，如图2中所描绘的。当作为搜索请求的源的节点被允许访问与所获取的元数据相对应的数据时，提取器23在S36中将元数据发送到这一节点。当作为搜索请求的源的节点未被允许访问与所获取的元数据相对应的数据时，提取器23在S37中向这一源节点发送指示没有找到与搜索关键字相对应的元数据的消息。当在S33中在搜索中未匹配到关键字时，在S37中向作为搜索请求的源的节点发送指示没有找到元数据的消息。
数据提供方可以删除通过这一数据提供方提供给数据分发网络2的数据。当数据提供方已删除了数据时，用于识别删除的数据的信息被报告给参与节点。在接收到这一报告时，每一个参与节点从元数据存储装置31删除相对应的元数据并且从元数据表32删除根据所述元数据生成的索引信息。当被存储在元数据表32中的索引信息的量由于删除而变得小于阈值时，停止请求器22向每一个参与节点发送用于使之前发送的停止请求失效的失效请求。已接收到失效请求的参与节点的网关设备1恢复向作为失效请求的源的节点发送元数据。
另一实施例
当存储在元数据表32中的索引信息的量已变得大于或者等于阈值时，控制器13可以创建在元数据表32中注册的关键字的列表并且将这一列表发送给每一个参与节点。已接收到关键字列表的网关设备1从本地节点中的存储装置14获取与被包括在关键字列表中的关键字相关联的元数据并且将所获取的元数据发送到作为关键字列表的源的节点。在这一实施例中，在本地节点中执行与数据用户输入的关键字有关的搜索。
当存储在元数据表32中的索引信息的量已变得大于或者等于阈值时，控制器13不需要向其它参与节点发送停止请求。在这一情形下，网关设备1继续从其它参与节点接收元数据。因此，当存储在元数据表32中的索引信息的量已变得大于或者等于阈值时，网关设备1可以根据预先确定的规则而丢弃一条或者更多条元数据和索引信息。例如，可以丢弃与不流行数据(即，很少搜索的数据)相对应的元数据和索引信息。
图10示出了作为网关设备1操作的计算机的硬件配置的示例。计算机200包括处理器201、存储器202、存储设备203、I/O设备204、记录介质设备205和通信接口206。
处理器201可以通过执行存储在存储设备203中的通信程序来提供网关设备1的功能。具体地说，处理器201可以通过执行描述在图6-图9中描绘的流程图的处理的通信程序而提供注册元数据的功能以及访问元数据的功能。图3中描绘的控制器13由处理器201实现。
存储器202例如是半导体存储器并且用作处理器201的工作区域。存储装置设备203可以被实现在计算机200中或者可以连接到计算机200。在图3中描绘的存储装置14由存储器202和/或存储设备203实现。I/O设备204从用户或者网络管理员接受指令的输入。I/O设备204可以输出由处理器201执行的处理的结果。记录介质设备205读取在可移除记录介质207中记录的信号。通信程序可以被记录在可移除记录介质207中。通信接口206提供用于连接到网络的接口。图3中描绘的接收机11、发射机12和接口15与通信接口206相对应。

Claims (5)

1.一种由连接到网络的通信设备执行的通信方法，所述通信方法包括以下步骤：
接收包括数据的属性信息和所述数据的访问信息的元数据；
将所述元数据存储在第一存储装置中；
从被包括在所述元数据中的所述属性信息提取关键字；
将索引信息存储在第二存储装置中，在所述索引信息中，从所述属性信息提取出的所述关键字与用于识别所述元数据的信息彼此相关联；以及
当存储在所述第二存储装置中的所述索引信息的量大于或者等于指定的阈值时，向所述网络中的参与节点发送停止请求，所述停止请求是用于停止元数据的发送的请求，
其中，
当从所述参与节点接收到指示在所述停止请求被发送到所述参与节点之后所述参与节点已提供到所述网络的数据的量的数据量信息时，所述数据量信息被记录，同时所述数据量信息与用于识别所述参与节点的信息相关联；
当存储在所述第二存储装置中的所述索引信息包括由用户输入的搜索关键字时，从所述第一存储装置提取与所述搜索关键字相对应的元数据，并且被提取出的元数据被提供给所述用户；并且
当存储在所述第二存储装置中的所述索引信息不包括所述搜索关键字时，用于利用所述搜索关键字执行搜索的搜索请求被发送到根据所述数据量信息指定的参与节点。
2.根据权利要求1所述的通信方法，其中，
所述停止请求做出停止元数据的发送的请求并且做出发送数据量信息的请求，所述数据量信息指示在所述停止请求被发送到所述参与节点之后所述参与节点已提供到所述网络的数据的量。
3.根据权利要求1所述的通信方法，其中，
当存储在所述第二存储装置中的所述索引信息不包括所述搜索关键字时，根据所述数据量信息确定在所述停止请求被发送之后已提供最大数据量的参与节点，并且所述搜索请求被发送至所确定的参与节点以利用所述搜索关键字执行搜索。
4.一种连接到网络的通信设备，所述通信设备包括：
接收机，该接收机被配置为接收包括数据的属性信息和所述数据的访问信息的元数据；
存储装置，该存储装置被配置为存储由所述接收机接收到的所述元数据；
索引生成器，该索引生成器被配置为从被包括在所述元数据中的所述属性信息提取关键字，并且将索引信息存储在所述存储装置中，在所述索引信息中所述关键字和用于识别所述元数据的信息彼此相关联；以及
停止请求器，该停止请求器被配置为当存储在所述存储装置中的所述索引信息的量大于或者等于指定的阈值时向所述网络中的参与节点发送停止请求，所述停止请求是用于停止元数据的发送的请求，
其中，
当从所述参与节点接收到指示在所述停止请求被发送到所述参与节点之后所述参与节点已提供到所述网络的数据的量的数据量信息时，所述数据量信息被记录，同时所述数据量信息与用于识别所述参与节点的信息相关联；
当存储在所述存储装置中的所述索引信息包括由用户输入的搜索关键字时，从所述存储装置提取与所述搜索关键字相对应的元数据，并且被提取出的元数据被提供给所述用户；并且
当存储在所述存储装置中的所述索引信息不包括所述搜索关键字时，用于利用所述搜索关键字执行搜索的搜索请求被发送到根据所述数据量信息指定的参与节点。
5.一种在通信系统中使用的通信方法，所述通信系统包括通过网络连接的第一通信设备和第二通信设备，其中，
所述第一通信设备
接收包括数据的属性信息和所述数据的访问信息的元数据，
将所述元数据存储在第一存储装置中，
从被包括在所述元数据中的所述属性信息提取关键字，
将索引信息存储在第二存储装置中，在所述索引信息中，从所述属性信息提取出的所述关键字与用于识别所述元数据的信息彼此相关联，并且
当存储在所述第二存储装置中的所述索引信息的量大于或者等于指定的阈值时，向所述第二通信设备和所述网络中的参与节点发送停止请求，所述停止请求是用于停止元数据的发送的请求，
所述第二通信设备
在从所述第一通信设备接收到所述停止请求之前，向所述第一通信设备发送与经由所述第二通信设备提供到所述网络的数据相对应的元数据，并且
在从所述第一通信设备接收到所述停止请求之后，停止向所述第一通信设备发送元数据，并且向所述第一通信设备发送数据量信息，所述数据量信息指示在接收到所述停止请求之后经由所述第二通信设备提供到所述网络的数据的量，并且
所述第一通信设备
将所述数据量信息与用于识别所述第二通信设备的信息相关联并且记录所述数据量信息和所述用于识别所述第二通信设备的信息，
当存储在所述第二存储装置中的所述索引信息包括由用户输入的搜索关键字时，从所述第一存储装置获取与所述搜索关键字相对应的元数据并且将所获取的元数据提供到所述用户，并且
当存储在所述第二存储装置中的所述索引信息不包括所述搜索关键字时，向根据所述数据量信息指定的参与节点发送用于利用所述搜索关键字执行搜索的搜索请求。
CN201911164110.0A 2018-12-12 2019-11-25 用于处理元数据的通信设备和通信方法 Active CN111314407B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-232353 2018-12-12
JP2018232353A JP7131357B2 (ja) 2018-12-12 2018-12-12 通信装置、通信方法、および通信プログラム

Publications (2)

Publication Number Publication Date
CN111314407A CN111314407A (zh) 2020-06-19
CN111314407B true CN111314407B (zh) 2022-12-13

Family

ID=68762374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911164110.0A Active CN111314407B (zh) 2018-12-12 2019-11-25 用于处理元数据的通信设备和通信方法

Country Status (4)

Country Link
US (1) US11057470B2 (zh)
EP (1) EP3667509B1 (zh)
JP (1) JP7131357B2 (zh)
CN (1) CN111314407B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117076391B (zh) * 2023-10-12 2024-03-22 长江勘测规划设计研究有限责任公司 一种水利元数据管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606743A (zh) * 2002-07-23 2005-04-13 三星电子株式会社 元数据的索引结构、提供元数据索引的方法和使用元数据索引的元数据搜索方法及设备
CN107251529A (zh) * 2015-02-09 2017-10-13 三星电子株式会社 用于在内容传输网络系统中的服务器之间传输和接收信息的方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1055301A (ja) 1996-08-13 1998-02-24 Mitsubishi Electric Corp 分散型データベース装置
JP3527596B2 (ja) 1996-10-11 2004-05-17 三菱電機株式会社 分散型データベース管理システム
US6167029A (en) * 1998-10-13 2000-12-26 Xaqti Corporation System and method for integrated data flow control
WO2003060764A1 (fr) * 2002-01-16 2003-07-24 Fujitsu Limited Systeme de recherche d'informations
JP4418286B2 (ja) * 2003-07-14 2010-02-17 富士通株式会社 分散型ストレージシステム
US8543723B2 (en) * 2004-07-27 2013-09-24 Sony Corporation Home network system with transmission error recovery
US7644107B2 (en) * 2004-09-30 2010-01-05 Microsoft Corporation System and method for batched indexing of network documents
JP2006293441A (ja) 2005-04-05 2006-10-26 Two Space Co Ltd 高速なデータ検索を可能にするコンピュータシステム、サーバ装置、プログラムおよび記録媒体
US7602724B2 (en) * 2005-11-14 2009-10-13 Cisco Technology, Inc. Method and apparatus for transmitting circuitry that transmit data at different rates
US7457892B2 (en) * 2006-06-05 2008-11-25 Freescale Semiconductor, Inc. Data communication flow control device and methods thereof
KR20080088704A (ko) * 2007-03-30 2008-10-06 삼성전자주식회사 광대역 무선접속 시스템에서 멀티캐스트 및 브로드캐스트서비스를 위한 장치 및 방법
KR20110065100A (ko) * 2009-12-09 2011-06-15 삼성전자주식회사 멀티미디어 스트리밍 서비스를 지원하는 방법 및 장치
WO2011116502A1 (en) * 2010-03-26 2011-09-29 Nec(China) Co., Ltd. Indexing server and method therefor
WO2013025553A2 (en) * 2011-08-12 2013-02-21 Splunk Inc. Data volume management
US9262420B1 (en) * 2012-04-23 2016-02-16 Google Inc. Third-party indexable text

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606743A (zh) * 2002-07-23 2005-04-13 三星电子株式会社 元数据的索引结构、提供元数据索引的方法和使用元数据索引的元数据搜索方法及设备
CN107251529A (zh) * 2015-02-09 2017-10-13 三星电子株式会社 用于在内容传输网络系统中的服务器之间传输和接收信息的方法和装置

Also Published As

Publication number Publication date
JP2020095434A (ja) 2020-06-18
US20200195720A1 (en) 2020-06-18
CN111314407A (zh) 2020-06-19
EP3667509B1 (en) 2022-06-01
EP3667509A1 (en) 2020-06-17
JP7131357B2 (ja) 2022-09-06
US11057470B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
US8171008B2 (en) Data retrieval
US9888089B2 (en) Client side cache management
KR100514149B1 (ko) 데이터 네트워크의 정보 검색 및 분석 방법
JP4997950B2 (ja) ネットワーク管理システム、ネットワーク管理プログラムおよびネットワーク管理方法
US8392407B2 (en) Method, apparatus and system of searching and downloading mobile telephone file
KR100990098B1 (ko) 데이터 처리 시스템, 데이터 처리 방법, 정보 처리 디바이스, 및 컴퓨터 판독가능 기록 매체
EP1376989A2 (en) Method and apparatus for determination of device capabilities on a network
US20060212265A1 (en) Method and system for assessing quality of search engines
US20130117312A1 (en) Method and server for pushing information proactively
KR101143217B1 (ko) 컴퓨터 신원을 관리하는 방법, 시스템 및 장치
CN104283723B (zh) 网络访问日志处理方法及装置
US20020032781A1 (en) Intermediary server apparatus and an information providing method
US20240176829A1 (en) Token-based authentication for a proxy web scraping service
CN101551813A (zh) 网络连接设备、搜索设备及搜集搜索引擎数据源的方法
US20100332592A1 (en) Data processing device and data retriever
WO2022057525A1 (zh) 一种数据找回方法、装置、电子设备及存储介质
CN111314407B (zh) 用于处理元数据的通信设备和通信方法
US7764701B1 (en) Methods, systems, and products for classifying peer systems
JP3811615B2 (ja) 情報配信システム、装置及び方法並びに記録媒体
EP3961414B1 (en) Method and apparatus for processing time records
US20160050292A1 (en) Local web resource access
JPH1198162A (ja) 連続データアクセス方法
KR100857816B1 (ko) 이동 단말기를 이용한 정보 검색자 상호간의 정보 교환시스템 및 그 방법
KR100545744B1 (ko) 클러스터링 환경에서의 모바일 비즈니스 응용 서버간 콘텐츠 캐시 동기화 방법
JP5071990B2 (ja) データベース装置、データベースシステム、キャッシュメンテナンス方法およびそのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant