JP2013536492A5 - - Google Patents

Download PDF

Info

Publication number
JP2013536492A5
JP2013536492A5 JP2013518377A JP2013518377A JP2013536492A5 JP 2013536492 A5 JP2013536492 A5 JP 2013536492A5 JP 2013518377 A JP2013518377 A JP 2013518377A JP 2013518377 A JP2013518377 A JP 2013518377A JP 2013536492 A5 JP2013536492 A5 JP 2013536492A5
Authority
JP
Japan
Prior art keywords
data
application example
preset
preset key
data elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013518377A
Other languages
English (en)
Other versions
JP2013536492A (ja
JP5635691B2 (ja
Filing date
Publication date
Priority claimed from CN201010222602.3A external-priority patent/CN102314460B/zh
Application filed filed Critical
Publication of JP2013536492A publication Critical patent/JP2013536492A/ja
Publication of JP2013536492A5 publication Critical patent/JP2013536492A5/ja
Application granted granted Critical
Publication of JP5635691B2 publication Critical patent/JP5635691B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は、例示であり、限定を意図するものではない。
適用例1:データ解析の方法であって、1または複数のデータ識別子(ID)と、各々がプリセットキーおよびプリセット値を含む1または複数のプリセットキー−値ペアと、を含む解析対象のデータを受信する工程と、前記データIDに少なくとも部分的に基づいて、解析対象のデータを取得する工程と、前記取得されたデータを1または複数のデータ要素に分割する工程と、前記1または複数のプリセットキー−値ペアの1つのプリセットキーに少なくとも部分的に基づいて、前記1または複数のデータ要素を分類する工程と、前記1または複数のプリセットキー−値ペアの1つのプリセット値に少なくとも部分的に基づいて、前記分類済みの1または複数のデータ要素を解析する工程と、を備える、方法。
適用例2:適用例1に記載の方法であって、前記プリセットキーは、少なくとも部分的に、前記解析対象のデータの分類方法を示す、方法。
適用例3:適用例1に記載の方法であって、前記プリセット値は、少なくとも部分的に、分類済みのデータの解析方法を示す、方法。
適用例4:適用例1に記載の方法であって、前記データIDは、前記解析対象のデータに関連する記憶装置におけるデータアドレス情報を示す、方法。
適用例5:適用例1に記載の方法であって、前記取得されたデータは、1または複数のデータ要素を含み、データ要素はパーティションIDによって別のデータ要素から分離されている、方法。
適用例6:適用例5に記載の方法であって、前記パーティションIDは、カンマ、セミコロン、および、コロンの内の1または複数を含む、方法。
適用例7:適用例1に記載の方法であって、前記取得されたデータを1または複数のデータ要素に分割する工程は、1または複数のパーティションIDに少なくとも部分的に基づく、方法。
適用例8:適用例1に記載の方法であって、前記取得されたデータは、1または複数のデータセットを含み、前記1または複数のデータセットの各々は、1または複数のデータ要素を含む、方法。
適用例9:適用例1に記載の方法であって、さらに、第1のプリセットフィルタ条件を満たさない1または複数の分類済みのデータ要素を放棄する工程を備える、方法。
適用例10:適用例1に記載の方法であって、前記残った分類済みの1または複数のデータ要素を解析する工程は、1または複数の解析結果を生成し、第2のプリセットフィルタ条件を満たさない前記1または複数の解析結果セットの内の少なくとも1つを放棄する、方法。
適用例11:適用例1に記載の方法であって、前記プリセットキーは、データ要素に関連付けられたエイリアスに対応する、方法。
適用例12:適用例1に記載の方法であって、前記解析対象のデータは、マスタサーバから受信される、方法。
適用例13:適用例1に記載の方法であって、前記解析対象のデータは、メインスレッドモジュールから受信される、方法。
適用例14:データ解析のためのシステムであって、解析対象のデータを少なくとも1つのスレーブサーバに送信し、前記少なくとも1つのスレーブサーバから解析結果を受信するように構成されている第1のプロセッサを備えるマスタサーバと、1または複数のデータ識別子(ID)と、各々がプリセットキーおよびプリセット値を含む1または複数のプリセットキー−値ペアとを含む解析対象のデータを前記マスタサーバから受信し、前記データIDに少なくとも部分的に基づいて、解析対象のデータを取得し、前記取得されたデータを1または複数のデータ要素に分割し、前記1または複数のプリセットキー−値ペアの1つのプリセットキーに少なくとも部分的に基づいて、前記1または複数のデータ要素を分類し、前記1または複数のプリセットキー−値ペアの1つのプリセット値に少なくとも部分的に基づいて、前記分類された1または複数のデータ要素を解析するように構成されている第2のプロセッサを備えるスレーブサーバと、前記第1のプロセッサに接続され、前記第1のプロセッサに命令を提供するよう構成されている第1のメモリと、前記第2のプロセッサに接続され、前記第2のプロセッサに命令を提供するよう構成されている第2のメモリと、を備える、システム。
適用例15:適用例14に記載のシステムであって、前記プリセットキーは、少なくとも部分的に、前記解析対象のデータの分類方法を示す、システム。
適用例16:適用例14に記載のシステムであって、前記プリセット値は、少なくとも部分的に、分類されたデータの解析方法を示す、システム。
適用例17:適用例14に記載のシステムであって、前記取得されたデータは、1または複数のデータセットを含み、前記1または複数のデータセットの各々は、1または複数のデータ要素を含む、システム。
適用例18:適用例14に記載のシステムであって、前記第2のプロセッサは、さらに、第1のプリセットフィルタ条件を満たさない1または複数の分類済みのデータ要素を放棄するよう構成されている、システム。
適用例19:適用例14に記載のシステムであって、前記残った分類済みの1または複数のデータ要素を解析するよう構成されている前記第2のプロセッサは、1または複数の解析結果を生成し、第2のプリセットフィルタ条件を満たさない前記1または複数の解析結果セットの内の少なくとも1つを放棄するよう構成されていることを含む、システム。
適用例20:適用例19に記載のシステムであって、前記第2プロセッサは、さらに、少なくとも1つの解析結果セットを前記マスタサーバに送信するよう構成されている、システム。
適用例21:データ解析のためのコンピュータプログラム製品であって、コンピュータ読み取り可能な媒体内に具現化され、1または複数のデータ識別子(ID)と、各々がプリセットキーおよびプリセット値を含む1または複数のプリセットキー−値ペアとを含む解析対象のデータを受信するためのコンピュータ命令と、前記データIDに少なくとも部分的に基づいて、解析対象のデータを取得するためのコンピュータ命令と、前記取得されたデータを1または複数のデータ要素に分割するためのコンピュータ命令と、前記1または複数のプリセットキー−値ペアの1つのプリセットキーに少なくとも部分的に基づいて、前記1または複数のデータ要素を分類するためのコンピュータ命令と、前記1または複数のプリセットキー−値ペアの1つのプリセット値に少なくとも部分的に基づいて、前記分類済みの1または複数のデータ要素を解析するためのコンピュータ命令と、を備える、コンピュータプログラム製品。


Claims (1)

  1. データ解析のためのコンピュータプログラムであって
    1または複数のデータ識別子(ID)と、各々がプリセットキーおよびプリセット値を含む1または複数のプリセットキー−値ペアとを含む解析対象のデータを受信するための機能と、
    前記データIDに少なくとも部分的に基づいて、解析対象のデータを取得するための機能と、
    前記取得されたデータを1または複数のデータ要素に分割するための機能と、
    前記1または複数のプリセットキー−値ペアの1つのプリセットキーに少なくとも部分的に基づいて、前記1または複数のデータ要素を分類するための機能と、
    前記1または複数のプリセットキー−値ペアの1つのプリセット値に少なくとも部分的に基づいて、前記分類済みの1または複数のデータ要素を解析するための機能と、
    コンピュータによって実現させる、コンピュータプログラ
JP2013518377A 2010-07-07 2011-07-06 複数のシステムを用いたデータ解析 Active JP5635691B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201010222602.3A CN102314460B (zh) 2010-07-07 2010-07-07 数据分析方法、系统及服务器
CN201010222602.3 2010-07-07
US13/135,407 US9442979B2 (en) 2010-07-07 2011-07-05 Data analysis using multiple systems
US13/135,407 2011-07-05
PCT/US2011/001186 WO2012005765A1 (en) 2010-07-07 2011-07-06 Data analysis using multiple systems

Publications (3)

Publication Number Publication Date
JP2013536492A JP2013536492A (ja) 2013-09-19
JP2013536492A5 true JP2013536492A5 (ja) 2014-03-06
JP5635691B2 JP5635691B2 (ja) 2014-12-03

Family

ID=45427638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013518377A Active JP5635691B2 (ja) 2010-07-07 2011-07-06 複数のシステムを用いたデータ解析

Country Status (6)

Country Link
US (2) US9442979B2 (ja)
EP (1) EP2591421A4 (ja)
JP (1) JP5635691B2 (ja)
CN (1) CN102314460B (ja)
HK (1) HK1161923A1 (ja)
WO (1) WO2012005765A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638456B (zh) * 2012-03-19 2015-09-23 杭州海康威视数字技术股份有限公司 基于云计算的海量实时视频码流智能分析方法及其系统
CN103942210B (zh) * 2013-01-21 2018-05-04 中国移动通信集团上海有限公司 海量日志信息的处理方法、装置与系统
CN103970738B (zh) * 2013-01-24 2017-08-29 华为技术有限公司 一种产生数据的方法和装置
CN103823846A (zh) * 2014-01-28 2014-05-28 浙江大学 一种基于图论的大数据存储及查询方法
CN103793513B (zh) * 2014-02-10 2017-04-05 济南大学 基于邻近海量数据快速分析的电信套餐优化系统与方法
CN104462287B (zh) * 2014-11-27 2018-10-12 华为技术服务有限公司 一种数据处理的方法、装置及系统
CN105843803B (zh) * 2015-01-12 2019-04-12 上海悦程信息技术有限公司 大数据安全可视化交互分析系统及方法
CN104679884B (zh) * 2015-03-16 2018-04-10 北京奇虎科技有限公司 数据库的数据分析方法、装置以及系统
US10282455B2 (en) 2015-04-20 2019-05-07 Splunk Inc. Display of data ingestion information based on counting generated events
US10817544B2 (en) * 2015-04-20 2020-10-27 Splunk Inc. Scaling available storage based on counting generated events
CN105760492B (zh) * 2016-02-18 2019-10-15 广东睿江云计算股份有限公司 数据分析方法及装置
CN107203960B (zh) * 2016-06-30 2021-03-09 北京新媒传信科技有限公司 图像渲染方法及装置
CN106227797A (zh) * 2016-07-21 2016-12-14 柳州龙辉科技有限公司 一种海量日志信息的处理方法
CN106250406A (zh) * 2016-07-21 2016-12-21 柳州龙辉科技有限公司 一种日志处理方法
CN106250405A (zh) * 2016-07-21 2016-12-21 柳州龙辉科技有限公司 一种海量信息处理系统
CN106227644A (zh) * 2016-07-21 2016-12-14 柳州龙辉科技有限公司 一种海量信息处理装置
CN106250287A (zh) * 2016-07-21 2016-12-21 柳州龙辉科技有限公司 一种日志信息处理装置
CN107959703B (zh) * 2016-10-18 2021-04-16 网宿科技股份有限公司 数据处理方法、客户端及分布式计算系统
CN107526926A (zh) * 2017-08-09 2017-12-29 沈阳东软医疗系统有限公司 一种图像体数据分割标识处理方法、装置及设备
CN109726581B (zh) * 2017-10-31 2020-04-14 阿里巴巴集团控股有限公司 一种数据统计方法和装置
CN109408214A (zh) * 2018-11-06 2019-03-01 北京字节跳动网络技术有限公司 一种数据的并行处理方法、装置、电子设备及可读介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH052610A (ja) 1991-06-25 1993-01-08 Mitsubishi Electric Corp リレーシヨナルデータベースにおける集約演算処理方式
JP3457405B2 (ja) 1994-03-09 2003-10-20 日本電信電話株式会社 情報検索装置、情報検索方法及び知識獲得システム
WO1997024658A1 (en) * 1995-12-30 1997-07-10 Timeline, Inc. Data retrieval method and apparatus with multiple source capability
US5802511A (en) 1996-01-02 1998-09-01 Timeline, Inc. Data retrieval method and apparatus with multiple source capability
CA2199108C (en) 1996-03-05 2002-04-23 Hirotoshi Maegawa Parallel distributed processing system and method of same
US6714979B1 (en) * 1997-09-26 2004-03-30 Worldcom, Inc. Data warehousing infrastructure for web based reporting tool
US7805388B2 (en) 1998-05-01 2010-09-28 Health Discovery Corporation Method for feature selection in a support vector machine using feature ranking
US7047232B1 (en) 1999-01-13 2006-05-16 Ab Initio Software Corporation Parallelizing applications of script-driven tools
US6714925B1 (en) * 1999-05-01 2004-03-30 Barnhill Technologies, Llc System for identifying patterns in biological data using a distributed network
US6408292B1 (en) 1999-08-04 2002-06-18 Hyperroll, Israel, Ltd. Method of and system for managing multi-dimensional databases using modular-arithmetic based address data mapping processes on integer-encoded business dimensions
US6385604B1 (en) * 1999-08-04 2002-05-07 Hyperroll, Israel Limited Relational database management system having integrated non-relational multi-dimensional data store of aggregated data elements
JP2001109718A (ja) 1999-10-06 2001-04-20 Yamatake Building Systems Co Ltd 情報閲覧システム
NZ507121A (en) * 2000-09-22 2003-08-29 Compudigm Int Ltd Data visualization parameters specified in query for data from database
US6704733B2 (en) * 2000-10-25 2004-03-09 Lightning Source, Inc. Distributing electronic books over a computer network
US7076482B2 (en) * 2001-10-25 2006-07-11 Bea Systems, Inc. Multi-part looked-up table fields and its use in data processing operations involving multiple tables of a relational database
JP2006501529A (ja) * 2001-12-28 2006-01-12 ジェフリー ジェームズ ジョナス, リアルタイムデータ保管
US8577795B2 (en) * 2002-10-10 2013-11-05 Convergys Information Management Group, Inc. System and method for revenue and authorization management
US8121978B2 (en) * 2002-11-15 2012-02-21 Sybase, Inc. Database system providing improved methods for data replication
US8620937B2 (en) * 2002-12-27 2013-12-31 International Business Machines Corporation Real time data warehousing
US7610306B2 (en) * 2003-06-30 2009-10-27 International Business Machines Corporation Multi-modal fusion in content-based retrieval
US7143112B2 (en) * 2003-09-10 2006-11-28 Hitachi, Ltd. Method and apparatus for data integration
US7047252B2 (en) * 2003-12-02 2006-05-16 Oracle International Corporation Complex computation across heterogenous computer systems
US7797333B1 (en) * 2004-06-11 2010-09-14 Seisint, Inc. System and method for returning results of a query from one or more slave nodes to one or more master nodes of a database system
US7650331B1 (en) * 2004-06-18 2010-01-19 Google Inc. System and method for efficient large-scale data processing
US7937344B2 (en) * 2005-07-25 2011-05-03 Splunk Inc. Machine data web
US7571151B1 (en) 2005-12-15 2009-08-04 Gneiss Software, Inc. Data analysis tool for analyzing data stored in multiple text files
US7624118B2 (en) 2006-07-26 2009-11-24 Microsoft Corporation Data processing over very large databases
US8190610B2 (en) * 2006-10-05 2012-05-29 Yahoo! Inc. MapReduce for distributed database processing
US7627551B2 (en) * 2007-01-23 2009-12-01 Gm Global Technology Operations, Inc. Retrieving case-based reasoning information from archive records
US7970872B2 (en) 2007-10-01 2011-06-28 Accenture Global Services Limited Infrastructure for parallel programming of clusters of machines
EP2063364A1 (en) * 2007-11-19 2009-05-27 Siemens Aktiengesellschaft Module for building database queries
JP5408442B2 (ja) 2010-01-21 2014-02-05 株式会社日立製作所 並列分散処理方法、及び、計算機システム

Similar Documents

Publication Publication Date Title
JP2013536492A5 (ja)
JP5635691B2 (ja) 複数のシステムを用いたデータ解析
US9229758B2 (en) Passive monitoring of virtual systems using extensible indexing
CN104933056B (zh) 统一资源定位符去重方法及装置
US20200210424A1 (en) Query engine for remote endpoint information retrieval
JP2014512608A5 (ja)
JP2017507572A5 (ja)
JP2011523744A5 (ja) ユーザ関心対象を評価する方法
JP2018538633A5 (ja)
JP2016539427A5 (ja)
JP2016505932A5 (ja)
JP2008538642A5 (ja)
JP2013511097A5 (ja)
EP2769304B1 (en) Telemetry file hash and conflict detection
JP2017503273A5 (ja)
Bessani et al. BiobankCloud: a platform for the secure storage, sharing, and processing of large biomedical data sets
JP2011064682A5 (ja)
JP2014518424A5 (ja)
JP2013025791A5 (ja)
WO2016045489A1 (zh) 云环境下的虚拟机负载评估系统、方法以及服务节点
CN102664961A (zh) MapReduce环境下的异常检测方法
US20180324040A1 (en) Address extraction of a cluster configuration inception point
US9779005B2 (en) Analyzing log streams based on correlations between data structures of defined node types
WO2016085443A1 (en) Application management based on data correlations
US9251028B2 (en) Managing code instrumentation in a production computer program