JP2018067215A - データ分析システム、その制御方法、プログラム、及び、記録媒体 - Google Patents
データ分析システム、その制御方法、プログラム、及び、記録媒体 Download PDFInfo
- Publication number
- JP2018067215A JP2018067215A JP2016206390A JP2016206390A JP2018067215A JP 2018067215 A JP2018067215 A JP 2018067215A JP 2016206390 A JP2016206390 A JP 2016206390A JP 2016206390 A JP2016206390 A JP 2016206390A JP 2018067215 A JP2018067215 A JP 2018067215A
- Authority
- JP
- Japan
- Prior art keywords
- data
- information
- evaluation
- evaluation target
- analysis system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/226—Character recognition characterised by the type of writing of cursive writing
- G06V30/2268—Character recognition characterised by the type of writing of cursive writing using stroke segmentation
- G06V30/2276—Character recognition characterised by the type of writing of cursive writing using stroke segmentation with probabilistic networks, e.g. hidden Markov models
Abstract
Description
図1は、本実施の形態に係るデータ分析システム1(以下、単に「システム」と略記することがある)のハードウェア構成の一例を示すブロック図である。当該システムは、例えば、データ(デジタルデータ、及び/又は、アナログデータを含む)を格納可能な任意の記録媒体(例えば、メモリ、ハードディスク等)と、当該記録媒体に格納された制御プログラムを実行可能なコントローラ(CPU;Central Processing Unit)とを備え、当該記録媒体に少なくとも一時的に格納されたデータを分析するコンピュータまたはコンピュータシステム(複数のコンピュータが統合的に動作することによってデータ分析を実現するシステム)として実現され得る。
上記システムは、データ評価機能を備えることができる。当該データ評価機能は、人手で分類された少数のデータ(学習用データ)に基づいて、多数の評価対象データ(ビッグデータ)を評価するものである。当該データ評価機能を備えることにより、上記システムは、例えば、評価対象データと所定事案との関連性の高低を示す指標(例えば、評価対象データを序列化可能にする数値(例えば、スコア)、文字(例えば、「高」、「中」、「低」など)、及び/又は、記号(例えば、「◎」、「○」、「△」、「×」など)、を導出することによって、上記評価を実現することができる。データ評価機能は、サーバ装置2のコントローラによって実現される。
サーバ装置2による評価対象データの評価動作を説明する。図2は、サーバ装置2(詳しくはサーバ装置2のコントローラ)のフローチャートである。なお、以下の各ステップを、モジュール又は手段と言い換えることもできる。
従来のデータ分析システムは、商品を推薦するが、その理由が示されていなかったり、自分または他のユーザの購入履歴に紐づいていることが理由であったりして、その商品を購入するか否かの判断要素として十分なものとはなっていない。これは、個々人の嗜好に左右する判断要素を特定することが技術的に困難であることに起因する。この点、本実施の形態のデータ分析システム1によれば、複数の評価対象データの評価の結果(例えばランキング、後述の文データごとのスコア等)に基づいて、複数の評価対象データから第1の情報(例えば第1理由データ)を抽出し、第1の情報に含まれる特徴パターン(例えば後述のデータパターン等)に基づいて、一または複数の学習用データから第2の情報(例えば第2理由データ)を抽出し、ユーザの動向(所定の商品の購入、所定のサービスの利用、人事評価等)に関与する情報(例えば情報提供の理由を示す理由データ)を第1の情報と第2の情報から迅速かつ適切に生成することができる。また、ユーザの動向に関与する情報の出力に当たって、評価対象データのどの要素を根拠としているかを示すことは勿論のこと、学習用データのどの要素に係るものであるかを示すことは、ユーザの動向を実質的に左右する重要な要素となる。
サーバ装置2は、第1理由データから、第1理由データの文脈を示すデータパターンを抽出するための一例として、第1理由データにおける分布の態様を利用することができる(特願2015−238978)。特願2015−238978の明細書、図面に記載された事項を、本願に引用する。なお、データパターンの態様は、特定のものに限定されなくてもよい。データパターンは、より広義には第1理由データとの関係性を示すものである。また、データパターンは、後述するように、所定の関係を有するまとまりを識別可能な複数の形態素であってもよい。
ここで、データパターンは、第1理由データの文脈を示す複数の形態素であるため、学習用データからデータパターンが含まれるデータを見つけることは、第1理由データの文脈と近い第2理由データを見つけることになる。
サーバ装置2は、第1理由データおよび第2理由データを、出力装置(クライアント装置3、クライアント装置3に接続される機器等)に出力させる。
「出力」とは、人の五感(視覚、聴覚、触覚、味覚、嗅覚)により感知できるあらゆる態様を意味する。例えば、クライアント装置3に接続されたディスプレイに表示するものであってもよい。また、例えば、クライアント装置3に接続された投影装置で投影するものであってもよい。また、例えば、クライアント装置3に接続されたスピーカから音、音声などを出すものであってもよい。また、例えば、クライアント装置3に接続された印刷装置で印刷や点字印刷するものであってもよい。
本実施の形態において、「データ」は、コンピュータによって処理可能となる形式で表現された任意のデータであってよい。上記データは、例えば、少なくとも一部において構造定義が不完全な非構造化データであってよく、自然言語によって記述された文章を少なくとも一部に含む文書データ(例えば、電子メール(添付ファイル・ヘッダ情報を含む)、技術文書(例えば、学術論文、特許公報、製品仕様書、設計図など、技術的事項を説明する文書を広く含む)、プレゼンテーション資料、表計算資料、決算報告書、打ち合わせ資料、報告書、営業資料、契約書、組織図、事業計画書、企業分析情報、電子カルテ、ウェブページ、ブログ、ソーシャルネットワークサービスに投稿されたコメントなど)、音声データ(例えば、会話・音楽などを録音したデータ)、画像データ(例えば、複数の画素またはベクター情報から構成されるデータ)、映像データ(例えば、複数のフレーム画像から構成されるデータ)などを広く含む(これらの例に限定されない)。
上記システムの制御ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPUを用いてソフトウェアによって実現してもよい。後者の場合、上記システムは、各機能を実現するソフトウェアであるプログラム(データ分析システムの制御プログラム)を実行するCPU、当該プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する。一時的記録媒体であってもよいし、非一時的記録媒体であってもよい。)、当該プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、当該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。なお、上記プログラムは、任意のプログラミング言語によって実装可能である。また、上記プログラムを記録した任意の記録媒体も、本発明の範疇に入る。
上記システムは、例えば、ディスカバリー支援システム、フォレンジックシステム、電子メール監視システム、医療応用システム(例えば、ファーマコビジランス支援システム、治験効率化システム、医療リスクヘッジシステム、転倒予測(転倒防止)システム、予後予測システム、診断支援システムなど)、インターネット応用システム(例えば、スマートメールシステム、情報アグリゲーション(キュレーション)システム、ユーザ監視システム、ソーシャルメディア運営システムなど)、情報漏洩検知システム、プロジェクト評価システム、マーケティング支援システム、知財評価システム、不正取引監視システム、コールセンターエスカレーションシステム、信用調査システムなど、ビッグデータを分析する人工知能システム(データと所定事案との関連性を評価可能な任意のシステム)として実現され得る。なお、本発明のデータ分析システムが応用される分野によっては、当該分野に特有の事情を考慮して、例えば、データに前処理(例えば、当該データから重要箇所を抜き出し、当該重要箇所のみをデータ分析の対象とするなど)を施したり、データ分析の結果を表示する態様を変化させたりしてよい。こうした変形例が多様に存在し得ることは、当業者に理解されるところであり、すべての変形例が本発明の範疇に入る。
Claims (12)
- データを分析してユーザの動向に関与する情報を生成するデータ分析システムであって、
分析の対象となる複数の評価対象データを少なくとも一時的に記憶するメモリと、
前記複数の評価対象データの夫々を学習用データに基づいて評価するコントローラと、
を備え、
前記コントローラは、
前記複数の評価対象データの評価の結果に基づいて、前記複数の評価対象データから第1の情報を抽出し、
前記第1の情報に含まれる特徴パターンに基づいて、前記学習用データから第2の情報を抽出し、
前記ユーザの動向に関与する情報を前記第1の情報と前記第2の情報とから生成する
データ分析システム。 - 前記コントローラは、
前記ユーザに複数の参照データを参照させて、前記複数の参照データの夫々に分類情報を設定させ、
前記参照データと前記分類情報との組み合わせを前記学習用データとし、
前記学習用データから複数の構成要素を抽出し、前記複数の構成要素の夫々は、前記学習用データの少なくとも一部を構成するものであり、
前記複数の構成要素の夫々が、前記組み合わせに寄与する度合いに基づいて、前記複数の構成要素の夫々に評価情報を設定し、
前記設定された評価情報に基づいて、前記複数の評価対象データの夫々を評価する
請求項1記載のデータ分析システム。 - 前記コントローラは、
前記複数の評価対象データにおける評価の中で相対的に高評価の評価対象データを前記複数の評価対象データから選択し、
前記選択した評価対象データを構成する複数の部分から、前記高評価に寄与する割合に基づいて特定部分を抽出し、前記特定部分を前記第1の情報とする
請求項1又は2記載のデータ分析システム。 - 前記コントローラは、
前記複数の評価対象データのうち最高評価の評価対象データを選択し、
前記選択した評価対象データを構成する複数の部分から、前記最高評価に寄与する割合が最大の部分を前記特定部分とする
請求項3記載のデータ分析システム。 - 前記コントローラは、
前記学習用データに基づいて、前記複数の評価対象データの夫々を構成する複数の部分を夫々評価し、前記評価した部分の中で相対的に高評価の部分を前記第1の情報とする
請求項1又は2記載のデータ分析システム。 - 前記コントローラは、
前記評価した部分の中で最高評価の部分を前記第1の情報とする
請求項5記載のデータ分析システム。 - 前記コントローラは、
前記学習用データを構成する複数の部分のうち、前記特徴パターンを有する部分を前記第2の情報とする
請求項1乃至6の何れか1項記載のデータ分析システム。 - 前記コントローラは、
前記第1の情報から複数の構成要素を抽出し、
前記抽出した複数の構成要素が前記第1の情報に分布する態様に基づいて、前記特徴パターンを判別する
請求項1乃至7の何れか1項記載のデータ分析システム。 - 前記ユーザの動向は、所定の商品またはサービスの購入に関する動向であり、
前記コントローラは、
前記所定の商品またはサービスに関連するレビューコメントを前記学習用データとし、
前記第1の情報を抽出した評価対象データに関連する商品をユーザに推奨し、
前記第1の情報を前記商品を推奨する主理由情報とし、前記第2の情報を前記商品を推奨する副理由情報とし、前記主理由情報と前記副理由情報とを組み合わせて前記ユーザの動向に関与する情報として、前記ユーザに提示する
請求項1乃至8の何れか1項記載のデータ分析システム。 - データを分析してユーザの動向に関与する情報を生成するデータ分析システムの制御方法であって、
前記データ分析システムが、
複数の評価対象データの評価の結果に基づいて、前記複数の評価対象データから第1の情報を抽出し、
前記第1の情報に含まれる特徴パターンに基づいて、学習用データから第2の情報を抽出し、
前記ユーザの動向に関与する情報を前記第1の情報と前記第2の情報とから生成する
データ分析システムの制御方法。 - データを分析してユーザの動向に関与する情報を生成するデータ分析のためのプログラムであって、
複数の評価対象データの評価の結果に基づいて、前記複数の評価対象データから第1の情報を抽出し、
前記第1の情報に含まれる特徴パターンに基づいて、学習用データから第2の情報を抽出し、
前記ユーザの動向に関与する情報を前記第1の情報と前記第2の情報とから生成する
ことをコンピュータに実現させるためのプログラム。 - 請求項11記載のプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016206390A JP6178480B1 (ja) | 2016-10-20 | 2016-10-20 | データ分析システム、その制御方法、プログラム、及び、記録媒体 |
US15/787,157 US11232325B2 (en) | 2016-10-20 | 2017-10-18 | Data analysis system, method for controlling data analysis system, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016206390A JP6178480B1 (ja) | 2016-10-20 | 2016-10-20 | データ分析システム、その制御方法、プログラム、及び、記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6178480B1 JP6178480B1 (ja) | 2017-08-09 |
JP2018067215A true JP2018067215A (ja) | 2018-04-26 |
Family
ID=59559151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016206390A Active JP6178480B1 (ja) | 2016-10-20 | 2016-10-20 | データ分析システム、その制御方法、プログラム、及び、記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11232325B2 (ja) |
JP (1) | JP6178480B1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7172612B2 (ja) * | 2019-01-11 | 2022-11-16 | 富士通株式会社 | データ拡張プログラム、データ拡張方法およびデータ拡張装置 |
CN110135690A (zh) * | 2019-04-12 | 2019-08-16 | 深圳壹账通智能科技有限公司 | 产品评论数据分析方法、装置、计算机设备和存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5854923A (en) * | 1994-06-21 | 1998-12-29 | International Business Machines Corp. | Facility for the intelligent selection of information objects (persona) |
US20060106670A1 (en) * | 2004-11-15 | 2006-05-18 | Simin Cai | System and method for interactively and progressively determining customer satisfaction within a networked community |
US8560398B1 (en) * | 2007-03-29 | 2013-10-15 | Amazon Technologies, Inc. | Method and system for providing item recommendations |
JP5096411B2 (ja) | 2009-05-22 | 2012-12-12 | ヤフー株式会社 | ネットショッピング管理装置 |
JP5131565B2 (ja) * | 2010-03-04 | 2013-01-30 | ソニー株式会社 | 情報処理装置および方法、プログラム、並びに記録媒体 |
US20110295612A1 (en) * | 2010-05-28 | 2011-12-01 | Thierry Donneau-Golencer | Method and apparatus for user modelization |
US8671098B2 (en) * | 2011-09-14 | 2014-03-11 | Microsoft Corporation | Automatic generation of digital composite product reviews |
US10096043B2 (en) * | 2012-01-23 | 2018-10-09 | Visa International Service Association | Systems and methods to formulate offers via mobile devices and transaction data |
JP2014032532A (ja) * | 2012-08-03 | 2014-02-20 | Advanced Media Inc | オペレータ支援システム |
JP5955286B2 (ja) * | 2013-08-28 | 2016-07-20 | ヤフー株式会社 | 評価算出装置、評価算出方法及び評価算出プログラム |
US10346881B2 (en) * | 2014-09-19 | 2019-07-09 | International Business Machines Corporation | Advertising within social networks |
US9710456B1 (en) * | 2014-11-07 | 2017-07-18 | Google Inc. | Analyzing user reviews to determine entity attributes |
US10453099B2 (en) * | 2015-12-11 | 2019-10-22 | Fuji Xerox Co., Ltd. | Behavior prediction on social media using neural networks |
-
2016
- 2016-10-20 JP JP2016206390A patent/JP6178480B1/ja active Active
-
2017
- 2017-10-18 US US15/787,157 patent/US11232325B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20180114093A1 (en) | 2018-04-26 |
JP6178480B1 (ja) | 2017-08-09 |
US11232325B2 (en) | 2022-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6182279B2 (ja) | データ分析システム、データ分析方法、データ分析プログラム、および、記録媒体 | |
Müller et al. | Utilizing big data analytics for information systems research: challenges, promises and guidelines | |
US20190318407A1 (en) | Method for product search using the user-weighted, attribute-based, sort-ordering and system thereof | |
Syed | Applying sentiment and emotion analysis on brand tweets for digital marketing | |
CN114648392B (zh) | 基于用户画像的产品推荐方法、装置、电子设备及介质 | |
US20180068340A1 (en) | Creating Meta-Descriptors of Marketing Messages to Facilitate In Delivery Performance Analysis, Delivery Performance Prediction and Offer Selection | |
JP7280705B2 (ja) | 機械学習装置、プログラム及び機械学習方法 | |
Morley | Image Processing Computational Algorithms, Movement and Behavior Tracking Tools, and Virtual Retail Algorithms in a Real-Time Interoperable Decentralized Metaverse. | |
WO2016189605A1 (ja) | データ分析に係るシステム、制御方法、制御プログラム、および、その記録媒体 | |
JP6178480B1 (ja) | データ分析システム、その制御方法、プログラム、及び、記録媒体 | |
JP5942052B1 (ja) | データ分析システム、データ分析方法、およびデータ分析プログラム | |
JP5933863B1 (ja) | データ分析システム、制御方法、制御プログラム、および記録媒体 | |
JP2017201543A (ja) | データ分析システム、データ分析方法、データ分析プログラム、および、記録媒体 | |
JP6026036B1 (ja) | データ分析システム、その制御方法、プログラム、及び、記録媒体 | |
JP6509391B1 (ja) | 計算機システム | |
JP5946949B1 (ja) | データ分析システム、その制御方法、プログラム、および、記録媒体 | |
Dey et al. | Applying Text Mining to Understand Customer Perception of Mobile Banking App | |
Aishwarya et al. | Summarization and Prioritization of Amazon Reviews based on multi-level credibility attributes | |
WO2023218697A1 (ja) | 倫理性診断装置、及び倫理性診断方法 | |
Morley | Movement and Behavior Tracking Tools, and Virtual Retail Algorithms in a Real-Time Interoperable Decentralized Metaverse | |
Ganga et al. | Sentimental Analysis on Cosmetics using Machine Learning | |
Sharifpour et al. | Fake Review Detection Using Rating-Sentiment Inconsistency | |
Manayath et al. | Understanding Consumer Perceptions About Smartwatches: Feature Extraction and Opinion Mining Using Supervised Learning Algorithm | |
Probierz et al. | Emotion Detection from Text in Social Networks | |
Kaur | Opinion Mining Task and Techniques: A Survey. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6178480 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |