JP2021043859A - データ仲介装置およびデータ仲介方法 - Google Patents
データ仲介装置およびデータ仲介方法 Download PDFInfo
- Publication number
- JP2021043859A JP2021043859A JP2019167132A JP2019167132A JP2021043859A JP 2021043859 A JP2021043859 A JP 2021043859A JP 2019167132 A JP2019167132 A JP 2019167132A JP 2019167132 A JP2019167132 A JP 2019167132A JP 2021043859 A JP2021043859 A JP 2021043859A
- Authority
- JP
- Japan
- Prior art keywords
- data
- catalog
- metadata
- value
- mediation device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000011156 evaluation Methods 0.000 claims abstract description 99
- 238000012549 training Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 4
- 230000000717 retained effect Effects 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000001404 mediated effect Effects 0.000 abstract description 2
- 230000010365 information processing Effects 0.000 description 64
- 238000012545 processing Methods 0.000 description 60
- 238000007726 management method Methods 0.000 description 42
- 230000006870 function Effects 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 230000004044 response Effects 0.000 description 14
- 230000008520 organization Effects 0.000 description 12
- 238000013500 data storage Methods 0.000 description 8
- 238000012508 change request Methods 0.000 description 2
- 238000011157 data evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明の対象であるデータ仲介システムの構成に関して説明する。
本発明の学習データ生成部112の動作について説明する。
学習データ生成部112の処理S103において、各データの評価スコアを算出するが、ここでは、評価スコア算出の動作について説明する。
実施例1では、該当するデータに対応するデータカタログの品質を評価するために、同一分野と異分野の利用者の利用履歴を用いて、各利用者からの評価値を算出する。ここで利用者が提供者と同一分野に属するか、異分野に属するかを特定するためには、提供者および利用者がそれぞれどの分野の所属であるかの情報を取得する必要がある。本実施例では、ユーザ登録の際の登録情報に組織の関連分野を追加することでこれを実現する。以下では、ユーザ登録のシーケンスを説明する。
データ仲介装置10によるサービスを利用するユーザー(データ提供者、データ利用者)を管理するためのユーザ管理テーブルについて説明する。
次に、実施例1におけるデータ登録のシーケンスについて説明する。ここでは、データカタログの項目値の推論機能を用いて、項目Aから項目Lの値を決めて、データを登録する場合について述べる。
次に、データカタログ管理テーブルについて説明する。
次に、データ利用者が、データ仲介システムを用いてデータを検索し、データカタログを閲覧し、データを購入し、データを取得する際のシーケンスについて説明する。
データ利用履歴管理テーブルについて、その一例を説明する。
実施例1では、学習データを生成する際に、各データの評価スコアを算出し、評価スコアが上位のデータを選別して、上位のデータのみを学習用データとして用い、教師あり学習によってモデルを構築していた。しかし、この場合、選別することによって学習用のデータ数が減少してしまうため、それに伴い推論精度が低下することが懸念される。
20(20−1〜20−N) データ提供者情報処理装置
30(30−1〜30−M) データ利用者情報処理装置
101 データカタログ登録処理部
102 データカタログ記憶部
103 データ検索/カタログ閲覧処理部
104 データ購入処理部
105 データ取得処理部
106 データ利用履歴ログ記憶部
110 データカタログ生成支援処理部
111 データカタログ推論部
112、117 学習データ生成部
113 学習データ記憶部
114 モデル学習部
115 推論モデル記憶部
116 外部学習データ取得部
Claims (14)
- プロセッサと、記憶装置と、を有するデータ仲介装置であって、
前記記憶装置は、
仲介の対象である複数のデータセットの各々の概要及び利用条件の少なくともいずれかを示す1以上の項目のメタデータを含むデータカタログを保持し、
前記各データセットの利用履歴を保持し、
前記プロセッサは、
前記利用履歴に基づいて、前記各データカタログの品質の高さを示す評価値を計算し、
前記評価値に基づいて、前記データカタログに含まれるいずれかの項目の前記メタデータの値を、他の項目の前記メタデータの値及び前記各データセットの少なくともいずれかから推論する推論モデルを生成することを特徴とするデータ仲介装置。 - 請求項1に記載のデータ仲介装置であって、
前記記憶装置は、前記各データセットの分野を示す情報と、前記各データセットの利用者が属する分野を示す情報と、を保持し、
前記プロセッサは、前記各データセットの利用履歴のうち、前記各データセットの分野と同一の分野に属する利用者に関するものに基づく第1の評価値と、前記各データセットの分野と異なる分野に属する利用者に関するものに基づく第2の評価値とを、それぞれが異なる重みを持つように計算し、
前記第1の評価値と前記第2の評価値とを合成することによって、前記各データカタログの品質の高さを示す評価値を計算することを特徴とするデータ仲介装置。 - 請求項2に記載のデータ仲介装置であって、
前記第2の評価値の重みが前記第1の評価値の重みより大きいことを特徴とするデータ仲介装置。 - 請求項1に記載のデータ仲介装置であって、
前記評価値は、前記データセットの利用者によって入力された、前記データセットに対応する前記データカタログの品質の評価を含むことを特徴とするデータ仲介装置。 - 請求項1に記載のデータ仲介装置であって、
前記データセットの利用履歴は、前記データセットの購入回数、前記データセットに対応するデータカタログの閲覧回数、及び、前記データセットが検索結果として表示された回数の少なくともいずれかを含み、
前記プロセッサは、前記データセットの購入回数、前記データカタログの閲覧回数、及び、前記データセットが検索結果として表示された回数の少なくともいずれかに基づいて、前記評価値を計算することを特徴とするデータ仲介装置。 - 請求項5に記載のデータ仲介装置であって、
前記プロセッサは、
前記データセットの購入回数が多いほど、前記データセットに対応する前記データカタログの品質が高いことを示す値になるように、前記評価値を計算し、
前記データカタログの閲覧回数が多いほど、前記データカタログの品質が高いことを示す値になるように、前記評価値を計算し、
前記データカタログが検索結果として表示された回数が多いほど、前記データカタログの品質が高いことを示す値となるように、前記評価値を計算することを特徴とするデータ仲介装置。 - 請求項1に記載のデータ仲介装置であって、
ネットワークに接続される通信装置をさらに有し、
前記プロセッサは、前記記憶装置に保持された前記データカタログと、前記通信装置を介して取得したデータカタログと、を含む学習データを使用することによって、前記推論モデルを生成することを特徴とするデータ仲介装置。 - 請求項1に記載のデータ仲介装置であって、
前記プロセッサは、
生成した前記推論モデルを使用して、前記記憶装置に保持されている前記データカタログに含まれる前記メタデータの値を推論し、
推論された前記メタデータの値が前記記憶装置に保持されている前記データカタログに含まれていない場合、前記推論されたメタデータの値を出力し、
前記推論されたメタデータの値を前記データカタログに追加する指示が入力された場合、前記推論されたメタデータの値を前記データカタログに追加することを特徴とするデータ仲介装置。 - 請求項8に記載のデータ仲介装置であって、
前記プロセッサは、定期的に、又は、前回の前記推論モデルの生成の後に前記記憶装置に保持された前記データカタログの量に所定の変化があった場合に、前記推論モデルを生成することを特徴とするデータ仲介装置。 - 請求項1に記載のデータ仲介装置であって、
前記プロセッサは、前記評価値に基づいて品質が高いと判定される前記データカタログを選別し、前記選別されたデータカタログ及びそれに対応するデータセットの少なくとも一部を学習データとして使用することによって、前記推論モデルを生成することを特徴とするデータ仲介装置。 - 請求項10に記載のデータ仲介装置であって、
前記プロセッサは、前記選別されたデータカタログに含まれる前記メタデータの値の出現率が、選別される前の全てのデータカタログに含まれる前記メタデータの値の出現率に近づくように、前記データカタログを選別することを特徴とするデータ仲介装置。 - 請求項10に記載のデータ仲介装置であって、
前記プロセッサは、選別された前記データカタログ及びそれに対応するデータセットを、前記推論の対象のメタデータが付与された教師あり学習データとして使用し、選別されなかった前記データカタログ及びそれに対応するデータセットを、前記推論の対象のメタデータが付与されていない教師なし学習データとして使用して、半教師あり学習を行うことによって、前記推論モデルを生成することを特徴とするデータ仲介装置。 - 請求項1に記載のデータ仲介装置であって、
前記プロセッサは、前記評価値を説明変数として含む学習データを使用することによって、前記推論モデルを生成することを特徴とするデータ仲介装置。 - プロセッサと、記憶装置と、を有する計算機システムが実行するデータ仲介方法であって、
前記記憶装置は、
仲介の対象である複数のデータセットの各々の概要及び利用条件の少なくともいずれかを示す1以上の項目のメタデータを含むデータカタログを保持し、
前記各データセットの利用履歴を保持し、
前記データ仲介方法は、
前記プロセッサが、前記利用履歴に基づいて、前記各データカタログの品質の高さを示す評価値を計算する手順と、
前記プロセッサが、前記評価値に基づいて、前記データカタログに含まれるいずれかの項目の前記メタデータの値を、他の項目の前記メタデータの値及び前記各データセットの少なくともいずれかから推論する推論モデルを生成する手順と、を含むことを特徴とするデータ仲介方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019167132A JP7261710B2 (ja) | 2019-09-13 | 2019-09-13 | データ仲介装置およびデータ仲介方法 |
SG10202007475XA SG10202007475XA (en) | 2019-09-13 | 2020-08-05 | Data mediation apparatus and data mediation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019167132A JP7261710B2 (ja) | 2019-09-13 | 2019-09-13 | データ仲介装置およびデータ仲介方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021043859A true JP2021043859A (ja) | 2021-03-18 |
JP7261710B2 JP7261710B2 (ja) | 2023-04-20 |
Family
ID=74862397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019167132A Active JP7261710B2 (ja) | 2019-09-13 | 2019-09-13 | データ仲介装置およびデータ仲介方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7261710B2 (ja) |
SG (1) | SG10202007475XA (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08202553A (ja) * | 1995-01-25 | 1996-08-09 | Nippon Telegr & Teleph Corp <Ntt> | 知識学習システム |
JP2010067177A (ja) * | 2008-09-12 | 2010-03-25 | Fujitsu Ltd | 支援プログラム、支援装置および支援方法 |
JP2016146039A (ja) * | 2015-02-06 | 2016-08-12 | 株式会社Jsol | 情報処理装置、プログラム及び情報処理方法 |
US20170372232A1 (en) * | 2016-06-27 | 2017-12-28 | Purepredictive, Inc. | Data quality detection and compensation for machine learning |
WO2018100679A1 (ja) * | 2016-11-30 | 2018-06-07 | 株式会社オプティム | コンピュータシステム、教師データ取引方法及びプログラム |
JP2019148243A (ja) * | 2018-02-28 | 2019-09-05 | トヨタ自動車株式会社 | 内燃機関の制御装置 |
-
2019
- 2019-09-13 JP JP2019167132A patent/JP7261710B2/ja active Active
-
2020
- 2020-08-05 SG SG10202007475XA patent/SG10202007475XA/en unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08202553A (ja) * | 1995-01-25 | 1996-08-09 | Nippon Telegr & Teleph Corp <Ntt> | 知識学習システム |
JP2010067177A (ja) * | 2008-09-12 | 2010-03-25 | Fujitsu Ltd | 支援プログラム、支援装置および支援方法 |
JP2016146039A (ja) * | 2015-02-06 | 2016-08-12 | 株式会社Jsol | 情報処理装置、プログラム及び情報処理方法 |
US20170372232A1 (en) * | 2016-06-27 | 2017-12-28 | Purepredictive, Inc. | Data quality detection and compensation for machine learning |
WO2018100679A1 (ja) * | 2016-11-30 | 2018-06-07 | 株式会社オプティム | コンピュータシステム、教師データ取引方法及びプログラム |
JP2019148243A (ja) * | 2018-02-28 | 2019-09-05 | トヨタ自動車株式会社 | 内燃機関の制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7261710B2 (ja) | 2023-04-20 |
SG10202007475XA (en) | 2021-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190012683A1 (en) | Method for predicting purchase probability based on behavior sequence of user and apparatus for the same | |
US10127285B2 (en) | Customizable ranking of search engine results in multi-tenant architecture | |
CN103797474B (zh) | 提供与转化路径相关的数据的方法、装置及系统 | |
JP6061309B2 (ja) | 関連商品情報を表示する方法及びシステム | |
JP4911536B2 (ja) | 地域情報検索装置、地域情報検索装置の制御方法、地域情報検索システム、および地域情報検索システムの制御方法 | |
CN103748608B (zh) | 路径浏览器可视化 | |
TWI284847B (en) | System and method for facilitating electronic commerce transactions | |
US9165075B2 (en) | Managing user ratings in a web services environment | |
US20230031847A1 (en) | Methods and systems for data quality analysis of healthcare information systems | |
CN103748605A (zh) | 转化类型到转化类型的传送 | |
US11379523B2 (en) | Method and apparatus for implementing a search index generator | |
JP2014102603A (ja) | 紹介報酬付与サーバ、方法およびプログラム | |
Hao et al. | Mobile cloud services recommendation: a soft set-based approach | |
CN102957722A (zh) | 一种用于生成个性化推荐的网络服务方法及其系统 | |
JP5841323B2 (ja) | 推薦アイテム検索サーバ、および推薦アイテム検索プログラム | |
JP7006031B2 (ja) | 管理装置、制御方法及びプログラム | |
KR100458462B1 (ko) | 온라인 광고 방법 및 온라인 광고 시스템 | |
JP5450544B2 (ja) | 電子商取引装置、特典制御方法、特典制御プログラム、及びそのプログラムを記録するコンピュータ読み取り可能な記録媒体 | |
JP7261710B2 (ja) | データ仲介装置およびデータ仲介方法 | |
JP7010870B2 (ja) | 決定装置、決定方法及び決定プログラム | |
JP7038350B2 (ja) | 情報提供装置、情報提供方法、および情報提供プログラム | |
KR101096405B1 (ko) | 온라인 쇼핑몰 중개 방법 및 온라인 쇼핑몰 중개 시스템 | |
JP6866266B2 (ja) | 生成装置、生成方法、及び生成プログラム | |
KR20050071308A (ko) | 온라인 광고 방법 및 온라인 광고 시스템 | |
JP6327950B2 (ja) | 予測値演算装置、予測値演算方法および予測値演算プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7261710 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |