JP2017211756A - 予測不可データ判定システム及び予測不可データ判定方法 - Google Patents
予測不可データ判定システム及び予測不可データ判定方法 Download PDFInfo
- Publication number
- JP2017211756A JP2017211756A JP2016103312A JP2016103312A JP2017211756A JP 2017211756 A JP2017211756 A JP 2017211756A JP 2016103312 A JP2016103312 A JP 2016103312A JP 2016103312 A JP2016103312 A JP 2016103312A JP 2017211756 A JP2017211756 A JP 2017211756A
- Authority
- JP
- Japan
- Prior art keywords
- values
- variable
- value
- explanatory
- combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000004458 analytical method Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 241000699666 Mus <mouse, genus> Species 0.000 description 9
- 238000001514 detection method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明の第1の実施例による予測不可データ判定システム101は、図1に示す如く、次に述べる入力装置102と空間分割装置103とレコード計数装置104と集中度検出装置105と出力装置106と記憶装置107と処理装置108とがバス119を介して相互接続して構成される。
この入力装置102は、複数の項目を含む元データや処理パラメータを外部から入力するための機器であって、例えば、キーボード・マウス等の入力機器やネットワーク接続機器である。
この記憶装置107は、記憶(メモリ)領域毎に少なくとも、入力データ109と、出力データ110と、フラグ111と、カウンタ112と、対応表113とを記憶する。前記入力データ109は入力装置102を介して記憶装置107に取り込まれて格納され、例えば、図2に示す如く、入手した各データに一意に付与されたID(識別子)ごとに、データの属性(項目)として、性別と、住所と、年代と、結婚有無と、子供有無と、商品A購買有無の各項目情報を1個人毎間に1レコードとして格納する。前記出力データ110とフラグ111とカウンタ112と対応表113は後述する。
この空間分割装置103は、データ属性を空間内の軸として表す説明変数を用いて張る多次元空間を有限の空間に排他的かつ網羅的に分割するためのものであり、この多次元空間を図3を用いて説明する。なお、本説明では、図示可能な関係上、説明変数を「性別」と「年代」と「結婚有無」の3軸としている。
このレコード計数装置104は、入力データ109を読み込み、各レコードに対応するフラグとカウンタを更新する機能を有する。
この集中度検出装置105は、レコード計数装置104にて全レコードを読み終わって更新がなされたフラグ111とカウンタ112を読み込み、入力データの目的変数を予測可能か否かに関する情報を生成して出力データ110に書き込む機能を有する。
この出力装置106は、出力データ110を外部に出力する一般的な装置であって、例えば、コンピュータのディスプレイ・プリンタ・ネットワーク接続機器等である。
この処理装置108は、本実施例による予測不可データ判定システム101の処理を制御する制御装置であって、例えば、コンピュータのCPU、メモリ、OSなどで構成される。
このは、バス119は、前述した複数の装置間を接続してデータ転送を行うためのバスまたはネットワーク機器である。
さて、このように構成された予測不可データ判定システムは、図5に示す各ステップを処理装置108が実行することによって、入力データが予測や推定に不向か否かを判定する。
処理装置108が、分析対象となる元データを入力装置102を用いて入力し、記憶装置107に図2に示した入力データ109として格納するステップ。
処理装置108が、入力データ109の初期設定を行うステップ。この初期設定とは、本実施例の場合、入力データ109から複数の項目(図2に示した性別と年代と結婚と商品A購入)を取出し、この中から1個以上の説明変数(例えば、性別と年代と結婚のデータ属性)及び1個の目的変数(予測したいデータ属性。例えば、商品Aを購入した顧客の性別・年代・結婚有無の組み合わせの場合、商品Aの購入)を決定し、さらに、目的変数の値の数と種類を設定し、出力の際の項目名を設定して記憶装置107に格納する。
この説明変数と目的変数の設定は、ユーザが任意に設定することができ、この説明変数及び目的変数の設定処理を図6を用いて説明する。図6に示したディスプレイ601は出力装置106の一部であり、キーボード602とマウス603は入力装置102の一部であり、他の画面でも同様である。
このステップs503は、ステップs502にて設定した全ての説明変数を用いて張る空間を有限の小空間に分割するためのステップであり、複数の説明変数を有限の値に分割し、すべての説明変数での組合せを作成する。
この説明変数を有限の値に分割するための設定は、ユーザが任意に設定することができ、この空間分割設定画面701を図7を用いて説明する。
このステップs504は、計数処理が全レコードを終了したか否かを判定し、終了したと判定したときに後述のステップs506に移行し、全レコードを終了していないと判定したとき次のステップs505に移行する。
このステップs505は、入力データ109の中で、まだ計数処理をしていないレコードを一つ抽出し、そのレコードの値からフラグ111の値を必要に応じて修正し、カウンタ112の値を更新するステップである。
このステップs506は、フラグ111、カウンタ112から、目的変数の値の集中度に関する情報を作成して、出力データ110を作成するステップである。
このステップs507は、出力データ110を出力装置106に出力するステップである。この出力データ110を出力装置106に出力する離散化設定画面1001を図10を参照して説明する。
元データに含まれるデータ属性である複数の説明変数の一覧を列挙した欄。
該説明変数一覧欄1102に表示したどの説明変数を離散化するかを指定するための複数のチェックボックスを列挙した欄。
該離散化指定欄1103のチェックボックスにより指定した離散化データ(図示の例では年齢)の個数(本例では10歳未満[0代]、10代・・100歳以上の10種)と、該離散化データの個数毎の複数のカテゴリ(例えば、10歳未満[0代]、10代、20代・・)を入力するための欄。
103 空間分割装置、104 レコード計数装置、105 集中度検出装置、
106 出力装置、107 記憶装置、108 処理装置、109 入力データ、
110 出力データ、111 フラグ、112 カウンタ、113 対応表、
119 バス、601 ディスプレイ、602 キーボード、603 マウス、
604 初期設定画面、605 データ属性列挙欄、
606 目的データ属性選択欄、607 説明データ属性選択欄、
608 個数入力欄、609 変数名欄、612 マウスカーソル、
701 空間分割設定画面、702 個数入力欄、705 OKボタン、
703及び704 説明変数値入力欄、706 マウスカーソル、
1101 離散化設定画面、1102 説明変数一覧欄、1103 離散化指定欄、
1104 値個数・カテゴリ名称・閾値入力欄、1105 ボタン
Claims (14)
- 複数項目の値を含む複数のレコードから成る元データを入力とし、該複数の項目から選択した複数項目を説明変数として設定すると共に該説明変数を除く他の項目から選択した項目を目的変数として設定し、前記説明変数の組み合わせに対する目的変数への予測が可能か否かを判定するコンピュータを含む予測不可データ判定システムであって、
前記コンピュータが、
前記説明変数の項目値の組み合わせと同一の組合せを持つレコードの数を目的変数の項目値ごとにレコード数として計数する第1工程と、
該計数したレコード数を用いて、説明変数の値の組合せごとに目的変数の値への集中度を算出する第2工程と、
該第2工程により算出した説明変数の値の組合せ及び集中度を出力する第3工程と、
を実行する予測不可データ判定システム。 - 前記コンピュータが、
前記元データに含まれる複数項目の値が連続した連続値のとき、該連続値を所定の値範囲により離散した離散値に変更し、該離散値を説明変数及び又は目的変数の項目値として設定する第4工程を、
実行する請求項1に記載の予測不可データ判定システム。 - 前記コンピュータが、
予め前記集中度の下限値を設定する閾値を入力とし、
前記第3工程において、算出した集中度のうち、前記閾値以上の集中度を含む前記第2工程による説明変数の値の組合せを出力する請求項1又は2に記載の予測不可データ判定システム。 - 前記コンピュータが、前記第3工程により算出した集中度を出力した後、
前記説明変数の設定と該説明変数を除く目的変数として設定を再設定するか否かを判定し、再設定すると判定したとき、前記説明変数の設定と該説明変数を除く目的変数の再設定とを許可する第5工程を、
実行する請求項1から3の何れか1項に記載の予測不可データ判定システム。 - 前記コンピュータが、
前記第2工程において、前記説明変数の項目値の組み合わせに対する目的変数項目値の数を目的変数値のカウンタ数としてカウントし、該カウントした目的変数値のカウンタ数を、前記説明変数の項目値の組み合わせごとの目的変数値のカウンタ数で除算した値を集中度として算出する請求項1から4の何れか1項に記載の予測不可データ判定システム。 - 前記コンピュータが、
前記第2工程において、前記説明変数の値の組合せごとに、前記同一の目的変数項目値になる割合を示す値である生起確率で重み付き平均した情報量を集中度として算出する請求項1から4の何れか1項に記載の予測不可データ判定システム。 - 前記コンピュータが、
前記入力した元データに含まれる変数の全ての値の種類を予め抽出することで、項目値の値の組合せを生成する請求項1から6の何れか1項に記載の予測不可データ判定システム。 - 複数項目の値を含む複数のレコードから成る元データを入力とし、該複数の項目から選択した複数項目を説明変数として設定すると共に該説明変数を除く他の項目から選択した項目を目的変数として設定し、前記説明変数の組み合わせに対する目的変数への予測が可能か否かをコンピュータに判定させる予測不可データ判定方法であって、
前記コンピュータに、
前記説明変数の項目値の組み合わせと同一の組合せを持つレコードの数を目的変数の項目値ごとにレコード数として計数する第1工程と、
該計数したレコード数を用いて、説明変数の値の組合せごとに目的変数の値への集中度を算出する第2工程と、
該第2工程により算出した説明変数の値の組合せ及び集中度を出力する第3工程と、
を実行させる予測不可データ判定方法。 - 前記コンピュータに、
前記元データに含まれる複数項目の値が連続した連続値のとき、該連続値を所定の値範囲により離散した離散値に変更し、該離散値を説明変数及び又は目的変数の項目値として設定する第4工程を実行させる請求項8に記載の予測不可データ判定方法。 - 前記コンピュータに、
予め前記集中度の下限値を設定する閾値を入力させ、
前記第3工程において、算出した集中度のうち、前記閾値以上の集中度を含む前記第2工程による説明変数の値の組合せを出力させる請求項8又は9に記載の予測不可データ判定方法。 - 前記コンピュータに、前記第3工程により算出した集中度を出力した後、
前記説明変数の設定と該説明変数を除く目的変数として設定を再設定するか否かを判定させ、再設定すると判定したとき、前記説明変数の設定と該説明変数を除く目的変数の再設定とを許可させる第5工程を、
実行させる請求項8から10の何れか1項に記載の予測不可データ判定方法。 - 前記コンピュータに、
前記第2工程において、前記説明変数の項目値の組み合わせに対する目的変数項目値の数を目的変数値のカウンタ数としてカウントさせ、該カウントさせた目的変数値のカウンタ数を、前記説明変数の項目値の組み合わせごとの目的変数値のカウンタ数で除算した値を集中度として算出させる請求項8から11の何れか1項に記載の予測不可データ判定方法。 - 前記コンピュータに、
前記第2工程において、前記説明変数の値の組合せごとに、前記同一の目的変数項目値になる割合を示す値である生起確率で重み付き平均した情報量を集中度として算出させる請求項8から11の何れか1項に記載の予測不可データ判定方法。 - 前記コンピュータに、
前記入力した元データに含まれる変数の全ての値の種類を予め抽出することで、項目値の値の組合せを生成させる請求項8から13の何れか1項に記載の予測不可データ判定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016103312A JP6771314B2 (ja) | 2016-05-24 | 2016-05-24 | 予測不可データ判定システム及び予測不可データ判定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016103312A JP6771314B2 (ja) | 2016-05-24 | 2016-05-24 | 予測不可データ判定システム及び予測不可データ判定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017211756A true JP2017211756A (ja) | 2017-11-30 |
JP6771314B2 JP6771314B2 (ja) | 2020-10-21 |
Family
ID=60475452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016103312A Active JP6771314B2 (ja) | 2016-05-24 | 2016-05-24 | 予測不可データ判定システム及び予測不可データ判定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6771314B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019197267A (ja) * | 2018-05-07 | 2019-11-14 | 株式会社日立製作所 | データ不足提示システムおよびデータ不足提示方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0877010A (ja) * | 1994-09-07 | 1996-03-22 | Hitachi Ltd | データ分析方法および装置 |
US5724573A (en) * | 1995-12-22 | 1998-03-03 | International Business Machines Corporation | Method and system for mining quantitative association rules in large relational tables |
JP2004287874A (ja) * | 2003-03-24 | 2004-10-14 | Hitachi Ltd | データ分析方法および営業支援システム |
JP2004326641A (ja) * | 2003-04-28 | 2004-11-18 | Hitachi Ltd | 広さ優先探索による特徴ルール発見方法 |
-
2016
- 2016-05-24 JP JP2016103312A patent/JP6771314B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0877010A (ja) * | 1994-09-07 | 1996-03-22 | Hitachi Ltd | データ分析方法および装置 |
US5724573A (en) * | 1995-12-22 | 1998-03-03 | International Business Machines Corporation | Method and system for mining quantitative association rules in large relational tables |
JP2004287874A (ja) * | 2003-03-24 | 2004-10-14 | Hitachi Ltd | データ分析方法および営業支援システム |
JP2004326641A (ja) * | 2003-04-28 | 2004-11-18 | Hitachi Ltd | 広さ優先探索による特徴ルール発見方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019197267A (ja) * | 2018-05-07 | 2019-11-14 | 株式会社日立製作所 | データ不足提示システムおよびデータ不足提示方法 |
JP7065685B2 (ja) | 2018-05-07 | 2022-05-12 | 株式会社日立製作所 | データ不足提示システムおよびデータ不足提示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6771314B2 (ja) | 2020-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7668826B2 (en) | Predicting apparatus, predicting method, and computer product | |
CN106251174A (zh) | 信息推荐方法及装置 | |
CN113157752B (zh) | 一种基于用户画像和情境的科技资源推荐方法及系统 | |
JP6567484B2 (ja) | 推計モデル構築システム、推計モデル構築方法及びプログラム | |
CN108090032B (zh) | 逻辑回归模型的可视化解释方法及装置 | |
CN104504583B (zh) | 分类器的评价方法 | |
JP6696568B2 (ja) | アイテム推奨方法、アイテム推奨プログラムおよびアイテム推奨装置 | |
KR102591481B1 (ko) | 인공지능 기반 트렌드에 기초한 판매제품 추천 시스템 | |
WO2018059298A1 (zh) | 模式挖掘方法、高效用项集挖掘方法及相关设备 | |
JP2018180712A (ja) | モデル変数候補生成装置および方法 | |
JP6242540B1 (ja) | データ変換システム及びデータ変換方法 | |
JP6003637B2 (ja) | 情報処理装置、ノード抽出プログラムおよびノード抽出方法 | |
JP6524790B2 (ja) | 情報処理装置及び情報処理プログラム | |
CN112070559A (zh) | 状态获取方法和装置、电子设备和存储介质 | |
CN116738041A (zh) | 一种运动方案智能推荐方法、系统及电子设备 | |
WO2016092677A1 (ja) | モジュール分割支援装置、方法、及びプログラム | |
JP6771314B2 (ja) | 予測不可データ判定システム及び予測不可データ判定方法 | |
JP5584917B2 (ja) | データ分析システム及びデータ分析方法 | |
Barbosa et al. | Using performance profiles for the analysis and design of benchmark experiments | |
CN111090805A (zh) | 推荐指数归因方法、装置及电子设备 | |
JP6852004B2 (ja) | データ解析システム、データ解析方法、及びプログラム | |
JP2020166443A (ja) | データ加工方法レコメンドシステム、データ加工方法レコメンド方法、及びデータ加工方法レコメンドプログラム | |
US20140358818A1 (en) | Product-information management device, method, and program | |
JP2020017094A (ja) | 分析方法、分析装置及びプログラム | |
JP6216600B2 (ja) | 紹介者候補抽出システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190402 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200923 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200929 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6771314 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |