CN112789636A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN112789636A
CN112789636A CN201980063773.5A CN201980063773A CN112789636A CN 112789636 A CN112789636 A CN 112789636A CN 201980063773 A CN201980063773 A CN 201980063773A CN 112789636 A CN112789636 A CN 112789636A
Authority
CN
China
Prior art keywords
prediction
learning
information processing
model
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980063773.5A
Other languages
English (en)
Inventor
高松慎吾
宫原正典
玉村広雅
高桥朋子
东出元辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112789636A publication Critical patent/CN112789636A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Automation & Control Theory (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本技术涉及一种基于学习历史的比较来促进学习的信息处理装置、信息处理方法和程序。提供了一种信息处理装置，包括：多个预测模型，是已经经历了基于机器学习的训练的模型；以及控制单元，执行用于显示与预测模型相关的模型信息的控制。本技术可以应用于例如使用机器学习来执行预测和学习的信息处理装置。

Description

信息处理装置、信息处理方法和程序
技术领域
本技术涉及一种信息处理装置、信息处理方法和程序。更具体地，本技术涉及一种用于提供对学习历史相对容易的比较和检查的信息处理装置、信息处理方法和程序。
背景技术
近年来，机器学习已经被用于各种领域。例如，已经提出了用于通过机器学习来预测房地产交易(出售和购买)的合同概率的技术(例如，PTL专利文献1)。
[引文列表]
[专利文献]
[专利文献1]
日本专利申请公开第2017-16321号
发明内容
[技术问题]
为了建立用于机器学习的高度准确的预测模型，在对通过学习获得的预测模型的评估重复多次之前，需要调整和学习用作学习数据、预测模型和模型参数的项。因此，为了有效地构建预测模型，需要提供到那时为止对学习历史相对容易的检查的工具。
鉴于上述情况设计了本技术，并且旨在提供对学习历史相对容易的检查。
[问题的解决方案]
根据本技术的一个方面，提供了一种信息处理装置，该信息处理装置包括控制部，该控制部被配置为执行控制以显示作为由机器学习训练的模型的多个预测模型以及关于预测模型的模型信息。
根据本技术的一个方面，提供一种信息处理方法，包括使信息处理装置执行控制，以显示作为由机器学习训练的模型的多个预测模型以及关于预测模型的模型信息。
根据本技术的一个方面，提供了一种程序，用于使计算机用作控制部，该控制部执行控制以显示作为由机器学习训练的模型的多个预测模型以及关于预测模型的模型信息。
根据本技术的一个方面，执行控制以显示作为由机器学习训练的模型的多个预测模型以及关于预测模型的模型信息。
应当注意，根据本技术的一个方面的信息处理装置可以通过使计算机执行程序来实现。当被提供时，该程序可以经由传输介质被传输或者被记录在记录介质上。
信息处理装置可以是独立装置或构成单个装置的内部块。
附图说明
[图1]是示出应用本技术的预测系统的配置实例的框图。
[图2]是示出学习数据集的实例的视图。
[图3]是示出历史管理屏幕的配置实例的视图。
[图4]是示出新模型创建屏幕的配置实例的视图。
[图5]是示出新模型细节设置屏幕的配置实例的视图。
[图6]是解释条目排序过程的流程图。
[图7]是解释可比性确定过程的流程图。
[图8]是示出在条目排序过程之后的历史管理屏幕的配置实例的视图。
[图9]是表示按下显示树按钮的情况下的历史管理屏幕的配置实例的视图。
[图10]是示出历史显示区域中的树表示的其他实例的视图。
[图11]是示出历史管理屏幕的另一配置实例的视图。
[图12]是示出条目差异显示屏幕的配置实例的视图。
[图13]是示出建议屏幕的配置实例的视图。
[图14]是解释建议显示过程的流程图。
[图15]是示出差异条目的实例的视图。
[图16]是示出应用本技术的计算机的配置实例的框图。
具体实施方式
下面描述用于实现本技术的优选实施方案(以下称为实施方案)。按以下顺序进行说明：
1.预测系统的框图
2.历史管理屏幕的配置实例
3.新模型创建过程
4.条目排序过程
5.树显示过程
6.显示是否存在显著差异的过程
7.条目差异显示的实例
8.建议功能的显示实例
9.计算机的配置实例
<1.预测系统的框图>
图1是示出应用本技术的预测系统的配置实例的框图。
图1的预测系统1包括预测应用程序11、操作部12、存储器13和显示器14。这是一种执行机器学习并且使用从学习得到的训练模型作为预测模型来预测预定的预测目标项的系统。
预测系统1可以配置有诸如个人计算机、服务器设备或智能手机的单个信息处理装置，或者配置有经由诸如互联网或LAN(局域网)的网络互连的多个信息处理装置，如在服务器-客户端系统的情况下。
预测应用程序11包括应用程序。例如，当预测应用程序11由个人计算机的CPU(中央处理单元)执行时，预测应用程序实现学习部21、预测部22和学习历史管理部23。学习部21、预测部22和学习历史管理部23各自提供两个功能：作为基于从操作部12提供的用户的指令操作而执行预定过程的操作控制部的功能，和作为使显示器14显示诸如学习结果和预测结果的相关信息的显示控制部的功能。
操作部12例如包括键盘、鼠标、开关和触摸面板。操作部12接受用户的指令操作并将其提供给预测应用程序11。
存储器13是数据存储部，其包括诸如硬盘或半导体存储器的记录介质，用于存储学习和预测所需的数据集和应用程序。存储器13存储用于学习目的的学习数据集、用于评估通过学习获得的预测模型的评估数据集、以及用于使用通过学习获得的预测模型进行预测的预测数据集作为数据集。
图2是示出学习数据集的实例的视图。
图2示出了用于学习预测模型的典型学习数据集的一部分，该预测模型基于这些个体的历史和其金融资产，针对对这些个体的贷款延长的信用检查，预测这些个体对其债务违约的概率。
图2中的学习数据集包括ID、年龄、工作类别、学术背景、教育年限、婚姻史、工作类别、家庭结构、种族、性别、资金收益、资金损失、周工时、民族血统和标记，作为数据项(特征数量)。作为学习数据集中的最后一个项的标记是预测目标项的已知答案，“是”指示个体已偿还债务，“否”指示个体已对其债务违约。
返回图1，显示器14是诸如LCD(液晶显示器)或有机EL(电致发光)显示器的显示设备，其显示从预测应用程序11提供的图像。例如，显示器14显示用于学习目的和预测结果的学习参数设置屏幕。
预测应用程序11的学习部21使用存储在存储器13中的学习数据集来执行基于预定学习模型的学习过程(机器学习)。预测部22使用通过学习过程获得的训练模型作为预测预定的预测目标项的预测模型。学习部21例如具有逻辑回归模型、神经网络模型和随机森林模型作为学习模型(预测模型)。根据用户的指示操作，学习部21选择用于进行学习过程的适当的学习模型。另外，使用对预测目标项的答案为已知的评估数据集，学习部21进行评估由学习过程获得的学习模型的准确度(预测准确度)的评估过程。
预测部22执行预测过程，以使用作为由进行学习过程的学习部21获得的训练模型的预测模型来预测预定的预测目标项。预测过程利用存储在存储器13中的预测数据集。
学习历史管理部23管理由学习部21进行的多个学习过程的历史。即，通过机器学习来构建高度准确的学习模型，该机器学习涉及重复多次学习过程以及通过该学习过程获得的学习模型的评估。例如，当执行多个学习过程时，根据需要修改用作学习数据、学习模型、诸如正则化项系数的学习参数和预测目标项的数据项，以确定预测的准确度是否提高。还存在更新(扩展)学习数据集并且再次计算学习模型的情况。学习历史管理部23以易理解的方式向用户呈现由学习部21执行的多个学习过程的细节，诸如不同学习过程中的不同数据集和不同学习模型，以及准确度评估指数值。在本实施方案中，假设学习过程或学习还包括之后要执行的准确度评估。学习历史管理部23进一步基于过去的学习过程中生成的多个学习模型与过去进行的多个学习过程的比较，提出更优选的学习模型。
预测应用程序11的主要特征在于由学习历史管理部23实现的学习历史管理功能。在随后的段落中，将省略学习部21的学习过程和预测部22的预测过程的细节，并且将详细说明学习历史管理部23的功能。假设学习过程和预测过程使用公知技术分别由学习部21和预测部22适当地进行。
<2.历史管理屏幕的配置实例>
图3示出了由学习历史管理部23在显示器14上显示的历史管理屏幕的配置实例。
在预测应用程序11执行学习历史管理功能的情况下，学习历史管理部23生成图3中的历史管理屏幕41，并使显示器14显示历史管理屏幕41，历史管理屏幕指示作为通过学习过程获得的训练模型的多个预测模型以及关于所获得的预测模型的模型信息。
图3中的历史管理屏幕41分为三个主要区域。具体地，历史管理屏幕41被划分为项目显示区域51、条目显示区域52和概要显示区域53。
项目显示区域51显示在历史管理屏幕41的上部。投影显示区域51下方的区域分为左右两部分。入口显示区域52布置在左部，而概要显示区域53布置在右部。
学习历史管理部23以项目为单位管理学习历史。项目显示区域51显示由历史管理屏幕41指示的当前项目。在图3的实例中，指示“项目A”出现在项目显示区域51中。这意味着项目显示区域51显示名为“项目A”的项目。在随后的描述中，假设“项目A”是用于学习和预测一种预测模型的项目，该预测模型使用诸如图2中所示的数据集来预测债务违约概率。
条目显示区域52具有布置在其中的按钮和历史显示区域65，按钮包括创建新模型按钮61、排序按钮62、显示树按钮63和建议按钮64。历史显示区域65显示先前由正在显示的当前项目执行的学习过程的历史(列表)(在图3的实例中为“项目A”)。
在历史显示区域65中，为一个学习过程创建并显示一个条目66。图3中的历史显示区域65按时序显示三个条目66-1至66-3，指示到目前为止已经进行了三个学习过程。
例如，在历史显示区域65中，可以按照创建多个条目66的顺序来排列多个条目。在这种情况下，最近的条目66被显示在历史显示区域65的顶部。在图3的实例中，历史显示区域65的三个条目66-1至66-3中，条目66-3是最近的，而条目66-1是最老的。
可替换地，在历史显示区域65中，可以以预测准确度评估值的降序排列多个条目66。在这种情况下，在历史显示区域65的上部显示预测准确度的评估值最高的条目66。在图3的实例中的历史显示区域65的三个条目66-1至66-3中，条目66-3具有最高的评估值，而条目66-1具有最低的评估值。
在历史显示区域65中布置多个条目66的方法可以替换地改变，如由用户使用诸如评估值的按时序和降序的多个选项的下拉列表所指定的。
显示在历史显示区域65中的每个条目66包括图标71、模型名称显示部分72、准确度显示部分73和注释显示部分74。图标71表示在条目66中学习的预测模型的预测值类型。显示为图标71的标志对应于在图5中的新模型细节设置屏幕121上的预测值类型设置部分132中所指示的三种标志，这将在后面讨论。
模型名称显示部分72显示条目66的预测模型的名称。在模型名称显示部分72中显示的名称由图4中的创建新模型屏幕101的用户输入确定。准确度显示部分73显示关于条目66的预测模型的预测准确度的评估结果。以AUC(曲线下面积)为例，给出了预测准确度的评估结果。注释显示部分74显示关于条目66的预测模型的注释。在注释由用户输入到图4中的创建新模型屏幕101的情况下显示该注释。
在历史显示区域65中显示的多个条目66中，用户使用鼠标选择的条目66(以下称为所选择的条目)例如以通常由颜色区分的方式显示。关于所选择的条目的详细信息显示在右侧的概要显示区域53中。在图3的实例中，在三个条目66-1至66-3中，中间的条目66-2以灰色显示，其指示所选择的状态。指示所选择的条目的方法不限于如图3所示的以灰色显示。可以采用任何其他合适的指示方法。
按下创建新模型按钮61以创建新预测模型。按下创建新模型按钮61使图4中的创建新模型屏幕101出现。下面将讨论在按下创建新模型按钮61的情况下的处理。
按下排序按钮62，代替时序显示，以预测准确度顺序排序的方式，在历史显示区域65中显示多个条目66。按下排序按钮62执行条目排序过程，稍后将参考图6进行讨论。
按下显示树按钮63，以在历史显示区域65中从包括图3中的图标71、模型名称显示部分72、准确度显示部分73和注释显示部分74的显示改变为树表示。按下显示树按钮63将历史显示区域65中的显示切换到树表示，稍后将参考图9进行讨论。
按下建议按钮64进行建议显示过程。建议显示过程涉及学习历史管理部23基于过去进行的多个学习过程向用户建议假定为更优选的预测模型。在进行建议显示过程时，利用鼠标选择历史显示区域65中显示的多个条目66中的一个，然后按下建议按钮64。可替换地，可以使用鼠标来选择多个条目66中的一个条目，并且从通过右击鼠标而显示的菜单中选择“Suggest(建议)”选项来执行建议显示过程。稍后将参考图14和其他附图详细讨论该建议显示过程。
历史管理屏幕41上右侧的概要显示区域53包括复制新建按钮81、基本信息显示区域82、使用项显示区域83和准确度评估值显示区域84。在基本信息显示区域82、使用项显示区域83和准确度评估值显示区域84中显示的项是识别关于预测模型的模型信息的详细项。
按下复制新建按钮81以基于当前选择的条目66(具有模型名称“model 220180701(模型2 20180701)”)在条目显示区域52中对新预测模型进行学习设置。使用复制新建按钮81的功能使得可以沿用所选择的条目的学习设置以便于学习。
基本信息显示区域82显示关于所选择的条目的基本信息。具体地，基本信息显示区域82显示预测值类型、预测目标、学习数据和学习时间。预测值类型指示通过学习设置所建立的预测值的类型。预测值类型可以是二进制分类、多值分类和数值预测中的任何一种。预测目标指示通过学习设置建立的预测目标项。学习数据指示用于学习的数据集的文件名。学习时间指示学习过程所需的时间。
使用项显示区域83显示包括在所选择的条目的预测模型的学习数据(学习数据集)中的数据项，以及用于学习的数据项的那些。显示在使用项显示区域83中的数据项指示包括在学习数据中的数据项。实线框包围的数据项是用于学习的数据项，虚线框包围的数据项是不用于学习的数据项。指示数据项是否已被使用的方法不限于上述方法。可替换地，例如，已经使用或未使用的数据项可以通过使用不同的颜色来指示。
准确度评估值显示区域84显示关于所选择的条目的预测模型的预测准确度的评估的结果(评估值)。所显示的预测准确度的评估指标有“Precision(精度)”(匹配率)、“Recall”(召回率)、“F-measure(F-量度)”(F值)、“Accuracy(准确度)”(总准确率)、AUC(ROC曲线下面积)等。
在图3的历史管理屏幕41中，在输入显示区域52中显示多个经训练的预测模型。概要显示区域53显示关于从这多个预测模型中选择的预定预测模型的模型信息(条目66)。这允许用户以相对容易的方式比较地检查学习历史。
<3.新模型创建过程>
下面将解释在图3中的历史管理屏幕41上按下创建新模型按钮61的情况下执行的新模型创建过程。
图4示出了在按下创建新模型按钮61的情况下显示的创建新模型屏幕的实例。
在图4的创建新模型屏幕101上，可以输入新建的模型(学习模型)的模型名称和解释性注释，并指定学习数据。新建的预测模型的模型名称被输入到文本框111。输入到文本框111的名称显示在历史管理屏幕41上的模型名称显示部分72中。对新建的预测模型的解释性注释被输入到文本框112。输入到文本框112的解释性注释被显示在历史管理屏幕41上的注释显示部分74中。用作学习数据的文件的文件名被输入到文件设置部分113。可以通过获得为文件引用而显示的对话框并从所显示的对话框中指定该文件用作学习数据来输入该文件。
按下OK(好的)按钮114显示图5中示出的新模型细节设置屏幕121。按下取消按钮115取消(停止)新模型创建过程。
图5示出了在图4中创建新模型屏幕101上按下OK按钮114的情况下显示的新模型细节设置屏幕的实例。
图5中的新模型细节设置屏幕121包括预测目标设置部分131、预测值类型设置部分132、模型类型设置部分133、学习数据设置部分134、数据项设置部分135、执行学习/评估按钮136和取消按钮137。
在预测目标设置部分131中，用户可以使用下拉列表来设置预测目标。预测目标是指包括在学习数据中的数据项中针对预测的数据项。下拉列表在图4的创建新模型屏幕101上显示包括在文件设置部分113中指定的学习数据中的数据项。在图2所示出的学习数据集的典型项中，项“Label(标记)”选自图5中的下拉列表作为预测目标项。
在预测值类型设置部分132中，可以将二进制分类、多值分类或数值预测设置为预测目标项的预测值类型。三种标志对应于在图3中的历史管理屏幕41上的条目显示区域52中显示的条目66的图标71。用户通过选择表示二进制分类、多值分类和数值预测的标志中的任一个来设置预测值类型。
在模型设置部分133中，可以使用单选按钮来选择用于学习的预测模型(学习模型)的模型类型。作为预测模型类型，可以选择逻辑回归、神经网络和随机森林的任意一个可选模型。此外，可以设置归一化项系数以防止过度训练。
学习数据设置部分134在图4中的创建新模型屏幕101上在文件设置部分113中显示指定为学习数据的文件。按下改变按钮138显示允许根据需要改变文件的文件引用对话框。在学习预测模型之后进行的预测准确度评估过程中，将学习数据的一部分例如分割为评估数据(评估数据集)并对其利用。
数据项设置部分135显示被指定为学习数据的包括在学习数据集中的所有数据项。给定所显示的所有数据项，用户检查数据项的复选框以用作学习数据，并由此指定要用作学习数据的数据项。另外，在此，不能指定在预测目标设置部分131中被选择作为预测目标项的数据项。
按下执行学习/评估按钮136以开始学习过程和准确度评估过程。按下取消按钮137以取消(停止)新模型创建过程。
在图3的历史管理屏幕41上按下创建新模型按钮61的情况下，在图4的创建新模型屏幕101和图5的创建新模型细节设置屏幕121上相继确定必要的设置项。按下执行学习/评估按钮136进行学习过程和预测准确度评估过程。
<4.条目排序过程>
下面参考图6和图7说明在图3中的历史管理屏幕41上按下排序按钮62的情况下执行的条目排序过程。
在图3的历史管理屏幕41上按下排序按钮62的情况下，学习历史管理部23执行图6的流程图中所指示的条目排序过程，以便改变历史显示区域65中多个条目66的显示。
首先，在图6的条目排序过程的步骤S11中，学习历史管理部23从包括在当前项目“项目A”中的所有条目中形成具有相同预测值类型和相同预测目标的条目的组。因此，在群组的形成中，忽略学习数据的差异。
在步骤S12中，学习历史管理部23通过从已经创建的一个或多个组中选择预定的两组来形成一对组，并且执行可比性确定过程以确定成对的组是否彼此可比较。学习历史管理部23进一步对所有成对的组执行可比性确定过程，以确定成对的组是否彼此可比较。
这里参照图7中的流程图解释的是在步骤S12中对成对组进行的可比性确定过程。由于具有相同预测值类型和相同预测目标的条目构成一个组，配对的两组是至少预测值类型或预测目标不同的条目的集群。
在步骤S31中，学习历史管理部23确定成对的组是否具有不同的预测目标。在步骤S31中确定成对组之间的预测目标不是不同的情况下，即，在确定成对组具有相同预测目标的情况下，控制转移到步骤S36，稍后将讨论。
另一方面，在步骤S31中确定成对组具有不同的预测目标的情况下，控制转移到步骤S32。然后，学习历史管理部23确定两组的预测目标中的至少一个是否为数值。
在步骤S32中确定为两组的预测目标中的至少一方为数值的情况下，控制转移至步骤S33。另一方面，在确定两组的预测目标都不是数值的情况下，即，在确定两组的预测目标都是分类的情况下，控制转移到步骤S37。
在跟随在步骤S32中的上述情况的步骤S33中，其中预测目标中的至少任一个被确定为数值，学习历史管理部23针对两个组中的每个组中的每个条目计算预测目标的统计。这里计算的预测目标的统计包括例如平均值、中值、标准偏差、最大值和最小值。
接下来，在步骤S34中，学习历史管理部23为两组中的每一组中的所有条目计算预测目标的统计的平均值。即，计算在步骤S33中计算的条目的预测目标的统计的组的平均值。例如，对于整个组，进一步平均每个组中的条目的预测目标的平均值。类似的计算适用于诸如中值、标准偏差、最大值和最小值的其他统计量。
然后，在步骤S35中，学习历史管理部23确定两组中的每个统计的平均值之间的差是否等于或小于预定值。在步骤S35中确定两组中的每个统计量的平均值之间的差等于或小于预定值的情况下，控制转移到步骤S36。另一方面，在步骤S35中确定为两组中的每个统计量的平均值之差大于预定值的情况下，控制转移至步骤S38。
同时，在两组的预测目标都被确定为分类的步骤S32中的上述情况之后，在步骤S37中，学习历史管理部23确定在两组的预测目标可以采用的可能值之间是否存在共同部分。在步骤S37中确定为两组的预测目标可以取得的可能值之间存在共同部分的情况下，控制转移到步骤S36。另一方面，在步骤S37中确定为两组的预测目标可以取得的可能值之间不存在共同部分的情况下，控制转移至步骤S38。
在步骤S36中，学习历史管理部23确定成对的组彼此可比较，并且终止可比性确定处理。在步骤S31中确定成对组具有相同预测目标的情况下，其中确定两组中的每个统计量的平均值之间的差等于或小于步骤S35中的预定值，或者其中在步骤S37中确定为两组的预测目标可以采用的可能值之间的共同部分，进行步骤S36的过程。因此，在确定成对组具有相同预测目标的情况下，其中确定两个组中的每个统计的平均值之间的差等于或小于预定值，或者其中确定为预测目标是分类的两组中的预测目标可以采用的可能值之间存在共同部分，确定成对组彼此可比较。
另一方面，在步骤S38中，学习历史管理部23确定成对的组彼此不可比较，并结束可比性确定过程。在步骤S35中确定两组中的每个统计量的平均值之间的差大于预定值的情况下，或者在步骤S37中确定两组的预测目标可以采用的可能值之间不存在共同部分的情况下，进行步骤S38的过程。因此，在确定两个组中的每个统计量的平均值之间的差大于预定值的情况下或者在两个组的预测目标可以采用的可能值之间不存在共同部分的情况下，确定成对的组被彼此不可比较。
返回到图6中的流程图的解释，在步骤S12中，对所有成对的组组合执行以上参考图7讨论的可比性确定过程。
存在这样的情况，其中预测目标是数值并且预测值类型是数值预测的学习设置被学习为用于多值分类的预测值类型。例如，可以存在这样的情况：对于具有五个类别的多值分类，学习可以采用范围从0到50的值的预测目标，例如，从0到10，从11到20，从21到30，从31到40，以及从41到50。即使在预测值类型不同的情况下，通过使用数值预测指标计算的评估值，也可以将五类的中值用于数值预测。因此，可以通过可比性确定过程确定组彼此可比较。
进一步，存在这样的情况，其中给定相同的预测目标，预测目标的抽象等级仍然改变。例如，在预测目标涉及预测是否“继续”或“退出”合同的情况下，可以采用“继续”或“退出”的二元分类，或者可以将“继续”、“合同到期”或“合同中止”的三值分类用于预测目标。在以这种方式改变预测目标的抽象程度(类别数量)的情况下，可以将评估值计算为共同值(上述实例中的“连续”)或某一其他值的二元分类。因此，可以通过可比性确定过程确定组彼此可比较。
在图6中的步骤S12之后的步骤S13中，学习历史管理部23连接被确定为彼此可比较的组。
在步骤S14中，学习历史管理部23以预测准确度的降序对每个组中的条目进行排序。
在步骤S15中，学习历史管理部23以条目计数(预测模型的数量)的降序连接每个组中的排序条目，在图3中的历史管理屏幕41上的条目显示区域52中显示排序条目，并终止条目排序过程。
图8示出了条目排序过程之后的典型历史记录管理屏幕。
在图3的历史管理屏幕上，以预测准确度评估值的降序在历史显示区域65中显示五个条目66-1至66-5。
在历史显示区域65中显示的五个条目66-1至66-5中，条目66-1、66-3和66-5具有指示二进制分类的图标71；条目66-2、66-4具有指示多值分类的图标71。因此，图8中的历史管理屏幕是显示不同预测值类型的排序的多个条目的屏幕。
在图8的实例中的五个条目66-1到66-5中，条目66-2是由用户选择的选定条目。关于所选择的条目66-2的详细信息显示在右侧的概要显示区域53中。
根据条目排序过程，具有相同预测目标和相同预测值类型但具有不同学习数据的条目并行地显示为构成一个组。在条目显示区域52中，以条目数量减少的组的顺序显示不同组中的具有不同预测目标的条目，以预测准确度的降序显示相同组中的条目。
应注意，在条目排序过程中，可以将不同预测值类型的评估值转换为所有预测值类型共同的评估指标，诸如反映共同评估值的用于排序显示的五级评估指标。在这种情况下，所有条目在共同评估指标方面可比较。这消除了对于步骤S12中的可比性确定过程和对于步骤S13中的连接过程的需要，在步骤S13中，可比较的组彼此连接。
<5.树显示过程>
下面参考图9和图10解释的是在图3的历史管理屏幕41上按下显示树按钮63的情况下执行的树显示过程。
在按下显示树按钮63的情况下，学习历史管理部23改变为在图3所示出的历史管理屏幕41上的历史显示区域65的树表示。
图9示出了在按下显示树按钮63的情况下的典型历史管理屏幕。
在图9的历史管理屏幕41上，只有历史显示区域65不同于图3的历史管理屏幕41上的历史显示区域。因此，将不再进一步解释历史管理屏幕41上除了历史显示区域65之外的区域。
在历史显示区域65中，每个条目66由圆形节点161表示，节点161在节点表示中显示为由实节点互连线162连接。显示在每个圆形节点161内部的是与条目66的预测模型的名称相对应的字符，诸如缩写条目66的预测模型名称的两个字符。附接到实节点互连线162的箭头对应于节点161的条目66被创建的时间序列。在图9的实例中，实节点互连线162-1从预测模型“m1”(预测模型模式1)的节点161-1连接到预测模型“m2”(预测模型模式2)的节点161-2。实节点互连线162-2从预测模型“m2”(预测模型模式2)的节点161-2连接到预测模型“m3”(预测模型模式3)的节点161-3。这意味着条目66从预测模型“m1”(预测模型模式1)，接着预测模型“m2”(预测模型模式2)和预测模型“m3”(预测模型模式3)，依次开始按时序创建。
在图9的树表示中，预测模型“m2”的节点161-2以灰色显示，其指示所选择的状态。未选择的预测模型“m1”和“m3”的节点161-1和161-3显示为白色。
进一步，在图9的树表示中，从预测模型“m3”的节点161-3到预测模型“m1”的节点161-1显示虚复制节点互连线163。虚复制节点互连线163指示已基于连接目的地节点161-1的预测模型“m1”的条目66创建了连接源节点161-3的预测模型“m3”的条目66。换言之，在用户选择连接目的地节点161-1的预测模型“m1”的条目66作为所选条目时，按下复制新建按钮81以学习新的预测模型的情况下，显示该虚复制节点互连线163。
如上所述，在显示树按钮63被按下的情况下，在历史显示区域65中显示的树表示通过按下复制新建按钮81来学习新预测模型的情况下，提供了对条目66在同一项目中被执行的顺序和源条目66的简单视觉识别。
上面参考图9解释的历史显示区域65中的树表示的形式可以用诸如图10中的子图A和B中的那些的其他形式来代替。
图10中的子图A和B示出了在显示树按钮63被按下的情况下历史显示区域65中的树表示的其他形式。
在图10中的子图A和B中的树表示的形式中，与图9中的表示形式不同的是在按下复制新建按钮81以设置新预测模型的学习的情况下复制源和复制目的地互连的方式。
在图9中，作为复制源的条目66的节点161和作为复制目的地的条目66的节点161通过虚线箭头(以下称为复制节点互连线163)互连。相反，在图10的子图A中，作为复制目的地的条目66的节点161被布置在作为复制源的条目66的节点161的右侧，这两个节点通过实复制节点互连线164互连。
在图10的子图A中，预测模型“m21”的节点161-21被布置在预测模型“m2”的节点161-2的右侧，节点由实复制节点互连线164-1互连。这指示在基于预测模型“m2”的节点161-2按下复制新建按钮81以学习新预测模型的情况下，预测模型“m21”的节点161-21是条目66。
而且，预测模型“m11”的节点161-11被布置在预测模型“m3”的节点161-3的右侧，节点由实复制节点互连线164-2互连。这指示在基于预测模型“m3”的节点161-3按下复制新建按钮81以学习新预测模型的情况下，预测模型“m11”的节点161-11是条目66。
进一步，预测模型“m12”的节点161-12被布置在预测模型“m3”的节点161-3的右侧，并且被布置在预测模型“m11”的节点161-11的右侧，节点161-12通过实复制节点互连线164-3与预测模型“m11”的节点161-11连接。这指示在基于预测模型“m3”的节点161-3或基于预测模型“11”的节点161-11按下复制新建按钮81以学习新预测模型的情况下，预测模型“m12”的节点161-12是条目66。
在另一方面，在图10的子图B中，预测模型“m21”的节点161-21与预测模型“m2”的节点161-2通过实复制节点互连线165-1连接，该实复制节点互连线从节点161-2向右绘制然后垂直向上弯曲，形成L形。这指示在基于预测模型“m2”的节点161-2按下复制新建按钮81以学习新预测模型的情况下，预测模型“m21”的节点161-21是条目66。
而且，预测模型“m22”的节点161-22与预测模型“m2”的节点161-2通过实复制节点互连线165-2连接，该实复制节点互连线从节点161-2向右绘制，延伸超过预测模型“m21”的节点161-21，然后垂直向上弯曲，形成L形。这指示在基于预测模型“m2”的节点161-2按下复制新建按钮81以学习新预测模型的情况下，预测模型“m22”的节点161-22是条目66。
进一步，在图10的子图B中，预测模型“m11”的节点161-11与预测模型“m3”的节点161-3通过实复制节点互连线165-3连接，该实复制节点互连线从节点161-3向右绘制然后垂直向上弯曲，形成L形。这指示在基于预测模型“m3”的节点161-3按下复制新建按钮81以学习新预测模型的情况下，预测模型“m11”的节点161-11是条目66。
而且，预测模型“m12”的节点161-12被放置在预测模型“m11”的节点161-11的上方，这两个节点通过实复制节点互连线165-4互连。这指示在基于预测模型“m11”的节点161-11按下复制新建按钮81以学习新预测模型的情况下，预测模型“m12”的节点161-12是条目66。
在采用图10的子图A和B中描述的树表示形式的情况下，在通过按下复制新建按钮81来学习新预测模型的情况下，仍然可以提供对条目66在同一项目中被执行的顺序和源条目66的简单视觉识别。
此外，当以区分通过复制现有预测模型创建的条目66与不复制任何现有预测模型而创建的条目66的方式形成树表示时，可以以容易理解的方式显示通过复制现有预测模型创建的条目66。
<6.显示存在或不存在显著差异的过程>
图11是示出图3中指示的历史管理屏幕的另一配置实例的视图。
除了图3中的历史管理屏幕41之外，图11的历史管理屏幕41进一步包括另外两个条目66-4和66-5。
在图11的历史管理屏幕41上，历史显示区域65显示具有最高预测准确度的条目66-5和具有次高预测准确度的条目66-4，它们的预测准确度分别由包含在每框(矩形)中的评估值来指示。
包含预测准确度评估值的框指示在具有最高预测准确度的条目66-5与具有次高预测准确度的条目66-4之间不存在统计上显著的差异。因此，在存在与具有最高预测准确度的条目66在统计上不存在显著差异的条目66的情况下，以与具有最高预测准确度的条目66的评估值类似的方式在显示中突出显示这些在统计上没有显著差异的条目的预测准确度的评估值。顺便提及，突出显示不存在统计上显著差异的方法不限于图11中示出的框显示。作为替代方案，可使用相同颜色来突出显示任何条目66而无统计上显著差异，该颜色不同于其中显示其他条目66的预测准确度评估值的颜色。
为了确定多个条目66之间是否存在统计上显著的差异，需要多次计算每个条目66的评估值，并且需要预先进一步计算每个条目66的多个评估值的平均值和标准偏差。在已经多次计算条目66的评估值并准备用于计算平均值和标准偏差的情况下，学习历史管理部23预先计算并存储每个条目66的评估值的平均值和标准偏差。然后，在历史显示区域65中以预测准确度评估值的降序显示条目的情况下，学习历史管理部23确定具有最高预测准确度的条目66与具有次高预测准确度的条目66之间是否存在统计上的显著差异。在确定具有次高预测准确度的条目66与具有最高预测准确度的条目66在统计上没有显著差异的情况下，学习历史管理部23继续确定在具有最高预测准确度的条目66与具有第三高预测准确度的条目66之间是否存在统计上显著的差异。学习历史管理部23继续确定在具有最高预测准确度的条目66和具有次高预测准确度的条目66之间是否存在统计上显著的差异，直到检测到与具有最高预测准确度的条目66具有统计上显著的差异的条目66为止。可替换地，在历史管理屏幕41上的历史显示区域65以预测准确度评估值的降序显示条目66的情况下，在确定性地确定具有最高预测准确度的条目66时，可作出确定以查看具有最高预测准确度的条目66与具有次高预测准确度的条目66之间是否存在统计上显著的差异。
以此方式，当学习历史管理部23显示在一方面具有最高预测准确度的条目66与另一方面的其他条目之间是否存在统计上显著的差异时，用户能够识别并比较多个条目66，其间没有统计上显著的差异。
<7.条目差异显示的实例>
学习历史管理部23具有条目差异显示功能，用于显示与两个条目66相对应的预测模型之间的模型信息中的差异，以便容易地比较两个预测模型。
例如，给定在图3中的历史管理屏幕41上的条目显示区域52中显示的多个条目66，用户例如在按下控制按钮时选择两个条目66，并且从通过右击鼠标而显示的菜单中选择“差异条目”。这使得学习历史管理部23在图12中显示条目差异显示屏幕。可替换地，给定在图9中的历史管理屏幕41上的条目显示区域52中显示的多个节点161，用户可以例如在按下控制按钮时选择两个节点161，并且从通过右击鼠标而显示的菜单中选择“差异条目”。这也可以使得图12中的输入差异显示屏幕被显示。
图12示出了条目差异显示屏幕的配置实例。
条目差异显示屏幕突出显示所选择的两个条目66之间不同的项，以便于识别不同的项。要检查差异的项是作为模型信息在图3中的历史管理屏幕41上的概要显示区域53中显示的项。
学习历史管理部23将两个所选择的条目66中的一个(例如，较早选择的条目66)视为差异源条目，并将另一个所选择的条目66(例如，稍后选择的条目66)视为差异目的地条目，并在图12中的条目差异显示屏幕181上向左显示差异源条目中的条目。在其中差异目的地条目具有不同于差异源条目的项的情况下，不同项由位于其右侧的箭头指示，箭头指向差异目的地项中的不同项的特定值。
在图12的条目差异显示屏幕181的实例中，指示学习时间、预测模型类型、数据使用项、精度、召回率、F-量度、准确度和AUC在差异源条目和差异目的地条目之间是不同的。
具体地，指示学习时间对于差异源条目而言是“03:01:21h”，而对于差异目的地条目而言是“01:44:11h”。结果表明，预测模型类型对于差异源条目而言是“神经网络”，而对于差异目的地条目是“随机森林”。
在数据使用项中，存在于差异源条目中且不存在于差异目的地条目中的那些项由粗实线指示，并且不存在于差异源条目中且存在于差异目的地条目中的那些项由粗虚线指示。具体地，指示数据项“教育年限”存在于差异源条目中而不存在于差异目的地条目中，并且指示数据项“家庭结构”不存在于差异源条目中而存在于差异目的地条目中。
关于预测准确度的评估值，精度、召回率、F-量度、准确度和AUC，对于差异源条目而言，分别为“0.72”、“0.42”、“0.51”、“0.75”和“0.71”，而对于差异目的地条目而言，分别为“0.74”、“0.47”、“0.55”、“0.77”和“0.74”。
在比较所述评估值时，可以用不同的颜色指示所述差异目的地条目相对于差异源条目的改善和恶化，以便于识别，改善例如以红色显示，而恶化例如以蓝色显示。
因此，用于显示图12中的条目差异显示屏幕181的条目差异显示功能允许用户容易地比较和检查两个期望条目66之间的差异。
<8.建议功能的显示实例>
学习历史管理部23具有建议功能，在给定所选择的条目66的情况下，该建议功能建议预期提高所选择的条目66(即，所选择的条目)的预测准确度的学习设置。通过用鼠标例如选择在图3或图9中的历史管理屏幕41上的条目显示区域52中显示的条目66或节点161之一，并通过按下建议按钮64或通过右击鼠标从所显示的菜单中选择“建议”来执行建议功能。
图13示出了在执行建议功能的情况下显示的建议屏幕的实例。
在随后的段落中关于建议函数的解释是预测模型的预测值类型是二进制分类的情况。
图13中的建议屏幕201显示一种学习设置，该学习设置预期提高预测模型类型、建议不使用的项和建议附加使用的项的预测准确度，超过所选择的条目的预测模型类型、建议不使用的项和建议附加使用的项的预测准确度。建议屏幕201进一步将评估值的增加量显示为预计将提高预测准确度的程度。在图13的实例中，AUC显示为评估指数。可替换地，也可以显示其他适当的评估指数。
图13中的建议屏幕201指示学习历史管理部23建议关于预测模型将预测模型类型设置为“神经网络”并且将归一化项系数设置为“0.02”。
还指出，学习历史管理部23建议，在所选择的条目中使用的数据项中，“婚姻历史”、“家庭结构”、和“种族”是优选不使用的数据项。
进一步指出，学习历史管理部23建议优选地将数据项“性别”添加到在所选择的条目中使用的数据项。
此外，学习历史管理部23建议，如果作出上述预测模型的改变，AUC的评估值将增加0.25。
下面参考图14中的流程图解释的是显示诸如在图13中的建议屏幕201上的建议的建议显示过程。通过按下建议按钮64或通过在选择给定条目66之后右击鼠标而从所显示的菜单中选择“Suggest(建议)”来进行该过程。
首先在步骤S71中，学习历史管理部23从包括在当前项目“项目A”中的所有条目66中选择两个条目66，以形成一对条目66，从而创建差异条目。
学习历史管理部23如下创建差异条目：
首先，在这样创建的成对条目66中，一个具有较低预测准确度的评估值的条目被确定为差异源条目，而另一个具有较高评估值的条目被确定为差异目的地条目。
将差异源条目的预测模型类型和正则化项系数以及差异目的地条目的预测模型类型和正则化项系数注册在差异条目中。将在差异源条目中使用但在未差异目的地条目中使用的项注册为差异条目中未使用的项。进一步，将在差异源条目中未使用但在差异目的地条目中使用的项注册为差异条目中附加使用的项。此外，计算从差异源条目到差异目的地条目的预测准确度评估值的增加量，并将其注册在差异条目中。
图15示出了从给定条目对66创建的典型差异条目。
对于图15的差异条目中的差异源条目和差异目的地条目二者而言，预测模型类型为“神经网络”，并且正则化项系数为“0.02”。在差异条目中，未使用的项是“婚姻历史”、“家庭结构”、和“种族”，附加使用的项是“性别”，且基于AUC的增加是“0.25”。
返回到图14的流程图，在步骤S71之后，控制转移到步骤S72。学习历史管理部23确定是否创建了包括在当前项目“项目A”中的所有成对的条目66的差异条目。
在步骤S72中确定还没有为所有成对的条目66创建差异条目的情况下，控制返回到步骤S71，并且创建另一差异条目。
在确定在步骤S71和S72中的处理的适当次数的迭代之后创建所有成对的条目66的差异条目的情况下，控制转移到步骤S73。
在步骤S73中，学习历史管理部23选择所创建的多个差异条目中的一个，并且转到步骤S74。
在步骤S74中，学习历史管理部23确定所选择的差异条目中的差异源的预测模型类型是否与所选择的条目的预测模型类型相匹配。这里，所选择的条目是指在按下建议按钮64之前或者在从通过右击鼠标而显示的菜单中选择“Suggest(建议)”之前由用户选择的条目66。
在步骤S74中确定为所选择的差异条目中的差异源的预测模型类型与所选择的条目的预测模型类型相匹配的情况下，控制转移到步骤S75。然后，学习历史管理部23将所选择的差异条目设定为构成建议的差异条目候选的建议候选，并进入步骤S78。
另一方面，在步骤S74中确定为所选择的差异条目中的差异源的预测模型类型与所选择的条目的预测模型类型不匹配的情况下，控制转移到步骤S76。然后，学习历史管理部23确定所选择的差异条目中的未使用项是否在所选择的条目中使用。
在步骤S76中确定在所选择的差异条目中的未使用项在所选择的条目中使用的情况下，控制转移到步骤S75。然后，学习历史管理部23将所选择的差异条目设定为构成建议的差异条目候选的建议候选，并进入步骤S78。
另一方面，在步骤S76中确定为所选择的差异条目中的未使用项未在所选择的差异条目中使用的情况下，控制转移到步骤S77。然后，学习历史管理部23确定所选择的差异条目中的附加使用项是否在所选择的条目中使用。
在步骤S77中确定在所选择的差异条目中的附加使用项在所选择条目中使用的情况下，控制转移到步骤S75。然后，学习历史管理部23将所选择的差异条目设定为构成建议的差异条目候选的建议候选，并进入步骤S78。
另一方面，在步骤S77中确定为在所选择的差异条目中的附加使用项未在所选择的条目中使用的情况下，控制转移到步骤S78。
因此，在作为步骤S74至S77的处理的结果而保持以下条件(1)至(3)中的至少一个的情况下，学习历史管理部23将当前选择的差异条目设置为建议候选：
(1)在所选择的差异条目中的差异源的预测模型类型与所选择的条目中的预测模型类型相匹配。
(2)所选择的差异条目中的未使用项在所选择的条目中使用。
(3)在所选择的差异条目中的附加使用的项在所选择的条目中使用。
然后在步骤S78中，学习历史管理部23确定是否已经选择了所有创建的差异条目。在步骤S78中确定还没有选择所有差异条目的情况下，控制返回到步骤S73，并选择另一差异条目。然后重复上述步骤S74至S78。
另一方面，在步骤S78中确定已经选择了所有创建的差异条目的情况下，控制转移到步骤S79。然后，学习历史管理部23从设置为建议候选的差异条目中确定具有最大的基于AUC增加的差异条目作为建议差异条目。学习历史管理部23生成诸如图13所示的建议屏幕201，显示生成的建议屏幕201，并结束建议显示过程。
如上所述，建议显示过程涉及从包括在当前项中的所有条目66中创建差异条目，并且分析成对的条目之间的差异，以便显示期望提高超过所选择的条目的预测准确度的学习设置。
在步骤S74至S77中的确定之后保持上述条件(1)的情况下，图13中的建议屏幕201上的预测模型字段显示所建议的差异条目中的差异目的地条目的预测模型类型和正则化项系数。
在步骤S74至S77的确定之后保持上述条件(2)的情况下，图13中的建议屏幕201上的“建议-不使用-项”字段显示在建议差异条目中建议不使用的数据项。
在步骤S74至S77的确定之后保持上述条件(3)的情况下，图13中的建议屏幕201上的“建议-附加使用-项”字段显示在建议的差异条目中建议附加使用的数据项。
此外，图13中的建议屏幕201上的基于AUC的增加字段显示了建议差异条目的基于AUC的增加。可替换地，可省略基于AUC的增加项。
学习历史管理部23的上述建议功能允许用户更容易且更快速地找到用于增加评估值(AUC)的学习设置。
<9.计算机的配置实例>
上述的一系列过程可以由硬件或软件来执行。在由软件进行一系列处理的情况下，构成软件的程序安装到合适的计算机中。计算机的变型包括预先并入其专用硬件的微型计算机，以及能够基于安装在其中的各种程序执行多种功能的通用个人计算机等设备。
图16是示出使用程序执行上述一系列处理的计算机的硬件配置实例的框图。
在计算机中，CPU(中央处理单元)301，ROM(只读存储器)302和RAM(随机存取存储器)303经由总线304互连。
总线304进一步与输入/输出接口305连接。输入/输出接口305与输入部306、输出部307、存储部308、通信部309和驱动器310连接。
输入部306典型地包括键盘、鼠标、麦克风、触摸板和输入终端。输出部307典型地包括显示器、扬声器和输出终端。存储部308典型地包括硬盘、RAM盘和非易失性存储器。通信部309典型地包括网络接口。驱动器310驱动诸如磁盘、光盘、磁光盘或半导体存储器等可移动记录介质311。
在如上所述配置的计算机中，CPU 301通过经由输入/输出接口305和总线304将适当的程序从存储部308加载到RAM 303中并且通过执行所加载的程序来执行上述一系列处理。RAM 303还可以根据需要存储CPU 301在执行各种处理中所需的数据。
将由计算机(CPU 301)执行的程序例如可以在提供时作为封装介质记录在可移动记录介质311上。还可以经由有线或无线传输介质(诸如局域网、互联网和数字卫星广播)来提供程序。
在计算机中，程序可以经由输入/输出接口305从附接到驱动器310的可移动记录介质311安装到存储部308中。程序还可以在通过通信部309经由有线或无线传输介质接收之后被安装到存储部308中。这些程序可以可替换地被预装在ROM 302或存储部308中。
在本说明书中，流程图中描述的步骤可以由计算机按所示出的顺序按时间顺序、彼此并行地或者以其他适当的定时方式来执行，诸如，当需要时调用这些步骤。
应当注意，在本说明书中，术语“系统”是指多个部件(例如，设备或模块(零部件))的集群。所有部件是否容纳在同一外壳中是无关紧要的。因此，系统可包括容纳在分开的外壳中并且经由网络互连的多个设备，或者包括容纳多个模块的单个外壳中的单个设备。
本技术不限于上面讨论的优选实施方案，并且可以以多种变化来实现，只要它们在本技术的范围内。
例如，上述多个实施案的部分或全部可以适当地组合以设计多种其他实施方案。
例如，本技术可以实现为云计算设置，其中由多个联网设备在共享的基础上协作地处理单个功能。
此外，参考上述流程图所讨论的每个步骤可以由单个设备或者由多个设备在共享的基础上执行。
进一步，在单个步骤包括多个进程的情况下，这些进程可由单个设备或由多个设备在共享的基础上执行。
在本说明书中陈述的有利效果仅仅是实例，而不是对也可以提供其他优点的本技术的限制。
本技术还可以优选地配置如下：
(1)
一种信息处理装置，包括：
控制部，被配置为执行控制以显示作为由机器学习训练的模型的多个预测模型以及关于所述预测模型的模型信息。
(2)
如以上第(1)段所述的信息处理装置，其中，所述控制部以预测准确度的顺序对所述多个预测模型进行排序。
(3)
如以上第(2)段所述的信息处理装置，其中，所述控制部形成具有所述多个预测模型的相同组，所述多个预测模型具有作为预测模型的预测值的类型的相同预测值类型和作为由预测模型预测的数据项的相同预测目标，并且在每个组中，以预测准确度的降序对所述多个预测模型进行排序和显示。
(4)
如以上第(3)段所述的信息处理装置，其中，所述控制部以所述预测模型的模型数量递减的组的顺序连接并显示每个组中的排序结果。
(5)
如以上第(3)段或第(4)段所述的信息处理装置，其中，所述控制部执行确定所形成的组中的两个组是否彼此能够比较的可比性确定过程。
(6)
如以上第(5)段所述的信息处理装置，其中，在所述可比性确定过程中，在所述两个组的预测目标相同的情况下，所述控制部确定所述两个组彼此能够比较。
(7)
如以上第(5)或(6)段所述的信息处理装置，其中，在所述可比性确定过程中，在所述两个组的统计的平均值之间的差等于或小于预定值的情况下，所述控制部确定所述两个组彼此能够比较。
(8)
如以上第(5)段至第(7)段中任一段所述的信息处理装置，其中，在所述可比性确定过程中，在所述预测目标是无条件的所述两个组能够采用的值存在共同部分的情况下，所述控制部确定所述两个组彼此能够比较共同。
(9)
如以上第(1)段至第(8)段中任一段所述的信息处理装置，其中，所述控制部执行控制以将所述多个预测模型以树表示形式显示。
(10)
如以上第(9)段所述的信息处理装置，其中，所述控制部以树表示提供显示，使得在通过复制现有预测模型而创建的预测模型与不进行复制而创建的预测模型之间进行区分。
(11)
如以上第(1)段至第(10)段中任一段所述的信息处理装置，其中，所述控制部进一步提供指示相对于具有最高预测准确度的预测模型是否存在显著的差异的显示。
(12)
如以上第(1)段至第(11)段中任一段所述的信息处理装置，其中，所述控制部进一步执行控制以显示所述两个预测模型之间的所述模型信息的差异。
(13)
如以上第(1)段至第(12)段中任一段所述的信息处理装置，其中，所述控制部进一步执行控制以分析所述两个预测模型之间的所述模型信息的差异，从而显示预期提高预测准确度的学习设置。
(14)
如以上第(13)段所述的信息处理装置，其中，所述控制部显示所述预测准确度预期比作为从所述多个预测模型中选择的预测模型的选择模型提高的预测模型。
(15)
如以上第(13)段或第(14)段所述的信息处理装置，其中，所述控制部将预测模型类型显示为所述学习设置。
(16)
如以上第(14)段或第(15)段所述的信息处理装置，其中，所述控制部将优选不由所选择的预测模型使用的数据项显示为所述学习设置。
(17)
如以上第(14)段至第(16)段中任一段所述的信息处理装置，其中，所述控制部显示优选要添加到所选择的预测模型的数据项作为所述学习设置。
(18)
一种信息处理方法，包括：
使信息处理装置执行控制，以显示作为由机器学习训练的模型的多个预测模型以及关于所述预测模型的模型信息。
(19)
一种程序，使计算机用作：
控制部，执行控制以显示作为由机器学习训练的模型的多个预测模型以及关于所述预测模型的模型信息。
[参考符号列表]
1 预测系统
11 预测应用程序
14 显示器
21 学习部
22 预测部
23 学习历史管理部
41 历史管理屏幕
62 排序按钮
63 显示树按钮
64 建议按钮
181 条目差异显示屏幕
201 建议屏幕
301 CPU
302 ROM
303 RAM
306 输入部
307 输出部
308 存储部
309 通信部
310 驱动器。

Claims (19)

1.一种信息处理装置，包括：
控制部，被配置为执行控制以显示作为由机器学习训练的模型的多个预测模型以及关于所述预测模型的模型信息。
2.根据权利要求1所述的信息处理装置，其中，所述控制部以预测准确度的顺序对所述多个预测模型进行排序。
3.根据权利要求2所述的信息处理装置，其中，所述控制部形成具有所述多个预测模型的相同组，所述多个预测模型具有作为预测模型的预测值的类型的相同预测值类型和作为由预测模型预测的数据项的相同预测目标，并且在每个组中，以预测准确度的降序对所述多个预测模型进行排序和显示。
4.根据权利要求3所述的信息处理装置，其中，所述控制部以所述预测模型的模型数量递减的组的顺序连接并显示每个组中的排序结果。
5.根据权利要求3所述的信息处理装置，其中，所述控制部执行确定所形成的组中的两个组是否彼此能够比较的可比性确定过程。
6.根据权利要求5所述的信息处理装置，其中，在所述可比性确定过程中，在所述两个组的预测目标相同的情况下，所述控制部确定所述两个组彼此能够比较。
7.根据权利要求5所述的信息处理装置，其中，在所述可比性确定过程中，在所述两个组的统计的平均值之间的差等于或小于预定值的情况下，所述控制部确定所述两个组彼此能够比较。
8.根据权利要求5所述的信息处理装置，其中，在所述可比性确定过程中，在所述预测目标是无条件的所述两个组能够采用的值存在共同部分的情况下，所述控制部确定所述两个组彼此能够比较。
9.根据权利要求1所述的信息处理装置，其中，所述控制部进一步执行控制以将所述多个预测模型以树表示形式显示。
10.根据权利要求9所述的信息处理装置，其中，所述控制部以树表示提供显示，使得在通过复制现有预测模型而创建的预测模型与不进行复制而创建的预测模型之间进行区分。
11.根据权利要求1所述的信息处理装置，其中，所述控制部进一步提供指示相对于具有最高预测准确度的预测模型是否存在显著的差异的显示。
12.根据权利要求1所述的信息处理装置，其中，所述控制部进一步执行控制以显示所述两个预测模型之间的所述模型信息的差异。
13.根据权利要求1所述的信息处理装置，其中，所述控制部进一步执行控制以分析所述两个预测模型之间的所述模型信息的差异，从而显示预期提高预测准确度的学习设置。
14.根据权利要求13所述的信息处理装置，其中，所述控制部显示所述预测准确度预期比作为从所述多个预测模型中选择的预测模型的选择模型提高的预测模型。
15.根据权利要求13所述的信息处理装置，其中，所述控制部将预测模型类型显示为所述学习设置。
16.根据权利要求14所述的信息处理装置，其中，所述控制部将优选不由所选择的预测模型使用的数据项显示为所述学习设置。
17.根据权利要求14所述的信息处理装置，其中，所述控制部显示优选要添加到所选择的预测模型的数据项作为所述学习设置。
18.一种信息处理方法，包括：
使信息处理装置执行控制，以显示作为由机器学习训练的模型的多个预测模型以及关于所述预测模型的模型信息。
19.一种程序，使计算机用作：
控制部，执行控制以显示作为由机器学习训练的模型的多个预测模型以及关于所述预测模型的模型信息。
CN201980063773.5A 2018-10-26 2019-10-11 信息处理装置、信息处理方法和程序 Pending CN112789636A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-201499 2018-10-26
JP2018201499 2018-10-26
PCT/JP2019/040171 WO2020085114A1 (ja) 2018-10-26 2019-10-11 情報処理装置、情報処理方法、および、プログラム

Publications (1)

Publication Number Publication Date
CN112789636A true CN112789636A (zh) 2021-05-11

Family

ID=70331187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980063773.5A Pending CN112789636A (zh) 2018-10-26 2019-10-11 信息处理装置、信息处理方法和程序

Country Status (4)

Country Link
US (1) US20210356920A1 (zh)
JP (1) JPWO2020085114A1 (zh)
CN (1) CN112789636A (zh)
WO (1) WO2020085114A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7239519B2 (ja) * 2020-03-25 2023-03-14 株式会社日立製作所 機械学習モデル運用管理システムおよび運用管理方法
US20240127081A1 (en) * 2021-03-26 2024-04-18 Nec Corporation Order prediction device, order prediction method, learning device, learning method, and recording medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030018652A1 (en) * 2001-04-30 2003-01-23 Microsoft Corporation Apparatus and accompanying methods for visualizing clusters of data and hierarchical cluster classifications
US20060225030A1 (en) * 1999-10-16 2006-10-05 Deffler Tad A Method and System for Generating Dynamic Comparison Models
CN102968670A (zh) * 2012-10-23 2013-03-13 北京京东世纪贸易有限公司 预测数据的方法和装置
US20150242761A1 (en) * 2014-02-26 2015-08-27 Microsoft Corporation Interactive visualization of machine-learning performance
US20180075360A1 (en) * 2015-03-23 2018-03-15 Nec Corporation Accuracy-estimating-model generating system and accuracy estimating system
WO2018142816A1 (ja) * 2017-02-02 2018-08-09 アズビル株式会社 支援装置および支援方法
CN108573358A (zh) * 2018-05-09 2018-09-25 平安普惠企业管理有限公司 一种逾期预测模型生成方法及终端设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050071140A1 (en) * 2001-05-18 2005-03-31 Asa Ben-Hur Model selection for cluster data analysis
CH703073B1 (de) * 2003-03-19 2011-11-15 Roland Pulfer Vergleich von Modellen eines komplexen Systems.
JP2006235848A (ja) * 2005-02-23 2006-09-07 Mitsubishi Electric Corp データマイニング補助装置
US7558803B1 (en) * 2007-02-01 2009-07-07 Sas Institute Inc. Computer-implemented systems and methods for bottom-up induction of decision trees
US8533224B2 (en) * 2011-05-04 2013-09-10 Google Inc. Assessing accuracy of trained predictive models
US8843427B1 (en) * 2011-07-01 2014-09-23 Google Inc. Predictive modeling accuracy
US20140379310A1 (en) * 2013-06-25 2014-12-25 Citigroup Technology, Inc. Methods and Systems for Evaluating Predictive Models
US10268948B2 (en) * 2015-07-23 2019-04-23 The Boeing Company Data driven classification and troubleshooting system and method using associative memory and a machine learning algorithm to improve the accuracy and performance of the associative memory
JP6568488B2 (ja) * 2016-02-23 2019-08-28 株式会社日立製作所 計算機及び分析指標の算出方法
US20180137424A1 (en) * 2016-11-17 2018-05-17 General Electric Company Methods and systems for identifying gaps in predictive model ontology
JP7120649B2 (ja) * 2017-05-09 2022-08-17 日本電気株式会社 情報処理システム、情報処理装置、予測モデル抽出方法および予測モデル抽出プログラム
US10685044B2 (en) * 2017-06-07 2020-06-16 Accenture Global Solutions Limited Identification and management system for log entries
US11501201B2 (en) * 2017-07-17 2022-11-15 MetiStream, Inc. Systems, methods, and apparatuses for training, storage, and interaction with machine learning models
US20170330078A1 (en) * 2017-07-18 2017-11-16 Ashok Reddy Method and system for automated model building
US11227188B2 (en) * 2017-08-04 2022-01-18 Fair Ip, Llc Computer system for building, training and productionizing machine learning models
US20190065607A1 (en) * 2017-08-28 2019-02-28 Facebook, Inc. Automated application analytics
WO2019182590A1 (en) * 2018-03-21 2019-09-26 Visa International Service Association Automated machine learning systems and methods
US11501191B2 (en) * 2018-09-21 2022-11-15 International Business Machines Corporation Recommending machine learning models and source codes for input datasets
US10586164B1 (en) * 2018-10-15 2020-03-10 AIble Inc. Interface for visualizing and improving model performance
US10936768B2 (en) * 2018-10-15 2021-03-02 Aible, Inc. Interface for visualizing and improving model performance

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060225030A1 (en) * 1999-10-16 2006-10-05 Deffler Tad A Method and System for Generating Dynamic Comparison Models
US20030018652A1 (en) * 2001-04-30 2003-01-23 Microsoft Corporation Apparatus and accompanying methods for visualizing clusters of data and hierarchical cluster classifications
CN102968670A (zh) * 2012-10-23 2013-03-13 北京京东世纪贸易有限公司 预测数据的方法和装置
US20150242761A1 (en) * 2014-02-26 2015-08-27 Microsoft Corporation Interactive visualization of machine-learning performance
US20180075360A1 (en) * 2015-03-23 2018-03-15 Nec Corporation Accuracy-estimating-model generating system and accuracy estimating system
WO2018142816A1 (ja) * 2017-02-02 2018-08-09 アズビル株式会社 支援装置および支援方法
CN108573358A (zh) * 2018-05-09 2018-09-25 平安普惠企业管理有限公司 一种逾期预测模型生成方法及终端设备

Also Published As

Publication number Publication date
JPWO2020085114A1 (ja) 2021-09-16
WO2020085114A1 (ja) 2020-04-30
US20210356920A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
Mehdiyev et al. Explainable artificial intelligence for process mining: A general overview and application of a novel local explanation approach for predictive process monitoring
US11574011B2 (en) Merging feature subsets using graphical representation
CN110070391B (zh) 数据处理方法、装置、计算机可读介质及电子设备
US11875409B1 (en) Systems and methods for identifying and curing anomalies in insurance claims
Johnson et al. Responsible artificial intelligence in healthcare: Predicting and preventing insurance claim denials for economic and social wellbeing
CN113935434A (zh) 一种数据分析处理系统及自动建模方法
CN107220217A (zh) 基于逻辑回归的特征系数训练方法和装置
Thampi Interpretable AI: Building explainable machine learning systems
Jain et al. Assessing risk in life insurance using ensemble learning
US20200034738A1 (en) Computer System and Method of Presenting Information Related to Basis of Predicted Value Output by Predictor
CN111797320B (zh) 数据处理方法、装置、设备及存储介质
WO2023159115A1 (en) System and method for aggregating and enriching data
CN112241805A (zh) 使用历史检验数据进行缺陷预测
CN112789636A (zh) 信息处理装置、信息处理方法和程序
Li et al. A data-driven explainable case-based reasoning approach for financial risk detection
CN114997916A (zh) 潜在用户的预测方法、系统、电子设备和存储介质
CN113032676A (zh) 基于微反馈的推荐方法和系统
US20210357699A1 (en) Data quality assessment for data analytics
CN113822390B (zh) 用户画像构建方法、装置、电子设备和存储介质
CN112313679A (zh) 信息处理设备、信息处理方法和程序
US20230153843A1 (en) System to combine intelligence from multiple sources that use disparate data sets
CN115769194A (zh) 跨数据集的自动数据链接
Siemes Churn prediction models tested and evaluated in the Dutch indemnity industry
CN114897607A (zh) 产品资源的数据处理方法及装置、电子设备、存储介质
Satapathy Effort estimation methods in software development using machine learning algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination