CN111915009A - 规则呈现方法、存储介质和规则呈现装置 - Google Patents

规则呈现方法、存储介质和规则呈现装置 Download PDF

Info

Publication number
CN111915009A
CN111915009A CN202010372732.9A CN202010372732A CN111915009A CN 111915009 A CN111915009 A CN 111915009A CN 202010372732 A CN202010372732 A CN 202010372732A CN 111915009 A CN111915009 A CN 111915009A
Authority
CN
China
Prior art keywords
rule
data
rules
positive
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010372732.9A
Other languages
English (en)
Inventor
小林健
河东孝
浦晃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN111915009A publication Critical patent/CN111915009A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • G06N5/025Extracting rules from data
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及规则呈现方法、存储介质和规则呈现装置。一种由计算机进行的规则呈现方法,包括:基于训练数据根据针对属性的一个或更多个组合的正示例的数目和负示例的数目来指定指定示例之一的多个规则;获取第一数据,该第一数据具有与训练数据中包括的属性的组合不同的属性的组合并且不与指定正示例或负示例的标签相关联;从多个指定的规则之中选择与属性的组合有关的规则;生成第二数据,其中,将与由所选择的规则指定的示例不同的标签与第一数据相关联;指定由所选择的规则指定的正示例或负示例的标签改变时第一数据的样本的数目;以及确定规则的顺序。

Description

规则呈现方法、存储介质和规则呈现装置
技术领域
本文讨论的实施方式涉及规则呈现方法等。
背景技术
当使用机器学习等来支持用户的判断时,需要以用户可以直接理解的形式来输出规则和假设。例如,当执行对医生的医疗支持时,希望不仅考虑单个预测结果而且还考虑替选预测以及针对某个输入(医疗受试者的属性)的指向(lead to)替选预测的规则来进行医疗的最终判定。在下面的描述中,将医疗受试者简称为“受试者”。
在现有技术中,当输入条件对应于多个规则时,列出所有多个对应的规则。
相关技术的示例是国际公开手册第WO 2017/081715号、国际公开手册第WO 2013/172310号、日本公开特许公报第6-102907号和日本公开特许公报第2016-212825号。
发明内容
图19是示出在相关技术中使用的训练数据的示例的图。如图19所示,训练数据4将多个属性与标签相关联。属性对应于受试者的属性,并且包括例如属性A、属性B、属性C和属性D。
属性A是“指示年龄是否为50(岁)或以上”,并且当受试者的年龄为50岁或以上时,值变为“1”,而当受试者的年龄小于50岁时,值变为“0”。
属性B是“指示身高是否为160cm或以上”,并且当受试者的身高为160cm或以上时,值变为“1”,而当受试者的身高小于160cm时,值变为“0”。
属性C是“指示体重是否为80kg或以上”,并且当受试者的体重为80kg或以上时,值变为“1”,而当受试者的体重小于80kg时,值变为“0”。
属性D是“指示性别是男性还是女性”,并且当受试者的性别是男性时,值变为“1”,而当受试者的性别是女性时,值变为“0”。
标签是与记录的每个属性相对应的“指示是否健康”的值,该值在健康时变成“+(正示例)”,而在不健康时变成“-(负示例)”。例如,在第一行的记录中,当属性A为“0”,属性B为“1”,属性C为“0”,属性D为“0”时,标签为“+”。在第七行的记录中,当属性A为“0”,属性B为“0”,属性C为“1”,属性D为“0”时,标签为“-”。
在现有技术中,使用图19中所示的训练数据4生成规则的集合,并且使用该规则的集合列出满足给定条件的所有规则。例如,当输入条件“体重小于80kg”时,输出其中属性C为“0”的“指向正示例的规则”。当输入“体重80kg或以上的女性”的条件时,输出其中属性C为“1”的“指向负示例的规则”。当输入条件“身高小于160cm并且体重为80kg或以上”时,输出其中属性B为“0”并且属性C为“1”的“指向负示例的规则”。
然而,在上面描述的相关技术中,当输入条件对应于多个规则时,列出了多个对应的规则,并且因此用户难以从多个列出的规则中选择期望的规则。
图20是用于描述相关技术的问题的图。例如,假设受试者的条件是“年龄50或以上,身高小于160cm,体重80kg或以上并且男性”。在相关技术中,通过将受试者的条件5与基于训练数据的规则的集合进行比较列出对应于条件5的多个规则A1至A13。即使一次呈现这些规则A1至A13,用户也难以选择期望的规则。
例如,规则A1是指示“当体重为80kg或以上时不健康(非健康)”的规则,并且是与条件5相对应的规则。尽管省略了关于规则A2至A13的描述,但是所有规则A2至A13都是与条件5相对应的规则。
还可以考虑计算支持可能的规则的集合中的规则的样本的数目与该规则中包括的样本的数目的比率作为对应规则的正确答案率,并且仅呈现与条件相对应的规则之中的其正确答案率超过阈值的规则。然而,难以设置适当的阈值,并且设置包括相对大量的规则的较低阈值,因此,也难以缩减规则。
在一个方面,实施方式的目的是提供使得用户能够从与条件相对应的多个规则中选择期望的规则的规则呈现方法、计算机可读记录介质和规则呈现装置。
根据实施方式的方面,一种装置包括:获取训练数据,所述训练数据是其中属性的组合与正示例和负示例之一相关联的规则的集合;基于所获取的训练数据根据针对属性的一个或更多个组合的正示例的数目和负示例的数目来指定多个规则,所述多个规则指定正示例和负示例之一;获取第一数据,所述第一数据具有与训练数据中包括的属性的组合不同的属性的组合并且不与指定正示例或负示例的标签相关联;从多个指定的规则中选择与第一数据中包括的属性的组合有关的规则;生成第二数据,其中,将与由所选择的规则指定的正示例或负示例的标签不同的标签与第一数据相关联;基于所生成的第二数据指定由所选择的规则指定的正示例或负示例的标签改变时第一数据的样本的数目;以及基于样本的数目确定要呈现的规则的顺序。
[发明的有益效果]
根据实施方式,可以从与条件相对应的多个条件中选择期望的规则。
附图说明
图1是用于描述卡诺图的图(1);
图2是用于描述卡诺图的图(2);
图3是用于描述卡诺图的图(3);
图4是用于描述根据示例的规则呈现装置的处理的图;
图5是示出正确答案率与样本的数目之间的关系的曲线图;
图6是示出与指定的属性相对应的规则的正确答案率与样本的数目之间的关系的曲线图;
图7是示出根据示例的规则呈现装置的配置的功能框图;
图8是示出训练数据的数据结构的示例的图;
图9是示出指定条件数据的示例的图;
图10是示出规则集合数据的示例的图;
图11是示出呈现候选集合数据的示例的图;
图12是用于描述指定单元的处理的图;
图13是用于描述确定单元的处理的图(1);
图14是用于描述确定单元的处理的图(2);
图15是用于描述确定单元的处理的图(3);
图16是示出由确定单元生成的画面信息的示例的图;
图17A和图17B是示出根据示例的规则呈现装置的处理过程的流程图;
图18是示出实现与根据示例的规则呈现装置的功能相同的功能的计算机的硬件配置的示例的图;
图19是示出在相关技术中用于机器学习的训练数据的示例的图;以及
图20是用于描述相关技术的问题的图。
具体实施方式
在下文中,将参照附图详细描述本说明书中公开的规则呈现方法、规则呈现程序和规则呈现装置的示例。本公开内容不受示例的限制。
示例
将描述实施方式中使用的卡诺图。图1、图2和图3是用于描述卡诺图的图。卡诺图示出了一种逻辑表达。作为示例,图1至图3中所示的卡诺图是使用属性A、B、C和D作为逻辑变量的逻辑表达的卡诺图。
将描述图1。卡诺图的第一行是对应于“非A和非B”的行。第二行是对应于“非A和B”的行。第三行是对应于“A和B”的行。第四行是对应于“A和非B”的行。
卡诺图的第一列是对应于“非C和非D”的行。第二列是对应于“非C和D”的行。第三列是对应于“C和D”的行。第四列是对应于“C和非D”的行。
在该示例中,当指示卡诺图中的第n行第m列中的单元时,该单元被表示为s(n,m)。例如,第一行第四列中的单元是s(1,4)。s(1,4)指示属性为“非A和非B以及C和D”。
继续参照图2进行描述。该示例的规则呈现装置基于训练数据的每个样本(记录)在卡诺图的每个单元中设置Pn(正)和Nn(负)。为了方便起见,后缀n用来区分每个P和每个N。
例如,当对应于s(1,4)的单元的样本是负示例时,根据该示例的规则呈现装置在s(1,4)的单元中设置“N1”。例如,具有属性“非A和非B以及C和非D”的样本是负示例。
当对应于s(2,1)的单元的样本是正示例时,规则呈现装置在s(2,1)的单元中设置“P1”。例如,具有属性“非A和B以及非C和非D”的样本是正示例。
尽管省略了描述,但是卡诺图中包括的其他单元在样本为负示例时被设置为“N”,以及在样本为正示例时被设置为“P”。当训练数据中不存在对应的样本时,在单元中不设置任何东西。
继续参照图3进行描述。在卡诺图中,根据属性的组合确定对应的单元。如图3所示,对应于属性“C”的单元为卡诺图第三列和第四列中包括的单元。规则呈现装置根据属性“C”中包括的正示例和负示例的数目来指定与属性“C”相对应的规则和正确答案率。
例如,当属性C中包括的单元之中被分配了正示例的单元的数目大于被分配了负示例的单元的数目时,与属性C相对应的规则是指向“正示例”的规则。这样的规则的正确答案率是属性C中包括的单元中的正示例的数目与正示例的数目和负示例的数目的百分比。
相比之下,当属性“C”中包括的单元之中被分配了正示例的单元的数目小于被分配了负示例的单元的数目时,与属性C相对应的规则是指向“负示例”的规则。这样的规则的正确答案率是属性C中包括的单元中的负示例的数目与正示例和负示例的数目的百分比。
接下来,将描述由根据该示例的规则呈现装置执行的处理的示例。图4是用于描述根据该示例的规则呈现装置的处理的图。规则呈现装置基于作为属性的组合的集合的训练数据和指向正示例或负示例的规则将P或N设置在卡诺图中的每个单元中。
在图4所示的示例中,规则呈现装置分别在卡诺图的单元s(1,4)、s(4,4)、s(3,3)、s(1,2)和s(3,4)中设置N1、N2、N3、N4和N5。规则呈现装置分别在卡诺图的单元s(2,1)、s(2,3)、s(4,2)、s(3,2)、s(2,2)和s(1,3)中设置P1、P2、P3、P4和P5
例如,将描述用户指定“A和非B以及C和D”的规则呈现请求作为规则呈现装置的属性条件的情况。在卡诺图中,对应于属性条件“A和非B以及C和D”的单元是s(4,3)。
当接收到对属性条件“A和非B以及C和D”的指定时,规则呈现装置首先根据训练数据中的每个样本在一个或更多个属性的指向正示例或负示例的规则之中指定其中正确答案率等于或大于阈值的多个规则。在该示例中,作为示例,正确答案率的阈值被设置为“0.6(60%)”。规则呈现装置在其中正确答案率等于或大于阈值的规则之中指定与属性条件“A和非B以及C和D”有关的规则。
例如,正确答案率等于或大于阈值并且与属性条件“A和非B以及C和D”有关的规则是以下规则。例如,与指定属性相对应的规则包括属性“A”的规则(正确答案率:0.6)、属性“非B”的规则(正确答案率:0.6)、属性“C”的规则(正确答案率:0.67)和属性“D”的规则(正确答案率:0.71)。与指定属性相对应的规则是属性“CD”的规则(正确答案率:0.67)、属性“非B和C”的规则(正确答案率:0.67)、属性“非B和D”的规则(正确答案率:0.67)、属性“A和C和D”的规则(正确答案率:1)、属性“A和非B和C”的规则(正确答案率:1)、属性“A和非B和D”的规则(正确答案率:1)和属性“非B和C和D”的规则(正确答案率:1)。
在与指定属性相对应的规则之中,指向负示例的规则是属性“C”、“AC”、“非B和C”、“A和非B和C”、“非B”、“A”和“ACD”的规则。
在与指定属性相对应的规则之中,指向正示例的规则是属性“A和非B和D”、“非B和C和D”、“D”、“C和D”、“A和D”以及“非B和D”的规则。
随后,规则呈现装置计算与指定属性相对应的多个规则的“样本的最小数目”。规则呈现装置针对指定属性的样本的标签设置与由规则指向的标签相反的标签,增加样本的数目,并且计算首次规则的正确答案率变得小于阈值的样本的数目作为样本的最小数目。具有较大的样本的最小数目的规则在由该规则所指向的结果中不太可能波动,并且可以说是高度可靠的规则。
例如,将使用属性“C”的指向“负示例”的规则来描述样本的最小数目。规则呈现装置将单元s(3,3)的样本的标签设置为“正示例”,并且首次在样本的数目达到一定数目时计算规则的正确答案率是否小于阈值。例如,在指向“正示例”的一个样本被添加至单元s(3,3)时,属性“C”的正确答案率首次变得小于阈值,并且因此属性“C”的样本的最小数目是“1”。
将使用属性“D”的指向“正示例”的规则来描述样本的最小数目。规则呈现装置将单元s(3,3)的样本的标签设置为“负示例”,并且首次在样本的数目达到一定数目时计算规则的正确答案率是否小于阈值。例如,在指向“负示例”的两个样本被添加至单元s(3,3)时,属性“D”的正确答案率变得小于阈值,并且因此属性“D”的样本的最小数目是“2”。
规则呈现装置以样本的最小数目的降序来重新排列与指定属性相对应的规则之中的规则,并且根据重新排列的顺序向用户呈现每个规则。在图4所示的示例中,首先,向用户呈现属性“AC”的规则,其次,向用户呈现属性“D”的规则。
如上面所描述的,根据该示例的规则呈现装置按顺序呈现规则:其中,即使与指定属性相对应的标签与在与指定属性有关的多个规则之中的对应规则相反,其标签也不太可能改变的规则(具有大的样本的最小数目的规则)被优先排序。因此,可以从与条件相对应的多个规则中选择用户期望的规则。
具有大的样本的最小数目的规则可以说是指示可靠性的分数。基于样本的最小数目,规则呈现装置可以顺序地呈现规则,其中通过对规则排序来考虑正确答案率与样本的数目之间的折衷关系,即使用户没有明确地指定规则的正确答案率的高度与规则中包括的样本的数目之间的平衡。
图5是示出正确答案率与样本的数目之间的关系的曲线图。图5中的曲线图的纵轴是与规则的正确答案率相对应的轴。曲线图的水平轴是与规则中包括的样本的数目相对应的轴。建立了对数据改变具有鲁棒性的规则具有大的样本的数目的假设。作为结果,如果规则的正确答案率大致相同,则用户想要选择具有大的样本的数目的规则。如果指示规则的样本的数目大致相同,则用户想要选择具有高正确答案率的规则。一般地,尽管规则的正确率和规则中包括的样本的数目为折衷的关系,但是规则呈现装置优选地呈现其正确答案率与样本的数目之间的关系接近拐点K3的规则。
图6是示出与指定属性相对应的规则的正确答案率与样本的数目之间的关系的图。图6中的曲线图的纵轴是与规则的正确答案率相对应的轴。曲线图的水平轴是与规则中包括的样本的数目相对应的轴。在图6中,点10AC指示图4所示的属性“AC”的规则中的样本的数目与正确答案率之间的关系。点10D指示图4所示的属性“D”的规则的样本的数目与正确答案率之间的关系。由于点10AC和点10D靠近拐点K3,因此可以看出,可以向用户呈现用户期望的属性“AC”的规则和属性“D”的规则。
接下来,将描述根据该示例的规则呈现装置的配置的示例。图7是示出根据该示例的规则呈现装置的配置的功能框图。如图7所示,规则呈现装置100包括通信单元110、输入单元120、显示单元130、存储单元140和控制单元150。
通信单元110是经由网络执行与外部设备(未示出)的数据通信的处理单元。通信单元110是通信设备的示例。稍后描述的控制单元150经由通信单元110与外部设备交换数据。
输入单元120是用于将各种信息输入至规则呈现装置100的输入设备。输入单元120对应于键盘、鼠标、触摸面板等。例如,用户可以通过操作输入单元120来输入指定条件数据142。指定条件数据142是关于由用户指定的属性条件的信息。
显示单元130是显示从控制单元150输出的信息的显示设备。例如,显示单元130显示关于从控制单元150输出的规则的信息。
存储单元140包括训练数据141、指定条件数据142、规则集合数据143和呈现候选集合数据144。存储单元140对应于半导体存储元件,例如随机存取存储器(RAM)、只读存储器(ROM)、闪存或诸如硬盘驱动器(HDD)的存储设备。
训练数据141包括规则的集合,其中属性的组合与正示例或负示例相关联。图8是示出训练数据的数据结构的示例的图。如图8所示,训练数据141将样本号与属性A、B、C和D中的每一个以及标签相关联。尽管在图8中示出了属性A至D,但是训练数据141可以具有其他属性。
样本号是用于标识每个样本(记录)的信息。属性A是“指示年龄是否为50(岁)或以上”,并且当受试者的年龄为50岁或以上时,值变为“1”,而当受试者的年龄小于50岁时,值变为“0”。属性B是“指示身高是否为160cm或以上”,并且当受试者的身高为160cm或以上时,值变为“1”,而当受试者的身高小于160cm时,值变为“0”。
属性C是“指示体重是否为80kg或以上”,并且当受试者的体重为80kg或以上时,值变为“1”,而当受试者的体重小于80kg时,值变为“0”。属性D是“男性或女性”,并且当受试者的性别是男性时,值变为“1”,而当受试者的性别是女性时,值变为“0”。
标签是“指示与样本的每个属性相对应的值是否为“健康””,并且当该值为健康时标签变为“+(正示例)”,而当该值为不健康时标签变为“-(负示例)”。例如,在样本号为“R0001”的样本中,当属性A为“0”,属性B为“1”,属性C为“0”,以及属性D为“0”时,标签为“+”。在样本号为“R0007”的样本中,当属性A为“0”,属性B为“0”,属性C为“1”,以及属性D为“0”时,标签为“-”。
指定条件数据142指示由用户指定的属性条件。图9是示出指定条件数据的示例的图。在图9所示的示例中,属性A为“1”,属性B为“0”,属性C为“1”,以及属性D为“1”。因此,由指定条件数据142指示的条件指示“A和非B以及C和D”。
规则集合数据143保持根据训练数据141指定的多个规则的数据。将规则集合数据143中包括的规则的正确答案率设置为等于或大于阈值。作为示例,将针对正确答案率的阈值设置为“0.6(60%)”。
图10是示出规则集合数据的示例的图。例如,图10中示出了其中基于训练数据141的样本设置了P和N的卡诺图。例如,对于属性A至D,在由一个或更多个属性组成的规则之中的其正确答案率等于或大于阈值的规则包括属性“A”的规则(正确答案率:0.6)、属性“非B”的规则(正确答案率:0.6)、属性“C”的规则(正确答案率:0.67)和属性“D”的规则(正确答案率:0.71)。
其正确答案率等于或大于阈值的规则是属性“CD”的规则(正确率:0.67)、属性“非B和C”的规则(正确率:0.67)、属性“非B和D”的规则(正确率:0.67)、属性“A和C和D”的规则(正确率:1)、属性“A和非B和C”的规则(正确率:1)、属性“A和非B和D”的规则(正确率:1)和属性“非B和C和D”的规则(正确率:1)。
呈现候选集合数据144保持规则集合数据143中包括的规则之中的与指定条件数据142相对应的规则的数据。
图11是示出呈现候选集合数据的示例的图。例如,假设与指定条件数据142相对应的卡诺图的单元是单元s(4,3)。在规则集合数据143的规则之中,所有规则变成与指定条件数据142相对应的规则。
在图11中,由于正确率小于阈值,尽管未包括在规则集合数据143中,但是通过假设属性“非A”的规则的正确率等于或大于阈值并且属性“非A”的规则包括在规则集合数据143中来给出描述。在这种情况下,由于属性“非A”的规则没有变成与指定条件数据142相对应的规则(不包括单元s(4,3)),所以属性“非A”的规则被从呈现候选集合数据144中排除。
将再次描述图7。控制单元150包括获取单元151、指定单元152和确定单元153。控制单元150由中央处理单元(CPU)、微处理器单元(MPU)等实现。控制单元150也可以由硬连线逻辑电路例如专用集成电路(ASIC)或现场可编程门阵列(FPGA)实现。
获取单元151是经由网络从外部设备等获取训练数据141的处理单元。当获取了训练数据141时,获取单元151将训练数据141登记在存储单元140中。当通过用户对输入单元120的操作接收到指定条件数据142的输入时,获取单元151将指定条件数据142登记在存储单元140中。
指定单元152是处理单元,其基于训练数据141根据属性的一个或更多个组合中的正示例的数目和负示例的数目来指定指向正示例和负示例之一的标签的多个规则,并且将所指定的规则的信息登记在规则集合数据143中。
图12是用于描述指定单元的处理的图。指定单元152参考训练数据141中包括的每个样本,并且在与样本的属性的组合相对应的卡诺图的每个单元中设置P或N。
在图12所示的示例中,指定单元152分别在卡诺图的单元s(1,4)、s(4,4)、s(3,3)、s(1,2)和s(3,4)中设置N1、N2、N3、N4和N5。规则呈现装置分别在卡诺图的单元s(2,1)、s(2,3)、s(4,2)、s(3,2)、s(2,2)和s(1,3)中设置P1、P2、P3、P4和P5
指定单元152指定与属性的一个或更多个组合相对应的所有规则,针对每个指定的规则计算正确答案率,并且指定其正确答案率等于或大于阈值的规则作为要登记在规则集合数据143中的规则。
属性“A”的规则是指向“负示例”的规则。在属性“A”的规则中,由于指向正示例的样本的数目为二并且指向负示例的样本的数目为三,因此正确答案率是“0.6”,其等于或大于阈值。因此,指定单元152将属性“A”的规则的信息登记在规则集合数据143中。
属性“非A和非B和D”的规则是指向“正示例”或“负示例”的规则。在属性“非A和非B和D”的规则中,指向正示例的样本的数目为一,并且指向负示例的样本的数目为一,因此正确答案率是“0.5”,其小于阈值。因此,指定单元152不将属性“非A和非B和D”的规则的信息登记在规则集合数据143中。
指定单元152针对属性的一个或更多个组合的每个规则重复执行上面描述的处理,从而将关于其正确答案率等于或大于阈值的规则的信息登记在规则集合数据143中。
确定单元153指定规则集合数据143中包括的多个规则之中的与指定条件数据142有关的规则,并且将所指定的规则的信息登记在呈现候选集合数据144中。确定单元153针对呈现候选集合数据144中包括的每个规则计算样本的最小数目,并且基于样本的最小数目确定呈现规则的顺序。确定单元153根据所确定的顺序将规则输出并且显示至显示单元130。
将描述确定单元153将与指定条件数据142有关的规则信息登记在呈现候选集合数据144中的处理的示例。图13是用于描述确定单元的处理的图(1)。确定单元153将在呈现候选集合数据144中登记的每个规则的属性与对应于指定条件数据142的属性进行比较,并且指定与指定条件数据142的属性的组合有关的规则。假设指定条件数据142的属性条件是“A和非B以及C和D”。
在图13所示的示例中,与指定条件数据142的属性相对应的单元是s(4,3)。因此,与指定条件数据142的属性有关的规则为属性“C”、“A和C”、“非B和C”、“A和非B和C”、“非B”、“A”以及“A和C和D”的规则。与指定条件数据142的属性有关的规则变成属性“A和非B和D”、“非B和C和D”、“D”、“C和D”、“A和D”以及“非B和D”的规则。
通过执行上面描述的处理,确定单元153指定规则集合数据143中登记的规则之中的与指定条件数据142有关的规则。确定单元153将与指定条件数据142有关的规则的信息登记在呈现候选集合数据144中。
接下来,将描述确定单元153计算呈现候选集数据144中的每个规则的样本的最小数目的处理的示例。确定单元153将与指定条件数据142相对应的样本的标签设置为与由规则指向的标签相反的标签,增加样本的数目,并且计算首次规则的正确答案率小于阈值的样本的数目作为样本的最小数目。
图14是用于描述确定单元的处理的图(2)。例如,将描述其中使用属性“A和C”的指向“负示例”的规则来计算样本的最小数目的示例。当确定单元153针对对应于指定条件数据142的单元s(4,3)设置属性“正示例”的一个样本时,正确率为0.75。当确定单元153针对对应于指定条件数据142的单元格s(4,3)设置属性“正示例”的两个样本时,正确率为0.6。当确定单元153针对对应于指定条件数据142的单元s(4,3)设置属性“正示例”的三个样本时,正确率为0.5。因此,确定单元153计算出属性“A和C”的指向“负示例”的规则的样本的最小数目为“3”。
将描述其中使用属性“D”的指向“正示例”的规则来计算样本的最小数目的示例。当确定单元153针对对应于指定条件数据142的单元s(4,3)设置属性“负示例”的一个样本时,正确率为0.63。当确定单元153针对对应于指定条件数据142的单元格s(4,3)设置属性“正示例”的两个样本时,正确率为0.5。因此,确定单元153计算出属性“D”的指向“正示例”的规则的样本的最小数目为“2”。
确定单元153针对呈现候选集合数据144的其他规则重复执行上面描述的处理以计算每个规则的样本的最小数目。
确定单元153基于与呈现候选集合数据144中登记的每个规则相对应的样本的最小数目以样本的最小数目的降序对规则进行排序。确定单元153使排序后的规则的信息从顶部(以样本的最小数目的顺序)显示在显示单元130上。
图15是示出确定单元的处理的图(3)。例如,作为确定单元153以样本的最小数目的降序排序的结果,第一个规则是属性“AC”的规则,以及第二个规则是属性“D”的规则。在这种情况下,如图15所示,确定单元153首先显示属性“AC”的指向“负示例”的规则。确定单元153其次显示属性“D”的指向“正示例”的规则。
例如,确定单元153可以生成用于显示规则的画面信息,并且将所生成的画面信息输出至显示单元130以进行显示。图16是示出由确定单元生成的画面信息的示例的图。如图16所示,画面信息51包括区域51A和区域51B。
区域51A是用于显示指定条件数据142的区域。区域51B是用于以样本的最小数目的降序显示规则的区域。确定单元153可以在区域51B中以预定时间间隔自动显示以下规则,或者可以根据用户的操作按顺序显示规则。
接下来,将描述根据该示例的规则呈现装置100的处理过程的示例。图17A和图17B是示出根据该示例的规则呈现装置的处理过程的流程图。如图17A和图17B所示,规则呈现装置100的获取单元151获取训练数据141,并且将训练数据141登记在存储单元140中(步骤S101)。规则呈现装置100的指定单元152列举满足给定条件(正确答案率大于或等于阈值)的所有规则的集合并且将所列举的规则的集合登记在规则集合数据43中(步骤S102)。
规则呈现装置100的确定单元153获取指定条件数据142,并且将指定条件数据登记在存储单元140中(步骤S103)。确定单元153从规则集合数据143中提取与指定条件数据142有关的呈现候选集合数据144,并且将呈现候选集合数据登记在存储单元140中(步骤S104)。
确定单元153将i设置为“1”(步骤S105)。确定单元153从呈现候选集合数据144中选择第i个规则(步骤S106)。确定单元153将与指定条件数据142相对应的单元的样本设置为具有与由第i个规则指向的标签相反的标签的样本,并且计算第i个规则的正确答案率(步骤S107)。
当正确答案率等于或大于阈值时(步骤S108中为是),确定单元153将相反标签的样本的数目加一(步骤S109),并且进行至步骤S107。当正确答案率小于阈值时(步骤S108中为否),确定单元153进行至步骤S110。
确定单元153记录样本的最小数目(步骤S110)。确定单元153通过将i加一来更新i(步骤S111)。确定单元153确定i是否大于一定范围(呈现候选集合数据的规则的总数目)(步骤S112)。当i不大于该范围时(步骤S112中为否),确定单元153进行至步骤S106。
当i大于该范围时(步骤S112中为是),确定单元153进行至步骤S113。确定单元153基于样本的最小数目对呈现候选集合数据144的规则进行排序并输出所述规则(步骤S113)。
接下来,将描述根据该示例的规则呈现装置100的效果。规则呈现装置100按顺序执行规则呈现:其中,即使与指定条件数据142相对应的标签与在与指定条件数据142有关的多个规则之中的对应规则相反,其标签也不太可能改变的规则(具有最大的样本的最小数目的规则)被优先顺序。作为结果,可以从与指定条件数据142相对应的多个规则中选择用户期望的规则。
具有大的样本的最小数目的规则可以说是指示可靠性的分数。基于样本的最小数目,规则呈现装置可以顺序地呈现规则,其中通过对规则排序来考虑正确答案率与样本的数目之间的折衷关系,即使用户没有明确地指定规则的正确答案率的高度与规则中包括的样本的数目之间的平衡。
例如,作为缩小与指定条件数据142有关的多个规则的简单方法,可以想到通过关注正确答案率来显示具有高的正确答案率的规则。然而,具有高的正确答案率的规则趋向于被呈现为具有小的样本数目的规则,并且这样的规则容易受到数据变化的影响并且具有低可靠性。
例如,在图11中描述的规则之中,属性“A和非B和C”的规则的正确答案率是“1”,因此该规则具有高的正确答案率。然而,由于属性“A和非B和C”的规则中包括的样本为一个,因此,如果单元s(4,4)的标签从“负示例”变为“正示例”,则规则从指向负示例的规则变为指向正示例的规则,容易受到噪声的影响,并且具有较低的可靠性,并且因此,该规则不是用户期望的规则。
相比之下,在该示例中,如参照图6所描述的,优先显示靠近拐点并且具有高可靠性的规则,因此可以优先呈现用户期望的规则。
接下来,将描述实现与在该示例中示出的规则呈现装置100的功能相同的功能的计算机的硬件配置的示例。图18是示出实现与根据该示例的规则呈现装置的功能相同的功能的计算机的硬件配置的示例的图。
如图18所示,计算机500包括执行各种运算处理的CPU 501、从用户接收数据的输入的输入设备502以及显示器503。计算机500包括从记录介质读取程序等的读取设备504和经由有线或无线网络与外部设备等交换数据的接口设备505。计算机500还包括临时存储各种信息的RAM 506和硬盘设备507。各个设备501至507通过总线508彼此耦接。
硬盘设备507包括获取程序507a、指定程序507b和确定程序507c。CPU 501读出获取程序507a、指定程序507b和确定程序507c,并且将所述程序加载至RAM 506中。
获取程序507a用作获取处理506a。指定程序507b用作指定处理506b。确定程序507c用作确定处理506c。
获取处理506a的处理对应于获取单元151的处理。指定处理506b的处理对应于指定单元152的处理。确定处理506c的处理对应于确定单元153的处理。
程序507a至507c可能从一开始就不存储在硬盘设备507中。例如,各个程序可以存储在要插入计算机500中的“便携式物理介质”例如软盘(FD)、致密盘只读存储器(CD-ROM)、数字多功能盘(DVD)、磁光盘或集成电路(IC)卡中。计算机500可以读取并执行程序507a至507c。
关于包括上面描述的示例的实施方式,还公开了以下附录。
(附录1)一种规则呈现方法,包括:
通过计算机,
获取训练数据,所述训练数据是其中属性的组合与正示例或负示例相关联的规则的集合;
基于所述训练数据根据针对属性的一个或更多个组合的正示例的数目和负示例的数目来指定指向正示例或负示例的多个规则;
获取数据,所述数据具有与训练数据中包括的属性的组合不同的属性的组合并且具有指定正示例或负示例的未知标签;
从多个指定的规则之中选择与所述数据中包括的属性的组合有关的规则,在数据中设置与由所选择的规则指向的正示例或负示例不同的标签,并且指定由所选择的规则指向的正示例或负示例改变时所述数据的样本的数目;以及
基于所述样本的数目来确定要呈现的规则的顺序。
(附录2)根据附录1所述的规则呈现方法,其中,在指定所述多个规则时,针对规则中包括的属性的一个或更多个组合的标签计算正示例的百分比或负示例的百分比中的较大百分比作为所述规则的正确答案率,并且指定其正确答案率等于或大于阈值的多个规则。
(附录3)根据附录1或2所述的规则呈现方法,其中,在指定所述数据的样本的数目时,当指向与所述数据中包括的属性的组合有关的规则的标签为正示例,并且指定所述规则中包括的正示例的百分比小于阈值时所述数据的样本的最小数目时,将负示例设置为所述数据的标签。
(附录4)根据附录1、2或3所述的规则呈现方法,其中,在指定所述数据的样本的数目时,当指向与所述数据中包括的属性的组合有关的规则的标签为负示例,并且指定所述规则中包括的负示例的百分比小于阈值时所述数据的样本的最小数目时,将正示例设置为所述数据的标签。
(附录5)根据附录1至4中任一项所述的规则呈现方法,还包括:基于通过所述确定而确定的规则的顺序来呈现所述规则。
(附录6)一种用于使计算机执行处理的规则呈现程序,所述处理包括:
获取训练数据,所述训练数据是其中属性的组合与正示例或负示例相关联的规则的集合;
基于所述训练数据根据针对属性的一个或更多个组合的正示例的数目和负示例的数目来指定指向正示例或负示例的多个规则;
获取数据,所述数据具有与所述训练数据中包括的属性的组合不同的属性的组合并且具有指定正示例或负示例的未知标签;
从多个指定的规则之中选择与所述数据中包括的属性的组合有关的规则,在所述数据中设置与由所选择的规则指向的正示例或负示例不同的标签,并且指定由所选择的规则指向的正示例或负示例改变时所述数据的样本的数目;以及
基于所述样本的数目来确定要呈现的规则的顺序。
(附录7)根据附录6所述的规则呈现程序,其中,在指定所述多个规则时,针对规则中包括的属性的一个或更多个组合的标签计算正示例的百分比或负示例的百分比中的较大百分比作为所述规则的正确答案率,并且指定其正确答案率等于或大于阈值的多个规则。
(附录8)根据附录6或7所述的规则呈现程序,其中,在指定所述数据的样本的数目时,当指向与所述数据中包括的属性的组合有关的规则的标签为正示例,并且指定所述规则中包括的正示例的百分比小于阈值时所述数据的样本的最小数目时,将负示例设置为所述数据的标签。
(附录9)根据附录6、7或8所述的规则呈现程序,其中,在指定所述数据的样本的数目时,当指向与所述数据中包括的属性的组合有关的规则的标签为负示例,并且指定所述规则中包括的负示例的百分比小于阈值时所述数据的样本的最小数目时,将正示例设置为所述数据的标签。
(附录10)根据附录6至9中任一项所述的规则呈现程序,所述处理还包括:基于通过所述确定而确定的规则的顺序来呈现所述规则。
(附录11)一种规则呈现装置,包括:
指定单元,其被配置成获取训练数据,所述训练数据是其中属性的组合与正示例或负示例相关联的规则的集合,并且基于所述训练数据根据针对属性的一个或更多个组合的正示例的数目和负示例的数目来指定指向正示例或负示例的多个规则;
获取数据,所述数据具有与所述训练数据中包括的属性的组合不同的属性的组合并且具有指定正示例或负示例的未知标签;
确定单元,其被配置成从多个指定的规则中选择与所述数据中包括的属性的组合有关的规则,在所述数据中设置与由所选择的规则指向的正示例或负示例不同的标签,并且指定由所选择的规则指向的正示例或负示例改变时所述数据的样本的数目,由此基于所述样本的数目来确定要呈现的规则的顺序。
(附录12)根据附录11所述的规则呈现装置,其中,所述指定单元被配置成:针对规则中包括的属性的一个或更多个组合的标签计算正示例的百分比或负示例的百分比中的较大百分比作为所述规则的正确答案率,并且指定其正确答案率等于或大于阈值的多个规则。
(附录13)根据附录11或12所述的规则呈现装置,其中,所述确定单元被配置成:当与所述数据中包括的属性的组合有关的规则指向正示例并且指定所述规则中包括的正示例的百分比小于阈值时所述数据的样本的最小数目时,将负示例设置为所述数据的标签。
(附录14)根据附录11、12或13所述的规则呈现装置,其中,所述确定单元被配置成:当指向与所述数据中包括的属性的组合有关的规则的标签为负示例并且指定所述规则中包括的负示例的百分比小于阈值时所述数据的样本的最小数目时,将正示例设置为所述数据的标签。
(附录15)根据附录11至14中任一项所述的规则呈现装置,其中,所述确定单元还被配置成基于所确定的规则的顺序来呈现所述规则。

Claims (11)

1.一种由计算机执行的规则呈现方法,所述方法包括:
获取训练数据,所述训练数据是其中属性的组合与正示例和负示例之一相关联的规则的集合;
基于所获取的训练数据根据针对属性的一个或更多个组合的正示例的数目和负示例的数目来提取指定正示例和负示例之一的多个规则;
获取第一数据,所述第一数据具有与所述训练数据中包括的属性的组合不同的属性的组合并且不与指定正示例或负示例的标签相关联;
从多个指定的规则之中选择与所述第一数据中包括的属性的组合有关的规则;
生成第二数据,其中,将与由所选择的规则指定的正示例或负示例的标签不同的标签与所述第一数据相关联;
基于所生成的第二数据指定由所选择的规则指定的正示例或负示例的标签改变时所述第一数据的样本的数目;以及
基于所述样本的数目来确定要呈现的规则的顺序。
2.根据权利要求1所述的规则呈现方法,其中,
所述指定处理包括:
针对规则中包括的属性的一个或更多个组合的标签计算正示例的百分比或负示例的百分比中的较大百分比作为所述规则的正确答案率;以及
指定其正确答案率等于或大于阈值的多个规则。
3.根据权利要求1所述的规则呈现方法,其中,
所述指定处理包括:
当与所述第一数据中包括的属性的组合有关的规则指向正示例时,将负示例设置为所述第一数据的标签;以及
指定所述规则中包括的正示例的百分比小于阈值时所述第一数据的样本的最小数目。
4.根据权利要求1所述的规则呈现方法,其中,
所述指定处理包括:
当指向与所述第一数据中包括的属性的组合有关的规则的标签为负示例时,将正示例设置为所述第一数据的标签;以及
指定所述规则中包括的负示例的百分比小于阈值时所述第一数据的样本的最小数目。
5.根据权利要求1所述的规则呈现方法,其中,所述方法还包括基于所确定的规则的顺序来呈现所述规则。
6.一种非暂态计算机可读存储介质,其存储有使计算机执行处理的程序,所述处理包括:
获取训练数据,所述训练数据是其中属性的组合与正示例和负示例之一相关联的规则的集合;
基于所获取的训练数据根据针对属性的一个或更多个组合的正示例的数目和负示例的数目来提取指定正示例和负示例之一的多个规则;
获取第一数据,所述第一数据具有与所述训练数据中包括的属性的组合不同的属性的组合并且不与指定正示例或负示例的标签相关联;
从多个指定的规则之中选择与所述第一数据中包括的属性的组合有关的规则;
生成第二数据,其中,将与由所选择的规则指定的正示例或负示例的标签不同的标签与所述第一数据相关联;
基于所生成的第二数据指定由所选择的规则指定的正示例或负示例的标签改变时所述第一数据的样本的数目;以及
基于所述样本的数目来确定要呈现的规则的顺序。
7.一种规则呈现装置,包括:
存储器;以及
处理器,其耦接至所述存储器,并且所述处理器被配置成:
获取训练数据,所述训练数据是其中属性的组合与正示例和负示例之一相关联的规则的集合,
基于所获取的训练数据根据针对属性的一个或更多个组合的正示例的数目和负示例的数目来提取指定正示例和负示例之一的多个规则,
获取第一数据,所述第一数据具有与所述训练数据中包括的属性的组合不同的属性的组合并且不与指定正示例或负示例的标签相关联,
从多个指定的规则之中选择与所述第一数据中包括的属性的组合有关的规则,
生成第二数据,其中,将与由所选择的规则指定的正示例或负示例的标签不同的标签与所述第一数据相关联,
基于所生成的第二数据指定由所选择的规则指定的正示例或负示例的标签改变时所述第一数据的样本的数目,以及
基于所述样本的数目来确定要呈现的规则的顺序。
8.根据权利要求7所述的规则呈现装置,其中,所述处理器被配置成:
针对规则中包括的属性的一个或更多个组合的标签计算正示例的百分比或负示例的百分比中的较大百分比作为所述规则的正确答案率,以及
指定其正确答案率等于或大于阈值的多个规则。
9.根据权利要求7所述的规则呈现装置,其中,所述处理器被配置成:
当与所述第一数据中包括的属性的组合有关的规则指向正示例时,将负示例设置为所述第一数据的标签,以及
指定所述规则中包括的正示例的百分比小于阈值时所述第一数据的样本的最小数目。
10.根据权利要求7所述的规则呈现装置,其中,所述处理器被配置成:
当指向与所述第一数据中包括的属性的组合有关的规则的标签为负示例时,将正示例设置为所述第一数据的标签,以及
指定所述规则中包括的负示例的百分比小于阈值时所述第一数据的样本的最小数目。
11.根据权利要求7所述的规则呈现装置,其中,所述处理器被配置成基于所确定的规则的顺序来呈现所述规则。
CN202010372732.9A 2019-05-09 2020-05-06 规则呈现方法、存储介质和规则呈现装置 Pending CN111915009A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019089288A JP7207143B2 (ja) 2019-05-09 2019-05-09 ルール提示方法、ルール提示プログラムおよびルール提示装置
JP2019-089288 2019-05-09

Publications (1)

Publication Number Publication Date
CN111915009A true CN111915009A (zh) 2020-11-10

Family

ID=70390859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010372732.9A Pending CN111915009A (zh) 2019-05-09 2020-05-06 规则呈现方法、存储介质和规则呈现装置

Country Status (4)

Country Link
US (1) US20200356872A1 (zh)
EP (1) EP3736774A1 (zh)
JP (1) JP7207143B2 (zh)
CN (1) CN111915009A (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06102907A (ja) 1992-09-21 1994-04-15 Toshiba Corp 階層型ファジィ制御方法
US6064484A (en) * 1996-03-13 2000-05-16 Fujitsu Limited Pattern inspection method and system
JP2003044280A (ja) * 2001-08-02 2003-02-14 Hitachi Ltd ルール表示方法および装置
JP3563394B2 (ja) * 2002-03-26 2004-09-08 株式会社日立製作所 画面表示システム
US9258217B2 (en) * 2008-12-16 2016-02-09 At&T Intellectual Property I, L.P. Systems and methods for rule-based anomaly detection on IP network flow
JP5640773B2 (ja) * 2011-01-28 2014-12-17 富士通株式会社 情報照合装置、情報照合方法および情報照合プログラム
WO2013172310A1 (ja) 2012-05-14 2013-11-21 日本電気株式会社 ルール発見システムと方法と装置並びにプログラム
US9092734B2 (en) * 2012-09-21 2015-07-28 Sas Institute Inc. Systems and methods for interactive displays based on associations for machine-guided rule creation
US20160321750A1 (en) 2015-04-30 2016-11-03 Fujitsu Limited Commodity price forecasting
WO2017081715A1 (ja) 2015-11-10 2017-05-18 日本電気株式会社 推論システム、推論方法、及び、記録媒体
US11100421B2 (en) * 2016-10-24 2021-08-24 Adobe Inc. Customized website predictions for machine-learning systems
US11063836B2 (en) * 2017-03-21 2021-07-13 Cisco Technology, Inc. Mixing rule-based and machine learning-based indicators in network assurance systems

Also Published As

Publication number Publication date
EP3736774A1 (en) 2020-11-11
JP2020187384A (ja) 2020-11-19
US20200356872A1 (en) 2020-11-12
JP7207143B2 (ja) 2023-01-18

Similar Documents

Publication Publication Date Title
US9218572B2 (en) Technique for classifying data
CN110399927B (zh) 识别模型训练方法、目标识别方法及装置
JP6006081B2 (ja) 疾患診断のための最適の診断要素セット決定装置及び方法
JPWO2014155690A1 (ja) モデル更新方法、装置、およびプログラム
US9412003B2 (en) Discriminant function specifying device, discriminant function specifying method, and biometric identification device
US20170161370A1 (en) Control method, processing apparatus, and recording medium
US20190237200A1 (en) Recording medium recording similar case retrieval program, information processing apparatus, and similar case retrieval method
US20200373012A1 (en) Method and apparatus for machine learning
US20210279637A1 (en) Label collection apparatus, label collection method, and label collection program
US20100094785A1 (en) Survival analysis system, survival analysis method, and survival analysis program
CN107169029A (zh) 一种推荐方法及装置
CN117275673A (zh) 一种用于提升分配注意的认知训练设备和方法
CN117763126A (zh) 知识检索方法、设备、存储介质及装置
CN111915009A (zh) 规则呈现方法、存储介质和规则呈现装置
WO2007132564A1 (ja) データ処理装置及び方法
CN109726826B (zh) 随机森林的训练方法、装置、存储介质和电子设备
JP2017126212A (ja) パスウェイ解析プログラム、パスウェイ解析方法、及び、情報処理装置
CN112364746B (zh) 一种诊脉方法、电子设备和计算机存储介质
EP3059686A2 (en) Chronological change prediction system
JP7268347B2 (ja) 識別装置、識別方法及びプログラム
US20240071619A1 (en) Information processing apparatus, information processing method, and information processing program
Bruckers et al. Cluster analysis for repeated data with dropout: Sensitivity analysis using a distal event
Elsey Powerful sequential designs using Bayesian estimation: A power analysis tutorial using brms, the tidyverse, and furrr
JP5952568B2 (ja) 画像診断支援装置、その処理方法及びプログラム
JP6812789B2 (ja) 情報処理装置、情報処理プログラム、および情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination