CN109074521A - 学得模型提供方法和学得模型提供装置 - Google Patents

学得模型提供方法和学得模型提供装置 Download PDF

Info

Publication number
CN109074521A
CN109074521A CN201780027066.1A CN201780027066A CN109074521A CN 109074521 A CN109074521 A CN 109074521A CN 201780027066 A CN201780027066 A CN 201780027066A CN 109074521 A CN109074521 A CN 109074521A
Authority
CN
China
Prior art keywords
model
learns
user
side device
learn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780027066.1A
Other languages
English (en)
Inventor
松本裕
松本裕一
杉浦雅贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN109074521A publication Critical patent/CN109074521A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

学得模型提供系统(1)构成为，具备预先保管有多个学得模型的学得模型提供装置(2)以及从学得模型提供装置(2)接受学得模型的提供的用户侧装置(3)。学得模型提供装置(2)能够基于使用从用户侧装置(3)获取到的测试数据所计算出的性能从学得模型数据库(27)中保管的多个学得模型中选择向用户侧装置(3)提供的学得模型。由此，能够从数据库(27)中预先保管的多个学得模型中选择并提供最适合在用户侧装置(3)中利用的学得模型。

Description

学得模型提供方法和学得模型提供装置
技术领域
本公开涉及一种根据从用户侧装置获取到的利用请求来从数据库中预先保管的多个学得模型中选择一个或多个学得模型并提供给用户侧装置的学得模型提供方法和学得模型提供装置。
背景技术
以往，已知如下一种技术(参照专利文献1)：以在利用感测数据的传感器网络中使感测数据的流通优化为目的，通过进行传感器侧元数据与应用侧元数据的匹配，来提取能够提供满足应用要求的感测数据的传感器，该传感器侧元数据是与输出感测数据的传感器相关的信息，该应用侧元数据是与利用感测数据来提供服务的应用相关的信息。
专利文献1：日本专利第5445722号公报
发明内容
本公开的主要目的在于从预先保管的多个学得模型中选择并提供最适合在用户侧装置中利用的学得模型。
本公开的学得模型提供方法的特征在于，从用户侧装置获取测试数据，该测试数据是对感测数据附加该数据的属性信息所得到的数据，通过将所述测试数据应用于数据库中预先保管的多个学得模型的各个学得模型，来计算所述多个学得模型各自的性能，基于计算出的所述性能，来从所述多个学得模型中选择向所述用户侧装置提供的学得模型。
根据本公开，能够从数据库中预先保管的多个学得模型中选择并提供最适合在用户侧装置中利用的学得模型。
附图说明
图1是本公开的学得模型提供系统的整体结构图。
图2A是示出服务器装置的概要结构的框图。
图2B是示出服务器装置的存储部的概要结构的框图。
图3是示出用户侧装置的概要结构的框图。
图4是表示学得模型提供装置的动作过程的序列图。
图5是表示其它实施方式所涉及的学得模型提供装置的动作过程的序列图。
具体实施方式
为了解决上述问题而完成的第一公开是一种学得模型提供方法，其特征在于，从用户侧装置获取测试数据，该测试数据是对感测数据附加该数据的属性信息所得到，通过将所述测试数据应用于数据库中预先保管的多个学得模型的各个学得模型，来计算所述多个学得模型各自的性能，基于计算出的所述性能，从所述多个学得模型中选择向所述用户侧装置提供的学得模型。
根据该第一公开所涉及的学得模型提供方法，能够基于使用从用户侧装置获取到的测试数据所计算出的性能从数据库中预先保管的多个学得模型中选择向用户侧装置提供的学得模型。
由此，能够从数据库中预先保管的多个学得模型中选择并提供最适合在用户侧装置中利用的学得模型。
另外，第二公开是一种学得模型提供方法，其特征在于，从用户侧装置获取测试数据，该测试数据是在感测数据中附加该数据的属性信息所得到的，通过将所述测试数据应用于数据库中预先保管的多个学得模型的各个学得模型，来计算所述多个学得模型各自的性能，基于计算出的所述性能，从所述多个学得模型中决定微调用的学得模型，使用所述测试数据，对所决定的所述微调用的学得模型进行微调，通过将所述测试数据应用于微调后的所述学得模型，来计算微调后的所述学得模型的性能，基于计算出的所述性能，从所述微调后的学得模型中选择向所述用户侧装置提供的学得模型。
根据该第二公开所涉及的学得模型提供方法，能够对基于使用从用户侧装置获取到的测试数据计算出的性能所决定的学得模型进行微调，因此能够提供最适合在用户侧装置中利用的学得模型。
另外，第三公开的特征在于，在上述第二公开中，从所述用户侧装置获取关于是否能够向第三方提供使用所述测试数据进行微调后的学得模型的信息，在获取到不能向第三方提供微调后的所述学得模型的意思的信息的情况下，不向第三方提供微调后的所述学得模型。
根据该第三公开所涉及的学得模型提供方法，能够使用从用户侧装置获取到的测试数据来防止向第三方提供微调后的学得模型，因此能够保护用户侧装置的用户的隐私。
另外，第四公开的特征在于，在上述第一公开或第二公开中，将模型信息呈现给所述用户侧装置，该模型信息是所选择的所述学得模型的功能和生成环境中的至少一方的信息，在从所述用户侧装置获取到表示决定在该用户侧装置中利用的所述学得模型的信息时，将决定在所述用户侧装置中利用的所述学得模型提供给所述用户侧装置。
根据该第四公开所涉及的学得模型提供方法，用户侧装置的用户能够基于所选择的所述学得模型的模型信息来决定在用户侧装置中利用的学得模型。
另外，第五公开的特征在于，在上述第一公开或第二公开中，对所选择的所述学得模型赋予该学得模型的推荐等级，并且将表示所选择的所述学得模型的所述推荐等级的信息呈现给所述用户侧装置，在从所述用户侧装置获取到表示决定在该用户侧装置中利用的所述学得模型的信息时，将决定在所述用户侧装置中利用的所述学得模型提供给所述用户侧装置。
根据该第五公开所涉及的学得模型提供方法，用户侧装置的用户能够基于所选择的所述学得模型的推荐等级来决定在用户侧装置中利用的学得模型。
另外，第六公开的特征在于，在上述第五公开中，基于所述学得模型的实际利用状况、所述学得模型的评价、生成所述学得模型所使用的学习数据数量中的至少一方来决定所述推荐等级。
根据该第六公开所涉及的学得模型提供方法，能够容易且适当地决定所述奖励等级。
另外，第七公开是一种学得模型提供装置，其特征在于，具备：一个或多个处理器；数据库，其预先保管有多个学得模型；以及通信部，其与用户侧装置之间进行通信，其中，所述处理器从所述用户侧装置获取测试数据，该测试数据是对感测数据中附加该数据的属性信息所得到的，所述处理器通过将所述测试数据应用于所述多个学得模型的各个学得模型，来计算所述多个学得模型各自的性能，所述处理器基于计算出的所述性能，从所述多个学得模型中选择向所述用户侧装置提供的学得模型。
根据该第七公开所涉及的学得模型提供装置，能够基于使用从用户侧装置获取到的测试数据计算出的性能从数据库中预先保管的多个学得模型中选择向用户侧装置提供的学得模型。
由此，能够从数据库中预先保管的多个学得模型中选择并提供最适合在用户侧装置中利用的学得模型。
另外，第八公开是一种学得模型提供装置，其特征在于，具备：一个或多个处理器；数据库，其预先保管有多个学得模型；以及通信部，其与用户侧装置之间进行通信，其中，所述处理器从所述用户侧装置获取测试数据，该测试数据是在感测数据中附加该数据的属性信息所得到的，所述处理器通过将所述测试数据应用于所述多个学得模型的各个学得模型，来计算所述多个学得模型各自的性能，所述处理器基于计算出的所述性能，从所述多个学得模型中决定微调用的学得模型，所述处理器使用所述测试数据对所决定的所述微调用的学得模型进行微调，所述处理器通过将所述测试数据应用于所述微调后的学得模型，来计算微调后的所述学得模型的性能，所述处理器基于计算出的所述性能，从微调后的所述学得模型中选择向所述用户侧装置提供的学得模型。
根据该第八公开所涉及的学得模型提供装置，能够对基于使用从用户侧装置获取到的测试数据计算出的性能所决定的学得模型进行微调，因此能够提供最适合在用户侧装置中利用的学得模型。
另外，第九公开的特征在于，在上述第八公开中，所述处理器从所述用户侧装置获取关于是否能够向第三方提供使用所述测试数据进行微调后的学得模型的信息，在获取到不能向第三方提供所述微调后的学得模型的意思的信息的情况下，不向第三方提供该微调后的学得模型。
根据该第九公开所涉及的学得模型提供装置，能够使用从用户侧装置获取到的测试数据来防止向第三方提供微调后的学得模型，因此能够保护用户侧装置的用户的隐私。
另外，第十公开的特征在于，在上述第七公开或第八公开中，所述处理器将模型信息呈现给所述用户侧装置，该模型信息是所选择的所述学得模型的功能和生成环境中的至少一方的信息，在从所述用户侧装置获取到表示决定在该用户侧装置中利用的所述学得模型的信息时，所述处理器将决定在所述用户侧装置中利用的所述学得模型提供给所述用户侧装置。
根据该第十公开所涉及的学得模型提供装置，用户侧装置的用户能够基于所选择的所述学得模型的模型信息来决定在用户侧装置中利用的学得模型。
另外，第十一公开的特征在于，在上述第七公开或第八公开中，所述处理器对所选择的所述学得模型赋予该学得模型的推荐等级，并且将表示所选择的所述学得模型的所述推荐等级的信息呈现给所述用户侧装置，在从所述用户侧装置获取到表示决定在该用户侧装置中利用的所述学得模型的信息时，所述处理器将决定在所述用户侧装置中利用的所述学得模型提供给所述用户侧装置。
根据该第十一公开所涉及的学得模型提供装置，用户侧装置的用户能够基于所选择的所述学得模型的推荐等级来决定在用户侧装置中利用的学得模型。
另外，第十二公开的特征在于，在上述第十一公开中，基于所述学得模型的实际利用状况、所述学得模型的评价、生成所述学得模型所使用的学习数据数量中的至少一方来决定所述推荐等级。
根据该第十二公开所涉及的学得模型提供装置，能够容易且适当地决定所述推荐等级。
下面，参照附图来说明本公开的实施方式。
近年来，在图像识别、声音识别等领域中，利用神经网络的机器学习技术的研究开发的发展异常显著。特别是，报告有使用深度学习(Deep Learning)这样的技术能够实现通过以往的基于特征量库的图像识别/声音识别技术所无法获得的识别精度的例子，还研究了在工业中的各种应用。在深度学习中，在将学习用的图像数据、声音数据输入到多层型神经网络的输入层之后，进行学习处理以使输出层输出作为正确的识别结果的输出数据(正确数据)。典型的输出数据是针对输入数据的注释、元数据，例如，如果是图像，则能够是拍摄到的对象物的名称、种类/属性等，如果是声音，则能够是说出的单词、句子等。使用已知的算法来更新构建神经网络的各节点间的连接(突触连接)的权重值(例如在误差逆传播法中，对权重值进行调整/更新以使输出层中的与正确值之间的误差等减小)，由此进行深度学习的学习处理。完成学习处理的节点间的权重值的集合体被称为“学得模型”，针对与在学习处理中使用的神经网络具有相同结构的神经网络应用学得模型(设定为节点间连接的权重值)，由此，在将未知的输入数据、即在学习处理中没有使用的新的输入数据输入到该神经网络之后，作为输出数据(识别结果)而能够以固定的精度输出正确数据。因而，在与进行学得模型的生成(即，学习处理)的装置不同的装置中，构建使用了学得模型的神经网络来执行识别处理，由此能够以学习所得到的识别精度进行图像识别、声音识别。
学得模型是针对学习用的数据以规定的基准尝试使性能最优化而得到的模型。因此，一般来说，为了验证学得模型针对与学习用的数据不同的实际的数据而言发挥什么样的性能，而需要在获得实际的数据的同时运用学得模型。本发明的发明人们认为，从多个学得模型中选择特定的学得模型是较复杂的问题。这是因为，一般认为为了从多个学得模型中选择适合的学得模型而针对多个学得模型进行该运用是需要很长的试验期的，因此并不现实。
本公开所涉及的学得模型提供系统1是用于根据从用户侧装置获取到的利用请求来从数据库中预先保管的多个学得模型中选择符合用户侧装置的利用目的的一个或多个学得模型并提供给用户侧装置的系统。本说明书中提及的学得模型是指通过基于学习数据和正确数据(教授数据)进行机器学习(例如，使用多层构造的神经网络的深度学习、支持向量机、提升算法(boosting)、强化学习等)而生成的模型。
图1是本公开所涉及的学得模型提供系统1的整体结构图。如图1所示，本公开所涉及的学得模型提供系统1构成为，具备预先保管有多个学得模型的学得模型提供装置2(以后称为“服务器装置”)以及从服务器装置2接受学得模型的提供的用户侧装置3。服务器装置2与用户侧装置3经由因特网等网络相互连接。
服务器装置2是一般的计算机装置，将多个学得模型保管在后述的学得模型数据库27(参照图2B)中。而且，服务器装置2在从用户侧装置3接收到包含利用目的的利用请求时，从学得模型数据库27中保管的多个学得模型中选择符合该利用目的的学得模型并发送到用户侧装置3。像这样，服务器装置2也可以构成为用于将预先保管的学得模型提供给用户侧装置3的云服务器。
图2A是示出服务器装置2的概要结构的框图，图2B是示出服务器装置2的存储部的概要结构的框图。如图2A所示，服务器装置2具备存储部21、处理器22、显示部23、输入部24、通信部25以及将它们连接的总线26。
存储部21例如是ROM(Read Only Memory：只读存储器)、硬盘等存储装置(存储单元)，保存有用于实现服务器装置2的各功能的各种程序和各种数据。另外，如图2B所示，存储部21保存有学得模型数据库27。处理器22例如是CPU(Central Processing Unit：中央处理器)，将各种程序和各种数据从存储部21读出到未图示的RAM(Random Access Memory：随机存取存储器)中，来执行服务器装置2的各处理。显示部23由液晶显示面板等显示器等构成，用于显示处理器22的处理结果等。输入部24由键盘、鼠标等输入设备等构成，用于操作服务器装置2。通信部25经由因特网等网络而与用户侧装置3之间进行通信。
在学得模型数据库27中预先保管有多个学得模型。另外，在学得模型数据库27中，关于多个学得模型的各个学得模型预先存储有模型信息，该模型信息是该学得模型的功能和生成环境中的至少一方的信息。模型信息包含保管模型信息、生成环境信息以及必要资源信息。
保管模型信息包含与该学得模型的功能、该学得模型的性能、该学得模型的利用对价以及生成该学得模型所使用的学习数据(感测数据)的数据数量中的至少一方相关的信息。
学得模型的功能是指该学得模型的使用目的或使用用途。例如，在该学得模型是根据包含人物的摄像图像来进行关于所述人物的一些估计的学得模型的情况下，作为学得模型的功能的例子，列举面部检测功能、人体检测功能、运动检测功能、姿势检测功能、人物属性估计功能、人物行动预测功能等。此外，学得模型的功能不限定于这些，根据学得模型的使用目的而能够是各种各样的功能。学得模型的性能例如是利用该学得模型进行图像分析处理等处理时的正确率(正确度)、匹配率、再现率、神经网络模型的种类、层数等。学得模型的利用对价例如是虚拟货币、积分等。
生成环境信息是与生成学得模型所使用的学习数据(感测数据)的获取环境相关的信息，具体地说，是包含与学习数据的获取条件以及获取学习数据所使用的装置的设置环境中的至少一方相关的信息。例如，在学习数据为摄像图像、获取学习数据所使用的装置为摄像机的情况下，作为学习数据的获取条件的例子，列举摄像时刻(例如白天、夜晚等)、摄像环境(例如天气、照度等)、摄像机的数量、摄像机的各种摄像参数(例如设置高度、摄像角度、焦距、变焦倍率、分辨率等)等，作为获取学习数据所使用的装置(摄像机)的设置环境的例子，列举摄像机的设置场所(例如便利店、车站、购物中心、工厂、机场等)、摄像机周围的环境(例如室外、室内等)等。
必要资源信息是与利用该学得模型所需要的装置的资源或能力相关的信息，具体地说，包含与利用该学得模型进行处理的计算机装置的资源和能力(resources andspecifications)以及为了获取在该计算机装置中利用该学得模型时使用的用户侧数据而使用的装置(例如摄像机)的资源和能力(resources and specifications)相关的信息。在计算机装置的资源或能力中还包含该计算机装置所具有的CPU的种类、GPU的种类(或个数)、OS、神经网络模型的种类、层数等。
用户侧装置3是一般的计算机装置，用于使用从服务器装置2提供的学得模型进行图像分析处理、新的机器学习等处理。如前述的那样，通过用户侧装置3对服务器装置2发送利用请求，来从服务器装置2向用户侧装置3提供学得模型。
图3是示出用户侧装置3的概要结构的框图。如图3所示，用户侧装置3具备存储部31、处理器32、显示部33、输入部34、通信部35以及将它们连接的总线36。
存储部31例如是ROM、硬盘等存储装置(存储单元)，保存有用于实现用户侧装置3的各功能的各种程序和各种数据。处理器32例如是CPU，将各种程序和各种数据从存储部31读出到未图示的RAM中，来执行用户侧装置3的各处理。显示部33由液晶显示面板等显示器等构成，用于显示处理器32的处理结果等。输入部34由键盘、鼠标等输入设备等构成，用于操作用户侧装置3。通信部35经由因特网等网络而与服务器装置2之间进行通信。
此外，学得模型提供系统1的上述各装置不限于计算机装置，也能够使用能够发挥同样功能的其它的信息处理装置(例如服务器等)。另外，也可以通过利用其它公知的硬件进行的处理来代替学得模型提供系统1的上述各装置的功能的至少一部分。
图4是表示学得模型提供系统1的动作过程的序列图。下面，参照图4的序列图来说明学得模型提供系统1的服务器装置2和用户侧装置3的动作过程。
首先，用户侧装置3的用户操作输入部34来向用户侧装置3输入测试数据(步骤ST101)。该测试数据作为服务器装置2中保管的学得模型的测试数据被使用。在本实施方式中，测试数据是用户的面部图像，使用由与用户侧装置3连接的未图示的摄像机拍摄用户所得到的面部图像(感测数据)来作为测试数据。另外，对测试数据中添附该测试数据的属性信息。在使用测试数据来计算学得模型的性能时，该属性信息作为正确信息被使用。在本实施方式中，测试数据是用户的面部图像，因此添附表示用户的年龄、性别等的信息来作为测试数据的属性信息。由用户操作用户侧装置3的输入部34来进行属性信息的添附作业即可。
被输入到用户侧装置3的测试数据经由因特网等网络被发送到服务器装置2(步骤ST102)。
服务器装置2当从用户侧装置3接收到测试数据时，将该测试数据应用于学得模型数据库27中保管的多个学得模型的各个学得模型，来计算各个学得模型的性能(步骤ST103)。另外，在计算学得模型的性能时还使用被添附到测试数据中的属性信息。具体地说，将通过对学得模型应用测试数据而估计出的信息与添附到测试数据中的属性信息进行比较，由此计算学得模型的性能。在本实施方式中，使用正确率(正确度)来作为学得模型的性能。使用公知的方法来进行正确率的计算。此外，根据学得模型的输出形式，除了正确率以外还能够使用匹配率、再现率等各种指标来作为学得模型的性能。
接着，服务器装置2基于计算出的正确率，从学得模型数据库27中保管的多个学得模型中选择并决定一个或多个微调用模型(步骤ST104)。例如，选择正确率超过预先决定的阈值的学得模型或正确率比预先决定的位次靠前的学得模型来作为微调用模型即可。
接着，服务器装置2使用测试数据对所选择的微调用模型进行微调(步骤ST105)。在所选择的微调用模型存在多个的情况下，对各个微调用模型进行微调。此外，本说明书中提及的微调是指使用追加的学习数据进行的追加学习。在本公开中，使用测试数据来作为追加的学习数据。使用公知的方法来进行微调。
接着，与上述的步骤ST103同样地，服务器装置2对微调后的学得模型应用测试数据，来计算微调后的学得模型的正确率(步骤ST106)。在微调后的学得模型存在多个的情况下，计算各个微调后的学得模型的正确率。使用公知的方法来进行正确率的计算。此外，根据学得模型的输出形式，除了正确率以外还能够使用匹配率、再现率等各种指标来作为学得模型的性能。
然后，服务器装置2基于计算出的正确率，从微调后的学得模型中选择向用户侧装置3提供的一个或多个学得模型(步骤ST107)。与上述的步骤ST104同样地，例如选择正确率超过预先决定的阈值的学得模型或正确率比预先决定的位次靠前的学得模型来作为向用户侧装置3提供的学得模型即可。
此外，选择对象中除了包含微调后的学得模型以外，也可以包含进行微调之前的学得模型。即，也可以是，基于各个学得模型的正确率，从微调后的学得模型和进行微调之前的学得模型中选择向用户侧装置3提供的学得模型。
接着，服务器装置2针对上述所选择的学得模型赋予该学得模型的推荐等级(步骤ST108)。在所选择的学得模型存在多个的情况下，针对所选择的学得模型的各个学得模型赋予推荐等级。基于该学得模型的实际利用状况、该学得模型的评价以及生成该学得模型所使用的学习数据数量中的至少一方来决定推荐等级。关于实际利用状况，使用该学得模型的利用历史记录即可。关于评价，使用经由因特网等网络从外部获取到的评价、评论等即可。预先将利用历史记录及评价与该学得模型相关联地存储到学得模型数据库27中即可。
然后，服务器装置2将上述所选择的学得模型的模型信息和推荐等级发送到用户侧装置3(步骤ST109)。如前述的那样，预先将模型信息存储到学得模型数据库27中。由此，能够对用户侧装置3的用户呈现在服务器装置2中选择的学得模型的模型信息和推荐等级。
当用户侧装置3从服务器装置2接收到上述所选择的学得模型的模型信息和推荐等级时，用户侧装置3将示出接收到的信息的画面显示于显示部33。用户侧装置3的用户确认显示部33中显示的这些信息，来决定在用户侧装置3中利用的学得模型(步骤ST110)。具体地说，在上述所选择的学得模型为一个的情况下，用户侧装置3的用户决定是否同意利用该学得模型，在上述所选择的学得模型存在多个的情况下，决定利用该多个学得模型中的哪一个学得模型，或者决定不利用任一个学得模型。
通过输入部34将用户侧装置3的用户的决定结果输入到用户侧装置3。将被输入到用户侧装置3的决定结果作为决定通知从用户侧装置3发送到服务器装置2(步骤ST111)。然后，服务器装置2基于从用户侧装置3接收到的决定通知，将在用户侧装置3中决定的学得模型发送到用户侧装置3(步骤ST112)。
通过这样，在本公开所涉及的学得模型提供系统1中，服务器装置2能够基于使用从用户侧装置3获取到的测试数据计算出的性能从学得模型数据库27中预先保管的多个学得模型中选择向用户侧装置3提供的学得模型。由此，能够从学得模型数据库27中预先保管的多个学得模型中选择并提供最适合在用户侧装置3中利用的学得模型。
另外，在本公开所涉及的学得模型提供系统1中，服务器装置2能够对基于使用从用户侧装置3获取到的测试数据计算出的性能所决定的学得模型进行微调，因此能够提供最适合在用户侧装置3中利用的学得模型。
另外，在本公开所涉及的学得模型提供系统1中，能够对用户侧装置3的用户呈现在服务器装置2中选择的学得模型的模型信息和推荐等级，因此用户侧装置3的用户能够基于这些信息来决定在用户侧装置3中利用的学得模型。
此外，也可以在从用户侧装置3向服务器装置2发送测试数据时，还发送表示是否能够向第三方提供使用该测试数据进行微调后的学得模型的信息。具体地说，如图5的序列图所示，在步骤ST101中输入测试数据之后，用户侧装置3的用户操作输入部34来向用户侧装置3输入是否能够向第三方提供使用测试数据进行微调后的学得模型(步骤ST201)。经由因特网等网络将被输入到用户侧装置3的表示是否能够向第三方提供微调后的学得模型的信息与测试数据一起发送到服务器装置2(步骤ST202)。
而且，服务器装置2在从用户侧装置3获取到不能向第三方提供微调后的学得模型的意思的信息的情况下，不向其它的用户侧装置等第三方提供该微调后的学得模型。具体地说，在用于保管微调后的学得模型的数据库(学得模型数据库27或其它的数据库)中，针对设为不能向第三方提供的微调后的学得模型写入用于禁止向第三方提供的禁止标志，由此进行禁止向第三方提供该学得模型的处理(步骤ST203)。在从用户侧装置3获取到能够向第三方提供微调后的学得模型的意思的信息的情况下，不进行禁止向该第三方提供的处理。通过这样，能够防止向第三方提供微调后的学得模型，因此能够保护用户侧装置3的用户的隐私。
以上基于特定的实施方式对本公开进行了说明，但是这些实施方式只是例示，本公开不限定于这些实施方式。另外，上述实施方式中示出的本公开所涉及的学得模型提供方法和学得模型提供装置的各构成要素并不都是必须的，只要至少不脱离本公开的范围，就能够适当地进行取舍选择。
例如，在本实施方式中，对基于使用从用户侧装置3获取到的测试数据计算出的性能所决定的学得模型进行了微调，但是该微调不是必须的，也可以省略。
另外，在本实施方式中，在选择了学得模型之后，向用户侧装置3呈现模型信息和推荐等级这双方，但是也可以仅呈现模型信息和推荐等级中的一方。另外，该模型信息及推荐等级的呈现不是必须的，也可以省略。
另外，在本实施方式中，作为学习数据和用户侧数据(感测数据)的例子，列举了图像数据，但是学习数据和用户侧数据不限定于图像数据，例如也可以是声音、温度、湿度、振动、天气等数据。本公开所涉及的学得模型提供方法和学得模型提供装置例如能够应用于制造、物流、公共服务、交通、医疗、教育、金融等各种领域中的使用各种数据的学得模型。
产业上的可利用性
本公开所涉及的学得模型提供方法和学得模型提供装置作为能够从数据库中预先保管的多个学得模型中选择并提供最适合在用户侧装置中利用的学得模型的学得模型提供方法和学得模型提供装置而言是有用的。
附图标记说明
1：学得模型提供系统；2：学得模型提供装置(服务器装置)；3：用户侧装置；22：处理器；25：通信部；27：学得模型数据库。

Claims (12)

1.一种学得模型提供方法，其特征在于，
从用户侧装置获取测试数据，该测试数据是对感测数据附加该数据的属性信息所得到的，
通过将所述测试数据应用于数据库中预先保管的多个学得模型的各个学得模型，来计算所述多个学得模型各自的性能，
基于计算出的所述性能，从所述多个学得模型中选择向所述用户侧装置提供的学得模型。
2.一种学得模型提供方法，其特征在于，
从用户侧装置获取测试数据，该测试数据是对感测数据附加该数据的属性信息所得到的，
通过将所述测试数据应用于数据库中预先保管的多个学得模型的各个学得模型，来计算所述多个学得模型各自的性能，
基于计算出的所述性能，从所述多个学得模型中决定微调用的学得模型，
使用所述测试数据，对所决定的所述微调用的学得模型进行微调，
通过将所述测试数据应用于微调后的所述学得模型，来计算微调后的所述学得模型的性能，
基于计算出的所述性能，从微调后的所述学得模型中选择向所述用户侧装置提供的学得模型。
3.根据权利要求2所述的学得模型提供方法，其特征在于，
从所述用户侧装置获取关于是否能够向第三方提供使用所述测试数据进行微调后的学得模型的信息，
在获取到不能向第三方提供微调后的所述学得模型的意思的信息的情况下，不向第三方提供微调后的所述学得模型。
4.根据权利要求1或2所述的学得模型提供方法，其特征在于，
将模型信息呈现给所述用户侧装置，该模型信息是所选择的所述学得模型的功能和生成环境中的至少一方的信息，
在从所述用户侧装置获取到表示决定在该用户侧装置中利用的所述学得模型的信息时，将决定在所述用户侧装置中利用的所述学得模型提供给所述用户侧装置。
5.根据权利要求1或2所述的学得模型提供方法，其特征在于，
对所选择的所述学得模型赋予该学得模型的推荐等级，并且将表示所选择的所述学得模型的所述推荐等级的信息呈现给所述用户侧装置，
在从所述用户侧装置获取到表示决定在该用户侧装置中利用的所述学得模型的信息时，将决定在所述用户侧装置中利用的所述学得模型提供给所述用户侧装置。
6.根据权利要求5所述的学得模型提供方法，其特征在于，
基于所述学得模型的实际利用状况、所述学得模型的评价、生成所述学得模型所使用的学习数据数量中的至少一方来决定所述推荐等级。
7.一种学得模型提供装置，其特征在于，具备：
一个或多个处理器；
数据库，其预先保管有多个学得模型；以及
通信部，其与用户侧装置之间进行通信，
其中，所述处理器从所述用户侧装置获取测试数据，该测试数据是对感测数据附加该数据的属性信息所得到的，
所述处理器通过将所述测试数据应用于所述多个学得模型的各个学得模型，来计算所述多个学得模型各自的性能，
所述处理器基于计算出的所述性能，从所述多个学得模型中选择向所述用户侧装置提供的学得模型。
8.一种学得模型提供装置，其特征在于，具备：
一个或多个处理器；
数据库，其预先保管有多个学得模型；以及
通信部，其与用户侧装置之间进行通信，
其中，所述处理器从所述用户侧装置获取测试数据，该测试数据是对感测数据附加该数据的属性信息所得到的，
所述处理器通过将所述测试数据应用于所述多个学得模型的各个学得模型，来计算所述多个学得模型各自的性能，
所述处理器基于计算出的所述性能，从所述多个学得模型中决定微调用的学得模型，
所述处理器使用所述测试数据对所决定的所述微调用的学得模型进行微调，
所述处理器通过将所述测试数据应用于微调后的所述学得模型，来计算微调后的所述学得模型的性能，
所述处理器基于计算出的所述性能，从微调后的所述学得模型中选择向所述用户侧装置提供的学得模型。
9.根据权利要求8所述的学得模型提供装置，其特征在于，
所述处理器从所述用户侧装置获取关于是否能够向第三方提供使用所述测试数据进行微调后的学得模型的信息，
在获取到不能向第三方提供微调后的所述学得模型的意思的信息的情况下，所述处理器不向第三方提供微调后的所述学得模型。
10.根据权利要求7或8所述的学得模型提供装置，其特征在于，
所述处理器将模型信息呈现给所述用户侧装置，该模型信息是所选择的所述学得模型的功能和生成环境中的至少一方的信息，
在从所述用户侧装置获取到表示决定在该用户侧装置中利用的所述学得模型的信息时，所述处理器将决定在所述用户侧装置中利用的所述学得模型提供给所述用户侧装置。
11.根据权利要求7或8所述的学得模型提供装置，其特征在于，
所述处理器对所选择的所述学得模型赋予该学得模型的推荐等级，并且将表示所选择的所述学得模型的所述推荐等级的信息呈现给所述用户侧装置，
在从所述用户侧装置获取到表示决定在该用户侧装置中利用的所述学得模型的信息时，所述处理器将决定在所述用户侧装置中利用的所述学得模型提供给所述用户侧装置。
12.根据权利要求11所述的学得模型提供装置，其特征在于，
基于所述学得模型的实际利用状况、所述学得模型的评价、生成所述学得模型所使用的学习数据数量中的至少一方来决定所述推荐等级。
CN201780027066.1A 2017-02-03 2017-12-11 学得模型提供方法和学得模型提供装置 Pending CN109074521A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017018295 2017-02-03
JP2017-018295 2017-02-03
PCT/JP2017/044297 WO2018142766A1 (ja) 2017-02-03 2017-12-11 学習済みモデル提供方法および学習済みモデル提供装置

Publications (1)

Publication Number Publication Date
CN109074521A true CN109074521A (zh) 2018-12-21

Family

ID=63040434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780027066.1A Pending CN109074521A (zh) 2017-02-03 2017-12-11 学得模型提供方法和学得模型提供装置

Country Status (5)

Country Link
US (1) US20190147361A1 (zh)
EP (1) EP3579153A4 (zh)
JP (1) JP7065266B2 (zh)
CN (1) CN109074521A (zh)
WO (1) WO2018142766A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6398894B2 (ja) * 2015-06-30 2018-10-03 オムロン株式会社 データフロー制御装置およびデータフロー制御方法
CN110431569A (zh) * 2017-03-21 2019-11-08 首选网络株式会社 服务器装置、已学习模型提供程序、已学习模型提供方法以及已学习模型提供系统
US11238623B2 (en) 2017-05-01 2022-02-01 Preferred Networks, Inc. Automatic line drawing coloring program, automatic line drawing coloring apparatus, and graphical user interface program
JP7252701B2 (ja) 2017-05-23 2023-04-05 株式会社Preferred Networks システム、プログラム、および方法
US10929899B2 (en) * 2017-12-18 2021-02-23 International Business Machines Corporation Dynamic pricing of application programming interface services
JP6925474B2 (ja) * 2018-08-31 2021-08-25 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム
JP6697042B2 (ja) * 2018-08-31 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、固体撮像方法及びプログラム
US20200082279A1 (en) 2018-09-11 2020-03-12 Synaptics Incorporated Neural network inferencing on protected data
JP7024881B2 (ja) * 2018-09-28 2022-02-24 日本電気株式会社 パターン認識装置およびパターン認識方法
WO2020158954A1 (ja) * 2019-02-01 2020-08-06 株式会社コンピュータマインド サービス構築装置、サービス構築方法及びサービス構築プログラム
JP7313515B2 (ja) * 2019-02-28 2023-07-24 三菱電機株式会社 データ処理装置、データ処理システムおよびデータ処理方法
KR20210113356A (ko) * 2019-02-28 2021-09-15 미쓰비시덴키 가부시키가이샤 데이터 처리 장치, 데이터 처리 시스템 및 데이터 처리 방법
JP2021089446A (ja) * 2019-03-13 2021-06-10 ダイキン工業株式会社 モデルの選定方法および深層強化学習方法
JP7272158B2 (ja) * 2019-07-29 2023-05-12 中国電力株式会社 発電出力算出装置、及び発電出力算出方法
US11218374B2 (en) * 2019-07-30 2022-01-04 Microsoft Technology Licensing, Llc Discovery and resolution of network connected devices
US11399312B2 (en) * 2019-08-13 2022-07-26 International Business Machines Corporation Storage and retention intelligence in mobile networks
JP7252862B2 (ja) * 2019-08-22 2023-04-05 株式会社デンソーテン 制御装置、制御システムおよび制御方法
WO2021038759A1 (ja) * 2019-08-28 2021-03-04 富士通株式会社 モデル選択方法、モデル選択プログラムおよび情報処理装置
JP7051772B2 (ja) * 2019-09-12 2022-04-11 株式会社東芝 提供装置、提供方法及びプログラム
EP3798944A1 (en) * 2019-09-30 2021-03-31 Hoya Lens Thailand Ltd. Learning model generation method, computer program, eyeglass lens selection support method, and eyeglass lens selection support system
US11727284B2 (en) 2019-12-12 2023-08-15 Business Objects Software Ltd Interpretation of machine learning results using feature analysis
US20210264312A1 (en) * 2020-02-21 2021-08-26 Sap Se Facilitating machine learning using remote data
CN115280333A (zh) * 2020-03-19 2022-11-01 Toa株式会社 Ai控制装置、与ai控制装置连接的服务器装置以及ai控制方法
US11580455B2 (en) 2020-04-01 2023-02-14 Sap Se Facilitating machine learning configuration
KR20210123476A (ko) 2020-04-03 2021-10-14 에스케이하이닉스 주식회사 전자 장치
US20220083913A1 (en) * 2020-09-11 2022-03-17 Actapio, Inc. Learning apparatus, learning method, and a non-transitory computer-readable storage medium
JP2022085356A (ja) * 2020-11-27 2022-06-08 株式会社Ｊｖｃケンウッド 機械学習装置、機械学習方法、および学習済みモデル
US20220207444A1 (en) * 2020-12-30 2022-06-30 International Business Machines Corporation Implementing pay-as-you-go (payg) automated machine learning and ai
WO2023199172A1 (en) * 2022-04-11 2023-10-19 Nokia Technologies Oy Apparatus and method for optimizing the overfitting of neural network filters
KR102645690B1 (ko) * 2023-06-13 2024-03-11 주식회사 노타 노드에 대응되는 인공지능 기반의 모델을 제공하기 위한 방법 및 디바이스

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002268684A (ja) * 2001-03-14 2002-09-20 Ricoh Co Ltd 音声認識用音響モデル配信方法
JP4001494B2 (ja) 2002-03-12 2007-10-31 富士通株式会社 教材作成支援方法、教材利用管理方法、サーバ、及びプログラム
AU2012250923A1 (en) * 2011-05-04 2013-11-21 Google Inc. Predictive analytical modeling accuracy assessment
US8626791B1 (en) * 2011-06-14 2014-01-07 Google Inc. Predictive model caching
US10121381B2 (en) 2012-09-12 2018-11-06 Omron Corporation Data flow control order generating apparatus and sensor managing apparatus
JP5408380B1 (ja) 2013-06-17 2014-02-05 富士ゼロックス株式会社 情報処理プログラム及び情報処理装置
JP6500377B2 (ja) 2014-09-19 2019-04-17 富士ゼロックス株式会社 情報処理装置及びプログラム
DE202016009102U1 (de) * 2015-02-19 2022-04-22 Magic Pony Technology Limited Verbesserung visueller Daten mittels gestufter Faltungen

Also Published As

Publication number Publication date
JP7065266B2 (ja) 2022-05-12
US20190147361A1 (en) 2019-05-16
EP3579153A4 (en) 2020-04-15
WO2018142766A1 (ja) 2018-08-09
JPWO2018142766A1 (ja) 2019-11-21
EP3579153A1 (en) 2019-12-11

Similar Documents

Publication Publication Date Title
CN109074521A (zh) 学得模型提供方法和学得模型提供装置
CN109074607A (zh) 学得模型提供方法和学得模型提供装置
CN109740018B (zh) 用于生成视频标签模型的方法和装置
CN111680219A (zh) 内容推荐方法、装置、设备及可读存储介质
CN110767271A (zh) 化合物性质预测方法、装置、计算机设备及可读存储介质
CN113792871A (zh) 神经网络训练方法、目标识别方法、装置和电子设备
CN112989212B (zh) 媒体内容推荐方法、装置和设备及计算机存储介质
KR102284862B1 (ko) 프로그래밍 교육을 위한 화상 콘텐츠 제공 방법
CN113011387B (zh) 网络训练及人脸活体检测方法、装置、设备及存储介质
CN112765387A (zh) 图像检索方法、图像检索装置和电子设备
CN111935663B (zh) 传感器数据流的处理方法、装置、介质及电子设备
CN109741108A (zh) 基于情境感知的流式应用推荐方法、装置和电子设备
CN113641835B (zh) 多媒体资源推荐方法、装置、电子设备及介质
CN116128055A (zh) 图谱构建方法、装置、电子设备和计算机可读介质
CN113704511B (zh) 多媒体资源的推荐方法、装置、电子设备及存储介质
CN109816023B (zh) 用于生成图片标签模型的方法和装置
CN114398556A (zh) 学习内容的推荐方法、装置、设备及存储介质
CN110956127A (zh) 用于生成特征向量的方法、装置、电子设备和介质
CN112861474B (zh) 一种信息标注方法、装置、设备及计算机可读存储介质
CN115017362A (zh) 数据处理方法、电子设备及存储介质
Bauder Using social media as a big data source for research: the example of ambient geospatial information (AGI) in tourism geography
CN111461091B (zh) 万能指纹生成方法和装置、存储介质及电子装置
CN115878839A (zh) 一种视频推荐方法、装置、计算机设备和计算机程序产品
CN117390455B (zh) 数据处理方法和装置、存储介质及电子设备
CN117033664B (zh) 业务的序列图生成方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181221

WD01 Invention patent application deemed withdrawn after publication