CN111868717A - 信息处理装置及信息处理方法 - Google Patents

Abstract

[问题]有效地收集用于分析攻击技术的数据，同时防止非法获取学习知识。[解决方案]提供了一种信息处理装置，配备有：输出控制单元，控制基于由第三方输入的输入数据和由神经网络学习的学习知识的智能处理结果的输出，其中，当确定第三方进行的输入不是用于授权使用应用时，输出控制单元处理该智能处理结果，使得智能处理结果的质量降低，并且输出经处理的智能处理结果。

Description

信息处理装置及信息处理方法

技术领域

本公开涉及信息处理装置及信息处理方法。

背景技术

近年来，已经开发了使用神经网络的各种功能。进一步地，已经积极地研究了用于改进神经网络的性能和效率的技术。例如，非专利文献1公开了使新模型新学习经训练模型中输入和输出之间的关系的被称为“提取”的技术。

如果使用上述提取技术，则可以将通过使用复杂网络学习的知识迁移至简单网络，并且预期网络将小型化并且计算成本将降低。

引用列表

非专利文献

非专利文献1：Geoffrey Hinton(杰弗里·辛顿)、另外两人，“在神经网络中提取知识”，2015年3月9日，[在线]，[在2018年3月11日搜索],互联网<https://arxiv.org/pdf/1503.02531.pdf>

发明内容

技术问题

然而，例如，当在互联网等上向第三方发布经训练的模型时，第三方获取准备好的输入数据的训练模型的输出数据，并且由此能够将学习到的经训练模型的知识提取到另一新模型中。因此，期望建立有效的保护措施防止通过提取等非法获取学习到的知识。

因此，本公开提出了能够在防止非法获取学习到的知识的同时有效地收集用于分析攻击方法的数据的新的和改进的信息处理装置和信息处理方法。

问题的解决方案

根据本公开，提供了一种信息处理装置，包括：输出控制单元，控制基于由第三方输入的输入数据和由神经网络学习的学习知识的智能处理结果的输出，其中，当确定第三方进行的输入不是用于合法目的时，输出控制单元处理智能处理结果，使得智能处理结果的质量降低，并且允许输出经处理的智能处理结果。

此外，根据本公开，提供了一种信息处理方法，包括：使处理器控制基于由第三方输入的输入数据和由神经网络学习的学习知识的智能处理结果的输出，其中，该控制进一步包括：当确定第三方进行的输入不是用于合法目的时，处理该智能处理结果，使得智能处理结果的质量降低，并且允许输出经处理的智能处理结果。

本发明的有益效果

如上所述，根据本公开，可以有效地收集用于分析攻击方法的数据，同时防止非法获取学习知识。

上述效果不一定受限制，并且可以与上述效果一起或者代替上述效果来发挥本说明书中所示的效果或者从本说明书可以掌握的其他效果中的任何效果。

附图说明

图1是示出根据本公开的实施方式的信息处理系统的配置实例的框图。

图2是示出根据相同实施方式的信息处理终端的功能配置实例的框图。

图3是示出根据相同实施方式的信息处理服务器的功能配置实例的框图。

图4是示出根据相同实施方式的输入数据和智能处理之间的关系的图。

图5是用于说明根据相同实施方式的处理类别分类结果的图。

图6是用于说明根据相同实施方式的处理分割处理结果的图。

图7是用于说明根据相同实施方式的处理自然语言处理结果的图。

图8是用于说明根据相同实施方式的处理动作计划信息的图。

图9是用于说明根据相同实施方式的处理创作的图。

图10是用于说明根据相同实施方式的处理包括多个元素的智能处理结果的图。

图11是示出根据相同实施方式的信息处理服务器的处理流程的概念图。

图12是示出根据相同实施方式的保护措施DB中存储的保护措施的设置实例的图。

图13是示出根据本公开的实施方式的硬件配置实例的图。

具体实施方式

在下文中，将参考附图详细地描述本公开的优选实施方式。在本说明书和附图中，具有基本上相同的功能和配置的部件用相同的参考标号表示，并且省略冗余的描述。

将按照以下顺序给出描述。

1.实施方式

1.1.概述

1.2.系统配置实例

1.3.信息处理终端10的功能配置实例

1.4.信息处理服务器20

1.5.处理的细节

1.6.处理的流程和保护措施的设置

2.硬件配置实例

3.总结

<1.实施方式>

<<1.1.概述>>

首先，将描述本公开的实施方式的概述。如上所述，近年来，已经积极地研究了用于改进神经网络的性能和效率的技术。如上所述的技术的实例包括上述提取。

根据提取，预期这样的效果：通过将由复杂模型学习的知识迁移至简单模型，将在更小的网络中实现等效功能，并且将降低计算成本。

同时，因为如果存在输入数据和该输入数据的训练模型的输出数据，提取是可实现的，所以还预期该提取将用于非法获取学习到的知识。例如，近年来，存在在互联网上发布与这种学习的模型的输入和输出相关的应用程序接口(API)的各种服务。

因此，例如，旨在通过提取等非法获取学习到的知识的第三方(也称为攻击者)经由上述API获取输入数据的训练模型的输出数据，并且由此能够容易地将学习到的经训练模型的知识复制到新模型。

为了防止如上所述的对学习知识的这种非法获取，还假设当检测到攻击者的攻击(旨在非法获取学习到的知识的输入)时诸如简单地不返回输出的对策。同时，当使用这种对策时，容易假设攻击者将采取诸如伪造输入数据的措施，以避免通过攻击检测算法检测到攻击。为此，保护者通过根据攻击手段更新攻击检测算法来采取对策，结果是，攻击者和防御者之间的猫捉老鼠游戏可以半永久地继续。

考虑到上述要点，构思根据本公开的技术构思，并且使得可以有效地收集用于分析攻击方法的数据，同时防止非法获取学习到的知识。为此，根据本公开的实施方式的信息处理方法包括使处理器基于由第三方输入的输入数据和由神经网络学习的学习知识来控制输出智能处理结果。此外，该信息处理方法的特征在于，该控制进一步包括：当确定第三方进行的输入不是用于规定的合法目的时，使处理器处理该智能处理结果使得其质量降低，并且允许输出经处理的智能处理结果。

而且，在根据本公开的实施方式的信息处理方法中，当确定第三方进行的输入旨在非法获取学习到的知识时，可使处理器处理该智能处理结果，使得其质量降低至第三方难以感知该质量降低的程度，并且输出这种经处理的智能处理结果。

即，根据本公开的实施方式的信息处理方法的特征在于，不是简单地拒绝攻击，而是返回质量比原始输出结果的质量降低的替代数据作为输出，借此防止经训练的模型的完全提取。进一步地，根据本公开的实施方式的信息处理方法输出具有攻击者无法察觉的质量劣化的替代数据，从而使得处理器可以连续地输入这种输入数据，以在针对学习知识的非法获取动作中使用，而不使攻击者察觉保护措施的存在。

依照根据本公开的实施方式的信息处理方法的上述特征，获得由攻击者使用的大量输入数据，并且分析该输入数据，借此可以总是在攻击者之前改进攻击检测算法。在下文中，将详细描述实现根据本公开的实施方式的信息处理方法的信息处理装置的特征。

<<1.2.系统配置实例>>

首先，将描述根据本公开的实施方式的信息处理系统的配置实例。图1是示出根据本实施方式的信息处理系统的配置实例的框图。参考图1，根据本实施方式的信息处理系统包括信息处理终端10和信息处理服务器20。进一步地，信息处理终端10和信息处理服务器20经由网络30彼此连接，以便能够彼此通信。

(信息处理终端10)

根据本实施方式的信息处理终端10是基于信息处理服务器20的控制向第三方提供与训练模型相关的API的信息处理装置。上述第三方包括基于合法目的使用API的用户和以非法获取学习知识为目的使用API的攻击者。

根据本实施方式的信息处理终端10可以是例如个人计算机(PC)、平板电脑、智能手机等。

(信息处理服务器20)

根据本实施方式的信息处理服务器20是基于经由上述API输入的输入数据执行智能处理并且控制与智能处理的结果相关的输出的信息处理装置。将分别详细地描述根据本实施方式的信息处理服务器20的功能。

(网络30)

网络30具有连接信息处理终端10和信息处理服务器20的功能。例如，网络30可以包括诸如互联网、电话线路网络和卫星通信网络的公共线路网络包括以太网(注册商标)的各种局域网(LAN)、广域网(WAN)等。此外，网络30可以包括诸如互联网协议虚拟专用网络(IP-VPN)的专用线路网络。而且，网络30可以包括诸如Wi-Fi(注册商标)和蓝牙(注册商标)的无线通信网络。

上面已经描述了根据本实施方式的信息处理系统的配置实例。以上参考图1描述的配置仅是实例，并且根据本实施方式的信息处理系统的配置不限于该实例。根据本实施方式的信息处理系统的配置可以根据规范和操作灵活地修改。

<<1.3.信息处理终端10的功能配置实例>>

接下来，将描述根据本公开的实施方式的信息处理终端10的功能配置实例。图2是示出根据本实施方式的信息处理终端10的功能配置实例的框图。参考图2，根据本实施方式的信息处理终端10包括输入单元110、传感器单元120、显示单元130、控制单元140和服务器通信单元150。

(输入单元110)

根据本实施方式的输入单元110具有接收包括用户等的第三方的输入操作的功能。为此，根据本实施方式的输入单元110包括键盘、触摸面板、鼠标、各种按钮等。

(传感器单元120)

根据本实施方式的传感器单元120具有感测可用作训练模型的输入数据的各种信息的功能。为此，根据本实施方式的传感器单元120包括各种传感器，诸如成像传感器、麦克风、加速度传感器、陀螺仪传感器和地磁传感器。

(显示单元130)

根据本实施方式的显示单元130具有输出诸如图像和文本的视觉信息的功能。例如，根据本实施方式的显示单元130基于信息处理服务器20的控制显示与经训练的模型相关的API。

为此，根据本实施方式的显示单元130包括呈现视觉信息的显示设备。上述显示设备的实例包括液晶显示(LCD)设备、有机发光二极管(OLED)设备和触摸面板。此外，根据本实施方式的显示单元130可以通过投影功能输出视觉信息。

(控制单元140)

根据本实施方式的控制单元140具有控制设置在信息处理终端10中的各部件的功能。例如，控制单元140控制各部件的启动和停止。此外，控制单元140向显示单元130输入由信息处理服务器20生成的控制信号。而且，根据本实施方式的控制单元140可以具有与后面将描述的信息处理服务器20的输出控制单元230的功能相同的功能。

(服务器通信单元150)

根据本实施方式的服务器通信单元150具有经由网络30执行与信息处理服务器20的电信的功能。具体地，服务器通信单元150基于由输入单元110检测到的第三方的操作将用于训练模型的输入数据传输至信息处理服务器20。此外，服务器通信单元150还从信息处理服务器20接收用于上述输入数据的输出数据(智能处理结果)、与智能处理结果的输出相关的控制信号等。

上面已经描述了根据本实施方式的信息处理终端10的功能配置实例。以上参考图2描述的配置仅是实例，并且根据本实施方式的信息处理终端10的功能配置不限于该实例。例如，根据本实施方式的信息处理终端10不一定必须包括图2中示出的所有部件。例如，信息处理终端10可以采用不包括传感器单元120等的配置。此外，如上所述，根据本实施方式的控制单元140可以具有与信息处理服务器20的输出控制单元230的功能相同的功能。根据本实施方式的信息处理终端10的功能配置可以根据规范和操作灵活地修改。

<<1.4.信息处理服务器20>>

接下来，将描述根据本公开的实施方式的信息处理服务器20的功能配置实例。图3是示出根据本实施方式的信息处理服务器20的功能配置实例的框图。参考图3，根据本实施方式的信息处理服务器20包括攻击检测单元210、智能处理单元220、输出控制单元230、保护措施DB 240和终端通信单元250。

(攻击检测单元210)

根据本实施方式的攻击检测单元210具有基于从信息处理终端10传输的输入数据来检测攻击者的未授权使用动作的功能。上述未授权使用动作包括学习知识的非法获取动作，其包括提取。

因为旨在提取的攻击者通常不具有待输入到训练模型的大量输入数据，所以假设提取所必需的输入数据是通过某些手段准备的。

作为确保大量输入数据的手段，例如，可以提到一种使用随机数据的方法。因此，当输入忽略了训练模型假设的域的输入数据和预测为由随机数生成器生成的输入数据时，攻击检测单元210确定输入数据旨在非法获取学习知识。应当注意，攻击检测单元210例如在BatchNormalization的输出结果中平均值不为0或方差不为1的情况下，可以预测输入数据为随机数据。

作为确保大量输入数据的手段，例如，还假设通过生成对抗网络(GAN)等生成数据。例如，近年来，已经开发了通过GAN生成面部图像的生成器。因此，当预测到输入数据由GAN生成时，攻击检测单元210可以确定输入数据旨在非法获取学习知识。

此外，作为确保大量输入数据的手段，例如，提到一种使用可从互联网获取的数据集的方法。因此，当预测输入数据是如上所述的这种数据集时，攻击检测单元210可以确定输入数据旨在非法获取学习知识。

(智能处理单元220)

根据本实施方式的智能处理单元220基于从信息处理终端10传输的输入数据和训练模型的学习知识来执行各种智能处理。后面将分别描述可以由根据本实施方式的智能处理单元220执行的智能处理的实例。

(输出控制单元230)

根据本实施方式的输出控制单元230具有控制由智能处理单元220输出的智能处理结果的输出的功能。这里，根据本实施方式的输出控制单元230的特征在于，当攻击检测单元210确定第三方进行的输入是用于合法目的，即，旨在通过提取非法获取学习知识时，输出控制单元230处理该智能处理结果，使得其质量降低，并且允许向信息处理终端10输出经处理的智能处理结果。

此时，当检测到通过提取执行的学习知识的非法获取时，根据本实施方式的输出控制单元230可以将智能处理结果处理成这种第三方难以感知其质量降低的程度，并且可以向信息处理终端10输出这种经处理的智能处理结果。

依照根据本实施方式的输出控制单元230的上述功能，可以使第三方连续输入输入数据，而不使第三方知道采取了保护措施。据此，可以从获取的输入数据中分析用于使用的随机数生成器、GAN等的数据生成器或互联网上可获得的数据集的特征，并且预先通过攻击检测单元210加强攻击检测算法。

此外，当检测到旨在提取的输入数据时，根据本实施方式的输出控制单元230可以处理智能处理单元220的智能处理结果，使得提取目标模型进行的智能处理的质量低于提取源模型(上述经训练的模型)进行的智能处理的质量，并且可以允许向信息处理终端10输出经处理的智能处理结果。

依照根据本实施方式的输出控制单元230的上述功能，可以防止完全复制训练模型的学习知识，并且保护训练模型的值。

(保护措施DB 240)

根据本实施方式的保护措施DB 240是其内存储有与各攻击类型和用于生成输入数据的各生成器相对应的攻击检测器和保护措施的数据库。根据本实施方式的攻击检测单元210能够通过使用存储在保护措施DB 240中的这类攻击检测器来检测各种攻击。

(终端通信单元250)

根据本实施方式的终端通信单元250经由网络30执行与信息处理终端10的电信。具体地，终端通信单元250从信息处理终端10接收输入数据。此外，终端通信单元250基于输出控制单元230的控制向信息处理终端10传输(未处理或处理的)智能处理结果和与该智能处理结果的输出相关的控制信号。

上面已经描述了根据本公开的实施方式的信息处理服务器20的功能配置实例。以上参考图3描述的配置仅是实例，并且根据本实施方式的信息处理服务器20的功能配置不限于该实例。例如，上述配置可以通过由多个设备分发来实现。进一步地，如上所述，输出控制单元230的功能可以实现为信息处理终端10的控制单元140的功能。根据本实施方式的信息处理服务器20的功能配置可根据规范和操作灵活地修改。

<<1.5.处理的细节>>

接下来，将通过具体实例描述根据本实施方式的输出控制单元230对智能处理结果的处理。首先，参考图4，将描述可以由根据本实施方式的智能处理单元220执行的智能处理的实例。图4是示出根据本实施方式的输入数据与智能处理之间的关系的图。

如图4所示，根据本实施方式的智能处理单元220可以基于各种输入数据执行各种智能处理。根据本实施方式的智能处理单元220可以基于例如静止图像或运动图像进行类别分类，并且输出与该类别分类相关的确定结果。

此外，根据本实施方式的智能处理单元220可以基于例如静止图像或运动图像执行分割处理，并输出与该分割处理相关的确定结果或确定区域。

而且，例如，根据本实施方式的智能处理单元220可以基于语音或文本进行自然语言处理。智能处理单元220可以基于语音执行例如语音识别，并输出语音识别的结果。此外，例如，智能处理单元220可以基于语音或文本执行机器翻译，并且输出翻译结果。

而且，根据本实施方式的智能处理单元220可以基于静止图像、运动图像、语音、文本、传感器信息等执行动作计划，并输出与该动作计划相关的信息。这里，上述动作计划包括与游戏中的动作主体和真实空间中的动作主体相关的动作计划。例如，智能处理单元220可以基于输入数据计划游戏中下一步要执行的最佳动作，并且可以输出关于该下一动作的信息。此外，例如，智能处理单元220可以基于输入数据确定将由上述动作主体执行的动作，并且可以输出用于实现该动作的控制信号。

此外，例如，根据本实施方式的智能处理单元220可以基于静止图像、运动图像、语音、文本等执行创作，并且可以输出已创建的创作。例如，智能处理单元220能够生成和处理图像、生成和处理音乐、书写小说等。

上面已经描述了可以由根据本实施方式的智能处理单元220执行的智能处理的实例。随后，将通过具体实例描述可由根据本实施方式的输出控制单元230执行以用于上述智能处理结果中的每一个的处理。

首先，将通过具体实例描述当智能处理单元220执行类别分类时输出控制单元230的处理。图5是用于说明根据本实施方式的类别分类结果的处理的图。

在图5所示的实例的情况下，将以驴作为主题的图像作为输入数据I1输入到智能处理单元220。进一步地，智能处理单元220基于输入数据I1进行类别分类，并且输出类别分类结果“驴”作为智能处理结果TO1。

这里，当攻击检测单元210确定输入数据I1的输入是旨在非法获取学习知识的输入时，输出控制单元230处理由智能处理单元220输出的智能处理结果TO1，并且允许向信息处理终端10输出经处理的智能处理结果FO1。在图5所示的实例的情况下，输出控制单元230生成类别分类结果由“驴”处理为“马”的经处理的智能处理结果FO1。

如上所述，当确定第三方进行的输入不是用于合法目的时，根据本实施方式的输出控制单元230可以处理类别分类结果的至少一部分的标签、可靠性等，并且允许向信息处理终端10输出经处理的类别分类结果。

例如，输出控制单元230可以预先计算类别之间的接近度，并且将类别分类结果处理为与智能处理单元220输出的类别接近的另一类别的标签，或者可以将类别分类结果处理为在智能处理单元220进行的类别分类处理中具有第二或第三最高可靠性的类别的标签。根据如上所述的这种处理，与将标签处理为完全不同的类别的情况不同，攻击者难以注意到该处理，因此，期望从攻击者连续收集输入数据的可能性增加。

接下来，将通过具体实例描述当智能处理单元220执行分割处理时输出控制单元230的处理。图6是用于说明根据本实施方式的处理分割处理结果的图。

在图6所示的实例的情况下，将人手为主题的图像作为输入数据I2输入到智能处理单元220。此外，智能处理单元220基于输入数据I2执行与手相关的分割处理，并且输出检测到的手部区域作为智能处理结果TO2。

这里，当攻击检测单元210确定输入数据I2的输入是旨在非法获取学习知识的输入时，输出控制单元230处理由智能处理单元220输出的智能处理结果TO2，并且允许向信息处理终端10输出经处理的智能处理结果FO2。在图6所示的实例的情况下，输出控制单元230生成检测到的手部区域的精度劣化的智能处理结果FO2。

如上所述，当确定第三方进行的输入不是用于合法目的时，根据本实施方式的输出控制单元230可至少处理分割处理结果的区域、类别、可靠性等，并且可以允许向信息处理终端10输出经处理的分割处理结果。

为了便于说明，图6中示出的经处理的智能处理结果FO2以一种区域检测精度大幅劣化的状态示出；然而，实际上，劣化的程度可以是通过攻击者的视觉观察不能区分处理区域和未处理区域的这种程度。例如，预期在将经处理的分割处理结果学习为教师数据的情况下，仅针对区域的简单噪声处理就足以大幅降低识别器的识别精度。

接下来，将通过具体实例描述当智能处理单元220执行自然语言处理时输出控制单元230的处理。图7是用于说明根据本实施方式的处理自然语言处理结果的图。

在图7所示的实例的情况下，人声作为输入数据I3输入到智能处理单元220。进一步地，智能处理单元220基于输入数据I3执行语音识别处理，并输出经识别的字符串作为智能处理结果TO3。

这里，当攻击检测单元210确定输入数据I3的输入是旨在非法获取学习知识的输入时，输出控制单元230处理由智能处理单元220输出的智能处理结果TO3，并且允许向信息处理终端10输出经处理的智能处理结果FO3。在图7所示的实例的情况下，输出控制单元230生成这种某些单词中字符顺序改变的智能处理结果FO3，如“开头”、“万事”和“难”。

如上所述，当确定第三方进行的输入不是用于合法目的时，根据本实施方式的输出控制单元230可处理自然语言处理结果的至少一部分的字符串，并且可以允许向信息处理终端10输出经处理的自然语言处理结果。处理字符串的实例包括将其转换成同音词、省略字符以及改变所示出的顺序。

接下来，将通过具体实例描述当智能处理单元220执行动作计划时输出控制单元230的处理。图8是用于说明根据本实施方式的处理动作计划信息的图。

在图8所示的实例的情况下，将国际象棋中的战况作为输入数据I4输入到智能处理单元220。进一步地，智能处理单元220基于输入数据I4执行对下一个动作的搜索，采用关于下一个动作的信息来移动“骑士”至“f6”作为智能处理结果TO4，并且输出识别的字符串。

这里，当攻击检测单元210确定输入数据I4的输入是旨在非法获取学习知识的输入时，输出控制单元230处理由智能处理单元220输出的智能处理结果TO4，并且允许向信息处理终端10输出经处理的智能处理结果FO4。在图8所示的实例的情况下，输出控制单元230生成智能处理结果FO4，其中处理关于下一动作的信息以将“骑士”移动到“h6”。

如上所述，当确定第三方进行的输入不是用于合法目的时，根据本实施方式的输出控制单元230可以处理这种动作计划信息的至少一部分，并且可以允许向信息处理终端10输出经处理的动作计划信息。如上所述，根据本实施方式的动作计划包括关于游戏中的下一动作的信息和关于动作主体的控制信息。例如，输出控制单元230可以处理关于下一动作的信息，使得游戏中下一步要执行的动作不会成为最佳解决方案，或者可以处理控制信息的至少一部分，使得动作主体的动作改变。

接下来，将通过具体实例描述当智能处理单元220进行创作时输出控制单元230的处理。图9是用于说明根据本实施方式的处理创作的图。在图9中，将作为实例描述智能处理单元220执行将输入图像转换成预定图像样式的处理的情况。

在图9所示的实例的情况下，将待处理的人物图像作为输入数据I5输入到智能处理单元220。进一步地，智能处理单元220输出通过将输入其的输入数据I5转换成预定图像样式而获得的智能处理结果TO5。在图9中，假设上述预定图像样式是图像中的分量由矩形表示的图像样式。

这里，当攻击检测单元210确定输入数据I5的输入是旨在非法获取学习知识的输入时，输出控制单元230处理由智能处理单元220输出的智能处理结果TO5，并且允许向信息处理终端10输出经处理的智能处理结果FO5。在图9所示的实例的情况下，输出控制单元230生成将图像中的矩形处理成具有圆角的四边形的智能处理结果FO5。即使处理中的这种小变化，也可以认为智能处理结果FO5在质量上从原始预定图像样式劣化，并且该小变化使得可以减小由提取目标模型生成的创作的值。

如上所述，当确定第三方进行的输入不是用于合法目的时，根据本实施方式的输出控制单元230可以处理创作的至少一部分，并且可以允许向信息处理终端10输出经处理的创作。

接下来，将描述智能处理单元220执行包括多个识别和预测的复杂智能处理的情况。根据本实施方式的智能处理单元220还能够输出包括针对单个输入数据的多个识别结果和预测结果的智能处理结果。

图10是用于说明根据本实施方式的包括多个元素的智能处理结果的处理的图。在图10中，作为实例，将描述智能处理单元220基于输入的人物图像执行面部区域的识别、眼部区域的识别、面部表情(情绪)的估计和面部倾斜的识别的情况。

在图10所示的实例的情况下，包括人脸的图像作为输入数据I6输入到智能处理单元220。此外，智能处理单元220基于输入数据I6执行包括上述元素的复杂智能处理，并且输出包括面部区域、眼部区域和面部倾斜的识别结果以及面部表情的估计结果的复杂智能处理结果TO6。

这里，当攻击检测单元210确定输入数据I6的输入是旨在非法获取学习知识的输入时，输出控制单元230处理智能处理单元220输出的智能处理结果TO6中包括的多个元素中的至少一个，并且允许向信息处理终端10输出经处理的智能处理结果FO6。

此时，根据本实施方式的输出控制单元230可以处理多个元素当中由训练模型的发布者指定的元素。在后面将描述的用户界面中，训练模型的发布者能够指定多个元素之中的特别期望防止非法获取学习知识的元素。在图10所示的实例的情况下，输出控制单元230基于上述指定处理四个元素中的眼部区域的识别结果和面部倾斜的识别结果。依照根据本实施方式的输出控制单元230的上述功能，当智能处理以复杂方式由多个处理组成时，可以有效地保护发布者认为特别重要的处理的学习知识。

<<1.6.处理的流程和保护措施的设置>>

接下来，将参考图11和图12给出根据本实施方式的信息处理服务器20的处理流程以及保护措施的设置的详细描述。图11是示出根据本实施方式的信息处理服务器20的处理流程的概念图。此外，图12是示出根据本实施方式的保护措施DB 240中存储的保护措施的设置实例的图。

参考图11，首先，将从信息处理终端10传输的输入数据I输入到攻击检测单元210。

接下来，攻击检测单元210判断因此输入的输入数据I是否旨在非法获取学习知识。即，攻击检测单元210尝试检测攻击者进行的攻击。此时，攻击检测单元210参考保护措施DB 240，并且尝试使用对应的攻击检测器来检测攻击。

参考图12，在根据本实施方式的保护措施DB 240中，例如针对输入数据的类型、智能处理的类型、域和攻击的类型分别设置对应的攻击检测器和预防措施。

例如，当因此输入的输入数据I是由生成器“Random-A”生成的“图像”，并且由智能处理单元220执行的智能处理是对域“动物”的“类别分类”时，根据本实施方式的攻击检测单元210可以尝试通过使用对应于这种条件的攻击检测器“Random-A-detector”来检测攻击。

如上所述，根据本实施方式的攻击检测单元210选择适合于输入数据I和由智能处理单元220执行的智能处理的特性中的每一个的攻击检测器，并且由此能够以高精度检测攻击者的攻击。

此外，发布训练模型的发布者P可以根据如上所述的这种条件自由地设置保护措施。为此，根据本实施方式的输出控制单元230具有控制用户接口的输出的功能，以使发布者P设置防止第三方非法获取学习到的知识的保护措施。

例如，发布者P使用由输出控制单元230提供的检查工具CT来确认由第三方输入的输入数据I，并且掌握攻击的手段，进而能够在保护措施DB 240中设置防止攻击的保护措施。

在图12所示的实例的情况下，例如，当因此输入的输入数据I是由生成器“Random-A”生成的“图像”，并且由智能处理单元220执行的智能处理是对域“动物”的“类别分类”时，发布者P将保护措施设置为“输出具有第三高可靠性的标签”作为保护措施。

此外，例如，当因此输入的输入数据I是由生成器“GAN-A”生成的“图像”，并且由智能处理单元220执行的智能处理是对域“脸”的“分割”时，发布者P设置与“噪声添加/小”相关的保护措施作为预防措施，以及当智能处理是对域“眼睛”的“分割”时，设置“噪声增加/大”和“区域扩展”作为保护措施。

如上所述，例如，当执行同时分割“脸”和“眼睛”的复杂智能处理时，发布者P可以针对上述元素中的每个元素设置不同级别的保护措施。据此，可以保护由发布者P认为特别重要的学习知识免受攻击。

再次参考图11，将继续根据本实施方式的信息处理服务器20的处理流程的描述。在攻击检测单元210执行攻击检测后，智能处理单元220基于因此输入的输入数据I执行智能处理，并且输出智能处理结果TO。

这里，当攻击检测单元210确定输入数据I旨在非法获取学习到的知识时，输出控制单元230参考对策DB 240，基于由发布者P设置的保护措施来处理智能处理结果TO，并且生成经处理的智能处理结果FO。即，基于输入数据I的类型和生成方法以及与智能处理的类型和域对应的保护措施，根据本实施方式的输出控制单元230能够处理智能处理结果TO并且允许向信息处理终端10输出经处理的智能处理结果FO。

依照根据本实施方式的输出控制单元230的上述功能，在基于发布者P的设置来保护学习到的知识的同时，可以使第三方继续输入输入数据，而不使第三方知道采取了保护措施。据此，可以从获取的输入数据中分析用于使用的随机数生成器、GAN等的数据生成器或互联网上可用的数据集的特征，并且预先通过攻击检测单元210加强攻击检测算法。

已经给出根据本实施方式的信息处理服务器20的处理流程和保护措施的设置的详细描述。应该注意，在图12中，作为一个实例，已经描述了在智能处理单元220进行智能处理之前执行攻击检测单元210的攻击检测的情况；然而，根据本实施方式的攻击检测可以在智能处理单元220进行智能处理之后执行。进一步地，根据本实施方式的攻击检测可以作为智能处理单元220进行的智能处理的一部分来执行。

此外，在假设根据本实施方式的学习知识的非法获取主要旨在提取的情况下给出以上说明；然而，根据本实施方式的非法获取不限于该实例。例如，还假设攻击者从公共公开的训练模型非法地获取用于迁移学习的学习知识。通常，在迁移学习中，丢弃与在某个域中学习的学习知识有关的权重，并且在另一个域中进行重新学习。即使在这种情况下，也防止将公共公开的训练模型非法用作作为基础的原始学习知识，从而使得可以适当地保护发布者的资源。

<2.硬件配置实例>

接下来，将描述根据本公开的实施方式的信息处理服务器20的硬件配置实例。图13是示出根据本公开的实施方式的信息处理服务器20的硬件配置实例的框图。参考图13，例如，信息处理服务器20包括处理器871、ROM 872、RAM 873、主机总线874、桥接器875、外部总线876、接口877、输入设备878和输出设备879、存储器880、驱动器881、连接端口882和通信设备883。这里示出的硬件配置仅是一个实例，并且可以省略部分部件。此外，可以进一步包括除这里示出的部件之外的部件。

(处理器871)

例如，处理器871用作算术处理设备或控制设备，并且基于记录在ROM 872、RAM873、存储装置880或可移除记录介质901中的各种程序控制各个组件或其一部分的整体操作。

(ROM 872、RAM 873)

ROM 872是用于存储由处理器871读取的程序和用于算术运算的数据的装置。例如，RAM 873临时或永久地存储由处理器871读取的程序和在执行程序时适当改变的各种参数。

(主机总线874、桥接器875、外部总线876、接口877)

处理器871、ROM 872和RAM 873经由例如能够进行高速数据传输的主机总线874彼此连接。同时，主机总线874经由例如桥接器875连接到具有相对低的数据传输速率的外部总线876。此外，外部总线876经由接口877连接到各种部件。

(输入设备878)

输入装置878使用例如鼠标、键盘、触摸面板、按钮、开关、控制杆等。此外，作为输入设备878，可以使用能够通过使用红外线或其他无线电波传输控制信号的遥控器。进一步地，输入设备878包括诸如麦克风的语音输入设备。

(输出设备879)

例如，输出设备879是能够在视觉上或听觉上通知用户获取到的信息的设备，该设备包括例如显示设备(诸如阴极射线管(CRT)、LCD和有机EL设备)、音频输出设备(诸如扬声器)和耳机、打印机、移动电话、传真机等。此外，根据本公开的输出设备879包括能够输出触觉刺激的各种振动设备。

(存储器880)

存储器880是用于存储各种数据的设备。作为存储器880，例如，使用磁存储设备(诸如硬盘驱动器(HDD))、半导体存储设备、光存储设备、磁光存储设备等。

(驱动器881)

例如，驱动器881是用于读取在诸如磁盘、光盘、磁光盘和半导体存储器的可移除记录介质901中记录的信息或者将信息写入该可移除记录介质901的设备。

(可移除记录介质901)

可移除记录介质901例如是DVD介质、蓝光(注册商标)介质、HD/DVD介质、各种半导体存储介质等。当然，该可移除记录介质901可以是例如配备有非接触型IC芯片的IC卡、电子设备等。

(连接端口882)

连接端口882例如是用于连接外部连接设备902的端口，诸如通用串行总线(USB)端口、IEEE 1394端口、小型计算机系统接口(SCSI)、RS-232C端口和光音频终端。

(外部连接设备902)

外部连接的装置902例如是打印机、便携式音乐播放器、数码相机、数码摄像机、IC记录器等。

(通信设备883)

通信设备883是用于连接到网络的通信装置，例如，是用于有线或无线LAN、蓝牙(注册商标)或无线USB(WUSB)的通信卡、用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、用于各种类型的通信的调制解调器等。

<3.总结>

如上所述，根据本公开的实施方式的信息处理服务器20包括输出控制单元230，该输出控制单元基于由第三方输入的输入数据和由神经网络学习的学习知识控制智能处理结果的输出。此外，根据本公开的实施方式的输出控制单元230的特征在于，当确定第三方进行的输入不是用于合法目的时，处理该智能处理结果使得其质量降低，并且允许输出经处理的智能处理结果。通过这种配置，可以在防止非法获取学习到的知识的同时，高效地收集用于分析攻击方法的数据。

以上参照附图详细描述了本公开的优选实施方式；然而，本公开的技术范围不限于这些实例。显而易见地，本公开技术领域的普通技术人员可以想到在权利要求中描述的技术思想的范围内的各种修改或者替换，并且应当理解，这些修改或者替换自然也落入本公开的技术范围内。

进一步地，本说明书中描述的效果仅是说明性的或示例性的，而不是限制性的。即，除了上述效果之外或者代替上述效果，根据本公开的技术可以呈现从本说明书的描述中对本领域的技术人员显而易见的其他效果。

此外，本说明书中的信息处理服务器20的处理流程不一定必须以所示的顺序按时间序列处理。例如，信息处理服务器20的各条处理可以按与所示顺序不同的顺序处理或者可以并行处理。

注意，以下配置也落在本公开的技术范围内。

(1)一种信息处理装置，包括：

输出控制单元，控制基于由第三方输入的输入数据和由神经网络学习的学习知识的智能处理结果的输出，

其中，当确定该第三方进行的输入不是用于合法目的时，该输出控制单元处理该智能处理结果，使得该智能处理结果的质量降低，并且允许输出经处理的智能处理结果。

(2)根据(1)所述的信息处理装置，

其中，当确定该第三方进行的输入旨在非法获取该学习知识时，该输出控制单元处理该智能处理结果，使得该智能处理结果的质量降低到该第三方难以感知到该质量降低的程度，并且输出经处理的智能处理结果，并且

该输出控制单元允许输出经处理的智能处理结果。

(3)根据(1)或(2)所述的信息处理装置，

其中，当确定该第三方进行的输入旨在提取学习知识时，该输出控制单元处理该智能处理结果，使得提取目标模型进行的智能处理的质量低于提取源模型进行的智能处理的质量，并且允许输出经处理的智能处理结果。

(4)根据(1)到(3)中的任一项所述的信息处理装置，

其中，该智能处理结果包括类别分类结果，并且

当确定该第三方进行的输入不是用于合法目的时，该输出控制单元处理该类别分类结果的至少一部分的标签或可靠性，并且允许输出经处理的类别分类结果。

(5)根据(1)到(4)中的任一项所述的信息处理装置，

其中，该智能处理结果包括分割结果，并且

当确定该第三方进行的输入不是用于合法目的时，该输出控制单元处理该分割结果的至少一部分的区域、类别或可靠性，并且允许输出经处理的分割结果。

(6)根据(1)到(5)中的任一项所述的信息处理装置，

其中，智能处理结果包括自然语言处理结果，并且

当确定该第三方进行的输入不是用于合法目的时，该输出控制单元处理该自然语言处理结果的至少一部分的字符串，并且允许输出经处理的自然语言处理结果。

(7)根据(1)到(6)中的任一项所述的信息处理装置，

其中，智能处理结果包括动作计划信息，并且

当确定该第三方进行的输入不是用于合法目的时，该输出控制单元处理该动作计划信息的至少一部分，并且允许输出经处理的动作计划信息。

(8)根据(7)所述的信息处理装置，

其中，该动作计划信息包括关于游戏的下一动作信息，并且

当确定该第三方进行的输入不是用于合法目的时，该输出控制单元处理下一动作信息，使得游戏中下一步要执行的动作不会成为最佳解决方案，并且允许输出经处理的下一动作信息。

(9)根据(7)或(8)所述的信息处理装置，

其中，该动作计划信息包括动作主体的控制信息，并且

当确定该第三方进行的输入不是用于合法目的时，该输出控制单元处理该控制信息的至少一部分，使得该动作主体的动作改变，并且允许输出经处理的控制信息。

(10)根据(1)到(9)中的任一项所述的信息处理装置，

其中，该智能处理结果包括创作，并且

当确定该第三方进行的输入不是用于合法目的时，该输出控制单元处理该创作的至少一部分，使得该创作的质量降低，并且允许输出经处理的创作。

(11)根据(1)到(10)中的任一项所述的信息处理装置，

其中，该智能处理结果包括识别结果或预测结果的多个元素，并且

该输出控制单元处理多个元素中的至少一个，并且允许输出经处理的智能处理结果。

(12)根据(11)所述的信息处理装置，

其中，该输出控制单元处理该多个元素中的由发布者指定的元素，并且输出经处理的智能处理结果。

(13)根据(1)到(11)中的任一项所述的信息处理装置，

其中，该输出控制单元控制用于使发布者设置防止该第三方非法获取该学习知识的保护措施的用户界面的输出。

(14)根据(13)所述的信息处理装置，

其中，该输出控制单元基于在该用户界面中设置的保护措施来处理该智能处理结果。

(15)根据(14)所述的信息处理装置，

其中，该输出控制单元基于该输入数据的类型和生成方法以及与基于该学习知识的智能处理的类型和域对应的保护措施来处理该智能处理结果。

(16)根据(1)到(15)中的任一项所述的信息处理装置，

其中，该输出控制单元控制用于使发布者确认由该第三方输入的该输入数据的检查工具的提供。

(17)根据(1)到(16)中的任一项所述的信息处理装置，进一步包括

攻击检测单元，检测所述第三方进行的未授权使用动作。

(18)根据(17)所述的信息处理装置，

其中，该攻击检测单元通过使用该输入数据的类型和生成方法以及与基于该学习知识的智能处理的类型和域对应的攻击检测器来检测该未授权使用动作。

(19)根据(1)到(18)中的任一项所述的信息处理装置，进一步包括

智能处理单元，执行基于输入数据和学习知识的智能处理。

(20)一种信息处理方法，包括：

使处理器控制基于由第三方输入的输入数据和由神经网络学习的学习知识的智能处理结果的输出，

其中，该控制进一步包括：当确定该第三方进行的输入不是用于合法目的时，处理该智能处理结果，使得该智能处理结果的质量降低，并且允许输出经处理的智能处理结果。

符号说明

10 信息处理终端

110 输入单元

120 传感器单元

130 显示单元

140 控制单元

150 服务器通信单元

20 信息处理服务器

210 攻击检测单元

220 智能处理单元

230 输出控制单元

240 保护措施DB

250 终端通信单元

CT 检查工具。

Claims (20)

1.一种信息处理装置，包括：

输出控制单元，控制基于由第三方输入的输入数据和由神经网络学习的学习知识的智能处理结果的输出，

其中，当确定所述第三方进行的输入不是用于合法目的时，所述输出控制单元处理所述智能处理结果，使得所述智能处理结果的质量降低，并且允许输出经处理的智能处理结果。

2.根据权利要求1所述的信息处理装置，

其中，当确定所述第三方进行的输入旨在非法获取所述学习知识时，所述输出控制单元处理所述智能处理结果，使得所述智能处理结果的质量降低到所述第三方难以感知到所述质量降低的程度，并且输出经处理的智能处理结果，并且

所述输出控制单元允许输出所述经处理的智能处理结果。

3.根据权利要求1所述的信息处理装置，

其中，当确定所述第三方进行的输入旨在提取所述学习知识时，所述输出控制单元处理所述智能处理结果，使得提取目标模型进行的智能处理的质量低于提取源模型进行的智能处理的质量，并且允许输出经处理的智能处理结果。

4.根据权利要求1所述的信息处理装置，

其中，所述智能处理结果包括类别分类结果，并且

当确定所述第三方进行的输入不是用于合法目的时，所述输出控制单元处理所述类别分类结果的至少一部分的标签或可靠性，并允许输出经处理的类别分类结果。

5.根据权利要求1所述的信息处理装置，

其中，所述智能处理结果包括分割结果，并且

当确定所述第三方进行的输入不是用于合法目的时，所述输出控制单元处理所述分割结果的至少一部分的区域、类别或可靠性，并且允许输出经处理的分割结果。

6.根据权利要求1所述的信息处理装置，

其中，所述智能处理结果包括自然语言处理结果，并且

当确定所述第三方进行的输入不是用于合法目的时，所述输出控制单元处理所述自然语言处理结果的至少一部分的字符串，并允许输出经处理的自然语言处理结果。

7.根据权利要求1所述的信息处理装置，

其中，所述智能处理结果包括动作计划信息，并且

当确定所述第三方进行的输入不是用于合法目的时，所述输出控制单元处理所述动作计划信息的至少一部分，并且允许输出经处理的动作计划信息。

8.根据权利要求7所述的信息处理装置，

其中，所述动作计划信息包括关于游戏的下一动作信息，并且

当确定所述第三方进行的输入不是用于合法目的时，所述输出控制单元处理所述下一动作信息，使得所述游戏中下一步要执行的动作不会成为最佳解决方案，并允许输出经处理的下一动作信息。

9.根据权利要求7所述的信息处理装置，

其中，所述动作计划信息包括动作主体的控制信息，并且

当确定所述第三方进行的输入不是用于合法目的时，所述输出控制单元处理所述控制信息的至少一部分，使得所述动作主体的动作改变，并且允许输出经处理的控制信息。

10.根据权利要求1所述的信息处理装置，

其中，所述智能处理结果包括创作，并且

当确定所述第三方进行的输入不是用于合法目的时，所述输出控制单元处理所述创作的至少一部分，使得所述创作的质量降低，并且允许输出经处理的创作。

11.根据权利要求1所述的信息处理装置，

其中，所述智能处理结果包括识别结果或预测结果的多个元素，并且

所述输出控制单元处理所述多个元素中的至少一个，并且允许输出经处理的智能处理结果。

12.根据权利要求11所述的信息处理装置，

其中，所述输出控制单元处理所述多个元素中的由发布者指定的元素，并且输出经处理的智能处理结果。

13.根据权利要求1所述的信息处理装置，

其中，所述输出控制单元控制用于使发布者设置防止所述第三方非法获取所述学习知识的保护措施的用户界面的输出。

14.根据权利要求13所述的信息处理装置，

其中，所述输出控制单元基于在所述用户界面中设置的所述保护措施来处理所述智能处理结果。

15.根据权利要求14所述的信息处理装置，

其中，所述输出控制单元基于所述输入数据的类型和生成方法以及与基于所述学习知识的智能处理的类型和域对应的保护措施来处理所述智能处理结果。

16.根据权利要求1所述的信息处理装置，

其中，所述输出控制单元控制用于使发布者确认由所述第三方输入的所述输入数据的检查工具的提供。

17.根据权利要求1所述的信息处理装置，进一步包括：

攻击检测单元，检测所述第三方进行的未授权使用动作。

18.根据权利要求17所述的信息处理装置，

其中，所述攻击检测单元通过使用所述输入数据的类型和生成方法以及与基于所述学习知识的智能处理的类型和域对应的攻击检测器来检测所述未授权使用动作。

19.根据权利要求1所述的信息处理装置，进一步包括：

智能处理单元，执行基于输入数据和学习知识的智能处理。

20.一种信息处理方法，包括：

使处理器控制基于由第三方输入的输入数据和由神经网络学习的学习知识的智能处理结果的输出，

其中，所述控制进一步包括：当确定所述第三方进行的输入不是用于合法目的时，处理所述智能处理结果，使得所述智能处理结果的质量降低，并且允许输出经处理的智能处理结果。

Images