CN109426835B - 信息处理装置、信息处理装置的控制方法和存储介质 - Google Patents

Abstract

本发明涉及信息处理装置、信息处理装置的控制方法和存储介质。该信息处理装置包括：至少一个处理器，该处理器被程序化为使该信息处理装置：保持关于存在目标物体的标签信息，所述标签信息是针对图像中的目标物体而设置的；获得标签信息的可靠性；使显示装置基于所述可靠性显示标签信息和图像中的与标签信息相对应的图像；接受用户进行的操作；以及基于所述操作修改标签信息。

Description

信息处理装置、信息处理装置的控制方法和存储介质

技术领域

本发明涉及信息处理装置、信息处理装置的控制方法和存储介质，并且特别涉及用于识别图像中的物体的技术。

背景技术

已知一种从通过对物体摄像(photograph)而获得的图像学习模式(pattern)并识别物体的类型和位置姿势的技术。为了学习模式，人们需要设置指示图像的正确答案值的标签。图像和标签的数据称为学习数据。

需要准备大量的学习数据以创建精确的识别器。日本特许5953151号公报描述了一种通过重复“手动标记操作”和“评估识别器的精确度的操作”直到实现所需的精确度，来获得确保了足够精确度的学习数据的方法。

但是，存在人设置的标签信息包含错误的可能。日本特许5953151号公报中描述的技术具有如下问题：如果使用包括不正确的标签信息的学习数据来学习模式，则识别器的精确度降低。

发明内容

鉴于上述问题做出了本发明，并且本发明提供了一种使得能够修改针对目标物体设置的标签信息，并且使得用户能够有效地查看学习数据的技术。

根据本发明的一个方面，提供一种信息处理装置，所述信息处理装置包括：至少一个处理器，其被程序化为使所述信息处理装置：保持关于存在目标物体的标签信息，所述标签信息是针对图像中的目标物体而设置的；获得标签信息的可靠性；使显示装置基于可靠性显示标签信息和图像中的与标签信息相对应的图像；接受用户进行的操作；以及基于所述操作修改标签信息。

根据本发明的一个方面，提供一种信息处理装置，所述信息处理装置包括：至少一个处理器，所述至少一个处理器被程序化为使所述信息处理装置：获得如下的学习器，所述学习器以关于所述目标物体所存在的位置的多个标签信息用作训练数据，使用通过对目标物体摄像而获得的图像，学习了目标物体的图像特征；针对作为训练数据给到学习器的至少一个标签信息获得可靠性，所述可靠性指示根据目标物体所存在的位置给出标签信息的可能性；以及使显示装置基于可靠性显示标签信息和图像中的与标签信息相对应的图像。

根据本发明的一个方面，提供一种信息处理装置的控制方法，所述信息处理装置包括保持单元，所述保持单元被构造为保持关于存在目标物体的标签信息，所述标签信息是针对图像中的目标物体而设置的，所述控制方法包括：获得标签信息的可靠性；使显示装置基于可靠性显示标签信息和图像中的与标签信息相对应的图像；接受用户进行的操作；以及基于所述操作修改标签信息。

根据本发明的一个方面，提供一种信息处理装置的控制方法，所述控制方法包括：获得如下的学习器，所述学习器以关于所述目标物体所存在的位置的多个标签信息用作训练数据，使用通过对目标物体摄像而获得的图像，学习了目标物体的图像特征；针对作为训练数据给到学习器的至少一个标签信息，获得可靠性，所述可靠性指示根据目标物体所存在的位置给出标签信息的可能性；以及使显示装置基于可靠性显示标签信息和图像中的与标签信息相对应的图像。

根据本发明的一个方面，提供一种非暂时性计算机可读存储介质，其存储有使计算机进行信息处理装置的控制方法的计算机程序，所述信息处理装置包括保持单元，所述保持单元被构造为保持关于存在目标物体的标签信息，所述标签信息是针对图像中的目标物体而设置的，所述控制方法包括：获得标签信息的可靠性；使显示装置基于可靠性显示标签信息和图像中的与标签信息相对应的图像；接受用户进行的操作；以及基于所述操作修改标签信息。

通过下面参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1A和图1B示出根据第一实施例的图像和标签信息的示例。

图2示出根据第一实施例的信息处理装置的构造。

图3是例示根据第一实施例的信息处理装置的处理的流程图。

图4是例示根据第一实施例的可靠性获得单元的处理的流程图。

图5示出了根据第一实施例的显示低可靠性的标签信息和图像的示例。

图6示出了根据第二实施例的图像和标签信息的示例。

图7示出了根据第二实施例的显示低可靠性的标签信息和图像的示例。

图8示出了根据第一变型例的显示代表目标物体的形状的模型的示例。

图9A和图9B示出了根据第二变型例的显示低可靠性的标签信息和图像的变型的示例。

具体实施方式

下面将参照附图详细描述本发明的示例性实施例。应当理解，除非另有说明，否则在这些实施例中阐述的部件的相对布置、数值表达式和数值不限制本发明的范围。

第一实施例

综述

考虑到学习数据中的标签信息包括错误的可能，本实施例将描述使得用户能够查看学习数据的示例。

在本实施例中，设置关于在图像中的任意位置处存在目标物体的标签信息。图1A示出了拍摄图像的示例。在图1A中，由附图标记110、111和112表示的长方体物体是将要设置标签信息的目标物体。同时，由附图标记120表示的圆柱形物体是将不设置标签信息的非目标物体。图1B示出了用户设置了标签信息的示例。图1B中的130和131表示在存在目标物体的位置处设置标签信息的示例。这里，设置标签信息的位置用黑点表达。132和133表示在不存在目标物体的位置处错误地设置标签信息的示例。140表示虽然存在目标物体但未设置标签信息的示例。

当用户设置标签时，如图1B的示例，存在错误地设置标签信息的可能。在本实施例中，计算标签信息的可靠性，并且如果可靠性低(即，如果可靠性等于或小于预定值)，则选择并显示图像和标签信息。因此，使得能够有效率地查看标签信息。

系统构造

首先，将参照图2描述根据本实施例的系统构造。在图2中，200表示根据本实施例的信息处理装置，300表示用于拍摄图像的拍摄装置。400表示用于显示图像信息的显示装置，并且500表示要由用户操作的操作装置。信息处理装置200包括图像获得单元210、标签信息保持单元220、可靠性获得单元230、显示控制单元240、操作接受单元250和标签信息修改单元260。

拍摄装置300是用于拍摄图像的照相机。在本实施例中，图像是灰度图像，但不限于此。显示装置400是用于显示图像的监视器。在本实施例中，在显示控制单元240的控制下显示由图像获得单元210获得的图像和由标签信息保持单元220保持的标签信息。操作装置500是用户要操作的设备。在本实施例中，操作装置500是鼠标，但可选择性地，也可以是键盘或触摸面板。

装置构造

随后，将详细描述信息处理装置200的构成元件。图像获得单元210获得由拍摄装置300拍摄的图像。在本实施例中，要获得的图像的数量是一个或更多个。

标签信息保持单元220保持图像获得单元210获得的针对各个图像设置的标签信息。根据本实施例的标签信息是关于在图像中任意位置处存在目标物体的信息，并且是关于图像中的各个位置处是否存在目标物体的信息。具体地，如果存在目标物体，则保持为1的信息，如果不存在目标物体，则保持为0的信息。对于标签信息，用户在存在目标物体的位置设置标签“1”，并且在其他位置设置标签“0”。标签还保持关于位置的信息。该位置由在图像中的二维坐标值代表。

可靠性获得单元230针对由标签信息保持单元220保持的各个标签信息，获得指示正确度的可靠性。稍后将描述用于计算可靠性的方法的详情。识别单元235识别在图像中的指定位置处是否存在目标物体，并计算并输出存在目标物体的概率。在本实施例中，使用基于神经网络的识别器(其与学习器、学习模型等同义)来计算存在目标物体的概率。即使在学习中途，识别器也可以输出可靠性。使用识别器(学习器)可以获得可靠性，该识别器例如通过使用由标签信息保持单元220保持的信息作为训练数据来学习目标物体的图像特征而构建。注意，可以通过使用存在目标物体的图像和不存在目标物体的图像进行学习来构建识别图像中是否存在目标物体的识别器。识别单元235可以配设在信息处理装置200的外部。

显示控制单元240基于由可靠性获得单元230计算的可靠性，进行控制以在显示装置400上显示由图像获得单元210获得的图像和由标签信息保持单元220保持的标签信息。操作接受单元250接受使用操作装置500进行的用户输入。标签信息修改单元260根据操作接受单元250接受的用户操作，修改由标签信息保持单元220保持的标签信息。

处理

接下来，将描述根据本实施例的处理。图3是例示根据本实施例的信息处理装置200进行的处理的过程的流程图。该处理用于呈现在用户已经为图像设置的标签信息当中的、需要修改的标签信息，并接受来自用户的修改。

(步骤S310)

可靠性获得单元230获得标签信息的可靠性，该可靠性指示针对由图像获得单元210获得的图像而设置的并由标签信息保持单元220保持标签信息的正确程度。这里，图4是例示可靠性获得处理的过程的流程图。

(步骤S3101)

最初，可靠性获得单元230选择由标签信息保持单元220保持的标签信息。所选择的标签信息将由L表示。此外，从由图像获得单元210获得的图像当中选择与该标签信息对应的图像。所选择的图像将由I表示。

(步骤S3102)

接下来，可靠性获得单元230将关于图像I和标签L的信息输出到识别单元235，并且从识别单元235获得对在图像I中的由标签L指示的位置处是否存在目标物体进行识别的结果。更具体地，由识别单元235计算存在目标物体的概率P，并且从识别单元235获得该计算的结果。

(步骤S3103)

关于由识别单元235计算的概率P，如果虽然所选择的标签L是1但概率P低，或者如果虽然标签L是0但概率P高，则标签信息可能是不正确的。如果标签L是1，则可靠性获得单元230将可靠性E设置为E＝P。相反，如果标签L是0，则可靠性获得单元230将可靠性E设置为E＝1-P。

(步骤S3104)

可靠性获得单元230确定是否针对所有标签信息和图像获得了可靠性。如果针对所有标签信息和图像获得了可靠性，则处理结束。另一方面，如果尚未针对所有标签信息和图像获得可靠性，则处理返回到步骤S3101。

因此，在改变要选择的标签信息的同时，对所有标签信息进行该系列处理。图4中的一系列处理在此结束。此后，处理进入图3中的步骤S320。

(步骤S320)

显示控制单元240基于由可靠性获得单元230获得的可靠性，使显示装置400显示由图像获得单元210获得并保持的图像和由标签信息保持单元220保持的标签信息。

如果在不存在目标物体的位置处将1设置为标签，或者如果在存在目标物体的位置处将0设置为标签，则标签信息的可靠性低。这里，基于该趋势，确定低的可靠性的标签指示不正确的可能高，并且该标签与图像一起显示。

首先，从可靠性获得单元230获得的标签信息当中选择可靠性E等于或小于预定值的一个标签信息。所选择的标签信息将由L表示。接下来，选择图像中的与标签L相对应的区域。图像中的所选区域将由J表示。例如，区域J是以标签L的坐标为中心的具有预定尺寸的矩形区域。

然后，在显示装置400的监视器上显示包括区域J的窗口。图5示出显示示例。在图5中，700表示监视器上显示的窗口。710表示显示的区域J的示例。由720表示的黑点用作指示标签为1的信息。例如，采用如果标签是1则显示黑点720，而如果标签是0则不显示黑点720的构造。这里，作为非目标物体的圆柱形物体包含在区域J中。因此，应当不显示与指示存在目标物体的标签1相对应的黑点720。因此，用户可以通过检查显示在监视器上的区域J以及是否给出标签(即，是否给出黑点)，来确定标签信息是否正确。

例如，如果虽然在图5中的710中不存在目标物体但标签是1(即，如果给出了黑点720)，则可以确定所设置的标签信息是不正确的。另外，如果虽然存在目标物体但标签是0(即，如果没有给出黑点)，如图1B中的140的情况，则也可以确定所设置的标签信息是不正确的。

(步骤S330)

操作接受单元250接受使用操作装置500进行的用户输入。这里，可以通过鼠标操作接受标签信息的修改。例如，按钮被布置在由显示装置400显示的窗口中，并且通过用鼠标点击按钮来使得能够对信息进行修改。这里，图5中的730和731表示按钮的示例。730表示用于执行修改标签信息的操作的修改按钮。731表示用于切换到接下来要显示的候选标签信息的切换按钮。

(步骤S340)

标签信息修改单元260根据操作接受单元250接受的用户操作来确定是否修改标签信息。在图5的示例中，虽然不存在目标物体，但标签是1。例如，如果按下修改按钮730，则确定要修改标签信息。如果按下切换按钮731，则确定不修改标签信息。如果要修改标签信息，则处理进入步骤S350。另一方面，如果不修改标签信息，则处理进入步骤S360。

(步骤S350)

标签信息修改单元260根据操作接受单元250接受的用户操作来修改由标签信息保持单元220保持的标签信息。例如，假设存在目标物体而设置的标签1被更正为0，并且假设不存在目标物体的标签0被更正为1。利用此操作，可以修改被不正确地设置的标签信息。

(步骤S360)

显示控制单元240确定是否结束处理。如果按下用于结束一系列修改操作的按钮(未示出)，或者如果所有修改操作都完成，则处理结束。另一方面，如果按下切换按钮731，则处理不结束，而是返回步骤S320。图3中的一系列处理在此结束。

如上所述，根据本实施例的信息处理装置计算针对目标物体设置的标签信息的可靠性，并基于可靠性，例如，如果可靠性等于或小于预定值，则选择并显示标签信息和与标签信息对应的图像。因此，观察所显示的标签信息和图像的用户可以修改不正确地设置的标签信息，因此，用户可以有效地查看学习数据。

第二实施例

概要

本实施例将描述指示位置和姿势的参数被设置为关于在图像中存在目标物体的标签信息的示例。注意，本实施例中的姿势是指示图像中的角度的数值。

图6示出了设置根据本实施例的标签信息的示例。图6中的810表示具有正确姿势的标签信息被设置在存在目标物体的位置处的示例。标签信息分别用黑点和向量表达目标物体的位置和姿势。这里，姿势指示图像的哪个方向对应于目标物体的预定方向。在本实施例中，正确的答案是在朝向目标物体的上面的方向上设置向量。811和820表示存在目标物体的位置是正确的，但是设置了具有不正确姿势的标签信息的示例。821表示标签信息被错误地设置在不存在目标物体的位置的示例。830表示虽然存在目标物体但未设置标签信息的示例。

在本实施例中，针对包含关于位置和姿势的信息的标签信息计算可靠性，并基于可靠性选择并显示图像和标签信息。因此，使得能够有效地查看标签信息。

系统构造和装置构造

首先，将描述根据本实施例的系统构造。根据本实施例的系统构造与根据第一实施例的系统构造相同。然而，由装置的组成元件进行的处理内容因标签信息中包含的信息的增加而不同。

首先，由标签信息保持单元220保持的标签信息包含指示在图像中的各个位置处是否存在目标物体的信息，以及关于目标物体的姿势的信息。具体地，标签信息包含如果存在目标物体则为1的信息而如果不存在目标物体则为0的信息，并且还包含关于位置和姿势的信息。该位置由在图像中的二维坐标值代表，并且该姿势由指示图像中的角度的数值代表。

可靠性获得单元230基于目标物体按指定姿势存在于指定位置的概率P，以与第一实施例中相同的方式获得可靠性，概率P由识别单元235计算。识别单元235识别目标物体在图像中是否按指定姿势存在于指定位置处。在本实施例中，使用基于神经网络的识别器计算目标物体按指定姿势存在于指定位置的概率P。注意，识别在图像中是否存在目标物体并且还识别目标物体(如果存在的话)的姿势的识别器，可以通过使用目标物体存在的图像和目标物体不存在的图像以及目标物体采用不同姿势的图像进行学习来构造。

显示控制单元240基于由可靠性获得单元230获得的可靠性，使显示装置400显示由图像获得单元210获得并保持的图像和由标签信息保持单元220保持的标签信息。这里，显示标签信息使得能够理解姿势。在本实施例中，用向量表达姿势。图7示出了显示示例。在图7中，900表示在监视器上显示的窗口。910表示图像中的与标签信息对应的区域的示例。由920表示的黑点和向量分别指示关于是否存在目标物体的信息，以及关于姿势的信息。

例如，图7中的910中由920表示的向量未按照目标物体的预定方向(这里，是垂直于目标物体的上面的姿势)定位，因此可以确定设置的标签信息不正确。

操作接受单元250接受使用操作装置500进行的用户输入。例如，采用这样的构造，其中，在修改姿势的情况下，可以通过使用鼠标指定图像中的区域来输入角度。与第一实施例类似地进行修改以给出或不给出标签。标签信息修改单元260根据操作接受单元250接受的用户操作，修改由标签信息保持单元220保持的标签信息。

如上所述，根据本实施例的信息处理装置计算标签信息(标签信息是针对目标物体而设置的并且包含关于位置和姿势的信息)的可靠性，并且，例如，如果可靠性等于或小于预定值，则基于可靠性选择并显示标签信息和与标签信息对应的图像。因此，观察所显示的标签信息和图像的用户可以修改被错误地设置的标签信息，并且因此，用户能够高效率地查看学习数据。

在使用由标签信息保持单元220保持的标签信息来学习存在目标物体之后，当用户新设置标签信息作为训练数据时，可以想到获得新标签信息的可靠性。如果可靠性高于预定值，则将新标签信息用作训练数据，而如果可靠性低于预定值，则不用作训练数据。

第一变型例

在第一实施例和第二实施例中，可靠性获得单元230针对由标签信息保持单元220保持的标签信息计算指示正确度的可靠性，并且此时，由识别单元235使用神经网络基于识别的结果来计算可靠性。

然而，可以使用用于计算可靠性的任何其他方法，只要可以计算针对图像设置的标签信息的正确度即可。例如，可以采用这样的方法，其中，基于由标签信息指示的位置和姿势将目标物体的三维形状模型投影到图像上，并且基于投影的三维形状模型与该图像之间的一致程度来设置可靠性。具体地，可以将形成三维形状模型的线投影到图像上，并且可以基于在图像中检测到的投影的线与边缘之间的一致程度来设置可靠性。

或者，可以通过使用目标物体的三维形状模型作为模板对图像进行模板匹配来计算一致程度，并且可以基于一致程度来设置可靠性。在这种情况下，如果一致程度高，则设置高可靠性。相反，如果一致程度低，则设置低可靠性。

可以使用范围图像来基于范围图像的质量设置可靠性。例如，可能存在如下情况，即在目标物体被隐藏的条件下或者取决于目标物体的角度条件难以看到目标物体。在这种情况下，可以估计可能设置不正确的标签信息。然后，可以基于范围图像来检查范围信息的变化和面的倾斜，并且可以基于它们的值来设置可靠性。具体地，如果范围值显著变化，或者如果因物体的面相对于拍摄装置300的视线方向显著倾斜而难以观察物体，则可以设置低可靠性。

或者，可以采用这样的方法，其中，当用户设置标签信息时，用户还根据置信度设置可靠性，并且可靠性获得单元230通过读取设置的可靠性来计算标签信息的可靠性。

第二变型例

当显示图像和标签信息时，第一实施例和第二实施例中描述的显示控制单元240使用黑点和向量显示关于标签信息中包含的位置和姿势的信息。

然而，可以使用用于显示包含在标签信息中的信息的任何其他方法，只要能够以可理解的方式显示信息即可。例如，可以在图像中显示代表目标物体的形状的模型。图8示出了基于标签中包含的关于位置和姿势的信息显示模型的示例。在图8中，1000表示在监视器上显示的窗口。1010表示与图像中的标签信息对应的区域的示例。由1020表示的黑点和向量分别指示，指示存在目标物体的信息以及关于姿势的信息。虚线1030指示代表物体形状的模型，并且基于关于位置和姿势的信息而被显示在图像中。该显示模型的方法的优点在于，与用黑点和向量简单地显示位置和姿势的方法相比，可以容易地检查图像与标签信息是否匹配。注意，对于图8中的1010，作为比较它们的结果，可以在图像与模型之间找到偏移(shift)，因此可以确定所设置的标签信息是不正确的。在其他方法中，关于位置和姿势的信息可以用字符或数字显示。否则，可以用表格或图表显示关于位置和姿势的信息。

第三变型例

在第一实施例和第二实施例中描述的显示控制单元240切出并显示图像中的与标签信息对应的一个区域。然而，可以使用用于显示图像的任何其他方法，只要能够以可理解的方式显示由可靠性获得单元230计算的低可靠性的标签信息指示的区域即可。

例如，可以集体地显示与多个低可靠性标签信息对应的多个图像。这里，图9A示出了集体地显示多个图像的示例。图9A中的1100、1101和1102表示由低可靠性的标签信息指示的区域的示例。在显示多个图像的情况下，可以以根据可靠性分类的方式显示图像。也就是说，在该示例中，基于可靠性显示多组标签信息和图像中的与标签信息相对应的区域。

在另一种方法中，可以显示整个图像，并且可以以强调的方式显示由低可靠性的标签信息指示的区域。图9B示出了显示一个整个图像的示例，并且通过用框包围这些区域来强调由低可靠性的标签信息指示的区域。由图9B中的1110、1111和1112表示的虚线框指示由低可靠性的标签信息指示的区域。

也就是说，在该示例中，当一个图像包括与标签信息对应的多个区域时，显示整个图像，并且以强调的方式显示与具有等于或小于预定值的可靠性的标签信息相对应的区域。

或者，可以采用如下构造，显示整个图像，并且将区域的可靠性的分布显示为热图，使得能够比较标签信息和可靠性。

由此显示多个候选的方法使得能够一次检查整个图像，因此可以提高用户查看标签信息的效率。

第四变型例

第一实施例和第二实施例中描述的标签信息包含关于目标物体的位置和姿势的信息。然而，作为另选，标签信息可以是除了目标物体的位置和姿势之外的参数，并且可以是例如目标物体的特定部分(要抓取的部分)的位置和姿势。

具体地，在考虑机器人拾取在图像中识别的目标物体的系统的情况下，需要要被抓取的目标物体的部分的位置和角度。在这种情况下，要被抓取的目标物体的部分的位置和角度可以用作标签信息。除了由标签信息表达的位置和角度不同之外，该处理的内容与根据第一实施例和第二实施例的处理的内容相同。此外，在这种情况下，如在第一变型例中提到的，可靠性获得单元230可以在图像上投影目标物体的三维形状模型，并且基于投影的三维形状模型与图像之间的一致程度来设置可靠性。当计算出一致程度时，可以在将要被抓取的位置附近的区域视为重要的同时计算评估值。

此外，还可以将指示目标物体的颜色和类型的信息添加到标签信息。在这种情况下，由于信息量的增加，识别单元235还识别目标物体的颜色和类型，然后输出概率。可靠性获得单元230根据识别单元235输出的概率与设置的标签信息之间的差来计算可靠性。

第五变型例

在第一实施例和第二实施例中，由图像获得单元210获得的图像是灰度图像。然而，要获得的图像可以是灰度图像或彩色图像，只要图像是通过对目标物体摄像而获得的即可。作为另选，要获得的图像可以是包含关于到目标物体的距离的信息的范围图像。此外，用于获得图像的方法可以是使得能够获得由拍摄装置300拍摄的图像的任何方法。可以经由网络获得图像，或者可以获得临时保存到存储器中的图像。

拍摄装置300可以是获得图像的任何类型的装置。拍摄装置300可以是获得二维图像信息的相机，或者可以是获得范围图像的范围传感器。

第六变型例

第一实施例和第二实施例中描述的各个标签信息由图1B中的一个点指示。给出标签信息的方法不限于将标签信息作为点给出，并且作为另选标签信息可以作为区域给出。

效果

在第一实施例中，计算标签信息的可靠性，并且如果可靠性等于或小于预定值，则选择并显示图像和标签信息。因此，可以有效地查看标签信息。

在第二实施例中，针对包含关于位置和姿势的信息的标签信息计算可靠性，并基于可靠性选择并显示图像和标签信息。因此，可以有效地查看标签信息。

定义

在本发明中，由标签信息保持单元220保持的标签信息可以是代表目标物体的位置和姿势的信息，或者可以是代表设置在目标物体上的特定部分的位置和角度的信息，例如要被抓取的位置。此外，还可以添加关于物体的颜色和类型的信息。

在本发明中，可以使用任何方法获得由可靠性获得单元230获得的可靠性，只要可以计算出可靠性(代表标签信息的正确度)即可。可以根据基于神经网络的识别结果来计算可靠性，或者可以通过使用目标物体的三维形状模型作为基准并且检查三维形状模型与图像之间的一致程度来计算可靠性。可以基于倾斜和范围信息的变化使用关于范围图像的范围信息，来计算可靠性。此外，当用户设置标签信息时，用户可以根据置信度设置可靠性，并且可以通过读出设置的可靠性来获得可靠性。

在本发明中，可以使用任何方法显示由显示控制单元240显示的信息，只要由可靠性获得单元230获得的可靠性等于或小于预定值的标签信息指示的区域能够以可理解的方式显示即可。可以切出并显示图像中的与低可靠性的标签信息相对应的区域，或者，可以显示整个图像并且可以通过矩形框等指示与低可靠性的标签信息相对应的区域。

根据本发明，可以修改针对目标物体设置的标签信息，并且用户可以高效率地查看学习数据。

其他实施例

还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能，和/或包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能，并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存装置以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应该理解，本发明不限于所公开的示例性实施例。应当对权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (15)

1.一种信息处理装置，所述信息处理装置包括：

至少一个处理器，其被程序化为使所述信息处理装置用作：

第一获得单元，其被构造为获得用户赋予的标签信息，所述标签信息被用作为识别输入图像中存在目标物体的学习模型的学习数据，所述标签信息与通过拍摄目标物体而获得的图像中存在目标物体的位置相关，其中，所述标签信息被添加到通过拍摄目标物体而获得的图像中；

第二获得单元，其被构造为基于通过将图像输入到利用神经网络训练的学习模型中所获得的识别结果，获得可靠性，所述可靠性表示由所述第一获得单元所获得的标签信息被添加到通过拍摄目标物体而获得的图像中的与存在目标物体的位置对应的位置处的正确度；

显示控制单元，其被构造为在可靠性低于预定值的情况下，使显示装置显示通过拍摄目标物体所获得的图像中的标签信息表示的位置；

确定单元，其被构造为基于针对可靠性低于预定值的标签信息而对图像输入的用户操作，确定是否修改标签信息所表示的位置。

2.根据权利要求1所述的信息处理装置，

其中，所述第二获得单元基于在由标签信息表示的位置处存在目标物体的概率获得可靠性，该标签信息是通过将图像输入到学习模型中所获得识别结果。

3.根据权利要求1所述的信息处理装置，

其中，所述标签信息包含指示在图像中的任意位置处是否存在目标物体的信息。

4.根据权利要求1所述的信息处理装置，

其中，所述标签信息包含指示在图像中的任意位置处是否存在目标物体的信息，以及关于目标物体在该位置处的姿势的信息。

5.根据权利要求4所述的信息处理装置，

其中，在所述信息处理装置使显示装置显示标签信息和图像中的与所述标签信息相对应的图像的情况下，基于所述标签信息中包含的关于位置和姿势的信息，在图像中的与标签信息相对应的图像上显示代表目标物体的形状的模型。

6.根据权利要求1所述的信息处理装置，

其中，所述标签信息是关于目标物体的要被抓取的部分的信息。

7.根据权利要求1所述的信息处理装置，

其中，在所述信息处理装置使显示装置显示标签信息和图像中的与所述标签信息相对应的图像的情况下，基于可靠性显示多组标签信息和图像中的与标签信息相对应的图像。

8.根据权利要求1所述的信息处理装置，

其中，在所述信息处理装置使显示装置显示标签信息和图像中的与所述标签信息相对应的图像的情况下，如果在一个图像中包括与标签信息相对应的多个图像，则整体显示所述一个图像，并且以强调地方式显示图像中的如下图像，该图像与具有等于或小于预定值的可靠性的标签信息相对应。

9.一种信息处理装置，所述信息处理装置包括：

至少一个处理器，所述至少一个处理器被程序化为使所述信息处理装置用作：

学习模型获得单元，其被构造为使用通过拍摄目标物体而获得的至少一个图像，利用与存在目标物体的位置相关的多条标签信息作为学习数据，来获得基于学习了目标物体的图像特征的神经网络的学习模型；

可靠性获得单元，其被构造为基于通过将添加了标签信息的至少一个图像输入到基于神经网络的学习模型中所获得的识别结果，获得可靠性，所述可靠性表示与所述至少一个图像中存在目标物体对应的标签信息被添加到与所述至少一个图像中存在目标物体的位置对应的位置处的正确度；

显示控制单元，其被构造为在可靠性低于预定值的情况下，使显示装置显示标签信息表示的位置和在所述至少一个图像中存在目标物体的位置；

确定单元，其被构造为确定是否将标签信息表示的位置修改为对应于在显示装置上显示的图像中存在目标物体的位置。

10.根据权利要求9所述信息处理装置，

其中，在所述信息处理装置获得可靠性的情况下，使学习模型输出在给出标签信息的位置处存在目标物体的概率，并且使用所述概率来获得可靠性。

11.根据权利要求9所述信息处理装置，

其中，在所述信息处理装置使显示装置显示标签信息和图像中的与所述标签信息相对应的图像的情况下，基于可靠性显示多组标签信息和图像中的与标签信息相对应的图像。

12.根据权利要求9所述信息处理装置，

其中，在所述信息处理装置使显示装置显示标签信息和图像中的与所述标签信息相对应的图像的情况下，如果在一个图像中包括与标签信息相对应的多个图像，则整体显示所述一个图像，并且以强调地方式显示图像中的与具有等于或小于预定值的可靠性的标签信息相对应的图像。

13.一种信息处理装置的控制方法，所述控制方法包括：

获得用户赋予的标签信息，所述标签信息被用作为识别输入图像中存在目标物体的学习模型的学习数据，所述标签信息与通过拍摄目标物体而获得的图像中存在目标物体的位置相关，其中，所述标签信息被添加到通过拍摄目标物体而获得的图像中；

基于通过将图像输入到利用神经网络训练的学习模型中所获得的识别结果，获得可靠性，所述可靠性表示所获得的标签信息被添加到通过拍摄目标物体而获得的图像中的与存在目标物体的位置对应的位置处的正确度；

在可靠性低于预定值的情况下，使显示装置显示通过拍摄目标物体所获得的图像中的标签信息表示的位置；

基于针对可靠性低于预定值的标签信息而对图像输入的用户操作，确定是否修改标签信息所表示的位置。

14.一种信息处理装置的控制方法，所述控制方法包括：

使用通过拍摄目标物体而获得的至少一个图像，利用与存在目标物体的位置相关的多条标签信息作为学习数据，来获得基于学习了目标物体的图像特征的神经网络的学习模型；

基于通过将添加了标签信息的至少一个图像输入到基于神经网络的学习模型中所获得的识别结果，获得可靠性，所述可靠性表示与所述至少一个图像中存在目标物体对应的标签信息被添加到与所述至少一个图像中存在目标物体的位置对应的位置处的正确度；

在可靠性低于预定值的情况下，使显示装置显示标签信息表示的位置和在所述至少一个图像中存在目标物体的位置；

确定是否将标签信息表示的位置修改为对应于在显示装置上显示的图像中存在目标物体的位置。

15.一种非暂时性计算机可读存储介质，其存储有使计算机进行信息处理装置的控制方法的计算机程序，所述控制方法包括：

获得用户赋予的标签信息，所述标签信息被用作为识别输入图像中存在目标物体的学习模型的学习数据，所述标签信息与通过拍摄目标物体而获得的图像中存在目标物体的位置相关，其中，所述标签信息被添加到通过拍摄目标物体而获得的图像中；

基于通过将图像输入到利用神经网络训练的学习模型中所获得的识别结果，获得可靠性，所述可靠性表示所获得的标签信息被添加到通过拍摄目标物体而获得的图像中的与存在目标物体的位置对应的位置处的正确度；

在可靠性低于预定值的情况下，使显示装置显示通过拍摄目标物体所获得的图像中的标签信息表示的位置；

基于针对可靠性低于预定值的标签信息而对图像输入的用户操作，确定是否修改标签信息所表示的位置。

Images