CN111860099A - 物品识别系统以及物品识别方法 - Google Patents

Abstract

本公开涉及物品识别系统以及物品识别方法。[课题]提供能够在识别图像中的物品时在作业现场应对基于作业环境的变化的适当的识别参数的变动的技术。[解决手段]一种物品识别系统，具备：输入部，输入拍摄到的图像；输出部，将信息提示给用户；存储部，存储定义了识别对象的特征的主数据；识别部，根据从图像抽取出的信息和主数据，检测图像之中的识别对象；以及识别评价部，评价识别部的识别内容，根据评价结果将警报提示给输出部。

Description

物品识别系统以及物品识别方法

技术领域

本发明涉及识别图像中的物品的技术。

背景技术

为了实现物品的挑拣作业的自动化，识别拍摄到的图像中的对象物品的技术被开发。这样的技术例如当在物流的现场进行基于物品的机器人的分拣时有用，要求提高识别精度。

设想在想要识别拍摄到的图像中的物品的情况下，由于周围的环境的变化，在运用过程中明亮度的条件等发生变化。作为周围环境的变化，考虑季节的变化、周围的设备的配置的变更、照明的变化等各种变化。

当由于周围环境的变化而识别参数的最佳值发生变化，作为其结果，发生识别失败时，产生进行了不适当的作业或者作业停止等问题。关于识别参数的调整，已知专利文献1、专利文献2。

关于专利文献1公开的结构，为了在早的阶段稳定地达到识别模型的局部最佳状态，具有计算模型的最佳的参数调整量的最佳参数调整量计算单元、以及根据由最佳参数调整量计算单元计算出的最佳的参数调整量来调整模型的参数的调整单元。

在专利文献2公开的技术中，为了稳定地生成大量的局部特征量，参数调整部决定用于变换学习图像的第1～第n的参数值。图像变换部使用第1～第n的参数值来变换学习图像，从而生成第1～第n的变换图像。局部特征量抽取部确定第1～第n的各变换图像中的特征区域，从特征区域抽取局部特征量。集群生成部通过对局部特征量进行聚类，从而生成能够用作识别用数据的集群。

现有技术文献

专利文献

专利文献1：日本特开2001-272994号公报

专利文献2：日本特开2013-238953号公报

发明内容

在专利文献1公开的技术中，完全自动地计算出识别的参数。但是在实际的现场，作为周围环境的变化，考虑无数的主要原因。因而，难以追随于周围环境的变化而完全自动地求出最佳的参数。

在专利文献2公开的技术中，当在学习阶段无法作为参数列举图像的变动主要原因时不成立。实际上环境变动主要原因无数，难以事先全部网罗。

本发明的课题在于提供能够在识别图像中的物品时在作业现场应对基于作业环境的变化的适当的识别参数的变动的技术。

本发明的优选的一个方面提供一种物品识别系统，具备：输入部，输入拍摄到的图像；输出部，将信息提示给用户；存储部，存储定义有识别对象的特征的主数据；识别部，根据从图像抽取出的信息和主数据，检测图像之中的识别对象；以及识别评价部，评价识别部的识别内容，根据评价结果将警报提示给输出部。

作为识别内容的评价对象的例子，有图像之中的抽取出的特征点的数量、主数据的特征点与图像之中的特征点的匹配数、符合度等。例如进行推测图像之中的识别对象的姿势的处理，排除对应起来的主数据的特征点与图像之中的特征点的位置远离预定以上的特征点，根据作为在排除后残留的特征点的一致点的数量来计算符合度。

另外，作为更具体的例子，是否提示警报的判断能够通过评价对象与预先决定的阈值的比较来进行。用于是否提示警报的判断的阈值使用比用于是否使系统停止的判断的阈值高的阈值。

另外，作为其它具体的例子，还具备参数调整部，识别评价部评价识别部的识别内容，根据评价结果将警报提示给输出部，并且对参数调整部指示参数调整。参数调整部使得用于拍摄图像的拍摄参数、处理拍摄到的图像的图像处理参数以及用于识别部的处理的参数中的至少一个发生变化，使用变化后的参数，进行使识别部进行图像之中的识别对象的检测、使识别评价部评价识别部的识别内容的试行序列。然后，根据识别评价部的识别内容的评价结果将应变更的参数的候补提示给输出部。

本发明的优选的另一个方面是将识别对象的特征及其配置作为主数据存储，检测图像中的识别对象的物品识别方法。在该方法中，具备：第1步骤，输入拍摄到物品的图像；第2步骤，从图像抽取特征，从图像之中检测特征及其配置以预定以上的符合度与主数据对应起来的物品；第3步骤，判定在第2步骤中符合度是否低于停止阈值；第4步骤，判定在第2步骤中符合度是否低于比停止阈值高的警报阈值；第5步骤，当在第4步骤中被判定为低于警报阈值的情况下，变更在第2步骤中使用的参数，试行第2步骤；第6步骤，评价第5步骤中进行的第2步骤的试行结果的符合度；以及第7步骤，将第6步骤中进行的评价的结果提示给用户。

在具体的实施例中，只要在第3步骤中不被判定为低于停止阈值，就继续进行第1至第4步骤，在第1至第4步骤的背景下进行第5至第7步骤。

能够提供能够在识别图像中的物品时在作业现场应对基于作业环境的变化的适当的识别参数变动的技术。上述以外的具体的课题、结构以及效果将通过以下的实施方式的说明变清楚。

附图说明

图1是示出实施例的物品识别系统的结构例的框图。

图2是示出实施例的物品识别系统的识别处理的流程图。

图3是进行参数调整部执行的参数的调整处理的流程图。

图4是示出试行序列的具体例的流程图。

图5是说明试行序列的概念的示意图。

图6是示出显示于终端的显示画面的信息的例子的示意图。

图7是示出物品识别系统的初始设定中的阈值设定画面的例子的示意图。

图8是示出物品识别系统的初始设定中的试行序列设定画面的例子的示意图。

(附图标记说明)

信息处理装置100、存储器110、处理装置120、存储装置130、输入输出接口140、摄像机150、终端160。

具体实施方式

使用附图，详细地说明实施方式。但是，本发明并不限定于以下所示的实施方式的记载内容而解释。只要是本领域技术人员就能够容易地理解能够在不脱离本发明的思想及要旨的范围变更其具体的结构。

在以下说明的发明的结构中，有时在不同的附图间对相同部分或者具有同样的功能的部分共同使用相同的附图标记，省略重复的说明。

在存在多个具有相同或者同样的功能的要素的情况下，有时对相同的附图标记附加不同的下标而进行说明。但是，在无需区分多个要素的情况下，有时省略下标而进行说明。

本说明书等中的“第1”、“第2”、“第3”等记载是为了辨别构成要素而附加的，未必限定数量、顺序或其内容。另外，用于辨别构成要素的编号针对每个上下文而使用，在一个上下文中使用的编号在其它上下文中未必表示相同的结构。另外，并不妨碍以某个编号辨别的构成要素兼具以其它编号辨别的构成要素的功能。

关于在附图等中示出的各结构的位置、大小、形状、范围等，为了易于理解发明，有时未表示实际的位置、大小、形状、范围等。因此，本发明未必限定于附图等所公开的位置、大小、形状、范围等。

在本说明书中引用的出版物、专利以及专利申请直接构成本说明书的说明的一部分。

在本说明书中以单数形式表示的构成要素只要未特别在上下文中清楚地示出，就包括复数形式。

根据发明者们的研究，在应对因作业环境的变化而变化的识别参数的最佳值的情况下，包含只能在运用现场判断的要素，所以需要运用阶段的动态的变更。作为为此的具体的结构，考虑最好将警告通知给用户，对用户提供在运用现场选择参数的机会。

在实施例中说明的物品识别技术的一个例子中，计算主数据与拍摄图像的符合度、匹配数，在它们低于阈值时，对用户通知警报，促使识别参数的重新设定。上述阈值按照识别不会失败的值设定，从而能够实现至系统停止之前的调整。

【实施例1】

<1.系统结构>

图1是示出实施例的物品识别系统的结构例的框图。物品识别系统具备由一般的服务器等构成的信息处理装置100、对物品进行拍摄的摄像机150以及用户操作的终端160。

信息处理装置100具备存储器110、处理装置(CPU)120、存储装置130以及输入输出接口140。信息处理装置100也可以具备一般的服务器所具备的其它结构。存储器110能够由一般的半导体存储器构成，存储装置130能够由磁盘装置等构成。此外，信息处理装置100的各部分利用未图示的总线连接，能够进行信息的收发。

在本实施例中，计算、控制等功能通过由处理装置120执行保存于存储器110的软件，从而与其它硬件协作地实现决定的处理。有时将信息处理装置100执行的软件、其功能或者实现其功能的单元称为“～部”、“～模块”等。

存储器110包括作为识别物品的软件的识别部111、作为评价识别结果的软件的识别评价部112、作为调整与识别相关的参数的软件的参数调整部113。

作为识别对象的物品(未图示)由摄影机等摄像机150拍摄，拍摄到的图像经由输入输出接口140输入到识别部111。输入输出接口140也可以作为输入部以及输出部而独立地构成。

在识别部111中，依照用于识别的算法，识别拍摄到的图像中的物品。此时，从存储器110读出存储于存储装置130的主数据(master data)131而利用。

关于用于识别的算法，能够使用公知的技术。一般而言，事先从对象物品的图像存储特征及其配置来作为主数据131。作为具体例，为特征点的配置以及与特征点对应的特征量。从拍摄到的图像抽取特征点，计算针对特征点的特征量，与主数据131的特征点以及特征量进行匹配。根据匹配的结果来识别图像中的物品。

在此，当作业环境发生变化时，拍摄的图像的状态发生变化，有时难以进行适当的识别处理。在这样的情况下，需要将用于识别处理的参数变更为适当的值。在本实施例中，提供能够在作业现场设定最佳的参数的技术。

以上的结构既可以由单体的服务器构成，或者也可以由输入装置、输出装置、处理装置、存储装置等任意的部分通过网络连接的其它服务器构成。

本实施例中，与由软件构成的功能等同的功能利用FPGA(Field ProgrammableGate Array，现场可编程门阵列)、ASIC(Application Specific Integrated Circuit，专用集成电路)等硬件也能够实现。这样的方案也包含于本申请发明的范围。

在上述识别处理中识别出的物品例如通过挑拣处理接受机械操作。在本系统中，为了物品的机械操作而具备机械系统控制部114。机械系统控制部经由输入输出接口140控制机械系统170的动作。作为机械系统170的例子，有机械臂、各种机床等。此外，通过有线连接以及无线连接中的任何连接都能够实现信息处理装置100与摄像机150、终端160、机械系统170之间的连接。

<2.处理流程>

图2是示出实施例的物品识别系统的识别处理的流程图。在本实施例中，示出了进行物品的识别，进而机械性地挑拣识别出的物品的例子。

首先，摄像机150进行设想存在对象的物品的区域的拍摄处理S201。拍摄到的图像被发送到识别部111。摄像机150例如既可以对固定的预定的范围进行拍摄，也可以配置于机械臂的前端而视野与机械臂的移动相伴地发生变化。

在识别部111中，进行从拍摄到的图像抽取特征点的检测和表达与特征点对应的区域的记述。这些处理本身是公知的。关于特征点的检测，例如有通过微分来抽取成为边缘的点的方法，使用哈里斯角点检测(Harris corner Detection)等方法来抽取角的方法，抽取同一颜色的区，使该区的中心成为特征点的位置的方法等，但并不被特别限定。

关于表达特征量的方法，已知抽取SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)、HoG(Histograms of Oriented Gradients，梯度方向直方图)等局部图像特征量、SHOT(Signature of Histograms of Orientations，方向直方图特征)等三维特征量的技术。除此之外，还有公知的特征量，在本实施例中，并不限定于上述特征量。

例如，在SIFT的特征量抽取中，通过DoG(Difference of Gaussian，高斯差分)处理来抽取特征点的尺度和位置，从尺度内的梯度信息求出方位，使空间向方位方向旋转，记述特征量。然后，与预先存储的对象物品的特征点以及特征量进行匹配，进行物品的识别。

在本实施例中，首先在识别部111中进行抽取特征点的特征点抽取处理S202，在识别评价部112中判定是否从图像检测到足够的特征点。

特征点数的判定为两个阶段，在特征点数的判定处理S203中，判定特征点数是否低于阈值S1。在特征点数低于阈值S1的情况下，使系统停止(S204)。但是，阈值S1最好不是直接无法识别的水平，而以预定的富余决定。

在特征点数为阈值S1以上的情况下，判定特征点数是否低于阈值A1(S205)。阈值A1被设定成比阈值S1大，在现状下能够进行适当的识别，但当特征点数再变少时，判定需要使系统停止。在特征点数低于阈值A1的情况下，进行参数调整S206。之后详细地说明参数调整。

在抽取出足够的数量的特征点的情况下，识别部111关于各特征点而计算特征量(S207)。之后，与主数据131的特征量进行匹配S208，将匹配的特征量彼此对应起来。

识别评价部112关于匹配的结果而判定是否进行了足够的匹配。匹配点数的判定为两个阶段，在匹配点数的判定处理S209中，判定匹配点数是否低于阈值S2。在匹配点数低于阈值S2的情况下，使系统停止(S204)。但是，阈值S2最好不是直接无法识别的水平，而以预定的富余决定。

在匹配点数为阈值S2以上的情况下，判定匹配点数是否低于阈值A2(S210)。阈值A2被设定成比阈值S2大，在现状下能够进行适当的识别，但当匹配点数再变少时，判定需要使系统停止。在匹配点数低于阈值A2的情况下，进行参数调整S206。之后详细地说明参数调整。

在抽取出足够数量的匹配点的情况下，识别部111进行推测图像中的物品的三维姿势的处理，与主数据131的特征点以及特征量进行匹配(S211)。在此，以使图像中的物品与主数据的特征量彼此的位置一致的方式将两者的姿势进行匹配。然后，使用RANSAC(Random Sample Consensus，随机采样一致性)算法等，排除位置远离预定以上的特征点和特征量。将在排除后残留的特征的总数设为一致点。此外，在本说明书中，有时将根据一致点计算出的数值称为符合度。

关于匹配的结果，识别评价部112判定是否得到足够的一致点数。一致点数的判定为两个阶段，在一致点数的判定处理(S212)中，判定一致点数是否低于阈值S3。

在一致点数低于阈值S3的情况下，使系统停止(S204)。但是，阈值S3最好不是直接无法识别的水平，而以预定的富余决定。

在一致点数为阈值S3以上的情况下，判定一致点数是否低于阈值A3(S213)。阈值A3被设定成比阈值S3大，当一致点数再变少时，判定需要使系统停止。在一致点数低于阈值A3的情况下，进行参数调整S206。之后详细地说明参数调整。

当识别正常地结束时，系统的机械系统控制部114对机械系统例如机械臂指示物品的挑拣(S214)。当1次挑拣动作结束时，系统重复接下来的拍摄处理S201以下的处理，进行接下来的挑拣。

在以上说明的流程中，将识别评价部112进行检查地方的设置3处。(1)抽取出的特征点的数量是否足够(S203以及S205)，(2)特征量的匹配数是否足够(S209以及S210)，(3)将图像的物品与主数据的姿势进行匹配而删除偏离的特征量而得到的剩余的数量(符合度)是否足够(S213以及S214)。但是，作为本实施例的变形例，也可以省略上述(1)～(3)的1个或者两个而实施。另外，作为阈值，既可以为表示绝对数的阈值，也可以为相对的值、例如表示与作为基准的数量的比例的阈值。

<3.参数调整>

参数调整部113执行参数调整。

<3－1.调整对象参数>

作为在本实施例中能够调整的参数，考虑以下的参数。只不过，无需将它们全部调整。另外，还能够包括除了它们以外的参数。也可以如之后在图8中说明那样，操作员能够从终端160预先选择要调整的参数。

作为拍摄处理S201中的参数，有摄像机的快门速度、曝光时间、分辨率、帧率等。另外，作为拍摄处理S201后的图像处理或者作为特征点抽取处理S202的前处理的图像处理的参数，有图像压缩率、明亮度校正、颜色校正、对比度校正、进而各种滤波器(边缘增强、平滑化等)的参数。

作为在特征点抽取处理S202中使用的参数，有特征点抽取算法的参数。

作为与特征量抽取S207以及匹配S208关联的参数，有特征量计算的参数、匹配处理的参数、同时使用多个特征量时的各特征量的权重参数。

作为与三维姿势推测S211关联的参数，有位置对准的算法的参数、RANSAC算法的参数(例如，在特征偏离何种程度时排除的容许误差阈值)。

<3－2.参数调整流程>

图3是示出参数调整部113执行的、进行参数的调整处理的流程的图。当在图2的判定S205、S210、S213中的任意步骤中分支到是(YES)的情况下，开始参数调整S206。此外，以下，有时将该分支称为“警报”。

在产生了警报的情况下，实时地对终端160进行警报的显示，并且进行呼叫操作员(作业员)的处理。呼叫操作员的方法不特别限定，有基于现场的声音、图像的警报、向操作员携带的便携终端的通知等方法。接受呼叫的操作员为了确认和处理而前往终端160的场所。物品识别系统与此同时并行地执行参数调整S206的流程。此外，即使产生警报，只要不是系统停止S204的状态，物品识别系统就继续通常的处理。

参数调整部113当接受警报时，进行试行序列S301，在该试行序列S301中，按照预定的模式变更参数，进行物品的拍摄、识别，记录识别的评价结果。

当一连串的试行序列结束时，其评价结果被提示给终端160，等待操作员的响应(S302)。

操作员确认提示给终端160的评价结果，操作终端160，根据需要而变更参数(S303)。在摄像机150、识别部111的参数变更后，物品识别系统根据该参数继续处理。

<3－3.试行序列>

图4是示出试行序列S301的具体例的流程图。在试行序列中，变更参数而进行识别，评价其结果。识别和识别评价的处理基本上与图2的处理相同，关于同样的处理，附加有相同的附图标记。

但是，在试行序列S301中，在特征点抽取处理S202后，进行记录抽取出的特征点的数量的处理S402。另外，在匹配S208后，进行记录匹配的点数的处理S403。另外，在三维姿势推测S211后，进行一致点数记录处理S404。记录的数据与对应的参数一起记录于存储器110或者存储装置130，之后显示于终端160。

在试行参数设定S401中，为了试行的识别处理，利用预先决定的方法来设定参数。在存在多个参数的情况下，改变各个参数而试行多个组合。关于参数的设定方法，操作员能够预先利用终端160进行设定。之后利用图8进行说明。

判定是否对设定的参数全部进行了试行(S405)，如果已全部执行，则结束试行序列S301。此外，在图4中，处理循环返回到拍摄处理S201，但在不变更拍摄处理的参数的情况下，使用现状的图像，重复特征点抽取处理S202以后的处理即可。

图5是说明试行序列S301的概念的示意图。图5的横轴表示时间，与图2对应地，依次执行作为通常的识别处理的拍摄处理S201、识别S202、S203、S205、S207～S213以及挑拣S214。当在识别的中途存在向参数调整S206的分支(警报)的情况下，开始试行序列S301。

如图5所示，试行序列S301能够在通常的识别处理的背景下执行。相比于拍摄、识别的处理时间，作为机械操作的挑拣处理需要100～1000倍的时间。因此，如图5所示，能够利用挑拣处理S214的时间来进行n次试行。

<3－4.试行结果提示以及参数选择>

返回到图3，当试行序列S301结束时，进行试行结果提示处理S302以及参数变更处理S303。

图6是示出试行结果提示处理S302的结果、显示于终端160的显示画面(监视器画面)的信息的例子的图。参数调整部113在试行序列S301结束后，根据在特征点数记录S402、匹配点数记录S403、一致点数记录S404中记录的数据，将结果显示于终端160。

在图6的区域601，作为物品识别警报信息而显示由于作为图2的3个判定处理的抽取出的特征点的数量(S205)、特征量的匹配数(S210)、删除偏离的特征量而得到的剩余的数量(S214)中的哪个产生警报。在图6的例子中，根据指示符602的显示可知由于特征量的匹配数(S210)和删除偏离的特征量而得到的剩余的数量(S214)而产生警报。另外同时，还显示现状值以及基准值(阈值)。

根据在图4中说明的试行序列，在存储器110或者存储装置130中，针对每个变更后的参数的条件，所得到的特征点数、匹配点数、一致点数的数据被对应起来。通常，显示试行的所有的参数的条件的结果是复杂的，所以参数调整部113最好实施依照预定的算法而对各个试行结果附加成绩，按照成绩的顺序显示等方法。

在图6的例子中，在区域603按照成绩的顺序示出了参数变更候补。对于参数变更候补，显示参数的种类、现状值以及变更值。另外，虽然在图中未示出，但也可以使得能够针对每个参数变更候补而显示特征点抽取数、特征点匹配点数、姿势推测后特征一致数。操作员能够使用指点设备等，例如对方框604进行选择等，从而从显示的候补选择任意的候补。

显示于区域601的在何种判定下产生警报的信息有时对熟练的操作员提供参数变更的线索。因而，操作员还能够根据物品识别警报信息，限定变更的参数的范围，作为参数变更候补显示于区域603。在图6的例子中，在变更参数指定区域605，能够利用下拉菜单来指定变更的参数。在图6的例子中，仅显示变更特征点抽取参数的参数变更候补。

在决定参数变更候补之后，物品识别系统的参数变更为该候补(S303)，使用该参数来继续处理。

<4.初始设定例>

图7是示出在物品识别系统的运行前的初始设定中终端160所示的设定画面的例子的图。在该画面，进行识别动作的评价的应用以及用于评价的阈值设定。

在区域701，进行在图2的判定处理S203、S209、S212中使用的警报阈值的设定。另外，能够利用方框703来指定应用哪个分支。在图7的例子中，省略了S212的判定。

在区域702，进行在图2的判定处理S205、S210、S213中使用的系统停止阈值的设定。另外，能够利用方框703来指定应用哪个分支。

图8是示出在物品识别系统的运行前的初始设定中终端160所示的设定画面的例子的图。在该画面，进行按照试行序列试行的参数的设定。

作为试行对象的参数能够在区域801利用下拉菜单来选择。试行的范围通过在区域802例如指定从当前值起的变更范围而进行。在区域803指定试行的参数的粒度。在图8的曝光时间的例子中，将从当前的曝光时间起正负1秒的范围以100分割来试行。

在存在多个参数的情况下，将试行进行各参数的组合的次数。例如，在图8的例子中，进行1000次试行。在区域804显示试行时间的预测值。用户能够与系统的用途、状况相匹配地决定作为试行对象的参数的内容。

如图5所示，在本实施例中，试行序列能够在通常的识别处理的背景下进行。因而，只要将试行序列所需的时间例如设定成比1次挑拣动作的时间短，就能够在接下来的挑拣之前，将应变更的参数的候补提示给操作员。因而，能够实质上不使系统停止，而在现场选择适当的参数。

此外，也可以将在图8的画面中设定的作为试行对象的参数设为默认，根据产生的警报的组合来限定作为试行对象的参数。例如，在仅在将图2的图像的物品与主数据的姿势进行匹配而删除偏离的特征量而得到的剩余的数量是否足够的判定(S213)中产生警报的情况下，省略与拍摄处理S201有关的参数的试行，固定现状的拍摄参数而进行试行序列。在该情况下，省略拍摄处理S201的试行，使用已经拍摄到的图像来进行试行序列即可。

【实施例2】

在进行物品识别的现场，在周围有人移动等暂时性的环境变化而不需要参数变更的情况下，也有可能会产生警报。在这样的情况下，有可能操作员频繁地被呼叫，作业效率下降。

为了应对这样的状况，在图2的判定处理S203、S205、S209、S210、S212、S213中，不是仅评价特定的时间点的数值，而是将预定的时间期间的数据进行平均化而评价，从而能够使瞬间性的数值的变动的影响下降。

例如，遍及拍摄到的图像的多个帧地识别主数据与测量数据的符合度等，在符合度的平均低于阈值时，进行警报。

【实施例3】

在符合度等下降而进行了警报的情况下，无法知晓何种参数能够识别，所以理想的是尽可能多地试行参数的变更数。但是，用于试行序列的所需时间会增加。

在图5的试行序列S301中，将拍摄和识别设为一组而进行多次试行。但是，如果使与拍摄有关的参数成为固定，则能够针对通过1次拍摄得到的图像而进行变更了与拍摄以外的处理相关的参数的多个试行。

作为与拍摄以外的处理相关的参数，有图像处理的参数、特征点抽取算法的参数、特征量计算的参数、匹配处理的参数、各特征量的权重参数、RANSAC算法的容许误差阈值等。

相比于图5的试行序列S301，拍摄一次就可以，所以虽然无法变更拍摄的参数，但是能够高速地进行试行序列。

【实施例4】

在实施例1的图6中，提示多个参数变更的选项。但是，操作员对全部进行确认会花费时间。另外，即使在根据现场环境的特性、熟练作业员的经验等而在该现场有不想使其大幅变动的参数等的情况下，其它参数也有时显示于上位。

如果应用基于机器学习的人工智能，则能够收集基于操作员的选择结果，将其作为教师数据而进行机器学习，学习用户的选择意向。还能够利用已学习的人工智能，根据学习结果对参数变更的选项进行排名而提示。

根据以上说明的实施例，在具有摄像机等的拍摄部、识别部以及识别评价部的系统中，识别部根据识别参数和定义为主数据的识别对象的特征，从由拍摄部拍摄到的图像检测识别对象。另一方面，识别评价部计算表示检测到的识别对象的特征与定义为主数据的识别对象的特征的一致的比例的符合度等，在符合度等低于预定的阈值的情况下，对操作员发出警告。根据这样的结构，能够提供使未完全列举的无数的环境变动主要原因动态地变更的系统。环境主要原因的事先定义存在界限，所以在提供操作员能够在现场应对的机会，能够通过运用来应对这点上有大的效果。

Claims (15)

1.一种物品识别系统，具备：

输入部，输入拍摄到的图像；

输出部，将信息提示给用户；

存储部，存储定义了识别对象的特征的主数据；

识别部，根据从所述图像抽取出的信息和所述主数据，检测所述图像之中的识别对象；

识别评价部，评价所述识别部的识别内容，根据评价结果将警报提示给所述输出部。

2.根据权利要求1所述的物品识别系统，其中，

所述识别部抽取所述图像之中的识别对象的特征点，

所述识别评价部在抽取出的所述特征点的数量或者抽取出的所述特征点的数量与所述主数据的特征点的数量的比例低于第1警告阈值的情况下，作为所述警报而提示第1警告信息。

3.根据权利要求1所述的物品识别系统，其中，

所述识别部将所述主数据的特征点的特征量与所述图像之中的识别对象的特征点的特征量进行比对而对应起来，

所述识别评价部在所述主数据的特征点与所述图像之中的识别对象的特征点对应起来的数量或者比例低于第2警告阈值的情况下，作为所述警报而提示第2警告信息。

4.根据权利要求3所述的物品识别系统，其中，

所述识别部进行推测所述图像之中的识别对象的姿势的处理，排除对应起来的所述主数据的特征点与所述图像之中的识别对象的特征点的位置远离预定以上的特征点，将排除后残留的特征点设为一致点，

所述识别评价部在所述一致点的数量或者所述一致点与所述主数据的特征点的数量的比例低于第3警告阈值的情况下，作为所述警报而提示第3警告信息。

5.根据权利要求2所述的物品识别系统，其中，

所述识别评价部在抽取出的所述特征点的数量或者抽取出的所述特征点的数量与所述主数据的特征点的数量的比例低于比所述第1警告阈值低的第1停止阈值的情况下，对系统指示预定的动作。

6.根据权利要求3所述的物品识别系统，其中，

所述识别评价部在所述主数据的特征点与所述图像之中的识别对象的特征点对应起来的数量或者比例低于比所述第2警告阈值低的第2停止阈值的情况下，对系统指示预定的动作。

7.根据权利要求4所述的物品识别系统，其中，

所述识别评价部在所述一致点的数量或者所述一致点与所述主数据的特征点的数量的比例低于比所述第3警告阈值低的第3停止阈值的情况下，对系统指示预定的动作。

8.根据权利要求1所述的物品识别系统，其中，

所述物品识别系统具备参数调整部，

所述识别评价部评价所述识别部的识别内容，根据评价结果将警报提示给所述输出部，并且对所述参数调整部指示参数调整，

所述参数调整部

使得用于拍摄所述图像的拍摄参数、处理拍摄到的图像的图像处理参数、以及用于所述识别部的处理的参数中的至少一个变化，

使用变化后的参数，进行使所述识别部进行所述图像之中的识别对象的检测、使所述识别评价部评价所述识别部的识别内容的试行序列，

根据所述识别评价部的识别内容的评价结果将应变更的参数的候补提示给所述输出部。

9.根据权利要求8所述的物品识别系统，其中，

在根据所述识别评价部的识别内容的评价结果将应变更的参数的候补提示给所述输出部时，提示所述识别评价部的识别内容的评价结果。

10.根据权利要求9所述的物品识别系统，其中，

在根据所述识别评价部的识别内容的评价结果将应变更的参数的候补提示给所述输出部时，用户能够变更参数的候补的提示条件或者提示方法。

11.根据权利要求8所述的物品识别系统，其中，

所述物品识别系统具备机械系统控制部，

所述机械系统控制部在所述识别部检测到所述图像之中的识别对象之后，控制机械性地操作该识别对象的机械系统，

与所述机械系统的控制并行地进行所述试行序列。

12.根据权利要求11所述的物品识别系统，其中，

将所述试行序列所需的时间提示给所述输出部，用户能够变更在所述试行序列中变化的参数的数量以及内容中的至少一个。

13.一种物品识别方法，将识别对象的特征及其配置作为主数据存储，检测图像中的识别对象，其中，所述物品识别方法具备：

第1步骤，输入拍摄到物品的图像；

第2步骤，从所述图像抽取特征，从图像之中检测特征及其配置以预定以上的符合度与所述主数据对应起来的物品；

第3步骤，判定在所述第2步骤中所述符合度是否低于停止阈值；

第4步骤，判定在所述第2步骤中所述符合度是否低于比所述停止阈值高的警报阈值；

第5步骤，当在所述第4步骤中被判定为低于警报阈值的情况下，变更在所述第2步骤中使用的参数，试行所述第2步骤；

第6步骤，评价所述第5步骤中进行的所述第2步骤的试行结果的符合度；以及

第7步骤，将所述第6步骤中进行的评价的结果提示给用户。

14.根据权利要求13所述的物品识别方法，其中，

在所述第2步骤中，抽取所述图像之中的特征点，将所述主数据的特征点的特征量与所述图像之中的识别对象的特征点的特征量进行比对而对应起来，进行推测所述图像之中的识别对象的姿势的处理，排除对应起来的所述主数据的特征点与所述图像之中的识别对象的特征点的位置远离预定以上的特征点，根据排除后残留的特征点来计算所述符合度。

15.根据权利要求13所述的物品识别方法，其中，

只要在所述第3步骤中不被判定为低于停止阈值，就继续进行所述第1步骤至所述第4步骤，在所述第1步骤至所述第4步骤的背景下进行所述第5步骤至所述第7步骤。

Images