CN114930388A - 工件图像解析装置、工件图像解析方法以及程序 - Google Patents

Abstract

本发明的目的在于减少测量工件所需的工作负荷。工件图像解析装置具备：显示部，其显示工业机械的加工对象的工件的图像；解析对象指定部，其接收针对所述工件的图像的解析对象的指定；特征提取部，其在现实世界的坐标系中提取由所述解析对象指定部指定的所述解析对象的结构性特征；解析项目设定部，其接收针对所述工件的图像的解析项目的指定；以及物理量计算部，其从所述解析对象的结构性特征中提取由所述解析项目设定部指定的解析项目所涉及的物理量的计算所需的特征，并使用提取出的所述特征来计算所述物理量。

Description

工件图像解析装置、工件图像解析方法以及程序

技术领域

本发明涉及工件图像解析装置、工件图像解析方法以及程序。

背景技术

以往，已知有为了进行机床的加工的目的等而测量成为加工对象的工件的技术。

在测量工件的情况下，使用了触摸传感器(触摸探头)、激光传感器的测量方法通常在分辨率、精度高这一点上具有优点，但存在一次能够测量的范围窄、测量时间变长这一缺点。并且，例如在利用触摸传感器进行测量的情况下，操作员手动地使触摸传感器移动，因此为了不损伤工件、触摸传感器，对于操作员而言需要很大的作业负担。

为了减轻这样的作业负担，已知有当输入测量点、临近点的坐标时，自动生成使触摸传感器移动的测量程序的结构。然而，在考虑坐标系的同时掌握并输入这样的多个点的坐标对于操作员而言依然需要较大的作业负担。

另一方面，使用由视觉传感器等取得的图像来测量工件的形状、位置等的方法通常具有能够在短时间内测量大范围这样的优点，但在测定分辨率、重复精度的观点上，具有在用于工件坐标系的设定等机械加工的准备的情况下不实用这样的缺点。

针对这样的课题，提出了通过将工件图像与基于触摸传感器、激光传感器的测量方法组合来相互补充双方的缺点的工件测量方法。

例如，已知有如下方法：将由视觉传感器取得到的工件图像显示于显示器，用户通过触摸操作在图像上指定测量点、临近点，基于该点的坐标，生成基于触摸探头的自动测量程序。例如，参照专利文献1。

现有技术文献

专利文献

专利文献1：日本特开2018-018155号公报

发明内容

发明要解决的课题

但是，在专利文献1所记载的技术中，根据与测量点、临近点等的设定相关的知识、经验、测量对象，有时需要设定多个测量点、临近点、方向等的繁杂的手续。因此，认为如果能够以更少的操作直观地指定测量对象，则能够实现更高的便利性。

因此，期望降低工件的测量所需的作业负担的技术。

用于解决课题的手段

(1)本公开的工件图像解析装置的一个方式具备：显示部，其显示工业机械的加工对象的工件的图像；解析对象指定部，其接收针对所述工件的图像的解析对象的指定；特征提取部，其在现实世界的坐标系中提取由所述解析对象指定部指定的所述解析对象的结构性特征；解析项目设定部，其接收针对所述工件的图像的解析项目的指定；以及物理量计算部，其从所述解析对象的结构性特征中提取由所述解析项目设定部指定的解析项目所涉及的物理量的计算所需的特征，并使用提取出的所述特征来计算所述物理量。

(2)本公开的工件图像解析方法的一个方式具备：显示步骤，显示工业机械的加工对象的工件的图像；解析对象指定步骤，接收针对所述工件的图像的解析对象的指定；特征提取步骤，在现实世界的坐标系中提取在所述解析对象指定步骤中指定的所述解析对象的结构性特征；解析项目设定步骤，接收针对所述工件的图像的解析项目的指定；以及物理量计算步骤，从所述解析对象的结构性特征中提取在所述解析项目设定步骤中指定的解析项目所涉及的物理量的计算所需的特征，并使用提取出的所述特征来计算所述物理量。

(3)本公开的程序的一个方式使计算机实现如下功能：显示控制功能，其显示工业机械的加工对象的工件的图像；解析对象指定功能，其接收针对所述工件的图像的解析对象的指定；特征提取功能，其在现实世界的坐标系中提取在所述解析对象指定功能中指定的所述解析对象的结构性特征；解析项目设定功能，其接收针对所述工件的图像的解析项目的指定；以及物理量计算功能，其从所述解析对象的结构性特征中提取在所述解析项目设定功能中指定的解析项目所涉及的物理量的计算所需的特征，并使用提取出的所述特征来计算所述物理量。

发明效果

根据一个方式，能够降低工件的测量所需的作业负担。

附图说明

图1是表示一实施方式的工件图像解析装置的结构的框图。

图2是表示在指定解析对象的输入画面中进行的操作的一例的示意图。

图3是表示在指定解析对象的输入画面中进行的操作的一例的示意图。

图4是表示在指定解析对象的输入画面中进行的操作的一例的示意图。

图5是表示在指定解析对象的输入画面中进行的操作的一例的示意图。

图6是表示在指定解析对象的输入画面中进行的操作的一例的示意图。

图7是表示根据用户输入的用于指定的操作来提取结构性特征(立体形状)的处理的一例的示意图。

图8是表示根据用户输入的用于指定的操作来提取结构性特征(立体形状)的处理的一例的示意图。

图9是表示根据用户输入的用于指定的操作来提取结构性特征(立体形状)的处理的一例的示意图。

图10是表示根据用户输入的用于指定的操作来提取结构性特征(立体形状)的处理的一例的示意图。

图11是表示根据用户输入的用于指定的操作来提取结构性特征(立体形状)的处理的一例的示意图。

图12是表示从图像坐标系向机械坐标系的转换的一例的示意图。

图13是表示针对圆筒工件的物理量计算处理的一例的示意图。

图14是表示针对圆筒工件的物理量计算处理的一例的示意图。

图15是表示针对圆筒工件的物理量计算处理的一例的示意图。

图16是表示针对形成有两个孔的长方体工件的物理量计算处理的一例的示意图。

图17是表示针对形成有两个孔的长方体工件的物理量计算处理的一例的示意图。

图18是表示针对形成有两个孔的长方体工件的物理量计算处理的一例的示意图。

图19是表示针对具有球面形状的圆柱工件的物理量计算处理的一例的示意图。

图20是表示针对具有球面形状的圆柱工件的物理量计算处理的一例的示意图。

图21是表示针对具有球面形状的圆柱工件的物理量计算处理的一例的示意图。

图22是针对工件图像解析装置的图像解析处理进行说明的流程图。

具体实施方式

以下，参照附图对一实施方式进行说明。

<一实施方式>

图1是表示一实施方式的工件图像解析装置1的结构的框图。

工件图像解析装置1由数值控制装置或PC(Personal Computer：个人计算机)等信息处理装置构成。

如图1所示，工件图像解析装置1具备CPU(Central Processing Unit)11、ROM12、RAM13、输入部14、显示部15、存储部16、通信部17以及视觉传感器18。

ROM12中预先写入有后述的CPU11执行的、用于控制工件图像解析装置1的各种系统程序。

RAM13由DRAM(Dynamic Random Access Memory：动态随机存取存储器)等半导体存储器构成，存储后述的CPU11执行各种处理时生成的数据。

输入部14由键盘、鼠标或触摸传感器(触摸面板)等输入装置构成，接受用户向工件图像解析装置1的各种信息的输入。

显示部15由LCD(Liquid Crystal Display：液晶显示器)等显示装置构成，显示工件图像解析装置1的各种处理结果。

存储部16由硬盘或闪存等非易失性的存储装置构成，存储图像解析等的程序等。另外，在存储部16中存储有存储由后述的视觉传感器18拍摄到的图像数据的图像数据库(图像DB)16a、存储解析对象的特征的解析对象特征数据库(解析对象特征DB)16b、以及存储有过去的解析履历的解析履历数据库(解析履历DB)16c。并且，存储部16也可以存储工件图像解析装置1的各种处理结果。

通信部17具备基于有线或无线LAN、USB等预定的通信标准进行信号处理的通信接口，控制工件图像解析装置1与其他装置之间进行的通信。

视觉传感器18具备深度照相机或立体照相机等拍摄三维图像的拍摄装置，拍摄成为解析对象的工件的三维图像。另外，所拍摄的三维图像是包含RGB图像和距离图像D的RGBD图像(点群数据)。

CPU11通过执行存储于存储部16的各种程序来控制工件图像解析装置1的整体。例如，如后所述，CPU11执行用于计算由用户指令的工件的各种结构的长度、高度、直径等物理量的计算处理的程序。

通过执行所述计算处理的程序，在CPU11中，作为功能性结构，形成UI显示控制部11a、图像取得部11b、解析对象指定部11c、特征提取部11d、解析项目设定部11e以及物理量计算部11f。

<UI显示控制部11a>

UI显示控制部11a在物理量的计算处理中，显示用于用户输入输出各种信息的用户界面画面(UI画面)。

例如，如后所述，UI显示控制部11a显示用于接受取得未图示的机床的加工对象的工件的图像的指示的输入画面，或者显示用于在所取得的工件的图像中指定解析对象的输入画面，或者显示用于从解析项目的候选中接受选择的输入画面，或者显示所指定的解析对象的解析结果。

此外，在UI显示控制部11a中进行输入的情况下，能够接受基于鼠标、键盘或触摸操作等的输入。例如，除了基于触摸操作的各种输入方式之外，还能够通过键盘的方向键来描绘包围线，或者通过基于鼠标的拖动操作来描绘矩形范围，或者通过键盘的回车键或者鼠标的点击来描绘点等。

另外，工件并不限定于未图示的机床的加工对象，例如也能够应用于包括工业用机器人、服务用机器人等的工业机械的加工对象。

<图像取得部11b>

图像取得部11b取得由视觉传感器18(深度照相机或者立体照相机等)拍摄到的工件的图像数据、或者在CAD(Computer Aided Design：计算机辅助设计)系统中生成的工件的CAD数据等包含工件的三维形状的图像数据。图像取得部11b将所取得的工件的图像数据存储于存储部16(图像DB16a)。

<解析对象指定部11c>

解析对象指定部11c在通过UI显示控制部11a显示于UI画面的指定解析对象的输入画面中，取得用户输入的用于指定的操作内容。

图2至图6是表示在指定解析对象的输入画面中进行的操作的一例的示意图。

在图2所示的例子中，作为用户输入的用于指定的操作内容，在成为解析对象的工件的图像中，分别输入有沿着工件的图像的左右边的直线。在图2所示的例子的情况下，后述的特征提取部11d确定为用户意图解析工件的宽度。

另外，在图3所示的例子中，作为用户输入的用于指定的操作内容，在成为解析对象的工件的图像中，输入包围形成于工件的孔的圆。在图3所示的例子的情况下，后述的特征提取部11d确定为用户意图解析形成于工件的孔的内径。

另外，在图4所示的例子中，作为用户输入的用于指定的操作内容，在成为解析对象的工件的图像中，输入包围工件的图像整体的圆。在图4所示的例子的情况下，例如，用户意图进行工件的定心(原点定位)。

另外，在图5所示的例子中，在成为解析对象的工件的图像中，指定对角线而输入包围工件的图像整体的矩形。在图5所示的例子的情况下，后述的特征提取部11d确定为用户意图进行工件的定心(原点定位)。

另外，在图6所示的示例中，作为用户所输入的用于指定的操作内容，在成为解析对象的工件的图像中，指定了工件的区域内的点。在图6所示的例子的情况下，后述的特征提取部11d确定为用户意图进行工件的定心(原点定位)。

在图4至图6所示的例子中，后述的特征提取部11d均提取工件的轮廓，在轮廓线为二维四边形的情况下，测量4边4顶点而求出工件的中心点。

<特征提取部11d>

特征提取部11d根据由解析对象指定部11c取得的解析对象的指定，从工件的图像中确定解析对象，并提取(检测)所确定的解析对象的结构性特征(立体形状)。而且，特征提取部11d根据RGBD图像的距离图像D以及显示器的平面坐标系(图像坐标系)与工作台坐标系的转换式，将检测出的结构性特征转换为现实世界的坐标系(工作台坐标系)。

另外，特征提取部11d将所提取的解析对象的结构性特征存储于存储部16(解析对象特征DB16b)。

此外，这些图像坐标系和机械坐标系被预先校正并建立了对应。此时，也可以代替显示器的平面坐标系(图像坐标系)而使用照相机的坐标系。

图7至图11是表示特征提取部11d根据用户输入的用于指定的操作来提取结构性特征(立体形状)的处理的一例的示意图。

在图7所示的例子中，在如图2所示那样由用户分别输入了沿着工件的图像的左右边的直线的情况下，特征提取部11d设定各区段(输入的部分)的近旁区域，从其内侧通过坎尼(Canny)法提取轮廓线后，通过霍夫(Hough)变换从提取出的轮廓线检测出2条直线(工件的左右的外缘)。此外，在如图7那样检测出轮廓线的情况下，例如，如果是左侧的轮廓线，则特征提取部11d能够基于在距离图像D中观察的情况下右侧的像素成为凸值、或者由于背景差异而在右侧放置有物体，来判定在轮廓线的右侧有物体。

另外，在图8所示的例子中，在如图3所示由用户输入了包围形成于工件的孔的圆的情况下，特征提取部11d从包围形成于工件的孔的圆的内侧通过蛇形(snake)算法提取轮廓线，并且，根据提取出的轮廓线通过霍夫变换检测出圆(孔)。

另外，在图9所示的例子中，在如图4或图5所示由用户输入了包围工件的图像整体的圆或矩形的情况下，特征提取部11d从包围工件的图像整体的圆或矩形的内侧通过蛇形算法提取轮廓线，从提取出的轮廓线通过霍夫变换检测出4条直线，基于检测出的4条直线，检测出四边形(工件的上下左右的外缘)。

此外，在图9中，如图4或图5所示，由用户输入了包围工件的图像整体的圆或矩形，但也可以如图10所示，由用户输入包围工件的图像的一部分的圆或矩形。在该情况下，特征提取部11d在从包围线的内侧通过蛇形算法未发现封闭的轮廓的情况下，也可以通过扩展区域法提取与包围线的内侧相同颜色的区域。由此，特征提取部11d能够通过霍夫变换从提取出的区域中检测出4条直线，并基于检测出的4条直线来检测出四边形(工件的上下左右的外缘)。

另外，在图11所示的例子中，在如图6所示由用户指定了工件的区域内的点的情况下，特征提取部11d从所指定的工件的区域内的点提取指定点的近旁的颜色信息，通过区域扩展法提取接近指定点近旁的颜色的区域。然后，特征提取部11d通过蛇形算法提取轮廓线，通过霍夫变换从提取出的轮廓线检测出4条直线，基于检测出的4条直线，检测出四边形(工件的上下左右的外缘)。

此外，在上述的例子中，通过首先利用蛇形算法或坎尼法进行轮廓的提取、接着利用霍夫变换检测出圆、直线这样的2阶段的处理来进行结构提取，但不限于此。基于蛇形算法或坎尼法的轮廓的提取作为用于减少霍夫变换时的误检测的预处理来进行，因此也可以跳过基于蛇形算法或坎尼法的轮廓的提取。

图12是表示从图像坐标系向机械坐标系的转换的一例的示意图。

如图12所示，特征提取部11d将检测出的解析对象的结构性特征(工件的左右外缘、孔、工件的上下左右外缘等)的图像坐标转换为现实世界的坐标即工作台坐标(机器坐标)。

由此，特征提取部11d能够取得由用户在UI画面上指定的解析对象的实体的三维形状所涉及的位置信息。

<解析项目设定部11e>

解析项目设定部11e接受针对工件的图像的解析项目的指定。

例如，解析项目设定部11e参照定义了解析项目的种类的存储部16中包含的数据库(未图示)，设定对由特征提取部11d检测出的解析对象的结构性特征进行的解析项目。

具体而言，解析项目设定部11e基于由特征提取部11d检测出的解析对象的结构性特征，参照过去的解析履历信息(解析履历DB16c)，列出能够选择为解析项目的项目(解析项目的候选)。

另外，解析项目设定部11e对列出的解析项目的候选进行排序。具体而言，解析项目设定部11e参照构造物的种类、形状、加工状况(加工前、加工中、加工后)、加工程序的内容、过去的解析履历等，对列出的解析项目的候选进行排序。通过解析项目设定部11e进行了排序的解析项目的候选通过UI显示控制部11a按照排序顺序显示于UI画面，并接受用户对解析项目的选择。

此外，关于解析项目设定部11e的动作，在后面叙述。

<物理量计算部11f>

物理量计算部11f从由特征提取部11d检测出的解析对象的结构性特征中提取与由解析项目设定部11e指定的解析项目相关的物理量的计算所需的特征，并使用提取出的特征计算出物理量。

以下，对(A)圆筒工件、(B)形成有两个孔的长方体工件、以及(C)具有球面形状的圆柱工件各自的情况下的物理量计算部11f的动作进行说明。

(A)关于圆筒工件的情况

如图13所示，图像取得部11b例如取得由3D照相机的视觉传感器18拍摄到的圆筒工件的图像数据，UI显示控制部11a将所取得的RGB图像显示于UI画面。解析对象指定部11c取得由用户经由输入部14输入的用于指定解析对象的包围线。然后，特征提取部11d将所取得的包围线作为初始值，通过蛇形算法提取粗线所示的圆筒外侧的轮廓线。接着，特征提取部11d将通过蛇形算法提取出的轮廓线及其内侧作为解析对象区域，将解析对象区域内的图像特征(轮廓)全部提取。即，如图14所示，特征提取部11d能够提取圆筒工件的外侧和内侧的粗线所示的两个轮廓线。

特征提取部11d基于RGBD图像的距离图像D、以及图像坐标系与工作台坐标系的转换式，将提取出的轮廓线上的各点转换为现实世界的坐标系(工作台坐标系)，以便能够准确地测定在图像上存在失真且比例也与现实世界不同的圆筒工件。而且，特征提取部11d能够对转换为工作台坐标系的轮廓进行圆检测、直线检测等，取得解析对象区域由两个同心圆构成这样的结构性特征。

此外，特征提取部11d也可以使用CAD数据、加工程序等追加信息来筛选解析对象的结构性特征。另外，也可以由用户在UI画面上进行指定。

另外，特征提取部11d也能够从距离图像D取得解析对象区域与周围(工作台)相比向Z方向突出这样的结构性特征。

接下来，解析项目设定部11e在由特征提取部11d检测出解析对象的圆筒工件的结构性特征时，将“工件的加工状况”和“解析对象区域的凹凸”、“轮廓段(輪郭セグメント)”、“轮廓段彼此的关系”的解析对象的结构性特征作为查询，对存储部16的解析履历DB16c进行检索。即，解析项目设定部11e将“工件的加工状况：加工后”和作为圆筒工件的结构性特征的“解析对象区域的凹凸：比周围凸”、“轮廓段：圆×2”、“轮廓段彼此的关系：同心”作为查询来检索解析履历DB16c。例如，解析项目设定部11e将“外径”、“高度”、“内径”、“圆周长”等作为解析项目而列出可选择的项目(解析项目的候选)。

并且，解析项目设定部11e在作为过去的解析履历记录的解析履历DB16c中，通过参照对与本次的圆筒工件相同的工件执行的解析项目的频率等，对列出的解析项目的候选进行排序。即，解析项目设定部11e将“工件的加工状况：加工后”、“解析对象区域的凹凸：比周围凸”、“轮廓段：圆×2”、“轮廓段彼此的关系：同心”作为查询来检索解析履历DB16c。解析项目设定部11e例如在与本次的圆筒工件同样的解析对象的过去的解析履历中，在“外径”的解析为“70％”、“高度”的解析为“15％”、“内径”的解析为“10％”、“圆周长”的解析为“5％”等的情况下，将解析项目的候选按照被选择的可能性高的“外径”、“高度”、“内径”、“圆周长”等的顺序重新排列。

如图15所示，UI显示控制部11a将由解析项目设定部11e进行排序后的解析项目的候选按照排序顺序显示于UI画面。然后，接受用户的选择。

例如，在用户从解析项目的候选中选择“外径”作为所期望的解析项目的情况下，物理量计算部11f为了计算外径，提取外侧的圆状轮廓线作为解析项目的物理量的计算所需的特征。物理量计算部11f使用提取出的圆状轮廓线的各点的坐标值，例如根据最小二乘法等公知的方法计算出圆的直径。如图15所示，UI显示控制部11a也可以将由物理量计算部11f计算出的外侧的圆的直径的值显示于UI画面。

此外，也可以在特征提取部11d将从圆筒工件提取出的轮廓线上的各点转换为工作台坐标系时计算出圆筒工件的外径等。

(B)关于形成有两个孔的长方体工件的情况

如图16所示，图像取得部11b取得由3D照相机的视觉传感器18从斜上方拍摄到的形成有两个孔的长方体工件的图像数据。

UI显示控制部11a将所取得的RGB图像显示于UI画面。与图6的情况同样地，解析对象指定部11c取得由用户经由输入部14输入的用于指定解析对象的点。然后，特征提取部11d通过区域扩展法求出具有与所取得的点的近旁相同的亮度值的区域，将用阴影表示的区域作为解析对象区域。接着，如图17所示，特征提取部11d将解析对象区域内的粗线所示的图像特征(轮廓)全部提取。

特征提取部11d基于RGBD图像的距离图像D、以及图像坐标系与工作台坐标系的转换式，将提取出的轮廓线上的各点转换为现实世界的坐标系(工作台坐标系)，以便能够准确地测定在图像上存在失真且形成有比例也与现实世界不同的两个孔的长方体工件。然后，特征提取部11d对转换为工作台坐标系的轮廓进行圆检测、直线检测、长方体检测等，能够取得解析对象区域由作为长方体的一部分的9条轮廓线和2个圆构成这样的结构性特征。另外，特征提取部11d也能够从距离图像D取得解析对象区域与周围(工作台)相比向Z方向突出这样的结构性特征。

接着，解析项目设定部11e在由特征提取部11d检测出解析对象的形成有2个孔的长方体工件的结构性特征时，将“工件的加工状况”和“解析对象区域的凹凸”、“轮廓段”、“轮廓段彼此的关系”的解析对象的结构性特征作为查询，对存储部16的解析履历DB16c进行检索。即，解析项目设定部11e将“工件的加工状况：加工后”和形成有2个孔的长方体工件的结构性特征即“解析对象区域的凹凸：比周围凸”、“轮廓段：直线×9以及圆×2”、“轮廓段彼此的关系：长方体状”作为查询来检索解析履历DB16c。例如，解析项目设定部11e列出能够将“长方体中心”、“长方体高度”、“圆的内径”等选择为解析项目的项目(解析项目的候选)。

并且，解析项目设定部11e在作为过去的解析履历的解析履历DB16c中，参照对与本次的形成有两个孔的长方体工件相同的工件执行的解析项目的频度等，来对列出的解析项目的候选进行排序。即，解析项目设定部11e将“工件的加工状况：加工后”、“解析对象区域的凹凸：比周围凸”、“轮廓段：直线×9以及圆×2”、“轮廓段彼此的关系：长方体状”作为查询来检索解析履历DB16c。解析项目设定部11e例如在与本次的形成有2个孔的长方体工件同样的解析对象的过去的解析履历中，在“长方体中心”的解析为“60％”、“长方体高度”的解析为“25％”、“圆的内径”的解析为“5％”等的情况下，将解析项目的候选按照被选择的可能性高的“长方体中心”、“长方体高度”、“圆的内径”等的顺序重新排列。

如图18所示，UI显示控制部11a将由解析项目设定部11e进行排序后的解析项目的候选按照排序顺序显示于UI画面。然后，接受用户的选择。此外，可以将排名第1位的解析项目的候选自动地设定为解析项目，也可以事先决定设定至排名第N位为止的解析项目(N为2以上的整数)。

例如，在用户从解析项目的候选中选择“长方体中心”作为所期望的解析项目的情况下，物理量计算部11f为了计算长方体的中心坐标，提取9条直线轮廓线作为解析项目的物理量的计算所需的特征。物理量计算部11f使用提取出的直线轮廓线各4条来分别计算出长方体3个面的中点。物理量计算部11f根据计算出的长方体3个面的中点来计算出长方体的中心坐标。如图18所示，UI显示控制部11a也可以将由物理量计算部11f计算出的长方体的中心坐标显示于UI画面。

此外，也可以在特征提取部11d将从形成有两个孔的长方体工件提取出的轮廓线上的各点转换为工作台坐标系时计算出形成有两个孔的长方体工件的中心坐标等。

(C)关于具有球面形状的圆柱工件的情况

如图19所示，图像取得部11b取得由3D照相机的视觉传感器18从正上方拍摄到的具有球面形状的圆柱工件的图像数据，UI显示控制部11a将取得的RGB图像显示于UI画面。解析对象指定部11c取得由用户经由输入部14输入的用于指定解析对象的包围线。然后，特征提取部11d将所取得的包围线作为初始值，通过蛇形算法提取粗线所示的半球部分的轮廓线。接着，特征提取部11d将通过蛇形算法提取出的轮廓线及其内侧作为解析对象区域，提取解析对象区域内的图像特征(轮廓和各像素的图像坐标值)。

特征提取部11d根据RGBD图像的距离图像D以及图像坐标系与工作台坐标系的转换式，将提取出的各像素的图像坐标值转换为现实世界的坐标系(工作台坐标系)。然后，特征提取部11d能够对转换为工作台坐标系的轮廓线进行圆检测等，取得解析对象区域由一个圆(即，一个连续面)构成这样的结构性特征。

另外，特征提取部11d例如能够对提取出的点群(转换为工作台坐标系的各像素)进行球检测，取得解析对象区域为球面这样的结构性特征。另外，特征提取部11d也能够从距离图像D取得解析对象区域与周围(工作台)相比向Z方向突出这样的结构性特征。

此外，特征提取部11d也可以使用CAD数据、加工程序等追加信息来筛选解析对象的结构性特征。另外，也可以由用户在UI画面上进行指定。

接着，解析项目设定部11e在由特征提取部11d检测到解析对象的具有球面形状的圆柱工件的结构性特征时，将“工件的加工状况”和“解析对象区域的凹凸”、“面段”、“面段彼此的关系”的工件的结构性特征作为查询，对存储部16的解析履历DB16c进行检索。即，解析项目设定部11e将“工件的加工状况：加工后”和作为具有球面形状的圆柱工件的结构性特征的“解析对象区域的凹凸：比周围凸”、“面段：3D球面×1”、“面段彼此的关系：不明(﹣)”作为查询来检索解析履历DB16c。例如，解析项目设定部11e列出能够将“表面粗糙度”、“球面中心”、“球径”等选择为解析项目的项目(解析项目的候选)。

并且，解析项目设定部11e在作为过去的解析履历记录的解析履历DB16c中，参照对与本次的具有球面形状的圆柱工件相同的工件执行的解析项目的频率等，对列出的解析项目的候选进行排序。即，解析项目设定部11e将“工件的加工状况：加工后”、“解析对象区域的凹凸：比周围凸”、“面段：3D球面×1”、“面段彼此的关系：不明(﹣)”作为查询来检索解析履历DB16c。解析项目设定部11e例如在与本次的具有球面形状的圆柱工件同样的解析对象的过去的解析履历中，在“面粗糙度”的解析为“50％”、“球面中心”的解析为“25％”、“球径”的解析为“25％”的情况下，将解析项目的候选按照被选择的可能性高的“表面粗糙度”、“球面中心”、“球径”等的顺序重新排列。

如图21所示，UI显示控制部11a将由解析项目设定部11e进行排序后的解析项目的候选按照排序顺序显示于UI画面。然后，接受用户的选择。

此外，也可以将所有的解析项目的候选自动地设定为解析项目。在该情况下，优选事先决定将所有的解析项目的候选设定为解析项目。

例如，在所有的解析项目的候选被设定为解析项目的情况下，物理量计算部11f为了计算半球面的表面粗糙度等，提取解析对象区域内的点群(转换为工作台坐标的各像素)的工作台坐标值。物理量计算部11f使用提取出的点群的工作台坐标值，根据最小二乘法等公知的方法计算球面的参数(球的中心和球径)。此时，物理量计算部11f例如也计算平方误差的平方根(RMS或Rq)作为“表面粗糙度”。如图21所示，UI显示控制部11a也可以在UI画面中显示由物理量计算部11f计算出的Rq(表面粗糙度)、球面中心、球径。

此外，也可以在将特征提取部11d提取出的各像素的图像坐标值转换为工作台坐标系时计算球面的参数(球的中心以及球径)。另外，也可以使用CAD数据的信息来计算球面的参数(球的中心以及球径)。

另外，在上述的实施方式中，对具有球面形状的圆柱工件进行了说明，但形状并不限定于此。例如，也可以是具有自由曲面形状的工件，在该情况下，也能够在通过与具有球面形状的工件同样的步骤提取点群后，例如通过与CAD数据的信息进行比较，来计算表面粗糙度等物理量。

<工件图像解析装置1的图像解析处理>

接下来，参照图22说明工件图像解析装置1的处理流程。

图22是对工件图像解析装置1的图像解析处理进行说明的流程图。

通过经由输入部14输入使图像解析处理启动的指示来开始图像解析处理。

在步骤S1中，UI显示控制部11a在图像解析处理中显示用于用户输入输出各种信息的用户界面画面(UI画面)。

在步骤S2中，图像取得部11b取得由视觉传感器18(深度照相机或者立体照相机等)拍摄到的工件的图像数据、或者在CAD(Computer Aided Design：计算机辅助设计)系统中生成的工件的CAD数据等包含工件的三维形状的图像数据。此时取得的工件的图像数据存储于存储部16。

在步骤S3中，UI显示控制部11a显示用于在取得的工件的图像中指定解析对象的输入画面。

在步骤S4中，解析对象指定部11c取得用户在指定解析对象的输入画面中输入的用于指定的操作内容。

在步骤S5中，特征提取部11d根据用户输入的用于指定的操作内容，在工件的图像中确定作为解析对象的部分即解析对象区域。

在步骤S6中，特征提取部11d提取所确定的解析对象区域的图像特征(轮廓)。

在步骤S7中，特征提取部11d将提取出的图像特征(轮廓)从显示器的平面坐标系(图像坐标系)转换为载置有工件的工作台上的现实世界的坐标系(工作台坐标系)。

在步骤S8中，特征提取部11d对转换为现实世界的坐标系的图像特征(轮廓)进行圆检测、直线检测等，取得解析对象的结构性特征。

在步骤S9中，解析项目设定部11e基于取得的解析对象的结构性特征，参照过去的解析履历(存储部16的解析履历DB16c)，列出能够选择为解析项目的解析项目的候选。

在步骤S10中，解析项目设定部11e基于过去的解析履历等对列出的解析项目的候选进行排序。

在步骤S11中，UI显示控制部11a将由解析项目设定部11e进行排序后的解析项目的候选按照排序顺序显示于UI画面。

在步骤S12中，UI显示控制部11a显示用于从解析项目的候选中接受选择的输入画面，接受用户的选择。

在步骤S13中，物理量计算部11f从转换为工作台坐标系的解析对象区域的数据中提取计算所选择的解析项目的物理量所需的特征(轮廓)。

在步骤S14中，物理量计算部11f基于提取出的特征(轮廓)，计算出所选择的解析项目的物理量。

在步骤S15中，UI显示控制部11a将在步骤S14中计算出的物理量显示于UI画面。

在步骤S15之后，图像解析处理结束。

如上所述，一实施方式的工件图像解析装置1接受用户对工件的图像进行的用于指定解析对象的操作。工件图像解析装置1根据用户的指定，在工件的图像中确定解析对象区域，并提取现实世界的坐标系中的解析对象的结构性特征。工件图像解析装置1在UI画面上显示能够从提取出的解析对象的结构性特征中选择的解析项目的候选，并计算出由用户选择出的解析项目的物理量。

由此，工件图像解析装置1不需要与解析项目相关的预定物理量的计算所需的图像解析的设定所涉及的繁杂的步骤、专业知识、以及接触式探头等测量器，能够仅通过视觉传感器18高速地进行解析。而且，工件图像解析装置1能够降低工件的测量所需的作业负担。

以上，对一实施方式进行了说明，但工件图像解析装置1并不限定于上述的实施方式，包含能够实现目的的范围内的变形、改良等。

<变形例1>

在上述的实施方式中，工件图像解析装置1使用由视觉传感器18拍摄到的一个图像来计算出用户选择的解析项目的物理量，但并不限定于此。例如，工件图像解析装置1也可以使视觉传感器18相对于工件相对移动，取得拍摄了工件的多个图像，生成拍摄了所有所述工件的一个高分辨率的图像。

由此，即使是未收敛于一个视觉传感器的拍摄范围的较大的工件，工件图像解析装置1也能够取得工件整体的图像。

另外，除了视觉传感器的相对移动以外，也可以通过多个视觉传感器的拍摄来取得多张图像。

此时，关于解析对象的指定，例如也可以在步骤S4的解析对象的指定中能够对多张图像分别指定解析对象，对在步骤S7中从解析对象提取出的特征进行整合等。

<变形例1-2>

另外，例如，在上述的实施方式中，视觉传感器18也可以基于数值控制装置、机床的分辨率的设定信息，进行视觉传感器的相对移动后进行拍摄以便在物理量的计算时得到所需的分辨率。

例如，考虑设定为数值控制装置以1μm的定位分辨率控制机床的情况。

此时，例如在用户指定的解析对象为长方体工件、解析项目为“重心位置”的情况下，对于最终由物理量计算部计算出的物理量，为了在机床中利用该物理量，大多情况下需要数μm以下的分辨率。

通常，在使用了视觉传感器的图像测定中，视觉传感器的分辨率的目标由像素数相对于视觉传感器的拍摄范围的比率表示。例如，在视觉传感器的拍摄范围为10cm正方形而照相机的像素数为纵1000×横1000的情况下，分辨率的目标为100μm。

该视觉传感器的分辨率例如能够通过使视觉传感器与工件的相对位置接近而缩小视觉传感器的拍摄范围来提高。

因此，例如在将数值控制装置的分辨率的设定信息设为目标分辨率的情况下，解析对象的指定也可以在拍摄了将工件整体纳入视野那样的大范围的图像上进行，在步骤S6中提取解析对象的特征之前，为了得到作为目标的分辨率使视觉传感器相对移动，然后再一次进行拍摄。另外，在无论使视觉传感器如何相对移动都无法得到作为目标的分辨率的情况下，例如也可以显示警告消息。

由此，能够得到在计算物理量时所需的分辨率。

<变形例2>

另外，例如，在上述的实施方式中，工件图像解析装置1在解析对象的指定以及取得解析对象的结构性特征之后，让用户选择解析项目，但并不限定于此。例如，工件图像解析装置1也可以在让用户选择解析项目后，指定解析对象并取得解析对象的结构性特征。

由此，工件图像解析装置1通过解析项目的选择来限定解析对象，因此能够更适当地检测出成为解析对象的结构性特征。

<变形例3>

另外，例如，在上述的实施方式中，工件图像解析装置1在列出解析项目的候选之后，基于解析履历DB16c对解析项目的候选进行排序，但并不限定于此。例如，工件图像解析装置1也可以不进行排序，而仅列出所有解析项目的一览表。

另外，工件图像解析装置1也可以不仅基于解析履历DB16c，还基于使用了机器学习的推定器来列出解析项目。

<变形例4>

另外，例如，在上述的实施方式中，视觉传感器18为深度照相机或者3D照相机，但并不限定于此。例如，在预先知道工件的形状且所述工件的高度固定的情况下，视觉传感器18也可以是2D照相机。以下，将视觉传感器18作为2D照相机进行说明。

例如，在图13的圆筒工件的情况下，视觉传感器18从正上方拍摄圆筒工件。图像取得部11b取得由视觉传感器18从正上方拍摄到的圆筒工件的图像数据，UI显示控制部11a将所取得的图像显示于UI画面。与图13的情况同样地，解析对象指定部11c取得指定用户输入的解析对象的包围线。然后，特征提取部11d将所取得的包围线作为初始值，通过蛇形算法提取粗线所示的圆筒外侧的轮廓线。接着，特征提取部11d将通过蛇形算法提取出的轮廓线及其内侧作为解析对象区域，将解析对象区域内的图像特征(轮廓)全部提取。由此，与图14的情况同样地，特征提取部11d能够提取圆筒工件的外侧和内侧的粗线所示的两个轮廓线。此外，特征提取部11d也可以使用CAD数据、加工程序等追加信息来筛选解析对象的结构性特征。另外，也可以由用户在显示器上进行指定。

另外，特征提取部11d基于通过对焦法预先计算出的视觉传感器18与圆筒工件之间的距离、以及图像坐标系与工作台坐标系的转换式，将提取出的轮廓线上的各点转换为现实世界的坐标系(工作台坐标系)，以便能够准确地测定在图像上存在失真且比例也与现实世界不同的圆筒工件。由此，与图14的情况同样地，特征提取部11d能够对转换为工作台坐标系的轮廓进行圆检测、直线检测等，取得解析对象区域由2个同心圆构成这样的结构性特征。

另外，特征提取部11d例如由于事先取得的工作台的亮度值与解析对象区域的周围的亮度值相同，因此可知解析对象区域的周围是高度“0”的工作台，因此也能够取得解析对象区域与周围(工作台)相比向Z方向突出这样的结构性特征。之后的处理与视觉传感器18为深度照相机或3D照相机的情况下的处理相同，因此省略说明。

此外，在对相同的工件进行量产时，也可以预先保存针对第一个工件使用的解析对象区域、特征、物理量计算的步骤、照相机的相对移动的信息、或者工件图像等，在第二个以后的工件中，计算出与第一个工件图像之间的位置、角度的移动量，在对为了第一个工件而生成的解析对象区域、特征的坐标值加上所述移动量，修正物理量计算的步骤，由此跳过用户针对第二个以后的工件的解析对象的指定操作和解析项目的决定操作，使解析动作完全自动化。

此外，一实施方式的工件图像解析装置1所包含的各功能能够通过硬件、软件或它们的组合分别实现。在此，通过软件来实现是指通过计算机读入程序并执行来实现。

另外，工件图像解析装置1所包含的各结构部能够通过包含电子电路等的硬件、软件或它们的组合来实现。

可以使用任何类型的非暂时性计算机可读介质(Non-transitory computerreadable medium)来存储程序并将其提供给计算机。非暂时性计算机可读介质包括各种类型的有形记录介质(Tangible storage medium)。非暂时性计算机可读介质的示例包括磁记录介质(例如，软盘、磁带、硬盘驱动器等)、光磁记录介质(例如，磁光盘)、CD-ROM(ReadOnly Memory：只读存储器)、CD-R、CD-R/W和半导体存储器(例如，掩模ROM、PROM(Programmable ROM：可编程ROM)、EPROM(Erasable PROM：可擦除PROM)、闪存ROM、RAM等)。另外，程序也可以通过各种类型的暂时性的计算机可读介质(Transitory computerreadable medium)提供给计算机。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性计算机可读介质可以经由电线和光纤等有线通信线路或无线通信线路将程序提供给计算机。

此外，记述记录在记录介质中的程序的步骤当然包括按照其顺序按时间序列进行的处理，也包括未必按时间序列进行处理而并行或单独执行的处理。

换言之，本公开的工件图像解析装置、工件图像解析方法以及程序能够采用具有如下结构的各种实施方式。

(1)本公开的工件图像解析装置1具备：显示部15，其显示工业机械的加工对象的工件的图像；解析对象指定部11c，其接收针对工件的图像的解析对象的指定；特征提取部11d，其在现实世界的坐标系中提取由解析对象指定部11c指定的解析对象的结构性特征；解析项目设定部11e，其接收针对工件的图像的解析项目的指定；以及物理量计算部11f，其从解析对象的结构性特征中提取由解析项目设定部11e指定的解析项目所涉及的物理量的计算所需的特征，并使用提取出的所述特征来计算物理量。

根据该工件图像解析装置1，能够降低工件的测量所需的作业负担。

(2)在(1)所述的工件图像解析装置1中，解析项目设定部11e对针对解析对象的结构性特征的解析项目的候选进行排序并显示。

由此，工件图像解析装置1能够可靠地指定用户所希望的解析项目。

(3)在(1)或(2)所记载的工件图像解析装置1中，工件的图像也可以是该工件的二维或三维的拍摄图像以及该工件的CAD数据的图像中的至少任一个。

由此，工件图像解析装置1能够准确地取得解析对象的结构性特征。

(4)本公开的工件图像解析方法具备：显示步骤，显示工业机械的加工对象的工件的图像；解析对象指定步骤，接收针对工件的图像的解析对象的指定；特征提取步骤，在现实世界的坐标系中提取在解析对象指定步骤中指定的解析对象的结构性特征；解析项目设定步骤，接收针对工件的图像的解析项目的指定；以及物理量计算步骤，从解析对象的结构性特征中提取在解析项目设定步骤中指定的解析项目所涉及的物理量的计算所需的特征，并使用提取出的特征来计算物理量。

根据该工件图像解析方法，能够起到与(1)同样的效果。

(5)本公开的程序使计算机实现如下功能：显示控制功能，其显示工业机械的加工对象的工件的图像；解析对象指定功能，其接收针对工件的图像的解析对象的指定；特征提取功能，其在现实世界的坐标系中提取在解析对象指定功能中指定的解析对象的结构性特征；解析项目设定功能，其接收针对工件的图像的解析项目的指定；以及物理量计算功能，其从解析对象的结构性特征中提取在解析项目设定功能中指定的解析项目所涉及的物理量的计算所需的特征，并使用提取出的特征来计算物理量。

根据该程序，能够起到与(1)同样的效果。

符号说明

1 工件图像解析装置

11 CPU

11a UI显示控制部

11b 图像取得部

11c 解析对象指定部

11d 特征提取部

11e 解析项目设定部

11f 物理量计算部

12 ROM

13 RAM

14 输入部

15 显示部

16 存储部

16a 图像数据库

16b 解析对象特征数据库

16c 解析履历数据库

17 通信部

18 视觉传感器。

Claims (5)

1.一种工件图像解析装置，其特征在于，具备：

显示部，其显示工业机械的加工对象的工件的图像；

解析对象指定部，其接收针对所述工件的图像的解析对象的指定；

特征提取部，其在现实世界的坐标系中提取由所述解析对象指定部指定的所述解析对象的结构性特征；

解析项目设定部，其接收针对所述工件的图像的解析项目的指定；以及

物理量计算部，其从所述解析对象的结构性特征中提取由所述解析项目设定部指定的解析项目所涉及的物理量的计算所需的特征，并使用提取出的所述特征来计算所述物理量。

2.根据权利要求1所述的工件图像解析装置，其特征在于，

所述解析项目设定部对针对所述解析对象的结构性特征的解析项目的候选进行排序并显示。

3.根据权利要求1或2所述的工件图像解析装置，其特征在于，

所述工件的图像是该工件的二维或三维的拍摄图像以及该工件的CAD数据的图像中的至少任一个。

4.一种工件图像解析方法，其特征在于，具备如下步骤：

显示步骤，显示工业机械的加工对象的工件的图像；

解析对象指定步骤，接收针对所述工件的图像的解析对象的指定；

特征提取步骤，在现实世界的坐标系中提取在所述解析对象指定步骤中指定的所述解析对象的结构性特征；

解析项目设定步骤，接收针对所述工件的图像的解析项目的指定；以及

物理量计算步骤，从所述解析对象的结构性特征中提取在所述解析项目设定步骤中指定的解析项目所涉及的物理量的计算所需的特征，并使用提取出的所述特征来计算所述物理量。

5.一种程序，其特征在于，使计算机实现如下功能：

显示控制功能，其显示工业机械的加工对象的工件的图像；

解析对象指定功能，其接收针对所述工件的图像的解析对象的指定；

特征提取功能，其在现实世界的坐标系中提取在所述解析对象指定功能中指定的所述解析对象的结构性特征；

解析项目设定功能，其接收针对所述工件的图像的解析项目的指定；以及

物理量计算功能，其从所述解析对象的结构性特征中提取在所述解析项目设定功能中指定的解析项目所涉及的物理量的计算所需的特征，并使用提取出的所述特征来计算所述物理量。

Images