CN111522295B - 机械控制装置 - Google Patents

机械控制装置 Download PDF

Info

Publication number
CN111522295B
CN111522295B CN202010066799.XA CN202010066799A CN111522295B CN 111522295 B CN111522295 B CN 111522295B CN 202010066799 A CN202010066799 A CN 202010066799A CN 111522295 B CN111522295 B CN 111522295B
Authority
CN
China
Prior art keywords
distance
accuracy
measurement
imaging
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010066799.XA
Other languages
English (en)
Other versions
CN111522295A (zh
Inventor
福岛知纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN111522295A publication Critical patent/CN111522295A/zh
Application granted granted Critical
Publication of CN111522295B publication Critical patent/CN111522295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205—Details
    • G01S5/021—Calibration, monitoring or correction
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q15/00—Automatic control or regulation of feed movement, cutting velocity or position of tool or work
    • B23Q15/20—Automatic control or regulation of feed movement, cutting velocity or position of tool or work before or after the tool acts upon the workpiece
    • B23Q15/22—Control or regulation of position of tool or workpiece
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37042—Photographic, picture on film, photogrammetry
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45136—Turning, lathe
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/50—Machine tool, machine tool null till machine tool work handling
    • G05B2219/50064—Camera inspects workpiece for errors, correction of workpiece at desired position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种机械控制装置，提高安全性。机械控制装置(10)具有：拍摄控制部(11)，其根据控制指令来控制拍摄装置(2)，以便在不同的2个以上的拍摄位置处拍摄2个以上的图像；拍摄位置信息获取部(13)，其获取2个以上的拍摄位置的位置信息；测量距离恢复部(14)，其利用立体照相机的方法，根据至少2个图像、至少2个拍摄位置间的距离信息、拍摄装置(2)的参数，恢复对象物(W)的测量距离作为对象物(W)的位置信息；测量精度运算部(15)，其根据至少2个图像、至少2个拍摄位置间的距离信息、拍摄装置(2)的参数，来运算对象物(W)的测量距离的测量精度；区域指定部(12)，其将对象物(W)的一部分区域指定为指定区域；以及测量精度判定部(16)，其在指定区域中判定对象物(W)的测量精度是否满足预定的精度。

Description

机械控制装置
技术领域
本发明涉及对机床或者工业用机器人等机械进行控制的机械控制装置。
背景技术
例如，存在使用工具对工件(对象物)实施切削等加工(预定的处理)的机床的数值控制装置。在这样的数值控制装置中，当对工具与工件的相对位置进行控制时，期待利用基于由视觉传感器(拍摄装置)拍摄到的工件的图像的工件的位置以及姿势的信息(例如，参照专利文献1)。
现有技术文献
专利文献1：专利第2889011号公报
与机床的数值控制装置的加工精度进行比较，视觉传感器的测量精度低。因此，当不考虑视觉传感器的测量精度而将基于由视觉传感器拍摄到的工件的图像的工件的位置以及姿势的信息用于工件的定位等时，可能产生工具与工件的冲突，可能产生工具或者工件的破损。
发明内容
本发明的目的在于提供一种机械控制装置，根据由拍摄装置拍摄到的对象物的图像来进行对机械的控制，提高安全性。
(1)本发明有关的机械控制装置(例如，后述的机械控制装置10)，控制针对对象物(例如，后述的工件W)进行预定作业的机械，且根据由拍摄装置(例如，后述的视觉传感器2)拍摄到的包含对象物的图像来控制所述机械与所述对象物之间的相对位置，具有：拍摄控制部(例如，后述的拍摄控制部11)，其根据控制指令来控制所述拍摄装置，以便控制所述拍摄装置的位置以及姿势，在不同的2个以上的拍摄位置处拍摄包含所述对象物的2个以上的图像；拍摄位置信息获取部(例如，后述的拍摄位置信息获取部13)，其获取所述2个以上的拍摄位置的位置信息；测量距离恢复部(例如，后述的测量距离恢复部14)，其利用立体照相机的方法，根据所述2个以上的图像中的至少2个图像、所述2个以上的拍摄位置中的与所述至少2个图像对应的至少2个拍摄位置间的距离信息、所述拍摄装置的参数，恢复所述对象物的测量距离作为所述对象物的位置信息；测量精度运算部(例如，后述的测量精度运算部15)，其根据所述至少2个图像、所述至少2个拍摄位置间的距离信息、所述拍摄装置的参数，来运算所述对象物的测量距离的测量精度；区域指定部(例如，后述的区域指定部12)，其将所述对象物的一部分区域指定为指定区域；以及测量精度判定部(例如，后述的测量精度判定部16)，其在所述指定区域中，判定所述对象物的测量精度是否满足预定的精度。
(2)在(1)所记载的机械控制装置中，可以是，所述测量距离恢复部通过对所述至少2个图像进行区域匹配而针对每一个像素求出视差信息Z，根据每一个所述像素的视差信息Z、所述至少2个拍摄位置间的距离信息D、所述拍摄装置的参数即焦点距离f，通过下述数学公式(1)来计算所述对象物的测量距离H，所述测量精度运算部通过下述数学公式(2)来计算所述对象物的测量距离的测量精度P，所述数学公式(2)通过视差信息Z而对测量距离H进行微分从而求出与邻接像素的测量距离H的差分，
H＝D×f/Z···(1)
P＝|dH/dZ|＝D×f/Z2＝H2/(D×f)···(2)。
(3)(1)或(2)所记载的机械控制装置，可以是，在所述对象物的测量精度不满足所述预定的精度时，所述机械控制装置停止对所述机械的控制。
(4)(1)或(2)所记载的机械控制装置，可以是，在所述对象物的测量精度不满足所述预定的精度时，所述机械控制装置控制所述拍摄装置的位置以及姿势，变更所述至少2个拍摄位置中的至少一方，以便提高所述对象物的测量精度。
(5)(4)所记载的机械控制装置，可以是，在所述对象物的测量精度不满足所述预定的精度时，所述机械控制装置通过在扩大所述至少2个拍摄位置间的距离的方向或者使所述拍摄位置接近所述对象物的方向上控制所述拍摄装置的位置，由此提高所述对象物的测量精度。
(6)(4)或(5)所记载的机械控制装置，可以是，还具有预定精度位置运算部(例如，后述的预定精度位置运算部17)，该预定精度位置运算部在所述指定区域中，根据所述至少2个图像、所述对象物的测量距离、所述拍摄装置的参数，来计算所述对象物的测量精度满足预定的精度的所述至少2个拍摄位置间的距离信息，或者，根据所述至少2个图像、所述至少2个拍摄位置间的距离信息、所述拍摄装置的参数，来计算所述对象物的测量精度满足预定的精度的所述对象物的测量距离，根据由预定精度位置运算部计算出的所述至少2个拍摄位置间的距离信息或者所述对象物的测量距离，来控制所述拍摄装置的位置以及姿势，变更所述至少2个拍摄位置中的至少一方。
(7)在(6)所记载的机械控制装置中，可以是，所述测量距离恢复部通过对所述至少2个图像进行区域匹配而针对每一个像素求出视差信息Z，根据每一个所述像素的视差信息Z、所述至少2个拍摄位置间的距离信息D、所述拍摄装置的参数即焦点距离f，通过下述数学公式(1)来计算所述对象物的测量距离H，所述预定精度位置运算部根据所述对象物的测量距离H、所述拍摄装置的参数即焦点距离f，通过下述数学公式(3)来计算所述对象物的测量精度满足预定精度P’的所述至少2个拍摄位置间的距离D’，或者，根据所述至少2个拍摄位置间的距离D、所述拍摄装置的参数即焦点距离f，通过下述数学公式(4)来计算所述对象物的测量精度满足预定精度P’的所述对象物的测量距离H’，
H＝D×f/Z···(1)
P’＝H2/(D’×f)···(3)
P’＝H’2/(D×f)···(4)。
发明效果
根据本发明，可以提供一种机械控制装置，根据由拍摄装置拍摄到的对象物的图像来进行对机械的控制，提高安全性。
附图说明
图1是表示第1实施方式有关的机床的机械控制装置的主要部分的图。
图2是用于对机械控制装置涉及的视觉传感器的控制进行说明的图。
图3是用于对利用了立体照相机的方法来恢复工件的测量距离进行说明的图。
图4是用于对机械控制装置涉及的满足目标精度的2个拍摄位置(移动量)的运算进行说明的图。
图5是表示机械控制装置涉及的视觉传感器的控制的程序的一例(左部分)与其说明(右部分)的图。
图6是用于对变形例有关的机械控制装置涉及的满足目标精度的2个拍摄位置(移动量)的运算进行说明的图。
图7是表示变形例有关的机械控制装置涉及的视觉传感器的控制的程序的一例(左部分)与其说明(右部分)的图。
附图标记说明
2 视觉传感器(拍摄装置)；
10 机械控制装置；
11 拍摄控制部；
12 区域指定部；
13 拍摄位置信息获取部；
14 测量距离恢复部；
15 测量精度运算部；
16 测量精度判定部；
17 预定精度位置运算部。
具体实施方式
以下，参照附图对本发明的实施方式的一例进行说明。另外，在各图中对相同或者相当的部分标注相同的符号。
(第1实施方式)
图1是表示第1实施方式有关的机床的机械控制装置的主要部分的图。图1所示的机械控制装置10是控制对工件(对象物)W进行预定的作业(例如，切削加工等加工)的机床的数值控制装置。此时，机械控制装置10根据由视觉传感器(Vision Sensor，视觉传感器：拍摄装置)2拍摄到的包含工件W的图像，来识别工件W的位置，控制机床的工具T与工件W之间的相对位置。例如，机械控制装置10可以控制机床的工具T的位置，也可以控制工件W的位置。
当在机床的工具T的附近安装视觉传感器2时，可以将机床的工具T的移动指令与视觉传感器2的移动指令设为相同。
以下，对机械控制装置10涉及的视觉传感器2的控制进行详细说明。
机械控制装置10例如由CPU(Central Processing Unit)、DSP(Digital SignalProcessor)等运算处理器构成。例如通过执行存储在存储部中的预定的软件(程序、应用)来实现机械控制装置10的各种功能。机械控制装置10的各种功能可以通过硬件与软件的协作来实现，也可以只通过FPGA(Field Programmable Gate Array)或硬件(电子电路)来实现。
机械控制装置10具有：拍摄控制部11、区域指定部12、拍摄位置信息获取部13、测量距离恢复部14、测量精度运算部15、测量精度判定部16以及预定精度位置运算部17。
图2是用于对机械控制装置10涉及的视觉传感器2的控制进行说明的图。
如图2所示，拍摄控制部11例如根据存储在存储部(未图示)中的控制指令来控制视觉传感器2，以便控制视觉传感器2的位置以及姿势，在不同的2个拍摄位置处拍摄包含工件W的2个图像。例如，拍摄控制部11使视觉传感器2在预定方向上移动，在拍摄位置间距离(以下，也称为视点间距离)D的2个拍摄位置处通过视觉传感器2来进行工件W的拍摄。
区域指定部12在2个图像中，将工件W的一部分区域指定为指定区域(以下，也称为指定像素、注目像素)。指定区域可以是根据显示于显示部等的拍摄图像而由用户手动指定的工件的区域，也可以是通过拍摄图像的图像处理(例如，特征点提取算法等)而自动指定的工件的区域。
拍摄位置信息获取部13根据上述的控制指令而获取2个拍摄位置的位置信息(例如，照相机坐标系或者机械坐标系上的坐标XYZ)。另外，拍摄位置信息获取部13也可以从机械控制装置10获取移动前后的坐标。
测量距离恢复部14利用立体照相机的方法，根据2个图像、2个拍摄位置间的距离信息、视觉传感器2的参数，恢复工件W的测量距离作为工件W的位置信息。
图3是用于对利用了立体照相机的方法来恢复工件的测量距离进行说明的图。如图3所示，测量距离恢复部14通过对2个图像进行区域匹配而针对每一个像素求出视差Z，根据每一个像素的视差Z、2个拍摄位置间的距离D、视觉传感器2的参数即焦点距离f，通过下述数学公式(1)来计算工件W的测量距离H。
H＝D×f/Z···(1)
这里，机械控制装置10根据由视觉传感器2拍摄到的包含工件W的图像，来识别工件W的位置，并控制机床的工具T与工件W之间的相对位置。
与机床的数值控制装置的加工精度进行比较，视觉传感器2的测量精度低。因此，当不考虑视觉传感器2的测量精度而将基于由视觉传感器2拍摄到的工件W的图像的工件W的位置以及姿势的信息用于工件W的定位等时，可能产生工具T与工件W的冲突，可能产生工具T或者工件W的破损。
因此，本实施方式的机械控制装置10除了测量距离恢复部14之外，还具有测量精度运算部15、测量精度判定部16以及预定精度位置运算部17。
测量精度运算部15利用立体照相机的方法，根据2个图像、2个拍摄位置间的距离信息、视觉传感器2的参数，来运算工件W的测量距离的测量精度P。
测量精度P在假设为映到摄影面的工件W错误地映到邻接像素时(将此时的视差设为Z’)，以会出现这种程度的差来进行定义(参照下述数学公式(2))。换言之，测量精度P是通过Z对测量距离H进行了微分所得的值。
P＝|H(Z’)-H(Z)|＝|dH/dZ|＝D×f/Z2
将上述数学公式(1)代入到这里，以下述数学公式(2)的方式来表示测量精度P。
P＝H2/(D×f)···(2)
由此可知，2个拍摄位置间的距离D越大测量精度P越小，精度越高。
测量精度判定部16在指定区域中，判定工件W的测量精度P是否满足目标精度(预定的精度：以下，也称为指定精度)P’。目标精度P’是预先设定的值，存储在存储部等中即可。
预定精度位置运算部17对工件W的测量精度P满足目标精度P’的2个拍摄位置进行运算。例如，预定精度位置运算部17根据2个图像、视觉传感器2的参数，来对工件W的测量精度P满足目标精度P’的2个拍摄位置进行运算。更具体来说，预定精度位置运算部17在指定区域中，根据2个图像、工件W的测量距离、视觉传感器2的参数，来计算工件W的测量精度满足预定的精度的2个拍摄位置间的距离信息。
图4是用于对机械控制装置10涉及的满足目标精度P’的2个拍摄位置(移动量)的运算进行说明的图。
例如，预定精度位置运算部17根据工件W的测量距离H、拍摄装置的参数即焦点距离f，通过下述数学公式(3)来计算工件W的测量精度满足预定的精度P’的2个拍摄位置间的距离D’。
P’＝H2/(D’×f)···(3)
由此，从视点间距离D的状态起的移动距离E通过如下数学公式求出。
E＝D’-D
或者，预定精度位置运算部17可以在指定区域中，根据2个图像、2个拍摄位置间的距离信息、视觉传感器2的参数，来计算工件W的测量精度满足预定的精度的工件W的测量距离。
例如，预定精度位置运算部17也可以根据2个拍摄位置间的距离D、视觉传感器2的参数即焦点距离f，通过下述数学式(4)来计算工件W的测量精度满足预定的精度P’的工件W的测量距离H’。
P’＝H’2/(D×f)···(4)
这样，通过将视点间距离D扩大，测量精度得以提升。或者，将视点间距离D设为固定，通过使视觉传感器2接近工件W，使得测量精度提升。
在工件W的测量精度满足目标精度时，机械控制装置10根据通过位置运算部14运算所得的工件W的位置信息，来控制机床的工具T与工件W的相对位置，使用工具T来对工件W进行预定的作业。
另一方面，在工件W的测量精度不满足目标精度时，机械控制装置10根据通过预定精度位置运算部17运算所得的满足目标精度P’的2个拍摄位置，来进行如下操作：
·拍摄控制部11涉及的视觉传感器2的移动以及摄影，
·指定区域决定部12、拍摄位置信息获取部13以及位置运算部14涉及的工件W的位置的运算，
·精度运算部15以及精度判定部16涉及的工件W的测量精度的运算以及判定。
另外，尽管如此，在工件W的测量精度不满足目标精度时，机械控制装置10可以在获得目标精度之前重复如下操作：
·预定精度位置运算部17涉及的满足目标精度P’的2个拍摄位置的运算，
·拍摄控制部11涉及的视觉传感器2的移动以及摄影，
·指定区域决定部12、拍摄位置信息获取部13以及位置运算部14涉及的工件W的位置的运算，
·精度运算部15以及精度判定部16涉及的工件W的测量精度的运算以及判定。
即使重复上述的处理既定次数也没有获得目标精度时，或者视觉传感器2的移动困难时，机械控制装置10停止基于由位置运算部14运算出的工件W的位置信息的、机床的工具T与工件W之间的相对位置的控制、以及使用了工具T的工件W的预定的作业。
图5是表示机械控制装置10涉及的视觉传感器2的控制的程序的一例(左部分)与其说明(右部分)的图。
“G800”是视觉传感器的移动指令。
“G810”是起动拍摄、图像处理(位置信息、精度信息的测量)的指令。
由此，拍摄控制部11使视觉传感器2在预定方向上移动，在拍摄位置间距离(视点间距离)D的2个拍摄位置处通过视觉传感器2进行工件W的拍摄。
拍摄位置信息获取部13根据控制指令而获取2个拍摄位置。
“G820”是指定注目像素(指定区域)的指令。
由此，区域指定部12在2个图像中，将工件W的一部分区域指定为指定区域。所指定的像素的列与行录入到#100、#101。
测量距离恢复部14利用立体照相机的方法，根据2个图像、2个拍摄位置间的距离信息、视觉传感器2的参数，恢复工件W的测量距离作为工件W的位置信息。
测量精度运算部15根据2个图像、2个拍摄位置间的距离信息、视觉传感器2的参数，来运算工件W的测量距离的测量精度。
“G830”是判定与像素(#100、#101)对应的工件W的位置信息是否满足(0.1、0.1、0.1)mm精度的指令。
由此，测量精度判定部16在指定区域中，判定工件W的测量精度P是否满足目标精度P’。例如，测量精度判定部16判定图像的列#100、行#101号的像素的测量数据是否满足测量精度(0.1、0.1、0.1)mm。例如不满足时，0以外的数字录入到#8998。
“G840”是计算对象像素(指定区域)满足指定精度(目标精度)所需的拍摄位置的指令。
由此，预定精度位置运算部17对工件W的测量精度P满足目标精度P’的2个拍摄位置(2个拍摄位置间的距离D’或者工件W的测量距离H’)进行运算。例如，预定精度位置运算部17对由列#100、行#101指定的像素的测量数据满足指定的精度所需的拍摄位置进行计算，将接下来要移动的距离设置为X方向#300、Y方向#301、Z方向#303。
通过“GOTO 10”指令向第2行返回处理，再一次移动视觉传感器来进行拍摄。
如以上所说明那样，根据本实施方式的机械控制装置10，可以提升工件W的测量精度，在根据由视觉传感器2拍摄到的工件W的图像来进行对机床的控制的机械控制装置中，可以提高安全性。
此外，根据本实施方式的机械控制装置10，在产生由晕光或者遮挡(occlusion)(阴面)引起的错误测量或不能测量时，也有效地发挥功能。
根据本申请发明者，获得以下见解。
·已有的视觉传感器无法控制测量精度。
通过将视觉传感器接近对象物可以改善测量精度，但是存在危险和限制。
具有高分别率元件、高精度透镜的传感器价格昂贵。
·当前，不存在数值控制装置判断视觉传感器的测量精度的方法。
不存在数值控制装置知晓视觉传感器的测量精度的方法。
不存在判定是否满足加工所需的精度的方法。
·当前，不存在当视觉传感器精度不足时，可以使数值控制装置安全动作的结构。
不存在根据视觉传感器来停止数值控制装置的结构。
不存在根据数值控制装置来指令视觉传感器的精度提升的结构。
关于这些方面，根据本实施方式的机械控制装置10可以获得以下优点。
·数值控制装置可以知晓视觉传感器的测量精度。
·数值控制装置可以判定视觉传感器出力值是否满足指定精度。
·数值控制装置可以控制(提升)视觉传感器的测量精度。
·测量精度不足时，可以停止数值控制装置。
·信赖性的提升
可以保证加工所需的视觉传感器的测量精度。
可以通过数值控制装置来安全地利用视觉传感器。
·检测精度的提升
视觉传感器的测量精度可以提升，检测精度得以提升。
·设备费的降低
通过数值控制装置+单眼照相机+控制软件(程序)，可以实现立体照相机同等的功能。
(变形例)
在图1中，机械控制装置10并非一定要具有预定精度位置运算部17。即，机械控制装置10可以不进行预定精度位置运算部17涉及的满足目标精度P’的2个拍摄位置的运算亦可。
在变形例中，在工件W的测量精度不满足目标精度时，机械控制装置10在获得目标精度之前持续稍微扩大2个拍摄位置(例如，2个拍摄位置间的距离D)。
图6是用于对变形例有关的机械控制装置10涉及的满足目标精度的2个拍摄位置(移动量)的运算进行说明的图。
如图6所示，变形例的机械控制装置10在工件W的测量精度不满足目标精度时，在获得目标精度之前持续以预定量(微小量)扩大2个拍摄位置(例如，2个拍摄位置间的距离D)。预定量(微小量)是预先决定的值，例如存储在存储部等中即可。
或者，与上述一样，变形例的机械控制装置10可以将2个拍摄位置(例如，工件W的测量距离H)以预定量(微小量)接近工件W。
即，变形例的机械控制装置10在工件W的测量精度不满足目标精度时，在获得目标精度之前，重复如下操作：
·以预定量(微小量)来变更拍摄位置
·拍摄控制部11涉及的视觉传感器2的移动以及摄影，
·指定区域决定部12、拍摄位置信息获取部13以及位置运算部14涉及的工件W的位置的运算，
·精度运算部15以及精度判定部16涉及的工件W的测量精度的运算以及判定。
图7是表示变形例有关的机械控制装置10涉及的视觉传感器2的控制的程序的一例(左部分)与其说明(右部分)的图。图7所示的程序在图5所示的程序中“G800”的位置不同。
“G800”是视觉传感器的移动指令。
例如，以录入到#200的预定的移动距离(例如，初始值、或者用户指定)使视觉传感器在X方向上移动。
以上，对本发明的实施方式进行了说明，但是本发明并不限定于上述的实施方式，能够实现各种变更以及变形。例如，在上述的实施方式中，例示出根据由视觉传感器拍摄到的包含对象物的图像来测量对象物的位置的机械控制装置，但是本发明不限于此，能够应用于根据由各种拍摄装置拍摄到的包含对象物的图像来测量对象物的位置的机械控制装置。例如，作为各种拍摄装置，列举出单眼照相机，能够实现3维测量的立体照相机、3维照相机等。
即便是立体照相机、3维照相机，通过接近对象物也可以提升测量精度。
此外，在上述的实施方式中，例示了根据在2个拍摄位置处拍摄到的包含对象物的2个图像来控制与对象物的位置的机械控制装置，但是本发明不限于此，能够应用于根据在3个以上的拍摄位置处拍摄到的包含对象物的3个以上的图像来控制与对象物之间的位置的机械控制装置。该情况下，可以决定成为基准的拍摄位置，对针对基准的各拍摄位置，如上所述恢复对象物的测量距离作为对象物的位置信息(测量距离恢复部)，运算对象物的测量距离的测量精度(测量精度运算部)，判定对象物的测量精度是否满足预定精度(测量精度判定部)，计算对象物的测量精度满足预定的精度的2个拍摄位置间的距离信息或者对象物的测量距离(预定精度位置运算部)，根据通过预定精度位置运算部计算出的2个拍摄位置间的距离信息或者对象物的测量距离，来控制拍摄装置的位置以及姿势，变更针对基准的拍摄位置(2个拍摄位置间的距离或者对象物的测量距离)。
此外，在上述的实施方式中，例示了对安装于机床的工具与工件之间的相对位置进行控制而对工件进行预定作业的机床的数值控制装置。但是，本发明不限于此，能够应用于控制安装于工业用机器人的工具或者机械手与工件的相对位置来对工件进行预定作业的机器人控制装置等各种机械控制装置。该情况下，当在机器人的臂部安装拍摄装置时，可以将机器人的臂部的移动指令与拍摄装置的移动指令设为相同。

Claims (6)

1.一种机械控制装置，该机械控制装置控制针对对象物进行预定作业的机械，且根据由拍摄装置拍摄到的包含对象物的图像来控制所述机械与所述对象物之间的相对位置，
其特征在于，
所述机械控制装置具有：
拍摄控制部，其根据控制指令来控制所述拍摄装置，以便控制所述拍摄装置的位置以及姿势，在不同的2个以上的拍摄位置处拍摄包含所述对象物的2个以上的图像；
拍摄位置信息获取部，其获取所述2个以上的拍摄位置的位置信息；
测量距离恢复部，其利用立体照相机的方法，根据所述2个以上的图像中的至少2个图像、所述2个以上的拍摄位置中的与所述至少2个图像对应的至少2个拍摄位置间的距离信息、所述拍摄装置的参数，来恢复所述对象物的测量距离作为所述对象物的位置信息；
测量精度运算部，其根据所述至少2个图像、所述至少2个拍摄位置间的距离信息、所述拍摄装置的参数，来运算所述对象物的测量距离的测量精度；
区域指定部，其将所述对象物的一部分区域指定为指定区域；以及
测量精度判定部，其在所述指定区域中判定所述对象物的测量精度是否满足预定的精度；
在所述对象物的测量精度满足预定的精度时，所述机械控制装置根据所述对象物的位置信息，来控制机床的工具与所述对象物的相对位置，使用所述工具来对所述对象物进行预定作业；其中，
所述测量距离恢复部通过对所述至少2个图像进行区域匹配而针对每一个像素求出视差信息Z，根据每一个所述像素的视差信息Z、所述至少2个拍摄位置间的距离信息D、所述拍摄装置的参数即焦点距离f，通过下述数学公式(1)来计算所述对象物的测量距离H，
所述测量精度运算部通过下述数学公式(2)来计算所述对象物的测量距离的测量精度P，所述数学公式(2)通过视差信息Z而对测量距离H进行微分从而求出与邻接像素的测量距离H的差分，
H＝D×f/Z···(1)
P＝|dH/dZ|＝D×f/Z2＝H2/(D×f)···(2)。
2.根据权利要求1所述的机械控制装置，其特征在于，
在所述对象物的测量精度不满足所述预定的精度时，所述机械控制装置停止对所述机械的控制。
3.根据权利要求1所述的机械控制装置，其特征在于，
在所述对象物的测量精度不满足所述预定的精度时，所述机械控制装置控制所述拍摄装置的位置以及姿势，变更所述至少2个拍摄位置中的至少一方，以便提高所述对象物的测量精度。
4.根据权利要求3所述的机械控制装置，其特征在于，
在所述对象物的测量精度不满足所述预定的精度时，所述机械控制装置通过在扩大所述至少2个拍摄位置间的距离的方向或者使所述拍摄位置接近所述对象物的方向上控制所述拍摄装置的位置，由此提高所述对象物的测量精度。
5.根据权利要求3或4所述的机械控制装置，其特征在于，
所述机械控制装置还具有预定精度位置运算部，该预定精度位置运算部在所述指定区域中，根据所述至少2个图像、所述对象物的测量距离、所述拍摄装置的参数，来计算所述对象物的测量精度满足预定的精度的所述至少2个拍摄位置间的距离信息，或者，根据所述至少2个图像、所述至少2个拍摄位置间的距离信息、所述拍摄装置的参数，来计算所述对象物的测量精度满足预定的精度的所述对象物的测量距离，
根据由预定精度位置运算部计算出的所述至少2个拍摄位置间的距离信息或者所述对象物的测量距离，来控制所述拍摄装置的位置以及姿势，并变更所述至少2个拍摄位置中的至少一方。
6.根据权利要求5所述的机械控制装置，其特征在于，
所述测量距离恢复部通过对所述至少2个图像进行区域匹配而针对每一个像素求出视差信息Z，根据每一个所述像素的视差信息Z、所述至少2个拍摄位置间的距离信息D、所述拍摄装置的参数即焦点距离f，通过下述数学公式(1)来计算所述对象物的测量距离H，
所述预定精度位置运算部根据所述对象物的测量距离H、所述拍摄装置的参数即焦点距离f，通过下述数学公式(3)来计算所述对象物的测量精度满足预定精度P’的所述至少2个拍摄位置间的距离D’，或者，根据所述至少2个拍摄位置间的距离D、所述拍摄装置的参数即焦点距离f，通过下述数学公式(4)来计算所述对象物的测量精度满足预定精度P’的所述对象物的测量距离H’，
H＝D×f/Z···(1)
P’＝H2/(D’×f)···(3)
P’＝H’2/(D×f)···(4)。
CN202010066799.XA 2019-02-05 2020-01-20 机械控制装置 Active CN111522295B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-018744 2019-02-05
JP2019018744A JP6892461B2 (ja) 2019-02-05 2019-02-05 機械制御装置

Publications (2)

Publication Number Publication Date
CN111522295A CN111522295A (zh) 2020-08-11
CN111522295B true CN111522295B (zh) 2024-03-05

Family

ID=71615120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010066799.XA Active CN111522295B (zh) 2019-02-05 2020-01-20 机械控制装置

Country Status (4)

Country Link
US (1) US11698434B2 (zh)
JP (1) JP6892461B2 (zh)
CN (1) CN111522295B (zh)
DE (1) DE102020200009A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319443A (en) * 1991-03-07 1994-06-07 Fanuc Ltd Detected position correcting method
CN103020952A (zh) * 2011-07-08 2013-04-03 佳能株式会社 信息处理设备和信息处理方法
CN104802166A (zh) * 2013-10-10 2015-07-29 精工爱普生株式会社 机器人控制系统、机器人、程序以及机器人控制方法
CN105934774A (zh) * 2014-03-24 2016-09-07 株式会社日立制作所 物体检测装置、物体检测方法以及移动机器人

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005297168A (ja) * 2004-04-16 2005-10-27 Fujinon Corp 遠隔操作ロボット
EP2275990B1 (de) * 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
JP6195915B2 (ja) * 2013-05-07 2017-09-13 シャープ株式会社 画像計測装置
JP5837148B1 (ja) * 2014-06-18 2015-12-24 ファナック株式会社 工作機械の熱変位補正装置
JP6424362B2 (ja) * 2014-09-26 2018-11-21 株式会社明電舎 線条計測装置及びその方法
JP2016070762A (ja) * 2014-09-29 2016-05-09 ファナック株式会社 対象物の三次元位置を検出する検出方法および検出装置
JP2016134090A (ja) * 2015-01-21 2016-07-25 株式会社東芝 画像処理装置及びそれを用いた運転支援システム
JP2016135512A (ja) * 2015-01-23 2016-07-28 東レエンジニアリング株式会社 板状物移載装置および板状物移載方法
JP6685776B2 (ja) * 2016-03-09 2020-04-22 キヤノン株式会社 撮像システム、計測システム、生産システム、撮像方法、プログラム、記録媒体および計測方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319443A (en) * 1991-03-07 1994-06-07 Fanuc Ltd Detected position correcting method
CN103020952A (zh) * 2011-07-08 2013-04-03 佳能株式会社 信息处理设备和信息处理方法
CN104802166A (zh) * 2013-10-10 2015-07-29 精工爱普生株式会社 机器人控制系统、机器人、程序以及机器人控制方法
CN105934774A (zh) * 2014-03-24 2016-09-07 株式会社日立制作所 物体检测装置、物体检测方法以及移动机器人

Also Published As

Publication number Publication date
JP2020126460A (ja) 2020-08-20
DE102020200009A1 (de) 2020-08-06
US20200249309A1 (en) 2020-08-06
JP6892461B2 (ja) 2021-06-23
CN111522295A (zh) 2020-08-11
US11698434B2 (en) 2023-07-11

Similar Documents

Publication Publication Date Title
KR102458415B1 (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
CN110125926B (zh) 自动化的工件取放方法及系统
CN109421048B (zh) 机器人系统
JP4167954B2 (ja) ロボット及びロボット移動方法
US11625842B2 (en) Image processing apparatus and image processing method
CN104802186A (zh) 制作用于拍摄工件的机器人程序的机器人程序设计装置
CN111152243B (zh) 控制系统
CN109459984B (zh) 一种基于三维点云的定位抓取系统及其使用方法
CN114174006A (zh) 机器人手眼标定方法、装置、计算设备、介质以及产品
JP2019119027A (ja) ロボットシステムの制御方法、およびロボットシステム
JP5858773B2 (ja) ３次元計測方法、３次元計測プログラム及びロボット装置
JP2006224291A (ja) ロボットシステム
CN111522299B (zh) 机械控制装置
KR101535801B1 (ko) 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템
CN104296658B (zh) 一种基于虚拟双目视觉的石壁爆破孔检测与定位装置及定位方法
CN111522295B (zh) 机械控制装置
CN112566758A (zh) 机器人控制装置、机器人控制方法及机器人控制程序
JP2020146773A (ja) ハンドリング装置およびロボット装置
JP2002259966A (ja) 周辺認識装置
KR101837269B1 (ko) 다중 마커 기반의 정합 가이드 방법 및 시스템
CN114945450A (zh) 机器人系统
CN114902281A (zh) 图像处理系统
CN111699077B (zh) 用于机器人的基于视觉的操作
WO2021146989A1 (en) Method and apparatus for estimating system state
CN113379850A (zh) 移动机器人控制方法、装置、移动机器人及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant