CN115103737B - 信息处理装置及信息处理系统 - Google Patents

信息处理装置及信息处理系统 Download PDF

Info

Publication number
CN115103737B
CN115103737B CN202080096204.3A CN202080096204A CN115103737B CN 115103737 B CN115103737 B CN 115103737B CN 202080096204 A CN202080096204 A CN 202080096204A CN 115103737 B CN115103737 B CN 115103737B
Authority
CN
China
Prior art keywords
mesh
detection object
information processing
image data
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080096204.3A
Other languages
English (en)
Other versions
CN115103737A (zh
Inventor
神藤建太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DMG Mori Co Ltd
Original Assignee
DMG Mori Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DMG Mori Co Ltd filed Critical DMG Mori Co Ltd
Publication of CN115103737A publication Critical patent/CN115103737A/zh
Application granted granted Critical
Publication of CN115103737B publication Critical patent/CN115103737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23QDETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/2409Arrangements for indirect observation of the working space using image recording means, e.g. a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P70/00Climate change mitigation technologies in the production process for final industrial or consumer products
    • Y02P70/10Greenhouse gas [GHG] capture, material saving, heat recovery or other energy efficient measures, e.g. motor control, characterised by manufacturing processes, e.g. for rolling metal or metal working

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • Auxiliary Devices For Machine Tools (AREA)
  • Numerical Control (AREA)
  • Image Analysis (AREA)

Abstract

信息处理装置根据图像数据确定检测对象的位置,该图像数据是在具有拍摄内部的摄像部的机床的摄像部拍摄的,该信息处理装置(10)具有:图像生成部(102),生成将图像数据的至少一部分划分成多个网格区域得到的网格图像;以及确定部(103),对网格图像的第一网格区域确定检测对象的位置,确定部使用第一网格区域、和自第一网格区域偏移规定量而且一部分与第一网格区域重叠的第二网格区域确定位置。

Description

信息处理装置及信息处理系统
技术领域
本公开涉及信息处理装置及信息处理系统。
背景技术
在机床对作为加工对象的工件进行加工时产生切屑。当切屑增多并堆积时,加工难以继续进行。因此,在机床需要将在加工中产生的切屑去除。在专利文献1记载了以下技术,检测设备内部的切屑的堆积状况,并清理判断为需要去除切屑的部位。
现有技术文献
专利文献
专利文献1:日本特开2016-120589号公报
发明内容
但是,存在难以准确地确定切屑的堆积位置的情况。并且,除切屑以外,在机床内有时还确定工件的损伤等的位置,存在这些也困难的情况。
因此,本公开的目的在于,提高切屑的堆积位置和工件的损伤等的位置的检测精度。
本公开的信息处理装置根据具有拍摄内部的摄像部的机床的摄像部拍摄的图像数据确定检测对象的位置,其特征在于,该信息处理装置(10)具有:图像生成部(102),生成将图像数据的至少一部分划分成多个网格区域而得到的网格图像;以及确定部(103),对网格图像的第一网格区域确定检测对象的位置,确定部使用第一网格区域和从第一网格区域偏移规定量而且一部分与第一网格区域重叠的第二网格区域确定位置。
并且,在本公开中还能够提供信息处理系统。本公开的信息处理系统或者信息处理方法的特征在于,具有以下步骤:摄像步骤,拍摄机床内;图像生成步骤,生成将拍摄到的图像数据的至少一部分划分成多个网格区域而得到的网格图像;以及确定步骤,对所述网格图像的第一网格区域确定检测对象的位置。所述确定步骤使用所述第一网格区域、和从所述第一网格区域偏移规定量而且一部分与所述第一网格区域重叠的第二网格区域,根据所述图像数据确定所述检测对象的位置。
并且,在本公开中还能够提供机床。本公开的机床是加工工件的机床,具有:摄像部;图像生成部,生成将在所述摄像部拍摄到的图像数据的至少一部分划分成多个网格区域而得到的网格图像;确定部,从所述网格图像的各网格区域即多个第一网格区域中,使用所述多个第一网格区域和从所述多个第一网格区域偏移规定量而且一部分与所述多个第一网格区域重叠的多个第二网格区域,即使在所述第一网格区域中未确定出所述检测对象存在的情况下,在该第一网格区域的一部分重叠的所述第二网格区域中确定出所述检测对象存在的情况下,所述检测对象存在于该第一网格区域;以及液体释放部,在确定出所述检测对象存在的所述第一网格区域中释放液体。
这些概括性而且特定的方式也可以通过系统、方法及计算机程序、以及它们的组合来实现。
发明效果
根据本公开,能够提高切屑的堆积位置和工件的损伤等的位置的检测精度。
附图说明
图1是表示机床的结构的框图。
图2是机床内部的摄像图像。
图3是表示信息处理装置的结构的框图。
图4是在信息处理装置生成的网格图像数据。
图5A是在信息处理装置使用的第一网格区域的说明图。
图5B是在信息处理装置使用的第二网格区域的说明图。
图6是说明确定检测对象的位置的处理的流程图。
图7是说明变形例1的确定检测对象的位置的处理的流程图。
具体实施方式
有关本公开的信息处理装置更详细地说,根据图像数据确定检测对象的存在,该图像数据是在具有拍摄内部的摄像部的机床的所述摄像部拍摄的,其特征在于,该信息处理装置具有:图像生成部,生成将所述图像数据的至少一部分划分成多个第一网格区域而得到的网格图像;以及确定部,根据所述网格图像的所述各个第一网格区域确定检测对象的存在,所述确定部即使在未根据所述各第一网格区域确定出所述检测对象存在的情况下,在根据多个第二网格区域的至少任一个第二网格区域确定出所述检测对象存在的情况下,确定为所述检测对象存在于确定出所述检测对象存在的所述第二网格区域中、或者确定为所述检测对象存在于与确定出所述检测对象存在的所述第二网格区域重叠的多个第一网格区域的至少任一个第一网格区域中,所述多个第二网格区域分别与所述第一网格区域是相同的尺寸,并设置成从所述多个第一网格区域偏移规定量,而且一部分与所述第一网格区域重叠。此时,也可以确定为所述检测对象存在于第一网格区域组,该第一网格区域组是将与确定出所述检测对象存在的第二网格区域重叠的多个第一网格区域整合为一体而得到的。
并且,有关本公开的信息处理系统或者信息处理方法更详细地说,其特征在于,具有:摄像步骤,拍摄机床内部;图像生成步骤,生成将所拍摄到的图像数据的至少一部分划分成多个第一网格区域而得到的网格图像;以及确定步骤,根据所述网格图像的所述各第一网格区域确定检测对象的存在,所述确定步骤即使在未根据所述各第一网格区域确定出所述检测对象存在的情况下,在根据多个第二网格区域的至少任一个第二网格区域确定出所述检测对象存在的情况下,确定为所述检测对象存在于确定出所述检测对象存在的第二网格区域中、或者确定为所述检测对象存在于与确定出所述检测对象存在的所述第二网格区域重叠的多个第一网格区域的至少任一个第一网格区域中,所述多个第二网格区域分别与所述第一网格区域是相同的尺寸,并设置成从所述多个第一网格区域偏移规定量,而且一部分与所述第一网格区域重叠。此时,也可以确定为所述检测对象存在于第一网格区域组,该第一网格区域组是将与确定出所述检测对象存在的第二网格区域重叠的多个第一网格区域整合为一体而得到的。
并且,有关本公开的机床更详细地说是加工工件的机床,具有:摄像部;图像生成部,生成将在所述摄像部拍摄到的所述机床内部的图像数据的至少一部分划分成多个第一网格区域而得到的网格图像;确定部,根据所述网格图像的所述各第一网格区域确定检测对象的存在,即使在未根据所述各第一网格区域确定出所述检测对象存在的情况下,在根据多个第二网格区域的至少任一个第二网格区域确定出所述检测对象存在的情况下,确定为所述检测对象存在于确定出所述检测对象存在的第二网格区域中、或者确定为所述检测对象存在于与确定出所述检测对象存在的所述第二网格区域重叠的多个第一网格区域的至少任一个第一网格区域中,所述多个第二网格区域分别与所述第一网格区域是相同的尺寸,并设置成从所述多个第一网格区域偏移规定量,而且一部分与所述第一网格区域重叠,;以及液体释放部,在与确定出所述检测对象存在的所述第一网格区域或者第二网格区域对应的位置释放液体。
另外,也可以是,确定部在确定检测对象存在的基础上,或者取而代之,检测检测对象的存在量。同样地,也可以是,确定步骤在确定检测对象存在的基础上,或者取而代之,检测检测对象的存在量。此时,也可以是,在检测对象存在的第一网格区域或者第二网格区域存在多个的情况下,根据检测对象的存在量决定从液体释放部释放液体的位置的优先顺序。优先顺序可以存在量越多的位置越高,也可以按照优先顺序从高到低的顺序释放液体。并且,也可以是,在第一网格区域或者第二网格区域中的检测对象的存在量小于规定的阈值的情况下,判断为检测对象不存在于该网格区域。
检测对象的存在量可以设为任何的数值进行检测。具体地说,存在量可以设为如质量或者重量(例如96g)那样的物理量进行检测,也可以设为网格区域中的存在概率(例如0.96)进行检测,也可以设为图像占有率(例如96%那样的比例)进行检测,还可以设为其他数量进行检测。另外,检测这一词语根据状况还用作包括判断、确定、其他处理等的概念。
下面,参照附图对有关各实施方式的信息处理装置、机床及信息处理系统进行说明。在下面的说明中,对相同的结构标注相同的标号并省略说明。
下面进行说明的“机床”对作为加工对象的金属等工件通过切割、磨削等加工成期望的形状。另外,“信息处理装置”及“信息处理系统”根据拍摄机床内部得到的摄像数据确定检测对象的位置。这里,信息处理装置的“检测对象”例如是由于加工而从作为机床的加工对象的工件产生并在机床内堆积的切屑、或者由于加工而在工件产生的损伤。
在下面的说明中,“网格区域”是指划分图像数据得到的图像的部分区域。通过划分一个图像,能够将一个图像划分成多个网格区域。
[实施方式]
<机床>
使用图1来说明有关实施方式的机床1的一例。机床1加工作为对象的工件。通过工件的加工,在机床1内部堆积工件的一部分分离而产生的切屑。例如,机床1具有:数值控制装置2,为了进行加工而进行主轴的驱动控制;液体释放部3,释放使由于加工而产生的切屑移动的液体;摄像部4,拍摄机床1内部;以及机械坐标获取部5。并且,例如机床1与信息处理装置10和存储装置6连接,信息处理装置10根据摄像部4拍摄的图像数据确定检测对象的位置,存储装置6存储机床1及信息处理装置10的控制信号和运算结果。
数值控制装置2将机床1的电动机等的控制信号发送至各部。该控制信号如后述那样,基于由信息处理装置10进行的处理而生成、发送。
液体释放部3按照数值控制装置2的控制而释放液体,以使在机床1的内部堆积的切屑移动。另外,如后述那样,通过信息处理装置10的喷嘴控制部104而生成的控制信号,经由数值控制装置2输入到液体释放部3。机床1能够收集这样移动的切屑并排出到加工区域外的外部。液体释放部3例如具有能够释放液体的喷嘴、驱动喷嘴的致动器、和从贮存液体的液体贮存部汲取液体的泵,从喷嘴向切屑释放液体。该液体既可以使用用于将在加工时产生热量的工件及加工单元等冷却及润滑的冷却剂,也可以使用其他液体。下面,作为用于使切屑移动的液体,以使用冷却剂的例子进行说明。液体释放部3例如构成为能够调整喷嘴的位置及朝向、液体的释放压力,以能够清洗机床1的内部的大的范围。并且,机床1能够具有多个液体释放部3。
摄像部4例如是具有CCD或CMOS等摄像元件的摄像机。该摄像部4能够在规定的定时拍摄机床1的内部。该摄像部4将机床1的内部图像、即检测从工件产生的切屑的对象区域作为摄像范围。并且,摄像部4将所得到的图像数据输出给信息处理装置10。例如,摄像部4在工件加工中的定期的定时拍摄工件。并且,摄像部4也可以在将经过加工的工件从机床1取下、装载新的工件之前的定时进行拍摄。机床1能够具有多个摄像部4,以能够掌握大范围的状态。
机械坐标获取部5对于机床1的构造中的、在后面使用图2说明的托盘14、工作台16及主轴22等移动的部件,获取表示在机床1内的位置的机械坐标。机械坐标获取部5将所获取的机械坐标发送给信息处理装置10。该机械坐标例如可以使用为了进行加工而通过数值控制装置2为了控制而生成的控制信号所含的位置信息,也可以使用任意的传感器进行获取。
并且,在图1中省略图示,机床1此外还具有使用图2说明的各种部件。图2是拍摄机床1的内部得到的摄像图像,示出了托盘14、罩15、工作台16、旋转门17、侧面18、斜面19、防护具20、喷射器21及主轴22。在本实施方式中,将图2所示的主轴22的长轴23作为机床1内部的前后方向,将主轴22的根部侧作为近前侧,将前端侧作为里侧。并且,将与主轴22正交的水平方向作为左右方向,将与长轴23正交的垂直方向作为上下方向。
托盘14是装载并固定工件用的平台。机床1能够设置多个托盘14。由此,在变更要加工的工件时,能够通过变更托盘14变更工件,能够实现时间的效率化。
罩15是位于托盘14的左右的侧部的部件。工作台16能够向前后方向移动,由此能够使固定在托盘14上的工件移动。并且,工作台至少能够使工作台的一部分向水平方向旋转,由此能够使固定在托盘上的工件旋转。
工作台16是能够安装托盘14的部件。工作台16能够向前后方向移动,由此能够使在托盘14上固定的工件移动。并且,对于工作台16,至少能够将工作台16的一部分向水平方向旋转,由此能够使在托盘14上固定的工件旋转。
旋转门17是能够以轴25为中心旋转的门。在旋转门17旋转时,罩15使托盘14从工作台16分离,并与托盘14及罩15一起旋转。由此,能够将工件的加工已结束的托盘14向托盘收纳部运出,并且能够将固定有下一个要加工的工件的托盘14从托盘收纳部向机床1内运入。在旋转门17的机床1内侧和收纳部侧双方设置罩15,旋转门17旋转180°,由此也可以同时进行托盘14的运入和运出。
侧面18是机床1的能够敞开及闭合的壁。侧面18划分出机床1的内部和外部,在将侧面18敞开时,作业者能够进入到机床1的内部。并且,位于与侧面18对置的位置的未图示的侧面18划分出机床1的内部和工具收纳部。工具划分部收纳多个工具,在加工时,侧面18根据需要而敞开,能够更换在主轴22安装的工具与在工具收纳部收纳的其他工具。
喷射器21是切屑由于清洗而流过的部位。侧面18、防护具20设置于旋转门17及侧面18的下侧,以切屑容易向喷射器21流动的方式分别朝向喷射器21向下倾斜。
主轴22在前端安装工具,通过以其长轴23为中心进行旋转,能够加工工件。在本实施方式中,如图2所示,主轴22具有圆柱形的外形。
<信息处理装置>
使用图3来说明有关实施方式的信息处理装置10的一例。信息处理装置10根据拍摄机床1内部得到的摄像数据检测检测对象。具体地说,信息处理装置10具有运算部100、存储部110、输入部120、显示部130和通信部140。该信息处理装置10例如是计算机或平板终端等信息处理装置。信息处理装置10也可以是包含于机床1的结构,还可以由与机床1区分的电脑等分体构成。在后者的情况下,信息处理装置10和机床1能够进行有线通信或者无线通信。并且,信息处理装置10也可以是不具有图3的信息处理装置10中的例如输入部120和显示部130的结构。在该情况下,可以是输入部120和显示部130包含于机床1的结构。例如,输入部120和显示部130可以是机床的操作板。另外,还可以是输入部120和显示部130分别设置于信息处理装置10和机床1,使用者能够选择使用任意的输入部120和显示部130的结构。
运算部100是掌管信息处理装置10整体的控制的控制器。例如,运算部100通过读取并执行在存储部110存储的控制程序P,执行作为图像生成部102、确定部103、喷嘴控制部104及输出控制部105的处理。并且,运算部100不限于通过硬件和软件的协作来实现规定的功能,也可以是实现规定的功能的专门设计的硬件电路。即,运算部100能够通过CPU、MPU、GPU、FPGA、DSP、ASIC等各种处理器来实现。
存储部110是记录各种信息的记录介质。存储部110例如通过RAM、ROM、闪存、SSD(Solid State Device,固态驱动)、硬盘、其他存储装置或者它们的适当组合来实现。在存储部110,除运算部100执行的控制程序P以外,还存储有在机床1使用的各种数据等。例如,存储部110存储图像数据111及网格图像数据112。另外,这里示出了在存储部110存储图像数据111及网格图像数据112的例子,但不限定于此。具体地说,也可以是图1所示的存储装置6存储图像数据111及网格图像数据112的结构。
输入部120是数据和操作信号的输入所使用的键盘、鼠标及触摸屏等输入单元。显示部130是数据的输出所使用的显示器等输出单元。
通信部140是用于使与外部的装置(未图示)的数据通信能够进行的接口电路(模块)。例如,通信部140能够与拍摄图像数据的摄像部4执行数据通信。
获取部101获取在摄像部4拍摄的图像数据。并且,获取部101将所获取的图像数据111、与任意赋予的识别信息以及确定摄像的时刻的信息一起存储至存储部110。因此,存储部110能够存储在不同的定时拍摄的同一对象区域的多个图像数据111。
图像生成部102生成将图像数据的至少一部分划分成多个网格区域得到的网格图像数据。并且,图像生成部102将分割而得的网格图像数据112存储至存储部110。图4是对于图像数据111整体分割成网格区域的例子,但不限定于此。具体地说,图像生成部102也可以仅对图像数据111的部分区域设定网格区域。另外,在图4的图像数据111中示出的X轴、Y轴及Z轴分别表示机床1的各个坐标,图像数据111之外的x轴及y轴表示图像数据的xy坐标。即,机床中的坐标系与图像数据中的坐标系不同。
另外,详情在后面叙述,将在图像生成部102生成的网格图像数据112根据需要作为“第一网格图像数据”,以便与确定部103所使用的在其他网格区域分割的图像数据进行区分。并且,将第一网格图像数据的各网格区域作为“第一网格区域”。即,第一网格区域可以是指在第一网格图像数据中存在多个的第一网格区域中的任意一个。
并且,分割的网格的尺寸及形状构成为能够根据需要进行变更。例如,网格区域的尺寸可以考虑根据作为检测对象的切屑的尺寸来设定。由此,能够精度良好地检测切屑。具体地说,在作为检测对象的切屑的尺寸为5~10mm的情况下,例如将网格区域的长宽的尺寸分别设为20mm,由此能够检测切屑,能够保持检测精度。
另外,本说明书的网格图像数据112不限于对摄像图像附加网格的信息来生成新的图像,也可以将撮影图像与关于网格的信息关联起来。即,将摄像图像和网格保存为不同的数据所得的数据也称作网格图像数据。网格图像数据例如也可以是在摄像图像上叠加预先保存的网格的数据而生成的。
确定部103将网格图像数据112的各网格区域设为第一网格区域,根据各第一网格区域确定检测对象的位置。图5A将网格图像数据112的一部分表示为一例,各网格区域R11~R14是第一网格区域。在图5A所示的例子中,作为检测对象的切屑S跨越多个第一网格区域R11~R14而存在。因此,在如图5A所示那样的状态的情况下,各第一网格区域R11~R14中的切屑S的面积小。因此,确定部103有可能视为各第一网格区域R11~R14不存在切屑S、或者切屑S的量少,而不能确定检测对象的位置。
为了确定这样的检测对象的位置,确定部103使用第一网格区域、和从第一网格区域偏移规定量而且一部分与第一网格区域重叠的第二网格区域,确定检测对象的位置。具体地说,确定部103即使在第一网格区域不包含检测对象的情况下,在第一网格区域的一部分重叠的第二网格区域包含检测对象的情况下,将第一网格区域的位置设为包含检测对象的位置。
使用图5B进行具体说明。图5B的虚线的各网格区域是使用图5A在上面说明的第一网格区域。并且,图5B的实线的各网格区域是在相对于第一网格区域偏移的位置设定的“第二网格区域”。并且,将由第二网格区域分割出的图像设为“第二网格图像数据”,以便与第一网格图像数据区分。另外,第二网格图像数据既可以通过图像生成部102生成,并与图像数据111一起存储至存储部110,也可以通过确定部103生成。
具体地说,各第二网格区域相对于各第一网格区域在图像上的第一方向即x轴方向或者第二方向即y轴方向中的至少任一方向移动,第一网格区域和第二网格区域不一致。在将网格区域的尺寸在x方向及y方向分别设为1时,图5B是将从第一网格区域在x方向移动+0.5、在y方向移动-0.5的网格区域作为第二网格区域的例子。在图5B的例子中,第二网格区域R21的一部分与第一网格区域R11~R14重叠。并且,在图5B的例子中,作为检测对象的切屑S全部位于第二网格区域R21。因此,确定部103容易确定检测对象的位置。在这样的情况下,确定部103例如对于与检测出作为检测对象的切屑S的第二网格区域R21部分重叠的各第一网格区域R11~R14,确定为切屑S的位置。确定部103既可以确定为作为检测对象的切屑S存在于第二网格区域R21,也可以确定为作为检测对象的切屑S存在于与第二网格区域R21部分重叠的第一网格区域R11~R14中的至少任一个。
即,确定部103通过使网格区域偏移,通过利用第一次的基于第一网格区域的结果和第二次的基于第二网格区域的结果,从而即使在检测对象存在于仅靠一次检测不出的位置的情况下也能够检测出。换言之,确定部103使网格区域至少在xy方向的任一方向移动,提高检测精度。
喷嘴控制部104在需要在确定部所确定的位置释放液体的情况下,生成用于控制喷嘴的朝向的信号,以使来自喷嘴的液体的释放的方向位于确定部103所确定的位置。具体地说,在检测对象是切屑时,喷嘴控制部104生成用于使液体释放部3向数值控制装置2发送控制信号的信号。并且,喷嘴控制部104将所生成的信号发送给数值控制装置2,由此通过数值控制装置2控制液体释放部3。另外,喷嘴控制部104也可以将液体释放部3释放液体的历史作为释放历史数据存储至存储部110。由此,喷嘴控制部104以朝向检测出的位置的方式调整喷嘴的朝向,能够提高切屑的去除的精度。例如,在第一网格区域中确定出检测对象的位置之后,喷嘴控制部104生成朝向确定出位置的所述检测对象释放液体的控制信号,在第二网格区域中确定出检测对象的位置之后,喷嘴控制部104生成朝向确定出位置的检测对象释放液体的控制信号。
输出控制部105使显示部130显示确定部103的确定结果。由此,能够让利用者掌握切屑或者损伤等检测对象的位置。
可以是,在确定部103判断或者确定检测对象的存在量而且确定出检测对象存在的第一网格区域或者第二网格区域存在多个的情况下,喷嘴控制部104根据检测对象的存在量,决定从液体释放部释放液体的位置的优先顺序,以从优先顺序高的位置起按顺序释放液体的方式控制喷嘴。在该情况下,喷嘴控制部104生成与优先顺序相应的控制信号。所生成的信号发送给数值控制装置2,由此通过数值控制装置2进行控制,使得液体释放部3按照优先顺序移动到释放液体的位置。并且,也可以是,喷嘴控制部104根据检测对象的存在量,生成调整输出释放液体的控制信号的定时、调节释放的液体的量的控制信号。
另外,机床1可以在内部嵌入该信息处理装置10。并且,这些处理也可以通过作为信息处理系统而经由网络连接的多台计算机的组合来实现。此外,例如也可以构成为,在存储部110存储的数据的全部或者一部分存储在经由网络(未图示)连接的外部的记录介质,信息处理装置10和信息处理系统使用在外部的记录介质存储的数据。
<检测对象的位置的确定及液体释放的处理>
使用图6所示的流程图,对有关实施方式的信息处理装置10的检测对象的位置的确定(或者存在量的检测)以及液体释放的处理进行说明。首先,获取部101获取摄像部4拍摄的图像数据111,并存储至存储部110(S01)。
图像生成部102读取在存储部110存储的图像数据111,并分割成多个第一网格区域,生成作为第一网格图像数据的网格图像数据112(S02)。并且,图像生成部102将该网格图像数据112存储至存储部110。
确定部103作为第一确定处理,利用第一网格图像数据确定检测对象的位置(S03)。具体地说,确定部103确定检测出检测对象的第一网格区域。或者,也可以是,在步骤S03中,确定部103作为第一检测处理,针对第一网格图像数据的各第一网格区域分别检测检测对象的存在概率等。
并且,确定部103作为第二确定处理,利用第二网格图像数据确定检测对象的位置(S04)。具体地说,确定部103确定检测出检测对象的第二网格区域。或者,也可以是,在步骤S04中,确定部103作为第二检测处理,针对第二网格图像数据的各第二网格区域分别检测检测对象的存在概率等。另外,如上所述,生成在步骤S04中使用的第二网格图像数据的定时不作限定。例如,在步骤S02中生成网格图像数据112时,既可以通过图像生成部102同时生成,也可以在步骤S04的定时由确定部103生成。
然后,确定部103结合步骤S03的第一确定处理及S04的第二确定处理的结果,确定检测对象的位置(S05)。具体地说,确定部103除在步骤S03中检测出检测对象的第一网格区域之外,还将与在步骤S04中检测出检测对象的第二网格区域重叠的第一网格区域确定为检测对象的位置。或者也可以是,确定部103在步骤S05中,例如在一个第二网格区域中检测对象的存在概率高的情况下,确定为检测对象存在于第二网格区域的该区域中,或者也可以是,在第二网格区域中检测对象的存在概率高的情况下,确定为检测对象存在于具有与该第二网格区域重叠的图像区域的一个第一网格区域中,或者也可以是,在第二网格区域中检测对象的存在概率高的情况下,确定为检测对象存在于具有与该第二网格区域重叠的图像区域的所有第一网格区域中。
喷嘴控制部104向数值控制装置2输出信号,通过数值控制装置2向液体释放部3输出用于使在步骤S05中确定出的位置的切屑移动的控制信号,控制液体的释放(S06)。由此,液体释放部3释放用于使切屑移动的液体。
例如,在步骤S05中在任意一个第一网格区域未检测出切屑、而在对应的一个以上的第二网格区域检测出切屑时,在步骤S06中,在与该第一网格区域对应的位置释放冷却剂。或者,也可以是,在步骤S05中在任意一个第一网格区域未检测出切屑、而在对应的一个以上的第二网格区域检测出切屑时,在步骤S06中,在与该第二网格区域对应的位置释放冷却剂。或者,也可以是,在步骤S05中在任意一个第一网格区域未检测出切屑、而在对应的一个以上的第二网格区域检测出切屑时,在步骤S06中,在与该第二网格区域重叠的多个第一网格区域所对应的位置释放冷却剂。
然后,在机床1的加工结束的情况下(S07:否),处理结束。另一方面,在机床1的加工继续的情况下(S07:是),在信息处理装置10中返回到步骤S01的处理,反复进行步骤S01~S07的处理。
另外,在图6所示的流程图中,以检测对象为切屑而根据切屑的检测释放液体的例子进行了说明。但是,信息处理装置10也可以通过输出控制部105输出检测对象的位置。
这样,根据有关实施方式的机床1及信息处理装置10,能够利用多种网格区域检测或者确定切屑等检测对象的位置、存在量或者存在概率等。因此,防止与网格区域和切屑的位置关系相对应的漏检,能够精度良好地确定切屑的位置。
[变形例1]
在上述的信息处理装置10利用了第一及第二确定处理的结果。但是,通过信息处理装置10确定对象的位置的方法不限于利用第一及第二确定处理的结果的方法,也可以是仅利用其中一个的方法。例如,也可以是以下结构,确定部103(1)使用第一网格区域,将与规定的网格区域对应的位置确定为对象的位置,(2)在使用第一网格区域确定不出对象的位置的情况下,使用从第一网格区域偏移规定量而且一部分与第一网格区域重叠的第二网格区域,将规定的第二网格区域确定为对象的位置,(3)在仅使用第一网格区域或者第二网格区域确定不出位置的情况下,使用第一网格区域及第二网格区域的结果确定对象的位置。
使用图7对变形例1的信息处理装置10的检测对象的位置的确定及液体释放的处理进行说明。另外,信息处理装置10的结构与使用图3说明的上述结构相同,所以参照图3。并且,在图7的流程图中,对与图6的流程图的处理相同的处理,使用相同的标号并标注下划线。
首先,获取部101获取摄像部4拍摄的图像数据111,并存储至存储部110(S01)。
图像生成部102读取在存储部110存储的图像数据111,并分割成多个第一网格区域,生成作为第一网格图像数据的网格图像数据112(S02)。
确定部103作为第一确定处理,利用第一网格图像数据确定检测对象的位置(S03)。或者,也可以是,在步骤S03中,确定部103作为第一检测处理,针对第一网格图像数据的各第一网格区域分别检测检测对象的存在概率等。
然后,确定部103判定是否根据第一网格图像数据在规定网格区域以上(例如,第一网格图像数据内的全网格区域内的50%以上的区域以上)确定出检测对象的位置(S14)。
在根据第一网格图像数据确定出规定以上的检测对象的位置时(S14:是),喷嘴控制部104向数值控制装置2输出信号,通过数值控制装置2向液体释放部3输出用于使在步骤S14中确定出的位置的切屑移动的控制信号,控制液体的释放(S15)。
另一方面,在根据第一网格图像数据确定不出规定以上的检测对象的位置时(S14:否),确定部103生成使第一网格图像数据偏移的第二网格图像数据(S16)。
并且,确定部103作为第二确定处理,利用第二网格图像数据确定检测对象的位置(S17)。或者,也可以是,在步骤S17中,确定部103作为第二检测处理,针对第二网格图像数据的各第二网格区域分别检测检测对象的存在概率等。
然后,确定部103判定是否根据第二网格图像数据确定出规定网格区域以上(例如,第二网格图像数据内的全网格区域内的50%以上区域)的检测对象的位置(S18)。
在根据第二网格图像数据确定不出规定以上的检测对象的位置时(S18:否),确定部103利用第一网格图像数据及第二网格图像数据确定检测对象的位置(S19)。
在根据第二网格图像数据确定出规定以上的检测对象的位置时(S18:是)、或者在利用第一网格图像数据及第二网格图像数据确定出检测对象的位置时(S19),喷嘴控制部104向数值控制装置2输出信号,通过数值控制装置2向液体释放部3输出用于使在步骤S18或者S19中确定出的位置的切屑移动的控制信号,控制液体的释放(S15)。此时,例如也可以是,确定部103在一个第二网格区域中检测对象的存在概率高的情况下,确定为检测对象存在于第二网格区域的该区域中,或者也可以是,在第二网格区域中检测对象的存在概率高的情况下,确定为检测对象存在于具有与该第二网格区域重叠的图像区域的一个第一网格区域中,或者也可以是,在第二网格区域中检测对象的存在概率高的情况下,确定为检测对象存在于具有与该第二网格区域重叠的图像区域的所有第一网格区域中。
然后,在机床1的加工结束的情况下(S20:否)、处理结束。另一方面,在机床1的加工继续的情况下(S07:是),信息处理装置10返回到步骤S01的处理,反复进行步骤S01~S20的处理。
另外,在到此为止的说明中,在图7的步骤S14中,在规定数量的网格区域以上的区域确定不出检测对象的位置的情况下,信息处理装置10无需利用确定出检测对象的位置的网格区域的信息,就进行了制作第二网格图像数据且在全网格区域中确定检测对象的位置的第二确定处理。然而,也可以不是这样的流程。例如,也可以是利用在步骤S14中确定出检测对象的位置的网格区域的信息的方式。具体地说,在步骤S14中在第一网格图像数据中确定出规定网格区域的检测对象的位置的情况下(S14:是),信息处理装置10进行在确定出的检测对象所在的网格区域释放液体的控制(S15)。关于之后的处理省略图示,首先信息处理装置10使检测对象移动。并且,信息处理装置10存储在步骤S14中未能确定的网格区域的信息,生成第二网格图像数据,对于与在步骤S14中未能确定的网格区域为对应关系的网格区域进行第二确定处理。并且,信息处理装置10通过第二确定处理,对于确定出检测对象的位置的网格区域,进行在确定出的检测对象所在的网格区域释放液体的控制。在该情况下,在步骤S18中也可以不存在进入否的分支。通过执行这样的流程,信息处理装置10使用两个网格图像数据检测检测对象的位置,所以检测对象的位置检测精度比使用一个网格图像数据的情况高。并且,不需要对两个网格图像数据的检测结果进行比较分析,图像的解析处理减少,所以能够实现短时间内的液体的释放。
[变形例2]
也可以是,确定部103利用已学习的学习模型,确定检测对象的位置。具体地说,确定部103利用已学习的模型,将在获取部101获取的图像数据作为检测用图像数据,根据检测用图像数据确定包含检测对象的区域,已学习的模型是对包含检测对象的多个学习用图像数据、针对各学习用图像数据设定的多个网格区域、和各网格图像中有无检测对象的关系进行机器学习得到的。通过使用学习模型,能够提高检测精度。
并且,也可以是,已学习的模型对所述学习用图像数据、所述网格区域及所述检测对象的有无、以及检测对象的量的关系进行了机器学习,确定部103确定检测对象的有无以及检测对象的量。在该情况下,喷嘴控制部104能够根据确定出的检测对象的量,生成调整用于输出释放液体的控制信号的定时、调节所释放的量的控制信号。由此,能够提高切屑的去除的精度。
如以上那样,作为在本申请中公开的技术的示例,对上述实施方式进行了说明。但是,本公开的技术不限于此,还能够应用于适当进行了变更、替换、追加、省略等的实施方式。
本公开的全部权利要求所记载的信息处理装置、机床及信息处理系统,通过硬件资源例如处理器、存储器、以及与程序的协作等来实现。
工业上的可利用性
本公开的信息处理装置、机床及信息处理系统例如应用于机床的检测对象的位置的确定。
标号说明
1机床;10信息处理装置;100运算部;101获取部;102图像生成部;103确定部;104喷嘴控制部;105输出控制部。

Claims (8)

1.一种信息处理装置,根据具有拍摄内部的摄像部的机床的所述摄像部拍摄的图像数据确定检测对象的存在,其特征在于,
所述信息处理装置具有:
图像生成部,生成将所述图像数据的至少一部分划分成多个第一网格区域而得到的网格图像;以及
确定部,从所述网格图像的各所述第一网格区域中确定检测对象的存在,
所述确定部即使在未从各所述第一网格区域中确定出所述检测对象的存在的情况下,在从多个第二网格区域的至少任一个中确定出所述检测对象的存在的情况下,确定为在与确定出所述检测对象的存在的所述第二网格区域重叠的多个第一网格区域中存在所述检测对象,其中多个所述第二网格区域分别与所述第一网格区域是相同的尺寸,设置为分别从所述第一网格区域偏移规定量而且一部分与所述第一网格区域重叠。
2.根据权利要求1所述的信息处理装置,其特征在于,
所述信息处理装置具有控制部,生成在所述检测对象的位置释放液体的控制信号,
所述控制部在所述第一网格区域中确定出所述位置之后,生成朝向已确定出所述位置的所述检测对象释放液体的控制信号,在所述第二网格区域中确定出所述位置之后,生成朝向已确定出所述位置的所述检测对象释放液体的控制信号。
3.根据权利要求1或2所述的信息处理装置,其特征在于,
所述第二网格区域相对于所述第一网格区域在第一方向或者与所述第一方向正交的第二方向中的至少任一个方向上移动,所述第一网格区域和所述第二网格区域不一致。
4.根据权利要求3所述的信息处理装置,其特征在于,
所述确定部即使在所述第一网格区域不包含所述检测对象的情况下,在与该第一网格区域的一部分重叠的所述第二网格区域包含所述检测对象的情况下,将该第一网格区域的位置作为包含所述检测对象的位置。
5.根据权利要求1或2所述的信息处理装置,其特征在于,
所述检测对象是由于加工而从作为所述机床的加工对象的工件产生并在所述机床内堆积的切屑、或者由于加工在所述工件产生的损伤。
6.根据权利要求1或2所述的信息处理装置,其特征在于,
在所述机床内设置释放液体的喷嘴,
所述信息处理装置还具有喷嘴控制部,控制所述喷嘴的朝向,以使来自所述喷嘴的液体的释放的方向成为由所述确定部确定出的位置。
7.根据权利要求1或2所述的信息处理装置,其特征在于,
所述确定部利用已学习的模型,将输入的图像数据设为检测用图像数据,根据所述检测用图像数据确定包含所述检测对象的区域,所述已学习的模型是对包含检测对象的多个学习用图像数据、针对各所述学习用图像数据设定的多个网格图像的区域信息、和所述各网格图像中有无检测对象的关系进行机器学习得到的。
8.一种信息处理方法,其特征在于,包含以下步骤:
摄像步骤,拍摄机床内;
图像生成步骤,生成将拍摄到的图像数据的至少一部分划分成多个第一网格区域而得到的网格图像;以及
确定步骤,从所述网格图像的各所述第一网格区域中确定检测对象的存在,
在所述确定步骤中,即使在未从各所述第一网格区域中确定出所述检测对象的存在的情况下,在从多个第二网格区域的至少任一个中确定出所述检测对象的存在的情况下,确定为在与确定出所述检测对象的存在的所述第二网格区域重叠的多个第一网格区域中存在所述检测对象,其中多个所述第二网格区域分别与所述第一网格区域是相同的尺寸,设置为分别从所述第一网格区域偏移规定量而且一部分与所述第一网格区域重叠。
CN202080096204.3A 2020-02-12 2020-11-04 信息处理装置及信息处理系统 Active CN115103737B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-021365 2020-02-12
JP2020021365A JP6788759B1 (ja) 2020-02-12 2020-02-12 情報処理装置及び情報処理システム
PCT/JP2020/041227 WO2021161592A1 (ja) 2020-02-12 2020-11-04 情報処理装置及び情報処理システム

Publications (2)

Publication Number Publication Date
CN115103737A CN115103737A (zh) 2022-09-23
CN115103737B true CN115103737B (zh) 2024-04-26

Family

ID=73455199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080096204.3A Active CN115103737B (zh) 2020-02-12 2020-11-04 信息处理装置及信息处理系统

Country Status (5)

Country Link
US (1) US20230076772A1 (zh)
EP (1) EP4104967A4 (zh)
JP (1) JP6788759B1 (zh)
CN (1) CN115103737B (zh)
WO (1) WO2021161592A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7083943B1 (ja) 2021-05-24 2022-06-13 Dmg森精機株式会社 情報処理装置
JP6921354B1 (ja) * 2021-05-24 2021-08-18 Dmg森精機株式会社 情報処理装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007114742A (ja) * 2005-09-21 2007-05-10 Olympus Corp 観察装置
JP2010035756A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp 診断支援装置及び診断支援方法
JP2012010733A (ja) * 2010-06-29 2012-01-19 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、画像検索システム、及び検索方法
JP2017094420A (ja) * 2015-11-20 2017-06-01 ファナック株式会社 工作機械
CN106845424A (zh) * 2017-01-24 2017-06-13 南京大学 基于深度卷积网络的路面遗留物检测方法
JP2018024094A (ja) * 2017-11-14 2018-02-15 ファナック株式会社 工作機械の洗浄システム
CN107818303A (zh) * 2017-10-23 2018-03-20 中石化石油工程地球物理有限公司 无人机油气管线影像自动对比分析方法、系统及软件存储器
CN108526968A (zh) * 2017-03-02 2018-09-14 发那科株式会社 机床系统
CN109564173A (zh) * 2017-04-25 2019-04-02 翼视株式会社 图像检查装置、生产系统、图像检查方法、程序及存储介质
JP2019111637A (ja) * 2017-12-26 2019-07-11 ファナック株式会社 切粉除去装置及び情報処理装置
CN110738722A (zh) * 2019-10-10 2020-01-31 支付宝(杭州)信息技术有限公司 一种热力图纹理的生成方法、装置及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03184747A (ja) * 1989-12-13 1991-08-12 Osaka Kiko Co Ltd 工作機械における工作物の自動照合認識装置
JPH08197383A (ja) * 1995-01-30 1996-08-06 Toshiba Mach Co Ltd 切削工具の切屑付着検知方法および装置
JP6420227B2 (ja) * 2014-12-25 2018-11-07 ファナック株式会社 工作機械の機内清掃装置
JP6306544B2 (ja) * 2015-08-11 2018-04-04 ファナック株式会社 工作機械の洗浄システム
JP6356655B2 (ja) * 2015-12-10 2018-07-11 ファナック株式会社 加工屑を除去する機能を有する加工システム
JP2019030917A (ja) * 2017-08-04 2019-02-28 オークマ株式会社 加工屑検出装置および工作機械
US10681344B2 (en) * 2017-12-15 2020-06-09 Samsung Display Co., Ltd. System and method for mura detection on a display

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007114742A (ja) * 2005-09-21 2007-05-10 Olympus Corp 観察装置
JP2010035756A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp 診断支援装置及び診断支援方法
JP2012010733A (ja) * 2010-06-29 2012-01-19 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、画像検索システム、及び検索方法
JP2017094420A (ja) * 2015-11-20 2017-06-01 ファナック株式会社 工作機械
CN106845424A (zh) * 2017-01-24 2017-06-13 南京大学 基于深度卷积网络的路面遗留物检测方法
CN108526968A (zh) * 2017-03-02 2018-09-14 发那科株式会社 机床系统
CN109564173A (zh) * 2017-04-25 2019-04-02 翼视株式会社 图像检查装置、生产系统、图像检查方法、程序及存储介质
CN107818303A (zh) * 2017-10-23 2018-03-20 中石化石油工程地球物理有限公司 无人机油气管线影像自动对比分析方法、系统及软件存储器
JP2018024094A (ja) * 2017-11-14 2018-02-15 ファナック株式会社 工作機械の洗浄システム
JP2019111637A (ja) * 2017-12-26 2019-07-11 ファナック株式会社 切粉除去装置及び情報処理装置
CN110738722A (zh) * 2019-10-10 2020-01-31 支付宝(杭州)信息技术有限公司 一种热力图纹理的生成方法、装置及设备

Also Published As

Publication number Publication date
US20230076772A1 (en) 2023-03-09
CN115103737A (zh) 2022-09-23
EP4104967A1 (en) 2022-12-21
JP6788759B1 (ja) 2020-11-25
JP2021126713A (ja) 2021-09-02
WO2021161592A1 (ja) 2021-08-19
EP4104967A4 (en) 2024-02-28

Similar Documents

Publication Publication Date Title
CN107030520B (zh) 去除系统以及加工系统
CN115103737B (zh) 信息处理装置及信息处理系统
CN110052887B (zh) 清洁系统
JP4199264B2 (ja) ワーク取り出し装置及び方法
US8180476B2 (en) Machining state checking method and machining state checking apparatus
JP5582126B2 (ja) ワーク取出システム、ロボット装置および被加工物の製造方法
WO2022249968A1 (en) Information processing device
US20220288618A1 (en) Information processing device and information processing system
JP2023112028A (ja) 切削加工システム
JP2021126712A (ja) 情報処理装置および工作機械
CN114746213A (zh) 显示装置、机床及液体的放出方法
JP6887033B1 (ja) 画像処理装置、工作機械および画像処理方法
EP4354239A1 (en) Information processing device, and program
JP6927917B2 (ja) 加工屑を除去する機能を有する加工システム
EP4074458A1 (en) Information processing device, machine tool, and information processing system
CN114746212A (zh) 显示装置、机床及液体的放出方法
US20230049354A1 (en) Information processing device, machine tool, and program
JP2024005533A (ja) 作業管理装置及び作業管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant