CN117321516A - 影像判别装置、影像判别系统以及存储介质 - Google Patents
影像判别装置、影像判别系统以及存储介质 Download PDFInfo
- Publication number
- CN117321516A CN117321516A CN202280034464.7A CN202280034464A CN117321516A CN 117321516 A CN117321516 A CN 117321516A CN 202280034464 A CN202280034464 A CN 202280034464A CN 117321516 A CN117321516 A CN 117321516A
- Authority
- CN
- China
- Prior art keywords
- image
- machine
- data
- state
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims description 10
- 230000008859 change Effects 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 230000010365 information processing Effects 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 8
- 239000002826 coolant Substances 0.000 description 7
- 238000002360 preparation method Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 6
- 238000003754 machining Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Numerical Control (AREA)
Abstract
影像判别装置存储将作为数值控制装置和机床双方或者至少一方的机械的状态所涉及的数据的识别信息与该数据的内容关联起来的机械状态词典部,取得所述机械的影像,取得用于检测所述机械的状态变化的数据,基于所述数据来判断所述机械的状态是否变化,将所述机械的状态变化时的影像与所述数据的内容关联起来。
Description
技术领域
本发明涉及影像判别装置、影像判别系统以及计算机可读取的存储介质。
背景技术
以往,存在“对每个产品通过影像再现机械的操作、准备、或者产品的处理方法、检查的方法等来辅助制造活动(重复订购)的多媒体化的NC控制装置(专利文献1)”。
在专利文献1中,记载了“当从NC加工数据上位计算机经由RS-232C发送到显示控制部20时,显示控制部20将NC加工数据下载到NC装置,并且制作将其程序名称作为ID的索引表26。当从条形码读取器操作“录像”和“准备”等条形码读取开关13时,显示控制部20启动控制软件部21,向录像部22指示录像。录像部22将该录像开始的时间码这次返回到控制软件部21,因此,系统在索引表26的“准备工序”栏中记入该时间码”。
在专利文献1中,将NC加工数据下载到NC装置,并且制作将其程序名称作为ID的索引表26。在条形码读取开关13中设定有在模具准备时操作的“准备代码”、在弯曲加工时按压的“弯曲代码”等成为要点的按作业分类的多个代码开关。例如,当操作“准备代码”时,系统在索引表26的“准备工序”栏中记入该时间码。系统能够成对地管理NC加工数据(程序)和索引表26,通过再现部24进行检索。
现有技术文献
专利文献
专利文献1:日本特开平8-129411号公报
发明内容
发明要解决的课题
在专利文献1中,需要准备开始影像的录像的开关、选择所录像的内容(准备、弯曲等)的开关,需要操作员监视机械,操作员手动进行录像的开始、录像内容的输入。
在机床的领域中,期望自动判别影像的技术。
用于解决课题的手段
作为本公开的一方式的数值控制装置具有:机械状态词典部,其将作为数值控制装置和机床双方或者至少一方的机械的状态所涉及的数据的识别信息与该数据的内容关联起来;影像取得部,其取得所述机械的影像;机械状态取得部,其取得用于检测所述机械的状态变化的数据;机械状态转换部,其基于所述数据,检测所述机械的状态的变化,参照所述机械状态词典部,将所述数据的变化转换为所述机械的操作内容;数据关联部,其将所述机械的状态变化时的影像与所述数据的内容关联起来。
作为本公开的一方式的影像判别系统具有:机械状态词典部,其将作为数值控制装置和机床双方或者至少一方的机械的状态所涉及的数据的识别信息和该数据的内容关联起来;影像取得部,其取得所述机械的影像;机械状态取得部,其取得用于检测所述机械的状态变化的数据;上述影像判别系统基于所述数据,检测所述机械的状态的变化,参照所述机械状态词典部,将所述数据的变化转换为所述机械的操作内容,并且具备:数据关联部,其将所述机械的状态变化时的影像与所述数据的内容关联起来。
作为本公开的一方式的存储介质存储计算机可读取的命令,通过一个或多个处理器执行该计算机可读取的命令,存储将作为数值控制装置和机床双方或至少一方的机械的状态所涉及的数据的识别信息与该数据的内容关联起来的机械状态词典部,取得所述机械的影像,取得用于检测所述机械的状态变化的数据,基于所述数据来判断所述机械的状态是否变化,将所述机械的状态变化时的影像与所述数据的内容关联起来。
发明效果
根据本发明的一方式,能够自动判别影像。
附图说明
图1是作为第一公开的影像判别装置的数值控制装置的框图。
图2是表示在数值控制装置的存储器上设定的各变量的图。
图3是表示数值控制装置与外部设备的关系的概念图。
图4是表示输入部的一例的图。
图5是第二公开的数值控制装置的框图。
图6是表示操作信号词典部的一例的图。
图7是对关键帧的选择进行说明的图。
图8是表示操作信号词典部的一例的图。
图9是表示操作影像制作部制作出的影像的一例的图。
图10是对要点影像的制作进行说明的图。
图11是表示带字幕的影像的一例的图。
图12是表示操作过程书的一例的图。
图13是对代表影像的选择进行说明的图。
图14是对数值控制装置的动作进行说明的流程图。
图15是第三公开的数值控制装置的框图。
图16是表示数值控制装置的硬件结构的图。
具体实施方式
[第一公开]
图1是作为第一公开的影像判别装置的数值控制装置100的框图。
数值控制装置100具有:影像取得部1、机械状态取得部2、机械状态词典部3、机械状态转换部4、以及数据关联部5。
影像取得部1取得来自拍摄机床7的照相机6的影像、或者捕捉到数值控制装置100或机床7的显示画面的影像。
机械状态取得部2取得用于检测机床7以及控制机床7的数值控制装置100的状态变化的数据(以下,用于检测机械的状态变化的数据)。在“用于检测机械的状态变化的数据”中,有机械操作盘或触摸面板的操作信号、基于加工程序的变量的变更、来自编入程序的变量的变更、来自PC应用的变量的变更、来自与机床连接的外部设备的输入信号、向与机床连接的外部设备的输出信号、加工程序指令、时序程序指令等。
机械状态词典部3将“用于检测机械的状态变化的数据的识别信息(例如,信号的识别信息/变量的识别信息/指令的识别信息)”与“用于检测机械的状态变化的数据的内容(例如,信号的内容/变量的内容/指令的内容)”关联起来。
机械状态转换部4监视机械状态取得部2取得的“用于检测机械的状态变化的数据”,判断机械状态是否变化,当产生机械状态的变化时,参照机械状态词典部,将“数据的识别信息”转换为“数据的内容”。
数据关联部5将机械状态的变化与机械的影像关联起来。具体而言,将“表示机械的状态变化的数据的值”以及“使机械进行状态变化的数据的内容”双方或者至少一方与影像取得部1取得的影像关联起来。在影像取得部1取得的影像中有拍摄机床7的照相机6的影像、捕捉到机床7的显示画面的影像等。
对与表示机械的状态变化的数据关联起来的影像进行具体说明。
操作盘、触摸面板等的操作信号能够成为“用于检测机械的状态变化的数据”。机械状态转换部4监视操作信号,在操作信号变化的情况下,参照机械状态词典部3,读出变化的操作信号的“数据的内容”。数据关联部将“数据的值”和“数据的内容”双方或至少一方与影像关联起来。
例如,当操作员手动操作操作盘的速度拨盘,速度信号从10变化到20时,数据关联部5将“机床轴的移动速度变化”的影像、数据的内容“速度”、数据的值“10->20”关联起来。
例如,当通过触摸面板的“加工开始按钮”的按下使得加工开始信号从断开变化为接通时,数据关联部5将“工件的加工开始”的影像与数据的内容“加工开始”关联起来。
当通过触摸面板的手动操作而执行“加工程序的编辑”时,机械状态转换部4检测加工程序变化的程序块(行)。例如,当加工程序的第100行变化时,数据关联部5将“操作员操作触摸面板”的影像、数据的内容“加工程序的变化”、数据的值“第100行”关联起来。
当通过触摸面板或操作盘的手动操作而执行“参数的编辑”时,进给速度参数变化。数据关联部5将“操作员操作触摸面板或操作盘”的影像、数据的内容“进给速度参数”、数据的值“100->200”关联起来。
当通过触摸面板或操作盘的手动操作而执行“偏移的编辑”时,工具偏移的变量变化。数据关联部5将“操作员操作触摸面板或操作盘”的影像、数据的内容“工具偏移”、数据的值“100mm->110mm”关联起来。
当执行测量工具长度的加工程序时,“工具偏移的变量自动变化”。数据关联部5将“执行测量工具长度的加工程序,测量结果反映到偏移”影像、数据的内容“工具偏移”、数据的值,例如“100mm->110mm”关联起来。“测量结果反映到偏移”影像也可以是数值控制装置100的显示部70的捕捉影像。
当执行自动变更宏变量的加工程序时,“宏变量自动变化”。例如,在执行了测量工件的形状的加工程序的情况下,自动变更工件的形状的宏变量。数据关联部5将“工件测量的执行”影像、“测量结果反映到宏变量”影像、数据的内容“工件形状”、数据的值例如“X120.0->X124.0”关联起来。“测量结果反映到宏变量”影像例如也可以是数值控制装置100的显示部70的捕捉影像。
当执行变更变量的编入程序时,“某变量自动变化”。例如,在变更了作为变量之一的“执行的加工程序的编号”的情况下,数据关联部5将“变更加工程序的编号”影像、数据的内容“执行的加工程序的编号”、数据的值“加工程序的编号”关联起来。“变更加工程序的编号”影像也可以是数值控制装置100的显示部70的捕捉影像。
也存在外部的信息设备的应用变更数值控制装置100的变量的情况。在此,外部的信息设备是指PC(个人计算机)、服务器等。
例如,在作为变量而变更了“执行的加工程序的编号”的情况下,数据关联部将“变更加工程序的编号”影像、数据的内容“执行的加工程序的编号”、数据的值“加工程序的编号”关联起来。
在此,与影像关联起来的数据的内容也能够使用“执行了变量的变更的应用的名称”、“执行了变量的变更的外部的信息设备的名称”等。“变更加工程序的编号”影像也可以是数值控制装置100的显示部70的捕捉影像。
来自与机床7连接的外部设备的输入信号能够成为“用于检测机械的状态变化的数据”。例如,“接触式探头的接触信号”是“用于检测机械的状态变化的数据”。当作为外部设备的接触式探头与工件等接触时,“探头接触信号”变化为“接通”。当“探头接触信号”变化时,数据关联部5将“接触式探头的LED(Light Emitting Diode)发光而停止”影像与数据的内容“接触式探头接触”关联起来。
来自传感器的输入信号能够成为“用于检测机械的状态变化的数据”。例如,温度传感器检测的“主轴温度”是“用于检测机械的状态变化的数据”。当“主轴温度”超过规定的值时,数据关联部5将数据的内容“主轴温度”、数据的值“主轴温度的值”、“主轴”的影像关联起来。当温度上升时,“主轴”有时也会冒烟。
向与机床7连接的外部设备的输出信号能够成为“用于检测机械的状态变化的数据”。
例如,“机床的门开闭信号”能够成为“用于检测机械的状态变化的数据”。当“门的开闭信号”变化时,PLC(内置于数值控制装置100的PLC或者数值控制装置100的外部的PLC)按照信号的值进行门的开闭。数据关联部5将外部设备的影像与数据的变化关联起来。例如,当“门的开闭信号”为接通时,数据关联部5将“门打开”影像、数据的内容“门的开闭信号”、数据的值“断开->接通”关联起来。
“冷却剂信号”能够成为“用于检测机械的状态变化的数据”。当“冷却剂信号”变化时,PLC(内置于数值控制装置100的PLC或者数值控制装置100的外部的PLC)按照信号的值进行冷却剂的喷出。数据关联部5将外部设备的影像与数据的变化关联起来。例如,当“冷却剂信号”为接通时,数据关联部5将“冷却剂的喷出开始”影像、数据的内容“冷却剂信号”、数据的值“断开->接通”关联起来。
加工程序的指令能够成为“用于检测机械的状态变化的数据”。数值控制装置100解析加工程序,向伺服放大器等模块输出指令。输出指令时,“表示数值控制装置100的特定功能的状态的信号”变化。机械状态转换部4基于“表示数值控制装置100的特定功能(例如快进等)的状态的信号”的值的变化(例如接通和断开的切换等),判断为机械的状态变化。数据关联部5将“使用数值控制装置100的特定功能”影像与数据的内容“例如,快进指令等”关联起来。
时序程序的指令能够成为“用于检测机械的状态变化的数据”。数值控制装置100的内部的PLC解析时序程序,向与数值控制装置100连接的外部设备指令特定的时序功能。输出指令时,“表示时序功能的状态的信号”发生变化。机械状态转换部4基于“表示时序功能的状态的信号”的值的变化(例如,接通和断开的切换等),判断为机械的状态发生了变化。数据关联部5将“执行时序程序的指令”影像与数据的内容“例如,工具更换指令等”关联起来。
对上述的“用于检测机械的状态变化的数据”的变化的检测方法进行说明。
在数值控制装置100中,如图2所示,在数值控制装置100的存储器上设定局部变量、宏变量、公共变量、系统变量等变量。另外,也决定了参数编号。能够将变量的编号、参数的编号用作数据的识别信息。
局部变量是在执行主程序、宏程序等加工程序时使用的变量,在主程序和宏程序中分别独立。公共变量是在主程序和宏程序中共通地使用的变量。
系统变量存储工具直径校正的变更、坐标值的读入、有效的指令(G代码)、有效的M代码(时序指令)等。系统变量包含接口输入信号、接口输出信号、设置数据、模态信息等。
能够根据这些变量的值来检测机械状态的变化。
第一公开的数值控制装置100通过监视存储器、外部信号、操作信号等来检测机械状态的变化,参照机械状态词典部3,将机械状态的识别信息转换为“数据的内容”,将“数据的内容”与影像关联起来。由此,能够判别影像的内容。第二公开表示使用了与“数据的内容”关联起来的影像的应用例。
[第二公开]
在本公开中,对在机械状态内特别是着眼于操作员对数值控制装置的操作来进行与影像的关联的实施方式进行说明。
图3是表示作为本公开的影像判别装置的数值控制装置100和向数值控制装置100发送信号的装置的概念图。在图3中,数值控制装置100包含于加工中心。加工中心是数值控制装置100与机床为一体的装置。加工中心也包含伺服电动机、风扇、集雾机、冷却剂、切屑除去装置、自动工具更换装置(ATC)、层叠显示灯(パトライト(注册商标))等装置。数值控制装置100具有内部PLC(Programmable Logic Controller,可编程逻辑控制器)42,控制这些设备。
在PLC42、50中有内置于数值控制装置100的内部PLC42和外部的PLC50。外部的PLC50除了来自数值控制装置100的请求以外,还输入来自存在于制造现场的设备、装置、传感器、致动器的信号,将传感器探测到的信息、控制状态数据等输出到数值控制装置100。在本公开中,将PLC42、50控制的装置称为数值控制装置100的外部设备。
数值控制装置100具有输入部71。输入部71有物理性的输入部71和电子性的输入部71。图4表示数值控制装置100的输入部71的一例。物理输入部71是机械操作盘的拨盘、按钮等。电子性的输入部71例如是显示于触摸面板的按钮等。当操作员操作输入部71时,经由PLC42输出操作信号。该操作信号不是特别的信号,而是操作员输入到数值控制装置100的已有的输入部71的结果得到的已有的操作信号。在本公开中,将已有的操作信号用于影像判别。不需要输入操作员的操作内容,也不需要用于供操作员输入操作内容的特别的开关等。
图5是数值控制装置100的框图。数值控制装置100具有:影像取得部11、操作信号取得部12、操作信号词典部13、操作信号转换部14、数据关联部15、字幕制作部16、影像制作部17、要点影像制作部18、过程书制作部19以及影像选择部20。
本公开的影像取得部11与在第一公开中说明的影像取得部1对应,本公开的操作信号取得部12与在第一公开中说明的机械状态取得部2对应,本公开的操作信号词典部13与在第一公开中说明的机械状态词典部3对应,本公开的操作信号转换部14与在第一公开中说明的机械状态转换部4对应,本公开的数据关联部15与在第一公开中说明的数据关联部5对应。
影像取得部11从拍摄机床的照相机(省略图示)取得影像。操作信号取得部12取得被输入到机械操作盘、触摸面板的输入部71的操作信号。
操作信号词典部13将“信号”、“信号的值”、“操作内容”关联起来。通过操作信号转换部14,能够将输入到数值控制装置100的信号的变化转换为操作员的操作内容。图6是操作信号词典部13的一例。在图6中,登记“信号1”、“信号2”作为“信号”。“信号”有外部设备的输入地址、规定的电阻的电压值等。在图6中,“信号1”的值“1”与操作内容“通过JOG向+Y方向移动”对应起来。“信号2”的值“10”与操作内容“快进倍率为25%”对应起来。
操作信号转换部14监视输入到输入部71的操作信号,检测操作信号的变化。操作信号的变化有操作信号的值的变化、新的操作信号的输入、操作信号的输入停止等。在图6的第一行的例子中,在“信号1”的值从“0”变化为“1”时,检测操作信号的变化。操作信号转换部14参照操作信号词典部13,将操作信号的变化转换为操作内容“向JOG+Y方向移动”。
数据关联部15将操作内容与影像关联起来。数据关联部15选择存在操作信号的变化的时间点的影像作为关键帧。关键帧是指在构成动画的数据中成为分隔的帧。关键帧是完全保持影像信息的非压缩帧。如图7所示,数据关联部15从多个帧中选择操作数据变化的时间点的关键帧并与操作内容关联起来。
字幕制作部16制作表示信号有变化的时间点的操作内容的字幕。字幕的制作方法有制作字幕文件的方法。字幕文件是将字幕的显示时间与字幕的文本对应起来的文本文件。字幕制作部16对影像追加字幕文件。另外,也可以如MPEG的传输流那样在影像压缩时使影像、声音、字幕多重化。字幕的制作方法没有特别限定。
影像制作部17将操作内容转换为影像。图8是将操作内容转换为影像时的操作信号词典部13的一例。在图8中,“信号1”的值“1”与操作内容“+Y”按钮对应起来。“信号2”的值“10”与逆时针操作的拨盘的影像对应起来。图9是影像制作部17制作出的影像的一例。图9表示按钮“Y”的按下和拨盘操作,作为操作内容。具体而言,按钮“Y”被强调显示,表示机械操作盘右上的拨盘被旋转的箭头被显示,表示拨盘的操作量(值)。影像制作部17将操作员的操作内容转换为影像。
如图10所示,要点影像制作部18提取数据关联部15选择出的关键帧和之后的数秒的影像并接合,由此,制作仅汇集了操作数据有变化的部分的要点影像。也可以在要点影像中追加字幕。图9表示对要点影像附加了字幕的例子。在图11的例子中,赋予有“向JOG+Y方向移动”的字幕。通过赋予字幕,能够使操作员的操作与机床的动作的关联可视化。
过程书制作部19将关键帧和表示当时的操作内容的文本依次粘贴在文档文件,由此,制作影像与操作内容一对一对应的操作过程书。在图12的例子中,排列有关键帧[1]、[2]、[3]、[4]这4个关键帧。关键帧[1]是进行了“向JOG+Y方向移动”的操作时的影像,关键帧[2]是进行了“变更为自动运转模式”的操作时的影像,关键帧[3]是进行了“按下复位按钮”操作时的影像,关键帧[4]是进行了“按下开始按钮”操作时的影像。
通过将操作员的操作呈时间序列排列,能够自动制作过程书。操作过程书也可以包含时间信息。也可以对影像赋予字幕。
影像选择部20受理在要点影像的制作、过程书的制作中使用的代表影像的选择。影像选择部20显示信号有变化的时间点的关键帧的一览,受理用户的选择。要点影像制作部18根据用户选择出的关键帧制作要点影像。过程书制作部19根据用户选择出的关键帧制作过程书。
在影像选择部20中,也能够选择代表影像。代表影像被用作要点影像、过程书的封面影像。在图13的示例中,表示了当从[1]至[6]的关键帧的一览中选择[4]的关键帧作为代表影像时,制作以关键帧[4]为封面的要点影像的情形。
参照图14的流程图,对数值控制装置100的动作进行说明。在本公开中,数值控制装置100同时进行影像的录像和影像的判别。数值控制装置100从连接的照相机取得机床的影像(步骤S1),同时取得操作信号(步骤S2)。
数值控制装置100监视操作信号(步骤S3),当检测到操作信号的变化时(步骤S4;是),参照操作信号词典部13,选择与操作信号对应的操作内容。在步骤S4中,在未检测到操作信号的变化的情况下(步骤S4;否),将处理转移至步骤S3,监视操作信号。
数值控制装置100将操作信号变化的时间点的影像的帧选择为关键帧,与操作内容关联起来(步骤S5)。存储关键帧和操作内容(步骤S6)。此时,也可以附加时间戳。
本公开的数值控制装置100具有将操作信号与操作内容关联起来的操作信号词典部13,将操作员操作数值控制装置100时产生的操作内容与关键帧关联起来进行存储。数值控制装置100将操作内容转换为文本、影像等人能够理解的形式。数值控制装置100将表示操作内容的文本显示为字幕,或者以影像的形式显示操作内容。数值控制装置100使用操作内容和关键帧来制作要点影像或制作过程书。用户也能够选择成为要点影像、过程书的封面的关键帧。此外,操作内容也可以转换为声音。
[第三公开]
在第二公开中,同时进行影像的录像和数据的关联,但在第三公开中,使用加工中录像的影像和加工中的操作信号进行数据的关联。如图15所示,第三公开的影像判别装置200具有存储录像的影像的影像存储部21和存储加工中的操作信号的数据存储部22。影像取得部11读出影像存储部21中存储的影像,操作信号取得部12读出数据存储部22中存储的操作信号。
操作信号词典部13、操作信号转换部14、数据关联部15、字幕制作部16、影像制作部17、要点影像制作部18、过程书制作部19、影像选择部20进行与第二公开相同的处理,因此,省略说明。
第三公开的影像判别装置200能够应用于数值控制装置、PC、服务器、便携终端等信息处理装置。另外,通过网络上的PC、服务器、数值控制装置等分散配置第三公开的影像判别装置200的结构要素的影像判别系统也包含在本公开中。
以上,对本发明的第一~第三公开的实施方式进行了说明,但本发明并不仅限定于上述的实施方式的例子,能够通过施加适当的变更而以各种方式来实施。
例如,第二公开所示的字幕制作部16、要点影像制作部18、过程书制作部19、影像选择部20、第三公开所示的影像存储部21、数据存储部22等的功能能够与第一公开的影像判别装置适当组合来利用。该情况下,各个功能除了操作内容,还根据表示机械的各种状态的数据来进行字幕、要点、过程书、代表影像的制作、数据的存储。
另外,在第一~第三公开中将数值控制装置100作为影像判别装置的应用例,但是只要存在影像取得部1(影像取得部11)、机械状态取得部2(操作信号取得部12)、机械状态词典部3(操作信号词典部13)、机械状态转换部4(操作信号转换部14)、数据关联部5(数据关联部15),则也可以应用于数值控制装置100以外的信息处理装置。另外,通过网络上的PC(个人计算机)、服务器、数值控制装置等分散配置数值控制装置100的结构要素的影像判别系统也包含在本发明中。
[硬件结构]
参照图16,对第一公开的数值控制装置100的硬件结构进行说明。此外,第二、第三公开的影像判别装置200也具有大致相同的硬件结构。数值控制装置100具有的CPU111是整体控制数值控制装置100的处理器。CPU111经由总线读出在ROM112中加工的系统程序,按照该系统程序控制数值控制装置100的整体。在RAM113中暂时储存临时的计算数据、显示数据、用户经由输入部71输入的各种数据等。
显示部70是附属于数值控制装置100的监视器等。显示部70显示数值控制装置100的操作画面、设定画面等。
输入部71是与显示部70一体或者与显示部70不同的键盘、触摸面板等。用户操作输入部71,进行向显示于显示部70的画面的输入等。此外,显示部70和输入部71也可以是便携终端。
非易失性存储器114例如是如下的存储器:通过未图示的电池进行备份等,即使数值控制装置100的电源断开也保持存储状态。在非易失性存储器114中存储经由未图示的接口从外部设备读入的程序、经由输入部71输入的程序、从数值控制装置100的各部、机床等取得的各种数据(例如,从机床取得的设定参数等)。存储在非易失性存储器114中的程序、各种数据也可以在执行时/利用时在RAM113中展开。另外,在ROM112中预先写入各种系统程序。
控制机床的工具的控制器40将来自CPU111的轴的移动指令转换为脉冲信号并输出到驱动器41。驱动器41将脉冲信号转换为电流来驱动机床的伺服电动机。伺服电动机按照数值控制装置100的控制来移动工具、工作台。
附图标记说明
100 数值控制装置
200 影像判别装置
1 影像取得部
2 机械状态取得部
3 机械状态词典部
4 机械状态转换部
5 数据关联部
11 影像取得部
12 操作信号取得部
13 操作信号词典部
14 操作信号转换部
15 数据关联部
16 字幕制作部
17 影像制作部
18 要点影像制作部
19 过程书制作部
20 影像选择部
111CPU
112ROM
113RAM
114非易失性存储器。
Claims (14)
1.一种影像判别装置,其特征在于,具有:
机械状态词典部,其将作为数值控制装置和机床双方或者至少一方的机械的状态所涉及的数据的识别信息与该数据的内容关联起来;
影像取得部,其取得所述机械的影像;
机械状态取得部,其取得用于检测所述机械的状态变化的数据;
机械状态转换部,其基于所述数据,检测所述机械的状态的变化,参照所述机械状态词典部转换为所述数据的内容;
数据关联部,其将所述机械的状态变化时的影像与所述数据的内容关联起来。
2.根据权利要求1所述的影像判别装置,其特征在于,
所述数据关联部将所述机械状态变化时的影像与所述数据的值关联起来。
3.根据权利要求1所述的影像判别装置,其特征在于,
所述机械状态变化时的影像是由照相机拍摄到的所述机械的影像和所述数值控制装置的操作画面的捕捉影像双方或者至少一方。
4.根据权利要求1所述的影像判别装置,其特征在于,
用于检测所述机械的状态变化的数据包含操作员的操作信号、基于加工程序的变量的变更、来自编入程序的变量的变更、来自信息处理装置的变量的变更、来自与机床连接的外部设备的输入信号、向与机床连接的外部设备的输出信号、加工程序指令、时序程序指令中的至少一个。
5.根据权利要求1所述的影像判别装置,其特征在于,
所述数据的内容是文本形式、影像形式、声音形式中的至少任一个。
6.根据权利要求1所述的影像判别装置,其特征在于,
根据所述文本形式的数据的内容制作所述机械的状态变化的时间点的字幕。
7.根据权利要求1所述的影像判别装置,其特征在于,
影像形式的数据的内容是表示所述机械的状态变化的时间点的对所述数值控制装置的输入部的操作的影像。
8.根据权利要求1所述的影像判别装置,其特征在于,
所述机械的状态变化的时间点的影像是关键帧。
9.根据权利要求1所述的影像判别装置,其特征在于,
所述影像判别装置具有:要点影像制作部,其提取所述机械的状态变化的时间点的影像,将所述提取出的影像接合来制作要点影像。
10.根据权利要求1所述的影像判别装置,其特征在于,
所述影像判别装置具有:过程书制作部,其使用所述机械的状态变化的时间点的影像和所述影像的内容来制作加工的过程书。
11.根据权利要求1所述的影像判别装置,其特征在于,
所述影像判别装置具有:影像选择部,其受理所述数据变化的时间点的影像中的至少一个影像的选择,将所述选择出的影像作为代表影像。
12.根据权利要求1所述的影像判别装置,其特征在于,
所述机械状态词典部将作为用于检测所述机械的状态变化的数据的被输入到所述数值控制装置的操作信号与作为所述数据的内容的所述数值控制装置的操作内容关联起来,
所述影像取得部取得所述数值控制装置的操作时的影像,
所述机械状态取得部取得在所述操作时被输入到所述数值控制装置的操作信号,
所述机械状态转换部检测所述操作信号的变化,参照所述机械状态词典部,将所述操作信号的变化转换为所述数值控制装置的操作内容,
所述数据关联部选择所述操作信号变化的时间点的影像,将所述影像与所述操作内容关联起来。
13.一种影像判别系统,其特征在于,具有:
机械状态词典部,其将作为数值控制装置和机床双方或者至少一方的机械的状态所涉及的数据的识别信息与该数据的内容关联起来;
影像取得部,其取得所述机械的影像;
机械状态取得部,其取得用于检测所述机械的状态变化的数据;
上述影像判别系统基于所述数据,检测所述机械的状态的变化,参照所述机械状态词典部,将所述数据的变化转换为所述机械的操作内容,
并且具备:数据关联部,其将所述机械的状态变化时的影像与所述数据的内容关联起来。
14.一种存储计算机可读取的命令的存储介质,其特征在于,
通过一个或多个处理器执行该计算机可读取的命令,
存储将作为数值控制装置和机床双方或者至少一方的机械的状态所涉及的数据的识别信息与该数据的内容关联起来的机械状态词典部,
取得所述机械的影像,
取得用于检测所述机械的状态变化的数据,
基于所述数据来判断所述机械的状态是否变化,
将所述机械的状态变化时的影像与所述数据的内容关联起来。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPPCT/JP2021/018653 | 2021-05-17 | ||
PCT/JP2021/018653 WO2022244076A1 (ja) | 2021-05-17 | 2021-05-17 | 映像判別装置、映像判別システム、及び記憶媒体 |
PCT/JP2022/002289 WO2022244306A1 (ja) | 2021-05-17 | 2022-01-21 | 映像判別装置、映像判別システム、及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117321516A true CN117321516A (zh) | 2023-12-29 |
Family
ID=84140415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280034464.7A Pending CN117321516A (zh) | 2021-05-17 | 2022-01-21 | 影像判别装置、影像判别系统以及存储介质 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JPWO2022244306A1 (zh) |
CN (1) | CN117321516A (zh) |
DE (1) | DE112022001432T5 (zh) |
WO (2) | WO2022244076A1 (zh) |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6365511A (ja) * | 1986-09-05 | 1988-03-24 | Mitsubishi Electric Corp | 監視制御コンピユ−タシステム |
JPH0293898A (ja) * | 1988-09-30 | 1990-04-04 | Toshiba Corp | 監視装置 |
JP2828151B2 (ja) * | 1992-01-10 | 1998-11-25 | 龍治 江守 | 板金加工機 |
JPH08129411A (ja) | 1994-03-29 | 1996-05-21 | Meteoola Syst Kk | マルチメディアnc制御装置 |
JP2005033303A (ja) * | 2003-07-08 | 2005-02-03 | Mitsubishi Electric Corp | 映像監視システム |
JP2005209024A (ja) * | 2004-01-23 | 2005-08-04 | Toshiba Corp | 操作支援装置および操作支援方法 |
JP2007011532A (ja) * | 2005-06-29 | 2007-01-18 | Fujitsu Ltd | 操作手順書の自動生成装置 |
JP6636422B2 (ja) * | 2014-06-13 | 2020-01-29 | 株式会社チカク | 画像管理システム、管理装置、プログラム及び画像出力装置 |
JP6359376B2 (ja) * | 2014-08-07 | 2018-07-18 | 株式会社ユピテル | 装置、システムおよびプログラム |
JP6806737B2 (ja) * | 2018-06-15 | 2021-01-06 | ファナック株式会社 | 同期装置、同期方法及び同期プログラム |
JP7247593B2 (ja) * | 2019-01-17 | 2023-03-29 | 日本電気株式会社 | 生成装置、ソフトウェアロボットシステム、生成方法及び生成プログラム |
WO2020157927A1 (ja) * | 2019-01-31 | 2020-08-06 | 株式会社日立製作所 | 診断システムおよび診断方法 |
JP2020202449A (ja) * | 2019-06-07 | 2020-12-17 | キヤノン株式会社 | 制御装置 |
JP7358808B2 (ja) * | 2019-07-08 | 2023-10-11 | 株式会社リコー | ロボットおよび機械学習方法 |
JP6788235B1 (ja) * | 2019-07-30 | 2020-11-25 | オムロン株式会社 | 情報管理システム、情報管理方法 |
-
2021
- 2021-05-17 WO PCT/JP2021/018653 patent/WO2022244076A1/ja active Application Filing
-
2022
- 2022-01-21 DE DE112022001432.6T patent/DE112022001432T5/de active Pending
- 2022-01-21 WO PCT/JP2022/002289 patent/WO2022244306A1/ja active Application Filing
- 2022-01-21 JP JP2023522207A patent/JPWO2022244306A1/ja active Pending
- 2022-01-21 CN CN202280034464.7A patent/CN117321516A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022244076A1 (ja) | 2022-11-24 |
WO2022244306A1 (ja) | 2022-11-24 |
JPWO2022244306A1 (zh) | 2022-11-24 |
WO2022244306A9 (ja) | 2023-09-14 |
DE112022001432T5 (de) | 2024-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105320064B (zh) | 具有设备异常履历的解析支援功能的数值控制装置 | |
EP1320787A1 (en) | Multi-media enhanced program controlled machine | |
JP3842246B2 (ja) | 数値制御装置 | |
CN111610754B (zh) | 画面制作装置和画面制作系统 | |
JP2009297877A (ja) | ロボット教示プログラム作成装置及び作成方法 | |
JP4424133B2 (ja) | 入出力データ管理装置 | |
CN117321516A (zh) | 影像判别装置、影像判别系统以及存储介质 | |
JP6709210B2 (ja) | 工作機械 | |
CN102981448B (zh) | 可变更用户界面的数值控制装置 | |
US20160110611A1 (en) | Numerical control device | |
US20190121325A1 (en) | Numerical controller | |
US20200135048A1 (en) | Know-how preparing device, know-how preparing method, and know-how preparing program | |
US10241501B2 (en) | Numerical controller having automatic trace function of related signal in association with NC program operation | |
JP2003223207A (ja) | Nc工作機操作方法及びそのシステム | |
US20240201650A1 (en) | Operational status display device and computer-readable storage medium | |
JP2020187554A (ja) | 機械作業情報の記録方法及び確認方法 | |
JP2000066711A (ja) | 工作機械の数値制御装置 | |
JP7108156B1 (ja) | 情報生成装置、およびコンピュータ読み取り可能な記憶媒体 | |
EP1455252A2 (en) | Processing program creation apparatus | |
WO2023139771A1 (ja) | 情報生成装置、およびコンピュータ読み取り可能な記憶媒体 | |
WO2024095340A1 (ja) | 動画マニュアル作成装置、及び動画マニュアル作成方法 | |
EP0935179A1 (en) | Numeric controller provided with teaching/playback function | |
JP2019159808A (ja) | 制御装置、制御方法及び制御プログラム | |
US11422537B2 (en) | Recognition device, system and recognition method | |
WO2023218653A1 (ja) | 映像管理装置、及びコンピュータが読み取り可能な記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |