CN115916466A - 工具系统、工具、作业对象识别系统、作业对象识别方法和程序 - Google Patents

工具系统、工具、作业对象识别系统、作业对象识别方法和程序 Download PDF

Info

Publication number
CN115916466A
CN115916466A CN202180044774.2A CN202180044774A CN115916466A CN 115916466 A CN115916466 A CN 115916466A CN 202180044774 A CN202180044774 A CN 202180044774A CN 115916466 A CN115916466 A CN 115916466A
Authority
CN
China
Prior art keywords
tool
unit
work object
state
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180044774.2A
Other languages
English (en)
Inventor
佐佐木良介
栗田昌典
山中睦裕
新居隆之
植田真介
梶山智史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN115916466A publication Critical patent/CN115916466A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25FCOMBINATION OR MULTI-PURPOSE TOOLS NOT OTHERWISE PROVIDED FOR; DETAILS OR COMPONENTS OF PORTABLE POWER-DRIVEN TOOLS NOT PARTICULARLY RELATED TO THE OPERATIONS PERFORMED AND NOT OTHERWISE PROVIDED FOR
    • B25F5/00Details or components of portable power-driven tools not particularly related to the operations performed and not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25BTOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B21/00Portable power-driven screw or nut setting or loosening tools; Attachments for drilling apparatus serving the same purpose
    • B25B21/02Portable power-driven screw or nut setting or loosening tools; Attachments for drilling apparatus serving the same purpose with means for imparting impact to screwdriver blade or nut socket
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25BTOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B23/00Details of, or accessories for, spanners, wrenches, screwdrivers
    • B25B23/14Arrangement of torque limiters or torque indicators in wrenches or screwdrivers
    • B25B23/147Arrangement of torque limiters or torque indicators in wrenches or screwdrivers specially adapted for electrically operated wrenches or screwdrivers
    • B25B23/1475Arrangement of torque limiters or torque indicators in wrenches or screwdrivers specially adapted for electrically operated wrenches or screwdrivers for impact wrenches or screwdrivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Details Of Spanners, Wrenches, And Screw Drivers And Accessories (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Portable Power Tools In General (AREA)
  • General Factory Administration (AREA)
  • Machine Tool Sensing Apparatuses (AREA)

Abstract

本发明所要克服的问题是降低电力消耗。工具系统(1)包括工具(2)、摄像单元(5)、处理单元(35)和设置状态检测单元(34)。工具(2)是包括驱动单元(24)的便携式工具(2),该驱动单元(24)利用从动力源供给的动力来激活。摄像单元(5)被配备给工具(2)并且生成拍摄图像。处理单元(35)间歇地进行用于基于拍摄图像来识别作业对象的识别处理。设置状态检测单元(34)检测工具(2)在作业对象上被设置在适当位置的状态。

Description

工具系统、工具、作业对象识别系统、作业对象识别方法和程序
技术领域
本发明一般涉及工具系统、工具、作业对象识别系统、作业对象识别方法和程序。更特别地,本发明涉及供在便携式工具中使用的工具系统、便携式工具、作业对象识别系统、作业对象识别方法和程序。
背景技术
专利文献1公开了一种包括便携式工具的工具系统,该便携式工具具有摄像单元和利用从电池组供给的动力来激活的驱动单元。摄像单元被布置成例如将附接到工具的输出轴的插口涵盖在其摄像范围内。摄像单元在使用工具进行作业期间拍摄作业对象(其例如可以是使用工具进行作业的物体或场所)的图像。
根据专利文献1,使用摄像单元所拍摄到的图像来识别工具被设置在适当位置的作业对象(即,为了使工具准备好开始对作业对象进行作业所布置的作业对象)。该工具系统将摄像单元所生成的拍摄图像与图像存储单元中所存储的多个基准图像进行比较,并由此识别拍摄图像中拍摄到的作业对象。
如果专利文献1的工具系统试图在摄像单元正在操作期间识别拍摄图像中拍摄到的作业对象,则电力消耗增加。
现有技术文献
专利文献
专利文献1:日本特开2019-042860
发明内容
有鉴于上述背景,因此本发明的目的是提供一种工具系统、工具、作业对象识别系统、作业对象识别方法和程序,其全部被配置或设计为降低电力消耗。
为了克服该问题,根据本发明的一方面的工具系统包括工具、摄像单元、处理单元和设置状态检测单元。工具是包括驱动单元的便携式工具,该驱动单元利用从动力源供给的动力来激活。摄像单元被配备给工具并且生成拍摄图像。处理单元间歇地进行用于基于拍摄图像来识别作业对象的识别处理。设置状态检测单元检测工具在作业对象上被设置在适当位置的状态。
根据本发明的另一方面的工具被设计为用在上述的工具系统中。该工具包括驱动单元和摄像单元。
根据本发明的又一方面的作业对象识别系统包括处理单元和设置状态检测单元。该处理单元间歇地进行用于基于摄像单元所生成的拍摄图像来识别作业对象的识别处理。摄像单元被配备给工具,该工具是包括驱动单元的便携式工具,该驱动单元利用从动力源供给的动力来激活。该设置状态检测单元检测工具在作业对象上被设置在适当位置的状态。
根据本发明的又一方面的作业对象识别方法包括识别处理步骤和设置状态检测步骤。该识别处理步骤用于间隙地进行用于基于摄像单元所生成的拍摄图像来识别作业对象的识别处理。摄像单元被配备给工具,该工具是包括驱动单元的便携式工具,该驱动单元利用从动力源供给的动力来激活。该设置状态检测单元检测工具在作业对象上被设置在适当位置的状态。
根据本发明的又一方面的程序被设计为使得一个或多于一个处理器进行上述的作业对象识别方法。
附图说明
图1是根据典型实施例的工具系统的框图;
图2的A是例示该工具系统的从一个角度看到的外观的立体图,图2的B是例示该工具系统的从另一角度看到的外观的立体图;
图3示出该工具系统所要进行的操作的序列;
图4是示出该工具系统所要进行的操作的示例性过程的流程图;
图5是示出该工具系统所要进行的操作的示例性过程的流程图;
图6是示出该工具系统所要进行的操作的示例性过程的流程图;以及
图7是示出根据变形例的工具系统的外观的立体图。
具体实施方式
现在将参考附图来详细说明本发明的优选实施例。在以下对实施例的说明中,具有相同功能的任何一对构成元件将由相同的附图标记指定,并且本文中将省略其说明以避免冗余。
(实施例)
(1)概述
首先,将参考图1来说明根据典型实施例的工具系统1的概述。
根据本实施例的工具系统1包括便携式工具2。工具2例如包括包含马达的驱动单元24。利用从诸如电池组201等的动力源供给的原动力(诸如电力等)来激活驱动单元24。这种类型的工具2的示例包括冲击扳手、上螺母器、油脉冲扳手、螺丝起子(包括冲击螺丝起子)、钻机、钻螺丝起子和各种其他类型的工具。使用这种类型的工具2使得用户能够进行各种加工作业,诸如将紧固构件(诸如螺栓或螺母等)附接到作为作业对象的工件(加工作业对象)上、或者穿过工件开孔等。
另外,在根据本实施例的工具系统1中,针对工具2配备摄像单元5。摄像单元5生成拍摄图像。摄像单元5例如将附接到工具2的输出轴241(参考图2的A)的插口242(参考图2的A)涵盖在其摄像范围(视场)中。因此,在用户正在使用工具2进行作业时,摄像单元5拍摄作业对象的图像并且生成拍摄图像。
因此,根据本实施例的工具系统1使得能够基于例如摄像单元5所生成的拍摄图像来识别作业对象,由此使得能够例如判断用户使用工具2正在进行的作业是否遵循作业过程。另外,工具系统1还使得能够基于摄像单元5所生成的拍摄图像来判断已对作业对象进行的作业是好还是坏,根据作业对象向用户通知作业指示,并且将该图像存储为日志(即,作业记录)。可以看出,使用由工具2配备的摄像单元5所生成的图像(拍摄图像)例如使得能够支持用户使用工具2进行他或她的作业或者管理他或她的作业。
如图1所示,根据本实施例的工具系统1包括设置状态检测单元34和处理单元35。也就是说,工具系统1包括工具2、摄像单元5、设置状态检测单元34和处理单元35。工具2包括利用从动力源供给的动力来激活的驱动单元24。摄像单元5被配备给工具2并且生成拍摄图像。设置状态检测单元34检测工具2在作业对象上被设置在适当位置的状态。处理单元35间歇地进行基于拍摄图像来识别作业对象的识别处理。
该配置使得工具系统1能够在检测到工具2在作业对象上被设置在适当位置的状态之后基于拍摄图像来识别作业对象。这使得能够减少在摄像单元5没有正在拍摄作业对象周围的区域的情况下(例如,在工具2由用户他或她随身携带的情况下)工具系统1徒劳地进行识别处理的次数。因此,根据本实施例的工具系统1可以降低电力消耗。
(2)详细结构
接着,将参考图1至图2的B来说明根据本实施例的工具系统1的详细结构。
(2.1)前提
根据本实施例的工具系统1例如可用在工厂处的用于对工件(加工作业对象)进行组装作业的组装线中。特别地,在本实施例中,假定工具系统1中所包括的工具2是用于拧紧紧固构件(诸如螺栓或螺母等)的诸如冲击扳手等的紧固工具。具体地,假定本实施例应用于单个工件具有多个待紧固部位的情形,由此需要用户在单个作业场所中通过使用工具2将紧固构件附接到这些待紧固部位中的各待紧固部位上。
如本文所使用的,术语“间歇地”不仅指某些事件按规则间隔发生的情形,而且指事件也按不规则间隔发生的情形。因此,短语“间歇地进行识别处理”不仅意味着按规则间隔进行识别处理,而且意味着也按不规则间隔进行识别处理。另外,短语“间歇地进行识别处理”还意味着在稳定性判定单元33判定为拍摄图像稳定的情况下进行识别处理。此外,短语“间歇地进行识别处理”还意味着在设置状态检测单元34检测到工具2在作业对象上被设置在适当位置的状态的情况下进行识别处理。
如本文所用,“待紧固部位”是指工件的要附接至紧固构件的部分。例如,如果紧固构件是螺栓,则待紧固部位是围绕且覆盖紧固构件被附接并拧紧至的螺钉孔的区域。也就是说,在本实施例中,单个工件具有多个这样的待紧固部位。
如本文所使用的,“作业对象”是指假定使用工具2来进行作业的物体或作业区域。特别地,工具2当前被设置在适当位置的作业对象在下文有时称为“当前作业对象”。如本文所使用的,短句“工具2当前被设置在适当位置”是指工具2被放置成准备好对作业对象进行作业的情形。此外,如本文所使用的,短句“工具2当前被设置在适当位置”不仅指工具2已与作业对象接触的情形,而且指工具2即将与作业对象接触的情形(即,工具2正在接近作业对象的情形)。也就是说,在工具2在作业对象上被设置在适当位置的状态下,工具2可能已与作业对象接触或者可能仍未与作业对象接触。在本实施例中,作为示例,假定单个工件的多个待紧固部位中的各待紧固部位均是作业对象。
如这里所使用的,“拍摄图像”是指摄像单元5所拍摄到的图像,并且包括静止图片(静止图像)和运动图片(动画)。“运动图片”例如还包括通过定格动画拍摄所拍摄到的一组静止图片(帧)。拍摄图像不必是由摄像单元5提供的输出数据本身。例如,拍摄图像可能根据需要经过数据压缩、向另一数据格式的转换、从摄像单元5所拍摄到的图像中裁剪图像部分、焦点调整、明度调整、对比度调整、或者各种其他类型的图像处理中的任何图像处理。在本实施例中,例如假定拍摄图像是全色运动图片。此外,如本文所使用的,短句“拍摄图像稳定”可以指在工具2在作业对象上被设置在适当位置并且在摄像单元5中没有引起抖动的情况下拍摄图像的情形。另外,短句“拍摄图像稳定”还可以指在摄像单元5的诸如自动曝光(AE)和自动白平衡(AWB)等的摄像控制稳定的情况下拍摄图像的情形。
此外,如本文所使用的,“基准图像”是指基于由摄像单元5生成的拍摄图像所生成的图像。在本实施例中,作为示例,假定“基准图像”是全色静止图片。如本文所使用的,“与多个作业对象相对应的多个基准图像”不仅指多个基准图像与多个作业对象一对一地相对应的情形,而且指多个基准图像与多个作业对象一对多地相对应的情形。可替代地,多个作业对象中的各作业对象可以与通过从各种角度或以多个不同大小拍摄作业对象所拍摄到的多个基准图像相关联。
此外,如本文所使用的,如果某物被“配备给”其他某物,则前者可以内置在后者中(例如,与后者不可分离地一体化),或者可以仅作为外部构件附接到后者(例如,用例如联接器可移除地固定)。如本文所使用的,“外部附接”意味着例如将辅助装置单独地附接到机器以扩展其功能。具体地,短句“将第一装置从外部附接到第二装置”不仅指将第一装置本身作为辅助装置附接到第二装置,而且指还将内置有第一装置的第三装置作为辅助装置附接到第二装置。也就是说,配备给工具2的摄像单元5可以内置在工具2中或者仅作为外部构件附接到工具2,无论哪种都是适当的。根据本实施例的摄像单元5内置在工具2中。
此外,如本文所使用的,“作业过程”意味着使用工具2要进行的作业的过程。例如,如果将要对单个作业对象或多个作业对象进行的一系列作业工序步骤被定义为单个作业工序,则该作业过程表示在整个作业工序中应对单个作业对象或多个作业对象进行作业工序步骤的顺序。更具体地,如果与要对单个作业对象进行的作业有关的指示是“作业指示”,则作业过程是表示针对单个作业工序的单个作业指示或多个作业指示以及应进行作业工序步骤的顺序的信息。换句话说,作业过程表示作业对象与单个或多个作业工序中的哪个相对应,并且还表示相应作业工序的顺序位置。在本实施例的以下说明中,假定作业过程定义了应按何顺序对单个工件中的多个作业对象进行作业(包括多个作业工序步骤)。
(2.2)工具系统的结构
如图1所示,根据本实施例的工具系统1包括工具2和作业对象识别系统10。
(2.2.1)工具的结构
首先,将参考图1、图2的A和图2的B来说明根据本实施例的工具系统1中的工具2的结构。工具2包括控制单元3a、驱动单元24、冲击机构25、通知单元211和电池组201(参考图1)。
根据本实施例的工具2是通过使用电能来激活驱动单元24的电动工具。特别地,在本实施例中,假定工具2是冲击扳手。这种工具2可用于进行将紧固构件附接到作业对象上的紧固作业。
在这种情况下,工具2被设计为通过使用电池组201作为动力源,利用从电池组201供给的电力(电能)来激活驱动单元24。在本实施例中,假定电池组201被计入工具2的构成元件中。然而,电池组201不必是工具2的构成元件其中之一。换句话说,电池组201可以不被计入工具2的构成元件中。
工具2还包括本体20。在本体20中容纳有驱动单元24和冲击机构25。另外,在根据本实施例的工具2中,控制单元3a和通知单元211也容纳在本体20中。
工具2的本体20包括筒体21、握持部22和附接部23。筒体21是以筒状(例如,在本实施例中为圆筒形状)形成的。握持部22沿着相对于筒体21的周面的一部分的法线(即,沿着筒体21的半径)突出。电池组201可移除地附接到附接部23。换句话说,筒体21和附接部23经由握持部22联接在一起。
至少驱动单元24容纳在筒体21中。驱动单元24包括马达。驱动单元24被配置为利用从作为动力源的电池组201供给到马达的动力来激活。输出轴241从筒体21的一个轴端面突出。在驱动单元24被激活时,输出轴241绕与输出轴241突出的方向对齐的转动轴Ax1转动。也就是说,驱动单元24驱动输出轴241绕转动轴Ax1转动。换句话说,在驱动单元24被激活时,转矩被施加到输出轴241,由此使得输出轴241转动。
用于转动紧固构件(诸如螺栓或螺母等)的筒状插口242可移除地附接到输出轴241上。插口242连同输出轴241一起绕转动轴Ax1转动。用户可以根据紧固构件的大小来适当地选择附接到输出轴241的插口242的大小。根据这种配置,激活驱动单元24使得输出轴241转动,由此使得插口242连同输出轴241一起转动。如果此时将插口242装配到紧固构件上,则紧固构件连同插口242一起转动,由此完成拧紧或松开紧固构件的作业。以这种方式,工具2可以通过激活驱动单元24来完成拧紧或松开紧固构件的作业。
可选地,还可以将插口砧座代替插口242附接到输出轴241上。插口砧座也可移除地附接到输出轴241。这使得钻头(诸如螺丝起子钻头或钻机钻头等)能够经由插口砧座附接到输出轴241。
工具2包括如上所述的冲击机构25。冲击机构25被配置为在紧固转矩(的作业值)超过预定水平时,将转动方向上的冲击力施加到输出轴241。这使得工具2能够向紧固构件施加更大的紧固转矩。
握持部22是用户在他或她正进行作业时要握持的部分。握持部22配备有触发开关221(操作单元)和正向/反向开关222。触发开关221是用于控制驱动单元24的接通/断开(ON/OFF)状态以激活或停用的开关。触发开关221具有初始位置和接通位置。当触发开关221由用户按下或拉动到接通位置时,驱动单元24被激活。另外,触发开关221使得能够根据触发开关221被拉动的深度(即,根据触发开关221的操纵变量)来调整输出轴241的转动速度。正向/反向开关222是用于将输出轴241的转动方向从顺时针方向切换到逆时针方向以及从逆时针方向切换到顺时针方向的开关。
附接部23被形成为扁平长方体形状。电池组201可移除地附接到附接部23的与握持部22相反的一侧。
电池组201包括由树脂制成且形成为长方体形状的壳体202。壳体202内部容纳可再充电电池(诸如锂离子电池等)。电池组201向驱动单元24、控制单元3a、通知单元211、作业对象识别系统10和其他构成构件供给电力。
附接部23还配备有操作面板231。操作面板231例如可以包括多个按压按钮开关232和多个LED(发光二极管)233。操作面板231例如使得用户能够输入工具2的各种设置并确认工具2的状态。也就是说,例如,通过对操作面板231的按压按钮开关232进行操作,允许用户改变工具2的操作模式或检查电池组201的剩余容量。
附接部23还包括用于拍摄的发光单元234。发光单元234例如包括LED。在用户正使用工具2进行作业时,发光单元234朝向作业对象发射光。可以通过操作操作面板231来开启(ON)和关闭(OFF)发光单元234。可替代地,发光单元234也可以在触发开关221接通时自动点亮。
通知单元211例如可以被实现为LED。通知单元211可以设置在本体20的筒体21的与输出轴241相对的另一端,以便在作业期间由用户容易地看到(参考图2的B)。
在这种情况下,根据本实施例的工具2至少具有作业模式和登记模式作为其操作模式。如本文所使用的,“作业模式”是指用户使用工具2进行作业的操作模式。登记模式在本文中是指生成与作业对象相对应的基准图像的操作模式。可以通过例如按下按压按钮开关232和操作面板231的其他构件来切换操作模式。可替代地,也可以通过操作与操作面板231分开设置的另一构件(诸如触发开关221或指拨开关等)来切换操作模式。
控制单元3a例如可以包括包含一个或多于一个处理器和一个或多于一个存储器的微控制器作为其主要构成元件。微控制器通过使一个或多于一个处理器执行一个或多于一个存储器中所存储的程序来进行控制单元3a的功能。程序可以预先存储在存储器中。可替代地,程序也可以在存储在诸如存储卡等的非暂时性存储介质中之后进行分发或者经由电信线路下载。换句话说,程序被设计为使得一个或多于一个处理器用作控制单元3a。
控制单元3a例如进行驱动控制单元31、通知控制单元36和转矩判定单元37的功能。注意,如果在一定时间段内没有操作命令被输入到触发开关221或操作面板231中,则控制单元3a进入睡眠模式。当在睡眠模式期间向触发开关221或操作面板231中输入任何操作命令时,控制单元3a被激活。
驱动控制单元31控制驱动单元24。具体地,驱动控制单元31激活驱动单元24,以使输出轴241以由触发开关221的按压深度确定的转动速度并且在由正向/反向开关222设置的转动方向上转动。
驱动控制单元31还控制驱动单元24,使得紧固转矩变得等于转矩设置值。驱动控制单元31具有用于估计紧固转矩的大小的转矩估计功能。在本实施例中,驱动控制单元31基于驱动单元24(马达)的转动速度或任何其他参数来估计紧固转矩的大小,直到紧固转矩的估计值达到就位判断水平为止。在紧固转矩的估计值达到就位判断水平时,驱动控制单元31基于冲击机构25的冲程数来估计紧固转矩的大小。在发现冲击机构25的冲程数达到了基于转矩设置值的阈值次数时,驱动控制单元31判断为紧固转矩应达到了转矩设置值,并停止运行驱动单元24(即,马达)。这使得工具2能够用与转矩设置值准确匹配的紧固转矩来将紧固构件紧固。
通知单元36控制通知单元211。通知控制单元36优选地使通知单元211在由处理单元35进行的识别处理的判定是不一致的情形下与由处理单元35做出的判定是一致的情形下以不同的方式点亮。例如,如果由处理单元35做出的判定是不一致,则通知控制单元36可以使通知单元211以红色点亮。另一方面,如果由处理单元35做出的判定是一致,则通知控制单元36可以使通知单元211以绿色点亮。这使得用户能够通过用眼睛检查通知单元211的点亮状态来识别作业对象是否符合作业过程。可选地,在由处理单元35做出的判定是不一致的状态下拉动触发开关221的情况下,通知控制单元36可以使通知单元211点亮。
转矩判定单元37被配置为判断在紧固构件附接到待紧固部位时紧固转矩是否是正常的紧固转矩。在这种情况下,转矩判定单元37优选地根据由作业过程定义的作业指示来判断紧固转矩是否为正常的紧固转矩。具体地,由作业过程定义的作业指示包括与作业对象相关联的目标转矩值。这使得转矩判定单元37通过将作业指示中所包括的目标转矩值与紧固转矩进行比较来判断是否正在用由作业指示指定的紧固转矩进行作业。
如果例如在检测到冲击机构25的冲程数达到了阈值次数时驱动控制单元31停用了驱动单元24,则转矩判定单元37判定为紧固转矩应是正常的。另一方面,如果例如在冲击机构25的冲程数达到阈值次数之前、驱动控制单元31通过断开触发开关221而停用了驱动单元24,则转矩判定单元37判定为紧固转矩应不足(异常)。转矩判定单元37还进行用于将判定结果与待紧固部位相关联地存储在结果存储单元43中的结果存储处理。
(2.2.2)作业对象识别系统的结构
接着,将参考图1、图2的A和图2的B来说明作业对象识别系统10的结构。作业对象识别系统10包括摄像单元5、控制单元3b、存储单元4、姿势检测单元26、距离测量单元27和按压检测单元28。
控制单元3b、存储单元4、摄像单元5、姿势检测单元26、距离测量单元27和按压检测单元28容纳在工具2的本体20中。在本实施例中,摄像单元5和距离测量单元27例如可以容纳在筒体21中。按压检测单元28容纳在握持部22的位于更靠近背面(即,与具有触发开关221的面相对)的部分中。控制单元3b、存储单元4和姿势检测单元26容纳在握持部22或附接部23中。
摄像单元5生成作为拍摄图像的数据。摄像单元5例如可以是包括图像传感器和镜头的照相机。在本实施例中,摄像单元5可以容纳在工具2的本体20(的筒体21)中。摄像单元5被设置成朝向输出轴241的前端,以在用户正使用工具2进行作业时拍摄作业对象的图像。
具体地,摄像单元5设置在筒体21的前端部中以朝向输出轴241的前端(即,朝向插口242),使得附接到输出轴241的插口242落在摄像范围内(参考图2的A和图2的B)。摄像单元5的光轴被布置成与输出轴241的转动轴Ax1对齐。在本实施例中,摄像单元5被布置成使得其光轴位于从输出轴241的转动轴Ax1起的预定距离内、并且转动轴Ax1和光轴基本上彼此平行。注意,摄像单元5不必生成拍摄图像,使得附接到输出轴241的插口242落在其摄像范围内。相反,摄像单元5仅需要生成用于识别当前作业对象的拍摄图像。如本文所使用的,“用于识别当前作业对象的拍摄图像”是指在利用摄像单元5拍摄处于工具2当前在作业对象上被设置在适当位置的状态下的工件时所生成的图像。根据本发明,假定工具2被设置在适当位置的作业对象在拍摄图像中被拍摄到。拍摄图像仅必须是使得用户能够识别当前作业对象的图像。因此,工具2当前被设置在适当位置的作业对象不必涵盖在拍摄图像的摄像范围内。
姿势检测单元26检测工具2的姿势。姿势检测单元26例如可以包括诸如加速度传感器或陀螺仪传感器等的运动传感器261。在本实施例中,如上所述,姿势检测单元26容纳在工具2的本体20(的握持部22或附接部23)中。在本实施例中,姿势检测单元26例如包括三轴加速度传感器和三轴陀螺仪传感器作为运动传感器261。三轴加速度传感器检测在彼此垂直的三个轴中的各轴上的加速度,并输出表示如此检测到的加速度的电信号。三轴陀螺仪传感器检测围绕彼此垂直的三个轴中的各轴的角速度,并输出表示由此检测到的角速度的电信号。
姿势检测单元26可以基于例如加速度传感器的输出来检测重力方向,并且通过参考重力方向来检测例如工具2的姿势。另外,例如,姿势检测单元26还可以基于陀螺仪传感器的输出来检测在转动时正在移动的工具2的角速度,并且还可以基于角速度的积分结果来检测工具2的转动角度。例如,姿势检测单元26可以以彼此可区别的方式检测工具2的使握持部22从筒体21突出的方向向下(与重力方向相对应)的姿势和工具2的使握持部22从筒体21突出的方向向上的姿势。如本文所使用的,“工具2的姿势”例如是指由围绕以重力方向为基准的三个轴的各个转动角度(例如,侧倾角、俯仰角和横摆角)确定的工具2的姿势。姿势检测单元26基于(包括加速度传感器和陀螺仪传感器的)运动传感器261的输出来检测工具2的运动和姿势,并且根据需要将检测结果作为与工具2的运动和姿势有关的姿势信息提供到控制单元3b的设置状态检测单元34。
距离测量单元27测量工具2和作业对象之间的距离。距离测量单元27例如包括距离传感器271,诸如无线电检测和测距(RADAR)传感器、光检测和测距(LiDAR)传感器或超声传感器等。例如,LiDAR传感器可以是红外传感器。在本实施例中,距离测量单元27容纳在如上所述的工具2的本体20(的筒体21)中。具体地,距离测量单元27以及摄像单元5设置在筒体21的前端部中,以朝向输出轴241的前端(即,朝向插口242)。在本实施例中,距离测量单元27例如包括超声传感器。超声传感器是飞行时间距离传感器,该飞行时间距离传感器用于通过发射超声波并测量接收到从对象反射的超声波所花费的时间来测量到对象(诸如工件或作业对象等)的距离。超声传感器输出表示如此测量到的距离的电信号。
距离测量单元27基于距离传感器271的输出来检测作业对象(或工件)和工具2之间的距离。距离测量单元27将检测结果作为与工具2和作业对象之间的距离有关的距离信息输出到控制单元3b的设置状态检测单元34。
按压检测单元28检测到工具2被压靠在作业对象上。在本实施例中,如上所述,按压检测单元28容纳在工具2的本体20(的握持部22)的更靠近背面的部分中。根据本实施例的按压检测单元28包括例如使用金属应变仪或半导体应变仪的压力传感器281。压力传感器281检测施加到握持部22的背面的压力,并输出表示如此检测到的压力的电信号。
按压检测单元28基于压力传感器281的输出检测到工具2被压靠在作业对象上。在这种情况下,例如,在用户正将工具2压靠在作业对象上时施加到握持部22的背面的力大于在用户他或她正随身携带工具2时施加到握持部22的背面的力。因此,按压检测单元28在发现压力传感器281所检测到的压力等于或大于阈值压力时,检测到工具2被压靠在作业对象上。按压检测单元28将检测结果作为与工具2的按压有关的信息输出到控制单元3b的设置状态检测单元34。
控制单元3b例如可以包括包含一个或多于一个处理器和一个或多于一个存储器的微控制器作为其主要构成元件。微控制器通过使一个或多于一个处理器执行一个或多于一个存储器中所存储的程序来进行控制单元3b的功能。程序可以预先存储在存储器中。可替代地,程序也可以在存储在诸如存储卡等的非暂时性存储介质中之后进行分发或者经由电信线路下载。换句话说,程序被设计为使得一个或多于一个处理器用作控制单元3b。
控制单元3b例如进行摄像控制单元32、稳定性判定单元33、设置状态检测单元34、处理单元35和登记单元38的功能。注意,如果在一定时间段内没有向触发开关221或操作面板231中输入操作命令,则控制单元3b进入睡眠模式。当在睡眠模式期间向触发开关221或操作面板231中输入任何操作命令时,控制单元3b被激活。
摄像控制单元32被配置为控制摄像单元5。当控制单元3b启动时,根据本实施例的摄像控制单元32使摄像单元5开始进行摄像操作。
稳定性判定单元33判断摄像单元5所生成的拍摄图像是否稳定。根据本实施例的稳定性判定单元33在工具2正以作业模式进行操作时,进行稳定性判定处理,该稳定性判定处理用于基于拍摄图像中所包括的多个帧来判断拍摄图像是否稳定。
根据本实施例的稳定性判定单元33计算多个帧之间的差异度,并且在发现该差异度等于或小于阈值时,判定为拍摄图像稳定。具体地,稳定性判定单元33计算拍摄图像中所包括的最新帧(当前帧)与最新帧之前的先前帧之间的差异度。在以下的说明中,拍摄图像中所包括的最新帧在下文中有时将被称为“第一帧”,并且在最新帧之前的帧在下文中有时将被称为“第二帧”。稳定性判定单元33将差异度计算为第一帧中的特定区域中的亮度值(其可以是浓度值或灰度值)与第二帧中的相应特定区域中的亮度值(其可以是浓度值或灰度值)之间的差。稳定性判定单元33使用例如平方差和(SSD)或绝对差和(SAD)来计算差异度。在这种情况下,第一帧和第二帧中的特定区域例如可以是由拍摄图像中的坐标预先定义的区域。第一帧中的特定区域和第二帧中的特定区域具有相同的坐标集。此外,在第一帧和第二帧中定义的(一个或多于一个)特定区域的数量需要至少为一个,但优选为多个,以提高稳定性判定处理的准确度。
稳定性判定单元33将差异度与阈值进行比较,并且在发现差异度等于或小于阈值时,判定为拍摄图像稳定。在判定为拍摄图像稳定时,稳定性判定单元33将稳定性信息输出到设置状态检测单元34和处理单元35。另一方面,在发现差异度大于阈值时,稳定性判定单元33没有判定为拍摄图像稳定。在没有判定为拍摄图像稳定时,稳定性判定单元33不将稳定性信息输出到设置状态检测单元34或处理单元35。
设置状态检测单元34检测工具2在作业对象上被设置在适当位置的状态。根据本实施例的设置状态检测单元34在工具2正以作业模式进行操作时,进行判断工具2是否在作业对象上被设置在适当位置的设置状态检测处理。
根据本实施例的设置状态检测单元34根据由姿势检测单元26提供的姿势信息、由距离测量单元27提供的距离信息和由按压检测单元28提供的按压信息来检测工具2在作业对象上被设置在适当位置的状态。
设置状态检测单元34根据姿势检测单元26所提供的姿势信息,检测工具2在作业对象上被设置在适当位置的状态。如果姿势检测单元26所检测到的工具2的姿势是预定姿势,则设置状态检测单元34检测到工具2在作业对象上被设置在适当位置的状态。如本文所使用的,“预定姿势”例如可以指工具2的如下姿势:在将工具2的姿势与基准姿势进行比较时,该姿势与基准姿势的角度差等于或小于阈值。具体地,预定姿势是指如下情形下的工具2的姿势:由姿势检测单元26相对于其当前姿势围绕三个轴检测到的工具2的转动角度与相对于基准姿势围绕三个轴所定义的工具2的转动角度之间的差的总和或平均值等于或小于阈值。此外,如本文所使用的“基准姿势”是指工具2的使握持部22从筒体21突出的方向向下(与重力方向相对应)的姿势。根据本实施例的设置状态检测单元34在发现由姿势检测单元26相对于其当前姿势围绕三个轴检测到的工具2的转动角度与相对于基准姿势围绕三个轴所定义的工具2的转动角度之间的差的平均值等于或小于5度时,判定为工具2具有预定姿势。注意,“由姿势检测单元26相对于其当前姿势围绕三个轴检测到的工具2的转动角度与相对于基准姿势围绕三个轴所定义的工具2的转动角度之间的差的平均值”在下文中有时将被简称为“工具2的当前姿势与其基准姿势之间的角度差”。也就是说,根据本实施例的设置状态检测单元34在发现由姿势检测单元26相对于其当前姿势围绕三个轴检测到的工具2的转动角度与相对于基准姿势围绕三个轴所定义的工具2的转动角度之间的差的平均值等于或小于5度时,检测到工具2在作业对象上被设置在适当位置的状态。可替代地,设置状态检测单元34可以将以下设置为用于检测工具2在作业对象上被设置在适当位置的状态的条件其中之一:由姿势检测单元26相对于其当前姿势围绕三个轴检测到的工具2的转动角度与相对于基准姿势围绕三个轴所定义的工具2的转动角度之间的差的平均值等于或小于5度。
另外,设置状态检测单元34还根据由距离测量单元27提供的距离信息来检测工具2在作业对象上被设置在适当位置的状态。具体地,设置状态检测单元34在发现由距离测量单元27检测到的工具2与作业对象之间的距离落在预设范围内时,检测到工具2在作业对象上被设置在适当位置的状态。可替代地,设置状态检测单元34可以将以下设置为用于检测工具2在作业对象上被设置在适当位置的状态的条件其中之一:工具2与作业对象之间的距离落在预设范围内。如本文所使用的,“工具2与作业对象之间的距离落在预设范围内”的情形是指通过从基准距离减去由距离测量单元27检测到的工具2与作业对象之间的距离所计算出的差的绝对值等于或小于阈值距离的情形。如本文所使用的,“基准距离”是指被定义为设置状态检测单元34检测到工具2在作业对象上被设置在适当位置的状态的基准的距离。基准距离例如可以是在拍摄基准图像时由距离测量单元27检测到的工具2与作业对象之间的距离,并且与基准图像相关联。此外,基准距离可以稍微长于距离测量单元27的距离传感器271与插口242的前端之间的距离。注意,通过从基准距离中减去由距离测量单元27检测到的工具2与作业对象之间的距离所计算出的差的绝对值在下文中有时将被简称为“距离差”。
此外,设置状态检测单元34还根据由按压检测单元28提供的按压信息来检测工具2在作业对象上被设置在适当位置的状态。具体地,设置状态检测单元34在发现由按压检测单元28检测到的施加到握持部22的背面的压力的值等于或大于阈值压力时,检测到工具2在作业对象上被设置在适当位置的状态。可替代地,设置状态检测单元34可以将以下设置为用于检测工具2在作业对象上被设置在适当位置的状态的条件其中之一:施加到握持部22的背面的压力的值等于或大于阈值压力。
此外,根据本实施例的设置状态检测单元34还基于触发开关221的按压深度来检测工具2在作业对象上被设置在适当位置的状态。具体地,设置状态检测单元34在发现触发开关221被用户半按下时,检测到工具2在作业对象上被设置在适当位置的状态。如本文所使用的,短语“半按下”是指触发开关221在初始位置和接通位置之间被半按下的状态。具体地,在本文中“半按下”是指触发开关221已被按下到初始位置和接通位置之间的约中间水平的状态。设置状态检测单元34在发现触发开关221在初始位置和接通位置之间被半按下时,检测到工具2在作业对象上被设置在适当位置的状态。可替代地,设置状态检测单元34可以将以下设置为用于检测工具2在作业对象上被设置在适当位置的状态的条件其中之一:触发开关221已在初始位置和接通位置之间被半按下。
此外,根据本实施例的设置状态检测单元34还在从稳定性判定单元33获取到稳定性信息时(即,在稳定性判定单元33判定为拍摄图像稳定时),检测到工具2在作业对象上被设置在适当位置的状态。可替代地,设置状态检测单元34可以将以下设置为用于检测工具2在作业对象上被设置在适当位置的状态的条件其中之一:稳定性判定单元33判定为拍摄图像稳定。
在检测到工具2在作业对象上被设置在适当位置的状态时,设置状态检测单元34将设置状态检测信息输出到处理单元35。另一方面,除非设置状态检测单元34检测到工具2在作业对象上被设置在适当位置的状态,否则设置状态检测单元34不向处理单元35输出设置状态检测信息。
根据本实施例的设置状态检测单元34在发现工具2的当前姿势为预定姿势、距离差等于或小于阈值距离、施加到握持部22的背面的压力的值等于或大于阈值压力、稳定性判定单元33判定为拍摄图像稳定、以及触发开关221被半按下时,检测到工具2在作业对象上被设置在适当位置的状态。注意,根据本实施例的设置状态检测单元34在未发现工具2的当前姿势为预定姿势时,没有检测到工具2在作业对象上被设置在适当位置的状态。此外,根据本实施例的设置状态检测单元34在发现距离差大于阈值距离时,没有检测到工具2在作业对象上被设置在适当位置的状态。此外,根据本实施例的设置状态检测单元34在发现施加到握持部22的背面的压力的值小于阈值压力时,没有检测到工具2在作业对象上被设置在适当位置的状态。此外,除非稳定性判定单元33判定为拍摄图像稳定,否则根据本实施例的设置状态检测单元34没有检测到工具2在作业对象上被设置在适当位置的状态。此外,除非触发开关221被半按下,否则根据本实施例的设置状态检测单元34没有检测到工具2在作业对象上被设置在适当位置的状态。
根据本实施例的处理单元35在接收到由稳定性判定单元33提供的稳定性信息和由设置状态检测单元34提供的设置状态检测信息中的至少一个时,基于拍摄图像来进行预定处理。换句话说,在作业对象极有可能被成功识别时,处理单元35基于拍摄图像来进行识别处理。如果处理单元35过早开始进行识别处理,则不仅将无法识别作业对象,而且将无法在用户准备好开始用握在他或她手中的工具2进行作业的定时开始识别处理。这是因为由处理单元35进行识别处理花费0.5秒至1.0秒的时间。除非可以在用户准备好开始用握在他或她手中的工具2进行作业时开始识别处理,否则当识别处理结束时将导致显著延迟,由此可能干扰用户的作业节奏。相反,根据本实施例的处理单元35可以在极有可能成功识别作业对象时(即,在用户准备开始用握在他或她手中的工具2进行作业的最佳定时)进行识别处理,由此减少在识别处理结束时导致显著延迟的可能性。另外,可以基于已由摄像单元5稳定地进行了诸如自动曝光(AE)或自动白平衡(AWB)等的摄像控制的拍摄图像来进行识别处理,由此有助于提高识别处理的准确度。注意,如果根据本实施例的处理单元35没有接收到由稳定性判定单元33提供的稳定性信息和由设置状态检测单元34提供的设置状态检测信息中的至少一个,则处理单元35不基于拍摄图像进行预定处理。
处理单元35间歇地进行用于识别多个作业对象中的工具2当前被设置在适当位置的当前作业对象的识别处理,作为预定处理。也就是说,处理单元35具有用于识别拍摄图像中拍摄到的当前作业对象的功能。具体地,处理单元35进行用于将由摄像单元5拍摄到的拍摄图像与多个基准图像进行比较的图像处理,由此在多个作业对象中识别拍摄图像中拍摄到的当前作业对象。在这种情况下,多个基准图像被存储在存储单元4(图像存储单元41)中。
具体地,处理单元35使用与多个作业对象相对应的多个基准图像作为模板数据来对拍摄图像进行模式识别处理,由此识别当前作业对象。也就是说,处理单元35通过将拍摄图像与同多个作业对象相对应的多个基准图像进行比较来识别拍摄图像中拍摄到的当前作业对象。
如本文所使用的,“模式识别处理”是指用于基于图像中拍摄的物体的形状来识别图像中拍摄到的物体是什么的图像处理。这种类型的模式识别处理的示例包括模式匹配处理和用于通过使用通过机器学习所创建的经学习模型来识别图像中拍摄到的物体的处理。如本文所使用的模式匹配处理是指用于使用上述模板数据来将模板数据与对象(诸如拍摄图像等)进行比较的处理。此外,可以在用于机器学习的方法中使用任何适当的算法。例如,可以采用深度学习算法。
此外,如果如此识别的作业对象不符合由作业过程定义的作业指示,则处理单元35进行对驱动单元24的操作施加限制和发出通知中的至少一个。换句话说,处理单元35判断由处理单元35识别的作业对象(即,当前作业对象)是否符合由预设作业过程定义的作业指示。也就是说,处理单元35判断由处理单元35识别的作业对象是否与由作业过程中包括的作业指示所指定的作业对象一致。
具体地,处理单元35从存储单元4的过程存储单元44提取与当前作业对象相关联的作业过程的数据。然后,处理单元35判断经受由已从过程存储单元44提取的作业过程定义的当前作业指示的作业对象是否与所识别的作业对象一致。如果这些作业对象彼此一致,则处理单元35判定为所识别的作业对象应符合由作业过程定义的作业指示。另一方面,如果这些作业对象彼此不一致,则处理单元35判定为所识别的作业对象应不符合由作业过程定义的作业指示。
在作为这种判断的结果、判定为由此识别的作业对象应不符合由作业过程定义的作业指示时,处理单元35进行对驱动单元24的操作施加限制和进行通知中的至少一个。如本文所使用的,例如,“通知”不仅是指通过工具系统1的通知单元211直接通知用户,而且是指经由外部终端(诸如移动通信装置等)间接通知用户。
具体地,在判定为由此识别的作业对象应不符合由作业过程定义的作业指示时,即使触发开关221被拉动,处理单元35也不允许驱动单元24被激活。也就是说,仅当处理单元35判定为由此识别的作业对象应符合由作业过程限定的作业指示时,才允许激活驱动单元24。因此,即使工具2当前在不符合作业过程的作业对象上被设置在适当位置,驱动单元24也保持停用,由此禁止进行紧固作业。这可以减少在错误的作业过程中进行作业的可能性。可选地,当判定为如此识别的作业对象应不符合由作业过程定义的作业指示时,处理单元35可以锁定触发开关221以防止用户在这种情形下拉动触发开关221。
另外,当判定为如此识别的作业对象应不符合由作业过程定义的作业指示时,处理单元35使通知控制单元36激活通知单元211。因此,通知单元211用作用户通知单元,该用户通知单元用于向用户通知工具2现在在不符合作业过程的作业对象上被设置在适当位置。
也就是说,处理单元35在接收到由稳定性判定单元33提供的稳定性信息和由设置状态检测单元34提供的设置状态检测信息中的至少一个时,至少进行识别当前作业对象的识别处理作为预定处理。另外,处理单元35还进行将如此识别的作业对象与由作业过程定义的作业指示进行比较并由此判断它们的对应关系的过程判断处理作为预定处理。如果过程判断处理的结果表明作业对象不符合作业指示,则处理单元35对驱动单元24的操作进行限制和/或进行通知。
如果工具2的操作模式是登记模式,则登记单元38进行将多个基准图像存储在存储单元4的图像存储单元41中的图像登记处理和将多个目标转矩值存储在存储单元4的转矩存储单元42中的转矩登记处理。
另外,登记单元38例如在进行图像登记处理时,使图像存储单元41存储通过使摄像单元5拍摄作业对象所生成的静止图片作为基准图像。具体地,如果工具2的操作模式是登记模式,则触发开关221也用作快门释放按钮。当触发开关221接通(即,已被按下到接通位置)时,摄像单元5生成静止图片。登记单元38使图像存储单元41存储该静止图片作为基准图像。
存储单元4例如可以被实现为半导体存储器,并且进行图像存储单元41、转矩存储单元42(目标值存储单元)、结果存储单元43和过程存储单元44的功能。在本实施例中,图像存储单元41、转矩存储单元42、结果存储单元43和过程存储单元44被实现为单个存储器。然而,这仅是示例,并且不应被解释为限制性的。可替代地,这些存储单元41、42、43和44也可以被实现为多个存储器。还可替代地,存储单元4还可以被实现为诸如可附接到工具2以及可从工具2移除的存储卡等的存储介质。
图像存储单元41将多个基准图像与多个作业对象相关联地存储。
转矩存储单元42将多个目标转矩值(目标值)以与多个作业对象一对一关联的方式存储。如本文所使用的,“目标转矩值”是指在紧固构件附接到关联的作业对象时的紧固转矩的目标值。
结果存储单元43将由转矩判定单元37针对多个待紧固部位所获得的判定结果与多个作业对象相关联地存储。推荐了如下:结果存储单元43将由转矩判定单元37获得的判定结果以添加有表示作业时间的时间戳的状态存储。这使得能够在组装线上针对各工件区分作业对象判定结果。
过程存储单元44存储与单个作业过程或多个作业过程有关的数据。如上所述,作业过程意味着假定使用工具2进行作业的过程,并且例如可以是用于定义应按何顺序对单个工件的多个作业对象进行作业的数据。
(3)操作
接着,将参考图3至图6来说明根据本实施例的工具系统1的示例性操作。
在以下示例中,将说明在用户进行用于在组装线中组装多个工件A1时工具系统1如何操作。假定各工件A1具有两个作业对象(下文中分别称为“第一作业对象和第二作业对象”),并且假定用户使用工具2进行将紧固构件附接到这些作业对象中的各个作业对象上的作业。
(3.1)登记模式
首先,将参考图3来说明工具系统1在登记模式中的示例性操作。在这种情况下,假定工具2处于初始状态,在该初始状态下,登记单元38尚未进行图像登记处理和转矩登记处理这两者。也就是说,在处于初始状态的工具2中,分别与第一作业对象和第二作业对象相对应的第一基准图像和第二基准图像以及第一目标转矩值和第二目标转矩值均未存储在图像存储单元41或转矩存储单元42中。
用户将工具2的操作模式设置为登记模式(在S1中)。接着,当紧固构件附接到第一作业对象时,用户对操作面板231进行操作以输入紧固转矩的转矩值(在S2中)。驱动控制单元31将所输入的转矩值设置为用于第一作业对象的转矩设置值。然后,用户通过拉动触发开关221来进行将紧固构件附接到第一作业对象上的紧固作业(在S3中)。此时,拍摄第一作业对象,由此生成第一作业对象的静止图像。
当完成紧固作业时,登记单元38进行登记处理(包括图像登记处理和转矩登记处理)(在S4中)。具体地,登记单元38进行使图像存储单元41存储步骤S3中的紧固作业期间生成的第一作业对象的静止图片作为与第一作业对象相对应的第一基准图像的图像登记处理。另外,登记单元38还进行转矩登记处理,该转矩登记处理用于使转矩存储单元42存储步骤S3中的紧固作业期间紧固构件附接到第一作业对象时的转矩设置值作为与第一作业对象相关联的第一目标转矩值。也就是说,第一目标转矩值与第一基准图像相关联。
特别地,根据本实施例,处理单元35进行过程判断处理。因此,在登记处理中,目标转矩值被登记为包括在作业指示中。换句话说,在登记处理中,登记作业过程。在该示例中,登记单元38登记作业过程,使得指示要对第一作业对象进行的作业的作业指示成为作业过程中的第一作业指示。具体地,登记单元38将指示要对第一作业对象进行的作业并且包括第一目标转矩值的作业指示登记为根据作业过程要“首先”进行的作业工序步骤。
转矩判定单元37进行结果存储处理,该结果存储处理用于使结果存储单元43将表示在紧固构件附接到第一作业对象时的紧固转矩是否是正常紧固转矩的第一判定结果与第一作业对象相关联地存储(在S5中)。
另外,用户还遵循与第一作业对象相同的作业过程对第二作业对象进行紧固作业。具体地,用户在紧固构件附接到第二作业对象时对操作面板231进行操作以输入紧固转矩的转矩值(在S6中),然后进行将紧固构件附接到第二作业对象的紧固作业(在S7中)。此时,生成第二作业对象的静止图片,并且登记单元38进行登记处理(包括图像登记处理和转矩登记处理)(在S8中)。登记单元38将指示要对第二作业对象进行的作业并且包括第二目标转矩值的作业指示登记为根据作业过程要“其次”进行的作业工序步骤。转矩判定单元37进行结果存储处理(在S9中),该结果存储处理用于使结果存储单元43存储表示在步骤S7中的紧固作业期间的紧固转矩是否是正常紧固转矩的第二判定结果。
当对工件A1的每个作业对象进行登记处理时,用户对操作面板231进行操作以将工具2的操作模式从登记模式切换到作业模式(在S10中)。将工具2的操作模式从登记模式切换到作业模式结束了登记模式。
注意,图3所示的序列仅仅是示例。因此,图3所示的处理步骤可以适当地按不同顺序进行,可以根据需要进行附加的处理步骤,或者可以适当地省略处理步骤中的至少一个。
(3.2)作业模式
接着,将参考图4至图6来说明工具系统1在作业模式中的示例性操作。
每当刷新摄像单元5所拍摄的拍摄图像的帧时,工具系统1进行图4至图6所示的处理。当刷新拍摄图像的帧时,设置状态检测单元34从姿势检测单元26获取姿势信息(在S21中)。接着,设置状态检测单元34查看处理单元35的(操作)状态是否是状态St0(在S22中)。如本文所使用的,“状态St0”是指处理单元35的没有开始识别处理的空闲状态。另一方面,这里使用的状态“St1”是指处理单元35的尚未开始但可以开始识别处理的待机状态。此外,这里使用的状态“St2”是指处理单元35正在进行识别处理的状态。
如果处理单元35的状态是状态St0(如果在S22中回答为“是”),则设置状态检测单元34基于姿势信息将工具2的加速度与加速度阈值T1进行比较(在S23中)。在这种情况下,根据本实施例的加速度阈值T1近似等于零。也就是说,设置状态检测单元34查看工具2是否正在至少略微移动。换句话说,设置状态检测单元34例如查看工具2是否未被放置在桌子或地板上。显然,工具2被放置在桌子或地板上的状态不同于工具2在作业对象上被设置在适当位置的状态。当发现工具2的加速度大于阈值T1时(如果在S23中回答为“是”),设置状态检测单元34基于姿势信息将工具2的加速度与另一加速度阈值T3进行比较(在S24中)。在这种情况下,根据本实施例的加速度阈值T3是大于T1的值,并且在用户在他或她随身携带工具2的同时正在移动的情形下(即,在用户正在摇动工具2的情形下)被设置为接近工具2的加速度的值。显然,用户在他或她随身携带工具2时正在移动的状态或者用户正在摇动工具2的状态不是工具2在作业对象上被设置在适当位置的状态。
在发现工具2的加速度小于阈值T3时(如果在S24中回答为“是”),设置状态检测单元34基于姿势信息来将工具2的当前姿势与基准姿势之间的角度差与角度差阈值T5进行比较(在S25中)。在本实施例中,角度差阈值T5例如可以是10度。如果工具2的当前姿势与基准姿势之间的角度差小于阈值T5(如果在S25中回答为“是”),则用于拍摄的发光单元234的LED点亮(在S26中)。然后,处理单元35的状态变为状态St1(即,待机状态)(S27)。在这种情况下,处理进入图6所示的处理步骤S65。注意,如果工具2的加速度等于或小于阈值T1(如果在S23中回答为“否”),如果工具2的加速度等于或大于阈值T3(如果在S24中回答为“否”),或者如果工具2的当前姿势与基准姿势之间的角度差等于或大于阈值T5(如果在S25中回答为“否”),则处理进入图6所示的处理步骤S65。
另一方面,如果在步骤S22中证明处理单元35的状态不是状态St0、而是状态St1或状态St2(即,如果在S22中回答为“否”),则设置状态检测单元34基于姿势信息将工具2的加速度与加速度阈值T2进行比较(在S31中)。在发现工具2的加速度大于阈值T2时(如果在S31中回答为“是”),设置状态检测单元34基于姿势信息将工具2的加速度与另一加速度阈值T4进行比较(在S32中)。在发现工具2的加速度小于阈值T4时(如果在S32中回答为“是”),设置状态检测单元34基于姿势信息将工具2的当前姿势与基准姿势之间的角度差与角度差阈值T6进行比较(在S33中)。如果工具2的当前姿势与基准姿势之间的角度差小于角度差阈值T6(如果在S33中回答为“是”),则处理进入图5所示的处理步骤S41。注意,如果工具2的加速度等于或小于阈值T2(如果在S31中回答为“否”),如果工具2的加速度等于或大于阈值T4(如果在S32中回答为“否”),或者如果工具2的当前姿势与基准姿势之间的角度差等于或大于阈值T6(如果在S33中回答为“否”),则处理进入处理步骤S34。
在这种情况下,如果处理单元35的状态是状态St1或状态St2,则用于拍摄的发光单元234的LED处于点亮(ON)状态。当处于点亮状态的LED熄灭(OFF)时(在S34中),处理单元35的状态变为状态St0(即,空闲状态)(在S35中)。然后,驱动单元24中所包括的马达的状态变为状态St3(在S36中)。如本文所使用的,“状态St3”是指即使用户拉动触发开关221也禁止驱动单元24的马达运行的状态。在马达的状态已变为状态St3之后,处理进入图6所示的处理步骤S65。
注意,根据本实施例的加速度阈值T1、T2各自被设置为具有滞后,并且阈值T2小于阈值T1。以相同的方式,加速度阈值T3、T4也各自被设置为具有滞后,并且阈值T4大于阈值T3。同样,角度差阈值T5、T6也各自被设置为具有滞后,并且阈值T6大于阈值T5。
接着,将参考图5来说明处理步骤S41至S56。稳定性判定单元33检查拍摄图像的最新帧(第一帧)(在S41中)。另一方面,设置状态检测单元34从距离测量单元27获取距离信息(在S42中),并且从按压检测单元28获取按压信息(在S43中)。接着,设置状态检测单元34查看处理单元35的状态是否是状态St1(在S44中)。如果处理单元35的状态是状态St1(如果在S44中回答为“是”),则设置状态检测单元34基于姿势信息将工具2的当前姿势与基准姿势之间的角度差与角度差阈值T7进行比较(在S45中)。在这种情况下,根据本实施例的角度差阈值T7例如可以是5度。在发现工具2的当前姿势与基准姿势之间的角度差小于角度差阈值T7时(如果在S45中回答为“是”),稳定性判定单元33计算拍摄图像的最新帧与最新帧之前的先前帧(第二帧)之间的差异度。然后,稳定性判定单元33将自身计算出的差异度与差异度阈值T9进行比较(在S46中)。在发现自身计算出的差异度小于阈值T9时(如果在S46中回答为“是”),稳定性判定单元33将稳定性信息输出到设置状态检测单元34和处理单元35。接着,设置状态检测单元34基于距离信息来计算距离差,并将该距离差与阈值距离T11进行比较(在S47中)。在发现距离差小于阈值距离T11时(如果在S47中回答为“是”),设置状态检测单元34基于按压信息将施加到握持部22的背面的压力与阈值压力T13进行比较(在S48中)。在发现施加到握持部22的背面的压力大于阈值压力T13时(如果在S48中回答为“是”),设置状态检测单元34查看是否半按下了触发开关221(在S49中)。在发现半按下了触发开关221时(如果在S49中回答为“是”),设置状态检测单元34将设置状态检测信息输出到处理单元35。然后,处理单元35的状态变为状态St2(即,处理单元35正在进行识别处理的状态)(在S50中),并且处理进入图6所示的处理步骤S61。
注意,如果角度差等于或大于阈值T7(如果在S45中回答为“否”),如果差异度等于或大于阈值T9(如果在S46中回答为“否”),如果距离差等于或大于阈值距离T11(如果在S47中回答为“否”),如果所施加的压力等于或小于阈值压力T13(如果在S48中回答为“否”),或者如果没有半按下触发开关221(如果在S49中回答为“否”),则处理进入图6所示的处理步骤S65。
当在S44中发现处理单元35的状态不是状态St1而是状态St2时(如果在S44中回答为“否”),设置状态检测单元34基于姿势信息将工具2的当前姿势和基准姿势之间的角度差与角度差阈值T8进行比较(在S51中)。在发现工具2的当前姿势与基准姿势之间的角度差小于阈值T8时(如果在S51中回答为“是”),则稳定性判定单元33计算第一帧和第二帧之间的差异度。然后,稳定性判定单元33将自身计算出的差异度与差异度阈值T10进行比较(在S52中)。在发现自身计算出的差异度小于阈值T10时(如果在S52中回答为“是”),稳定性判定单元33将稳定性信息输出到设置状态检测单元34和处理单元35。接着,设置状态检测单元34基于距离信息来计算距离差,并将距离差与阈值距离T12进行比较(在S53中)。在发现距离差小于阈值距离T12时(如果在S53中回答为“是”),设置状态检测单元34基于按压信息将施加到握持部22的背面的压力与阈值压力T14进行比较(在S54中)。在发现施加到握持部22的背面的压力大于阈值压力T14时(如果在S54中回答为“是”),设置状态检测单元34查看是否半按下了触发开关221(在S55中)。在发现半按下了触发开关221时(如果在S55中回答为“是”),设置状态检测单元34将设置状态检测信息输出到处理单元35。然后,处理进入图6所示的处理步骤S61。
注意,如果角度差等于或大于阈值T8(如果在S51中回答为“否”),如果差异度等于或大于阈值T10(如果在S52中回答为“否”),如果距离差等于或大于阈值距离T12(如果在S53中回答为“否”),如果所施加的压力等于或小于阈值压力T14(如果在S54中回答为“否”),或者如果没有半按下触发开关221(如果在S55中回答为“否”),则处理单元35的状态从状态St2转到状态St1(在S56中),并且处理进入图6所示的处理步骤S64。
注意,根据本实施例的角度差阈值T7、T8各自被设置为具有滞后,并且阈值T8大于阈值T7。以相同的方式,差异度阈值T9、T10也各自被设置为具有滞后,并且阈值T10大于阈值T9。同样,阈值距离T11、T12也各自被设置为具有滞后,并且阈值距离T12大于阈值距离T11。同样,阈值压力T13、T14也各自被设置为具有滞后,并且阈值压力T14小于阈值压力T13。
接着,将参考图6来说明处理步骤S61至S68。在接收到由稳定性判定单元33提供的稳定性信息和由设置状态检测单元34提供的设置状态检测信息中的至少一个时,处理单元35基于拍摄图像来进行识别处理(在S61中)。然后,处理单元35查看当前作业对象是否已被成功识别以及如此识别的作业对象是否遵循作业过程(在S62中)。如果处理单元35成功地识别出当前作业对象、并且如此识别出的作业对象遵循作业过程(如果在S62中回答为“是”),则马达的状态变为状态St4(在S63中)。如本文所使用的,“状态St4”是指驱动单元24中所包括的马达响应于触发开关221通过被用户拉动变为接通而开始运行的状态。在马达的状态变为状态St4之后,处理进入处理步骤S65。
另一方面,如果在S62中处理单元35未能识别当前作业对象、或者除非所识别的作业对象遵循作业过程(如果在S62中回答为“否”),则马达的状态变为状态St3(在S64中)。在马达的状态变为状态St3之后,处理进入处理步骤S65。
接着,处理单元35查看用户是否拉动了触发开关221(在S65中)。如果用户拉动了触发开关221以接通触发开关221(如果在S65中回答为“是”),则处理单元35查看马达的状态是否是状态St4(在S66中)。如果马达的状态是状态St4(如果在S66中回答为“是”),则处理单元35使得能够通过运行驱动单元24中所包括的马达来进行紧固操作。结果,通过运行马达来进行紧固操作(在S67中)。在该处理步骤中,工具2的驱动控制单元31控制驱动单元24,使得与所识别的作业对象相关联的目标转矩值变为转矩设置值。当紧固操作完成时,处理结束。
另一方面,如果在步骤S66中马达的状态不是状态St4而是状态St3(如果在S66中回答为“否”),则处理单元35进行警报操作,诸如使通知单元211以红色点亮等(在S68中)。注意,在这种情况下,驱动单元24中所包括的马达不运行。
注意,图4至图6所示的流程图仅仅是示例。因此,图4至图6所示的处理步骤可以适当地以不同的顺序进行,可以根据需要进行附加的处理步骤,或者可以适当地省略处理步骤中的至少一个。
(4)变形例
注意,上述典型实施例仅是本发明的各种实施例中的典型实施例,并且不应被解释为限制性的。相反,可以在未背离本发明的范围的情况下,根据设计选择或任何其他因素以各种方式容易地修改典型实施例。在本说明书中要参考的图全部是示意图。因此,这些图上例示的各个构成元件的尺寸(包括厚度)的比例并不总是反映这些构成元件的实际尺寸比例。
此外,根据本发明,当将各种参数与它们各自的阈值进行比较时,根据阈值的选择,例如短语“大于”是否涵盖两个值彼此相等的情形,这是可任意改变的。因此,从技术角度来看,短语“大于”和短语“等于或大于”之间没有差异。类似地,根据本发明,当将各种参数与它们各自的阈值进行比较时,从技术角度来看,短语“等于或小于”和短语“小于”之间也没有差异。
此外,根据典型实施例的工具系统1的功能也可以被实现为作业对象识别方法、(计算机)程序或存储有该程序的非暂时性存储介质。根据一方面的作业对象识别方法包括识别处理步骤、稳定性判定步骤和设置状态检测步骤。识别处理步骤包括:基于摄像单元5所生成的拍摄图像来识别作业对象。摄像单元5被配备给便携式工具2,该便携式工具2包括利用从动力源供给的动力来激活的驱动单元24。稳定性判定步骤包括:判断拍摄图像是否稳定。设置状态检测步骤包括:检测工具2在作业对象上被设置在适当位置的状态。注意,作业对象识别方法仅需要至少包括识别处理步骤和设置状态检测步骤。根据另一方面的程序被设计为使得一个或多于一个处理器进行上述的作业对象识别方法。
接着,将逐个列举典型实施例的变形例。注意,可以适当地组合采用以下要说明的变形例。
工具系统1可以基于由被实现为立体照相机的摄像单元5拍摄到的图像来测量摄像单元5和作业对象之间的距离。然后,设置状态检测单元34在发现通过从基准距离中减去摄像单元5和作业对象之间的距离所计算出的差的绝对值等于或小于阈值时,可以检测到工具2在作业对象上被设置在适当位置的状态。
可选地,在处理单元35正在进行识别处理时,可以根据姿势信息对拍摄图像和基准图像中的至少一个进行自旋补偿和/或失真校正。如本文所使用的,“失真校正”意味着通过将拍摄图像(或基准图像)部分地扩展或收缩到任意程度来对拍摄图像进行校正。例如,处理单元35可以通过对以梯形形状拍摄到矩形被摄体的拍摄图像进行失真校正来获得以矩形形状拍摄到矩形被摄体的拍摄图像。
“预定姿势”可以是在确定由姿势检测单元26检测到的工具2的当前姿势的工具2围绕三个轴中的任一个轴的转动角度与定义工具2的基准姿势的转动角度中的相应转动角度之间的角度差等于或小于阈值的情形下的工具2的姿势。
代替姿势检测单元26,设置状态检测单元34可以被配置为基于运动传感器261的输出来检测工具2的运动和姿势。也就是说,设置状态检测单元34可以进行姿势检测单元26的功能。
代替距离测量单元27,设置状态检测单元34可以被配置为基于距离传感器271的输出来检测作业对象(或工件)与工具2之间的距离。也就是说,设置状态检测单元34可以进行距离测量单元27的功能。
代替按压检测单元28,设置状态检测单元34可以被配置为基于压力传感器281的输出来感测工具2被压靠在作业对象上。也就是说,设置状态检测单元34可以进行按压检测单元28的功能。
在登记模式中的图像登记处理中,由姿势检测单元26检测到的工具2的姿势(即,姿势信息)也可以与摄像单元5所生成的基准图像相关联地存储在存储单元4(的图像存储单元41)中。这使得能够将基准图像和工具2的姿势彼此相关联地登记。因此,一旦在作业模式中识别出了拍摄图像和工具2的姿势,处理单元35就可以将拍摄图像与同该姿势相关联的基准图像进行比较。可替代地,与基准图像相关联的工具2的姿势可以被定义为基准姿势。
此外,在登记模式中的图像登记处理中,由距离测量单元27检测到的工具2和作业对象之间的距离(距离信息)可以被定义为基准距离,并且与由摄像单元5生成的基准图像相关联地存储在存储单元4(的图像存储单元41)中。此外,在登记模式中的图像登记处理中,由按压检测单元28检测到的施加到握持部22的压力(按压信息)也可以与由摄像单元5生成的基准图像相关联地存储在存储单元4(的图像存储单元41)中。
稳定性判定单元33可以计算第一帧和第二帧之间的匹配程度(类似性),以判断拍摄图像是否稳定。例如,稳定性判定单元33可以通过归一化互相关(NCC)来计算第一帧和第二帧之间的匹配程度。
可选地,稳定性判定单元33还可以在进行稳定性判定处理时,通过将第一帧中的特定区域的亮度值与作为第二帧和第二帧之前的一个或多于一个先前帧中的相应特定区域的移动平均的亮度值进行比较,来计算差异度。在这种情况下,稳定性判定单元33上的处理负荷在稳定性判定处理方面增加,但稳定性判定处理的准确度提高,这是优点。
可选地,稳定性判定单元33可以通过使用包括第二帧的其他帧作为模板数据对第一帧进行模式识别处理来进行稳定性判定处理。
根据本发明的工具系统1例如在其控制单元3a、3b中包括计算机系统。计算机系统可以包括处理器和存储器作为主要硬件组件。可以通过使处理器执行计算机系统的存储器中所存储的程序来进行根据本发明的工具系统1的功能。程序可以预先存储在计算机系统的存储器中。可替代地,程序也可以通过电信线路下载,或者在记录在诸如存储卡、光盘或硬盘驱动器(其中的任何对于计算机系统均是可读的)等的一些非暂时性存储介质中之后进行分发。计算机系统的处理器可以由包括半导体集成电路(IC)或大规模集成电路(LSI)的单个或多个电子电路构成。如本文所使用的,诸如IC或LSI等的“集成电路”根据其集成的程度而被称为不同的名称。集成电路的示例包括系统LSI、超大规模集成电路(VLSI)和特大规模集成电路(ULSI)。可选地,还可以采用在制造了LSI之后要编程的现场可编程门阵列(FPGA)或者允许重新配置LSI内部的连接或电路区段的重新配置的逻辑器件作为处理器。这些电子电路可以一起集成在单个芯片上或分布在多个芯片上,无论哪种都是适当的。这些多个芯片可以一起聚合在单个装置中或者分布在多个装置中,而没有限制。如本文所使用的,“计算机系统”包括包含一个或多于一个处理器和一个或多于一个存储器的微控制器。因此,微控制器也可以被实现为包括半导体集成电路或大规模集成电路的单个或多个电子电路。
此外,在上述实施例中,工具系统1的至少一些功能一起集成在单个外壳(本体20)中。然而,这不是工具系统1的必要配置。可替代地,工具系统1的这些构成元件可以分布在多个不同的外壳中。
例如,控制单元3a、3b的一些功能可以设置在与工具2的本体20分开设置的外壳中。还可替代地,控制单元3a、3b或任何其他处理器的至少一些功能例如也可以被实现为服务器或云计算系统。
此外,在上述实施例中,工具2的图像存储单元41存储分别与多个作业对象相对应的多个基准图像。然而,工具2不必存储分别与多个作业对象相对应的这样的多个基准图像。可替代地,设置终端60或服务器装置可以包括图像存储单元,该图像存储单元存储分别与多个作业对象相对应的多个基准图像。在这种情况下,工具2的处理单元35可以访问设置终端60或服务器装置的图像存储单元,以进行将摄像单元5所拍摄到的第一拍摄图像与图像存储单元中所存储的基准图像进行比较并由此识别当前作业对象的处理。此外,工具2也不必包括处理单元35。可替代地,设置终端60或服务器装置可以进行处理单元35的功能。当工具2将摄像单元5所拍摄到的第一拍摄图像输出到设置终端60或服务器装置时,设置终端60或服务器装置的处理单元进行将第一拍摄图像与基准图像进行比较的图像处理并将当前作业对象的识别结果输出到工具2。
此外,例如,摄像单元5不必配备给本体20的筒体21,而是可以配备给本体20的附接部23或电池组201。同样,控制单元3a、3b、存储单元4和其他单元的布置也可以适当地改变。此外,工具2可以包括摄像单元5。
可选地,如图7所示,作业对象识别系统10可以作为外部装置连接到工具2。在这种情况下,工具2的控制单元3a和作业对象识别系统10的控制单元3b可以直接彼此电连接或者经由通信单元彼此通信。在后者情况下,通信单元可以采用符合诸如
Figure BDA0004012315230000331
或不需要许可证的低功率无线电标准(例如指定低功率无线电标准)等的标准的无线通信协议。此外,例如,作业对象识别系统10可以包括与电池组201不同的电源,并且与电池组201不同的电源可以用作摄像单元5和控制单元3b的电源。这种作业对象识别系统10可以判断拍摄图像是否稳定,并基于稳定的拍摄图像来识别作业对象。另外,作业对象识别系统10可以检测工具2在作业对象上被设置在适当位置的状态,然后基于拍摄图像来识别作业对象。这使得能够减少作业对象识别系统10徒劳地进行识别处理的次数,由此降低电力消耗。在图7所示的示例中,包括内置摄像单元5的作业对象识别系统10作为辅助装置附接到工具2。也就是说,作业对象识别系统10的摄像单元5被设置为工具2的外部装置。
作业对象识别系统10仅需要至少包括设置状态检测单元34和处理单元35。此外,在上述典型实施例中,作业对象识别系统10被实现为包括设置状态检测单元34和处理单元35的单个系统。可替代地,作业对象识别系统10也可以实现为两个或多于两个系统。例如,设置状态检测单元34和处理单元35的功能可以分布在两个或多于两个系统中。此外,设置状态检测单元34和处理单元35的至少一个功能可以分布在两个或多于两个系统中。例如,设置状态检测单元34的功能可以分布在两个或多于两个装置中。可选地,作业对象识别系统10的至少一些功能也可以被实现为云计算系统。
在判定为拍摄图像稳定时,稳定性判定单元33可以将稳定性信息仅输出到设置状态检测单元34。
即使处理单元35没有接收到由稳定性判定单元33提供的稳定性信息,处理单元35也可以进行包括识别处理的预定处理,只要处理单元35至少接收到由设置状态检测单元34提供的设置状态检测信息即可。
注意,工具系统1不必应用于在工厂组装工件的组装线,而是也可以找到任何其他应用。
在上述实施例中,工具2是冲击扳手。然而,工具2不必是冲击扳手,而是例如也可以是上螺母器或油脉冲扳手。可替代地,工具2例如也可以是用于拧紧螺钉(作为紧固构件)的螺丝起子(包括冲击螺丝起子)。在这种情况下,钻头(诸如螺丝起子钻头等)而不是插口242附接到工具2。此外,工具2不必被配置为由电池组201供电,而是还可以被配置为由AC电源(商用电源)供电。此外,工具2不必是电动工具,而是也可以是气动工具,该气动工具包括利用从空气压缩机(动力源)供给的压缩空气(动力)进行操作的气动马达(驱动单元)。
此外,在上述典型实施例中,假定作业对象是单个工件中的多个待紧固部位中的各待紧固部位。然而,这仅是示例,并且不应被解释为限制性的。可替代地,作业对象也可以是具有多个待紧固部位的模块、零件或制品。例如,如果作业对象是具有多个待紧固部位的模块、零件或制品,则单个作业对象的多个待紧固部位可以具有相同的目标转矩值或相互不同的目标转矩值。
可选地,工具2可以包括用于测量紧固转矩的转矩传感器。在这种情况下,驱动控制单元31控制驱动单元24,使得转矩传感器所测量到的紧固转矩变为转矩设置值。此外,转矩判定单元37可以通过将转矩传感器的测量结果与目标转矩值进行比较来判断紧固转矩是否正常。在发现转矩传感器的测量结果落在以目标转矩值为基准的预定范围内的情况下,转矩判定单元37判定为紧固转矩应是正常的紧固转矩。另一方面,在发现转矩传感器的测量结果落在以目标转矩值为基准的预定范围之外的情况下,转矩判定单元37判定为紧固转矩应是不足的(异常的)紧固转矩。
此外,通知单元211不必是诸如LED等的发光单元,而是还可以被实现为诸如液晶显示器或有机电致发光(EL)显示器等的图像显示装置。可选地,通知单元211可以通过除显示以外的任何手段进行通知(呈现)。例如,通知单元211也可以被实现为发出声音(包括语音)的扬声器或蜂鸣器。在这种情况下,通知控制单元36优选地使通知单元211在由处理单元35做出的判定表示不一致的情形下和在处理单元35识别出当前作业对象的情形下发出不同的声音。还可替代地,通知单元211例如也可以被实现为产生振动的振动器或者用于将通知信号发送到设置在工具2外部的外部终端(诸如移动通信装置等)的发送器。可选地,通知单元211还可以组合地具有选自显示、发出声音、产生振动和建立通信中的两个或多于两个功能。
存储单元4可以存储表示要对多个作业对象进行作业工序步骤的预定顺序的作业过程数据。在这种情况下,处理单元35根据作业过程从多个基准图像中选择供在识别处理中使用的基准图像。具体地,处理单元35从多个基准图像中优先选择与在即将发生的作业工序步骤中要处理的即将来临的作业对象相对应的一个基准图像。如本文所使用的,“即将来临的作业对象”是在上次识别的作业对象之后要处理的作业对象。处理单元35进行用于将被选择为模板数据的基准图像与拍摄图像进行比较的图像处理。也就是说,处理单元35通过根据作业过程预测下次在拍摄图像中要拍摄的当前作业对象来选择基准图像。这使得处理单元35能够在更短的时间内识别拍摄图像中所拍摄到的当前作业对象。
可选地,处理单元35还可被配置为通过对拍摄图像进行图像处理来判断附接到工具2的插口242的类型。如本文所使用的,“类型”是用于将不同零件彼此区分开的信息,并且包括与大小(尺寸或长度)、形状或材料有关的至少一个信息。在本实施例中,处理单元35被配置为判断附接到工具2的插口242的长度。处理单元35根据插口242的长度来校正目标转矩值,并将如此校正的目标转矩值设置为转矩设置值。例如,处理单元35通过将目标转矩值乘以与插口242的长度相对应的系数来校正与当前作业对象相关联的目标转矩值,并将如此校正的目标转矩值设置为转矩设置值。也就是说,处理单元35控制驱动单元24,使得紧固转矩变为等于校正后的目标转矩值。这可以减少根据插口242的长度的紧固转矩的偏差。
可选地,处理单元35还可被配置为根据所检测到的插口242的长度(或类型)来判断转矩设置值。在存储单元4中,存储有与插口242的各种长度一对一地相对应的转矩值。处理单元35从存储单元4获取与所判断出的插口242的长度相对应的转矩值,并且将基于如此获取到的转矩值的值设置为转矩设置值。例如,处理单元35可以将从存储单元4获取到的转矩值设置为转矩设置值。这使得能够以与给定插口242的类型相对应的转矩值进行紧固作业。
工具系统1仅需要至少包括工具2和作业对象识别系统10。此外,在上述典型实施例中,工具系统1被实现为包括工具2和作业对象识别系统10的单个系统。可替代地,工具系统1也可以被实现为两个或多于两个系统。例如,工具2和作业对象识别系统10的功能可以分布在两个或多于两个系统中。此外,工具2或作业对象识别系统10的至少一个功能可以分布在两个或多于两个系统中。例如,作业对象识别系统10的功能可以分布在两个或多于两个装置中。可选地,工具系统1的至少一些功能也可以被实现为云计算系统。
此外,如果拍摄图像是静止图片(静止图像),则稳定性判定单元33基于在预定时间段内拍摄到的至少两个拍摄图像来判断拍摄图像是否稳定。
(概括)
从上述说明可以看出,根据第一方面的工具系统(1)包括工具(2)、摄像单元(5)、处理单元(35)和设置状态检测单元(34)。工具(2)是包括驱动单元(24)的便携式工具(2),该驱动单元(24)利用从动力源(电池组201)供给的动力来激活。摄像单元(5)被配备给工具(2)并且生成拍摄图像。处理单元(35)间歇地进行用于基于拍摄图像来识别作业对象的识别处理。设置状态检测单元(34)检测工具(2)在作业对象上被设置在适当位置的状态。
该方面使得工具系统(1)能够在检测到工具(2)在作业对象上被设置在适当位置的状态之后,基于拍摄图像来识别作业对象。这使得能够减少工具系统(1)徒劳地进行识别处理的次数,由此降低电力消耗。
在可以结合第一方面来实现的根据第二方面的工具系统(1)中,处理单元(35)响应于设置状态检测单元(34)检测到工具(2)在作业对象上被设置在适当位置的状态来进行识别处理。
该方面使得工具系统(1)能够仅在检测到工具(2)在作业对象上被设置在适当位置的状态时才进行识别处理。这使得能够以更高的可靠度减少工具系统(1)徒劳地进行识别处理的次数。
在可以结合第一方面或第二方面来实现的根据第三方面的工具系统(1)中,工具(2)还包括驱动控制单元(31)。驱动控制单元(31)基于与由处理单元(35)识别出的作业对象相关联的作业条件来改变工具(2)的设置。
该方面使得能够根据与由处理单元(35)识别出的作业对象相关联的作业条件来自动改变工具(2)的设置,由此增加工具系统(1)的便利性。
在可以结合第一方面至第三方面中任一方面来实现的根据第四方面的工具系统(1)中,设置状态检测单元(34)在发现工具(2)和作业对象之间的距离落在预设范围内时,检测到工具(2)在作业对象上被设置在适当位置的状态。
该方面使得工具系统(1)能够在发现工具(2)和作业对象之间的距离落在预设范围内时,检测到工具(2)在作业对象上被设置在适当位置的状态,并进行识别处理。这使得能够以更高的可靠度减少工具系统(1)徒劳地进行识别处理的次数。
可以结合第四方面来实现的根据第五方面的工具系统(1)还包括距离传感器(271),该距离传感器(271)测量工具(2)和作业对象之间的距离。设置状态检测单元(34)在发现由距离传感器(271)测量的距离落在预设范围内时,检测到工具(2)在作业对象上被设置在适当位置的状态。
该方面使得更容易通过使用距离传感器(271)来测量工具(2)和作业对象之间的距离。
在可以结合第一方面至第五方面中任一方面来实现的根据第六方面的工具系统(1)中,设置状态检测单元(34)在发现工具(2)采取预定姿势时,检测到工具(2)在作业对象上被设置在适当位置的状态。
根据该方面,在发现工具(2)采取预定姿势时,工具系统(1)检测到工具(2)在作业对象上被设置在适当位置的状态,并进行识别处理。这使得能够以更高的可靠度减少工具系统(1)徒劳地进行识别处理的次数。
可以结合第六方面来实现的根据第七方面的工具系统(1)还包括用于检测工具(2)的姿势的运动传感器(261)。设置状态检测单元(34)在发现由运动传感器(261)检测到的工具(2)的姿势为预定姿势时,检测到工具(2)在作业对象上被设置在适当位置的状态。
该方面使得运动传感器(261)能够检测到工具(2)的姿势,由此使得更容易检测到其姿势。
可以结合第一方面至第七方面中任一方面来实现的根据第八方面的工具系统(1)还包括稳定性判定单元(33),该稳定性判定单元(33)判断拍摄图像是否稳定。设置状态检测单元(34)响应于由稳定性判定单元(33)判定为拍摄图像稳定,检测到工具(2)在作业对象上被设置在适当位置的状态。
该方面使得在稳定性判定单元(33)判定为拍摄图像稳定时,工具系统(1)能够检测到工具(2)在作业对象上被设置在适当位置的状态并进行识别处理。这使得能够以更高的可靠度减少工具系统(1)徒劳地进行识别处理的次数。
在可以结合第八方面来实现的根据第九方面的工具系统(1)中,拍摄图像包括多个帧。稳定性判定单元(33)计算多个帧之间的差异度,并且在发现差异度等于或小于阈值(T9;T10)时,判定为拍摄图像稳定。
该方面使得能够通过简单的方法来判断拍摄图像是否稳定。
在可以结合第一方面至第九方面中任一方面来实现的根据第十方面的工具系统(1)中,设置状态检测单元(34)在感测到工具(2)被压靠在作业对象上时,检测到工具(2)在作业对象上被设置在适当位置的状态。
根据该方面,当感测到工具(2)被压靠在作业对象上时,工具系统(1)检测到工具(2)在作业对象上被设置在适当位置的状态,并进行识别处理。这使得能够以更高的可靠度减少工具系统(1)徒劳地进行识别处理的次数。
可以结合第十方面来实现的根据第十一方面的工具系统(1)还包括压力传感器(281),该压力传感器(281)检测施加到工具(2)的压力。设置状态检测单元(34)在发现由压力传感器(281)检测到的压力等于或大于阈值压力(T13;T14)时,检测到工具(2)在作业对象上被设置在适当位置的状态。
该方面使得工具系统(1)更容易通过使压力传感器(281)检测压力来感测工具(2)被压靠在作业对象上。
在可以结合第一方面至第十一方面中任一方面来实现的根据第十二方面的工具系统(1)中,工具(2)还包括用于激活驱动单元(24)的操作单元(221)。操作单元(221)具有初始位置和接通位置,并且在被按下到接通位置时激活驱动单元(24)。设置状态检测单元(34)在发现操作单元(221)在初始位置和接通位置之间被半按下时,检测到工具(2)在作业对象上被设置在适当位置的状态。
根据该方面,在发现工具(2)的操作单元(221)在初始位置和接通位置之间被半按下时,工具系统(1)检测到工具(2)在作业对象上被设置在适当位置的状态,并进行识别处理。这使得能够以更高的可靠度减少工具系统(1)徒劳地进行识别处理的次数。
注意,根据第二方面至第十二方面的构成元件不是工具系统(1)的必要构成元件,而是可以适当地省略。
根据第十三方面的工具(2)被设计为用在根据第一方面至第十二方面中任一方面的工具系统(1)中。工具(2)包括驱动单元(24)和摄像单元(5)。
该方面使得工具系统(1)能够在检测到工具(2)在作业对象上被设置在适当位置的状态之后基于拍摄图像来识别作业对象。这使得能够减少工具系统(1)徒劳地进行识别处理的次数。
根据第十四方面的作业对象识别系统(10)包括处理单元(35)和设置状态检测单元(34)。处理单元(35)间歇地进行用于基于摄像单元(5)所生成的拍摄图像来识别作业对象的识别处理。摄像单元(5)被配备给工具(2),该工具(2)是包括驱动单元(24)的便携式工具(2),该驱动单元(24)利用从动力源供给的动力来激活。设置状态检测单元(34)检测工具(2)在作业对象上被设置在适当位置的状态。
该方面使得作业对象识别系统(10)在检测到工具(2)在作业对象上被设置在适当位置的状态之后,基于拍摄图像来识别作业对象。这使得能够减少作业对象识别系统(10)徒劳地进行识别处理的次数,由此降低电力消耗。
根据第十五方面的作业对象识别方法包括识别处理步骤和设置状态检测步骤。识别处理步骤包括间歇地进行用于基于摄像单元(5)所生成的拍摄图像来识别作业对象的识别处理。摄像单元(5)被配备给工具(2),该工具(2)是包括驱动单元(24)的便携式工具(2),该驱动单元(24)利用从动力源供给的动力来激活。设置状态检测步骤包括检测工具(2)在作业对象上被设置在适当位置的状态。
该方面使得能够在检测到工具(2)在作业对象上被设置在适当位置的状态之后,基于拍摄图像来识别作业对象。这使得能够减少徒劳地进行识别处理的次数,由此降低电力消耗。
根据第十六方面的程序被设计为使得一个或多于一个处理器进行根据第十五方面的作业对象识别方法。
该方面使得一个或多于一个处理器能够在检测到工具(2)在作业对象上被设置在适当位置的状态之后,基于拍摄图像来识别作业对象。这使得能够减少一个或多于一个处理器徒劳地进行识别处理的次数,由此降低电力消耗。
附图标记说明
1工具系统
2工具
201电池组(动力源)
221触发开关(操作单元)
24 驱动单元
261 运动传感器
271 距离传感器
281 压力传感器
31 驱动控制单元
33 稳定性检测单元
34 设置状态检测单元
35 处理单元
5摄像单元
10作业对象识别系统

Claims (16)

1.一种工具系统,包括:
工具,其包括驱动单元,所述驱动单元被配置为利用从动力源供给的动力来激活,所述工具是便携式工具;
摄像单元,其被配备给所述工具,并且被配置为生成拍摄图像;
处理单元,其被配置为间歇地进行用于基于所述拍摄图像来识别作业对象的识别处理;以及
设置状态检测单元,其被配置为检测所述工具在所述作业对象上被设置在适当位置的状态。
2.根据权利要求1所述的工具系统,其中,
所述处理单元被配置为响应于所述设置状态检测单元检测到所述工具在所述作业对象上被设置在适当位置的状态,来进行所述识别处理。
3.根据权利要求1或2所述的工具系统,其中,
所述工具还包括驱动控制单元,所述驱动控制单元被配置为基于与所述处理单元所识别出的作业对象相关联的作业条件来改变所述工具的设置。
4.根据权利要求1至3中任一项所述的工具系统,其中,
所述设置状态检测单元被配置为在发现所述工具和所述作业对象之间的距离落在预设范围内的情况下,检测到所述工具在所述作业对象上被设置在适当位置的状态。
5.根据权利要求4所述的工具系统,还包括距离传感器,所述距离传感器被配置为测量所述工具和所述作业对象之间的距离,
其中,所述设置状态检测单元被配置为在发现所述距离传感器所测量到的距离落在所述预设范围内的情况下,检测到所述工具在所述作业对象上被设置在适当位置的状态。
6.根据权利要求1至5中任一项所述的工具系统,其中,
所述设置状态检测单元被配置为在发现所述工具采取预定姿势的情况下,检测到所述工具在所述作业对象上被设置在适当位置的状态。
7.根据权利要求6所述的工具系统,还包括运动传感器,所述运动传感器被配置为检测所述工具的姿势,
其中,所述设置状态检测单元被配置为在发现所述运动传感器所检测到的所述工具的姿势是所述预定姿势的情况下,检测到所述工具在所述作业对象上被设置在适当位置的状态。
8.根据权利要求1至7中任一项所述的工具系统,还包括稳定性判定单元,所述稳定性判定单元被配置为判断所述拍摄图像是否稳定,
其中,所述设置状态检测单元被配置为响应于所述稳定性判定单元判定为所述拍摄图像稳定,检测到所述工具在所述作业对象上被设置在适当位置的状态。
9.根据权利要求8所述的工具系统,其中,
所述拍摄图像包括多个帧,以及
所述稳定性判定单元被配置为计算所述多个帧之间的差异度,并且在发现所述差异度等于或小于阈值的情况下,判定为所述拍摄图像稳定。
10.根据权利要求1至9中任一项所述的工具系统,其中,
所述设置状态检测单元被配置为在感测到所述工具被压靠在所述作业对象上的情况下,检测到所述工具在所述作业对象上被设置在适当位置的状态。
11.根据权利要求10所述的工具系统,还包括压力传感器,所述压力传感器被配置为检测施加到所述工具的压力,
其中,所述设置状态检测单元被配置为在发现所述压力传感器所检测到的压力等于或大于阈值压力的情况下,检测到所述工具在所述作业对象上被设置在适当位置的状态。
12.根据权利要求1至11中任一项所述的工具系统,其中,
所述工具还包括操作单元,所述操作单元被配置为激活所述驱动单元,
所述操作单元具有初始位置和接通位置,并且被配置为在被按下到所述接通位置的情况下激活所述驱动单元,以及
所述设置状态检测单元被配置为在发现所述操作单元在所述初始位置和所述接通位置之间被半按下的情况下,检测到所述工具在所述作业对象上被设置在适当位置的状态。
13.一种工具,其用在根据权利要求1至12中任一项所述的工具系统中,所述工具包括:
所述驱动单元;以及
所述摄像单元。
14.一种作业对象识别系统,包括:
处理单元,其被配置为间歇地进行用于基于摄像单元所生成的拍摄图像来识别作业对象的识别处理,所述摄像单元被配备给工具,所述工具是包括驱动单元的便携式工具,所述驱动单元被配置为利用从动力源供给的动力来激活;以及
设置状态检测单元,其被配置为检测所述工具在所述作业对象上被设置在适当位置的状态。
15.一种作业对象识别方法,包括:
识别处理步骤,用于间歇地进行用于基于摄像单元所生成的拍摄图像来识别作业对象的识别处理,所述摄像单元被配备给工具,所述工具是包括驱动单元的便携式工具,所述驱动单元被配置为利用从动力源供给的动力来激活;以及
设置状态检测步骤,用于检测所述工具在所述作业对象上被设置在适当位置的状态。
16.一种程序,其被设计为使得一个或多于一个处理器进行根据权利要求15所述的作业对象识别方法。
CN202180044774.2A 2020-06-30 2021-05-10 工具系统、工具、作业对象识别系统、作业对象识别方法和程序 Pending CN115916466A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020113578A JP7142247B2 (ja) 2020-06-30 2020-06-30 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
JP2020-113578 2020-06-30
PCT/JP2021/017717 WO2022004132A1 (ja) 2020-06-30 2021-05-10 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム

Publications (1)

Publication Number Publication Date
CN115916466A true CN115916466A (zh) 2023-04-04

Family

ID=79315225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180044774.2A Pending CN115916466A (zh) 2020-06-30 2021-05-10 工具系统、工具、作业对象识别系统、作业对象识别方法和程序

Country Status (5)

Country Link
US (1) US20230234203A1 (zh)
EP (1) EP4173755A4 (zh)
JP (1) JP7142247B2 (zh)
CN (1) CN115916466A (zh)
WO (1) WO2022004132A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11986930B2 (en) * 2021-08-25 2024-05-21 Zhejiang Rongpeng Air Tools Co., Ltd. High-torque impact wrench
JP1722416S (ja) * 2022-01-06 2022-08-15 携帯用電気ドライバ本体
JP1722418S (ja) * 2022-01-06 2022-08-15 携帯用電気ドライバ本体
JP1722417S (ja) * 2022-01-06 2022-08-15 携帯用電気ドライバ本体
DE102022202594A1 (de) * 2022-03-16 2023-09-21 Adolf Würth GmbH & Co. KG Hilfskraftbetriebenes Handwerkzeug und Verfahren zum Bestellen eines Artikels
JP2024025113A (ja) * 2022-08-10 2024-02-26 パナソニックIpマネジメント株式会社 工具システム、作業対象特定方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008040774A1 (de) * 2008-07-28 2010-02-04 Robert Bosch Gmbh Handgehaltenes Elektrowerkzeug
DE102009044916A1 (de) * 2009-09-23 2011-04-07 Robert Bosch Gmbh Werkzeugmaschine, insbesondere handgehaltene Werkzeugmaschine
JP5930708B2 (ja) * 2011-12-27 2016-06-08 三菱電機エンジニアリング株式会社 作業管理装置および作業管理システム
US9687950B2 (en) * 2013-03-13 2017-06-27 Trimble Inc. System and method for positioning a tool in a work space
JP5632527B1 (ja) 2013-12-06 2014-11-26 伊坂電気株式会社 電動締付工具
DE102014205215A1 (de) * 2014-03-20 2015-09-24 Robert Bosch Gmbh Vereinfachte Benutzerführung bei einem Arbeitsgerät
JP6399437B2 (ja) 2014-06-04 2018-10-03 パナソニックIpマネジメント株式会社 制御装置及びそれを用いた作業管理システム
JP6395081B2 (ja) * 2014-11-05 2018-09-26 パナソニックIpマネジメント株式会社 作業管理装置、作業管理システム、及びプログラム
WO2018123433A1 (ja) * 2016-12-28 2018-07-05 パナソニックIpマネジメント株式会社 工具システム
JP7008204B2 (ja) 2017-08-31 2022-01-25 パナソニックIpマネジメント株式会社 工具システム、画像処理方法、及びプログラム
DE102017129809A1 (de) * 2017-09-29 2019-04-04 Festool Gmbh Mobile Werkzeugmaschine
FR3076234B1 (fr) * 2017-12-29 2021-06-04 Altran Tech Altran Systeme de localisation d'un outil par rapport a une surface
JP7065343B2 (ja) * 2018-02-22 2022-05-12 パナソニックIpマネジメント株式会社 工具制御方法、プログラム、工具制御システム、及び工具

Also Published As

Publication number Publication date
EP4173755A4 (en) 2023-11-08
JP2022012046A (ja) 2022-01-17
EP4173755A1 (en) 2023-05-03
WO2022004132A1 (ja) 2022-01-06
JP7142247B2 (ja) 2022-09-27
EP4173755A8 (en) 2023-06-28
US20230234203A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
CN115916466A (zh) 工具系统、工具、作业对象识别系统、作业对象识别方法和程序
US11550289B2 (en) Tool system
US11762365B2 (en) Tool system
US11917319B2 (en) Tool system, tool management method, and program
US20230121849A1 (en) Tool system, tool management method, and program
JP7008204B2 (ja) 工具システム、画像処理方法、及びプログラム
WO2022014228A1 (ja) 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
US20230177753A1 (en) Tool system, tool, method for generating reference image, and program
WO2022004133A1 (ja) 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
WO2021090650A1 (ja) 工具システム、基準画像生成方法及びプログラム
WO2024034302A1 (ja) 工具システム、作業対象特定方法及びプログラム
JP2024075313A (ja) 工具システム、制御方法及びプログラム
US20230315058A1 (en) Decision system, decision method, and non-transitory storage medium
WO2021090649A1 (ja) 工具システム、工具管理方法及びプログラム
US20240116150A1 (en) Electric tool system
JP2023113486A (ja) 撮像システム、工具システム、設定方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination