JP2021074812A - 工具システム、工具管理方法及びプログラム - Google Patents

工具システム、工具管理方法及びプログラム Download PDF

Info

Publication number
JP2021074812A
JP2021074812A JP2019201821A JP2019201821A JP2021074812A JP 2021074812 A JP2021074812 A JP 2021074812A JP 2019201821 A JP2019201821 A JP 2019201821A JP 2019201821 A JP2019201821 A JP 2019201821A JP 2021074812 A JP2021074812 A JP 2021074812A
Authority
JP
Japan
Prior art keywords
tool
unit
work
posture
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019201821A
Other languages
English (en)
Other versions
JP7458018B2 (ja
Inventor
良介 佐々木
Ryosuke Sasaki
良介 佐々木
昌典 栗田
Masanori Kurita
昌典 栗田
池田 光治
Mitsuharu Ikeda
光治 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019201821A priority Critical patent/JP7458018B2/ja
Priority to PCT/JP2020/038740 priority patent/WO2021090652A1/ja
Priority to CN202080076278.0A priority patent/CN114630729A/zh
Priority to US17/773,397 priority patent/US11917319B2/en
Priority to EP20884652.7A priority patent/EP4056319A4/en
Publication of JP2021074812A publication Critical patent/JP2021074812A/ja
Application granted granted Critical
Publication of JP7458018B2 publication Critical patent/JP7458018B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25BTOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B21/00Portable power-driven screw or nut setting or loosening tools; Attachments for drilling apparatus serving the same purpose
    • B25B21/02Portable power-driven screw or nut setting or loosening tools; Attachments for drilling apparatus serving the same purpose with means for imparting impact to screwdriver blade or nut socket
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25BTOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B23/00Details of, or accessories for, spanners, wrenches, screwdrivers
    • B25B23/14Arrangement of torque limiters or torque indicators in wrenches or screwdrivers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25BTOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B23/00Details of, or accessories for, spanners, wrenches, screwdrivers
    • B25B23/14Arrangement of torque limiters or torque indicators in wrenches or screwdrivers
    • B25B23/147Arrangement of torque limiters or torque indicators in wrenches or screwdrivers specially adapted for electrically operated wrenches or screwdrivers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25FCOMBINATION OR MULTI-PURPOSE TOOLS NOT OTHERWISE PROVIDED FOR; DETAILS OR COMPONENTS OF PORTABLE POWER-DRIVEN TOOLS NOT PARTICULARLY RELATED TO THE OPERATIONS PERFORMED AND NOT OTHERWISE PROVIDED FOR
    • B25F5/00Details or components of portable power-driven tools not particularly related to the operations performed and not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25BTOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B23/00Details of, or accessories for, spanners, wrenches, screwdrivers
    • B25B23/14Arrangement of torque limiters or torque indicators in wrenches or screwdrivers
    • B25B23/147Arrangement of torque limiters or torque indicators in wrenches or screwdrivers specially adapted for electrically operated wrenches or screwdrivers
    • B25B23/1475Arrangement of torque limiters or torque indicators in wrenches or screwdrivers specially adapted for electrically operated wrenches or screwdrivers for impact wrenches or screwdrivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Details Of Spanners, Wrenches, And Screw Drivers And Accessories (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • General Factory Administration (AREA)

Abstract

【課題】撮像部で得られる撮像画像を用いた処理の信頼性又は精度の低下を抑制できる工具システム、工具管理方法及びプログラムを提供する。【解決手段】工具システム1は、可搬型の工具2と、撮像部5と、姿勢検知部26と、処理部34と、を備える。工具2は、動力源からの動力によって動作する駆動部24を有する。撮像部5は、工具2に搭載され、撮像画像を生成する。姿勢検知部26は、工具2に搭載され、工具2の姿勢を検知する。処理部34は、撮像画像及び姿勢に基づく処理を実行する。【選択図】図1

Description

本開示は、一般に工具システム、工具管理方法及びプログラムに関し、より詳細には、可搬型の工具を備える工具システム、工具管理方法及びプログラムに関する。
特許文献1には、電池パックからの動力によって動作する駆動部を有する可搬型の工具と、工具に設けられる撮像部と、を備える工具システムが記載されている。撮像部は、例えば、工具の出力軸に取り付けられたソケットが撮像範囲に収まるように配置されており、工具での作業時に作業対象(工具を用いて作業が行われる対象となる物又は場所等)を撮像する。
特許文献1においては、撮像部で生成された撮像画像は、工具がセットされた(つまり、工具が作業対象に対して作業が行えるように準備された)作業対象を特定するために用いられる。すなわち、特許文献1に記載の工具システムは、特定部を備えている。特定部は、撮像部で生成された撮像画像と、画像記憶部に記憶されている複数の基準画像とを比較し、撮像画像に映る実写作業対象を作業対象として特定する。さらに、特許文献1では、特定部で特定された作業対象が、作業手順における作業順番と一致しない場合、工具は駆動部の動作を停止させる等の処理を行う。
特開2018−108633号公報
しかしながら、工具は様々な姿勢(向き)で使用されるので、工具の姿勢によっては、工具に設けられた撮像部で得られる撮像画像を用いた処理(特許文献1では作業対象の特定)の信頼性又は精度が低下する場合がある。
本開示は上記事由に鑑みてなされており、撮像部で得られる撮像画像を用いた処理の信頼性又は精度の低下を抑制できる工具システム、工具管理方法及びプログラムを提供することを目的とする。
本開示の一態様に係る工具システムは、可搬型の工具と、撮像部と、姿勢検知部と、処理部と、を備える。前記工具は、動力源からの動力によって動作する駆動部を有する。前記撮像部は、前記工具に搭載され、撮像画像を生成する。前記姿勢検知部は、前記工具に搭載され、前記工具の姿勢を検知する。前記処理部は、前記撮像画像及び前記姿勢に基づく処理を実行する。
本開示の一態様に係る工具管理方法は、第1工程と、第2工程と、第3工程と、を有する。前記第1工程は、動力源からの動力によって動作する駆動部を有する可搬型の工具に搭載された撮像部から撮像画像を取得する工程である。前記第2工程は、前記工具に搭載された姿勢検知部から前記工具の姿勢に関する姿勢情報を取得する工程である。前記第3工程は、前記第1工程で取得した前記撮像画像、及び前記第2工程で取得した前記姿勢情報に基づく処理を実行する工程である。
本開示の一態様に係るプログラムは、前記工具管理方法を、1以上のプロセッサに実行させるためのプログラムである。
本開示によれば、撮像部で得られる撮像画像を用いた処理の信頼性又は精度の低下を抑制できる、という利点がある。
図1は、実施形態1に係る工具システムのブロック図である。 図2Aは、同上の工具システムの工具における一の方向からみた外観斜視図である。図2Bは、同上の工具システムの工具における他の方向からみた外観斜視図である。 図3は、同上の工具システムの登録モードにおける動作を示すシーケンス図である。 図4は、同上の工具システムの運用モードにおける動作を示すシーケンス図である。 図5は、同上の工具システムの工具の様々な姿勢を示す概略図である。 図6Aは、同上の工具システムの工具が第1の姿勢及び第3の姿勢のそれぞれにあるときに作業対象を撮像する様子を示す概略図である。図6Bは、図6Aのように撮像して得られる撮像画像を示す概略図である。 図7は、同上の工具システムにおける画像補正部による撮像画像の補正の様子を示す概念図である。 図8は、実施形態2に係る工具システムのブロック図である。
(実施形態1)
(1)概要
まず、本実施形態に係る工具システム1の概要について、図1を参照して説明する。
本実施形態に係る工具システム1は、可搬型の工具2を備えている。工具2は、例えば、モータ等を含む駆動部24を有している。駆動部24は、例えば、電池パック201等の動力源からの動力(電力等)によって動作する。この種の工具2としては、例えば、インパクトレンチ、ナットランナ、オイルパルスレンチ、ドライバ(インパクトドライバを含む)、ドリル又はドリルドライバ等、様々な種類の工具がある。ユーザにおいては、この種の工具2を用いることで、例えば、作業対象となるワーク(加工対象物)に対して、締結部品(例えば、ボルト又はナット等)を取り付けたり、ワークに穴あけ等の加工をしたりすることができる。
また、本実施形態に係る工具システム1は、撮像部5を更に備えている。撮像部5は、工具2に搭載されている。撮像部5は、撮像画像を生成する。撮像部5は、例えば、工具2の出力軸241(図2A参照)に取り付けられたソケット242(図2A参照)を撮像範囲(視野)に含んでいる。これにより、工具2での作業時には、作業対象を撮像し撮像部5にて撮像画像が得られる。
そのため、本実施形態に係る工具システム1では、例えば、撮像部5で得られた撮像画像に基づいて、作業対象を特定し、ユーザが工具2を用いて行う作業が作業手順に沿っているか否かを判断すること等が可能となる。他の例として、工具システム1では、撮像部5で得られた撮像画像に基づいて、作業対象に対して行った作業の良否判定、作業対象に応じたユーザへの作業指示の通知、又はログ(作業記録)として画像を残すこと等が可能となる。このように、工具2に搭載された撮像部5で得られる画像(撮像画像)を用いれば、例えば、工具2を用いたユーザの作業の支援又は管理等が実現可能となる。
ところで、本実施形態に係る工具システム1は、図1に示すように、工具2及び撮像部5に加えて、姿勢検知部26及び処理部34を備えている。すなわち、工具システム1は、可搬型の工具2と、撮像部5と、姿勢検知部26と、処理部34と、を備えている。工具2は、動力源からの動力によって動作する駆動部24を有する。撮像部5は、工具2に搭載され、撮像画像を生成する。姿勢検知部26は、工具2に搭載され、工具2の姿勢を検知する。処理部34は、撮像画像及び姿勢に基づく処理を実行する。
この構成によれば、処理部34は、工具2に搭載された撮像部5で生成された撮像画像に加えて、姿勢検知部26で検知された工具2の姿勢を考慮して、処理を実行する。そのため、工具システム1では、処理部34が撮像画像のみに基づいて処理を実行する場合に比較して、処理部34にて実行される処理の信頼性及び精度が向上する。例えば、撮像画像が対称性を有するような場合には、撮像画像のみからでは、作業対象の特定が困難となる場合がある。これに対して、工具2の姿勢が既知であれば、撮像画像が対称性を有するような場合でも、撮像画像から、作業対象を特定しやすくなる。したがって、撮像部5で得られる撮像画像を用いた処理の信頼性又は精度の低下を抑制できる、という利点がある。
(2)詳細な構成
以下、本実施形態に係る工具システム1の詳細な構成について、図1〜図2Bを参照して説明する。
(2.1)前提
本実施形態に係る工具システム1は、例えば、工場における製品の組立作業を行う組立ラインに用いられる。特に、本実施形態では一例として、工具システム1に含まれる工具2は、例えば、インパクトレンチ等の、締付部品(例えば、ボルト又はナット等)の締め付けに用いられる締付工具であると仮定する。より詳細には、本実施形態では、1つの製品に対して締付対象箇所が複数あり、ユーザが、1つの作業スペースにおいて、工具2を用いて、複数の締付対象箇所の各々に締付部品を取り付けるケースを想定する。
本開示でいう「締付対象箇所」は、ワーク(加工対象物)の一部であって、締付部品が取り付けられる部位である。例えば、締付部品がボルトであれば、締付部品が締め付けられるねじ孔、及びねじ孔の周辺の箇所が、締付対象箇所となる。すなわち、本実施形態では、1つのワークに、このような締付対象箇所となる部位が複数存在する。
また、本開示でいう「作業対象」は、工具2を用いて作業が行われる対象となる物又は部位(箇所)等を意味する。特に、作業対象のうち、工具2がセットされた状態の作業対象を「セット作業対象」ということもある。ここでいう「工具2がセットされた状態」は、工具2が作業対象に対して作業が行えるように準備された状態を意味し、工具2が作業対象に当たっている状態だけでなく、工具2を作業対象に当てようとしている状態も含む。つまり、工具2が作業対象にセットされた状態では、工具2が作業対象に当たっていてもよいし、離れていてもよい。本実施形態では一例として、1つのワークにおける複数の締付対象箇所の各々が、作業対象であることと仮定する。
また、本開示でいう「撮像画像」は、撮像部5で撮像される画像であって、静止画(静止画像)及び動画(動画像)を含む。さらに、「動画」は、コマ撮り等により得られる複数の静止画にて構成される画像を含む。撮像画像は、撮像部5から出力されたデータそのものでなくてもよい。例えば、撮像画像は、必要に応じて適宜データの圧縮、他のデータ形式への変換、又は撮像部5で撮影された画像から一部を切り出す加工、ピント調整、明度調整、若しくはコントラスト調整等の加工が施されていてもよい。本実施形態では一例として、撮像画像は、フルカラーの動画であることと仮定する。
また、本開示でいう「搭載」は、内蔵(分離できないように一体化されている態様を含む)及び外付け(カプラー等を用いて取外し可能に固定されている態様を含む)の両方の態様を含む。すなわち、工具2に搭載される撮像部5は、工具2に内蔵されていてもよいし、工具2に外付けされていてもよい。
また、本開示でいう「作業手順」は、工具2を用いた作業の手順を意味する。例えば、1ないし複数の作業対象に対する一連の作業を1つの作業工程とした場合、作業手順は、作業工程における1ないし複数の作業対象の作業順番を示している。より詳細には、1つの作業対象に対する作業の指示を「作業指示」とした場合、作業手順は、1つの作業工程における1ないし複数の作業指示を、その順番と共に示す情報である。言い換えれば、作業手順は、作業対象が、1ないし複数の作業工程のうちいずれの作業工程に対応し、かつ対応する作業工程における何番目の作業であるかを示している。本実施形態では一例として、1つのワークにおける複数の作業対象について、どの順番で作業を行うかを作業手順で規定することと仮定する。
(2.2)工具の構成
まず、本実施形態に係る工具システム1における工具2の構成について、図2A及び図2Bを参照して説明する。
すなわち、本実施形態に係る工具システム1は、上述したように可搬型の工具2を備えている。本実施形態では、工具2は、電気エネルギを用いて駆動部24を動作させる電動工具である。特に、本実施形態では、工具2がインパクトレンチである場合を想定する。このような工具2では、締付部品を作業対象に取り付ける締付作業が可能である。工具2は、駆動部24に加えて、インパクト機構25を更に有している。
ここで、工具2は、電池パック201を動力源として、電池パック201から供給される電力(電気エネルギ)で駆動部24を動作させる。本実施形態では、電池パック201は工具2の構成要素に含まれることとするが、電池パック201が工具2の構成要素に含まれることは必須ではなく、工具2の構成要素に電池パック201が含まれていなくてもよい。
また、工具2は、ボディ20を更に有している。ボディ20には、駆動部24及びインパクト機構25が収容されている。さらに、後述する工具システム1に含まれる、撮像部5、姿勢検知部26、制御部3、記憶部4及び通知部211についても、ボディ20に収容されている。すなわち、本実施形態では、工具システム1の構成要素である撮像部5、姿勢検知部26、制御部3、記憶部4及び通知部211は、工具2のボディ20に収容されることで工具2と一体化されている。
工具2のボディ20は、胴体部21と、グリップ部22と、装着部23と、を有している。胴体部21は、筒状(ここでは円筒状)に形成されている。グリップ部22は、胴体部21の周面の一部から、法線方向(胴体部21の径方向)に沿って突出する。装着部23は、電池パック201が取外し可能に装着される。本実施形態では、装着部23は、グリップ部22の先端部に設けられている。言い換えれば、胴体部21と装着部23との間が、グリップ部22にて連結されている。
胴体部21には、少なくとも駆動部24が収容されている。駆動部24は、モータを有している。駆動部24は、動力源である電池パック201からモータに供給される電力を動力として動作するように構成されている。胴体部21の軸方向における一端面からは、出力軸241が突出している。出力軸241は、駆動部24の動作に伴って、出力軸241の突出方向に沿った回転軸Ax1を中心に回転する。つまり、駆動部24は、出力軸241を駆動して回転軸Ax1周りで出力軸241を回転させる。言い換えれば、駆動部24が動作することによって、出力軸241にトルクが作用して出力軸241が回転する。
出力軸241には、締付部品(例えば、ボルト又はナット等)を回転させるための円筒状のソケット242が、取外し可能に取り付けられる。ソケット242は、出力軸241と共に出力軸241周りで回転する。出力軸241に取り付けられるソケット242のサイズは、ユーザによって締付部品のサイズに合わせて適宜選択される。このような構成により、駆動部24が動作すると、出力軸241が回転してソケット242が出力軸241と共に回転する。このとき、ソケット242が締付部品に嵌め合わされていれば、ソケット242と共に締付部品が回転し、締付部品を締め付ける又は緩めるといった作業が実現される。したがって、工具2は、駆動部24の動作により、締付部品を締め付ける又は緩めるといった作業を実現できる。
また、出力軸241には、ソケット242の代わりにソケットアンビルが取り付け可能である。ソケットアンビルについても、出力軸241に対して取外し可能に取り付けられる。この場合、ソケットアンビルを介してビット(例えば、ドライバビット又はドリルビット等)の装着が可能となる。
工具2は、上述したようにインパクト機構25を有している。インパクト機構25は、締付トルク(作業値)が所定レベルを超えると、出力軸241に回転方向の打撃力を加える。これにより、工具2は、締付部品に対して、より大きな締付トルクを与えることが可能となる。
グリップ部22は、ユーザが作業を行う際に握る部分である。グリップ部22には、トリガスイッチ221、及び正逆切替スイッチ222が設けられている。トリガスイッチ221は、駆動部24の動作のオン/オフを制御するためのスイッチであり、引込量に応じて出力軸241の回転数の調節が可能である。正逆切替スイッチ222は、出力軸241の回転方向を正転と逆転とで切り替えるスイッチである。
装着部23は、扁平な直方体状に形成されている。装着部23におけるグリップ部22とは反対側の一面には、電池パック201が取外し可能に装着される。
電池パック201は、直方体状に形成された樹脂製のケース202を有している。ケース202は、蓄電池(例えば、リチウムイオン電池)を収容している。電池パック201は、駆動部24、制御部3及び撮像部5等に電力を供給する。
また、装着部23には、操作パネル231が設けられている。操作パネル231は、例えば、複数の押ボタンスイッチ232、及び複数のLED(Light Emitting Diode)233を有している。操作パネル231では、工具2に関する種々の設定及び状態確認等を行うことができる。すなわち、ユーザは、例えば、操作パネル231の押ボタンスイッチ232を操作することにより、工具2の動作モードの変更、及び電池パック201の残容量の確認等を行うことができる。
さらに、装着部23には、発光部234が設けられている。発光部234は、例えば、LEDを含んでいる。発光部234は、工具2を用いた作業時において、作業対象に向けて光を照射する。発光部234のオン/オフは、操作パネル231の操作で行うことができる。また、発光部234は、トリガスイッチ221がオンした際に、自動的に点灯してもよい。
(2.3)工具システムの全体構成
次に、本実施形態に係る工具システム1の全体構成について、図1を参照して説明する。
工具システム1は、上述したように可搬型の工具2と、撮像部5と、姿勢検知部26と、制御部3(処理部34を含む)と、を備えている。また、本実施形態では、工具システム1は、工具2(電池パック201を含む)、撮像部5、姿勢検知部26及び制御部3に加えて、記憶部4及び通知部211を更に備えている。記憶部4及び通知部211は、工具システム1に必須の構成ではなく、記憶部4及び通知部211のうちの少なくとも一部は適宜省略可能である。
撮像部5、姿勢検知部26、制御部3、記憶部4及び通知部211は、工具2のボディ20に収容されている。本実施形態では一例として、撮像部5及び通知部211は、胴体部21に収容されている。姿勢検知部26、制御部3及び記憶部4は、グリップ部22又は装着部23に収容されている。
撮像部5は、工具2に搭載されており、撮像画像としてのデータを生成する。撮像部5は、例えば、撮像素子とレンズとを有するカメラである。本実施形態では、上述したように、撮像部5は、工具2のボディ20(胴体部21)に収容されることにより、工具2と一体化されるようにして、工具2に搭載されている。撮像部5は、工具2を用いた作業時に作業対象を撮像するように、出力軸241の先端側に向けて搭載されている。
具体的には、撮像部5は、出力軸241に取り付けられたソケット242が撮像範囲に収まるように、胴体部21の先端部に出力軸241の先端側(ソケット242)に向けて配置されている(図2A及び図2B参照)。撮像部5の光軸は、出力軸241の回転軸Ax1に沿って配置される。ここでは、撮像部5は、出力軸241の回転軸Ax1から所定距離内に光軸が位置し、かつ回転軸Ax1と光軸が略平行となるように配置されている。また、撮像部5は、制御部3の起動中に撮像を継続して行うように構成されており、時系列で連続する撮像画像、つまり動画を生成して制御部3の処理部34に出力する。
姿勢検知部26は、工具2に搭載されており、工具2の姿勢を検知する。姿勢検知部26は、例えば、加速度センサ及びジャイロセンサ等のセンサを含んでいる。本実施形態では、上述したように、姿勢検知部26は、工具2のボディ20(グリップ部22又は装着部23)に収容されることにより、工具2と一体化されるようにして、工具2に搭載されている。本実施形態では一例として、姿勢検知部26は、3軸の加速度センサ及び3軸のジャイロセンサを含んでいる。3軸の加速度センサは、互いに直交する3軸の各々について加速度を検知し、加速度に応じた電気信号を出力する。3軸のジャイロセンサは、互いに直交する3軸の各軸周りの角速度を検知し、角速度に応じた電気信号を出力する。
姿勢検知部26は、例えば、加速度センサの出力に基づいて、重力方向を検知し、重力方向を基準とした工具2の向き等を検知することができる。さらに、姿勢検知部26は、ジャイロセンサの出力に基づいて、工具2の回転を伴う移動時の角速度、又は角速度の積分結果から工具2の回転角度等を検知することができる。一例として、姿勢検知部26では、胴体部21からのグリップ部22の突出方向が下方(重力方向)となるような工具2の姿勢と、胴体部21からのグリップ部22の突出方向が上方となるような工具2の姿勢と、を区別して検知できる。姿勢検知部26は、センサ(加速度センサ及びジャイロセンサ)の出力に基づいて、工具2の姿勢を検知し、検知結果を、工具2の姿勢に関する姿勢情報として制御部3の画像補正部33に随時出力する。
通知部211は、例えば、LEDで構成されている。通知部211は、ユーザが作業中に通知部211を目視しやすいように、ボディ20の胴体部21における出力軸241とは反対側の端部に設けられている(図2B参照)。
制御部3は、例えば、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを主構成として備えている。マイクロコントローラは、1以上のメモリに記録されているプログラムを1以上のプロセッサで実行することにより、制御部3としての機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、1以上のプロセッサを、制御部3として機能させるためのプログラムである。
制御部3は、駆動制御部31、撮像制御部32、画像補正部33、処理部34、通知制御部35、判定部36及び登録部37等の機能を有している。制御部3は、一定時間の間、トリガスイッチ221又は操作パネル231への操作入力が行われなかった場合、スリープ状態となる。制御部3は、スリープ状態中にトリガスイッチ221又は操作パネル231への操作入力が行われると起動する。
駆動制御部31は、駆動部24を制御する。具体的には、駆動制御部31は、トリガスイッチ221の引込量に基づいた回転速度で、かつ正逆切替スイッチ222によって設定された回転方向に、出力軸241を回転させるよう駆動部24を動作させる。
また、駆動制御部31は、締付トルクがトルク設定値(作業用設定値)となるように駆動部24を制御する。ここで、駆動制御部31は、締付トルクの大きさを推定するトルク推定機能を有している。本実施形態では一例として、駆動制御部31は、締付トルクの推定値が着座判定レベルに達するまでは、駆動部24(モータ)の回転数等に基づいて締付トルクの大きさを推定する。駆動制御部31は、締付トルクの推定値が着座判定レベルに達すると、インパクト機構25の打撃数に基づいて締付トルクの大きさを推定する。駆動制御部31は、インパクト機構25の打撃数が、トルク設定値に基づいた閾値回数に達すると、締付トルクがトルク設定値に達したと判断して駆動部24(モータ)を停止させる。これにより、工具2は、トルク設定値通りの締め付けトルクで、締付部品を締め付けることができる。「トルク設定値」について詳しくは後述する。
撮像制御部32は、撮像部5を制御する。撮像制御部32は、少なくとも工具2を用いた作業時に作業対象を撮像するように、撮像部5を制御する。これにより、撮像制御部32は、少なくとも工具2を用いた作業時に、撮像部5に作業対象を生成させる。
画像補正部33は、工具2の姿勢に応じて撮像画像を補正する。工具2の姿勢は、姿勢検知部26で検知されて、工具2の姿勢に関する姿勢情報が画像補正部33に随時入力される。つまり、画像補正部33は、工具2に搭載された撮像部5で生成された撮像画像を、この撮像画像が撮像されたときの工具2の姿勢に応じて、補正する機能を有している。ここで、画像補正部33は、画像処理により、撮像画像の種々の補正を実行する。
本実施形態では一例として、画像補正部33は、姿勢に応じて少なくとも撮像画像の回転補正を行う。つまり、画像補正部33では、撮像画像を任意の角度だけ回転させることにより、撮像画像を補正(回転補正)することが可能である。例えば、画像補正部33は、撮像画像を180度回転させることにより、上下が反転した撮像画像を得ることができる。また、本実施形態では一例として、画像補正部33は、姿勢に応じて少なくとも撮像画像の歪み補正を行う。つまり、画像補正部33では、撮像画像を部分的に任意の量だけ伸縮させることにより、撮像画像を補正(歪み補正)することが可能である。例えば、画像補正部33は、長方形の被写体が台形のように映った撮像画像について歪み補正を施すことにより、被写体が長方形に映った撮像画像を得ることができる。画像補正部33は、これらの種々の補正を、姿勢検知部26で検知された姿勢に応じて使い分ける。画像補正部33は、回転補正と歪み補正とを適宜組み合わせて実行する。
処理部34は、撮像画像及び姿勢に基づく処理を実行する。処理部34は、基本的には撮像画像に基づいて、所定の処理を実行する。そして、本実施形態では、処理部34は、姿勢検知部26で検知された工具2の姿勢を更に加味して、所定の処理を実行する。これにより、処理部34が実行する処理には、撮像画像と工具2の姿勢との両方が反映されることになる。
ここでは、処理部34は、画像補正部33で補正された撮像画像を用いて処理を実行する。つまり、処理部34は、撮像部5で生成され、工具2の姿勢に応じて補正された撮像画像に基づいて所定の処理を行う。このように、工具2の姿勢に応じて補正された撮像画像を用いて処理を実行することで、結果的に、処理部34は、撮像画像及び姿勢の両方に基づく処理を実行することになる。
本実施形態では一例として、処理部34は、複数の作業対象のうち、撮像画像に実際に映っている作業対象(以下、実写作業対象ともいう)をセット作業対象として特定する処理を行う。つまり、処理部34は、工具2がセットされた状態の作業対象(セット作業対象)を特定する機能を有する。具体的には、処理部34は、撮像画像に対して、複数の作業対象に対応する複数の基準画像をテンプレートデータとしたパターンマッチング処理を行い、実写作業対象を特定する。つまり、処理部34は、撮像画像と、複数の作業対象に対応する複数の基準画像とを比較することによって、撮像画像に映り込んでいる作業対象を特定する。このようにして特定された作業対象を、処理部34は、セット作業対象と認定する。
処理部34は、例えば、撮像部5から出力される動画形式のデータ(撮像画像)に対して、フレーム単位で画像処理(パターンマッチング処理)を行い、作業対象を特定する。したがって、撮像部5の撮像範囲に作業対象が収まっている場合、処理部34は、撮像部5が撮像中の作業対象(実写作業対象)が、複数の作業対象のうちいずれの作業対象であるかを特定することができる。複数の基準画像は、記憶部4(画像記憶部41)に記憶されている。
さらに、処理部34は、特定された作業対象が、作業手順で規定される作業指示に対応しない場合に、駆動部24の動作の制限と通知との少なくとも一方を実行する。要するに、処理部34は、処理部34で特定された作業対象(実写作業対象)が、予め設定された作業手順で規定されている作業指示に対応する否かを判定する。つまり、処理部34で特定された作業対象が、作業手順に含まれる作業指示が指示する作業の対象となる作業対象と、一致するか否かを処理部34は判定する。
具体的には、処理部34は、実写作業対象に対応する作業手順のデータを、記憶部4の手順記憶部44から抽出する。そして、処理部34は、手順記憶部44から抽出した作業手順で規定される現在の作業指示の対象となる作業対象と、実写作業対象として特定される作業対象とが一致しているか否かを判定する。両者が一致すれば、処理部34は、特定された作業対象が、作業手順で規定される作業指示に対応すると判定する。両者が一致しなければ、処理部34は、特定された作業対象が、作業手順で規定される作業指示に対応しないと判定する。
そして、上述したような判定の結果、作業対象が作業手順で規定される作業指示に対応しないと判定した場合には、処理部34は、駆動部24の動作の制限と通知との少なくとも一方を実行する。本開示でいう「通知」には、ユーザへの通知だけでなく外部端末(例えば、携帯端末等)への通知等を含む。
具体的には、処理部34は、作業対象が作業手順で規定される作業指示に対応しないと判定した場合、トリガスイッチ221が引かれても駆動部24を動作させない。つまり、作業対象が作業手順で規定される作業指示に対応すると処理部34で判定された場合にのみ、駆動部24の動作が許可される。したがって、作業手順から外れた作業対象に工具2がセットされたとしても、駆動部24が停止したままとなるので、締付作業が不可となる。これにより、誤った作業順序で作業が行われることを抑制することができる。処理部34は、作業対象が作業手順で規定される作業指示に対応しないと判定した場合、トリガスイッチ221がロックされて引けなくなるようにしてもよい。
また、処理部34は、作業対象が作業手順で規定される作業指示に対応しないと判定した場合、通知制御部35にて通知部211を動作させる。これにより、通知部211は、ユーザに対して、作業手順から外れた作業対象に工具2がセットされていることを通知するユーザ通知部として機能する。
要するに、処理部34は、撮像画像及び姿勢に基づく所定の処理として、少なくとも作業対象を特定する対象特定処理を実行する。つまり、処理部34は、少なくとも作業対象の特定を(所定の)処理として実行する。さらに、処理部34は、撮像画像及び姿勢に基づく所定の処理として、特定された作業対象を作業手順で規定される作業指示と比較し、両者の対応関係を判定する手順判定処理を実行する。つまり、処理部34は、特定された作業対象と、作業手順で規定される作業指示との対応関係の判定を(所定の)処理として実行する。さらには、手順判定処理の結果、作業対象が作業指示に対応しない場合には、処理部34は、駆動部24の動作の制限及び/又は通知を実行する。
通知制御部35は、工具2に設けられた通知部211を制御する。通知制御部35は、処理部34の判定結果が不一致である(つまり作業対象が作業手順で規定される作業指示に対応しないと判定された)場合と、処理部34が実写作業対象を特定した場合とで、通知部211を異なる態様で点灯させることが好ましい。例えば、通知制御部35は、処理部34の判定結果が不一致である場合、通知部211を赤色で点灯させ、処理部34が実写作業対象を特定した場合、通知部211を緑色で点灯させる。これにより、ユーザは、通知部211の点灯状態を目視することによって、作業手順から外れているか否かを認識することができる。通知制御部35は、処理部34の判定結果が不一致である状態で、トリガスイッチ221を引かれた場合に、通知部211を点灯させてもよい。
判定部36は、締付部品が締付対象箇所に取り付けられた際の締付トルクが正常であるか否かを判定するように構成されている。ここで、判定部36は、作業手順で規定される作業指示に基づいて、締付トルクが正常であるか否かの判定を行うことが好ましい。具体的には、作業手順で規定される作業指示が、作業対象に対応する目標トルク値を含んでいる。これにより、判定部36は、作業指示に含まれる目標トルク値と、締付トルクと、を比較することで、作業指示に従った締付トルクで作業がされているかを判定できる。
判定部36は、例えば、インパクト機構25の打撃数が閾値回数に達することによって駆動制御部31が駆動部24を停止させた場合、締付トルクが正常であると判定する。また、判定部36は、インパクト機構25の打撃数が閾値回数に達する前に、例えばトリガスイッチ221がオフされることによって駆動制御部31が駆動部24を停止させた場合、締付トルクが不十分(正常ではない)と判定する。また、判定部36は、判定結果を、締付対象箇所と対応付けて結果記憶部43に記憶させる結果記憶処理を行う。
ここで、本実施形態の工具2は、動作モードとして、少なくとも運用モードと登録モードとを有している。運用モードは、ユーザが工具2を用いて作業を行う際の動作モードである。登録モードは、画像記憶部41に複数の基準画像を記憶させ、トルク記憶部42に複数の目標トルク値を記憶させる際の動作モードである。動作モードの切り替えは、例えば、操作パネル231に対する操作により行うことができる。動作モードの切り替えは、操作パネル231とは別の、例えばディップスイッチ等により行われてもよい。
登録部37は、工具2の動作モードが登録モードである場合、複数の基準画像を記憶部4の画像記憶部41に記憶させる画像登録処理と、複数の目標トルク値を記憶部4のトルク記憶部42に記憶させるトルク登録処理と、を行う。
登録部37は、トルク登録処理において、締付部品が作業対象に取り付けられた際のトルク設定値を目標トルク値としてトルク記憶部42に記憶させる。具体的には、工具2の動作モードが登録モードである場合、ユーザが操作パネル231を操作してトルク値を任意に入力することができ、駆動制御部31は、入力されたトルク値をトルク設定値に設定する。登録部37は、締付部品が作業対象に取り付けられると、このときに設定されていたトルク設定値を目標トルク値としてトルク記憶部42に記憶させる。
また、登録部37は、画像登録処理において、例えば、撮像部5が作業対象を撮像して生成した静止画像を基準画像として画像記憶部41に記憶させる。具体的には、工具2の動作モードが登録モードである場合、トリガスイッチ221がシャッターボタンとしても機能し、トリガスイッチ221がオンすると撮像部5が静止画像を生成する。登録部37は、この静止画像を基準画像として画像記憶部41に記憶させる。
つまり、本実施形態では、工具2の動作モードが登録モードである場合、トリガスイッチ221が、駆動部24を動作させるためのスイッチとしての機能と、基準画像を生成するためのシャッターボタンとしての機能とを兼ね備える。したがって、工具2の動作モードが登録モードの状態で締付作業を行うことで、登録部37は、トルク登録処理と画像登録処理とが並行して行われる。具体的には、登録部37は、締付作業時のトルク設定値を目標トルク値としてトルク記憶部42に記憶し、かつ、締付作業時における作業対象の静止画像を基準画像として画像記憶部41に記憶する。
記憶部4は、例えば、半導体メモリで構成されており、画像記憶部41、トルク記憶部42(目標値記憶部)、結果記憶部43及び手順記憶部44の機能を有する。画像記憶部41とトルク記憶部42と結果記憶部43と手順記憶部44とは、本実施形態では1つのメモリで構成されているが、複数のメモリで構成されていてもよい。また、記憶部4は、工具2に対して取外し可能に装着されるメモリカード等の記録媒体であってもよい。
画像記憶部41は、複数の基準画像を複数の作業対象と対応付けて記憶している。基準画像は、対応する作業対象を映した静止画像である。1つの作業対象に対して、この作業対象を様々な角度又は大きさで写した複数の基準画像が対応付けられていてもよい。
トルク記憶部42は、複数の目標トルク値(目標値)を、複数の作業対象と一対一に対応付けて記憶している。目標トルク値とは、対応する作業対象に締付部品を取り付ける際における締付トルクの目標値である。
結果記憶部43は、複数の作業対象と、判定部36による複数の締付対象箇所における判定結果とを対応付けて記憶している。また、結果記憶部43は、判定部36の判定結果に作業時刻を示すタイムスタンプを付加して記憶することが好ましい。これにより、組立ラインにおいて製品ごとに作業対象の判定結果を区別することが可能となる。
手順記憶部44には、1ないし複数の作業手順のデータが記憶されている。作業手順は、上述したように、工具2を用いた作業の手順を意味し、一例として、1つのワークにおける複数の作業対象について、どの順番で作業を行うかを規定するデータである。
(3)動作
以下、本実施形態に係る工具システム1の動作について、図3〜図7を参照して説明する。
ここでは、組立ラインにおいて、ユーザが同一品種の2つの製品(第1の製品、第2の製品)の組立作業を行う際の工具システム1の動作を例として説明する。各製品には、4つの作業対象(第1〜第4の作業対象)があり、ユーザは、工具2を使用して各作業対象に締付部品を取り付ける作業を行うこととする。
(3.1)登録モード
まず、第1の製品の組立作業を行う際の工具システム1の動作例について、図3を参照して説明する。ここでは、工具2は、登録部37による画像登録処理及びトルク登録処理が行われていない初期状態にあることと仮定する。つまり、初期状態にある工具2においては、画像記憶部41及びトルク記憶部42に、それぞれ、第1〜第4の作業対象に対応する第1〜第4の基準画像、及び第1〜第4の目標トルク値が記憶されていない。
ユーザは、工具2の動作モードを登録モードに設定する(S1)。ユーザは、操作パネル231を操作して第1の作業対象に締付部品を取り付ける際における締付トルクのトルク値を入力する(S2)。駆動制御部31は、入力されたトルク値を、第1の作業対象についてのトルク設定値に設定する。そして、ユーザは、トリガスイッチ221を引いて第1の作業対象に締付部品を取り付ける締付作業を行う(S3)。このとき、第1の作業対象が撮影され、第1の作業対象の静止画像が生成される。
登録部37は、締付作業が完了すると、登録処理(画像登録処理及びトルク登録処理)を行う(S4)。具体的には、登録部37は、ステップS3の締付作業時に生成された第1の作業対象の静止画像を、第1の作業対象に対応する第1の基準画像として画像記憶部41に記憶させる画像登録処理を行う。また、登録部37は、ステップS3の締付作業時において、締付部品が第1の作業対象に取り付けられた際におけるトルク設定値を、第1の作業対象に対応する第1の目標トルク値としてトルク記憶部42に記憶させるトルク登録処理を行う。つまり、第1の目標トルク値は、第1の基準画像に対応する。
特に、本実施形態では、処理部34が手順判定処理を実行するので、登録処理において、目標トルク値は作業指示に含めて登録される。言い換えれば、登録処理では、作業手順が登録される。ここでは、第1の作業対象に対する作業を指示する作業指示が、作業手順における1番目の作業指示となるように、登録部37にて作業手順の登録が行われる。具体的には、登録部37は、作業手順において作業順番が「1番目」となる作業として、第1の作業対象に対する作業を指示する作業指示を登録し、この作業指示には第1の目標トルク値が含まれる。
判定部36は、締付部品が第1の作業対象に取り付けられた際における締付トルクが正常であるか否かの第1の判定結果を、第1の作業対象に対応付けて結果記憶部43に記憶させる結果記憶処理を行う(S5)。
また、ユーザは、第1の作業対象と同様の作業手順で、第2〜第4の作業対象それぞれの締付作業を順に行う。具体的には、ユーザは、操作パネル231を操作して第2の作業対象に締付部品を取り付ける際における締付トルクのトルク値を入力し(S6)、第2の作業対象に締付部品を取り付ける締付作業を行う(S7)。このとき、第2の作業対象の静止画像が生成され、登録部37が、登録処理(画像登録処理及びトルク登録処理)を行う(S8)。登録部37は、作業手順において作業順番が「2番目」となる作業として、第2の作業対象に対する作業を指示する作業指示を登録し、この作業指示には第2の目標トルク値が含まれる。判定部36は、ステップS7の締付作業における締付トルクが正常であるか否かの第2の判定結果を結果記憶部43に記憶させる結果記憶処理を行う(S9)。
ユーザは、第2の作業対象の締付作業が完了すると、第3の作業対象の締付作業を行う。ユーザは、操作パネル231を操作して第3の作業対象に締付部品を取り付ける際における締付トルクのトルク値を入力し(S10)、第3の作業対象に締付部品を取り付ける締付作業を行う(S11)。このとき、第3の作業対象の静止画像が生成され、登録部37が、登録処理(画像登録処理及びトルク登録処理)を行う(S12)。登録部37は、作業手順において作業順番が「3番目」となる作業として、第3の作業対象に対する作業を指示する作業指示を登録し、この作業指示には第3の目標トルク値が含まれる。判定部36は、ステップS11の締付作業における締付トルクが正常であるか否かの第3の判定結果を結果記憶部43に記憶させる結果記憶処理を行う(S13)。
図3では図示を省略するが、ユーザは、第3の作業対象の締付作業が完了すると、第4の作業対象の締付作業を行い、第4の作業対象についてもステップS10〜S13と同様の処理が実行される。すなわち、登録部37は、作業手順において作業順番が「4番目」となる作業として、第4の作業対象に対する作業を指示する作業指示を登録し、この作業指示には第4の目標トルク値が含まれる。
(3.2)運用モード
ユーザは、登録モードにおいて第1の製品の組立作業(第1〜第4の作業対象の締付作業)が完了すると、第2の製品の組立作業を行う。ユーザが第2の製品の組立作業を行う際の工具システム1の動作例について、図4を参照して説明する。
ユーザは、操作パネル231を操作して、工具2の動作モードを登録モードから運用モードに切り替える(S21)。そして、ユーザは、工具2の動作モードを運用モードに設定した状態で第2の製品の組立作業を行う。
ユーザは、まず第1の作業対象に締付部品を取付けるべく、工具2を第1の作業対象にセットする。このとき、撮像部5では、第2の製品の第1の作業対象の撮像画像が生成される。画像補正部33は、撮像部5で得られた第1の作業対象の撮像画像を、姿勢検知部26で検知された工具2の姿勢に応じて補正する(S22)。画像補正部33での撮像画像の補正について詳しくは「(3.3)画像補正」の欄で説明する。
処理部34は、画像補正部33で補正された撮像画像を用いて、第1の作業対象を実写作業対象として特定する対象特定処理を実行する(S23)。さらに、処理部34は、特定された第1の作業対象と、作業手順で規定される作業指示との対応関係を判定する手順判定処理を実行する(S24)。つまり、処理部34は、撮像部5で生成され、工具2の姿勢に応じて補正された撮像画像に基づいて所定の処理(対象特定処理及び手順判定処理)を行う。このように、工具2の姿勢に応じて補正された撮像画像を用いて処理を実行することで、結果的に、処理部34は、撮像画像及び姿勢の両方に基づく処理を実行することになる。
手順判定処理では、処理部34は、特定された作業対象が作業手順で規定される作業指示に対応するか否か、つまり作業対象が作業手順に一致するか否かを判定する。このとき、処理部34は、手順記憶部44から読み出した作業手順における次の作業指示と、特定した実写作業対象とを対比する。ここでは、作業手順における次の作業指示、つまり作業順番が「1番目」である作業指示は、第1の作業対象に対する作業であるので、処理部34では、特定した作業対象と、作業指示に含まれる作業対象とがいずれも第1の作業対象で一致する。
手順判定処理の判定結果が一致である場合、つまり特定された作業対象が作業手順で規定される作業指示に対応する場合、処理部34は、この作業指示に含まれる目標トルク値をトルク設定値に設定する。つまり、特定された作業対象が第1の作業対象であれば、処理部34は、第1の作業対象に対応する第1の目標トルク値をトルク設定値に設定する(S25)。
より詳細には、処理部34は、実写作業対象を特定した場合、実写作業対象に対応する目標トルク値をトルク記憶部42から取得する。そして、処理部34は、取得した目標トルク値をトルク設定値に設定する。また、処理部34は、実写作業対象を一旦特定すると、撮像画像に他の作業対象が映るまで、実写作業対象に対応した目標トルク値をトルク設定値として保持する。したがって、例えば、締付作業の直前に処理部34が実写作業対象の特定ができなくなった場合でも、この実写作業対象に対応する目標トルク値で締付部品の締め付けを行うことができる。
この状態で、ユーザは、第1の作業対象に締付部品を取り付ける締付作業を行う(S26)。判定部36は、締付部品が第1の作業対象に取り付けられた際における締付トルクが正常であるか否かの第1の判定結果を、第1の作業対象に対応付けて結果記憶部43に記憶させる結果記憶処理を行う(S27)。
一方で、ユーザが作業手順を誤った場合等には、手順判定処理の判定結果が不一致となる、つまり特定された作業対象が作業手順で規定される作業指示に対応しないことがある。手順判定処理の判定結果が不一致であれば、駆動部24の動作が制限(停止)され、通知部211が点灯する。これにより、ユーザは、作業順序が誤りであることに気付くことができる。
また、ユーザは、第1の作業対象と同様の作業手順で、第2〜第4の作業対象それぞれの締付作業を順に行う。具体的には、ユーザは、第2の作業対象に締付部品を取付けるべく、工具2を第2の作業対象にセットする。これにより、画像補正部33は、撮像部5で得られた第2の作業対象の撮像画像を、姿勢検知部26で検知された工具2の姿勢に応じて補正する(S28)。そして、処理部34は、画像補正部33で補正された撮像画像を用いて、第2の作業対象を実写作業対象として特定する対象特定処理を実行する(S29)。さらに、処理部34は、特定された第2の作業対象と、作業手順で規定される作業指示との対応関係を判定する手順判定処理を実行する(S30)。このとき、作業手順における次の作業指示、つまり作業順番が「2番目」である作業指示は、第2の作業対象に対する作業であるので、処理部34では、特定した作業対象と、作業指示に含まれる作業対象とがいずれも第2の作業対象で一致する。
そのため、処理部34は、第2の作業対象に対応する第2の目標トルク値をトルク設定値に設定する(S31)。この状態で、ユーザは、第2の作業対象に締付部品を取り付ける締付作業を行う(S32)。判定部36は、締付部品が第2の作業対象に取り付けられた際における締付トルクが正常であるか否かの第2の判定結果を、第2の作業対象に対応付けて結果記憶部43に記憶させる結果記憶処理を行う(S33)。
ユーザは、第2の作業対象の締付作業が完了すると、第3の作業対象の締付作業を行う。つまり、ユーザは、第3の作業対象に締付部品を取付けるべく、工具2を第3の作業対象にセットする。これにより、画像補正部33は、撮像部5で得られた第3の作業対象の撮像画像を、姿勢検知部26で検知された工具2の姿勢に応じて補正する(S34)。そして、処理部34は、画像補正部33で補正された撮像画像を用いて、第3の作業対象を実写作業対象として特定する対象特定処理を実行する(S35)。さらに、処理部34は、特定された第3の作業対象と、作業手順で規定される作業指示との対応関係を判定する手順判定処理を実行する(S36)。このとき、作業手順における次の作業指示、つまり作業順番が「3番目」である作業指示は、第3の作業対象に対する作業であるので、処理部34では、特定した作業対象と、作業指示に含まれる作業対象とがいずれも第3の作業対象で一致する。
そのため、処理部34は、第3の作業対象に対応する第3の目標トルク値をトルク設定値に設定する(S37)。この状態で、ユーザは、第3の作業対象に締付部品を取り付ける締付作業を行う(S38)。判定部36は、締付部品が第3の作業対象に取り付けられた際における締付トルクが正常であるか否かの第3の判定結果を、第3の作業対象に対応付けて結果記憶部43に記憶させる結果記憶処理を行う(S39)。
図4では図示を省略するが、ユーザは、第3の作業対象の締付作業が完了すると、第4の作業対象の締付作業を行い、第4の作業対象についてもステップS34〜S39と同様の処理が実行される。すなわち、処理部34では、工具2の姿勢に応じて補正された第4の作業対象の撮像画像を用いて、第4の作業対象を実写作業対象として特定し、特定された第4の作業対象と、作業手順で規定される作業指示との対応関係を判定する。そして、処理部34は、第4の作業対象に対応する第4の目標トルク値をトルク設定値に設定する。
(3.3)画像補正
次に、画像補正部33での撮像画像の補正について、図5〜図7を参照して説明する。
本実施形態では、上述したように、画像補正部33は、姿勢検知部26で検知される工具2の姿勢に応じて、撮像画像を補正する。
本実施形態において、姿勢検知部26で検知される工具2の姿勢は、図5に示すように、少なくとも第1〜第4の姿勢P1〜P4を含むこととする。第1〜第4の姿勢P1〜P4は、いずれも鉛直面を作業対象とする状態、つまり、出力軸241の回転軸Ax1が水平面に沿った状態で、正面視において、回転軸Ax1を中心に工具2のボディ20を90度ずつ回転させた各位置の姿勢である。
図5は、各姿勢での工具2の外観を模式的に示す概略図である。第1の姿勢P1は、図5に実線で示すように、胴体部21からのグリップ部22の突出方向が下方(重力方向)となるときの姿勢である。第2の姿勢P2は、図5に想像線(二点鎖線)で示すように、胴体部21からのグリップ部22の突出方向が右方(水平方向)となるときの姿勢である。第3の姿勢P3は、図5に想像線(二点鎖線)で示すように、胴体部21からのグリップ部22の突出方向が上方となるときの姿勢である。第4の姿勢P4は、図5に想像線(二点鎖線)で示すように、胴体部21からのグリップ部22の突出方向が左方(水平方向)となるときの姿勢である。
このような様々な姿勢を工具2がとり得るとすれば、例えば、撮像画像が対称性を有するような場合に、撮像画像のみからでは、作業対象の特定が困難となることがある。一例として、図6Aに示すように、鉛直面に沿った円形状のワークW1に第1〜第4の作業対象T1〜T4が存在する場合を想定する。これら複数の作業対象T1〜T4は、円の周方向において等間隔で配置されている。このようなケースにおいては、撮像画像のみからでは、作業対象の特定は困難である。例えば、グリップ部22が胴体部21から下方に突出する第1の姿勢P1で第1の作業対象T1を撮像した撮像画像Im1は、グリップ部22が胴体部21から上方に突出する第3の姿勢P3で第3の作業対象T3を撮像した撮像画像Im1と同一になる。要するに、図6Aのように、工具2が第1の姿勢P1及び第3の姿勢P3のそれぞれで、第1の作業対象T1及び第3の作業対象T3を撮像した場合、撮像画像Im1はいずれも図6Bのようになる。そのため、工具2の姿勢が不明であると、撮像画像Im1からでは、上述したような「第1の作業対象T1」と「第3の作業対象T3」とを区別することは困難である。
これに対して、本実施形態では、工具2の姿勢が姿勢検知部26で検知されているので、上述したようなケースにおいても、作業対象の特定が可能である。つまり、図6Bに示すような撮像画像Im1が得られた場合において、工具2が第1の姿勢P1にあれば、撮像画像に映る作業対象は「第1の作業対象T1」である。一方、図6Bに示すような撮像画像Im1が得られた場合において、工具2が第3の姿勢P3にあれば、撮像画像に映る作業対象は「第3の作業対象T3」である。このように、工具2の姿勢を考慮することによって、撮像画像から、上述したような「第1の作業対象T1」と「第3の作業対象T3」とを区別することが可能となる。
そこで、本実施形態では、図7に示すように、画像補正部33は、姿勢検知部26で検知される工具2の姿勢に応じて、例えば、回転補正によって撮像画像を補正する。具体的には、図7に例示するように、姿勢検知部26で検知される工具2の姿勢が第1の姿勢P1であれば、画像補正部33は、撮像画像Im1を回転させることなく、補正後の撮像画像Im11を生成する。一方、姿勢検知部26で検知される工具2の姿勢が第3の姿勢P3であれば、画像補正部33は、撮像画像Im1を180度回転させることで、補正後の撮像画像Im13を生成する。このように、工具2の姿勢に応じて補正された撮像画像Im11,Im13からでは、撮像画像に映る作業対象を区別することが可能である。
さらに、工具2の姿勢が、図5の例ほど大きく変わらないまでも、工具2の微妙な傾きによっても、撮像部5で生成される撮像画像には微妙な違いが生じることがある。画像補正部33が、姿勢検知部26で検知される工具2の姿勢に応じて、撮像画像を補正することで、このような撮像画像の微妙な違いも低減することが可能である。例えば、同じように第1の姿勢P1で工具2を使用する場合でも、工具2を使用するユーザが、右利きか左利きかによって、作業対象の正面方向に対して工具2が右側又は左側に傾くことで、撮像画像に微妙な違いが生じることがある。つまり、工具2を右手で持つ右利きのユーザである場合に比べて、工具2を左手で持つ左利きのユーザである場合には、撮像画像は、作業対象をややななめ左側から捉えた画像となりやすい。このような場合であっても、画像補正部33が、姿勢検知部26で検知される工具2の姿勢に応じて、撮像画像を補正することで、右利きのユーザでも左利きのユーザでも、同様の撮像画像に補正することが可能である。
(4)変形例
実施形態1は、本開示の様々な実施形態の一つに過ぎない。実施形態1は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。本開示において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。また、実施形態1に係る工具システム1と同等の機能は、工具管理方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。一態様に係る工具管理方法は、第1工程と、第2工程と、第3工程と、を有している。第1工程は、可搬型の工具2に搭載された撮像部5から撮像画像を取得する工程である。工具2は、動力源からの動力によって動作する駆動部24を有している。第2工程は、姿勢検知部26から工具2の姿勢に関する姿勢情報を取得する工程である。姿勢検知部26は、工具2に搭載されている。第3工程は、第1工程で取得した撮像画像Im1、及び第2工程で取得した姿勢情報に基づく処理(図4のS23,S24,S29,S30,S35,S36参照)を実行する工程である。一態様に係るプログラムは、上記工具管理方法を、1以上のプロセッサに実行させるためのプログラムである。
以下、実施形態1の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。以下、実施形態1と同様の構成については、共通の符号を付して適宜説明を省略する。
本開示における工具システム1は、制御部3等にコンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における工具システム1としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
また、工具システム1の少なくとも一部の機能が、1つの筐体(ボディ20)内に集約されていることは工具システム1に必須の構成ではなく、工具システム1の構成要素は、複数の筐体に分散して設けられていてもよい。例えば、制御部3の一部の機能が、工具2のボディ20とは別の筐体に設けられていてもよい。また、制御部3等の少なくとも一部の機能は、例えば、サーバ又はクラウド(クラウドコンピューティング)等によって実現されてもよい。
工具システム1の使用用途は、工場における製品の組立作業を行う組立ラインに限らず、他の使用用途であってもよい。
また、実施形態1では、工具2がインパクトレンチである場合を説明したが、工具2はインパクトレンチに限らず、例えば、ナットランナ又はオイルパルスレンチ等であってもよい。さらに、工具2は、例えば、ねじ(締付部品)の締付作業に用いられるドライバ(インパクトドライバを含む)であってもよい。この場合、ソケット242の代わりに、ビット(例えばドライバビット等)が工具2に取り付けられる。さらに、工具2は、電池パック201を動力源とする構成に限らず、交流電源(商用電源)を動力源とする構成であってもよい。また、工具2は、電動工具に限らず、動力源としてのエアコンプレッサから供給される圧縮空気(動力)で動作するエアモータ(駆動部)を有するエア工具であってもよい。
また、実施形態1では、1つのワークにおける複数の締付対象箇所の各々が、作業対象である場合を例に説明したが、これに限らない。例えば、作業対象は、複数の締付対象箇所を有するモジュール、部品又は製品等であってもよい。この場合、1つの作業対象における複数の締付箇所に対応する目標トルク値は、互いに同じ値であってもよいし、互いに異なる値であってもよい。
また、処理部34は、撮像画像及び工具の姿勢に基づく処理を実行すればよく、実施形態1のように、作業対象の特定を処理として実行する構成に限らない。処理部34は、例えば、画像をログとして出力(メモリへの書込み等を含む)する処理を実行してもよく、この場合、画像補正部33で補正された撮像画像をログとして出力することになる。これにより、処理部34では、ユーザによる確認、又はコンピュータによる解析等に適した画像を、ログとして出力することができる。
また、処理部34は、例えば、ユーザに対する作業を指示する処理を実行してもよく、この場合、画像補正部33で補正された撮像画像に基づいて作業を指示することになる。これにより、処理部34による作業指示の信頼性の向上を図ることができる。さらにまた、処理部34は、例えば、作業に対する良否を判定する処理を実行してもよく、この場合、画像補正部33で補正された撮像画像に基づいて作業の良否を判定することになる。これにより、処理部34による作業の良否の判定の精度の向上を図ることができる。
また、実施形態1では、姿勢検知部26は、加速度センサ及びジャイロセンサを含んでいるが、この構成に限らず、姿勢検知部26は、加速度センサ又はジャイロセンサの一方のみを含んでいてもよい。また、加速度センサ又はジャイロセンサは、3軸のセンサに限らず、1軸又は2軸の加速度又は角速度を検知するセンサであってもよい。さらに、姿勢検知部26は、加速度センサ及びジャイロセンサに代えて又は加えて、加速度及び角速度以外の物理量を検知するセンサを含んでもよいし、撮像部5で生成される撮像画像を姿勢の検知に利用してもよい。また、姿勢検知部26は、GPS(Global Positioning System)等の衛星測位システムを利用してもよい。
また、工具2は、締付トルクを測定するトルクセンサを備えていてもよい。この場合、駆動制御部31は、トルクセンサが測定した締付トルクがトルク設定値となるように、駆動部24を制御する。さらに、判定部36は、トルクセンサの測定結果と目標トルク値とを比較することにより、締付トルクが正常であるか否かを判定してもよい。判定部36は、トルクセンサの測定結果が、目標トルク値を基準にした所定範囲内である場合、締付トルクが正常であると判定する。判定部36は、トルクセンサの測定結果が、目標トルク値を基準にした所定範囲外である場合、締付トルクが不十分(正常でない)と判定する。
また、画像登録処理は、撮像部5が生成した静止画像を基準画像として画像記憶部41に記憶する処理に限らない。例えば、画像登録処理は、サーバからダウンロードした静止画像を基準画像として画像記憶部41に登録する処理であってもよいし、メモリカード等の外部メモリから取得した静止画像を基準画像として画像記憶部41に登録する処理であってもよい。
また、通知部211は、LED等の発光部に限らず、例えば、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の画像表示装置により実現されてもよい。さらに、通知部211は、表示以外の手段で通知(提示)を行ってもよく、例えば、音(音声を含む)を発生させるスピーカ又はブザー等で構成されていてもよい。この場合、通知制御部35は、処理部34の判定結果が不一致である場合と、処理部34が実写作業対象を特定した場合とで、通知部211から異なる音を発生させることが好ましい。また、通知部211は、振動を発生するバイブレータ、又は工具2の外部端末(携帯端末等)に通知信号を送信する送信機等で実現されてもよい。さらには、通知部211は、表示、音、振動又は通信等の機能のうちの2つ以上の機能を併せ持っていてもよい。
また、記憶部4には、複数の作業対象に対して、予め決められた作業順序を示す作業手順のデータが記憶されていてもよい。処理部34は、作業手順に基づいて、複数の基準画像のうち画像処理(パターンマッチング)に用いる基準画像を選択する。具体的には、処理部34は、複数の基準画像のうち、作業順序が直近の作業対象に対応する基準画像を優先的に選択する。直近の作業対象は、最後に特定した作業対象の次に作業予定の作業対象である。処理部34は、選択した基準画像をテンプレートデータとして撮像画像と比較する画像処理を行う。つまり、処理部34は、作業手順に基づいて、撮像画像に映る作業対象を予測して基準画像を選択する。これにより、処理部34が、撮像画像に映る作業対象を特定するのに要する時間の短縮を図ることが可能となる。
また、処理部34は、撮像部5の撮像画像に画像処理を行い、工具2に取り付けられているソケット242の種類を判別するように構成されていてもよい。ここでいう「種類」とは、部品を区別するための情報であり、サイズ(大きさ又は長さ)、形状、及び素材の少なくともいずれか1つの情報を含む。本実施形態では、処理部34は、工具2に取り付けられているソケット242の長さを判別するように構成されている。処理部34は、ソケット242の長さに基づいて目標トルク値を補正して、補正後の目標トルク値をトルク設定値に設定する。例えば、処理部34は、実写作業対象に対応した目標トルク値に、ソケット242の長さに基づいた係数を掛けることによって目標トルク値を補正し、補正後の目標トルク値をトルク設定値に設定する。つまり、処理部34は、締付トルクが、補正後の目標トルク値となるように駆動部24を制御する。これにより、ソケット242の長さによる締付トルクのばらつきを低減することが可能となる。
また、処理部34は、判別したソケット242の長さ(種類)に基づいてトルク設定値を設定するように構成されていてもよい。記憶部4には、ソケット242の種々の長さと一対一に対応したトルク値が記憶されている。処理部34は、判別したソケット242の長さに対応したトルク値を記憶部4から取得し、取得した値に基づいた値をトルク設定値に設定する。例えば、処理部34は、記憶部4から取得したトルク値を、トルク設定値に設定する。これにより、ソケット242の種類に応じたトルク値で締付作業を行うことができる。
また、撮像部5で生成される撮像画像は、動画に限らず、例えば、締付作業が完了したときの静止画等であってもよい。撮像画像が静止画であれば、判定部36は、撮像部5が生成した静止画と、判定結果とを対応付けて結果記憶部43に記憶させる。これにより、例えば、締付トルクが不十分と判定された作業対象の静止画を確認することができる。
また、撮像部5は、ボディ20の胴体部21に限らず、例えば、ボディ20の装着部23、又は電池パック201等に設けられていてもよい。同様に、制御部3及び記憶部4等の配置についても、適宜変更可能である。
また、登録モードでの画像登録処理においては、姿勢検知部26で検知された工具2の姿勢についても、撮像部5で生成された基準画像に対応付けて、記憶部4(画像記憶部41)に記憶されてもよい。これにより、基準画像と工具2の姿勢とが対応付けて登録されるので、運用モードにおいて、処理部34は、撮像画像と工具2の姿勢とが特定されれば、これと同じ姿勢に対応付けられた基準画像と撮像画像とを対比すればよい。
(実施形態2)
本実施形態に係る工具システム1Aは、図8に示すように、制御部3から画像補正部33(図1参照)の機能が省略されている点で、実施形態1に係る工具システム1と相違する。以下、実施形態1と同様の構成については、共通の符号を付して適宜説明を省略する。
本実施形態では、処理部34は、撮像画像に基づく第1情報と姿勢に基づく第2情報との2つの情報が入力されることで、第1情報及び第2情報の両方に基づく処理を実行する。すなわち、本実施形態では、画像補正部33が省略されているため、撮像部5で生成された撮像画像(第1情報)、及び姿勢検知部26で検知された工具2の姿勢に関する姿勢情報(第2情報)が、画像補正部33に代えて処理部34に入力される。ここで、撮像画像は、工具2に搭載された撮像部5で生成されて、処理部34に随時入力される。また、工具2の姿勢は、姿勢検知部26で検知されて、工具2の姿勢に関する姿勢情報が処理部34に随時入力される。
つまり、処理部34には、工具2の姿勢に補正された補正後の撮像画像の代わりに、(補正前の)撮像画像及び姿勢情報の2つの情報が入力される。そして、処理部34は、これら2つの情報(第1情報及び第2情報)の両方に基づいて、所定の処理を実行する。これにより、本実施形態では、処理部34は、実施形態1のように工具2の姿勢に応じて補正された撮像画像を用いることで撮像画像と工具の姿勢とを間接的に用いるのではなく、撮像画像と工具の姿勢とを直接的に用いて、所定の処理を実行することになる。
本実施形態の構成であっても、処理部34においては、工具2の姿勢を考慮できるので、例えば、撮像画像が対称性を有するような場合でも、撮像画像及び工具2の姿勢から、作業対象の特定が可能となる。例えば、図6Aに示したように、工具2が第1の姿勢P1及び第3の姿勢P3のそれぞれで、第1の作業対象T1及び第3の作業対象T3を撮像した場合に、図6Bのように同一の撮像画像Im1が得られたとする。この場合でも、処理部34においては、撮像画像Im1が得られたときの工具2の姿勢が第1の姿勢P1及び第3の姿勢P3のいずれであるかを区別することで、「第1の作業対象T1」と「第3の作業対象T3」とを区別することが可能である。
また、本実施形態に係る工具システム1Aは、図8に示すように、姿勢提示部38を更に備えている。姿勢提示部38は、姿勢検知部26の検知結果に応じた姿勢情報を提示する。本実施形態では一例として、姿勢提示部38は、通知部211を用いて、姿勢情報の提示を行う。通知部211がLEDである場合には、姿勢検知部26で検知された工具2の姿勢に応じて、例えば、通知部211を異なる態様で点灯させることが好ましい。一例として、姿勢提示部38は、工具2が第1の姿勢P1である場合、通知部211を赤色で点灯させ、工具2が第3の姿勢P3である場合、通知部211を緑色で点灯させる。
このような姿勢提示部38によれば、ユーザに対して工具2の姿勢を提示することで、例えば、特定の姿勢での工具2の使用をユーザに促すこと等が可能である。
また、本実施形態において、処理部34には、撮像画像に基づく第1情報と、工具2の姿勢に基づく第2情報と、の2つの情報が入力されればよい。第1情報は、例えば、撮像部5で撮像された撮像画像そのものであってもよいし、撮像画像に対して補正等の処理が適宜施された情報であってもよい。同様に、第2情報は、例えば、姿勢検知部26で検知された工具2の姿勢の情報そのものであってもよいし、工具2の姿勢の情報に対して所定の係数を乗じる等の処理が適宜施された情報であってもよい。
本実施形態において、姿勢提示部38を備えることは、工具システム1Aに必須の構成ではない。つまり、実施形態2の構成において、姿勢提示部38は適宜省略可能である。
また、姿勢提示部38は、実施形態1に係る工具システム1に適用されてもよい。
実施形態2で説明した構成(変形例を含む)は、実施形態1で説明した種々の構成(変形例を含む)と適宜組み合わせて採用可能である。
(まとめ)
以上説明したように、第1の態様に係る工具システム(1,1A)は、可搬型の工具(2)と、撮像部(5)と、姿勢検知部(26)と、処理部(34)と、を備える。工具(2)は、動力源からの動力によって動作する駆動部(24)を有する。撮像部(5)は、工具(2)に搭載され、撮像画像を生成する。姿勢検知部(26)は、工具(2)に搭載され、工具(2)の姿勢を検知する。処理部(34)は、撮像画像及び姿勢に基づく処理を実行する。
この態様によれば、処理部(34)は、工具(2)に搭載された撮像部(5)で生成された撮像画像に加えて、姿勢検知部(26)で検知された工具(2)の姿勢を考慮して、処理を実行する。そのため、処理部(34)が撮像画像のみに基づいて処理を実行する場合に比較して、処理部(34)にて実行される処理の信頼性及び精度が向上する。例えば、撮像画像が対称性を有するような場合には、撮像画像のみからでは、作業対象の特定が困難となる場合がある。これに対して、工具(2)の姿勢が既知であれば、撮像画像が対称性を有するような場合でも、撮像画像から、作業対象を特定しやすくなる。したがって、撮像部(5)で得られる撮像画像を用いた処理の信頼性又は精度の低下を抑制できる、という利点がある。
第2の態様に係る工具システム(1,1A)は、第1の態様において、画像補正部(33)を更に備える。画像補正部(33)は、姿勢に応じて撮像画像を補正する。処理部(34)は、画像補正部(33)で補正された撮像画像を用いて処理を実行する。
この態様によれば、画像補正部(33)で補正された撮像画像を用いて処理を実行することで、処理部(34)は、撮像画像及び姿勢に基づく処理を実行することができる。
第3の態様に係る工具システム(1,1A)では、第2の態様において、画像補正部(33)は、姿勢に応じて少なくとも撮像画像の回転補正を行う。
この態様によれば、工具(2)の回転等に伴う姿勢変化を、撮像画像の補正にて吸収することができる。
第4の態様に係る工具システム(1,1A)では、第2又は3の態様において、画像補正部(33)は、姿勢に応じて少なくとも撮像画像の歪み補正を行う。
この態様によれば、工具(2)の傾き等に伴う姿勢変化を、撮像画像の補正にて吸収することができる。
第5の態様に係る工具システム(1,1A)では、第1〜4のいずれかの態様において、処理部(34)は、撮像画像に基づく第1情報と姿勢に基づく第2情報との2つの情報が入力されることで、第1情報及び第2情報の両方に基づく処理を実行する。
この態様によれば、撮像画像を補正する処理が不要であるので、処理速度の高速化を図ることができる。
第6の態様に係る工具システム(1,1A)は、第1〜5のいずれかの態様において、姿勢提示部(38)を更に備える。姿勢提示部(38)は、姿勢検知部(26)の検知結果に応じた姿勢情報を提示する。
この態様によれば、姿勢検知部(26)の検知結果に応じた工具(2)の姿勢情報をユーザに提示することができる。
第7の態様に係る工具システム(1,1A)では、第1〜6のいずれかの態様において、処理部(34)は、少なくとも作業対象の特定を処理として実行する。
この態様によれば、撮像画像及び姿勢に基づいて、作業対象の特定を行うことができる。
第8の態様に係る工具システム(1,1A)では、第7の態様において、処理部(34)は、特定された作業対象と、作業手順で規定される作業指示との対応関係の判定を処理として実行する。
この態様によれば、撮像画像及び姿勢に基づいて、作業手順の判定を行うことができる。
第9の態様に係る工具管理方法は、第1工程と、第2工程と、第3工程と、を有する。第1工程は、動力源からの動力によって動作する駆動部(24)を有する可搬型の工具(2)に搭載された撮像部(5)から撮像画像を取得する工程である。第2工程は、工具(2)に搭載された姿勢検知部(26)から工具(2)の姿勢に関する姿勢情報を取得する工程である。第3工程は、第1工程で取得した撮像画像、及び第2工程で取得した姿勢情報に基づく処理を実行する工程である。
この態様によれば、撮像部(5)で得られる撮像画像を用いた処理の信頼性又は精度の低下を抑制できる、という利点がある。
第10の態様に係るプログラムは、第9の態様に係る工具管理方法を、1以上のプロセッサに実行させるためのプログラムである。
この態様によれば、撮像部(5)で得られる撮像画像を用いた処理の信頼性又は精度の低下を抑制できる、という利点がある。
上記態様に限らず、実施形態1及び実施形態2に係る工具システム(1,1A)の種々の構成(変形例を含む)は、工具管理方法又はプログラムにて具現化可能である。
第2〜8の態様に係る構成については、工具システム(1,1A)に必須の構成ではなく、適宜省略可能である。
1,1A 工具システム
2 工具
5 撮像部
24 駆動部
26 姿勢検知部
33 画像補正部
34 処理部
38 姿勢提示部

Claims (10)

  1. 動力源からの動力によって動作する駆動部を有する可搬型の工具と、
    前記工具に搭載され、撮像画像を生成する撮像部と、
    前記工具に搭載され、前記工具の姿勢を検知する姿勢検知部と、
    前記撮像画像及び前記姿勢に基づく処理を実行する処理部と、を備える、
    工具システム。
  2. 前記姿勢に応じて前記撮像画像を補正する画像補正部を更に備え、
    前記処理部は、前記画像補正部で補正された前記撮像画像を用いて前記処理を実行する、
    請求項1に記載の工具システム。
  3. 前記画像補正部は、前記姿勢に応じて少なくとも前記撮像画像の回転補正を行う、
    請求項2に記載の工具システム。
  4. 前記画像補正部は、前記姿勢に応じて少なくとも前記撮像画像の歪み補正を行う、
    請求項2又は3に記載の工具システム。
  5. 前記処理部は、前記撮像画像に基づく第1情報と前記姿勢に基づく第2情報との2つの情報が入力されることで、前記第1情報及び前記第2情報の両方に基づく前記処理を実行する、
    請求項1〜4のいずれか1項に記載の工具システム。
  6. 前記姿勢検知部の検知結果に応じた姿勢情報を提示する姿勢提示部を更に備える、
    請求項1〜5のいずれか1項に記載の工具システム。
  7. 前記処理部は、少なくとも作業対象の特定を前記処理として実行する、
    請求項1〜6のいずれか1項に記載の工具システム。
  8. 前記処理部は、特定された前記作業対象と、作業手順で規定される作業指示との対応関係の判定を前記処理として実行する、
    請求項7に記載の工具システム。
  9. 動力源からの動力によって動作する駆動部を有する可搬型の工具に搭載された撮像部から撮像画像を取得する第1工程と、
    前記工具に搭載された姿勢検知部から前記工具の姿勢に関する姿勢情報を取得する第2工程と、
    前記第1工程で取得した前記撮像画像、及び前記第2工程で取得した前記姿勢情報に基づく処理を実行する第3工程と、を有する、
    工具管理方法。
  10. 請求項9に記載の工具管理方法を、1以上のプロセッサに実行させるためのプログラム。
JP2019201821A 2019-11-06 2019-11-06 工具システム、工具管理方法及びプログラム Active JP7458018B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019201821A JP7458018B2 (ja) 2019-11-06 2019-11-06 工具システム、工具管理方法及びプログラム
PCT/JP2020/038740 WO2021090652A1 (ja) 2019-11-06 2020-10-14 工具システム、工具管理方法及びプログラム
CN202080076278.0A CN114630729A (zh) 2019-11-06 2020-10-14 工具系统、工具管理方法和程序
US17/773,397 US11917319B2 (en) 2019-11-06 2020-10-14 Tool system, tool management method, and program
EP20884652.7A EP4056319A4 (en) 2019-11-06 2020-10-14 TOOL SYSTEM, TOOL MANAGEMENT PROCEDURE AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019201821A JP7458018B2 (ja) 2019-11-06 2019-11-06 工具システム、工具管理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021074812A true JP2021074812A (ja) 2021-05-20
JP7458018B2 JP7458018B2 (ja) 2024-03-29

Family

ID=75849938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019201821A Active JP7458018B2 (ja) 2019-11-06 2019-11-06 工具システム、工具管理方法及びプログラム

Country Status (5)

Country Link
US (1) US11917319B2 (ja)
EP (1) EP4056319A4 (ja)
JP (1) JP7458018B2 (ja)
CN (1) CN114630729A (ja)
WO (1) WO2021090652A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114888543A (zh) * 2022-07-13 2022-08-12 成都飞机工业(集团)有限责任公司 一种刀具测试系统及测试方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023109642A (ja) * 2022-01-27 2023-08-08 パナソニックIpマネジメント株式会社 工具システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010224749A (ja) * 2009-03-23 2010-10-07 Daihen Corp 作業工程管理システム
JP2012115941A (ja) * 2010-11-30 2012-06-21 Daihatsu Motor Co Ltd 可搬型締付工具の制御システム
WO2018123433A1 (ja) * 2016-12-28 2018-07-05 パナソニックIpマネジメント株式会社 工具システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080319570A1 (en) * 2007-06-25 2008-12-25 Van Schoiack Michael M System and method for fastener installation
US8255070B2 (en) * 2009-10-07 2012-08-28 The Boeing Company Method and apparatus for establishing a camera focal length for installing fasteners
JP5562153B2 (ja) 2010-07-13 2014-07-30 三菱電機株式会社 ねじ締め不良防止システム及びねじ締め不良防止プログラム
CN103402707B (zh) * 2011-03-11 2016-06-22 S·D·温纳德 手持式驱动装置
DE102012219871A1 (de) * 2012-10-30 2014-04-30 Marco Systemanalyse Und Entwicklung Gmbh Verfahren und Vorrichtung zur Protokollierung von Verschraubungen
EP2916189B1 (en) 2014-03-06 2019-05-08 Hexagon Technology Center GmbH Quality assured manufacturing
JP6399437B2 (ja) * 2014-06-04 2018-10-03 パナソニックIpマネジメント株式会社 制御装置及びそれを用いた作業管理システム
GB201413991D0 (en) 2014-08-07 2014-09-24 Ubisense Ltd Tool tracking
US10592772B2 (en) * 2015-03-27 2020-03-17 Nec Corporation Image capturing attachment tool, work management method, system, comparison device, and program
JP2017069776A (ja) * 2015-09-30 2017-04-06 カシオ計算機株式会社 撮像装置、判定方法及びプログラム
JP6589541B2 (ja) 2015-10-13 2019-10-16 日産自動車株式会社 締付支援システムおよび締付支援方法
US20180096531A1 (en) * 2016-09-30 2018-04-05 Daqri, Llc Head-mounted display and intelligent tool for generating and displaying augmented reality content
JP2018108633A (ja) 2016-12-28 2018-07-12 パナソニックIpマネジメント株式会社 工具システム
IT201700032723A1 (it) * 2017-03-24 2018-09-24 Giovanni Banzola Chiave dinamometrica e procedimento per il serraggio controllato di accoppiamenti filetttati mediante una chiave dinamometrica
JP6966720B2 (ja) 2017-10-23 2021-11-17 株式会社東日製作所 識別プレート、トルクレンチ及びトルクレンチセット
JP2019086827A (ja) 2017-11-01 2019-06-06 キヤノン株式会社 情報処理装置、情報処理方法
JP7065343B2 (ja) 2018-02-22 2022-05-12 パナソニックIpマネジメント株式会社 工具制御方法、プログラム、工具制御システム、及び工具
JP6895630B2 (ja) * 2018-07-03 2021-06-30 パナソニックIpマネジメント株式会社 制御装置
JP2022531227A (ja) 2019-04-30 2022-07-06 テルモ カーディオバスキュラー システムズ コーポレイション カメラビューを回転させるためのジャイロセンサを備える内視鏡用脈管採取装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010224749A (ja) * 2009-03-23 2010-10-07 Daihen Corp 作業工程管理システム
JP2012115941A (ja) * 2010-11-30 2012-06-21 Daihatsu Motor Co Ltd 可搬型締付工具の制御システム
WO2018123433A1 (ja) * 2016-12-28 2018-07-05 パナソニックIpマネジメント株式会社 工具システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114888543A (zh) * 2022-07-13 2022-08-12 成都飞机工业(集团)有限责任公司 一种刀具测试系统及测试方法
CN114888543B (zh) * 2022-07-13 2022-12-13 成都飞机工业(集团)有限责任公司 一种刀具测试系统及测试方法

Also Published As

Publication number Publication date
EP4056319A1 (en) 2022-09-14
CN114630729A (zh) 2022-06-14
US20220377256A1 (en) 2022-11-24
EP4056319A4 (en) 2022-12-14
JP7458018B2 (ja) 2024-03-29
US11917319B2 (en) 2024-02-27
WO2021090652A1 (ja) 2021-05-14

Similar Documents

Publication Publication Date Title
JP2021062475A (ja) 工具システム
WO2022004132A1 (ja) 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
WO2018123433A1 (ja) 工具システム
WO2021090652A1 (ja) 工具システム、工具管理方法及びプログラム
WO2021090651A1 (ja) 工具システム、工具管理方法及びプログラム
JP7008204B2 (ja) 工具システム、画像処理方法、及びプログラム
US20150261068A1 (en) Strobe device and imaging device provided with strobe device
JP7065343B2 (ja) 工具制御方法、プログラム、工具制御システム、及び工具
WO2021229972A1 (ja) 工具システム、工具、基準画像生成方法及びプログラム
WO2022014228A1 (ja) 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
WO2021090650A1 (ja) 工具システム、基準画像生成方法及びプログラム
WO2022004133A1 (ja) 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
WO2021090649A1 (ja) 工具システム、工具管理方法及びプログラム
WO2024034302A1 (ja) 工具システム、作業対象特定方法及びプログラム
JP7486071B2 (ja) 工具システム、工具、基準画像生成方法及びプログラム
JP2023113486A (ja) 撮像システム、工具システム、設定方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240308

R151 Written notification of patent or utility model registration

Ref document number: 7458018

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151