JP2019144965A - 工具制御方法、プログラム、工具制御システム、及び工具 - Google Patents

Abstract

【課題】作業対象の特定精度の向上を図ることができる工具制御方法、プログラム、工具制御システム、及び工具を提供することにある。【解決手段】工具制御方法は、工具が有する撮像部が作業対象を撮像した質問画像に類似した画像を、検索対象画像の集合から検索し、検索結果に応じて工具を制御する。工具制御方法は、抽出ステップＳ２と、検索ステップＳ３と、を含む。抽出ステップＳ２では、質問画像における質問側基準点と質問側特徴部との位置関係を示す質問側位置データを抽出する。検索ステップＳ３では、質問側位置データと、検索対象画像における検索側基準点と検索側特徴部との位置関係を示す検索側位置データとの比較結果に基づいて、質問画像に類似した画像を検索対象画像の集合から検索する。【選択図】図３

Description

本開示は、一般に工具制御方法、プログラム、工具制御システム、及び工具に関し、より詳細には、工具を制御する工具制御方法、プログラム、工具制御システム、及びこれらによって制御される工具に関する。

従来、工具を用いた作業を管理する作業管理システムがある（例えば、特許文献１参照）。特許文献１に記載の作業管理システムは、工具と、作業管理装置と、を備えている。工具は、作業対象に対して作業を行うために使用される。作業管理装置は、作業情報取得部と、位置情報取得部と、作業対象情報取得部と、情報管理部と、を備えている。作業情報取得部は、作業対象に対して作業を行うために使用される工具から作業対象に行った作業の内容に関する作業情報を取得する。位置情報取得部は、工具を用いて作業対象に対する作業が行われた場所の位置情報を取得する。作業対象情報取得部は、作業対象から読み取った情報をもとに作業対象を特定する作業対象情報を取得する。情報管理部は、作業情報と位置情報と作業対象情報とを対応付けて記憶部に記憶させる。

位置情報取得部は、例えばＧＰＳ（Global Positioning System）衛星から受信した電波をもとに現在位置を測定するＧＰＳ受信機から入力される測位データをもとに、作業場所の位置情報を取得する。

また、特許文献１には、地上の複数の地点から放射されるビーコン電波を受信して現在位置を測位するような測位システムが記載されている。

特開２０１６−９１３１６号公報

電波の受信によって位置を測位するシステムでは、複数の作業対象の位置が互いに近い場合、これらの作業対象箇所の特定が困難であった。

本開示は、上記事由に鑑みてなされており、その目的は、作業対象の特定精度の向上を図ることができる工具制御方法、プログラム、工具制御システム、及び工具を提供することにある。

本開示の一態様に係る工具制御方法は、工具が有する撮像部が作業対象を撮像した質問画像に類似した画像を、検索対象画像の集合から検索し、検索結果に応じて前記工具を制御する。前記工具制御方法は、抽出ステップと、検索ステップと、を含む。前記抽出ステップでは、前記質問画像における質問側基準点と質問側特徴部との位置関係を示す質問側位置データを抽出する。前記検索ステップでは、前記質問側位置データと、前記検索対象画像における検索側基準点と検索側特徴部との位置関係を示す検索側位置データとの比較結果に基づいて、前記質問画像に類似した画像を前記検索対象画像の集合から検索する。

本開示の一態様に係るプログラムは、コンピュータシステムに、前記工具制御方法を実行させる。

本開示の一態様に係る工具制御システムは、工具が有する撮像部が作業対象を撮像した質問画像に類似した画像を、検索対象画像の集合から検索し、検索結果に応じて前記工具を制御する。前記工具制御システムは、抽出部と、検索部と、を備える。前記抽出部は、前記質問画像における質問側基準点と質問側特徴部との位置関係を示す質問側位置データを抽出する。前記検索部は、前記質問側位置データと、前記検索対象画像における検索側基準点と検索側特徴部との位置関係を示す検索側位置データとの比較結果に基づいて、前記質問画像に類似した画像を前記検索対象画像の集合から検索する。

本開示の一態様に係る工具は、前記工具制御システムによって制御され、前記作業対象を撮像する前記撮像部を有する。

本開示の工具制御方法、プログラム、工具制御システム、及び工具では、作業対象の特定精度の向上を図ることができるという効果がある。

図１は、本開示の一実施形態に係る工具制御システムのブロック図である。 図２Ａは、本開示の一実施形態に係る工具の外観斜視図である。図２Ｂは、同上の工具の別方向からの外観斜視図である。 図３は、本開示の一実施形態に係る工具制御方法のフローチャートである。 図４は、質問画像の概略図である。 図５Ａは、第１検索対象画像の概略図である。図５Ｂは、第２検索対象画像の概略図である。 図６は、別の質問画像の概略図である。 図７は、さらに別の質問画像の概略図である。 図８は、本開示の実施形態の第１変形例に係る工具制御システムのブロック図である。 図９は、本開示の実施形態の第１変形例に係る工具制御方法のフローチャートである。 図１０は、本開示の実施形態の第２変形例に係る工具制御システムのブロック図である。 図１１は、本開示の実施形態の第２変形例に係る工具制御方法のフローチャートである。 図１２は、共通領域を説明するための説明図である。 図１３は、本開示の実施形態の第３変形例に係る工具制御方法のフローチャートである。 図１４Ａは、別の共通領域を説明するための説明図である。図１４Ｂは、検索対象領域を説明するための説明図である。図１４Ｃは、別の検索対象領域を説明するための説明図である。

以下、本開示の実施の形態を図面に基づいて説明する。ただし、以下に説明する実施形態は、本開示の様々な実施形態の一つに過ぎない。下記の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。

実施形態１
（１）概要
本実施形態の工具制御システム１のブロック図を図１に示す。本実施形態の工具制御システム１は、例えば、工場における製品の組立作業を行う組立ラインに用いられる。本実施形態では、組立ラインにおいて、１つの製品に対して締付対象箇所が複数あり、作業者は、工具２を用いて同じ作業場所で複数の締付対象箇所の各々に締付部品（例えば、ボルト、ナット等）を取り付ける作業を行うことを想定している。「締付対象箇所」とは、締付部品が取り付けられるねじ孔を含むねじ孔周囲の部位である。本実施形態では、締付部品が工具２の作業対象である場合を例にして説明する。本実施形態の工具制御システム１は、複数の作業対象のうち工具２がセットされた作業対象を特定するように構成されている。「工具２がセットされた」とは、工具２が作業対象に対して作業が行えるように準備された状態を示す。ここでいう「準備された状態」とは、工具２が作業対象に当たっている状態だけでなく、工具２を作業対象に当てようとしている状態も含む。つまり、工具２が作業対象にセットされた状態では、工具２が作業対象に当たっていてもよいし、離れていてもよい。なお、工具制御システム１の使用用途は、上記の組立ラインに限らず、他の使用用途であってもよい。

本実施形態の工具制御システム１及び工具制御方法は、工具２が有する撮像部２６が作業対象（締付部品）を撮像した質問画像に類似した画像を、検索対象画像の集合から検索し、検索結果に応じて工具２を制御する。

本実施形態の工具制御システム１は、処理装置４を備えている。処理装置４は、工具２と通信可能に構成されている。工具２は、セット作業対象を撮像する撮像部２６を備えている。処理装置４は、撮像部２６が撮像した画像（質問画像）に類似した画像を、検索対象画像の集合から検索する検索部５２を備えている。処理装置４は、検索した検索対象画像に対応する目標トルク値（制御値）を工具２に出力する。工具２は、締付トルクが目標トルク値となるように動作する。つまり、本実施形態の工具制御システム１では、工具２の撮像部２６が撮像した質問画像に類似した検索対象画像を検索することによって、工具２の作業対象を特定する。そして、工具制御システム１は、工具２のトルク設定値が、検索した検索対象画像に対応した目標トルク値となるように工具２を制御する。

（２）構成
以下に、本実施形態の工具制御システム１の詳細な構成について図１を参照して説明する。

（２．１）工具
まず、工具２の構成について説明する。工具２は、例えば電動のインパクトレンチ（図２Ａ，２Ｂ参照）であり、締付部品を作業対象に取り付ける締付作業が可能である。なお、工具２は、インパクトレンチに限らず、インパクトレンチ等の他の電動工具であってもよい。また、工具２は、電動工具に限らず、エア工具等であってもよい。

工具２は、駆動部２４と、制御部３と、撮像部２６と、通信部２７と、電池パック２０１と、を有している。

図２Ａ，２Ｂに示すように、工具２のボディ２０は、筒形状の胴体部２１と、胴体部２１の周面から径方向に突出するグリップ２２と、電池パック２０１が着脱自在に装着される装着部２３と、を有している。

胴体部２１には、駆動部２４が収納されている。駆動部２４は、モータを有しており、動力源である電池パック２０１から供給される電力を動力として回転動作するように構成されている。胴体部２１の軸方向における一端側からは出力軸２４１が突出している（図２Ａ，２Ｂ参照）。出力軸２４１は、駆動部２４の回転動作によって回転するように構成されている。出力軸２４１には、締付部品（ボルト、ナット等）を締め付ける又は緩めるための円筒状のソケット２４２が着脱自在に取り付けられる。出力軸２４１に取り付けられるソケット２４２のサイズは、作業者によって締付部品のサイズに合わせて適宜選択される。工具２は、駆動部２４の回転動作よって出力軸２４１が回転することにより、締付部品を締め付ける又は緩めるといった作業が可能となる。

また、出力軸２４１には、ソケット２４２の代わりにソケットアンビルが着脱自在に取り付け可能であり、ソケットアンビルを介してビット（例えばドライバビット、ドリルビット等）の装着が可能となる。

本実施形態の工具２は、インパクト機構２５を更に備えている。インパクト機構２５は、締付トルク（作業値）が所定レベルを超えると、出力軸２４１の回転方向に打撃力を加えるように構成されている。これにより、締付部品に対して、より大きな締付トルクを与えることが可能となる。

グリップ２２は、作業者が作業を行う際に握る部分であり、トリガスイッチ２２１、及び正逆切替スイッチ２２２が設けられている。トリガスイッチ２２１は、駆動部２４の回転動作のオン／オフを制御するためのスイッチであり、引込量に応じて駆動部２４の回転数の調整が可能である。正逆切替スイッチ２２２は、出力軸２４１の回転方向を正転と逆転とに切り替えるスイッチである。グリップ２２における胴体部２１と反対側の端部には装着部２３が設けられている。

装着部２３は、扁平な矩形体状に形成されており、グリップ２２と反対側の一面に電池パック２０１が着脱自在に装着される。電池パック２０１は、矩形体状に形成された樹脂製のケース２０２（図２Ａ，２Ｂ参照）を有しており、ケース２０２の内部に充電池（例えば、リチウムイオン電池）を収納している。電池パック２０１は、駆動部２４、制御部３、撮像部２６、通信部２７等に電力を供給する。

また、装着部２３には、操作パネル２３１が設けられている。操作パネル２３１は、例えば、複数の押ボタンスイッチ２３２、及び複数のＬＥＤ２３３（Light Emitting Diode）を備えており、工具２の種々の設定、状態確認等を行うことができる。作業者は、例えば、操作パネル２３１（押ボタンスイッチ２３２）を操作することにより、工具２の動作モードの変更、電池パック２０１の残容量の確認等を行うことができる。また、装着部２３には、発光部２３４が設けられている。発光部２３４は、例えばＬＥＤで構成されている。発光部２３４は、作業時において作業対象に向けて光を照射するように配置されている。発光部２３４のオン／オフは、操作パネル２３１の操作で行うことができる。また、発光部２３４は、トリガスイッチ２２１がオンした際に点灯するように構成されていてもよい。

通信部２７は、例えば、Ｗｉ−Ｆｉ（登録商標）等の無線通信が可能な通信モジュールであり、ボディ２０に収納されている。通信部２７は、処理装置４との間で情報の送信及び受信を行う。なお、通信部２７は、有線通信に対応した通信モジュールであってもよい。

また、装着部２３には、制御部３が収納されている。制御部３は、例えばプロセッサとメモリとを有するマイクロコンピュータ（マイコン）を備えている。制御部３は、プロセッサがメモリに格納されているプログラムを実行することによって、駆動制御部３１、撮像制御部３２、抽出部３３、通知制御部３４、判定部３５等の機能が実現される。プロセッサが実行するプログラムは、マイクロコンピュータのメモリに予め記憶されているが、メモリカード等の記録媒体に記録されて提供されてもよいし、電気通信回線を通じて提供されてもよい。なお、制御部３は、一定時間の間、トリガスイッチ２２１又は操作パネル２３１への操作入力が行われなかった場合、スリープ状態となる。制御部３は、スリープ状態中にトリガスイッチ２２１又は操作パネル２３１への操作入力が行わると起動する。

駆動制御部３１は、駆動部２４を制御するように構成されている。具体的には、駆動制御部３１は、トリガスイッチ２２１の引込量に基づいた回転速度で、正逆切替スイッチ２２２によって設定された回転方向に駆動部２４を回転させる。

また、駆動制御部３１は、締付トルクがトルク設定値（作業用設定値）となるように駆動部２４を制御するように構成されている。駆動制御部３１は、通信部２７を介して処理装置４から目標トルク値を取得し、取得した目標トルク値をトルク設定値に設定する。また、駆動制御部３１は、締付トルクの大きさを推定するトルク推定機能を有している。駆動制御部３１は、締付トルクの推定値が着座判定レベルに達するまでは、インパクト機構２５の打撃間における駆動部２４（モータ）の回転速度、回転量変化等に基づいて締付トルクの大きさを推定する。駆動制御部３１は、締付トルクの推定値が着座判定レベルに達すると、インパクト機構２５の打撃数に基づいて締付トルクの大きさを推定する。駆動制御部３１は、インパクト機構２５の打撃数が、トルク設定値に基づいた閾値回数に達すると、締付トルクがトルク設定値に達したと判断してモータを停止させる。これにより、締付部品を取り付ける際の締付トルクがトルク設定値となる。

なお、工具２は、締付トルクを測定するトルクセンサを備えていてもよい。この場合、駆動制御部３１は、トルクセンサが測定した締付トルクがトルク設定値となるように駆動部２４を制御する。

撮像制御部３２は、撮像部２６を制御するように構成されている。

撮像部２６は、例えば、撮像素子とレンズを有するカメラで構成されており、ボディ２０の胴体部２１に収納されている。撮像部２６は、作業時に作業対象を撮像するように配置されている。本実施形態では、撮像部２６は、出力軸２４１の先端側を撮像するように、出力軸２４１に沿って出力軸２４１から所定範囲内に配置されている。また、撮像部は、出力軸２４１に取り付けられたソケット２４２が撮像範囲に収まるように設けられている。撮像部２６は、工具２のボディ２０に固定されている。したがって、撮像した画像（質問画像）上の所定位置に、出力軸２４１の先端部が位置することとなる。また、撮像部２６は、制御部３の起動中に撮像を継続して行うように構成されており、時系列で連続する撮像画像を動画形式に生成して抽出部３３に出力する。

抽出部３３は、質問画像における質問側基準点と質問側特徴部との位置関係を示す質問側位置データを抽出する。抽出部３３は、撮像部２６が撮像した画像（質問画像）に画像処理を行うことにより、質問画像における質問側位置データを抽出する。

質問側基準点とは、質問画像における所定の基準箇所であり、工具２の一部に対応する位置である。本実施形態では、質問側基準点は、工具２の出力軸２４１の先端部に対応する位置である。したがって、工具２が作業対象にセットされた状態では、質問基準点は、質問画像における締付部品又はねじ孔の位置に相当する。上述したように、撮像部２６が工具２のボディ２０に固定されているので、質問側基準点は、撮像部２６が撮像した画像（質問画像）における所定位置となる。

質問側特徴部とは、質問画像における画像局所特徴箇所（点）である。画像局所特徴箇所とは、作業対象の凹凸、模様、マーク、文字等によって画像内において際立った点、エッジ等である。画像から画像局所特徴箇所（質問側特徴部）、及びその特徴量を抽出する方法として、例えばＯＲＢ（Oriented FAST and Rotated BRIEF）等がある。作業対象が正常に撮像されている場合、１つの質問画像から複数（例えば数百）の画像局所特徴箇所（質問側特徴部）が抽出される。

抽出部３３は、質問画像から質問側基準点と質問側特徴部とを抽出し、質問側基準点と質問側特徴部との位置関係を示すデータである質問側位置データを抽出する。質問側位置データには、質問側基準点と質問側特徴部との間の距離を示すデータ（質問側距離データ）が含まれている。上述したように、１つの質問画像から複数の質問側特徴部が抽出される。したがって、抽出部３３は、１つの質問画像から複数の質問側距離データを抽出する。つまり、質問側位置データには、複数の質問側距離データが含まれている。また、抽出部３３は、質問画像から複数の質問側特徴部それぞれの特徴量を、質問側特徴部に対応付けて抽出する。つまり、抽出部３３は、質問画像から複数の質問側特徴部のそれぞれに対応する特徴量、及び質問側距離データを含む質問側位置データを抽出する。抽出部３３は、抽出した質問側位置データを、通信部２７を介して処理装置４に送信する。

詳しくは後述するが、処理装置４は、工具２から送信された質問側位置データに基づいて、複数の検索対象画像から質問画像に類似した画像を検索し、検索した検索対象画像に対応する目標トルク値を工具２に出力する。駆動制御部３１は、処理装置４から出力された目標トルク値をトルク設定値に設定し、締付トルクがトルク設定値（目標トルク値）となるように駆動部２４を制御する。

通知制御部３４は、工具２に設けられた通知部２１１を制御するように構成されている。通知部２１１は、例えば、ＬＥＤで構成されている。通知部２１１は、作業者が作業中に通知部２１１を目視しやすいように、ボディ２０の胴体部２１における出力軸２４１とは反対側の端部に設けられている（図２Ｂ参照）。通知制御部３４は、処理装置４からの目標トルク値を受信すると、通知部２１１を点灯させる。作業者は、通知部２１１が点灯していることを目視することによって、トルク設定値が設定され、正常な締付作業が可能な状態であることを認識することができる。

判定部３５は、締付部品が締付対象箇所に取り付けられた際の締付トルクが正常であるか否かを判定するように構成されている。判定部３５は、インパクト機構２５の打撃数が閾値回数に達することによって駆動制御部３１が駆動部２４を停止させた場合、締付トルクが正常であると判定する。また、判定部３５は、インパクト機構２５の打撃数が閾値回数に達する前に、例えばトリガスイッチ２２１がオフされることによって駆動制御部３１が駆動部２４を停止させた場合、締付トルクが不十分（正常ではない）と判定する。判定部３５は、判定結果を、通信部２７を介して処理装置４に送信する。これにより、処理装置４で、工具２を用いた締付作業が正常に行われた否かを管理することができる。

なお、工具２が、締付トルクを測定するトルクセンサを備えている場合、判定部３５は、トルクセンサの測定結果と目標トルク値とを比較することにより、締付トルクが正常であるか否かを判定するように構成されていてもよい。判定部３５は、トルクセンサの測定結果が、目標トルク値を基準にした所定範囲内である場合、締付トルクが正常であると判定する。また、判定部３５は、トルクセンサの測定結果が、目標トルク値を基準にした所定範囲外である場合、締付トルクが不十分（正常でない）と判定する。

（２．２）処理装置
処理装置４は、例えば、サーバであり、通信部４１と、制御部５と、記憶部６と、を備えている。

通信部４１は、例えば、Ｗｉ−Ｆｉ（登録商標）等の無線通信が可能な通信モジュールである。通信部４１は、工具２の通信部２７との間で情報の送信及び受信を行う。なお、通信部４１は、有線通信に対応した通信モジュールであってもよい。工具２の通信部２７が無線通信にのみ対応している場合、通信部４１は、無線通信と有線通信との相互変換を行う通信装置を介して、通信部２７と通信を行うように構成されていてもよい。

記憶部６は、例えばフラッシュメモリ等の半導体メモリで構成されており、画像記憶部６１と、位置データ記憶部６２と、目標トルク値記憶部６３と、を有する。なお、本実施形態では、画像記憶部６１と、位置データ記憶部６２と、目標トルク値記憶部６３と、が１つのメモリで構成されているが、複数のメモリで構成され、それぞれの記憶部が別々のメモリで構成されていてもよい。なお、記憶部６は、半導体メモリに限らず、メモリカード、ハードディスク等であってもよい。

画像記憶部６１は、複数の検索対象画像を記憶している。検索対象画像とは、作業対象を写した静止画像である。

位置データ記憶部６２は、複数の検索対象画像にそれぞれ対応する複数の検索側位置データを記憶している。検索側位置データとは、検索対象画像における検索側基準点と検索側特徴部との位置関係を示すデータである。

検索側基準点とは、検索対象画像における所定の基準箇所である。本実施形態では、検索対象画像における締付部品又はねじ孔の位置に相当する。

検索側特徴部とは、検索対象画像における画像局所特徴箇所（点）である。画像局所特徴箇所とは、作業対象の凹凸、模様、マーク、文字等によって画像内において際立った点、エッジ等である。画像から画像局所特徴箇所（質問側特徴部）、及びその特徴量を抽出する方法として、例えばＯＲＢ等がある。１つの検索対象画像から複数（例えば数百）の画像局所特徴箇所（質問側特徴部）が抽出される。

目標トルク値記憶部６３は、複数の検索対象画像と一対一に対応する複数の目標トルク値（制御値）を記憶している。

画像記憶部６１に記憶された複数の検索対象画像からの検索側基準点と検索側特徴部との抽出は、制御部５が有する抽出部５１によって行われる。制御部５は、例えばプロセッサとメモリとを有するマイクロコンピュータ（マイコン）を備えている。制御部５は、プロセッサがメモリに格納されているプログラムを実行することによって、抽出部５１、検索部５２、トルク選択部５３等の機能が実現される。プロセッサが実行するプログラムは、マイクロコンピュータのメモリに予め記憶されているが、メモリカード等の記録媒体に記録されて提供されてもよいし、電気通信回線を通じて提供されてもよい。

抽出部５１は、複数の検索対象画像の各々に対して、検索側基準点と検索側特徴部とを抽出し、検索側基準点と検索側特徴部との位置関係を示すデータである検索側位置データを抽出する。検索側位置データには、検索側基準点と検索側特徴部との間の距離を示す検索側距離データが含まれている。上述したように、１つの検索対象画像から複数の検索側特徴部が抽出される。したがって、抽出部５１は、１つの検索対象画像から複数の検索側距離データを抽出する。つまり、検索側位置データには、複数の検索側距離データが含まれている。また、抽出部５１は、検索対象画像から複数の検索側特徴部それぞれの特徴量を、検索側特徴部に対応付けて抽出する。つまり、抽出部５１は、検索対象画像から複数の検索側特徴部それぞれに対応する特徴量、及び検索側距離データを含む検索側位置データを抽出する。抽出部５１は、複数の検索対象画像の各々から抽出した複数の検索側位置データを、検索対象画像に対応付けて位置データ記憶部６２に記憶する。

検索部５２は、質問側位置データと、検索対象画像における検索側基準点と検索側特徴部との位置関係を示す検索側位置データとの比較結果に基づいて、質問画像に類似した画像を検索対象画像の集合から検索する。具体的には、検索部５２は、工具２から送信された質問側位置データと、位置データ記憶部６２に記憶された複数の検索側位置データとを比較することにより、質問画像に類似した画像を検索対象画像の集合から検索する。検索部５２は、質問側位置データと複数の検索側位置データの各々と比較し、複数の検索側位置データの各々に対して質問側位置データとの一致点数を求める。一致点数とは、検索側位置データにおける検索側特徴部の特徴量及び検索側距離データと、質問側位置データにおける質問側特徴部の特徴量及び質問側距離データとが一致又は近似している場合に加算される点数である。近似した特徴量を探す手法として、最近傍探索がある。最近傍探索では、全探索又はＦＬＡＮＮ（Fast Library for Approximate Nearest Neighbors）などの近似手法を用いる。検索部５２は、複数の検索側位置データから一致点数が最も高い検索側位置データを検索する。検索部５２は、検索した検索側位置データに対応する検索対象画像が、質問画像に類似した画像であると判断する。

トルク選択部５３は、目標トルク値記憶部６３を参照し、検索部５２が検索した検索対象画像に対応する目標トルク値を選択する。トルク選択部５３は、選択した目標トルク値を、通信部４１を介して工具２に送信する。工具２において、駆動制御部３１は、処理装置４から送信された目標トルク値をトルク設定値に設定する。

なお、処理装置４は、クラウドコンピューティングにより実現されていてもよいし、抽出部５１、検索部５２、トルク選択部５３、画像記憶部６１、位置データ記憶部６２、及び目標トルク値記憶部６３が、複数の装置に分散して設けられていてもよい。

（３）動作例
次に、本実施形態の工具制御システム１の動作例について図３を用いて説明する。工具制御システム１による工具制御方法には、撮像ステップＳ１、抽出ステップＳ２、検索ステップＳ３、制御値選択ステップＳ４、及び制御値設定ステップＳ５が含まれている。

撮像ステップＳ１では、撮像部２６が作業対象を撮像し質問画像を生成する。

抽出ステップＳ２では、質問画像における質問側基準点と質問側特徴部との位置関係を示す質問側位置データを抽出する。ここでは、抽出部３３が、質問画像から質問側位置データを抽出する。図４に、質問画像Ｐ１１の一例を示す。質問画像Ｐ１１には、２つの締付部品Ｂ１，Ｂ２が写っている。質問画像Ｐ１１における中央付近の締付部品Ｂ１の位置が、質問側基準点Ｃ１１である。また、図４において、特徴部（質問側特徴部）Ｔ１，Ｔ２，…，Ｔｎを、概略的に示している。複数の質問側特徴部のうち、特徴量が同一の質問側特徴部には同一の符号を付している。抽出部３３は、質問画像Ｐ１１から質問側基準点Ｃ１１、及び質問側特徴部Ｔ１，Ｔ２，…，Ｔｎを抽出する。抽出部３３は、質問側基準点Ｃ１１と、質問側特徴部Ｔ１，Ｔ２，…，Ｔｎそれぞれとの間の距離を示す質問側距離データを含む質問側位置データを抽出する。抽出部３３は、抽出した質問側位置データを処理装置４に送信する。

検索ステップＳ３では、質問側位置データと、検索対象画像における検索側基準点と検索側特徴部との位置関係を示す検索側位置データとの比較結果に基づいて、質問画像に類似した画像を検索対象画像の集合から検索する。ここでは、検索部５２が、質問側位置データと、複数の検索側位置データとを比較することより、質問画像に類似した画像を検索対象画像の集合から検索する。図５Ａに、複数の検索対象画像に含まれている第１検索対象画像Ｐ２１の一例を示し、図５Ｂに、複数の検索対象画像に含まれている第２検索対象画像Ｐ２２の一例を示す。第１検索対象画像Ｐ２１及び第２検索対象画像Ｐ２２には、２つの締付部品Ｂ１，Ｂ２が写っている。第１検索対象画像Ｐ２１は、締付部品Ｂ１の位置を検索側基準点Ｃ２１とした検索対象画像であり、締付部品Ｂ１に対応する目標トルク値が対応付けられている。第２検索対象画像Ｐ２２は、締付部品Ｂ２の位置を検索側基準点Ｃ２２とした検索対象画像であり、締付部品Ｂ２に対応する目標トルク値が対応付けられている。また、図５Ａ，５Ｂにおいて、特徴部（検索側特徴部）Ｔ１，Ｔ２，…，Ｔｎを、概略的に示している。

位置データ記憶部６２には、抽出部５１によって複数の検索対象画像（第１検索対象画像Ｐ２１及び第２検索対象画像Ｐ２２を含む）の各々から抽出された検索側位置データが記憶される。つまり、位置データ記憶部６２には、第１検索対象画像Ｐ２１における検索側基準点Ｃ２１と、検索側特徴部Ｔ１，Ｔ２，…，Ｔｎそれぞれとの間の距離を示す検索側距離データを含む検索側位置データが記憶されている。また、位置データ記憶部６２には、第２検索対象画像Ｐ２２における検索側基準点Ｃ２２と、検索側特徴部Ｔ１，Ｔ２，…，Ｔｎそれぞれとの間の距離を示す検索側距離データを含む検索側位置データが記憶されている。

検索部５２は、質問側位置データと、複数の検索側位置データとを比較する。具体的には、検索部５２は、複数の検索側位置データの各々に対して質問側位置データとの一致点数を求める。図５Ａ，５Ｂに示すように、締付部品Ｂ１と締付部品Ｂ２との間の距離が相対的に近いため、第１検索対象画像Ｐ２１と第２検索対象画像Ｐ２２とで、共通の検索側特徴部が含まれている。しかしながら、第１検索対象画像Ｐ２１の検索側基準点Ｃ２１が締付部品Ｂ１の位置であるのに対し、第２検索対象画像Ｐ２２の検索側基準点Ｃ２２が締付部品Ｂ２の位置である。したがって、第１検索対象画像Ｐ２１の検索側距離データと、第２検索対象画像Ｐ２２の検索側距離データとが異なる。図４に示すように、質問画像Ｐ１１の質問側基準点Ｃ１１は、締付部品Ｂ１の位置である。そのため、第１検索対象画像Ｐ２１における検索側位置データと質問側位置データとの一致点数が、第２検索対象画像Ｐ２２における検索側位置データと質問側位置データとの一致点数よりも高くなる。ここでは、複数の検索対象画像のうち第１検索対象画像Ｐ２１における検索側位置データと質問側位置データとの一致点数が最も高いとする。検索部５２は、第１検索対象画像Ｐ２１が、質問画像Ｐ１１に類似した画像であると判断する。

制御値選択ステップＳ４では、トルク選択部５３が、目標トルク値記憶部６３から、検索部５２が検索した検索対象画像（第１検索対象画像Ｐ２１）に対応した目標トルク値（制御値）を選択する。トルク選択部５３は、選択した目標トルク値（制御値）を工具２に送信する。

制御値設定ステップＳ５では、工具２の駆動制御部３１が、処理装置４から送信された目標トルク値（制御値）をトルク設定値に設定する。これにより、締付トルクが、工具２の撮像部２６が撮像した画像（質問画像）に応じた目標トルク値となる。

このように、本実施形態の工具制御方法では、検索ステップＳ３において、抽出ステップＳ２で抽出された質問側位置データと、検索側位置データとを比較することによって、質問画像に類似した検索対象画像を検索している。したがって、質問画像に複数の作業対象（締付部品）が写っている場合であっても、工具２がセットされた作業対象（締付部品）を特定することができ、特定した作業対象に応じた制御値（目標トルク値）で作業を行うことができる。

ここで、撮像部２６が撮像した質問画像は、撮像部２６に対してグリップ２２（図２参照）側が下となるように生成される。したがって、グリップ２２の向きが変化した場合、質問画像において、質問側基準点の位置は変化しないが、質問側基準点に対する質問側特徴部の方向が変化することとなる（図６参照）。図６は、質問画像Ｐ１１（図４参照）の撮像時に対して、グリップ２２の向きを１８０度回転させて撮像した質問画像Ｐ１１ａの一例である。つまり、図６の質問画像Ｐ１１ａは、図４の質問画像Ｐ１１を１８０度回転させた画像である。したがって、質問画像と検索対象画像とで向きが一致しない場合がある（図５Ａ、図６参照）。

本実施形態では、質問側位置データには質問側距離データが含まれている。質問側距離データは、質問側基準点と質問側特徴部との間の距離を示している。したがって、質問画像の向きに関わらず、質問側距離データは一定である。そのため、撮像部２６が撮像した画像が、第１検索対象画像Ｐ２１と向きが異なる質問画像Ｐ１１ａであっても、検索部５２は、第１検索対象画像Ｐ２１が質問画像Ｐ１１ａに類似した画像であると判断することができる。

また、本実施形態では、工具２が、質問画像から質問側位置データを抽出する抽出部３３を備えており、工具２から処理装置４へ質問側位置データが送信される。つまり、質問画像自体は処理装置４へ送信されない。これにより、工具２と処理装置４との通信容量の低減を図ることができる。

（４）変形例
以下に、工具制御システム１、工具制御方法の変形例について説明する。以下に説明する変形例は、適宜組み合わせて適用可能である。

（４．１）第１変形例
質問側位置データに含まれるデータは、質問側距離データのみに限らず、質問側方向データが含まれていてもよい。質問側方向データとは、質問側基準点に対する質問側特徴部の方向を示すデータである。質問側方向データは、例えば、質問画像上において質問側基準点を中心とし上方向を０度とした３６０度の範囲内の角度で示される。

抽出部３３は、質問画像から複数の質問側特徴部のそれぞれに対応する特徴量、質問側距離データ、及び質問側方向データを含む質問側位置データを抽出する。

また、質問側位置データに質問側方向データが含まれている場合、同様に検索側位置データに検索側方向データが含まれる。検索側方向データとは、検索側基準点に対する検索側特徴部の方向示すデータである。検索側方向データは、例えば、検索対象画像上において検索側基準点を中心とし上方向を０度とした３６０度の範囲内の角度で示される。

検索部５２は、複数の検索側位置データの各々に対して質問側位置データとの一致点数を求める。

質問側位置データ、及び検索側位置データに、それぞれ質問側距離データ及び検索側距離データが含まれている場合における検索処理について、図５Ａ，５Ｂを用いて説明する。

例えば、図５Ａ，５Ｂに示すように、２つの締付部品Ｂ１，Ｂ２の各々に対して、同じ距離で同じ特徴量の２つの検索側特徴部Ｔ１が存在する場合がある。質問側位置データ及び検索側位置データに、それぞれ質問側方向データ及び検索側方向データが含まれていない場合、第１検索対象画像Ｐ２１と第２検索対象画像Ｐ２２との両方で、２つの検索側特徴部Ｔ１が一致点数としてカウントされてしまう。しかしながら、本変形例では、質問側位置データ及び検索側位置データに、それぞれ質問側方向データ及び検索側方向データが含まれているので、第２検索対象画像Ｐ２２では、２つの検索側特徴部Ｔ１が一致点数としてカウントされない。これにより、質問画像に類似した検索対象画像の検索精度が向上する。

ここで、グリップ２２の向きが変化した場合、質問画像の向きが変化するので質問側方向データも変化してしまう。また、作業対象に対して撮像部２６が傾いた状態で質問画像が撮像された場合、図７に示すように質問画像Ｐ１１ｂ上の作業対象等が傾いてしまい、正確な質問側距離データの抽出が困難となる。図７の質問画像Ｐ１１ｂは、質問画像Ｐ１１（図４参照）の撮像時に対して、グリップ２２の向きを１８０度回転させ、かつ作業対象の垂直方向に対して工具２をグリップ２２側に傾けて撮像した画像である。

本変形例の工具制御システム１Ａは、図８に示すように、補正部３６を更に備えている。なお、上記実施形態と同様の構成には同一符号を付して説明を省略する。

補正部３６は、工具２の制御部３が有している。制御部３は、プロセッサがメモリに格納されているプログラムを実行することによって、補正部３６の機能が実現される。

補正部３６は、撮像部２６が撮像した質問画像に対して補正処理を行う。補正部３６は、質問画像に対して、質問画像が基準方向となるように回転させる補正を行う。基準方向とは、検索対象画像の向きに対応した方向である。また、補正部３６は、質問画像に対して、質問画像が作業対象の垂直方向から撮像した画像となるように傾きを補正する。補正部３６は、例えばオプティカルフロー計算を用いて質問画像の回転及び傾きの補正を行う。補正部３６による補正処理によって、例えば図７の質問画像Ｐ１１ｂが図４の質問画像Ｐ１１のように補正される。なお、工具２がジャイロセンサ（加速度センサ）等を備え、補正部３６は、ジャイロセンサの検知結果を用いて質問画像を補正してもよい。

これにより、抽出部３３は、補正後の質問画像から質問側方向データ及び質問側距離データをより正確に抽出することができる。したがって、質問画像に類似した検索対象画像の検索精度が向上する。

また、本変形例の工具制御システム１Ａによる工具制御方法には、図９に示すように、撮像ステップＳ１、補正ステップＳ１１、抽出ステップＳ２、検索ステップＳ３、制御値選択ステップＳ４、及び制御値設定ステップＳ５が含まれている。なお、上記実施形態と同様のステップには、同一符号を付して説明を省略する。

補正ステップＳ１１では、補正部３６によって、質問画像を回転させるような補正が行われる。また、補正ステップＳ１１では、補正部３６によって、質問画像の傾きの補正が行われる。つまり、補正ステップＳ１１では、補正部３６によって、撮像部２６が撮像した質問画像に対して回転及び傾きの補正が行われる。抽出ステップＳ２では、補正後の質問画像から質問側位置データを抽出する。

（４．２）第２変形例
本変形例の工具制御システム１Ｂは、図１０に示すように、画角変更部３７を更に備えている。画角変更部３７は、工具２の制御部３が有している。制御部３は、プロセッサがメモリに格納されているプログラムを実行することによって、画角変更部３７の機能が実現される。

画角変更部３７は、質問画像の画角の大きさを変更するように構成されている。本変形例では、撮像部２６はズーム機能を有しており、画角の大きさが調整可能に構成されている。画角変更部３７は、抽出部３３が質問画像から抽出した質問側特徴部の数である特徴点数に基づいて、質問画像の画角の大きさを変更する。具体的には、画角変更部３７は、抽出部３３が質問画像から抽出した質問側特徴部の特徴点数が、下限値未満である場合、質問画像の画角が大きくなるように撮像部２６の画角の大きさを調整する。抽出部３３は、画角変更後の質問画像から質問側特徴部を再度抽出する。抽出部３３が質問画像から抽出した質問特徴部の特徴点数が下限値以上であれば、抽出部３３が抽出した質問側位置データが処理装置４に送信される。

これにより、検索部５２は、より多くの質問側特徴部に対応した質問側位置データを用いて、質問画像に類似した検索対象画像を検索することができる。したがって、質問画像に類似した検索対象画像の検索精度が向上する。

また、本変形例の工具制御方法には、図１１に示すように、撮像ステップＳ１、抽出ステップＳ２、特徴点数比較ステップＳ２１、画角変更ステップＳ２２、検索ステップＳ３、制御値選択ステップＳ４、及び制御値設定ステップＳ５が含まれている。なお、上記実施形態と同様のステップには、同一符号を付して説明を省略する。

特徴点数比較ステップＳ２１では、画角変更部３７が、抽出部３３が質問画像から抽出した質問側特徴部の特徴点数と、下限値とを比較する。特徴点数が下限値未満である場合（Ｓ２１：Ｎｏ）、画角変更部３７は、画角変更ステップＳ２２を行う。

画角変更ステップＳ２２では、質問画像の画角の大きさを変更する。ここでは、画角変更部３７が、質問画像の画角が大きくなるように撮像部２６の画角の大きさを調整する。そして、抽出ステップＳ２において、抽出部３３が、画角変更後の質問画像から質問側特徴部を再度抽出する。また、特徴点数が下限値以上である場合、抽出部３３が抽出した質問側位置データが処理装置４に送信され、検索ステップＳ３が行われる。

なお、上記では、特徴点数が下限値未満である場合に、質問画像の画角が大きくなるように撮像部２６の画角の大きさを調整しているが、これに限らない。画角変更部３７は、特徴点数と上限値とを比較し、特徴点数が上限値より多い場合、質問画像の画角が小さくなるように撮像部２６の画角の大きさを調整してもよい。これにより、特徴点数が制限されるので、検索ステップＳ３での検索部５２の処理負荷が低減され、検索時間の短縮を図ることができる。なお、質問画像の画角を小さくする方法は、撮像部２６のズーム機能を用いてもよいし、質問画像をトリミングしてもよい。

また、画角変更部３７は、特徴点数と、上限値及び下限値と比較し、比較結果に基づいて質問画像の画角を変更するように構成されていてもよい。

（４．３）第３変形例
本変形例の工具制御システム１では、処理装置４の抽出部５１は、除外部としての機能を有している。

抽出部５１（除外部）は、検索対象画像の集合のうち、共通領域が含まれる複数の重複画像において、複数の重複画像のうち少なくとも１つの重複画像に対して、共通領域に含まれる検索側特徴部を除外する。共通領域とは、複数の検索対象画に共通（オーバーラップ）して写っている領域である。重複画像とは、共通領域が写っている検索対象画像である。

複数の作業対象同士の位置が近接している場合、共通領域が発生しやすくなる。例えば、図１２に示すように、締付部品Ｂ１と締付部品Ｂ２との位置が近接していることによって、第１検索対象画像Ｐ２１と第２検索対象画像Ｐ２２とに共通領域Ａ１が写ることとなる。図１２は、第１検索対象画像Ｐ２１の範囲と第２検索対象画像Ｐ２２の範囲とを概念的に示した製品Ｍ１の外観図である。図１２において、ドットハッチングを付した領域が共通領域Ａ１である。また、図１２において、特徴部（検索側特徴部）をＴ１，Ｔ２，…，Ｔｎで概略的に示している。

抽出部５１は、共通領域Ａ１内に含まれる検索側特徴部（図１２では検索側特徴部Ｔ１，Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔｎ）を、抽出対象から外す。つまり、第１検索対象画像Ｐ２１及び第２検索対象画像Ｐ２２のそれぞれから、共通領域Ａ１内に含まれる検索側特徴部が除外される。

これにより、複数の重複画像において、共通領域Ａ１に含まれる検索側特徴部の混同が抑制され、質問画像に類似した検索対象画像の検索精度が向上する。

また、本変形例の工具制御方法には、図１３に示すように、除外ステップＳ６、抽出ステップＳ７、記憶ステップＳ８、撮像ステップＳ１、抽出ステップＳ２、検索ステップＳ３、制御値選択ステップＳ４、及び制御値設定ステップＳ５が含まれる。なお、上記実施形態と同様のステップには、同一符号を付して説明を省略する。

除外ステップＳ６では、検索対象画像の集合のうち、共通領域が含まれる複数の重複画像において、複数の重複画像のうち少なくとも１つの重複画像に対して、共通領域に含まれる検索側特徴部を除外する。ここでは、抽出部５１（除外部）が、重複画像から共通領域Ａ１に含まれる検索側特徴部を除外する。

抽出ステップＳ７では、抽出部５１が、重複画像を含む複数の検索対象画像の各々から、検索側位置データを抽出する。

記憶ステップＳ８では、抽出部５１が抽出した検索側位置データを検索対象画像に対応付けて位置データ記憶部６２に記憶する。

なお、上記では、重複画像（第１検索対象画像Ｐ２１、第２検索対象画像Ｐ２２）の両方から、共通領域Ａ１に含まれる検索側特徴部を除外しているが、これに限らない。抽出部５１（除外部）は、検索対象画像の集合のうち、共通領域が含まれる複数の重複画像において、複数の重複画像のうち少なくとも１つの重複画像に対して、共通領域に含まれる検索側特徴部を除外する構成であればよい。

複数の作業対象が近接している場合、重複画像において、全領域が共通領域となる場合がある。図１４Ａに、５つの検索対象画像Ｐ２３〜Ｐ２７の範囲を概念的に示した製品Ｍ２の外観図である。検索対象画像Ｐ２３は、締付部品Ｂ３，Ｂ７が含まれており、締付部品Ｂ３の位置を検索側基準点Ｃ２３とする画像である。検索対象画像Ｐ２４は、締付部品Ｂ４，Ｂ７が含まれており、締付部品Ｂ４の位置を検索側基準点Ｃ２４とする画像である。検索対象画像Ｐ２５は、締付部品Ｂ５，Ｂ７が含まれており、締付部品Ｂ５の位置を検索側基準点Ｃ２５とする画像である。検索対象画像Ｐ２６は、締付部品Ｂ６，Ｂ７が含まれており、締付部品Ｂ６の位置を検索側基準点Ｃ２６とする画像である。検索対象画像Ｐ２７は、締付部品Ｂ３〜Ｂ７が含まれており、締付部品Ｂ７の位置を検索側基準点Ｃ２７とする画像である。

検索対象画像Ｐ２３〜Ｐ２６は、一部の領域が共通領域である。検索対象画像Ｐ２７は、全領域が共通領域である。そのため、検索対象画像Ｐ２７の共通領域から検索側特徴部を除外してしまうと、検索対象画像Ｐ２７に含まれる検索側特徴部がなくなってしまう。そこで、抽出部５１（除外部）は、共通領域に含まれる検索側特徴部に対して、１つの重複画像にのみ残し、他の重複画像から除外する。図１４Ｂは、検索対象画像Ｐ２３〜Ｐ２７において、検索側特徴部を含める検索対象領域Ａ２３ａ〜Ａ２７ａを概念的に示した図である。

図１４Ｂに示すように、検索対象画像Ｐ２７の全領域が、検索対象領域Ａ２７ａに相当する。つまり、全領域が共通領域である検索対象画像Ｐ２７からは、検索側特徴部が除外されない。また、検索対象画像Ｐ２３に対応する検索対象領域Ａ２３ａは、検索対象画像Ｐ２３の領域から検索対象画像Ｐ２６，Ｐ２７との共通領域を省き、検索対象画像Ｐ２４との共通領域を含めた領域である。検索対象画像Ｐ２４に対応する検索対象領域Ａ２４ａは、検索対象画像Ｐ２４の領域から検索対象画像Ｐ２３，Ｐ２７との共通領域を省き、検索対象画像Ｐ２５との共通領域を含めた領域である。検索対象画像Ｐ２５に対応する検索対象領域Ａ２５ａは、検索対象画像Ｐ２５の領域から検索対象画像Ｐ２４，Ｐ２７との共通領域を省き、検索対象画像Ｐ２６との共通領域を含めた領域である。検索対象画像Ｐ２６に対応する検索対象領域Ａ２６ａは、検索対象画像Ｐ２６の領域から検索対象画像Ｐ２５，Ｐ２７との共通領域を省き、検索対象画像Ｐ２３との共通領域を含めた領域である。

これにより、検索対象画像Ｐ２３〜Ｐ２７の各々は、検索側特徴部が含まれる検索対象領域Ａ２３ａ〜Ａ２７ａを確保することができる。

また、検索側特徴部を含める検索対象領域は、共通領域を分割することにより決定されてもよい（図１４Ｃ参照）。図１４Ｃでは、検索対象画像Ｐ２３〜Ｐ２７の各々において、検索側特徴部を含める検索対象領域Ａ２３ｂ〜Ａ２７ｂを概念的に示している。

図１４に示す例では、共通領域を重複画像の数で等分している。検索対象画像Ｐ２３〜Ｐ２７に対応する検索対象領域Ａ２３ｂ〜Ａ２７ｂは、検索対象画像Ｐ２３〜Ｐ２７の領域のうち共通領域を、当該共通領域が含まれる検索対象画像（重複画像）の数で等分して一部省いた領域に相当する。

なお、上記では、共通領域を重複画像の数で等分しているが、これに限らない。検索対象領域の大きさ（面積）、含まれる検索側特徴部の数等に基づいて、共通領域を分割する割合が決定されてもよい。

（４．４）その他の変形例
以下に、その他の変形例を列挙する。

上述した例では、工具２が、質問画像から質問側位置データを抽出する抽出部を備えているが、この構成に限らない。工具２から処理装置４へ質問画像を送信し、処理装置４の抽出部５１が質問画像から質問側位置データを抽出するように構成されていてもよい。これにより、工具２の構成の簡略化を図ることができる。

また、工具２が、検索部５２、トルク選択部５３、位置データ記憶部６２、及び目標トルク値記憶部６３を備えていてもよい。この場合、工具２において質問画像に類似した検索対象画像を検索し、検索結果に応じた目標トルク値をトルク設定値に設定することができる。

また、実施形態及び各変形例の工具制御システム１，１Ａ，１Ｂと同様の機能は、工具制御方法、（コンピュータ）プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。プログラムは、コンピュータシステムに、実施形態又は各変形例の工具制御方法を実行させるためのプログラムである。

また、工具制御システム１，１Ａ，１Ｂは、制御部３及び制御部５等に、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、制御部３の抽出部３３、補正部３６、画角変更部３７、及び制御部５の抽出部５１、検索部５２等の機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。

（まとめ）
第１態様に係る工具制御方法は、工具（２）が有する撮像部（２６）が作業対象（Ｂ１〜Ｂ７）を撮像した質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した画像を、検索対象画像（Ｐ２１〜Ｐ２７）の集合から検索し、検索結果に応じて工具（２）を制御する。工具制御方法は、抽出ステップ（Ｓ２）と、検索ステップ（Ｓ３）と、を含む。抽出ステップ（Ｓ２）では、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）における質問側基準点（Ｃ１１）と質問側特徴部（Ｔ１〜Ｔｎ）との位置関係を示す質問側位置データを抽出する。検索ステップ（Ｓ３）では、質問側位置データと、検索対象画像（Ｐ２１〜Ｐ２７）における検索側基準点（Ｃ２１〜Ｃ２７）と検索側特徴部（Ｔ１〜Ｔｎ）との位置関係を示す検索側位置データとの比較結果に基づいて、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した画像を検索対象画像（Ｐ２１〜Ｐ２７）の集合から検索する。

この態様によれば、検索ステップ（Ｓ３）において、抽出ステップ（Ｓ２）で抽出された質問側位置データを用いて、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した画像を検索対象画像（Ｐ２１〜Ｐ２７）の集合から検索している。したがって、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した検索対象画像（Ｐ２１〜Ｐ２７）の検索精度を向上させることができ、作業対象（Ｂ１〜Ｂ７）の特定精度の向上を図ることができる。

第２態様に係る工具制御方法では、第１態様において、質問側基準点（Ｃ１１）は、工具（２）の一部に対応する位置である。

この態様によれば、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）において質問側基準点（Ｃ１１）の位置が固定される。したがって、質問側基準点（Ｃ１１）の特定が容易となる。

第３態様に係る工具制御方法では、第１又は第２態様において、質問側位置データは、質問側基準点（Ｃ１１）と質問側特徴部（Ｔ１〜Ｔｎ）との間の距離を示す質問側距離データを含む。検索側位置データは、検索側基準点（Ｃ２１〜Ｃ２７）と検索側特徴部（Ｔ１〜Ｔｎ）との間の距離を示す検索側距離データを含む。

この態様によれば、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）の向きに関わらず質問側距離データが一定となるので、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した検索対象画像（Ｐ２１〜Ｐ２７）の検索精度を向上させることができ、作業対象（Ｂ１〜Ｂ７）の特定精度の向上を図ることができる。

第４態様に係る工具制御方法では、第１〜第３態様のいずれかにおいて、質問側位置データは、質問側基準点（Ｃ１１）に対する質問側特徴部（Ｔ１〜Ｔｎ）の方向を示す質問側方向データを含む。検索側位置データは、検索側基準点（Ｃ２１〜Ｃ２７）に対する検索側特徴部（Ｔ１〜Ｔｎ）の方向を示す検索側方向データを含む。

この態様によれば、質問側特徴部（Ｔ１〜Ｔｎ）に対応する検索側特徴部（Ｔ１〜Ｔｎ）の特定精度が向上するので、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した検索対象画像（Ｐ２１〜Ｐ２７）の検索精度を向上させることができ、作業対象（Ｂ１〜Ｂ７）の特定精度の向上を図ることができる。

第５態様に係る工具制御方法は、第１〜第４態様のいずれかにおいて、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）を回転させるような補正を行う補正ステップ（Ｓ１１）を含む。

この態様によれば、基準方向に対する質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）の方向のずれを補正することができるので、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した検索対象画像（Ｐ２１〜Ｐ２７）の検索精度を向上させることができ、作業対象（Ｂ１〜Ｂ７）の特定精度の向上を図ることができる。

第６態様に係る工具制御方法は、第１〜第５態様のいずれかにおいて、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）の画角の大きさを変更する画角変更ステップ（Ｓ２２）を含む。

この態様によれば、より多くの質問側特徴部（Ｔ１〜Ｔｎ）に対応した質問側位置データを用いて、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した検索対象画像（Ｐ２１〜Ｐ２７）を検索することができるので、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した検索対象画像（Ｐ２１〜Ｐ２７）の検索精度を向上させることができ、作業対象（Ｂ１〜Ｂ７）の特定精度の向上を図ることができる。

第７態様に係る工具制御方法は、第１〜第６態様のいずれかにおいて、除外ステップ（Ｓ６）を含む。除外ステップ（Ｓ６）では、検索対象画像（Ｐ２１〜Ｐ２７）の集合のうち、共通領域（Ａ１）が含まれる複数の重複画像において、複数の重複画像のうち少なくとも１つの重複画像に対して、共通領域（Ａ１）に含まれる検索側特徴部（Ｔ１〜Ｔｎ）を除外する。

この態様によれば、共通領域（Ａ１）に含まれる検索側特徴部（Ｔ１〜Ｔｎ）の混同が抑制されるので、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した検索対象画像（Ｐ２１〜Ｐ２７）の検索精度を向上させることができ、作業対象（Ｂ１〜Ｂ７）の特定精度の向上を図ることができる。

第８態様に係るプログラムは、コンピュータシステムに、第１〜第７態様のいずれかの工具制御方法を実行させる。

この態様によれば、検索ステップ（Ｓ３）において、抽出ステップ（Ｓ２）で抽出された質問側位置データを用いて、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した画像を検索対象画像（Ｐ２１〜Ｐ２７）の集合から検索している。したがって、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した検索対象画像（Ｐ２１〜Ｐ２７）の検索精度を向上させることができ、作業対象（Ｂ１〜Ｂ７）の特定精度の向上を図ることができる。

第９態様に係る工具制御システム（１，１Ａ，１Ｂ）は、工具（２）が有する撮像部（２６）が作業対象（Ｂ１〜Ｂ７）を撮像した質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した画像を、検索対象画像（Ｐ２１〜Ｐ２７）の集合から検索し、検索結果に応じて工具（２）を制御する。工具制御システム（１，１Ａ，１Ｂ）は、抽出部（３３）と、検索部（５２）と、を備える。抽出部（３３）は、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）における質問側基準点（Ｃ１１）と質問側特徴部（Ｔ１〜Ｔｎ）との位置関係を示す質問側位置データを抽出する。検索部（５２）は、質問側位置データと、検索対象画像（Ｐ２１〜Ｐ２７）における検索側基準点（Ｃ２１〜Ｃ２７）と検索側特徴部（Ｔ１〜Ｔｎ）との位置関係を示す検索側位置データとの比較結果に基づいて、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した画像を検索対象画像（Ｐ２１〜Ｐ２７）の集合から検索する。

この態様によれば、検索部（５２）は、抽出部（３３）で抽出された質問側位置データを用いて、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した検索対象画像（Ｐ２１〜Ｐ２７）の検索精度を向上させることができ、作業対象（Ｂ１〜Ｂ７）の特定精度の向上を図ることができる。

第１０態様に係る工具（２）は、第９態様の工具制御システム（１，１Ａ，１Ｂ）によって制御され、作業対象（Ｂ１〜Ｂ７）を撮像する撮像部（２６）を有する。

この態様によれば、工具制御システム（１，１Ａ，１Ｂ）において、質問画像（Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ）に類似した検索対象画像（Ｐ２１〜Ｐ２７）の検索精度を向上させることができ、作業対象（Ｂ１〜Ｂ７）の特定精度の向上を図ることができる。

１，１Ａ，１Ｂ 工具制御システム
２ 工具
２６ 撮像部
３３ 抽出部
５２ 検索部
Ｓ２ 抽出ステップ
Ｓ３ 検索ステップ
Ｓ６ 除外ステップ
Ｓ１１ 補正ステップ
Ｓ２２ 画角変更ステップ
Ｂ１〜Ｂ７ 作業対象
Ｐ１１，Ｐ１１ａ，Ｐ１１ｂ 質問画像
Ｐ２１〜Ｐ２７ 検索対象画像
Ｃ１１ 質問側基準点
Ｔ１〜Ｔｎ 質問側特徴部，検索側特徴部
Ｃ２１〜Ｃ２７ 検索側基準点
Ａ１ 共通領域

Claims (10)

1. 工具が有する撮像部が作業対象を撮像した質問画像に類似した画像を、検索対象画像の集合から検索し、検索結果に応じて前記工具を制御する工具制御方法であって、
   前記質問画像における質問側基準点と質問側特徴部との位置関係を示す質問側位置データを抽出する抽出ステップと、
   前記質問側位置データと、前記検索対象画像における検索側基準点と検索側特徴部との位置関係を示す検索側位置データとの比較結果に基づいて、前記質問画像に類似した画像を前記検索対象画像の集合から検索する検索ステップと、を含む
   工具制御方法。
2. 前記質問側基準点は、前記工具の一部に対応する位置である
   請求項１に記載の工具制御方法。
3. 前記質問側位置データは、前記質問側基準点と前記質問側特徴部との間の距離を示す質問側距離データを含み、
   前記検索側位置データは、前記検索側基準点と前記検索側特徴部との間の距離を示す検索側距離データを含む
   請求項１又は２に記載の工具制御方法。
4. 前記質問側位置データは、前記質問側基準点に対する前記質問側特徴部の方向を示す質問側方向データを含み、
   前記検索側位置データは、前記検索側基準点に対する前記検索側特徴部の方向を示す検索側方向データを含む
   請求項１〜３のいずれか１項に記載の工具制御方法。
5. 前記質問画像を回転させるような補正を行う補正ステップを含む
   請求項１〜４のいずれか１項に記載の工具制御方法。
6. 前記質問画像の画角の大きさを変更する画角変更ステップを含む
   請求項１〜５のいずれか１項に記載の工具制御方法。
7. 前記検索対象画像の集合のうち、共通領域が含まれる複数の重複画像において、前記複数の重複画像のうち少なくとも１つの重複画像に対して、前記共通領域に含まれる前記検索側特徴部を除外する除外ステップを含む
   請求項１〜６のいずれか１項に記載の工具制御方法。
8. コンピュータシステムに、請求項１〜７のいずれか１項に記載の工具制御方法を実行させるプログラム。
9. 工具が有する撮像部が作業対象を撮像した質問画像に類似した画像を、検索対象画像の集合から検索し、検索結果に応じて前記工具を制御する工具制御システムであって、
   前記質問画像における質問側基準点と質問側特徴部との位置関係を示す質問側位置データを抽出する抽出部と、
   前記質問側位置データと、前記検索対象画像における検索側基準点と検索側特徴部との位置関係を示す検索側位置データとの比較結果に基づいて、前記質問画像に類似した画像を前記検索対象画像の集合から検索する検索部と、を備える
   工具制御システム。
10. 請求項９に記載の工具制御システムによって制御される工具であって、
    前記作業対象を撮像する前記撮像部を有する
    工具。

Images