JP2021160787A

JP2021160787A - 状態判定システム、状態判定方法、及び状態判定プログラム

Info

Publication number: JP2021160787A
Application number: JP2020064758A
Authority: JP
Inventors: 聡黒田; Satoshi Kuroda; 公平大西; Kohei Onishi; 貴弘溝口; Takahiro Mizoguchi
Original assignee: Keio University; Information System Engineering Inc; Motion LIB Inc
Current assignee: Keio University; Information System Engineering Inc; Motion LIB Inc
Priority date: 2020-03-31
Filing date: 2020-03-31
Publication date: 2021-10-11
Anticipated expiration: 2040-03-31
Also published as: JP6807589B1

Abstract

【課題】破損に関する検査を行うに際し、客観的な指標に基づいた、安定した精度での検査を実現する。
【解決手段】状態判定システムＳは、動作制御部１１１と、パラメータ取得部１１２と、判定部１１４と、通知部２１４と、を備える。動作制御部１１１は、ユーザの操作に基づいて状態判定装置１の動作を制御することにより、状態判定装置１に検査対象物を把持させる。パラメータ取得部１１２は、動作制御部１１１による状態判定装置１の制御で用いた、力触覚に関する制御パラメータを取得する。判定部１１４は、パラメータ取得部１１２が取得した力触覚に関する制御パラメータに基づいて、検査対象物の破損に関する判定をする。通知部２１４は、判定部１１４の判定結果をユーザに対して通知する。
【選択図】図１

Description

本発明は、状態判定システム、状態判定方法、及び状態判定プログラムに関する。

従来、様々な物品を対象として、破損に関する検査が行われている。例えば、食品等の内容物を包装する包装容器を対象として破損に関する検査を行うことにより、包装容器の空気漏れ等を、製品が消費者のもとに届く前に発見でき、製品としての品質を保証することが可能となる。

このような包装容器等を対象とした検査についての技術の一例が、特許文献１に開示されている。特許文献１に開示の技術では、内容物を包装後の包装容器に対して、重量や温度を測定するセンサや、電磁波等により異物の混入を測定するセンサといった様々なセンサを用いることにより、多くの観点から検査を行うことができる。

特開２０１１−２５３４６９号公報

しかしながら、特許文献１に開示されているような検査を行うためには、様々なセンサや検査用のコンベアといった大掛かりな設備が必要となる。この点、工場等での出荷段階での検査では、製品毎に大掛かりな設備を設置することは比較的容易である。これに対して、輸送途中で様々な製品についての破損を発見する必要がある、物流センターや小売店舗等での検査では、大掛かりな設備を設置することは現実的ではない。

このような事情から、物流センター等では、仕分けやピッキングのタイミングで、人手による検査が行われる。しかしながら、人手による検査では、検査精度が属人的な感覚（すなわち、作業者の主観）に依存することになる。このように、作業者の主観に依存して検査が行われた場合、その検査における判断の根拠を、客観的に説明することは困難である。また、作業者の主観に依存した検査では、例えば、作業者毎の熟練度の相違や、作業者の体調といった要因が影響して、検査精度が安定しないおそれもある。このように、検査精度が安定しない場合、検査結果に誤りが生じ、包装容器が破損しているにも関わらず消費者のもとに届くようなこととなり、最終的に、消費者からのクレームの発生等の問題が生じることになる。

本発明は、このような状況に鑑みてなされたものである。そして、本発明の課題は、破損に関する検査を行うに際し、客観的な指標に基づいた、安定した精度での検査を実現することである。

上記課題を解決するため、本発明の一実施形態に係る状態判定システムは、
ユーザの操作に基づいて把持装置の動作を制御することにより、前記把持装置に検査対象物を把持させる動作制御手段と、
前記動作制御手段による前記把持装置の制御で用いた、力触覚に関する制御パラメータを取得するパラメータ取得手段と、
前記パラメータ取得手段が取得した前記力触覚に関する制御パラメータに基づいて、前記検査対象物の破損に関する判定をする判定手段と、
前記判定手段の判定結果を前記ユーザに対して通知する通知手段と、
を備えることを特徴とする。

本発明によれば、破損に関する検査を行うに際し、客観的な指標に基づいた、安定した精度での検査を実現することができる。

本発明の一実施形態に係る状態判定システムの全体構成の一例を示すブロック図である。制御対象装置の動作の制御の基本的原理の概念を示す模式図である。力・触覚伝達機能が定義された場合の制御の概念を示す模式図である。マスタ・スレーブシステムの概念を示す模式図である。動作の抽出結果として記憶される情報例を示す模式図である。周波数領域におけるスケーリングを用いた力・触覚伝達機能の制御の概念を示す模式図である。状態判定装置の基本的構成を示す模式図である。状態判定処理を実現するための、制御ユニットのハードウェア及び機能ブロックの一例を示すブロック図である。状態判定処理を実現するための、ウェアラブル端末のハードウェア及び機能ブロックの一例を示すブロック図である。状態判定処理を実現するための、サーバ装置のハードウェア及び機能ブロックの一例を示すブロック図である。状態判定処理における前処理の流れを説明するフローチャートである。状態判定処理における把持開始処理の流れを説明するフローチャートである。状態判定処理における判定処理の流れを説明するフローチャートである。検査対象物が破損していないと判定された場合の通知例を示す模式図である。検査対象物が破損していると判定された場合の通知例を示す模式図である。状態判定処理における把持終了処理の流れを説明するフローチャートである。

以下、添付の図面を参照して本発明の実施形態の一例について説明する。

［システム構成］
図１は、本実施形態に係る状態判定システムＳの全体構成を示すブロック図である。図１に示すように、状態判定システムＳは、状態判定装置１、ウェアラブル端末２、及びサーバ装置３を含む。また、図中には、ユーザＵ、ネットワークＮ、及び検査対象物４も図示する。

これら状態判定装置１、ウェアラブル端末２、及びサーバ装置３は、それぞれ相互に通信可能に接続される。これら各装置の間での通信は、任意の通信方式に準拠して行われてよく、その通信方式は特に限定されない。また、これら各装置の間での通信は、無線通信であってもよく、有線通信であってもよく、あるいは、有線通信と無線通信の組み合わせであってもよい。加えて、これら各装置の間での通信は、装置間で直接行われてもよいし、ネットワークＮや、図示しない中継装置を介して行われてもよい。ネットワークＮは、例えば、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）や、インターネットや、携帯電話網といったネットワークにより実現される。

状態判定装置１は、ユーザＵによる検査対象物４の破損に関する検査を補助する装置である。状態判定装置１は、ユーザＵの操作に基づいて、検査対象物４を把持する把持装置として機能すると共に、その把持において用いられた力触覚に関する制御パラメータに基づいて、検査対象物４が破損しているか否かを判定する。
以下では、説明のための一例として、状態判定装置１は、ユーザＵによる近傍からの操作、又は遠隔からの操作（すなわち、テレオペレーション）が可能なロボットマニピュレーターで実現されることを想定する。より詳細には、状態判定装置１は、検査対象物４を把持するための把持機構を含むと共に、ユーザＵが携帯して使用可能な可搬型のリーチャー（すなわち、マジックハンド）であることを想定する。このリーチャーとしての機能を実現するために、状態判定装置１は、ユーザＵの操作を受け付ける操作機構５５と、操作機構５５をマスタ装置として動作させるためのマスタ側ユニット５０と、検査対象物４を把持する把持機構６５と、把持機構６５をスレーブ装置として動作させるためのスレーブ側ユニット６０と、これらの動作を統合的に制御する制御ユニット１０とを含む。

状態判定装置１では、制御ユニット１０を介して、マスタ側ユニット５０と、スレーブ側ユニット６０とが、相互に通信すると共に、制御ユニット１０が備える動作制御部が動作の制御を行うことによって、一方がマスタ装置（ここでは、ユーザＵの操作を受け付ける装置）として動作し、他方がスレーブ装置（ここでは、ロボットマニピュレーターとして検査対象物４を把持する装置）として動作する。この場合に、ユーザＵは、スレーブ装置の動作を、直接又は動画等により観察しながらマスタ装置を操作することにより、近傍からの操作、又は遠隔操作を実現する。また、このユーザによる操作時には、状態判定装置１が備える制御ユニット１０が動作の制御を行うことによって、マスタ装置の動作（ここでは、操作機構５５が受け付けたユーザＵによる操作）をスレーブ装置に伝達すると共に、スレーブ装置に対する物体からの反力（ここでは、把持機構６５の把持に対する検査対象物４からの反力）の入力をマスタ装置にフィードバックする機能（すなわち、バイラテラル制御機能）が実現される。

ここで、操作機構５５の具体的な構成は特に限定されないが、例えば、ユーザＵの手等による、握る、滑らせる（すなわち、スライドさせる）、捻る、あるいは押す等の、力触覚を伴う操作を受け付ける機構により実現することができる。また、同様に、把持機構６５の具体的な構成は特に限定されないが、例えば、上述したようなユーザＵの力触覚を伴う操作に応じて、検査対象物４を把持する部材が、開閉する、回転する、あるいは、昇降する等の力触覚を伴う把持を行う機構により実現することができる。
ただし、これら操作機構５５及び把持機構６５の構成は例示に過ぎず、ユーザＵの操作における力触覚及び把持における力触覚を、制御パラメータとしてマスタ装置とスレーブ装置間で相互に伝達可能とする構成であればよい。すなわち、これら操作機構５５及び把持機構６５の具体的な構成は、上述の例示には特に限定されない。

ウェアラブル端末２は、ユーザＵに対して、検査対象物４の破損に関する検査を補助するための各種の情報（例えば、状態判定装置１による判定結果や、判定結果に対応した作業指示等）や、ユーザインタフェース等を通知する装置である。ウェアラブル端末２は、例えば、ユーザＵの頭部に装着されて使用されるヘッドマウントディスプレイ（ＨＭＤ：ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）により実現される。このようなヘッドマウントディスプレイでは、仮想現実（ＶＲ：ＶｉｒｔｕａｌＲｅａｌｉｔｙ）や拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）、あるいは、複合現実（ＭＲ：ＭｉｘｅｄＲｅａｌｉｔｙ）といった技術を利用して、ユーザＵに対する通知を行うことが可能である。例えば、拡張現実の技術を利用する場合、透過型のディスプレイを介してユーザＵが視認できる現実の景色と、透過型ディスプレイに表示される仮想現実（例えば、仮想的に生成された画像やテキスト等を含む）とを重畳して、ユーザＵに対して通知をすることができる。

また、ウェアラブル端末２による通知は、このようなウェアラブル端末２が備えるディスプレイへの表示のみならず、ウェアラブル端末２が備えるスピーカからの音（音声や警告音等）の出力や、ウェアラブル端末２が備える警告灯の点滅等により実現することもできる。
なお、ウェアラブル端末２によるこれらの処理は、ウェアラブル端末２と、状態判定装置１と、サーバ装置３と、が通信を行い、これらが協働することによって実現される。

サーバ装置３は、状態判定装置１と、ウェアラブル端末２とにより行われる処理に用いる情報を管理したり、画像認識により検査対象物４を識別したりするサーバである。なお。図中では、サーバ装置３を単一のサーバ装置として図示するが、例えば、クラウドサーバ等の形態で複数のサーバ装置によってサーバ装置３を実現するようにしてもよい。

検査対象物４は、ユーザＵによる破損に関する検査の対象となる物品である。検査対象物４は、特に限定されないが、以下では説明のための一例として、検査対象物４は、食品（例えば、ポテトチップス等のお菓子）等を内容物として包装する包装容器であることを想定する。ここで、このような包装容器では、食品等の劣化（例えば、酸化）や、破損を防止するために、酸素に代えて二酸化炭素や窒素ガスが内容物として充填されている。本実施形態では、このような包装容器を検査対象物４として破損に関する検査を行うことにより、内容物である、二酸化炭素や窒素ガスの漏れ（いわゆる空気漏れ）を検出したり、食品等が流体のような場合に、この流体である食品等の漏れを検出したりすることができる。これにより、空気漏れ等に伴う内容物の劣化や内容物の流出を、製品が消費者のもとに届く前に発見でき、製品としての品質を保証することが可能となる。

次に、このような構成を有する状態判定システムＳによる、検査対象物４の破損に関する検査を補助するための処理の概要について説明する。
まず、状態判定システムＳは、ユーザＵの操作に基づいて状態判定装置１の動作を制御（ここでは、バイラテラル制御機能による制御）することにより、状態判定装置１に検査対象物４を把持させる。また、状態判定システムＳは、状態判定装置１の制御で用いた、力触覚に関する制御パラメータを取得する。さらに、状態判定システムＳは、取得した力触覚に関する制御パラメータに基づいて、検査対象物の破損に関する判定をする。そして、状態判定システムＳは、判定部１１４の判定結果をユーザに対して通知する。

このように、状態判定システムＳは、検査対象物４を状態判定装置１で把持した際の力触覚に関する制御パラメータに基づいて、客観的に検査対象物４の破損に関する判定をする。すなわち、状態判定システムＳは、作業における感覚（ここでは、力触覚）をデータ化することで作業を見える化することができる。これにより、検査精度が属人的な感覚（すなわち、作業者の主観）に依存することなく、安定した精度で検査を行うことが可能となる。また、このような構成であることから、様々なセンサや検査用のコンベアといった大掛かりな設備を必要とすることなく、簡便に状態判定システムＳを実現できる。そのため、様々な製品について、輸送途中での破損を発見するための物流センターや小売店舗等で行われる検査に適用することが可能となる。
すなわち、状態判定システムＳによれば、破損に関する検査を行うに際し、客観的な指標に基づいた、安定した精度での検査を実現することができる。

［制御対象装置に対する動作制御］
次に、上述した状態判定システムＳでの具体的な処理の説明の前提として、本実施形態における、制御対象装置（ここでは、状態判定装置１が備える、マスタ側ユニット５０、操作機構５５、スレーブ側ユニット６０、及び把持機構６５）に対する動作制御の基本的原理について説明する。

なお、人間の動作（すなわち、人間の身体的行為）は、１つの関節等の個別の「機能」が単独で、あるいは組み合わされて構成されるものである。
したがって、以下、本実施形態において、「動作」とは、人間の身体における部位の個別の「機能」を構成要素として実現される統合的な機能を表すものとする。例えば、状態判定装置１に対する操作を伴う動作（例えば、手によって状態判定装置１が備える操作機構５５を操作させる動作）は、手の各指や手首、及びこれらに連結する腕や肩の関節等の機能を構成要素とする統合的な機能である。

（基本的原理）
本実施形態における動作の制御の基本的原理は、どのような動作も力源と速度（位置）源及び動作を表す変換の三要素で数理的に表現できることから、変換及び逆変換により定義される変数群に対し、双対関係にある理想力源及び理想速度（位置）源より制御エネルギーを制御対象のシステムに供給することで、抽出した動作を構造化し、再構築あるいは拡張増幅し動作を可逆的に自動実現（再現）する、というものである。

図２は、本実施形態における制御対象装置の動作の制御の基本的原理の概念を示す模式図である。
図２に示す基本的原理は、人間の動作を実現するために利用可能なアクチュエータ（ここでは、状態判定装置１が備える把持機構６５を動作させるためのアクチュエータ）の制御則を表しており、アクチュエータの現在位置を入力として、位置（又は速度）あるいは力の少なくとも一方の領域における演算を行うことにより、アクチュエータの動作を決定するものである。
すなわち、本実施形態における制御対象装置の動作の制御の基本的原理は、制御対象システムＣＳと、機能別力・速度割当変換ブロックＦＴと、理想力源ブロックＦＣあるいは理想速度（位置）源ブロックＰＣの少なくとも１つと、逆変換ブロックＩＦＴとを含む制御則として表される。

制御対象システムＣＳは、アクチュエータによって作動するロボット（ここでは、状態判定装置１）であり、加速度等に基づいてアクチュエータの制御を行う。ここで、制御対象システムＣＳは、人間の身体における１つ又は複数の部位の機能を実現するものであるが、その機能を実現するための制御則が適用されていれば、具体的な構成は必ずしも人間の身体を模した形態でなくてもよい。例えば、制御対象システムＣＳは、アクチュエータによってリンクに一次元のスライド動作を行わせるロボットとすることができる。

機能別力・速度割当変換ブロックＦＴは、制御対象システムＣＳの機能に応じて設定される速度（位置）及び力の領域への制御エネルギーの変換を定義するブロックである。具体的には、機能別力・速度割当変換ブロックＦＴでは、制御対象システムＣＳの機能の基準となる値（基準値）と、アクチュエータの現在位置とを入力とする座標変換が定義されている。この座標変換は、一般に、基準値及び現在速度（位置）を要素とする入力ベクトルを速度（位置）の制御目標値を算出するための速度（位置）からなる出力ベクトルに変換すると共に、基準値及び現在の力を要素とする入力ベクトルを力の制御目標値を算出するための力からなる出力ベクトルに変換するものである。具体的には、機能別力・速度割当変換ブロックＦＴにおける座標変換は、次式（１）及び（２）のように一般化して表される。

ただし、式（１）において、ｘ’₁〜ｘ’_n（ｎは１以上の整数）は速度の状態値を導出するための速度ベクトルであり、ｘ’_a〜ｘ’_m（ｍは１以上の整数）は、基準値及びアクチュエータの作用に基づく速度（アクチュエータの移動子の速度又はアクチュエータが移動させる対象物の速度）を要素とするベクトル、ｈ_1a〜ｈ_nmは機能を表す変換行列の要素である。また、式（２）において、ｆ’’₁〜ｆ’’_n（ｎは１以上の整数）は力の状態値を導出するための力ベクトルであり、ｆ’’_a〜ｆ’’_m（ｍは１以上の整数）は、基準値及びアクチュエータの作用に基づく力（アクチュエータの移動子の力又はアクチュエータが移動させる対象物の力）を要素とするベクトルである。

機能別力・速度割当変換ブロックＦＴにおける座標変換を、実現する機能に応じて設定することにより、各種動作を実現したり、スケーリングを伴う動作の再現を行ったりすることができる。
すなわち、本実施形態における制御対象装置の動作の制御の基本的原理では、機能別力・速度割当変換ブロックＦＴにおいて、アクチュエータ単体の変数（実空間上の変数）を、実現する機能を表現するシステム全体の変数群（仮想空間上の変数）に“変換”し、速度（位置）の制御エネルギーと力の制御エネルギーとに制御エネルギーを割り当てる。そのため、アクチュエータ単体の変数（実空間上の変数）のまま制御を行う場合と比較して、速度（位置）の制御エネルギーと力の制御エネルギーとを独立に与えることが可能となっている。

理想力源ブロックＦＣは、機能別力・速度割当変換ブロックＦＴによって定義された座標変換に従って、力の領域における演算を行うブロックである。理想力源ブロックＦＣにおいては、機能別力・速度割当変換ブロックＦＴによって定義された座標変換に基づく演算を行う際の力に関する目標値が設定されている。この目標値は、実現される機能に応じて固定値又は可変値として設定される。例えば、基準値が示す機能と同様の機能を実現する場合には、目標値としてゼロを設定したり、スケーリングを行う場合には、再現する機能を示す情報を拡大・縮小した値を設定したりできる。

理想速度（位置）源ブロックＰＣは、機能別力・速度割当変換ブロックＦＴによって定義された座標変換に従って、速度（位置）の領域における演算を行うブロックである。理想速度（位置）源ブロックＰＣにおいては、機能別力・速度割当変換ブロックＦＴによって定義された座標変換に基づく演算を行う際の速度（位置）に関する目標値が設定されている。この目標値は、実現される機能に応じて固定値又は可変値として設定される。例えば、基準値が示す機能と同様の機能を実現する場合には、目標値としてゼロを設定したり、スケーリングを行う場合には、再現する機能を示す情報を拡大・縮小した値を設定したりできる。

逆変換ブロックＩＦＴは、速度（位置）及び力の領域の値を制御対象システムＣＳへの入力の領域の値（例えば電圧値又は電流値等）に変換するブロックである。
このような基本的原理により、制御対象システムＣＳのアクチュエータにおける位置の情報が機能別力・速度割当変換ブロックＦＴに入力されると、位置の情報に基づいて得られる速度（位置）及び力の情報を用いて、機能別力・速度割当変換ブロックＦＴにおいて、機能に応じた位置及び力の領域それぞれの制御則が適用される。そして、理想力源ブロックＦＣにおいて、機能に応じた力の演算が行われ、理想速度（位置）源ブロックＰＣにおいて、機能に応じた速度（位置）の演算が行われ、力及び速度（位置）それぞれに制御エネルギーが分配される。

理想力源ブロックＦＣ及び理想速度（位置）源ブロックＰＣにおける演算結果は、制御対象システムＣＳの制御目標を示す情報となり、これらの演算結果が逆変換ブロックＩＦＴにおいてアクチュエータの入力値とされて、制御対象システムＣＳに入力される。
その結果、制御対象システムＣＳのアクチュエータは、機能別力・速度割当変換ブロックＦＴによって定義された機能に従う動作を実行し、目的とするロボットの動作が実現される。
すなわち、本実施形態においては、ロボット（ここでは、状態判定装置１）によって所定の行為時の人間の動作をより適切に実現することが可能となる。

（定義される機能例）
次に、機能別力・速度割当変換ブロックＦＴによって定義される機能の具体例について説明する。
機能別力・速度割当変換ブロックＦＴでは、入力されたアクチュエータの現在位置に基づいて得られる速度（位置）及び力を対象とした座標変換（実現する機能に対応した実空間から仮想空間への変換）が定義されている。
機能別力・速度割当変換ブロックＦＴでは、このような現在位置から速度（位置）及び力と、機能の基準値としての速度（位置）及び力とを入力として、速度（位置）及び力それぞれについての制御則が加速度次元において適用される。
すなわち、アクチュエータにおける力は質量と加速度との積で表され、アクチュエータにおける速度（位置）は加速度の積分によって表される。そのため、加速度の領域を介して、速度（位置）及び力を制御することで、アクチュエータの現在位置を取得して、目的とする機能を実現することができる。

以下、各種機能の具体的な例を説明する。
（力・触覚伝達機能）
図３は、機能別力・速度割当変換ブロックＦＴにおいて力・触覚伝達機能が定義された場合の制御の概念を示す模式図である。また、図４は、力・触覚伝達機能が適用されるマスタ装置（ここでは、状態判定装置１が備える、マスタ側ユニット５０、及び操作機構５５）及びスレーブ装置（ここでは、状態判定装置１が備える、状態判定装置１が備える、スレーブ側ユニット６０、及び把持機構６５）を含むマスタ・スレーブシステムの概念を示す模式図である。

図４に示すように、機能別力・速度割当変換ブロックＦＴによって定義される機能として、マスタ装置の動作をスレーブ装置に伝達すると共に、スレーブ装置に対する物体（例えば、検査対象物４）からの反力の入力をマスタ装置にフィードバックする機能（バイラテラル制御機能）を実現することができる。
この場合、機能別力・速度割当変換ブロックＦＴにおける座標変換は、次式（３）及び（４）として表される。

ただし、式（３）において、ｘ’_pは速度（位置）の状態値を導出するための速度、ｘ’_fは力の状態値に関する速度である。また、ｘ’_mは基準値（マスタ装置からの入力）の速度（マスタ装置の現在位置の微分値）、ｘ’_sはスレーブ装置の現在の速度（現在位置の微分値）である。また、式（４）において、ｆ_pは速度（位置）の状態値に関する力、ｆ_fは力の状態値を導出するための力である。また、ｆ_mは基準値（マスタ装置からの入力）の力、ｆ_sはスレーブ装置の現在の力である。

（動作の抽出機能）
次に、本実施形態によって実現される人間の動作の抽出機能について詳細に説明する。
（基本原理）として上述したようにすれば、所定の機構のロボット（例えば、人間の身体の機能に対応する機構のロボット）を構成し、人間の動作をこのロボットに追従させて、その際のこのロボットの時系列の動作を検出することで、人間の動作を抽出することが可能となる。

例えば、図１に示すような状態判定装置１の場合、人間が手を動かして状態判定装置１を操作する動作に追従して、状態判定装置１が備える複数のアクチュエータ（後述の図７にて図示する。）それぞれが動いた際の、それぞれのアクチュエータの位置を時系列に複数の位置センサ（後述の図７にて図示する。）で検出し、これらの位置を記憶装置に記憶しておく。
この場合に、それぞれのアクチュエータの位置の検出結果に代えて、機能別力・速度割当変換ブロックＦＴにおいて座標変換結果として得られる状態値を導出するための各値（例えば、時系列で算出された式（４）の左辺の各値）を記憶装置に記憶しておくこととしてもよい。

図５は、動作の抽出結果として記憶される情報例を示す模式図であり、図５（ａ）は複数のアクチュエータ（ここでは、アクチュエータＡ１〜Ａ４）の時系列の位置が記憶された場合、図５（ｂ）は時系列の式（４）の座標変換結果が記憶された場合を示している。
図５（ａ）を参照すると、例えば、アクチュエータＡ１について、時刻ｔ１では位置ｐ１、時刻ｔ２では位置ｐ２、時刻ｔ３では位置ｐ３・・・と時系列の位置が記憶されている。
また、図５（ｂ）を参照すると、例えば、座標変換結果ｘ’’_a1について、時刻ｔ１では座標変換結果ｑ１、時刻ｔ２では座標変換結果ｑ２、時刻ｔ３では座標変換結果ｑ３・・・と時系列の値が記憶されている。
これにより、人間が一度だけ実際に所定の行為における所定の動作を行えば、それ以降、この所定の動作を行わなくても、所定の動作の学習及び再現機能等の動作をロボットによって再現することができる。また、この所定の動作において用いられた力触覚に関する制御パラメータをログとして保存しておくことができる。

（スケーリング機能）
上述の力・触覚伝達機能において、位置、力及び時間のスケーリング機能をさらに実現することができる。
スケーリング機能とは、基準となる制御に対して、出力される位置、力あるいは時間のスケールを拡大あるいは縮小する機能である。スケーリング機能によって、例えば、マスタ装置の動きの大きさを縮小してスレーブ装置で再現したり、マスタ装置の動きの強さ（力）を強めてスレーブ装置で再現したり、あるいは、マスタ装置の動きの速度を低下させてスレーブ装置で再現したりすることができる。また、記憶装置に記憶された位置又は力の少なくとも一方の情報にスケーリング機能を用いることで、例えば、記憶された動きの大きさを縮小してスレーブ装置で再現したり、記憶された動きの強さ（力）を強めてスレーブ装置で再現したりすることができる。
以下、スケーリング機能を実現するための構成例について説明する。

（スケーリングを伴う力・触覚伝達機能）
スケーリングを伴う力・触覚伝達機能が実現される場合、図２における機能別力・速度割当変換ブロックＦＴにおける座標変換は、次式（５）及び（６）として表される。

式（５）及び式（６）に示す座標変換とした場合、スレーブ装置の位置がα倍（αは正数）、スレーブ装置の力がβ倍（βは正数）されて、マスタ装置に伝達される。
このようなスケーリング機能によって、例えば、把持の際に、ユーザＵの操作に伴う力触覚を抑制したり、強調したりすることができるため、より繊細な作業や、より力の必要な作業を行う場合に有効となる。

（スケーリングによる力の制限を伴う力・触覚伝達機能）
スケーリングによる力の制限を伴う力・触覚伝達機能が実現される場合、図２における機能別力・速度割当変換ブロックＦＴにおける座標変換は、例えば、次式（７）〜（１０）として表される。
なお、このような機能を実現する場合、以下のような条件を考慮することが適当である。
・速度次元まで連続であること（ヤコビ行列の存在条件）
・制限後の力が元の力の単調増加関数であること（安定性の条件）
・ｆ_s＜ａの時にはｆ_s＝ｆ_shatもしくはｆ_s≒ｆ_shat（ｆ_shatは式（９）及び式（１０）において機能別力・速度割当変換ブロックＦＴに含まれるパラメータ）
（安全領域での制御性能を保証する条件）
・飽和関数であること（ポジションリミットを実現する条件）
これらの条件を満たす他の関数として、atan関数を採用することも可能である。

式（７）〜式（１０）に示す座標変換とした場合、スレーブ装置の力がａ未満の場合、式（７）、（８）の座標変換を適用することで、スレーブ装置とマスタ装置とは同様の力に制御される。一方、スレーブ装置の力がａ以上の場合、式（９）、（１０）の座標変換を適用することで、スケーリング機能が作用し、スレーブ装置は（１／ｂ＋ａ）の力を超えないように制御される。
このようなスケーリング機能によって、例えば、本実施形態による処理において、把持における力を一定とした状態で、位置の変化（すなわち、移動量）に基づいて安定した精度で判定を行うことが可能となる。また、検査対象物４の破損を回避することが可能となる。なお、上述した（７）〜式（１０）に示す座標変換において、例えば、スケーリングの対象を、力ではなく位置とすることで、位置の制限を伴う力・触覚伝達機能を実現することも可能である。

（周波数領域におけるスケーリングを用いた力・触覚伝達機能）
図６は、周波数領域におけるスケーリングを用いた力・触覚伝達機能の制御の概念を示す模式図である。
図６において、マスタ装置及びスレーブ装置の出力は、ハイパスフィルタ（ＨＰＦ）及びローパスフィルタ（ＬＰＦ）をそれぞれ通過した後に、機能別力・速度割当変換ブロックＦＴに入力される。
機能別力・速度割当変換ブロックＦＴでは、ハイパスフィルタを通過したマスタ装置及びスレーブ装置の出力に対して、高周波域用の座標変換を適用し、ローパスフィルタを通過したマスタ装置及びスレーブ装置の出力に対して、低周波域用の座標変換を適用する。
すなわち、機能別力・速度割当変換ブロックＦＴは、マスタ装置及びスレーブ装置からの入力を高周波域及び低周波域の信号に分離し、それぞれの周波数域に対応する座標変換を適用する。

図６に示すように、周波数領域におけるスケーリングを用いた力・触覚伝達機能が実現される場合、機能別力・速度割当変換ブロックＦＴにおける座標変換は、次式（１１）〜（１４）として表される。

式（１１）〜式（１４）に示す座標変換とした場合、低周波域では、式（１１）、（１２）の座標変換を適用することで、スレーブ装置とマスタ装置とは同様の位置となるように制御され、高周波域では、式（１３）、（１４）の座標変換を適用することで、スレーブ装置の位置がα倍（αは正数）、スレーブ装置の力がβ倍（βは正数）されて、マスタ装置に伝達される。
このようなスケーリング機能によって、例えば、スレーブ装置が、物体を貫通したり、破断したりする際の感覚を強調してマスタ装置に伝達することが可能となる。

（時間のスケーリングを用いた機能の再現）
状態判定装置１による機能の再現において、学習して記憶されている機能を示す情報（例えば、図５に示す行為の抽出結果を表す時系列のデータ）を間引く、あるいは、補間する等して目標値とすることにより、時間のスケーリングを実現することができる。
具体的には、学習して記憶されている機能を示す情報を間引いた上で、理想力源ブロックＦＣあるいは理想速度（位置）源ブロックＰＣにおける演算の目標値として用いることにより、記憶されている機能（動作）を高速で再現することができる。同様に、学習して記憶されている機能を示す情報を補間した上で、目標値として用いることにより、記憶されている機能（動作）を低速で再現することができる。

このように、記憶されている機能（動作）を高速で再現する場合、行為の抽出時には、低速且つ正確な動作を行えばよく、再現時には、高速且つ正確な動作とすることができる。
また、記憶されている機能（動作）を低速で再現する場合、通常の速度で行われている動作を緩やかに再現できる。

［状態判定装置の構成］
次に、状態判定装置１の構成について、図７を参照して説明をする。図７は、状態判定装置１の基本的構成を示す模式図である。

図７に示すように、状態判定装置１は、制御ユニット１０と、マスタ側ユニット５０と、操作機構５５と、スレーブ側ユニット６０と、把持機構６５と、を含む。また、マスタ側ユニット５０は、マスタ側ドライバ５１と、マスタ側アクチュエータ５２と、マスタ側位置センサ５３と、を含む。さらに、マスタ側ユニット５０は、マスタ側アクチュエータ５２により、操作機構５５を動作させる。同様に、スレーブ側ユニット６０は、スレーブ側ドライバ６１と、スレーブ側アクチュエータ６２と、スレーブ側位置センサ６３と、を含む。さらに、スレーブ側ユニット６０は、スレーブ側アクチュエータ６２により、把持機構６５を動作させる。
なお、以下の説明において、マスタ側とスレーブ側を区別することなく説明する場合には、名称や符号の一部を省略して、単に「ユニット」、「ドライバ」、「アクチュエータ」、「位置センサ」と称する。

状態判定装置１は、図１を参照して上述したように制御ユニット１０、マスタ側ユニット５０、及びスレーブ側ユニット６０が協働することにより、マスタ装置及びスレーブ装置として動作するものであり、マスタ装置及びスレーブ装置の一方の装置として動作する場合、他方の装置として動作するユニット（すなわち、マスタ側ユニット５０又はスレーブ側ユニット６０）のアクチュエータ（すなわち、マスタ側アクチュエータ５２又はスレーブ側アクチュエータ６２）に設置された位置センサ（すなわち、マスタ側位置センサ５３又はスレーブ側位置センサ６３）の検出結果を入力として、機能に応じた動作を行う。
状態判定装置１に実装される機能は、上述したように、制御ユニット１０にて実現される機能別力・速度割当変換ブロックＦＴによって定義される座標変換を切り替えることで、種々変更することができる。

制御ユニット１０は、状態判定装置１全体を制御するものであり、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等のプロセッサと、メモリあるいはハードディスク等の記憶装置を含んだ情報処理装置によって構成される。
制御ユニット１０は、図２や図３における機能別力・速度割当変換ブロックＦＴと、理想力源ブロックＦＣと、理想速度（位置）源ブロックＰＣと、逆変換ブロックＩＦＴとの機能を備えている。そして、制御ユニット１０では、これらの機能により、マスタ装置及びスレーブ装置の一方の装置として動作するための制御を行う。

そのために、制御ユニット１０は、状態判定装置１に備えられる機能毎の基準となる値（以下、「基準値」と称する。）を取得する。この基準値は、例えば、マスタ装置及びスレーブ装置の一方の装置として動作する場合、他方の装置として動作するユニットのアクチュエータに設置された位置センサから出力される時系列の検出値である。このように他方の装置として動作するユニットから時系列の検出値をリアルタイムで制御ユニット１０に基準値として取得する場合、制御ユニット１０は、通信インターフェース（通信Ｉ／Ｆ）によって構成することができる。また、上述した（動作の抽出機能）を実現するべく、他方の装置として動作するユニットの時系列の検出値を記憶しておき、基準値として順次読み出して制御ユニット１０が取得する場合、制御ユニット１０は、メモリあるいはハードディスク等の記憶装置によって構成することができる。

すなわち、制御ユニット１０には、まず、他方の装置として動作するユニットの位置センサによって検出された時系列の検出値が基準値として入力される。この時系列の検出値は、他方の装置として動作するユニットの動作を表すものであり、制御ユニット１０は、入力された検出値（位置）から導出された速度（位置）及び力の情報に対して、機能に応じて設定されている座標変換を適用する。

そして、制御ユニット１０は、座標変換によって得られた速度（位置）の状態値を導出するための速度（位置）に対し、速度（位置）の領域における演算を行う。同様に、制御ユニット１０は、座標変換によって得られた力の状態値を導出するための力に対し、力の領域における演算を行う。さらに、制御ユニット１０は、算出した速度（位置）の領域における演算結果及び力の領域における演算結果に対して、加速度等への次元統一の処理を施し、また、機能に応じて設定されている座標変換の逆変換を適用する。これにより、制御ユニット１０は、算出した速度（位置）の領域における演算結果及び力の領域における演算結果がアクチュエータへの入力の領域の値に変換される。

また、制御ユニット１０では、さらに、検査対象物４の破損に関する検査を補助するための処理を行うための機能ブロックが機能する。この機能ブロックについては、図８を参照して後述する。

ドライバは、制御ユニット１０によって逆変換されたアクチュエータへの入力の領域の値をアクチュエータに対する具体的な制御指令値（電圧値又は電流値等）に変換し、その制御指令値をアクチュエータに出力する。
アクチュエータは、ドライバから入力された制御指令値に従って駆動され、制御対象装置の位置を制御する。
位置センサは、アクチュエータによって制御される制御対象装置の位置を検出し、検出値を制御ユニット１０に出力する。

このような構成により、状態判定装置１は、位置センサによって検出されたアクチュエータの位置から得られる速度（位置）及び力を、機能に応じた座標変換によって速度（位置）の領域及び力の領域の状態値に変換する。これにより、機能に応じて速度（位置）及び力それぞれに制御エネルギーが分配される。そして、それぞれの状態値が逆変換されて制御指令値とされ、この制御指令値に従って、ドライバによりアクチュエータが駆動される。

したがって、状態判定装置１は、マスタ装置及びスレーブ装置の一方のアクチュエータの位置を検出することで、目的とする機能を実現するために必要な速度（位置）及び力の状態値を算出することができ、これらの状態値に基づいてマスタ装置及びスレーブ装置の他方のアクチュエータを駆動することで、マスタ装置及びスレーブ装置の位置及び力を目的とする状態に制御することができる。

また、状態判定装置１は、制御ユニット１０における機能に応じた座標変換を切り替えることで、異なる機能を実現することが可能となる。例えば、状態判定装置１に備えられた記憶装置に、複数の機能に対応して、各種機能に応じた座標変換を記憶しておき、目的に応じて、いずれかの機能に応じた座標変換を選択することで、状態判定装置１において種々の機能を実現させることが可能となる。

例えば、（力・触覚伝達機能）として上述した機能を実現する場合、状態判定装置１は、制御ユニット１０に対して入力される基準値を、他方の装置として動作するユニットからリアルタイムに入力される位置及び力の取得値とすることができる。この場合、他方の装置として動作するユニットの動作とリアルタイムに連動して、一方の装置を制御することができる。すなわち、この場合、制御ユニット１０においては、式（２）として表される座標変換が定義されるため、マスタ装置として動作するマスタ側アクチュエータ５２の位置とスレーブ装置として動作するスレーブ側アクチュエータ６２の位置との差がゼロとなる状態に制御される。

また、（力・触覚伝達機能）として上述した機能を実現する場合、マスタ装置として動作するマスタ側アクチュエータ５２に操作者が加える操作における力触覚をスレーブ装置に伝達すると共に、スレーブ装置として動作するスレーブ側アクチュエータ６２に作用する物体（例えば、検査対象物４）からの反力をマスタ装置として動作するマスタ側アクチュエータ５２にフィードバックする。これにより、マスタ装置に対して行われた操作がスレーブ装置で正確に再現されると共に、スレーブ装置に入力された物体からの反力をマスタ装置に正確に伝達することができる。

他にも、例えば、（動作の抽出機能）として上述した機能を実現する場合、状態判定装置１は、制御ユニット１０に対して入力される基準値を、予め取得して記憶された他方の装置として動作するユニットの時系列の位置及び力の取得値とすることができる。この場合、予め用意された他方の装置として動作するユニットの動作を基準として、状態判定装置１の機能を実現することができる。すなわち、他方の装置として動作するユニットが存在しない状態で、状態判定装置１において、目的とする機能を再現することができる。

他にも、例えば、（スケーリング機能）として上述した機能を実現する場合、状態判定装置１は、スケーリング機能によって、例えば、一方の装置として動作するユニットの動きの大きさを縮小して他方の装置として動作するユニットで再現したり、一方の装置として動作するユニットの動きの強さ（力）を強めて他方の装置として動作するユニットで再現したり、あるいは、一方の装置として動作するユニットの動きの速度を低下させて他方の装置として動作するユニットで再現したりすることができる。

他にも、例えば、（動作の抽出機能）として上述した機能と、（スケーリング機能）として上述した機能の双方を実現した場合、状態判定装置１は、動作の抽出機能により記憶装置に記憶された位置又は力の少なくとも一方の情報にスケーリング機能を用いることで、例えば、記憶された動きの大きさを縮小して他方の装置として動作するユニットで再現したり、記憶された動きの強さ（力）を強めて他方の装置として動作するユニットで再現したりすることができる。

上述のようにして、制御ユニット１０は、マスタ側ユニット５０のマスタ装置としての動作や、スレーブ側ユニット６０のスレーブ装置としての動作を制御することにより把持装置として機能すると共に、さらに、ウェアラブル端末２やサーバ装置３と協働して「状態判定処理」を行なう。
ここで、状態判定処理は、検査対象物４の破損に関する検査を補助するために、検査対象物４が破損しているか否かを判定する一連の処理である。

図８は、この状態判定処理を実現するための、制御ユニット１０のハードウェア及び機能ブロックの一例を示すブロック図である。図８に示すように、制御ユニット１０は、プロセッサ１１と、ＲＯＭ１２と、ＲＡＭ１３と、通信部１４と、記憶部１５と、入力部１６と、出力部１７と、ドライブ１８と、を含む。また、図８では図示を省略しているが、図７において図示したように制御ユニット１０には、ドライバと、位置センサとが接続される。これら各部は、信号線により接続されており、相互に信号を送受する。

プロセッサ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１５からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１３には、プロセッサ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
なお、図中において、プロセッサ１１は、単一のプロセッサとして図示されているが、これは一例に過ぎない。例えば、プロセッサ１１を、複数のプロセッサにより実現するようにしてもよい。この場合、例えば、上述したマスタ装置やスレーブ装置としての動作を制御する機能（図中における「動作制御部１１１」や「パラメータ取得部１１２」に相当）と、これと協働して状態判定処理を行う機能（図中における「判定基準設定部１１３」や「判定部１１４」に相当）とを、それぞれ別のプロセッサにより実現してもよい。さらに、この場合、プロセッサは、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の処理回路を含むものであってもよい。また、この場合、ＲＯＭ１２やＲＡＭ１３等は、プロセッサ毎にそれぞれ設けられていてもよい。

通信部１４は、プロセッサ１１が、他の装置（例えば、ウェアラブル端末２やサーバ装置３等）との間で通信を行うための通信制御を行う。記憶部１５は、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。

入力部１６は、各種ボタン及びタッチパネル、又はマウス及びキーボード等の外部入力装置で構成され、ユーザの指示操作に応じて各種情報を入力する。出力部１７は、ディスプレイやスピーカ等で構成され、画像や、音声や警告音等を出力する。
ドライブ１８には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア（図示を省略する。）が適宜装着される。ドライブ１８よってリムーバブルメディアから読み出されたプログラムは、必要に応じて記憶部１５にインストールされる。

このようなハードウェア構成において、状態判定処理を実現する場合、図８に示すようにプロセッサ１１にて、動作制御部１１１と、パラメータ取得部１１２と、判定基準設定部１１３と、判定部１１４と、が機能する。
また、このようなハードウェア構成において、状態判定処理を実現する場合、図８に示すように記憶部１５の一領域には、パラメータ記憶部１５１と、判定基準記憶部１５２と、が設定される。
以下で特に言及しない場合も含め、これら機能ブロック間では、処理を実現するために必要なデータを、適切なタイミングで適宜送受信する。

動作制御部１１１は、上述のようにして、マスタ装置として動作するマスタ側ユニット５０や、スレーブ装置として動作するスレーブ側ユニット６０に対して、力・触覚伝達機能を適用した動作の制御を行う。すなわち、動作制御部１１１は、図２や図３における機能別力・速度割当変換ブロックＦＴと、理想力源ブロックＦＣと、理想速度（位置）源ブロックＰＣと、逆変換ブロックＩＦＴとの機能を実現する。また、この場合に動作制御部１１１は、図３を参照して上述したようにして、機能別力・速度割当変換ブロックＦＴにおいて力・触覚伝達機能を定義して、力・触覚伝達機能を適用した動作の制御を行う。さらに、この場合に動作制御部１１１は、機能に応じた座標変換を切り替えることで、異なる機能を実現する。

パラメータ取得部１１２は、動作制御部１１１による力・触覚伝達機能を適用した動作の制御で用いた制御パラメータ（以下、「力触覚に関する制御パラメータ」と称する。）を取得する。以下では、説明のための一例として、パラメータ取得部１１２は、位置センサによって検出されたアクチュエータの位置から得られる位置を示す値及び力を示す値を、力触覚に関する制御パラメータとして取得することを想定する。

ここで、上述したように、アクチュエータにおける力は質量と加速度との積として算出でき、アクチュエータにおける速度（位置）は加速度の積分によって算出することができる。そこで、例えば、パラメータ取得部１１２は、図５（ａ）を参照して上述した（動作の抽出機能）における各アクチュエータの時系列の位置や、図５（ｂ）を参照して上述した（動作の抽出機能）における時系列の式（４）の座標変換結果に対応する情報に基づいて、リアルタイムに積分等の演算を行うことで位置を示す値及び力を示す値を算出して、これら力触覚に関する制御パラメータを取得する。

また、パラメータ取得部１１２は、取得した力触覚に関する制御パラメータをパラメータ記憶部１５１に記憶させる。すなわち、パラメータ記憶部１５１は、力触覚に関する制御パラメータを記憶する記憶部として機能する。

判定基準設定部１１３は、後述の判定部１１４が、検査対象物４が破損しているか否かを判定するための基準を設定する。以下では、説明のための一例として、所定の閾値に基づいて判定を行うことを想定するので、判定基準設定部１１３は、この所定の閾値を設定し、設定した所定の閾値を判定基準として判定基準記憶部１５２に記憶させる。すなわち、判定基準記憶部１５２は、判定基準である所定の閾値を記憶する記憶部として機能する。

ここで、本実施形態では、より適切に判定を行うために、今回判定対象とする検査対象物４の種類等に応じて、所定の閾値を適宜異ならせる。この今回判定対象とする検査対象物４の種類等に応じた所定の閾値の具体的な数値は、ウェアラブル端末２から判定基準設定部１１３に対して送信される。

判定部１１４は、検査対象物４の破損に関する検査を補助するために、検査対象物４が破損しているか否かを判定する。この判定は、上述したように、判定基準設定部１１３が設定して、判定基準記憶部１５２に記憶させた所定の閾値に基づいて行われる。判定部１１４による具体的な判定方法については、図１１、図１２、図１３及び図１６のフローチャートを参照して後述する。
また、判定部１１４は、判定結果をウェアラブル端末２に対して送信する。

［ウェアラブル端末の構成］
次に、ウェアラブル端末２の構成について、図９を参照して説明をする。図９は、ウェアラブル端末２のハードウェア及び機能ブロックの一例を示すブロック図である。図９に示すように、ウェアラブル端末２は、プロセッサ２１と、ＲＯＭ２２と、ＲＡＭ２３と、通信部２４と、記憶部２５と、入力部２６と、出力部２７と、カメラ２８と、センサ２９と、を備えている。これら各部は、信号線により接続されており、相互に信号を送受する。なお、これらの内、カメラ２８及びセンサ２９以外の各部のハードウェアとしての機能は、図８を参照して上述した状態判定装置１が備える同名の各部と同様である。そのため、これら各部のハードウェアとしての機能については、重複する再度の説明を省略する。一方で、カメラ２８及びセンサ２９について、以下説明をする。

カメラ２８は、光学レンズやイメージセンサといった撮影用の素子や、これらを制御するための周辺回路を備えている。カメラ２８により被写体を撮影することにより生成された画像データや、あるいは、ヘッドトラッキング用等の周辺環境を示す画像データは、適宜プロセッサ２１に対して出力される。

センサ２９は、ウェアラブル端末２における、加速度、ジャイロ（すなわち、角度や加速度等）、及び方位を計測する。センサ２９における計測結果についても、適宜プロセッサ２１に対して出力される。

プロセッサ２１は、これらカメラ２８やセンサ２９の出力に基づいて、ユーザの頭の位置や向き等を特定し、この特定した頭の位置や向きに基づいて、出力部２７に含まれる透過型のディスプレイの、適切な表示位置にユーザＵに対する通知（ここでは、表示）を行う。これにより、上述したようにして、透過型のディスプレイを介してユーザＵが視認できる現実の景色と、透過型ディスプレイに表示される仮想現実（例えば、仮想的に生成された画像やテキスト等を含む）とを重畳して、ユーザＵに対して通知をすることができる。すなわち、本実施形態では、力触覚を伝達する技術と、複合現実の技術を組み合わせて、ユーザＵの検査等における作業や判断を補助（すなわち、サポート）することができる。

なお、これも上述したように、この通知は、出力部２７が備えるスピーカからの音（音声や警告音等）の出力や、警告灯の点滅等により実現されてもよい。
また、プロセッサ２１は、このような複合現実の技術に関する表示を行うために、ＣＰＵのみならず、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等の画像処理用のプロセッサを含んで実現されてもよい。

このようなハードウェア構成において、状態判定処理を実現する場合、図９に示すようにプロセッサ２１にて、指示解釈部２１１と、対象物撮影部２１２と、対象物情報管理部２１３と、通知部２１４と、作業情報管理部２１５と、２１６と、が機能する。
また、この場合、図９に示すように記憶部２５の一領域には、対象物情報記憶部２５１と、作業情報記憶部２５２と、が設定される。
以下で特に言及しない場合も含め、これら機能ブロック間では、処理を実現するために必要なデータを、適切なタイミングで適宜送受信する。

指示解釈部２１１は、ユーザＵからの指示操作の内容を解釈する。ここで、ユーザＵからの指示操作は、入力部２６が備えるボタン等に対する押下操作等により受け付けられてもよいが、指示解釈部２１１が解釈のための処理を行うことにより、他の方法で受け付けられてもよい。そのようにする理由であるが、本実施形態では、ユーザＵがウェアラブル端末２を用いながら、同時に状態判定装置１を手で携帯して、把持のための操作を行うことを想定しており、この場合、ボタンを押下する操作では、この把持操作の妨げになる可能性があるからである。そこで、ウェアラブル端末２では、例えば、入力部２６が備えるスピーカが、ユーザＵからの音声からなる指示（いわゆる、ボイスコマンド）で指示操作を受け付けるようにする。そして、指示解釈部２１１が、その音声からなる指示の内容を解釈するようにする。あるいは、カメラ２８が、ユーザＵの手の動き等のジェスチャーからなる指示操作を受け付けるようにする。そして、指示解釈部２１１が、そのジェスチャーからなる指示操作を解釈するようにする。
このように、音声からなる指示やジェスチャーからなる指示操作を受け付け可能とすることにより、ウェアラブル端末２に対する指示のための操作が、状態判定装置１に対する把持のための操作の妨げになることを防止し、ユーザＵの利便性をより向上させることができる。

対象物撮影部２１２は、カメラ２８を用いた撮影を行うことにより、検査対象物４を被写体とした画像データ（以下、「検査対象物画像データ」と称する。）を生成する。そして、対象物撮影部２１２は、生成した検査対象物画像データをサーバ装置３に対して送信する。サーバ装置３は、この検査対象物画像データを画像解析することにより、被写体となっている検査対象物４が、何れの種類の検査対象物４であるかを識別する。

対象物情報管理部２１３は、対象物情報を管理する。ここで、対象物情報とは、検査対象物４となり得る物品それぞれに関する情報である。例えば、検査対象物４となり得る物品の、製品名、外観（すなわち、包装容器）の画像データ、バーコード等の識別用の情報の画像データ、対応する所定の閾値の値、及び検査時に把持機構６５において把持すべき位置の画像データ等が対象物情報に含まれる。なお、これは一例であり、他にも、検査対象物４となり得る物品の、製造業者、賞味期限、及び小売価格等の製品に関する一般的な情報が対象物情報に含まれていてもよい。

対象物情報管理部２１３は、サーバ装置３や、検査対象物４を製造する製造業者のサーバ装置（図示を省略する）と通信を行うことにより、対象物情報を取得する。また、対象物情報管理部２１３は、このような通信を周期的に繰り返すことにより、対象物情報が最新の内容となるように更新をする。
そして、対象物情報管理部２１３は、このようにして取得及び更新した対象物情報を対象物情報記憶部２５１に記憶させる。すなわち、対象物情報記憶部２５１は、対象物情報を記憶する記憶部として機能する。

通知部２１４は、ユーザＵに対して、検査対象物４の破損に関する検査を補助するための各種の情報や、ユーザインタフェース等を通知する。各種の情報とは、例えば、サーバ装置３による画像解析による検査対象物４の識別結果や、状態判定装置１による検査対象物４が破損しているか否かの判定結果や、判定結果に対応した作業指示等である。また、ユーザインタフェースとは、例えば、状態判定処理に関連するユーザインタフェースである。
通知部２１４による通知は、上述したように、出力部２７が備える透過型のディスプレイへの表示や、出力部２７が備えるスピーカからの音（音声や警告音等）の出力や、警告灯の点滅等により実現される。なお、通知部２１４による通知の具体例については、図１５及び図１６を参照して後述する。

作業情報管理部２１５は、作業情報を管理する。ここで、作業情報とは、検査対象物４に関連して行うべき作業の情報である。例えば、検査対象物４が破損しているか否かを検査するべき時間帯や、破損しているか否かの結果に応じた仕分け先の場所（例えば、仕分け先となる棚や格納容器の場所）や、このような検査を伴う仕分けやピッキングを行うべき時間帯等が作業情報に含まれる。また、実際に検査等の作業を行ったユーザＵの識別情報や、実際に作業が行われた時間帯や、検査結果等の作業履歴が作業情報に含まれていてもよい。なお、これは一例であり、他にも、例えば、検査対象物４の、配送先の住所や、配送すべき時間帯や、配送すべき個数等の物流に関する情報が作業情報に含まれていてもよい。

作業情報管理部２１５は、サーバ装置３や、検査対象物４を配送する物流業者のサーバ装置（図示を省略する）と通信を行うことにより、作業情報を取得する。また、作業情報管理部２１５は、このような通信を周期的に繰り返すことにより、作業情報が最新の内容となるように更新をする。
そして、作業情報管理部２１５は、このようにして取得及び更新した作業情報を作業情報記憶部２５２に記憶させる。すなわち、作業情報記憶部２５２は、作業情報を記憶する記憶部として機能する。

［サーバ装置の構成］
次に、サーバ装置３の構成について、図１０を参照して説明をする。図１０は、サーバ装置３のハードウェア及び機能ブロックの一例を示すブロック図である。図１０に示すように、サーバ装置３は、プロセッサ３１と、ＲＯＭ３２と、ＲＡＭ３３と、通信部３４と、記憶部３５と、入力部３６と、出力部３７と、ドライブ３８と、を備えている。これら各部は、信号線により接続されており、相互に信号を送受する。なお、これら各部のハードウェアとしての機能は、図８を参照して上述した状態判定装置１が備える同名の各部や、図９を参照して上述したウェアラブル端末２が備える同名の各部と同様である。そのため、これら各部のハードウェアとしての機能については、重複する再度の説明を省略する。

このようなハードウェア構成において、状態判定処理を実現する場合、図１０に示すようにプロセッサ３１にて、対象物情報管理部３１１と、識別部３１２と、作業情報管理部３１３と、が機能する。
また、この場合、図１０に示すように記憶部３５の一領域には、対象物情報管理部３５１と、作業情報記憶部３５２と、が設定される。
以下で特に言及しない場合も含め、これら機能ブロック間では、処理を実現するために必要なデータを、適切なタイミングで適宜送受信する。

対象物情報管理部３１１は、ウェアラブル端末２が備える対象物情報管理部２１３と同様に、対象物情報を管理する。ここで、対象物情報の詳細については、対象物情報管理部２１３の説明の際に上述しているので、ここでは再度の説明を省略する。また、対象物情報管理部３１１は、これも対象物情報管理部２１３と同様であるが、対象物情報管理部２１３や、検査対象物４の製造業者のサーバ装置（図示を省略する）と通信を行うことにより、対象物情報を取得したり更新したりする。
そして、対象物情報管理部３１１は、このようにして取得及び更新した対象物情報を対象物情報管理部３５１に記憶させる。すなわち、対象物情報管理部３５１は、対象物情報を記憶する記憶部として機能する。

識別部３１２は、検査対象物画像データを画像解析することにより、被写体となっている検査対象物４が、何れの種類の検査対象物４であるかを識別する。ここで、検査対象物画像データは、上述したように、ウェアラブル端末２の対象物撮影部２１２が、カメラ２８を用いた撮影を行うことにより生成した、検査対象物４を被写体とした画像データである。識別部３１２は、人工知能（ＡＩ：ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）や所定のアルゴリズムを用いた画像解析により、この識別を実現する。

例えば、識別部３１２は、検査対象物画像データと、対象物情報に含まれる、検査対象物４となり得る物品それぞれの外観（すなわち、包装容器）の画像データやバーコード等の識別用の情報の画像データとを、既存の手法を利用したパターンマッチングで比較することにより、この識別を実現する。

あるいは、識別部３１２は、例えば、機械学習により学習モデルを構築することにより、この識別を実現する。この場合、例えば、識別部３１２は、何れかの検査対象物４となり得る物品を被写体とした画像データと、被写体となっている検査対象物４の種類を示すラベル（すなわち、正解を示すラベル）とを組にして教師データを生成する。なお、この場合に、何れの検査対象物４も被写体となっていない画像データと、不正解を示すラベルとを組にした教師データを、さらに生成してもよい。そして、識別部３１２は、この教師データを用いて、教師あり機械学習を行う。この場合、例えば、識別部３１２は、パーセプトロンを組み合わせて構成したニューラルネットワークにより、機械学習を行う。具体的には、教師データに含まれる画像データの特徴量をニューラルネットワークの入力層に対して入力データとして与え、ニューラルネットワークの出力層の出力がラベルと同じとなるように、各パーセプトロンについての重み付けを変更しながら学習を繰り返す。

そして、識別部３１２は、このようにして学習モデルを構築した後、検査対象物画像データの特徴量を、この学習モデルに入力し、その出力を識別結果とする。なお、機械学習の手法は必ずしも限定されず、例えば、畳み込みニューラルネットワーク（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）等の画像解析に好適な手法を用いたりしてもよい。

識別部３１２は、このようにして人工知能や所定のアルゴリズムを用いた画像解析により、被写体となっている検査対象物４が、何れの種類の検査対象物４であるかを識別し、その識別結果をウェアラブル端末２に対して送信する。このように、本実施形態では、画像解析により検査対象物４を識別することができる。そのため、仮に、検査対象物４に、バーコードやＩＣタグが添付されていないような場合であっても、多種多様な検査対象物４を識別することができる。すなわち、検査対象物４に対する変更や加工を必要とせず、現状の流通の仕組みのままで本実施形態を適用することができる。

作業情報管理部３１３は、サーバ装置３が備える作業情報管理部２１５と同様に、作業情報を管理する。ここで、作業情報の詳細については、作業情報管理部２１５の説明の際に上述しているので、ここでは再度の説明を省略する。また、作業情報管理部３１３は、これも作業情報管理部２１５と同様であるが、作業情報管理部２１５や、検査対象物４を配送する物流業者のサーバ装置（図示を省略する）と通信を行うことにより、作業情報を取得したり更新したりする。
そして、作業情報管理部３１３は、このようにして取得及び更新した作業情報を作業情報記憶部３５２に記憶させる。すなわち、作業情報記憶部３５２は、作業情報を記憶する記憶部として機能する。

なお、対象物情報管理部２１３及び対象物情報管理部３１１が管理する対象物情報や、作業情報管理部２１５及び作業情報管理部３１３が管理する作業情報は、上述したようにウェアラブル端末２、サーバ装置３、及び各事業者のサーバ間で通信する以外の方法で更新等されてもよい。例えば、ユーザＵによる入力操作に基づいて、対象物情報や作業情報が追加や修正されることにより更新等されてもよい。

［状態判定処理］
状態判定装置１、ウェアラブル端末２、及びサーバ装置３の構成について詳細に説明した。次に、これら各装置を含む状態判定システムＳが実行する状態判定処理により行われる各処理の処理内容について、図１１、図１２、図１３及び図１６のフローチャートを参照して説明する。図１１は、状態判定処理における前処理の流れを説明するフローチャートである。図１２は、状態判定処理における把持開始処理の流れを説明するフローチャートである。図１３は、状態判定処理における判定処理の流れを説明するフローチャートである。図１６は、状態判定処理における把持終了処理の流れを説明するフローチャートである。なお、説明の前提として、対象物情報管理部２１３及び対象物情報管理部３１１による対象物情報の管理や、作業情報管理部２１５及び作業情報管理部３１３による作業情報の管理は、別途行われているものとする。

状態判定処理は、ユーザＵからの、ウェアラブル端末２に対する状態判定処理の開始指示操作に伴い実行される。なお、本指示操作も含め、例えば、後述のステップＳ１やステップＳ６等における指示操作は、ユーザＵによる、音声からなる指示やジェスチャーからなる指示操作に基づいて行われてもよい点については上述した通りである。

まず、図１１を参照すると、ステップＳ１において、対象物撮影部２１２は、ユーザＵからの撮影指示操作に基づいて、カメラ２８を用いた撮影を行うことにより、検査対象物４を被写体とした検査対象物画像データを生成する。
ステップＳ２において、対象物撮影部２１２は、生成した検査対象物画像データをサーバ装置３に対して送信する。

ステップＳ３において、識別部３１２は、検査対象物画像データを画像解析することにより、被写体となっている検査対象物４が、何れの種類の検査対象物４であるかを識別する。
ステップＳ４において、識別部３１２は、識別結果（すなわち、何れの種類の検査対象物４であるか）をウェアラブル端末２に対して送信する。この場合に、識別部３１２は、識別結果のみならず、この識別結果に対応する検査対象物４の対象物情報を対象物情報管理部３５１から読み出し、この対象物情報もウェアラブル端末２に対して送信する。ただし、識別部３１２が識別結果のみを送信し、これを受信したウェアラブル端末２が対象物情報記憶部２５１から対象物情報を読み出すようにしてもよい。

ステップＳ５において、通知部２１４は、識別結果に対応する対象物情報をユーザＵに対して通知する。例えば、対象物情報に含まれている、製品名や、外観（すなわち、包装容器）の画像データを表示等することにより通知する。

ステップＳ６において、通知部２１４は、サーバ装置３による識別結果は正しいか否かを判定する。この判定は、ステップＳ５における通知内容と、実物の検査対象物４とを見比べたユーザＵから、識別結果が正しい旨の操作を受け付けたか否かに基づいて行われる。識別結果が正しい旨の操作を受け付けた場合は、ステップＳ６においてＹｅｓと判定され、処理はステップＳ７に進む。一方で、識別結果が正しい旨の操作を受け付けない場合は、ステップＳ６においてＮｏと判定され、処理はステップＳ１に戻り、ステップＳ１の撮影から再度繰り返される。

ステップＳ７において、対象物情報管理部２１３は、識別結果に対応する対象物情報を状態判定装置１に対して送信する。
ステップＳ８において、判定基準設定部１１３は、識別結果に対応する対象物情報に含まれる所定の閾値を、検査対象物４が破損しているか否かを判定するための基準となる閾値として設定する。なお、詳細は後述するが、本実施形態では、判定するための基準となる閾値として、第１閾値と、第２閾値の２つの閾値を設定する。

ステップＳ９において、判定基準設定部１１３は、基準となる閾値の設定が終了した旨をウェアラブル端末２に対して送信する。
ステップＳ１０において、通知部２１４は、状態判定装置１の状態を示すスターテスを「準備完了」として、ユーザＵに対して通知する。

ステップＳ１１において、通知部２１４は、識別結果に対応する対象物情報に含まれる検査時に把持機構６５において把持すべき位置の画像データをユーザＵに対して通知する。この場合に、例えば、単に把持すべき位置の画像データを包装容器の画像データと共に表示してもよい。
しかしながら、これに限らず、複合現実の技術を用いて、把持すべき位置の画像データと実物の包装容器の位置とが適合するように重畳表示してもよい。この場合に、さらに、「把持を開始して下さい。」といった旨のテキストを表示したり音声を出力したりするようにしてもよい。このようにすると、ユーザＵが把持すべき位置や把持を開始するタイミングが容易に認識することが可能となる。

このステップＳ１１による通知に伴い、ユーザＵは、検査対象物４を把持するために、操作機構５５に対する操作を開始する。

次に、図１２を参照すると、ステップＳ１２において、動作制御部１１１は、ユーザＵの操作機構５５に対する操作に応じて、マスタ装置として動作するマスタ側ユニット５０や、スレーブ装置として動作するスレーブ側ユニット６０に対して、力・触覚伝達機能を適用した動作の制御を開始する。この動作制御は、ユーザＵの操作機構５５に対する操作が終了するまで（例えば、後述のステップＳ３３まで）継続する。

ステップＳ１３において、パラメータ取得部１１２は、リアルタイムに算出した現時点での力触覚に関する制御パラメータを取得する。
ステップＳ１４において、ステップＳ１３にて取得した力触覚に関する制御パラメータにおける力を示す値が第１閾値以上であるか否かを判定する。この判定は、把持機構６５により検査対象物４が把持されている状態であることを確認する意図で行われる。従って、第１閾値は、把持機構６５により検査対象物４を把持することが可能な力の値以上の値に設定される。なお、検査対象物４の種類により、把持することが可能な力の値は異なる。そのため、上述したように、本実施形態では、検査対象物４の種類により、第１閾値を異ならせている。

なお、第１閾値と比較する、本判定での「力を示す値」とは、例えば、スレーブ側アクチュエータ６２に含まれる第１アクチュエータにより把持機構６５に含まれる第１把持部材を移動させ、スレーブ側アクチュエータ６２に含まれる第２アクチュエータにより把持機構６５に含まれる第２把持部材を移動させ、これら第１把持部材と、第２把持部材の距離を縮めることにより（例えば、閉じることにより）把持を行うような構成の場合には、第１アクチュエータに対応する力を示す値と、第２アクチュエータに対応する力を示す値のそれぞれとなる。

力を示す値が第１閾値以上である場合は、ステップＳ１４においてＹｅｓと判定され、処理はステップＳ１６に進む。一方で、力を示す値が第１閾値未満である場合は、ステップＳ１４においてＮｏと判定され、処理はステップＳ１５に進む。

なお、上述したように、判定部１１４は、力を示す値が、第１閾値以上であるか否かを判定しており、力を示す値の上限については判定していない。しかしながら、第１閾値以上である場合で、且つ、過剰な力で把持されてしまうと、判定の条件が一定せず、安定した精度での判定が困難となる。また、もともと破損していない検査対象物４であったとしても、この把持が原因で破損してしまう可能性がある。そこで、このように、判定の精度が不安定となることや、破損が発生することを防止するために、把持における力が過剰とならないように（すなわち、把持における力が一定の強さ以上とならないように）抑制する処理をさらに行うようにするとよい。

そのためには、例えば、動作制御部１１１による動作の制御において、上述した（スケーリング機能）を適用する。このスケーリング機能を適用した場合、基準となる制御に対して、出力される力のスケールを拡大あるいは縮小することができる。そして、動作制御部１１１は、このスケーリング機能によって、力を示す値が所定値以上となった場合には、マスタ装置の動きの強さ（力）を縮小してスレーブ装置で再現する。すなわち、動作制御部１１１は、マスタ装置の動きの強さ（力）が過剰となったとしても、これを縮小してスレーブ装置では所定の動きの強さ（力）以上とならないように動作を制御する。これにより、仮にマスタ装置において過剰な力での操作があった場合でも、スレーブ側ユニット６０及び把持機構６５における把持は過剰な力にならないように抑制される。そのため、判定の精度が不安定となることや、把持が原因で、もともと破損していない検査対象物４が破損してしまうことを防止することができる。

ステップＳ１５において、判定部１１４は、ステップＳ１３〜ステップＳ１７にて用いるカウンタの値をリセットする。そして、処理はステップＳ１３に戻り、繰り返される。これは、把持機構６５により検査対象物４が未だ把持されていない状態であるため、カウンタの値をリセットする意図で行われる処理である。

ステップＳ１６において、判定部１１４は、カウンタの値を１つカウントアップする。
ステップＳ１７において、判定部１１４は、カウンタの値が規定カウント数に到達したか否かを判定する。到達した場合は、ステップＳ１７においてＹｅｓと判定され、処理はステップＳ１８に進む。一方で、到達していない場合は、ステップＳ１７においてＮｏと判定され、処理はステップＳ１３に戻り、繰り返される。これは、力が第１閾値以上の状態が所定時間継続しているということから、把持が適切に行われており次の処理に以降できることを確認する意図で行われる処理である。

ステップＳ１８において、判定部１１４は、ステップＳ１３を繰り返すことにより取得した、力触覚に関する制御パラメータをパラメータ記憶部１５１に記憶する。この記憶された制御パラメータは、その後、検査対象物４の種類に応じた第１閾値の値を修正する場面等で、ユーザＵが参考するために利用される。

ステップＳ１９において、判定部１１４は、検査対象物４が破損しているか否かの判定を開始する旨をウェアラブル端末２に対して送信する。
ステップＳ２０において、通知部２１４は、状態判定装置１の状態を示すスターテスを「判定中」として、ユーザＵに対して通知する。

次に、図１３を参照すると、ステップＳ２１において、パラメータ取得部１１２は、リアルタイムに算出した現時点での力触覚に関する制御パラメータを取得する。
ステップＳ２２において、判定部１１４は、ステップＳ２１にて取得した力触覚に関する制御パラメータにおける力を示す値が第１閾値以上を維持しているか否かを判定する。この判定は、把持機構６５により検査対象物４が把持されている状態が、適切に継続していることを確認する意図で行われる処理である。

力を示す値が第１閾値以上を維持している場合は、ステップＳ２２においてＹｅｓと判定され、処理はステップＳ２５に進む。一方で、力を示す値が第１閾値以上を維持していない場合（すなわち、力を示す値が第１閾値未満の場合）は、ステップＳ２２においてＮｏと判定され、処理はステップＳ２４に進む。

ステップＳ２３において、判定部１１４は、検査対象物４の把持の失敗を検出した旨をウェアラブル端末２に対して送信する。
ステップＳ２４において、通知部２１４は、状態判定装置１の状態を示すスターテスを「エラー及びリトライ」として、ユーザＵに対して通知する。そして、処理はステップＳ１０に戻り、繰り返される。

ステップＳ２５において、判定部１１４は、ステップＳ２１にて取得した力触覚に関する制御パラメータにおける位置を示す値が第２閾値未満であるか否かを判定する。この判定は、把持機構６５により検査対象物４が破損していない状態であること確認する意図で行われる処理である。

この点、検査対象物４が破損していないのであれば、内容物である二酸化炭素や窒素ガスといった気体の漏れ（いわゆる空気漏れ）や食品等の流出は発生しない。そのため、把持が継続したとしても、検査対象物４である包装容器は、所定の基準以上は潰れないはずである。これに対して、検査対象物４が破損しているのであれば、内容物である二酸化炭素や窒素ガスといった気体の漏れ（いわゆる空気漏れ）や食品等の流出が発生する。そのため、把持が継続すると、検査対象物４である包装容器は、所定の基準以上に潰れてしまう。

従って、第２閾値は、検査対象物４が破損していないのであれば、把持機構６５により検査対象物４を把持した場合に、位置を示す値がそれ未満とはならない値（すなわち、上述の所定の基準以上潰れないと移動しないはずの位置を示す値）に設定される。例えば、把持機構６５が開閉することにより、検査対象物４を把持するような場合に、検査対象物４が破損していないのであれば、それ以上閉まらないはずの位置を示す位置を示す値が第２閾値に設定される。なお、検査対象物４の種類により、上述の所定の基準は異なる。そのため、上述したように、本実施形態では、検査対象物４の種類により、第２閾値を異ならせている。

なお、第２閾値と比較する、本判定での「位置を示す値」とは、例えば、把持を開始する前のアクチュエータの位置を基準とした相対値となる。例えば、把持機構６５に含まれる把持部材が開閉することで把持をする機構である場合、把持を開始する前の開いた状態でのアクチュエータの位置を基準とした相対値となる。
この場合に、判定の精度をより高めるには、基準となる、把持を開始する前の状態が毎回同じ状態であることが望ましい。そこで、例えば、動作制御部１１１による動作の制御において、力を示す値が所定値未満であり、把持が行われていないことが検出された場合には、スレーブ側アクチュエータ６２を制御することにより把持機構６５に含まれる把持部材が毎回同じ位置に移動するような制御を行う。例えば、把持機構６５に含まれる把持部材が開閉することで把持をする機構である場合、毎回同じ広さで開くようにスレーブ側アクチュエータ６２を制御する。これにより、基準となる、把持を開始する前の状態が毎回同じ状態となるので、判定の精度をより高めることが可能となる。

なお、他の方法として、本判定での「位置を示す値」とは、例えば、スレーブ側アクチュエータ６２に含まれる第１アクチュエータにより把持機構６５に含まれる第１把持部材を移動させ、スレーブ側アクチュエータ６２に含まれる第２アクチュエータにより把持機構６５に含まれる第２把持部材を移動させ、これら第１把持部材と、第２把持部材の距離を縮めることにより（例えば、閉じることにより）把持を行うような構成の場合には、第１アクチュエータに対応する位置を示す値と、第２アクチュエータに対応する位置を示す値の、他方を基準とした相対値としてもよい。

位置を示す値が第２閾値未満である場合は、ステップＳ２５においてＹｅｓと判定され、処理はステップＳ２８に進む。これは、位置が第２閾値未満の状態となっており、検査対象物４が所定の基準以上は潰れている状態のままであることから、検査対象物４が破損したと判定した意図で行われる処理である。一方で、位置を示す値が第２閾値未満である場合は、ステップＳ２５においてＮｏと判定され、処理はステップＳ２６に進む。

ステップＳ２６において、判定部１１４は、ステップＳ２１〜ステップＳ２７にて用いるカウンタの値を１つカウントアップする。
ステップＳ２７において、判定部１１４は、カウンタの値が規定カウント数に到達したか否かを判定する。到達した場合は、ステップＳ２７においてＹｅｓと判定され、処理はステップＳ２８に進む。一方で、到達していない場合は、ステップＳ２７においてＮｏと判定され、処理はステップＳ２１に戻り、繰り返される。これは、位置が第２閾値未満とならない状態が所定時間継続しており、把持が行われても検査対象物４が所定の基準以上は潰れない状態のままであるので、検査対象物４が破損していないということを確認する意図で行われる処理である。

上述したように、判定部１１４は、力を示す値が第１閾値を維持している状態で、且つ、位置を示す値が第２閾値未満とならないか、に基づいて検査対象物４の破損に関する判定を行う。すなわち、把持における力を一定とした状態で、位置の変化（すなわち、移動量）に基づいて判定を行う。このように、判定部１１４は、力触覚に関する制御パラメータに基づいて、把持におけるインピーダンスを適切に特定し、所定の基準（ここでは、力を一定として接触した場合の移動量という基準）という客観的な指標に基づいた判定を行うことにより、安定した精度での判定を実現することができる。

ステップＳ２８において、判定部１１４は、ステップＳ２１を繰り返すことにより取得した、力触覚に関する制御パラメータをパラメータ記憶部１５１に記憶する。この記憶された制御パラメータは、その後、検査対象物４の種類に応じた第２閾値の値を修正する場面等で、ユーザＵが参考するために利用される。

ステップＳ２９において、判定部１１４は、検査対象物４が破損しているか否かの判定結果をウェアラブル端末２に対して送信する。ここで、ステップＳ２５においてＹｅｓと判定された後に行われるステップＳ２９では、送信される判定結果は「検査対象物４が破損している。」というものになる。一方で、ステップＳ２７においてＹｅｓと判定された後に行われるステップＳ２９では、送信される判定結果は「検査対象物４が破損していない。」というものになる。

ステップＳ３０において、通知部２１４は、判定結果をユーザＵに対して通知する。例えば、判定結果である「検査対象物４が破損している。」という旨、又は「検査対象物４が破損していない。」という旨の何れかを示すテキストを表示したり音声を出力したりする。
ステップＳ３１において、通知部２１４は、作業情報をユーザＵに対して通知する。例えば、この作業情報は、判定結果に応じたものとし、ユーザＵが次に行うべき作業を具体的に指示する内容とする。

これらステップＳ３０及びステップＳ３１における通知の具体例について、図１４及び図１５を参照して説明をする。図１４は、検査対象物４が破損していないと判定された場合の通知例を示す模式図である。図１５は、検査対象物４が破損していると判定された場合の通知例を示す模式図である。

図１４に、出力部２７に含まれる透過型ディスプレイを示す。このディスプレイは透過型であるので、ユーザＵは、ディスプレイを介して自身が操作する状態判定装置１と、この状態判定装置１で把持している検査対象物４と、格納先となるコンテナと、の実物を視認することができる。なお、図１４及び図１５では、これらディスプレイを透過して視認される実物を破線で表す。加えて、ディスプレイ上には、通知部２１４により通知された情報が表示される。具体的に、ディスプレイ上の領域ＡＲ１には、検査対象物４が破損していないという判定結果に対応する「ＯＫ」というテキストや、位置を示す値（図中では「測定値」）が、第２閾値（図中では「閾値」）未満であることを示すテキストが表示される。また、ディスプレイ上の領域ＡＲ２には、作業において格納すべき各製品の数と、格納すべき数に不足している製品の数とが表示される。この表示は、作業情報記憶部２５２に記憶されている作業情報等に基づいて生成することができる。さらに、ディスプレイ上の領域ＡＲ３には、ユーザＵが次に行うべき作業を具体的に指示する内容として「コンテナＡＢＣに格納」という検査対象物４の格納先を示すテキストが表示される。

図１５にも、出力部２７に含まれる透過型ディスプレイを示す。ユーザＵは、ディスプレイを介して自身が操作する状態判定装置１と、この状態判定装置１で把持している検査対象物４と、廃棄先となるコンテナと、の実物を視認することができる。加えて、ディスプレイ上の領域ＡＲ４には、検査対象物４が破損しているという判定結果に対応する「ＮＧ」というテキストや、位置を示す値（図中では「測定値」）が、第２閾値（図中では「閾値」）を超えたことを示すテキストが表示される。また、ディスプレイ上の領域ＡＲ５には、ユーザＵが次に行うべき作業を具体的に指示する内容として「廃棄コンテナに廃棄」という検査対象物４の廃棄先を示すテキストが表示される。

ユーザＵは、これら図１４や図１５に例示したような表示を参照することにより、判定結果や、作業の進捗状況や、自身が次に行うべき作業、といった様々な情報を容易に把握することができる。すなわち、本実施形態では、力触覚を伝達する技術と、複合現実の技術を組み合わせて、ユーザＵの検査等における作業や判断を補助（すなわち、サポート）することができる。また、検査作業を、仕分けやピッキングといった作業と並行して行うことができるので、作業工程を圧縮することができる。

次に、図１６を参照すると、ステップＳ３２において、パラメータ取得部１１２は、リアルタイムに算出した現時点での力触覚に関する制御パラメータを取得する。
ステップＳ３３において、判定部１１４は、ステップＳ３２にて取得した力触覚に関する制御パラメータにおける力を示す値が第１閾値未満か否かを判定する。この判定は、ユーザＵが図１５や図１６のような通知を参照して作業を完了し（例えば、検査対象物４をコンテナに格納し）、把持機構６５により検査対象物４が把持されている状態が終了したことを確認する意図で行われる。

力を示す値が第１閾値未満の場合は、ステップＳ３３においてＹｅｓと判定され、処理はステップＳ３４に進む。一方で、力を示す値が第１閾値以上の場合（すなわち、未だ把持が継続している場合）は、ステップＳ３３においてＮｏと判定され、処理はステップＳ３２に戻り、判定を繰り返す。

ステップＳ３４において、判定部１１４は、ステップＳ３２を繰り返すことにより取得した、力触覚に関する制御パラメータをパラメータ記憶部１５１に記憶する。この記憶された制御パラメータは、その後、検査対象物４の種類に応じた第１閾値の値を修正する場面等で、ユーザＵが参考するために利用される。

ステップＳ３５において、判定部１１４は、一連の状態判定処理が終了した旨をウェアラブル端末２に対して送信する。
ステップＳ３０において、通知部２１４は、一連の状態判定処理が終了したことをユーザＵに対して通知する。
ステップＳ３７において、通知部２１４は、状態判定装置１の状態を示すスターテスを初期化する。

ステップＳ３８において、作業情報管理部２１５は、今回の作業内容を反映して、作業情報記憶部２５２が記憶する作業情報を更新する。例えば、検査対象物４が破損しておらず、コンテナに格納されたのであれば、このコンテナの現在の格納数を増加させる。あるいは、検査対象物４が破損しており、廃棄されたのであれば、廃棄数を増加させる。また、これらの作業を行ったユーザＵの識別情報や、作業終了時刻等の情報も追加する。
ステップＳ３９において、作業情報管理部２１５は、更新後の作業情報をサーバ装置３に対して送信する。

ステップＳ４０において、作業情報管理部３１３は、受信した更新後の作業情報に基づいて、作業情報記憶部３５２が記憶する作業情報を更新する。これにより、本処理は終了する。このように、ステップＳ３８〜ステップＳ４０の処理を行うことにより、ユーザＵの検査等における作業や判断を補助（すなわち、サポート）するのみならず、現在の作業情報を簡便に更新したり、最終的な作業履歴を簡便に作成したりすることが可能となる。

以上説明した、状態判定処理によれば、破損に関する検査を行うに際し、客観的な指標に基づいた、安定した精度での検査を実現することができる。
また、状態判定処理によれば、検査作業を、仕分けやピッキングといった作業と並行して行うことができる、すなわち、作業工程を圧縮することができる。

［変形例］
以上、本発明の実施形態について説明したが、この実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明は、本発明の要旨を逸脱しない範囲で、その他の様々な実施形態を取ることが可能である共に、省略及び置換等種々の変形を行うことができる。この場合に、これら実施形態及びその変形は、本明細書等に記載された発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
一例として、以上説明した本発明の実施形態を、以下のようにして変形してもよい。

上述した実施形態では、単一のサーバ装置３が、対象物情報の管理、画像解析による検査対象物４の識別、及び製品情報の管理を行っていた。これに限らず、例えば、これら複数の機能を、複数のサーバ装置に分散して実現するようにしてもよい。また、例えば、状態判定装置１とウェアラブル端末２とを単一の装置として実現してもよい。

さらに、上述の実施形態では、力を示す値が第１閾値を維持している状態で、且つ、位置を示す値が第２閾値未満とならないか、に基づいて検査対象物４の破損に関する判定を行っていた。すなわち、力を一定とした状態で、位置の変化（すなわち、移動量）に基づいて判定を行っていた。これに限らず、例えば、位置を一定とした状態で、力の変化に基づいて判定を行ってもよい。あるいは、力の変化と位置の変化の双方に基づいて判定を行ってもよい。すなわち、力触覚に関する制御パラメータに基づいて、把持におけるインピーダンスを適切に特定し、安定した精度で判定をすることが可能であれば、判定を行う基準を適宜変更してもよい。

以上のように、本実施形態に係る状態判定システムＳは、動作制御部１１１と、パラメータ取得部１１２と、判定部１１４と、通知部２１４と、を備える。
動作制御部１１１は、ユーザの操作に基づいて状態判定装置１の動作を制御することにより、状態判定装置１に検査対象物を把持させる。
パラメータ取得部１１２は、動作制御部１１１による状態判定装置１の制御で用いた、力触覚に関する制御パラメータを取得する。
判定部１１４は、パラメータ取得部１１２が取得した力触覚に関する制御パラメータに基づいて、検査対象物の破損に関する判定をする。
通知部２１４は、判定部１１４の判定結果をユーザに対して通知する。
このように、状態判定システムＳは、検査対象物を把持機構で把持した際の力触覚に関する制御パラメータに基づいて、客観的に検査対象物の破損に関する判定をする。すなわち、状態判定システムＳは、作業における感覚（ここでは、力触覚）をデータ化することで作業を見える化することができる。これにより、検査精度が属人的な感覚（すなわち、作業者の主観）に依存することなく、安定した精度で検査を行うことが可能となる。また、このような構成であることから、様々なセンサや検査用のコンベアといった大掛かりな設備を必要とすることなく、簡便に状態判定システムＳを実現できる。そのため、様々な製品について、輸送途中での破損を発見するための物流センターや小売店舗等で行われる検査に適用することが可能となる。
すなわち、状態判定システムＳによれば、破損に関する検査を行うに際し、客観的な指標に基づいた、安定した精度での検査を実現することができる。

検査対象物は、包装容器であり、
判定部１１４は、包装容器の破損により、検査対象物である包装容器によって包装されている内容物が流出しているか否かを判定する。
これにより、包装容器の破損により、空気漏れ等が発生していないか否かを検査することができる。

状態判定装置１は、ユーザの操作を受け付けるマスタ装置と、検査対象物の把持を実行するスレーブ装置とを含んでいる。
動作制御部１１１は、マスタ装置とスレーブ装置との間で力触覚に関する制御パラメータを伝達することにより、状態判定装置１の動作を制御する。
これにより、マスタ装置の動作とスレーブ装置の動作とを制御する際の、力触覚に関する制御パラメータを利用して検査を行うことができる。

状態判定システムＳは、識別部３１２をさらに備える。
識別部３１２は、検査対象物を認識することにより、該検査対象物の種類を識別する。
判定部１１４は、識別部３１２が識別した検査対象物の種類に対応する基準で、検査対象物の破損に関する判定をする。
これにより、様々な種類の検査対象物それぞれに対応した、適切な基準により検査を行うことができる。

識別部３１２は、ユーザが装着する撮影装置により撮影された検査対象物の画像に基づいて、該検査対象物の種類を識別する。
これにより、画像識別によって、より簡便に、検査対象物の種類を識別することができる。

通知部２１４は、ユーザが装着する通知装置から、判定部１１４の判定結果と共に、あるいは該判定結果に代えて、該判定結果に基づいたユーザに対する作業指示を通知する。
これにより、ユーザに対して、破損の有無等に応じた適切な作業指示を通知することができる。

判定部１１４は、力触覚に関する制御パラメータに基づいて検出される、状態判定装置１が備える所定部位の位置に基づいて、検査対象物の破損に関する判定をする。
これにより、位置という明確な基準に基づいて、検査を行うことができる。

状態判定システムＳは、作業情報管理部２１６及び作業情報管理部３１３をさらに備える。
作業情報管理部２１６及び作業情報管理部３１３は、ユーザによる状態判定装置１を用いた作業の結果を管理する。
これにより、検査を行うのみならず、作業履歴の管理等を行うことができる。

動作制御部１１１は、力触覚に関する制御パラメータを調整して状態判定装置１の把持を抑制することにより、該把持によって検査対象物が破損することを防止する。
これにより、検査中に誤って検査対象物を破損させてしまうような事態を防止することができる。

動作制御部１１１は、前記ユーザによる操作に基づいて状態判定装置１を制御するために、位置センサと、力・速度割当変換ブロックＦＴ理想力源ブロックＦＣ及び理想速度（位置）源ブロックＰＣと、逆変換ブロックＩＦＴと、を備える。
位置センサは、状態判定装置１の動作に伴う、位置に関する情報を検出する。
力・速度割当変換ブロックＦＴは、位置に関する情報に対応する所定の物理量の情報と、制御の基準となる情報とに基づいて、制御エネルギーを所定の物理量のエネルギーに対して割り当てる変換を行う。
理想力源ブロックＦＣ及び理想速度（位置）源ブロックＰＣは、力・速度割当変換ブロックＦＴによって割り当てられた所定の物理量のエネルギーに基づいて、所定の物理量の制御量を算出する。
逆変換ブロックＩＦＴは、理想力源ブロックＦＣ及び理想速度（位置）源ブロックＰＣが算出した制御量に基づく出力を状態判定装置１に戻すべく、該制御量を逆変換して、状態判定装置１への入力を決定する。
これにより、各ユーザが力触覚を伴う動作を行う場合に、力触覚に関する制御パラメータに基づいて、状態判定装置１の動作を制御することができる。

［ハードウェアやソフトウェアによる機能の実現］
上述した実施形態による一連の処理を実行させる機能は、ハードウェアにより実現することもできるし、ソフトウェアにより実現することもできるし、これらの組み合わせにより実現することもできる。換言すると、上述した一連の処理を実行する機能が、状態判定システムＳの何れかにおいて実現されていれば足り、この機能をどのような態様で実現するのかについては、特に限定されない。

例えば、上述した一連の処理を実行する機能を、演算処理を実行するプロセッサによって実現する場合、この演算処理を実行するプロセッサは、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

また、例えば、上述した一連の処理を実行する機能を、ソフトウェアにより実現する場合、そのソフトウェアを構成するプログラムは、ネットワーク又は記録媒体を介してコンピュータにインストールされる。この場合、コンピュータは、専用のハードウェアが組み込まれているコンピュータであってもよいし、プログラムをインストールすることで所定の機能を実行することが可能な汎用のコンピュータ（例えば、汎用のパーソナルコンピュータ等の電子機器一般）であってもよい。また、プログラムを記述するステップは、その順序に沿って時系列的に行われる処理のみを含んでいてもよいが、並列的あるいは個別に実行される処理を含んでいてもよい。また、プログラムを記述するステップは、本発明の要旨を逸脱しない範囲内において、任意の順番に実行されてよい。

このようなプログラムを記録した記録媒体は、コンピュータ本体とは別に配布されることによりユーザに提供されてもよく、コンピュータ本体に予め組み込まれた状態でユーザに提供されてもよい。この場合、コンピュータ本体とは別に配布される記憶媒体は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）、あるいはＢｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、例えば、ＭＤ（ＭｉｎｉＤｉｓｃ）等により構成される。これら記憶媒体は、例えば、図８のドライブ１８や図１０のドライブ３８に装着されて、コンピュータ本体に組み込まれる。また、コンピュータ本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図８のＲＯＭ１２、図９のＲＯＭ２２、図１０のＲＯＭ３２、図８の記憶部１５、図９の記憶部２５、あるいは、図１０の記憶部３５に含まれるハードディスク等により構成される。

１状態判定装置、２ウェアラブル端末、３サーバ装置、４検査対象物、１０制御ユニット、１１，２１，３１プロセッサ、１２，２２，３２ＲＯＭ、１３，２３，３３ＲＡＭ、１４，２４，３４通信部、１５，２５，３５記憶部、１６，２６，３６入力部、１７，２７，３７出力部、１８，３８ドライブ、２８カメラ、２９センサ、５０マスタ側ユニット、５１マスタ側ドライバ、５２マスタ側アクチュエータ、５３マスタ側位置センサ、５５操作機構、６０スレーブ側ユニット、６１スレーブ側ドライバ、６２スレーブ側アクチュエータ、６３スレーブ側位置センサ、６５把持機構、１１１動作制御部、１１２パラメータ取得部、１１３判定基準設定部、１１４判定部、１５１パラメータ記憶部、１５２判定基準記憶部、２１１指示解釈部、２１２対象物撮影部、２１３、３１１対象物情報管理部、２１４通知部、２１５、３１３作業情報管理部、２５１、３５１対象物情報記憶部、２５２、３５２作業情報記憶部、３１２識別部、ＣＳ制御対象システム、ＦＴ力・速度割当変換ブロック、ＦＣ理想力源ブロック、ＰＣ理想速度（位置）源ブロック、ＩＦＴ逆変換ブロック、Ｎネットワーク、Ｓ状態判定システム、Ｕユーザ

Claims

ユーザの操作に基づいて把持装置の動作を制御することにより、前記把持装置に検査対象物を把持させる動作制御手段と、
前記動作制御手段による前記把持装置の制御で用いた、力触覚に関する制御パラメータを取得するパラメータ取得手段と、
前記パラメータ取得手段が取得した前記力触覚に関する制御パラメータに基づいて、前記検査対象物の破損に関する判定をする判定手段と、
前記判定手段の判定結果を前記ユーザに対して通知する通知手段と、
を備えることを特徴とする状態判定システム。
前記検査対象物は、包装容器であり、
前記判定手段は、前記包装容器の破損により、前記検査対象物である包装容器によって包装されている内容物が流出しているか否かを判定する、
ことを特徴とする請求項１に記載の状態判定システム。
前記把持装置は、前記ユーザの操作を受け付けるマスタ装置と、前記検査対象物の把持を実行するスレーブ装置とを含んでおり、
前記動作制御手段は、前記マスタ装置と前記スレーブ装置との間で前記力触覚に関する制御パラメータを伝達することにより、前記把持装置の動作を制御する、
ことを特徴とする請求項１又は２に記載の状態判定システム。
前記検査対象物を認識することにより、該検査対象物の種類を識別する識別手段をさらに備え、
前記判定手段は、前記識別手段が識別した検査対象物の種類に対応する基準で、前記検査対象物の破損に関する判定をする、
ことを特徴とする請求項１から３の何れか１項に記載の状態判定システム。
前記識別手段は、前記ユーザが装着する撮影装置により撮影された前記検査対象物の画像に基づいて、該検査対象物の種類を識別する、
ことを特徴とする請求項４に記載の状態判定システム。
前記通知手段は、前記ユーザが装着する通知装置から、前記判定手段の判定結果と共に、あるいは該判定結果に代えて、該判定結果に基づいた前記ユーザに対する作業指示を通知する、
ことを特徴とする請求項１から５の何れか１項に記載の状態判定システム。
前記判定手段は、前記力触覚に関する制御パラメータに基づいて検出される、前記把持装置が備える所定部位の位置に基づいて、前記検査対象物の破損に関する判定をする、
ことを特徴とする請求項１から６の何れか１項に記載の状態判定システム。
前記ユーザによる前記把持装置を用いた作業の結果を管理する作業情報管理手段をさらに備える、
ことを特徴とする請求項１から７の何れか１項に記載の状態判定システム。
前記動作制御手段は、前記力触覚に関する制御パラメータを調整して前記把持装置の把持を抑制することにより、該把持によって前記検査対象物が破損することを防止する、
ことを特徴とする請求項１から８の何れか１項に記載の状態判定システム。
ユーザの操作に基づいて把持装置の動作を制御することにより、前記把持装置に検査対象物を把持させる動作制御ステップと、
前記動作制御ステップにて前記把持装置の制御で用いた、力触覚に関する制御パラメータを取得するパラメータ取得ステップと、
前記パラメータ取得ステップにて取得した前記力触覚に関する制御パラメータに基づいて、前記検査対象物の破損に関する判定をする判定ステップと、
前記判定ステップの判定結果を前記ユーザに対して通知する通知ステップと、
を含むことを特徴とする状態判定方法。
ユーザの操作に基づいて把持装置の動作を制御することにより、前記把持装置に検査対象物を把持させる動作制御機能と、
前記動作制御機能による前記把持装置の制御で用いた、力触覚に関する制御パラメータを取得するパラメータ取得機能と、
前記パラメータ取得機能が取得した前記力触覚に関する制御パラメータに基づいて、前記検査対象物の破損に関する判定をする判定機能と、
前記判定機能の判定結果を前記ユーザに対して通知する通知機能と、
をコンピュータに実現させることを特徴とする状態判定プログラム。