JP2016117121A - 組立支援システム、及び、組立支援方法 - Google Patents

Abstract

【課題】
組み立て作業性を容易に把握できる組立支援システム、及び、組立支援方法を提供する。
【解決手段】
第１部品及び第２部品の画像を表す第１画像データ及び第２画像データを格納するデータ格納部と、第１部品及び第２部品の画像を仮想空間に表示する表示部と、可動素子を有し、仮想空間の第１部品を操作する利用者が現実空間で手で操作する操作装置と、現実空間に配設され仮想空間における第２部品の位置を規定する位置マーカと、操作装置及び位置マーカの位置を検出する位置検出部と、操作装置及び位置マーカの位置に対応する仮想空間における位置に、第１画像データ及び第２画像データで得られる第１部品及び第２部品の画像を表示させる画像制御部と、第１部品と第２部品の位置を検出し、第１部品が第２部品に接触すると操作装置の可動素子を駆動させる制御部とを含む。
【選択図】図１

Description

本発明は、組立支援システム、及び、組立支援方法に関する。

従来より、組立品を構成する複数の部品を順次組み立てる組立作業の組立性、作業性を評価する組立作業性評価計算装置であって、複数の部品のそれぞれの部品属性と部品配置と他の部品との隣接関係の情報をＣＡＤから取得した３ＤＣＡＤモデルから抽出する情報取得手段を備える組立作業性評価計算装置がある。

取得した３ＤＣＡＤモデルの情報から部品種別を分類する部品種別の分類と特徴形状の検出手段と、３ＤＣＡＤモデル情報の部品間の隣接関係情報から、部品をノード、隣接関係をエッジとしたグラフにて、部品間の関係を表現する手段とをさらに備える。前記アセンブリグラフをもとに分解可能な方向を生成し、分解方向および分解順序を生成することで、その逆変換を行い組立順序、組立方向を導出する手段と、部品の組付動作ごとの基本減点Ｅｘに補正係数αを掛けて部品減点を算出し、基準点（満点１００）から部品ごとの減点の総和を差し引いて部品の組付けやすさの質を表わす指標を算出する手段とをさらに備える。

組立順序に従って複数の仮想的な作業者位置・姿勢・視点を生成する手段と、生成した作業者位置・姿勢・視点での作業性を評価する手段と、前記部品の組付けやすさの指標の評価値と組立作業性の総合評価値を算出し、その結果を出力する総合評価手段とをさらに備える（例えば、特許文献１参照）。

特開２０１４−１００７７３号公報

ところで、従来の装置は、組み立て作業において、ある部品を他の部品に取り付ける際に、取り付けの完了を容易に把握することができず、組み立て作業性を把握することが困難である。

そこで、組み立て作業性を容易に把握できる組立支援システム、及び、組立支援方法を提供することを目的とする。

本発明の実施の形態の組立支援システムは、仮想空間で第１部品を第２部品に取り付ける際に触感を提供する組立支援システムであって、前記第１部品の画像を表す第１画像データと、前記第２部品の画像を表す第２画像データとを格納するデータ格納部と、前記第１部品及び前記第２部品の画像を前記仮想空間に表示する表示部と、可動素子を有し、前記仮想空間にある前記第１部品を操作する利用者が、現実空間において手で操作する操作装置と、前記現実空間に配設され、前記仮想空間における前記第２部品の位置を規定する、位置マーカと、前記操作装置及び前記位置マーカの前記現実空間における位置を検出する位置検出部と、前記位置検出部によって検出される前記操作装置及び前記位置マーカの前記現実空間における位置に対応する前記仮想空間における位置に、前記第１画像データ及び前記第２画像データによって得られる前記第１部品及び前記第２部品の画像を前記表示部に表示させる画像制御部と、前記仮想空間における前記第１部品と前記第２部品の位置を検出し、前記仮想空間で前記第１部品が前記第２部品に接触すると、前記操作装置の前記可動素子を駆動させる、駆動制御部とを含む。

組み立て作業性を容易に把握できる組立支援システム、及び、組立支援方法を提供することができる。

実施の形態１の組立支援システム１００と仮想空間の様子を示す図である。 実施の形態の組立支援システムが適用されるコンピュータシステムの斜視図である。 コンピュータシステム１０の本体部１１内の要部の構成を説明するブロック図である。 ヘッドマウントユニット１１０と制御装置１２０の構成を示す図である。 操作装置１３０を示す図である。 筐体１３１のパネル１３１Ａに生じさせる超音波帯の固有振動により、操作入力を行う指先に掛かる動摩擦力が変化する様子を説明する図である。 第１部品に取り付けられるＱＲコードのコードＩＤ、第１部品の画像データ、駆動制御信号、及び所定時間を表すデータを含むデータ構造と、第２部品に取り付けられるコードＩＤ及び第２部品の画像データを含むデータ構造とを示す図である。 操作装置１３０の動作を説明する図である。 実施の形態１の組立支援システム１００の制御装置１２０が実行する処理を示すフローチャートである。 実施の形態２の組立支援システムの一部と仮想空間の様子を示す図である。 操作装置２３０を示す図である。 実施の形態２の組立支援システムの制御装置１２０が実行する処理を示すフローチャートである。 実施の形態３の組立支援システムの一部と仮想空間の様子を示す図である。 操作装置３３０を示す図である。 実施の形態４の操作装置４３０を示す図である。 実施の形態４の組立支援システムの一部と仮想空間の様子を示す図である。 操作装置４３０の動作を説明する図である。 実施の形態４の組立支援システムの制御装置１２０が実行する処理を示すフローチャートである。

以下、本発明の組立支援システム、及び、組立支援方法を適用した実施の形態について説明する。

＜実施の形態１＞
図１は、実施の形態１の組立支援システム１００と仮想空間の様子を示す図である。図１（Ａ）には、現実空間に配置される組立支援システム１００を示す。また、図１（Ｂ）には、組立支援システム１００のディスプレイ１１２に表示される仮想空間の構成を示す。

組立支援システム１００は、ヘッドマウントユニット１１０、制御装置１２０、操作装置１３０、及び対象部品１４０を含む。

ヘッドマウントユニット１１０は、フレーム１１１、ディスプレイ１１２、ステレオカメラ１１３、及びケーブル１１４を有する。

フレーム１１１は、眼鏡型であり、利用者が頭部に装着する。フレーム１１１には、ディスプレイ１１２とステレオカメラ１１３が配設される。

ディスプレイ１１２は、通常の眼鏡のレンズが装着される部位に配設されており、ヘッドマウントユニット１１０を装着する利用者の眼の前に、三次元モデルによる映像を表示する。ディスプレイ１１２としては、例えば、液晶又は有機ＥＬ(Electro Luminescence)等を用いることができる。ここでは、ディスプレイ１１２に表示される空間を仮想空間と称す。ディスプレイ１１２は、表示部の一例である。

ステレオカメラ１１３は、ディスプレイ１１２の上でフレーム１１１に取り付けられており、ヘッドマウントユニット１１０を装着する利用者の視線の方向を含む被写体の画像を撮影する。ステレオカメラ１１３は、ヘッドマウントユニット１１０が利用者に装着された状態で、左右に並べられるように配設される２つのカメラ１１３Ａ及び１１３Ｂを有する。

なお、ここでは、操作装置１３０に貼り付けられるＱＲコード（登録商標）１３０Ａと、対象部品１４０に貼り付けられるＱＲコード１４０Ａとの位置を測定（検出）するために、ステレオカメラ１１３を用いる。

ケーブル１１４は、ヘッドマウントユニット１１０と制御装置１２０を接続しており、ヘッドマウントユニット１１０への電力供給、ヘッドマウントユニット１１０への信号の送信、ヘッドマウントユニット１１０から制御装置１２０への信号の送信を行うために設けられている。

なお、ここでは、ヘッドマウントユニット１１０を用いる形態について説明するが、立体視表示に対応したモニターと、立体視眼鏡とを代わりに用いてもよい。

制御装置１２０は、ヘッドマウントユニット１１０の制御を行うコンピュータであり、ケーブル１１４を介してヘッドマウントユニット１１０に装着されている。制御装置１２０としては、ＰＣ(Personal Computer)を用いてもよい。

制御装置１２０は、ヘッドマウントユニット１１０のステレオカメラ１１３で撮影される画像を用いて画像処理を行い、三角測量の原理で、カメラ１１３Ａと１１３Ｂの視差を利用して被写体の位置を測定する。なお、被写体の位置は、現実空間では、ステレオカメラ１１３のカメラ１１３Ａ又は１１３Ｂのレンズの表面の中心軸上の点を基準とする三次元座標系で表される。

図１の現実空間には、ＸＹＺ座標系を示す。ＸＹＺ座標系の原点は、カメラ１１３Ａ又は１１３Ｂのレンズの表面の中心軸上の点である。

また、制御装置１２０は、ステレオカメラ１１３の画像から検出される操作装置１３０のＱＲコード１３０Ａと、対象部品１４０のＱＲコード１４０Ａとの現実空間での位置に対応する仮想空間の位置に、操作装置１３０に対応する第１部品１と、対象部品１４０に対応する第２部品２との画像を表示させる。

そして、制御装置１２０は、仮想空間において操作装置１３０に対応する第１部品１が、対象部品１４０に対応する第２部品２に接触すると（操作装置１３０に対応する第１部品１の画像が、対象部品１４０に対応する第２部品２の画像に接触すると）、操作装置１３０の振動素子を駆動し、操作装置１３０を手で操作する利用者の手に触感を提供する。

操作装置１３０は、仮想空間で利用者が第２部品に取り付ける第１部品１の位置を動かす際に操作する装置であり、ＱＲコード１３０Ａを表すシール状のタグが貼り付けられている。現実空間におけるＱＲコード１３０Ａの位置は、ステレオカメラ１１３で撮影される画像に基づいて制御装置１２０によって検出され、検出された現実空間での位置に対応する仮想空間の位置に、第１部品１の画像が表示される。

このため、利用者は、現実空間で操作装置１３０を移動させることにより、ディスプレイ１１２に表示される仮想空間にある第１部品１を移動させることができる。なお、ＱＲコード１３０Ａは、識別マーカの一例である。また、ＱＲコード１３０Ａの代わりに、ＩＤが表示されたＱＲコード以外のタグを用いてもよい。このようなタグとしては、例えば、一次元バーコードが印刷されたタグ、数字、又はドットパターンのような模様が印刷されたタグ等を用いることができる。

なお、ステレオカメラ１１３でＱＲコード１３０Ａの位置を検出する代わりに、操作装置１３０の形状及び/又は色に基づいて操作装置１３０の位置を検出してもよい。この場合には、ＱＲコード１３０Ａは必要ない。

対象部品１４０は、ＱＲコード１４０Ａを取り付けるために設けられている。ＱＲコード１４０Ａは、仮想空間で利用者が第１部品１を取り付ける第２部品２の位置に対応する現実空間での位置を規定するために設けられている。対象部品１４０は、対応部品の一例であり、ＱＲコード１４０Ａは、位置マーカの一例である。

このため、対象部品１４０を用いなくてもＱＲコード１４０Ａを所定の位置に設置できる場合は、組立支援システム１００は対象部品１４０を含まなくてもよい。また、ＱＲコード１４０Ａの代わりに、ＩＤが表示されたＱＲコード以外のタグを用いてもよい。このようなタグとしては、例えば、一次元バーコードが印刷されたタグ、数字が印刷されたタグ等を用いることができる。

なお、ステレオカメラ１１３でＱＲコード１４０Ａの位置を検出する代わりに、対象部品１４０の形状及び/又は色に基づいて対象部品１４０の位置を検出してもよい。この場合には、ＱＲコード１４０Ａは必要ない。

図１（Ｂ）に示す仮想空間は、ヘッドマウントユニット１１０のディスプレイ１１２に表示される画像によって構築される空間であり、第１部品１と第２部品２とが存在する。

仮想空間における位置は、現実空間における位置と対応付けられており、ここでは、一例として、現実空間のＸＹＺ座標系の原点と、仮想空間のＸＹＺ座標系の原点とが対応付けられていることとする。

図１には、Ｙ軸負方向側から見た仮想空間を示すが、ディスプレイ１１２には、Ｘ軸負方向側から見た仮想空間が表示される。

第１部品１は、ＰＣＩ(Peripheral Component Interconnect)コネクタ１Ａを有する電子部品であり、例えば、メモリモジュール又は通信モジュール等である。

第２部品２は、第１部品１のＰＣＩコネクタ１Ａに対応するＰＣＩコネクタ２Ａを有し、ＰＣＩコネクタ２Ａには、ＰＣＩコネクタ１Ａが差し込まれる。第２部品２は、例えば、メモリ及びＣＰＵ(Central Processing Unit：中央演算処理装置)が実装されたマザーボードであり、例えば、サーバに含まれる。

図２は、実施の形態の組立支援システムが適用されるコンピュータシステムの斜視図である。図２に示すコンピュータシステム１０は、本体部１１、ディスプレイ１２、キーボード１３、マウス１４、及びモデム１５を含む。

本体部１１は、ＣＰＵ（Central Processing Unit：中央演算装置）、ＨＤＤ（Hard Disk Drive：ハードディスクドライブ）、及びディスクドライブ等を内蔵する。ディスプレイ１２は、本体部１１からの指示により表示画面１２Ａ上に解析結果等を表示する表示部であり、例えば、液晶モニタであればよい。キーボード１３は、コンピュータシステム１０に種々の情報を入力するための入力部である。マウス１４は、ディスプレイ１２の表示画面１２Ａ上の任意の位置を指定する入力部である。モデム１５は、外部のデータベース等にアクセスして他のコンピュータシステムに記憶されているプログラム等をダウンロードする。

コンピュータシステム１０に組立支援システムとしての機能を持たせるプログラムは、ディスク１７等の可搬型記録媒体に格納されるか、モデム１５等の通信装置を使って他のコンピュータシステムの記録媒体１６からダウンロードされ、コンピュータシステム１０に入力されてコンパイルされる。

コンピュータシステム１０に組立支援システムとしての機能を持たせるプログラムは、コンピュータシステム１０を組立支援システムとして動作させる。このプログラムは、例えばディスク１７等のコンピュータ読み取り可能な記録媒体に格納されていてもよい。コンピュータ読み取り可能な記録媒体は、ディスク１７、ＩＣカードメモリ、フロッピー（登録商標）ディスク等の磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＵＳＢ(Universal Serial Bus)メモリ等の可搬型記録媒体に限定されるものではない。コンピュータ読み取り可能な記録媒体は、モデム１５又はＬＡＮ等の通信装置を介して接続されるコンピュータシステムでアクセス可能な各種記録媒体を含む。

図３は、コンピュータシステム１０の本体部１１内の要部の構成を説明するブロック図である。本体部１１は、バス２０によって接続されたＣＰＵ２１、ＲＡＭ又はＲＯＭ等を含むメモリ部２２、ディスク１７用のディスクドライブ２３、及びハードディスクドライブ（ＨＤＤ）２４を含む。実施の形態では、ディスプレイ１２、キーボード１３、及びマウス１４は、バス２０を介してＣＰＵ２１に接続されているが、これらはＣＰＵ２１に直接的に接続されていてもよい。また、ディスプレイ１２は、入出力画像データの処理を行う周知のグラフィックインタフェース（図示せず）を介してＣＰＵ２１に接続されていてもよい。

コンピュータシステム１０において、キーボード１３及びマウス１４は、組立支援システムの入力部である。ディスプレイ１２は、組立支援システムによる操作結果等を画面１２Ａ上に表示する表示部である。

なお、コンピュータシステム１０は、図２及び図３に示す構成のものに限定されず、各種周知の要素を付加してもよく、又は代替的に用いてもよい。

図４は、ヘッドマウントユニット１１０と制御装置１２０の構成を示す図である。

制御装置１２０は、位置検出部１２１、画像制御部１２２、駆動制御部１２３、及びデータ格納部１２４を含む。制御装置１２０は、ケーブル１１４を介して、ディスプレイ１１２及びステレオカメラ１１３と接続されている。

位置検出部１２１は、ステレオカメラ１１３で撮影された画像に基づき、三角測量の原理で、ＱＲコード１３０ＡとＱＲコード１４０Ａの位置を検出する。位置検出部１２１が検出するＱＲコード１３０ＡとＱＲコード１４０Ａの位置は、図１に示すカメラ１１３Ａ又は１１３Ｂのレンズの表面の中心軸上の点を原点とするＸＹＺ座標系における座標で表される。

また、位置検出部１２１は、ＱＲコード１３０ＡとＱＲコード１４０Ａの向きを検出する。このため、操作装置１３０と対象部品１４０の位置及び向きが位置検出部１２１によって検出される。

なお、ここでは、位置検出部１２１がステレオカメラ１１３で撮影された画像に基づいてＱＲコード１３０ＡとＱＲコード１４０Ａの位置を検出する形態について説明するが、ステレオカメラ１１３が位置の検出を行い、検出した位置を表すデータを位置検出部１２１に送信してもよい。

画像制御部１２２は、位置検出部１２１によって検出されるＱＲコード１３０ＡとＱＲコード１４０Ａの位置に対応する仮想空間における位置に、ＱＲコード１３０ＡとＱＲコード１４０Ａに対応する第１部品１及び第２部品２の画像をディスプレイ１１２に表示させる。ＱＲコード１３０ＡとＱＲコード１４０Ａは、それぞれ第１部品１と第２部品２の画像データと関連付けられて、データ格納部１２４に格納されている。データ構造については後述する。

駆動制御部１２３は、画像制御部１２２によって決定される仮想空間における第１部品１と第２部品２の位置を画像処理によって検出し、仮想空間で第１部品１が第２部品２に接触すると、操作装置１３０の振動素子１３５を駆動させる。

駆動制御部１２３が行う画像処理は、仮想空間における第１部品１と第２部品２の画像を表す画像データに対してパターンマッチング又はパターン認識等を行ってＰＣＩコネクタ１ＡとＰＣＩコネクタ２Ａを検出し、ＰＣＩコネクタ１ＡとＰＣＩコネクタ２Ａの接触の有無を判定する処理である。

なお、駆動制御部１２３が行う画像処理は、仮想空間における第１部品１と第２部品２の画像を表す画像データを用いて、ＰＣＩコネクタ１ＡとＰＣＩコネクタ２Ａの接触の有無を判定できる処理であればよく、上述以外の処理を行ってもよい。

データ格納部１２４は、ＱＲコード１３０Ａ及び１３０Ｂの識別子であるコードＩＤと、第１部品１及び第２部品２画像を表す画像データとを関連付けたデータを格納する。データ格納部１２４が格納するデータについては、図７を用いて後述する。

図５は、操作装置１３０を示す図である。

操作装置１３０は、ＱＲコード１３０Ａ、筐体１３１、マイコン１３２、ＤＡＣ(Digital to Analog Converter)１３３、アンプ１３４、振動素子１３５、及び通信部１３６を有する。

ＱＲコード１３０Ａは、筐体１３１の上面に貼り付けられている。ＱＲコード１３０Ａは、操作装置１３０の固有の識別子を表しており、ステレオカメラ１１３で撮影され、制御装置１２０によって現実空間における位置が検出される。このように、ＱＲコード１３０Ａは、操作装置１３０の位置を検出するために用いられるため、利用者が手で操作装置１３０を持つときは、ＱＲコード１３０Ａを覆わないようにすればよい。

筐体１３１は、ＱＲコード１３０Ａが上面に貼り付けられ、マイコン１３２、ＤＡＣ１３３、アンプ１３４、振動素子１３５、及び通信部１３６を内部に収納する。筐体１３１は、利用者が仮想空間における第１部品１を移動させるために、現実空間で移動させるので、握りやすい形状であってもよい。

マイコン１３２は、ＤＡＣ１３３及びアンプ１３４を介して振動素子１３５に接続されるとともに、通信部１３６に接続されている。マイコン１３２は、通信部１３６を介して制御装置１２０から受信する駆動制御信号を用いて、操作装置１３０の振動素子１３５を駆動する。マイコン１３２としては、例えば、ＣＰＵチップを用いることができる。

ＤＡＣ１３３は、マイコン１３２から入力されるデジタル形式の駆動制御信号をアナログ形式に変換して出力する。

アンプ１３４は、ＤＡＣ１３３から入力されるアナログ形式の駆動制御信号を増幅して振動素子１３５に出力する。

振動素子１３５は、筐体１３１の内部に固定されており、ＤＡＣ１３３及びアンプ１３４を介してマイコン１３２から入力される駆動制御信号によって駆動され、振動を発生する。振動素子１３５が振動すると、筐体１３１に振動が発生する。

実施の形態１では、振動素子１３５として、超音波帯の振動を発生できる素子を用いる。このような振動素子１３５は、例えば、ピエゾ素子又はＬＲＡ(Linear Resonant Actuator)のような圧電素子を含むものであればよい。ここでは、振動素子１３５はピエゾ素子である場合について説明する。超音波帯の固有振動を発生させる駆動制御信号を用いて、振動素子１３５を駆動すると、筐体１３１の外表面に超音波帯の固有振動が発生する。

超音波帯とは、例えば、約２０ｋＨｚ以上の周波数帯であり、人間が聴き取ることのできる可聴域よりも高い周波数をいう。

なお、筐体１３１の外表面のうち、利用者が触れる場所を筐体１３１とは別の独立したパネルにして、このパネルに超音波帯の固有振動が発生するようにしてもよい。

通信部１３６は、制御装置１２０と無線通信を行う通信部である。通信部１３６としては、例えば、Bluetooth（登録商標）用、WiFi用、又はZigBee用等の通信部を用いることができる。通信部１３６は、制御装置１２０から駆動制御信号を受信し、マイコン１３２に出力する。

なお、通信部１３６は、Bluetooth用の通信部に限られず、例えば、無線ＬＡＮ(Local Area Network)用の通信部であってもよい。また、操作装置１３０と制御装置１２０との間の通信は、無線通信に限られず、ケーブル等を用いて有線通信であってもよい。この場合は、通信部１３６は、有線通信用のインターフェイスであってもよい。

次に、筐体１３１のパネル１３１Ａに発生させる超音波帯の固有振動について説明する。パネル１３１Ａは、筐体１３１の外表面の一部を別の独立したパネルにしたものである。

図６は、筐体１３１のパネル１３１Ａに生じさせる超音波帯の固有振動により、操作入力を行う指先に掛かる動摩擦力が変化する様子を説明する図である。図６の（Ａ）、（Ｂ）では、利用者が指先でパネル１３１Ａに触れながら、指をパネル１３１Ａの奥側から手前側に矢印に沿って移動する操作入力を行っている。なお、振動のオン／オフは、振動素子１３５をオン／オフすることによって行われる。

また、図６の（Ａ）、（Ｂ）では、パネル１３１Ａの奥行き方向において、振動がオフの間に指が触れる範囲をグレーで示し、振動がオンの間に指が触れる範囲を白く示す。

超音波帯の固有振動は、パネル１３１Ａの全体に生じるが、図６の（Ａ）、（Ｂ）には、利用者の指がパネル１３１Ａの奥側から手前側に移動する間に振動のオン／オフを切り替える動作パターンを示す。

このため、図６の（Ａ）、（Ｂ）では、パネル１３１Ａの奥行き方向において、振動がオフの間に指が触れる範囲をグレーで示し、振動がオンの間に指が触れる範囲を白く示す。

図６の（Ａ）に示す動作パターンでは、利用者の指がパネル１３１Ａの奥側にあるときに振動がオフであり、指を手前側に移動させる途中で振動がオンになっている。

一方、図６の（Ｂ）に示す動作パターンでは、利用者の指がパネル１３１Ａの奥側にあるときに振動がオンであり、指を手前側に移動させる途中で振動がオフになっている。

ここで、パネル１３１Ａに超音波帯の固有振動を生じさせると、パネル１３１Ａの表面と指との間にスクイーズ効果による空気層が介在し、指でパネル１３１Ａの表面をなぞったときの動摩擦係数が低下する。

従って、図６の（Ａ）では、パネル１３１Ａの奥側にグレーで示す範囲では、指先に掛かる動摩擦力は大きく、パネル１３１Ａの手前側に白く示す範囲では、指先に掛かる動摩擦力は小さくなる。

このため、図６の（Ａ）に示すようにパネル１３１Ａに操作入力を行う利用者は、振動がオンになると、指先に掛かる動摩擦力の低下を感知し、指先の滑り易さを知覚することになる。このとき、利用者はパネル１３１Ａの表面がより滑らかになることにより、動摩擦力が低下するときに、パネル１３１Ａの表面に凹部が存在するように感じる。

一方、図６の（Ｂ）では、パネル１３１Ａの奥前側に白く示す範囲では、指先に掛かる動摩擦力は小さく、パネル１３１Ａの手前側にグレーで示す範囲では、指先に掛かる動摩擦力は大きくなる。

このため、図６の（Ｂ）に示すようにパネル１３１Ａに操作入力を行う利用者は、振動がオフになると、指先に掛かる動摩擦力の増大を感知し、指先の滑り難さ、あるいは、引っ掛かる感じを知覚することになる。そして、指先が滑りにくくなることにより、動摩擦力が高くなるときに、パネル１３１Ａの表面に凸部が存在するように感じる。

以上より、図６の（Ａ）と（Ｂ）の場合は、利用者は指先で凹凸を感じ取ることができる。このように人間が凹凸の知覚することは、例えば、"触感デザインのための印刷物転写法とSticky-band Illusion"(第11回計測自動制御学会システムインテグレーション部門講演会論文集 (SI2010, 仙台)____174-177, 2010-12)に記載されている。また、"Fishbone Tactile Illusion"(日本バーチャルリアリティ学会第10 回大会論文集(2005 年9 月))にも記載されている。

なお、ここでは、振動のオン／オフを切り替える場合の動摩擦力の変化について説明したが、これは、振動素子１３５の振幅（強度）を変化させた場合も同様である。

また、パネル１３１Ａのヤング率Ｅ、密度ρ、ポアソン比δ、長辺寸法ｌ、厚さｔと、長辺方向に存在する定在波の周期数ｋとを用いると、パネル１３１Ａの固有振動数（共振周波数）ｆは次式（１）、（２）で表される。定在波は１／２周期単位で同じ波形を有するため、周期数ｋは、０．５刻みの値を取り、０．５、１、１．５、２・・・となる。

なお、式（２）の係数αは、式（１）におけるｋ^２以外の係数をまとめて表したものである。

以上のように、筐体１３１のパネル１３１Ａに超音波帯の固有振動を発生させることができる。ここでは、筐体１３１の外表面の一部を別の独立したパネルにしたパネル１３１Ａに超音波帯の固有振動を発生させる場合について説明したが、外表面がすべて一体的に形成された筐体１３１においても、固有振動数を設定することにより、筐体１３１の外表面に超音波帯の固有振動を発生させることができる。

次に、図７を用いて、第１部品１及び第２部品２（図１参照）の画像データと、駆動制御信号について説明する。

図７は、第１部品に取り付けられるＱＲコードのコードＩＤ、第１部品の画像データ、駆動制御信号、及び所定時間を表すデータを含むデータ構造と、第２部品に取り付けられるコードＩＤ及び第２部品の画像データを含むデータ構造とを示す図である。これらのデータは、データ格納部１２４（図４参照）に格納されている。

図７（Ａ）に示すデータ構造は、第１部品に取り付けられるＱＲコードのコードＩＤ、第１部品の画像データ、第１駆動信号、第２駆動信号、及び所定時間を表すデータを関連付けたものである。

第１部品の画像データは、例えば、図１に示すＰＣＩコネクタ１Ａを有する第１部品１の三次元での画像を表すデータであり、中心点に対する大きさ及び形状のデータを含む。このため、仮想空間における中心点の座標が決まれば、仮想空間における所定の座標に第１部品１の画像を表示することができる。図７（Ａ）に示す画像データは、第１画像データの一例である。

図７（Ａ）に示すように、第１部品の画像データは、第１部品に取り付けられるＱＲコードのコードＩＤと関連付けられているため、例えば、ＱＲコード１３０Ａの実空間における座標が決まれば、実空間における座標に対応する仮想空間における座標に、第１部品１の画像を表示することができる。

第１駆動信号は、第１部品が第２部品に接触し始めたときに振動素子を駆動するために用いられる振動である。具体的には、例えば、第１駆動信号は、第１部品１のＰＣＩコネクタ１Ａが第２部品２のＰＣＩコネクタ２Ａに接触し始めたときに振動素子１３５を駆動するために用いられる振動である。

第２駆動信号は、第１部品が第２部品２に完全に取り付けられたときに振動素子を駆動するために用いられる振動であり、第１駆動制御信号とは異なる振動パターンを表す信号である。具体的には、例えば、第２駆動信号は、第１部品１のＰＣＩコネクタ１Ａが第２部品２のＰＣＩコネクタ２Ａに完全に取り付けられたときに振動素子１３５を駆動するために用いられる振動である。

所定時間は、第１部品が第２部品に接触し始めてから、第１部品が第２部品に完全に取り付けられるまでの所用時間である。具体的には、例えば、所定時間は、ＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに接触し始めてから、ＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに完全に取り付けられるまでの所要時間である。所定時間は、第１部品と第２部品の組み合わせに応じて、平均的な時間を実験等で求めて設定すればよく、例えば、１秒〜２秒程度である。

また、図７（Ｂ）に示すデータ構造は、第２部品に取り付けられるＱＲコードの識別子であるコードＩＤと、第２部品の画像を表す画像データとを関連付けたものである。第２部品の画像データは、例えば、図１に示すメモリ及びＣＰＵが実装されたマザーボードである第２部品２の三次元での画像であり、この画像には、ＰＣＩコネクタ２Ａの画像も含まれる。図７（Ｂ）に示す画像データは、第２画像データの一例である。

図７（Ｂ）に示す第２部品の画像データは、図７（Ａ）に示す第１部品の画像データと同様であるため、例えば、第２部品２に取り付けられるＱＲコード１４０Ａの実空間における座標が決まれば、実空間における座標に対応する仮想空間における座標に、マザーボードである第２部品２の画像を表示することができる。

なお、ここでは、第１部品１のＰＣＩコネクタ１Ａを第２部品２のＰＣＩコネクタ２Ａに取り付ける場合のコードＩＤ、画像データ、第１駆動信号、第２駆動信号、及び所定時間を含むデータ構造を用いて説明した。

しかしながら、様々な第１部品について、コードＩＤ、画像データ、第１駆動信号、第２駆動信号、及び所定時間を含むデータを作成するとともに、様々な第２部品について、コードＩＤ及び画像データを含むデータを作成しておけば、様々な第１部品及び第２部品を用いて振動による触感を利用者に提供することができる。

なお、このように画像を表示する処理は、画像制御部１２２（図４参照）が、図７に示す画像データを用いて実行する。

図８は、操作装置１３０の動作を説明する図である。

利用者が図８（Ａ）に示すように、操作装置１３０を手で持って対象部品１４０に近づけると、図８（Ｂ）に示すように、仮想空間で第１部品１に第２部品２が近づく画像がディスプレイ１１２に表示される。

そして、仮想空間で第２部品２のＰＣＩコネクタ２Ａに第１部品１のＰＣＩコネクタ１Ａが接触すると、制御装置１２０が画像に基づいて接触を検出し、図８（Ｃ）に示すように、操作装置１３０の振動素子１３５を振動させる。

この結果、操作装置１３０の筐体１３１に超音波帯の固有振動が発生し、利用者は指先の触感の変化によって、仮想空間で第２部品２のＰＣＩコネクタ２Ａに第１部品１のＰＣＩコネクタ１Ａが接触したことを認識することができる。

図８（Ｃ）に示すように、仮想空間で第２部品２のＰＣＩコネクタ２Ａに第１部品１のＰＣＩコネクタ１Ａが接触したときに振動素子１３５を振動させて提供する振動は、例えば、超音波帯の固有振動の振幅が最大になり、振動素子１３５の駆動時間が最短になるような振動パターンで行うことにより、強い凸感のある触感を提供できる。

なお、ここでは、一例として、現実空間で操作装置１３０と対象部品１４０が接触したときに、仮想空間で第２部品２のＰＣＩコネクタ２Ａに第１部品１のＰＣＩコネクタ１Ａが接触したと判定されることとする。

筐体１３１に超音波帯の固有振動が発生すると、スクイーズ効果によって筐体１３１の表面の摩擦力が低下するため、利用者の指先は滑りやすくなる。このような摩擦力の変化は、触感の変化として利用者に感じ取られる。このようにして、第１部品１が第２部品２に取り付けられるときの触感が利用者に提供される。

また、仮想空間で第２部品２のＰＣＩコネクタ２Ａに第１部品１のＰＣＩコネクタ１Ａが接触し始めたときに、振動素子１３５の振動を開始し、ＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに完全に差し込まれた状態になったときに、振動素子１３５の振動を終了させるようにしてもよい。

振動素子１３５の振動を終了させると、筐体１３１の表面の摩擦力が増大するため、利用者の指先が筐体１３１に対して移動している場合には、摩擦力の増大によって突起に触れたような触感を提供することができる。

また、このような摩擦力の増大による触感の提供は、ＰＣＩコネクタ１Ａ及び２Ａ又はＵＳＢ(Universal Serial Bus)用のコネクタのようにロックを有しない機構の場合には、比較的滑らかな触感を提供できるように、第１駆動制御信号及び第２駆動制御信号の信号レベルを設定し、超音波帯の固有振動の振幅を調整すればよい。

また、ＬＡＮ(Local Area Network)用のコネクタのようにロックを有する機構の場合には、比較的はっきりとした突起の触感を提供できるように、第１駆動制御信号及び第２駆動制御信号の信号レベルを設定し、超音波帯の固有振動の振幅を調整すればよい。

なお、図８（Ｃ）では現実空間で操作装置１３０と対象部品１４０が接触したときに、仮想空間で第２部品２のＰＣＩコネクタ２Ａに第１部品１のＰＣＩコネクタ１Ａが接触する形態について説明したが、仮想空間で第２部品２のＰＣＩコネクタ２Ａに第１部品１のＰＣＩコネクタ１Ａが接触する際に、現実空間では操作装置１３０と対象部品１４０とは接触していなくてもよい。

また、ここでは、操作装置１３０の筐体１３１に超音波帯の固有振動を発生させる形態について説明したが、超音波帯の固有振動の代わりに、可聴域の振動を筐体１３１に発生させてもよい。

図９は、実施の形態１の組立支援システム１００の制御装置１２０が実行する処理を示すフローチャートである。

制御装置１２０は、組立支援システム１００の電源が投入されると、処理を開始する。

まず、制御装置１２０の位置検出部１２１は、ステレオカメラ１１３に画像を撮影させる（ステップＳ１）。これにより、制御装置１２０は、ステレオカメラ１１３が撮影した画像を表すデータを取得する。

次に、位置検出部１２１は、ステップＳ１で取得した画像を表すデータに対してパターンマッチング又はパターン認識等の画像処理を行い、ＱＲコード１３０Ａ及び１４０Ａを検出したかどうかを判定する（ステップＳ２）。

位置検出部１２１は、ステップＳ２でＱＲコード１３０Ａ及び１４０Ａを検出した（Ｓ２：ＹＥＳ）と判定した場合は、ＱＲコード１３０Ａ及び１４０Ａが表すコードＩＤを読み取る（ステップＳ３）。

画像制御部１２２は、ステップＳ３で読み取られたコードＩＤを用いて、データ格納部１２４に格納されたデータから、コードＩＤに対応する部品を決定する（ステップＳ４）。これにより、ＱＲコード１３０Ａ及び１４０Ａが表すコードＩＤに対応する第１部品１と第２部品２との画像データが抽出される。

位置検出部１２１は、ステップＳ３で読み取ったＱＲコード１３０Ａ及び１４０Ａの画像に基づき、三角測量の原理で、ＱＲコード１３０ＡとＱＲコード１４０Ａの位置と向きを検出する（ステップＳ５）。なお、ステップＳ５の処理は、ステップＳ３でまとめて行ってもよい。

画像制御部１２２は、ステップＳ４で決定したコードＩＤに対応する部品を、ステップＳ５で検出された位置と向きに合わせてディスプレイ１１２に表示する（ステップＳ６）。これにより、ディスプレイ１１２に表示される仮想空間に第１部品１と第２部品２が立体的に表示される。仮想空間における第１部品１と第２部品２の位置と向きは、ステップＳ５において現実空間で検出されたＱＲコード１３０ＡとＱＲコード１４０Ａの位置に対応する仮想空間での位置と向きである。

次に、駆動制御部１２３は、仮想空間において部品同士が接触したかどうかを判定する（ステップＳ７）。より具体的には、駆動制御部１２３は、仮想空間における第１部品１と第２部品２の位置を画像処理によって検出し、仮想空間で第１部品１が第２部品２に接触したかどうかを判定する。

駆動制御部１２３は、接触した（Ｓ７：ＹＥＳ）と判定すると、第１の駆動制御信号を操作装置１３０に送信する（ステップＳ８）。これにより、振動素子１３５は、第１の駆動制御信号で駆動される。第１の駆動制御信号は、第１部品１のＰＣＩコネクタ１Ａが第２部品２のＰＣＩコネクタ２Ａに接触し始めたときに振動素子１３５を駆動するために用いられる振動である。

画像制御部１２２は、部品同士が接触し始めた画像をディスプレイ１１２に表示する（ステップＳ９）。これにより、操作装置１３０を手に持っている利用者は、第１の駆動制御信号による振動素子１３５の触感と、ディスプレイ１１２に表示されるＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに接触し始めたことを表す画像とにより、ＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに接触し始めたことを認識することができる。

駆動制御部１２３は、接触後に所定の時間が経過したかどうかを判定する（ステップＳ１０）。所定の時間は、部品同士が接触し始めてから、部品同士が完全に取り付けられるまでの平均的な時間を実験等で求めて設定しておけばよい。より具体的には、ＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに接触し始めてから、ＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに完全に取り付けられるまでの平均的な時間を実験等で求めて、所定時間として設定しておけばよい。

駆動制御部１２３は、所定時間が経過した（Ｓ１０：ＹＥＳ）と判定すると、第２の駆動制御信号を操作装置１３０に送信する（ステップＳ１１）。これにより、振動素子１３５は、第２の駆動制御信号で駆動される。第２の駆動制御信号は、第１部品１のＰＣＩコネクタ１Ａが第２部品２のＰＣＩコネクタ２Ａに完全に取り付けられたときに振動素子１３５を駆動するために用いられる振動であり、第１駆動制御信号とは異なる振動パターンを表す信号である。

画像制御部１２２は、部品同士が接合された状態の画像をディスプレイ１１２に表示する（ステップＳ１２）。これにより、操作装置１３０を手に持っている利用者は、第２の駆動制御信号による振動素子１３５の触感と、ディスプレイ１１２に表示されるＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに完全に取り付けられたことを表す画像とにより、ＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに完全に取り付けられたことを認識することができる。

以上により、制御装置１２０による処理が終了する。

なお、位置検出部１２１は、ステップＳ２でＱＲコード１３０Ａ及び１４０Ａを検出していない（Ｓ２：ＮＯ）と判定した場合は、フローをステップＳ１にリターンする。ステレオカメラ１１３で撮影される新たな画像に基づいて、ＱＲコード１３０Ａ及び１４０Ａを検出するためである。

また、駆動制御部１２３は、仮想空間において部品同士が接触していない判定すると（Ｓ７：ＮＯ）、フローをステップＳ２にリターンする。ＱＲコード１３０Ａ及び１４０ＡのコードＩＤの読み取りと部品の位置及び向きの検出をやり直すためである。

また、駆動制御部１２３は、所定時間が経過していない（Ｓ１０：ＮＯ）と判定すると、フローをステップＳ８にリターンする。ＰＣＩコネクタ１ＡはＰＣＩコネクタ２Ａに完全に取り付けられていないため、振動素子１３５を第１の駆動制御信号で駆動するためである。

以上、実施の形態１によれば、ヘッドマウントユニット１１０を装着した利用者が現実空間で操作装置１３０を手に持って、対象部品１４０に対して取り付ける動作を行うときに、ディスプレイ１１２に表示される仮想空間で第１部品１のＰＣＩコネクタ１Ａが第２部品２のＰＣＩコネクタ２Ａに接触し始めると、操作装置１３０の振動素子１３５が第１駆動制御信号で駆動される。

これにより、利用者は、ＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに接触し始めたことと、接触状態が続いていることを手に伝わる触感で検知することができる。

また、仮想空間でＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに完全に取り付けられると、振動素子１３５が第１駆動制御信号とは異なる第２駆動制御信号で駆動されるため、利用者は、取付が完了したことを手に伝わる触感で検知することができる。

このため、実施の形態１によれば、組み立て作業性を容易に把握できる組立支援システム１００、及び、組立支援方法を提供することができる。

また、実施の形態１の組立支援システム１００は、操作装置１３０、ＱＲコード１３０Ａ、対象部品１４０、及びＱＲコード１４０Ａを用いて、画像処理によって位置を特定して、仮想空間での操作における触感を提供するので、システム構成が簡易であり、大がかりな装置が不要であり、低コストで提供することができる。

なお、以上では、第１部品１のＰＣＩコネクタ１Ａを第２部品２のＰＣＩコネクタ２Ａに取り付ける場合について例示的に説明したが、第１部品１に相当する様々な部品を用いた場合について、組み立て作業性を容易に把握できる組立支援システム１００、及び、組立支援方法を提供することができる。

＜実施の形態２＞
図１０は、実施の形態２の組立支援システムの一部と仮想空間の様子を示す図である。図１０（Ａ）には、現実空間に配置される組立支援システムのうちの操作装置２３０と対象部品２４０を示す。実施の形態２の組立支援システムは、実施の形態１の組立支援システム１００のヘッドマウントユニット１１０及び制御装置１２０を含むが、図１０では省略する。

また、図１０（Ｂ）には、実施の形態２の組立支援システムのディスプレイ１１２に表示される仮想空間の構成を示す。

実施の形態２の組立支援システムは、ヘッドマウントユニット１１０（図１参照）、制御装置１２０（図１参照）、操作装置２３０、及び対象部品２４０を含む。以下、ヘッドマウントユニット１１０及び制御装置１２０については、図１を援用して説明を行う。

また、実施の形態１の組立支援システム１００の構成要素と同様の構成要素には同一符号を付し、その説明を省略する。

なお、制御装置１２０については、実施の形態１の制御装置１２０に対して、第２駆動制御信号で振動素子１３５を駆動した後に、操作装置２３０の電磁石をオンにする機能が追加されている。

操作装置２３０は、仮想空間で利用者が第２部品に取り付ける第１部品２０１の位置を動かす際に操作する装置であり、ＱＲコード１３０Ａが貼り付けられている。操作装置２３０は、実施の形態１の操作装置１３０に電磁石２３７を追加した構成を有する。

対象部品２４０は、ＱＲコード１４０Ａを取り付けて、仮想空間で利用者が第１部品２０１を取り付ける第２部品２０２の位置に対応する現実空間での位置を規定するために設けられている。

対象部品２４０は、実施の形態１の対象部品１４０をＬ字型の形状にし、操作装置２３０を近接させる面に、フィルム状の強磁性体２４１Ａ及び２４１Ｂを貼り付けた構成を有する。強磁性体２４１Ａの表面は水平であり、強磁性体２４１Ｂの表面は強磁性体２４１Ａの表面に対して垂直な方向に起立している。強磁性体２４１Ａ及び２４１Ｂとしては、例えば、フェライト製のシートを用いることができる。

対象部品２４０は、ＸＹ平面に平行な部分と、Ｚ軸正方向に起立する部分とを有し、ＸＺ平面に平行な側面がＬ字型の筐体である。ＸＹ平面に平行な上面には、強磁性体２４１Ａが貼り付けられており、ＹＺ平面に平行なＸ軸正方向側に位置する面には、強磁性体２４１Ｂが貼り付けられている。

また、ＱＲコード１４０Ａは、強磁性体２４１Ｂに重ねて貼り付けられている。

対象部品２４０は、上述以外は実施の形態１の対象部品１４０と同様である。

図１０（Ｂ）に示す仮想空間は、ヘッドマウントユニット１１０のディスプレイ１１２に表示される画像によって構築される空間であり、第１部品２０１と第２部品２０２とが存在する。

仮想空間における位置は、現実空間における位置と対応付けられており、ここでは、一例として、現実空間のＸＹＺ座標系の原点と、仮想空間のＸＹＺ座標系の原点とが対応付けられていることとする。

図１０（Ｂ）には、Ｙ軸負方向側から見た仮想空間を示すが、ディスプレイ１１２には、Ｘ軸負方向側から見た仮想空間が表示される。

第１部品２０１は、ＰＣＩコネクタ２０１Ａを有する電子部品であり、例えば、メモリモジュール又は通信モジュール等である。

第２部品２０２は、第１部品２０１のＰＣＩコネクタ２０１Ａに対応するＰＣＩコネクタ２０２Ａを有し、ＰＣＩコネクタ２０２Ａには、ＰＣＩコネクタ２０１Ａが差し込まれる。第２部品２０２は、例えば、メモリ及びＣＰＵが実装されたマザーボードであり、例えば、サーバに含まれる。

また、図１０（Ｂ）には、ＰＣＩコネクタ２０３Ａを有する第１部品２０３と、ＰＣＩコネクタ２０４Ａを示す。ＰＣＩコネクタ２０４Ａは、第２部品２０２の一部である。第１部品２０３及びＰＣＩコネクタ２０４Ａは、第１部品２０１及びＰＣＩコネクタ２０２Ａとはそれぞれ位置が異なるだけで、ペアとして用いられる部品である。

図１１は、操作装置２３０を示す図である。

操作装置２３０は、ＱＲコード１３０Ａ、筐体１３１、マイコン１３２、ＤＡＣ(Digital to Analog Converter)１３３、アンプ１３４、振動素子１３５、通信部１３６、及び電磁石２３７を有する。

操作装置２３０は、実施の形態１の操作装置１３０に電磁石２３７を追加した構成を有する。電磁石２３７は、振動素子１３５が第２駆動制御信号によって駆動された後に、制御装置１２０から送信される駆動制御信号によって所定の時間だけオンにされる。駆動制御信号は、マイコン１３２からＤＡＣ１３３及びアンプ１３４を経由して、電磁石２３７に入力される。電磁石２３７は、このようなタイミングでオンにされるとき以外は、オフにされる。

図１２は、実施の形態２の組立支援システムの制御装置１２０が実行する処理を示すフローチャートである。図１２に示すフローチャートは、図９に示す実施の形態１のフローチャートのステップＳ１２の後に、ステップＳ２１３を追加したものである。このため、ステップＳ１〜Ｓ１２については説明を省略する。

駆動制御部１２３がステップＳ１１で第２の駆動制御信号を操作装置２３０に送信し、画像制御部１２２がステップＳ１２で部品同士が接合された状態の画像をディスプレイ１１２に表示すると、駆動制御部１２３は、電磁石２３７をオンにするための駆動制御信号を操作装置２３０に送信する（ステップＳ２１３）。

これにより、操作装置２３０を手に持っている利用者には、第２の駆動制御信号による振動素子１３５の触感に加えて、電磁石２３７が強磁性体２４１Ｂに吸着することによる触感が提供される。

また、このとき、ディスプレイ１１２に表示されるＰＣＩコネクタ２０１Ａは、図１０（Ｂ）に示すように、ＰＣＩコネクタ２０２Ａに完全に取り付けられたことを表す画像になる。

従って、利用者は、振動素子１３５による触感と、ディスプレイ１１２に表示される画像に加えて、電磁石２３７が強磁性体２４１Ｂに吸着することによる触感により、ＰＣＩコネクタ２０１ＡがＰＣＩコネクタ２０２Ａに完全に取り付けられたことを認識することができる。

以上、実施の形態２によれば、ヘッドマウントユニット１１０を装着した利用者が現実空間で操作装置２３０を手に持って、対象部品１４０に対して取り付ける動作を行うときに、ディスプレイ１１２に表示される仮想空間で第１部品２０１のＰＣＩコネクタ２０１Ａが第２部品２０２のＰＣＩコネクタ２０２Ａに接触し始めると、操作装置２３０の振動素子１３５が第１駆動制御信号で駆動される。

これにより、利用者は、ＰＣＩコネクタ２０１ＡがＰＣＩコネクタ２０２Ａに接触し始めたことと、接触状態が続いていることを手に伝わる触感で検知することができる。

また、仮想空間でＰＣＩコネクタ２０１ＡがＰＣＩコネクタ２０２Ａに完全に取り付けられると、振動素子１３５が第１駆動制御信号とは異なる第２駆動制御信号で駆動されるとともに、電磁石２３７が強磁性体２４１Ｂに吸着するため、利用者は、取付が完了したことを手に伝わる触感で検知することができる。

このため、実施の形態２によれば、組み立て作業性を容易に把握できる組立支援システム、及び、組立支援方法を提供することができる。

また、実施の形態２の操作装置２３０は、電磁石２３７を含み、対象部品２４０は、垂直な方向に起立する表面を有する強磁性体２４１Ｂを含むため、第２部品２０２の水平面に加えて垂直面に第１部品２０１を取り付ける際にも、触感を提供することができる。

また、実施の形態２の組立支援システムは、操作装置２３０、ＱＲコード１３０Ａ、対象部品２４０、及びＱＲコード１４０Ａを用いて、画像処理によって位置を特定して、仮想空間での操作における触感を提供するので、システム構成が簡易であり、大がかりな装置が不要であり、低コストで提供することができる。

なお、以上では、第１部品２０１のＰＣＩコネクタ２０１Ａを第２部品２０２のＰＣＩコネクタ２０２Ａに取り付ける場合について例示的に説明したが、図１０（Ｂ）に示す第１部品２０３のＰＣＩコネクタ２０３ＡをＰＣＩコネクタ２０４Ａに取り付ける場合も同様の触感を利用者に提供することができる。

また、第１部品２０１及び２０３に相当する様々な部品を用いた場合について、組み立て作業性を容易に把握できる組立支援システム、及び、組立支援方法を提供することができる。

＜実施の形態３＞
図１３は、実施の形態３の組立支援システムの一部と仮想空間の様子を示す図である。図１３（Ａ）には、現実空間に配置される組立支援システムのうちの操作装置３３０と対象部品３４０を示す。実施の形態３の組立支援システムは、実施の形態１の組立支援システム１００のヘッドマウントユニット１１０及び制御装置１２０を含むが、図１３では省略する。

また、図１３（Ｂ）には、実施の形態３の組立支援システムのディスプレイ１１２に表示される仮想空間の構成を示す。

実施の形態３の組立支援システムは、ヘッドマウントユニット１１０（図１参照）、制御装置１２０（図１参照）、操作装置３３０、及び対象部品３４０を含む。以下、ヘッドマウントユニット１１０及び制御装置１２０については、図１を援用して説明を行う。

また、実施の形態１の組立支援システム１００の構成要素と同様の構成要素には同一符号を付し、その説明を省略する。

操作装置３３０は、仮想空間で利用者が第２部品に取り付ける第１部品３０１の位置を動かす際に操作する装置であり、ＱＲコード１３０Ａが貼り付けられている。操作装置３３０は、実施の形態１の操作装置１３０にコネクタピン３３８を追加した構成を有する。

コネクタピン３３８は、直方体状の操作装置３３０のＱＲコード１３０Ａが貼り付けられる面とは判定側の面から突出するように形成されている円柱状の部材である。コネクタピン３３８は、凸部の一例である。

対象部品３４０は、ＱＲコード１４０Ａを取り付けて、仮想空間で利用者が第１部品３０１を取り付ける第２部品３０２の位置に対応する現実空間での位置を規定するために設けられている。

対象部品３４０は、実施の形態２の対象部品２４０と同様にＬ字型の形状を有し、操作装置３３０を近接させる面に、ピンホール３４１Ａ、３４１Ｂを形成した構成を有する。ピンホール３４１Ａは、対象部品３４０の水平面に形成されており、ピンホール３４１Ｂは、対象部品３４０の垂直面に形成されている。ピンホール３４１Ａ、３４１Ｂは、操作装置３３０のコネクタピン３３８に対応した大きさ及び形状を有し、コネクタピン３３８が嵌着される。

ピンホール３４１Ａ、３４１Ｂの位置は、それぞれ、仮想空間におけるＰＣＩコネクタ３０２Ａ、３０４Ａの位置と対応付けられている。ピンホール３４１Ａ、３４１Ｂは、凹部の一例である。

ピンホール３４１Ａと３４１Ｂは、それぞれ、対象部品３４０のＸＹ平面に平行なＺ軸正方向側の面と、ＹＺ平面に平行なＸ軸正方向側の面に形成されている。

また、ＱＲコード１４０Ａは、ＹＺ平面に平行なＸ軸正方向側の面に貼り付けられている。

対象部品３４０は、上述以外は実施の形態１の対象部品１４０と同様である。

図１３（Ｂ）に示す仮想空間は、ヘッドマウントユニット１１０のディスプレイ１１２に表示される画像によって構築される空間であり、第１部品３０１と第２部品３０２とが存在する。

仮想空間における位置は、現実空間における位置と対応付けられており、ここでは、一例として、現実空間のＸＹＺ座標系の原点と、仮想空間のＸＹＺ座標系の原点とが対応付けられていることとする。

図１３（Ｂ）には、Ｙ軸負方向側から見た仮想空間を示すが、ディスプレイ１１２には、Ｘ軸負方向側から見た仮想空間が表示される。

第１部品３０１は、ＰＣＩコネクタ３０１Ａを有する電子部品であり、例えば、メモリモジュール又は通信モジュール等である。

第２部品３０２は、第１部品３０１のＰＣＩコネクタ３０１Ａに対応するＰＣＩコネクタ３０２Ａを有し、ＰＣＩコネクタ３０２Ａには、ＰＣＩコネクタ３０１Ａが差し込まれる。第２部品３０２は、例えば、メモリ及びＣＰＵが実装されたマザーボードであり、例えば、サーバに含まれる。

また、図１３（Ｂ）には、ＰＣＩコネクタ３０３Ａを有する第１部品３０３と、ＰＣＩコネクタ３０４Ａを示す。ＰＣＩコネクタ３０４Ａは、第２部品３０２の一部である。第１部品３０３及びＰＣＩコネクタ３０４Ａは、第１部品３０１及びＰＣＩコネクタ３０２Ａとはそれぞれ位置が異なるだけで、ペアとして用いられる部品である。

図１４は、操作装置３３０を示す図である。

操作装置３３０は、ＱＲコード１３０Ａ、筐体１３１、マイコン１３２、ＤＡＣ(Digital to Analog Converter)１３３、アンプ１３４、振動素子１３５、通信部１３６、及びコネクタピン３３８を有する。

操作装置３３０は、実施の形態１の操作装置１３０にコネクタピン３３８を追加した構成を有する。コネクタピン３３８は、現実空間における操作装置３３０の対象部品３４０に対する位置決めを行うために設けられている。

なお、対象部品３４０のピンホール３４１Ａ、３４１Ｂの位置は、それぞれ、仮想空間におけるＰＣＩコネクタ３０２Ａ、３０４Ａの位置と対応付けておけばよい。

以上、実施の形態３によれば、ヘッドマウントユニット１１０を装着した利用者が現実空間で操作装置３３０を手に持って、対象部品３４０に対して取り付ける動作を行うときに、ディスプレイ１１２に表示される仮想空間で第１部品３０１のＰＣＩコネクタ３０１Ａが第２部品３０２のＰＣＩコネクタ３０２Ａに接触し始めると、操作装置３３０の振動素子１３５が第１駆動制御信号で駆動される。

これにより、利用者は、ＰＣＩコネクタ３０１ＡがＰＣＩコネクタ３０２Ａに接触し始めたことと、接触状態が続いていることを手に伝わる触感で検知することができる。

また、このとき、操作装置３３０のコネクタピン３３８が、対象部品３４０のピンホール３４１Ｂに差し込まれ始めるので、現実空間においてコネクタピン３３８がピンホール３４１Ｂに当接することによる触感を利用者に提供できる。

また、仮想空間でＰＣＩコネクタ３０１ＡがＰＣＩコネクタ３０２Ａに完全に取り付けられると、振動素子１３５が第１駆動制御信号とは異なる第２駆動制御信号で駆動されるとともに、コネクタピン３３８がピンホール３４１Ｂに完全に差し込まれるため、利用者は、取付が完了したことを手に伝わる触感で検知することができる。

このため、実施の形態３によれば、組み立て作業性を容易に把握できる組立支援システム、及び、組立支援方法を提供することができる。

また、実施の形態３の操作装置３３０は、コネクタピン３３８を含み、対象部品３４０は、水平面に形成されるピンホール３４１Ａと、垂直面に形成されるピンホール３４１Ｂとを含むため、第２部品３０２の水平面に加えて垂直面に第１部品３０１を取り付ける際にも、触感を提供することができる。

また、実施の形態３の組立支援システムは、操作装置３３０、ＱＲコード１３０Ａ、対象部品３４０、及びＱＲコード１４０Ａを用いて、画像処理によって位置を特定して、仮想空間での操作における触感を提供するので、システム構成が簡易であり、大がかりな装置が不要であり、低コストで提供することができる。

なお、以上では、第１部品３０１のＰＣＩコネクタ３０１Ａを第２部品３０２のＰＣＩコネクタ３０２Ａに取り付ける場合について例示的に説明したが、図１３（Ｂ）に示す第１部品３０３のＰＣＩコネクタ３０３Ａを第２部品２０４のＰＣＩコネクタ３０４Ａに取り付ける場合も同様の触感を利用者に提供することができる。

また、第１部品３０１及び２０３に相当する様々な部品を用いた場合について、組み立て作業性を容易に把握できる組立支援システム、及び、組立支援方法を提供することができる。

＜実施の形態４＞
図１５は、実施の形態４の操作装置４３０を示す図である。

操作装置４３０は、ＱＲコード１３０Ａ、筐体１３１、マイコン１３２、ＤＡＣ(Digital to Analog Converter)１３３、アンプ１３４、アクチュエータ４３５、通信部１３６、固定部４３７、可動部４３８、及びバネ４３９を有する。

操作装置４３０は、実施の形態１の操作装置１３０の振動素子１３５の代わりに、アクチュエータ４３５、固定部４３７、可動部４３８、及びバネ４３９を有する。その他の構成は、実施の形態１の操作装置１３０と同様である。

アクチュエータ４３５は、図中に矢印で示すように左右方向に移動可能なアクチュエータであり、例えば、モータによって左右方向に移動可能にされる板状の部材を用いることができる。アクチュエータ４３５は、可動部４３８の側面に当接している。

アクチュエータ４３５は、マイコン１３２によって駆動され、可動部４３８を図中右方向に押圧する度合を変化させる。なお、アクチュエータ４３５が円柱状の可動部４３８と当接する面は、可動部４３８の円柱形状に合わせて凹状に湾曲していてもよい。

固定部４３７は、筐体１３１に固定されており、可動部４３８との間にバネ４３９を保持する。固定部４３７は、Ｌ字型の部材であり、可動部４３８が筐体１３１の内部に完全に収納された状態において、可動部４３８及びバネ４３９を保持できるように寸法が設定されている。

可動部４３８は、円柱状の部材であり、固定部４３７との間にバネ４３９を介して保持されている。可動部４３８は、アクチュエータ４３５がオフで、可動部４３８に応力がかかっていない状態では、バネ４３９の復元力によって、図１５に示すように下端が筐体１３１から突出している。筐体１３１には、可動部４３８の円柱形状に対応した円形の孔部が形成されており、可動部４３８は、孔部から入れ子式に筐体１３１に対して入れ子式に移動することができる。

可動部４３８は、利用者が操作装置４３０を手に持って、可動部４３８の下端を対象部品１４０に当接させて操作装置４３０を対象部品１４０に押し付けると、筐体１３１に対して入れ子式に移動し、筐体１３１の内部に収納される。

バネ４３９は、固定部４３７と可動部４３８との間に設けられており、自然長の状態では、図１５に示すように可動部４３８の下端が筐体１３１から下方に突出した状態になっている。

以上のような操作装置４３０において、アクチュエータ４３５は、マイコン１３２が出力する第１アクチュエータ駆動信号と第２アクチュエータ駆動信号とによって駆動される。アクチュエータ４３５は、第１アクチュエータ駆動信号よりも第２アクチュエータ駆動信号で駆動されるときの方が、可動部４３８を図中右方向に押圧する力が強くなる。

第１アクチュエータ駆動信号は、第１部品１のＰＣＩコネクタ１Ａが第２部品２のＰＣＩコネクタ２Ａに接触し始めたときにアクチュエータ４３５を駆動するために用いられる。

また、第２アクチュエータ駆動信号は、第１部品１のＰＣＩコネクタ１Ａが第２部品２のＰＣＩコネクタ２Ａに完全に取り付けられたときにアクチュエータ４３５を駆動するために用いられ、第１アクチュエータ駆動信号とは異なる強度でアクチュエータ４３５を駆動する。

このため、第１アクチュエータ駆動信号と第２アクチュエータ駆動信号は、それぞれ、ＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに接触し始めたときと、完全に取り付けられたときの触感を提供できるように、信号レベルを設定しておけばよい。

アクチュエータ４３５が可動部４３８に当接し、アクチュエータ４３５と可動部４３８との間に生じる摩擦力が増大すると、操作装置４３０を通じて利用者の手に伝わる反力が大きくなるため、第１アクチュエータ駆動信号と第２アクチュエータ駆動信号でこのような摩擦力による反力を表現できるように、信号レベルを設定しておけばよい。

摩擦力による反力の大きさは、例えば、１Ｎ程度であり、ＰＣＩコネクタ１ＡとＰＣＩコネクタ２Ａの種類及び／又は材質に応じて設定すればよい。

なお、アクチュエータ４３５は、第１アクチュエータ駆動信号と第２アクチュエータ駆動信号とによって駆動されていないときは、可動部４３８を図中右方向に押圧しない。

このような第１アクチュエータ駆動信号と第２アクチュエータ駆動信号は、実施の形態１の第１駆動制御信号と第２駆動制御信号と同様に、コードＩＤ、画像データ、及び所定時間を表すデータ（図７（Ａ）参照）と関連付けられている。

図１６は、実施の形態４の組立支援システムの一部と仮想空間の様子を示す図である。図１６（Ａ）には、現実空間に配置される組立支援システムの一部を示す。実施の形態４の組立支援システムは、実施の形態１の組立支援システム１００のヘッドマウントユニット１１０及び制御装置１２０を含むが、図１６では省略する。

また、図１６（Ｂ）には、組立支援システムのディスプレイ１１２に表示される仮想空間の構成を示す。

以下、実施の形態１の組立支援システム１００の構成要素と同様の構成要素には同一符号を付し、その説明を省略する。

実施の形態４の組立支援システムは、ヘッドマウントユニット１１０（図１参照）、制御装置１２０（図１参照）、操作装置４３０、及び対象部品１４０を含む。図１６（Ａ）には、操作装置４３０及び対象部品１４０を示す。ヘッドマウントユニット１１０と制御装置１２０については図１を援用する。

なお、制御装置１２０は、実施の形態１の制御装置１２０の第１駆動制御信号及び第２駆動制御信号の代わりに第１アクチュエータ駆動信号及び第２アクチュエータ駆動信号を用いて、アクチュエータ４３５を駆動する。

図１６（Ｂ）に示す仮想空間は、ヘッドマウントユニット１１０のディスプレイ１１２に表示される画像によって構築される空間であり、第１部品１と第２部品２とが存在する。これは、図１（Ｂ）に示す実施の形態１の組立支援システム１００においてディスプレイ１１２に表示される仮想空間と同様である。

図１７は、操作装置４３０の動作を説明する図である。実施の形態４では、現実空間において可動部４３８の下端が対象部品１４０に当接するときの操作装置４３０の位置と、仮想空間において第２部品２のＰＣＩコネクタ２Ａに第１部品１のＰＣＩコネクタ１Ａが接触する位置とが一致するように、現実空間の座標系と仮想空間の座標系との位置が合わせられている。

利用者が図１７（Ａ）に示すように、操作装置４３０を手で持って対象部品１４０に近づけると、図１７（Ｂ）に示すように、仮想空間で第１部品１に第２部品２が近づく画像がディスプレイ１１２に表示される。

そして、仮想空間で第２部品２のＰＣＩコネクタ２Ａに第１部品１のＰＣＩコネクタ１Ａが接触すると、制御装置１２０が画像に基づいて接触を検出し、操作装置４３０のアクチュエータ４３５を第１アクチュエータ駆動信号で駆動させる。

仮想空間で第２部品２のＰＣＩコネクタ２Ａに第１部品１のＰＣＩコネクタ１Ａが接触するときは、現実空間では可動部４３８の下端が対象部品１４０に当接している。

この結果、操作装置４３０のアクチュエータ４３５が可動部４３８に当接し、アクチュエータ４３５と可動部４３８との間に生じる摩擦力が増大し、操作装置４３０を通じて利用者の手に伝わる反力が大きくなる。

このため、利用者は操作装置４３０を対象部品１４０に対して押し付ける際の触感の変化によって、仮想空間で第２部品２のＰＣＩコネクタ２Ａに第１部品１のＰＣＩコネクタ１Ａが接触したことを認識することができる。

また、利用者が操作装置４３０をさらに対象部品１４０に対して押し付けて、第１アクチュエータ駆動信号によってアクチュエータ４３５を駆動してから所定時間が経過すると、アクチュエータ４３５は第２アクチュエータ駆動信号で駆動される。

アクチュエータ４３５は、第１アクチュエータ駆動信号よりも第２アクチュエータ駆動信号で駆動されるときの方が、可動部４３８を図中右方向に押圧する力が強くなる。このため、第２アクチュエータ駆動信号による駆動に切り替わると、アクチュエータ４３５と可動部４３８との間の摩擦力が大きくなり、操作装置４３０を通じて利用者の手に伝わる反力がさらに大きくなる。

このため、利用者は、操作の完了を触感で検知することができる。なお、実験等で所定時間を適切な時間に設定しておけば、可動部４３８が図１７（Ｃ）に示すように最も押し込まれた状態で、第２アクチュエータ駆動信号による駆動に切り替えることができる。

図１８は、実施の形態４の組立支援システムの制御装置１２０が実行する処理を示すフローチャートである。

制御装置１２０は、組立支援システムの電源が投入されると、処理を開始する。

まず、制御装置１２０の位置検出部１２１は、ステレオカメラ１１３に画像を撮影させる（ステップＳ４０１）。これにより、制御装置１２０は、ステレオカメラ１１３が撮影した画像を表すデータを取得する。

次に、位置検出部１２１は、ステップＳ４０１で取得した画像を表すデータに対してパターンマッチング又はパターン認識等の画像処理を行い、ＱＲコード１３０Ａ及び１４０Ａを検出したかどうかを判定する（ステップＳ４０２）。

位置検出部１２１は、ステップＳ４０２でＱＲコード１３０Ａ及び１４０Ａを検出した（Ｓ４０２：ＹＥＳ）と判定した場合は、ＱＲコード１３０Ａ及び１４０Ａが表すコードＩＤを読み取る（ステップＳ４０３）。

画像制御部１２２は、ステップＳ４０３で読み取られたコードＩＤを用いて、データ格納部１２４に格納されたデータから、コードＩＤに対応する部品を決定する（ステップＳ４０４）。これにより、ＱＲコード１３０Ａ及び１４０Ａが表すコードＩＤに対応する第１部品１と第２部品２との画像データが抽出される。

位置検出部１２１は、ステップＳ４０３で読み取ったＱＲコード１３０Ａ及び１４０Ａの画像に基づき、三角測量の原理で、ＱＲコード１３０ＡとＱＲコード１４０Ａの位置と向きを検出する（ステップＳ４０５）。なお、ステップＳ４０５の処理は、ステップＳ４０３でまとめて行ってもよい。

画像制御部１２２は、ステップＳ４０４で決定したコードＩＤに対応する部品を、ステップＳ４０５で検出された位置と向きに合わせてディスプレイ１１２に表示する（ステップＳ４０６）。これにより、ディスプレイ１１２に表示される仮想空間に第１部品１と第２部品２が立体的に表示される。仮想空間における第１部品１と第２部品２の位置と向きは、ステップＳ４０５において現実空間で検出されたＱＲコード１３０ＡとＱＲコード１４０Ａの位置に対応する仮想空間での位置と向きである。

次に、駆動制御部１２３は、仮想空間において部品同士が接触したかどうかを判定する（ステップＳ４０７）。より具体的には、駆動制御部１２３は、仮想空間における第１部品１と第２部品２の位置を画像処理によって検出し、仮想空間で第１部品１が第２部品２に接触したかどうかを判定する。

駆動制御部１２３は、接触した（Ｓ４０７：ＹＥＳ）と判定すると、第１アクチュエータ駆動信号を操作装置４３０に送信する（ステップＳ４０８）。これにより、アクチュエータ４３５は、第１アクチュエータ駆動信号で駆動される。第１アクチュエータ駆動信号は、第１部品１のＰＣＩコネクタ１Ａが第２部品２のＰＣＩコネクタ２Ａに接触し始めたときにアクチュエータ４３５を駆動するために用いられる。

画像制御部１２２は、部品同士が接触し始めた画像をディスプレイ１１２に表示する（ステップＳ４０９）。これにより、操作装置４３０を手に持っている利用者は、第１アクチュエータ駆動信号でアクチュエータ４３５が駆動されることによる触感と、ディスプレイ１１２に表示されるＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに接触し始めたことを表す画像とにより、ＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに接触し始めたことを認識することができる。

駆動制御部１２３は、接触後に所定の時間が経過したかどうかを判定する（ステップＳ４１０）。所定の時間は、部品同士が接触し始めてから、部品同士が完全に取り付けられるまでの平均的な時間を実験等で求めて設定しておけばよい。より具体的には、ＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに接触し始めてから、ＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに完全に取り付けられるまでの平均的な時間を実験等で求めて、所定時間として設定しておけばよい。

駆動制御部１２３は、所定時間が経過した（Ｓ４１０：ＹＥＳ）と判定すると、第２アクチュエータ駆動信号を操作装置４３０に送信する（ステップＳ４１１）。これにより、アクチュエータ４３５は、第２アクチュエータ駆動信号で駆動される。第２アクチュエータ駆動信号は、第１部品１のＰＣＩコネクタ１Ａが第２部品２のＰＣＩコネクタ２Ａに完全に取り付けられたときにアクチュエータ４３５を駆動するために用いられ、第１アクチュエータ駆動信号とは異なる強度でアクチュエータ４３５を駆動する。

画像制御部１２２は、部品同士が接合された状態の画像をディスプレイ１１２に表示する（ステップＳ４１２）。これにより、操作装置４３０を手に持っている利用者は、第２アクチュエータ駆動信号でアクチュエータ４３５が駆動されることによる触感と、ディスプレイ１１２に表示されるＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに完全に取り付けられたことを表す画像とにより、ＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに完全に取り付けられたことを認識することができる。

以上により、制御装置１２０による処理が終了する。

なお、位置検出部１２１は、ステップＳ４０２でＱＲコード１３０Ａ及び１４０Ａを検出していない（Ｓ４０２：ＮＯ）と判定した場合は、フローをステップＳ４０１にリターンする。ステレオカメラ１１３で撮影される新たな画像に基づいて、ＱＲコード１３０Ａ及び１４０Ａを検出するためである。

また、駆動制御部１２３は、仮想空間において部品同士が接触していない判定すると（Ｓ４０７：ＮＯ）、フローをステップＳ４０２にリターンする。ＱＲコード１３０Ａ及び１４０ＡのコードＩＤの読み取りと部品の位置及び向きの検出をやり直すためである。

また、駆動制御部１２３は、所定時間が経過していない（Ｓ４１０：ＮＯ）と判定すると、フローをステップＳ４０８にリターンする。ＰＣＩコネクタ１ＡはＰＣＩコネクタ２Ａに完全に取り付けられていないため、アクチュエータ４３５を第１アクチュエータ駆動信号で駆動するためである。

以上、実施の形態４によれば、ヘッドマウントユニット１１０を装着した利用者が現実空間で操作装置４３０を手に持って、対象部品１４０に対して取り付ける動作を行うときに、ディスプレイ１１２に表示される仮想空間で第１部品１のＰＣＩコネクタ１Ａが第２部品２のＰＣＩコネクタ２Ａに接触し始めると、操作装置４３０のアクチュエータ４３５が第１アクチュエータ駆動信号で駆動される。

これにより、利用者は、ＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに接触し始めたことと、接触状態が続いていることを手に伝わる触感で検知することができる。

また、仮想空間でＰＣＩコネクタ１ＡがＰＣＩコネクタ２Ａに完全に取り付けられると、アクチュエータ４３５が第１アクチュエータ駆動信号とは異なる第２アクチュエータ駆動信号で駆動されるため、利用者は、取付が完了したことを手に伝わる触感で検知することができる。

このため、実施の形態４によれば、組み立て作業性を容易に把握できる組立支援システム、及び、組立支援方法を提供することができる。

また、実施の形態４の組立支援システムは、操作装置４３０、ＱＲコード１３０Ａ、対象部品１４０、及びＱＲコード１４０Ａを用いて、画像処理によって位置を特定して、仮想空間での操作における触感を提供するので、システム構成が簡易であり、大がかりな装置が不要であり、低コストで提供することができる。

なお、以上では、第１部品１のＰＣＩコネクタ１Ａを第２部品２のＰＣＩコネクタ２Ａに取り付ける場合について例示的に説明したが、第１部品１に相当する様々な部品を用いた場合について、組み立て作業性を容易に把握できる組立支援システム、及び、組立支援方法を提供することができる。

以上、本発明の例示的な実施の形態の組立支援システム、及び、組立支援方法について説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
以上の実施の形態に関し、さらに以下の付記を開示する。
（付記１）
仮想空間で第１部品を第２部品に取り付ける際に触感を提供する組立支援システムであって、
前記第１部品の画像を表す第１画像データと、前記第２部品の画像を表す第２画像データとを格納するデータ格納部と、
前記第１部品及び前記第２部品の画像を前記仮想空間に表示する表示部と、
可動素子を有し、前記仮想空間にある前記第１部品を操作する利用者が、現実空間において手で操作する操作装置と、
前記現実空間に配設され、前記仮想空間における前記第２部品の位置を規定する、位置マーカと、
前記操作装置及び前記位置マーカの前記現実空間における位置を検出する位置検出部と、
前記位置検出部によって検出される前記操作装置及び前記位置マーカの前記現実空間における位置に対応する前記仮想空間における位置に、前記第１画像データ及び前記第２画像データによって得られる前記第１部品及び前記第２部品の画像を前記表示部に表示させる画像制御部と、
前記仮想空間における前記第１部品と前記第２部品の位置を検出し、前記仮想空間で前記第１部品が前記第２部品に接触すると、前記操作装置の前記可動素子を駆動させる、駆動制御部と
を含む、組立支援システム。
（付記２）
前記操作装置には、前記操作装置を識別する識別子を表す識別マーカが付されており、前記位置検出部は、前記識別マーカの位置を検出することにより、前記操作装置の位置を検出する、付記１記載の組立支援システム。
（付記３）
前記操作装置は、利用者が手で保持する筐体を有し、前記可動素子は、前記筐体の内部又は外部に取り付けられており、
前記可動素子は振動素子であり、前記駆動制御部から無線通信又は有線通信によって送信される駆動制御信号によって前記振動素子が駆動されることにより、前記筐体を振動させる、付記１又は２記載の組立支援システム。
（付記４）
前記駆動制御信号は、前記筐体に超音波帯の固有振動を発生させる駆動制御信号である、付記３記載の組立支援システム。
（付記５）
前記位置マーカ側に配設される磁石又は強磁性体をさらに含み、
前記操作装置は、前記仮想空間で前記第１部品を前記第２部品に取り付ける際に前記磁石又は前記強磁性体に当接する電磁石を有し、
前記電磁石は、前記仮想空間で前記第１部品が前記第２部品に接触すると、前記駆動制御部から無線通信又は有線通信で送信される制御信号によってオンにされる、付記３又は４記載の組立支援システム。
（付記６）
前記位置マーカは、前記第２部品に前記現実空間で対応する対応部品に取り付けられており、
前記操作装置は、前記仮想空間で前記第１部品を前記第２部品に取り付ける際に、前記対応部品を向く側に凸部又は凹部を有しており、
前記対応部品は、凹部又は凸部を有しており、
前記操作装置は、前記仮想空間で前記第１部品を前記第２部品に取り付ける際に、前記現実空間で前記操作装置の前記凸部又は前記凹部を前記対応部品の前記凹部又は前記凸部に嵌合することにより、前記対応部品に取り付けられる、付記３乃至５のいずれか一項記載の組立支援システム。
（付記７）
前記操作装置は、利用者が手で保持する筐体を有し、
前記可動素子は、
前記仮想空間で前記第１部品を前記第２部品に取り付ける際に前記操作装置を操作する方向において、前記筐体に対して入れ子式に移動する可動部と、
前記可動部が前記筐体に対して入れ子式に移動する際に、前記駆動制御部から無線通信又は有線通信で送信される制御信号によって制御されることによって前記可動部の移動に伴う摩擦力を変化させる摩擦制御部と
を有し、
前記摩擦制御部は、前記仮想空間で前記第１部品が前記第２部品に接触すると、前記可動部の移動に伴う摩擦力を変化させる、付記１又は２記載の組立支援システム。
（付記８）
前記位置マーカは、前記第２部品に前記現実空間で対応する対応部品に取り付けられる、付記１乃至５及び７のいずれか一項記載の組立支援システム。
（付記９）
前記位置マーカは、前記第２部品に前記現実空間で対応する対応部品の外観であり、前記位置検出部は、前記現実空間における前記対応部品の外観を検出することにより、前記位置マーカの位置を検出する、付記１乃至８のいずれか一項記載の組立支援システム。
（付記１０）
前記表示部は、利用者が頭部に装着するヘッドマウントユニットに取り付けられるヘッドマウントディスプレイである、付記１乃至９のいずれか一項記載の組立支援システム。
（付記１１）
前記位置検出部は、前記ヘッドマウントユニットに取り付けられ、利用者の視線を含む方向において、前記操作装置及び前記位置マーカの前記現実空間における位置を検出する、付記１０記載の組立支援システム。
（付記１２）
仮想空間で第１部品を第２部品に取り付ける際に触感を提供する組立支援システムであって、
前記第１部品の画像を表す第１画像データと、前記第２部品の画像を表す第２画像データとを格納するデータ格納部と、
前記第１部品及び前記第２部品の画像を前記仮想空間に表示する表示部と、
可動素子を有し、前記仮想空間にある前記第１部品を操作する利用者が、現実空間において手で操作する操作装置と、
前記現実空間に配設され、前記仮想空間における前記第２部品の位置を規定する、位置マーカと、
前記操作装置及び前記位置マーカの前記現実空間における位置を検出する位置検出部と、
前記位置検出部によって検出される前記操作装置及び前記位置マーカの前記現実空間における位置に対応する前記仮想空間における位置に、前記第１画像データ及び前記第２画像データによって得られる前記第１部品及び前記第２部品の画像を前記表示部に表示させる画像制御部と
を含む組立支援システムにおいて、触感を提供する組立支援方法であって、
コンピュータが、
前記仮想空間における前記第１部品と前記第２部品の位置を検出し、前記仮想空間で前記第１部品が前記第２部品に接触すると、前記操作装置の前記可動素子を駆動させる、組立支援方法。

１ 第１部品
２ 第２部品
１Ａ、２Ａ ＰＣＩコネクタ
１００ 組立支援システム
１１０ ヘッドマウントユニット
１１１ フレーム
１１２ ディスプレイ
１１３ ステレオカメラ
１１４ ケーブル
１２０ 制御装置
１２１ 位置検出部
１２２ 画像制御部
１２３ 駆動制御部
１２４ データ格納部
１３０ 操作装置
１３０Ａ ＱＲコード
１３１ 筐体
１３２ マイコン
１３３ ＤＡＣ
１３４ アンプ
１３５ 振動素子
１３６ 通信部
１４０ 対象部品
１４０Ａ ＱＲコード
２０１ 第１部品
２０２ 第２部品
２０１Ａ、２０２Ａ ＰＣＩコネクタ
２３０ 操作装置
２３７ 電磁石
２４０ 対象部品
２４１Ａ 強磁性体
２４１Ｂ 強磁性体
３０１ 第１部品
３０２ 第２部品
３０１Ａ、３０２Ａ、３０４Ａ ＰＣＩコネクタ
３３０ 操作装置
３３８ コネクタピン
３４０ 対象部品
３４１Ａ、３４１Ｂ ピンホール
４３０ 操作装置
４３５ アクチュエータ
４３７ 固定部
４３８ 可動部
４３９ バネ

Claims (10)

1. 仮想空間で第１部品を第２部品に取り付ける際に触感を提供する組立支援システムであって、
   前記第１部品の画像を表す第１画像データと、前記第２部品の画像を表す第２画像データとを格納するデータ格納部と、
   前記第１部品及び前記第２部品の画像を前記仮想空間に表示する表示部と、
   可動素子を有し、前記仮想空間にある前記第１部品を操作する利用者が、現実空間において手で操作する操作装置と、
   前記現実空間に配設され、前記仮想空間における前記第２部品の位置を規定する、位置マーカと、
   前記操作装置及び前記位置マーカの前記現実空間における位置を検出する位置検出部と、
   前記位置検出部によって検出される前記操作装置及び前記位置マーカの前記現実空間における位置に対応する前記仮想空間における位置に、前記第１画像データ及び前記第２画像データによって得られる前記第１部品及び前記第２部品の画像を前記表示部に表示させる画像制御部と、
   前記仮想空間における前記第１部品と前記第２部品の位置を検出し、前記仮想空間で前記第１部品が前記第２部品に接触すると、前記操作装置の前記可動素子を駆動させる、駆動制御部と
   を含む、組立支援システム。
2. 前記操作装置には、前記操作装置を識別する識別子を表す識別マーカが付されており、前記位置検出部は、前記識別マーカの位置を検出することにより、前記操作装置の位置を検出する、請求項１記載の組立支援システム。
3. 前記操作装置は、利用者が手で保持する筐体を有し、前記可動素子は、前記筐体の内部又は外部に取り付けられており、
   前記可動素子は振動素子であり、前記駆動制御部から無線通信又は有線通信によって送信される駆動制御信号によって前記振動素子が駆動されることにより、前記筐体を振動させる、請求項１又は２記載の組立支援システム。
4. 前記駆動制御信号は、前記筐体に超音波帯の固有振動を発生させる駆動制御信号である、請求項３記載の組立支援システム。
5. 前記位置マーカ側に配設される磁石又は強磁性体をさらに含み、
   前記操作装置は、前記仮想空間で前記第１部品を前記第２部品に取り付ける際に前記磁石又は前記強磁性体に当接する電磁石を有し、
   前記電磁石は、前記仮想空間で前記第１部品が前記第２部品に接触すると、前記駆動制御部から無線通信又は有線通信で送信される制御信号によってオンにされる、請求項３又は４記載の組立支援システム。
6. 前記位置マーカは、前記第２部品に前記現実空間で対応する対応部品に取り付けられており、
   前記操作装置は、前記仮想空間で前記第１部品を前記第２部品に取り付ける際に、前記対応部品を向く側に凸部又は凹部を有しており、
   前記対応部品は、凹部又は凸部を有しており、
   前記操作装置は、前記仮想空間で前記第１部品を前記第２部品に取り付ける際に、前記現実空間で前記操作装置の前記凸部又は前記凹部を前記対応部品の前記凹部又は前記凸部に嵌合することにより、前記対応部品に取り付けられる、請求項３乃至５のいずれか一項記載の組立支援システム。
7. 前記操作装置は、利用者が手で保持する筐体を有し、
   前記可動素子は、
   前記仮想空間で前記第１部品を前記第２部品に取り付ける際に前記操作装置を操作する方向において、前記筐体に対して入れ子式に移動する可動部と、
   前記可動部が前記筐体に対して入れ子式に移動する際に、前記駆動制御部から無線通信又は有線通信で送信される制御信号によって制御されることによって前記可動部の移動に伴う摩擦力を変化させる摩擦制御部と
   を有し、
   前記摩擦制御部は、前記仮想空間で前記第１部品が前記第２部品に接触すると、前記可動部の移動に伴う摩擦力を変化させる、請求項１又は２記載の組立支援システム。
8. 前記位置マーカは、前記第２部品に前記現実空間で対応する対応部品に取り付けられる、請求項１乃至５及び７のいずれか一項記載の組立支援システム。
9. 前記位置マーカは、前記第２部品に前記現実空間で対応する対応部品の外観であり、前記位置検出部は、前記現実空間における前記対応部品の外観を検出することにより、前記位置マーカの位置を検出する、請求項１乃至７のいずれか一項記載の組立支援システム。
10. 仮想空間で第１部品を第２部品に取り付ける際に触感を提供する組立支援システムであって、
    前記第１部品の画像を表す第１画像データと、前記第２部品の画像を表す第２画像データとを格納するデータ格納部と、
    前記第１部品及び前記第２部品の画像を前記仮想空間に表示する表示部と、
    可動素子を有し、前記仮想空間にある前記第１部品を操作する利用者が、現実空間において手で操作する操作装置と、
    前記現実空間に配設され、前記仮想空間における前記第２部品の位置を規定する、位置マーカと、
    前記操作装置及び前記位置マーカの前記現実空間における位置を検出する位置検出部と、
    前記位置検出部によって検出される前記操作装置及び前記位置マーカの前記現実空間における位置に対応する前記仮想空間における位置に、前記第１画像データ及び前記第２画像データによって得られる前記第１部品及び前記第２部品の画像を前記表示部に表示させる画像制御部と
    を含む組立支援システムにおいて、触感を提供する組立支援方法であって、
    コンピュータが、
    前記仮想空間における前記第１部品と前記第２部品の位置を検出し、前記仮想空間で前記第１部品が前記第２部品に接触すると、前記操作装置の前記可動素子を駆動させる、組立支援方法。

Images