JP2018206103A - ヘッドマウントディスプレイおよび作業支援システム - Google Patents

Abstract

【課題】作業対象物の位置と作業情報の表示位置とが正しい位置関係になるようにユーザを導くことができるヘッドマウントディスプレイを提供する。【解決手段】撮像部は、ユーザの視線の先にある作業対象物を撮像する。大きさ・姿勢判断部は、撮像された作業対象物の画像と、作業対象物の３Ｄモデルとを基にして、ユーザから見た作業対象物の大きさおよび姿勢を判断する。３Ｄ輪郭線生成部は、大きさおよび姿勢を有する３Ｄモデルを用いて、３Ｄ輪郭線２５−１を生成する。表示制御部は、３Ｄ輪郭線２５−１と作業情報２０−１とを合成した合成画像２７−１をユーザの視界に表示させる。【選択図】図１４

Description

本発明は、ヘッドマウントディスプレイを用いて作業を支援する技術に関する。

ヘッドマウントディスプレイの用途として、作業（例えば、組み立て作業、ピッキング作業）の支援がある。ヘッドマウントディスプレイは、作業対象物に対する作業内容を示す作業情報を表示することにより、ユーザの作業を支援する。作業対象物とは、例えば、組み立て途中の物である。作業とは、例えば、その物に部品を取り付けることである。

図２２は、作業情報の例を説明する説明図である。この例は、部品が取り付けられる箇所を示す矢印３３ａ（矢印に限らず、部品が取り付けられる箇所を示すことができる記号、図形でもよい）と、部品の画像３３ｂと、部品を取り付けることを指示する文字情報３３ｃと、により構成される作業情報３３である。

作業情報３３の表示位置が適切でないと、ユーザは、作業を間違うおそれがある。図２３は、作業対象物３５の位置と作業情報３３の表示位置との関係が正しい位置関係の場合の例を説明する説明図である。図２４は、作業対象物３５の位置と作業情報３３の表示位置との関係が誤った位置関係の場合の例を説明する説明図である。図２３および図２４は、シースルー型のヘッドマウントディスプレイを介して、現実世界の作業対象物３５を見た状態を示している。例えば、同じ寸法を有する複数の穴を有する作業対象物３５において、定められた１つの穴に部品を挿入する作業の場合、挿入すべき穴を示す矢印の位置（すなわち、作業情報３３の表示位置）が誤っていると、別の穴に部品が挿入されるおそれがある。

特許文献１は、作業対象物を撮像装置で撮像した画像を処理して、作業対象物の位置を検出し、この位置を基にして、作業情報を表示するヘッドマウントディスプレイを開示している。

特開２０１１−１５９１６２号公報

作業対象物は現実世界にあり、作業情報は現実世界にないので、当初、作業対象物３５の位置と作業情報３３の表示位置とが正しい位置関係であっても（図２３）、例えば、ヘッドマウントディスプレイを装着しているユーザが、顔の向き変えたり、姿勢を変えたり、ユーザが装着しているヘッドマウントディスプレイがずれたりすると、作業対象物３５の位置と作業情報３３の表示位置とが誤った位置関係となる（図２４）。これにより、ユーザが作業を間違うおそれがある。

本発明の目的は、作業対象物の位置と作業情報の表示位置とが正しい位置関係になるようにユーザを導くことができるヘッドマウントディスプレイおよび作業支援システムを提供することである。

本発明の第１局面に係るヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着しているユーザの視線の先にある作業対象物を撮像する撮像部と、前記作業対象物の３Ｄモデルを予め記憶する第１記憶部と、前記撮像部が撮像した前記作業対象物の画像と前記３Ｄモデルとを基にして、前記ヘッドマウントディスプレイを装着している前記ユーザから見た前記作業対象物の大きさおよび姿勢を判断する判断部と、前記判断部が判断した前記大きさおよび前記姿勢を有する前記３Ｄモデルを用いて、前記３Ｄモデルの輪郭を示す３Ｄ輪郭線を生成する第１生成部と、前記作業対象物に対する作業内容を示す作業情報を予め記憶する第２記憶部と、前記３Ｄ輪郭線と前記作業情報とを合成した合成画像を生成する第２生成部と、前記合成画像を前記ユーザの視界に表示させる表示制御部と、を備える。

３Ｄ輪郭線は、ヘッドマウントディスプレイを装着しているユーザから見た作業対象物の大きさおよび姿勢を有する３Ｄモデルの輪郭を示す線である。よって、ユーザから見て、３Ｄ輪郭線は、作業対象物と大きさおよび姿勢が同じ（またはほぼ同じ）となる。合成画像は、３Ｄ輪郭線と作業情報とを合成した画像である。ユーザは、視界に表示された合成画像に含まれる３Ｄ輪郭線を、作業対象物の輪郭と重なるように、顔を動かす。これにより、作業対象物の位置と作業情報の表示位置とが正しい位置関係にすることができる。

３Ｄ輪郭線で囲まれた領域は、シースルーである。このため、３Ｄ輪郭線で囲まれた領域は、ユーザの視野の妨げとならないので、作業性を向上させることできる。

上記構成において、前記第１記憶部は、複数の過程のそれぞれにおいて、前記ユーザが作業をする前記作業対象物の形に対応する前記３Ｄモデルを予め記憶しており、前記判断部は、前記複数の過程のそれぞれにおいて、過程の開始前に前記撮像部が撮像した前記作業対象物の画像と、前記第１記憶部に記憶されている前記３Ｄモデルと、を基にして、前記ユーザから見た前記作業対象物の大きさおよび姿勢を判断する。

複数の過程により構成される作業の場合、過程毎に作業対象物の形（輪郭）が異なるので、３Ｄモデルの形（輪郭）は、過程毎に異なる。このため、各過程での作業対象物に対応する３Ｄモデルを用いなければ、正確な３Ｄ輪郭線（作業対象物の輪郭にフィットする３Ｄ輪郭線）を生成することができない。この構成によれば、複数の過程のそれぞれにおいて、過程の開始前に、撮像部が撮像した作業対象物の画像と第１記憶部に記憶されている３Ｄモデルとを基にして、ユーザから見た作業対象物の大きさおよび姿勢を判断するので、正確な３Ｄ輪郭線を生成することができる。

上記構成において、前記撮像部が撮像した前記作業対象物の画像を基にして、前記作業対象物の色を検出する色検出部をさらに備え、前記第２生成部は、前記色検出部が検出した前記作業対象物の色と同じ色の色マークを含む前記合成画像を生成する。

この構成は、例えば、作業対象物の色が単一色である場合に適用できる。同じ形を有する作業対象物が複数あり、これらの色が互いに異なることがある。例えば、第１の作業対象物が赤色であり、第２の作業対象物が黄色であり、第３の作業対象物が青色である。このような作業対象物が、ヘッドマウントディスプレイを装着しているユーザの目の前に並べられている場合、ユーザが作業を間違うおそれがある。この構成によれば、作業対象物の色と同じ色の色マークを含む合成画像を生成するので、上記場合でも、ユーザが作業を間違わないようにすることができる。なお、作業対象物の色が単一色に限らず、例えば、作業対象物の大部分（例えば、９０％以上）が同じ色の場合にも適用できる。

本発明の第２局面に係る作業支援システムは、ヘッドマウントディスプレイと、前記ヘッドマウントディスプレイと通信可能なサーバと、を備える作業支援システムであって、前記ヘッドマウントディスプレイに備えられ、前記ヘッドマウントディスプレイを装着している前記ユーザの視線の先にある作業対象物を撮像する撮像部と、前記サーバに備えられ、前記作業対象物の３Ｄモデルを予め記憶する第１記憶部と、前記サーバに備えられ、前記撮像部が撮像した前記作業対象物の画像と前記３Ｄモデルとを基にして、前記ヘッドマウントディスプレイを装着している前記ユーザから見た前記作業対象物の大きさおよび姿勢を判断する判断部と、前記サーバに備えられ、前記判断部が判断した前記大きさおよび前記姿勢を有する前記３Ｄモデルを用いて、前記３Ｄモデルの輪郭を示す３Ｄ輪郭線を生成する第１生成部と、前記サーバに備えられ、前記作業対象物に対する作業内容を示す作業情報を予め記憶する第２記憶部と、前記サーバに備えられ、前記３Ｄ輪郭線と前記作業情報とを合成した合成画像を生成する第２生成部と、前記ヘッドマウントディスプレイに備えられ、前記合成画像を前記ユーザの視界に表示させる表示制御部と、を備える。

本発明の第２局面に係る作業支援システムは、本発明の第１局面に係るヘッドマウントディスプレイをシステムの観点から規定しており、本発明の第１局面に係るヘッドマウントディスプレイと同様の作用効果を有する。

本発明によれば、作業対象物の位置と作業情報の表示位置とが正しい位置関係になるようにユーザを導くことができる。

実施形態に係るヘッドマウントディスプレイの構造的な構成を示す斜視図である。 実施形態に係る作業支援システムの構成を示すブロック図である。 ＨＭＤのハードウェア構成を示すブロック図である。 サーバのハードウェア構成を示すブロック図である。 第１過程での作業対象物の例を示す斜視図である。 第２過程での作業対象物の例を示す斜視図である。 完成品を示す斜視図である。 第１過程での作業対象物の３Ｄモデルを示す斜視図である。 第２過程での作業対象物の３Ｄモデルを示す斜視図である。 部品の３Ｄモデルを示す斜視図である。 部品の３Ｄモデルを示す斜視図である。 作業対象物（図５）に対する作業指示を示す指示情報を説明する説明図である。 作業対象物（図６）に対する作業指示を示す指示情報を説明する説明図である。 作業対象物の３Ｄモデル（図８Ａ）と、これを基にして生成された複数の２Ｄモデルとを説明する説明図である。 作業対象物の３Ｄモデル（図８Ｂ）と、これを基にして生成された複数の２Ｄモデルとを説明する説明図である。 実施形態に係る作業支援システムを用いた組み立て作業の支援について説明するフローチャートの前半である。 実施形態に係る作業支援システムを用いた組み立て作業の支援について説明するフローチャートの後半である。 ３Ｄ輪郭線を示す斜視図である。 合成画像を示す斜視図である。 ＨＭＤを装着しているユーザの視界に現れた合成画像と、作業対象物とを示す斜視図である。 ＨＭＤを装着しているユーザの視界から見て、３Ｄ輪郭線と作業対象物の輪郭とが重なった状態を示す斜視図である。 ３Ｄ輪郭線を示す斜視図である。 合成画像を示す斜視図である。 ＨＭＤを装着しているユーザの視界に現れた合成画像と、作業対象物とを示す斜視図である。 ＨＭＤを装着しているユーザの視界から見て、３Ｄ輪郭線と作業対象物の輪郭とが重なった状態を示す斜視図である。 変形例を用いて生成された合成画像の斜視図である。 変形例を用いて生成された合成画像の斜視図である。 作業情報の例を説明する説明図である。 作業対象物の位置と作業情報の表示位置との関係が正しい位置関係の場合の例を説明する説明図である。 作業対象物の位置と作業情報の表示位置との関係が誤った位置関係の場合の例を説明する説明図である。

以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

図１は、実施形態に係るヘッドマウントディスプレイ１００の構造的な構成を示す斜視図である。図２は、実施形態に係る作業支援システム１０００の構成を示すブロック図である。作業支援システム１０００は、ヘッドマウントディスプレイ１００（以下、ＨＭＤ１００）と、サーバ３００と、を備える。実施形態では、ＨＭＤ１００がサーバ３００を備えておらず、ＨＭＤ１００とは別にサーバ３００が設けられている。しかしながら、ＨＭＤ１００がサーバ３００を備えてもよい。実施形態では、前者の態様で説明する。

作業支援システム１０００は、組み立て作業を支援する。組み立て作業は、複数の過程により構成される。実施形態では、説明を簡単にするために、２つの過程で完成される場合を例にする。図５は、第１過程での作業対象物（ワーク）１１−１の例を示す斜視図である。図６は、第２過程での作業対象物（ワーク）１１−２の例を示す斜視図である。図７は、完成品１５を示す斜視図である。作業対象物１１−２は、作業対象物１１−１に部品１３−１が取り付けられた物である。完成品１５は、作業対象物１１−２に部品１３−２が取り付けられた物である。

図１を参照して、ＨＭＤ１００は、フレーム１０１と、眼鏡レンズ１０２と、主本体部１０３と、を備える。右側（ユーザーの利き目等に応じて左側でもよい）の眼鏡レンズ１０２の上部において、円筒状の主本体部１０３がフレーム１０１の前方部１０１ａに固定されている。主本体部１０３にはディスプレイユニット１０４が設けられている。主本体部１０３内には、後述する制御処理部１２１からの指示に基づいてディスプレイユニット１０４の表示制御を司る表示制御部１０４ＤＲ（図２）が配置されている。なお、必要に応じて両眼の前にそれぞれディスプレイユニットが配置されてもよい。

ディスプレイユニット１０４は、ディスプレイ１０４Ａ（図２）と画像表示部１０４Ｂとを備える。ディスプレイ１０４Ａは、主本体部１０３内に組み込まれている。

いわゆるシースルー型の表示部材である画像表示部１０４Ｂは、主本体部１０３から下方に向かい、片方の眼鏡レンズ１０２に平行に延在するように配置された全体的に板状の部材である。画像表示部１０４Ｂは、ホログラフィック光学素子（不図示）を備える。このホログラフィック光学素子は、ディスプレイ１０４Ａ（図２）に表示された画像を反射すると共に、外界からの光を透過する。

主本体部１０３の正面には、フレーム１０１の中央寄りに配置されたジェスチャー入力部１０５と、フレーム１０１の側部寄りに配置された撮像部１０６（図２）のレンズ１０６ａとが、前方を向くようにして設けられている。ジェスチャー入力部１０５は、ユーザが行うジェスチャーを入力する装置である。ユーザは、ジェスチャー入力によって、ＨＭＤ１００を操作することができる。ＨＭＤ１００の操作は、ジェスチャー入力に限らず、ＨＭＤ１００に適用可能な入力方法であればよい。例えば、音声入力でもよし、ユーザの首の動きを用いた入力でもよい（ジャイロセンサーによって、ユーザの首の動きを検知する）。

図２を参照して、ＨＭＤ１００は、制御ユニットＣＴＵと、ディスプレイユニット１０４と、表示制御部１０４ＤＲと、ジェスチャー入力部１０５と、撮像部１０６と、を備える。制御ユニットＣＴＵは、制御処理部１２１と、操作部１２２と、通信部１２４と、バッテリ１２６と、電源回路１２７とを備える。

表示制御部１０４ＤＲは、制御処理部１２１に接続され、制御処理部１２１の制御に従ってディスプレイユニット１０４のディスプレイ１０４Ａを制御することで、ディスプレイ１０４Ａに画像を形成させる回路である。

ジェスチャー入力部１０５は、制御処理部１２１に接続され、制御処理部１２１の制御に従って、ユーザが行うジェスチャーを入力する装置である。例えば、制御処理部１２１が、ジェスチャー入力部１０５に入力されたジェスチャーが画像の撮像命令と認識したとき、制御処理部１２１は、撮像部１０６に画像を撮像させる制御をする。

撮像部１０６は、制御処理部１２１に接続され、制御処理部１２１の制御に従って、被写体の画像を生成する装置である。撮像部１０６は、前記生成した画像データを制御処理部１２１へ出力する。

制御処理部１２１は、ＨＭＤ１００の各部を当該各部の機能に応じてそれぞれ制御すると共に、ジェスチャー入力部１０５に入力されたジェスチャーを認識し、認識したジェスチャーに割り当てられた命令に応じた処理を実行する。

操作部１２２は、制御処理部１２１に接続され、例えば電源のオンオフ等の、予め設定された所定の指示をＨＭＤ１００に入力する機器であり、例えば、所定の機能を割り付けられた１または複数のスイッチ等である。

通信部１２４は、制御処理部１２１に接続され、制御処理部１２１の制御に従って、外部装置（例えば、サーバ３００）との間でデータの入出力を行う回路である。

バッテリ１２６は、電力を蓄積し、電力を供給する電池である。バッテリ１２６は、一次電池であってよく、また、二次電池であってよい。電源回路１２７は、バッテリ１２６から供給された電力を、電力を必要とする、当該ＨＭＤ１００の各部へ各部に応じた電圧で供給する回路である。

図３は、ＨＭＤ１００のハードウェア構成を示すブロック図である。ＨＭＤ１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００ａ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００ｂ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００ｃ、デジタルカメラ１００ｄ、液晶ディスプレイ１００ｅ、通信インターフェイス１００ｆ、スイッチ等１００ｇ、近接センサ１００ｈ、及び、これらを接続するバス１００ｉを備える。

図２および図３を参照して、デジタルカメラ１００ｄは、撮像部１０６を実現する装置である。液晶ディスプレイ１００ｅは、ディスプレイ１０４Ａを実現するハードウェアである。通信インターフェイス１００ｆは、通信部１２４を実現するハードウェアであり、例えば、シリアル通信方式であるＲＳ２３２Ｃのインターフェイス回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェイス回路、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｃｏｉａｔｉｏｎ）規格等の赤外線通信を行うインターフェイス回路、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格を用いたインターフェイス回路等である。スイッチ等１００ｇは、操作部１２２を実現するハードウェアである。近接センサー１００ｈは、ジェスチャー入力部１０５を実現するハードウェアである。

ＲＯＭ１００ｃは、ＨＭＤ１００の機能を実現するための各種の所定プログラムおよび各種の所定データが記憶されている。各種プログラムには、図１２Ａおよび図１２Ｂの中で、ＨＭＤ１００側のフローチャートを実行するためのプログラムが含まれる。

ＣＰＵ１００ａは、これらのプログラムを、ＲＯＭ１００ｃから読み出してＲＡＭ１００ｂに展開させ、展開されたプログラムを実行することによって、制御処理部１２１および表示制御部１０４ＤＲが実現される。但し、制御処理部１２１の機能および表示制御部１０４の機能について、各機能の一部又は全部は、ＣＰＵ１００ａによる処理に替えて、又は、これと共に、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に替えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。

図２を参照して、サーバ３００について説明する。サーバ３００は、機能ブロックとして、操作部３０１と、ディスプレイ３０２と、通信部３０３と、２Ｄモデル生成部３０４と、大きさ・姿勢判断部３０５と、３Ｄ輪郭線生成部３０６と、合成画像生成部３０７と、３Ｄモデル記憶部３０８と、２Ｄモデル記憶部３０９と、作業情報記憶部３１０と、を備える。

操作部３０１は、ユーザがサーバ３００を操作するための入力装置である。ディスプレイ３０２は、ユーザがサーバ３００を操作しているときに、その操作に関連する画面を表示する装置である。通信部３０３は、通信部１２４と同様であり、説明を省略する。

３Ｄモデル記憶部３０８（第１記憶部）は、作業対象物１１の３Ｄモデル１７を予め記憶している。詳しく説明すると、図８Ａは、第１過程での作業対象物１１−１（図５）の３Ｄモデル１７−１を示す斜視図である。図８Ｂは、第２過程での作業対象物１１−２（図６）の３Ｄモデル１７−２を示す斜視図である。３Ｄモデル記憶部３０８には、３Ｄモデル１７−１および３Ｄモデル１７−２が予め記憶されている。このように、３Ｄモデル記憶部３０８は、複数の過程（第１過程、第２過程）のそれぞれにおいて、ユーザが作業をする作業対象物１１−１，１１−２の形に対応する３Ｄモデル１７−１，１７−２を予め記憶している。

作業情報記憶部３１０（第２記憶部）は、作業対象物１１−１（図５）に対する作業内容を示す作業情報２０−１（図１４）、および、作業対象物１１−２（図６）に対する作業内容を示す作業情報２０−２（図１８）を予め記憶している。詳しく説明すると、図９Ａは、部品１３−１（図６）の３Ｄモデル２１−１を示す斜視図である。図９Ｂは、部品１３−２（図７）の３Ｄモデル２１−２を示す斜視図である。図１０Ａは、作業対象物１１−１（図５）に対する作業指示を示す指示情報２３−１を説明する説明図である。図１０Ｂは、作業対象物１１−２（図６）に対する作業指示を示す指示情報２３−２を説明する説明図である。作業情報２０−１は、３Ｄモデル２１−１と指示情報２３−１とにより構成され、作業対象物１１−１（図５）に対する作業の支援で使用される。３Ｄモデル２１−１と指示情報２３−１とは、紐づけられて、作業情報記憶部３１０に記憶されている。作業情報２０−２は、３Ｄモデル２１−２と指示情報２３−２とにより構成され、作業対象物１１−２（図６）に対する作業の支援で使用される。３Ｄモデル２１−２と指示情報２３−２とは、紐づけられて、作業情報記憶部３１０に記憶されている。指示情報２３−１，２３−２は、部品が取り付けられる箇所を示す矢印（矢印に限らず、部品が取り付けられる箇所を示すことができる記号、図形でもよい）と、部品を取り付けることを指示する文字情報と、により構成される。

図２を参照して、２Ｄモデル生成部３０４は、３Ｄモデル１７を用いて２Ｄモデル１９を生成する。詳しく説明すると、図１１Ａは、作業対象物１１−１の３Ｄモデル１７−１（図８Ａ）と、これを基にして生成された複数の２Ｄモデル１９−１とを説明する説明図である。ここでは、３Ｄモデル１７−１および２Ｄモデル１９−１が、具体的な形で示されておらず、ブロックで示されている。図１１Ｂは、作業対象物１１−２の３Ｄモデル１７−２（図８Ｂ）と、これを基にして生成された複数の２Ｄモデル１９−２とを説明する説明図である。ここでは、３Ｄモデル１７−２および２Ｄモデル１９−２が、具体的な形で示されておらず、ブロックで示されている。これらの２Ｄモデル１９−１、および、これらの２Ｄモデル１９−２は、撮像部１０６が撮像した作業対象物１１の画像とのパターンマッチングの対象となる。

図２および図１１Ａを参照して、２Ｄモデル生成部３０４は、作業対象物１１−１の３Ｄモデル１７−１（図８Ａ）を用いて、作業対象物１１−１を３次元空間のあらゆる位置、角度から見たときの作業対象物１１−１の２Ｄモデル１９−１を生成する。生成される２Ｄモデル１９−１の数は、例えば、数百から数千である。３Ｄモデル１７−１を見る位置に応じて、３Ｄモデル１７−１の大きさが異なる。３Ｄモデル１７−１を見る角度に応じて、３Ｄモデル１７−１の姿勢が異なる。このため、３Ｄモデル１７−１を見る角度が同じでも（３Ｄモデル１７−１の姿勢が同じ）、３Ｄモデル１７−１を見る位置が異なれば、３Ｄモデル１７−１の大きさが異なる。よって、姿勢が同じで大きさが異なる複数の２Ｄモデル１９−１が生成されることになる。２Ｄモデル生成部３０４は、これらの２Ｄモデル１９−１を２Ｄモデル記憶部３０９に記憶させると共に、各２Ｄモデル１９−１について、２Ｄモデル１９−１と、その２Ｄモデル１９−１が得られた３Ｄモデル１７−１の大きさおよび姿勢と、を対応付けて、２Ｄモデル記憶部３０９に記憶させる。３Ｄモデル１７−１の大きさおよび姿勢は、後述する３Ｄ輪郭線２５−１（図１３）の生成に用いられる。

図２および図１１Ｂを参照して、２Ｄモデル生成部３０４は、作業対象物１１−２の３Ｄモデル１７−２（図８Ｂ）を用いて、作業対象物１１−２を３次元空間のあらゆる位置、角度から見たときの作業対象物１１−２の２Ｄモデル１９−２を生成する。２Ｄモデル１９−１と同様に、生成される２Ｄモデル１９−２の数は、例えば、数百から数千である。３Ｄモデル１７−２を見る位置に応じて、３Ｄモデル１７−２の大きさが異なる。３Ｄモデル１７−２を見る角度に応じて、３Ｄモデル１７−２の姿勢が異なる。このため、３Ｄモデル１７−２を見る角度が同じでも（３Ｄモデル１７−２の姿勢が同じ）、３Ｄモデル１７−２を見る位置が異なれば、３Ｄモデル１７−２の大きさが異なる。よって、姿勢が同じで大きさが異なる複数の２Ｄモデル１９−２が生成されることになる。２Ｄモデル生成部３０４は、これらの２Ｄモデル１９−２を２Ｄモデル記憶部３０９に記憶させると共に、各２Ｄモデル１９−２について、２Ｄモデル１９−２と、その２Ｄモデル１９−２が得られた３Ｄモデル１７−２の大きさおよび姿勢と、を対応付けて、２Ｄモデル記憶部３０９に記憶させる。３Ｄモデル１７−２の大きさおよび姿勢は、後述する３Ｄ輪郭線２５−２（図１７）の生成に用いられる。

大きさ・姿勢判断部３０５、３Ｄ輪郭線生成部３０６、および、合成画像生成部３０７については、後で説明する。

図４は、サーバ３００のハードウェア構成を示すブロック図である。サーバ３００は、ＣＰＵ３００ａ、ＲＡＭ３００ｂ、ＲＯＭ３００ｃ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）３００ｄ、液晶ディスプレイ３００ｅ、通信インターフェイス３００ｆ、キーボード等３００ｇ、及び、これらを接続するバス３００ｈを備える。

図２および図４を参照して、液晶ディスプレイ３００ｅは、ディスプレイ３０２を実現するハードウェアである。液晶ディスプレイ３００ｅの替わりに、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ ｄｉｓｐｌａｙ）、プラズマディスプレイ等でもよい。通信インターフェイス３００ｆは、通信部３０３を実現するハードウェアであり、例えば、シリアル通信方式であるＲＳ２３２Ｃのインターフェイス回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェイス回路、ＩｒＤＡ規格等の赤外線通信を行うインターフェイス回路、ＵＳＢ規格を用いたインターフェイス回路等である。キーボード等３００ｇは、操作部３０１を実現するハードウェアである。キーボードの替わりに、タッチパネルでもよい。

ＨＤＤ３００ｄは、３Ｄモデル記憶部３０８、２Ｄモデル記憶部３０９、および、作業情報記憶部３１０の機能を実現する。ＨＤＤ３００ｄには、２Ｄモデル生成部３０４、大きさ・姿勢判断部３０５、３Ｄ輪郭線生成部３０６、および、合成画像生成部３０７について、これらの機能ブロックをそれぞれ実現するためのプログラム、及び、各種データが格納されている。これらのプログラムは、ＨＤＤ３００ｄに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体（例えば、磁気ディスク、光学ディスクのような外部記録媒体）が用意されており、この記録媒体に記憶されているプログラムがＨＤＤ３００ｄに記憶されてもよい。また、これらのプログラムは、サーバ３００とネットワーク接続された別のサーバ（不図示）に格納されており、ネットワークを介して、これらのプログラムがＨＤＤ３００ｄに送られ、ＨＤＤ３００ｄに記憶されてもよい。これらのプログラムは、ＨＤＤ３００ｄの替わりにＲＯＭ３００ｃに記憶してもよい。サーバ３００は、ＨＤＤ３００ｄの替わりに、フラッシュメモリを備え、これらのプログラムはフラッシュメモリに記憶してもよい。

ＣＰＵ３００ａは、これらのプログラムを、ＨＤＤ３００ｄから読み出してＲＡＭ３００ｂに展開させ、展開されたプログラムを実行することによって、２Ｄモデル生成部３０４、大きさ・姿勢判断部３０５、３Ｄ輪郭線生成部３０６、および、合成画像生成部３０７が実現される。但し、２Ｄモデル生成部３０４の機能、大きさ・姿勢判断部３０５の機能、３Ｄ輪郭線生成部３０６の機能、および、合成画像生成部３０７の機能について、各機能の一部又は全部は、ＣＰＵ３００ａによる処理に替えて、又は、これと共に、ＤＳＰによる処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に替えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。

後で説明する図１２Ａおよび図１２Ｂのうち、サーバ３００側のフローチャートが、ＣＰＵ３００ａによって実行されるこれらのプログラムのフローチャートである。

次に、作業支援システム１０００を用いた組み立て作業の支援について説明する。図１２Ａおよび図１２Ｂは、これを説明するフローチャートである。図２を参照して、ＨＭＤ１００を装着したユーザの視線の先に、作業対象物１１−１（図５）がある。ＨＭＤ１００は、シースルー型なので、ユーザは、作業対象物１１−１を見ることができる。ユーザは、撮像命令に割り当てられたジェスチャーをジェスチャー入力部１０５に入力する。制御処理部１２１は、撮像部１０６を制御して、作業対象物１１−１を含む第１画像を撮像する（図１２ＡのステップＳ１）。制御処理部１２１は、通信部１２４を用いて、第１画像をサーバ３００へ送信する（図１２ＡのステップＳ２）。

通信部３０３は、通信部１２４が送信した第１画像を受信する（図１２ＡのステップＴ１）。大きさ・姿勢判断部３０５は、第１画像から作業対象物１１−１の画像を抽出する。大きさ・姿勢判断部３０５（判断部）は、作業対象物１１−１の画像（すなわち、作業対象物１１−１の２次元画像）を、２Ｄモデル記憶部３０９に予め記憶されている複数の２Ｄモデル１９（図１１Ａ、図１１Ｂ）のそれぞれとパターンマッチングし、類似度が一番大きい２Ｄモデル１９を特定する（図１２ＡのステップＴ２）。作業対象物１１−１（図５）は、３Ｄモデル１７−１（図８Ａ）と同じ形状を有するので、類似度が一番大きい２Ｄモデル１９は、複数の２Ｄモデル１９−１（図１１Ａ）の中から特定されることになる。

大きさ・姿勢判断部３０５が特定した２Ｄモデル１９−１には、この２Ｄモデル１９−１の作成に用いられた３Ｄモデル１７−１の大きさおよび姿勢が対応付けられている。この大きさおよび姿勢が、作業対象物１１−１の大きさおよび姿勢となる。以上説明したように、大きさ・姿勢判断部３０５は、撮像部１０６が撮像した作業対象物１１の画像と３Ｄモデル１７とを基にして、ＨＭＤ１００を装着しているユーザから見た作業対象物１１の大きさおよび姿勢を判断する。

３Ｄ輪郭線生成部３０６（第１生成部）は、ステップＴ２において、大きさ・姿勢判断部３０５が特定した２Ｄモデル１９−１に対応づけられた大きさおよび姿勢を有する３Ｄモデル１７−１の輪郭を示す３Ｄ輪郭線２５−１（図１３）を生成する（図１２ＡのステップＴ３）。図１３は、３Ｄ輪郭線２５−１を示す斜視図である。輪郭線は、稜線または外形線と言い換えることができる。３Ｄ輪郭線２５−１は、大きさ・姿勢判断部３０５が特定した２Ｄモデル１９−１に対応づけられた大きさおよび姿勢を有する３Ｄモデル１７−１の輪郭線なので、ＨＭＤ１００を装着したユーザから見た、３Ｄ輪郭線２５−１の大きさおよび姿勢と作業対象物１１−１（図５）の大きさおよび姿勢とは同じ（またはほぼ同じ）となる。

３Ｄモデル２１−１（図９Ａ）は、３Ｄモデル１７−１と対応付けて作業情報記憶部３１０に予め記憶されている。大きさ・姿勢判断部３０５が特定した２Ｄモデル１９−１が、３Ｄモデル１７−１を用いて生成されているので、合成画像生成部３０７は、３Ｄモデル２１−１を３Ｄモデル記憶部３０８から読み出す。

合成画像生成部３０７は、３Ｄモデル２１−１（図９Ａ）の姿勢および倍率を調整する（図１２ＡのステップＴ４）。詳しく説明すると、合成画像生成部３０７は、３Ｄ輪郭線２５−１（図１３）の姿勢を基にして、３Ｄモデル２１−１（図９Ａ）を、作業対象物１１−１（図５）と同じ方向から部品１３−１（図６）を見た画像にする処理をする（例えば、作業対象物１１−１を斜め４５度で上から見た３Ｄ輪郭線２５−１の場合、部品１３−１を斜め４５度で上から見た３Ｄモデル２１−１にする）。合成画像生成部３０７は、３Ｄモデル２１−１の倍率を３Ｄ輪郭線２５−１の倍率に合わせる処理をする（３Ｄ輪郭線２５−１の倍率が、例えば、３Ｄモデル１７−１の１．１倍のとき、３Ｄモデル２１−１を１．１倍にする。３Ｄ輪郭線２５−１の倍率が、例えば、３Ｄモデル１７−１の０．８倍のとき、３Ｄモデル２１−１を０．８倍にする）。

合成画像生成部３０７（第２生成部）は、ステップＴ３で生成された３Ｄ輪郭線２５−１（図１３）と、ステップＴ４で調整された３Ｄモデル２１−１（図９Ａ）と、指示情報２３−１（図１０Ａ）と、を用いて、合成画像２７−１を生成する（図１２ＡのステップＴ５）。図１４は、合成画像２７−１を示す斜視図である。合成画像２７−１の生成について詳しく説明する。

指示情報２３−１は、３Ｄモデル１７−１と対応付けて作業情報記憶部３１０に予め記憶されている。ステップＴ２において、大きさ・姿勢判断部３０５が特定した２Ｄモデル１９−１は、３Ｄモデル１７−１を用いて生成されているので、合成画像生成部３０７は、指示情報２３−１を作業情報記憶部３１０から読み出す。

３Ｄ輪郭線２５−１（図１３）は、３Ｄモデル２１−１（図９Ａ）が配置される位置を示す位置情報（これは、作業対象物１１−１（図５）において、部品１３−１（図６）が取り付けられる箇所の位置と対応する）を有する。合成画像生成部３０７は、３Ｄ輪郭線２５−１（図１３）と、その位置情報が示す位置に配置された３Ｄモデル２１−１と、３Ｄモデル２１−１の近くに配置された指示情報２３−１と、を合成した合成画像２７−１（図１４）を生成する。

合成画像生成部３０７は、通信部３０３を用いて、合成画像２７−１を送信する（図１２ＡのステップＴ６）。

通信部１２４は、通信部３０３が送信した合成画像２７−１を受信する（ステップＳ３）。制御処理部１２１は、通信部１２４が受信した合成画像２７−１を、表示制御部１０４ＤＲへ送る。表示制御部１０４ＤＲは、合成画像２７−１をディスプレイ１０４Ａに表示される。ディスプレイ１０４に表示された合成画像２７−１は、画像表示部１０４Ｂに表示され、ＨＭＤ１００を装着しているユーザの視界に、合成画像２７−１が現れる（図１２ＡのステップＳ４）。図１５は、ＨＭＤ１００を装着しているユーザの視界に現れた合成画像２７−１と、作業対象物１１−１とを示す斜視図である。合成画像２７−１は現実世界になく、作業対象物１１−１は現実世界にある。ＨＭＤ１００は、作業対象物１１−１の位置を認識していないので、作業対象物１１−１と３Ｄ輪郭線２５−１とがずれている。ＨＭＤ１００を装着しているユーザは、３Ｄ輪郭線２５−１が作業対象物１１−１の輪郭と重なるように、顔の向きを調整する。図１６は、ＨＭＤ１００を装着しているユーザの視界から見て、３Ｄ輪郭線２５−１と作業対象物１１−１の輪郭とが重なった状態を示す斜視図である。ユーザは、指示情報２３−１および３Ｄモデル２１−１を見ることにより、作業対象物１１−１に対する部品１３−１（図６）の取り付けをスムーズに実行できる。

ＨＭＤ１００を装着しているユーザが、例えば、顔の向き変えたり、姿勢を変えたり、ユーザが装着しているＨＭＤ１００がずれたりすると、作業対象物１１−１と３Ｄ輪郭線２５−１とがずれる（例えば、図１５）。ＨＭＤ１００を装着しているユーザが、例えば、顔の向き変えることにより、作業対象物１１−１と３Ｄ輪郭線２５−１とがずれた場合、そのユーザは、３Ｄ輪郭線２５−１が作業対象物１１−１の輪郭と重なるように、顔の向きを変えることにより、図１６に示す状態に戻すことができる。

図２を参照して、ユーザは、作業完了に割り当てられたジェスチャーをジェスチャー入力部１０５に入力する。これにより、制御処理部１２１は、表示制御部１０４ＤＲを制御して、合成画像２７−１の表示を消す（図１２ＡのステップＳ５）。ＨＭＤ１００を装着したユーザの視線の先に、作業対象物１１−２（図６）がある。ＨＭＤ１００は、シースルー型なので、ユーザは、作業対象物１１−２を見ることができる。ユーザは、撮像命令に割り当てられたジェスチャーをジェスチャー入力部１０５に入力する。制御処理部１２１は、撮像部１０６を制御して、作業対象物１１−２を含む第２画像を撮像する（図１２ＢのステップＳ１１）。以降のステップは、図１２Ａに示すステップＳ２〜ステップＳ５およびステップＴ１〜ステップＴ６と同様である。制御処理部１２１は、通信部１２４を用いて第２画像をサーバ３００へ送信する（図１２ＢのステップＳ１２）。

通信部３０３は、通信部１２４が送信した第２画像を受信する（図１２ＢのステップＴ１１）。大きさ・姿勢判断部３０５は、第２画像から作業対象物１１−２の画像を抽出する。大きさ・姿勢判断部３０５は、作業対象物１１−２の画像（すなわち、作業対象物１１−２の２次元画像）を、２Ｄモデル記憶部３０９に予め記憶されている複数の２Ｄモデル１９（図１１Ａ、図１１Ｂ）のそれぞれとパターンマッチングし、類似度が一番大きい２Ｄモデル１９を特定する（図１２ＢのステップＴ１２）。作業対象物１１−２（図６）は、３Ｄモデル１７−２（図８Ｂ）と同じ形状を有するので、類似度が一番大きい２Ｄモデル１９は、複数の２Ｄモデル１９−２（図１１Ｂ）の中から特定されることになる。

３Ｄ輪郭線生成部３０６は、ステップＴ１２において、大きさ・姿勢判断部３０５が特定した２Ｄモデル１９−２に対応づけられた大きさおよび姿勢を有する３Ｄモデル１７−２の輪郭線を示す３Ｄ輪郭線２５−２（図１７）を生成する（図１２ＢのステップＴ１３）。図１７は、３Ｄ輪郭線２５−２を示す斜視図である。３Ｄ輪郭線２５−２は、大きさ・姿勢判断部３０５が特定した２Ｄモデル１９−２に対応づけられた大きさおよび姿勢を有する３Ｄモデル１７−２の輪郭線なので、ＨＭＤ１００を装着したユーザから見た、３Ｄ輪郭線２５−２の大きさおよび姿勢と作業対象物１１−２（図６）の大きさおよび姿勢とは同じ（またはほぼ同じ）となる。このように、大きさ・姿勢判断部３０５は、複数の過程（第１過程、第２過程）のそれぞれにおいて、過程の開始前に撮像部１０６が撮像した作業対象物１１−１，１１−２の画像（図１２ＡのステップＳ１、図１２ＢのステップＳ１１）と、３Ｄモデル記憶部３０８に記憶されている３Ｄモデル１７−１，１７−２と、を基にして、ユーザから見た作業対象物１１−１，１１−２の大きさおよび姿勢を判断する。

３Ｄモデル２１−２（図９Ｂ）は、３Ｄモデル１７−２と対応付けて作業情報記憶部３１０に予め記憶されている。大きさ・姿勢判断部３０５が特定した２Ｄモデル１９−２が、３Ｄモデル１７−２を用いて生成されているので、合成画像生成部３０７は、３Ｄモデル２１−２を３Ｄモデル記憶部３０８から読み出す。

合成画像生成部３０７は、３Ｄモデル２１−２（図９Ｂ）の姿勢および倍率を調整する（図１２ＢのステップＴ１４）。詳しく説明すると、合成画像生成部３０７は、３Ｄ輪郭線２５−２（図１７）の姿勢を基にして、３Ｄモデル２１−２（図９Ｂ）を、作業対象物１１−２（図６）と同じ方向から部品１３−２（図７）を見た画像にする処理をする。合成画像生成部３０７は、３Ｄモデル２１−２の倍率を３Ｄ輪郭線２５−２の倍率に合わせる処理をする。

合成画像生成部３０７は、ステップＴ１３で生成された３Ｄ輪郭線２５−２（図１７）と、ステップＴ１４で調整された３Ｄモデル２１−２（図９Ｂ）と、指示情報２３−２（図１０Ｂ）と、を用いて、合成画像２７−２を生成する（図１２ＢのステップＴ１５）。図１８は、合成画像２７−２を示す斜視図である。合成画像２７−２の生成について詳しく説明する。

指示情報２３−２は、３Ｄモデル１７−２と対応付けて作業情報記憶部３１０に予め記憶されている。ステップＴ１２において、大きさ・姿勢判断部３０５が特定した２Ｄモデル１９−２は、３Ｄモデル１７−２を用いて生成されているので、合成画像生成部３０７は、指示情報２３−２を作業情報記憶部３１０から読み出す。

３Ｄ輪郭線２５−２（図１７）は、３Ｄモデル２１−２（図９Ｂ）が配置される位置を示す位置情報（これは、作業対象物１１−２（図６）において、部品１３−２（図７）が取り付けられる箇所の位置と対応する）を有する。合成画像生成部３０７は、３Ｄ輪郭線２５−２（図１７）と、その位置情報が示す位置に配置された３Ｄモデル２１−２と、３Ｄモデル２１−２の近くに配置された指示情報２３−２と、を合成した合成画像２７−２を生成する。

合成画像生成部３０７は、通信部３０３を用いて、合成画像２７−２を送信する（図１２ＢのステップＴ１６）。

通信部１２４は、通信部３０３が送信した合成画像２７−２を受信する（ステップＳ１３）。制御処理部１２１は、通信部１２４が受信した合成画像２７−２を、表示制御部１０４ＤＲへ送る。表示制御部１０４ＤＲは、合成画像２７−２をディスプレイ１０４Ａに表示される。ディスプレイ１０４に表示された合成画像２７−２は、画像表示部１０４Ｂに表示され、ＨＭＤ１００を装着しているユーザの視界に、合成画像２７−２が現れる（図１２ＢのステップＳ１４）。図１９は、ＨＭＤ１００を装着しているユーザの視界に現れた合成画像２７−２と、作業対象物１１−２とを示す斜視図である。合成画像２７−２は現実世界になく、作業対象物１１−２は現実世界にある。ＨＭＤ１００は、作業対象物１１−２の位置を認識していないので、作業対象物１１−２と３Ｄ輪郭線２５−２とがずれている。ＨＭＤ１００を装着しているユーザは、３Ｄ輪郭線２５−２が作業対象物１１−２の輪郭と重なるように、顔の向きを調整する。図２０は、ＨＭＤ１００を装着しているユーザの視界から見て、３Ｄ輪郭線２５−２と作業対象物１１−２の輪郭とが重なった状態を示す斜視図である。ユーザは、指示情報２３−２および３Ｄモデル２１−２を見ることにより、作業対象物１１−２に対する部品１３−２（図７）の取り付けをスムーズに実行できる。

上述したように、ＨＭＤ１００を装着しているユーザが、顔の向き変えたり、姿勢を変えたり、ユーザが装着しているＨＭＤ１００がずれたりすると、作業対象物１１−２と３Ｄ輪郭線２５−２とがずれる（例えば、図１９）。ＨＭＤ１００を装着しているユーザが、例えば、顔の向き変えることにより、作業対象物１１−２と３Ｄ輪郭線２５−２とがずれた場合、そのユーザは、３Ｄ輪郭線２５−２が作業対象物１１−２の輪郭と重なるように、顔の向きを変えることにより、図２０に示す状態に戻すことができる。

図２を参照して、ユーザは、作業完了に割り当てられたジェスチャーをジェスチャー入力部１０５に入力する。これにより、制御処理部１２１は、表示制御部１０４ＤＲを制御して、合成画像２７−２の表示を消す（図１２ＢのステップＳ１５）。ＨＭＤ１００を装着したユーザの視線の先に、完成品１５（図７）がある。

実施形態の主な効果を説明する。３Ｄ輪郭線２５−１（図１３）は、ＨＭＤ１００を装着しているユーザから見た作業対象物１１−１（図５）の大きさおよび姿勢を有する３Ｄモデル１７−１（図８Ａ）の輪郭を示す線である。よって、ユーザから見て、３Ｄ輪郭線２５−１は、作業対象物１１−１と大きさおよび姿勢が同じ（またはほぼ同じ）となる。合成画像２７−１（図１４）は、３Ｄ輪郭線２５−１と作業情報２０−１とを合成した画像である。ユーザは、視界に表示された合成画像２７−１に含まれる３Ｄ輪郭線２５−１を、作業対象物１１−１の輪郭と重なるように、顔を動かす（図１６）。これにより、作業対象物１１−１の位置と作業情報２０−１の表示位置とが正しい位置関係にすることができる。３Ｄ輪郭線２５−２（図１７）についても同様のことが言える。

３Ｄ輪郭線２５−１，２５−２で囲まれた領域は、シースルーである。このため、３Ｄ輪郭線２５−１，２５−２で囲まれた領域は、ユーザの視野の妨げとならないので、作業性を向上させることできる。

変形例を説明する。図２１Ａは、変形例を用いて生成された合成画像２７−３の斜視図である。図２１Ｂは、変形例を用いて生成された合成画像２７−４の斜視図である。合成画像２７−３が、図１４に示す合成画像２７−１と異なる点は、色マーク３１が追加されていることである。合成画像２７−４が、図１８に示す合成画像２７−２と異なる点は、色マーク３１が追加されていることである。色マーク３１は、３Ｄ輪郭線２５内に配置されている。図２１Ａに示す色マーク３１と図２１Ｂに示す色マーク３１とは、色、形、配置位置が全て同じである。

変形例は、例えば、作業対象物１１の色が単一色である場合に適用できる。サーバ３００（図２）は、色検出部（不図示）をさらに備える。色検出部は、図１２ＡのステップＴ１で受信された第１画像（第１画像には、作業対象物１１−１の画像が含まれる）を用いて、作業対象物１１−１の色を検出する。ＨＤＤ３００ｄ（図４）には、色検出部の機能を実現するためのプログラム、及び、各種データが格納されている。ＣＰＵ３００ａ（図４）は、このプログラムを、ＨＤＤ３００ｄから読み出してＲＡＭ３００ｂに展開させ、展開されたプログラムを実行することによって、色検出部が実現される。

図１２ＡのステップＴ５において、合成画像生成部３０７は、上記検出された色と同じ色の色マーク３１を含む合成画像２７−３を生成する。図１２ＢのステップＴ１５において、合成画像生成部３０７は、上記検出された色と同じ色の色マーク３１を含む合成画像２７−４を生成する。

色マーク３１は、作業対象物１１の色と同じ色を有する画像である。同じ形を有する作業対象物１１が複数あり、これらの色が互いに異なることがある。例えば、第１の作業対象物１１が赤色であり、第２の作業対象物１１が黄色であり、第３の作業対象物１１が青色である。このような作業対象物１１が、ＨＭＤ１００を装着しているユーザの目の前に並べられている場合、合成画像２７−１（図１４）、合成画像２７−２（図１８）では、ユーザが作業を間違うおそれがある。変形例によれば、作業対象物１１の色と同じ色の色マーク３１を含む合成画像２７−３，２７−４となるので、上記場合でも、ユーザが作業を間違わないようにすることができる。なお、作業対象物１１の色が単一色に限らず、例えば、作業対象物１１の大部分（例えば、９０％以上）が同じ色の場合にも適用できる。

なお、以上の実施形態では組み立て作業を支援する例を説明したが、組み立て作業以外の作業（例えば、分解作業）の支援に本発明のヘッドマウンドディスプレイを用いることもできる。

１１−１，１１−２ 作業対象物
１３−１，１３−２ 部品
１５ 完成品
１７−１ 作業対象物１１−１の３Ｄモデル
１７−２ 作業対象物１１−２の３Ｄモデル
１９−１ 作業対象物１１−１の２Ｄモデル
１９−２ 作業対象物１１−２の２Ｄモデル
２０−１，２０−２ 作業情報
２１−１ 部品１３−１の３Ｄモデル
２１−２ 部品１３−２の３Ｄモデル
２３−１，２３−２ 指示情報
２５−１，２５−２ ３Ｄ輪郭線
２７−１〜２７−４ 合成画像
３１ 色マーク
１００ ヘッドマウントディスプレイ（ＨＭＤ）
１０００ 作業支援システム

Claims (4)

1. ヘッドマウントディスプレイを装着しているユーザの視線の先にある作業対象物を撮像する撮像部と、
   前記作業対象物の３Ｄモデルを予め記憶する第１記憶部と、
   前記撮像部が撮像した前記作業対象物の画像と前記３Ｄモデルとを基にして、前記ヘッドマウントディスプレイを装着している前記ユーザから見た前記作業対象物の大きさおよび姿勢を判断する判断部と、
   前記判断部が判断した前記大きさおよび前記姿勢を有する前記３Ｄモデルを用いて、前記３Ｄモデルの輪郭を示す３Ｄ輪郭線を生成する第１生成部と、
   前記作業対象物に対する作業内容を示す作業情報を予め記憶する第２記憶部と、
   前記３Ｄ輪郭線と前記作業情報とを合成した合成画像を生成する第２生成部と、
   前記合成画像を前記ユーザの視界に表示させる表示制御部と、を備える、ヘッドマウントディスプレイ。
2. 前記第１記憶部は、複数の過程のそれぞれにおいて、前記ユーザが作業をする前記作業対象物の形に対応する前記３Ｄモデルを予め記憶しており、
   前記判断部は、前記複数の過程のそれぞれにおいて、過程の開始前に前記撮像部が撮像した前記作業対象物の画像と、前記第１記憶部に記憶されている前記３Ｄモデルと、を基にして、前記ユーザから見た前記作業対象物の大きさおよび姿勢を判断する、請求項１に記載のヘッドマウントディスプレイ。
3. 前記撮像部が撮像した前記作業対象物の画像を基にして、前記作業対象物の色を検出する色検出部をさらに備え、
   前記第２生成部は、前記色検出部が検出した前記作業対象物の色と同じ色の色マークを含む前記合成画像を生成する、請求項１または２に記載のヘッドマウントディスプレイ。
4. ヘッドマウントディスプレイと、前記ヘッドマウントディスプレイと通信可能なサーバと、を備える作業支援システムであって、
   前記ヘッドマウントディスプレイに備えられ、前記ヘッドマウントディスプレイを装着している前記ユーザの視線の先にある作業対象物を撮像する撮像部と、
   前記サーバに備えられ、前記作業対象物の３Ｄモデルを予め記憶する第１記憶部と、
   前記サーバに備えられ、前記撮像部が撮像した前記作業対象物の画像と前記３Ｄモデルとを基にして、前記ヘッドマウントディスプレイを装着している前記ユーザから見た前記作業対象物の大きさおよび姿勢を判断する判断部と、
   前記サーバに備えられ、前記判断部が判断した前記大きさおよび前記姿勢を有する前記３Ｄモデルを用いて、前記３Ｄモデルの輪郭を示す３Ｄ輪郭線を生成する第１生成部と、
   前記サーバに備えられ、前記作業対象物に対する作業内容を示す作業情報を予め記憶する第２記憶部と、
   前記サーバに備えられ、前記３Ｄ輪郭線と前記作業情報とを合成した合成画像を生成する第２生成部と、
   前記ヘッドマウントディスプレイに備えられ、前記合成画像を前記ユーザの視界に表示させる表示制御部と、を備える、作業支援システム。

Images