JP2011014082A

JP2011014082A - ウエアラブル端末装置及びプログラム

Info

Publication number: JP2011014082A
Application number: JP2009159866A
Authority: JP
Inventors: Katsuyuki Suzuki; 克行鈴木; Hitoshi Iizaka; 仁志飯坂; Noriyuki Marumo; 宣之丸茂; Shin Yoshimune; 晋吉宗; Morihito Natsume; 守人夏目; Hirohiko Mochida; 裕彦持田; Nobuo Watanabe; 伸夫渡辺
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2009-07-06
Filing date: 2009-07-06
Publication date: 2011-01-20
Anticipated expiration: 2029-07-06
Also published as: JP4824793B2; US20110001695A1

Abstract

【課題】装着者の種々の作業に対応可能とする。
【解決手段】ウエアラブル端末装置１は、複数の動作モードの中から装着者２の作業に対応した動作モードを設定するとともに、装着者２の操作に応じた処理を、設定された動作モードで制御する制御部１２１を備える。
【選択図】図１

Description

本発明は、ウエアラブル端末装置及びプログラムに関する。

従来からヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）を備えた身体に装着可能なウエアラブル端末装置がある。このウエアラブル端末装置は、スーパーマーケット、コンビニエンスストア、百貨店等の店舗におけるＰＯＳ（Point Of Sale）システムなどのユーザインタフェースの一つとして活用されており、従来技術として特許文献１、２が知られている。

特許文献１には、装着者の視線方向を検出し、装着者の視線位置に応じた映像をヘッドマウントディスプレイに表示することが開示されている。特許文献２には、ＰＯＳシステムにおいて精算カウンターでキャッシャーが装着して使用するＰＯＳ端末であり、キャッシャーが目視する方向を撮像した画像に含まれる商品コードに基づいて取得した商品情報を、ヘッドマウントディスプレイに表示し、精算カウンターにおける精算処理を行うことが開示されている。

しかしながら、上記従来技術では、精算カウンターにおける精算処理に限ったものであり、店舗の店員が行う種々の作業に対応できなかった。例えば店員の作業には、精算カウンターにおける精算処理の他、陳列棚の前では欠品が生じている商品の在庫確認、商品倉庫などのバックヤードでは商品の在庫登録などがある。これら種々の作業についてもウエアラブル端末装置を用いることが可能となれば、作業の切り替えに伴ってウエアラブル端末装置を外すなどの手間を軽減することができ、作業性の向上が見込まれる。

本発明は、上記に鑑みてなされたものであって、装着者の種々の作業に対応可能なウエアラブル端末装置及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明のウエアラブル端末装置は、装着者からの操作を受け付ける操作手段と、複数の動作モードの中から前記装着者の作業に対応した動作モードを設定する設定手段と、前記操作手段による前記装着者の操作に応じた処理を、前記設定された動作モードで制御する制御手段と、を備えることを特徴とする。

また、本発明のプログラムは、装着者からの操作を受け付ける操作手段を備えるウエアラブル端末装置のコンピュータを、複数の動作モードの中から前記装着者の作業に対応した動作モードを設定する設定手段と、前記操作手段による前記装着者の操作に応じた処理を、前記設定された動作モードで制御する制御手段と、して機能させることを特徴とする。

本発明は、装着者の種々の作業に対応可能とする、という効果を奏する。

図１は、本実施形態にかかるＰＯＳシステムの一例を示す図である。図２は、本実施形態にかかるヘッドマウントディスプレイの一例を示す図である。図３は、モニタ表示部の表示例を示す図である。図４は、本実施形態にかかるウエアラブル端末装置の処理を示すフローチャートの一例である。図５は、モニタ表示部の表示例を示す図である。図６は、モニタ表示部の表示例を示す図である。

以下に添付図面を参照して、この発明にかかるウエアラブル端末装置及びプログラムの最良な実施の形態を詳細に説明する。本実施形態では、ＰＯＳシステムにおいて店員が使用するユーザインタフェースにウエアラブル端末装置を適用する場合について例示する。なお、ウエアラブル端末装置は、工場の監視システムにおいて作業員が使用するユーザインタフェースの一つであってもよく、特にＰＯＳシステムにおけるユーザインタフェースに限定するものではない。

図１は、本実施形態にかかるＰＯＳシステムの一例を示す図である。図１に示すように、ＰＯＳシステムは、ＰＯＳ端末３３、その上位機として機能するストアサーバ３０、各種帳票を印刷するためのプリンタ３１を制御するプリンタサーバ３２、装着者２が装着して使用するユーザインタフェースであるウエアラブル端末装置１とデータの送受信を行うための送受信装置３４がネットワークＮＴを介して接続されている。ネットワークＮＴは、ＬＡＮ（Local Area Network）、イントラネット、イーサネット（登録商標）などである。

送受信装置３４とウエアラブル端末装置１との間のデータの送受信は、電波、光、赤外線、超音波などであってよく、本実施形態では通信範囲が数ｍ程度である近接無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）など）を用いて行うものとする。したがって、ＰＯＳシステムでは、精算カウンター近傍の領域、陳列棚が設けられた領域、バックヤード等の店舗内の領域ごとにユニークな識別用ＩＤが割り当てられた送受信装置３４が設置されており、ウエアラブル端末装置１と通信中である送受信装置３４を識別することで、どの領域にウエアラブル端末装置１が存在するかを判定可能となっている。

ＰＯＳ端末３３は、ドロア、カードリーダ、ディスプレイ、レシート／ジャーナル用プリンタなどを備え（いずれも図示しない）、現金やクレジットカードを用いて商取引を行うもので、例えば精算カウンター等に設けられる。なお、ＰＯＳ端末３３による商取引時における店員の操作はウエアラブル端末装置１を介して行われる（詳細は後述する）。

このようなＰＯＳシステムが構築される店舗では、販売対象の各種商品に対して、その商品に関する各種情報がコード化されて示されるバーコードが各々の商品に付与されている。バーコードには、商品の価格を示す商品データが含まれない。このため、各種商品の商品コードに対応して価格データがプリセットされた商品マスタファイルがストアサーバ３０に記憶されている。ＰＯＳ端末３３は、ウエアラブル端末装置１を介して読み取ったバーコードのデータから商品コードを抽出し、この商品コードに対応して設定された価格データをストアサーバ３０に問い合わせ、取得した価格データに基づいて買上商品の精算を行うとともに、買上商品の販売記録を示す販売データを生成してこれを記憶することにより、買上商品の販売登録を行う。

ウエアラブル端末装置１は、ヘッドマウントディスプレイ１０と、撮像装置としてのデジタルカメラ１１と、インタフェースボックス１２と、マイク１５とを備える。ヘッドマウントディスプレイ１０は、眼鏡のフレーム状に形成された保持部材として図２に示すようにフレーム本体１３と、このフレーム本体１３の左右両側にそれぞれ設けられた装着用アーム１４とを備える。このヘッドマウントディスプレイ１０は、左右両側にそれぞれ設けられた装着用アーム１４によって装着者２の頭部２ａに装着可能である。

フレーム本体１３は、装着者２の両眼に合わせた大きさの枠状に形成されている。フレーム本体１３の枠外の上部中央には、撮像方向可変機構１８を介してデジタルカメラ１１が設けられている。また、フレーム本体１３の上部左側には、装着者２の瞳を撮像して視線２ｂの検出を行うための視線認識用カメラ１９が設けられている。また、フレーム本体１３の下部には、装着者２やその周囲の音声を取得するためのマイク１５が設けられている。フレーム本体１３の枠内には、例えばフレーム枠の形状に合わせて形成された板状の光透過性部材１６が保持されている。この光透過性部材１６は、ヘッドマウントディスプレイ１０を装着者２の頭部２ａに装着した場合、装着者２の眼によって周辺環境を観察可能である。この光透過性部材１６は、例えば無色透明又は予め決められた色を有していてもよい。

光透過性部材１６内の一部分には、モニタ表示部１７が形成されている。このモニタ表示部１７は、デジタルカメラ１１の撮像により取得される動画の画像データ等をリアルタイムにモニタ表示する。このモニタ表示部１７は、例えばヘッドマウントディスプレイ１０における左側に形成されている。すなわち、モニタ表示部１７は、ヘッドマウントディスプレイ１０を装着者２の頭部２ａに装着したときの装着者２の例えば左眼に対応する部分に形成されている。なお、モニタ表示部１７は、装着者２の右眼に対応する部分に形成してもよいし、装着者２の両目に対応する各部分に形成してもよい。このモニタ表示部１７は、光透過性の状態でモニタ表示する。しかるに、モニタ表示部１７は、例えばデジタルカメラ１１の撮像により取得された画像データや各種情報等をリアルタイムにモニタ表示している状態でも周辺環境を観察可能である。

デジタルカメラ１１は、撮像動作を行って動画の画像データを出力する。このデジタルカメラ１１は、光透過性部材１６を通した装着者２の視線２ｂ方向に焦点が合うように撮像範囲を設定した状態でヘッドマウントディスプレイ１０のフレーム本体１３上に取り付けられている。撮像方向可変機構１８は、例えばデジタルカメラ１１を首振り可能に支持し、デジタルカメラ１１の撮像方向を任意の方向、ここでは上記の如くデジタルカメラ１１の撮像範囲を装着者２の視線２ｂ方向に焦点が合うように設定する。

インタフェースボックス１２は、送受信装置３４との間のデータの送受信を行うとともに、ヘッドマウントディスプレイ１０にかかる各種処理を行う。具体的には、インタフェースボックス１２は、制御部１２１、音声処理部１２２、送受信部１２３、情報表示部１２４、画像処理部１２５を備え、装着者２が携帯可能なボックスである。制御部１２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有するコンピュータであり、ウエアラブル端末装置１の動作を制御する。ＲＯＭには、プログラムやそのプログラムを実行する際に参照される各種設定情報などが予め格納されている。ＣＰＵは、ＲＯＭに記憶されたプログラムをＲＡＭの作業領域に展開して順次実行することで、ウエアラブル端末装置１の動作を中央制御する。例えば動作モードが精算モードである場合、制御部１２１は、デジタルカメラ１１の撮像により取得された画像データを情報表示部１２４へ出力してヘッドマウントディスプレイ１０のモニタ表示部１７にリアルタイムに表示させる。さらに、デジタルカメラ１１の撮像により取得された画像データを画像処理部１２５へ出力して画像処理させることで、撮像された商品に添付されたバーコードを解読させて商品コードを取得し、その取得した商品コードを送受信部１２３、送受信装置３４を介してストアサーバ３０へ通知する。次いで、この通知によりストアサーバ３０から返信された商品情報（商品コード、商品名、単価など）を、情報表示部１２４へ出力してモニタ表示部１７に表示させる。なお、インタフェースボックス１２における画像処理部１２５、情報表示部１２４、送受信部１２３、音声処理部１２２などの各部は、制御部１２１がＲＯＭに予め格納されたプログラムを実行することで実現してもよい。

音声処理部１２２は、マイク１５により入力された音声の識別や、その音声の記録にかかる処理を行う。具体的には、音声処理部１２２は、予め設定された辞書データに含まれる音声データと、マイク１５からの音声データとを照合して所定の音声コマンドを認識し、認識した音声コマンドを制御部１２１へ通知する。制御部１２１は、通知された音声コマンドに応じた処理を行う。これにより、ウエアラブル端末装置１は、音声コマンドによる操作が可能である。また、音声処理部１２２は、制御部１２１の制御の下、マイク１５からの音声データを所定のフォーマット形式の音声データへ変換し、変換後の音声データを、制御部１２１のＲＡＭや送受信部１２３、送受信装置３４を介して接続するストアサーバ３０等へ記録する。

情報表示部１２４は、制御部１２１などから入力された画像データをヘッドマウントディスプレイ１０のモニタ表示部１７へ表示する。具体的には、情報表示部１２４は、デジタルカメラ１１の撮像により取得された画像データをモニタ表示部１７に表示する。また、情報表示部１２４は、商品コード、商品名、単価や各種アイコン画像などの情報を受け取ると、受け取った情報を入力された画像データに合成してヘッドマウントディスプレイ１０のモニタ表示部１７に表示する。なお、受け取った情報の表示位置が座標などで指定されている場合は、その指定された表示位置に情報が表示されるように、入力された画像データへの合成を行う。

画像処理部１２５は、デジタルカメラ１１の撮像により取得された画像データの画像処理や、視線認識用カメラ１９で撮像された画像データを解析して装着者２の視線２ｂの検出を行う。具体的には、画像処理部１２５は、視線認識用カメラ１９で撮像された画像データから装着者２の瞳を検出し、その検出された瞳の位置に応じて視線２ｂの検出を行う。また、画像処理部１２５は、デジタルカメラ１１の撮像により取得された画像データの中から１枚のフレームをチャプタし、このチャプタ画像の中のバーコードを識別し、識別された画像データを２値化して商品コードを取得する等の画像処理を行う。また、画像処理部１２５は、デジタルカメラ１１の撮像により取得された画像データの中からチャプタした１枚のフレームの画像データをヘッドマウントディスプレイ１０のモニタ表示部１７に表示し、かつチャプタ画像を取得した時点又は２値化データを取得した時点で、例えばチャプタ画像に対して識別したバーコードを囲む枠線などを付加してもよい。この枠線は、例えば矩形等に形成され、例えば赤色、黄色等の色を付けてもよい。また、画像処理部１２５は、上述したチャプタ画像の中から、視線認識用カメラ１９の画像を元に検出された視線２ｂに応じた領域に含まれるバーコードを識別してもよい。この場合は、装着者２の視線２ｂによる商品コードの入力を行うことが可能となる。

また、ウエアラブル端末装置１における操作入力は、制御部１２１の制御の下、視線認識用カメラ１９の画像を元に画像処理部１２５により検出された視線２ｂに応じて行われてもよい。具体的には、情報表示部１２４がモニタ表示部１７へ表示した操作入力用のアイコン画像を装着者２が見つめた際の視線２ｂを検出することで、ウエアラブル端末装置１における操作入力を行う。図３は、モニタ表示部１７の表示例を示す図であり、具体的には動作モードを視線２ｂで行う際の表示例を示す。図３に示すように、表示領域Ｇ１は、現在の動作モードなど、ウエアラブル端末装置１の動作状態を表示する領域である。視線マーカーＧ２は、視線認識用カメラ１９の画像を元に画像処理部１２５で検出された視線２ｂを示すマーカーである。アイコン画像Ｇ１１〜Ｇ１３はウエアラブル端末装置１の動作モードを設定するためのアイコンである。制御部１２１は、アイコン画像Ｇ１１〜Ｇ１３のいずれかの表示座標が視線マーカーＧ２の座標と一致する場合に、その一致するアイコン画像の動作モードを設定する。このように、ウエアラブル端末装置１では、動作モードの設定などの操作入力を、装着者２の視線２ｂに応じて行うことができる。

次に、ウエアラブル端末装置１が制御部１２１の制御のもとで行う処理の手順について、図４を参照して説明する。図４は、本実施形態にかかるウエアラブル端末装置１の処理を示すフローチャートの一例である。

図４に示すように、処理が開始されると、制御部１２１は、ウエアラブル端末装置１の動作モードの設定を行う（Ｓ１０）。ここで設定するウエアラブル端末装置１の動作モードには、「精算モード」、「陳列棚モード」、「在庫登録モード」がある。「精算モード」は、ウエアラブル端末装置１を装着した装着者２がＰＯＳ端末３３の前で買上商品の登録・精算などの精算処理を行うための動作モードである。「陳列棚モード」は、ウエアラブル端末装置１を装着した装着者２が陳列棚において欠品のある商品の在庫確認などを行うための動作モードである。「在庫登録モード」は、バックヤードなどで在庫商品の登録などを行うための動作モードである。Ｓ１０における動作モードの設定は、図３を参照して説明したとおり、装着者２の視線２ｂによって行うものとする。

なお、Ｓ１０における動作モードの設定は、ウエアラブル端末装置１に設けられた操作ボタン（特に図示しない）による操作入力で行ってもよいが、音声処理部１２２が識別した装着者２の音声コマンドに応じて行ってもよい。具体的には、装着者２が「精算モード」、「陳列棚モード」、「在庫登録モード」のいずれを発声したかを識別し、その識別された動作モードを設定する。このように、装着者２の音声コマンドに応じた動作モードの設定では、煩わしい入力操作を行う必要がない。また、動作モードの設定は、店舗内のどの領域にウエアラブル端末装置１が存在するかに応じて行ってもよい。具体的には、前述したとおり、送受信装置３４とウエアラブル端末装置１との間のデータの送受信に基づいて店舗内のどの領域にウエアラブル端末装置１が存在するかを判定し、その判定結果が精算カウンター近傍の領域である場合は「精算モード」を、陳列棚が設けられた領域である場合は「陳列棚モード」を、バックヤードである場合は「在庫登録モード」を設定する。なお、店舗内のどの領域にウエアラブル端末装置１が存在するかについては、デジタルカメラ１１で撮像された画像を画像処理部１２５で画像認識した認識結果に応じて検出してもよい。具体的には、精算カウンター、陳列棚、バックヤードなどを予め撮像した画像を元に上述した画像認識を行うことで、例えば精算カウンターがデジタルカメラ１１で撮像された画像から認識された場合には「精算モード」を、陳列棚が認識された場合には「陳列棚モード」を、バックヤードが認識された場合には「在庫登録モード」を設定する。このように、ウエアラブル端末装置１の位置に対応した動作モードを設定することで、ウエアラブル端末装置１を装着した装着者２が所定の作業位置に移動した後にわざわざ動作モードの設定を行う必要がなく、作業性を向上させることが可能となる。

次いで、制御部１２１は、デジタルカメラ１１、視線認識用カメラ１９による撮像を行わせ（Ｓ１１）、視線認識用カメラ１９で撮像された画像データによる視線２ｂの検出を画像処理部１２５に行わせる（Ｓ１２）。次いで、制御部１２１は、デジタルカメラ１１で撮像された画像において、Ｓ１２で検出された視線２ｂに対応する領域の画像認識を画像処理部１２５に行わせ（Ｓ１３）、その画像認識によりバーコードが認識されたか否かを判定する（Ｓ１４）。なお、Ｓ１３における画像認識は、例えばバーコードの認識や前述した視線２ｂとアイコン画像との重なりの有無などを含むものである。また、Ｓ１３における視線２ｂに対応する領域は、例えば視線２ｂを中心とした予め設定した領域であってよい。また、画像認識によるバーコードの認識は、対応する領域内のバーコードの画像を識別し、識別した画像を２値化して商品コードへのデコードを行う等、前述した画像処理部１２５が行う画像処理である。

バーコードが認識されない場合（Ｓ１４：ＮＯ）、制御部１２１は、処理をＳ１１へ戻すことで、デジタルカメラ１１、視線認識用カメラ１９による撮像と、視線２ｂに対応する領域の画像認識とを継続して行わせる。バーコードが認識された場合（Ｓ１４：ＹＥＳ）、制御部１２１は、Ｓ１０などで設定された動作モードが「精算モード」、「陳列棚モード」、「在庫登録モード」のいずれであるかを判定する（Ｓ１５）。

動作モードが「精算モード」である場合、制御部１２１は、認識されたバーコードを解読した商品コードを買上商品の登録情報として送受信部１２３、送受信装置３４を介してストアサーバ３０へ通知し、ストアサーバ３０へ買上商品を登録する（Ｓ１６）。次いで、制御部１２１は、Ｓ１６における買上商品の登録に応じてストアサーバ３０から返信された買上商品の商品情報（商品コード、商品名、単価など）をモニタ表示部１７に表示させる（Ｓ１７）。なお、動作モードが「精算モード」である場合は、後述する精算処理の判定（Ｓ１８）において、精算処理を行うと判定されるまでは、Ｓ１１〜Ｓ１７の処理がループされるため、装着者２の視線２ｂによる買上商品の登録と、その買上商品の商品情報のモニタ表示部１７への表示とが継続されることとなる。

図５は、モニタ表示部１７の表示例を示す図であり、具体的には動作モードが「精算モード」時の表示例を示す。図５に示すように、Ｓ１７において、表示領域Ｇ１には、現在の動作モードである「精算モード」が表示される。商品４は、例えば客が買い上げる商品として精算カウンターに持参し、ウエアラブル端末装置１の装着者２が精算を行う際に手に取った商品である。商品４にはその商品に対応したバーコード３が付与されている。装着者２の視線２ｂがバーコード３に移る（視線マーカーＧ２がバーコード３に重なる）ことで、バーコード３が識別される。この時、識別されたバーコード３には画像認識枠Ｇ２１が付加される。また、識別されたバーコード３の商品コードがストアサーバ３０に通知されることで、買上商品の登録が行われる。また、買上商品の登録に応じてストアサーバ３０から返信された商品情報は、商品コードＧ２２、商品名Ｇ２３、単価Ｇ２４としてモニタ表示部１７に表示される。

アイコン画像Ｇ１４、Ｇ１５は、買上商品の登録の際の操作指示を視線マーカーＧ２により受け付けるためのアイコンであり、動作モードが「精算モード」である場合に画面表示される。例えば視線マーカーＧ２がアイコン画像Ｇ１４と重なって「リピート」の指示が入力された場合は、バーコード３の読み取りを行うことなく、直前に登録が行われた買上商品と同一の商品の登録を再度行う。また、視線マーカーＧ２がアイコン画像Ｇ１５と重なって「小計」の指示が入力された場合は、順次登録された買上商品の合計金額を算出するなどの精算処理を行う。

次いで、制御部１２１は、装着者２の視線２ｂによるアイコン画像Ｇ１５の操作に応じた精算処理の有無を判定する（Ｓ１８）。精算処理を行わない場合（ＮＯ）、制御部１２１は、処理をＳ１１へ戻すことで、買上商品の登録を継続させる。装着者２の視線２ｂによるアイコン画像Ｇ１５の操作により精算処理を行う場合（ＹＥＳ）、制御部１２１は、精算処理を行うようにストアサーバ３０へ通知して、ＰＯＳ端末３３による精算処理を行わせる（Ｓ１９）。具体的には、順次登録された買上商品の合計金額をストアサーバ３０に算出させて、その算出された合計金額にかかる現金やクレジットカードを用いた精算をＰＯＳ端末３３に行わせる。

Ｓ１５において動作モードが「陳列棚モード」である場合、制御部１２１は、認識されたバーコードを解読した商品コードを在庫確認情報として送受信部１２３、送受信装置３４を介してストアサーバ３０へ通知することで、ストアサーバ３０からその商品コードにかかる商品の在庫数等の在庫情報を取得し（Ｓ２０）、その取得した在庫情報をモニタ表示部１７に表示させる（Ｓ２１）。なお、陳列棚モードでは、デジタルカメラ１１で撮像された画像を元に、装着者２の視線２ｂを検出した先の画像認識により陳列棚において欠品のある棚の画像を取得し、その取得した画像と、予めＲＯＭなどに記憶された商品が載置されていない状態の陳列棚の画像とを比較することにより、欠品のある棚の位置を特定して、特定した棚の位置にあるべき商品の特定を行ってもよい。また、欠品のある棚の画像から欠品を示すマーク（記号）を取得し、その取得したマークと、予めＲＯＭなどに記憶された陳列棚の位置ごとのマーク画像とを比較することにより、欠品のある棚の位置を特定して、特定した棚の位置にあるべき商品の特定を行ってもよい。

図６は、モニタ表示部１７の表示例を示す図であり、具体的には動作モードが「陳列棚モード」時の表示例を示す。図６に示すように、Ｓ２１において、表示領域Ｇ１には、現在の動作モードである「陳列棚モード」が表示される。バーコード５、６は、例えば陳列棚において欠品となった商品をストアサーバ３０に通知するため、その商品の商品コードが含まれたものである。図示例では、陳列棚において、頭痛薬の商品を陳列する箇所に対応してその頭痛薬の商品コードが含まれたバーコード５が、胃腸薬の商品を陳列する箇所に対応してその胃腸薬の商品コードが含まれたバーコード６が設けられている。これにより、例えば装着者２の視線２ｂがバーコード５に移る（視線マーカーＧ２がバーコード５に重なる）ことで、バーコード５が識別される。この時、識別されたバーコード５には画像認識枠Ｇ２１が付加される。また、識別されたバーコード５の商品コードをストアサーバ３０に通知することで、ストアサーバ３０から頭痛薬の在庫情報を取得する。取得した在庫情報は、モニタ表示部１７のインフォメーションウインドウＧ３１に表示される。

Ｓ１５において動作モードが「在庫登録モード」である場合、制御部１２１は、認識されたバーコードを解読した商品コードを商品の在庫登録情報として送受信部１２３、送受信装置３４を介してストアサーバ３０へ通知し、ストアサーバ３０に記憶された商品マスタテーブルへの在庫登録を行う（Ｓ２２）。次いで、制御部１２１は、Ｓ２２の在庫登録に応じてストアサーバ３０から返信された登録商品の商品情報（商品コード、商品名、単価など）をモニタ表示部１７に表示させる（Ｓ２３）。なお、動作モードが「在庫登録モード」である場合のモニタ表示部１７の表示は、図５に例示した「精算モード」の表示例とほぼ同じであり、表示領域Ｇ１に「在庫登録モード」が表示され、アイコン画像Ｇ１４、Ｇ１５が表示されないことのみが異なるものであってよい。また、「在庫登録モード」での処理は、在庫登録以外に、認識されたバーコードを解読した商品コードをストアサーバ３０へ通知し、ストアサーバ３０に記憶された商品マスタテーブルからその商品コードに該当する商品の在庫数量を取得してモニタ表示部１７に表示する数量確認であってもよい。

次いで、制御部１２１は、装着者２の視線２ｂによる操作入力や音声コマンドなどにより、動作モードの変更の指示があるか否かを判定し（Ｓ２４）、変更がある場合（ＹＥＳ）はＳ１０へ処理を戻す。変更がない場合（ＮＯ）、制御部１２１は、装着者２の視線２ｂによる操作入力や音声コマンドなどにより、処理の終了指示があるか否かを判定し（Ｓ２５）、終了指示がなく、処理を継続させる場合（ＮＯ）はＳ１１へ処理を戻す。なお、終了指示がある場合（ＹＥＳ）、制御部１２１は処理を終了する。

以上のように、ウエアラブル端末装置１は、設定された動作モードに応じて、装着者２の視線２ｂによる操作入力で行う処理を変更することができるため、種々の作業に対応可能である。例えば、動作モードが「精算モード」である場合には、装着者２の視線２ｂに応じて識別されたバーコード３による買上商品の登録が行われることとなる。この時、モニタ表示部１７には「精算モード」に対応したアイコン画像Ｇ１４、Ｇ１５が表示されるため、ウエアラブル端末装置１は、精算の際に必要な操作入力を、装着者２の視線２ｂにより行うことが可能となる。また、動作モードが「陳列棚モード」である場合には、装着者２の視線２ｂに応じて識別されたバーコード５によりストアサーバ３０から取得した在庫情報がモニタ表示部１７に表示されることとなる。また、動作モードが「在庫登録モード」である場合には、装着者２の視線２ｂに応じて識別されたバーコードによる在庫登録が行われることとなる。この時、モニタ表示部１７には「在庫登録モード」に対応した登録商品の商品情報が表示される。なお、前述した数量確認を行う場合は、装着者２の視線２ｂに応じてバーコードを解読した商品コードに対応する商品の在庫数量がモニタ表示部１７に表示されることとなる。

なお、本実施形態では、ウエアラブル端末装置１の動作モードをモニタ表示部１７の表示領域Ｇ１に文字で表示する構成を例示した。しかしながら、動作モードの装着者２への通知は、本実施形態に限定するものではない。例えば、インタフェースボックス１２などに設けられたスピーカ（図示しない）による音声通知や、ＬＥＤ（Light Emitting Diode）などのモニタ表示部１７以外の表示装置（図示しない）による通知であってもよい。また、モニタ表示部１７における表示態様も、表示領域Ｇ１への文字表示に限定するものではなく、動作モードに対応した背景色への切り替え等の文字を用いない表示態様であってもよい。特に、装着者２の眼前において光透過性の状態でモニタ表示を行う場合には、モニタ表示部１７に表示する文字情報を必要最小限に止めることが装着者２の疲労を軽減することから、文字を用いない表示態様がより好適である。更に、装着者２の視線２ｂを検出して操作入力を行う場合においては視線２ｂが安定することから、モニタ表示部１７に常時表示する動作モードについては、現在の動作モードに対応した背景色を表示することがより好適である。

また、本実施形態では、デジタルカメラ１１で撮像された画像を元に、装着者２の視線２ｂを検出した先の画像認識によりバーコードを認識する構成を例示した。しかしながら、上述した画像認識は、バーコードの認識に限定するものではない。例えば、デジタルカメラ１１で撮像された画像を元に、装着者２の視線２ｂを検出した先の画像認識により商品形状を認識し、予めＲＯＭなどに記憶された商品形状と比較するなどして、精算や在庫登録にかかる商品を特定してもよい。

また、本実施形態では、音声認識などを行う音声処理部１２２や画像認識などを行う画像処理部１２５をインタフェースボックス１２に備える構成を例示した。しかしながら、インタフェースボックス１２は音声処理部１２２、画像処理部１２５を備えることなく、音声処理部１２２や画像処理部１２５などにかかる処理については、画像データや音声データを送受信部１２３により送信したストアサーバ３０などで行い、その処理結果を送受信部１２３で受信する構成であってもよい。

また、本実施形態の制御部１２１が実行するプログラムは、ＲＯＭ等に予め組み込んで提供するように構成してもよい。また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。

また、上記プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上記プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

１ウエアラブル端末装置
２装着者
２ａ頭部
２ｂ視線
１０ヘッドマウントディスプレイ
１１デジタルカメラ
１２インタフェースボックス
１７モニタ表示部
１９視線認識用カメラ
３０ストアサーバ
３１プリンタ
３２プリンタサーバ
３３ＰＯＳ端末
３４送受信装置
１２１制御部
１２２音声処理部
１２３送受信部
１２４情報表示部
１２５画像処理部
ＮＴネットワーク

特開２００２−３２２１２号公報特開２００９−９３４８９号公報

Claims

装着者からの操作を受け付ける操作手段と、
複数の動作モードの中から前記装着者の作業に対応した動作モードを設定する設定手段と、
前記操作手段による前記装着者の操作に応じた処理を、前記設定された動作モードで制御する制御手段と、
を備えることを特徴とするウエアラブル端末装置。
モニタ表示部を有するヘッドマウントディスプレイを更に備え、
前記制御手段は、前記装着者の操作に応じた前記モニタ表示部の表示を、前記設定された動作モードで制御することを特徴とする請求項１に記載のウエアラブル端末装置。
前記装着者の視線位置を検出するための視線検出手段を更に備え、
前記操作手段は、前記検出された視線位置に対応した操作を前記装着者から受け付け、
前記制御手段は、前記装着者の視線位置に応じた処理を、前記設定された動作モードで制御することを特徴とする請求項１に記載のウエアラブル端末装置。
撮像手段と、
当該撮像手段による撮像画像から、前記検出された視線位置に対応する領域の画像認識を行う画像認識手段と、を更に備え、
前記制御手段は、前記画像認識手段による認識結果にかかる処理を、前記設定された動作モードで制御することを特徴とする請求項１〜３のいずれか一項に記載のウエアラブル端末装置。
前記画像認識手段は、前記領域に含まれる所定のコード又は所定の画像を認識し、
前記制御手段は、前記所定のコード又は前記所定の画像を用いる処理を、前記設定された動作モードで制御することを特徴とする請求項４に記載のウエアラブル端末装置。
自装置の位置を検出する位置検出手段を更に備え、
前記設定手段は、前記検出された自装置の位置に対応した前記動作モードを設定することを特徴とする請求項１〜５のいずれか一項に記載のウエアラブル端末装置。
前記設定手段は、前記操作手段による前記装着者の操作に応じて、前記動作モードを設定することを特徴とする請求項１〜５のいずれか一項に記載のウエアラブル端末装置。
前記モニタ表示部は、前記設定された動作モードに対応する表示を行うことを特徴とする請求項１〜７のいずれか一項に記載のウエアラブル端末装置。
装着者からの操作を受け付ける操作手段を備えるウエアラブル端末装置のコンピュータを、
複数の動作モードの中から前記装着者の作業に対応した動作モードを設定する設定手段と、
前記操作手段による前記装着者の操作に応じた処理を、前記設定された動作モードで制御する制御手段と、
して機能させるためのプログラム。