JP2016126712A - 操作システム及び画像形成装置 - Google Patents
操作システム及び画像形成装置 Download PDFInfo
- Publication number
- JP2016126712A JP2016126712A JP2015002396A JP2015002396A JP2016126712A JP 2016126712 A JP2016126712 A JP 2016126712A JP 2015002396 A JP2015002396 A JP 2015002396A JP 2015002396 A JP2015002396 A JP 2015002396A JP 2016126712 A JP2016126712 A JP 2016126712A
- Authority
- JP
- Japan
- Prior art keywords
- user
- terminal device
- flag information
- valid
- user interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Control Or Security For Electrophotography (AREA)
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
- Accessory Devices And Overall Control Thereof (AREA)
Abstract
【課題】画像形成装置に対する操作と端末装置に対する操作が衝突しないようにできる操作システムを提供する。【解決手段】ＭＦＰ１００は、グラス端末２００から、グラス端末２００におけるユーザーによる操作が有効か否かを示すフラグ情報を受信する無線通信部、ユーザーの操作を受け付ける操作パネル及び受信したフラグ情報が有効を示す場合、操作パネルによる操作を無効にし、フラグ情報が無効を示す場合、操作パネルによる操作を有効にする主制御部を備える。ＭＦＰ１００は、操作パネルにより受け付けた操作又はグラス端末２００により受け付けた操作応じた処理を行う。【選択図】図１
Description
本発明は、ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作技術に関する。
スキャナー、ファクシミリ、プリンター、複写機等の機能を統合した複合機（以下、ＭＦＰ（Multifunction Peripheral）と呼ぶ。）が普及している。
特許文献１によると、ゲーム装置である端末装置が備えるカメラの撮像方向の実空間に、マーカーが配置されている。マーカーは、長方形の紙に描かれた矢印である。ゲーム装置は、撮像された実画像に対して、パターンマッチング等の画像処理を行うことによって、当該実画像に含まれるマーカーを検出する。実画像中にマーカーが検出された場合、仮想空間がマーカーの中心を原点としたＸＹＺ座標系によって定義される。ゲーム装置の表示部には、撮像された実画像に、仮想空間上の仮想キャラクタが重ね合わされて表示される。これにより、仮想キャラクタがあたかも実空間に存在するような感覚をユーザーに与えることができる。
特許文献１によると、ゲーム装置である端末装置が備えるカメラの撮像方向の実空間に、マーカーが配置されている。マーカーは、長方形の紙に描かれた矢印である。ゲーム装置は、撮像された実画像に対して、パターンマッチング等の画像処理を行うことによって、当該実画像に含まれるマーカーを検出する。実画像中にマーカーが検出された場合、仮想空間がマーカーの中心を原点としたＸＹＺ座標系によって定義される。ゲーム装置の表示部には、撮像された実画像に、仮想空間上の仮想キャラクタが重ね合わされて表示される。これにより、仮想キャラクタがあたかも実空間に存在するような感覚をユーザーに与えることができる。
ＭＦＰにおいて、ユーザーの操作を受け付ける場合に、上記の技術を応用することができる。ＭＦＰは、ユーザーの操作を受け付ける操作部を備える。端末装置は、当該端末装置が備えるカメラにより撮影された実画像における現実のＭＦＰを表す画像と仮想的に操作部を表す画像とを合成して表示する。
さらに、端末装置は、仮想的に操作部を表す画像により、ユーザーに対して、操作方法をガイドする。端末装置のカメラは、ユーザーの動作を撮影し、得られた実画像に対して画像処理を施して、ユーザーの操作を推定し、推定した操作の内容をＭＦＰに対して出力する。ＭＦＰは、端末装置からユーザーの操作の内容を受け取り、受け取った操作の内容に基づいて処理を行う。
さらに、端末装置は、仮想的に操作部を表す画像により、ユーザーに対して、操作方法をガイドする。端末装置のカメラは、ユーザーの動作を撮影し、得られた実画像に対して画像処理を施して、ユーザーの操作を推定し、推定した操作の内容をＭＦＰに対して出力する。ＭＦＰは、端末装置からユーザーの操作の内容を受け取り、受け取った操作の内容に基づいて処理を行う。
上記の応用例において、ＭＦＰの現実の操作部に対して、ユーザーが第１の操作を行うと、現実の操作部は、第１の操作を受け付ける。このとき、端末装置は、ＭＦＰに対するユーザーの第１の操作を、第２の操作として認識し、ＭＦＰに対して、第２の操作の内容を出力する。ＭＦＰは、端末装置から第２の操作の内容を受け取る。ＭＦＰは、第１の操作の内容に応じた処理を行い、さらに、第２の操作の内容に応じた処理を行う。
この場合、第１の操作と第２の操作は、同一の操作である。このため、ＭＦＰが、第１の操作の内容に応じた処理及び第２の操作の内容に応じた処理の両方を行うならば、その処理結果は、ユーザーの意図しないものとなる。ここで、ＭＦＰが、同一の第１の操作及び第２の操作を受け付けることを、ユーザーの操作が衝突すると言う。
このような問題を解決するために、本発明は、画像形成装置に対するユーザーの操作と、端末装置に対するユーザーの操作とが衝突しないようにできる画像形成装置及び操作システムを提供することを目的とする。
このような問題を解決するために、本発明は、画像形成装置に対するユーザーの操作と、端末装置に対するユーザーの操作とが衝突しないようにできる画像形成装置及び操作システムを提供することを目的とする。
上記目的を達成するため、本発明の一態様は、ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作システムであって、前記画像形成装置は、前記端末装置から、当該端末装置におけるユーザーによる操作が有効か否かを示すフラグ情報を受信する受信手段と、ユーザーから、前記端末装置を経由しないで直接、操作を受け付けるユーザーインターフェース手段と、受信した前記フラグ情報が有効を示す場合、前記ユーザーインターフェース手段による操作を無効にし、前記フラグ情報が無効を示す場合、前記ユーザーインターフェース手段による操作を有効にする制御手段とを備え、前記ユーザーインターフェース手段により受け付けた操作、又は、前記端末装置により受け付けた操作に応じて動作することを特徴とする。
この態様によると、画像形成装置に対するユーザーの操作と、端末装置に対するユーザーの操作が衝突しないようにできる。
ここで、前記フラグ情報は、さらに、当該端末装置において、ユーザーに対する操作ガイドが有効か否かを示し、前記ユーザーインターフェース手段は、さらに、ユーザーに対して、操作ガイドを行い、前記制御手段は、受信した前記フラグ情報が操作ガイドが有効であることを示す場合、前記ユーザーインターフェース手段による操作ガイドを無効にし、前記フラグ情報が操作ガイドが無効であることを示す場合、前記ユーザーインターフェース手段による操作ガイドを有効にしてもよい。
ここで、前記フラグ情報は、さらに、当該端末装置において、ユーザーに対する操作ガイドが有効か否かを示し、前記ユーザーインターフェース手段は、さらに、ユーザーに対して、操作ガイドを行い、前記制御手段は、受信した前記フラグ情報が操作ガイドが有効であることを示す場合、前記ユーザーインターフェース手段による操作ガイドを無効にし、前記フラグ情報が操作ガイドが無効であることを示す場合、前記ユーザーインターフェース手段による操作ガイドを有効にしてもよい。
ここで、前記ユーザーインターフェース手段は、前記操作ガイドを表示する操作パネルであり、前記端末装置は、さらに、撮像手段と、前記撮像手段による撮影画像を解析して、撮像視野内に存在する前記操作パネルにより表示されている内容を検出する画像解析手段と、前記操作ガイドとして、検出された当該内容を表す操作パネル画像を生成する画像生成手段と、ユーザーが表示面を通じて前記操作パネルに重畳して視認できる状態で、生成した前記操作パネル画像を表示する表示手段とを備え、前記フラグ情報は、当該端末装置において、表示による操作ガイドが有効か否かを示し、前記制御手段は、前記フラグ情報が表示による操作ガイドが有効であることを示す場合、前記操作パネルによる表示を停止してもよい。
ここで、前記画像形成装置は、さらに、前記操作ガイドの内容を表現する音声情報を基にして、音声信号を生成する音声処理手段を備え、前記ユーザーインターフェース手段は、生成された前記音声信号を変換して、音波を出力するスピーカーであり、前記フラグ情報は、当該端末装置において、音声による操作ガイドが有効か否かを示し、前記制御手段は、前記フラグ情報が音声による操作ガイドが有効であることを示す場合、前記音声信号の生成及び前記音波の出力を停止してもよい。
ここで、前記ユーザーインターフェース手段は、発光により、操作ガイドを行い、前記フラグ情報は、当該端末装置において、表示による操作ガイドが有効か否かを示し、前記制御手段は、前記フラグ情報が表示による操作ガイドが有効であることを示す場合、前記ユーザーインターフェース手段による発光を停止してもよい。
ここで、前記端末装置は、さらに、撮像手段と、前記撮像手段による撮影画像を解析して、撮像視野内に存在するユーザーの操作体による仮想的な操作であるジェスチャ操作の内容を推定する画像解析手段とを備え、前記フラグ情報は、前記端末装置において、前記ジェスチャ操作が有効であるか否かを示し、前記ユーザーインターフェース手段は、接触によりユーザーの操作を受け付ける操作パネルであり、前記制御手段は、前記フラグ情報が前記ジェスチャ操作が有効であることを示す場合、前記操作パネルに対する接触による操作の受け付けを無効としてもよい。
ここで、前記端末装置は、さらに、撮像手段と、前記撮像手段による撮影画像を解析して、撮像視野内に存在するユーザーの操作体による仮想的な操作であるジェスチャ操作の内容を推定する画像解析手段とを備え、前記フラグ情報は、前記端末装置において、前記ジェスチャ操作が有効であるか否かを示し、前記ユーザーインターフェース手段は、接触によりユーザーの操作を受け付ける操作パネルであり、前記制御手段は、前記フラグ情報が前記ジェスチャ操作が有効であることを示す場合、前記操作パネルに対する接触による操作の受け付けを無効としてもよい。
ここで、前記画像形成装置及び前記端末装置は、それぞれ、撮像手段と、前記撮像手段による撮影画像を解析して、撮像視野内に存在するユーザーの操作体による仮想的な操作であるジェスチャ操作の内容を推定する画像解析手段とを備え、前記フラグ情報は、前記端末装置において、前記ジェスチャ操作が有効であるか否かを示し、前記ユーザーインターフェース手段は、前記画像形成装置が備える前記画像解析手段から、ユーザーのジェスチャ操作の内容を受け取り、前記制御手段は、前記フラグ情報がジェスチャ操作が有効であることを示す場合、前記画像形成装置が備える前記画像解析手段による解析を停止することにより、又は、前記ユーザーインターフェース手段により受け取った前記ジェスチャ操作の内容を破棄することにより、前記画像形成装置に対するジェスチャ操作を無効としてもよい。
ここで、前記端末装置は、音波を変換して音声信号を生成し、生成された音声信号を解析して、ユーザーの発する音声を認識しユーザーの操作内容を推定することにより、ユーザーの操作を受け付け、前記ユーザーインターフェース手段は、音波を変換して音声信号を生成し、前記画像形成装置は、さらに、生成された音声信号を解析して、ユーザーの発する音声を認識しユーザーの操作内容を推定する音声処理手段とを備え、前記ユーザーインターフェース手段は、前記音声処理手段から、ユーザーの前記操作内容を受け取り、前記フラグ情報は、前記端末装置による音声操作が有効であるか否かを示し、前記制御手段は、前記フラグ情報が音声操作が有効であることを示す場合、前記画像形成装置が備える前記音声処理手段による解析を停止することにより、又は、前記ユーザーインターフェース手段により受け取った前記操作内容を破棄することにより、前記画像形成装置に対する音声操作を無効としてもよい。
ここで、前記端末装置が撮像手段を備えない場合、又は、前記端末装置が撮像手段を備えるが、当該撮像手段による撮像が無効である場合、前記フラグ情報は、さらに、撮像が無効であることを示し、前記ユーザーインターフェース手段は、ユーザーの操作体による接触により、ユーザーの操作を受け付けるとともに、ユーザーに対して操作ガイドを表示する操作パネルであり、前記制御手段は、前記フラグ情報が撮像が無効であることを示す場合、前記操作パネルに対する接触及び前記操作パネルによる表示を無効にしてもよい。
１．実施の形態１
本発明に係る実施の形態１としての操作システム１０について説明する。
１．１ 操作システム１０
操作システム１０は、図１に示すように、ＭＦＰ１００及びグラス端末２００から構成されている。グラス端末２００は、眼鏡型の端末装置である。
本発明に係る実施の形態１としての操作システム１０について説明する。
１．１ 操作システム１０
操作システム１０は、図１に示すように、ＭＦＰ１００及びグラス端末２００から構成されている。グラス端末２００は、眼鏡型の端末装置である。
ユーザーから操作開始の指示を受け付けると、グラス端末２００は、現実の空間を撮影して映像を生成する。映像がＭＦＰ１００における操作パネルを表す場合、グラス端末２００は、映像の中で、ＭＦＰ１００の操作パネルの位置及びその内容を特定する。グラス端末２００は、特定した内容に基づいて、ユーザーに対して操作をガイドするための操作パネル画像を生成する。次に、特定した位置に基づいて、ユーザーがＭＦＰ１００の操作パネルに重畳して視認できるように、生成した操作パネル画像を表示する。グラス端末２００は、ユーザーの操作を受け付け、受け付けた操作内容をＭＦＰ１００に対して送信する。ＭＦＰ１００は、操作内容を受信し、受信した操作内容に従って動作する。
グラス端末２００は、グラス端末２００におけるユーザーによる操作又はユーザーに対する操作ガイドが有効か否かを示すフラグ情報をＭＦＰ１００に対して送信する。ＭＦＰ１００は、受信したフラグ情報が有効であることを示す場合、ＭＦＰ１００におけるユーザーからの操作又はユーザーに対する操作ガイドを無効にする。ＭＦＰ１００は、受信したフラグ情報が無効であることを示す場合、ＭＦＰ１００におけるユーザーからの操作又はユーザーに対する操作ガイドを有効にする。
１．２ ＭＦＰ１００
ＭＦＰ１００は、スキャナー、ファクシミリ、プリンター、複写機等の機能を備えた画像形成装置である。
ＭＦＰ１００は、図２に示すように、スキャナー１０１、画像処理部（画像解析手段）１０２、通信部１０３、無線通信部（受信手段）１０４、撮像部（撮像手段）１０５、メモリ部１０６、ＣＰＵ（Central Processing Unit ）１０７、プリントエンジン１０８、ハードディスク１０９、操作パネル（ユーザーインターフェース手段）１１０、音声処理部（音声処理手段）１１１、マイク（ユーザーインターフェース手段）１１２、スピーカー（ユーザーインターフェース手段）１１３、ＬＥＤ駆動制御部１１４、ＬＥＤ（ユーザーインターフェース手段）１１５、アンテナ１１７及びバス１１６から構成されている。
ＭＦＰ１００は、スキャナー、ファクシミリ、プリンター、複写機等の機能を備えた画像形成装置である。
ＭＦＰ１００は、図２に示すように、スキャナー１０１、画像処理部（画像解析手段）１０２、通信部１０３、無線通信部（受信手段）１０４、撮像部（撮像手段）１０５、メモリ部１０６、ＣＰＵ（Central Processing Unit ）１０７、プリントエンジン１０８、ハードディスク１０９、操作パネル（ユーザーインターフェース手段）１１０、音声処理部（音声処理手段）１１１、マイク（ユーザーインターフェース手段）１１２、スピーカー（ユーザーインターフェース手段）１１３、ＬＥＤ駆動制御部１１４、ＬＥＤ（ユーザーインターフェース手段）１１５、アンテナ１１７及びバス１１６から構成されている。
スキャナー１０１、画像処理部１０２、通信部１０３、無線通信部１０４、撮像部１０５、メモリ部１０６、ＣＰＵ１０７、プリントエンジン１０８、ハードディスク１０９、操作パネル１１０、音声処理部１１１及びＬＥＤ駆動制御部１１４は、それぞれ、バス１１６に接続されている。
（１）メモリ部１０６及びＣＰＵ１０７
メモリ部１０６は、複数の制御プログラムを記憶している。各制御プログラムは、所定の機能を達成するために、ＣＰＵ１０７に対する指令を示す命令コードが複数個組み合わされて構成されたコンピュータープログラムである。
（１）メモリ部１０６及びＣＰＵ１０７
メモリ部１０６は、複数の制御プログラムを記憶している。各制御プログラムは、所定の機能を達成するために、ＣＰＵ１０７に対する指令を示す命令コードが複数個組み合わされて構成されたコンピュータープログラムである。
ＣＰＵ１０７は、フェッチ部、解読部、実行部、レジスタファイル、命令カウンタなどから構成されている。フェッチ部は、メモリ部１０６に記憶されている制御プログラムから、制御プログラムに含まれる各命令コードを１個ずつ読み出す。解読部は、読み出した命令コードを解読する。実行部は、解読結果に従って動作する。
ＣＰＵ１０７が、メモリ部１０６に記憶されている制御プログラムに従って動作することにより、ＭＦＰ１００は、その一部の機能を達成する。従って、メモリ部１０６及びＣＰＵ１０７は、図２に示すように、機能的に主制御部（制御手段）１２１及び情報記憶部１２２を構成する。主制御部１２１は、入力部（ユーザーインターフェース手段）１２３を含む。
ＣＰＵ１０７が、メモリ部１０６に記憶されている制御プログラムに従って動作することにより、ＭＦＰ１００は、その一部の機能を達成する。従って、メモリ部１０６及びＣＰＵ１０７は、図２に示すように、機能的に主制御部（制御手段）１２１及び情報記憶部１２２を構成する。主制御部１２１は、入力部（ユーザーインターフェース手段）１２３を含む。
（２）情報記憶部１２２
情報記憶部１２２は、グラス端末２００において、フラグ情報として、ジェスチャ操作が有効か否かを示すジェスチャ操作フラグを記憶するための領域を有している。
（３）スキャナー１０１及びプリントエンジン１０８
スキャナー１０１は、原稿を読み取り、画像データを生成する。生成した画像データを、メモリ部１０６又はハードディスク１０９に書き込む。
情報記憶部１２２は、グラス端末２００において、フラグ情報として、ジェスチャ操作が有効か否かを示すジェスチャ操作フラグを記憶するための領域を有している。
（３）スキャナー１０１及びプリントエンジン１０８
スキャナー１０１は、原稿を読み取り、画像データを生成する。生成した画像データを、メモリ部１０６又はハードディスク１０９に書き込む。
プリントエンジン１０８は、メモリ部１０６又はハードディスク１０９に記憶されている画像データを印刷する。プリントエンジン１０８は、一例として、回転駆動可能に設置された感光体ドラムの周囲に帯電チャージャー、露光部、現像器、転写部、残留トナーのクリーナーを配置した構成である。露光部は、帯電チャージャーによって所定の電位に均一に帯電された感光体ドラムの表面に露光して、入力画像に応じた静電潜像を形成する。この静電潜像は、現像器で現像され、トナー画像とされる。記録用シートが転写部へ搬送され、記録用シートは、ここでトナー画像を転写され、定着器で定着が施された後、ＭＦＰ１００の上部に排出される。
（４）通信部１０３、無線通信部１０４、アンテナ１１７、ハードディスク１０９及び操作パネル１１０
通信部１０３は、ネットワークを介して、外部の装置と接続されている。通信部１０３は、外部の装置との間で情報の送受信を行う。
無線通信部１０４は、アンテナ１１７を介して、無線によりグラス端末２００との間で情報の送受信を行う。
通信部１０３は、ネットワークを介して、外部の装置と接続されている。通信部１０３は、外部の装置との間で情報の送受信を行う。
無線通信部１０４は、アンテナ１１７を介して、無線によりグラス端末２００との間で情報の送受信を行う。
アンテナ１１７は、電波を受信し、出力する。
ハードディスク１０９は、長期保存用のデータを格納する。
操作パネル１１０は、ユーザーから操作を受け付け、ユーザーに対する操作ガイドを行うユーザーインターフェース手段である。操作パネル１１０は、利用者の操作を受け付ける。また、操作パネル１１０は、ユーザーに対して操作ガイドを行うための操作パネル画像を表示する。操作パネル画像は、複数の選択肢をそれぞれ示す複数の選択肢画像を含む。一例として、選択肢画像は、コピーを指示するための画像、ファクシミリ送信を指示するための画像、原稿のスキャンを指示するための画像等である。それぞれの選択肢画像がユーザーにより選択されると、選択された選択肢画像に対応する処理が行われる。
ハードディスク１０９は、長期保存用のデータを格納する。
操作パネル１１０は、ユーザーから操作を受け付け、ユーザーに対する操作ガイドを行うユーザーインターフェース手段である。操作パネル１１０は、利用者の操作を受け付ける。また、操作パネル１１０は、ユーザーに対して操作ガイドを行うための操作パネル画像を表示する。操作パネル画像は、複数の選択肢をそれぞれ示す複数の選択肢画像を含む。一例として、選択肢画像は、コピーを指示するための画像、ファクシミリ送信を指示するための画像、原稿のスキャンを指示するための画像等である。それぞれの選択肢画像がユーザーにより選択されると、選択された選択肢画像に対応する処理が行われる。
グラス端末２００において、ジェスチャ操作が無効である場合、操作パネル１１０は、ユーザーによるタッチ操作を受け付ける。操作パネル１１０は、タッチ位置を検出し、検出したタッチ位置を主制御部１２１に対して出力する。
（５）撮像部１０５及び画像処理部１０２
撮像部１０５は、現実の空間を撮影して、映像を生成する。生成した映像を画像処理部１０２に対して出力する。
（５）撮像部１０５及び画像処理部１０２
撮像部１０５は、現実の空間を撮影して、映像を生成する。生成した映像を画像処理部１０２に対して出力する。
画像処理部１０２は、撮像部１０５から映像を受け取る。受け取った映像の各フレーム画像を解析して、ユーザーのジェスチャによる操作内容を推定する。推定した操作内容を示す操作信号を生成し、生成した操作信号を入力部１２３に対して出力する。詳細については、後述する画像処理部２０２と同様であるので、ここでは、説明を省略する。
（６）音声処理部１１１、マイク１１２及びスピーカー１１３
マイク１１２は、音波を受けて振動する振動板に伴って、磁界内でコイルが振動することにより、音声信号を生成する。次に、生成した音声信号を音声処理部１１１に対して出力する。マイク１１２が受け取る音波は、一例として、ユーザーの指示を表す音声である。ユーザーの音声は、例えば、「コピー」、「スキャン」、「ファクシミリ」等である。
（６）音声処理部１１１、マイク１１２及びスピーカー１１３
マイク１１２は、音波を受けて振動する振動板に伴って、磁界内でコイルが振動することにより、音声信号を生成する。次に、生成した音声信号を音声処理部１１１に対して出力する。マイク１１２が受け取る音波は、一例として、ユーザーの指示を表す音声である。ユーザーの音声は、例えば、「コピー」、「スキャン」、「ファクシミリ」等である。
スピーカー１１３は、音声処理部１１１から音声信号を受け取り、受け取った音声信号に従って振動板を振動させて、音波を出力する。
音声処理部１１１は、マイク１１２から受け取った音声信号を解析して、ユーザーの音声を認識し、ユーザーの操作内容を推定する。推定した操作内容を示す操作信号を生成し、生成した操作信号を主制御部１２１の入力部１２３に対して出力する。
音声処理部１１１は、マイク１１２から受け取った音声信号を解析して、ユーザーの音声を認識し、ユーザーの操作内容を推定する。推定した操作内容を示す操作信号を生成し、生成した操作信号を主制御部１２１の入力部１２３に対して出力する。
また、音声処理部１１１は、主制御部１２１から音声メッセージを表した音声情報を受け取る。ここで、音声メッセージは、ユーザーに対する操作ガイダンスを表す。音声メッセージは、例えば、「ＣＯＰＹボタンを押してください」、「操作に誤りがあります」、「印刷が完了しました」等である。音声処理部１１１は、受け取った音声情報を基にして、音声信号を生成し、生成した音声信号をスピーカー１１３に対して出力する。
（７）ＬＥＤ駆動制御部１１４及びＬＥＤ１１５
ＬＥＤ駆動制御部１１４は、主制御部１２１からの指示により、ＬＥＤ１１５に対して、点灯し、消灯し、点滅し、表示色を変更するように、制御する。
ＬＥＤ１１５は、ＬＥＤ駆動制御部１１４の制御により、点灯し、消灯し、点滅し、表示色を変更する。
ＬＥＤ駆動制御部１１４は、主制御部１２１からの指示により、ＬＥＤ１１５に対して、点灯し、消灯し、点滅し、表示色を変更するように、制御する。
ＬＥＤ１１５は、ＬＥＤ駆動制御部１１４の制御により、点灯し、消灯し、点滅し、表示色を変更する。
（８）主制御部１２１
主制御部１２１の入力部１２３は、操作パネル１１０、画像処理部１０２及び音声処理部１１１から、ユーザーの入力を示す操作信号を受け取る。操作信号を受け取ると、主制御部１２１は、操作信号に応じた処理を行う。
主制御部１２１は、グラス端末２００から、操作開始信号及びジェスチャ操作フラグを受信する。ここで、操作開始信号は、ユーザーによりグラス端末２００に対する操作が開始されたことを示す信号である。また、ジェスチャ操作フラグは、グラス端末２００において、ユーザーによるジェスチャ操作が有効であるか否かを示すフラグである。
主制御部１２１の入力部１２３は、操作パネル１１０、画像処理部１０２及び音声処理部１１１から、ユーザーの入力を示す操作信号を受け取る。操作信号を受け取ると、主制御部１２１は、操作信号に応じた処理を行う。
主制御部１２１は、グラス端末２００から、操作開始信号及びジェスチャ操作フラグを受信する。ここで、操作開始信号は、ユーザーによりグラス端末２００に対する操作が開始されたことを示す信号である。また、ジェスチャ操作フラグは、グラス端末２００において、ユーザーによるジェスチャ操作が有効であるか否かを示すフラグである。
操作開始信号及びジェスチャ操作フラグを受信すると、主制御部１２１は、操作パネル１１０の表示をＯＦＦにするように、操作パネル１１０を制御する。また、主制御部１２１は、受信したジェスチャ操作フラグを情報記憶部１２２に書き込む。
主制御部１２１は、受信し、情報記憶部１２２に記憶しているジェスチャ操作フラグにより、グラス端末２００において、ジェスチャ操作が有効か否かを判断する。
主制御部１２１は、受信し、情報記憶部１２２に記憶しているジェスチャ操作フラグにより、グラス端末２００において、ジェスチャ操作が有効か否かを判断する。
（ジェスチャ操作が有効である場合）
グラス端末２００において、ジェスチャ操作が有効である場合、主制御部１２１は、操作パネル１１０の操作機能をＯＦＦにするように、操作パネル１１０を制御する。
また、この場合、主制御部１２１は、グラス端末２００から、操作の内容を受信する。操作の内容を受信すると、主制御部１２１は、受信した操作の内容に応じた処理を行う。
グラス端末２００において、ジェスチャ操作が有効である場合、主制御部１２１は、操作パネル１１０の操作機能をＯＦＦにするように、操作パネル１１０を制御する。
また、この場合、主制御部１２１は、グラス端末２００から、操作の内容を受信する。操作の内容を受信すると、主制御部１２１は、受信した操作の内容に応じた処理を行う。
（ジェスチャ操作が無効である場合）
グラス端末２００において、ジェスチャ操作が無効である場合、主制御部１２１は、操作パネル１１０の操作機能をＯＮにするように、操作パネル１１０を制御する。
グラス端末２００において、ジェスチャ操作が無効である場合、主制御部１２１は、操作パネル１１０から、ユーザーによるタッチ位置を受け取る。次に、主制御部１２１は、タッチ位置をグラス端末２００に対して送信する。
グラス端末２００において、ジェスチャ操作が無効である場合、主制御部１２１は、操作パネル１１０の操作機能をＯＮにするように、操作パネル１１０を制御する。
グラス端末２００において、ジェスチャ操作が無効である場合、主制御部１２１は、操作パネル１１０から、ユーザーによるタッチ位置を受け取る。次に、主制御部１２１は、タッチ位置をグラス端末２００に対して送信する。
また、この場合、主制御部１２１は、グラス端末２００から、操作の内容を受信する。操作の内容を受信すると、主制御部１２１は、受信した操作の内容に応じた処理を行う。
１．３ グラス端末２００
グラス端末２００は、ヘッドマウントディスプレィ（ＨＭＤ）とも呼ばれる。グラス端末２００は、操作パネル画像を表示するとともにユーザーの操作を受け付ける眼鏡型の拡張現実表示端末である。グラス端末２００は、一例として、表示面に表示される操作パネル画像とともに、透明な表示面を介して外部の景色などを見ることができる透過型の表示装置として構成されている。
１．３ グラス端末２００
グラス端末２００は、ヘッドマウントディスプレィ（ＨＭＤ）とも呼ばれる。グラス端末２００は、操作パネル画像を表示するとともにユーザーの操作を受け付ける眼鏡型の拡張現実表示端末である。グラス端末２００は、一例として、表示面に表示される操作パネル画像とともに、透明な表示面を介して外部の景色などを見ることができる透過型の表示装置として構成されている。
グラス端末２００は、図１に示すように、一対のレンズ２４１ａ及び２４１ｂと、レンズ２４１ａ及び２４１ｂの外周縁を支持するレンズ枠２４２と、レンズ枠２４２の両端部に、蝶番により回動可能に支持された一対のテンプル（つる）２４３ａ及び２４３ｂとから構成されている。一対のテンプル２４３ａ及び２４３ｂのうち、一方のテンプル２４３ｂのレンズ枠２４２に近接する側には、駆動制御部２０１が設けられている。
駆動制御部２０１は、図３に示すように、画像処理部（画像解析手段、画像生成手段）２０２、撮像部（撮像手段）２０３、アンテナ２０４、無線通信部（送信手段）２０５、ＣＰＵ２０７、メモリ部２０８、操作部２０９、音声処理部（音声処理手段、音声生成手段）２１０、マイク（音声入力手段）２１１、スピーカー（音声出力手段）２１２、バス２１３及び表示機構２１４（表示手段）から構成されている。
（１）ＣＰＵ２０７及びメモリ部２０８
メモリ部２０８は、複数の制御プログラムを記憶している。各制御プログラムは、所定の機能を達成するために、ＣＰＵ２０７に対する指令を示す命令コードが複数個組み合わされて構成されたコンピュータープログラムである。
ＣＰＵ２０７は、フェッチ部、解読部、実行部、レジスタファイル、命令カウンタなどから構成されている。フェッチ部は、メモリ部２０８に記憶されている制御プログラムから、制御プログラムに含まれる各命令コードを１個ずつ読み出す。解読部は、読み出した命令コードを解読する。実行部は、解読結果に従って動作する。
メモリ部２０８は、複数の制御プログラムを記憶している。各制御プログラムは、所定の機能を達成するために、ＣＰＵ２０７に対する指令を示す命令コードが複数個組み合わされて構成されたコンピュータープログラムである。
ＣＰＵ２０７は、フェッチ部、解読部、実行部、レジスタファイル、命令カウンタなどから構成されている。フェッチ部は、メモリ部２０８に記憶されている制御プログラムから、制御プログラムに含まれる各命令コードを１個ずつ読み出す。解読部は、読み出した命令コードを解読する。実行部は、解読結果に従って動作する。
ＣＰＵ２０７がメモリ部２０８に記憶されている制御プログラムに従って動作することにより、駆動制御部２０１は、その一部の機能を達成する。従って、ＣＰＵ２０７及びメモリ部２０８は、図３に示すように、機能的に主制御部２２１及び情報記憶部（記憶手段）２２２を構成する。主制御部２２１は、入力部２２３を含む。
（２）情報記憶部２２２
情報記憶部２２２は、グラス端末２００におけるユーザーによる操作又はユーザーに対する操作ガイドが有効か否かを示すフラグ情報を記憶している。フラグ情報の一例は、ジェスチャ操作が有効か否かを示すジェスチャ操作フラグである。ここで、ジェスチャ操作は、グラス端末２００の表示面に表示される操作パネル画像に対する仮想的なユーザーの操作である。
（２）情報記憶部２２２
情報記憶部２２２は、グラス端末２００におけるユーザーによる操作又はユーザーに対する操作ガイドが有効か否かを示すフラグ情報を記憶している。フラグ情報の一例は、ジェスチャ操作が有効か否かを示すジェスチャ操作フラグである。ここで、ジェスチャ操作は、グラス端末２００の表示面に表示される操作パネル画像に対する仮想的なユーザーの操作である。
（３）撮像部２０３及び画像処理部２０２
撮像部２０３は、現実の空間を撮影して、映像を生成する。生成した映像を画像処理部２０２に対して出力する。
画像処理部２０２は、撮像部２０３から映像を受け取る。受け取った映像の各フレーム画像を解析して、映像フレーム内における操作パネル１１０に対応するオブジェクトの位置及び当該オブジェクトにおいて表されている内容を検出する。また、検出された内容に基づいて、当該内容を表す操作パネル画像を生成する。
撮像部２０３は、現実の空間を撮影して、映像を生成する。生成した映像を画像処理部２０２に対して出力する。
画像処理部２０２は、撮像部２０３から映像を受け取る。受け取った映像の各フレーム画像を解析して、映像フレーム内における操作パネル１１０に対応するオブジェクトの位置及び当該オブジェクトにおいて表されている内容を検出する。また、検出された内容に基づいて、当該内容を表す操作パネル画像を生成する。
また、画像処理部２０２は、映像の各フレーム画像を解析して、ユーザーのジェスチャによる操作内容を推定する。推定した操作内容を示す操作信号を生成し、生成した操作信号を入力部２２３に対して出力する。
具体的には、図５に示すように、画像処理部２０２は、映像の各フレーム画像を解析する。これにより、フレーム画像がユーザーの手元３０１等である操作体を示すオブジェクトを含んでいるか否かを判断する。フレーム画像がユーザーの手元を示すオブジェクトを含んでいるか否かの判断は、当該オブジェクトと、予め記憶している複数のユーザーの手元を写した複数のサンプル画像とを照合することにより行う。フレーム画像がユーザーの手元を示すオブジェクトを含んでいる場合、画像処理部２０２は、そのオブジェクトから肌色の部分３０２を抽出する。次に、画像処理部２０２は、時系列に抽出した肌色の部分３１１が、肌色の部分３１２のように、一度、下がり、その直後に、肌色の部分３１３のように、上がる動きをしている場合に、ボタンを押す操作をしたと判断する。
具体的には、図５に示すように、画像処理部２０２は、映像の各フレーム画像を解析する。これにより、フレーム画像がユーザーの手元３０１等である操作体を示すオブジェクトを含んでいるか否かを判断する。フレーム画像がユーザーの手元を示すオブジェクトを含んでいるか否かの判断は、当該オブジェクトと、予め記憶している複数のユーザーの手元を写した複数のサンプル画像とを照合することにより行う。フレーム画像がユーザーの手元を示すオブジェクトを含んでいる場合、画像処理部２０２は、そのオブジェクトから肌色の部分３０２を抽出する。次に、画像処理部２０２は、時系列に抽出した肌色の部分３１１が、肌色の部分３１２のように、一度、下がり、その直後に、肌色の部分３１３のように、上がる動きをしている場合に、ボタンを押す操作をしたと判断する。
（４）アンテナ２０４及び無線通信部２０５
アンテナ２０４は、電波を受信し、出力する。
無線通信部２０５は、アンテナ２０４を介して、無線によりＭＦＰ１００との間で情報の送受信を行う。
（５）操作部２０９
操作部２０９は、複数のボタンから構成されている。ユーザーにより、これらのボタンが押下されると、各ボタンに対応する操作信号を生成する。次に、生成した操作信号を主制御部２２１に対して出力する。複数のボタンのうちの、一つのボタンの押下は、グラス端末２００に対する操作の開始を示す。このボタンが押下されると、操作部２０９は、グラス端末２００に対する操作の開始を示す操作開始信号を生成する。
アンテナ２０４は、電波を受信し、出力する。
無線通信部２０５は、アンテナ２０４を介して、無線によりＭＦＰ１００との間で情報の送受信を行う。
（５）操作部２０９
操作部２０９は、複数のボタンから構成されている。ユーザーにより、これらのボタンが押下されると、各ボタンに対応する操作信号を生成する。次に、生成した操作信号を主制御部２２１に対して出力する。複数のボタンのうちの、一つのボタンの押下は、グラス端末２００に対する操作の開始を示す。このボタンが押下されると、操作部２０９は、グラス端末２００に対する操作の開始を示す操作開始信号を生成する。
（６）音声処理部２１０、マイク２１１及びスピーカー２１２
マイク２１１は、音波を受けて振動する振動板に伴って、磁界内でコイルが振動することにより、音声信号を生成する。次に、生成した音声信号を音声処理部２１０に対して出力する。マイク２１１が受け取る音波は、一例として、ユーザーの指示を表す音声である。ユーザーの音声は、例えば、「コピー」、「スキャン」、「ファクシミリ」等である。
マイク２１１は、音波を受けて振動する振動板に伴って、磁界内でコイルが振動することにより、音声信号を生成する。次に、生成した音声信号を音声処理部２１０に対して出力する。マイク２１１が受け取る音波は、一例として、ユーザーの指示を表す音声である。ユーザーの音声は、例えば、「コピー」、「スキャン」、「ファクシミリ」等である。
スピーカー２１２は、音声処理部２１０から音声信号を受け取り、受け取った音声信号に従って振動板を振動させて、音波を出力する。
音声処理部２１０は、マイク２１１から受け取った音声信号を解析する。次に、解析結果を用いて、ユーザーの音声を認識し、ユーザーの指示を特定する。ユーザーの指示は、例えば、コピーの指示、スキャンの指示、ファクシミリによる送信の指示等である。特定した指示を示す操作信号を生成し、生成した操作信号を主制御部２２１に対して出力する。
音声処理部２１０は、マイク２１１から受け取った音声信号を解析する。次に、解析結果を用いて、ユーザーの音声を認識し、ユーザーの指示を特定する。ユーザーの指示は、例えば、コピーの指示、スキャンの指示、ファクシミリによる送信の指示等である。特定した指示を示す操作信号を生成し、生成した操作信号を主制御部２２１に対して出力する。
また、音声処理部２１０は、主制御部２２１から音声メッセージを表した音声情報を受け取る。ここで、音声メッセージは、ユーザーに対する操作ガイダンス等を表す。音声メッセージは、例えば、「ＣＯＰＹボタンを押してください」、「操作に誤りがあります」、「印刷が完了しました」等である。音声処理部２１０は、受け取った音声情報を基にして、音声信号を生成し、生成した音声信号をスピーカー２１２に対して出力する。
（７）表示機構２１４
表示機構２１４は、レーザー光源、レーザー制御部及び走査部を備えている。
レーザー光源は、レーザー光を出射する。
走査部は、レーザー光源から出射されるレーザー光を走査して、レーザー光をレンズ２４１ｂ上の表示面（表示部）２０６に照射する。
表示機構２１４は、レーザー光源、レーザー制御部及び走査部を備えている。
レーザー光源は、レーザー光を出射する。
走査部は、レーザー光源から出射されるレーザー光を走査して、レーザー光をレンズ２４１ｂ上の表示面（表示部）２０６に照射する。
レーザー制御部は、主制御部２２１の制御により、レーザー光が操作パネル画像を形成するように、レーザー光源によるレーザー光の出射、及び、走査部による走査を制御する。
レンズ２４１ｂ上の透過型の表示面２０６には、偏向板が張り付けられている。偏向板は、走査部により走査されたレーザー光をユーザーの眼に向かう方向に偏向する。
レンズ２４１ｂ上の透過型の表示面２０６には、偏向板が張り付けられている。偏向板は、走査部により走査されたレーザー光をユーザーの眼に向かう方向に偏向する。
このように、表示機構２１４は、画像処理部２０２により検出された、操作パネル１１０に対応するオブジェクトの位置を用いて、ユーザーが表示面２０６を通じて、操作パネル１１０に重畳して視認できる状態で、画像処理部２０２により生成された操作パネル画像を表示面２０６に表示する。
（８）主制御部２２１
主制御部２２１の入力部２２３は、操作部２０９、画像処理部２０２及び音声処理部２１０から、ユーザーの操作を示す操作信号を受け取る。操作信号を受け取ると、主制御部２２１は、操作信号に応じた処理を行う。
（８）主制御部２２１
主制御部２２１の入力部２２３は、操作部２０９、画像処理部２０２及び音声処理部２１０から、ユーザーの操作を示す操作信号を受け取る。操作信号を受け取ると、主制御部２２１は、操作信号に応じた処理を行う。
操作信号として、操作部２０９から、ユーザーによるグラス端末２００に対する操作の開始を示す操作開始信号を受け取った場合、主制御部２２１は、操作開始信号をＭＦＰ１００に対して送信する。
また、主制御部２２１は、情報記憶部２２２からジェスチャ操作フラグを読み出し、読み出したジェスチャ操作フラグを、ＭＦＰ１００に対して送信する。
また、主制御部２２１は、情報記憶部２２２からジェスチャ操作フラグを読み出し、読み出したジェスチャ操作フラグを、ＭＦＰ１００に対して送信する。
主制御部２２１は、画像処理部２０２から、生成された操作パネル画像を受け取る。次に、主制御部２２１は、ユーザーがＭＦＰ１００の操作パネル１１０に重畳して視認できるように、生成した操作パネル画像を、表示するよう、表示機構２１４を制御する。
（ジェスチャ操作が有効である場合）
主制御部２２１は、入力部２２３が受け取ったユーザーの操作を示す操作信号を用いて、仮想的な操作パネルの画面を遷移させる。次に、新たな操作パネル画像を生成する。次に、主制御部２２１は、ユーザーがＭＦＰ１００の操作パネルに重畳して視認できるように、生成した操作パネル画像を、表示するよう、表示機構２１４を制御する。また、主制御部２２１は、操作の内容をＭＦＰ１００に対して送信する。
（ジェスチャ操作が有効である場合）
主制御部２２１は、入力部２２３が受け取ったユーザーの操作を示す操作信号を用いて、仮想的な操作パネルの画面を遷移させる。次に、新たな操作パネル画像を生成する。次に、主制御部２２１は、ユーザーがＭＦＰ１００の操作パネルに重畳して視認できるように、生成した操作パネル画像を、表示するよう、表示機構２１４を制御する。また、主制御部２２１は、操作の内容をＭＦＰ１００に対して送信する。
（ジェスチャ操作が無効である場合）
主制御部２２１は、ＭＦＰ１００から、操作パネル１１０におけるユーザーによるタッチ位置を受信する。
主制御部２２１は、タッチ位置と操作の内容との対応を示す対応表を予め記憶している。主制御部２２１は、対応表を用いて、受信したタッチ位置に対応する操作の内容を特定する。次に、特定した操作の内容により、操作パネル画像を遷移させ、新たな操作パネル画像を生成する。次に、主制御部２２１は、ユーザーがＭＦＰ１００の操作パネルに重畳して視認できるように、生成した操作パネル画像を、表示するよう、表示機構２１４を制御する。次に、主制御部２２１は、操作の内容をＭＦＰ１００に対して送信する。
主制御部２２１は、ＭＦＰ１００から、操作パネル１１０におけるユーザーによるタッチ位置を受信する。
主制御部２２１は、タッチ位置と操作の内容との対応を示す対応表を予め記憶している。主制御部２２１は、対応表を用いて、受信したタッチ位置に対応する操作の内容を特定する。次に、特定した操作の内容により、操作パネル画像を遷移させ、新たな操作パネル画像を生成する。次に、主制御部２２１は、ユーザーがＭＦＰ１００の操作パネルに重畳して視認できるように、生成した操作パネル画像を、表示するよう、表示機構２１４を制御する。次に、主制御部２２１は、操作の内容をＭＦＰ１００に対して送信する。
１．４ 操作システム１０の動作
操作システム１０の動作について、図６〜図８に示すシーケンス図を用いて説明する。 操作部２０９は、ユーザーからグラス端末２００に対する操作の開始を示す操作を受け付け、操作開始信号を出力する（ステップＳ１０１）。
撮像部２０３は、現実の空間を撮影して、映像を生成する。その撮影先は、ＭＦＰ１００の操作パネル１１０を含む（ステップＳ１０２）。画像処理部２０２は、映像を解析して、操作パネルの内容及び位置を特定する（ステップＳ１０３）。
操作システム１０の動作について、図６〜図８に示すシーケンス図を用いて説明する。 操作部２０９は、ユーザーからグラス端末２００に対する操作の開始を示す操作を受け付け、操作開始信号を出力する（ステップＳ１０１）。
撮像部２０３は、現実の空間を撮影して、映像を生成する。その撮影先は、ＭＦＰ１００の操作パネル１１０を含む（ステップＳ１０２）。画像処理部２０２は、映像を解析して、操作パネルの内容及び位置を特定する（ステップＳ１０３）。
主制御部２２１は、グラス端末２００の操作の開始を示す操作開始信号を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ１０４）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作開始信号を受信する（ステップＳ１０４）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作開始信号を受信する（ステップＳ１０４）。
主制御部２２１は、情報記憶部２２２からジェスチャ操作が有効か否かを示すジェスチャ操作フラグを読み出し、読み出したジェスチャ操作フラグを無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ１０５）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、ジェスチャ操作フラグを受信する（ステップＳ１０５）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、ジェスチャ操作フラグを受信する（ステップＳ１０５）。
主制御部２２１は、特定した操作パネルの内容により、操作パネル画像を生成し、生成した操作パネル画像を、ＭＦＰ１００の操作パネルに重畳するように、表示するよう、表示機構２１４を制御する。表示機構２１４は、操作パネル画像を表示する（ステップＳ１０６）。
ジェスチャ操作フラグを受信すると、主制御部１２１は、操作パネル１１０の表示をＯＦＦにする（ステップＳ１０７）。
ジェスチャ操作フラグを受信すると、主制御部１２１は、操作パネル１１０の表示をＯＦＦにする（ステップＳ１０７）。
主制御部１２１は、ジェスチャ操作フラグにより、グラス端末２００におけるジェスチャ操作が有効か否かを判断する（ステップＳ１０８）。
ジェスチャ操作が有効である場合（ステップＳ１０８で「有効」）、主制御部１２１は、操作パネル１１０の操作機能をＯＦＦにする（ステップＳ１１０）。
ジェスチャ操作が無効である場合（ステップＳ１０８で「無効」）、主制御部１２１は、操作パネル１１０の操作機能をＯＮにする（ステップＳ１０９）。
ジェスチャ操作が有効である場合（ステップＳ１０８で「有効」）、主制御部１２１は、操作パネル１１０の操作機能をＯＦＦにする（ステップＳ１１０）。
ジェスチャ操作が無効である場合（ステップＳ１０８で「無効」）、主制御部１２１は、操作パネル１１０の操作機能をＯＮにする（ステップＳ１０９）。
（ジェスチャ操作が有効である場合）
以下に、グラス端末２００におけるジェスチャ操作が有効である場合について、図７に示すシーケンス図を用いて、説明する。
ユーザーは、ジェスチャによる入力を行う。撮像部２０３は、現実の空間を撮影して、映像を生成する。その撮影先は、ユーザーの手を含む（ステップＳ１３１）。
以下に、グラス端末２００におけるジェスチャ操作が有効である場合について、図７に示すシーケンス図を用いて、説明する。
ユーザーは、ジェスチャによる入力を行う。撮像部２０３は、現実の空間を撮影して、映像を生成する。その撮影先は、ユーザーの手を含む（ステップＳ１３１）。
画像処理部２０２は、映像の各フレーム画像を解析して、ユーザーのジェスチャによる操作を特定する（ステップＳ１３２）。
主制御部２２１は、特定された操作により、操作パネル画像を遷移させ、新たな操作パネル画像を生成する。次に、生成した操作パネル画像を、ＭＦＰ１００の操作パネルに重畳するように、表示するよう、表示機構２１４を制御する。表示機構２１４は、新たな操作パネル画像を表示する（ステップＳ１３３）。
主制御部２２１は、特定された操作により、操作パネル画像を遷移させ、新たな操作パネル画像を生成する。次に、生成した操作パネル画像を、ＭＦＰ１００の操作パネルに重畳するように、表示するよう、表示機構２１４を制御する。表示機構２１４は、新たな操作パネル画像を表示する（ステップＳ１３３）。
主制御部２２１は、操作の内容を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ１３４）。次に、主制御部２２１は、ステップＳ１３１に戻って、処理を繰り返す。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作の内容を受信する（ステップＳ１３４）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作の内容を受信する（ステップＳ１３４）。
主制御部１２１は、受信した操作の内容に応じた処理を行う（ステップＳ１３５）。
主制御部１２１は、ステップＳ１３４に戻って、処理を繰り返す。
（ジェスチャ操作が無効である場合）
以下に、グラス端末２００におけるジェスチャ操作が無効である場合について、図８に示すシーケンス図を用いて、説明する。
主制御部１２１は、ステップＳ１３４に戻って、処理を繰り返す。
（ジェスチャ操作が無効である場合）
以下に、グラス端末２００におけるジェスチャ操作が無効である場合について、図８に示すシーケンス図を用いて、説明する。
操作パネル１１０は、ユーザーによるタッチ操作を受け付ける（ステップＳ１５１）。操作パネル１１０は、タッチ位置を検出する（ステップＳ１５２）。主制御部１２１は、タッチ位置を、無線通信部１０４及びアンテナ１１７を介して、グラス端末２００に対して送信する（ステップＳ１５３）。
主制御部２２１は、ＭＦＰ１００から、アンテナ２０４及び無線通信部２０５を介して、タッチ位置を受信する（ステップＳ１５３）。
主制御部２２１は、ＭＦＰ１００から、アンテナ２０４及び無線通信部２０５を介して、タッチ位置を受信する（ステップＳ１５３）。
主制御部２２１は、受信したタッチ位置を用いて、操作の内容を特定する。次に、特定した操作の内容により、操作パネル画像を遷移させ、新たな操作パネル画像を生成する。次に、生成した操作パネル画像を、ＭＦＰ１００の操作パネルに重畳するように、表示するよう、表示機構２１４を制御する。表示機構２１４は、操作パネル画像を表示する（ステップＳ１５４）。
主制御部２２１は、操作の内容を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ１５５）。次に、主制御部２２１は、ステップＳ１５３に戻って、処理を繰り返す。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作の内容を受信する（ステップＳ１５５）。主制御部１２１は、受信した操作の内容に応じた処理を行う（ステップＳ１５６）。次に、主制御部１２１は、ステップＳ１５１に戻って、処理を繰り返す。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作の内容を受信する（ステップＳ１５５）。主制御部１２１は、受信した操作の内容に応じた処理を行う（ステップＳ１５６）。次に、主制御部１２１は、ステップＳ１５１に戻って、処理を繰り返す。
２．変形例（１）
操作システム１０の変形例としての操作システム１０ａについて説明する。
２．１ 操作システム１０ａ
操作システム１０ａは、操作システム１０と類似した構成を有している。ここでは、操作システム１０との相違点を中心として、説明する。
操作システム１０の変形例としての操作システム１０ａについて説明する。
２．１ 操作システム１０ａ
操作システム１０ａは、操作システム１０と類似した構成を有している。ここでは、操作システム１０との相違点を中心として、説明する。
操作システム１０ａは、操作システム１０と同様に、ＭＦＰ１００及びグラス端末２００を含む。
操作システム１０ａのグラス端末２００においては、撮像部２０３が無効となっている場合がある。又は、グラス端末２００は、撮像部２０３を備えていない場合がある。
グラス端末２００の撮像部２０３が無効の場合、又は、グラス端末２００が撮像部２０３を備えていない場合には、グラス端末２００は、撮影によりＭＦＰ１００の操作パネル１１０の位置を知ることができない。また、グラス端末２００においては、ジェスチャ操作も使うことができない。
操作システム１０ａのグラス端末２００においては、撮像部２０３が無効となっている場合がある。又は、グラス端末２００は、撮像部２０３を備えていない場合がある。
グラス端末２００の撮像部２０３が無効の場合、又は、グラス端末２００が撮像部２０３を備えていない場合には、グラス端末２００は、撮影によりＭＦＰ１００の操作パネル１１０の位置を知ることができない。また、グラス端末２００においては、ジェスチャ操作も使うことができない。
この場合、図９に示すように、グラス端末２００の表示面２０６に表示される操作パネル画像２３０ａは、ＭＦＰ１００の操作パネル１１０に重畳されない。
また、グラス端末２００は、ジェスチャ操作ではなく、一例として、ユーザーの音声により、操作を受け付ける。
情報記憶部２２２は、フラグ情報として、撮像が無効であることを示すカメラフラグを記憶している。
また、グラス端末２００は、ジェスチャ操作ではなく、一例として、ユーザーの音声により、操作を受け付ける。
情報記憶部２２２は、フラグ情報として、撮像が無効であることを示すカメラフラグを記憶している。
２．２ 操作システム１０ａの動作
操作システム１０ａの動作について、図１０に示すシーケンス図を用いて説明する。
主制御部２２１は、情報記憶部２２２から、カメラフラグを読み出す。主制御部２２１は、カメラフラグが有効を示すか否かを判断する（ステップＳ２０１）。
カメラフラグが無効を示す場合（ステップＳ２０１で「無効」）、主制御部２２１は、操作パネル画像を生成する。次に、主制御部２２１は、生成した操作パネル画像を表示するよう、表示機構２１４を制御する。表示機構２１４は、新たな操作パネル画像を表示する（ステップＳ２０２）。この場合、操作パネル画像は、ＭＦＰ１００の操作パネル１１０に重畳されない。
操作システム１０ａの動作について、図１０に示すシーケンス図を用いて説明する。
主制御部２２１は、情報記憶部２２２から、カメラフラグを読み出す。主制御部２２１は、カメラフラグが有効を示すか否かを判断する（ステップＳ２０１）。
カメラフラグが無効を示す場合（ステップＳ２０１で「無効」）、主制御部２２１は、操作パネル画像を生成する。次に、主制御部２２１は、生成した操作パネル画像を表示するよう、表示機構２１４を制御する。表示機構２１４は、新たな操作パネル画像を表示する（ステップＳ２０２）。この場合、操作パネル画像は、ＭＦＰ１００の操作パネル１１０に重畳されない。
主制御部２２１は、カメラである撮像部２０３が無効であることを示すカメラフラグを無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ２０３）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、カメラフラグを受信する（ステップＳ２０３）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、カメラフラグを受信する（ステップＳ２０３）。
カメラフラグを受信すると、主制御部１２１は、操作パネル１１０の表示をＯＦＦにする（ステップＳ２０９）。次に、主制御部１２１は、操作パネル１１０の操作機能をＯＦＦにする（ステップＳ２１０）。
一方、マイク２１１は、音声入力を受け付け、音声信号に変換して音声処理部２１０に対して出力する（ステップＳ２０４）。ここで、音声入力は、ユーザーの指示を表す音声である。ユーザーの音声は、例えば、「コピー」、「スキャン」、「ファクシミリ」等である。
一方、マイク２１１は、音声入力を受け付け、音声信号に変換して音声処理部２１０に対して出力する（ステップＳ２０４）。ここで、音声入力は、ユーザーの指示を表す音声である。ユーザーの音声は、例えば、「コピー」、「スキャン」、「ファクシミリ」等である。
音声処理部２１０は、マイク２１１から受け取った音声信号を解析する（ステップＳ２０５）。次に、音声処理部２１０は、解析結果を用いて、ユーザーの指示を特定する。次に、特定した指示を示す操作信号を主制御部２２１に対して出力する（ステップＳ２０６）。
主制御部２２１は、音声処理部２１０から受け取った指示に基づいて、操作パネル画像を遷移させ、新たな操作パネル画像を生成する。次に、生成した操作パネル画像を表示するよう、表示機構２１４を制御する。表示機構２１４は、新たな操作パネル画像を表示する（ステップＳ２０７）。
主制御部２２１は、音声処理部２１０から受け取った指示に基づいて、操作パネル画像を遷移させ、新たな操作パネル画像を生成する。次に、生成した操作パネル画像を表示するよう、表示機構２１４を制御する。表示機構２１４は、新たな操作パネル画像を表示する（ステップＳ２０７）。
主制御部２２１は、操作の内容を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ２０８）。次に、主制御部２２１は、ステップＳ２０４に戻って、処理を繰り返す。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作の内容を受信する（ステップＳ２０８）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作の内容を受信する（ステップＳ２０８）。
主制御部１２１は、受信した操作の内容に応じた処理を行う（ステップＳ２１１）。次に、主制御部１２１は、ステップＳ２０８に戻って、処理を繰り返す。
３．変形例（２）
操作システム１０の変形例としての操作システム１０ｂについて説明する。
３．１ 操作システム１０ｂ
操作システム１０ｂは、操作システム１０と類似した構成を有している。ここでは、操作システム１０との相違点を中心として、説明する。
３．変形例（２）
操作システム１０の変形例としての操作システム１０ｂについて説明する。
３．１ 操作システム１０ｂ
操作システム１０ｂは、操作システム１０と類似した構成を有している。ここでは、操作システム１０との相違点を中心として、説明する。
操作システム１０ｂは、操作システム１０と同様に、ＭＦＰ１００及びグラス端末２００を含む。
操作システム１０ｂにおいては、グラス端末２００におけるユーザーの操作と、ＭＦＰ１００におけるユーザーの操作とが衝突している場合には、ＭＦＰ１００における操作を停止する。また、グラス端末２００におけるユーザーの操作に対する操作ガイドが、ＭＦＰ１００における操作ガイドと重複している場合には、ＭＦＰ１００における操作ガイドを停止する。
操作システム１０ｂにおいては、グラス端末２００におけるユーザーの操作と、ＭＦＰ１００におけるユーザーの操作とが衝突している場合には、ＭＦＰ１００における操作を停止する。また、グラス端末２００におけるユーザーの操作に対する操作ガイドが、ＭＦＰ１００における操作ガイドと重複している場合には、ＭＦＰ１００における操作ガイドを停止する。
情報記憶部２２２は、フラグ情報として、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグを記憶している。
音声操作フラグは、グラス端末２００において、音声操作が有効か否かを示す。
ジェスチャ操作フラグは、グラス端末２００において、ジェスチャ操作が有効か否かを示す。
音声操作フラグは、グラス端末２００において、音声操作が有効か否かを示す。
ジェスチャ操作フラグは、グラス端末２００において、ジェスチャ操作が有効か否かを示す。
音声通知フラグは、グラス端末２００において、音声通知が有効か否かを示す。
表示フラグは、グラス端末２００において、表示が有効か否かを示す。
３．２ 操作システム１０ｂの動作
操作システム１０ｂの動作について、図１１に示すシーケンス図を用いて説明する。
主制御部２２１は、グラス端末２００の操作の開始を示す操作開始信号を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ３０１）。
表示フラグは、グラス端末２００において、表示が有効か否かを示す。
３．２ 操作システム１０ｂの動作
操作システム１０ｂの動作について、図１１に示すシーケンス図を用いて説明する。
主制御部２２１は、グラス端末２００の操作の開始を示す操作開始信号を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ３０１）。
次に、主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作開始信号を受信する（ステップＳ３０１）。
主制御部２２１は、情報記憶部２２２から、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグを読み出す。次に、読み出した音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグを無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ３０２）。
主制御部２２１は、情報記憶部２２２から、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグを読み出す。次に、読み出した音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグを無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ３０２）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグを受信する（ステップＳ３０２）。
主制御部１２１は、受信した音声操作フラグを用いて、グラス端末２００において、音声操作が有効か否かを判断する（ステップＳ３０３）。
主制御部１２１は、受信した音声操作フラグを用いて、グラス端末２００において、音声操作が有効か否かを判断する（ステップＳ３０３）。
グラス端末２００において、音声操作が有効である場合（ステップＳ３０３で「Ｙｅｓ」）、主制御部１２１は、音声処理部１１１による解析を停止することにより、又は、入力部１２３により受け取った操作内容（操作信号）を破棄することにより、ＭＦＰ１００に対する音声入力（音声操作）を無効（ＯＦＦ）とする（ステップＳ３０５）。グラス端末２００において、音声操作が無効である場合（ステップＳ３０３で「Ｎｏ」）、主制御部１２１は、ＭＦＰ１００の音声操作を有効（ＯＮ）とする（ステップＳ３０４）。
主制御部１２１は、受信したジェスチャ操作フラグを用いて、グラス端末２００において、ジェスチャ操作が有効か否かを判断する（ステップＳ３０６）。
グラス端末２００において、ジェスチャ操作が有効である場合（ステップＳ３０６で「Ｙｅｓ」）、主制御部１２１は、画像処理部１０２による解析を停止することにより、又は、入力部１２３により受け取った操作内容を破棄することにより、ＭＦＰ１００に対するジェスチャ操作を無効（ＯＦＦ）とする（ステップＳ３０８）。グラス端末２００において、ジェスチャ操作が無効である場合（ステップＳ３０６で「Ｎｏ」）、主制御部１２１は、ＭＦＰ１００に対するジェスチャ操作を有効（ＯＮ）とする（ステップＳ３０７）。
グラス端末２００において、ジェスチャ操作が有効である場合（ステップＳ３０６で「Ｙｅｓ」）、主制御部１２１は、画像処理部１０２による解析を停止することにより、又は、入力部１２３により受け取った操作内容を破棄することにより、ＭＦＰ１００に対するジェスチャ操作を無効（ＯＦＦ）とする（ステップＳ３０８）。グラス端末２００において、ジェスチャ操作が無効である場合（ステップＳ３０６で「Ｎｏ」）、主制御部１２１は、ＭＦＰ１００に対するジェスチャ操作を有効（ＯＮ）とする（ステップＳ３０７）。
主制御部１２１は、受信した音声通知フラグを用いて、グラス端末２００において、音声通知が有効か否かを判断する（ステップＳ３０９）。
グラス端末２００において、音声通知が有効である場合（ステップＳ３０９で「Ｙｅｓ」）、主制御部１２１は、音声処理部１１１による音声信号の生成を停止することにより及びマイク１１２による音波の出力を停止することにより、ＭＦＰ１００の音声出力を無効（ＯＦＦ）とする（ステップＳ３１１）。グラス端末２００において、音声通知が無効である場合（ステップＳ３０９で「Ｎｏ」）、主制御部１２１は、ＭＦＰ１００の音声出力を有効（ＯＮ）とする（ステップＳ３１０）。
グラス端末２００において、音声通知が有効である場合（ステップＳ３０９で「Ｙｅｓ」）、主制御部１２１は、音声処理部１１１による音声信号の生成を停止することにより及びマイク１１２による音波の出力を停止することにより、ＭＦＰ１００の音声出力を無効（ＯＦＦ）とする（ステップＳ３１１）。グラス端末２００において、音声通知が無効である場合（ステップＳ３０９で「Ｎｏ」）、主制御部１２１は、ＭＦＰ１００の音声出力を有効（ＯＮ）とする（ステップＳ３１０）。
主制御部１２１は、受信した表示フラグを用いて、グラス端末２００において、表示が有効か否かを判断する（ステップＳ３１２）。
グラス端末２００において、表示が有効である場合（ステップＳ３１２で「Ｙｅｓ」）、主制御部１２１は、ＬＥＤ駆動制御部１１４に対してＬＥＤ１１５の発光を停止させ、ＬＥＤ１１５が発光を停止することにより、ＭＦＰ１００のＬＥＤ１１５による通知（発光）を無効（ＯＦＦ）とする（ステップＳ３１４）。グラス端末２００において、表示が無効である場合（ステップＳ３１２で「Ｎｏ」）、主制御部１２１は、ＭＦＰ１００のＬＥＤ１１５による通知（発光）を有効（ＯＮ）とする（ステップＳ３１３）。
グラス端末２００において、表示が有効である場合（ステップＳ３１２で「Ｙｅｓ」）、主制御部１２１は、ＬＥＤ駆動制御部１１４に対してＬＥＤ１１５の発光を停止させ、ＬＥＤ１１５が発光を停止することにより、ＭＦＰ１００のＬＥＤ１１５による通知（発光）を無効（ＯＦＦ）とする（ステップＳ３１４）。グラス端末２００において、表示が無効である場合（ステップＳ３１２で「Ｎｏ」）、主制御部１２１は、ＭＦＰ１００のＬＥＤ１１５による通知（発光）を有効（ＯＮ）とする（ステップＳ３１３）。
主制御部２２１は、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグの設定変更があるか否かを判断する（ステップＳ３１６）。
設定変更がない場合（ステップＳ３１６で「Ｎｏ」）、主制御部２２１は、ステップＳ３１６に戻って処理を繰り返す。
設定変更がある場合（ステップＳ３１６で「Ｙｅｓ」）、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグの設定変更の通知を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ３１７）。
設定変更がない場合（ステップＳ３１６で「Ｎｏ」）、主制御部２２１は、ステップＳ３１６に戻って処理を繰り返す。
設定変更がある場合（ステップＳ３１６で「Ｙｅｓ」）、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグの設定変更の通知を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ３１７）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、設定変更の通知を受信する（ステップＳ３１７）。
主制御部１２１は、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグの設定変更があるか否かを判断する（ステップＳ３１５）。
設定変更がない場合（ステップＳ３１５で「Ｎｏ」）、主制御部１２１は、ステップＳ３１７に戻って処理を繰り返す。
主制御部１２１は、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグの設定変更があるか否かを判断する（ステップＳ３１５）。
設定変更がない場合（ステップＳ３１５で「Ｎｏ」）、主制御部１２１は、ステップＳ３１７に戻って処理を繰り返す。
設定変更がある場合（ステップＳ３１５で「Ｙｅｓ」）、主制御部１２１は、ステップＳ３０３に戻って処理を繰り返す。
４．その他の変形例
本発明について、上記の実施の形態に基づいて説明しているが、上記の実施の形態に限定されない。以下に示すようにしてもよい。
４．その他の変形例
本発明について、上記の実施の形態に基づいて説明しているが、上記の実施の形態に限定されない。以下に示すようにしてもよい。
（１）上記の実施の形態及び各変形例において、グラス端末２００は、表示面に表示される操作パネル画像とともに、透明な表示面を介して外部の景色などを見ることができる透過型の表示装置であるとしている。
しかし、これには、限定されない。
グラス端末２００は、非透過型の表示装置であるとしてもよい。この場合、撮像部２０３による映像を、非透過型の表示面に表示する。
しかし、これには、限定されない。
グラス端末２００は、非透過型の表示装置であるとしてもよい。この場合、撮像部２０３による映像を、非透過型の表示面に表示する。
また、グラス端末２００に代えて、スマートフォンやタブレットを用いるとしてもよい。
（２）上述したように、各装置は、マイクロプロセッサとメモリとを備えたコンピューターシステムである。前記メモリは、コンピュータープログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータープログラムに従って動作するとしてもよい。
（２）上述したように、各装置は、マイクロプロセッサとメモリとを備えたコンピューターシステムである。前記メモリは、コンピュータープログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータープログラムに従って動作するとしてもよい。
ここで、コンピュータープログラムは、所定の機能を達成するために、コンピューターに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
また、コンピュータープログラムは、コンピューター読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録されているとしてもよい。
また、コンピュータープログラムは、コンピューター読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録されているとしてもよい。
また、コンピュータープログラムを、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するとしてもよい。
また、コンピュータープログラムを前記記録媒体に記録して移送することにより、又はコンピュータープログラムをネットワーク等を経由して移送することにより、独立した他のコンピューターシステムにより実行するとしてもよい。
また、コンピュータープログラムを前記記録媒体に記録して移送することにより、又はコンピュータープログラムをネットワーク等を経由して移送することにより、独立した他のコンピューターシステムにより実行するとしてもよい。
（３）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
本発明に係る操作システムにおいては、画像形成装置に対するユーザー操作と、端末装置に対するユーザー操作が衝突しないようにできる。このため、端末装置及び画像形成装置から構成される操作システムとして、有用である。
１０、１０ａ、１０ｂ 操作システム
１００ ＭＦＰ
１０１ スキャナー
１０２ 画像処理部
１０３ 通信部
１０４ 無線通信部
１０５ 撮像部
１０６ メモリ部
１０７ ＣＰＵ
１０８ プリントエンジン
１０９ ハードディスク
１１０ 操作パネル
１１１ 音声処理部
１１２ マイク
１１３ スピーカー
１１４ ＬＥＤ駆動制御部
１１５ ＬＥＤ
１１６ バス
１１７ アンテナ
１２１ 主制御部
１２２ 情報記憶部
１２３ 入力部
２００ グラス端末
２０１ 駆動制御部
２０２ 画像処理部
２０３ 撮像部
２０４ アンテナ
２０５ 無線通信部
２０６ 表示面
２０７ ＣＰＵ
２０８ メモリ部
２０９ 操作部
２１０ 音声処理部
２１１ マイク
２１２ スピーカー
２１３ バス
２１４ 表示機構
２２１ 主制御部
２２２ 情報記憶部
２２３ 入力部
２４１ａ、２４１ｂ レンズ
２４２ レンズ枠
２４３ａ、２４３ｂ テンプル
１００ ＭＦＰ
１０１ スキャナー
１０２ 画像処理部
１０３ 通信部
１０４ 無線通信部
１０５ 撮像部
１０６ メモリ部
１０７ ＣＰＵ
１０８ プリントエンジン
１０９ ハードディスク
１１０ 操作パネル
１１１ 音声処理部
１１２ マイク
１１３ スピーカー
１１４ ＬＥＤ駆動制御部
１１５ ＬＥＤ
１１６ バス
１１７ アンテナ
１２１ 主制御部
１２２ 情報記憶部
１２３ 入力部
２００ グラス端末
２０１ 駆動制御部
２０２ 画像処理部
２０３ 撮像部
２０４ アンテナ
２０５ 無線通信部
２０６ 表示面
２０７ ＣＰＵ
２０８ メモリ部
２０９ 操作部
２１０ 音声処理部
２１１ マイク
２１２ スピーカー
２１３ バス
２１４ 表示機構
２２１ 主制御部
２２２ 情報記憶部
２２３ 入力部
２４１ａ、２４１ｂ レンズ
２４２ レンズ枠
２４３ａ、２４３ｂ テンプル
Claims (11)
- ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作システムであって、
前記画像形成装置は、
前記端末装置から、当該端末装置におけるユーザーによる操作が有効か否かを示すフラグ情報を受信する受信手段と、
ユーザーから、前記端末装置を経由しないで直接、操作を受け付けるユーザーインターフェース手段と、
受信した前記フラグ情報が有効を示す場合、前記ユーザーインターフェース手段による操作を無効にし、前記フラグ情報が無効を示す場合、前記ユーザーインターフェース手段による操作を有効にする制御手段とを備え、
前記ユーザーインターフェース手段により受け付けた操作、又は、前記端末装置により受け付けた操作に応じて動作する
ことを特徴とする操作システム。 - 前記フラグ情報は、さらに、当該端末装置において、ユーザーに対する操作ガイドが有効か否かを示し、
前記ユーザーインターフェース手段は、さらに、ユーザーに対して、操作ガイドを行い、
前記制御手段は、受信した前記フラグ情報が操作ガイドが有効であることを示す場合、前記ユーザーインターフェース手段による操作ガイドを無効にし、前記フラグ情報が操作ガイドが無効であることを示す場合、前記ユーザーインターフェース手段による操作ガイドを有効にする
ことを特徴とする請求項１に記載の操作システム。 - 前記ユーザーインターフェース手段は、前記操作ガイドを表示する操作パネルであり、
前記端末装置は、さらに、
撮像手段と、
前記撮像手段による撮影画像を解析して、撮像視野内に存在する前記操作パネルにより表示されている内容を検出する画像解析手段と、
前記操作ガイドとして、検出された当該内容を表す操作パネル画像を生成する画像生成手段と、
ユーザーが表示面を通じて前記操作パネルに重畳して視認できる状態で、生成した前記操作パネル画像を表示する表示手段とを備え、
前記フラグ情報は、当該端末装置において、表示による操作ガイドが有効か否かを示し、
前記制御手段は、前記フラグ情報が表示による操作ガイドが有効であることを示す場合、前記操作パネルによる表示を停止する
ことを特徴とする請求項２に記載の操作システム。 - 前記画像形成装置は、さらに、前記操作ガイドの内容を表現する音声情報を基にして、音声信号を生成する音声処理手段を備え、
前記ユーザーインターフェース手段は、生成された前記音声信号を変換して、音波を出力するスピーカーであり、
前記フラグ情報は、当該端末装置において、音声による操作ガイドが有効か否かを示し、
前記制御手段は、前記フラグ情報が音声による操作ガイドが有効であることを示す場合、前記音声信号の生成及び前記音波の出力を停止する
ことを特徴とする請求項２に記載の操作システム。 - 前記ユーザーインターフェース手段は、発光により、操作ガイドを行い、
前記フラグ情報は、当該端末装置において、表示による操作ガイドが有効か否かを示し、
前記制御手段は、前記フラグ情報が表示による操作ガイドが有効であることを示す場合、前記ユーザーインターフェース手段による発光を停止する
ことを特徴とする請求項２に記載の操作システム。 - 前記端末装置は、さらに、
撮像手段と、
前記撮像手段による撮影画像を解析して、撮像視野内に存在するユーザーの操作体による仮想的な操作であるジェスチャ操作の内容を推定する画像解析手段とを備え、
前記フラグ情報は、前記端末装置において、前記ジェスチャ操作が有効であるか否かを示し、
前記ユーザーインターフェース手段は、接触によりユーザーの操作を受け付ける操作パネルであり、
前記制御手段は、前記フラグ情報が前記ジェスチャ操作が有効であることを示す場合、前記操作パネルに対する接触による操作の受け付けを無効とする
ことを特徴とする請求項１に記載の操作システム。 - 前記画像形成装置及び前記端末装置は、それぞれ、
撮像手段と、
前記撮像手段による撮影画像を解析して、撮像視野内に存在するユーザーの操作体による仮想的な操作であるジェスチャ操作の内容を推定する画像解析手段とを備え、
前記フラグ情報は、前記端末装置において、前記ジェスチャ操作が有効であるか否かを示し、
前記ユーザーインターフェース手段は、前記画像形成装置が備える前記画像解析手段から、ユーザーのジェスチャ操作の内容を受け取り、
前記制御手段は、前記フラグ情報がジェスチャ操作が有効であることを示す場合、前記画像形成装置が備える前記画像解析手段による解析を停止することにより、又は、前記ユーザーインターフェース手段により受け取った前記ジェスチャ操作の内容を破棄することにより、前記画像形成装置に対するジェスチャ操作を無効とする
ことを特徴とする請求項１に記載の操作システム。 - 前記端末装置は、音波を変換して音声信号を生成し、生成された音声信号を解析して、ユーザーの発する音声を認識しユーザーの操作内容を推定することにより、ユーザーの操作を受け付け、
前記ユーザーインターフェース手段は、音波を変換して音声信号を生成し、
前記画像形成装置は、さらに、生成された音声信号を解析して、ユーザーの発する音声を認識しユーザーの操作内容を推定する音声処理手段とを備え、
前記ユーザーインターフェース手段は、前記音声処理手段から、ユーザーの前記操作内容を受け取り、
前記フラグ情報は、前記端末装置による音声操作が有効であるか否かを示し、
前記制御手段は、前記フラグ情報が音声操作が有効であることを示す場合、前記画像形成装置が備える前記音声処理手段による解析を停止することにより、又は、前記ユーザーインターフェース手段により受け取った前記操作内容を破棄することにより、前記画像形成装置に対する音声操作を無効とする
ことを特徴とする請求項１に記載の操作システム。 - 前記端末装置が撮像手段を備えない場合、又は、前記端末装置が撮像手段を備えるが、当該撮像手段による撮像が無効である場合、前記フラグ情報は、さらに、撮像が無効であることを示し、
前記ユーザーインターフェース手段は、ユーザーの操作体による接触により、ユーザーの操作を受け付けるとともに、ユーザーに対して操作ガイドを表示する操作パネルであり、
前記制御手段は、前記フラグ情報が撮像が無効であることを示す場合、前記操作パネルに対する接触及び前記操作パネルによる表示を無効にする
ことを特徴とする請求項１に記載の操作システム。 - ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作システムにおける前記画像形成装置であって、
前記端末装置から、当該端末装置におけるユーザーによる操作が有効か否かを示すフラグ情報を受信する受信手段と、
ユーザーから、前記端末装置を経由しないで直接、操作を受け付けるユーザーインターフェース手段と、
受信した前記フラグ情報が有効を示す場合、前記ユーザーインターフェース手段による操作を無効にし、前記フラグ情報が無効を示す場合、前記ユーザーインターフェース手段による操作を有効にする制御手段とを備え、
前記ユーザーインターフェース手段により受け付けた操作、又は、前記端末装置により受け付けた操作に応じて動作する
ことを特徴とする画像形成装置。 - ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作システムにおける前記画像形成装置において用いられる制御方法であって、
受信手段により、前記端末装置から、当該端末装置におけるユーザーによる操作が有効か否かを示すフラグ情報を受信し、
ユーザーインターフェース手段により、ユーザーから、前記端末装置を経由しないで直接、操作を受け付け、
制御手段により、受信した前記フラグ情報が有効を示す場合、前記ユーザーインターフェース手段による操作を無効にし、前記フラグ情報が無効を示す場合、前記ユーザーインターフェース手段による操作を有効にし、前記ユーザーインターフェース手段により受け付けた操作、又は、前記端末装置により受け付けた操作に応じて、前記画像形成装置を動作させる
ことを特徴とする制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015002396A JP6439451B2 (ja) | 2015-01-08 | 2015-01-08 | 操作システム及び画像形成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015002396A JP6439451B2 (ja) | 2015-01-08 | 2015-01-08 | 操作システム及び画像形成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016126712A true JP2016126712A (ja) | 2016-07-11 |
| JP6439451B2 JP6439451B2 (ja) | 2018-12-19 |
Family
ID=56359588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015002396A Active JP6439451B2 (ja) | 2015-01-08 | 2015-01-08 | 操作システム及び画像形成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6439451B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3392714A1 (en) * | 2017-04-21 | 2018-10-24 | KYOCERA Document Solutions Inc. | Display apparatus |
| JP2019149066A (ja) * | 2018-02-28 | 2019-09-05 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
| JP2020027155A (ja) * | 2018-08-10 | 2020-02-20 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004101836A (ja) * | 2002-09-09 | 2004-04-02 | Fuji Xerox Co Ltd | 画像形成装置 |
| JP2006023636A (ja) * | 2004-07-09 | 2006-01-26 | Canon Inc | 画像形成装置 |
| US20060181730A1 (en) * | 2005-02-15 | 2006-08-17 | Moore Keith E | System and method for controlling a printing device with a portable computing device |
| JP2012061669A (ja) * | 2010-09-15 | 2012-03-29 | Konica Minolta Business Technologies Inc | 画像形成装置、表示制御方法および表示制御プログラム |
| JP2013105404A (ja) * | 2011-11-16 | 2013-05-30 | Zenrin Datacom Co Ltd | 機器操作支援システム、機器操作支援端末装置、機器操作支援サーバ装置、機器操作支援方法及び機器操作支援プログラム |
| JP2014157482A (ja) * | 2013-02-15 | 2014-08-28 | Konica Minolta Inc | 操作表示システム |
| JP2014197268A (ja) * | 2013-03-29 | 2014-10-16 | ブラザー工業株式会社 | 画像表示制御装置、画像表示制御方法および画像表示制御プログラム |
| JP2014236450A (ja) * | 2013-06-04 | 2014-12-15 | コニカミノルタ株式会社 | 画像処理システム、携帯端末装置、携帯端末装置の機能制限方法及び機能制限プログラム |
-
2015
- 2015-01-08 JP JP2015002396A patent/JP6439451B2/ja active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004101836A (ja) * | 2002-09-09 | 2004-04-02 | Fuji Xerox Co Ltd | 画像形成装置 |
| JP2006023636A (ja) * | 2004-07-09 | 2006-01-26 | Canon Inc | 画像形成装置 |
| US20060181730A1 (en) * | 2005-02-15 | 2006-08-17 | Moore Keith E | System and method for controlling a printing device with a portable computing device |
| JP2012061669A (ja) * | 2010-09-15 | 2012-03-29 | Konica Minolta Business Technologies Inc | 画像形成装置、表示制御方法および表示制御プログラム |
| JP2013105404A (ja) * | 2011-11-16 | 2013-05-30 | Zenrin Datacom Co Ltd | 機器操作支援システム、機器操作支援端末装置、機器操作支援サーバ装置、機器操作支援方法及び機器操作支援プログラム |
| JP2014157482A (ja) * | 2013-02-15 | 2014-08-28 | Konica Minolta Inc | 操作表示システム |
| JP2014197268A (ja) * | 2013-03-29 | 2014-10-16 | ブラザー工業株式会社 | 画像表示制御装置、画像表示制御方法および画像表示制御プログラム |
| JP2014236450A (ja) * | 2013-06-04 | 2014-12-15 | コニカミノルタ株式会社 | 画像処理システム、携帯端末装置、携帯端末装置の機能制限方法及び機能制限プログラム |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3392714A1 (en) * | 2017-04-21 | 2018-10-24 | KYOCERA Document Solutions Inc. | Display apparatus |
| CN108737675A (zh) * | 2017-04-21 | 2018-11-02 | 京瓷办公信息系统株式会社 | 显示装置 |
| US10334126B2 (en) | 2017-04-21 | 2019-06-25 | Kyocera Document Solutions Inc. | Display Apparatus |
| CN108737675B (zh) * | 2017-04-21 | 2020-01-10 | 京瓷办公信息系统株式会社 | 显示装置 |
| JP2019149066A (ja) * | 2018-02-28 | 2019-09-05 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
| JP2020027155A (ja) * | 2018-08-10 | 2020-02-20 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
| JP7091925B2 (ja) | 2018-08-10 | 2022-06-28 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6439451B2 (ja) | 2018-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5787099B2 (ja) | 案内情報表示装置 | |
| US9380179B2 (en) | AR display device in which an image is overlapped with a reality space, AR display control device, print condition setting system, print system, print setting display method, and non-transitory computer-readable recording medium | |
| JP5900468B2 (ja) | Ａｒ表示装置、処理内容設定装置、処理内容設定方法およびプログラム | |
| US20160269578A1 (en) | Head mounted display apparatus and method for connecting head mounted display apparatus to external device | |
| US10757284B2 (en) | Image forming apparatus, storage medium, and control method that switches from sleep mode to standby mode upon detecting a job data of a registered user | |
| JP5574854B2 (ja) | 情報処理システム、情報処理装置、情報処理方法及びプログラム | |
| US11647138B2 (en) | Image forming apparatus, recording medium recording control program, and control method | |
| JP6439451B2 (ja) | 操作システム及び画像形成装置 | |
| JP6500863B2 (ja) | 画像形成装置 | |
| US8970898B2 (en) | Image processing method, electronic apparatus, and image forming apparatus | |
| US10834278B2 (en) | Image forming apparatus performing notification by voice, storage medium storing control program, and control method | |
| US20200104078A1 (en) | Image forming apparatus, recording medium storing control program and control method | |
| JP2015014977A (ja) | 画像処理システム、画像形成装置、表示装置、表示方法、および制御プログラム | |
| US8964229B2 (en) | Data transmitting device and image forming apparatus which process and transmit data according to command information and destination address identified from symbol sequence inputted at the time of the transmission | |
| JP6442939B2 (ja) | ウェアラブル端末、プログラム、情報処理システム、情報処理システムの制御方法および相互接続システム | |
| JP2015226294A (ja) | セキュリティ機能付き装置 | |
| CN107533361B (zh) | 图像形成装置 | |
| US11206337B2 (en) | Image output apparatus, recording medium having control program for image output apparatus, and method for controlling image output apparatus | |
| JP2005252706A (ja) | 画像形成装置 | |
| JP5333930B2 (ja) | 画像形成装置及び制御プログラム並びに制御方法 | |
| JP2018067875A (ja) | メガネ型端末及び画像形成システム | |
| JP6471729B2 (ja) | 情報処理装置、情報処理システム、及び情報処理方法 | |
| JP6631500B2 (ja) | 画像形成装置 | |
| JP2015103874A (ja) | システム、装置およびその制御方法、並びにプログラム | |
| JP5787833B2 (ja) | 画像処理装置、画像処理システム、情報処理装置、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180808 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181105 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6439451 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |