JP2016051358A - 操作表示システム - Google Patents

Abstract

【課題】ユーザが見ている仮想現実空間において現実空間の操作入力部と画像合成した仮想の操作入力部が重なっていても２重入力やユーザの意図しない誤入力の発生を防止することのできる操作入力システムを提供する。
【解決手段】ＡＲ表示装置４０がユーザに見せている仮想現実空間において、現実空間にある第１の操作入力部２１とＡＲ表示装置４０が現実空間に合成表示した第２の操作入力部の画像６１が重なっているか否かを検出し、重なりが検出された場合に、第１の操作入力部２１と第２の操作入力部の画像６１のいずれか一方による操作の受け付けを無効にする。
【選択図】図２

Description

本発明は、現実空間に操作入力部の画像を合成した仮想現実空間をユーザに見せてその操作入力部でユーザからの入力操作を受ける操作入力システムに関する。

ユーザから各種の操作を受ける装置においては、誤入力を防止するための各種の対応が成されている。

たとえば、特許文献１には、左右や上下に隣接する２画面を表示が可能なタッチパネル機能を備えた操作入力装置において、一方の画面に近づいてくる指や手を検知した場合に、他方の画面に対する入力操作を禁止する操作入力システムが開示されている。

また、特許文献２には、ユーザが連続的に入力操作を行っている途中で画面が切り替わった場合に、切り替え前の画面に対する操作を、切り替え後の画面に対する操作として誤入力されることを防止する入力装置が開示されている。

国際公開第０７／０９７４１４号 特開２０１１−１７５６１３号公報

ところで、現実空間に、操作入力部の画像を合成した仮想現実空間をユーザに見せてその操作入力部でユーザから入力操作を受ける操作入力システムでは、現実空間に実在する操作パネルと、画像合成した仮想の操作入力部を併用してユーザから入力操作を受けるといった利用も可能になる。この場合に、現実空間に実在する操作パネルの操作釦と画像合成した仮想の操作入力部が重なって表示されると、たとえば、ユーザが実在する操作パネルに対して行った操作を、仮想の操作入力部に対する操作として誤認識する恐れがある。また、ユーザが仮想の操作入力部に対する操作を指で行った際に、その指が実在する操作パネルに触れてしまい誤操作が生じることもある。そのため、実在する操作パネルへの入力であるか仮想の操作入力部への入力であるかを装置で正しく判定できない、あるいは、２重入力になってしまう等の問題が生じる。

本発明は、上記の問題を解決しようとするものであり、ユーザが見ている仮想現実空間において現実空間の操作入力部と画像合成した仮想の操作入力部が重なっていても２重入力やユーザの意図しない誤入力の発生を防止することのできる操作入力システムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］第１の操作入力部と、
現実空間に画像を合成した拡張現実空間をユーザに見せるＡＲ表示装置と、
現実空間に第２の操作入力部の画像を合成した拡張現実空間を前記ＡＲ表示装置に表示させて、前記第２の操作入力部に対するユーザからの操作を受け付ける仮想入力部と、
前記ＡＲ表示装置がユーザに見せている仮想現実空間において、前記第１の操作入力部と前記第２の操作入力部が重なっているか否かを検出する検出部と、
前記検出部によって前記重なりが検出された場合に、前記第１の操作入力部と前記第２の操作入力部のいずれか一方による操作の受け付けを無効にする操作無効部と、
を有する
ことを特徴とする操作入力システム。

上記発明では、ＡＲ表示装置がユーザに見せている仮想現実空間において、現実空間にある第１の操作入力部とＡＲ表示装置が現実空間に合成表示した第２の操作入力部が重なっているか否かを検出し、重なりが検出された場合に、第１の操作入力部と第２の操作入力部のいずれか一方による操作の受け付けを無効にする。無効にする範囲は、第１の操作入力部あるいは第２の操作入力部の全体であってもよいし、第１の操作入力部と第２の操作入力部が重なっている部分であってもよいし、さらには、第１の操作入力部にある操作釦と第２の操作入力部にある操作釦とが重なっている部分にある操作釦のみであってもよい。

［２］前記操作無効部は、前記検出部によって前記重なりが検出された場合に、前記第１の操作入力部と前記第２の操作入力部との重なり部分について、前記第１の操作入力部と前記第２の操作入力部のいずれか一方による操作の受け付けを無効にする
ことを特徴とする［１］に記載の操作入力システム。

［３］前記操作無効部は、前記第１の操作入力部のうちのユーザから操作を受ける操作受け付け箇所と、前記第２の操作入力部のうちのユーザから操作を受ける操作受け付け箇所とが前記仮想現実空間において重なっている場合に、該重なっている前記第１の操作入力部の操作受け付け箇所と前記第２の操作入力部の操作受け付け箇所のうちの一方による操作の受け付けを無効にする
ことを特徴とする［１］に記載の操作入力システム。

上記発明では、ユーザから操作を受ける操作受け付け箇所が重なっている場合に、その重なっている操作受け付け箇所の一方に対する操作が無効にされる。操作受け付け箇所には、操作釦のほか、フリック操作を受け付ける領域なども含まれる。

［４］前記操作無効部が、操作の受け付けを無効にした場合、もしくは無効を解除した場合に、その旨をユーザに通知する通知部をさらに有する
ことを特徴とする［１］乃至［３］のいずれか１つに記載の操作入力システム。

上記発明では、操作の受け付けを無効にした場合、もしくは無効を解除した場合に、その旨がユーザに通知される。通知方法は任意でよい。

［５］前記第１の操作入力部と前記第２の操作入力部のうちの少なくとも一方について、前記操作無効部によって操作の受け付けが無効にされた場合と無効にされていない場合とで表示形態を変更する表示形態変更部をさらに有する
ことを特徴とする［１］乃至［４］のいずれか１つに記載の操作入力システム。

上記発明では、操作の受け付けが無効にされている場合と無効にされていない場合とで操作入力部の表示形態が変更される。

［６］前記第２の操作入力部の表示濃度を、前記第２の操作入力部による操作の受け付けが無効にされている場合に、前記第２の操作入力部による操作の受け付けが無効にされていない場合より薄くする
ことを特徴とする［１］乃至［４］のいずれか１つに記載の操作入力システム。

［７］前記操作無効部は、第１の操作入力部による操作の受け付けを無効にする
ことを特徴とする［１］乃至［６］のいずれか１つに記載の操作入力システム。

上記発明では、現実空間にある第１の操作入力部と合成表示した第２の操作入力部が重なっている場合に、第１の操作入力部に対する操作が無効にされる。

［８］前記操作無効部は、前記第１の操作入力部と前記第２の操作入力部のうちのユーザによって選択された方による操作の受け付けを無効にする
ことを特徴とする［１］乃至［６］のいずれか１つに記載の操作入力システム。

上記発明では、現実空間にある第１の操作入力部と合成表示した第２の操作入力部が重なっている場合に、いずれに対する操作を無効にするかをユーザが選択する。

［９］前記第１の操作入力部は表示部を備え、
前記仮想入力部は、前記表示部に表示しきれない画面の一部が表示されているときに、前記画面のうちの前記一部に続く部分を前記第２の操作入力部として前記ＡＲ表示部に表示させる
ことを特徴とする［１］乃至［８］のいずれか１つに記載の操作入力システム。

本発明に係る操作入力システムによれば、ユーザが見ている仮想現実空間において現実空間の操作入力部と画像合成した仮想の操作入力部が重なっていても２重入力やユーザの意図しない誤入力の発生を防止できる。

本発明の実施の形態に係る操作入力システム５のシステム構成を示す図である。 ユーザがＡＲ表示装置を使用して画像形成装置の操作パネルを見ているときにＡＲ表示装置が操作画面の画像を合成表示した状態を示す図である。 画像形成装置の概略構成を示すブロック図である。 ＡＲ表示装置の概略構成を示すブロック図である。 操作パネルの表示部に一度に表示しきれない第１画面を、操作パネルの表示部とＡＲ表示装置とを連携動作させて表示する例を示す図である。 ＡＲ表示装置を装着したユーザが見ている拡張現実空間の一例（図５（ｃ）に対応）を示す図である。 操作パネルの表示部に一度に表示しきれない第２画面を、操作パネルの表示部とＡＲ表示装置とを連携動作させて表示する例を示す図である。 ＡＲ表示装置を装着したユーザが見ている拡張現実空間の一例（図７（ｃ）に対応）を示す図である。 操作が無効にされる操作釦の表示態様を変えた一例を示す図である。 操作の無効に関して操作入力システムの画像形成装置が行う処理を示す流れ図である。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る操作入力システム５の構成例を示している。操作入力システム５は、画像形成装置１０と、無線通信を通じて画像形成装置１０と連動可能なＡＲ表示装置４０を備えている。画像形成装置１０とＡＲ表示装置４０は、近距離無線通信や無線ＬＡＮ（Local Area Network）を用いて無線通信する。

画像形成装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピー機能、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワークを通じて送信したりするスキャン機能、ＰＣ（Personal Computer）などからネットワークを通じて受信した印刷データに係る画像を記録紙上に形成して印刷出力するプリンタ機能、ファクシミリ手順に従って画像データを送受信するファクシミリ機能などを備えた、所謂、複合機（ＭＦＰ）である。

ＡＲ表示装置４０は、現実空間に画像を合成した拡張現実空間をユーザに見せる装置である。ここではＡＲ表示装置４０は、ヘッドマウントディスプレイ装置である。ＡＲ表示装置４０はユーザの見ている実際の光景（現実空間）に、仮想的に表示すべき部分の画像だけを重ね合わせる方式（所謂、光透過型）を採用している。

操作入力システム５では、画像形成装置１０とＡＲ表示装置４０を連携させてユーザから入力操作を受け付ける。具体的には、操作入力システム５は、図２に示すように、ユーザがＡＲ表示装置４０を使用して画像形成装置１０の操作パネル２０を見ているときに、操作パネル２０の表示部２２の横に操作画面の画像６１をＡＲ表示装置４０にて合成表示し、あたかも、操作パネル２０の表示部２２が拡張されたような拡張現実空間をユーザに見せる。

たとえば、画像形成装置１０とＡＲ表示装置４０を連携させることで、画像形成装置１０の操作パネル２０の表示部２２には一度に表示しきれない大きな操作画面を、ユーザに見せる。具体的には、操作パネル２０の表示部２２に一度に表示しきれない大きな操作画面の一部を画像形成装置１０の操作パネル２０の表示部２２に表示し、その続きの部分に相当する操作画面の画像６１をＡＲ表示装置４０で現実空間に合成して表示する。そして、画像形成装置１０の操作パネル２０とＡＲ表示装置４０で合成表示した操作画面の画像６１とを併用してユーザからの操作を受け付ける。このような動作を以後、連携動作と呼ぶものとする。

連携動作において、ＡＲ表示装置４０で合成表示した操作画面（第２の操作入力部）の画像６１が現実空間にある操作パネル２０の操作部２１（第１の操作入力部）の上に重なっている場合には、ユーザが実在する操作パネル２０の操作部２１に触れるような操作を行うと、その操作が操作部２１に対する操作であるか操作画面の画像６１に対する操作であるかを正しく区別できない。そこで、本実施の形態に係る操作入力システム５では、ＡＲ表示装置４０を用いてユーザが見ている仮想現実空間において操作パネル２０の操作部２１（第１の操作入力部）とＡＲ表示装置４０が合成表示している操作画面（第２の操作入力部）の画像６１とが重なっている場合に、いずれか一方による操作の受け付けを無効にするようになっている。

いずれを無効にするかは、ユーザが選択することができる。あるいは、一律に操作パネル２０の操作部２１（第１の操作入力部）を無効にする。

図３は、画像形成装置１０の概略構成を示すブロック図である。画像形成装置１０は、当該画像形成装置１０の動作を統括的に制御する制御部としてのＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、不揮発メモリ１４、ハードディスク装置１５、ネットワーク通信部１６、近距離無線通信部１７、操作パネル２０、画像読取部２３、画像処理部２４、プリンタ部２５、ファクシミリ通信部２６、通知部２７などが接続されている。

ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像形成装置１０の各機能が実現される。

ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。

不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。

ハードディスク装置１５は大容量不揮発の記憶装置であり、印刷データ、表示画面のデータのほか各種のプログラムやデータが記憶される。本発明の実施の形態では、操作パネル２０の操作部２１やＡＲ表示装置４０の合成表示させる各種の操作画面の画面データ等もハードディスク装置１５に記憶される。

ネットワーク通信部１６は、ＬＡＮなどのネットワークを通じて各種の外部装置、サーバなどと通信する機能を果たす。

近距離無線通信部１７は、ＡＲ表示装置４０と近距離無線通信を行う。通信可能距離は、たとえば、２ｍ以内等である。

操作パネル２０は、操作部２１、表示部２２を備えている。表示部２２は、各種の操作画面、設定画面等を表示する機能を果たす。表示部２２は液晶ディスプレイとそのドライバなどで構成される。操作部２１はユーザから各種の操作を受ける機能を果たす。操作部２１はスタートボタンやテンキーなどの各種ハードスイッチと、表示部２２の表示面上に設けられたタッチパネルを備えている。タッチパネルは、表示部２２の表示面がタッチペンや指などで接触操作された座標位置を検出する。

画像読取部２３は、原稿を光学的に読み取って画像データを取得する機能を果たす。

画像処理部２４は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。

プリンタ部２５は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。

ファクシミリ通信部２６は、ファクシミリ機能を備えた外部装置と電話回線を通じて画像データを送受信する機能を果たす。

通知部２７は、操作パネル２０の操作部２１やＡＲ表示装置４０に合成表示した操作画面のうちのいずれに対する操作の受け付けが無効にされたか、あるいは無効が解除されたかをユーザに通知する機能を果たす。

操作入力システム５において、画像形成装置１０のＣＰＵ１１は、現実空間に操作画面の画像を合成した拡張現実空間をＡＲ表示装置４０に表示するように指示し、ＡＲ表示装置４０から送られて来る該操作画面に対してユーザが行った操作の位置情報等に基づいて、操作画面に対する操作を受け付ける仮想入力部としての機能を果たす。

また画像形成装置１０のＣＰＵ１１は、ユーザに見せている仮想現実空間において操作パネル２０の操作部２１と合成表示された操作画面が重なっているか否かをＡＲ表示装置４０から送られてくる位置情報に基づいて検出する検出部、検出部によって重なりが検出された場合に、操作パネル２０の操作部２１と合成表示された操作画面のいずれか一方による操作の受け付けを無効にする操作無効部としての機能を果たす。

さらに画像形成装置１０のＣＰＵ１１は、操作パネル２０の操作部２１と合成表示される操作画面のうちの少なくとも一方について、操作無効部によって操作の受け付けが無効にされた場合と無効にされていない場合とで表示形態を変更する表示形態変更部としての機能を果たす。

図４は、ＡＲ表示装置４０の概略構成を示すブロック図である。ＡＲ表示装置４０は、当該ＡＲ表示装置４０の動作を統括制御するＣＰＵ４１を有している。ＣＰＵにはバスを通じてＲＯＭ４２と、ＲＡＭ４３と、不揮発メモリ４４と、方位センサー部４５と、カメラ部４６と、操作部４７と、表示スクリーン部４８と、無線通信部４９と、画像処理部５１が接続されている。

ＣＰＵ４１はＲＯＭ４２に格納されているプログラムに従ってＡＲ表示装置４０の動作を制御する。ＲＯＭ４２にはプログラムや固定データが記憶されている。ＲＡＭ４３はＣＰＵ４１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ４４には、各種の設定情報が記憶される。

方位センサー部４５は、ＡＲ表示装置４０（ヘッドマウントディスプレイ装置）の向きや姿勢およびその変化を検出する。方位センサー部４５は、複数の地磁気センサと、複数の加速度センサを組み合わせて構成される。方位センサー部４５は、ＡＲ表示装置４０を装着しているユーザの姿勢やユーザが向いている方向や角度（これらは、カメラ部４６が撮影している方向や向きと一致）を検出したり、ＡＲ表示装置４０が傾けられたりした場合の動作の向きや速さを検出したりして、その検出結果をＣＰＵ４１へ通知する。ＣＰＵ４１は、方位センサー部４５からの通知に基づいて、ＡＲ表示装置４０を装着しているユーザの姿勢、角度、傾けられたりした動作の向きや速さを認識する。

カメラ部４６は、ＡＲ表示装置４０の前方（装着者が見ている光景）を撮影する。より詳細には、装着者が前方を見たときの視野とほぼ同じ範囲を撮影する。カメラ部４６は動画を撮影し、たとえば、毎秒３０フレームの画像を取り込む。

操作部４７は少数のスイッチ等であり、表示スクリーン部４８に表示する画像の明るさなどの調整に使用される。

表示スクリーン部４８は、画像を表示可能な半透明なスクリーンであり、任意の画像を現実世界の光景に重ね合わせることで拡張現実空間をユーザに見せる。

無線通信部４９は、画像形成装置１０と無線通信する。

画像処理部５１は、表示スクリーン部４８に表示する画像の拡大・縮小、変形などを行う。

図５は、画像形成装置１０の操作パネル２０の表示部２２に一度に表示しきれない第１画面７０を、操作パネル２０の表示部２２とＡＲ表示装置４０とを連携動作させて表示した例を示している。同図（ａ）は、第１画面７０の全体を、同図（ｂ）は、第１画面７０を主画面７１と副画面７２に分割した状態を、同図（ｃ）は、主画面７１を表示部２２に表示した操作パネル２０と、副画面７２を表示スクリーン部４８に表示したＡＲ表示装置４０を示している。操作パネル２０の操作部２１にはテンキー、スタートキーなどの操作釦８０〜９３が配置されている。

図６は、ＡＲ表示装置４０を装着したユーザが見ている拡張現実空間であって、図５（ｃ）の操作パネル２０に副画面７２が合成表示された状態を示している。副画面７２は現実空間の操作パネル２０の操作部２１のハードキー（テンキー、スタートキーなど）と重なっているので、これらのハードキーが操作されたとき、ユーザが実際にハードキーへの操作を意図していたのか、それとも、副画面７２に対する操作であったが誤って指がハードキーに触れてしまったのかを装置側では区別できない。

そこで、本実施の形態に係る操作入力システム５では、ユーザが見ている仮想現実空間において合成表示した副画面７２と操作パネル２０の操作部２１が重なる場合は、副画面７２に対する操作と操作部２１に対する操作のいずれかを無効にする。

どちらを無効にするかは問わない。たとえば、別途の操作でどちらを無効にするかを設定する、ユーザに問い合わせて選択させる、どちらを無効にするかの切り替え釦を画像形成装置１０の操作パネル２０に設けておき、ユーザから選択を受けるなど、任意でよい。ユーザに選択させることで、ユーザの意図しない誤入力が防止される。

本実施の形態では、操作パネル２０の操作部２１と、ＡＲ表示装置４０の表示スクリーン部４８に表示された操作画面とが重複する場合に、その重複する部分の全体において、一方に対する操作を無効にする場合（全体無効モード）と、重複する部分のうち操作釦が重なっている部分についてのみ一方に対する操作を無効にする場合（一部無効モード）の２つの動作モードを有する。

図６は、全体無効モードの例である。操作パネル２０の操作部２１と、ＡＲ表示装置４０に表示された副画面７２が重なっている部分全体において、一方への操作が無効にされる。

操作パネル２０の操作部２１に対する操作を無効にした場合、副画面７２に対する操作は受け付け、操作パネル２０の操作部２１（テンキーやスタートキー）への操作は無効にされる。この例では操作パネル２０の操作部２１のうち副画面７２と重複する部分全体が無効にされるので、たとえば、副画面７２内のオブジェクト７４が重なっている［５］の操作釦８５や「８」の操作釦８８等に対する操作のみでなく、副画面７２内のいずれのオブジェクトも重なっていない［１］の操作釦８１や［４］の操作釦８４等に対する操作も無効にされる。

たとえば、副画面７２のうちのオブジェクトのない領域でユーザが副画面７２に対してフリック操作を行う場合などに、そのフリック操作を行う指が操作パネル２０のテンキー等に触れても、該テンキー等への操作は無効にされる。

一方、ＡＲ表示装置４０に合成表示した画面に対する操作を無効にした場合、操作パネル２０の操作部２１（テンキーやスタート釦）への操作は受け付け、ＡＲ表示装置４０が合成表示した副画面７２に対する操作は無効にされる。この例では副画面７２のうち操作パネル２０の操作部２１と重複する部分全体が無効にされるので、テンキーやスタートキーなどと重なっている部分のみでなく、テンキーやスタートキーなどの操作釦８０〜９３と重なっていない部分においても副画面７２に対する操作は無効にされる。

たとえば、副画面７２のオブジェクト７４が存在しかつ操作パネル２０側の操作釦８０〜９３のない領域７６をユーザが操作した場合、副画面７２のオブジェクト７４に対する操作を受け付けることはない。

上記の例では、全体無効モードにおいて、操作パネル２０の操作部２１と合成表示した操作画面が重複する場合に、その重複する部分全体を無効にする場合を示したが、重複しない部分を含めて、操作パネル２０の操作部２１全体を無効にしたり、操作画面全体を無効にしたりしてもよい。

次に、一部無効モードの例を説明する。

図７は、画像形成装置１０の操作パネル２０の表示部２２に一度に表示しきれない第２画面７０Ｂを、操作パネル２０の表示部２２とＡＲ表示装置４０とを連携動作させて表示した例を示している。同図（ａ）は、第２画面７０Ｂの全体を、同図（ｂ）は、第２画面７０Ｂを主画面７１Ｂと副画面７２Ｂに分割した状態を、同図（ｃ）は、主画面７１Ｂを表示部２２に表示した操作パネル２０と、副画面７２Ｂを表示スクリーン部４８に表示したＡＲ表示装置４０を示している。

第２画面７０Ｂには、機能１〜機能１０の操作釦が配置されている。主画面７１Ｂには、機能１、機能２、機能３、機能６、機能７、機能８の操作釦が含まれ、副画面７２Ｂには、操作パネル２０の表示部２２に表示しきれない部分である、機能４、機能５、機能９、機能１０の操作釦が含まれる。

図８は、ＡＲ表示装置４０を装着したユーザが見ている拡張現実空間であって、図７（ｃ）の操作パネル２０に副画面７２Ｂが合成表示された状態を示している。副画面７２Ｂに配置された機能４、機能５、機能９、機能１０の各操作釦は現実空間の操作パネル２０の操作部２１のハードスイッチ（テンキー、スタートキーなど）と重なっているので、これらのハードキーが操作されたとき、ユーザが実際にハードキーへの操作を意図していたのか、それとも、副画面７２Ｂに表示された操作釦に対する操作であったが誤って指がハードキーに触れてしまったのかを装置側では区別できない。

そこで、本実施の形態に係る操作入力システム５では、ユーザが見ている仮想現実空間において合成表示した副画面７２Ｂに含まれる操作釦と操作パネル２０の操作部２１に実在する操作釦８０〜９３とが重なる場合に、その重なった操作釦のうち、副画面７２に表示された操作釦に対する操作と実在する操作部２１の操作釦８０〜９３に対する操作のいずれかを無効にする。

どちらを無効にするかは問わない。たとえば、別途の操作でどちらを無効にするかを設定する、ユーザに問い合わせて選択させる、どちらを無効にするかの切り替え釦を画像形成装置１０の操作パネル２０に設けておくなど、任意でよい。

図８の例において、操作パネル２０の操作部２１に対する操作を無効にした場合、副画面７２Ｂにある操作釦と重なっている、「０」〜「６」、「＊」、「＃」、「Ｓｔａｒｔ」、「Ｓｔｏｐ」の各操作釦８０〜８６、９０〜９３に対する操作は無効にされる。副画面７２Ｂにある操作釦と重なっていない「７」、「８」、「９」の操作釦８７、８８、８９に対する操作は無効にされない。

一方、ＡＲ表示装置４０に合成表示した画面に対する操作を無効にした場合、操作パネル２０の操作部２１にある操作釦（テンキーやスタートキーなどの操作釦８０〜９３）への操作は受け付け、ＡＲ表示装置４０が合成表示した副画面７２Ｂに存在する機能４、機能５、機能９、機能１０の各操作釦に対する操作は無効にされる。

上記の例では、操作釦が重なっている場合にその重なっている操作釦のうちのいずれか一方を無効にする場合を示したが、無効にする部分は、操作釦に限定されず、ユーザから操作を受ける箇所（操作受け付け箇所）が重なっている場合に、その操作受け付け箇所に対する操作を無効にしてもよい。たとえば、操作釦以外の空白部分で、画面をスクロールさせるためのフリック操作等を受ける場合は、このような空白部分もユーザから操作を受ける操作受け付け箇所になり、フリック操作等を受け付けない場合は、空白部分は操作受け付け箇所に該当しない。

次に、操作の受け付けを無効にした場合、もしくは無効を解除した場合に、その旨をユーザに通知する点について説明する。

操作入力システム５では、重なりに起因して操作パネル２０の操作部２１に対する操作とＡＲ表示装置４０に合成表示された操作画面に対する操作のいずれか一方を無効にしたこと、あるいは無効を解除したことがユーザに通知される。該通知は通知部２７が行う。

通知の形態は任意でよい。音声でもよいし、文字等のメッセージで通知してもよい。また操作釦の表示形態を切り替えて、有効、無効を通知してもよい。該通知により、ユーザは操作の受け付けが無効になったことや無効が解除されたことを明確に認識できるので、操作が無効にされた場合でも装置の故障と誤認することなく使用できる。

図９は、操作が無効にされる操作釦の表示態様を通常の操作釦の表示態様と相違させることで、操作の無効および無効の解除をユーザに通知する場合の一例を示している。同図は、副画面７２Ｂに表示された操作釦（機能４、機能５、機能９、機能１０の操作釦）に対する操作を無効にした例である。この例では、無効にした操作釦の濃度を薄く、無効にしない場合より薄くしている。

なお、操作パネル２０の操作部２１の操作釦についても、表示態様を変更可能であれば、無効にされた場合と有効な場合とで表示態様を変更する。たとえば、図８等において操作釦８０〜９３をハードキーとしたが、これらがソフトキーであれば、その表示態様を変更することができる。また、ハードキーであっても、各操作釦の文字や周囲が光るといった機能を有している場合、有効な場合は操作釦を光らせ、無効な場合は光らせない、あるいは発光色を切り替える、というようにして表示態様を変更する。

次に、操作入力システム５の動作の詳細を説明する。

操作入力システム５の画像形成装置１０は、現実空間に操作画面の画像を合成した拡張現実空間をＡＲ表示装置４０に表示させ、該操作画面に対してユーザが行った操作に関する情報をＡＲ表示装置４０から受信して、操作画面に対する操作の受け付けを行う仮想入力部としての機能を果たす。

詳細には、画像形成装置１０は、ＡＲ表示装置４０と連携動作中は、ＡＲ表示装置４０に対して、表示すべき操作画面の画面データを送信する。たとえば、図５、図７に示した副画面７２、７２Ｂなどの画像データを送信する。ＡＲ表示装置４０は、カメラ部４６が出力する画像を解析し、ＡＲ表示装置４０がユーザに見せている拡張現実空間の中での操作パネル２０の位置を認識する。また、画像形成装置１０から受信した画面データに対応する操作画面の画像を、位置、サイズ、角度等を調整して、現実の操作パネル２０の表示部２２の横に繋がって見えるように合成表示する。

ＡＲ表示装置４０は、合成表示している操作画面に対する操作を検出し、仮想現実空間内での操作位置を示す情報を画像形成装置１０に対して送信する。画像形成装置１０は、ＡＲ表示装置４０から受信した情報から、仮想現実空間内での操作位置と、仮想現実空間内での操作画面の位置と、合成表示させている操作画面の内容とから操作された操作釦や操作内容を特定し、この操作を有効とする場合には、該操作を受け付ける。

操作入力システム５は、このような動作の実行中に、さらに前述した操作の無効に関する処理を行う。

図１０は、操作の無効に関して操作入力システム５の画像形成装置１０が行う処理の流れを示している。ＡＲ表示装置４０は、ユーザに見せている拡張現実空間内での操作パネル２０の位置を示す位置情報、および画像形成装置１０からの指示に従って合成表示している操作画面や各操作釦の拡張現実空間の中での位置を示す位置情報を作成して、画像形成装置１０に対して送信し、画像形成装置１０はこれらの位置情報をＡＲ表示装置４０から受信して取得する（ステップＳ１０１）。

画像形成装置１０（検出部）は、受信した位置情報に基づいて、ＡＲ表示装置４０を使用するユーザが見ている拡張現実空間において、操作パネル２０の操作部２１とＡＲ表示装置４０が合成表示している操作画面とが重なっているか否かを判断する（ステップＳ１０２）。重なっていなければ（ステップＳ１０２;Ｎｏ）、ステップＳ１０１に戻って処理を継続する。

重なっている場合は（ステップＳ１０２;Ｙｅｓ）、全体無効モードが設定されているか否かを調べる（ステップＳ１０３）。全体無効モードが設定されている場合は（ステップＳ１０３;Ｙｅｓ）、操作パネル２０の操作部２１に対する操作と合成表示している操作画面に対する操作のいずれを無効にするかを判定する（ステップＳ１０４）。

操作パネル２０の操作部２１に対する操作を無効にする場合は（ステップＳ１０４;Ｙｅｓ）、操作パネル２０の操作部２１のうちＡＲ表示装置４０が合成表示している操作画面と重複している部分の全体において、操作部２１に対する操作の受け付けを無効にして（ステップＳ１０５）、本処理を終了する。

合成表示している操作画面に対する操作を無効にする場合は（ステップＳ１０４;Ｎｏ）、ＡＲ表示装置４０が合成表示している操作画面のうち操作パネル２０の操作部２１と重複している部分の全体において、該操作画面に対する操作の受け付けを無効にして（ステップＳ１０６）、本処理を終了する。

全体無効モードではなく、一部無効モードが設定されている場合は（ステップＳ１０３;Ｎｏ）、ＡＲ表示装置４０が合成表示している操作画面内の一の操作釦（注目している操作釦）と操作パネル２０の操作部２１を構成する操作釦とが重なっているか否かを判断する（ステップＳ１０７）。重なっている場合は（ステップＳ１０７;Ｙｅｓ）、操作パネル２０の操作部２１に対する操作と合成表示している操作画面に対する操作のいずれを無効にするかを判定する（ステップＳ１０８）。

操作パネル２０の操作部２１に対する操作を無効にする場合は（ステップＳ１０８;Ｙｅｓ）、操作パネル２０の操作部２１が有する操作釦のうち、ＡＲ表示装置４０が合成表示している操作画面内の注目している操作釦と重なっている操作釦に対する操作の受け付けを無効にして（ステップＳ１０９）、ステップＳ１１１へ移行する。

ＡＲ表示装置４０が合成表示している操作画面に対する操作を無効にする場合は（ステップＳ１０８;Ｎｏ）、ＡＲ表示装置４０が合成表示している操作画面内の注目している操作釦に対する操作の受け付けを無効にして（ステップＳ１１０）、ステップＳ１１１へ移行する。

ステップＳ１１１では、操作画面内の全ての操作釦を注目する操作釦としてステップＳ１０７〜ステップＳ１０９の処理を行ったか否かを調べ、未完了ならば（ステップＳ１１１;Ｎｏ）、ステップＳ１０７へ戻って処理を継続する。完了の場合は（ステップＳ１１１;Ｙｅｓ）、本処理を終了する。

このように、本実施の形態に係る操作入力システム５では、ユーザが見ている仮想現実空間において、現実空間にある操作パネル２０の操作部２１とＡＲ表示装置４０が合成表示した操作画面とが重なっている場合に、いずれか一方に対する操作を無効にしたので、２重入力やユーザの意図しない誤入力の発生を防止することができる。

操作パネル２０の操作部２１と合成表示した操作画面が重なっている場合にその重なり部分について操作部２１と操作画面のいずれか一方に対する操作を無効にする場合には、重なっていない部分では操作パネル２０の操作部２１と合成表示された操作画面の両方で操作を受け付けることができる。また、重なり部分全体において操作を無効にすることで、無効に関する制御が簡略になり、処理負担が少ない。

一方、重なっている操作釦のみを無効にする場合には、重なっていない操作釦については操作パネル２０の操作部２１と合成表示された操作画面の両方で操作を受け付けることができるので、２重入力等を防止しつつ、ユーザからの操作を最大限に受け付けることができる。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

本発明の実施の形態では、拡張現実空間内での操作パネル２０、ＡＲ表示装置４０が表示している操作画面および操作釦、ユーザの操作位置に関する位置情報をＡＲ表示装置４０から画像形成装置１０に送信し、これらの情報から画像形成装置１０が操作釦の重なりの有無や操作された操作釦の特定等を行ったが、ＡＲ表示装置４０と画像形成装置１０との間の情報のやり取りや役割分担はこれに限定されるものではない。

たとえば、ＡＲ表示装置４０と画像形成装置１０との間でどの操作釦を有効としたか無効としたかについてやり取りしてもよい。また、ＡＲ表示装置４０が、操作画面内でユーザから操作を受けた操作釦と、該操作釦と重なっている操作パネル２０側の操作釦とを特定し、これらの情報を画像形成装置１０へ送信し、どちらを無効にするかを画像形成装置１０で決定するような役割分担でもよい。

実施の形態では、画像形成装置１０の操作パネル２０の操作釦に対する操作とＡＲ表示装置４０が合成表示している操作画面に対する操作のいずれかを無効にする例を示したが、操作パネル２０の操作部２１と合成表示した操作画面が重なる場合に、重なる部分において、操作パネル２０の操作部２１に対する操作を一律に無効にしてもよい。

図５、図７等では操作パネル２０の操作部２１の操作釦がハードキーの場合を例示したが、ソフトキーであっても本発明は同様に適用される。

本発明の実施の形態では、画像形成装置１０とＡＲ表示装置４０を連携動作させて操作パネル２０の表示部２２に表示しきれない画面を拡張表示する例を示したが、本発明はこのような表示が行われる場合に限定されるものではない。画像形成装置１０の操作パネル２０の表示部２２に表示する画面とは別の操作画面等をＡＲ表示装置４０で合成表示する場合等にも適用される。

本発明の実施の形態では、画像形成装置１０の操作パネル２０を第１の操作入力部の例としたが、これに限定されるものではなく、ユーザの操作を受ける任意の装置でよい。ＡＲ表示装置４０はヘッドマウントディスプレイに限定されるものではない。ユーザに仮想現実空間を見せることのできる装置であればよい。また、ＡＲ表示装置４０は透過型に限定されるものではない。

５…操作入力システム
１０…画像形成装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…ネットワーク通信部
１７…近距離無線通信部
２０…操作パネル
２１…操作部
２２…表示部
２３…画像読取部
２４…画像処理部
２５…プリンタ部
２６…ファクシミリ通信部
２７…通知部
４０…ＡＲ表示装置
４１…ＣＰＵ
４２…ＲＯＭ
４３…ＲＡＭ
４４…不揮発メモリ
４５…方位センサー部
４６…カメラ部
４７…操作部
４８…表示スクリーン部
４９…無線通信部
５１…画像処理部
６１…操作画面の画像
７０…第１画面
７０Ｂ…第２画面
７１、７１Ｂ…主画面
７２、７２Ｂ…副画面
７４…操作画面内のオブジェクト
７６…操作画面のオブジェクトがあって操作釦に重ならない領域
８０〜８９…数字０〜９の操作釦
９０…＊の操作釦
９１…＃の操作釦
９２…Ｓｔａｒｔ釦
９３…Ｓｔｏｐ釦

Claims (9)

1. 第１の操作入力部と、
   現実空間に画像を合成した拡張現実空間をユーザに見せるＡＲ表示装置と、
   現実空間に第２の操作入力部の画像を合成した拡張現実空間を前記ＡＲ表示装置に表示させて、前記第２の操作入力部に対するユーザからの操作を受け付ける仮想入力部と、
   前記ＡＲ表示装置がユーザに見せている仮想現実空間において、前記第１の操作入力部と前記第２の操作入力部が重なっているか否かを検出する検出部と、
   前記検出部によって前記重なりが検出された場合に、前記第１の操作入力部と前記第２の操作入力部のいずれか一方による操作の受け付けを無効にする操作無効部と、
   を有する
   ことを特徴とする操作入力システム。
2. 前記操作無効部は、前記検出部によって前記重なりが検出された場合に、前記第１の操作入力部と前記第２の操作入力部との重なり部分について、前記第１の操作入力部と前記第２の操作入力部のいずれか一方による操作の受け付けを無効にする
   ことを特徴とする請求項１に記載の操作入力システム。
3. 前記操作無効部は、前記第１の操作入力部のうちのユーザから操作を受ける操作受け付け箇所と、前記第２の操作入力部のうちのユーザから操作を受ける操作受け付け箇所とが前記仮想現実空間において重なっている場合に、該重なっている前記第１の操作入力部の操作受け付け箇所と前記第２の操作入力部の操作受け付け箇所のうちの一方による操作の受け付けを無効にする
   ことを特徴とする請求項１に記載の操作入力システム。
4. 前記操作無効部が、操作の受け付けを無効にした場合、もしくは無効を解除した場合に、その旨をユーザに通知する通知部をさらに有する
   ことを特徴とする請求項１乃至３のいずれか１つに記載の操作入力システム。
5. 前記第１の操作入力部と前記第２の操作入力部のうちの少なくとも一方について、前記操作無効部によって操作の受け付けが無効にされた場合と無効にされていない場合とで表示形態を変更する表示形態変更部をさらに有する
   ことを特徴とする請求項１乃至４のいずれか１つに記載の操作入力システム。
6. 前記第２の操作入力部の表示濃度を、前記第２の操作入力部による操作の受け付けが無効にされている場合に、前記第２の操作入力部による操作の受け付けが無効にされていない場合より薄くする
   ことを特徴とする請求項１乃至４のいずれか１つに記載の操作入力システム。
7. 前記操作無効部は、第１の操作入力部による操作の受け付けを無効にする
   ことを特徴とする請求項１乃至６のいずれか１つに記載の操作入力システム。
8. 前記操作無効部は、前記第１の操作入力部と前記第２の操作入力部のうちのユーザによって選択された方による操作の受け付けを無効にする
   ことを特徴とする請求項１乃至６のいずれか１つに記載の操作入力システム。
9. 前記第１の操作入力部は表示部を備え、
   前記仮想入力部は、前記表示部に表示しきれない画面の一部が表示されているときに、前記画面のうちの前記一部に続く部分を前記第２の操作入力部として前記ＡＲ表示部に表示させる
   ことを特徴とする請求項１乃至８のいずれか１つに記載の操作入力システム。