JP2016110379A - 操作入力システム - Google Patents

Abstract

【課題】実在する操作部の上に画像を合成した拡張現実空間をユーザに見せて入力を受ける場合に、合成した画像を通して操作部が見えた方が好ましい状況と、操作部が見えない方が好ましい状況のいずれにも対応して良好な視認性・操作性を確保できる操作入力システムを提供する。【解決手段】ＡＲ表示装置４０がユーザに見せている拡張現実空間において、現実空間にある操作パネル２０の操作部２１とＡＲ表示装置４０が現実空間に合成表示した操作画面の画像６１が重なっている場合に、画像６１や操作パネル２０の表示内容（操作部２１による入力操作を必要とする入力項目の有無）や入力の状況に応じて、画像６１を、その下の操作部２１が見える第２透過度で表示するか、操作部２１が見えない第１透過度で表示するかを切り替える。【選択図】図２

Description

本発明は、現実空間に画像を合成した拡張現実空間を見ているユーザから入力操作を受ける操作入力システムに関する。

透過型ディスプレイでは、画像の透過度を高くすると、ディスプレイの後ろにある物体が表示中の画像を通して見える状態となり、透過度を低くすると、ディスプレイの後ろにある物体が表示中の画像を通して見えない状態に切り替え制御することができる。

たとえば、通常の第１ディスプレイと透過型の第２ディスプレイをセットで使用するシステムにおいて、第１ディスプレイと第２ディスプレイとが並置されて重なっていないことを検出した場合は、第２ディスプレイを背後の空間が見えない非透過表示とし、第１ディスプレイの上に第２ディスプレイを重ねて使用されていることを検出した場合は、第２ディスプレイを背後の空間が見える透過表示とするように切り替え制御する表示システムがある（たとえば、特許文献１参照。）。

特開２０１１−２４８２０８号公報

ところで、現実空間に存在する操作パネルの表示部に表示中の操作画面に関連する関連画面を、現実の操作パネルの表示部の隣に合成表示した拡張現実空間を透過型のヘッドマウントディスプレイでユーザに見せて該ユーザから入力操作を受ける操作入力システムにおいて、操作パネルが表示部の隣にハード釦を備えている場合、合成表示した関連画面の真下にこのハード釦が存在する場合がある。

このとき、関連画面を、背後のハード釦が見える透過表示にすると、現実空間に実在する操作パネルのハード釦と、関連画面に表示されているソフト釦とを併用してユーザから入力操作を受けるといった利用が可能になる。

しかし、ハード釦を使用する必要がない場合には、関連画面を通して背後のハード釦が見えると、かえって操作の邪魔になる。たとえば、図１２のように、機能釦が１０個配列された操作画面１０１は操作パネルの表示部に一度に表示し切れないので、その一部（第１画面１０２）を操作パネル１０５の表示部に表示し、続きの部分を関連画面１０３として表示部の隣に合成表示すると、関連画面１０５に含まれる機能釦の下に、実在するハード釦が見えてしまい、関連画面１０５の機能釦が見え難くなってしまう。

関連画面は操作パネルの表示部の隣の特定位置（表示部に表示した画面とうまくつながる位置）に表示させることが望ましいので、該特定位置に関連画面を表示した場合にその真下にハード釦があったとしても、該ハード釦と重ならない別の位置へ関連画面を移動させることは好ましくない。

なお、透過表示のままで不都合が生じるのは、関連画面を表示する場合に限らない。たとえば、ハード釦の機能を各種に切り替える場合において、ハード釦に割り当てる機能名や案内情報を表示する画像を、ハード釦に重ねて、あるいはハード釦の近くに合成表示する場合がある。このとき、画像は透過表示される。しかし、一部のハード釦だけを使用するときは、合成表示する画像のうち、該使用する一部のハード釦が存在する領域には機能名や案内情報を表示するが、他のハード釦が存在する領域はプレビュー画像などの表示に使用したといった場合がある。このとき、画像全体が透過表示のままでは、プレビュー画像の下にハード釦が見えてしまい、好ましくない。

本発明は、上記の問題を解決しようとするものであり、実在する操作部の上に画像を合成した拡張現実空間をユーザに見せて入力を受ける場合に、合成した画像を通して操作部が見えた方が好ましい状況と、操作部が見えない方が好ましい状況のいずれにも対応することで良好な視認性・操作性を確保できる操作入力システムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］ユーザから入力操作を受ける操作入力システムであって、
操作部と、
前記操作部に画像を重ね合わせた拡張現実空間をユーザに見せるＡＲ表示装置と、
前記ＡＲ表示装置による前記画像の表示を制御する制御部と、
を備え、
前記制御部は、入力操作を受ける入力項目があるか否か、または入力操作を受ける入力項目があるか否かと該入力項目がある場合はその入力項目に対する入力が終了しているか否かに応じて、前記画像の透過度を切り替える
ことを特徴とする操作入力システム。

上記発明では、入力操作を受ける入力項目があるか否か、または入力操作を受ける入力項目があるか否かと該入力項目がある場合はその入力項目に対する入力が終了しているか否かに応じて、操作部に重ねて表示する画像の透過度が切り替えられる。入力項目はＡＲ表示装置が表示する画像や下記［２］に記載の表示部に表示した操作画面に表示される。たとえば、表示した操作画面に操作部による入力を必要とする入力項目があるときは、画像を通してその下の操作部が見える透過度とし、操作部による入力を必要とする入力項目がない場合、あるいは該当の入力項目が操作画面に存在するがその入力項目に対する入力操作が既に終了している場合は、画像の透過度を該画像の下の操作部が見えない透過度にする。

［２］前記操作部に隣接して表示部をさらに備え、
前記制御部は、前記表示部の表示を制御すると共に、前記表示部に表示した操作画面に関連する画像を前記ＡＲ表示装置に表示させる
ことを特徴とする［１］に記載の操作入力システム。

上記発明では、操作部は実在する表示部の隣にあり、ＡＲ表示装置は、表示部に表示した操作画面に関連のある画像を操作部に重ねて表示する。たとえば、操作部による入力を必要とする入力項目を備える、あるいは備えない操作画面が表示部に表示される。

［３］前記制御部は、前記画像のうち、前記操作部の第１領域に重なる部分の透過度と、前記操作部の前記第１領域と異なる第２領域に重なる部分の透過度を個別に制御する
ことを特徴とする［１］または［２］に記載の操作入力システム。

上記発明では、画像の領域毎に透過度を相違させる。

［４］ユーザから前記画像の透過度の選択操作を受け付け、
前記制御部は、前記選択操作を受けた場合は、該選択操作で指定された透過度で前記画像を前記ＡＲ表示装置に表示させる
ことを特徴とする［１］乃至［３］のいずれか１つに記載の操作入力システム。

上記発明では、ＡＲ表示装置に表示する画像の透過度をユーザの選択にしたがって決定する。

［５］前記画像は、操作釦を含む画像である
ことを特徴とする［１］乃至［４］のいずれか１つに記載の操作入力システム。

［６］前記制御部は、前記画像の透過度を、第１透過度から該第１透過度より高い第２透過度に変更したとき、前記画像内の操作釦を前記操作部の操作釦と重ならない場所に移動して前記ＡＲ表示装置に表示させる
ことを特徴とする［１］乃至［４］のいずれか１つに記載の操作入力システム。

上記発明では、ＡＲ表示装置が表示する画像の透過度を高めたとき、ＡＲ表示装置が表示する仮想の操作釦と実在する操作釦とが位置的に重ならないように、仮想の操作釦の位置を移動させる。

［７］前記制御部は、前記表示部に表示しきれない操作画面の一部が前記表示部に表示されているときに、前記操作画面のうちの前記一部に続く部分を前記関連する画像として前記ＡＲ表示部に表示させる
ことを特徴とする［２］に記載の操作入力システム。

本発明に係る操作入力システムによれば、合成した画像を通して操作部が見えた方が好ましい状況と、操作部が見えない方が好ましい状況のいずれにも対応して、良好な視認性・操作性をユーザに提供することができる。

本発明の実施の形態に係る操作入力システムの構成例を示す図である。 ユーザがＡＲ表示装置を使用して画像形成装置の操作パネルを見ているときにＡＲ表示装置が操作画面の画像を合成表示した状態を示す図である。 画像形成装置の概略構成を示すブロック図である。 ＡＲ表示装置の概略構成を示すブロック図である。 操作パネルの表示部に一度に表示しきれない第１画面を、操作パネルの表示部とＡＲ表示装置とを連携動作させて表示する例を示す図である。 ＡＲ表示装置を装着したユーザが見ている拡張現実空間の一例（図５（ｃ）に対応）を示す図である。 図６の副画面を第２透過度（高透過度）で表示した場合を示す図である。 ＡＲ表示装置に画像を第２透過度で表示する方が好ましい場合の一例を示す図である。 ＡＲ表示装置に表示する副画面の一部を第２透過度、他の部分を第１透過度とした場合の一例を示す図である。 操作入力システムが行う処理の流れを示す流れ図である。 透過度決定処理の詳細を示す流れ図である。 ＡＲ表示装置で透過表示した操作画面の操作釦と、実在する操作パネルの操作釦とが重なって見える状態を示す図である。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る操作入力システム５の構成例を示している。操作入力システム５は、画像形成装置１０と、無線通信を通じて画像形成装置１０と連動可能なＡＲ表示装置４０を備えている。画像形成装置１０とＡＲ表示装置４０は、近距離無線通信や無線ＬＡＮ（Local Area Network）を用いて無線通信する。

画像形成装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピー機能、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワークを通じて送信したりするスキャン機能、ＰＣ（Personal Computer）などからネットワークを通じて受信した印刷データに係る画像を記録紙上に形成して印刷出力するプリンタ機能、ファクシミリ手順に従って画像データを送受信するファクシミリ機能などを備えた、所謂、複合機（ＭＦＰ）である。

ＡＲ表示装置４０は、現実空間に画像を合成した拡張現実空間をユーザに見せる装置である。ここではＡＲ表示装置４０は、ヘッドマウントディスプレイ装置である。ＡＲ表示装置４０はユーザの見ている実際の光景（現実空間）に、仮想的に表示すべき部分の画像を重ね合わせる方式（所謂、光透過型）を採用している。ＡＲ表示装置４０は、透過型のディスプレイでもよい。

操作入力システム５では、画像形成装置１０とＡＲ表示装置４０を連携させてユーザから入力操作を受け付ける。具体的には、操作入力システム５は、図２に示すように、ユーザがＡＲ表示装置４０を使用して画像形成装置１０の操作パネル２０を見ているときに、操作パネル２０の表示部２２の横に仮想の操作画面の画像６１をＡＲ表示装置４０にて合成表示し、あたかも、操作パネル２０の表示部２２が拡張されたような拡張現実空間をユーザに見せる。

たとえば、画像形成装置１０とＡＲ表示装置４０を連携させることで、画像形成装置１０の操作パネル２０の表示部２２には一度に表示しきれない大きな操作画面を、ユーザに見せる。具体的には、操作パネル２０の表示部２２に一度に表示しきれない大きな操作画面の一部を画像形成装置１０の操作パネル２０の表示部２２に表示し、その続きの部分に相当する操作画面の画像６１をＡＲ表示装置４０で現実空間に合成表示する。そして、画像形成装置１０の操作パネル２０とＡＲ表示装置４０で合成表示した操作画面の画像６１とを併用してユーザからの操作を受け付ける。このような動作を以後、連携動作と呼ぶものとする。

連携動作でＡＲ表示装置４０に表示する画像は、操作パネル２０の表示部２２に一度に表示しきれない部分に限定されるものではなく、操作パネル２０の表示部２２に表示された操作画面に関連する画面の画像であってもよい。たとえば、操作画面に対する案内表示、プレビュー画像などでもよい。

連携動作において、ＡＲ表示装置４０で合成表示した画像６１が現実空間にある操作パネル２０の操作部２１の上に重なっている場合、画像６１を通して、その下にある現実の操作部２１も見えた方がよい場合と、見えない方がよい場合がある。そこで、操作入力システム５では、ＡＲ表示装置４０で合成表示する画像６１の透過度を、現在の入力項目（操作部２１から入力操作を受ける入力項目があるか否か）やその入力項目に対する入力の状況（入力が終了しているか否か）に応じて切り替える。現在の入力項目は、操作パネル２０の表示部２２に現在表示中の操作画面の内容、あるいは、該操作画面とＡＲ表示装置４０に表示している関連画面の内容に依存する。これは、ＡＲ表示装置４０に画像を合成表示しながら操作パネル２０の操作部２１が併用されるか否かを判断するものである。

図３は、画像形成装置１０の概略構成を示すブロック図である。画像形成装置１０は、当該画像形成装置１０の動作を統括的に制御する制御部としてのＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、不揮発メモリ１４、ハードディスク装置１５、ネットワーク通信部１６、近距離無線通信部１７、操作パネル２０、画像読取部２３、画像処理部２４、プリンタ部２５、ファクシミリ通信部２６などが接続されている。

ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像形成装置１０の各機能が実現される。

ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。

不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。

ハードディスク装置１５は大容量不揮発の記憶装置であり、印刷データ、表示画面のデータのほか各種のプログラムやデータが記憶される。本発明の実施の形態では、操作パネル２０の操作部２１やＡＲ表示装置４０に合成表示させる各種の操作画面の画面データ等もハードディスク装置１５に記憶される。

ネットワーク通信部１６は、ＬＡＮなどのネットワークを通じて各種の外部装置、サーバなどと通信する機能を果たす。

近距離無線通信部１７は、ＡＲ表示装置４０と近距離無線通信を行う。通信可能距離は、たとえば、２ｍ以内等である。

操作パネル２０は、操作部２１、表示部２２を備えている。表示部２２は、各種の操作画面、設定画面等を表示する機能を果たす。表示部２２は液晶ディスプレイとそのドライバなどで構成される。操作部２１はユーザから各種の操作を受ける機能を果たす。操作部２１はスタートボタンやテンキーなどの各種ハードスイッチと、表示部２２の表示面上に設けられたタッチパネルを備えている。タッチパネルは、表示部２２の表示面がタッチペンや指などで接触操作された座標位置を検出する。

画像読取部２３は、原稿を光学的に読み取って画像データを取得する機能を果たす。

画像処理部２４は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。

プリンタ部２５は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。

ファクシミリ通信部２６は、ファクシミリ機能を備えた外部装置と電話回線を通じて画像データを送受信する機能を果たす。

操作入力システム５において、画像形成装置１０のＣＰＵ１１は、現実空間に操作画面の画像を合成した拡張現実空間をＡＲ表示装置４０に表示させる合成画像制御機能、ＡＲ表示装置４０から送られて来る該操作画面の画像に対してユーザが行った操作の位置情報等に基づいて、操作画面に対する操作を受け付ける仮想入力機能を果たす。

また画像形成装置１０のＣＰＵ１１は、ユーザに見せている拡張現実空間において操作パネル２０の操作部２１と合成表示された操作画面の画像が重なっているか否かをＡＲ表示装置４０から送られてくる位置情報に基づいて検出する重なり検出機能、該機能によって重なりが検出された場合に、ＡＲ表示装置４０に表示する画像の透過度を切り替える透過度切替機能を果たす。

透過度切替機能は、操作の状況やＡＲ表示装置４０や表示部２２に表示する画像の内容に応じて、ＡＲ表示装置４０が表示する画像の透過度を決定する。ここでは、ＡＲ表示装置４０が合成表示する画像を通してその下の操作部２１が見えなくなる（あるいはほとんど見えない）第１透過度（低透過度）、ＡＲ表示装置４０が合成表示する画像を通してその下の操作部２１がよく見える第２透過度（高透過度）のいずれかに切り替える。たとえば、第１透過度は０％、第２透過度は１００％とする。

合成画像制御機能は、ＡＲ表示装置４０が合成表示する画像の透過度が第２透過度から第１透過度に切り替えられる際に、該画像（操作画面の画像）内に設けた操作釦（ソフト釦）等のオブジェクトが、実在する操作部２１の操作釦と重ならないように、合成表示する操作画面内の操作釦等のオブジェクトの位置を移動させる制御を行う。

上記の各機能の制御を行うプログラムと、画像形成装置１０の全体を制御するプログラムはそれぞれ別個のプログラムであってもよいし、それらのプログラムをまとめた１つのプログラムであってもよい。

図４は、ＡＲ表示装置４０の概略構成を示すブロック図である。ＡＲ表示装置４０は、当該ＡＲ表示装置４０の動作を統括制御するＣＰＵ４１を有している。ＣＰＵにはバスを通じてＲＯＭ４２と、ＲＡＭ４３と、不揮発メモリ４４と、方位センサー部４５と、カメラ部４６と、操作部４７と、表示スクリーン部４８と、無線通信部４９と、画像処理部５１が接続されている。

ＣＰＵ４１はＲＯＭ４２に格納されているプログラムに従ってＡＲ表示装置４０の動作を制御する。ＲＯＭ４２にはプログラムや固定データが記憶されている。ＲＡＭ４３はＣＰＵ４１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ４４には、各種の設定情報が記憶される。

方位センサー部４５は、ＡＲ表示装置４０（ヘッドマウントディスプレイ装置）の向きや姿勢およびその変化を検出する。方位センサー部４５は、複数の地磁気センサと、複数の加速度センサを組み合わせて構成される。方位センサー部４５は、ＡＲ表示装置４０を装着しているユーザの姿勢やユーザが向いている方向や角度（これらは、カメラ部４６が撮影している方向や向きと一致）を検出したり、ＡＲ表示装置４０が傾けられたりした場合の動作の向きや速さを検出したりして、その検出結果をＣＰＵ４１へ通知する。ＣＰＵ４１は、方位センサー部４５からの通知に基づいて、ＡＲ表示装置４０を装着しているユーザの姿勢、角度、傾けられたりした動作の向きや速さを認識する。

カメラ部４６は、ＡＲ表示装置４０の前方（装着者が見ている光景）を撮影する。より詳細には、装着者が前方を見たときの視野とほぼ同じ範囲を撮影する。カメラ部４６は、たとえば、毎秒３０フレームで画像を取り込む。

操作部４７は少数のスイッチ等であり、表示スクリーン部４８に表示する画像の明るさなどの調整に使用される。

表示スクリーン部４８は、画像を表示可能なほぼ透明なスクリーンであり、任意の画像を現実世界の光景に重ね合わせることで拡張現実空間をユーザに見せる。

無線通信部４９は、画像形成装置１０と無線通信する。

画像処理部５１は、表示スクリーン部４８に表示する画像の拡大・縮小、変形などを行う。

図５は、画像形成装置１０の操作パネル２０の表示部２２に一度に表示しきれない第１画面７０を、操作パネル２０の表示部２２とＡＲ表示装置４０とを連携動作させて表示した例を示している。同図（ａ）は、第１画面７０の全体を、同図（ｂ）は、第１画面７０を主画面７１と副画面７２に分割した状態を、同図（ｃ）は、主画面７１を表示部２２に表示した操作パネル２０と、副画面７２を表示スクリーン部４８に表示したＡＲ表示装置４０を示している。操作パネル２０の操作部２１にはテンキー、スタートキーなどの操作釦が配置されている。

図６は、ＡＲ表示装置４０を装着したユーザが見ている拡張現実空間であって、図５（ｃ）の操作パネル２０に副画面７２が合成表示された状態を示している。副画面７２は現実空間の操作パネル２０の操作部２１のハードキー（テンキー、スタートキーなど）と重なっているが、副画面７２を第１透過度（低透過度）で表示しているので、ユーザは、操作パネル２０の操作部２１は見えない。

図７は、図６の副画面７２を第２透過度（高透過度）で表示した場合を示している。ユーザには、副画面７２の操作釦（設定Ａ〜設定Ｆの操作釦）と操作パネル２０の操作部２１のハードキー（テンキー、スタートキーなど）が重なって見えるため、それぞれの操作釦を区別することが難しく、見辛い状態になっている。副画面７２は、図６に示すように第１透過度（低透過度）で表示することが好ましく、第２透過度で表示するより第１透過度で表示した方が視認性・操作性が向上する。

図８は、ＡＲ表示装置４０に画像を第２透過度で表示する方が好ましい場合の一例を示している。図８に示す副画面７３では、操作パネル２０の操作部２１が有するハードキー（テンキー、スタートキーなど）と副画面７３に表示した操作釦（設定Ａ、設定Ｂの操作釦）を併用して入力操作される。

副画面７３に表示した操作釦（設定Ａ、設定Ｂの操作釦）は、操作パネル２０の操作部２１が備える操作釦と重複しないように配置されている。たとえば、図６に示す状態（第１透過度で副画面を表示している状態）で何らかの操作を受けて、図８のような、副画面を第２透過度（高透過度）で表示する状態へ移行するとき、副画面に存在する操作釦と操作パネル２０の操作部２１の操作釦とが重ならないように、副画面内の操作釦の配置を移動させたり、表示する操作釦の数を制限したりする処理が行われる。

図９は、ＡＲ表示装置４０に表示する副画面７５の一部を第２透過度、他の部分を第１透過度とした場合の一例を示している。この例は、個人やグループ別にファイルを仕分けて保存するためのボックスへアクセスするための操作画面である。副画面７５には選択対象のボックスが列挙して表示されており、主画面７４には、ボックスへのアクセス権を認証するためのパスワードの入力欄が表示されている。

パスワードの入力にはテンキーが使用されるので、副画面７５のうち、テンキーの上に重なる部分は第２透過度（高透過度）にし、他のハードキーは使用されないので、それら使用されないハードキーの上に重なる部分は第１透過度（低透過度）にし、その部分に選択対象のボックスを表示してある。

操作入力システム５は、現在表示中の操作画面（主画面、副画面の少なくとも一方）の内容が操作部２１による入力操作を必要とする入力項目を有するものであれば、ＡＲ表示装置４０に表示する画像（ここでは副画面またはその一部）を第２透過度とし、操作部２１による入力操作を必要とする入力項目がなければ、ＡＲ表示装置４０に表示する画像を第１透過度にするように制御する。これを第１制御とする。あるいは、現在表示中の操作画面の内容が操作部２１による入力操作を必要とする入力項目を有しかつその入力項目への入力状況が入力完了でなければ、ＡＲ表示装置４０に表示する画像（ここでは副画面またはその一部）を第２透過度とし、操作部２１による入力操作を必要とする入力項目がない場合、および操作部２１による入力操作を必要とする入力項目を有しているがその入力項目への入力状況が入力完了ならば、ＡＲ表示装置４０に表示する画像を第１透過度にするように制御する。これを第２制御とする。

図９の例では、上記の第１制御では、パスワードの入力欄に、必要な桁数のパスワードが入力されたか否かに係らず、操作パネル２０の表示部２２にパスワードの入力欄を備えた操作画面（主画面７４）が表示されている間、一部を第２透過度（高透過度）とした副画面７５が合成表示される。上記の第２制御では、パスワードの入力欄に必要な桁数のパスワードの入力が完了するまでは、一部を第２透過度とした副画面７５が合成表示されるが、必要な桁数のパスワードの入力が完了すると、パスワードの入力欄を備えた操作画面（主画面７４）が操作パネル２０の表示部２２に表示されている状態であっても、副画面７５は第１透過度（低透過度）に変更される。

なお、操作パネル２０の表示部２２やＡＲ表示装置４０に表示する画面であって操作部２１から入力操作を受ける入力項目がない画面は、設定釦等の操作釦が配列された画面に限定されない。たとえば、ジョブ実行の履歴や受信履歴などをリスト表示するような画面であってもよい。このような画面を表示部２２とＡＲ表示装置４０を用いて連携表示する場合には、操作部２１からの入力操作が不要なので、ＡＲ表示装置４０に表示する画面は低透過度にする。

図１０は、操作入力システム５が行う処理の流れを示している。ここでは、画像形成装置１０のＣＰＵ１１が本処理を行い、ＡＲ表示装置４０は画像形成装置１０からの指示に従って画像の表示を行う。

画像形成装置１０は、自装置とＡＲ表示装置４０とが通信可能な状態にあるか否かを調べる（ステップＳ１０１）。通信可能ならば（ステップＳ１０１；Ｙｅｓ）、ＡＲ表示装置４０と操作パネル２０とを連携動作させるか否かを判断する（ステップＳ１０２）。たとえば、ユーザから連携動作に移行する指示を受けた場合に連携動作を行う。

連携動作を行わない場合は（ステップＳ１０２；Ｎｏ）、ステップＳ１０１に戻る。連携動作を行う場合は（ステップＳ１０２；Ｙｅｓ）、操作パネル２０の表示部２２に現在表示中の画面の内容、ＡＲ表示装置４０にて現在表示中の画像（画面）の内容、現時点で操作の状況（設定状況等）に関する情報を取得する（ステップＳ１０３）。

連携動作の解除操作を受けたか否かを調べ（ステップＳ１０４）、連携動作の解除操作を受けた場合は（ステップＳ１０４；Ｙｅｓ）、連携動作を中止する。すなわち、ＡＲ表示装置４０による画像の合成表示を終了させる制御を行って(ステップＳ１１０)、本処理を終了する。

連携動作の解除操作を受けていない場合は（ステップＳ１０４；Ｎｏ）、透過度を決定する透過度決定処理を行う(ステップＳ１０５)。本処理の詳細は後述する。

透過度決定処理で決定した透過度が、第１透過度（低透過度）ならば（ステップＳ１０６；Ｙｅｓ）、ＡＲ表示装置４０に画像を第１透過度で表示させる制御を行って（ステップＳ１０７）、ステップＳ１０９へ移行する。具体的には、ＡＲ表示装置４０に表示させる画像を第１透過度で作成し、これをＡＲ表示装置４０に送信して表示させる。

透過度決定処理で決定した透過度が、第２透過度（高透過度）ならば（ステップＳ１０６；Ｎｏ）、ＡＲ表示装置４０に画像を第２透過度で表示させる制御を行って（ステップＳ１０８）、ステップＳ１０９へ移行する。すなわち、ＡＲ表示装置４０に表示させる操作画面等の画像を第２透過度で作成し、これをＡＲ表示装置４０に送信して表示させる。

ここで、透過度が第２透過度に変化した場合は、ＡＲ表示装置４０に表示させる操作画面に含まれる操作釦が、実在する操作部２１に重ならないように、ＡＲ表示装置４０に表示させる操作画面内での操作釦を移動させて配置を決定する。

ステップＳ１０９では、表示内容あるいは操作状態に変化があったか否かを調べ、変化ありの場合は（ステップＳ１０９；Ｙｅｓ）、ステップＳ１０３に戻って処理を継続する。変化なしの場合は（ステップＳ１０９；Ｎｏ）、ステップＳ１０１に戻って処理を継続する。

図１１は、透過度決定処理の詳細を示している。現在表示中の画面（操作パネル２０の表示部２２に表示中の画面、ＡＲ表示装置４０が合成表示する画面の少なくとも一方）の内容に、操作パネル２０の操作部２１のハードキーによる入力項目が存在するか否かを判定する（ステップＳ１１１）。ハードキーによる入力項目がなければ（ステップＳ１１１；Ｎｏ）、第１透過度（低透過度）に決定して（ステップＳ１１３）、本処理を終了する（リターン）。

現在表示中の画面の内容に、操作パネル２０の操作部２１のハードキーによる入力項目が存在する場合は（ステップＳ１１１；Ｙｅｓ）、その入力項目に対する入力操作が未だ残っているか否かを判定する（ステップＳ１１２）。たとえば、１０桁の数値を入力する入力項目に対して、１０桁未満の入力しか行われていない場合は、該入力項目に対する入力操作が残っていると判定し、１０桁の入力が完了している場合は、該入力項目に対する入力操作は終了したと判定する。

入力操作が残っている場合は（ステップＳ１１２；Ｙｅｓ）、第２透過度（高透過度）に決定して（ステップＳ１１４）、本処理を終了する（リターン）。入力操作が残っていない場合は（ステップＳ１１２；Ｎｏ）、第１透過度（低透過度）に決定して（ステップＳ１１３）、本処理を終了する（リターン）。

なお、ＡＲ表示装置４０に合成表示させる画面の内容と、現在表示中の画面におけるハードキーでの入力が必要な入力項目とから、合成表示する画面の全体を第１透過度または第２透過度とするか、その画面の一部を第１透過度とし他の部分を第２透過度とするかを決定する。

たとえば、図９では、表示部２２に表示された主画面７４にハードキーで入力操作を受ける入力欄（入力項目）が存在し、その入力にはテンキーのみを使用するので、副画面７５のうち、テンキーの上に重なる部分は第２透過度（高透過度）に、他の部分は第１透過度（低透過度）に決定する。そして、第１透過度の領域に、操作釦等のオブジェクトを配置した副画面７５を作成し、ＡＲ表示装置４０に表示させる。

透過度決定処理において、第１透過度と第２透過度の混在を決定した場合は、合成画像のうちのどの部分を第１透過度とし、どの部分を第２透過度とするかを決定し、これを図１０の処理に通知する。図１０の処理では、透過度決定処理の結果が、第１透過度と第２透過度の混在の場合は、透過度決定処理から通知された情報に基づいて合成画像を作成する。

また、透過度決定の判断材料となる現在表示中の画面は、操作パネル２０の表示部２２に表示されている画面とＡＲ表示装置４０に合成表示している画面のいずれか一方でもよいし、双方を含めてもよい。たとえば、入力項目が主画面にしか表示されない場合は、主画面の表示内容のみを考慮すればよい。入力項目が副画面にしか表示されない場合は、副画面の表示内容のみを考慮すればよい。入力項目が主画面、副画面のいずれにもある場合は、双方を考慮して透過度を決定する。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

本発明の実施の形態では、連携動作の場合を例に説明したが、本発明は連携動作以外の表示において適用させる。たとえば、操作部が有するハードキーの機能を各種に切り替える操作パネルにおいて、ハードキーに割り当てる機能名や案内情報の画像を、ハードキーに重ねて、あるいはハードキーの近くにＡＲ表示するような場合にも適用される。このとき、ユーザから入力操作を受ける入力項目は、ハードキーを使用する入力項目なので、ＡＲ表示する画像を第２透過度（高透過度）で表示する。

なお、一部のハードキーだけを使用するときは、合成する画像のうち、使用される一部のハードキーが存在する領域は第２透過度としてこの領域に機能名や案内情報を表示し、使用されない他のハードキーが存在する領域は第１透過度（低透過度）としてプレビュー画像などの表示に利用する。

ハードキーによる入力操作を必要としない（ハードキーによる入力項目がない）画像を表示するときは、ＡＲ表示する画像を第１透過度（低透過度）で表示する。このように、連携動作以外の場合においても、入力項目や入力の状況に応じて透過度を切り替えることで、視認性・操作性を高めることができる。

なお、ＡＲ表示装置４０に表示する画像を第１透過度とするか第２透過度とするかの選択操作をユーザから受け付け、ユーザの指定する透過度でＡＲ表示装置４０に画像を表示するようにしてもよい。

本発明の実施の形態では、画像形成装置１０の操作パネル２０を含む操作入力システムを例示したが、これに限定されるものではなく、ユーザの操作を受ける任意の装置でよい。ＡＲ表示装置４０はヘッドマウントディスプレイに限定されるものではない。ユーザに拡張現実空間を見せることのできる装置であればよい。

５…操作入力システム
１０…画像形成装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…ネットワーク通信部
１７…近距離無線通信部
２０…操作パネル
２１…操作部
２２…表示部
２３…画像読取部
２４…画像処理部
２５…プリンタ部
２６…ファクシミリ通信部
４０…ＡＲ表示装置
４１…ＣＰＵ
４２…ＲＯＭ
４３…ＲＡＭ
４４…不揮発メモリ
４５…方位センサー部
４６…カメラ部
４７…操作部
４８…表示スクリーン部
４９…無線通信部
５１…画像処理部
６１…操作画面の画像
７０…第１画面
７１…主画面
７２…副画面
７３…副画面（ハードキーと併用）
７４…主画面（ハードキーによる入力項目を有する画面）
７５…副画面（第１透過度と第２透過度が混在）

Claims (7)

1. ユーザから入力操作を受ける操作入力システムであって、
   操作部と、
   前記操作部に画像を重ね合わせた拡張現実空間をユーザに見せるＡＲ表示装置と、
   前記ＡＲ表示装置による前記画像の表示を制御する制御部と、
   を備え、
   前記制御部は、入力操作を受ける入力項目があるか否か、または入力操作を受ける入力項目があるか否かと該入力項目がある場合はその入力項目に対する入力が終了しているか否かに応じて、前記画像の透過度を切り替える
   ことを特徴とする操作入力システム。
2. 前記操作部に隣接して表示部をさらに備え、
   前記制御部は、前記表示部の表示を制御すると共に、前記表示部に表示した操作画面に関連する画像を前記ＡＲ表示装置に表示させる
   ことを特徴とする請求項１に記載の操作入力システム。
3. 前記制御部は、前記画像のうち、前記操作部の第１領域に重なる部分の透過度と、前記操作部の前記第１領域と異なる第２領域に重なる部分の透過度を個別に制御する
   ことを特徴とする請求項１または２に記載の操作入力システム。
4. ユーザから前記画像の透過度の選択操作を受け付け、
   前記制御部は、前記選択操作を受けた場合は、該選択操作で指定された透過度で前記画像を前記ＡＲ表示装置に表示させる
   ことを特徴とする請求項１乃至３のいずれか１つに記載の操作入力システム。
5. 前記画像は、操作釦を含む画像である
   ことを特徴とする請求項１乃至４のいずれか１つに記載の操作入力システム。
6. 前記制御部は、前記画像の透過度を、第１透過度から該第１透過度より高い第２透過度に変更したとき、前記画像内の操作釦を前記操作部の操作釦と重ならない場所に移動して前記ＡＲ表示装置に表示させる
   ことを特徴とする請求項１乃至４のいずれか１つに記載の操作入力システム。
7. 前記制御部は、前記表示部に表示しきれない操作画面の一部が前記表示部に表示されているときに、前記操作画面のうちの前記一部に続く部分を前記関連する画像として前記ＡＲ表示部に表示させる
   ことを特徴とする請求項２に記載の操作入力システム。