JP2018189802A - 表示装置 - Google Patents

Abstract

【課題】特定のＡＲ画像に目印を付すことができるようにし、目印を付した画像を固定的に表示できるようにする。【解決手段】表示装置は、撮像部、表示部、操作部、処理部を含む。処理部は、撮影画像に含まれる特定部位を認識する。処理部は、特定部位を示す付加画像を撮影画像に重ねて表示させる。付加画像へのピン留め操作がなされた場合、処理部は、ピン留め操作がなされた付加画像（ピン留め付加画像）に重ねて、ピンを示す目印画像の表示を開始させる。ピン留め付加画像に対応する特定部位が撮影画像内に含まれていなくても、処理部は、目印画像の表示開始位置と同じ位置に目印画像を表示させるともに、目印画像に対応するピン留め付加画像を表示させる。【選択図】図１３

Description

本発明は、撮像（カメラ）により得られた撮影画像と、撮影画像に他の画像を重ねて表示する表示装置に関する。

実際の撮影画像（実写画像）に、電子映像を重ねて表示することがある。このような技術は、拡張現実（ＡＲ）と称されることがある。このような拡張現実を利用した情報処理装置の一例が特許文献１に記載されている。

具体的に、特許文献１には、表示中の撮影画像のオブジェクトを認識し、オブジェクトに関連する関連情報を抽出し、関連情報を撮影画像に重畳して表示し、認識されたオブジェクトが継続して認識されているか否かを監視し、オブジェクトが認識されなくなった場合、重畳表示処理の進行状況に基づいて、重畳表示処理を継続又は停止する情報処理装置が記載されている。例えば、オブジェクトが認識されなくなった時、オブジェクト表示中の場合には、重畳表示処理が継続される。この構成により、不安定に位置変動されるデバイスを用いた拡張現実表示システムにおいて、安定した重畳表示を実現しようとする（特許文献１：請求項１、請求項２、段落［０００５］等参照）。

特開２０１６−０３６１０６号公報

拡張現実の表示では、実際の撮影画像が表示される。撮影画像に、使用者の理解を助けるための情報（ＡＲ画像）が重畳表示される。表示されるＡＲ画像は、撮影範囲（カメラの構図）により変化する。ＡＲ画像を付加する部分がカメラの撮影範囲に入っている間、ＡＲ画像が撮影画像に重ねて表示される。ＡＲ画像を付加する部分がカメラの撮影範囲から外れたとき、ＡＲ画像が表示されなくなる。

拡張現実の表示中、重要なＡＲ画像や、注目したいＡＲ画像が表示されることがある。従来、拡張現実の表示では、カメラの現在の撮影画像に応じて、表示されるＡＲ画像をリアルタイムに変更する点が追求されている。そのため、従来、使用者が注目したＡＲ画像に関する表示の工夫はなされていないという問題がある。

ここで、特許文献１記載の技術は、タブレットコンピューターのようなカメラとディスプレイが一体化された装置が対象である。これらの装置は、使用者の体や手の動きに連動して、カメラの撮影範囲が変わる。特許文献１記載の技術は、これらの装置で安定して情報を重畳表示しようとする。しかし、使用者の希望に沿ったＡＲ画像を重ねて表示する点に関する記載はない。従って、上記の問題を解決できない。

本発明は、上記従来技術の問題点に鑑み、特定のＡＲ画像に目印を付すことができるようにし、目印を付した画像を固定的に表示できるようにする。

上記課題解決のため請求項１に係る表示装置は、撮像部、表示部、操作部、処理部を含む。前記表示部は、前記撮像部の撮像により得られた撮影画像を表示する。前記操作部は使用者の操作を受け付ける。前記処理部は、前記操作部の出力に基づき操作内容を認識する。前記処理部は前記表示部の表示を制御する。前記処理部は、前記撮影画像に含まれる特定部位を認識する。前記処理部は、前記特定部位を示す付加画像を前記撮影画像に重ねて前記表示部に表示させる。前記付加画像へのピン留め操作がなされた場合、前記処理部は、前記ピン留め操作がなされた前記付加画像であるピン留め付加画像に重ねて、ピンを示す目印画像の表示を開始させる。前記ピン留め付加画像に対応する前記特定部位が前記撮影画像内に含まれていなくても、前記処理部は、前記目印画像の表示開始位置と同じ位置に前記目印画像を表示させるともに、前記目印画像に対応する前記ピン留め付加画像を前記表示部に表示させる。

本発明によれば、特定の付加画像（ＡＲ画像）に目印を付すことができる。目印を付した画像を固定的に表示することができる。使いやすく、見やすい表示装置を提供することができる。

実施形態に係る表示装置の一例を示す図である。 実施形態に係る画像形成装置の一例を示す図である。 実施形態に係る表示装置のＡＲ表示の流れの一例を示すフローチャートである。 実施形態に係る表示装置のＡＲ表示の一例を示す図である。 実施形態に係る付加画像の拡大の一例を示す図である。 実施形態に係る付加画像の縮小の一例を示す図である。 実施形態に係る擦り操作による透明度の変更の一例を示す図である。 実施形態に係る付加画像の表示位置の自動変更の一例を示す図である。 実施形態に係るメニュー画像の一例を示す図である。 実施形態に係る透明度設定用のスライドバーの一例を示す図である。 実施形態に係る色選択用パレットの一例を示す図である。 実施形態に係る目印画像の表示開始の一例を示す図である。 実施形態に係る目印画像の継続表示の一例を示す図である。 実施形態に係るピン留め付加画像の一時的な再表示の一例を示す図である。 実施形態に係る表示装置でのピン留めされた特定部位の方向表示の一例を示す図である。 実施形態に係る表示装置でのピン留めされた特定部位の方向表示の一例を示す図である。 実施形態に係る目印画像の消去操作の一例を示す図である。 実施形態に係る目印画像の押し込み操作の一例を示す図である。 実施形態に係る表示装置での目印画像の自動消去の流れの一例を示すフローチャートである。 実施形態に係る表示装置での目印画像の自動消去の流れの一例を示すフローチャートである。 実施形態に係る表示装置での表示のリセットの一例を示すフローチャートである。 実施形態に係る回転操作時の表示の変化の一例を示す図である。 実施形態に係る回転操作時の表示の変化の一例を示す図である。 実施形態に係る回転操作時の表示の変化の一例を示す図である。 実施形態に係る回転操作時の表示の変化の一例を示す図である。

以下、図１〜図２５を用いて、本発明の実施形態を説明する。そして、本説明での表示装置１は、携帯型のものである。但し、本実施の形態に記載されている構成、配置等の各要素は、発明の範囲を限定するものではなく単なる説明例にすぎない。

（表示装置１）
図１を用いて、実施形態に係る表示装置１の一例を説明する。図１は、実施形態に係る表示装置１の一例を示す図である。

以下では、スマートフォンを表示装置１として用いる例を説明する。なお、表示装置１は、スマートフォンに限られない。表示装置１はタブレット型コンピューター１００でもよい。また、表示装置１は、ヘッドマウントディスプレイでもよい。本説明での表示装置１は、携帯可能であり、拡張現実（ＡＲ）表示をできるものが該当する。表示装置１は、画像形成装置２に関するＡＲ表示を行う。そのため、本発明は、表示装置１と画像形成装置２を含む表示システムとしての側面を有する。

表示装置１は、処理部１０、記憶部１１、ディスプレイ１２（表示部に相当）、タッチパネル１３（操作部に相当）、撮像部１４、加速度センサー１５（リセット検知部に相当）、ＧＰＳ信号処理部１６（位置検知部に相当）、音声処理部１７、マイクロフォン１７ａ、再生処理部１８、スピーカー１８ａ、無線通信部１９、を含む。

処理部１０は、表示装置１の動作を制御する回路である。処理部１０は、ＣＰＵ１０ａや画像処理回路１０ｂを含む。処理部１０には、ＣＰＵ１０ａや画像処理回路１０ｂが１チップ化された集積回路を用いることができる。処理部１０は、ＯＳ、プログラム、アプリケーション、データに基づき、表示装置１の動作を制御する。画像処理回路１０ｂは、画像データに対して画像処理を行う。

記憶部１１はＲＯＭ、ＲＡＭ、フラッシュメモリーを含む。記憶部１１は、表示装置１のＯＳ、プログラム、アプリケーション、データを不揮発的に記憶する。処理部１０は、記憶部１１の記憶内容に従って、表示装置１の各部を制御する。タッチパネル１３を通じた使用者のアプリケーションの起動要求に応じ、処理部１０は、記憶部１１からアプリケーションを記憶部１１に読み出し、実行する。記憶部１１には、付加画像表示アプリケーションＡ１が含まれる。付加画像表示アプリケーションＡ１に基づき、処理部１０は、画像形成装置２に関するＡＲ表示をディスプレイ１２に行わせる。

ディスプレイ１２は、処理部１０からの要求に従い各種情報を表示する。ディスプレイ１２は、液晶パネルや有機ＥＬパネルのような表示パネルである。ディスプレイ１２は、操作用画像を表示する。操作用画像は、例えば、アイコン、ボタン、キー、タブである。タッチパネル１３は処理部１０と接続される。処理部１０は、タッチパネル１３の出力に基づき、タッチ位置を認識し、操作された（タッチされた）操作用画像を認識する。アイコンやボタンやキーを押すことにより、使用者は、アプリケーションの起動及び利用することができる。

撮像部１４は、表示装置１に設けられたカメラである。撮像部１４は、レンズ１４ａ、イメージセンサー１４ｂ、カメラモジュール１４ｃを含む。カメラモジュール１４ｃはイメージセンサー１４ｂが出力する画像信号に基づき、画像データを生成する。撮像部１４による撮影により得られた撮影画像３（画像データ）は、記憶部１１に記憶される。処理部１０は、撮影画像３をディスプレイ１２に表示させ得る。動画的に表示するとき、処理部１０は、連続的に撮影画像３を撮像部１４に生成させる。処理部１０は、表示に用いる撮影画像３を新たに生成された撮影画像３に順次切り替える。

無線通信部１９は、アンテナや通信回路を含む。無線通信部１９は、処理部１０の指示に応じて、通信事業者が提供する通信回線にアクセスできる。無線通信部１９を介し、外部とのデータの送受信、相手方との通話を行うことができる。また、無線通信部１９は、無線により、画像形成装置２とも通信できる。

音声処理部１７は、マイクロフォン１７ａから入力された音声を無線通信部１９から送信できる形態に変換する信号処理を行う。再生処理部１８は、無線通信部１９で受信した相手方からの音（声）のデータをスピーカー１８ａに再生させる。また、再生処理部１８は、記憶部１１に記憶された音のデータをスピーカー１８ａに再生させることもできる。

加速度センサー１５は、加速度を検知するための検知素子部を含む。加速度センサー１５には、静電容量型、ピエゾ抵抗型、ガス温度分布型のような各種の素子を用いることができる。検知素子部は、加速度が加わった時の変形（ひずみ）に応じた電圧を出力する。加速度センサー１５には、２軸以上のものが用いられる。また、加速度センサー１５は、検知素子部の出力を処理する処理回路を含む。表示装置１の移動方向を認識できるように、処理回路は、検知素子部の出力を処理し、加速度に比例し、かつ、移動方向に応じた電圧波形を出力する。処理部１０は、加速度センサー１５の出力に基づき、移動方向と加速度を認識する。

衛星からのＧＰＳ信号に基づき、ＧＰＳ信号処理部１６は、表示装置１の現在位置を検知する。ＧＰＳ信号処理部１６は、信号処理回路、メモリー、アンテナを含む。メモリーは、ＧＰＳ信号に基づく位置検知に関するデータやプログラムを記憶する。アンテナは、複数の人工衛星から発信されたそれぞれのＧＰＳ信号を受信する。異なる人工衛星から発信されたＧＰＳ信号に基づき、信号処理回路は複合機１の現在位置を演算で求める。処理部１０は、ＧＰＳ信号処理部１６から表示装置１の現在位置（座標）を示す情報を得る。

（画像形成装置２）
図２を用いて、実施形態に係る画像形成装置２の一例を説明する。図２は、実施形態に係る画像形成装置２の一例を示す図である。

図２に示す画像形成装置２は、複合機である。画像形成装置２はプリンターや複写機のような他の画像形成装置２でもよい。画像形成装置２は、制御部２０、操作パネル２１、画像読取部２２、印刷部２３、通信部２４を含む。

制御部２０は、画像形成装置２の動作を制御する。制御部２０は、ＣＰＵ２０ａ、記憶部２０ｂを含む。記憶部２０ｂは、画像形成装置２を制御するためのデータ、設定、プログラムを記憶する。ＣＰＵ２０ａは、記憶部２０ｂに記憶されるプログラム、データに基づき画像形成装置２を制御する。

原稿を読み取るジョブ（コピーや送信）のとき、制御部２０は、原稿を画像読取部２２に読み取らせる。画像読取部２２は、原稿の画像データを生成する。操作パネル２１は使用者の設定操作を受け付ける。制御部２０は、操作パネル２１と通信し、設定を認識する。使用者の設定に基づき、制御部２０は、画像読取部２２、印刷部２３、通信部２４を動作させる。

印刷部２３は、例えば、給紙部２３ａ、用紙搬送部２３ｂ、画像形成部２３ｃ、中間転写部２３ｄ、定着部２３ｅを含む。印刷を伴うジョブのとき、制御部２０は、印刷部２３に画像データに基づく印刷を実行させる。通信部２４は、無線により、無線通信部１９と通信を行える。また、通信部２４は、ネットワークを介し、コンピューター１００と通信できる。通信部２４は、表示装置１やコンピューター１００から送信された印刷用データを受信する。制御部２０は、受信した印刷用データに基づき、印刷部２３に印刷させる。

（画像形成装置２に関するＡＲ表示の流れ）
図３、図４に基づき、実施形態に係る表示装置１の画像形成装置２に関するＡＲ表示の一例を説明する。図３は、実施形態に係る表示装置１の画像形成装置２に関するＡＲ表示の流れの一例を示すフローチャートである。図４は、実施形態に係る表示装置１の画像形成装置２に関するＡＲ表示の一例を示す図である。

表示装置１は、画像形成装置２に関する付加画像４（ＡＲ画像）を表示する。付加画像表示アプリケーションＡ１を起動することにより、付加画像４の表示を開始することができる。図３のスタートは、付加画像表示アプリケーションＡ１を開始した時点である。本フローは、付加画像表示アプリケーションＡ１が選択されている間、続けられる。付加画像表示アプリケーションＡ１が終了したとき、本フローも終了する。

まず、処理部１０は、撮影を撮像部１４に開始させる（ステップ♯１）。これにより、撮像部１４が動作を開始する。処理部１０は、予め定められた周期（間隔）で、撮影画像３を撮像部１４に生成させる。処理部１０は、予め定められた画素数の撮影画像３を撮像部１４に生成させる。生成された撮影画像３は、記憶部１１に記憶される。

続いて、処理部１０は、撮影画像３の表示をディスプレイ１２に開始させる（ステップ♯２）。新しい撮影画像３が生成されたとき、処理部１０は、表示に用いる撮影画像３を新しいものに切り替える。例えば、処理部１０は、最新の撮影画像３をディスプレイ１２に表示させる。これにより、動画的に撮影画像３がディスプレイ１２に表示される。撮像部１４の撮影範囲、向き、角度とディスプレイ１２に表示される画像がリンクする。

次に、処理部１０は、撮影画像３に特定部位が含まれているか否かを判定する（ステップ♯３）。画像形成装置２のうちの予め定められた部分が特定部位である。言い換えると、特定部位は画像形成装置２の一部である。図４に示すように、例えば、ＤＰ、電源スイッチ２６、用紙カセット２７、前カバー２８（トナーボックス）、操作パネル２１を特定部位とすることができる。

ＤＰは画像読取部２２の一部である。ＤＰは原稿搬送装置２５である。ＤＰはセットされた原稿を読取位置に１枚ずつ搬送する装置である。電源スイッチ２６は主電源を投入するためのスイッチである。用紙カセット２７は給紙部２３ａの一部である。用紙カセット２７は引き出すことができる。用紙カセット２７には用紙がセットされる。前カバー２８内に画像形成部２３ｃに供給するトナーを収容するトナーボックスが収容される。このように、使用者が操作する（メンテナンス作業時に触れる）部分を特定部位とすることができる。

特定部位の認識のため、特定部位ごとにＡＲマーカーが予め付される。ＡＲマーカーは、所定のパターンを持つ図形である。ラベルの貼付、塗装、印刷等、ＡＲマーカーの付し方は問わない。ＡＲマーカーのパターンは、特定部位ごとに異ならせる。処理部１０は、撮影画像３に含まれるＡＲマーカーに基づき、撮影画像３に含まれる特定部位を認識する。複数のＡＲマーカーが撮影画像３に含まれているとき、処理部１０は、複数の特定部位が撮影画像３に含まれていると判定する。撮影画像３に含まれるＡＲマーカーが１つもないとき、処理部１０は、１つも特定部位が撮影画像３に含まれていないと判定する。

なお、処理部１０は、撮影画像３を解析し、撮影画像３に含まれる特定部位を認識してもよい。例えば、記憶部１１に部位特定用データ（不図示）を記憶させる。例えば、部位特定用データには、各特定部位の色、形状などが定義される。この場合、処理部１０は、部位特定用データと撮影画像３を参照する。撮影画像３中の各画素の色、色の領域の形状に着目し、処理部１０は撮影画像３に含まれる特定部位を認識する。

特定部位が含まれないと判定したとき（ステップ♯３のＮｏ）、フローはステップ♯３に戻る。処理部１０は、撮影画像３に特定部位が含まれているか否かの確認を続ける。一方、撮影画像３に特定部位が含まれていると判定したとき（ステップ♯３のＹｅｓ）、処理部１０は、撮影画像３に含まれる特定部位を示す付加画像４を撮影画像３に重ねて表示させる（ステップ♯４）。そして、フローはステップ♯３に戻る。

図４は、画像形成装置２を斜め上方から撮影しているときの表示装置１の一例を示す。また、図４は、付加画像４を重ねた撮影画像３の一例を示す。付加画像４とする画像は適宜定められる。図４に示すように、本説明では、付加画像４は文字列を含む画像である。付加画像４に含まれる文字列は特定部位の名称である。本説明では、付加画像４は枠線なしの透明矩形に文字列を含めた画像である。付加画像４の文字列のデフォルトの色は黒である。また、付加画像４の文字のデフォルトのサイズは、予め定められている。なお、枠線なしの白色矩形に文字列を含めた画像を付加画像４としてもよい。枠線ありの矩形に文字列を含めた画像を付加画像４としてもよい。

処理部１０は、特定部位の近傍に対応する付加画像４をディスプレイ１２に表示させる。付加画像４のデフォルトの表示位置は予め定められる。例えば、処理部１０は、ＡＲマーカーの左右上下の何れかの位置に特定部位に対応する付加画像４を表示パネルに表示させる。図４は特定部位の左側に付加画像４を配置する例を示す。どの位置に付加画像４を表示するかは、特定部位ごとに予め定められてもよい。

（付加画像４の拡大縮小）
次に、図５、図６に基づき、実施形態に係る付加画像４の拡大・縮小の一例を説明する。図５は、実施形態に係る付加画像４の拡大の一例を示す図である。図６は、実施形態に係る付加画像４の縮小の一例を示す図である。

特定部位が撮影されたとき、処理部１０は付加画像４の表示をディスプレイ１２に開始させる。表示された付加画像４が小さいと感じるか、大きいと感じるかは、使用者による。大きさが適切でない付加画像４は、使用者に見づらさを感じさせかねない。そこで、実施形態に係る表示装置１では、付加画像４の拡大、縮小を行えるようにする。図５は付加画像４の拡大例を示す。タッチパネル１３の出力に基づき、処理部１０は拡大操作がなされたことを認識する。拡大操作がなされたとき、処理部１０は拡大操作がなされた付加画像４を拡大操作前よりも大きくする。これにより、見づらさが解消される。

どのような操作を拡大操作と扱うかは、適宜定めることができる。タッチパネル１３は、２点タッチ後、指を広げる操作（ピンチアウト操作）を拡大操作として受け付ける。２点タッチの開始位置のうち、少なくとも１点が付加画像４と重なることが条件とされる。２点タッチ後、タッチ位置の距離が長くなったとき、処理部１０は拡大操作がなされたと認識する。図５の上の図は、拡大操作の一例を示す。図５の下の図は、拡大後の電源スイッチ２６の付加画像４の一例を示す。

処理部１０は、拡大操作がなされた（２点タッチの開始時にタッチされた）付加画像４（文字列）を拡大する。処理部１０は、予め定められた倍率だけ付加画像４を拡大してもよい。この場合、拡大操作を繰り返すことにより、付加画像４を段階的に大きくしてゆくことができる。また、処理部１０は、２点のタッチ位置の距離に応じて倍率を変化させてもよい。例えば、タッチパネル１３の出力に基づき、処理部１０は、２点タッチ終了時の距離と２点タッチ開始時の距離との距離差を求める。距離差が大きいほど、処理部１０は倍率を大きくしてもよい。距離差が小さいほど、処理部１０は倍率を小さくしてもよい。

図６は、付加画像４の縮小例を示す。タッチパネル１３の出力に基づき、処理部１０は縮小操作がなされたことを認識する。縮小操作がなされたとき、処理部１０は、縮小操作がなされた付加画像４を縮小操作前よりも小さくする。これにより、付加画像４を使用者の好みの大きさに調整することができる。

どのような操作を縮小操作と扱うかは、適宜定めることができる。タッチパネル１３は、２点タッチ後、指を狭める操作（ピンチイン操作）を縮小操作として受け付ける。２点タッチの開始位置のうち、少なくとも１点が付加画像４と重なることが条件とされる。２点タッチ後、タッチ位置の距離が狭くなったとき、処理部１０は縮小操作がなされたと認識する。図６の上の図は、縮小操作の一例を示す。図６の下の図は、縮小後の電源スイッチ２６の付加画像４の一例を示す。

処理部１０は、縮小操作がなされた（２点タッチの開始時にタッチされた）付加画像４を縮小する。処理部１０は、予め定められた倍率だけ付加画像４を縮小してもよい。また、処理部１０は、２点のタッチ位置の距離に応じて倍率を変化させてもよい。例えば、タッチパネル１３の出力に基づき、処理部１０は、２点タッチ終了時の距離と２点タッチ開始時の距離との距離差を求める。距離差が小さいほど、処理部１０は倍率を小さくしてもよい。距離差が大きいほど、処理部１０は倍率を大きくしてもよい。

ここで、付加画像４を拡大した場合、撮影画像３の一部が見づらくなる場合がある。そのため、撮影画像３（実際の映像）を認識しづらくなることがある。そこで、処理部１０は、付加画像４の倍率に応じて、付加画像４（文字列）の透明度を変化させる。なお、以下の説明では、付加画像４のデフォルトのサイズを倍率１００％とする。

具体的に、処理部１０は、拡大前よりも拡大後の付加画像４（文字列）の透明度を大きくする（図５の下側の図参照）。また、倍率が大きいほど、処理部１０は、付加画像４の透明度を大きくする。透明度を大きくするとき、処理部１０は、付加画像４の文字の画素のうち、透明化する画素数の割合を多くする。透明化した画素では、処理部１０は撮影画像３を表示させる。これにより、付加画像４（文字列）が透けているように見える。反対に、拡大された付加画像４を縮小する場合、処理部１０は縮小前よりも縮小後の付加画像４（文字列）の透明度を小さくする（図６の下側の図参照）。透明度を小さくするとき、処理部１０は、付加画像４の文字の画素のうち、透明化する画素数の割合を少なくする。

（擦り操作による透明度の変更）
次に、図７に基づき、実施形態に係る擦り操作による透明度の変更の一例を説明する。図７は、実施形態に係る擦り操作による透明度の変更の一例を示す図である。

付加画像４は、撮影画像３中の画像形成装置２と重なる。そのため、撮影画像３中の画像形成装置２の一部が見えづらい場合がある。そこで、擦り操作を行うだけで、一時的に付加画像４の透明度を大きくできるようにする。

図７は、擦り操作による付加画像４の透明度変更の一例を示す。図７の上側の図は、擦り操作の一例を示す。図７の上側の図は、前カバー２８（トナーボックス）の付加画像４に対して擦り操作を行う例を示している。図７の下側の図は、前カバー２８（トナーボックス）の付加画像４を一時的に消去した状態の一例を示す。

擦り操作は、付加画像４を擦る操作である。擦り操作は、タッチしたまま、付加画像４（文字列）上でタッチ位置を往復移動させる操作である。図７の上側の図は、左右方向でタッチ位置を移動させる例を示す。タッチパネル１３の出力に基づき、処理部１０は擦り操作がなされたことを認識する。例えば、付加画像４（文字列）上でタッチ位置の移動方向が所定回数変化したとき、処理部１０は、擦り操作がなされたと認識する。

擦り操作がなされたとき、処理部１０は、擦り操作がなされた付加画像４（文字列）の透明度を擦り操作前よりも大きくする。透明度を大きくするとき、処理部１０は、付加画像４の文字の画素のうち、透明化する画素数の割合を多くする。透明化した画素では、処理部１０は撮影画像３を表示させる。例えば、処理部１０は、擦り操作がなされた付加画像４の透明度を１００％にする。なお、透明度は１００％でなくてもよい。

そして、擦り操作がなされてから予め定められた回復時間が経過したとき、処理部１０は、擦り操作がなされた付加画像４の透明度を擦り操作前に戻す。回復時間は予め定められる。回復時間は、見えづらかった部分を確認できる時間であればよい。回復時間は、例えば、０．５秒から数秒の間の何れかの時間とできる。

（付加画像４の表示位置の自動変更）
次に、図８に基づき、実施形態に係る付加画像４の表示位置の自動変更の一例を説明する。図８は、実施形態に係る付加画像４の表示位置の自動変更の一例を示す図である。

拡大により付加画像４どうしが重なることがある。付加画像４どうしが重なると、見づらい場合がある。見づらくならないように、処理部１０は付加画像４の表示位置を自動的にずらす。図８は、付加画像４の表示位置の自動的な変更の一例を示す。図８の上側の図は、電源スイッチ２６の付加画像４を拡大した直後の状態の一例を示す。図８の下側の図は、付加画像４の表示位置を自動的にずらした状態の一例を示す。

拡大後に付加画像４どうしが重なる場合、処理部１０は、付加画像４どうしが重ならないようにする。処理部１０は、重なった付加画像４のうち、拡大された付加画像４以外の付加画像４の表示位置をずらす。図８の下側の図では、処理部１０が前カバー２８（トナーボックス）の付加画像４を自動的に右方向に移動させている。拡大で付加画像４が重なったとき、未拡大の付加画像４がはじき飛ばされるようにみえる。これにより、見えづらさが解消される。

（付加画像４の透明度変更）
次に、図９、図１０を用いて、実施形態に係る表示装置１でのメニューに基づく表示設定の一例を説明する。図９は、実施形態に係るメニュー画像５の一例を示す図である。図１０は、実施形態に係る透明度設定用のスライドバー６の一例を示す図である。

拡大や縮小と関係なく、付加画像４の透明度を変更できれば便利である。例えば、付加画像４の文字又は撮影画像３が見やすくなるように、各付加画像４の透明度を変更することが考えられる。そこで、表示装置１では、付加画像４（文字列）の透明度を自由に変えることができる。

タッチパネル１３の出力に基づき、処理部１０は透明度設定操作がなされたことを認識する。透明度設定操作がなされたとき、処理部１０は、設定された透明度の付加画像４をディスプレイ１２に表示させる。付加画像４の透明度を設定する場合、使用者はメニュー画像５を表示させる。何れか１つの付加画像４が長押しされたとき、処理部１０は、メニュー画像５をディスプレイ１２に表示させる。

タッチパネル１３の出力に基づき、処理部１０は長押し操作がなされたことを認識する。タッチ検知後、予め定められた長押し時間継続してタッチ位置が動かないとき、処理部１０は、長押し操作がなされたと認識する。また、タッチ位置が微妙に揺れることがある。そのため、タッチ検知後、長押し時間内のタッチ位置の移動量が予め定められた許容範囲のとき、処理部１０は長押し操作がなされたと認識する。

図９は、付加画像４の長押し時に表示されるメニュー画像５の一例を示す。メニュー画像５は、第１透明度設定ボタンＢ１と、第２透明度設定ボタンＢ２を含む。全ての付加画像４（文字列）の透明度を一括して変更するとき、使用者は第１透明度設定ボタンＢ１を操作する。長押しした付加画像４（文字列）の透明度のみを変更するとき、使用者は第２透明度設定ボタンＢ２を操作する。タッチパネル１３の出力に基づき、処理部１０は第１透明度設定ボタンＢ１が操作されたことを認識する。また、タッチパネル１３の出力に基づき、処理部１０は第２透明度設定ボタンＢ２が操作されたことを認識する。

第１透明度設定ボタンＢ１又は第２透明度設定ボタンＢ２が操作されたとき、処理部１０は、透明度設定用のスライドバー６をディスプレイ１２に表示させる。図１０は、ディスプレイ１２に表示されるスライドバー６の一例を示す。スライドバー６は、つまみ画像６１を含む。使用者はつまみ画像６１をタッチしたままスライドさせることにより、透明度を設定できる。処理部１０はつまみ画像６１が操作されたことを認識する。処理部１０はつまみ画像６１のタッチが離された位置に基づき、設定された透明度を認識する。図１０は、透明度が５０％に設定されている状態を示す。

第１透明度設定ボタンＢ１が操作されたとき（全ての付加画像４の透明度を変更する操作がなされているとき）、処理部１０は、全ての付加画像４（文字列）の透明度を設定された透明度に変更する。第２選択ボタンが操作されたとき（１つの付加画像４の透明度を設定する操作がなされているとき）、処理部１０は長押しされた付加画像４の透明度を設定された透明度に変更する。この場合、他の付加画像４の透明度は変更されない。例えば、透明度が５０％に設定されたとき、処理部１０は、付加画像４の文字の画素のうち、５０％を透明化する。例えば、処理部１０は隣り合う２画素のうち、一方を透明化する。透明化した画素では、処理部１０は撮影画像３を表示させる。

（付加画像４の色変更）
次に、図９、図１１を用いて実施形態に係る表示装置１でのメニューに基づく表示設定の一例を説明する。図１１は実施形態に係る色選択用パレット７の一例を示す図である。

付加画像４（文字列）が見づらいため、付加画像４の色を変えたい場合がある。また、付加画像４の色を自分好みの色に変えたい場合もある。そこで、表示装置１では、付加画像４の色を変えることができる。タッチパネル１３の出力に基づき、処理部１０は色選択操作がなされたことを認識する。色選択操作がなされたとき、処理部１０は、選択された色を用いた付加画像４をディスプレイ１２に表示させる。付加画像４の色を選択する場合、使用者はメニュー画像５を表示させる。

図９は、付加画像４を長押しされたときに表示されるメニュー画像５の一例を示す。メニュー画像５は、第１色選択ボタンＢ３と、第２色選択ボタンＢ４を含む。全ての付加画像４（文字列）の色を一括して変更するとき、使用者は第１色選択ボタンＢ３を操作する。長押しした付加画像４（文字列）の色のみを変更するとき、使用者は第２色選択ボタンＢ４を操作する。タッチパネル１３の出力に基づき、処理部１０は第１色選択ボタンＢ３が操作されたことを認識する。また、タッチパネル１３の出力に基づき、処理部１０は第２色選択ボタンＢ４が操作されたことを認識する。

第１色選択ボタンＢ３又は第２色選択ボタンＢ４が操作されたとき、処理部１０は、色選択用パレット７をディスプレイ１２に表示させる。図１１は、ディスプレイ１２に表示される色選択用パレット７の一例を示す。色選択用パレット７は、複数色の色見本画像を含む。処理部１０は、カラーの色見本画像をディスプレイ１２に表示させる。使用者は、何れかの色見本画像をタッチして、色を選択する。タッチパネル１３の出力に基づき、処理部１０は操作された色見本画像を認識する。

第１色選択ボタンＢ３が操作されているとき（全ての付加画像４の色を変更する操作がなされているとき）、処理部１０は、全ての付加画像４（文字列）の色を選択された色に変更する。第２選択ボタンが操作されているとき（１つの付加画像４の色を変更する操作がなされているとき）、処理部１０は、長押しされた付加画像４の色を選択された色に変更する。この場合、他の付加画像４の色は変更されない。例えば、赤色が選択されたとき、処理部１０は、全て又は１つの付加画像４の文字列の色を赤色に変更する。

（付加画像４のピン留め）
次に、図９、図１２を用いて、実施形態に係る表示装置１での目印画像８の一例を説明する。図１２は、実施形態に係る目印画像８の表示開始の一例を示す図である。

表示された付加画像４に目印を付したい場合がある。例えば、注目すべき部分や、後で再確認すべき部分に、目印を付すことができれば便利である。そこで、表示装置１では、付加画像４（文字列）に目印を付すことができる。本説明では、目印を付すことをピン留めと称する場合がある。ピン留め操作がなされたとき、処理部１０は、ピンを示す目印画像８の表示をディスプレイ１２に開始させる。目印画像８を表示させるとき、使用者はメニュー画像５を表示させる。

図９は、付加画像４を長押しされたときに表示されるメニュー画像５の一例を示す。メニュー画像５は、ピン留めボタンＢ５を含む。ピン留めボタンＢ５をタッチする操作がピン留め操作である。タッチパネル１３の出力に基づき、処理部１０はピン留めボタンＢ５が操作されたことを認識する。言い換えると、処理部１０はピン留め操作がなされたことを認識する。処理部１０は、長押しされた付加画像４、かつ、メニュー画像５でピン留め操作がなされた付加画像４をピン留め操作がなされた付加画像４と認識する。以下、ピン留め操作がなされた付加画像４をピン留め付加画像４１と称する。

ピン留めボタンＢ５が操作されたとき、処理部１０はピンを示す目印画像８の表示を開始させる。目印画像８はメモや紙を留めるピンを模した画像である。処理部１０は、ピン留め操作がなされた付加画像４に重なるように、ディスプレイ１２に目印画像８を表示させる。処理部１０は、目印画像８のピンの先端を付加画像４（文字列）の中心に突き刺す。言い換えると、処理部１０は、目印画像８のピンの先端の位置と、付加画像４の中心位置を一致させる。これにより、付加画像４がピン留めされているように見える。

（目印画像８の継続表示）
次に、図１３、図１４に基づき、実施形態に係る目印画像８の継続表示の一例を説明する。図１３は、実施形態に係る目印画像８の継続表示の一例を示す図である。図１４は、実施形態に係るピン留め付加画像４１の一時的な再表示の一例を示す図である。

撮像部１４が撮影した画像がディスプレイ１２に表示される。表示装置１の所持者が移動したとき、撮影画像３は変化する。その結果、ピン留め付加画像４１に対応する特定部位が撮影画像３に含まれなくなる場合がある。撮影画像３内にピン留め付加画像４１に対応する特定部位が含まれなくなったとき、処理部１０はピン留め付加画像４１を表示部から消去させる（図１３参照）。基本的に、処理部１０は、撮影画像３中に認識できなくなった特定部位の付加画像４をディスプレイ１２に表示させない。

一方で、図１３に示すように、処理部１０は、目印画像８をディスプレイ１２に表示させ続ける。つまり、ピン留め付加画像４１に対応する特定部位が撮影画像３内に含まれていなくても、処理部１０は、目印画像８をディスプレイ１２に表示させる。目印画像８の表示位置は、目印画像８の表示開始位置と同じ位置とされる。

目印画像８に対応する付加画像４（ピン留め付加画像４１）を確認したい場合がある。そこで、図１５に示すように、目印画像８が操作（タッチ）されたとき、処理部１０は、操作された目印画像８に対応する付加画像４をディスプレイ１２に一時的に表示させる。図１４は、目印画像８を操作（タッチ）したときに表示される付加画像４（文字列）の一例を示す。処理部１０は、例えば、１〜数秒程度のみ、ピン留め付加画像４１をディスプレイ１２に表示させる。

なお、撮影画像３内にピン留め付加画像４１に対応する特定部位が含まれなくなっても、処理部１０は、目印画像８とともにピン留め付加画像４１をディスプレイ１２に表示させ続けてもよい。

（ピン留めされた特定部位の方向表示）
次に、図１５、図１６を用いて、実施形態に係る表示装置１でのピン留めされた特定部位の方向表示の一例を説明する。図１５、図１６は、実施形態に係る表示装置１でのピン留めされた特定部位の方向表示の一例を示す図である。

使用者の移動に伴い、表示装置１も移動する。処理部１０は、ピン留め付加画像４１に対応する特定部位の方向を示す方向指示画像９をディスプレイ１２に表示させる。撮影画像３内にピン留め付加画像４１に対応する特定部位が含まれないとき、処理部１０は、方向指示画像９を表示させる。

処理部１０は、各撮影画像３に含まれる各特定部位のＡＲマーカーを認識する。例えば、処理部１０は、撮影画像３ごとに、各ＡＲマーカーの中心位置（座標）を記憶部１１に記憶させる。各特定部位のＡＲマーカーの座標の時間的な変化に基づき、処理部１０は、ディスプレイ１２内での各特定部位の移動方向を認識する。移動方向に基づき、処理部１０は、撮影画像３内に含まれなくなった特定部位の方向を認識する。例えば、ある特定部位のＡＲマーカーが左方向に移動して消えたとき、処理部１０は、その特定部位が左方向にあると判定する。この判定に基づき、処理部１０は、ピン留め付加画像４１に対応する特定部位について判定した方向を示す方向指示画像９をディスプレイ１２に表示させる。

図１５は、方向指示画像９の一例を示す。図１５では、処理部１０は、ピン留め付加画像４１に対応する特定部位が右上方向にあると判定している。方向指示画像９は、丸型のアイコンである。処理部１０は、判定している方向を示す矢印をアイコン内に表示させる。図１５は、目印画像８の左側に方向指示画像９を表示する例を示す。処理部１０は、目印画像８の近くに方向指示画像９を表示させる。

ここで、加速度センサー１５の出力（加速度の方向）に基づき、処理部１０は、表示装置１の歩行パターン（移動パターン）を認識してもよい。処理部１０は、ピン留め付加画像４１に対応する特定部位が消えてから現時点までの歩行パターンを認識する。歩行パターンが回り込むようなパターンであるとき、処理部１０は、方向指示画像９としてカーブ状の矢印を表示させてもよい。カーブ状の矢印は、ピン留め付加画像４１に対応する特定部位に到るには、回り込む（迂回する）移動が必要であることを示す。図１６は、カーブ状の矢印を含む方向指示画像９の一例を示す。

（目印画像８の消去操作）
次に、図１７を用いて、実施形態に係る目印画像８を消去操作の一例を説明する。図１７は、実施形態に係る目印画像８の消去操作の一例を示す図である。

使用者は不要な目印画像８を消したい場合がある。言い換えると、ピン留め操作を取り消したい場合がある。そこで、表示装置１では、使用者の操作により、目印画像８の消去を行えるようにする。図１７は、目印画像８の消去例を示す。タッチパネル１３の出力に基づき、処理部１０は、消去操作がなされたことを認識する。消去操作がなされたとき、処理部１０は、消去操作がなされた目印画像８をディスプレイ１２に消去させる。これにより、不要な目印画像８を消すことができる。

どのような操作を消去操作と扱うかは、適宜定めることができる。表示装置１では、処理部１０は、２点タッチ後、目印画像８を挟むように指を狭める操作をし、その後、指をタッチパネル１３から離す操作を消去操作と認識する。つまり、消去操作は、目印画像８をつまんで抜くような操作である。消去操作は、実際にピンを抜く操作に近い。消去操作は、直感的でわかりやすい操作となる。図１７の上の図は、消去操作の一例を示す。図１７の下の図は、目印画像８の消去後の撮影画像３の一例を示す。

（目印画像８の押し込み操作）
次に、図１８を用いて、実施形態に係る目印画像８の押し込み操作の一例を説明する。図１８は、実施形態に係る目印画像８の押し込み操作の一例を示す図である。

重要な用紙やメモを実際にピン留めする場合、人は、ピンを強く押し込む傾向がある。重要な用紙が容易に外れないようにするためである。そこで、表示装置１でもピン留めの強さのレベルを変えられるようにする。図１８は、押し込み操作、及び、ピン留めのレベル変化に基づく目印画像８の変化を示す。タッチパネル１３の出力に基づき、処理部１０は、目印画像８への押し込み操作を認識する。押し込み操作がなされたとき、処理部１０は、押し込み操作がなされた目印画像８を変化させる。処理部１０は、ピン留めの強さのレベルに応じた目印画像８をディスプレイ１２に表示させる。

どのような操作を押し込み操作と扱うかは、適宜定めることができる。表示装置１では、タッチパネル１３は、目印画像８を長押しする操作を押し込み操作として受け付ける。図１８の上の図は、押し込み操作の一例を示す。押し込み操作は、時間をかけて実際のピンを深く差し込む動作に近い。押し込み操作は直感的でわかりやすい操作となる。

以下、押し込み操作前の目印画像８を第１目印画像８１と称する。第１目印画像８１は、ピン留め操作がなされたとき、最初に表示される目印画像８である。また、押し込み操作後の目印画像８を第２目印画像８２と称する。第２目印画像８２は、押し込み操作後、第１目印画像８１の代わりに表示される目印画像８である。

図１８の下の図は、第２目印画像８２の一例を示す。図１８に示すように、処理部１０は、第２目印画像８２のピンの針を示す部分を第１目印画像８１よりも短くしてもよい。これにより、第２目印画像８２は、仮想的に強く押し込まれたように見える。また、処理部１０は、第２目印画像８２のピンの頭を示す部分を第１目印画像８１よりも大きくしてもよい。また、処理部１０は、第２目印画像８２のピンの頭を示す部分の色を第１目印画像８１と変えてもよい。つまり、処理部１０は、第２目印画像８２の形状、大きさ、色の何れか１つ、又は、複数を第１目印画像８１と異ならせる。

（目印画像８の自動消去）
次に、図１９、図２０を用いて、実施形態に係る表示装置１での目印画像８の自動消去の流れの一例を説明する。図１９、図２０は、実施形態に係る表示装置１での目印画像８の自動消去の流れの一例を示すフローチャートである。

不要な目印画像８が多いと、撮影画像３が見づらくなる。そこで、表示装置１では、不要と推定される目印画像８を自動的に消去する。また、目印画像８の重要度（ピン留めの強さのレベル）に応じて、自動的に消去するトリガーを変える。

図１９、図２０のフローチャートは、目印画像８単位で実行される。図１９のフローチャートは、ピン留め操作からの時間に基づき目印画像８を自動的に消去する処理の一例を示す。図２０は、ピン留め操作をした位置からの移動距離に基づき目印画像８を自動的に消去する処理の一例を示す。

まず、図１９のフローチャートを説明する。図１９のフローチャートのスタートは、ピン留め操作がなされた時点である。まず、処理部１０は、ピン留め操作がなされた時点（時間）を記憶部１１に記憶させる（ステップ♯２１）。なお、表示装置１は、日時（時間、時刻）を知るための時計回路（不図示）を含む。処理部１０は、時計回路と通信し、日時を取得する。

次に、処理部１０は、対象とする目印画像８が第１目印画像８１であるか否かを確認する（ステップ♯２２）。目印画像８が第１目印画像８１のとき（第２目印画像８２ではないとき、ステップ♯２２のＹｅｓ）、処理部１０は、ピン留め操作から第１表示期間が経過したか否かを確認する（ステップ♯２３）。第１表示期間が経過していないとき（ステップ♯２３のＮｏ）、フローはステップ♯２２に戻る。一方、第１表示期間が経過しているとき（ステップ♯２３のＹｅｓ）、処理部１０は、当該第１目印画像８１をディスプレイ１２に消去させる（ステップ♯２４）。そして、本フローは終了する（エンド）

目印画像８が第２目印画像８２のとき（第１目印画像８１ではないとき、ステップ♯２２のＮｏ）、処理部１０は、ピン留め操作から第２表示期間が経過したか否かを確認する（ステップ♯２５）。第２表示期間が経過していないとき（ステップ♯２５のＮｏ）、フローはステップ♯２２に戻る。一方、第１表示期間が経過しているとき（ステップ♯２５のＹｅｓ）、処理部１０は、当該第２目印画像８２をディスプレイ１２に消去させる（ステップ♯２６）。そして、本フローは終了する（エンド）

ここで、第１表示期間と第２表示期間は予め定められる。タッチパネル１３は第１表示期間と第２表示期間の設定を受け付けてもよい。しかし、第１表示期間は、第２表示期間よりも短くされる。これにより、第２目印画像８２の表示期間は、第１目印画像８１の表示期間よりも長くなる。ピン留めの強さのレベルが大きいほど、自動的に消去されにくくなる。

次に、図２０のフローチャートを説明する。図１９のフローチャートのスタートは、ピン留め操作がなされた時点である。まず、処理部１０は、ピン留め操作がなされた位置（座標）を記憶部１１に記憶させる（ステップ♯３１）。図１に示すように、処理部１０は、ＧＰＳ信号処理部１６を含む。処理部１０はＧＰＳ信号処理部１６を動作させる。処理部１０はＧＰＳ信号処理部１６により検知された位置（座標）を取得する。処理部１０は取得した位置を記憶部１１に記憶させる。

次に、処理部１０は、対象とする目印画像８が第１目印画像８１であるか否かを確認する（ステップ♯３２）。目印画像８が第１目印画像８１のとき（第２目印画像８２ではないとき、ステップ♯３２のＹｅｓ）、処理部１０は、ピン留め操作がなされた位置と現在位置との距離が第１消去距離以上であるか否かを確認する（ステップ♯３３）。第１消去距離未満のとき（ステップ♯３３のＮｏ）、フローはステップ♯３２に戻る。一方、第１消去距離以上のとき（ステップ♯３３のＹｅｓ）、処理部１０は、当該第１目印画像８１をディスプレイ１２に消去させる（ステップ♯３４）。そして、本フローは終了する（エンド）

目印画像８が第２目印画像８２のとき（第１目印画像８１ではないとき、ステップ♯３２のＮｏ）、処理部１０は、ピン留め操作がなされた位置と現在位置との距離が第２消去距離以上であるか否かを確認する（ステップ♯３５）。第２消去距離未満のとき（ステップ♯３５のＮｏ）、フローはステップ♯３２に戻る。一方、第２消去距離以上のとき（ステップ♯３５のＹｅｓ）、処理部１０は、当該第２目印画像８２をディスプレイ１２に消去させる（ステップ♯３６）。そして、本フローは終了する（エンド）

ここで、第１消去距離と第２消去距離は予め定められる。タッチパネル１３は第１消去距離と第２消去距離の設定を受け付けてもよい。第１消去距離は、第２消去距離よりも短くされる。ピン留めの強さのレベルが大きいほど、自動的に消去されにくくする。

（表示のリセット）
次に、図２１を用いて、実施形態に係る表示装置１での表示のリセットの一例を説明する。図２１は、実施形態に係る表示装置１での表示のリセットの一例を示すフローチャートである。

表示装置１では、付加画像４の拡大、縮小、透明度の変更、表示位置の変更、色変更、目印画像８の付加、目印画像８の押し込みの強さのレベルの変更等が可能である。操作ミスの結果、ディスプレイ１２の表示をリセットしたい場合がある。そこで、表示装置１では、表示をリセットできるようにする。表示装置１では、表示装置１を振る動作がリセット操作とされる。加速度センサー１５の出力に基づき、処理部１０は表示装置１が振られたことを認識する。つまり、処理部１０はリセット操作がなされたことを認識できる。

図２１のスタートは、付加画像表示アプリケーションＡ１が起動した時点である。加速度センサー１５の出力に基づき、処理部１０は、リセット条件が満たされたか否かを確認する（ステップ♯４１）。リセット条件のうち、１つは、リセット操作がなされたことである。さらに、他のリセット条件は、予め定められた閾値時間内に予め定められた閾値回数以上、リセット操作がなされたことである。

閾値回数は複数である。表示装置１を軽く振ったり、表示装置１を偶然振ったりしても、リセットしないようにするためである。閾値時間は適宜定められる。例えば、閾値時間は、１〜複数秒とすることができる。例えば、閾値回数が４回、閾値時間が４秒の場合、４秒以内に４回以上のリセット操作を認識したとき、処理部１０は、リセット条件が満たされたと認識する。なお、リセット条件は、１回のリセット操作がなされたことのみとしてもよい。この場合、１回表示装置１を振るだけで、表示をリセットすることができる。

リセット条件が満たされるまで、処理部１０は、周期的にステップ♯４１を実行する（ステップ♯４１のＮｏ→ステップ♯４１）。リセット条件が満たされたとき、処理部１０はリセット処理を実行する（ステップ♯４２）。ステップ♯４２の後、フローはステップ♯４１に戻る。本フローは、付加画像表示アプリケーションＡ１の実行中、継続して実行される。本フローは、付加画像表示アプリケーションＡ１の終了とともに終了する。

リセット処理は、全ての付加画像４をデフォルトの状態に戻す処理である。リセット処理により、処理部１０は、ディスプレイ１２に表示する付加画像４をデフォルト状態で表示させる。具体的に、処理部１０は、全ての付加画像４のサイズをデフォルトのサイズに戻す。リセット条件が満たされたとき、処理部１０は、デフォルトのサイズの付加画像４をディスプレイ１２に表示させる。また、処理部１０は、全ての付加画像４（文字列）の表示色をデフォルトの色に戻す。リセット条件が満たされたとき、処理部１０は、デフォルトの透明度の付加画像４をディスプレイ１２に表示させる。

また、処理部１０は、全ての付加画像４（文字列）の透明度をデフォルトの透明度に戻す。リセット条件が満たされたとき、処理部１０は、デフォルトの透明度の文字列を含む付加画像４をディスプレイ１２に表示させる。また、処理部１０は、全ての目印画像８を消す。リセット条件が満たされたとき、処理部１０は、全ての目印画像８をディスプレイ１２に表示させない。

（回転操作時の表示の変化）
次に、図２２〜図２５に基づき、実施形態に係る回転操作時の表示の変化の一例を説明する。図２２〜図２５は実施形態に係る回転操作時の表示の変化の一例を示す図である。

付加画像４の領域外への２点タッチ後、回転操作がなされたとき、処理部１０は、表示を変化させる。タッチパネル１３の出力に基づき、処理部１０は、付加画像４の領域外への２点タッチを認識する。付加画像４の領域外への２点タッチとは、どの付加画像４（文字列）と重ならない２点のタッチである。表示装置１では、付加画像４の領域外への２点タッチ後、２点タッチを維持しつつ、コンパスのように一方のタッチ位置を移動させる（回転させる）操作が回転操作とされる。

タッチパネル１３の出力に基づき、処理部１０は、２点のうち一方のタッチ位置の移動を認識する。また、処理部１０は、他方のタッチ位置の移動距離が許容範囲内であることを認識する。言い換えると、処理部１０は、他方のタッチ位置がほとんど移動していないことを認識する。なお、他種の操作を回転操作と扱ってもよい。

また、一方のタッチ位置の移動方向に基づき、処理部１０は、第１方向への回転操作がなされたか、第２方向への回転操作がなされたかを認識する。本説明では、第１方向は時計方向である。また、第２方向は反時計方向である。なお、第１方向を反時計方向とし、第２方向を時計方向としてもよい。処理部１０は、どちらの方向への回転操作かを判別する。

（１）２点タッチのうち、下側のタッチ位置が固定され、上側のタッチ位置が移動している場合。
上側のタッチ位置が右方向に移動しているとき、処理部１０は、第１方向（時計方向）への回転操作と認識する。上側のタッチ位置が左方向に移動しているとき、処理部１０は、第２方向（反時計方向）への回転操作と認識する。

（２）２点タッチのうち、上側のタッチ位置が固定され、下側のタッチ位置が移動している場合。
下側のタッチ位置が左方向に移動しているとき、処理部１０は、第１方向（時計方向）への回転操作と認識する。下側のタッチ位置が右方向に移動しているとき、処理部１０は、第２方向（反時計方向）への回転操作と認識する。

回転操作がなされたときの表示手法として、３つの手法（第１手法、第２手法、第３手法）が用意される。どの表示手法を用いるかは、タッチパネル１３への操作により、選択することができる。回転操作がなされたとき、処理部１０は、選択された手法に応じた表示をディスプレイ１２に行わせる。

＜第１手法＞
図２２、図２３を用いて第１手法が選択されている場合を説明する。この場合、付加画像４の領域外への２点タッチ後、一方のタッチ位置を第１方向に移動させる回転操作がなされたとき、処理部１０はディスプレイ１２の中心から離れる方向に付加画像４の表示位置を移動させる。図２２は、第１手法選択時に第１方向への回転操作を行ったときの表示の変化の一例を示す。図２２の上側の図は、第１方向（時計方向）への回転操作の一例を示す。図２２の上側の図は右手の人差し指と親指で２点タッチしている状態を示す。さらに、親指を固定しつつ、人差し指を移動させている状態を示す。

図２２の下側の図は、第１方向への回転操作に応じた付加画像４の移動後の状態の一例を示す。各付加画像４の移動方向の一例を破線矢印で示している。図２２の下側の図に示すように、処理部１０は、ディスプレイ１２の中心から離れる方向に各付加画像４の表示位置を移動させる。これにより、中心から弾き飛ばすように、各付加画像４を移動させることができる。

付加画像４の領域外への２点タッチ後、一方のタッチ位置を第２方向に移動させる回転操作がなされたとき、処理部１０はディスプレイ１２の中心に近づく方向に付加画像４の表示位置を移動させる。図２３は、第１手法選択時に第２方向への回転操作を行ったときの表示の変化の一例を示す。図２３の上側の図は、第２方向（反時計方向）への回転操作の一例を示す。図２３の上側の図は、右手の人差し指と親指で２点タッチしている状態を示す。また、親指を固定しつつ、人差し指を移動させている状態を示す。

図２３の下側の図は、第２方向への回転操作に応じた付加画像４の移動後の状態の一例を示す。各付加画像４の移動方向の一例を破線矢印で示している。図２３の下側の図に示すように、処理部１０は、ディスプレイ１２の中心に近づく方向に各付加画像４の表示位置を移動させる。これにより、各付加画像４を集結させることができる。

＜第２手法＞
図２４を用いて第２手法を説明する。第２手法が選択されている場合、回転操作に応じて、拡大表示する付加画像４（文字列）を順に切り替えることができる。

第２手法選択時、処理部１０は表示されている各付加画像４に番号を付与する。例えば、処理部１０は、画面の右半分に含まれる付加画像４を抽出する。そして、処理部１０は、抽出した付加画像４の上から順に番号を付与する。次に、処理部１０は、画面の左半分に含まれる付加画像４を抽出する。そして、処理部１０は、抽出した付加画像４の下から順に番号を付与する。図２４の画面の場合、１番は操作パネル２１の付加画像４、２番は用紙カセット２７の付加画像４、３番は前カバー２８（トナーボックス）の付加画像４、４番は電源スイッチ２６の付加画像４、５番はＤＰの付加画像４となる。番号の付与方法は、上記に限られない。

付加画像４の領域外への２点タッチがなされたとき、処理部１０は、１番の番号に対応する付加画像４（文字列）を拡大させる。ディスプレイ１２は、１番の番号に対応する付加画像４を拡大表示する。図２４の上側の図は、付加画像４の領域外への２点タッチ直後のディスプレイ１２の表示の一例を示す。図２４の上側の図では、１番の番号に対応する操作パネル２１の付加画像４が拡大されている。

２点タッチ後、一方のタッチ位置を第１方向に移動させる回転操作がなされたとき、処理部１０は、一方のタッチ位置が所定量移動するごとに、番号の順番に沿って拡大表示する付加画像４をディスプレイ１２に切り換えさせる。２点タッチ後、第２方向に一方のタッチ位置を移動させる回転操作がなされたとき、処理部１０は、一方のタッチ位置が所定量移動するごとに、番号の逆順で拡大表示する付加画像４を切り換える。

図２４の下側の図は、第１方向又は第２方向への回転操作により、拡大表示される付加画像４が、用紙カセット２７の文字列を含む付加画像４に切り替わった状態を示す。２点タッチ後、一方の指を移動させるだけで、拡大する付加画像４を切り替えることができる。タッチ位置の移動に応じて、拡大される付加画像４はルーレットのように切り替えられる。そして、２点ともにタッチパネル１３から離れたとき、処理部１０は、２点が離れた時点で拡大表示していた付加画像４の拡大表示をディスプレイ１２に継続させる。

＜第３手法＞
図２５を用いて、第３手法を説明する。第３手法が選択されている場合、回転操作に応じて、付加画像４（文字列）の色を切り替えることができる。

第３手法選択時、付加画像４の領域外への２点タッチ後、一方のタッチ位置を移動させる回転操作がなされたとき、処理部１０は、一方のタッチ位置が所定量移動するごとに、各付加画像４（文字列）の色をディスプレイ１２に切り換えさせる。第３手法では、回転方向は問われない。図２５の上側の図は、付加画像４の色の変更前の状態の一例を示す。図２５の下側の図は、回転操作により各付加画像４の色の変更後の状態の一例を示す。

変えられる色は予め定められる。色の変化順も予め定められる。例えば、一方のタッチ位置を移動させると、色相環に沿って付加画像４の色が変化する。そして、２点ともにタッチパネル１３から離れたとき、処理部１０は、２点が離れた時点の表示色で、付加画像４を表示させる。例えば、付加画像４（文字色）が赤色のときに全ての指をタッチパネル１３から離した場合、以後、処理部１０は、赤色の付加画像４をディスプレイ１２に表示させる。

このようにして、実施形態に係る表示装置１は、撮像部１４、表示部（ディスプレイ１２）、操作部（タッチパネル１３）、処理部１０を含む。表示部は、撮像部１４の撮像により得られた撮影画像３を表示する。操作部は、使用者の操作を受け付ける。処理部１０は、操作部の出力に基づき操作内容を認識する。処理部１０は、表示部の表示を制御する。処理部１０は撮影画像３に含まれる特定部位を認識する。処理部１０は特定部位を示す付加画像４を撮影画像３に重ねて表示部に表示させる。付加画像４への拡大操作がなされたとき、処理部１０は、拡大操作がなされた付加画像４を拡大操作前よりも拡大する。付加画像４への縮小操作がなされたとき、処理部１０は、縮小操作がなされた付加画像４を縮小操作前よりも小さくする。

これにより、付加画像４の大きさを自由に変更することができる。所望する大きさの付加画像４を表示させることができる。付加画像４を好みのサイズに変更することができる。使用者の使い勝手のよい表示装置１を提供することができる。表示される付加画像４が快適な表示装置１を提供することができる。

また、拡大により付加画像４どうしが重なる場合、処理部１０は、拡大された付加画像４と重なる他の付加画像４の表示位置をずらす。これにより、付加画像４どうしが重なることにより、画面が見づらくなることを防ぐことができる。

付加画像４は、撮影画像３の上側に重ねられる。付加画像４が大きいほど、隠される撮影画像３の面積は広くなる。そこで、処理部１０は、拡大前よりも拡大後の付加画像４の透明度を大きくし、縮小前よりも縮小後の付加画像４の透明度を小さくする。これにより、付加画像４を拡大したとき、付加画像４の透明度を自動的に大きくすることができる。拡大された付加画像４により撮影画像３が見えづらくなることを防ぐことができる。

また、透明度設定操作がなされたとき、処理部１０は、透明度設定操作がなされた付加画像４を、透明度設定操作で設定された透明度で表示させる。これにより、付加画像４の透明度を設定することができる。所望する透明度の付加画像４を表示させることができる。付加画像４の透明度を好みの値に変更することができる。使用者の使い勝手のよい表示装置１を提供することができる。表示される付加画像４が快適な表示装置１を提供することができる。

また、付加画像４を擦る擦り操作がなされたとき、処理部１０は、擦り操作がなされた付加画像４の透明度を大きくする。擦り操作がなされてから予め定められた回復時間が経過したとき、処理部１０は、擦り操作がなされた付加画像４の透明度を擦り操作前に戻す。これにより、一時的に付加画像４の透明度を高めることができる。使用者は、擦る操作を行うだけでよい。擦るだけで付加画像４の下側の撮影画像３を確認することができる。また、透明度は自動的に戻るので、付加画像４の透明度を戻す操作を行う必要がない。

また、色を選択する操作がなされたとき、処理部１０は、選択された色を用いた付加画像４を表示部に表示させる。これにより、付加画像４の色を設定することができる。所望する色の付加画像４を表示させることができる。付加画像４を好みの色に変更することができる。使用者の使い勝手のよい表示装置１を提供することができる。快適な表示装置１を提供することができる。

また、全ての付加画像４の色を変更する操作がなされたとき、処理部１０は、全ての付加画像４を選択された色に変更し、１つの付加画像４の色を変更する操作がなされたとき、処理部１０は、選択された付加画像４の色を選択された色に変更する。これにより、全ての付加画像４の色を一気に変更することができる。また、一部の付加画像４のみの色を変更することもできる。

また、画像形成装置２は、表示装置１を振る操作であるリセット操作を検知するリセット検知部（加速度センサー１５）を含む。処理部１０は、リセット検知部の出力に基づきリセット操作がなされたことを認識する。リセット操作がなされたとき、処理部１０は、付加画像４のサイズ、表示色、透明度の何れか１つをデフォルトに戻すリセット処理を行う。リセット操作は表示装置１を振る操作である。これにより、表示装置１を振るだけで、表示をリセットすることができる。

また、処理部１０は、予め定められたリセット条件が満たされたとき、リセット処理を行う。処理部１０は、予め定められたリセット条件が満たされないとき、リセット処理を行わない。リセット条件は、予め定められた閾値時間内に予め定められた閾値回数以上、リセット操作がなされたことである。これにより、意図しないリセットを防ぐことができる。

また、処理部１０は、表示装置１の振り幅（振るジェスチャーの大きさ）に基づき、リセットを行うか否かを判定してもよい。例えば、大きく表示装置１が振られたことをリセット条件としてもよい。この場合、処理部１０は、加速度センサー１５の出力を監視する。大きく表示装置１を振るとき、表示装置１を動かす（振る）時間は長くなる。また、大きく表示装置１を振るとき、表示装置１はある程度、勢いよく振られる。そこで、処理部１０は、加速度センサー１５が予め定められた持続時間以上継続して、一定値以上の加速度を検知したとき、大きく表示装置１が振られたと認識する。この場合、処理部１０は、リセット条件が満たされたと認識してもよい。

また、操作部は、タッチパネル１３である。２点タッチ後、一方のタッチ位置を予め定められた第１方向に移動させる回転操作がなされたとき、処理部１０は、表示部の中心から離れる方向に付加画像４の表示位置を移動させてもよい。２点タッチ後、第１方向と反対方向である第２方向に一方のタッチ位置を移動させる回転操作がなされたとき、処理部１０は表示部の中心に近づく方向に付加画像４の表示位置を移動させてもよい。これにより、付加画像４の表示位置を容易にずらすことができる。第１回転操作により、画面の端に寄るように付加画像４の表示位置をずらすことができる。第２回転操作により、画面の中心に寄るように付加画像４の表示位置をずらすことができる。

また、処理部１０は、表示されている各付加画像４に番号を付与する。２点タッチ後、一方のタッチ位置を予め定められた第１方向に移動させる回転操作がなされたとき、処理部１０は、一方のタッチ位置が所定量移動するごとに、番号の順番に沿って拡大表示する付加画像４をディスプレイ１２に切り換えさせてもよい。２点タッチ後、第１方向と反対方向である第２方向に一方のタッチ位置を移動させる回転操作がなされたとき、処理部１０は、一方のタッチ位置が所定量移動するごとに、番号の逆順で拡大表示する付加画像４を切り換えてもよい。２点ともにタッチパネル１３から離れたとき、処理部１０は、２点が離れた時点で拡大表示していた付加画像４の拡大表示を表示部に継続させてもよい。これにより、回転操作を行うだけで、拡大する付加画像４を容易に切り替えることができる。拡大する付加画像４を容易に選択することができる。

２点タッチ後、一方のタッチ位置を移動させる回転操作がなされたとき、処理部１０はタッチ位置の移動量に応じて付加画像４の表示色を切り換えさせてもよい。２点ともにタッチパネル１３から離れたとき、処理部１０は、２点が離れた時点の表示色で、付加画像４を表示させてもよい。これにより、付加画像４の色を容易に変更することができる。

また、処理部１０は、特定部位を示す付加画像４を撮影画像３に重ねて表示部に表示させる。付加画像４へのピン留め操作がなされた場合、処理部１０は、ピン留め操作がなされた付加画像４であるピン留め付加画像４１に重ねて、ピンを示す目印画像８の表示を開始させる。ピン留め付加画像４１に対応する特定部位が撮影画像３内に含まれていなくても、処理部１０は、目印画像８の表示開始位置と同じ位置に目印画像８を表示させるともに、目印画像８に対応するピン留め付加画像４１を表示部に表示させる。

これにより、ピン留め操作した付加画像４（ピン留め付加画像４１）は、ピン留めされたように表示される。使用者が注目した付加画像４に目印を付すことができる。同じ位置に目印画像８が表示され続ける。従って、注目した付加画像４の目印を表示させ続けることができる。また、ピン留め付加画像４１に対応する特定部位が撮影画像３内に含まれなくても、目印画像８とピン留め付加画像４１を表示することができる。

また、撮影画像３内にピン留め付加画像４１に対応する特定部位が含まれなくなったとき、処理部１０は、ピン留め付加画像４１を表示部から消去させる。撮影画像３内にピン留め付加画像４１に対応する特定部位が含まれていない状態で目印画像８が操作されたとき、処理部１０は、一時的に目印画像８に対応するピン留め付加画像４１を表示部に表示させる。これにより、ピン留め付加画像４１に対応する特定部位が撮影画像３内に含まれていないとき、使用者が希望するときだけ、ピン留め付加画像４１を表示させることができる。一時的に表示されたピン留め付加画像４１はやがて消える。従って、ピン留め付加画像４１により撮影画像３が見えづらくなることを防ぐことができる。

また、処理部１０は、撮影画像３内に前記ピン留め付加画像４１に対応する特定部位が含まれないとき、ピン留め付加画像４１に対応する特定部位の方向を示す方向指示画像９を表示部に表示させる。これにより、ピン留め付加画像４１に対応する特定部位の方向を使用者に示すことができる。ピン留め付加画像４１に対応する特定部位の位置を使用者に示すことができる。

また、表示装置１は、表示装置１を振る操作であるリセット操作を検知するリセット検知部を含む。処理部１０は、リセット検知部の出力に基づきリセット操作がなされたことを認識しすめ。リセット操作がなされたとき、処理部１０は目印画像８を表示部から消去させる。これにより、表示装置１を振るだけで、表示をリセットすることができる。

また、目印画像８の消去操作がなされたとき、処理部１０は、消去操作がなされた目印画像８を表示部から消去させる。これにより、消去操作を行うだけで、目印画像８を消すことができる。また、ピン留め付加画像４１を通常の付加画像４に戻すことができる。

また、消去操作は、表示された目印画像８をつまむ操作をした後、指をタッチパネル１３から離す操作である。これにより、ピンを抜くような操作を消去操作とすることができる。消去操作を直観的でわかりやすい操作とすることができる。

また、ピン留め操作がなされたとき、処理部１０は、目印画像８として第１目印画像８１を表示部に表示させる。第１目印画像８１を押し込むための押し込み操作なされたとき、処理部１０は、第１目印画像８１の代わりに第２目印画像８２を表示部に表示させる。第２目印画像８２と第１目印画像８１は、形状、大きさ、色の何れか１つ、又は、複数が異なる。これにより、ピンの押し込みの程度に応じた目印画像８を表示させることができる。例えば、使用者は、重要度が高いと思う目印画像８（付加画像４）については、押し込み操作を行う。第２目印画像８２は、第１目印画像８１よりも強く押し込まれたピンを示す。付加画像４の重要度に応じて、目印画像８の種類を異ならせることができる。言い換えると、付加画像４の重要度に応じた目印画像８を表示させることができる。

また、ピン留め操作がなされてから予め定められた第１表示期間が経過したとき、処理部１０は、第１目印画像８１を表示部から消去させる。ピン留め操作がなされてから予め定められた第２表示期間が経過したとき、処理部１０は、第２目印画像８２の表示を表示部から消去させる。第１表示期間は、第２表示期間よりも短い。これにより、第２目印画像８２が表示される時間を、第１目印画像８１が表示される時間よりも長くすることができる。

また、表示装置１は、位置を検知する位置検知部（ＧＰＳ信号処理部１６）を含む。処理部１０は、移動検知部の出力に基づき、ピン留め操作がなされた位置と現在位置との距離を認識する。ピン留め操作がなされた位置と現在位置との距離が第１消去距離以上になったとき、処理部１０は、第１目印画像８１を表示部から消去させる。ピン留め操作がなされた位置と現在位置との距離が第２消去距離以上になったとき、処理部１０は、第２目印画像８２を表示部から消去させる。第１消去距離は、第２消去距離よりも短い。これにより、第２目印画像８２を、第１目印画像８１よりも消えにくくすることができる。

又、本発明の実施形態を説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実施することができる。

本発明は、撮像部を含む表示装置に利用可能である。

１ 表示装置 １０ 処理部
１２ ディスプレイ（表示部） １３ タッチパネル（操作部）
１４ 撮像部 １５ 加速度センサー（リセット検知部）
１６ ＧＰＳ信号処理部（位置検知部） ３ 撮影画像
４ 付加画像 ４１ ピン留め付加画像
８ 目印画像 ８１ 第１目印画像（目印画像）
８２ 第２目印画像（目印画像） ９ 方向指示画像

Claims (9)

1. 撮像部と、
   前記撮像部の撮像により得られた撮影画像を表示する表示部と、
   使用者の操作を受け付ける操作部と、
   前記操作部の出力に基づき操作内容を認識し、
   前記表示部の表示を制御し、
   前記撮影画像に含まれる特定部位を認識し、
   前記特定部位を示す付加画像を前記撮影画像に重ねて前記表示部に表示させ、
   前記付加画像へのピン留め操作がなされた場合、
   前記ピン留め操作がなされた前記付加画像であるピン留め付加画像に重ねて、ピンを示す目印画像の表示を開始させ、
   前記ピン留め付加画像に対応する前記特定部位が前記撮影画像内に含まれていなくても、前記目印画像の表示開始位置と同じ位置に前記目印画像を表示させるともに、前記目印画像に対応する前記ピン留め付加画像を前記表示部に表示させる処理部と、を含むことを特徴とする表示装置。
2. 前記撮影画像内に前記ピン留め付加画像に対応する前記特定部位が含まれなくなったとき、
   前記処理部は、前記ピン留め付加画像を前記表示部から消去させ、
   前記撮影画像内に前記ピン留め付加画像に対応する前記特定部位が含まれていない状態で前記目印画像が操作されたとき、
   前記処理部は、一時的に前記目印画像に対応する前記ピン留め付加画像を前記表示部に表示させることを特徴とする請求項１に記載の表示装置。
3. 前記処理部は、
   前記撮影画像内に前記ピン留め付加画像に対応する前記特定部位が含まれないとき、
   前記ピン留め付加画像に対応する前記特定部位の方向を示す方向指示画像を前記表示部に表示させることを特徴とする請求項１又は２に記載の表示装置。
4. 表示装置を振る操作であるリセット操作を検知するリセット検知部を含み、
   前記処理部は、
   前記リセット検知部の出力に基づき前記リセット操作がなされたことを認識し、
   前記リセット操作がなされたとき、前記目印画像を前記表示部から消去させることを特徴とする請求項３に記載の表示装置。
5. 前記目印画像の消去操作がなされたとき、
   前記処理部は、前記消去操作がなされた前記目印画像を前記表示部から消去させることを特徴とする請求項１乃至４の何れか１項に記載の表示装置。
6. 前記操作部は、タッチパネルであり、
   前記消去操作は、表示された前記目印画像をつまむ操作をした後、指を前記タッチパネルから離す操作であることを特徴とする請求項５に記載の表示装置。
7. 前記ピン留め操作がなされたとき、
   前記処理部は、前記目印画像として第１目印画像を前記表示部に表示させ、
   前記第１目印画像を押し込むための押し込み操作なされたとき、
   前記処理部は、
   前記第１目印画像の代わりに第２目印画像を前記表示部に表示させ、
   前記第２目印画像と前記第１目印画像は、形状、大きさ、色の何れか１つ、又は、複数が異なることを特徴とする請求項１乃至６の何れか１項に記載の表示装置。
8. 前記ピン留め操作がなされてから予め定められた第１表示期間が経過したとき、
   前記処理部は、前記第１目印画像を前記表示部から消去させ、
   前記ピン留め操作がなされてから予め定められた第２表示期間が経過したとき、
   前記処理部は、前記第２目印画像の表示を前記表示部から消去させ、
   前記第１表示期間は、前記第２表示期間よりも短いことを特徴とする請求項７に記載の表示装置。
9. 位置を検知する位置検知部を含み、
   前記処理部は、
   前記移動検知部の出力に基づき、前記ピン留め操作がなされた位置と現在位置との距離を認識し、
   前記ピン留め操作がなされた位置と前記現在位置との距離が第１消去距離以上になったとき、前記第１目印画像を前記表示部から消去させ、
   前記ピン留め操作がなされた位置と前記現在位置との距離が第２消去距離以上になったとき、前記第２目印画像を前記表示部から消去させ、
   前記第１消去距離は、前記第２消去距離よりも短いことを特徴とする請求項７又は８に記載の表示装置。