JP2018180091A - 表示装置 - Google Patents

Abstract

【課題】不要な手の映り込みを消し、見やすく、わかりやすい作業案内を表示できるようにする。
【解決手段】表示装置は、撮像部と、撮影画像と付加画像を撮影画像に重ねて表示する表示部と、作業での操作対象が撮影画像に含まれているか否かを判定し、操作対象が撮影画像に含まれているとき、作業を案内する付加画像を表示部に表示させ、付加画像を表示部に表示させるとき、撮影画像のうち、人の手を表示する第１領域と、手を表示しない第２領域を設定し、第１領域に映り込んだ手をそのまま表示させ、第２領域内に映り込んだ手を表示させない処理部と、を含む。
【選択図】図５

Description

本発明は、撮像（カメラ）により得られた撮影画像と、撮影画像に他の画像を重ねて表示する表示装置に関する。

実際の撮影画像に、電子情報を重ねて表示することがある。このような技術は、拡張現実（ＡＲ）と称されることがある。拡張現実の技術を利用して、使用者の案内を行うことがある。特許文献１には、画像形成装置でジャム（紙詰まり）が発生したとき、拡張現実によりジャム解除作業の案内をする技術の一例が記載されている。

具体的に、特許文献１には、用紙搬送を行う搬送路を有し、搬送路でのジャム発生を検知し、搬送路における用紙を検知し、撮像機能を有する携帯端末装置と通信を行い、ジャム発生時に検知センサの検知によりジャムの発生箇所を予測し、予測箇所を撮影するための撮影案内を携帯端末装置に対して行い、撮影案内に基づき携帯端末装置で撮影された撮影画像を取得して画像解析を行ってジャム状態を判別し、判別結果に基づき、ジャムの解除操作を案内するための案内画像を生成し、携帯端末装置において表示される撮影画像に案内画像を重ね合わせて表示させる画像形成装置が記載されている。この構成により、ジャムを解除する適切な操作をユーザーに案内しようとする（特許文献１：請求項１、段落［００１０］等参照）。

特開２０１３−２０５４２５号公報

拡張現実の表示では、実際の撮影画像が表示される。そのため、使用者が理解しやすいという利点がある。拡張現実を利用することにより、わかりやすく作業の案内（作業説明）を表示できる場合がある。しかし、作業案内を表示する場合、操作部分が写るように撮影される。作業者は、作業の際、操作部分に触れる。そのため、撮影画像に作業者の手が撮影画像（画面）に映り込むことがある。撮影画像への作業者の手の映り込みは、作業者の理解を妨げる場合があるという問題がある。

ここで、特許文献１記載の技術によれば、携帯端末装置は、撮影画像に案内画像を重ね合わせて表示する。しかし、作業者の手の映り込みに関する記載はない。従って、上記の問題を解決できない。

本発明は、上記従来技術の問題点に鑑み、不要な手の映り込みを消し、見やすく、わかりやすい作業案内を表示できるようにする。

上記課題解決のため請求項１に係る表示装置は、撮像部、表示部、処理部を含む。前記表示部は、前記撮像部の撮像により得られた撮影画像と、予め定められた付加画像と、を重ねて表示する。前記処理部は、画像形成装置のうち、作業での操作対象が前記撮影画像に含まれているか否かを判定する。前記操作対象が前記撮影画像に含まれているとき、前記処理部は、作業を案内する前記付加画像を前記表示部に表示させる。前記付加画像を前記表示部に表示させるとき、前記処理部は、前記撮影画像のうち、人の手を表示する第１領域と、手を表示しない第２領域を設定する。前記処理部は前記第１領域に映り込んだ手をそのまま表示させる。前記処理部は前記第２領域内に映り込んだ手を表示させない。

本発明によれば、付加画像と撮影画像を重ねた作業案内から不要な手の映り込みを消すことができる。見やすい作業案内を表示することができる。わかりやすい作業案内を表示することができる。

実施形態に係る表示装置の一例を示す図である。 実施形態に係る画像形成装置の一例を示す図である。 実施形態に係る表示装置での作業案内の表示の一例を示す図である。 実施形態に係る表示装置での作業案内の表示の一例を示す図である。 実施形態に係る表示装置での作業案内の表示の流れの一例を示すフローチャートである。

以下、図１〜図５を用いて、本発明の実施形態を説明する。そして、本説明での表示装置１は、携帯型のものである。但し、本実施の形態に記載されている構成、配置等の各要素は、発明の範囲を限定するものではなく単なる説明例にすぎない。

（表示装置１）
図１を用いて、実施形態に係る表示装置１の一例を説明する。図１は、実施形態に係る表示装置１の一例を示す図である。

表示装置１として、スマートフォンを用いることができる。以下の説明では、スマートフォンを表示装置１として用いる例を説明する。なお、表示装置１は、スマートフォンに限られない。表示装置１はタブレット型コンピューターでもよい。また、表示装置１は、ヘッドマウントディスプレイ１２でもよい。本説明での表示装置１は、携帯可能であり、拡張現実（ＡＲ）による表示ができるものが該当する。

表示装置１は、処理部１０、記憶部１１、ディスプレイ１２（表示部に相当）、タッチパネル１３、撮像部１４、音声処理部１５、マイクロフォン１６、再生処理部１７、スピーカー１８、無線通信部１９を含む。

処理部１０は、表示装置１の動作を制御する回路である。処理部１０は、ＣＰＵ１０ａや画像処理回路１０ｂを含む。処理部１０には、ＣＰＵ１０ａや画像処理回路１０ｂが１チップ化された集積回路を用いることができる。処理部１０は、表示装置１のＯＳ、プログラム、アプリケーション、データに基づき、表示装置１の動作を制御する。画像処理回路１０ｂは、画像データに対して画像処理を行う。

記憶部１１はＲＯＭ、ＲＡＭ、フラッシュメモリーを含む。記憶部１１は、表示装置１のＯＳ、プログラム、アプリケーション、データを不揮発的に記憶する。処理部１０は、記憶部１１の記憶内容に従って、表示装置１の各部を制御する。タッチパネル１３を通じた使用者のアプリケーションの起動要求に応じ、処理部１０は、記憶部１１からアプリケーションを記憶部１１に読み出し、実行する。記憶部１１には、作業案内用アプリケーションＡ１が含まれる。処理部１０は、作業案内用アプリケーションＡ１に基づき、画像形成装置２での作業の案内をディスプレイ１２に表示させる。

ディスプレイ１２は、処理部１０からの要求に従い各種情報を表示する。ディスプレイ１２は、液晶パネルや有機ＥＬパネルのような表示パネルである。タッチパネル１３は処理部１０と接続される。処理部１０は、タッチパネル１３の出力に基づき、タッチされた位置を認識する。ディスプレイ１２は、操作用画像を表示する。操作用画像は、例えば、アイコン、ボタン、キー、タブである。タッチパネル１３の出力に基づき、処理部１０は、操作された（タッチされた）操作用画像を認識する。アイコンやボタンやキーを押すことにより、使用者は、アプリケーションの起動、利用や、電話をかけることができる。

撮像部１４は、表示装置１に設けられたカメラである。撮像部１４は、レンズ１４ａ、イメージセンサー１４ｂ、カメラモジュール１４ｃを含む。カメラモジュール１４ｃはイメージセンサー１４ｂが出力する画像信号に基づき、画像データを生成する。撮像部１４による撮影により得られた撮影画像６（画像データ）は、記憶部１１に記憶される。処理部１０は、撮影画像６をディスプレイ１２に表示させ得る。動画的に表示するとき、処理部１０は、撮像部１４に連続的に撮影画像６を生成させる。処理部１０は、表示に用いる撮影画像６を新たに生成された撮影画像６に切り替える。

無線通信部１９は、アンテナや通信回路を含む。無線通信部１９は、処理部１０の指示に応じて、通信事業者が提供する通信回線にアクセスできる。無線通信部１９を介し、外部とのデータの送受信、相手方との通話を行うことができる。また、無線通信部１９は、無線により、画像形成装置２とも通信できる。

音声処理部１５は、マイクロフォン１６から入力された音声に対して、無線通信部１９から送信できる形態への信号処理を行う。再生処理部１７は、無線通信部１９で受信した相手方からの音（声）のデータをスピーカー１８に再生させる。また、再生処理部１７は、記憶部１１に記憶された音のデータをスピーカー１８に再生させることもできる。

（画像形成装置２）
図２を用いて、実施形態に係る画像形成装置２の一例を説明する。図２は、実施形態に係る画像形成装置２の一例を示す図である。

図２に示す画像形成装置２は、複合機である。画像形成装置２はプリンターや複写機のような他の画像形成装置２でもよい。画像形成装置２は、制御部２１、操作パネル２２、画像読取部２３、印刷部２４、通信部２５を含む。

制御部２１は、画像形成装置２の動作を制御する。制御部２１は、ＣＰＵ２１ａ、記憶部２１ｂを含む。記憶部２１ｂは、ＲＯＭ、ＲＡＭ、ＨＤＤのような記憶装置の組み合わせである。記憶部２１ｂは、画像形成装置２を制御するためのデータ、設定、プログラムを記憶する。また、記憶部１１は、画像データを記憶できる。ＣＰＵ２１ａは、記憶部２１ｂに記憶されるプログラム、データに基づき画像形成装置２を制御する。

原稿を読み取るジョブ（コピーや送信）のとき、制御部２１は、原稿を画像読取部２３に読み取らせる。画像読取部２３は、露光ランプ、ミラー、レンズ、ラインセンサーのような光学系部材（不図示）を含む。画像読取部２３は、原稿の画像データを生成する。

操作パネル２２は、使用者の設定操作を受け付ける。制御部２１は、操作パネル２２からの信号に基づき、設定を認識する。制御部２１は、使用者の設定に基づき、画像読取部２３、印刷部２４、通信部２５を動作させる。

印刷部２４は、給紙部２４ａ、用紙搬送部２４ｂ、画像形成部２４ｃ、中間転写部２４ｄ、定着部２４ｅを含む。印刷を伴うジョブのとき、制御部２１は、給紙部２４ａにセットされた用紙を給紙させる。制御部２１は、機内の搬送経路に沿って用紙を用紙搬送部２４ｂに搬送させる。制御部２１は、形成すべき画像の画像データに基づきトナー像の形成を画像形成部２４ｃに行わせる。複合機はカラー印刷可能である。カラー印刷のとき、画像形成部２４ｃは複数色のトナーを用いて、複数色のトナー像を形成する。具体的に、シアン、マゼンタ、イエロー、ブラックの４色のトナーが用いられる。制御部２１は画像形成部２４ｃで形成された各色のトナー像の重ね合わせと、用紙への転写を中間転写部２４ｄに行わせる。トナー像は搬送される用紙に転写される。制御部２１は、転写されたトナー像の用紙への定着を定着部２４ｅに行わせる。

印刷により、トナーが消費される。消費されたトナーを画像形成部２４ｃに補給するため、トナー容器３が画像形成装置２に取り付けられる。補給機構３０は、トナー容器３から画像形成部２４ｃにトナーを運ぶ。具体的に、シアンのトナーを補給するトナー容器３Ｃと、マゼンタのトナーを補給するトナー容器３Ｍと、イエローのトナーを補給するトナー容器３Ｙと、ブラックのトナーを補給するトナー容器３Ｂｋが取り付けられる。空になったトナー容器３は交換される。

通信部２５は、無線により、無線通信部１９と通信を行える。また、通信部２５は、ネットワークを介し、コンピューター１００と通信できる。通信部２５は、表示装置１やコンピューター１００から送信された印刷用データを受信する。印刷用データは画像データやページ記述言語で記述されたデータである。制御部２１は、受信した印刷用データに基づき、印刷部２４に印刷させる（プリントジョブ）。

（作業案内の表示）
図３、図４に基づき、実施形態に係る表示装置１での作業案内の表示の一例を説明する。図３、図４は、実施形態に係る表示装置１での作業案内の表示の一例を示す図である。

表示装置１は、画像形成装置２に関する作業の案内を表示する。作業案内用アプリケーションＡ１を起動することにより、作業の案内を表示させることができる。作業案内用アプリケーションＡ１に基づき、表示装置１では、例えば、トナー容器３の交換、用紙の補給、紙詰まり解消の案内を表示させることができる。メンテナンス担当者（サービスマン）による点検作業の案内も可能である。作業案内用アプリケーションＡ１の起動時、処理部１０は、作業選択用の画面をディスプレイ１２に表示させる。タッチパネル１３は作業の選択を受け付ける。処理部１０は、選択された作業を認識する。処理部１０は、選択された作業の案内の表示を開始する。以下の説明では、トナー容器３の交換作業を選択した場合を例に挙げて説明する。

まず、画像形成装置２でのトナー容器３の交換の作業ステップを説明しておく。交換の作業ステップはおよそ以下のとおりである。
（作業ステップ１） 画像形成装置２の前面カバー４を開ける。
（作業ステップ２） 交換するトナー容器３に対応する格納用カバー５を開ける。
（作業ステップ３） トナー容器３の交換。
（作業ステップ４） 格納用カバー５を閉じる。
（作業ステップ５） 前面カバー４を閉じる（おわり）。

（作業ステップ１について）
画像形成装置２は、前面カバー４が設けられる。前面カバー４を開けることにより、トナー容器３を交換することができる。前面カバー４は前側に約９０度開く（図３参照）。

（作業ステップ２について）
前面カバー４の内側には、４つの格納用カバー５が設けられる（図３参照）。格納用カバー５は、トナー容器３が外されないように（外れないように）するためのカバーである。４つの格納用カバー５は４色のトナー容器３と対応している。図３において、最も左側の格納用カバー５内にイエローのトナー容器３が格納される。左から２つめの格納用カバー５内にシアンのトナー容器３が格納される。左から３つめの格納用カバー５内にマゼンタのトナー容器３が格納される。最も右側の格納用カバー５内にブラックのトナー容器３が格納される。さらに、各格納用カバー５の色は、対応する色のトナーの色となっている。図３、図４において、左から順に、イエロー、シアン、マゼンタ、ブラックとなっている。トナー容器３の交換作業では、交換するトナーの色と同じ色の格納用カバー５を開けることが必要である。これにより、格納用カバー５内のトナー容器３が露出する。

（作業ステップ３について）
交換作業では、画像形成装置２の内部（開けられた格納用カバー５の内側）のトナー容器３を取り出す必要がある。取り出すとき、作業者はトナー容器３を手前に引き出す。これにより、ボトル状のトナー容器３が引き出される（図４参照）。空のトナー容器３を引き出した後、作業者は、新品のトナー容器３を格納用カバー５の内側に差し込む。

（作業ステップ４、５について）
トナー容器３の交換の完了後、作業者は開いた状態の格納用カバー５を閉じる。新品のトナー容器３が閉じこめられる。その後、前面カバー４が閉じられる（作業ステップ１、２と逆の作業）。前面カバー４が閉じられたとき、トナー容器３の交換作業は終了する。

表示装置１にトナー容器交換の作業案内を表示させるとき、作業者は作業案内用アプリケーションＡ１のアイコンをタッチする。アプリケーション起動後に表示される画面において、作業者は、トナー容器交換の作業を選択する。あわせて、作業者は、交換するトナーの色も選択する。これらが選択されたとき、処理部１０は、選択された色のトナー容器交換の作業案内の表示を開始する。

処理部１０は、拡張現実（ＡＲ）を利用した作業案内をディスプレイ１２に表示させる。作業案内を表示するとき、処理部１０は、撮像部１４を動作させる。そして、処理部１０は、予め定められた周期（間隔）で、撮影画像６を撮像部１４に生成させる。例えば、処理部１０は、最新の撮影画像６をディスプレイ１２に表示させる。ディスプレイ１２の画素数が撮影画像６の画素数よりも少ないとき、処理部１０は、撮影画像６を縮小する。処理部１０は、表示に用いる撮影画像６を新しい撮影画像６に切り替えて行く。これにより、実際に撮像部１４が撮影している撮影画像６が動画的にディスプレイ１２に表示される。撮像部１４の向き、角度と表示される画像がリンクする。

処理部１０は、画像形成装置２のうち、作業で操作される操作対象が撮影画像６に含まれているか否かを判定する。作業ステップごとに操作対象は異なる。トナー容器３の交換の場合、操作対象は作業ステップごとに変わる。具体的に、操作対象は前面カバー４（作業ステップ１）→格納用カバー５（作業ステップ２）→トナー容器３（作業ステップ３）→格納用カバー５（作業ステップ４）→前面カバー４（作業ステップ５）の順に変わる。

処理部１０（画像処理回路１０ｂ）は、撮影画像６を解析する。処理部１０は、撮影画像６に含まれるものを認識する。例えば、処理部１０は、イエロー、シアン、マゼンタ、ブラックの順にならんだ４つの四角形を格納用カバー５の列と認識する。処理部１０は、４つの並んだ四角形のうち、イエローの四角形をイエローのトナー容器３に対応する格納用カバー５と認識する。処理部１０は、シアンの四角形をシアンのトナー容器３に対応する格納用カバー５と認識する。処理部１０は、マゼンタの四角形をマゼンタのトナー容器３に対応する格納用カバー５と認識する。処理部１０は、ブラックの四角形をブラックのトナー容器３に対応する格納用カバー５と認識する。図３、図４に示すように、トナー容器３は、円形の取っ手が付いている。処理部１０は、撮影画像６のうち、トナー容器３の取っ手部分と同じ形状を有し、特定色の円筒をトナー容器３と認識する。

処理部１０は、撮影画像６の解析結果に基づき、現在の作業ステップの操作対象が撮影画像６に含まれているか否かを判定する。例えば、作業ステップ２において、撮影画像６に格納用カバー５が含まれているとき、処理部１０は、操作対象が撮影画像６に含まれていると判定する。作業ステップ３において、撮影画像６にトナー容器３が含まれているとき、処理部１０は、操作対象が撮影画像６に含まれていると判定する。

なお、現在の作業ステップの操作対象が撮影画像６に含まれているか否かを判定しやすくするため、各操作対象に、ＡＲマーカー（不図示）が予め付されてもよい。ラベルの貼付、塗装、印刷等、ＡＲマーカーの付し方は問わない。ＡＲマーカーのパターンは、操作対象ごとに異なってもよい。ＡＲマーカーは、所定のパターンを持つ図形である。操作対象に対応するＡＲマーカーが撮影画像６に含まれていないとき、処理部１０は、操作対象が撮影画像６に含まれていないと判定する。操作対象に対応するＡＲマーカーが撮影画像６に含まれているとき、処理部１０は操作対象が撮影画像６に含まれていると判定する。

図３は、マゼンタのトナー容器３の交換時の作業案内の表示例を示す。図３は、作業ステップ２の作業案内の一例である。既に、画像形成装置２の前面カバー４は開けられている（作業ステップ１は完了済）。図３の上側の図は、格納用カバー５を開ける前の状態を示す。図３の下側の図は、格納用カバー５を開けた後の状態を示す。

図３の上側の図に示すように、処理部１０は、矢印７ａを付加画像７としてディスプレイ１２に表示させてもよい。矢印７ａは、現在の作業ステップの操作対象を示す。処理部１０は、矢印７ａは点滅させてもよい。また、処理部１０は、操作すべき部分に向けて矢印７ａが伸びるように、アニメーション的に矢印７ａの長さを変化させてもよい。

このように、操作対象が撮影画像６に含まれているとき、処理部１０は、作業を案内する付加画像７を表示部に表示させる。さらに、処理部１０は、撮像部１４の撮像により得られた撮影画像６に付加画像７を重ねて表示させる。また、図３の上側の図に示すように、処理部１０は、操作説明を含む文字枠７ｂを付加画像７として表示させてもよい。処理部１０は、操作対象と、行うべき操作を文字枠７ｂの中に示す。

図３の下側の図は、作業ステップ２が終わったときの表示例を示す。処理部１０は、操作対象の操作がされたことを認識する。言い換えると、処理部１０は、現在の作業ステップが終了したことを認識する。例えば、撮影画像６を解析し、トナー容器３が撮影画像６に現れたとき（含まれるようになったとき）、処理部１０は、作業ステップ２が終わったと判定する。また、トナー容器３に対応するＡＲマーカーが撮影画像６に現れたとき、処理部１０は、作業ステップ２が終わったと判定してもよい。このように、処理部１０は、撮影画像６に基づき、現在の作業ステップが終わったか否かを判定する。そして、処理部１０は、次の作業ステップの操作対象を認識する。

図４は、ブラックのトナー容器３の交換時の作業案内の表示例を示す。図４は、作業ステップ３の作業案内の一例である。作業ステップ１、２は完了済である。作業ステップ３（トナー容器３の出し入れ）の作業案内のとき、処理部１０は、付加画像７として、動画的付加画像７ｃを表示させる。図４での動画的付加画像７ｃは手（腕）である。具体的に、処理部１０は、手がトナー容器３に向けて伸び、トナー容器３を掴み、トナー容器３を抜き出すように変化する動画的付加画像７ｃをディスプレイ１２に表示させる。言い換えると、処理部１０は、手を模した付加画像７をアニメーションさせる。また、図４に示すように、処理部１０は、操作対象を示す矢印７ａを付加画像７としてディスプレイ１２に表示させてもよい。

処理部１０は、トナー容器３が撮影画像６からいったん消え、その後、トナー容器３が取り付けられたとき、作業ステップ３が終了したと認識する。例えば、画像解析により、トナー容器３の取り外しを認識し、その後、格納用カバー５の隣又は間へのトナー容器３のセットを認識できたとき、処理部１０は、作業ステップ３が終わったと判定する。また、トナー容器３のＡＲマーカーがいったんなくなり、トナー容器３のＡＲマーカーが格納用カバー５のＡＲマーカーの隣又は間に位置したとき、処理部１０は、作業ステップ３が終わったと判定してもよい。

なお、作業ステップ４については、トナー容器３が消え、交換した色の格納用カバー５が撮影画像６に現れたとき、処理部１０は作業ステップ４が終わったと判定する。また、トナー容器３のＡＲマーカーがなくなり、交換した色の格納用カバー５のＡＲマーカーが撮影画像６に現れたとき、処理部１０は、作業ステップ４が終わったと判定してもよい。

なお、作業ステップ５については、例えば、各格納用カバー５がなくなり、前面カバー４の前面が撮影画像６に現れたとき、処理部１０は、作業ステップ５が終わったと判定してもよい。また、各格納用カバー５のＡＲマーカーがなくなり、前面カバー４の前面に設けられたＡＲマーカーが撮影画像６に現れたとき、処理部１０は、作業ステップ５が終わったと判定してもよい。

（作業案内の表示の流れ）
次に、図３、図４、図５を用いて、実施形態に係る表示装置１での作業案内の表示の流れの一例を説明する。図５は、実施形態に係る表示装置１での作業案内の表示の流れの一例を示すフローチャートである。

作業案内では、撮影画像６が用いられる。作業者の手（腕）が撮像部１４の撮像範囲に入ることがある。映り込んだ手が作業案内の妨げになることがある。例えば、作業内容がわかりづらくなる場合がある。あるいは、付加画像７が見づらくなる場合がある。そこで、表示装置１は、不要な手の映り込みを解消しつつ、作業案内を表示する。

図５のスタートは、作業案内の表示を開始する時点である。タッチパネル１３が作業案内用アプリケーションＡ１の起動と、表示する作業案内の選択を受け付けた時点である。

まず、処理部１０は、撮影画像６のうち、作業案内に用いる撮影画像６を選択する（ステップ♯１）。処理部１０は複数枚の撮影画像６のうち１枚を作業案内に用いる撮影画像６として選択する。なお、撮影画像６の１枚ごとに以下のステップを実行してもよい。

次に、処理部１０は、選択した撮影画像６に基づき、現在の作業ステップの終了を認識できたか否かを確認する（ステップ♯２）。本フローの開始当初は、ステップ♯２はＮｏとなる。作業ステップの終了を認識できないとき（ステップ♯２のＮｏ）、処理部１０は、現在の作業ステップの操作対象が選択した撮影画像６に含まれているか否かを確認する(ステップ♯３)。現在の作業ステップの操作対象が含まれていないとき（ステップ♯３のＮｏ）、処理部１０は、撮像部１４にズームアウトさせる（ステップ♯４）。これにより、操作対象を撮像部１４の撮影範囲に入りやすくする。フローは、ステップ♯１に戻る。

なお、ズームアウトするか否かは、画像形成装置２（制御部２１）が判断してもよい。この場合、処理部１０は、通信部２５に向けて、選択した撮影画像６を無線通信部１９に送信させる。制御部２１は、現在の作業ステップの操作対象が選択した撮影画像６に含まれているか否かを確認する。現在の作業ステップの操作対象が含まれていないとき、制御部は、無線通信部１９に向けて、ズームアウト指示を通信部２５に送信させる。ズームアウト指示を受信したとき、処理部１０は撮像部１４にズームアウトさせる。

現在の作業ステップの操作対象が含まれているとき（ステップ♯３のＹｅｓ）、処理部１０は、最新の撮影画像６のうち、人の手を表示する第１領域Ｆ１と、手を表示しない第２領域Ｆ２を設定する（ステップ♯５）。処理部１０は、第１領域Ｆ１に映り込んだ手をそのまま表示させる。そのため、手が映り込んでも案内に差し支えがない領域が第１領域Ｆ１と設定される。処理部１０は、第２領域Ｆ２に映り込んだ手を表示させない。そのため、手が映り込むと案内がわかりづらくなる領域が第２領域Ｆ２と設定される。

そして、処理部１０は、最新の撮影画像６に付加画像７を重畳させた作業案内をディスプレイ１２に表示させる（ステップ♯６）。なお、ステップ♯６の後、フローは、ステップ♯１に戻る。
（１）第２領域Ｆ２に手が映り込んでいないとき
処理部１０は、選択した撮影画像６を用いて第１領域Ｆ１と第２領域Ｆ２をディスプレイ１２に表示させる。
（２）第２領域Ｆ２に手が映り込んでいるとき
処理部１０は、選択した撮影画像６を用いて第１領域Ｆ１をディスプレイ１２に表示させる。処理部１０は、直近の手が撮影されていない撮影画像６を用いて第２領域Ｆ２をディスプレイ１２に表示させる。つまり、第２領域Ｆ２に手が映り込んだとき、処理部１０は、選択した撮影画像６から第１領域Ｆ１に対応する部分を切り出した第１画像データと、直近の手が撮影されていない撮影画像６から第２領域Ｆ２に対応する部分を切り出した第２画像データを１つにまとめた合成画像を生成する。処理部１０は、合成画像に付加画像７を重ねた画像をディスプレイ１２に表示させる。図３の上方の図では、映り込んだものの消された手の一例を２点鎖線で示している。

ステップ♯４に関し、処理部１０（画像処理回路１０ｂ）は、撮影画像６に手が含まれるか否かを判定する。手が含まれるか否かを判定するための判定用データ（アルゴリズム）は、記憶部１１に記憶される。処理部１０は、判定用データに基づき、手が含まれるか否かを判定する。

作業案内を表示しているとき、作業者は、撮像部１４を画像形成装置２に向けている。手が映り込んでいなければ、肌色の画素は、撮影画像６に含まれないはずである。肌色と扱う画素値は予め定められる。そこで、処理部１０は、撮影画像６に肌色の画素値を有する画素があるか否かを判定する。肌色の画素値を有する画素がないとき、処理部１０は、撮影画像６に手が含まれていないと判定する。肌色の画素値を有する画素があるとき、処理部１０は、その撮影画像６に手が含まれると判定する。

さらに正確に手の有無を判定するようにしてもよい。例えば、肌色の画素値を有する画素があるとき、処理部１０は、複数の撮影画像６において、肌色の画素値を有する領域（肌色領域）を抽出する。対象とする撮影画像６は、所定期間前から現時点までに得られた撮影画像６のそれぞれである。所定期間は適宜定められる。例えば、所定期間は、数百ミリ秒〜１秒程度とできる。処理部１０は、所定期間内の肌色領域の中心位置の移動距離を求めてもよい。つまり、操作対象に向けて手が動かされる点に着目する。移動距離が閾値以上のとき、処理部１０は、手が含まれると判定する。移動距離が閾値未満のとき、肌色の何らかの物が映り込んだ可能性が高い。そこで、移動距離が閾値未満のとき、処理部１０は、手は含まれないと判定する。

次に、図３を用いて、作業ステップ２の場合の第１領域Ｆ１と第２領域Ｆ２の設定例を説明する。処理部１０は、撮影画像６のうち、現在の作業ステップでの操作対象（格納用カバー５）を含む領域を第１領域Ｆ１に設定する。一方、処理部１０は、第１領域Ｆ１外を第２領域Ｆ２に設定する。

処理部１０は、案内表示において、破線をディスプレイ１２に表示させる。破線は、第１領域Ｆ１と第２領域Ｆ２の境界を示す。境界は、撮影画像６を上下方向で区切る直線とすることができる。図３に示すように、処理部１０は、マゼンタの格納用カバー５を含む領域を第１領域Ｆ１に設定する。例えば、処理部１０は、操作対象を含む左右方向の所定幅の領域を第１領域Ｆ１に設定する。図３の例では、２本の破線の内側の領域が第１領域Ｆ１である。第１領域Ｆ１の外側が第２領域Ｆ２である。

作業ステップ２の案内表示では、操作すべき格納用カバー５に手が近づいたとき、手が表示される。操作すべき格納用カバー５から手の位置が遠く、第２領域Ｆ２内にあるとき、手は表示されない。

但し、処理部１０は、第１領域Ｆ１のうち、次の作業ステップで操作される操作対象を第２領域Ｆ２に設定してもよい。図３の例でいえば、処理部１０は、第１領域Ｆ１のうち、トナー容器３の部分を第２領域Ｆ２に設定してもよい。次の作業ステップでの操作対象が見えなくなることを防ぐためである。

次に、図４を用いて、作業ステップ３の場合の第１領域Ｆ１と第２領域Ｆ２の設定例を説明する。処理部１０は、撮影画像６のうち、現在の作業ステップでの操作対象（トナー容器３）を含む領域を第２領域Ｆ２に設定する。一方、処理部１０は、第２領域Ｆ２外を第１領域Ｆ１に設定する。作業ステップ２と反対である。

作業ステップ３でも、破線をディスプレイ１２に表示させる。図４の例でも、破線は、第１領域Ｆ１と第２領域Ｆ２の境界を示す。なお、図４の例では、破線は１本である。作業ステップ３では、手がトナー容器３を抜き差しする付加画像７が動画的（アニメーション的）に表示される（動画的付加画像７ｃ）。このような動く画像に作業者の手が映り込むと、見づらくなる場合が多い。そこで、作業ステップ３の作業案内では、処理部１０は、動画的付加画像７ｃを表示する領域が含まれるように第２領域Ｆ２に設定する。そのため、作業ステップ２の案内表示では、動画的付加画像７ｃを表示する領域（トナー容器３）に手が近づいたとき、手が表示されなくなる。動画的付加画像７ｃを表示する領域（トナー容器３）から手の位置が遠いとき、手が表示される。

一方、処理部１０は、撮影画像６のうち、付加画像７を表示しない領域を第１領域Ｆ１に設定する。言い換えると、処理部１０は、第２領域Ｆ２外を第１領域Ｆ１に設定する。図４の例では、破線の左側が第２領域Ｆ２となる。破線の右側が第１領域Ｆ１となる。

現在の作業ステップの終了を認識できたとき（ステップ♯２のＹｅｓ）、処理部１０は全作業ステップが完了したか否かを確認する（ステップ♯７）。全作業ステップが完了していないとき（ステップ♯７のＮｏ）、フローは、ステップ♯１に戻る。全作業ステップが完了したとき（ステップ♯７のＹｅｓ）、表示すべき作業案内は無い。そこで、本フローは終了する（エンド）。

このようにして、実施形態に係る表示装置１は、撮像部１４、表示部（ディスプレイ１２）、処理部１０を含む。表示部は、撮像部１４の撮像により得られた撮影画像６と、予め定められた付加画像７と、を撮影画像６に重ねて表示する。処理部１０は、画像形成装置２のうち、作業での操作対象が撮影画像６に含まれているか否かを判定する。操作対象が撮影画像６に含まれているとき、処理部１０は、作業を案内する付加画像７を表示部に表示させる。処理部１０は、付加画像７を表示部に表示させるとき、撮影画像６のうち、人の手を表示する第１領域Ｆ１と、手を表示しない第２領域Ｆ２を設定する。処理部１０は、第１領域Ｆ１に映り込んだ手をそのまま表示させる。処理部１０は、第２領域Ｆ２内に映り込んだ手を表示させない。

これにより、第２領域Ｆ２において、不要な作業者の手の映り込みを無くすことができる。撮像部１４（カメラ）の撮影範囲に手が入っても、手が入っていない画像を表示させることができる。従って、付加画像７と撮影画像６を重ねた作業案内を見やすくすることができる。作業者が理解しやすい作業案内を表示することができる。

また、処理部１０は、撮影画像６のうち、現在の作業ステップでの操作対象を含む領域を第１領域Ｆ１に設定し、第１領域Ｆ１外を第２領域Ｆ２に設定する。これにより、作業において操作すべき部分に手が近づいたとき、作業者の手が表示される。一方、作業ステップからみて、操作する必要がない部分では、作業者の手が表示されない。従って、操作すべき部分の位置を作業者は容易に知ることができる。

また、処理部１０は、第１領域Ｆ１のうち、次の作業ステップでの操作対象を第２領域Ｆ２に設定する。これにより、次の作業ステップで操作すべき部分が手によって見えなくなることを防ぐことができる。また、次の作業ステップで操作すべき部分では手が消える。そのため、作業者は、次に操作すべき部分を直感的に認識できる。

また、処理部１０は、第１領域Ｆ１内に付加画像７を表示させる。これにより、操作対象に関連付けて付加画像７を表示させることができる。

また、処理部１０は、撮影画像６のうち、動画的付加画像７ｃを表示する領域が含まれるように第２領域Ｆ２に設定し、動画的付加画像７ｃを表示しない領域を第１領域Ｆ１に設定する。これにより、作業者の手の映り込みが動画での作業案内の妨げとならないようにすることができる。付加画像７を優先させた方が理解しやすい場合、付加画像７の近くで手を表示しないようにすることができる。例えば、動画的付加画像７ｃが手である場合、作業者の手と動画的付加画像７ｃの手の混同を防ぐことができる。また、作業において操作すべき部分に手が近づいたとき、使用者の手が表示されなくなる。一方、作業ステップからみて、操作する必要がない部分では、作業者の手が表示される。従って、手の表示、非表示に基づき、操作すべき部分の位置を知ることができる。

また、撮影画像６を記憶する記憶部１１を含み、第２領域Ｆ２内に手が映り込んだとき、処理部１０は、表示に用いると選択した撮影画像６を用いて第１領域Ｆ１を表示部に表示させ、第２領域Ｆ２では、手が撮影されていない撮影画像６のうち、直近の撮影画像６を用いて第２領域Ｆ２を表示部に表示させる。これにより、容易に手が映り込んでいない第２領域Ｆ２の撮影画像６を表示することができる。

また、撮影画像６に操作対象が含まれていないとき、処理部１０は、撮像部１４にズームアウトさせる。これにより、撮像範囲内に操作対象が収まりやすくすることができる。

なお、本発明は、表示装置１と操作対象を含む画像形成装置２を備えた表示システムとして捉えることもできる。

又、本発明の実施形態を説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実施することができる。

本発明は、撮像部を含む表示装置に利用可能である。

１ 表示装置 １０ 処理部
１１ 記憶部 １２ ディスプレイ（表示部）
１４ 撮像部 ６ 撮影画像
７ 付加画像 Ｆ１ 第１領域
Ｆ２ 第２領域

Claims (7)

1. 撮像部と、
   前記撮像部の撮像により得られた撮影画像と、予め定められた付加画像と、を重ねて表示する表示部と、
   画像形成装置のうち、作業での操作対象が前記撮影画像に含まれているか否かを判定し、
   前記操作対象が前記撮影画像に含まれているとき、作業を案内する前記付加画像を前記表示部に表示させ、
   前記付加画像を前記表示部に表示させるとき、前記撮影画像のうち、人の手を表示する第１領域と、手を表示しない第２領域を設定し、
   前記第１領域に映り込んだ手をそのまま表示させ、
   前記第２領域内に映り込んだ手を表示させない処理部と、を含むことを特徴とする表示装置。
2. 前記処理部は、前記撮影画像のうち、現在の作業ステップでの前記操作対象を含む領域を前記第１領域に設定し、前記第１領域外を前記第２領域に設定することを特徴とする請求項１に記載の表示装置。
3. 前記処理部は、前記第１領域のうち、次の作業ステップでの前記操作対象を前記第２領域に設定することを特徴とする請求項２に記載の表示装置。
4. 前記処理部は、前記第１領域内に前記付加画像を表示させることを特徴とする請求項２又は３に記載の表示装置。
5. 前記処理部は、前記撮影画像のうち、動画的な前記付加画像を表示する領域が含まれるように前記第２領域に設定し、動画的な前記付加画像を表示しない領域を前記第１領域に設定することを特徴とする請求項１に記載の表示装置。
6. 前記撮影画像を記憶する記憶部を含み、
   前記第２領域内に手が映り込んだとき、
   前記処理部は、表示に用いると選択した前記撮影画像を用いて前記第１領域を前記表示部に表示させ、
   前記第２領域では、手が撮影されていない前記撮影画像のうち、直近の前記撮影画像を用いて前記第２領域を前記表示部に表示させることを特徴とする請求項１乃至５の何れか１項に記載の表示装置。
7. 前記撮影画像に前記操作対象が含まれていないとき、
   前記処理部は、前記撮像部にズームアウトさせることを特徴とする請求項１乃至６の何れか１項に記載の表示装置。