JP2021110872A - 操作支援システム、画像処理装置および操作支援方法 - Google Patents

Abstract

【課題】画像処理装置の要処置状態に係る状況に応じて適切な操作支援情報をユーザーに提供する。【解決手段】画像処理装置およびウェアラブル端末を備えたシステムであって、画像処理装置は、要処置状態の検出を行う状態センサーと、要処置状態の判断を行う制御部と、ウェアラブル端末と通信を行う通信インターフェース回路とを備え、ウェアラブル端末は、端末通信インターフェース回路と、ユーザー視界を撮影する端末撮像ユニットと、ユーザー視界の一部と重複する表示域を有して情報を表示する端末表示ユニットと、画像処理装置との通信に基づいて端末表示ユニットに操作支援情報を表示させる端末制御部とを備え、制御部または端末制御部は、端末撮像ユニットにより撮影されたユーザー視界の画像を認識し、要処置状態に係る判断に基づいて端末表示ユニットに表示させる操作支援情報およびその操作支援情報の表示域における位置を決定する操作支援システム。【選択図】図６

Description

この発明は、画像処理装置に対する操作を支援する操作支援システム、画像処理装置および操作支援方法に関し、より詳細にはユーザーによる処置を必要とする要処置状態を解消するためのユーザーの操作あるいは要処置状態に陥らないようにするためのユーザーの操作の支援に関する。

原稿の画像を読み取ったり、画像を印刷したりする画像処理装置は、画像処理を継続できない状態に陥った場合に、あるいは画像処理が継続できない状態に陥らないように、ユーザーによる処置を必要とすることがある。
例えば、原稿や印刷用紙の紙詰まりが発生した場合、詰まった紙を取り除く処置をユーザーが行う必要がある。
また、印刷用紙がなくなった際にあるいは印刷用紙がなくならないように、ユーザーが印刷用紙を補充する必要がある。
さらにまた、排紙トレイに排出された用紙が満杯になった際にあるいは満杯にならないように、ユーザーが排紙トレイから印刷済みの用紙を取り除く必要がある。

また、トナーやインクがなくなった際にあるいはなくならないように、ユーザーがトナーやインクを補充する必要がある。
使用済みのトナーや使用済みのインクを回収する容器が満杯になった際にあるいは満杯にならないように、ユーザーが使用済みトナーや使用済みインクを廃棄する必要がある。
それらの状態に陥った際にユーザーの処置がなければ、画像処理装置は画像処理を継続できない。

要処置状態に係るユーザーの処置に関して、以下の技術が知られている。
操作情報制御部が、画像形成装置の不具合発生時にその不具合を解消するための操作の手順に関する操作情報に、ユーザーが表示部を参照しながらでは実行が困難な操作が含まれるか否かを判定する。例えば、画像形成装置の裏側、前面扉を開けた内部における機構に対する操作等である。表示部を参照しながらの実行が困難な操作が含まれる場合、無線通信部を介して操作情報を表示するための画像データを携帯端末装置に送信し、使用者が携帯端末装置で操作の手順を確認できるようにする（例えば、特許文献１参照）。

また、画像処理装置に関するものではないが、学習施設において各受講生が装着するウェアラブル端末における受講生の視野内に、受講生各人の作業工程での作業を支援する作業支援情報を表示する技術が知られている。例えば、グラス型ウェアラブル端末を装着した調理学習の受講生が、視野の一部分のディスプレイ表示領域に表示される作業指示画像および作業指示文章を見ながら調理の実習を行う。受講生は、ウェアラブル端末が備えるカメラで特定パターンのマーカーを撮影するかまたは発話によって、ディスプレイ表示領域に表示する内容の変更（予めシステムで定義されている次の表示内容、前の表示内容等、時間情報、終了）を指示する。講師は、講師用スマートデバイスを用いて、全受講生のグラス型ウェアラブル端末に対して同一の指示または個別の指示を出すことができる（例えば、特許文献２参照）。

特開２０１７−２０８８５２号公報 特開２０１６−６２０２６号公報

例えば、特許文献１に係る技術によれば、携帯端末装置の画面を見ながらユーザーが処置を行うことは可能である。しかし、ユーザーは処置中に携帯端末装置を持ちながら操作しなければならない。
特許文献２に係る技術によれば、作業者が作業対象から視界を外すことなくハンズフリーで作業を行うことが可能である。しかし、端末に表示される内容は、予め用意された一連の作業情報に過ぎず、進行中の処置内容に応じて表示内容が自律的に変わるものではない。
この発明は、以上のような事情を考慮してなされたものであって、画像処理装置の要処置状態に係る状況に応じて適切な操作支援情報をユーザーに提供できるようにするものである。

この発明は、画像処理装置およびウェアラブル端末を備えたシステムであって、前記画像処理装置は、ユーザーによる処置を必要とする要処置状態にあるか否かに係る検出を行う少なくとも１つの状態センサーと、前記状態センサーの検出に基づいて前記要処置状態に係る判断を行う制御部と、前記ウェアラブル端末と通信を行う通信インターフェース回路とを備え、前記ウェアラブル端末は、前記画像処理装置と通信を行う端末通信インターフェース回路と、装着状態でユーザーの視界の少なくとも一部を撮影する端末撮像ユニットと、前記装着状態でユーザーの視界の少なくとも一部と重複する表示域を有して情報を表示する端末表示ユニットと、前記画像処理装置との通信に基づいて前記端末表示ユニットに操作支援情報を表示させる端末制御部とを備え、前記制御部または前記端末制御部は、前記端末撮像ユニットにより撮影されたユーザー視界の画像を認識し、前記要処置状態に係る判断に基づいて前記端末表示ユニットに表示させる操作支援情報およびその操作支援情報の前記表示域における位置を決定する操作支援システムを提供する。

また、異なる観点からこの発明は、ユーザーによる処置を必要とする要処置状態にあるか否かに係る検出を行う少なくとも１つの状態センサーと、前記状態センサーの検出に基づいて前記要処置状態に係る判断を行う制御部と、外部のウェアラブル端末と通信を行う通信インターフェース回路とを備え、前記通信インターフェース回路は、前記ウェアラブル端末と通信し、ユーザーの視界の少なくとも一部が撮影された画像を前記ウェアラブル端末から取得し、前記制御部は、前記ウェアラブル端末から取得した画像を認識し、前記要処置状態に係る判断および前記ウェアラブル端末から取得した画像に基づいて前記ウェアラブル端末に表示させる操作支援情報を決定し、ユーザーが行うべき操作の箇所に対応してその操作支援情報が表示されるように前記ウェアラブル端末へ指示を送る画像処理装置を提供する。

さらに、異なる観点からこの発明は、制御部が、状態センサーを用いて、画像処理装置がユーザーによる処置を必要とする要処置状態にあるか否かに係る検出を行うステップと、前記検出に基づいて前記要処置状態に係る判断を行うステップと、外部のウェアラブル端末と通信し、ユーザーの視界の少なくとも一部が撮影された画像を前記ウェアラブル端末から取得するステップと、取得した画像を認識するステップと、前記要処置状態に係る判断および前記ウェアラブル端末から取得した画像に基づいて前記ウェアラブル端末に表示させる操作支援情報およびその操作支援情報の前記表示域における位置を決定するステップと、ユーザーの視界の少なくとも一部と重複する表示域に操作支援情報が表示されるように前記ウェアラブル端末へ指示を送るステップと、を実行する画像処理装置に係る操作支援方法を提供する。

この発明による操作支援システムにおいて、制御部または端末制御部は、端末撮像ユニットにより撮影されたユーザー視界の画像を認識し、前記要処置状態に係る判断に基づいて前記端末表示ユニットに表示させる操作支援情報およびその操作支援情報の前記表示域における位置を決定するので、画像処理装置の要処置状態に係る状況に応じて適切な操作支援情報をユーザーに提供できる。

画像処理装置の一態様として、この実施形態による複合機を示す外観斜視図である。 図１に示す複合機を異なる方向からみた外観斜視図である。 図１に示す複合機の構成を示すブロック図である。 ウェアラブル端末の一態様として、この実施形態による眼鏡型ウェアラブル端末を示す外観斜視図である。 図４に示す眼鏡型ウェアラブル端末の構成を示すブロック図である。 実施の形態１において操作支援システムが提供する操作支援情報の例を示す第１の説明図である。 実施の形態１において操作支援システムが提供する操作支援情報の例を示す第２の説明図である。 実施の形態１において操作支援システムが提供する操作支援情報の例を示す第３の説明図である。 実施の形態１において操作支援システムが提供する操作支援情報の例を示す第４の説明図である。 実施の形態１において操作支援システムが提供する操作支援情報の例を示す第５の説明図である。 実施の形態１において操作支援システムが提供する操作支援情報の例を示す第６の説明図である。 実施の形態１において操作支援システムが提供する操作支援情報の例を示す第７の説明図である。 実施の形態１において操作支援システムが提供する操作支援情報の例を示す第８の説明図である。 実施の形態１において操作支援システムが提供する操作支援情報の例を示す第９の説明図である。 実施の形態１において操作支援システムが提供する操作支援情報の例を示す第１０の説明図である。 図３に示す複合機の制御部が実行する、操作支援情報に係る処理の流れを示すフローチャートである。 図５に示すウェアラブル端末の端末制御部が実行する、操作支援情報に係る処理の流れを示すフローチャートである。 実施の形態２において操作支援システムが提供する操作支援情報の例を示す説明図である。

以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。
（実施の形態１）
≪画像処理装置の構成≫
この発明よる操作支援システムは、画像処理装置とウェアラブル端末を備えるが、まず画像処理装置の構成例を以下に述べる。
図１は、画像処理装置の一態様として、この実施形態による複合機１００を示す外観斜視図である。図２は、図１に示す複合機１００を異なる方向からみた外観斜視図である。図３は、図１に示す複合機の構成を示すブロック図である。

図３に示すように、複合機１００は、表示ユニット１０１、表示制御回路１０３、操作キーユニット１０５、操作検出回路１０７、制御部１１１、データ格納デバイス１１３を備える。さらに、画像読取ユニット１２１、画像形成ユニット１２３、通信インターフェース回路１２５、少なくとも１つの状態センサー１３１および状態検出回路１３３を備える。
表示ユニット１０１は、例えば、液晶表示装置が適用される。表示ユニット１０１は、複合機１００の状態や操作キーユニット１０５が受付けた操作に係る情報を、文字やグラフィックスで表示する。表示制御回路１０３は、制御部１１１の指示に応じた表示が表示ユニット１０１に表示されるようにする制御回路である。
操作キーユニット１０５は、ユーザーの操作を検出する。操作検出回路１０７は、操作キーユニット１０５が検出した操作を制御部１１１に知らせる回路である。
図１および図２に示すように、複合機１００の表示ユニット１０１および操作キーユニット１０５は、複合機１００のユーザーが操作し易い手前側に設けられている。

制御部１１１は、ＣＰＵ（Central Processing Unit）あるいはＭＰＵ（Micro Processing Unit、以下、簡単のためこの明細書ではＣＰＵ、ＭＰＵをまとめてＣＰＵと呼ぶ）を中心に、メモリー、入出力インターフェース回路、タイマ回路等のハードウェア資源で構成される。
制御部１１１は、操作検出回路１０７を介して操作キーユニット１０５に対するユーザーの操作を認識し、表示制御回路１０３を介して表示ユニット１０１の表示を制御する。
また、制御部１１１は、状態センサー１３１が検出した複合機１００の各部の状態を認識して動作を制御する。
前記ＣＰＵがメモリーに格納された画像処理プログラムを実行することによって、表示や操作に係る処理が制御される。また、原稿画像の読取りや画像の印刷等、複合機１００の画像処理に係る機能が制御される。さらに、通信インターフェース回路１２５を介した外部の機器との通信が制御される。
即ち、ソフトウェア資源とハードウェア資源とが協働することで、表示および操作に係る処理、印刷等の画像処理に係る制御および通信に係る制御等が実現される。

また、制御部１１１のメモリーと別に、複合機１００はデータ格納デバイス１１３を備える。データ格納デバイス１１３は、書き換え可能な不揮発性の記憶素子を含む。不揮発性記憶素子は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が適用される。
データ格納デバイス１１３は、制御部１１１のメモリーにダウンロードされる処理プログラム、画像形成ユニット１２３が印刷する印刷データおよび画像読取ユニット１２１が読み取った原稿画像のデータ等を格納する。
通信インターフェース回路１２５は、複合機１００が外部の機器と通信を行うためのインターフェース回路である。通信を行う外部の機器は、後述する眼鏡型のウェアラブル端末２００を含む。

画像読取ユニット１２１は、制御部１１１の制御下で、原稿送り装置１９１（図１および図２参照）に置かれた原稿を給送して画像を読取り、原稿画像のデータを生成する。即ち、コピー、ファックスおよびスキャナーのジョブにおける画像読取を実行する。
画像形成ユニット１２３は、制御部１１１の制御下で、データ格納デバイス１１３に格納された印刷データを印刷用紙に印刷する。即ち、コピー、ファックスおよびプリンターのジョブにおける印刷を実行する。
図１および図２に示すように、複合機１００は、印刷用紙を収容する４つの用紙トレイ１４１ａ、１４１ｂ、１４１ｃ、１４１ｄおよび印刷済みの印刷用紙を受け入れる排紙トレイ１４３を備える。
用紙トレイ１４１ａ、１４１ｂ、１４１ｃ、１４１ｄは、各種サイズの印刷用紙を個別に収容することができる。例えば、Ａ４、Ａ３、Ｂ５、Ｂ４の各サイズの用紙を収容することができる。
さらに複合機１００は、制御部１１１の制御下で、何れかの用紙トレイに収容された印刷用紙を給送して画像形成ユニット１２３へ搬送する用紙搬送部（図１、図２に非図示）を備える。

画像形成ユニット１２３は、制御部１１１の制御下で、用紙搬送部が用紙トレイ１４１ａ、１４１ｂ、１４１ｃ、１４１ｄの何れかから給送した印刷用紙に、印刷データに基づく画像を印刷する。
用紙搬送部は、画像形成ユニット１２３で印刷された印刷用紙をさらに排紙トレイ１４３へ搬送して排出する。

≪ウェアラブル端末の構成≫
続いて、この実施形態による眼鏡型のウェアラブル端末２００について述べる。
図４は、ウェアラブル端末の一態様として、この実施形態による眼鏡型ウェアラブル端末を示す外観斜視図である。図５は、図４に示す眼鏡型ウェアラブル端末の構成を示すブロック図である。
図５に示すように、眼鏡型のウェアラブル端末２００は、端末表示ユニット２０１、端末表示制御回路２０３、端末制御部２１１、端末データ格納デバイス２１３、端末通信インターフェース回路２２５、端末撮像ユニット２２７を備える。さらに、端末音声ユニット２２９を備えてもよい。
端末表示ユニット２０１は、例えば、ホログラフィック光学素子が適用される。図４に示す端末表示ユニット２０１は、ウェアラブル端末を装着したユーザーの左眼の視界に文字やグラフィックスの情報を重畳して表示できる。端末表示ユニット２０１の表示は、半透過の状態であってユーザーの視界を完全に遮ることはない。端末表示制御回路２０３、端末制御部２１１、端末データ格納デバイス２１３および端末通信インターフェース回路２２５は、図示しないバッテリーと共に眼鏡型のウェアラブル端末のテンプル２１０に内蔵されている。

端末制御部２１１は、ＣＰＵを中心に、メモリー、入出力インターフェース回路、タイマ回路等のハードウェア資源で構成される。
端末制御部２１１は、端末表示制御回路２０３を介して端末表示ユニット２０１の表示を制御する。端末表示制御回路２０３は、端末制御部２１１の指示に応じた表示が端末表示ユニット２０１に表示されるようにする。
前記ＣＰＵがメモリーに格納された制御プログラムを実行することによって、端末表示ユニット２０１の表示や端末撮像ユニット２２７の撮影に係る機能が制御される。さらに、端末通信インターフェース回路２２５を介した複合機１００との通信が制御される。
即ち、ソフトウェア資源とハードウェア資源とが協働することで、表示および撮影の処理に係る制御および通信に係る制御等が実現される。

また、端末制御部２１１のメモリーと別に、ウェアラブル端末２００は端末データ格納デバイス２１３を備える。端末データ格納デバイス２１３は、書き換え可能な不揮発性の記憶素子を含む。不揮発性記憶素子は、例えば、フラッシュメモリ等が適用される。
端末データ格納デバイス２１３は、端末制御部２１１のメモリーにダウンロードされる処理プログラム、端末撮像ユニット２２７が撮影した画像および端末表示ユニット２０１に表示させる表示データ等を格納する。
端末通信インターフェース回路２２５は、ウェアラブル端末２００が複合機１００や外部の機器と通信を行うためのインターフェース回路である。

さらに、ウェアラブル端末２００が端末音声ユニット２２９を備えてもよい。端末音声ユニット２２９は、ウェアラブル端末２００を装着したユーザーに音声や音で情報を知らせる。さらに、前記ユーザーの発話を取得してユーザーの指示や質問等の音声を認識し、認識した指示や質問等を端末制御部２１１に知らせる。端末制御部２１１は、その指示や質問等に応じた処理を行う。指示や質問の内容に応じて、複合機１００へ指示や質問に係る情報を送信し、複合機１００の側で処理を行わせてもよい。あるいは、複合機１００を介して外部のサーバー等に情報を送り、処理を行わせる態様も考えられる。

≪操作支援情報に係る処理≫
この実施形態による操作支援システムがユーザーに提供する操作支援情報の具体例を以下に述べる。要処置状態でユーザーが行うべき処置には種々の態様がある。紙詰まりの除去、印刷用紙の補充、満杯になった排紙トレイからの印刷済用紙の除去、トナーやインクの交換・補充、使用済みトナーやインクの回収容器の交換等はその典型例である。その他にも、画像形成ユニットや、その他のユニットや部品をユーザーが交換したりメインテナンスしたりすることを想定している機種もある。
この実施形態では、印刷用紙の紙詰まりを除去する場合を例に、提供される操作支援情報の具体的な態様を述べる。詳細には、用紙トレイ１４１ａから、排紙トレイ１４３へ至る印刷用紙の搬送路中において発生した紙詰まりを除去する場合の操作支援情報について述べる。

前記搬送路には、印刷用紙の有無を検出する状態センサー１３１が複数個所に配置されているものとする。複合機１００の制御部１１１は、印刷ジョブの実行中に搬送路に配置された各状態センサー１３１が検出する印刷用紙の有無を監視する。
何れかの箇所で所定のタイミングになっても印刷用紙が到達しない状態あるいは所定のタイミングを過ぎてもその箇所から印刷用紙がなくならずに滞留した状態が発生すると、制御部１１１は、後続の印刷用紙の給送および搬送を停止させるように搬送路の駆動を制御する。

従って、紙詰まりが発生した箇所の印刷用紙の他に、それよりも用紙トレイ側（即ち上流側）の搬送路にも後続する印刷用紙がある状態で搬送が停止することがある。
なお、紙詰まりが発生した印刷用紙よりも先行して搬送された下流側の印刷用紙は、可能であれば排紙トレイ１４３まで搬送するように制御部１１１が搬送路の駆動を制御する。しかし、紙詰まりが発生した箇所と駆動が分離されていない箇所については、紙詰まりが発生した印刷用紙の搬送を停止させるのにつれて搬送が停止する。よって、紙詰まりが発生した箇所の印刷用紙の他に、それより下流側の搬送路にも印刷用紙がある状態で搬送が停止することがある。

紙詰まりの発生により印刷用紙の搬送を停止させると共に、制御部１１１は、紙詰まりが発生したことおよびその箇所を表示ユニット１０１に表示させてユーザーに紙詰まりの状態を知らせる。併せて、ウェアラブル端末２００を装着して操作支援情報を見ながら処置が行えることを表示ユニット１０１に表示させてもよい。

制御部１１１は、表示ユニット１０１に紙詰まりを表示させるだけでなく、ウェアラブル端末２００にも紙詰まりの状態に係る情報を送信する。ここで、ウェアラブル端末２００は、操作支援情報を提供するために複合機１００の傍に常備されていてもよい。あるいは、ユーザーが所有するウェアラブル端末２００に係る情報を予め登録してデータ格納デバイス１１３に格納しておくようにしてもよい。その場合、例えばユーザーがユーザー認証を行って複合機１００を使用すると、制御部１１１は、そのユーザーに紐付けて登録されたウェアラブル端末２００に、操作支援情報を提供する。

さらに、制御部１１１は、表示ユニット１０１にユーザーが紙詰まり除去を行う操作の手順を表示し、ウェアラブル端末２００に操作支援情報を提供する。
表示ユニット１０１に紙詰まり除去の操作手順を表示することは従来から行われているので、以降はウェアラブル端末２００によって提供される操作支援情報に絞って説明する。なお、この実施形態による操作支援システムは、グラフィックス表示ができない小さな表示ユニット１０１を有する複合機１００であっても、ユーザーに分かりやすい操作支援情報をウェアラブル端末２００側に表示させることができる。
図６〜図１５は、この実施形態において操作支援システムがウェアラブル端末２００を用いてユーザーに提供する操作支援情報の例を示す説明図である。それらの説明図は、ウェアラブル端末２００を装着したユーザーの視界を示している。

制御部１１１は、状態センサー１３１の検出に基づいて搬送路で紙詰まりが発生したと判断したら、その状態に係る情報に基づいて操作支援情報を表示すべき旨の通知をウェアラブル端末２００に送る。
通知を受けたウェアラブル端末２００の端末制御部２１１は、最初の操作支援情報として、側面カバー１４５を開く操作について操作ガイド表示を行う。具体的には、図６に示すように、ユーザーの視界に側面カバー１４５が入った場合、側面カバー取っ手１４５ａを操作して側面カバー１４５を開ける操作ガイドを表示すべきと判断する。

そして、ユーザー視界に入った側面カバー取っ手１４５ａに対応する端末表示ユニット２０１上の位置に、行うべき操作の位置と向きに応じた矢印の操作ガイド表示３０１を表示させる。なお、矢印は一例にすぎない。例えば、メッセージを表示させてもよく、矢印等のグラフィックスとメッセージとを表示してもよい。好ましくは、ユーザーの視界を遮ったり邪魔したりしないように操作ガイド表示３０１は半透過の状態で表示される。

なお、端末制御部２１１は、端末撮像ユニット２２７が撮影したユーザー視界の画像を参照して側面カバー取っ手１４５ａに対応する、端末表示ユニット２０１上の位置を決定する。端末撮像ユニット２２７が撮影したユーザー視界の画像において、側面カバー取っ手１４５ａ等、ユーザーが操作すべき箇所を容易にかつ正確に認識できるように、あらかじめ定められたマーカーを操作すべき箇所に付しておくようにしてもよい。複数の操作すべき箇所に固有のマーカーを付しておけば、より容易にかつ正確にそれらの箇所を特定できる。

ユーザーが移動するとユーザーの視点もそれにつれて移動する。端末制御部２１１は、ユーザーの視点が移動すると、側面カバー取っ手１４５ａに対応する、端末表示ユニット２０１上の位置を更新する。さらに、ユーザーの視点が移動するにつれて、操作ガイド表示３０１の矢印の向きを更新することが好ましい。これによって、ユーザーの視点が移動した場合に、操作ガイド表示３０１の位置と向きが更新され、行うべき操作がユーザーに判り易く表示される。

異なる態様として、端末撮像ユニット２２７が撮影したユーザー視界の画像を複合機１００へ逐次送信するように端末制御部２１１が制御し、それを受信した複合機１００の側は、端末表示ユニット２０１に表示させる操作ガイド表示３０１の内容および位置を制御部１１１が決定してもよい。そして、決定した操作ガイド表示３０１に係る情報をウェアラブル端末２００へ送信してもよい。端末制御部２１１は、複合機１００から受信した情報に基づいて、端末表示ユニット２０１に操作ガイド表示３０１を表示させる。
図６に示すように、操作ガイド表示３０１を表示する位置は、ユーザーが操作すべき側面カバー取っ手１４５ａの位置と完全に一致する必要はなく、近傍の位置であってもよい。

操作ガイド表示３０１に従って、ユーザーが側面カバー１４５を開き、機内の搬送路１４７（図７参照）が露出すると、制御部１１１は、状態センサー１３１の検出に基づき側面カバー１４５が閉じた状態から開いた状態に変化したと認識し、その変化をウェアラブル端末２００に通知する。
通知を受けた端末制御部２１１は、印刷用紙があると判断する箇所に、詰まっている印刷用紙を除去する操作ガイド表示を表示させる。

例えば、図８に示す位置に印刷用紙ＰＰ１があると判断する場合、端末制御部２１１は、その印刷用紙ＰＰ１を取り除くために紙送りノブ１４９を上方へ回す操作ガイド表示３０２を端末表示ユニット２０１に表示させる。詳細には、端末制御部２１１は、ユーザー視界に入った紙送りノブ１４９に対応する端末表示ユニット２０１上の位置に、行うべき操作の位置と向きに応じた矢印の操作ガイド表示３０２を表示させる（図９参照）。

また、例えば図１０に示す位置に印刷用紙ＰＰ２があると判断する場合、制御部１１１は、その状態をウェアラブル端末２００に通知する。
その通知を受けた端末制御部２１１は、印刷用紙ＰＰ２を取り除くために印刷用紙ＰＰ２の先端を手前に引き抜く操作ガイド表示３０３を端末表示ユニット２０１に表示させる。詳細には、ユーザー視界に入った印刷用紙ＰＰ２の滞留箇所に対応する端末表示ユニット２０１上の位置に、行うべき操作の位置と向きに応じた矢印の操作ガイド表示３０３を表示させる（図１１参照）。

さらにまた、例えば図１２に示す位置に印刷用紙ＰＰ３があると判断する場合、制御部１１１は、その状態をウェアラブル端末２００に通知する。
その通知を受けた端末制御部２１１は、印刷用紙ＰＰ３を取り除くために左右の両面搬送部レバー１５１を手で掴んで持ち上げながら印刷用紙ＰＰ３を手前に取り出す操作ガイドを端末表示ユニット２０１に表示させる。詳細には、最初にユーザー視界に入った両面搬送部レバー１５１に対応する端末表示ユニット２０１上の位置に、左右の両面搬送部レバー１５１を中央へ寄せる操作の位置と向きに応じた矢印の操作ガイド表示３０４を表示させる（図１３参照）。

操作ガイド表示３０４に従いユーザーが両面搬送部レバー１５１を手で掴んで中央へ寄せると、続いて端末制御部２１１は、次の操作ガイド表示を表示させる。まず、両面搬送部レバー１５１に対応する端末表示ユニット２０１上の位置に、掴んだ両面搬送部レバー１５１を上方へ持ち上げる操作の位置と向きに応じた矢印の操作ガイド表示３０５を表示させる。さらに、印刷用紙ＰＰ３を手前に取り出す操作の位置と向きに応じた矢印の操作ガイド表示３０６を表示させる（図１４参照）。

端末制御部２１１は、操作ガイド表示３０４から操作ガイド表示３０５、３０６へ切り替えるタイミングを次のようにして決定すればよい。
まず、複合機１００が両面搬送部レバー１５１の位置を検出する状態センサー１３１を有している場合について述べる。両面搬送部レバー１５１が中央へ寄せられたことを状態センサー１３１が検出すると、制御部１１１がその状態の変化をウェアラブル端末２００に通知する。その通知を受けた端末制御部２１１は、操作ガイド表示３０４を操作ガイド表示３０５、３０６に切り替える。

また、複合機１００が両面搬送部レバー１５１の位置を検出する状態センサー１３１を有していない場合、端末撮像ユニット２２７が撮影した画像に含まれる両面搬送部レバー１５１が中央へ寄せられた状態になったと端末制御部２１１が認識したら、操作ガイド表示３０４を操作ガイド表示３０５、３０６に切り替えればよい。画像の認識は、端末制御部２１１が行ってもよいが、異なる態様として制御部１１１が行ってもよい。なお、画像認識は公知の技術を適用すればよい。制御部１１１が画像の認識を行う場合、端末制御部２１１は端末撮像ユニット２２７が撮影した画像を複合機１００へ逐次送信して提供する。

なお、上述の説明は、紙詰まりが生じた箇所の印刷用紙の除去に関して述べたが、後続の印刷用紙が搬送路の上流側に滞留している場合もある。さらに、先行する印刷用紙が搬送路の下流側に滞留している場合もある。その場合、ユーザーはそれらの滞留した印刷用紙も取り除く必要があるが、その操作は紙詰まりが生じた箇所の印刷用紙の除去と同様である。したがって、操作ガイド表示は、異なる箇所について詰まった印刷用紙を除去する操作ガイド表示を組み合わせて、順次表示するものになる。

さらに、搬送路中にあるすべての印刷用紙が除去されたと制御部１１１または端末制御部２１１が状態センサー１３１や画像認識に基づいて判断したら、端末制御部２１１は次のように操作ガイド表示を表示してもよい。すなわち、側面カバー１４５に対応する端末表示ユニット２０１上の位置に、側面カバー１４５を閉じる操作の位置と向きに応じた矢印の操作ガイド表示３０７を表示させる（図１５参照）。
以上が、この実施形態による操作支援システムがユーザーに提供する操作支援情報の具体的な態様の例である。

≪フローチャート≫
実施形態による操作支援システムがユーザーに操作支援情報を提供する処理を、フローチャートを参照しながら述べる。
図１６は、図３に示す複合機の制御部が実行する、操作支援情報に係る処理の流れを示すフローチャートである。また、図１７は、図５示すウェアラブル端末の端末制御部が実行する、操作支援情報に係る処理の流れを示すフローチャートである。

図１６に示すように、複合機１００の制御部１１１は、複合機１００が要処置状態に陥ったことを状態センサー１３１が検出したと判断したら、複合機が如何なる状況にあるかを判断し、不具合状況に係る通知をウェアラブル端末に送る（ステップＳ１１）。ここで、不具合状況は、複合機１００の要処置状態に係る状況である。
続いて、制御部１１１は、不具合状況を解消するための処置がなされて状態センサー１３１が状態の変化を検出したか否かを監視する（ステップＳ１３）。

状態の変化が検出されたら（ステップＳ１３のＹｅｓ）、制御部１１１は不具合状況が解消された状態か否かを判断する（ステップＳ１５）。
不具合状況が未だ解消されていない場合（ステップＳ１５のＮｏ）、制御部１１１は処理を前述のステップＳ１１へ戻して、変化した状態に係る通知をウェアラブル端末に送る。
一方、不具合状況が解消されたと制御部１１１が判断した場合（ステップＳ１５のＹｅｓ）、不具合状況が解消された旨の通知をウェアラブル端末２００に送って（ステップＳ１７）、処理を終了する。
以上が、複合機１００の側で制御部１１１が実行する処理の流れである。

これに対応して、ウェアラブル端末２００の端末制御部２１１は、以下の処理を実行する。
図１７に示すように、端末制御部２１１は、複合機１００から不具合状況に係る状態の通知が送られてきたか否かを監視する（ステップＳ３１）。
不具合状況に係る通知を受信したら（ステップＳ３１のＹｅｓ）、端末制御部２１１は、その通知が、不具合状況が解消された旨の通知か否かを判断する（ステップＳ３３）。

不具合状況が解消された旨の通知でなければ（ステップＳ３３のＮｏ）、端末制御部２１１は、複合機１００から受信した状態と端末撮像ユニット２２７が撮影したユーザー視界の画像とに基づいて、ユーザーが行うべき操作に係る操作ガイド表示を端末表示ユニット２０１に表示させる（ステップＳ３７）。そして、処理を前述のステップＳ３１へ戻し、次の通知を待つ。

ここで、端末データ格納デバイス２１３は、複合機１００から受信し得るすべての不具合状況と、各不具合状況に対して表示する操作ガイド表示とを関連付けた不具合リストのデータを予め格納しているものとする。端末制御部２１１は、複合機１００から不具合状況に係る通知を受信すると、不具合リストを照合し、表示すべき操作ガイド表示の種類を決定する。ただし、その操作ガイド表示をどの位置にどの方向に表示すべきかについては、端末撮像ユニット２２７が撮影したユーザー視界の画像を参照して決定する。

例えば、搬送路中で紙詰まりが発生した旨の通知を複合機１００から受信した場合について述べる。制御部１１１は、その通知を搬送路中の状態センサー１３１の検出および側面カバーの閉状態を示す情報と共に送るものとする。
その通知を受信した端末制御部２１１は、端末データ格納デバイス２１３に格納された不具合リストを参照する。そして、側面カバー１４５を開く操作ガイド表示３０１（図６参照）を端末表示ユニット２０１に表示させるべきと判断する。

ユーザーが側面カバー１４５を開けると、状態センサー１３１は、側面カバー１４５が開いたことを検出する。制御部１１１は、側面カバーが開状態に変化したこと、紙詰まりの状態は変化がないことを示す通知をウェアラブル端末２００へ送る。
その通知に応答して端末制御部２１１は、さらに不具合リストを参照し、搬送路中の状態センサー１３１の検出に応じた操作ガイド表示を端末表示ユニット２０１に表示させる。
一方、前述のステップＳ３３で、不具合状況が解消された旨の通知を受信したと判断したら、端末制御部２１１は、操作ガイド表示の提供をやめて（ステップＳ３５）、処理を終了する。

例えば、ユーザーが搬送路上のすべての印刷用紙を取り除き側面カバーを閉じると、複合機１００の制御部１１１は、側面カバーが閉じた状態に変化したこと、搬送路中のすべての状態センサー１３１が印刷用紙のない状態を検出していることから、紙詰まりの状態が解消されたと判断する。そして、その旨の通知をウェアラブル端末２００に送る。通知を受けたウェアラブル端末２００の端末制御部２１１は、操作ガイド表示をやめる。この際、紙詰まり状態が解消された旨のメッセージを表示してから操作ガイド表示をやめてもよい。

なお、図１７に示す処理は、端末制御部２１１がユーザー視界に係る画像と複合機１００から受信した不具合状況、即ち要処置状態に係る情報とに基づいて操作ガイド表示の内容と表示位置とを決定することを前提としている。しかし、それらの処理の全部または一部を複合機１００の制御部１１１が行ってもよい。さらに、直接、または、複合機１００を介して間接的にウェアラブル端末２００と通信する外部のサーバー等でそれらの処理の全部または一部を処理してもよい。また、端末制御部２１１、または、制御部１１１と外部のサーバー等が協同してそれらの処理の全部または一部を処理してもよい。
そのために、端末撮像ユニット２２７が撮影したユーザー視界の画像を、端末制御部２１１が複合機１００に提供してもよく、さらに複合機１００の制御部１１１が、その画像を外部のサーバー等に提供してもよい。

（実施の形態２）
実施の形態１では、要処置状態を解消するためにユーザーが操作すべき手順を操作ガイド表示で示す態様について述べた。
この実施形態では、さらにユーザーの注意を喚起することを目的として表示を提供する態様について述べる。ユーザーの注意を喚起する必要がある事例としては、ユーザーの手が届く範囲に、操作を誤るとユーザーを傷つける可能性がある箇所がある場合が挙げられる。
例えば、搬送路１４７中に、印刷中高温になる定着ユニットがあり、ユーザーが不用意に定着ユニットのカバーを操作して高温の定着ユニットに触れると、やけどする可能性があるものとする。
その場合、複合機１００の制御部１１１は、側面カバー１４５が開かれかつ定着ユニットが高温である状態を状態センサー１３１が検出していると判断し、その状態に係る通知をウェアラブル端末２００に送る。
通知を受けた端末制御部２１１は、端末撮像ユニット２２７が撮影したユーザー視界の画像に定着ユニットが含まれると判断すると、定着ユニットに対応する端末表示ユニット２０１上の位置に、高温に注意すべき旨の注意喚起表示を表示させてユーザーに危険性を知らせる。
図１８は、この実施の形態において操作支援システムが提供する注意喚起の操作支援情報の例を示す説明図である。
図１８に示すように、搬送路１４７中に配置された定着ユニット１５３がユーザー視界に入ると、端末制御部２１１は定着ユニット１５３に対応する端末表示ユニット２０１上の位置に「高温に注意！」という注意喚起表示３１１を表示させる。

（実施の形態３）
実施の形態１および実施の形態２では、端末表示ユニット２０１に表示を行うことによってユーザーに操作支援情報を提供している。
この実施形態において、ウェアラブル端末２００は、さらに端末音声ユニット２２９を備え、音を用いてユーザーに操作支援情報を提供する。
例えば、図６に示す操作ガイド表示３０１が表示されている際に、「側面カバーを開いてください。」という音声メッセージを出力してもよい。
また、例えば図１８に示す注意喚起表示３１１が表示されている際に、「高温の箇所に触れないようにしてください。」という音声メッセージを出力してもよい。

さらに、端末音声ユニット２２９は、ユーザーの声を収音し、音声認識技術によりユーザーの操作支援情報に関する指示を認識してもよい。
例えば、「表示を大きくして。」や「音を小さくして」といったユーザーの声を指示として認識し、操作支援情報に反映してもよい。あるいは、操作支援情報として「１枚目の印刷用紙を取り除いたら、『１枚目を取りました』と言ってください」とメッセージを提供し、ユーザーの指示に基づいて状態の変化を認識するようにしてもよい。このようにすれば、操作支援システムがユーザーと対話しながら操作支援情報を提供できる。

以上に述べたように、
（i）この発明による操作支援システムは、画像処理装置およびウェアラブル端末を備えたシステムであって、前記画像処理装置は、ユーザーによる処置を必要とする要処置状態にあるか否かに係る検出を行う少なくとも１つの状態センサーと、前記状態センサーの検出に基づいて前記要処置状態に係る判断を行う制御部と、前記ウェアラブル端末と通信を行う通信インターフェース回路とを備え、前記ウェアラブル端末は、前記画像処理装置と通信を行う端末通信インターフェース回路と、装着状態でユーザーの視界の少なくとも一部を撮影する端末撮像ユニットと、前記装着状態でユーザーの視界の少なくとも一部と重複する表示域を有して情報を表示する端末表示ユニットと、前記画像処理装置との通信に基づいて前記端末表示ユニットに操作支援情報を表示させる端末制御部とを備え、前記制御部または前記端末制御部は、前記端末撮像ユニットにより撮影されたユーザー視界の画像を認識し、前記要処置状態に係る判断に基づいて前記端末表示ユニットに表示させる操作支援情報およびその操作支援情報の前記表示域における位置を決定することを特徴とする。

この発明において、画像処理装置は、画像を読み取ったり、画像を出力したり、その両方を行ったりするものである。その具体的な態様は、例えば、複合機である。なお、画像を読み取る方式や画像を出力する方式は問わない。前述の実施形態における複合機は、この発明における画像処理装置に相当する。
また、ウェアラブル端末は、ユーザーが装着可能であって画像処理装置と通信可能な装置であって、ユーザーに装着された装着状態で、ユーザーの視界（ユーザー視界）の一部または全部を撮影し、かつ、ユーザーの視界の一部または全部に情報を表示する機能を有するものである。その具体的な態様は、例えば、眼鏡型の形状を有し、眼鏡のように装着できる通信機器である。ただし、その形状は眼鏡型に限らない。

撮像されるユーザー視界の領域と端末表示ユニットが情報を表示できる前記ユーザー視界の領域、即ち表示域とは少なくとも一部が重複している。ただし、両者の領域が完全に一致していなくてもよい。
また、ユーザーによる処置は、画像処理を実行可能な状態にするために、ユーザーが画像処理装置に対して行わなければならない操作である。あるいは、画像処理が実行不能な状態に陥らないようにするためにユーザーが画像処理装置に対して行わなければならない操作である。その具体的な一例は、紙詰まりが発生した場合に詰まった紙を取り除く処置である。他の例は、なくなった印刷用紙を補充する処置や、トナーあるいはインクを補給する処置、使用済みのトナーやインクを廃棄する処置であるが、これらに限らない。画像処理装置が自律的な処理を行って画像処理実行可能な状態に復帰することができずに、ユーザーの手を借りて復帰しなければならない事項が該当する。

状態センサーは、ユーザーによる処置を必要とする状態（要処置状態）に関する検出を行うセンサーである。その具体的な態様としては、例えば、紙詰まりを検出する紙詰まりセンサー、印刷用紙がなくなったことを検出する用紙切れセンサー、印刷用紙がなくなることを検出する用紙残量センサーが挙げられる。さらに、トナー、廃トナー、インクあるいは廃インクの有無や量を検出するセンサーなども挙げられる。
また、要処置状態に係る判断は、要処置状態であるか否かの判断だけでなく、要処置状態を解消する１以上の操作が行われたか否かに関する判断を含む。特に、要処置状態を解消するために複数の操作を要する場合にそれぞれの操作が行われたかの判断を含む。また、手順に従った操作を要する場合は、その手順の各段階に従った操作が行われたかの判断を含む。

制御部は、一例としてＣＰＵおよびメモリーを中心とするハードウェア資源とＣＰＵが実行する処理プログラム（ソフトウェア資源）とが有機的に結合して機能が実現されるように構成される。ただし、これに限るものでない。端末制御部についても同様である。
また、通信インターフェース回路は、通信を行うためのインターフェース回路である。通信の方式や態様は限定されないが、ウェアラブル端末との通信であるので無線通信が極めて好ましい。その具体的な態様としては、例えば、Bluetooth（登録商標）や無線ＬＡＮに採用されている通信が挙げられる。
さらにまた、装着状態は、ユーザーがウェアラブル端末を身に着けて使用している状態である。

端末撮像ユニットは、ユーザーの視界に入るものを画像として撮影するものである。その具体的な一態様として、小型のカメラが挙げられる。近年は、スマートフォンや自動車等に小型で高性能なカメラが実用化されているので、それらが適用されてもよい。
また、ユーザー視界は、ユーザーが見る範囲のことである。端末撮像ユニットは、ユーザーが見る範囲を撮影する。即ち、ユーザーが顔の向きを変えると、それにつれて端末撮像ユニットが撮影する周囲の領域も変わる。端末撮像ユニットが撮影する範囲はユーザーの視界、即ちユーザーが眼を固定した状態で見えるすべての範囲と必ずしも一致する必要がない。視界の一部であってもよいし、視界より広くてもよいが、視界とほぼ一致しているのが好ましい。

端末表示ユニットは、ユーザーの視界の少なくとも一部に情報を表示するものである。その具体的な態様は、例えば、眼鏡のガラス面上を表示域として、ユーザー視界に重畳して情報を表示できる透過型の表示装置である。近年は、航空機や自動車等で、操縦者や運転者が前方から視線をそらさずに計器を読めるヘッドアップディスプレーが実用化されているので、その技術が適用されてもよい。
また、操作支援情報は、画像処理装置の要処置状態を解消して画像処理可能な状態にするためにユーザーが行うべき操作について、それを支援する情報である。例えば、操作箇所や操作手順に関する情報が挙げられる。前述の実施形態における紙詰まりの除去手順に関する情報は、操作支援情報に相当する。

さらに、この発明の好ましい態様について説明する。
（ii）前記制御部または前記端末制御部は、前記端末撮像ユニットにより撮影されたユーザー視界の中に、ユーザーが処置すべき箇所があると認識した場合、前記端末表示ユニットの表示域のうち前記箇所に対応する位置に操作支援情報を表示させてもよい。
ここで、前記箇所に対応する位置は、ユーザーが処置すべき箇所と完全一致していなくてもよい。ユーザーが処置すべき箇所との対応をユーザーが理解できる位置あるいは態様であればよい。例えば、前記箇所の近傍に操作支援情報を表示させてもよいし、前記箇所を指す矢印の後端に操作支援情報を表示させてもよい。
このようにすれば、ユーザーは、処置すべき箇所を容易に認識することができる。

（iii）前記制御部または前記端末制御部は、前記状態センサーによる検出および前記端末撮像ユニットにより撮影されたユーザー視界の少なくとも何れかに基づいて、前記要処置状態に係る何らかの処置が行われたと判断し、前記操作支援情報の更新に係る判断を行ってもよい。
このようにすれば、ユーザーが行った処置に応じて操作支援情報が更新されるので、次に行うべき処置あるいは処置の完了をユーザーが容易に認識できる。

（iv）前記制御部または前記端末制御部は、前記端末撮像ユニットにより撮影されたユーザー視界の中にユーザーを傷つける可能性のある箇所があると認識した場合、前記端末表示ユニットの表示域のうち前記箇所に対応する位置にユーザーへの注意喚起を表示させてもよい。
このようにすれば、ユーザーの視界の中にユーザーを傷つける危険性のある箇所があれば、その箇所に対してユーザーの注意を喚起して危険を回避させることができる。

（v）前記ウェアラブル端末は、ユーザーに音声または音で通知する音通知ユニットをさらに備え、前記端末制御部は、前記操作支援情報およびユーザーへの警告のうち少なくとも一部について、前記端末表示ユニットに表示を行う際に音声または音による通知を併せて行うように制御してもよい。
このようにすれば、視覚だけでなく聴覚を通じてユーザーに操作支援情報を提供することができる。

（vi）この発明の好ましい態様は、ユーザーによる処置を必要とする要処置状態にあるか否かに係る検出を行う少なくとも１つの状態センサーと、前記状態センサーの検出に基づいて前記要処置状態に係る判断を行う制御部と、外部のウェアラブル端末と通信を行う通信インターフェース回路とを備え、前記通信インターフェース回路は、前記ウェアラブル端末と通信し、ユーザーの視界の少なくとも一部が撮影された画像を前記ウェアラブル端末から取得し、前記制御部は、前記ウェアラブル端末から取得した画像を認識し、前記要処置状態に係る判断および前記ウェアラブル端末から取得した画像に基づいて前記ウェアラブル端末に表示させる操作支援情報を決定し、ユーザーが行うべき操作の箇所に対応してその操作支援情報が表示されるように前記ウェアラブル端末へ指示を送る画像処理装置を含む。

（vii）この発明の好ましい態様は、制御部が、状態センサーを用いて、画像処理装置がユーザーによる処置を必要とする要処置状態にあるか否かに係る検出を行うステップと、前記検出に基づいて前記要処置状態に係る判断を行うステップと、外部のウェアラブル端末と通信し、ユーザーの視界の少なくとも一部が撮影された画像を前記ウェアラブル端末から取得するステップと、取得した画像を認識するステップと、前記要処置状態に係る判断および前記ウェアラブル端末から取得した画像に基づいて前記ウェアラブル端末に表示させる操作支援情報およびその操作支援情報の前記表示域における位置を決定するステップと、ユーザーの視界の少なくとも一部と重複する表示域に操作支援情報が表示されるように前記ウェアラブル端末へ指示を送るステップと、を実行する画像処理装置に係る操作支援方法を含む。
制御部は、画像処理装置にあってもよいが、全部または一部がウェアラブル端末や画像処理装置と通信可能な外部の機器にあってもよい。制御部の機能が分散して配置される態様も含む。

この発明の好ましい態様には、上述した複数の態様のうちの何れかを組み合わせたものも含まれる。
前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。

１００：複合機、 １０１：表示ユニット、 １０３：表示制御回路、 １０５：操作キーユニット、 １０７：操作検出回路、 １１１：制御部、 １１３：データ格納デバイス、 １２１：画像読取ユニット、 １２３：画像形成ユニット、 １２５：通信インターフェース回路、 １３１：状態センサー、 １３３：状態検出回路、 １４１ａ，１４１ｂ，１４１ｃ，１４１ｄ：用紙トレイ、 １４３：排紙トレイ、 １４５：側面カバー、 １４５ａ：側面カバー取っ手、 １４７：搬送路、 １４９：紙送りノブ、 １５１：両面搬送部レバー、 １５３：定着ユニット、 １９１：原稿送り装置
２００：ウェアラブル端末、 ２０１：端末表示ユニット、 ２０３：端末表示制御回路、 ２１０：テンプル、 ２１１：端末制御部、 ２１３：端末データ格納デバイス、 ２２５：端末通信インターフェース回路、 ２２７：端末撮像ユニット、 ２２９：端末音声ユニット
３０１，３０２，３０３，３０４，３０５，３０６，３０７：操作ガイド表示、 ３１１：注意喚起表示
ＰＰ１，ＰＰ２，ＰＰ３：印刷用紙

Claims (7)

1. 画像処理装置およびウェアラブル端末を備えたシステムであって、
   前記画像処理装置は、
   ユーザーによる処置を必要とする要処置状態にあるか否かに係る検出を行う少なくとも１つの状態センサーと、
   前記状態センサーの検出に基づいて前記要処置状態に係る判断を行う制御部と、
   前記ウェアラブル端末と通信を行う通信インターフェース回路とを備え、
   前記ウェアラブル端末は、
   前記画像処理装置と通信を行う端末通信インターフェース回路と、
   装着状態でユーザーの視界の少なくとも一部を撮影する端末撮像ユニットと、
   前記装着状態でユーザーの視界の少なくとも一部と重複する表示域を有して情報を表示する端末表示ユニットと、
   前記画像処理装置との通信に基づいて前記端末表示ユニットに操作支援情報を表示させる端末制御部とを備え、
   前記制御部または前記端末制御部は、前記端末撮像ユニットにより撮影されたユーザー視界の画像を認識し、前記要処置状態に係る判断に基づいて前記端末表示ユニットに表示させる操作支援情報およびその操作支援情報の前記表示域における位置を決定する操作支援システム。
2. 前記制御部または前記端末制御部は、前記端末撮像ユニットにより撮影されたユーザー視界の中に、ユーザーが処置すべき箇所があると認識した場合、前記端末表示ユニットの表示域のうち前記箇所に対応する位置に操作支援情報を表示させる請求項１に記載の操作支援システム。
3. 前記制御部または前記端末制御部は、前記状態センサーによる検出および前記端末撮像ユニットにより撮影されたユーザー視界の少なくとも何れかに基づいて、前記要処置状態に係る何らかの処置が行われたと判断し、前記操作支援情報の更新に係る判断を行う請求項１に記載の操作支援システム。
4. 前記制御部または前記端末制御部は、前記端末撮像ユニットにより撮影されたユーザー視界の中にユーザーを傷つける可能性のある箇所があると認識した場合、前記端末表示ユニットの表示域のうち前記箇所に対応する位置にユーザーへの注意喚起を表示させる請求項１に記載の操作支援システム。
5. 前記ウェアラブル端末は、ユーザーに音声または音で通知する音通知ユニットをさらに備え、
   前記端末制御部は、前記操作支援情報およびユーザーへの警告のうち少なくとも一部について、前記端末表示ユニットに表示を行う際に音声または音による通知を併せて行うように制御する請求項２または３に記載の操作支援システム。
6. ユーザーによる処置を必要とする要処置状態にあるか否かに係る検出を行う少なくとも１つの状態センサーと、
   前記状態センサーの検出に基づいて前記要処置状態に係る判断を行う制御部と、
   外部のウェアラブル端末と通信を行う通信インターフェース回路とを備え、
   前記通信インターフェース回路は、前記ウェアラブル端末と通信し、ユーザーの視界の少なくとも一部が撮影された画像を前記ウェアラブル端末から取得し、
   前記制御部は、前記ウェアラブル端末から取得した画像を認識し、前記要処置状態に係る判断および前記ウェアラブル端末から取得した画像に基づいて前記ウェアラブル端末に表示させる操作支援情報を決定し、ユーザーが行うべき操作の箇所に対応してその操作支援情報が表示されるように前記ウェアラブル端末へ指示を送る画像処理装置。
7. 制御部が、
   状態センサーを用いて、画像処理装置がユーザーによる処置を必要とする要処置状態にあるか否かに係る検出を行うステップと、
   前記検出に基づいて前記要処置状態に係る判断を行うステップと、
   外部のウェアラブル端末と通信し、ユーザーの視界の少なくとも一部が撮影された画像を前記ウェアラブル端末から取得するステップと、
   取得した画像を認識するステップと、
   前記要処置状態に係る判断および前記ウェアラブル端末から取得した画像に基づいて前記ウェアラブル端末に表示させる操作支援情報およびその操作支援情報の前記表示域における位置を決定するステップと、
   ユーザーの視界の少なくとも一部と重複する表示域に操作支援情報が表示されるように前記ウェアラブル端末へ指示を送るステップと、
   を実行する画像処理装置に係る操作支援方法。

Images