JP2017215701A - ドキュメント補完システム - Google Patents

Abstract

【課題】ドキュメントと補完画像とで一つの視認対象を構成させることができるドキュメント補完システムを提供する。【解決手段】画像形成装置２と、視界を撮影する視界撮像部１１を有するメガネ型端末１とを備えたドキュメント補完システムであって、メガネ型端末１は、画像を視界に重畳させて表示する画像表示部１２ａを具備し、画像形成装置は、ドキュメントが印刷データに基づく通常印刷よりも劣化している場合に、ドキュメントの劣化を補う補完データを生成する補完データ生成部を備える。メガネ型端末１は、補完データ生成部によって生成された補完データに基づく補完画像を生成する補完画像生成部と、補完画像生成部によって生成された補完画像を視界内のドキュメントと重畳させて画像表示部１２ａに表示させる画像マッチング部とを備えている。【選択図】図１

Description

本発明は、メガネ型のウェアラブル端末（以下、メガネ型端末と称す）を用いたドキュメント補完システムに関する。

近年、拡張現実（ＡＲ：Augmented Reality）技術を用い、実オブジェクトに応じて、仮想オブジェクトをＡＲ空間内に配置するオブジェクト配置方法が提案されている（例えば、特許文献１、２参照）。

特開２０１３−２３５３７４号公報 特開２０１５−１８７５号公報

しかしながら、従来技術では、実オブジェクトを仮想オブジェクトのインデックスとして用いているのみであり、実オブジェクトと仮想オブジェクトとが別々の視認対象として取り扱われる。例えば、実オブジェクトが印刷されたドキュメントである場合、ドキュメントの文字、画像情報と、仮想オブジェクトの色、大きさ、配置とは、関連付けられていない。従って、ユーザーは、ドキュメントと仮想オブジェクトとを異なる対象物として認識することになり、仮想オブジェクトがドキュメントと重畳して配置された場合には、ドキュメントが見えにくくなってしまう。

本発明は上記課題に鑑みてなされたものであり、印刷されたドキュメントを補完する補完画像をドキュメントと重畳させて表示することで、ドキュメントと補完画像とで一つの視認対象を構成させることができるドキュメント補完システムを提供することを目的とする。

本発明のドキュメント補完システムは、ドキュメントとして出力済みの印刷データを記憶する本体装置と、当該本体装置と通信可能に構成され、視界を撮影する視界撮像部を有するメガネ型端末とを備えたドキュメント補完システムであって、前記メガネ型端末は、
画像を視界に重畳させて表示する画像表示部を具備し、前記本体装置もしくはメガネ型端末は、前記ドキュメントが通常印刷よりも劣化している場合に、前記ドキュメントの劣化を補う補完データを生成する補完データ生成部と、該補完データ生成部によって生成された前記補完データに基づく補完画像を生成する補完画像生成部と、該補完画像生成部によって生成された前記補完画像を視界内の前記ドキュメントと重畳させて前記画像表示部に表示させる画像マッチング部とを具備することを特徴とする。
さらに、本発明のドキュメント補完システムにおいて、前記補完データ生成部は、前記ドキュメントの印刷品質が通常印刷よりも劣化している場合に、前記印刷品質の劣化を補う補完データを生成しても良い。
さらに、本発明のドキュメント補完システムにおいて、前記本体装置は、前記印刷データを印刷品質を劣化させた前記ドキュメントを出力する節約印刷制御部を有し、
前記補完データ生成部は、前記節約印刷による前記ドキュメントの出力時に、前記補完データを生成させ、前記本体装置の記憶部に記憶させておいても良い。
さらに、本発明のドキュメント補完システムにおいて、前記補完データ生成部は、前記視界撮像部によって撮影された視界画像内に存在する前記ドキュメントの画像と、前記本体装置に記憶された前記印刷データから生成される画像との差分を前記補完データとして生成しても良い。
さらに、本発明のドキュメント補完システムにおいて、前記補完データ生成部は、前記ドキュメントの一部が欠落して劣化している場合に、欠落による劣化を補う前記補完データを生成しても良い。
また、本発明のドキュメント補完システムは、ドキュメントとして出力済みの印刷データを記憶する本体装置と、当該本体装置と通信可能に構成され、視界を撮影する視界撮像部を有するメガネ型端末とを備えたドキュメント補完システムであって、前記メガネ型端末は、画像を視界に重畳させて表示する画像表示部を具備し、前記本体装置もしくはメガネ型端末は、受け付けた検索文字列が前記印刷データに含まれている場合、前記画像表示部に前記ドキュメントの前記検索文字列と重畳するハイライトを表示させることを特徴とする。

本発明によれば、印刷されたドキュメントを補完する補完画像をドキュメントと重畳させて表示することで、ドキュメントと補完画像とで一つの視認対象を構成させることができる。すなわち、劣化したドキュメントであっても、足りない情報（色味や、濃度等）を補完画像として重畳させることで、印刷データに基づいて通常印刷したドキュメントとして視認することができるという効果を奏する。

本発明に係るドキュメント補完システムのシステム構成図である。 図１に示す画像形成装置の構成を示すブロック図である。 図１に示すメガネ型端末の構成を示すブロック図である。 本発明に係るドキュメント補完システムによるドキュメント補完動作を示すフローチャートである。 本発明に係るドキュメント補完システムによるドキュメント補完動作を説明する説明図である。 本発明に係るドキュメント補完システムによるドキュメント補完動作を説明する説明図である。 本発明に係るドキュメント補完システムによるドキュメント補完動作を説明する説明図である。 本発明に係るドキュメント補完システムによるドキュメント補完動作を説明する説明図である。

以下、図を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態において、同様の機能を示す構成には、同一の符号を付してある。

本実施の形態のドキュメント補完システムは、図１に示すように、メガネ型端末１と、メガネ型端末１と無線等のネットワークで接続された本体装置である画像形成装置２とを備えている。

次に、画像形成装置２は、プリンター、複写機、ＭＦＰ（Multifunction Peripheral/Printer/Product）等の印刷機能を有する装置であり、図２を参照すると、操作パネル２１と、原稿読取部２２と、記憶部２３と、画像処理部２４と、印刷部２５と、通信部２６と、制御部２７とを備えている。

操作パネル２１は、タッチパネルと操作ボタンとを備えている。タッチパネルは、各種操作キーや画像形成状況を表示する表示部の表面に透明の感圧センサーが設けられており、表示手段及び入力手段として機能する。タッチパネルは、表示面へのタッチ操作を検知して、タッチ操作が検知された位置に対応する信号を出力することで、表示部に表示した操作キーへの操作を受け付ける。また、操作ボタンは、印刷枚数等の数値を入力するためのテンキー、設定情報を初期化させる指示を入力するためのリセットキー、複写動作を停止させるためのストップキー、印刷動作を開始させる出力指示を入力するためのスタートキー等の各種操作キーを備えている。

原稿読取部２２は、図示しない原稿給紙装置により給紙されてきた原稿や、ユーザーによってプラテンガラスに載置された原稿に対して光を照射し、その反射光等を受光して原稿画像を読み取るスキャナーである。

記憶部２３は、半導体メモリやＨＤＤ等の記憶手段であり、通信部２６を介して受信された文字列を含む文書データや、原稿読取部２２によって読み取られた画像データや、通信部２６を介して受信された画像データなどが印刷データ２３１として蓄積される記憶手段である。

画像処理部２４は、画像データに対して所定の画像処理を行う手段である。画像処理部２４では、例えば、拡大縮小処理や、濃度調整、階調調整等の画像改善処理が行われる。

印刷部２５は、記憶部２３に記憶された印刷データを記録紙に印刷する印刷手段である。印刷部２５は、例えば、記憶部２３から読み出した画像データに基づき感光体ドラムの表面に潜像を形成し、トナーによってその潜像をトナー像とする画像形成を行い、その感光体ドラムから記録紙にトナー像を転写させ、そのトナー像を記録紙に定着させて排紙する。また、印刷部２５は、シアン、マゼンダ、イエロー、ブラック等のトナーを用いてそれぞれトナー像を形成する機能を有し、これらのトナー像を重ね合わせて記録紙に定着させることで、フルカラー印刷に対応している。

通信部２６は、無線ＬＡＮ等の無線通信やＬＡＮケーブル等の有線ケーブルによって、メガネ型端末１や外部端末と直接もしくはインターネット等のネットワーク経由で各種データを送受信する機能を有する。

制御部２７は、操作パネル２１、原稿読取部２２、記憶部２３、画像処理部２４、印刷部２５及び通信部２６にそれぞれ接続されている。制御部２７は、ＲＯＭ、ＲＡＭ等を備えたマイクロコンピュータ等の情報処理部である。ＲＯＭには画像形成装置２の動作制御を行うための制御プログラムが記憶されている。制御部２７は、ＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、装置全体の制御を行う。また、制御部２７は、節約印刷制御部２７１と、補完データ生成部２７２と、印刷データ照合部２７３と、補完データ送信部２７４して機能する。

節約印刷制御部２７１は、操作パネル２１からのユーザー操作等による節約印刷の指示を受け付ける。そして、節約印刷制御部２７１は、節約印刷を指示された印刷データ２３１を節約用印刷データに変換し、変換した節約用印刷データを記録紙に印刷させる。節約印刷は、画像を間引く、カラーをモノクロに変換、色を薄くする等の動作によって消耗品（トナー）の使用量を削減する印刷である。従って、節約印刷によって出力されたドキュメント（以下、節約印刷ドキュメントと称す）は、通常印刷によって出力されたドキュメントよりも印刷品質が劣化したものになる。

補完データ生成部２７２は、節約印刷に際し、印刷データ２３１と節約用印刷データとの差分を、印刷品質の劣化を補う補完データ２３２として生成し、生成した補完データ２３２を印刷データ２３１に紐付けして記憶部２３に記憶させる。

印刷データ照合部２７３は、通信部２６を介してメガネ型端末１から照合用データを受信すると、受信した照合用データに合致する印刷データ２３１を特定する。照合用データについては、後述する。

補完データ送信部２７４は、印刷データ照合部２７３によって特定された印刷データ２３１に紐付けされて記憶部２３に記憶されている補完データ２３２を通信部２６経由でメガネ型端末１に送信する。

メガネ型端末１は、ユーザーが頭部に装着するメガネ型のウェアラブル端末である。図３に示すように、メガネ型端末１は、視界撮像部１１と、画像表示部１２と、通信部１３と、記憶部１４と、制御部１５とを備えている。

視界撮像部１１は、図１に示すように、メガネ型端末１の前方側に向けて配置されたＣＣＤカメラやＣＭＯＳカメラ等の固体撮像素子で構成されたカメラであり、ユーザーの前方視界の画像を撮像する。以下、視界撮像部１１によって撮像された画像を視界画像と称す。

画像表示部１２は、メガネ型端末１をユーザーが装着すると、図１に示すような、ユーザーの眼球の直前に位置するハーフミラー１２ａを表示画面として有している。ハーフミラー１２ａに投影された画像は、ユーザーの視界に重畳されて表示される。

通信部１３は、無線ＬＡＮ等の無線通信によって、画像形成装置２と各種データを送受信する機能を有する。

記憶部１４は、半導体メモリ等の記憶手段であり、画像形成装置２から受信した補完データが記憶される。

制御部１５は、視界撮像部１１、画像表示部１２、通信部１３と、記憶部１４にそれぞれ接続され、メガネ型端末１全体の動作制御を実行する。制御部１５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータ等の情報処理部である。ＲＯＭにはメガネ型端末１の動作制御を行うための制御プログラムが記憶されている。制御部１５のＣＰＵは、ＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、端末全体の制御を行う。また、制御部１５は、視界画像内のドキュメントから照合用データを抽出する照合用データ抽出部１５１と、画像形成装置２から受信した補完データに基づいて補完画像を生成する補完画像生成部１５２と、視界画像内のドキュメントの配置に応じて補完画像を変形させ、補完画像を視界画像内のドキュメントに重畳させて画像表示部１２に表示させる画像マッチング部１５３としてそれぞれ機能する。

次に、メガネ型端末１及び画像形成装置２による節約印刷ドキュメントに対するドキュメント補完動作について図４乃至図６を参照して詳細に説明する。
図４を参照すると、メガネ型端末１の制御部１５は、視界撮像部１１によって撮像される視界画像を解析し、視界画像にドキュメント（記録紙）が存在するか否かを監視している（ステップＡ１）。そして、図５（ａ）に示すように、ドキュメント（記録紙）がメガネ型端末１を装着したユーザーの視界に捉えられ、視界画像にドキュメント（記録紙）が存在すると、制御部１５は、照合用データ抽出部１５１として機能する。照合用データ抽出部１５１は、視界撮像部１１によって撮像された視界画像内のドキュメントから照合用データを抽出し（ステップＡ２）、抽出した照合用データを通信部１３経由で画像形成装置２に送信する（ステップＡ３）。

照合用データは、画像形成装置２の記憶部２３に記憶されている印刷データ２３１を特定するためのデータである。本実施の形態において、照合用データ抽出部１５１は、視界画像からドキュメントの画像データを照合用データとして抽出する。このように、照合用データとしてドキュメントの画像データを抽出する場合、視界画像内のドキュメント（記録紙）の形状に応じて、照合用データの傾きや歪みを補正した後に画像形成装置２に送信すると良い。

画像形成装置２の制御部２７は、通信部２６を介してメガネ型端末１から照合用データを受信すると、印刷データ照合部２７３として機能し、照合用データに合致する印刷データ２３１を特定する（ステップＢ１）。なお、照合用データによって複数の印刷データ２３１が特定されてしまう場合においては、ユーザーに対して、正しい印刷データ２３１の選択を促すウィンドウを表示し、受け付けるようにしても良い。また、照合用データに基づいて印刷データ２３１を特定できない場合には、画像形成装置２によって印刷された節約印刷ドキュメントではないと判断され、メガネ型端末１及び画像形成装置２は、ドキュメント補完動作を終了させる。

印刷データ照合部２７３は、文字認識（ＯＣＲ）機能を有し、ドキュメントの画像データである照合用データを文字列に変換し、変換した文字列に基づいて記憶部２３に記憶されている印刷データ２３１の検索を行う。この際、単語単位で検索を実施すると、多くの印刷データ２３１が検索に該当することが考えられるため、一文での検索を実施する。例えば、印刷データ２３１の検索に、図５（ａ）に示すドキュメントに記述されている「Printing」という単語を検索に用いるのではなく、「Printing to save toner.」という一文を検索に用いる。また、印刷データ２３１が複数頁からなる場合、ドキュメントの下部等に印刷されているページ番号に基づいて印刷データ２３１を特定することもできる。ただし、多数のページが存在する場合、検索に要する時間が増大することが予想される。そのため、ユーザ−が参照しようとしているページで、欠落の無い前後のページの情報を参照できていた場合は、特定できていたページの前後の数ページ（例えば、前後５ページ）を検索対象とする。例えば、ユーザが・・・４，５，６，７，８，・・・ページと順番に見ていくが、６ページ目と特定できなかった場合かつ６ページ目の文章を見ようとした場合に、前ページが５ページ目であると特定できている場合は、５ページ目の前後５ページ（１，２，３，４，５，６，７，８，９，１０ページ）からの文章検索を試みると良い。なお、メガネ型端末１が文字認識（ＯＣＲ）機能を有している場合には、メガネ型端末１でドキュメントの画像データを文字列に変換し、変換した文字列を照合用データとして画像形成装置２に送信するようにしても良い。

節約印刷ドキュメントの出力時に、図５（ｂ）に示すように、印刷データ２３１を特定するための複数の特定用表記Ａを節約用印刷データと共に記録紙に印刷させ、照合用データ抽出部１５１は、特定用表記Ａの形状、大きさ、レイアウト等を照合用データとして抽出するようにしても良い。この場合、画像形成装置２において、特定用表記Ａの形状、大きさ、レイアウト等を表記情報として印刷データ２３１に紐付けして記憶部２３に記憶させておくことで、照合用データに基づいて簡単に印刷データ２３１を特定することができる。図５（ｂ）に示す例では、特定用表記Ａとして「■」が記録紙の右上、左上、右下の３カ所に印刷されている。なお、特定用表記Ａとして、印刷データ２３１を特定するため固有ＩＤや文書名を文字列やバーコード等で印刷するようにしても良い。この場合には、照合用データ抽出部１５１は、特定用表記Ａから固有ＩＤや文書名を読み取り、読み取った固有ＩＤや文書名を照合用データとして画像形成装置２に送信する。また、特定用表記Ａの一部若しくは全部の欠落等の理由で、特定用表記Ａに基づいて印刷データ２３１を特定できない場合、上述の文字列に基づく検索によって印刷データ２３１を特定することができる。

印刷データ照合部２７３によって印刷データ２３１が特定されると、制御部２７は、補完データ送信部２７４として機能し、印刷データ照合部２７３によって特定された印刷データ２３１に紐付けされて記憶部２３に記憶されている補完データ２３２を通信部２６経由でメガネ型端末１に送信する（ステップＢ２）。なお、特定された印刷データ２３１に補完データ２３２が紐付けされている場合には、視界画像内のドキュメントは制約印刷ドキュメントであることを意味する。他方、特定された印刷データ２３１に補完データ２３２が紐付けされていない場合には、視界画像内のドキュメントは通常に印刷されたものであると判断され、メガネ型端末１及び画像形成装置２は、ドキュメント補完動作を終了させる。

メガネ型端末１の制御部１５は、通信部１３を介して画像形成装置２から補完データを受信すると、補完画像生成部１５２として機能し、画像形成装置２から受信した補完データに基づいて補完画像を生成する（ステップＡ４）。そして、制御部１５は、画像マッチング部１５３として機能し、視界画像内の節約印刷ドキュメントの配置に応じて補完画像を変形させ（ステップＡ５）、図６（ａ）に示すように、視界画像内のドキュメントと重畳する位置に変形させた補完画像を画像表示部１２に表示、すなわちハーフミラー１２ａに投影させる（ステップＡ６）。これにより、図６（ｂ）に示すように、節約印刷ドキュメントと補完画像とで一つの視認対象として構成され、ユーザーは、印刷品質が劣化している節約印刷ドキュメントを、通常印刷によって出力された印刷品質の劣化がないドキュメントとして視認することができる。なお、ステップＡ６での補完画像の表示は、視界画像内のドキュメントの移動に追随して行われる。

例えば、節約印刷ドキュメントがカラーをモノクロに変換したものである場合には、補完データは、文字や画像の色情報であり、ユーザーは、モノクロの節約印刷ドキュメントを、カラーで通常に印刷されたドキュメントとして視認することができる。また、節約印刷ドキュメントが画像を間引いたものである場合には、補完データは、間を埋めるドット情報であり、ユーザーは、画像が間引かれた節約印刷ドキュメントを、通常に印刷されたドキュメントとして視認することができる。さらに、節約印刷ドキュメントが色を薄くしたものである場合には、補完データは、文字や画像の濃度情報であり、ユーザーは、モノクロの節約印刷ドキュメントを、通常の濃度で印刷されたドキュメントとして視認することができる。

なお、本実施の形態では、画像形成装置２で節約印刷を実行する際に補完データ２３２を生成して記憶部２３に記憶させておくように構成したが、補完データ２３２は、視界画像内のドキュメントの画像と、特定された印刷データ２３１から生成される通常印刷画像との差分を補完データ２３２として生成するようにしても良い。この補完データ２３２の生成は、画像形成装置２の補完データ生成部２７２で行うようにしても良く、メガネ型端末１の制御部１５で行うようにしても良い。

この場合、図７（ａ）に示すように、ドキュメントの一部が折れ曲がったり、障害物（塗りつぶしや汚れも含む）で隠されていたりして一部の文字や画像が欠落している場合には、図７（ｂ）に示すように、補完画像において欠落している文字や画像が印刷データ２３１に基づいて通常の濃度や色で生成されるため、ユーザーは、欠落している箇所を含めて、通常印刷されたドキュメントとして視認することができる。なお、補完データ２３２を予め用意しておいた場合には、折れ曲がったり、障害物でドキュメントで視認できない箇所は、補完画像のみが視認されることになる。

また、ドキュメント補完動作として視界画像内のドキュメントの色補完を行う場合、メガネ型端末１は、画像形成装置２から文字や画像の色情報を補完データ２３２として取得するようにしても良い。この場合、補完データ２３２（文字や画像の色情報）と、視界画像内のドキュメントの色情報とを比較し、視界画像内のドキュメントの色が薄い場合に、ドキュメントの色を補完する補完画像を生成し、画像表示部１２によって視界画像内のドキュメントと重畳する位置を表示、すなわちハーフミラー１２ａに投影させる。これにより、トナー削減モード等の薄くカラー印刷されたり、計時変化で色が退色してしまったりしたドキュメントを、通常濃度でカラー印刷されたドキュメントとして視認することができる。なお、補完データ２３２（文字や画像の色情報）に基づく画像を生成し、視界画像内のドキュメントと重畳させて表示するようにしても良い。

さらに、特定された印刷データ２３１からドキュメント内で認識される文字が欠損しているかの確認を行うこともできる。ドキュメント内の特徴的な図形（例えば、特定用表記Ａ）から、近い一文を検索し、検索結果が一致するかを確認する。例えば、図８（ａ）に示す例では、ドキュメントの左上にある特定用表記Ａから一番近い「Printing to save toner.」が、第一検索対象となる。こちらは欠損が無く、検索が正常に終了する。２文目の「Printing to save power.」の文章では、最後の「to」という部分が欠落しているため、検索に失敗する。失敗した文章では、その文章内の単語単位での検索を行う。単語単位での検索で、一部でも該当するものがあった場合は、その文章に欠落があると判断する。欠落した文章と判断した場合、欠落箇所のみを画像表示部１２上に表示しても良いし、すべての文章を画像表示部１２上に表示して補完してもよい。そして、単語単位で検索を行い、一つも該当するものがない場合には、補完処理を行わない。また、第一検索対象位置から、一文が数行以内（例えば５行以内)に見つからない場合は、検索を中断し、補完処理を中止する。以降の検索も行わない。

さらに、メガネ型端末１を用いてドキュメントに印刷されている特定の文字列をハイライトで強調表示させることができる。まず、視界画像内のドキュメントに対応する印刷データ２３１を特定する。その後、画像形成装置２の操作パネル２１から検索文字列を受け付ける。そして、画像形成装置２の制御部２７は、特定された印刷データ２３１に検索文字列が含まれている場合、検索文字列が位置する領域を領域データを通信部２６経由でメガネ型端末１に送信する。メガネ型端末１の制御部１５は、通信部１３を介して画像形成装置２から領域データを受信すると、図８（ｂ）に示すように、画像表示部１２にドキュメントの検索文字列と重畳するハイライトを表示させる。なお、特定された印刷データ２３１を画像形成装置２からメガネ型端末１に送信し、メガネ型画像端末１で検索文字列が位置する領域を特定するようにしても良い。また、画像形成装置２でハイライトが配置された画像を生成し、生成した画像を画像表示部１２に表示させるようにしても良い。

図８（ｂ）には、検索文字列である「time」がハイライトされている例が示されている。なお、ハイライトの表示色は、印刷データ２３１の色情報から算出を行い、検索文字列を強調する色を設託すると良い。また、検索文字列の周辺や、検索文字自体がカラーである場合には、モノクロでハイライトを行うことができる。これにより、利用者の視認性が向上を行う。
さらに、検索文字列が見つからない場合においては、ユーザに見つからなかった旨を伝えるメッセージを画像表示部１２に表示する。

さらに、特定用表記Ａや電子透かしを利用してトナー削減モードで印刷されたドキュメントであることをメガネ型端末１単体できるようにして、メガネ型端末１単体でドキュメント補完動作を実行可能に構成しても良い。メガネ型端末１の制御部１５は、ドキュメントに印刷されている特定用表記Ａや電子透かしを読み取ることでトナー削減モードで印刷されたドキュメントであることを認識すると、視界画像内のドキュメントの色情報を解析し、この解析結果に基づいて色を濃くする色補完データを生成する。なお、トナー削減モードで削減するトナー量をメガネ型端末１側で予め把握しておくことで、補完データによって色を濃くする割合を決定することができる。そして、補完画像生成部１５２は、色補完データに基づく色補完画像を生成し、画像マッチング部１５３は、視界画像内の節約印刷ドキュメントの配置に応じて色補完画像を、画像表示部１２によって視界画像内のドキュメントと重畳する位置に表示、すなわちハーフミラー１２ａに投影させる。これにより、メガネ型端末１単体でドキュメントから取得した情報のみを利用し、色補完の処理を行うことができる。すなわち、画像形成装置２から印刷データ２３１等の色補完に係る情報を取得するためには、画像形成装置２の検索処理等に時間を要することが考えられ、メガネ型端末１単体で色補完を行うことで、素早くドキュメントの色補完動作を行うことができる。なお、メガネ型端末１単体での色補完は、画像形成装置２から色補完に係る情報を取得するまでの時間のみで行うようにしても良い。

以上説明したように、本実施の形態によれば、ドキュメントとして出力済みの印刷データ２３１を記憶部２３に記憶する本体装置である画像形成装置２と、画像形成装置２と通信可能に構成され、視界を撮影する視界撮像部１１を有するメガネ型端末１とを備えたドキュメント補完システムであって、メガネ型端末１は、画像を視界に重畳させて表示する画像表示部１２を具備し、画像形成装置２は、ドキュメントが印刷データ２３１に基づく通常印刷よりも劣化している場合に、ドキュメントの劣化を補う補完データ２３２を生成する補完データ生成部２７２を備え、メガネ型端末１は、補完データ生成部２７２によって生成された補完データ２３２に基づく補完画像を生成する補完画像生成部１５２と、補完画像生成部１５２によって生成された補完画像を視界内のドキュメントと重畳させて画像表示部１２に表示させる画像マッチング部１５３とを備えている。なお、メガネ型端末１に補完データ生成部２７２を設けても良く、画像形成装置２に補完画像生成部１５２と画像マッチング部１５３とを設けても良い。
この構成により、印刷されたドキュメントを補完する補完画像をドキュメントと重畳させて表示することで、ドキュメントと補完画像とで一つの視認対象を構成させることができる。すなわち、劣化したドキュメントであっても、足りない情報（色味や、濃度等）を補完画像として重畳させることで、印刷データに基づいて通常印刷したドキュメントとして視認することができる。

さらに、本実施の形態において、補完データ生成部２７２は、ドキュメントの印刷品質が画像を間引く、カラーをモノクロに変換、色を薄くする等の動作によって通常印刷よりも劣化している場合に、印刷品質の劣化を補う補完データ２３２を生成する。
この構成により、画像を間引く、カラーをモノクロに変換、色を薄くする等の動作によってドキュメントを節約印刷しても、本来の印刷品質でドキュメントを確認することができる。そのため、トナー量等の消耗品を節約しつつも、本来の色の濃度で印刷物を確認することが可能となる。また、カラーの印刷データをモノクロで印刷しても、メガネ型端末１を通して視認することで、本来のカラー印刷されたドキュメントのように確認することが可能となる。

さらに、本実施の形態において、画像形成装置２は、印刷データを印刷品質を劣化させた前記ドキュメントを出力する節約印刷制御部２７１を有し、補完データ生成部２７２は、節約印刷によるドキュメントの出力時に、補完データを生成させ、画像形成装置２の記憶部２３に記憶させておくように構成されている。
この構成により、予め補完データを準備しておくことができ、ドキュメントをメガネ型端末１を通して視認する際の情報処理量を削減することができる。

さらに、本実施の形態において、補完データ生成部２７２もしくはメガネ型端末１の制御部１５は、視界撮像部１１によって撮影された視界画像内に存在するドキュメントの画像と、画像形成装置２に記憶された印刷データ２３１から生成される画像との差分を補完データ２３２として生成する。
この構成により、視認時のドキュメントの状態に応じた補完データを生成することができるため、予期しないドキュメントの劣化であっても、印刷データに基づいて通常印刷したドキュメントとして視認することができる。

さらに、本実施の形態において、補完データ生成部２７２もしくはメガネ型端末１の制御部１５は、視界撮像部１１によって撮影された視界画像内に存在するドキュメントの一部が欠落して劣化している場合に、欠落による劣化を補う前記補完データを生成する。
この構成により、印刷物の破損箇所や、色が薄く目視がし難い箇所に対して文字や画像の色補完を行うことができ、ユーザの視認性を向上させることができる。

さらに、本実施の形態において、ドキュメントとして出力済みの印刷データを記憶する画像形成装置２と、画像形成装置２と通信可能に構成され、視界を撮影する視界撮像部１１を有するメガネ型端末１とを備えたドキュメント補完システムであって、メガネ型端末１は、画像を視界に重畳させて表示する画像表示部１２を具備し、画像形成装置２もしくはメガネ型端末１は、受け付けた検索文字列が印刷データに含まれている場合、画像表示部１２にドキュメントの前索文字列と重畳するハイライトを表示させる。
この構成により、印刷されて出力されたドキュメント内の検索文字列を容易に探すことができる。

なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。なお、各図において、同一構成要素には同一符号を付している。

１ メガネ型端末
２ 画像形成装置
１１ 視界撮像部
１２ 画像表示部
１２ａ ハーフミラー
１３ 通信部
１４ 記憶部
１５ 制御部
２１ 操作パネル
２２ 原稿読取部
２３ 記憶部
２４ 画像処理部
２５ 印刷部
２６ 通信部
２７ 制御部
１５１ 照合用データ抽出部
１５２ 補完画像生成部
１５３ 画像マッチング部
２３１ 印刷データ
２３２ 補完データ
２７１ 節約印刷制御部
２７２ 補完データ生成部
２７３ 印刷データ照合部
２７４ 補完データ送信部

Claims (6)

1. ドキュメントとして出力済みの印刷データを記憶する本体装置と、当該本体装置と通信可能に構成され、視界を撮影する視界撮像部を有するメガネ型端末とを備えたドキュメント補完システムであって、
   前記メガネ型端末は、
   画像を視界に重畳させて表示する画像表示部を具備し、
   前記本体装置もしくはメガネ型端末は、
   前記ドキュメントが通常印刷よりも劣化している場合に、前記ドキュメントの劣化を補う補完データを生成する補完データ生成部と、
   該補完データ生成部によって生成された前記補完データに基づく補完画像を生成する補完画像生成部と、
   該補完画像生成部によって生成された前記補完画像を視界内の前記ドキュメントと重畳させて前記画像表示部に表示させる画像マッチング部とを具備することを特徴とするドキュメント補完システム。
2. 前記補完データ生成部は、前記ドキュメントの印刷品質が通常印刷よりも劣化している場合に、前記印刷品質の劣化を補う補完データを生成することを特徴とする請求項１記載のドキュメント補完システム。
3. 前記本体装置は、前記印刷データを印刷品質を劣化させた前記ドキュメントを出力する節約印刷制御部を有し、
   前記補完データ生成部は、前記節約印刷による前記ドキュメントの出力時に、前記補完データを生成させ、前記本体装置の記憶部に記憶させておくことを特徴とする請求項２記載のドキュメント補完システム。
4. 前記補完データ生成部は、前記視界撮像部によって撮影された視界画像内に存在する前記ドキュメントの画像と、前記本体装置に記憶された前記印刷データから生成される画像との差分を前記補完データとして生成することを特徴とする請求項１乃至３のいずれかに記載のドキュメント補完システム。
5. 前記補完データ生成部は、前記ドキュメントの一部が欠落して劣化している場合に、欠落による劣化を補う前記補完データを生成することを特徴とする請求項４記載のドキュメント補完システム。
6. ドキュメントとして出力済みの印刷データを記憶する本体装置と、当該本体装置と通信可能に構成され、視界を撮影する視界撮像部を有するメガネ型端末とを備えたドキュメント補完システムであって、
   前記メガネ型端末は、
   画像を視界に重畳させて表示する画像表示部を具備し、
   前記本体装置もしくはメガネ型端末は、受け付けた検索文字列が前記印刷データに含まれている場合、前記画像表示部に前記ドキュメントの前記検索文字列と重畳するハイライトを表示させることを特徴とするドキュメント補完システム。

Images