JP2013250798A

JP2013250798A - 電子機器および画像形成装置

Info

Publication number: JP2013250798A
Application number: JP2012125341A
Authority: JP
Inventors: Kohei Suzuki; 航平鈴木
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2012-05-31
Filing date: 2012-05-31
Publication date: 2013-12-12

Abstract

【課題】ソフトウェアを改変することなく、ソフト画面に付加枠を合成した合成画面をディスプレイに表示させる。
【解決手段】本実施形態の電子機器は、ディスプレイに接続される第１のディスプレイアダプタと、特定ソフトウェアによって生成される画像の出力先として指定される第２のディスプレイアダプタと、第１のディスプレイアダプタに対して設定される第１のパラメータを用いて、第２のディスプレイアダプタに対して設定される第２のパラメータを用いて特定ソフトウェアによって生成されたソフト画面に対して付加枠を合成した合成画面を生成し、生成した合成画面をディスプレイに表示させる生成部と、を備える。
【選択図】図２

Description

本発明の実施形態は、電子機器および画像形成装置に関する。

従来、特定の機能を実現するための組み込みシステムを搭載したデジタル複合機（Multi Function Peripherals）などの電子機器においては、ディスプレイの画面全体を占有した表示を行うソフトウェアが実装されている。

ところで、近年では、ディスプレイ解像度の向上などの要因により、上記ソフトウェアの描画結果（以下、「ソフト画面」という場合がある。）にソフトキーや情報表示欄などを表示する付加枠を合成した合成画面を上記電子機器のディスプレイに表示させたいというニーズがある。

このため、従来では、上記ニーズに応える方法として、（１）ソフト画面をディスプレイの画面全体より小さいサイズで表示するようにソフトウェアそのものを改変する方法、（２）ＯＳ（Operating System）やミドルウェアが提供するＡＰＩ（Application Programming Interface）を利用してデスクトップの表示領域を制限する方法、などが挙げられる。

しかしながら、従来の方法（１）および（２）では、以下の課題がある。

すなわち、（１）の方法では、ライセンスにより改変が禁じられている場合には、改変対象のソフトウェアの改変ができず上記ニーズに応えることができないという課題がある。また、（１）の方法では、改変対象となるソフトウェアの機能の一部を使用するなど改変対象となるソフトウェアに関連するソフトウェアが複数ある場合には、それら複数のソフトウェアを個別に改変しなければならず改変作業が煩雑であるという課題がある。特に、組み込みシステムを搭載した電子機器では、ＰＣ（Personal Computer）などの汎用システムを搭載した電子機器に比べ、上記課題が甚大である。

また、（２）の方法では、ＯＳと対象のソフトウェアの動作に依存し、ソフト画面の一部が、制限されたデスクトップの表示領域（以下、単に「制限領域」という場合がある。）の外に食み出したり、ソフト画面に表示乱れが発生したりするなどのソフト画面の不具合が発生するという課題がある。より具体的には、例えば、対象のソフトウェアにおいて「ディスプレイ解像度と同等のサイズのウィンドウを表示することで画面全体を占有する」という動作設定がされている場合には、制限領域の外にソフト画面の一部が食み出して表示されてしまう、または、制限領域を超えるソフト画面の一部が表示されなくなってしまうなどの課題がある。

そこで、本発明は、従来の課題を解決するものであり、ディスプレイの画面全体を占有して表示を行うソフトウェアを改変することなく、ソフト画面に付加枠を合成した合成画面をディスプレイに表示させることを可能とした電子機器および画像形成装置を提供することを目的とする。

上記した課題を解決し、目的を達成するために、本発明の電子機器は、ディスプレイに接続される第１のディスプレイアダプタと、特定ソフトウェアによって生成される画像の出力先として指定される第２のディスプレイアダプタと、前記第１のディスプレイアダプタに対して設定される第１のパラメータを用いて、前記第２のディスプレイアダプタに対して設定される第２のパラメータを用いて前記特定ソフトウェアによって生成されたソフト画面に対して付加枠を合成した合成画面を生成し、生成した前記合成画面を前記ディスプレイに表示させる生成部と、を備える。

また、本発明の画像形成装置は、記録媒体に画像を形成する画像形成部と、ディスプレイに接続される第１のディスプレイアダプタと、特定ソフトウェアによって生成される画像の出力先として指定される第２のディスプレイアダプタと、前記第１のディスプレイアダプタに対して設定される第１のパラメータを用いて、前記第２のディスプレイアダプタに対して設定される第２のパラメータを用いて前記特定ソフトウェアによって生成されたソフト画面の画像に対して付加枠の画像を合成した合成画面を生成し、生成した前記合成画面を前記ディスプレイに表示させる生成部と、を備える。

本発明によれば、ディスプレイの画面全体を占有して表示を行うソフトウェアを改変することなく、ソフト画面に付加枠を合成した合成画面をディスプレイに表示させることができるという作用効果を奏する。

図１は、本実施形態に係る画像形成装置の概略構成を示す外観正面図である。図２は、本実施形態に係る画像形成装置の制御系のハードウェア構成を示すブロック図である。図３は、本実施形態に係る画像形成装置の機能的構成を示すブロック図である。図４は、画像形成装置の処理動作を示すシーケンス図である。図５は、本実施形態に係る画像形成装置のディスプレイに表示される合成画像の一構成例を示す模式図である。図６は、タッチパネルの座標を指定するユーザ入力があった場合の処理動作を示すフローチャートである。図７は、ＯＳ実行部が管理する座標情報の一例を示す模式図である。図８は、他の実施形態を説明するための模式図である。図９は、他の実施形態を説明するための模式図である。

以下、本発明の実施形態について添付図面を参照して説明する。

なお、本発明の電子機器は、プリンタ、コピー機、および、デジタル複合機（Multi Function Peripherals）などの、特定の機能を実現するための組み込みシステム（エンベデッドシステムともいう。）に適用可能である。また、本発明の電子機器は、特定の機能を実現するための必要十分条件を満たす選択や交換の不可能なハードウェアとソフトウェアで構成される組み込みシステムを搭載した各種の電子機器に適用可能である。以下では、画像形成装置としてのデジタル複合機に適用した場合について説明する。

最初に、本実施形態に係る画像形成装置１の構成について説明する。図１は、本実施形態に係る画像形成装置１の概略構成を示す外観正面図である。

図１に示すように、画像形成装置１は、ユーザインタフェースとなる操作表示部２と、自動原稿給送装置（ＡＤＦ：Auto Document Feeder）３と、画像読取装置４と、給紙装置５と、画像形成部６と、排紙部（排紙トレイともいう。）７と、コントローラ８と、を備えている。ＡＤＦ３は、操作表示部２のスタートキーが押下された場合などに原稿セット部３１にセットされた原稿を自動給紙する。画像読取装置４は、ＡＤＦ３や原稿台ガラス（コンタクトガラスともいう。）４１にセットされた原稿の画像を読取る。給紙装置５は、図示しない給紙トレイから画像形成部６に対して転写紙（記録媒体）を給紙する。画像形成部６は、電子写真、感熱、熱転写、および、インクジェットなどの方式により画像読取装置４で読取られた画像を給紙装置５から給紙された転写紙に形成する。排紙部７は、画像形成部６で画像が形成された転写紙を外部に排紙する。コントローラ８は、画像形成装置１の処理動作を統括的に制御する。なお、画像読取装置４、給紙装置５、画像形成部６およびコントローラ８は、筐体１０内に設けられている。

図２は、本実施形態に係る画像形成装置１の制御系のハードウェア構成を示すブロック図である。図２に示すように、画像形成装置１は、大別すると、操作表示部２、コントローラ８およびエンジン９を備えている。

コントローラ８は、画像形成装置１の処理動作を統括的に制御する制御装置である。コントローラ８は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＡＳＩＣ（Application Specific Integrated Circuit）、および、インタフェース回路などで構成されるコンピュータである。コントローラ８は、例えば、ハードディスク装置（ＨＤＤ：Hard Disk Drive）８２、ＬＡＮ（Local Area Network）＿Ｉ／Ｆ部８３、画像処理部８４などを含む。

コントローラ８は、ＣＰＵがＲＯＭやＨＤＤ８２などに記憶されているバイオス（ＢＩＯＳ：Basic Input−output System）、基本ソフトウェアとしてのオペレーティングシステム（ＯＳ：組み込みＯＳともいう。）、ＯＳ上で動作するアプリケーションなどのソフトウェア（プログラム）をＲＡＭなどに展開して実行することにより、画像形成装置１の処理動作を統括的に制御する。

なお、上記アプリケーションには、組み込みソフトウェアとしての、ディスプレイの画面全体（表示領域全体）を占有して表示を行うソフトウェア（以下、特定ソフトという場合がある。）が含まれている。また、本実施形態では、特定ソフトとして、当該画像形成装置１が提供される前に既に存在するソフトウェアを採用する。

ＨＤＤ８２は、各種のソフトウェアや画像データなどを記憶する。ＬＡＮ＿Ｉ／Ｆ部８３は、ＬＡＮを介して接続されるＰＣ（Personal Computer）などの外部装置（不図示）との間で画像データなどの各種データを通信する。画像処理部８４は、ＬＡＮ＿Ｉ／Ｆ部８３を介して外部装置から受信した画像データに対して、ガンマ補正や変倍処理などの任意の画像処理を実行する。

また、エンジン９は、例えば、エンジン制御部９１、画像読取装置４、および、画像形成部６などを含む。

エンジン制御部９１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、および、インタフェース回路などで構成されるコンピュータである。エンジン制御部９１は、ＣＰＵがＲＯＭに記憶されているソフトウェアをＲＡＭに展開して実行することにより、エンジン９の処理動作を制御する。具体的には、エンジン制御部９１は、コントローラ８の制御の下、コントローラ８から受信した画像データや画像読取装置４で読取られた原稿の画像データを記録紙に転写する画像形成動作を制御する。

操作表示部２は、ユーザ操作を受け付けるとともに、ユーザが操作した結果を提示するユーザインタフェースである。操作表示部２は、例えば、表示制御部としての操作表示制御部２１、第１のディスプレイアダプタ２２、および、表示パネル２３などを含む。

操作表示制御部２１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、および、インタフェース回路などから構成されるコンピュータである。操作表示制御部２１は、ＣＰＵがＲＯＭに記憶されているソフトウェアをＲＡＭに展開して実行することにより、操作表示部２の処理動作を制御する。

第１のディスプレイアダプタ２２は、コードなどを介してディスプレイ２３ａと物理的に接続されるハードウェアとしてのディスプレイアダプタ（ビデオカードともいう。）である。すなわち、第１のディスプレイアダプタ２２は、ディスプレイ２３ａにＲＧＢ信号などの映像信号を出力してディスプレイ２３ａの画面に画像を表示させる制御を行う。

また、本実施形態の画像形成装置１は、第２のディスプレイアダプタ１３０を有している。この第２のディスプレイアダプタ１３０は、第１のディスプレイアダプタ２２とは異なり、ディスプレイ２３ａに物理的に接続されておらず、操作表示制御部２１のＣＰＵで実行されるソフトウェアにより実現されるディスプレイアダプタである。第２のディスプレイアダプタ１３０をハードウェアにより実現してもよい。

この第２のディスプレイアダプタ１３０は、特定ソフト専用に割り当て設定される。第２のディスプレイアダプタ１３０は、特定ソフトの画面（以下、ソフト画面という場合がある。）の描画用に使用される。また、第２のディスプレイアダプタ１３０は、ＯＳのプライマリディスプレイアダプタに設定される。

表示パネル２３は、画像を表示する液晶ディスプレイなどのディスプレイ２３ａと、そのディスプレイ２３ａに積層されるタッチパネル２３ｂとを備えている。

図３は、本実施形態に係る画像形成装置１の機能的構成を示すブロック図である。

図３に示すように、画像形成装置１は、コントローラ８および操作表示制御部２１の少なくとも一方のＣＰＵが、ＲＯＭやＨＤＤ８２などに記憶されているソフトウェアをＲＡＭに展開して実行することにより、ＯＳ実行部１１０と、特定ソフト実行部１２０と、第２のディスプレイアダプタ１３０と、生成部としてのコピーソフト実行部１４０として機能する。

ＯＳ実行部１１０は、基本ソフトウェアとしてのＯＳを実行する。ＯＳ実行部１１０は、特定ソフト実行部１２０からのディスプレイのサイズに関する情報の取得要求（問い合わせ）を受けた場合に、ＲＡＭなどの記憶領域に予め記憶してある第２のディスプレイアダプタ１３０のサイズに依存したパラメータ（第２のディスプレイアダプタ１３０のデスクトップサイズ、ディスプレイ解像度（画面解像度ともいう。）など）を特定ソフト実行部１２０に返信する。

特定ソフト実行部１２０は、特定ソフトを実行する。特定ソフト実行部１２０は、上記パラメータの取得要求によりＯＳ実行部１１０から第２のディスプレイアダプタ１３０のサイズに依存したパラメータを取得する。また、特定ソフト実行部１２０は、取得したパラメータを用いて、特定ソフトのソフト画面を表示する描画制御を実行する。具体的には、特定ソフト実行部１２０は、ソフト画面の背景画像の伸縮や、キーなどのＵＩ部品の配置座標およびサイズを制御する。また、特定ソフト実行部１２０は、ソフト画面の画像データを生成し、該生成したソフト画面の画像データを第２のディスプレイアダプタ１３０に出力する。

第２のディスプレイアダプタ１３０は、特定ソフト実行部１２０から受信したソフト画面の画像データをＲＡＭなどの記憶領域に一時記憶する。また、第２のディスプレイアダプタ１３０は、コピーソフト実行部１４０からの表示内容の取得要求を受けた場合に、一時記憶したソフト画面の画像データをコピーソフト実行部１４０に出力する。

コピーソフト実行部１４０は、第２のディスプレイアダプタ１３０に対して表示内容の取得要求を行い、特定ソフトのソフト画面の画像データを取得する。また、コピーソフト実行部１４０は、ＯＳ実行部１１０から取得した第１のディスプレイアダプタ２２のサイズに依存したパラメータ（第１のディスプレイアダプタ２２のデスクトップサイズ、第１のディスプレイアダプタ２２の解像度など）を用いて、取得したソフト画面の画像データと予め設定されている付加枠の画像データとを合成した合成画面の画像データを生成する。また、コピーソフト実行部１４０は、生成した合成画面の画像データを第１のディスプレイアダプタ２２に出力する。

次に、本実施形態に係る画像形成装置１の処理動作について説明する。

まず、特定ソフトのソフト画面の画像と付加枠の画像とを合成した合成画像をディスプレイ２３ａに表示する場合の処理動作について図４および図５を用いて説明する。

図４は、画像形成装置１の処理動作を示すシーケンス図であり、特に、特定ソフトのソフト画面の画像と付加枠の画像とを合成した合成画像をディスプレイ２３ａに表示する場合の処理手順を示している。

図４の処理に先立って、画像形成装置１では、ユーザによって電源がオンされると、コントローラ８のＣＰＵがＲＯＭやＨＤＤなどに記憶されているＯＳをＲＡＭなどに展開して実行することにより、ＯＳ実行部１１０が動作する。続いて、ＣＰＵがＲＯＭやＨＤＤなどに記憶されている特定ソフトをＲＡＭなどに展開して実行することにより、特定ソフト実行部１２０が動作する。

すると、図４に示すように、特定ソフト実行部１２０が、ＯＳ実行部１１０に対して、ディスプレイのサイズに関する情報の取得要求を行う。特定ソフト実行部１２０は、その取得要求の応答として、ＯＳ実行部１１０からプライマリディスプレイアダプタに設定されている第２のディスプレイアダプタ１３０のサイズに依存したパラメータ（第２のディスプレイアダプタ１３０のデスクトップサイズ、ディスプレイ解像度など）を取得する（ステップＳ１）。

なお、パラメータの取得方法の一例としては、例えば、ＯＳがMicrosoft Windows（登録商標）である場合には、GetDeviceCaps()APIによってデスクトップハンドルを取得して、GetDevice()APIやGetWindowRect（）APIによってデスクトップサイズを取得する方法、および、GetSystemMetrics()APIにSM＿CXSCREEN・SM＿CYSCREEN引数を指定してディスプレイ解像度を取得する方法が挙げられる。

その後、画像形成装置１では、電源がオフされるまで、以下のステップＳ２〜ステップＳ５の処理動作を繰り返し実行する。

すなわち、特定ソフト実行部１２０が、ステップＳ１で取得したパラメータを用いて画面描画制御を実行する（ステップＳ２）。具体的には、このステップＳ２の処理では、特定ソフト実行部１２０が、取得したパラメータを用いて、ディスプレイ２３ａの画面全体を占有した描画結果としての特定ソフトのソフト画面の画像データを生成し、該生成した画像データを第２のディスプレイアダプタ１３０に送信する。

すると、第２のディスプレイアダプタ１３０が、受信したソフト画面の画像データをＲＡＭなどの記憶領域に一時記憶し、コピーソフト実行部１４０からの表示内容（ソフト画面）の取得要求を待機する（ステップＳ３）。

続いて、コピーソフト実行部１４０が、第２のディスプレイアダプタ１３０の表示内容を仮想デスクトップ領域にコピーする処理を実行する（ステップＳ４）。具体的には、このステップＳ４の処理では、コピーソフト実行部１４０は、まず、秒間６０回取得要求を実施するなどの一定時間経過毎に第２のディスプレイアダプタ１３０に対して表示内容の取得要求を行って、第２のディスプレイアダプタ１３０から第２のディスプレイアダプタ１３０の表示内容（ソフト画面）を取得する。その後、コピーソフト実行部１４０が、ＯＳ実行部１１０に対して第１のディスプレイアダプタ２２のサイズに依存したパラメータ（第１のディスプレイアダプタ２２のデスクトップサイズ、ディスプレイ解像度など）の取得要求を行って、ＯＳ実行部１１０から第１のディスプレイアダプタ２２のサイズに依存したパラメータを取得する。その後、コピーソフト実行部１４０が、取得したパラメータを用いて、取得した表示内容としてのソフト画面と予め設定されている付加枠とを合成した合成画面の画像データを生成する。その後、コピーソフト実行部１４０は、生成した合成画面の画像データを第１のディスプレイアダプタ２２に送信する。なお、第２のディスプレイアダプタ１３０の表示内容をコピーする方法としては、例えば、ＯＳがMicrosoft Windows（登録商標）７であれば、ＧＤＩによる画像の矩形転送ＡＰＩや、Magnification APIを使用する方法が挙げられる。

すると、第１のディスプレイアダプタ２２が、受信した合成画面の画像データを画像メモリなどに一時記憶し、該記憶した合成画面の画像データをＲＧＢ信号などの映像信号に変換してディスプレイ２３ａに出力する（ステップＳ５）。これにより、ディスプレイ２３ａには、特定ソフトのソフト画面に付加枠が合成された合成画面が表示される（図５参照）。

図５は、本実施形態に係る画像形成装置１のディスプレイ２３ａに表示される合成画面の一構成例を示す模式図である。

図５に示すように、本実施形態に係る画像形成装置１は、ディスプレイ２３ａの画面全体（表示領域全体）Ａより小さい第１の表示領域（仮想デスクトップ領域）Ａ１に特定ソフトのソフト画面５０１を表示し、かつ、第１の表示領域Ａ１を取り囲む第２の表示領域Ａ２に第１の表示領域Ａ１に表示されるソフト画面５０１に付加される付加枠５０２を表示する。

また、本実施形態に係る画像形成装置１は、第１の表示領域Ａ１に、当該画像形成装置１の各機能項目を選択指定するためのソフトキー（「自動選択」、「カラー」、「白黒」、「自動用紙選択」、「Ａ４」、および、「等倍」など）、操作の状態、および、メッセージなどを表示するソフト画面５０１を表示する。

また、図５に示すように、本実施形態に係る画像形成装置１は、第２の表示領域Ａ２に、［スタート］キー、テンキー、および、機能キー（「コピー」、「スキャナ」など）などの従来の画像形成装置に設けられていたハードキーを模した選択アイコンであり、従来のハードキーと同様に機能の実行を指示することが可能なソフトキーと、ユーザに通知する通知情報（例えば、画像形成装置１が設置される部署（「総務部」など）に関連する情報（連絡事項）など）を表示する表示欄とを含む付加枠５０２を表示する。

次に、タッチパネル２３ｂの座標を指定するユーザ入力があった場合の処理動作について図６および図７を用いて説明する。

図６は、タッチパネル２３ｂの座標を指定するユーザ入力があった場合の処理動作を示すフローチャートである。特に図６は、タッチパネル２３ｂを介して、ディスプレイ２３ａの第１の表示領域（仮想デスクトップ領域）Ａ１に表示されるソフト画面５０１のソフトキーを選択するタッチ操作などの第１の表示領域Ａ１内の座標を指定するユーザ入力があった場合の処理動作を説明するためのフローチャートである。

図６に示すように、この処理では、タッチパネル２３ｂを介して座標を指定するタッチ操作などの座標入力イベントが発生すると（ステップＳ１１）、画像形成装置１では、コピーソフト実行部１４０が、ユーザにより指定された座標（以下、入力座標という場合がある。）が第１の表示領域（仮想デスクトップ領域）Ａ１内であるか否かを判定する（ステップＳ１２）。

この判定の結果、入力座標が第１の表示領域（仮想デスクトップ領域）Ａ１内であると判定した場合（ステップＳ１２：Ｙｅｓ）、コピーソフト実行部１４０が、特定ソフト実行部１２０に対して入力イベントの発生を通知するリダイレクト処理を実行する（ステップＳ１３）。すなわち、このステップＳ１３の処理では、コピーソフト実行部１４０が、入力座標から補正値を減算した座標に対してユーザ入力（座標入力ともいう。）があったことを特定ソフト実行部１２０に通知する（図７参照）。

図７は、ＯＳ実行部１１０が管理する座標空間における座標情報の一例を示す模式図である。図７に示すように、ＯＳ実行部１１０は、特定ソフト実行部１２０が生成するソフト画面７０１の座標空間における座標情報（エリアＰ１の座標情報）と、コピーソフト実行部１４０が生成する合成画面の座標空間における座標情報（エリアＰ２の座標情報）とを管理している。エリアＰ２は、ソフト画面７０２を表示するための第１の表示領域（仮想デスクトップ領域）Ａ１と、付加枠７０３を表示するための第２の表示領域Ａ２とを含む。

なお、本実施形態では、エリアＰ２がディスプレイ２３ａのスクリーン座標（すなわち、ディスプレイ２３ａの表示領域の左上隅の点を原点座標（０，０）とした座標系）に対応している。例えば、エリアＰ２の左上隅の点の座標（４０，０）がディスプレイ２３ａの左上隅の原点座標（０，０）に対応し、エリアＰ２の右下隅の点の座標（１００，５０）がディスプレイ２３ａの右下隅の点の座標に対応している。

例えば、図７に示す座標情報が管理されている場合に、ステップＳ１１の座標入力イベントでユーザにより指定された入力座標が座標（８０，３０）であったとする。この場合、ステップＳ１３の処理では、コピーソフト実行部１４０が、第１の表示領域（仮想デスクトップ領域）Ａ１上の入力座標（８０，３０）から補正値｛補正Ｘ（５０），補正Ｙ（１０）｝を減算した補正座標（３０，２０）に対してユーザ入力があったことを特定ソフト実行部１２０に通知する。

図６に戻って、ステップＳ１３の処理後、画像形成装置１では、特定ソフト実行部１２０が、通知された座標がソフト画面の画像に含まれるソフトキーを選択する座標であるか否かを判定する（ステップＳ１４）。

この判定の結果、通知された座標が、ソフトキーを選択する座標であると判定した場合（ステップＳ１４：Ｙｅｓ）、画像形成装置１は、ユーザ操作が有効であるとし、当該ソフトキー（「カラー」ソフトキーなど）が選択された状態を表示する表示内容（ソフト画面の画像）に変更する処理を実行する（ステップＳ１５）。また、画像形成装置１は、当該ソフトキーに対応した機能項目の選択処理（例えば、カラーコピー機能が選択されたことを示すジョブ情報を設定する処理など）を実行する（ステップＳ１６）。なお、ステップＳ１６の処理では、画像形成装置１は、ディスプレイ２３ａの第１の表示領域（仮想デスクトップ領域）Ａ１に表示されるソフト画面の画像を変更するための処理として、図４に示すステップＳ２〜ステップＳ５の処理を実行する。

他方、ステップＳ１４の判定の結果、通知された座標が、第１の表示領域Ａ１に表示されるソフト画面の画像中のソフトキーが配置されていない背景部分を選択するなどのソフトキーを選択する座標でないと判定した場合（ステップＳ１４：Ｎｏ）、画像形成装置１では、ユーザ操作が無効であるとし、ここでの処理を終了する。

一方、ステップＳ１２の判定の結果、入力座標が第１の表示領域（仮想デスクトップ領域）Ａ１内でない、すなわち、第２の表示領域Ａ２内であると判定した場合には（ステップＳ１２：Ｎｏ）、画像形成装置１は、当該入力座標が第２の表示領域Ａ２に表示される付加枠の画像に含まれるソフトキーを選択する座標であるか否かを判定する（ステップＳ１７）。

この判定の結果、入力座標が、付加枠の画像に含まれるソフトキーを選択する座標であると判定した場合（ステップＳ１７：Ｙｅｓ）、画像形成装置１は、ユーザ操作が有効であるとし、当該ソフトキー（「スタート」ソフトキーなど）が選択された状態を表示する表示内容（付加枠の画像）に変更する処理を実行する（ステップＳ１８）。また、画像形成装置１は、選択されたソフトキーに対応した機能項目の選択処理（例えば、ＡＤＦ３の原稿セット部３１にセットされた原稿のコピー処理など）を実行し（ステップＳ１９）、その選択処理が終了した後、ここでの処理を終了する。

他方、ステップＳ１７の判定の結果、入力座標が、第２の表示領域Ａ２に表示される付加枠の画像中のソフトキーが配置されていない背景部分を選択するなどのソフトキーを選択する座標でないと判定した場合（ステップＳ１７：Ｎｏ）、画像形成装置１は、ユーザ操作が無効であるとし、ここでの処理を終了する。

なお、座標入力の検出およびリダイレクトの実装としては、例えば、ＯＳがMicrosoft Windows（登録商標）７であれば、システムフックによるフックプロシージャのインストールや、マウスドライバに対するフィルタドライバの作成により実現することが可能である。

すなわち、以上説明した本実施形態によれば、ディスプレイ２３ａに接続される第１のディスプレイアダプタ２２と、ディスプレイ２３ａの画面全体（表示領域全体）Ａを占有して表示を行う既存のソフトウェア（特定ソフト）に割り当てられプライマリディスプレイに設定された第２のディスプレイアダプタ１３０とを用い、特定ソフトにより生成されるソフト画面に付加枠を合成した合成画面をディスプレイに表示する。このため、特定ソフトを改変することなく、かつ、特定ソフトの動作に異常（すなわち、特定ソフトのソフト画面に乱れなどの不具合）を発生させることなく、特定ソフトのソフト画面に付加枠を合成した合成画面をディスプレイ２３ａに表示させることができる。すなわち、特定ソフトのソフト画面を画面の一部として表示することができる。

また、本実施形態によれば、従来の画像形成装置に実装されている既存のソフトウェア（特定ソフト）を改変せず、かつ、従来の画像形成装置に設けられていたハードキーに相当するソフトキーを付加枠に表示することができる。このため、ハードキーを設けずに済むことで従来の画像形成装置に比べて安価な画像形成装置を提供することができる。

また、本実施形態によれば、特定ソフトにより生成されるソフト画面の座標空間における座標と、実際にディスプレイ２３ａに表示される合成画面中のソフト画面の座標空間における座標との間には、ずれが存在する。しかし、合成画面中のソフト画面に対するユーザ入力があった場合に、合成画面中のソフト画面上の入力座標から特定ソフトにより生成されるソフト画面上の対応する座標を算出し、その算出した座標に入力があったことを特定ソフトに通知するように構成している。このため、ユーザが特定ソフトに対して直接操作している場合と変わらない結果を得ることができる。

（変形例）
以下、上記実施形態の変形例について説明する。

上記した実施形態では、コピーソフト実行部１４０が、第２のディスプレイアダプタ１３０の表示内容を第１の表示領域（仮想デスクトップ領域）Ａ１にコピーする際、第２のディスプレイアダプタ１３０の表示内容を等倍で仮想デスクトップ領域にコピーする形態（図７参照）について説明した。コピー方法はこれに限定されるものではない。例えば、第２のディスプレイアダプタ１３０の表示内容に対して拡大や縮小などの変形処理を施してから仮想デスクトップ領域にコピーするような形態とすることも可能である。

図８は、コピーソフト実行部１４０が、第２のディスプレイアダプタ１３０の表示内容に対して拡大処理を施してから仮想デスクトップ領域にコピーする場合の処理例を説明するための模式図である。図９は、コピーソフト実行部１４０が、第２のディスプレイアダプタ１３０の表示内容に対して縦長に拡大変形する処理を施してから仮想デスクトップ領域にコピーする場合の処理例を説明するための模式図である。

図８および図９に示すように、単純な等倍コピーではなく、拡大などの変形処理を施してからコピーした場合には、ユーザからの仮想デスクトップ領域への入力座標は、拡大などの変形処理が施された第２のディスプレイアダプタ１３０の表示内容（ソフト画面の画像）に対する入力座標となる。このため、上記した実施形態のように、入力座標から単純に補正値を減算するだけでは、特定ソフト実行部１２０（すなわち、特定ソフト）に対して正確な入力座標を通知することができない。

そこで、拡大率や縮小率などの変形パラメータを用いて、まず、入力座標を、変形前のソフト画面（等倍でコピーした場合のソフト画面など）の画像（図７に示す第１の表示領域（仮想デスクトップ領域）の画像）上の、合成画面の座標空間で表される座標（第１補正座標）に補正する。この後、補正した座標（第１補正座標）を入力座標の代わりに用いて、図７で説明した方法と同様の方法により補正位置の座標（第２補正座標）を算出する。これにより、特定ソフトを正しく操作することができる。

なお、図８および図９に示した変形処理に限定されず、その他の変形処理を行うように構成しても良い。

すなわち、このような変形例によれば、特定ソフトのソフト画面の表示形状を変更して表示することが可能である。より具体的には、ソフト画面が大きく切り替わるときにページをめくるような視覚効果を付け加えたり、変化前との差分部分を強調して表示したりすることが可能となる。

以上、例示的な実施形態に基づいて説明したが、本発明は、上記実施形態により限定されるものではない。

例えば、上記実施形態では、付加枠の画像として、従来の画像形成装置に設けられていたハードキーを模したソフトキーと、通知情報を表示する表示欄とを含む画像を例に説明したが、これに限定されるものではない。例えば、その他の形態の付加枠の画像としても良く、画像形成装置１を利用するユーザのニーズに応じて、任意に設定することが可能である。

また、上記実施形態では、付加枠の画像を表示する第２の表示領域Ａ２の形状が矩形状の第１の表示領域Ａ１を取り囲む形状である場合について説明したが、これに限定されず、第２の表示領域Ａ２の形状は他の形状であっても良い。

また、上記実施形態では、図２に示すように、第２のディスプレイアダプタ１３０が操作表示制御部２１のＣＰＵの機能的構成である場合について説明したが、これに限定されず、コントローラ８のＣＰＵの機能的構成とすることも可能である。

また、上記実施形態では、図４に示すシーケンスのステップＳ４において、コピーソフト実行部１４０が、一定時間経過毎に第２のディスプレイアダプタ１３０に対して表示内容の取得要求を行って、第２のディスプレイアダプタ１３０の表示内容を取得する形態について説明したが、これに限定されず、他の手順により表示内容を取得するようにしても良い。例えば、第２のディスプレイアダプタ１３０が記憶する画像データが更新される毎に、第２のディスプレイアダプタ１３０がコピーソフト実行部１４０に対して更新後の画像データを出力することで、コピーソフト実行部１４０が表示内容を取得するような形態とすることも可能である。

また、上記実施形態では、特定ソフト実行部１２０が特定ソフトのソフト画面の画像を生成する形態について説明したが、これに限定されるものではない。例えば、特定ソフト実行部１２０の制御下で第２のディスプレイアダプタ１３０が特定ソフトのソフト画面の画像を生成するような形態とすることも可能である。また、上記実施形態では、コピーソフト実行部１４０がソフト画面の画像と付加枠の画像とを合成した合成画像を生成する形態について説明したが、これに限定されるものではない。例えば、コピーソフト実行部１４０の制御下で第１のディスプレイアダプタ２２が合成画像を生成するような形態とすることも可能である。

また、上記実施形態では、第１のディスプレイアダプタ２２および第２のディスプレイアダプタ１３０の２つのディスプレイアダプタを備える形態について説明したが、これに限定されるものではない。例えば、３つ以上のディスプレイアダプタを備える形態とすることも可能である。ただし、その場合においても、少なくとも１つのディスプレイアダプタがディスプレイ２３ａに接続されるように構成する。

また、上記実施形態では、画像形成装置１としての複合機に適用した場合について説明したが、これに限定されず、例えば、組み込み式システムを搭載した他の電子機器にも適用することが可能である。

また、上記実施形態の画像形成装置１で実行されるソフトウェア（プログラム）は、ＲＯＭやＨＤＤ８２などの記憶部に予め組み込んで提供することが可能である。また、上記プログラムは、インストール可能な形式または実行可能な形式のファイルでコンピュータで読み取り可能な記憶媒体に記憶して提供することが可能である。更に、上記プログラムは、インターネットなどのネットワーク経由で提供または配布したりすることも可能である。

なお、上記説明では、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１画像形成装置（複合機、電子機器）
６画像形成部
８コントローラ
２１操作表示制御部
２２第１のディスプレイアダプタ
２３ａディスプレイ
１１０ＯＳ実行部
１２０特定ソフト実行部
１３０第２のディスプレイアダプタ
１４０コピーソフト実行部

特許第２８１９９４０号公報特許第４７３８８０５号公報

Claims

ディスプレイに接続される第１のディスプレイアダプタと、
特定ソフトウェアによって生成される画像の出力先として指定される第２のディスプレイアダプタと、
前記第１のディスプレイアダプタに対して設定される第１のパラメータを用いて、前記第２のディスプレイアダプタに対して設定される第２のパラメータを用いて前記特定ソフトウェアによって生成されたソフト画面に対して付加枠を合成した合成画面を生成し、生成した前記合成画面を前記ディスプレイに表示させる生成部と、
を備える電子機器。
前記生成部は、前記合成画面内の前記ソフト画面に対して入力された、前記合成画面の座標空間で表される入力座標を、前記ソフト画面の座標空間で表される補正座標に補正し、補正した前記補正座標を前記特定ソフトウェアに出力する、
請求項１に記載の電子機器。
前記生成部は、前記ソフト画面を変形した変形画面に対して前記付加枠を合成して前記合成画面を生成する
請求項１に記載の電子機器。
前記生成部は、前記合成画面内の前記変形画面に対して入力された、前記合成画面の座標空間で表される入力座標を、前記合成画面の座標空間で表される前記変形画面に変形する前の前記ソフト画面に対する第１補正座標に補正し、補正した第１補正座標を、さらに前記ソフト画面の座標空間で表される第２補正座標に補正し、補正した第２補正座標を前記特定ソフトウェアに出力する、
請求項３に記載の電子機器。
記録媒体に画像を形成する画像形成部と、
ディスプレイに接続される第１のディスプレイアダプタと、
特定ソフトウェアによって生成される画像の出力先として指定される第２のディスプレイアダプタと、
前記第１のディスプレイアダプタに対して設定される第１のパラメータを用いて、前記第２のディスプレイアダプタに対して設定される第２のパラメータを用いて前記特定ソフトウェアによって生成されたソフト画面の画像に対して付加枠の画像を合成した合成画面を生成し、生成した前記合成画面を前記ディスプレイに表示させる生成部と、
を備える画像形成装置。