JP2016081216A

JP2016081216A - 表示装置、画像処理装置、画面表示方法及びプログラム

Info

Publication number: JP2016081216A
Application number: JP2014210575A
Authority: JP
Inventors: 積松浦; Tsumoru Matsuura
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2014-10-15
Filing date: 2014-10-15
Publication date: 2016-05-16
Anticipated expiration: 2034-10-15
Also published as: JP6350198B2

Abstract

【課題】指やペンなどの対象物を画面上に接地して移動中に、警告画面等の別の画面が割り込んで表示された場合に、ユーザーの意向に応じて、容易に対象物の移動操作を継続でき、あるいは別の画面の表示を優先させることができる表示装置等を提供する。
【解決手段】表示手段１７１に表示された第１の画面Ｄ５上に接地された対象物Ｈの移動途中に、第２の画面Ｄ６を表示する必要が発生した場合、第１の画面に代え第２の画面が割り込み表示される。この際、第２の画面に切り替えられる直前の第１の画面の構成情報が保存手段に保存される。第２の画面が表示されることで、ユーザーは第２の画面を確認することができ、対象物の移動操作の継続を望む場合、対象物を移動させるとこれが検知され、第２の画面の構成情報が保存手段に保存され、既に保存された第１の画面の構成情報に基づき、第１の画面が対象物の移動操作が継続可能な状態で再表示される。
【選択図】図８

Description

この発明は、例えば多機能デジタル複合機であるＭＦＰ（Multi Function Peripherals）の操作パネル等に用いられる表示装置、該表示装置を備えた画像処理装置、画面表示方法及び画面表示プログラムに関する。

画像処理装置等に用いられる表示装置として、操作画面等を表示するとともに、利用者の直観的な操作を実現するタッチパネル付きの表示装置がある。このようなタッチパネル付きの表示装置は、利用者の指やペン等の対象物の画面上で接地、離地及び接地したままでの移動を検知する機能が備わっており、それらを検知した位置や速度によって画面上の表示を切り替えたり、画面上に表示された操作を決定したりすることができる。

そのような操作の一つとしてドラッグ操作がある。ドラッグ操作は、対象物をディプレイ上に接地する、接地したまま対象物を移動させる、対象物をディスプレイ上から離地させる、といった一連の動作を表している。このドラッグ操作の接地および離地の位置によって操作を決定するものがある。

例えば画面上に表示されているドキュメントアイコン部分に接地し、そのまま処理を表す領域まで移動させ離地することで、対象のドキュメントを離地した領域に割り当てられている処理を実行することができる。

また他の例でいえば、パイメニューによる操作がある。パイメニューはある位置を中心に、複数の区分に分けられた円形ないし扇形の画像が表示されたもので、対象物を接地したままある区分の領域まで移動、離地することで、離地した領域に関連付けられた操作を実行するものである。

つまりこれらの操作は、離地することによって処理を決定するものであるため、処理を決定するまで離地することができない。

一方、前述したＭＦＰ等の画像形成装置は、ユーザーの操作状況とは無関係にエラーを検出し、それに応じた警告画面を割り込んで表示することがある。

例えばジョブを印刷中に、印刷用紙がなくなってしまった場合、その旨を表す文字列や画像とともに、用紙の補給もしくは代替用紙トレイの選択を促す警告画面が表示される。

ドラッグ操作中に警告画面が割り込み表示された場合、ドラッグ操作を実施していた画面に対する入力が中断される。中断は離地と同じくドラッグの終了と判断され、警告画面の前に表示されていた画面については離地した領域に対する処理が行われてしまう。

この場合、利用者の本意ではない処理が実施されてしまうため、一般には、警告画面などの画面が割り込まれた場合、離地の位置に関係なく、先の画面に対する処理は中止とする対策が取られている。

しかしながらドラッグ操作の途中に警告画面が表示された場合、処理選択の操作が中止されるため、警告画面に対する処理を終えたのちに、改めて所望する処理選択の操作を最初から実施しなおさなければならず、手間が増えてしまうといった課題がある。

そこで、この課題を解決するため特許文献１には、
（１）割り込みの警告画面を処理したあと、直前のドラッグを表示している画面を再表示し、ドラッグしていたアイコンの近傍に接地することによってドラッグ処理を再開する、
（２）ドラッグ中、割り込みの警告画面の表示事由が発生した場合であっても、ドラッグ操作が完了するまで警告画面を表示させない、
という２つの解決方法が提案されている。

特開２０１３−１４５５３９号公報

しかし、上記特許文献に記載された（１）の方法では、ドラッグ操作は継続できるものの、そのためには警告画面の処理を行わなければならず、直ちに操作を完了したいユーザーにとってはやはり手間がかかるという課題がある。

また、上記（２）の方法では、警告の種類によっては表示の遅延をすることが許されるものがある一方、直ちに表示しなければならない警告も存在する。しかもその判断は一意に決まるものではなく、利用者の利用目的などにも影響されるため、画像形成装置等がそれを判断することは困難であるという課題がある。

このような課題は、ドラッグ操作にかかわらず、ピンチインやピンチアウト等の対象物の接地、移動、離地を伴う他の操作においても、同様に生じる。

この発明は、このような技術的背景に鑑みてなされたものであって、指やペンなどの対象物を画面上に接地して移動中に、警告画面等の別の画面が割り込んで表示された場合に、ユーザーの意向に応じて、容易に対象物の移動操作を継続でき、あるいは前記別の画面の表示を優先させることができる表示装置、該表示装置を備えた画像処理装置、画面表示方法及び画面表示プログラムを提供することを課題とする。

上記課題は、以下の手段によって解決される。
（１）タッチパネルを有する表示手段と、前記表示手段に表示された第１の画面上に接地された対象物が、ユーザーの操作によって離地位置まで移動する途中に、前記第１の画面に代えて第２の画面を前記表示手段に切り替え表示する表示制御手段と、前記対象物が離地された位置に応じて実行すべき処理を決定する処理決定手段と、前記表示制御手段により、前記第２の画面に切り替えられる直前の前記第１の画面の構成情報を保存する保存手段と、前記第２の画面が切り替え表示された状態で、前記対象物の移動が継続しているかどうかを判断する移動判断手段と、を備え、前記表示制御手段は、前記移動判断手段により、前記対象物の移動が継続していると判断された場合は、前記第２の画面の構成情報を前記保存手段に保存するとともに、前記保存手段に保存された前記第１の画面の構成情報に基づき、前記第２の画面に代えて前記第１の画面を、前記保存手段に保存されていた対象物の接地位置からの移動操作が継続可能な状態で、前記表示手段に再表示し、かつ前記処理決定手段による前記処理の決定後に、前記保存手段に保存された前記第２の画面の構成情報に基づいて、前記第２の画面を前記表示手段に表示することを特徴とする表示装置。
（２）前記表示制御手段は、前記第２の画面に代えて前記第１の画面を前記表示手段に再表示する際に、前記対象物の現在の接地位置から対象物の移動を再開させる前項１に記載の表示装置。
（３）前記第１の画面が前記表示手段の表示可能領域のサイズよりも小さい場合、前記第１の画面を再表示する際に、前記表示制御手段は、前記第１の画面を前記第２の画面上に重ねて表示すると共に、前記第２の画面の色を変更する前項１または２に記載の表示装置。
（４）前記第２の画面の表示の契機となった事象によって、前記離地した位置に応じて実行すべき処理が実行不可となっている場合、前記表示制御手段は、実行不可となっていることが表示されるように前記第１の画面を編集して表示する前項１〜３のいずれかに記載の表示装置。
（５）前記対象物の移動開始からの距離を算出する距離算出手段を備え、前記距離算出手段により算出された前記対象物の移動開始からの距離が一定値以下の時に、前記第２の画面が表示された場合は、前記表示制御手段は前記対象物が移動しても前記第２の画面の表示をそのまま維持する前項１〜４のいずれかに記載の表示装置。
（６）前記対象物の移動開始からの時間を算出する時間算出手段を備え、前記時間算出手段により算出された前記対象物の移動開始からの時間が一定値以下の時に、前記第２の画面が表示された場合は、前記表示制御手段は前記対象物が移動しても前記第２の画面の表示をそのまま維持する前項１〜５のいずれかに記載の表示装置。
（７）前項１〜６のいずれかに記載の表示装置を備えた画像処理装置。
（８）タッチパネルを有する表示手段に表示された第１の画面上に接地された対象物が、ユーザーの操作によって離地位置まで移動する途中に、前記第１の画面に代えて第２の画面を前記表示手段に切り替え表示する表示制御ステップと、前記対象物が離地された位置に応じて実行すべき処理を決定する処理決定ステップと、前記表示制御ステップにより、前記第２の画面に切り替えられる直前の前記第１の画面の構成情報を保存手段に保存するステップと、前記第２の画面が切り替え表示された状態で、前記対象物の移動が継続しているかどうかを判断する移動判断ステップと、を備え、前記表示制御ステップでは、前記移動判断ステップにより、前記対象物の移動が継続していると判断された場合は、前記第２の画面の構成情報を前記保存手段に保存するとともに、前記保存手段に保存された前記第１の画面の構成情報に基づき、前記第２の画面に代えて前記第１の画面を、前記保存手段に保存されていた対象物の接地位置からの移動操作が継続可能な状態で、前記表示手段に再表示し、かつ前記処理決定ステップによる前記処理の決定後に、前記保存手段に保存された前記第２の画面の構成情報に基づいて、前記第２の画面を前記表示手段に表示することを特徴とする画面表示方法。
（９）タッチパネルを有する表示手段に表示された第１の画面上に接地された対象物が、ユーザーの操作によって離地位置まで移動する途中に、前記第１の画面に代えて第２の画面を前記表示手段に切り替え表示する表示制御ステップと、前記対象物が離地された位置に応じて実行すべき処理を決定する処理決定ステップと、前記表示制御ステップにより、前記第２の画面に切り替えられる直前の前記第１の画面の構成情報を保存手段に保存するステップと、前記第２の画面が切り替え表示された状態で、前記対象物の移動が継続しているかどうかを判断する移動判断ステップと、を表示装置のコンピュータに実行させ、前記表示制御ステップでは、前記移動判断ステップにより、前記対象物の移動が継続していると判断された場合は、前記第２の画面の構成情報を前記保存手段に保存するとともに、前記保存手段に保存された前記第１の画面の構成情報に基づき、前記第２の画面に代えて前記第１の画面を、前記保存手段に保存されていた対象物の接地位置からの移動操作が継続可能な状態で、前記表示手段に再表示し、かつ前記処理決定ステップによる前記処理の決定後に、前記保存手段に保存された前記第２の画面の構成情報に基づいて、前記第２の画面を前記表示手段に表示する処理を前記コンピュータに実行させることを特徴とする画面表示プログラム。

前項（１）に記載の発明によれば、表示手段に表示された第１の画面上に接地された対象物の移動途中に、警告画面等の第２の画面を表示する必要が発生した場合は、第１の画面に代えて第２の画面が表示手段に割り込んで表示される。この際に、第２の画面に切り替えられる直前の第１の画面の構成情報が保存手段に保存される。第２の画面が表示されることで、ユーザーは第２の画面を確認することができる。その結果、対象物の移動操作の継続を望む場合は、そのまま対象物を移動させると、これが検知される。そして、第２の画面の構成情報が保存手段に保存されるとともに、保存手段に保存された第１の画面の構成情報に基づき、第２の画面に代えて第１の画面が、対象物の移動操作が継続可能な状態で表示手段に再表示される。

従って、ユーザーは、対象物の移動・離地操作をそのまま継続することができ、離地された位置に応じて実行すべき処理を速やかに決定し、その処理を実行させることができる。実行すべき処理が決定された後に、保存手段に保存された第２の画面の構成情報に基づいて、第２の画面が表示手段に表示されるから、第２の画面の内容を確認することができる。

一方、割り込んで表示された第２の画面をじっくりと確認する必要があるとユーザーが判断した場合は、画面に接地されている対象物を画面から離地させる等により、第２の画面をそのまま継続して表示させることができる。これにより、重大な警告等を直ちに確認することができる。

このように、指やペンなどの対象物を第１の画面上に接地して移動中に、警告画面等の第２の画面が割り込んで表示された場合に、ユーザーの意向に応じて、容易に対象物の移動操作を継続でき、あるいは第２の画面の表示を優先させることができる表示装置となる。

前項（２）に記載の発明によれば、第２の画面に代えて第１の画面を表示手段に再表示する際は、対象物が既に移動しているから、対象物の現在の接地位置から移動を再開させる。

前項（３）に記載の発明によれば、第１の画面が表示手段の表示可能領域のサイズよりも小さい場合、第１の画面を再表示する際に、第１の画面を第２の画面上に重ねて表示すると共に、第２の画面の色を変更するから、ユーザーは第１の画面が有効であることを容易に認識することができる。

前項（４）に記載の発明によれば、第２の画面の表示の契機となった事象によって、離地した位置に応じて実行すべき処理が実行不可となっている場合、実行不可となっていることが表示されるように第１の画面を編集し表示するから、ユーザーは上記処理が実行不可であることを容易に認識することができる。

前項（５）に記載の発明によれば、対象物の移動開始からの距離が一定値以下の時に、前記第２の画面が表示された場合は、ユーザーの操作開始から間もないことから第２の画面の表示を優先し、対象物が移動しても第１の画面に切り替わることなく第２の画面の表示がそのまま維持される。この場合、ユーザーは第２の画面の表示終了後に、再度第１の画面を表示して対象物の接地・移動・地操作を最初から行う必要がある。

前項（６）に記載の発明によれば、対象物の移動開始からの時間が一定値以下の時に、前記第２の画面が表示された場合は、ユーザーの操作開始から間もないことから第２の画面の表示を優先し、対象物が移動しても第１の画面に切り替わることなく第２の画面の表示がそのまま維持される。この場合、ユーザーは第２の画面の表示終了後に、再度第１の画面を表示して対象物の接地・移動・離地操作を最初から行う必要がある。

前項（７）に記載の発明によれば、指やペンなどの対象物を第１の画面上に接地して移動中に、警告画面等の第２の画面が割り込んで表示された場合に、ユーザーの意向に応じて、容易に対象物の移動操作を継続でき、あるいは第２の画面の表示を優先させることができる表示装置を備えた画像処理装置となる。

前項（８）に記載の発明によれば、指やペンなどの対象物を第１の画面上に接地して移動中に、警告画面等の第２の画面が割り込んで表示された場合に、ユーザーの意向に応じて、容易に対象物の移動操作を継続でき、あるいは第２の画面の表示を優先させることができる。

前項（８）に記載の発明によれば、指やペンなどの対象物を第１の画面上に接地して移動中に、警告画面等の第２の画面が割り込んで表示された場合に、ユーザーの意向に応じて、容易に対象物の移動操作を継続でき、あるいは第２の画面の表示を優先させることができる処理を、表示装置のコンピュータに実行させることができる。

この発明の一実施形態に係る画像処理装置の構成を示すブロック図である。図１に示した画像処理装置の制御系の機能ブロック図である。ドラッグ操作つまり対象物の接地、移動、離地が行われる第１の画面の一例を示す図である。ドラッグ操作つまり対象物の接地、移動、離地が行われる第１の画面の他の例を示す図である。異常通知画面が割り込み表示された状態を示す図である。画像処理装置によるドラッグ操作か否かの判断処理を示すフローチャートである。対象物の移動途中で画像処理装置に異常が発生した場合の動作を示すフローチャートである。この発明の他の実施形態を示すもので、第１の画面または第２の画面の色を変更して表示する場合の画面図である。図８の実施形態を実施する場合の画像処理装置の動作を示すフローチャートである。この発明の他の実施形態を示すもので、パイメニューの項目の一部を非活性化した状態の画面図である。図１０に示した実施形態を実施する際の画像処理装置の動作を示すフローチャートである。この発明のさらに他の実施形態を示すもので、画像処理装置の動作を示すフローチャートである。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係る画像処理装置１の構成を示すブロック図である。この実施形態では、画像処理装置１として、コピー機能、プリンタ機能、ファクシミリ機能、スキャン機能等の複数の機能を有する多機能デジタル画像形成装置であるＭＦＰ（Multi Function Peripherals）が用いられている。

図１において、この画像処理装置１はＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、スキャナ部１４と、記憶部１５と、プリンタ部１６と、操作パネル１７と、ネットワークコントローラ（Ｎ１Ｃ）１８等を備えている。

前記ＣＰＵ１１は、画像形成装置１の全体を統括的に制御し、コピー機能、プリンタ機能、スキャン機能、ファクシミリ機能等の基本機能を使用可能に制御するほか、この実施形態では次のような動作を行う。即ち、操作パネル１７の表示部１７１に、ドラッグ操作が可能な第１の画面を表示させるとともに、画面上に接地された指やペンなどの対象物が移動後に離地されたときの離地位置に応じて実行すべき処理を決定し、その処理を実行する。一般的には、接地した座標にあるオブジェクトと離地した座標にあるオブジェクトを関連付けて処理が決定されることが多い。さらに、装置本体側の原因に基づく事象等の発生によって該事象に応じた第２の画面を表示部１７１に表示させる。なお、装置本体側の原因に基づく事象の発生の例としては、紙詰まりやペーパーエンプティ等があり、これらが発生したときに、紙詰まりやペーパーエンプティを解消させるための異常通知画面を表示する。また、対象物の移動途中に、前記第２の画面を表示させる必要のある装置本体側の事象等が発生した場合の処理を行うが、この処理については後述する。

前記ＲＯＭ１２は、ＣＰＵ２１の動作プログラム等を格納するメモリである。

前記ＲＡＭ１３は、ＣＰＵ２１が動作プログラムに基づいて動作する際の作業領域を提供するメモリである。

前記スキャナ部１４は、原稿台（図示せず）に置かれた原稿の画像を読み取り、画像データを出力する読み取り手段である。

前記記憶部１５は、例えばハードディスクドライブ（ＨＤＤ）などの不揮発性の記憶デバイスにより構成されており、各種のアプリケーション、スキャナ部１４で読み取られた原稿の画像データや、その他のデータが記憶される。

前記プリンタ部１６は、前記スキャナ部１４で読み取られた原稿の画像データやユーザ端末からのプリントデータ等を、指示されたモードに従って印刷するものである。

前記操作パネル１７は、各種入力操作等のために使用されるものであり、メッセージや操作画面等を表示するタッチパネル付き液晶等からなる表示部１７１と、テンキー、スタートキー、ストップキー等を備えたキー入力部１７２を備えている。表示部１７１はタッチパネルを備えているから、ユーザーの直観的な操作方法としてジェスチャー操作がサポートされている。ジェスチャー操作の一つとしてドラッグ操作がある。ドラッグ操作は画面上に指やペン等の対象物の接地を検知し、接地したまま接地点を移動し、移動完了後に離地する操作のことである。

前記ネットワークコントローラ１８は、ネットワーク上の他の画像形成装置や、その他の外部機器例えばユーザ端末等との間での通信を制御することにより、データの送受信を行うものである。

図２は、図１に示した画像処理装置１の制御系の機能ブロック図であり、システム制御部１０１、エラー監視部１０２、警告監視部１０３、画面制御部１０４、入力制御部１０５、描画制御部１０６、通常画面処理部１０７、警告画面処理部１０８、エラー画面処理部１０９、フレームバッファ１１０、タッチパネルデバイスドライバ１１１等を備えている。

前記システム制御部１０１は、画像処理装置１の全体を制御する。エラー監視部１０２は、画像処理装置１に用紙ジャム等のエラーが発生したかどうかを監視し、警告監視部１０３は用紙エンプティ等の警告を報知すべき状態が発生したかどうかを監視する。また、前記画面制御部１０４は表示画面の制御を行い、表示すべき画面が表示部１７１に表示されるようにフレームバッファドライバ１１０を制御する。入力制御部１０５はタッチパネルデバイスドライバ１１１を介して表示部１７１のタッチパネルから入力される信号を処理するものである。

描画制御部１０６は、レイヤ−管理部１０６ａと、操作状態管理部１０６ｂと、制御状態管理部１０６ｃと、表示画面管理部１０６ｄと、位置座標管理部１０６ｅを備えている。

レイヤー管理部１０６ａは、ドラッグ操作が開始されると、該操作によって移動される対象物の移動途中の画像を、入力制御部１０５から入力される対象物の位置座標を基に、ベース画面とは異なる描画レイヤーに描画し、これを管理する。この描画レイヤーがベース画面に重ねて表示部１７１に表示されることにより、アイコン等の移動途中の状態が表示される。

操作状態管理部１０６ｂは、ユーザーによる画像処理装置１の操作状態を、制御状態管理部１０６ｃは、画像形成装置１の制御状態をそれぞれ管理し、表示画面管理部１０６ｄは、ユーザーの操作や画像形成装置１の状態に応じて、表示部１７１に表示させる画面を管理する。

位置座標管理部１０６ｅは、画面上の指やペン等の対象物の位置座標を管理し、どの位置で離地されたかどうか等の判断材料を提供する。

通常画面処理部１０７は、通常の操作状態において表示部１７１に表示される通常画面を作成し処理するものであり、警告画面処理部１０８は、警告画面を表示させるべき事象（例えば用紙エンプティ）が画像処理装置１に発生したときに、警告画面を作成し処理するものである。また、エラー画面処理部１０９は、エラー画面を表示させるべき事象（例えば用紙ジャム）が画像処理装置に発生したときに、エラー画面を作成し処理するものである。

次に、図１に示した画像処理装置１において、ユーザーがドラッグ操作用の画面（第１の画面）上に指やペン等の接地対象物を接地（タッチ）して移動先への移動を開始した後、対象物の移動途中に、ユーザー操作とは関係のない、用紙エンプティや用紙ジャム等の装置本体側の原因に基づく事象が発生し、それに伴う警告画面やエラー画面等の異常通知画面（第２の画面）を表示部１７１に表示する必要が生じたときの画像処理装置１の動作を説明する。

まず、ドラッグ操作つまり対象物の接地、移動、離地が行われるドラッグ操作用の画面（第１の画面）の一例を図３に示す。図３の例では、画像処理装置１内に保存されている複数のドキュメントをそれぞれ示す複数のドキュメントアイコン２が表示されると共に、画面の一端側には「印刷」「複製」「削除」の各ボタン３１〜３３が表示されている。「印刷」ボタンはドキュメントの印刷処理を実行するためのボタンであり、「複製」ボタンはドキュメントの複製処理を実行するためのボタンであり、「削除」ボタンはドキュメントの削除処理を実行するためのボタンである。

図３（Ａ）の画面Ｄ１１に示すように、例えば１つのドキュメントアイコン２１に対象物Ｈであるユーザーの指を接地（タッチ）し、接地したまま同図（Ｂ）の画面Ｄ１２に示すように、例えば「印刷」ボタン３１まで移動させる。対象物Ｈの移動に伴い、ドキュメントアイコン２１も移動していく。「印刷」ボタン３１まで移動した後、同図（Ｃ）の画面Ｄ１３に示すように、「印刷」ボタン３１上で対象物Ｈを離地すると、画像処理装置１はドキュメントアイコン２１を印刷処理することを決定し、印刷を実行する。

図４は、ドラッグ操作つまり対象物の接地、移動、離地が行われる第１の画面の他の例を示す図である。この例では、同図（Ａ）に示すように、表示画面上の任意の場所に対象物Ｈを接地することで、扇状に分割された複数の領域に処理の項目３４〜３６が表示された画面Ｄ３１(以下、パイメニューともいう)Ｄ３１が表示されている。この例では、処理の項目として「コピー」「ファックス」「スキャン」が表示されている。

同図（Ｂ）の画面Ｄ３２に示すように、ユーザーは接地した対象物Ｈをそのまま利用したい処理に割り当てられている領域、例えば「ファックス」まで移動させ、同図（Ｃ）の画面Ｄ３３に示すように、その領域で離地すると、画像処理装置１はファックス処理を行うことを決定し、ファックス処理を実行する。

図３に示したラッグ操作用の画面において、対象物Ｈの移動途中に装置本体側の原因に基づく事象が発生した場合、画像処理装置１はユーザーが画面上で画面を操作しているかどうかに関わらず、それに伴う異常通知画面Ｄ２を図５に示すように表示部１７１に割り込んで表示する。また、パイメニュー画面においても、対象物Ｈの移動途中に装置本体側の原因に基づく事象が発生した場合も同様に、異常通知画面Ｄ２を表示部１７１に割り込んで切り替え表示する。

異常通知画面には、用紙エンプティや用紙ジャム等のように、例えば印刷中のジョブに対して用紙が不足した、あるいはある部品が壊れた、など多様な画面が存在する。ユーザーは一般的に、用紙の補給やサービスパーソンの呼び出しなど、異常通知画面に対する対応処理を行う必要がある。

この実施形態では、対象物Ｈの移動途中に異常通知画面が表示された場合、ユーザーがそのまま移動操作を継続した場合、画像処理装置１は異常通知画面に代えて元の画面を再表示する。

このような画像処理装置１の動作を図６及び図７のフローチャートを用いて説明する。なお、図６以降に示すフローチャートは、画像処理装置１のＣＰＵ１１がＲＯＭ１２等の記録媒体に格納された動作プログラムに従って動作することにより実行される。

図６のフローチャートは、画像処理装置１によるドラッグ操作か否かの判断処理を示すものである。

ステップＳ０１で、状態を表すステート（ｓｔａｔｅ）をアイドル（Ｉｄｅｌ）に初期化する。次いでステップ０２では、対象物が画面上に接地したか否かを判断する。接地していなければ（ステップＳ０２でＮＯ）、ステップＳ０１に戻る。接地すると（ステップＳ０２でＹＥＳ）、ステップＳ０３で接地位置の座標（Ｘ０Ｙ０）を保存する。

ステップＳ０４では、接地位置（対象物）が移動しているかどうかを調べ、移動している場合は（ステップＳ０４でＹＥＳ）、ステップＳ０５で、ステートをドラッグ操作中としたのち、ステップＳ０６に進む。ステップＳ０４で移動していない場合は（ステップＳ０４でＮＯ）、そのままステップＳ０６に進む。

ステップＳ０６では、対象物が離地したかどうかを判断する。離地していなければ（ステップＳ０６でＮＯ）、ステップＳ０４に戻る。離地していれば（ステップＳ０６でＹＥＳ）、ステップＳ０７で、離地位置の座標（Ｘ１Ｙ１）を保存する。

次いで、ステップＳ０８で、ステートがドラッグ操作中か否かを判断し、ドラッグ操作中であれば（ステップＳ０８でＹＥＳ）、ステップＳ０９で、ドラッグ操作と判断した後、ステップＳ１０でステートをアイドルに初期化し、本処理を終了する。ドラッグ操作であった場合、最初の接地位置（Ｘ０Ｙ０）に表示されているオブジェクトと離地位置(Ｘ１Ｙ１）に表示されているオブジェクトが特定できるので、これらの２つのオブジェクトについて予め設定された関係付けに従い処理を行う。例えば、Ｘ０Ｙ０に特定のドキュメントアイコン、Ｘ１Ｙ１に印刷処理を表すボタンであった場合、特定のドキュメントの印刷処理を実行する。

ステップＳ０８で、ステートがドラッグ操作中でなければ（ステップＳ０８でＮＯ）、ステップＳ１１でクリック操作と判断し、本処理を終了する。

図７のフローチャートは、対象物の移動途中で画像処理装置１に異常が発生した場合の動作を示すフローチャートである。

ステップＳ２１では異常の有無を調べる。異常がなければステップＳ２１にとどまる。異常があれば（ステップＳ２１でＹＥＳ）、ステップＳ２２で、現在表示されているドラッグ操作用の画面の構成情報を保存した後、ステップＳ２３で異常通知画面を生成する。

次いで、ステップＳ２４で、ステートがドラッグ操作中か否かを判断し、ドラッグ操作中でなければ（ステップＳ２４でＮＯ）、ステップＳ２７で異常通知画面を表示して処理を終了する。ステートがドラッグ操作中であれば（ステップＳ２４でＹＥＳ）、ステップＳ２５で、現在の接地位置を保存した後、ステップＳ２６で異常通知画面を表示する。

次いで、ステップＳ２８で、設置位置（対象物）が移動しているかどうかを判断する。移動していれば（ステップＳ２８でＹＥＳ）、ステップＳ２９で、異常通知画面の構成情報を保存した後、ステップＳ３０で、ステップ２２で保存していたドラッグ操作用画面の構成情報に基づいてドラッグ操作用の画面を再生し、異常通知画面に代えてドラッグ操作用の画面を再表示する。なお、ステップＳ２８における設置位置が移動しているかどうかの判断は、対象物が予め設定された所定値以上移動したときに移動していると判断しても良い。

ステップＳ３１では現在の設置位置から移動途中の画面の描画を再開する。なお、図２５で保存した位置から画面の描画を再開しても良い。

ステップＳ３２では対象物が離地されたかどうかを確認する。離地されなければステップＳ３２にとどまる。離地されると（ステップＳ３２でＹＥＳ）、ステップＳ３３で、最初の設置位置と離地位置とに応じた処理を決定する。決定後はステップＳ３４で異常通知画面を表示部に表示する。また決定された処理が実行される。

ステップＳ２８において、設置位置が移動していなければ（ステップＳ２８でＮＯ）、ステップＳ３５で、対象物が離地されたかどうかを調べ、離地されていなければ（ステップＳ３５でＮＯ）、ステップＳ２８に戻る。離地されていれば（ステップＳ３５でＹＥＳ）、ステップＳ３６で、ステートをアイドルにしたのち、ステップＳ３７で、異常通知画面を継続して表示する。この場合、対象物のドラッグ操作は最初からやり直しとなる。

このように、この実施形態では、表示部１７１に表示されたドラッグ操作用の画面上に接地された対象物の移動途中に、異常通知画面を表示する必要性が発生した場合は、ドラッグ操作用の画面に代えて異常通知画面が表示部１７１に割り込んで表示される。この際に、異常通知画面に切り替えられる直前のドラッグ操作用画面の構成情報が保存される。異常通知画面が一旦表示されることで、ユーザーは異常通知画面を確認することができる。その結果、対象物の移動操作の継続を望む場合は、そのまま対象物を移動させると、異常通知画面の構成情報が保存されるとともに、既に保存されているラッグ操作用の画面の構成情報に基づき、異常通知画面に代えてドラッグ操作用の画面が、対象物の移動操作が継続可能な状態で表示部１７１に再表示される。

従って、ユーザーは、対象物の移動・離地操作をそのまま継続することができ、離地された位置に応じて実行すべき処理を速やかに決定し、その処理を実行させることができる。実行すべき処理が決定された後に、保存された異常通知画面の構成情報に基づいて、異常通知画面が表示部１７１に表示されるから、異常通知画面の内容を確認することができる。

一方、割り込んで表示された異常通知画面をじっくりと確認する必要があるとユーザーが判断した場合は、画面に接地されている対象物を画面から離地させる等により、異常通知画面をそのまま継続して表示させることができる。これにより、重大な警告等を直ちに確認することができる。

このように、指やペンなどの対象物をドラッグ操作用の画面上に接地して移動中に、異常通知画面が割り込んで表示された場合に、ユーザーの意向に応じて、容易に対象物の移動操作を継続でき、あるいは異常通知画面の表示を優先させることができる。

図８及び図９は、この発明の他の実施形態を示すものである。この実施形態では、ドラッグ操作用の画面または異常通知画面が、表示部１７１の画面の表示可能領域のサイズよりも小さい場合、ドラッグ操作用の画面を表示中に異常通知画面を表示する、もしくは異常通知画面の表示中にドラッグ操作用の画面を表示するとき、表示中の画面の色をグレーなど元の色とは異なる色で表示し、新たに表示する画面を合成(上塗り)する。

具体的は、図８に示すように、同図（Ａ）の画面に同図（Ｂ）に示すようにパイメニューの画像からなるドラッグ操作用の画面Ｄ５を表示させた状態で、ユーザーが対象物Ｈを移動操作している途中で、異常通知画面Ｄ６が表示される場合、同図（Ｃ）にハッチングで示すように、異常通知画面Ｄ６の下側に表示されるドラッグ操作用の画面Ｄ５を含む背景画面の色をグレー等に変更する。なお、背景画面ではなくラッグ操作用の画面Ｄ５のみの色を変更しても良い。

また、同図（Ｄ）にハッチングで示すように、ドラッグ操作用の画面Ｄ５を再表示した場合も、ドラッグ操作用の画面Ｄ５の下側に表示される異常通知画面Ｄ６を含む背景画面の色をグレー等に変更する。この場合も、背景画面ではなく異常通知画面Ｄ６のみの色を変更しても良い。

このように、重ね合わせ処理を行う際に、色を変更することによってどちらの画面が有効であるかをユーザーに明示することができる。

図９は、図８に示したような画面の色を変更する場合の画像処理装置１の動作を示すフローチャートである。

ステップＳ４１で、Ｓｉｚｅ０を表示部１７１の画面の表示可能領域とし、ステップＳ４２で、Ｓｉｚｅ１をドラッグ操作用の画面（第１の画面）のサイズとし、ステップＳ４３で、Ｓｉｚｅ２を異常通知画面サイズとする。

ステップＳ４４では、Ｓｉｚｅ１がＳｉｚｅ０より小さいか、またはＳｉｚｅ２がＳｉｚｅ０より小さいか、を判断する。つまり、ラッグ操作用の画面サイズ及び異常通知画面サイズが、表示部１７１の画面の表示可能領域より小さいかどうかを判断する。小さい場合（ステップＳ４４でＹＥＳ）、ステップＳ４５で、現在表示されている画面をグレー表示し、新たに表示する画面を上側となるように合成して表示する。いずれ寝画面も表示部１７１の画面の表示可能領域より小さくない場合は（ステップＳ４４でＮＯ）、何もしない。

図１０及び図１１は、この発明のさらに他の実施形態を示すものである。この実施形態では、パイメニュー画面Ｄ５の項目選択中に画像処理装置１が異常を検知した場合、異常通知画面を生成すると共に、検知した異常と現在表示中のパイメニュー画面Ｄ５のメニュー項目との関連を調査し、発生した異常のためパイメニュー画面Ｄ５中のメニュー項目を実行できないと判断した場合、実行不可の項目を選択できないよう、非活性状態にするものである。

つまり、異常通知画面を表示部１７１に表示した後、ユーザーが対象物Ｈを移動させると、パイメニュー画面Ｄ５が再表示されるが、このとき例えばコピー動作が実行できない状態であれば、図１０に示すように、「コピー」が選択されないように「コピー」の項目３６をグレー表示（図ではハッチング表示）することで、実行不可な項目を非活性にしてパイメニューを表示させる。従ってユーザーは非活性となっている項目を選択できないことを容易に認識することができる。

なお、図１０の例ではパイメニュー画面Ｄ５を例示したが、図３に示したようなドラッグ操作用の画面においても適用可能である。

図１１は、図１０に示した実施形態を実施する際の画像処理装置の動作を示すフローチャートである。

ステップＳ５１で、パイメニューの表示指示がなされたかどうかを判断し、なされていなければ（ステップＳ５１でＮＯ）、ステップＳ５１にとどまる。指示がなされていれば（ステップＳ５１でＹＥＳ）、ステップＳ５２でパイメニュー画面Ｄ５を表示部１７１に表示したのち、ステップＳ５３で異常の有無を調べる。異常がなければ（ステップＳ５３でＮＯ）、ステップＳ６３でドラッグ操作が終了したかどうか、換言すれば離地されたかどうかを判断する。終了していなければ（ステップＳ６３でＮＯ）、ステップＳ５３に戻る。

ドラッグ操作が終了していれば（ステップＳ６３でＹＥＳ）、ステップＳ６４で、ドラッグ操作による離地された位置に応じて決定された処理を実行したのち、ステップＳ６５でパイメニューを非表示にする。

ステップＳ５３で、異常が検知されると（ステップＳ５３でＹＥＳ）、ステップＳ５４で異常通知画面を生成する。

次いで、ステップＳ５５で、パイメニュー画面Ｄ５中に実行不可能な項目があるかどうかを調べる。実行不可能な項目があれば（ステップＳ５５でＹＥＳ）、ステップＳ５６で、実行不可の項目を非活性化したのち、ステップＳ５７に進む。実行不可能な項目がなければ（ステップＳ５５でＮＯ）、そのままステップＳ５７に進む。

ステップＳ５７では異常通知画面を表示したのち、ステップＳ５８でドラッグ継続操作がなされているかどうか、換言すれば接地位置が移動しているかどうかを判断し、なされていれば（ステップＳ５８でＹＥＳ）、ステップＳ５９で、実行不可能な項目を非活性化したパイメニューを再表示した後、ステップＳ６０に進む。ドラッグ継続操作がなされていなければ（ステップＳ５８でＮＯ）、そのままステップＳ６０に進む。

ステップＳ６０では、ドラッグ操作が終了したかどうか、換言すれば離地されたかどうかを判断する。終了していなければ（ステップＳ６０でＮＯ）、ステップＳ５８に戻る。ドラッグ操作が終了していれば（ステップＳ６０でＹＥＳ）、ステップＳ６１で、ドラッグ操作による離地された位置に応じて決定された処理を実行したのち、ステップＳ６２でパイメニューを非表示にする。

図１２は、この発明のさらに他の実施形態を示すもので、画像処理装置１の動作を示すフローチャートである。この実施形態では、ドラッグ操作の開始後すぐに画像処理装置１が異常を検知した場合は、接地位置が移動しているかどうかを判断することなく、異常通知画面を継続表示するものである。ドラッグ操作の開始後すぐであれば、ドラッグ操作が余り進んでいないことから、ユーザーがドラッグ操作のやり直しを行っても操作性が阻害される恐れは少ないことから、異常通知画面を優先して継続表示させる。

図１２において、ステップＳ２１では異常の有無を調べる。異常がなければステップＳ２１にとどまる。異常があれば（ステップＳ２１でＹＥＳ）、ステップＳ２２で、現在表示されているドラッグ操作用の画面の構成情報を保存した後、ステップＳ２３で異常通知画面を生成する。

次いで、ステップＳ２４で、ステートがドラッグ操作中か否かを判断し、ドラッグ操作中でなければ（ステップＳ２４でＮＯ）、ステップＳ２７で異常通知画面を表示して処理を終了する。ステートがドラッグ操作中であれば（ステップＳ２４でＹＥＳ）、ステップＳ２５で、現在の接地位置を保存した後、ステップＳ２６で異常通知画面を表示する。なお、以後の処理は、図７のステップＳ２７〜ステップＳ３７の処理と同じであり、詳細な説明は省略する。

以上、本発明の一実施形態を説明したが、本発明は上記実施形態に限定されることはない。例えば、ドラッグ操作について説明したが、ピンチインやピンチアウトといった対象物の接地、移動、離地を伴う他の操作においても、同様に適用可能である。

１画像処理装置
１１ＣＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４スキャナ部
１５記憶部
１６プリンタ部
１７操作パネル
１７１表示部

Claims

タッチパネルを有する表示手段と、
前記表示手段に表示された第１の画面上に接地された対象物が、ユーザーの操作によって離地位置まで移動する途中に、前記第１の画面に代えて第２の画面を前記表示手段に切り替え表示する表示制御手段と、
前記対象物が離地された位置に応じて実行すべき処理を決定する処理決定手段と、
前記表示制御手段により、前記第２の画面に切り替えられる直前の前記第１の画面の構成情報を保存する保存手段と、
前記第２の画面が切り替え表示された状態で、前記対象物の移動が継続しているかどうかを判断する移動判断手段と、
を備え、
前記表示制御手段は、前記移動判断手段により、前記対象物の移動が継続していると判断された場合は、前記第２の画面の構成情報を前記保存手段に保存するとともに、前記保存手段に保存された前記第１の画面の構成情報に基づき、前記第２の画面に代えて前記第１の画面を、前記保存手段に保存されていた対象物の接地位置からの移動操作が継続可能な状態で、前記表示手段に再表示し、かつ前記処理決定手段による前記処理の決定後に、前記保存手段に保存された前記第２の画面の構成情報に基づいて、前記第２の画面を前記表示手段に表示することを特徴とする表示装置。
前記表示制御手段は、前記第２の画面に代えて前記第１の画面を前記表示手段に再表示する際に、前記対象物の現在の接地位置から対象物の移動を再開させる請求項１に記載の表示装置。
前記第１の画面が前記表示手段の表示可能領域のサイズよりも小さい場合、前記第１の画面を再表示する際に、前記表示制御手段は、前記第１の画面を前記第２の画面上に重ねて表示すると共に、前記第２の画面の色を変更する請求項１または２に記載の表示装置。
前記第２の画面の表示の契機となった事象によって、前記離地した位置に応じて実行すべき処理が実行不可となっている場合、前記表示制御手段は、実行不可となっていることが表示されるように前記第１の画面を編集して表示する請求項１〜３のいずれかに記載の表示装置。
前記対象物の移動開始からの距離を算出する距離算出手段を備え、
前記距離算出手段により算出された前記対象物の移動開始からの距離が一定値以下の時に、前記第２の画面が表示された場合は、前記表示制御手段は前記対象物が移動しても前記第２の画面の表示をそのまま維持する請求項１〜４のいずれかに記載の表示装置。
前記対象物の移動開始からの時間を算出する時間算出手段を備え、
前記時間算出手段により算出された前記対象物の移動開始からの時間が一定値以下の時に、前記第２の画面が表示された場合は、前記表示制御手段は前記対象物が移動しても前記第２の画面の表示をそのまま維持する請求項１〜５のいずれかに記載の表示装置。
請求項１〜６のいずれかに記載の表示装置を備えた画像処理装置。
タッチパネルを有する表示手段に表示された第１の画面上に接地された対象物が、ユーザーの操作によって離地位置まで移動する途中に、前記第１の画面に代えて第２の画面を前記表示手段に切り替え表示する表示制御ステップと、
前記対象物が離地された位置に応じて実行すべき処理を決定する処理決定ステップと、
前記表示制御ステップにより、前記第２の画面に切り替えられる直前の前記第１の画面の構成情報を保存手段に保存するステップと、
前記第２の画面が切り替え表示された状態で、前記対象物の移動が継続しているかどうかを判断する移動判断ステップと、
を備え、
前記表示制御ステップでは、前記移動判断ステップにより、前記対象物の移動が継続していると判断された場合は、前記第２の画面の構成情報を前記保存手段に保存するとともに、前記保存手段に保存された前記第１の画面の構成情報に基づき、前記第２の画面に代えて前記第１の画面を、前記保存手段に保存されていた対象物の接地位置からの移動操作が継続可能な状態で、前記表示手段に再表示し、かつ前記処理決定ステップによる前記処理の決定後に、前記保存手段に保存された前記第２の画面の構成情報に基づいて、前記第２の画面を前記表示手段に表示することを特徴とする画面表示方法。
タッチパネルを有する表示手段に表示された第１の画面上に接地された対象物が、ユーザーの操作によって離地位置まで移動する途中に、前記第１の画面に代えて第２の画面を前記表示手段に切り替え表示する表示制御ステップと、
前記対象物が離地された位置に応じて実行すべき処理を決定する処理決定ステップと、
前記表示制御ステップにより、前記第２の画面に切り替えられる直前の前記第１の画面の構成情報を保存手段に保存するステップと、
前記第２の画面が切り替え表示された状態で、前記対象物の移動が継続しているかどうかを判断する移動判断ステップと、
を表示装置のコンピュータに実行させ、
前記表示制御ステップでは、前記移動判断ステップにより、前記対象物の移動が継続していると判断された場合は、前記第２の画面の構成情報を前記保存手段に保存するとともに、前記保存手段に保存された前記第１の画面の構成情報に基づき、前記第２の画面に代えて前記第１の画面を、前記保存手段に保存されていた対象物の接地位置からの移動操作が継続可能な状態で、前記表示手段に再表示し、かつ前記処理決定ステップによる前記処理の決定後に、前記保存手段に保存された前記第２の画面の構成情報に基づいて、前記第２の画面を前記表示手段に表示する処理を前記コンピュータに実行させることを特徴とする画面表示プログラム。