JP2022119429A - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP2022119429A
JP2022119429A JP2021016527A JP2021016527A JP2022119429A JP 2022119429 A JP2022119429 A JP 2022119429A JP 2021016527 A JP2021016527 A JP 2021016527A JP 2021016527 A JP2021016527 A JP 2021016527A JP 2022119429 A JP2022119429 A JP 2022119429A
Authority
JP
Japan
Prior art keywords
touch panel
screen
touch
information processing
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021016527A
Other languages
English (en)
Inventor
伸彰 高橋
Nobuaki Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2021016527A priority Critical patent/JP2022119429A/ja
Priority to US17/513,928 priority patent/US20220247877A1/en
Priority to CN202111313146.8A priority patent/CN114938415A/zh
Priority to EP22152890.4A priority patent/EP4040276A1/en
Publication of JP2022119429A publication Critical patent/JP2022119429A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00381—Input by recognition or interpretation of visible user gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00392—Other manual input means, e.g. digitisers or writing tablets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00474—Output means outputting a plurality of functional options, e.g. scan, copy or print
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00493—Particular location of the interface or console
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】タッチパネルに対する入力操作に対応する処理を確実に実行することが可能な情報処理装置を提供すること。【解決手段】実施形態によれば、情報処理装置は、タッチパネル、受信部、制御部を有する。タッチパネルは、タッチ操作を検出する。受信部は、前記タッチパネルを含む範囲をカメラにより撮影した画像を受信する。制御部は、前記タッチパネルの第１画面に設定される第１操作領域に対するユーザによる入力動作を前記画像に基づいて検出し、前記入力動作に対応するタッチ操作が前記タッチパネルにより検出されない場合に、前記第１操作領域に対するタッチ操作に応じて前記タッチパネルに表示させる第２画面とは異なる第３画面を前記タッチパネルに表示させる。【選択図】図１

Description

本発明の実施形態は、タッチパネルを有する情報処理装置に関する。
ＭＦＰ（Multi Function Peripheral）などの情報処理装置は、ユーザにより操作される操作部として、例えば静電容量方式のタッチパネルが用いられる。情報処理装置は、ボタンなどの操作領域を設定した操作画面をタッチパネルに表示し、操作領域に対するユーザによるタッチパネルへのタッチ操作に応じて操作領域に対応する各種処理を実行する。
静電容量方式のタッチパネルは、例えば、湿度が低下する季節のため、あるいは高齢化のために、タッチパネルへタッチ操作をするユーザの指先が乾燥すると、タッチ操作の検出感度が悪くなるという特性を有する。
タッチパネルの検出感度が悪い場合、情報処理装置は、ユーザがタッチパネルに対してタッチ操作をしたとしても、タッチ操作が検出されずに、操作領域に対応する処理を実行しない場合が発生しうる。こうした場合、ユーザは、タッチパネルに対するタッチ操作を繰り返したり、情報処理装置による処理の実行を断念したりすることがある。
特開２０１８－１８１２６１号公報
本発明の実施形態が解決しようとする課題は、タッチパネルに対する入力操作に対応する処理を確実に実行することが可能な情報処理装置を提供することである。
実施形態によれば、情報処理装置は、タッチパネル、受信部、制御部を有する。タッチパネルは、タッチ操作を検出する。受信部は、前記タッチパネルを含む範囲をカメラにより撮影した画像を受信する。制御部は、前記タッチパネルの第１画面に設定される第１操作領域に対するユーザによる入力動作を前記画像に基づいて検出し、前記入力動作に対応するタッチ操作が前記タッチパネルにより検出されない場合に、前記第１操作領域に対するタッチ操作に応じて前記タッチパネルに表示させる第２画面とは異なる第３画面を前記タッチパネルに表示させる。
図１は、実施形態の情報処理装置を含むシステムの一例を示すブロック構成図である。 図２は、カメラの設置場所の一例を示す図である。 図３は、設置場所の一例を示す図である。 図４は、情報処理装置の入力操作処理の動作を説明するためのフローチャートである。 図５は、入力操作処理において実行されるコピー機能についてのコマンド処理の動作を説明するためのフローチャートである。 図６は、タッチパネルに表示される初期の操作画面の一例を示す図である。 図７は、初期の操作画面からユーザ操作によって指定された機能に対応する通常操作画面の一例を示す図である。 図８は、情報処理装置の上方に設置されたカメラにより撮影された画像の一例を示す図である。 図９は、情報処理装置の筐体本体のタッチパネルの近傍に設置されたカメラにより撮影された画像の一例を示す図である。 図１０は、タッチパネルに表示される確認画面の一例を示す図である。 図１１は、カラーモードの項目に対応するカラーモード選択画面の一例を示す図である。 図１２は、コピー枚数の項目に対応する印刷枚数選択画面の一例を示す図である。 図１３は、用紙サイズの項目に対応する用紙サイズ選択画面の一例を示す図である。
以下、実施の形態について図面を参照して説明する。
図１は、実施形態の情報処理装置１を含むシステムの一例を示すブロック構成図である。
図１に示すシステムは、実施形態の情報処理装置１と、ＬＡＮ（Local Area Network）等のネットワーク３を介して接続された監視システムと、情報処理装置１に外付けされるカメラ４１，４２とを含む。
情報処理装置１は、例えば画像形成装置（ＭＦＰ：Multi Function Peripheral）である。情報処理装置１は、例えば、コピー機能、プリント機能、スキャン機能、ファクシミリ機能、ファイルＢＯＸ機能、及び設定機能などの複数の機能を有する。
情報処理装置１は、ユーザ操作による各種の指示を入力するための入力装置として、例えば静電容量方式のタッチパネル１５を有する。情報処理装置は、ボタンなどの操作領域を設定した操作画面をタッチパネル１５に表示し、操作領域に対するユーザによるタッチパネル１５へのタッチ操作に応じて操作領域に対応する各種処理を実行する。
情報処理装置１は、タッチパネル１５のタッチ操作の検出感度が悪い状況であっても、タッチパネル１５に対する入力操作に対応する処理を確実に実行するための補助機能を提供する。情報処理装置１は、補助機能により、タッチパネル１５においてユーザによるタッチ操作が検出されない場合に、タッチパネル１５に対するユーザによる入力動作を撮影した画像をもとに、何れの操作領域に対する入力動作であるかを判別する。情報処理装置１は、入力動作の対象とする操作領域に応じて、画像に基づいて入力動作の対象とする操作領域の特定を容易にする操作画面を表示させる。これにより、タッチパネル１５のタッチ操作の検出感度が悪い状況であっても、画像に基づく入力動作の対象とする操作領域を確実に特定し、タッチパネル１５に対する入力操作に対応する処理を確実に実行できるようにする。
監視システムは、例えば監視装置２と複数のカメラ２１を含む。情報処理装置１は、監視システムのカメラ２１によって撮影された画像を補助機能において利用する。カメラ２１は、監視対象とする範囲の画像を撮影して、ネットワーク３を介して、画像データを監視装置２に送信する。カメラ２１の撮影範囲には、情報処理装置１が設置される。監視装置２は、カメラ２１から受信される画像データを記録して、撮影範囲内を監視する。監視装置２は、カメラ２１により撮影された画像を、ネットワーク３を介して情報処理装置１に転送することができる。
情報処理装置１は、タッチパネル１５を撮影範囲に含むカメラ２１により撮影された画像データを受信する。なお、カメラ２１がネットワークカメラ（ＩＰ（internet protocol）カメラ）である場合、情報処理装置１は、監視装置２からではなく、ネットワーク３を介して、直接、カメラ２１から画像データを受信することができる。
図１に示すように、情報処理装置１は、システム制御ユニット１１、スキャナ１２、プリンタ１３、タッチパネル１５を有する。システム制御ユニット１１は、情報処理装置１内の各部を統括的に制御する。システム制御ユニット１１は、スキャナ１２、プリンタ１３、タッチパネル１５に接続する。例えば、システム制御ユニット１１は、タッチパネル１５から入力された操作指示に応じてスキャナ１２、プリンタ１３を制御する。
スキャナ１２は、原稿面の画像をスキャンして画像データに変換する。例えば、スキャナ１２は、原稿面を光学的に走査することにより原稿面上の画像をカラー画像データあるいはモノクロ画像データとして読み取る。スキャナ１２は、走査機構、光電変換部及び原稿送り装置（ＡＤＦ：Auto Document Feeder）などを有する。
プリンタ１３は、記録媒体である用紙上に画像を形成する。例えば、プリンタ１３は、カラー画像あるいはモノクロ画像を用紙上に形成する。プリンタ１３は、電子写真方式、インクジェット方式あるいは熱転写方式などの印刷方式により画像形成を行うものが適用できる。
タッチパネル１５は、システム制御ユニット１１の制御により、例えばユーザがタッチ操作をすることで処理の実行を指示することができる操作画面を表示する。操作画面には、各種のオブジェクト、例えばボタン、マーク、文字、記号、アイコン等を表す操作領域が設定される。
システム制御ユニット１１は、補助機能により、タッチパネル１５に対するユーザによるタッチ操作が検出される場合に表示させる操作画面と、タッチ操作が検出されず、カメラ２１，４１，４２により撮影された画像をもとにユーザの入力動作が判別された場合に表示させる操作画面とを切り替える。
システム制御ユニット１１は、複数のカメラ２１，４１，４２の何れか１つによって撮影された画像をもとにユーザの入力動作を判別することができる。また、システム制御ユニット１１は、複数のカメラ２１，４１，４２により撮影された複数の画像をもとにユーザの入力動作を判別してもよい。
タッチパネル１５には、初期画面として、例えば複数の機能の何れかを選択するための操作画面が表示される。初期の操作画面には、例えばコピー機能、プリント機能、スキャン機能、ファクシミリ機能、ファイルＢＯＸ機能、設定機能のそれぞれに対応するボタンが設定される。
初期の操作画面において、タッチパネル１５により何れかのボタンを選択するタッチ操作が検出された場合、システム制御ユニット１１は、選択された機能に対応する通常操作画面を表示させる。システム制御ユニット１１は、通常操作画面に対するタッチ操作により選択された機能（コピー機能、プリント機能など）に応じたコマンド処理を実行する。
一方、初期の操作画面において、タッチパネル１５により何れかのボタンを選択するタッチ操作が検出されず、カメラにより撮影された画像をもとにユーザにより入力動作が検出された場合、システム制御ユニット１１は、通常操作画面に代えて補助操作画面を表示させる。システム制御ユニット１１は、補助操作画面に対するユーザによる入力動作をカメラにより撮影された画像をもとに判別し、入力動作に応じた処理を実行する。
補助操作画面では、例えば、通常操作画面に設定される複数の操作領域を複数の補助操作画面に分けて設定することで、１つの補助操作画面に設定される操作領域の数を、通常操作画面に設定される操作領域の数よりも少なくする。この場合、システム制御ユニット１１は、複数の補助操作画面を順番にタッチパネル１５に表示させ、それぞれの補助操作画面に対するユーザによる入力動作を画像に基づいて判別する。さらに、補助操作画面では、操作領域の表示面積を、通常操作画面に設定される操作領域の表示面積より広くする。
これにより、画像をもとに補助操作画面に対するユーザによる入力動作を判別する際に、ユーザが選択した操作領域を確実に判別できるようにする。
システム制御ユニット１１は、プロセッサ１１１、ＲＯＭ１１２、ＲＡＭ１１３、ＮＶＭ（Non-Volatile Memory）１１４、画像処理ユニット１１５、ページメモリ１１６、ＮＷＩ／Ｆ１１７、通信ユニット１１８及びメディアＩ／Ｆ１１９などを有する。
プロセッサ１１１は、例えば、ＣＰＵである。プロセッサ１１１は、ＲＯＭ１１２またはＮＶＭ１１４に記憶されている制御プログラムを実行することにより各種の処理機能を実現する。プロセッサ１１１は、制御プログラムに含まれる入力操作処理プログラム１１２１により入力操作処理を実行して、タッチパネル１５に対するユーザの入力操作を補助する補助機能を提供する。
ＲＯＭ１１２は、情報処理装置１の動作を司る制御プログラム及び制御データなどを記憶する。制御プログラムは、タッチパネル１５に対するユーザによる入力操作を処理するための入力操作処理プログラム１１２１を含む。入力操作処理プログラム１１２１は、プロセッサ１１１に入力操作処理を実行させるためのプログラムである。
ＲＡＭ１１３は、ワーキングメモリとして機能するメインメモリである。
ＮＶＭ１１４は、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard disk drive）などの、書換え可能な不揮発性の記憶装置である。ＮＶＭ１１４は、各種の処理機能を実現するための制御プログラム及び制御データなどを記憶する。ＮＶＭ１１４は、タッチパネル１５に表示する操作画面の画面データ１１４１，１１４２が記憶される。画面データ１１４１は、タッチパネル１５に通常操作画面を表示するためのデータである。画面データ１１４２は、タッチパネル１５に補助操作画面を表示するためのデータである。
画像処理ユニット１１５は、スキャナ１２で読取った画像データ、或いはネットワーク３を介して受信した画像データを処理する。画像処理ユニット１１５は、プロセッサ１１１による入力操作処理の実行時には、カメラ２１，４１から受信される画像に対して、ユーザによるタッチパネル１５に対する入力動作を検出するための入力動作検出処理を実行することができる。
ページメモリ１１６は、少なくとも１ページ分の画像データを展開する記憶領域を有するメモリである。印刷対象とする画像データは、ページメモリ１１６からＮＶＭ１１４に転送されて蓄積される。
ＮＷＩ／Ｆ１１７は、ネットワーク３を介して、ネットワーク３に接続された各装置とのデータ通信を行うためのインタフェースである。ＮＷＩ／Ｆ１１７は、例えば、監視装置２あるいはカメラ２１，４１から画像データを受信する。通信ユニット１１８は、公衆回線網を用いたファクシミリ通信を行うためのインタフェースである。メディアＩ／Ｆ１１９は、メモリデバイス、メモリカードなどの外部記憶媒体を接続するためのインタフェースである。
図２は、カメラ２１の設置場所の一例を示す図である。図２に示すように、監視用のカメラ２１は、一般的に上方に設置される。従って、カメラ２１は、下方に設置された情報処理装置１を撮影範囲に含む。従って、カメラ２１は、情報処理装置１の筐体上面に設けられるタッチパネル１５を含む画像を撮影することができる。情報処理装置１は、情報処理装置１を撮影範囲に含むカメラ２１から画像データを受信する。
カメラ４１，４２は、監視システムのカメラ２１に代わりに使用される。カメラ４１は、情報処理装置１と、例えば有線あるいは無線によりデータ送信可能に接続して、図２に示すカメラ２１と同様にして、情報処理装置１の上方に設置される。カメラ４２は、例えば、情報処理装置１のタッチパネル１５の近傍の筐体本体に設置される。
図３は、情報処理装置１のタッチパネル１５の近傍の筐体本体に設置されるカメラ４２の一例を示す図である。図３に示すように、カメラ４２は、例えばタッチパネル１５の横側近傍に、操作画面より高い位置に設けられる。カメラ４２は、タッチパネル１５の操作画面と、タッチパネル１５に対するタッチ操作をするユーザの指先やペンなどを撮影範囲に含む。カメラ４２は、例えばオプションにより、情報処理装置１の筐体本体に装着可能とする構成とすることができる。
情報処理装置１は、監視システムのカメラ２１（図２）、あるいはカメラ４１，４２（図２、図３）の少なくとも１つのカメラによって撮影された画像データを受信すれば良い。なお、情報処理装置１は、撮影方向が異なる複数のカメラによって撮影された画像データを受信して、それぞれの画像に対する入力動作検出処理の結果に基づいて入力動作を検出しても良い。この場合、ユーザによるタッチパネル１５に対する入力動作の検出をより確実にすることができる。
次に、実施形態の情報処理装置１の動作について説明する。以下の説明では、報処理装置１の上方に設置されたカメラ２１あるいはカメラ４１により撮影された画像をもとに、補助操作画面を表示させるための処理を実行するものとして説明する。
図４は、情報処理装置１の入力操作処理の動作を説明するためのフローチャートである。図５は、入力操作処理において実行されるコピー機能についてのコマンド処理の動作を説明するためのフローチャートである。
プロセッサ１１１は、入力操作処理プログラム１１２１を実行して、入力操作処理を開始すると、タッチパネル１５において初期の操作画面を表示させる（ＡＣＴ１１）。
図６は、タッチパネル１５に表示される初期の操作画面１５１の一例を示す図である。図６に示すように、操作画面１５１には、複数の機能のそれぞれに対応する複数のボタンが設定されている。例えば、操作画面１５１には、コピー機能を選択するためのコピーボタン１６１、プリント機能を選択するためのプリントボタン１６２、スキャン機能を選択するためのスキャンボタン１６３、ファクシミリ機能を選択するためのＦＡＸボタン１６４、ファイルＢＯＸ機能を選択するためのファイルＢＯＸボタン１６５、設定機能を選択するための設定ボタン１６６が設けられている。
プロセッサ１１１は、タッチパネル１５に対する操作が可能な状態では、カメラ２１あるいはカメラ４からの画像入力を開始する（ＡＣＴ１２）。すなわち、プロセッサ１１１は、タッチパネル１５に対するユーザによる入力動作を検出するために、タッチパネル１５を撮影範囲に含む画像を、カメラ２１あるいはカメラ４からＮＷＩ／Ｆ１１７を介して受信する。
プロセッサ１１１は、初期の操作画面が表示されたタッチパネル１５によりタッチ操作が検出された場合（ＡＣＴ１３：ＹＥＳ）、タッチ操作がされた位置に基づいて、ユーザに指定された操作領域を判別する。プロセッサ１１１は、ユーザにより指定された操作領域に対応する機能に対応する通常操作画面を、初期の操作画面に代えてタッチパネル１５に表示させる（ＡＣＴ２１）。
図７は、初期の操作画面からユーザ操作によって指定された機能に対応する通常操作画面の一例を示す図である。図７は、図６に示すコピー機能に対応するコピーボタン１６１が指定された場合のコピー機能の通常操作画面１５２の一例を示している。
図７に示すコピー機能の通常操作画面１５２は、コピー処理を制御するためのコピー設定の項目に対応する複数の操作領域と、コピー処理の実行の指示を受け付けるための操作領域含む。コピー設定では、例えば、カラーモード、コピー枚数、用紙サイズなどの複数の項目が設けられる。
例えば、カラーモードの項目については、印刷色としてカラーを選択するためのカラーボタン１７１とモノクロを選択するためのモノクロボタン１７２が設けられる。また、コピー枚数の項目については、枚数を増加させる増加ボタン１７３、枚数を減少させる減少ボタン１７４、コピー枚数を示す数字（初期値１）を表示する設定領域１７５が設けられる。また、用紙サイズの項目については、用紙サイズの変更を指示するための変更ボタン１７６，１７７と、変更ボタン１７６，１７７の操作によって指定された用紙サイズを表示する設定領域１８０が設けられる。
また、通常操作画面１５２には、コピー処理の実行の指示を受け付けるための実行ボタン１７９が設けられる。
プロセッサ１１１は、通常操作画面１５２が表示されたタッチパネル１５に対するタッチ操作を検出すると（ＡＣＴ２２：ＹＥＳ）、タッチ操作がされた位置に応じた処理を実行する（ＡＣＴ２３）。プロセッサ１１１は、タッチ操作された位置が実行ボタン１７９でない場合（ＡＣＴ２４：ＮＯ）、通常操作画面１５２に対するタッチ操作の検出に応じてコピー設定の処理を実行する（ＡＣＴ２３）。
例えば、カラーボタン１７１あるいはモノクロボタン１７２に対してタッチ操作がされた場合、プロセッサ１１１は、タッチ操作により選択されたカラーボタン１７１あるいはモノクロボタン１７２を、選択されたことを示す表示形態に変更する。
また、コピー枚数の項目の増加ボタン１７３に対してタッチ操作がされた場合、プロセッサ１１１は、設定領域１７５に表示された現在のコピー枚数を示す数字に１加算（＋１）して、設定領域１７５に表示された数字を更新する。コピー枚数の項目の減少ボタン１７４に対してタッチ操作がされた場合、プロセッサ１１１は、設定領域１７５に表示された現在のコピー枚数を示す数字に１減算（－１）して、設定領域１７５に表示された数字を更新する。
また、変更ボタン１７６，１７７に対してタッチ操作がされた場合、プロセッサ１１１は、設定領域１８０に表示された現在の用紙サイズを、予め決められた順番で変更する。例えば、用紙サイズが小さい順に「Ｂ５」「Ａ４」「Ｂ４」「Ａ３」が設定されており、変更ボタン１７６に対するタッチ操作に応じて小さい用紙サイズに変更し、変更ボタン１７７に対するタッチ操作に応じて大きい用紙サイズに変更する。
プロセッサ１１１は、通常操作画面１５２に対するタッチ操作により設定された内容をＲＡＭ１１３に記憶させ、コピー処理の実行時に、プリンタ１３を制御するために参照する。なお、通常操作画面１５２に対するタッチ操作がない場合には、プロセッサ１１１は、各項目について予め設定されたデフォルト値をＲＡＭ１１３に記憶させる。
プロセッサ１１１は、通常操作画面１５２においてコピー設定の項目について設定がされた後、実行ボタン１７９にタッチ操作がされることにより、コピー処理の実行が指示されると（ＡＣＴ２４：ＹＥＳ）、コピー設定の内容に応じてスキャナ１２やプリンタ１３を制御して、コピーを実行させる（ＡＣＴ２５）。
なお、初期の操作画面１５１において、コピー機能以外の他の機能に対応するボタン（プリントボタン１６２、スキャンボタン１６３、ＦＡＸボタン１６４、ファイルＢＯＸボタン１６５、設定ボタン１６６）が、タッチパネル１５に対するタッチ操作により選択された場合には、プロセッサ１１１は、前述したコピー機能と同様にして、それぞれの機能に応じた各種の設定をした後、各機能の処理を実行する。
一方、プロセッサ１１１は、タッチパネル１５によりタッチ操作が検出されない場合（ＡＣＴ１３：ＮＯ）、ＮＷＩ／Ｆ１１７を介して受信された画像について入力動作検出処理を実行する（ＡＣＴ１４）。すなわち、プロセッサ１１１は、カメラ２１，４１あるいはカメラ４２により撮影された画像から、タッチパネル１５に対するユーザによる入力動作を検出するための処理を実行する。
ここで、情報処理装置１の上方に設置されたカメラ２１，４１により撮影された画像をもとに、タッチパネル１５に対するユーザによる入力動作を検出するための処理について説明する。
図８は、図２に示すように、情報処理装置１の上方に設置されたカメラ２１，４１により撮影された画像の一例を示す図である。情報処理装置１の上方に設置されたカメラ２１，４１の場合、広い範囲を撮影対象としている。従って、プロセッサ１１１は、カメラ２１，４１により撮影された画像から、入力動作を検出するための処理の対象とする、タッチパネル１５に相当する領域２５１の周辺を含む範囲の対象画像を切り出す。プロセッサ１１１は、対象画像において、タッチ操作のために位置が変化するオブジェクトを検出する。例えば、プロセッサ１１１は、ユーザの指、ペンに相当するオブジェクトを、周知の画像処理技術を使用して検出する。
プロセッサ１１１は、時間経過に伴って、カメラ２１，４１によって撮影された画像が受信される毎に、それぞれの画像からユーザの指等に相当するオブジェクトを検出する。図８では、ユーザの指に相当するオブジェクト２０１，２０２を検出した例を示している。
プロセッサ１１１は、画像からオブジェクトが検出された場合、時間経過に伴うオブジェクトの位置の変化を判定する。図８では、対象画像からオブジェクト２０１が検出された後、その後に撮影された画像の対象画像からオブジェクト２０２を検出した例を示している。
プロセッサ１１１は、画像から検出されたオブジェクトが、例えば、タッチパネル１５に相当する領域２５１の外側からタッチパネル１５の操作画面に設定される操作領域（ボタン等）に移動し、操作領域の位置で停止した後、操作領域から離れた場合に、オブジェクトが停止した位置の操作領域に対してユーザが入力動作をしたと判別する。
なお、情報処理装置１の筐体本体のタッチパネル１５の近傍に設置されたカメラ４２により撮影された画像をもとに、タッチパネル１５に対するユーザによる入力動作を検出する場合には、以下のように画像に対する処理を実行する。
図９は、図３に示すように、情報処理装置１の筐体本体のタッチパネル１５の近傍に設置されたカメラ４２により撮影された画像の一例を示す図である。図９では、対象画像からオブジェクト２１１が検出された後、その後に撮影された画像の対象画像からオブジェクト２２２を検出した例を示している。カメラ４２により撮影された画像についても、基本的に前述したカメラ２１，４１により撮影された画像に対する処理と同様にして、ユーザによる操作領域に対する入力動作を検出することができる。
タッチパネル１５の近傍に設置されたカメラ４２により撮影された画像の場合、画像の広い範囲にタッチパネル１５が撮影されているため、入力動作を検出するための対象画像の切り出しが不要となる。また、上下方向に変化するユーザによるタッチ操作（指先の上下移動）を横方向から撮影するため、操作画面に設定される操作領域への入力動作を判別し易い。また、タッチパネル１５に対するタッチ操作により、タッチパネル１５の表面が変化（タッチ位置の表示色の変化、タッチ位置のへこみなど）する場合、この表面が変化した位置の操作領域を検出することによって、入力動作の対象とされた操作領域を特定することができる。
なお、１回の入力動作の検出では誤検出する可能性がある。例えば、ユーザがタッチパネル１５に指先を近づけたが、タッチパネル１５にタッチしていない場合などがある。このため、プロセッサ１１１は、例えば、予め決められた時間内（例えば３秒以内）に、複数回、入力動作を検出した場合に、補助操作画面を表示させるための処理に移行する。
ただし、タッチパネル１５へのタッチ操作１回の入力動作の検出に応じて、補助操作画面を表示させるための処理に移行するようにしても良い。
また、プロセッサ１１１は、複数回、入力動作を検出した場合だけではなく、１つの操作領域に対して、予め設定された時間以上、タッチした状態が続く入力動作を検出した場合（長押しされた場合）、補助操作画面を表示させるための処理に移行しても良い。
プロセッサ１１１は、タッチパネル１５によりタッチ操作が検出されず（ＡＣＴ１３：ＮＯ）、カメラ２１，４１により撮影された画像からユーザによる入力動作を検出しない場合（ＡＣＴ１５：ＮＯ）、入力動作検出処理を継続して実行する（ＡＣＴ１４）。
一方、プロセッサ１１１は、タッチパネル１５によりタッチ操作が検出されず（ＡＣＴ１３：ＮＯ）、カメラ２１，４１により撮影された画像からユーザによる入力動作を検出した場合（ＡＣＴ１５：ＹＥＳ）、入力動作の対象とされた操作領域を判別する。例えば、プロセッサ１１１は、予め決められた時間内に複数回の入力動作を検出した場合、最初に検出した入力動作の対象とされた操作領域を、ユーザがタッチ操作の対象とした操作領域として判別する。プロセッサ１１１は、入力動作の対象として判別された操作領域を示すデータを、ＲＡＭ１１３に記憶させる。
例えば、ユーザは、タッチパネル１５の操作画面に設けられたボタンに対してタッチ操作をした時に、タッチ操作に応じた処理が開始されない場合、タッチパネル１５が反応しているかを確認するために、タッチパネル１５の異なる位置にタッチ操作をして繰り返すことがある。こうした場合であっても、最初にタッチ操作をした操作領域を、ユーザがタッチ操作の対象とした操作領域として特定する。
なお、プロセッサ１１１は、操作領域に対して長押しする入力動作が検出された場合には、長押しの対象として判別された操作領域を、ユーザがタッチ操作の対象とした操作領域として特定する。
プロセッサ１１１は、入力動作の対象とされた操作領域に対応する補助操作画面を、タッチパネル１５に表示させる（ＡＣＴ１７）。プロセッサ１１１は、最初に表示させる補助操作画面として、初期の操作画面１５１から入力動作の対象として判別した操作領域の機能が、ユーザがタッチ操作により選択することを意図していた機能であるか確認するための確認画面１５３を表示させる。
図１０は、タッチパネル１５に表示される確認画面１５３の一例を示す図である。図１０は、図６に示す初期の操作画面１５１に対してコピー機能に対応するボタン１６１がユーザにより選択された場合の確認画面１５３の一例を示している。
図１０に示す確認画面１５３には、例えば「コピーを実施しますか」のガイドメッセージと共に、Ｙｅｓボタン１９１とＮｏボタン１９２が表示される。Ｙｅｓボタン１９１とＮｏボタン１９２は、初期の操作画面１５１のコピーボタン１６１に対するユーザのタッチ操作が、画像に基づく入力動作検出処理によって正しく検出されたか否かをユーザにより入力させるためのボタンである。
図１０に示すように、確認画面１５３には、２つのボタン１９１，１９２のみを設定し、１つのボタンのサイズを大きくしている。例えば、図７に示す通常操作画面１５２において設定される１つの操作領域よりも、確認画面１５３に設けられる操作領域の方が面積が広い。また、２つのボタンの間隔を操作画面１５１の操作領域の間隔よりも広くしている。
これにより、カメラ２１，４１により撮影された画像に基づいて、タッチパネル１５の操作画面に設定された操作領域の何れに対して、ユーザが入力動作をしたか判別し易くなる。
プロセッサ１１１は、カメラ２１，４１により撮影された画像に基づいて、確認画面１５３のＮｏボタン１９２の操作領域に対する入力動作を検出すると（ＡＣＴ１８：ＮＯ）、初期の状態に戻る。すなわち、プロセッサ１１１は、確認画面１５３に代えて、初期の操作画面１５１をタッチパネル１５に表示させる（ＡＣＴ１１）。
一方、プロセッサ１１１は、カメラ２１，４１により撮影された画像に基づいて、確認画面１５３のＹｅｓボタン１９１の操作領域に対する入力動作を検出すると（ＡＣＴ１８：ＹＥＳ）、初期の操作画面１５１に対する入力動作の対象とされた操作領域に対応するコマンド処理を実行する（ＡＣＴ１９）。ここでは、プロセッサ１１１は、コピー機能のコマンド処理を実行する。
図５に示すフローチャートを参照しながら、コピー機能を例にして、コマンド処理について説明する。
プロセッサ１１１は、コピー機能のコマンド処理では、コピー設定の複数の項目のそれぞれに対応する複数の補助操作画面を順番に表示させ、それぞれの補助操作画面に対する入力動作をカメラ２１，４１により撮影された画像に基づいて検出する。
例えば、コピー機能に対して、図７に示す通常操作画面１５２に設定される複数の項目のカラーモード、コピー枚数、用紙サイズなどのそれぞれに対応して、複数の補助操作画面が作成されている。複数の補助操作画面は、例えば画面データ１１４２としてＮＶＭ１１４が記憶する。
図１１は、カラーモードの項目に対応するカラーモード選択画面１５４を表示した一例を示す図である。図１２は、コピー枚数の項目に対応する印刷枚数選択画面１５５を表示した一例を示す図である。図１３は、用紙サイズの項目に対応する用紙サイズ選択画面１５６を表示した一例を示す図である。
図１１に示すように、カラーモード選択画面１５４には、カラーモードの項目の設定のみに使用される、印刷色としてカラーを選択するためのカラーボタン１９３とモノクロを選択するためのモノクロボタン１９４が設けられる。カラーモード選択画面１５４は、確認画面１５３と同様にして、図７に示す通常操作画面１５２より操作領域の数が少なく、１つの操作領域の面積が広い。また、カラーボタン１９３とモノクロボタン１９４の間隔を、操作画面１５１の操作領域の間隔よりも広くしている。
図１２に示すように、印刷枚数選択画面１５５には、コピー枚数の項目のみに使用される、コピー枚数を選択するための１枚ボタン１９６、２枚ボタン１９７、３枚ボタン１９８、それ以外ボタン１９９が設けられる。印刷枚数選択画面１５５では、ユーザに選択される頻度が高いコピー枚数に対応するボタン１９６，１９７，１９８のみを設けて、ボタン数を少なくすると共に、１つの操作領域の面積を、操作画面１５１の増加ボタン１７３及び減少ボタン１７４よりも広くしている。また、それ以外ボタン１９９を設けることで、同様にして、４枚以上のコピー枚数を選択できるようにしている。
図１３に示すように、用紙サイズ選択画面１５６には、用紙サイズの項目のみに使用される、用紙サイズを選択するためのＡ４ボタン２３１、Ｂ５ボタン２３２、Ａ３ボタン２３３、それ以外ボタン２３４が設けられる。用紙サイズ選択画面１５６では、ユーザに選択される頻度が高い用紙サイズに対応するボタン２３１，２３２，２３３のみを設けて、ボタン数を少なくすると共に、１つの操作領域の面積を、操作画面１５１の変更ボタン１７６，１７７よりも広くしている。また、それ以外ボタン２３４を設けることで、同様にして、その他の用紙サイズを選択できるようにしている。
こうして、図１１～図１３に示すように、カラーモード選択画面１５４、印刷枚数選択画面１５５、及び用紙サイズ選択画面１５６では、１画面に設けられるボタンの数を少なくして、１つのボタンのサイズを大きくすると共に、ボタンの間隔を広くしている。これにより、タッチパネル１５おいてタッチ操作が検出されない状況において、カメラ４１により撮影された画像に基づいて、タッチパネル１５の補助操作画面に設定された操作領域の何れに対して、ユーザが入力動作をしたか判別し易くなる。
まず、プロセッサ１１１は、カラーモード選択画面１５４をタッチパネル１５に表示させる（ＡＣＴ３１）。プロセッサ１１１は、前述と同様にして、入力動作検出処理を実行し（ＡＣＴ３２）、カメラ２１，４１により撮影された画像に基づいて、ユーザによるカラーモード選択画面１５４に対する入力動作を検出する。
プロセッサ１１１は、カラーモード選択画面１５４に設定されたカラーボタン１９３あるいはモノクロボタン１９４の何れかを選択する操作を検出しなければ（ＡＣＴ３３：ＮＯ）、入力動作検出処理を継続する（ＡＣＴ３２）。
一方、プロセッサ１１１は、カラーボタン１９３あるいはモノクロボタン１９４の何れかを選択する操作を入力動作処理によって検出された場合（ＡＣＴ３３：ＹＥＳ）、選択されたボタンに対応するカラーモードの設定内容（カラーまたはモノクロ）を示すデータをＲＡＭ１１３に記憶させる。
プロセッサ１１１は、カラーモード選択画面１５４に対する入力動作に応じた設定内容を記憶させると、次の補助操作画面である印刷枚数選択画面１５５をタッチパネル１５に表示させる（ＡＣＴ３４）。プロセッサ１１１は、前述と同様にして、入力動作検出処理を実行し（ＡＣＴ３５）、カメラ２１，４１により撮影された画像に基づいて、ユーザによる印刷枚数選択画面１５５に対する入力動作を検出する。
プロセッサ１１１は、印刷枚数選択画面１５５に設定された複数のボタン１９６～１９９の何れかを選択する操作を検出しなければ（ＡＣＴ３６：ＮＯ）、入力動作検出処理を継続する（ＡＣＴ３５）。
一方、プロセッサ１１１は、印刷枚数選択画面１５５に設定された１枚ボタン１９６、２枚ボタン１９７、３枚ボタン１９８の何れかを選択する操作を入力動作処理によって検出された場合（ＡＣＴ３６：ＹＥＳ）、選択されたボタンに対応する設定内容（コピー枚数）を示すデータをＲＡＭ１１３に記憶させる。
なお、プロセッサ１１１は、印刷枚数選択画面１５５に設定された、それ以外ボタン１９９が選択されたことを検出した場合、４枚以上の枚数を選択するための印刷枚数選択画面を表示させて、同様にして入力動作検出処理を実行する。
プロセッサ１１１は、印刷枚数選択画面１５５において選択された操作領域に対応する印刷枚数の設定内容を示すデータをＲＡＭ１１３に記憶させる。
プロセッサ１１１は、印刷枚数選択画面１５５に対する入力動作が判別され、入力動作に応じた設定内容を記憶させると、次の補助操作画面である用紙サイズ選択画面１５６をタッチパネル１５に表示させる（ＡＣＴ３７）。プロセッサ１１１は、前述と同様にして、入力動作検出処理を実行し（ＡＣＴ３８）、カメラ２１，４１により撮影された画像に基づいて、ユーザによる用紙サイズ選択画面１５６に対する入力動作を検出する。
プロセッサ１１１は、用紙サイズ選択画面１５６に設定された複数のボタン２３１～２３３の何れかを選択する操作を検出しなければ（ＡＣＴ３９：ＮＯ）、入力動作検出処理を継続する（ＡＣＴ３８）。
一方、プロセッサ１１１は、用紙サイズ選択画面１５６に設定されたＡ４ボタン２３１、Ｂ５ボタン２３２、Ａ３ボタン２３３の何れかを選択する操作を検出した場合（ＡＣＴ３９：ＹＥＳ）、選択されたボタンに対応する設定内容（用紙サイズ）を示すデータをＲＡＭ１１３に記憶させる。
なお、プロセッサ１１１は、用紙サイズ選択画面１５６に設定された、それ以外ボタン２３４が選択されたことを検出した場合、Ａ４、Ｂ５、Ａ３以外の用紙サイズを選択するための用紙サイズ選択画面を表示させて、同様にして入力動作検出処理を実行する。
プロセッサ１１１は、用紙サイズ選択画面１５６において選択された操作領域に対応する用紙サイズの設定内容を示すデータをＲＡＭ１１３に記憶させる。
プロセッサ１１１は、用紙サイズ選択画面１５６に対する入力動作が判別され、入力動作に応じた設定内容を記憶させると（ＡＣＴ３９：ＹＥＳ）、コピー設定の全ての項目についての設定が完了されたためコピー処理を実行する（ＡＣＴ４０）。すなわち、プロセッサ１１１は、複数の補助操作画面において設定されたコピー設定の内容に応じてスキャナ１２やプリンタ１３を制御して、コピーを実行させる。
なお、前述した説明では、コピー設定の全ての項目について設定が完了した場合に、コピー処理を実行しているとしているが、補助操作画面からコピー処理の実行を指示できるようにしても良い。すなわち、カラーモード選択画面１５４、印刷枚数選択画面１５５、用紙サイズ選択画面１５６の各補助操作画面に、コピー処理の実行の指示を受け付けるための実行ボタンを設ける。プロセッサ１１１は、何れかの補助画面を表示している時、実行ボタンに対するユーザによる入力動作を検出した場合に、それまでのコピー設定の設定内容（あるいはデフォルト値）に応じてスキャナ１２やプリンタ１３を制御して、コピーを実行させる。
こうして、コピー設定における複数の項目を、複数の補助操作画面に分けて設定することで、１つの補助操作画面に設定される操作領域の数を、通常操作画面に設定される操作領域の数よりも少なくし、操作領域の面積を広くすることができる。従って、カメラ２１，４１により撮影された画像に基づく、ユーザによるタッチパネル１５に対する入力動作の検出を容易にすることができる。従って、タッチパネル１５に対する入力操作に対応する処理を確実に実行することが可能となる。
なお、コピー処理以外のプリント機能、スキャン機能などのコマンド処理についても、プロセッサ１１１は、前述したコピー機能と同様にして、複数の設定項目について、複数の補助操作画面に対するユーザの入力動作を検出することで設定内容を記憶させて、処理を実行する。
なお、プロセッサ１１１は、通常操作画面をタッチパネル１５に表示させて（ＡＣＴ２１）、ユーザにより設定操作をさせている間に（ＡＣＴ２２：ＹＥＳ，ＡＣＴ２３）、タッチパネル１５によるタッチ操作の検出がされなくなった場合、前述したように、補助操作画面を用いた設定ができるようにする。
すなわち、プロセッサ１１１は、通常操作画面をタッチパネル１５に表示させた後（ＡＣＴ２１）、入力動作検出処理を実行する（ＡＣＴ２６）。プロセッサ１１１は、タッチパネル１５によりタッチ操作が検出されず（ＡＣＴ２２：ＮＯ）、入力動作検出処理によってユーザによる入力動作を検出した場合（ＡＣＴ２７：ＹＥＳ）、補助操作画面を使用するコマンド処理に移行する。ここでは、何れかの機能（例えばコピー機能）に対応する、通常操作画面を用いた設定操作中であるため、現在の設定操作の対象としている機能のコマンド処理に移行する（ＡＣＴ１９）。
プロセッサ１１１は、前述と同様にして（図５）、複数の項目のそれぞれに対応する複数の補助操作画面を順番に表示させ、それぞれの補助操作画面に対する入力動作を画像に基づいて検出する。
こうして、通常操作画面を用いて入力操作をしている間に、タッチパネル１５においてタッチ操作が検出されなくなった場合、補助操作画面を用いた入力操作の処理に移行する。従って、ユーザによる入力操作を継続し、タッチパネル１５に対する入力操作に対応する処理を確実に実行することが可能となる。
なお、前述した説明では、タッチパネル１５によりタッチ操作が検出されない場合に、通常操作画面の操作領域の数よりも操作領域の数を少なくした補助操作画面を表示しているが、別の形態の操作画面とすることもできる。例えば、通常操作画面の複数の操作領域のうち、選択対象とする操作領域のサイズを拡大し、その他の操作領域のサイズを縮小する。これにより、操作画面に設定される操作領域の数が同じであっても、選択対象とする特定の操作領域に対するユーザの入力動作の検出を容易にすることができる。
また、前述した説明では、情報処理装置１をＭＦＰとしているが、タッチパネル１５を入力装置として有する他の装置であっても良い。例えば、情報処理装置１は、ＡＴＭ（Automated teller machine）、ＰＯＳ（Point Of Sales）端末、カーナビゲーションシステム、券売機などであっても良い。
また、前述した説明では、静電容量方式のタッチパネル１５を設けた情報処理装置１を対象としているが、例えば、抵抗膜方式、赤外線方式など、その他の方式のタッチパネルを設けた情報処理装置１を対象にできる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１…ＭＦＰ、１１…システム制御ユニット、１１１…プロセッサ、１１２…ＲＯＭ、１１２１…入力操作処理プログラム、１１３…ＲＡＭ、１１４…ＮＶＭ、１１５…画像処理ユニット、１１６…ページメモリ、１１７…ＮＷＩ／Ｆ、１１８…通信ユニット、１１９…メディアＩ／Ｆ、１２…スキャナ、１３…プリンタ、１５…タッチパネル、２…監視装置、２１，４１，４２…カメラ。

Claims (5)

  1. タッチ操作を検出するタッチパネルと、
    前記タッチパネルを含む範囲をカメラにより撮影した画像を受信する受信部と、
    前記タッチパネルの第１画面に設定される第１操作領域に対するユーザによる入力動作を前記画像に基づいて検出し、前記入力動作に対応する前記第１操作領域に対するタッチ操作が前記タッチパネルにより検出されない場合に、前記第１操作領域に対するタッチ操作に応じて前記タッチパネルに表示させる第２画面とは異なる第３画面を前記タッチパネルに表示させる制御部と
    を有する情報処理装置。
  2. 前記第３画面に設定されるタッチ操作の対象となる第３操作領域の数を、前記第２画面に設定されるタッチ操作の対象となる第２操作領域の数よりも少なくした、請求項１記載の情報処理装置。
  3. 前記制御部は、
    前記第２画面に設定される複数の前記第２操作領域のそれぞれに対応する複数の第３操作領域を、前記タッチパネルに表示される、それぞれ異なる複数の前記第３画面に分けて、順番に表示させる、請求項２記載の情報処理装置。
  4. 前記第３画面に設定される前記第３操作領域の表示面積を、前記第２画面に設定される前記第２操作領域の表示面積より広くした、請求項２記載の情報処理装置。
  5. 印刷装置をさらに有し、
    前記制御部は、
    前記印刷装置によるコピー処理の実行指示のための操作領域を含む複数の異なる処理に対応する操作領域が設定された前記第１画面を前記タッチパネルに表示させ、
    前記コピー処理に対応する操作領域に対するユーザによる入力動作を前記画像に基づいて検出し、前記入力動作に対応するタッチ操作が前記タッチパネルにより検出されない場合に、前記コピー処理の実行確認のための操作領域が設定された前記第３画面を前記タッチパネルに表示させる、請求項１記載の情報処理装置。
JP2021016527A 2021-02-04 2021-02-04 情報処理装置 Pending JP2022119429A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021016527A JP2022119429A (ja) 2021-02-04 2021-02-04 情報処理装置
US17/513,928 US20220247877A1 (en) 2021-02-04 2021-10-29 Information processing apparatus
CN202111313146.8A CN114938415A (zh) 2021-02-04 2021-11-08 信息处理装置
EP22152890.4A EP4040276A1 (en) 2021-02-04 2022-01-24 Information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021016527A JP2022119429A (ja) 2021-02-04 2021-02-04 情報処理装置

Publications (1)

Publication Number Publication Date
JP2022119429A true JP2022119429A (ja) 2022-08-17

Family

ID=80001342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021016527A Pending JP2022119429A (ja) 2021-02-04 2021-02-04 情報処理装置

Country Status (4)

Country Link
US (1) US20220247877A1 (ja)
EP (1) EP4040276A1 (ja)
JP (1) JP2022119429A (ja)
CN (1) CN114938415A (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5081939B2 (ja) * 2010-03-23 2012-11-28 シャープ株式会社 操作機器、その操作機器を備えた電子機器および画像処理装置、ならびにその操作機器における情報表示方法
JP5658500B2 (ja) * 2010-07-26 2015-01-28 キヤノン株式会社 情報処理装置及びその制御方法
JP5828800B2 (ja) * 2012-04-23 2015-12-09 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示装置、表示制御方法及びプログラム
US9400575B1 (en) * 2012-06-20 2016-07-26 Amazon Technologies, Inc. Finger detection for element selection
US9665259B2 (en) * 2013-07-12 2017-05-30 Microsoft Technology Licensing, Llc Interactive digital displays
JP2020078021A (ja) * 2018-11-09 2020-05-21 シャープ株式会社 画像形成装置、制御プログラムおよび制御方法

Also Published As

Publication number Publication date
US20220247877A1 (en) 2022-08-04
EP4040276A1 (en) 2022-08-10
CN114938415A (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
JP4375578B2 (ja) 画像形成装置及び画像形成装置における設定方法
US9241083B2 (en) Apparatus, method, and computer readable medium for displaying gesture guidance information
EP3579534B1 (en) Image processing apparatus that executes job, control method therefor, and storage medium
US10712985B2 (en) Setting control device that changes from one area to another, setting control method, and program
US20210234968A1 (en) Image forming apparatus, control method for image forming apparatus, and computer-readable storage medium
US9369596B2 (en) Image processing apparatus, screen display control method, and recording medium
JP6304497B2 (ja) 画像形成システムおよび拡張現実プログラム
JP6500863B2 (ja) 画像形成装置
US10506116B2 (en) Image processing apparatus causing display to display images, method, and non-transitory computer-readable recording medium storing computer-readable instructions
JP2022119429A (ja) 情報処理装置
JP6780400B2 (ja) 画像処理装置および画像形成装置
US10334125B2 (en) Image forming apparatus with projector to display an image to be printed and related method
JP5831852B2 (ja) 装置
JP6270058B2 (ja) 画像形成装置
US11240394B2 (en) Information processing apparatus for invalidating an operation setting from a second device
US8848235B2 (en) Systems and methods for displaying a print preview
JP5819887B2 (ja) 印刷設定プログラムおよび電子機器
JP2018045556A (ja) 処理装置および画像形成装置
JP6776753B2 (ja) 処理装置および画像形成装置
JP4994278B2 (ja) 画像形成装置
JP6221622B2 (ja) タッチパネル装置および画像形成装置
JP7206367B2 (ja) 原稿読取装置及び原稿読取方法
JP2019004252A (ja) 画像処理装置及びプログラム
JP6809068B2 (ja) 処理装置および画像形成装置
JP6179785B2 (ja) 操作表示装置 プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104