JP2018157382A - 情報処理システム、情報処理システムの制御方法、および携帯端末 - Google Patents

情報処理システム、情報処理システムの制御方法、および携帯端末 Download PDF

Info

Publication number
JP2018157382A
JP2018157382A JP2017052843A JP2017052843A JP2018157382A JP 2018157382 A JP2018157382 A JP 2018157382A JP 2017052843 A JP2017052843 A JP 2017052843A JP 2017052843 A JP2017052843 A JP 2017052843A JP 2018157382 A JP2018157382 A JP 2018157382A
Authority
JP
Japan
Prior art keywords
forming apparatus
screen
image forming
display
cooperation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017052843A
Other languages
English (en)
Other versions
JP6922295B2 (ja
Inventor
ブンター チッパソン
Chitpasong Bounta
ブンター チッパソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2017052843A priority Critical patent/JP6922295B2/ja
Priority to US15/919,318 priority patent/US10725724B2/en
Publication of JP2018157382A publication Critical patent/JP2018157382A/ja
Application granted granted Critical
Publication of JP6922295B2 publication Critical patent/JP6922295B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • G06F3/1204Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/1253Configuration of print job parameters, e.g. using UI at the client
    • G06F3/1256User feedback, e.g. print preview, test print, proofing, pre-flight checks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292Mobile client, e.g. wireless printing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00411Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416Multi-level menus
    • H04N1/00419Arrangements for navigating between pages or parts of the menu
    • H04N1/00424Arrangements for navigating between pages or parts of the menu using a list of graphical elements, e.g. icons or icon bar
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416Multi-level menus
    • H04N1/00419Arrangements for navigating between pages or parts of the menu
    • H04N1/00432Arrangements for navigating between pages or parts of the menu using tabs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416Multi-level menus
    • H04N1/00435Multi-level menus arranged in a predetermined sequence, e.g. using next and previous buttons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00474Output means outputting a plurality of functional options, e.g. scan, copy or print
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00482Output means outputting a plurality of job set-up options, e.g. number of copies, paper size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00962Input arrangements for operating instructions or parameters, e.g. updating internal software
    • H04N1/00973Input arrangements for operating instructions or parameters, e.g. updating internal software from a remote device, e.g. receiving via the internet instructions input to a computer terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/08Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0037Topological details of the connection
    • H04N2201/0039Connection via a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0074Arrangements for the control of a still picture apparatus by the connected apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0096Portable devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザーが視認しやすいように、携帯端末の画面を画像形成装置のディスプレイに表示する技術を提供すること。
【解決手段】情報処理システムは、携帯端末のディスプレイ(635)に表示されている画像形成装置と連携するための連携画面に、ユーザーの操作を受け付けるための操作受付領域が含まれているか否かを判断する判断部(920)と、判断部によって連携画面に操作受付領域が含まれていると判断された場合に、連携画面から操作受付領域を含む操作領域に対応する画像を抽出する抽出部(920)と、抽出部によって抽出された操作領域に対応する画像を、画像形成装置のディスプレイ(535)に表示する表示制御部(960)とを含む。
【選択図】図9

Description

この開示は、情報処理システムに関し、より特定的には、画像形成装置と携帯端末との間で画面を共有する処理に関する。
近年スマートフォン等のインターネットに接続可能な携帯端末が急速に普及している。これに伴い、携帯端末が有するネットワークを利用して、クラウドとの連携を行なう画像形成装置が提案されている。このような画像形成装置は、例えば、画像形成装置で読み取った原稿の画像データを携帯端末を介してサーバーに保存したり、サーバーに保存されている画像データに従い印刷を行なうことができる。
上記のように端末装置と連携する画像形成装置において、ユーザーの利便性を向上するための技術が提案されている。例えば、特開2016−045725号公報(特許文献1)は、「少なくとも画像データまたはユーザーの操作に応じた描画データのいずれかを含む表示データを画面に表示する表示部と、表示部に表示された表示データのうち、ユーザーにより指定された一部の表示データを抽出する抽出部と、抽出された表示データに基づき、端末装置に対応した形状の画像データを生成する生成部と、画像データを端末装置に送信する送信部と、を備える表示装置」を開示している(「要約」参照)。
情報表示装置と無線通信端末との間で画面を共有する技術に関し、特開2015−092304号公報(特許文献2)は、「無線通信端末が置かれたことを検出すると、無線通信端末の大きさや向きや識別情報を検出し、これらの情報と機器情報テーブルを用いて、切出し範囲を決定し、切出し範囲のデータをメモリから読み出し、無線通信端末に転送する」情報表示装置を開示している(「要約」参照)。
特開2016−045725号公報 特開2015−092304号公報
ユーザーは、携帯端末と画像形成装置との連携機能を使用する場合に、携帯端末と、画像形成装置とを交互に操作することがある。例えば、ユーザーは、画像形成装置のスキャナーに原稿を載置した後に、画像形成装置と連携可能なアプリケーション画面を携帯端末上で操作する。ユーザーは、スキャン結果に満足しない場合、再度スキャナーに原稿を載置し、携帯端末を操作する。
このような煩雑な操作を軽減するために、携帯端末側のアプリケーションの画面を画像形成装置と共有する技術が提案されている。ところで、携帯端末はタブレットやスマートフォンなどを含み、種類によって画面の大きさが異なる。タブレットのような大きい端末に表示されるアプリケーション画面は、縮小されて画像形成装置のディスプレイに表示される。そのため、ユーザーが画像形成装置のディスプレイ上でアプリケーション画面を確認および操作しづらい場合がある。したがって、ユーザーが視認しやすいように、携帯端末の画面を画像形成装置のディスプレイに表示する技術が求められている。
本開示は、上記のような問題を解決するためになされたものであって、ある局面における目的は、ユーザーが視認しやすいように、携帯端末の画面を画像形成装置のディスプレイに表示する技術を提供することである。
ある実施形態に従うと、画像形成装置と、画像形成装置と通信可能な携帯端末とを備える情報処理システムが提供される。このシステムは、携帯端末のディスプレイに表示されている画像形成装置と連携するための連携画面に、ユーザーの操作を受け付けるための操作受付領域が含まれているか否かを判断する判断部と、判断部によって連携画面に操作受付領域が含まれていると判断された場合に、連携画面から操作受付領域を含む操作領域に対応する画像を抽出する抽出部と、抽出部によって抽出された操作領域に対応する画像を、画像形成装置のディスプレイに表示する表示制御部とを含む。
好ましくは、表示制御部は、判断部によって連携画面に操作受付領域が含まれていないと判断された場合に、連携画面を画像形成装置のディスプレイに表示するように構成される。
好ましくは、画像形成装置は、画像形成装置のディスプレイに表示された連携画面に対するユーザー操作を受け付けた場合に、操作内容を表す情報を携帯端末に送信するように構成される。
好ましくは、携帯端末は、連携画面と、連携画面における操作領域の範囲を表す座標情報とを互いに関連付けて保持する記憶装置を含む。抽出部は、座標情報に基づいて連携画面から操作領域を抽出するように構成される。
より好ましくは、携帯端末は、携帯端末のディスプレイに表示されている連携画面に関連付けられた座標情報を画像形成装置に送信するように構成される。画像形成装置は、抽出部と、表示制御部とを含む。
より好ましくは、携帯端末は、判断部と、抽出部とを含み、抽出部により抽出された操作領域に対応する画像データを画像形成装置に送信するように構成される。
好ましくは、携帯端末は、携帯端末のディスプレイに表示されている連携画面の情報を画像形成装置に送信するための画面情報送信部を含む。画像形成装置は、携帯端末から受信した連携画面の情報に基づいて連携画面から操作領域を抽出する抽出部と、表示制御部とを含む。
より好ましくは、画像形成装置は、原稿を読み取るための画像読取装置を含む。画像形成装置のディスプレイに表示された連携画面に対するユーザー操作に従い画像読取装置により原稿を読み取った場合に、画像読取装置により生成された原稿データを携帯端末に送信するように構成される。画面情報送信部は、原稿データに対応するサムネイルが選択された場合に、連携画面の情報を画像形成装置に送信することを禁止するように構成される。
より好ましくは、画面情報送信部は、原稿データに対応するサムネイルが選択された場合に、サムネイルが選択されたことを表すプレビュー信号を、画像形成装置に対して送信するように構成される。表示制御部は、画像形成装置がプレビュー信号を受信したことに応じて、画像形成装置のディスプレイにプレビュー画面を表示する処理、または画像形成装置のディスプレイにプレビューの実行を促すメッセージを表示する処理を実行するように構成される。
好ましくは、携帯端末は、連携画面に対するユーザーの操作履歴を記憶するための記憶装置を含む。抽出部は、判断部によって連携画面に操作受付領域が含まれていると判断された場合に、操作履歴に基づいて操作領域の一部を抽出するように構成される。
好ましくは、表示制御部は、操作領域の大きさに基づいて、画像形成装置のディスプレイに表示する操作領域に対応する画像の大きさを決定するように構成される。
他の局面に従うと、画像形成装置と、画像形成装置と通信可能な携帯端末とを備える情報処理システムの制御方法が提供される。この方法は、携帯端末のディスプレイに表示されている画像形成装置と連携するための連携画面に、ユーザーの操作を受け付けるための操作受付領域が含まれているか否かを判断するステップと、連携画面に操作受付領域が含まれていると判断された場合に、連携画面から操作受付領域を含む操作領域に対応する画像を抽出するステップと、抽出された操作領域に対応する画像を、画像形成装置のディスプレイに表示するステップとを備える。
さらに他の局面に従うと、画像形成装置と連携可能に構成される携帯端末が提供される。この携帯端末は、ディスプレイと、画像形成装置との連携動作を制御するための制御装置とを備える。制御装置は、ディスプレイに表示されている画像形成装置と連携するための連携画面に、ユーザーの操作を受け付けるための操作受付領域が含まれているか否かを判断する判断部と、判断部によって連携画面に操作受付領域が含まれていると判断された場合に、連携画面から操作受付領域を含む操作領域に対応する画像を抽出する抽出部と、記抽出部によって抽出された操作領域に対応する画像を画像形成装置に送信するための画面情報送信部とを含む。
ある実施形態に従う情報処理システムは、ユーザーが視認しやすいように、携帯端末の画面を画像形成装置のディスプレイに表示できる。
開示された技術的特徴の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
実施形態に従う情報処理システムおよび関連技術に従う情報処理システム1Xの構成を表す図である。 携帯端末のディスプレイに表示されている画面を表す図である。 関連技術に従う情報処理システムの画像形成装置が、携帯端末の画面を共有する処理を説明するための図である。 実施形態に従う情報処理システムの画像形成装置が、携帯端末の画面を共有する処理を説明するための図である。 実施形態に従う画像形成装置の構成の一例を表すブロック図である。 実施形態に従う携帯端末の構成の一例を表すブロック図である。 抽出情報のデータ構造の一例を表す図である。 連携画像DBのデータ構造の一例を表す図である。 実施形態1に従う情報処理システムの機能構成を説明するためのブロック図である。 プレビュー画面を表す図である。 ディスプレイに表示されるプレビュー画面の一例を表す図である。 ボタンが押下された後にディスプレイに表示される画面を表す図である。 実施形態1に従う携帯端末の処理を表すフローチャートである。 実施形態1に従う画像形成装置の処理を表すフローチャートである。 実施形態2に従う情報処理システムの機能構成を説明するためのブロック図である。 実施形態2に従う携帯端末の処理を表すフローチャートである。 実施形態2に従う画像形成装置の処理を表すフローチャートである。 実施形態3に従う画像形成装置が携帯端末の画面を共有する処理を説明するための図である。 携帯端末のディスプレイに表示されている画面を表す図である。 実施形態4に従う情報処理システムの画像形成装置が、携帯端末の画面を共有する処理を説明するための図である。
以下、この技術的思想の実施形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。
[関連技術]
図1は、実施形態に従う情報処理システム1および関連技術に従う情報処理システム1Xの構成を表す。情報処理システム1のハードウェア構成と情報処理システム1Xのハードウェア構成とは同じである。そのため、以下では情報処理システム1の構成について説明する。
実施形態に従う情報処理システム1は、画像形成装置100と、携帯端末200と、サーバー300とを有する。画像形成装置100は、携帯端末200と通信可能に構成される。携帯端末200はネットワーク400を介してサーバー300と通信可能に構成される。画像形成装置100は、ディスプレイを含む操作パネル110を有する。
携帯端末200は、画像形成装置100と連携するためのアプリケーションを含む。携帯端末200のプロセッサは、このアプリケーションを読み込んで実行することにより、画像形成装置100に対して指示(例えば、スキャン指示)を送信できる。
図2は、携帯端末200のディスプレイに表示されている画面210を表す。画面210は、画像形成装置100と連携するためのアプリケーションの画面である。画面210は、操作領域220と、プレビュー領域230とを含む。操作領域220は、ユーザーの操作を受け付けるための項目221〜225(操作受付領域)を含む。項目221〜225は、画像形成装置100のスキャン設定に関する。具体的には、項目221は読み取られる原稿のサイズの設定を表す。項目222は解像度の設定を表す。項目223はカラーモード(例えばモノクロ、フルカラー)の設定を表す。項目224は原稿タイプ(例えば文章、写真)の設定を表す。項目225は決定ボタンを表す。プレビュー領域230は、画像形成装置100によってスキャンされた画像を表示する。
図3は、関連技術に従う情報処理システム1Xの画像形成装置100が、携帯端末200の画面を共有する処理を説明するための図である。
操作パネル110のディスプレイは、連携領域310を含む。連携領域310は、携帯端末200の画面、特に、画像形成装置100と連携するための画面を共有するための領域である。関連技術に従う情報処理システム1Xは、図2の携帯端末200の画面210を、連携領域310の領域320にアスペクト比を維持した状態で表示する。つまり、操作パネル110には、携帯端末200のディスプレイに表示されている画面がそのまま表示される。この場合、操作パネル110に占める操作領域220に対応する部分が小さい。そのため、ユーザーは、その部分を見づらい。また、項目221〜225に対応する画像どうしの間隔が狭いため、ユーザーはタッチ操作を行ないづらく、場合によっては誤操作してしまう。実施形態に従う情報処理システム1は、このような関連技術に従う情報処理システム1Xの問題を解決し得る。
[技術思想]
図4は、実施形態に従う情報処理システム1の画像形成装置100が、携帯端末200の画面を共有する処理を説明するための図である。
操作パネル110のディスプレイは、携帯端末200の画面を共有するための連携領域310を含む。実施形態に従う情報処理システム1は、携帯端末200のディスプレイに表示されている、画像形成装置100と連携するための画面210に、ユーザーの操作を受付るための操作受付領域が含まれているか否かを判断する。画面210には、操作受付領域としての項目221〜225が含まれている。そのため、情報処理システム1は、画面210に操作受付領域が含まれていると判断し、操作受付領域を含む操作領域220を抽出する。情報処理システム1は、この操作領域220に対応する画像410を、操作パネル110の連携領域310に表示する。このように、実施形態に従う情報処理システム1は、ユーザー操作を必要とする操作領域220に対応する画像(410)を、関連技術に従う情報処理システム1Xが表示する画像よりも大きくできる。そのため、ユーザーは、操作に必要な情報を容易に視認でき、かつ、容易に操作できる。以下、実施形態に従う情報処理システム1の具体的な構成および制御について説明する。
[ハードウェア構成]
(画像形成装置100)
図5は、実施形態に従う画像形成装置100の構成の一例を表すブロック図である。図5を参照して、画像形成装置100は、CPU(Central Processing Unit)510と、RAM(Random Access Memory)515と、ROM(Read Only Memory)520と、画像形成部525と、記憶装置530と、操作パネル110と、VRAM(Video Random Access Memory)545と、画像読取装置550と、無線インターフェイス(I/F)555とを有する。
CPU510は、ROM520に格納される制御プログラムを読み込んで実行することにより、画像形成装置100の動作を制御する。RAM515は、CPU510がプログラムを実行する際のワーキングメモリとして機能する。画像形成部525は、画像読取装置550で生成された原稿データ、または無線インターフェイス(I/F)555を介して入力された画像データに基づいて、記録媒体に画像を形成する。
記憶装置530は、不揮発性メモリによって構成される。記憶装置530は、画像読取装置550で生成された原稿データ532を記憶する。操作パネル110は、ディスプレイ535と、タッチパネル540とを含む。操作パネル110は、タッチパネル540によってユーザーに選択された位置(座標)の情報をCPU510に出力する。VRAM545は、ディスプレイ535に表示される内容を保持するためのメモリとして機能する。画像読取装置550は、図示しないプランテンガラス上に載置された原稿を光学的に読み込んで原稿データを生成する。無線I/F555は、後述する携帯端末200が有する無線I/F650と通信可能に構成される。無線I/F555と無線I/F650とは、例えば、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)等の規格に従い通信し得る。
(携帯端末200)
図6は、実施形態に従う携帯端末200の構成の一例を表すブロック図である。携帯端末200は、CPU610と、ROM620と、記憶装置630と、ディスプレイ635と、VRAM640と、タッチパネル645と、無線I/F650と、通信I/F655とを有する。
CPU610は、ROM620に格納される制御プログラム622を読み込んで実行することにより、携帯端末200の動作を制御する。ROM620は、制御プログラム622の他に、アプリケーション624を記憶している。CPU610がアプリケーション624を実行することにより、携帯端末200は画像形成装置100と連携する。
記憶装置630は、不揮発性メモリによって構成される。記憶装置630は、抽出情報632と、連携画面DB634とを記憶している。連携画面DB634は、アプリケーション624の実行に用いられる画面、つまり、画像形成装置100と連携するための画面(以下、「連携画面」とも称する)のデータを記憶する。抽出情報632は、連携画面から、ユーザーの操作を受け付けるための操作受付領域を含む操作領域を抽出するための情報を記憶する。図7において抽出情報632の詳細は後述される。図8において連携画面DB634の詳細は後述される。
VRAM640は、ディスプレイ635に表示される内容を保持するためのメモリとして機能する。タッチパネル645は、ユーザーに選択された位置(座標)の情報をCPU610に出力する。通信I/F655は、ネットワーク400に接続するためのインターフェイスとして機能する。携帯端末200は、通信I/F655を用いてサーバー300と通信する。
ある局面において、画像形成装置100は、携帯端末200のアプリケーション624からの指示に従って、画像読取装置550によって原稿データを生成する。この場合、画像形成装置100は、生成した原稿データを無線I/F555を介して携帯端末200に送信する。携帯端末200は、受信した原稿データを、通信I/F655を介してサーバー300(クラウド)に送信する。このような携帯端末200は、例えば、スマートフォン、タブレット、ファブレット、およびラップトップ型のコンピュータ等によって実現され得る。
(抽出情報)
図7は、抽出情報632のデータ構造の一例を表す。抽出情報632は、画面ID710と、操作受付領域の有無720と、操作領域の範囲730とを互いに関連付けて保持する。画面ID710は、複数の連携画面を互いに識別するための情報である。操作受付領域の有無720は、対応する連携画面において、ユーザーの操作を受け付けるための操作受付領域が含まれているか否かを表す。
操作領域の範囲730は、タッチパネル645(ディスプレイ635)上における操作領域の範囲を表す座標である。一例として、操作領域の範囲730は、2点の座標を含む。情報処理システム1は、当該2点によって対角を形成する矩形を操作領域として特定し得る。図7の例において、画面ID「001」は、図2の画面210の識別情報であるとする。この場合、情報処理システム1は、タッチパネル645の座標(X1,Y1)と座標(X2,Y2)とが対角を形成する矩形を操作領域220であると特定する。
(連携画像DB)
図8は、連携画像DBのデータ構造の一例を表す。連携画像DBは、項目ID810と、項目820と、入力必要有無830と、画像データ840と、範囲850と、履歴860とを互いに関連付けて保持する。項目820は、連携画面の構成要素である。項目ID810は、複数の項目820を互いに識別するための情報である。図8の例において、項目ID810の上3桁は、画面ID710に対応する。一例として、項目ID「001A」に対応する項目は、画面ID710の連携画面の構成要素である。
入力必要有無830は、対応する項目が、ユーザーによって必ず入力されなければならないか否かを表す。図8の例では、項目ID「001C」のカラーモード(例えば、モノクロスキャンまたはカラースキャン)が、ユーザーによる入力が必要に設定されている。一方、項目ID「001D」の原稿タイプ(例えば、文章または写真)は、ユーザーによる入力が不要に設定されている。例えば、図2において、携帯端末200のCPU610は、カラーモードの設定(項目223)の入力を受け付けていない状態で、決定ボタン(項目225)の押下を受け付けた場合に、カラーモードの設定入力を促すメッセージをディスプレイ635に表示する。一方、CPU610は、原稿タイプ(項目224)の設定の入力を受け付けていない状態で、項目225(決定ボタン)の押下を受け付けた場合に、デフォルトで設定されている条件に従って、原稿のスキャンを実行し得る。
画像データ840は、項目820の画像を表示するためのデータである。範囲850は、ディスプレイ635において対応する項目820の画像が表示される範囲を表す。範囲850は、図7で説明した操作領域の範囲730と同様に、2点の座標を保持し得る。履歴860は、対応する項目820に対してユーザーが過去に設定した内容を表す。図8の例において、項目「001A」、「001B」および「001C」のそれぞれには履歴860が入力されているが、項目「001D」(原稿タイプ)には履歴860が入力されていない。
[実施形態1]
(機能構成)
図9は、実施形態1に従う情報処理システム1の機能構成を説明するためのブロック図である。携帯端末200のCPU610は、アプリケーション624を実行することにより、判断部910、抽出部920、画面情報送信部930および更新部940として機能する。画像形成装置100のCPU510は、制御プログラムを実行することにより、表示制御部960および操作内容送信部970として機能する。
判断部910は、ディスプレイ635に表示されている連携画面に、ユーザーの操作を受け付けるための操作受付領域が含まれているか否かを判断する。具体的には、判断部910は、抽出情報632を参照して、ディスプレイ635に表示されている連携画面の画面ID710に対応する操作受付領域の有無720に基づいて、この判断を行なう。判断部910は、操作受付領域が有ると判断した場合、その旨を抽出部920に出力する。一方、判断部910は、操作受付領域が無いと判断した場合、その旨を画面情報送信部930に出力する。
抽出部920は、判断部910からの入力に基づいて、連携画面から操作受付領域を含む操作領域を抽出する。具体的には、抽出部920は、抽出情報632にアクセスして、連携画面の画面ID710に対応する操作領域の範囲730、つまり、操作領域の範囲を表す座標情報を取得する。抽出部920は、この座標情報に従って、連携画面から操作領域に対応する画像のデータを抽出する。抽出部920は、抽出した画像データを画面情報送信部930に出力する。
画面情報送信部930は、抽出部920から入力された画像データ(操作領域に対応する画像のデータ)を連携画像情報932として画像形成装置100に送信する。また、画面情報送信部930は、判断部910から連携画面に操作受付領域が無いことを示す通知を入力された場合、連携画面DB634に格納される連携画面を構成する画像データ840を連携画像情報932として画像形成装置100に送信する。
画像形成装置100の表示制御部960は、携帯端末200から受信した連携画像情報932を、VRAM545の所定領域(ディスプレイ535の所定領域(図4の連携領域310))に展開する。表示制御部960は、一例として、連携画像情報932が表す画像が、アスペクト比を維持したまま最も大きいサイズとなるように、VRAM545の所定領域に展開する。
上記によれば、ディスプレイ535の所定領域には、操作領域が大きく表示される。そのため、ユーザーは、操作領域を容易に視認できる。また、情報処理システム1は、ユーザーがタッチパネル540上でアプリケーション624の連携操作を誤る可能性を低減し得る。
操作内容送信部970は、連携画像情報932が表す画像に対応するタッチパネル540の操作を受け付けた場合に、操作内容を画像形成装置100に送信する。ある局面において、この操作内容は、タッチパネル540における座標情報であり得る。他の局面において、この操作内容は、連携画像情報932が表す画像(図4の画像410)における操作位置の相対的な座標情報であり得る。
画像形成装置100の更新部940は、操作内容送信部970から受信した操作内容をアプリケーション624に反映する。更新部940は、アプリケーション624に従ってVRAM640を更新する。その結果、ディスプレイ635に表示されるコンテンツが更新される。情報処理システム1は、これらの一連の処理を繰り返し実行する。具体的には、CPU610は、判断部910として、更新後のディスプレイ635に表示されている連携画面に操作受付領域が含まれているか否かを判断する。
(プレビューの表示処理)
画面情報送信部930は、タッチパネル645の入力(ユーザー操作)に基づいて、プレビュー表示の指示を受け付けた場合に、連携画像情報932に替えてプレビュー信号934を画像形成装置100に送信する。換言すれば、画面情報送信部930は、プレビュー表示の指示を受け付けた場合に、連携画像情報932を画像形成装置100に送信することを禁止する。その理由は、画像形成装置100は、携帯端末200でプレビュー表示される画像に対応する原稿データ532を記憶装置530に保持しているためである。情報処理システム1は、連携画像情報932の送信を禁止することにより、ネットワークトラフィックの削減および処理軽減を実現し得る。ある局面において、画面情報送信部930は、連携画面に表示される原稿データのサムネイルをタッチされた場合に、プレビュー表示の指示を受け付けたと判断する。
表示制御部960は、プレビュー信号934の入力に応じて、ディスプレイ635にプレビュー画面を表示する処理、またはディスプレイ635にプレビューの実行を促すメッセージを表示する処理を実行する。図2、図10〜図12を用いてこれら処理の具体例を説明する。
図10は、携帯端末200で表示されるプレビュー画面1010を表す。プレビュー画面1010は、図2の画面210において、プレビュー領域230に対応するタッチ操作、つまり、画像形成装置100から受信した原稿データに対応するサムネイル画像の選択操作を受け付けた後の画面である。CPU610は画面情報送信部930として、当該ユーザー操作に応じて、プレビュー信号934を画像形成装置100に送信する。ある局面において、画像形成装置100のCPU510は、表示制御部960として、プレビュー信号934の入力に応じて、図11に示されるプレビュー画面をディスプレイ535に表示する。
図11は、画像形成装置100のディスプレイ535に表示されるプレビュー画面の一例を表す。このプレビュー画面は、携帯端末200に表示されているプレビュー画面1010に対応するプレビュー画像1110を含む。また、このプレビュー画面は、他のプレビュー画像1120,1130と、プレビュー画面を終了するためのボタン1140とを含み得る。なお、他の局面において、表示制御部960は、携帯端末200に表示されているプレビュー画面1010に対応するプレビュー画像1110を含まなくともよい。
さらに他の局面において、表示制御部960は、プレビュー信号934の入力に応じて図11に示されるようなプレビュー画面ではなく、プレビューの実行を促すメッセージをディスプレイ635に表示する。ユーザーは、メッセージを視認した後に、図4に示されるボタン420を押下し得る。表示制御部960は、ボタン420の押下に応じて、ディスプレイ635から連携領域310を取り除く。このとき、表示制御部960は、アニメーションで徐々に連携領域310がスライドしていくように制御してもよい。
図12は、ボタン420が押下された後にディスプレイ535に表示される画面1200を表す。画面1200は、プレビューボタン1210と、ボタン1220とを含む。表示制御部960は、プレビューボタン1220の押下に応じて、図11に示されるプレビュー画面を表示する。また、表示制御部960は、ボタン1220の押下に応じて、図4に示されるように連携領域310を再び表示する。
画像形成装置100は、上記のように連携領域310の表示/非表示を制御可能に構成される。ある局面において、画像形成装置100は、図4に示されるスキャン設定画面(画像410)を連携領域310に表示している。画像形成装置100は、項目225(決定ボタン)の押下を受け付けて、画像読取装置550による原稿の読取を開始する。原稿読み取り時に紙詰まり(ジャム)が発生した場合、画像形成装置100は、ディスプレイ535にジャム解除のための指示を表示する。しかしながら、ユーザーは、連携領域310により当該指示の一部を視認できない可能性がある。係る場合、ユーザーは、上記と同様にして連携領域310を非表示にする操作を行なうことにより、ジャム解除のための指示を視認できる。
図13は、実施形態1に従う携帯端末200の処理を表すフローチャートである。図13に示される処理は、CPU610がROM620に格納されるアプリケーション624を実行することにより実現される。他の局面において、処理の一部または全部が、回路素子その他のハードウェアによって実行されてもよい。
ステップS1310において、CPU610は、ディスプレイ635に表示されている連携画面に操作受付領域が含まれているか否かを判断する。CPU610は、操作受付領域が含まれていると判断した場合(ステップS1310でYES)、処理をステップS1315に進める。一方、CPU610は、操作受付領域が含まれていないと判断した場合(ステップS1310でNO)、処理をステップS1330に進める。
ステップS1315において、CPU610は、記憶装置630に格納される抽出情報632を参照して、操作受付領域を含む操作領域に対応する画像を抽出する。ステップS1320において、CPU610において、抽出した画像データを既知の方式に従って圧縮する。ステップS1325において、CPU610は、圧縮した画像データを画像形成装置100に転送する。このとき、CPU610は、操作領域に対応する画像データであることを示す情報を併せて画像形成装置100に送信し得る。
ステップS1330において、CPU610は、連携画面がプレビュー画面であるか否かを判断する。ある局面において、CPU610は、タッチパネル645上で、原稿データに対応するサムネイル画像が選択された場合に、連携画面がプレビュー画面であると判断し得る。CPU610は、連携画面がプレビュー画面であると判断した場合(ステップS1330でYES)、処理をステップS1340に進める。一方、CPU610は、連携画面がプレビュー画面でないと判断した場合(ステップS1330でNO)、処理をステップS1335に進める。
ステップS1335において、CPU610は、連携画面の全画面に対応する画像データを圧縮し、ステップS1325において、圧縮した画像データを画像形成装置100に転送する。このとき、CPU610は、全画面に対応する画像データであることを示す情報を併せて画像形成装置100に送信し得る。ステップS1340において、CPU610は、プレビュー信号を画像形成装置100に転送する。つまり、CPU610は、連携画面の画像データの送信を禁止する。
ステップS1350において、CPU610は、画像形成装置100から連携画面に対応する操作内容(座標情報)を受信したか否か、または、タッチパネル645を介したユーザー操作を受け付けたか否かを判断する。CPU610は、画像形成装置100から操作内容を受信した、またはユーザー操作を受け付けたと判断した場合(ステップS1350でYES)、処理をステップS1360に進める。そうでない場合(ステップS1350でNO)、CPU610は処理をステップS1350に戻す。
ステップS1360において、CPU610は、画像形成装置100から受信した操作内容またはタッチパネル645を介したユーザー操作が、ディスプレイ635に表示される画面を切り替える指示であるか否かを判断する。CPU610は、画面を切り替える指示であると判断した場合(ステップS1360でYES)、処理をステップS1310に戻す。一方、CPU610は、画面を切り替える指示でないと判断した場合(ステップS1360でNO)、処理をステップS1370に進める。
ステップS1370において、CPU610は、画像形成装置100から受信した操作内容またはタッチパネル645を介したユーザー操作が終了指示であるか否かを判断する。CPU610は、終了指示であると判断した場合(ステップS1370でYES)、一連の処理を終了する。一方、CPU610は、終了指示でないと判断した場合(ステップS1370でNO)、処理をステップS1350に戻す。
図14は、実施形態1に従う画像形成装置100の処理を表すフローチャートである。図14に示される処理は、CPU510がROM520に格納される制御プログラムを実行することにより実現される。これらは、画像形成装置100と携帯端末200とが連携するための処理であって、携帯端末200から画像データまたはプレビュー信号を受信したことにより開始される。他の局面において、処理の一部または全部が、回路素子その他のハードウェアによって実行されてもよい。
ステップS1410において、CPU510は、携帯端末200から操作領域に対応する画像データを受信したか否かを判断する。CPU510は、操作領域に対応する画像データを受信したと判断した場合(ステップS1410でYES)、処理をステップS1420に進める。一方、CPU510は、操作領域に対応する画像データを受信していないと判断した場合(ステップS1410でNO)、処理をステップS1435に進める。
ステップS1420において、CPU510は、連携領域310に、操作領域に対応する画像を表示する。このとき、CPU510は、連携領域310において、操作領域に対応する画像がアスペクト比を維持した状態で最も大きくなるように表示し得る。
ステップS1425において、CPU510は、連携領域310に対するユーザー操作(タッチパネル540の入力)を受け付けたか否かを判断する。CPU510は、連携領域310に対するユーザー操作を受け付けたと判断した場合(ステップS1425でYES)、このユーザー操作の操作内容(座標情報)を携帯端末200に送信する(ステップS1430)。
ステップS1435において、携帯端末200から連携画面の全画面に対応する画像データを受信したか否かを判断する。CPU510は、全画面に対応する画像データを受信したと判断した場合(ステップS1435でYES)、連携領域310に連携画面の全画像を表示する(ステップS1440)。CPU510は、その後処理をステップS1425に進める。
ステップS1445において、CPU510は、プレビュー信号を受信したと判断する。ステップS1450において、CPU510は、プレビュー画面をディスプレイ535に表示する。他の局面において、CPU510は、プレビューの実行を促すメッセージを表示する。CPU510は、その後一連の処理を終了する。
上記によれば、情報処理システム1は、ディスプレイ535に、ユーザー操作を必要とする操作領域が大きく表示できる。そのため、ユーザーは、操作領域を容易に視認できる。また、情報処理システム1は、ユーザーがタッチパネル540上でアプリケーション624の連携操作を誤る可能性を低減し得る。
[実施形態2]
実施形態1では、携帯端末200が連携画面から操作領域に対応する画像を抽出するように構成されている。実施形態2では、画像形成装置100が連携画面から操作領域に対応する画像を抽出する。
図15は、実施形態2に従う情報処理システム1の機能構成を説明するためのブロック図である。なお、図15に示される機能のうち、図9の機能と同じ機能については同じ符号を付している。そのため、その機能についての説明は繰り返さない。
携帯端末200のCPU610は、判断部910と抽出部920とを有さない点において、実施形態1のCPU610の機能構成と相違する。画像形成装置100のCPU510は、判断部1520と、抽出部1530とを有する点において、実施形態1のCPU510の機能構成と相違する。
携帯端末200の画面情報送信部930は、ディスプレイ635に表示されている連携画面の画像データと、この連携画面に対応する抽出情報632とを、連携画像情報1510として画像形成装置100に送信する。抽出情報632には、連携画面に対応する操作受付領域の有無720および操作領域の範囲730が含まれる。
判断部1520は、受信した連携画面に、ユーザーの操作を受け付けるための操作受付領域が含まれているか否かを判断する。具体的には、判断部1520は、受信した抽出情報632に含まれる操作受付領域の有無720に基づいて、この判断を行なう。判断部1520は、操作受付領域が有ると判断した場合、その旨を抽出部1530に出力する。一方、判断部1520は、操作受付領域が無いと判断した場合、その旨を表示制御部960に出力する。表示制御部960は、操作受付領域が無いことを表す通知を判断部1520から受信した場合、携帯端末200から受信した連携画面の画像データをVRAM545に展開する。これにより、連携領域310に携帯端末200に表示されている連携画面が表示される。
抽出部1530は、判断部1520からの入力に基づいて、連携画面から操作受付領域を含む操作領域を抽出する。具体的には、抽出部1530は、受信した抽出情報632の操作領域の範囲730に従って、連携画面から操作領域に対応する画像のデータを抽出する。抽出部920は、抽出した画像データを表示制御部960に出力する。表示制御部960は、入力された画像データをVRAM545に展開する。これにより、連携領域310に操作領域に対応する画像が表示される。
図16は、実施形態2に従う携帯端末200の処理を表すフローチャートである。なお、図16に示される処理のうち、図13の処理と同じ処理には同じ符号を付している。そのため、その処理についての説明は繰り返さない。
ステップS1610において、CPU610は、ディスプレイ635に表示されている連携画面がプレビュー画面であるか否かを判断する。CPU610は、連携画面がプレビュー画面であると判断した場合(ステップS1610でYES)、処理をステップS1340に進める。一方、CPU610は、連携画面がプレビュー画面でないと判断した場合(ステップS1610でNO)、処理をステップS1620に進める。
ステップS1620において、CPU610は、連携画面の全画面に対応する画像データを圧縮する。ステップS1630において、CPU610は、圧縮した画像データと、連携画面に対応する抽出情報632とを連携画面情報として画像形成装置100に送信する。
図17は、実施形態2に従う画像形成装置100の処理を表すフローチャートである。なお、図17に示される処理のうち、図14の処理と同じ処理には同じ符号を付している。そのため、その処理についての説明は繰り返さない。
ステップS1710において、CPU510は、携帯端末200からプレビュー信号を受信したか否かを判断する。CPU510は、プレビュー信号を受信したと判断した場合(ステップS1710でYES)、処理をステップS1450に進める。一方、CPU510は、プレビュー信号を受信していないと判断した場合(ステップS1710でNO)、処理をステップS1720に進める。
ステップS1720において、CPU510は、携帯端末200から受信した連携画面に操作受付領域が含まれているか否かを判断する。CPU610は、操作受付領域が含まれていると判断した場合(ステップS1720でYES)、処理をステップS1730に進める。一方、CPU610は、操作受付領域が含まれていないと判断した場合(ステップS1720でNO)、処理をステップS1440に進める。
ステップS1730において、CPU510は、受信した抽出情報632を参照して、操作受付領域を含む操作領域に対応する画像を抽出する。
実施形態2に従う情報処理システム1も、実施形態1に従う情報処理システム1と同様に、ディスプレイ535にユーザー操作を必要とする操作領域を大きく表示できる。また、実施形態2に従う情報処理システム1は、ユーザーの使用頻度が高い携帯端末200の処理負担を軽減し得る。
[実施形態3]
上記において、画像形成装置100は、ディスプレイ535の予め定められた連携領域310に連携画面を表示する構成であった。また、連携画面がアスペクト比を維持したまま連携領域310に表示される場合、図4のように、連携領域310と連携画面(画像410)との大きさが一致しないことがある。一方で、連携画面がアスペクト比を維持せずに連携領域310の全領域に表示される場合、連携画面が不自然に表示され得る。
そこで、実施形態3に従う画像形成装置100の表示制御部960は、連携画面(操作領域に対応する画面、または全画面)の大きさ(アスペクト比)に基づいて、連携領域の大きさを決定する。図18を用いてこの処理の具体例を説明する。
図18は、実施形態3に従う画像形成装置100が携帯端末200の画面を共有する処理を説明するための図である。表示制御部960は、携帯端末200から受信した連携画面のアスペクト比を維持したままディスプレイ535に表示できる領域を連携領域1810に設定する。表示制御部960は、連携領域1810に連携画面1820を表示する。つまり、表示制御部960は、連携領域1810と連携画面1820との大きさが同じになるように設定する。これにより、実施形態3に従う表示制御部960は、連携画面(操作領域に対応する画面)の大きさを確保しつつ、ディスプレイ535のうち連携画面によって覆われる部分を最小限に抑えることができる。そのため、ユーザーは、連携画面ではなく画像形成装置100の操作画面を見たい場合に、その内容を容易に視認し得る。
[実施形態4]
実施形態1および2に従う情報処理システム1は、連携画面に含まれるすべての操作受付領域を含む操作領域を抽出するように構成されている。実施形態4に従う情報処理システム1は、ユーザーの操作履歴に基づいて、操作領域の一部を抽出する。
図19は、携帯端末200のディスプレイに表示されている画面1900を表す。画面1900は、画面ID「001」の画面であるとする。携帯端末200のCPU610は、図8で説明した連携画面DB634の履歴860を参照して、ユーザーが過去に入力した設定を、項目221〜223に反映する。一方、CPU610は、項目「原稿タイプ」の履歴860が存在しないため、項目224は空欄のままで表示する。
CPU610はさらに、抽出部920として、ユーザーの操作履歴に基づいて操作領域の一部を抽出する。一例として、抽出部920は、ID「001」の連携画面を構成する項目(操作受付領域)のうち、履歴860が存在する項目のみを抽出する。図8の例において、項目「原稿タイプ」の履歴860が存在しない。そのため、抽出部920は、画面ID「001」の連携画面を構成する項目のうち、項目221〜223および項目225を抽出する。より具体的には、抽出部920は、範囲850に基づいて、これらの項目を抽出する。この抽出方法は、上記の操作領域の抽出方法により実現され得る。携帯端末200は、抽出した操作領域の一部に対応する画像のデータを、画像形成装置100に送信する。画像形成装置100は、当該データに基づいて図20に示される画面をディスプレイ535に表示する。
図20は、実施形態4に従う情報処理システム1の画像形成装置100が、携帯端末200の画面を共有する処理を説明するための図である。連携領域2010に表示されている連携画面2020には、項目221〜223および項目225が表示されている。当該構成によれば、連携画面2020に表示される各項目は、図18の連携画面1820に表示される各項目よりも大きい。そのため、ユーザーは、これらの項目をより視認しやすく、かつ、操作しやすい。また、ユーザーは、携帯端末200のディスプレイ635に表示されている連携画面のうち、ユーザーが過去に操作した項目のみを再び視認して設定できる。
他の局面において、抽出部920は、所定期間以内にユーザーの操作履歴が存在する項目(操作受付領域)を抽出するように構成されてもよい。さらに他の局面において、抽出部920は、ユーザーの操作履歴が存在しない項目のみを抽出するように構成されてもよい。
さらに他の局面において、抽出部920は、入力必要有無830が「無」に設定されている項目を抽出するように構成されてもよい。さらに他の局面において、抽出部920は、入力必要有無830が「無」に設定され、かつ、履歴860が存在しない項目を抽出するように構成されてもよい。
[他の構成]
上記の実施形態において、情報処理システム1は、携帯端末200に表示される連携画面の中からユーザーの操作を受け付けるための操作受付領域を含む操作領域に対応する画像を抽出するように構成されている。他の局面において、情報処理システム1は、携帯端末200に表示される連携画面の中から画像形成装置100の設定を受け付けるための設定受付領域を含む設定領域に対応する画像を抽出して、画像形成装置100のディスプレイ535に表示するように構成してもよい。設定受付領域は、例えば、図2に示される項目221〜項目224に対応する。
上記に示される例において、各種機能および処理は、画像形成装置100のCPU510または携帯端末200のCPU610によって実現されるものとしてあるが、これに限られない。これらの各種機能は、少なくとも1つのプロセッサのような半導体集積回路、少なくとも1つの特定用途向け集積回路ASIC(Application Specific Integrated Circuit)、少なくとも1つのDSP(Digital Signal Processor)、少なくとも1つのFPGA(Field Programmable Gate Array)、および/またはその他の演算機能を有する回路によって実装され得る。
これらの回路は、有形の読取可能な少なくとも1つの媒体から、1以上の命令を読み出すことにより上記の各種機能および処理を実現しうる。
このような媒体は、磁気媒体(たとえば、ハードディスク)、光学媒体(例えば、コンパクトディスク(CD)、DVD)、揮発性メモリ、不揮発性メモリの任意のタイプのメモリなどの形態をとるが、これらの形態に限定されるものではない。
揮発性メモリはDRAM(Dynamic Random Access Memory)およびSRAM(Static Random Access Memory)を含み得る。不揮発性メモリは、ROM、NVRAMを含み得る。半導体メモリは、少なくとも1つのプロセッサとともに半導体回路の1部分であり得る。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1,1X 情報処理システム、100 画像形成装置、110 操作パネル、200 携帯端末、220 操作領域、221,222,223,224,225,820 項目、230 プレビュー領域、300 サーバー、310,1810,2010 連携領域、400 ネットワーク、515 RAM、520,620 ROM、525 画像形成部、530,630 記憶装置、532 原稿データ、535,635 ディスプレイ、540,645 タッチパネル、545,640 VRAM、550 画像読取装置、622 制御プログラム、624 アプリケーション、632 抽出情報、634 連携画面DB、720 操作受付領域の有無、730 操作領域の範囲、830 入力必要有無、840 画像データ、860 履歴、910,1520 判断部、920,1530 抽出部、930 画面情報送信部、932,1510 連携画像情報、934 プレビュー信号、940 更新部、960 表示制御部、970 操作内容送信部、1010 プレビュー画面、1110,1120,1130 プレビュー画像、1210,1220 プレビューボタン、1820,2020 連携画面。

Claims (13)

  1. 画像形成装置と、前記画像形成装置と通信可能な携帯端末とを備える情報処理システムであって、
    前記携帯端末のディスプレイに表示されている前記画像形成装置と連携するための連携画面に、ユーザーの操作を受け付けるための操作受付領域が含まれているか否かを判断する判断部と、
    前記判断部によって前記連携画面に前記操作受付領域が含まれていると判断された場合に、前記連携画面から前記操作受付領域を含む操作領域に対応する画像を抽出する抽出部と、
    前記抽出部によって抽出された操作領域に対応する画像を、前記画像形成装置のディスプレイに表示する表示制御部とを含む、情報処理システム。
  2. 前記表示制御部は、前記判断部によって前記連携画面に前記操作受付領域が含まれていないと判断された場合に、前記連携画面を前記画像形成装置のディスプレイに表示するように構成される、請求項1に記載の情報処理システム。
  3. 前記画像形成装置は、前記画像形成装置のディスプレイに表示された前記連携画面に対するユーザー操作を受け付けた場合に、操作内容を表す情報を前記携帯端末に送信するように構成される、請求項1または2に記載の情報処理システム。
  4. 前記携帯端末は、前記連携画面と、前記連携画面における前記操作領域の範囲を表す座標情報とを互いに関連付けて保持する記憶装置を含み、
    前記抽出部は、前記座標情報に基づいて前記連携画面から前記操作領域を抽出するように構成される、請求項1または2に記載の情報処理システム。
  5. 前記携帯端末は、前記携帯端末のディスプレイに表示されている前記連携画面に関連付けられた前記座標情報を前記画像形成装置に送信するように構成され、
    前記画像形成装置は、前記抽出部と、前記表示制御部とを含む、請求項4に記載の情報処理システム。
  6. 前記携帯端末は、
    前記判断部と、前記抽出部とを含み、
    前記抽出部により抽出された前記操作領域に対応する画像データを前記画像形成装置に送信するように構成される、請求項4に記載の情報処理システム。
  7. 前記携帯端末は、前記携帯端末のディスプレイに表示されている前記連携画面の情報を前記画像形成装置に送信するための画面情報送信部を含み、
    前記画像形成装置は、前記携帯端末から受信した前記連携画面の情報に基づいて前記連携画面から前記操作領域を抽出する前記抽出部と、前記表示制御部とを含む、請求項1〜3のいずれか1項に記載の情報処理システム。
  8. 前記画像形成装置は、
    原稿を読み取るための画像読取装置を含み、
    前記画像形成装置のディスプレイに表示された前記連携画面に対するユーザー操作に従い前記画像読取装置により原稿を読み取った場合に、前記画像読取装置により生成された原稿データを前記携帯端末に送信するように構成され、
    前記画面情報送信部は、前記原稿データに対応するサムネイルが選択された場合に、前記連携画面の情報を前記画像形成装置に送信することを禁止するように構成される、請求項7に記載の情報処理システム。
  9. 前記画面情報送信部は、前記原稿データに対応するサムネイルが選択された場合に、前記サムネイルが選択されたことを表すプレビュー信号を、前記画像形成装置に対して送信するように構成され、
    前記表示制御部は、前記画像形成装置が前記プレビュー信号を受信したことに応じて、前記画像形成装置のディスプレイにプレビュー画面を表示する処理、または前記画像形成装置のディスプレイにプレビューの実行を促すメッセージを表示する処理を実行するように構成される、請求項8に記載の情報処理システム。
  10. 前記携帯端末は、前記連携画面に対するユーザーの操作履歴を記憶するための記憶装置を含み、
    前記抽出部は、前記判断部によって前記連携画面に前記操作受付領域が含まれていると判断された場合に、前記操作履歴に基づいて前記操作領域の一部を抽出するように構成される、請求項1〜4のいずれか1項に記載の情報処理システム。
  11. 前記表示制御部は、前記操作領域の大きさに基づいて、前記画像形成装置のディスプレイに表示する前記操作領域に対応する画像の大きさを決定するように構成される、請求項1〜10のいずれか1項に記載の情報処理システム。
  12. 画像形成装置と、前記画像形成装置と通信可能な携帯端末とを備える情報処理システムの制御方法であって、
    前記携帯端末のディスプレイに表示されている前記画像形成装置と連携するための連携画面に、ユーザーの操作を受け付けるための操作受付領域が含まれているか否かを判断するステップと、
    前記連携画面に前記操作受付領域が含まれていると判断された場合に、前記連携画面から前記操作受付領域を含む操作領域に対応する画像を抽出するステップと、
    前記抽出された操作領域に対応する画像を、前記画像形成装置のディスプレイに表示するステップとを備える、制御方法。
  13. 画像形成装置と連携可能に構成される携帯端末であって、
    ディスプレイと、
    前記画像形成装置との連携動作を制御するための制御装置とを備え、
    前記制御装置は、
    前記ディスプレイに表示されている前記画像形成装置と連携するための連携画面に、ユーザーの操作を受け付けるための操作受付領域が含まれているか否かを判断する判断部と、
    前記判断部によって前記連携画面に前記操作受付領域が含まれていると判断された場合に、前記連携画面から前記操作受付領域を含む操作領域に対応する画像を抽出する抽出部と、
    前記抽出部によって抽出された操作領域に対応する画像を前記画像形成装置に送信するための画面情報送信部とを含む、携帯端末。
JP2017052843A 2017-03-17 2017-03-17 情報処理システムおよび情報処理システムの制御方法 Active JP6922295B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017052843A JP6922295B2 (ja) 2017-03-17 2017-03-17 情報処理システムおよび情報処理システムの制御方法
US15/919,318 US10725724B2 (en) 2017-03-17 2018-03-13 Information processing system, method of controlling information processing system, and portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017052843A JP6922295B2 (ja) 2017-03-17 2017-03-17 情報処理システムおよび情報処理システムの制御方法

Publications (2)

Publication Number Publication Date
JP2018157382A true JP2018157382A (ja) 2018-10-04
JP6922295B2 JP6922295B2 (ja) 2021-08-18

Family

ID=63519328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017052843A Active JP6922295B2 (ja) 2017-03-17 2017-03-17 情報処理システムおよび情報処理システムの制御方法

Country Status (2)

Country Link
US (1) US10725724B2 (ja)
JP (1) JP6922295B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112540739B (zh) * 2019-09-21 2023-11-03 华为技术有限公司 一种投屏方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012064030A (ja) * 2010-09-16 2012-03-29 Ricoh Co Ltd ロケーションフリー印刷システム
JP2014197361A (ja) * 2013-03-29 2014-10-16 コニカミノルタ株式会社 画像処理装置、情報端末、プログラム及び連携表示システム
JP2015204047A (ja) * 2014-04-15 2015-11-16 コニカミノルタ株式会社 画像処理連携システムと連携方法、携帯端末装置及び画像処理連携プログラム
JP2017010281A (ja) * 2015-06-22 2017-01-12 コニカミノルタ株式会社 操作表示システム、操作表示装置および操作表示プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5664442B2 (ja) * 2011-04-27 2015-02-04 ブラザー工業株式会社 テレビ会議装置、表示制御方法及び表示制御プログラム
JP2015092304A (ja) 2012-02-24 2015-05-14 パナソニック株式会社 情報表示装置
JP5720661B2 (ja) * 2012-11-30 2015-05-20 コニカミノルタ株式会社 携帯端末装置、画像処理連携システム、画面データの表示方法及び表示プログラム
TWI604375B (zh) * 2014-06-23 2017-11-01 緯創資通股份有限公司 螢幕分享方法以及使用該方法的裝置
JP6417787B2 (ja) 2014-08-22 2018-11-07 株式会社リコー 表示装置、伝送システムおよび伝送方法
KR102450840B1 (ko) * 2015-11-19 2022-10-05 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012064030A (ja) * 2010-09-16 2012-03-29 Ricoh Co Ltd ロケーションフリー印刷システム
JP2014197361A (ja) * 2013-03-29 2014-10-16 コニカミノルタ株式会社 画像処理装置、情報端末、プログラム及び連携表示システム
JP2015204047A (ja) * 2014-04-15 2015-11-16 コニカミノルタ株式会社 画像処理連携システムと連携方法、携帯端末装置及び画像処理連携プログラム
JP2017010281A (ja) * 2015-06-22 2017-01-12 コニカミノルタ株式会社 操作表示システム、操作表示装置および操作表示プログラム

Also Published As

Publication number Publication date
US20180267769A1 (en) 2018-09-20
JP6922295B2 (ja) 2021-08-18
US10725724B2 (en) 2020-07-28

Similar Documents

Publication Publication Date Title
US11824673B2 (en) Content sharing by pointing to content
KR101766523B1 (ko) 정보 처리 장치, 정보 처리 장치의 제어 방법 및 기억 매체
US10852912B2 (en) Image creation app in messaging app
KR102026511B1 (ko) 화상 처리 장치, 그 제어 방법 및 기억 매체
US10368208B2 (en) Layers in messaging applications
US8243983B2 (en) Graphically encoded data copy and paste
US10491764B2 (en) Information-processing apparatus, control method of information-processing apparatus, program, recording medium, portable terminal, and information-processing system
US20070103455A1 (en) Information processing apparatus and method, program, and recording medium
US10327144B2 (en) Printing apparatus for performing wireless communication, method for controlling printing apparatus, and storage medium
US20160301876A1 (en) Electronic device and image display method
JP6922295B2 (ja) 情報処理システムおよび情報処理システムの制御方法
US20180152555A1 (en) Electronic device and method of executing application
JP2018060513A (ja) 通信端末、通信システム、送信方法、及びプログラム
JP2017164914A (ja) 描画処理装置、画像処理装置、描画処理方法及び描画処理プログラム
JP5842883B2 (ja) 携帯端末装置、画像処理装置からの読み取りデータの取得方法及び取得プログラム
JP7331529B2 (ja) 情報処理装置及び情報処理プログラム
US10554907B2 (en) Improving static image quality when overlaying a dynamic image and static image
US20200351416A1 (en) Image processing method, image processing apparatus, and storage medium that extract first information and second information from acquired image data and that process the first information on the basis of the second
JP2011193252A (ja) 通信端末及びメール入力方法
JP2017016370A (ja) 端末、画像判定システム、画像判定方法およびプログラム
JP4969690B2 (ja) 携帯通信端末およびプログラム
CN116939115A (zh) 图像形成装置、信息处理装置、其控制方法及存储介质
JP2020136994A (ja) 記録装置、記録装置の制御方法およびプログラム
JPWO2014109409A1 (ja) 通信端末及び記憶媒体
JP2020098950A (ja) 記録装置、記録装置の制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210712

R150 Certificate of patent or registration of utility model

Ref document number: 6922295

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150