JP2018112860A - Information processing device and program - Google Patents

Information processing device and program Download PDF

Info

Publication number
JP2018112860A
JP2018112860A JP2017002491A JP2017002491A JP2018112860A JP 2018112860 A JP2018112860 A JP 2018112860A JP 2017002491 A JP2017002491 A JP 2017002491A JP 2017002491 A JP2017002491 A JP 2017002491A JP 2018112860 A JP2018112860 A JP 2018112860A
Authority
JP
Japan
Prior art keywords
function
image
processing apparatus
information processing
cooperation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017002491A
Other languages
Japanese (ja)
Inventor
賢吾 得地
Kengo Tokuchi
賢吾 得地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2017002491A priority Critical patent/JP2018112860A/en
Priority to US15/641,871 priority patent/US10440208B2/en
Priority to CN201710938467.4A priority patent/CN108307084B/en
Publication of JP2018112860A publication Critical patent/JP2018112860A/en
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00334Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus processing barcodes or the like
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00336Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing pattern recognition, e.g. of a face or a geographic feature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00474Output means outputting a plurality of functional options, e.g. scan, copy or print
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00912Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Facsimiles In General (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve the convenience of a user in executing a cooperation function.SOLUTION: When a first image associated with first equipment necessary to execute a cooperation function is specified, an information processing device controls notification of guidance to second equipment which can execute the cooperation function together with the first equipment. When a first image associated with a first function necessary to execute the cooperation function is specified, the information processing device controls notification of guidance to a second function which can execute the cooperation function together with the first function.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理装置及びプログラムに関する。   The present invention relates to an information processing apparatus and a program.

特許文献1,2には、複数の機器を連携させる技術が開示されている。   Patent Documents 1 and 2 disclose techniques for linking a plurality of devices.

特開2015−177504号公報JP2015-177504A 特開2015−223006号公報Japanese Patent Laying-Open No. 2015-223006

ところで、実行したい連携機能が実行できない場合がある。   By the way, there is a case where the cooperation function to be executed cannot be executed.

本発明の目的は、連携機能を実行する場合におけるユーザの利便性を向上させることにある。   An object of the present invention is to improve the convenience of the user when executing the cooperation function.

請求項1に係る発明は、連携機能を実行するために必要な第1機器に紐付く第1画像が指定された場合、前記第1機器と共に前記連携機能を実行できる第2機器への案内の通知を制御する制御手段、を有する情報処理装置である。   According to the first aspect of the present invention, when the first image associated with the first device necessary for executing the cooperation function is designated, guidance to the second device that can execute the cooperation function together with the first device is provided. An information processing apparatus having control means for controlling notification.

請求項2に係る発明は、前記制御手段は、前記第1機器と共に前記連携機能を実行できない機器に紐付く画像が更に指定された場合、前記案内の通知を制御する、ことを特徴とする請求項1に記載の情報処理装置である。   The invention according to claim 2 is characterized in that the control means controls notification of the guidance when an image associated with a device that cannot execute the cooperation function together with the first device is further specified. The information processing apparatus according to Item 1.

請求項3に係る発明は、前記制御手段は、前記第1画像と、前記第1機器と共に前記連携機能を実行できない機器に紐付く画像と、を繋ぐ操作が行われた場合、前記案内の通知を制御する、ことを特徴とする請求項2に記載の情報処理装置である。   According to a third aspect of the present invention, when the operation of connecting the first image and an image associated with a device that cannot execute the cooperation function together with the first device is performed, the control unit notifies the guidance. The information processing apparatus according to claim 2, wherein the information processing apparatus is controlled.

請求項4に係る発明は、前記制御手段は、前記第1画像と、前記第1機器と共に前記連携機能を実行できない機器に紐付く画像と、が重ねられた場合、前記案内の通知を制御する、ことを特徴とする請求項2に記載の情報処理装置である。   According to a fourth aspect of the present invention, the control means controls the notification of the guidance when the first image and an image associated with a device that cannot execute the cooperation function together with the first device are overlapped. The information processing apparatus according to claim 2.

請求項5に係る発明は、前記第1機器と共に前記連携機能を実行できない機器は、当該機器の状況に応じて、前記第1機器と共に前記連携機能を実行できる機器に変更される、ことを特徴とする請求項2から請求項4何れかに記載の情報処理装置である。   The invention according to claim 5 is characterized in that a device that cannot execute the cooperation function together with the first device is changed to a device that can execute the cooperation function together with the first device according to a situation of the device. An information processing apparatus according to any one of claims 2 to 4.

請求項6に係る発明は、前記第1機器と共に前記連携機能を実行できない機器は、故障中又は使用中の機器であり、前記制御手段は、前記第1機器と共に前記連携機能を実行できない機器が更に指定された場合、当該機器と同種の機器であって前記第1機器と共に前記連携機能を実行できる機器を前記第2機器として優先的に案内の通知を行う、ことを特徴とする請求項2から請求項5何れかに記載の情報処理装置である。   In the invention according to claim 6, the device that cannot execute the linkage function together with the first device is a device that is in failure or in use, and the control means is a device that cannot execute the linkage function together with the first device. Further, when specified, a notification of guidance is preferentially given to a device of the same type as the device and capable of executing the linkage function together with the first device as the second device. The information processing apparatus according to claim 5.

請求項7に係る発明は、前記第1機器と共に前記連携機能を実行できない機器は、前記第1機器の周辺環境に応じて、前記第1機器と共に前記連携機能を実行できる機器に変更される、ことを特徴とする請求項2から請求項4何れかに記載の情報処理装置である。   The invention which concerns on Claim 7 is changed into the apparatus which can perform the said cooperation function with the said 1st apparatus according to the surrounding environment of the said 1st apparatus, the apparatus which cannot perform the said cooperation function with the said 1st apparatus. The information processing apparatus according to claim 2, wherein the information processing apparatus is an information processing apparatus.

請求項8に係る発明は、前記第1機器の状況に応じて前記第2機器が変更される、ことを特徴とする請求項1から請求項7何れかに記載の情報処理装置である。   The invention according to claim 8 is the information processing apparatus according to any one of claims 1 to 7, wherein the second device is changed in accordance with a situation of the first device.

請求項9に係る発明は、前記制御手段は、前記第1画像が指定された場合、前記第1機器と共に前記連携機能を実行できる機能であって前記第2機器が有する1又は複数の機能への前記案内の通知を制御する、ことを特徴とする請求項1から請求項8何れかに記載の情報処理装置である。   According to a ninth aspect of the present invention, when the first image is designated, the control means is a function capable of executing the linkage function together with the first device, and the one or more functions of the second device. 9. The information processing apparatus according to claim 1, wherein notification of the guidance is controlled.

請求項10に係る発明は、前記制御手段は、前記第1画像内の部分画像が指定された場合、前記部分画像に対応する機能と共に前記連携機能を実行できる前記第2機器への前記案内の通知を制御する、ことを特徴とする請求項1から請求項8何れかに記載の情報処理装置である。   According to a tenth aspect of the present invention, when the partial image in the first image is designated, the control means performs the guidance to the second device that can execute the linkage function together with the function corresponding to the partial image. The information processing apparatus according to claim 1, wherein notification is controlled.

請求項11に係る発明は、前記制御手段は、前記第2機器に紐付く第2画像への前記案内の通知を制御する、ことを特徴とする請求項10に記載の情報処理装置である。   The invention according to claim 11 is the information processing apparatus according to claim 10, wherein the control unit controls notification of the guidance to a second image associated with the second device.

請求項12に係る発明は、前記制御手段は、前記第1画像内の部分画像が指定された場合、前記部分画像に対応する機能と共に前記連携機能を実行できる機能であって前記第2機器が有する1又は複数の機能への前記案内の通知を制御する、ことを特徴とする請求項10に記載の情報処理装置である。   According to a twelfth aspect of the present invention, the control means is a function capable of executing the linkage function together with a function corresponding to the partial image when the partial image in the first image is designated. The information processing apparatus according to claim 10, wherein notification of the guidance to one or more functions is controlled.

請求項13に係る発明は、前記制御手段は、前記第2機器に紐付く第2画像内の1又は複数の部分画像であって前記1又は複数の機能に紐付く1又は複数の部分画像への前記案内の通知を制御する、ことを特徴とする請求項9又は請求項12に記載の情報処理装置である。   The invention according to claim 13 is the one or more partial images in the second image associated with the second device, wherein the control means associates with the one or more functions. The information processing apparatus according to claim 9, wherein notification of the guidance is controlled.

請求項14に係る発明は、前記制御手段は、前記案内の通知として、前記第1画像から前記第2機器に紐付く第2画像への誘導指示の表示を制御する、ことを特徴とする請求項1から請求項13何れかに記載の情報処理装置である。   The invention according to claim 14 is characterized in that the control means controls display of a guidance instruction from the first image to a second image associated with the second device as the guidance notification. An information processing apparatus according to any one of claims 1 to 13.

請求項15に係る発明は、前記第1画像と複数の第2画像が表示手段に表示されている場合、前記制御手段は、前記第1画像から前記複数の第2画像への誘導指示を前記表示手段に表示させる、ことを特徴とする請求項14に記載の情報処理装置である。   According to a fifteenth aspect of the present invention, when the first image and the plurality of second images are displayed on the display unit, the control unit issues a guidance instruction from the first image to the plurality of second images. The information processing apparatus according to claim 14, wherein the information processing apparatus is displayed on a display unit.

請求項16に係る発明は、前記制御手段は、各第2機器に設定された優先順位に従った誘導指示を前記表示手段に表示させる、ことを特徴とする請求項15に記載の情報処理装置である。   The invention according to claim 16 is characterized in that the control means causes the display means to display a guidance instruction according to the priority order set for each second device. It is.

請求項17に係る発明は、前記制御手段は、前記案内の通知として、前記連携機能を実行できる第2機器に関する情報を示す候補リストの表示を制御する、ことを特徴とする請求項1から請求項13何れかに記載の情報処理装置である。   The invention according to claim 17 is characterized in that the control means controls display of a candidate list indicating information related to a second device capable of executing the cooperation function as the guidance notification. Item 14. The information processing device according to any one of Items 13.

請求項18に係る発明は、前記候補リスト内の各第2機器の並びの順番は、各第2機器の過去の利用実績に基づいて決定される、ことを特徴とする請求項17に記載の情報処理装置である。   The invention according to claim 18 is characterized in that the order of arrangement of each second device in the candidate list is determined based on the past usage record of each second device. Information processing apparatus.

請求項19に係る発明は、前記過去の利用実績は、前記第1画像を指定したユーザの利用実績、又は、他のユーザの利用実績を含む利用実績である、ことを特徴とする請求項18に記載の情報処理装置である。   The invention according to claim 19 is characterized in that the past use record is a use record including a use record of a user who specified the first image or a use record of other users. It is an information processing apparatus as described in.

請求項20に係る発明は、実行可能な連携機能の数が多い第2機器ほど、前記候補リスト内において上位の順番に割り当てられる、ことを特徴とする請求項17に記載の情報処理装置である。   The invention according to claim 20 is the information processing apparatus according to claim 17, wherein a second device having a larger number of executable cooperation functions is assigned in a higher order in the candidate list. .

請求項21に係る発明は、前記候補リストには、各第2機器の名称、及び、各第2機器の画像の中の少なくとも1つが含まれる、ことを特徴とする請求項17から請求項20何れかに記載の情報処理装置である。   The invention according to claim 21 is characterized in that the candidate list includes at least one of a name of each second device and an image of each second device. An information processing apparatus according to any one of the above.

請求項22に係る発明は、前記各第2機器の画像は、前記各第2機器を撮影することで得られた画像、又は、前記各第2機器を模した画像である、ことを特徴とする請求項21に記載の情報処理装置である。   The invention according to claim 22 is characterized in that the image of each second device is an image obtained by photographing each second device or an image imitating each second device. An information processing apparatus according to claim 21.

請求項23に係る発明は、前記各第2機器の画像が前記各第2機器を模した画像である場合において、前記候補リスト内にて第2機器が指定された場合、前記制御手段は、利用可能な第2機器の一覧の表示を制御し、その一覧の中から第2機器が指定された場合に前記連携機能に関する情報の表示を制御する、ことを特徴とする請求項22に記載の情報処理装置である。   In the invention according to claim 23, when the image of each second device is an image simulating each second device, and the second device is designated in the candidate list, the control means includes: 23. The display of a list of available second devices is controlled, and when a second device is specified from the list, the display of information related to the linkage function is controlled. Information processing apparatus.

請求項24に係る発明は、前記制御手段は、前記候補リスト内にて第2機器が指定された場合に、その指定された第2機器を利用する前記連携機能に関する情報の表示を制御する、ことを特徴とする請求項17から請求項22何れかに記載の情報処理装置である。   In the invention according to claim 24, when the second device is designated in the candidate list, the control means controls the display of information related to the cooperation function using the designated second device. The information processing apparatus according to claim 17, wherein the information processing apparatus is an information processing apparatus.

請求項25に係る発明は、前記制御手段は、前記第1機器と前記第2機器が指定された場合、前記連携機能の表示を更に制御する、ことを特徴とする請求項1から請求項22何れかに記載の情報処理装置である。   The invention according to claim 25 is characterized in that the control means further controls display of the cooperation function when the first device and the second device are designated. An information processing apparatus according to any one of the above.

請求項26に係る発明は、前記制御手段は、前記第1機器と前記第2機器の指定の順番に応じて、前記連携機能を変えて表示を制御する、ことを特徴とする請求項25に記載の情報処理装置である。   The invention according to claim 26 is characterized in that the control means controls the display by changing the cooperation function in accordance with the designation order of the first device and the second device. The information processing apparatus described.

請求項27に係る発明は、前記制御手段は、前記第1機器と前記第2機器が指定された場合、前記第1機器及び前記第2機器とともに連携機能を実行できる第3機器への案内の通知を更に制御する、ことを特徴とする請求項1から請求項26何れかに記載の情報処理装置である。   According to a twenty-seventh aspect of the present invention, when the first device and the second device are designated, the control means guides a third device that can execute a linkage function together with the first device and the second device. The information processing apparatus according to any one of claims 1 to 26, wherein the notification is further controlled.

請求項28に係る発明は、前記制御手段は、前記第1機器と前記第2機器の指定の順番に応じて、前記第3機器を変えて前記案内の通知を制御する、ことを特徴とする請求項27に記載の情報処理装置である。   The invention according to Claim 28 is characterized in that the control means controls the notification of the guidance by changing the third device in accordance with the designation order of the first device and the second device. An information processing apparatus according to claim 27.

請求項29に係る発明は、前記第1機器と前記第2機器は、予め登録された機器群、識別された機器群、表示手段に表示された機器群、又は、表示手段の画面内において特定の領域に表示された機器群に含まれる機器である、ことを特徴とする請求項1から請求項28何れかに記載の情報処理装置である。   According to a twenty-ninth aspect of the present invention, the first device and the second device are identified in a pre-registered device group, an identified device group, a device group displayed on a display unit, or a screen of the display unit. 29. The information processing apparatus according to claim 1, wherein the information processing apparatus is a device included in the device group displayed in the area.

請求項30に係る発明は、前記第1画像は、前記第1機器を撮影することで得られた画像、又は、前記第1機器を模した画像である、ことを特徴とする請求項1から請求項29何れかに記載の情報処理装置である。   The invention according to claim 30 is characterized in that the first image is an image obtained by photographing the first device or an image imitating the first device. 30. An information processing apparatus according to claim 29.

請求項31に係る発明は、連携機能を実行するために必要な第1機能に紐付く第1画像が指定された場合、前記第1機能と共に前記連携機能を実行できる第2機能への案内の通知を制御する制御手段、を有する情報処理装置である。   In the invention according to claim 31, when the first image associated with the first function necessary for executing the cooperation function is designated, the guidance of the second function capable of executing the cooperation function together with the first function is provided. An information processing apparatus having control means for controlling notification.

請求項32に係る発明は、前記制御手段は、前記第1機能と共に前記連携機能を実行できない機能に紐付く画像が更に指定された場合、前記案内の通知を制御する、ことを特徴とする請求項31に記載の情報処理装置である。   The invention according to a thirty-second aspect is characterized in that the control means controls notification of the guidance when an image associated with the function that cannot execute the linkage function is specified together with the first function. Item 32. The information processing device according to Item 31.

請求項33に係る発明は、前記制御手段は、前記第1画像と、前記第1機能と共に前記連携機能を実行できない機能に紐付く画像と、を繋ぐ操作が行われた場合、前記案内の通知を制御する、ことを特徴とする請求項32に記載の情報処理装置である。   According to a thirty-third aspect of the present invention, when the control means performs an operation of connecting the first image and an image associated with a function that cannot execute the linkage function together with the first function, the notification of the guidance is performed. The information processing apparatus according to claim 32, wherein the information processing apparatus is controlled.

請求項34に係る発明は、前記制御手段は、前記第1画像と、前記第1機能と共に前記連携機能を実行できない機能に紐付く画像と、が重ねられた場合、前記案内の通知を制御する、ことを特徴とする請求項32に記載の情報処理装置である。   In a thirty-fourth aspect of the invention, the control means controls the notification of the guidance when the first image and an image associated with the function that cannot execute the linkage function together with the first function are overlaid. 33. The information processing apparatus according to claim 32, wherein:

請求項35に係る発明は、前記第1機能と共に前記連携機能を実行できない機能は、当該機能の状況に応じて、前記第1機能と共に前記連携機能を実行できる機能に変更される、ことを特徴とする請求項32から請求項34何れかに記載の情報処理装置である。   According to a thirty-fifth aspect of the present invention, the function that cannot execute the cooperative function together with the first function is changed to a function that can execute the cooperative function together with the first function according to the status of the function. An information processing apparatus according to any one of claims 32 to 34.

請求項36に係る発明は、前記第1機能と共に前記連携機能を実行できない機能は、使用中の機能であり、前記制御手段は、前記第1機能と共に前記連携機能を実行できない機能が更に指定された場合に、当該機能と同種の機能であって前記第1機能と共に前記連携機能を実行できる機能を前記第2機能として優先的に案内の通知を行う、ことを特徴とする請求項32から請求項35何れかに記載の情報処理装置である。   According to a thirty-sixth aspect of the present invention, the function that cannot execute the linkage function together with the first function is a function that is in use, and the control means further specifies a function that cannot execute the linkage function together with the first function. 33. The guidance notification is given preferentially as a function that is the same type of function as the function and that can execute the linkage function together with the first function as the second function. Item 36. The information processing device according to any one of Item 35.

請求項37に係る発明は、前記制御手段は、前記第1画像が指定された場合、前記第1機能と共に前記連携機能を実行できる機能であって前記第2機能に含まれる1又は複数への前記案内の通知を制御する、ことを特徴とする請求項31から請求項36何れかに記載の情報処理装置である。   According to a thirty-seventh aspect of the present invention, when the first image is designated, the control means is a function that can execute the linkage function together with the first function, and includes one or a plurality of functions included in the second function. 37. The information processing apparatus according to claim 31, wherein notification of the guidance is controlled.

請求項38に係る発明は、前記制御手段は、前記第1画像内の部分画像が指定された場合、前記部分画像に対応する機能と共に前記連携機能を実行できる前記第2機能への前記案内の通知を制御する、ことを特徴とする請求項31から請求項36何れかに記載の情報処理装置である。   According to a thirty-eighth aspect of the invention, when the partial image in the first image is designated, the control means is configured to perform the guidance to the second function capable of executing the linkage function together with a function corresponding to the partial image. The information processing apparatus according to any one of claims 31 to 36, wherein notification is controlled.

請求項39に係る発明は、前記制御手段は、前記第2機能に紐付く第2画像への前記案内の通知を制御する、ことを特徴とする請求項38に記載の情報処理装置である。   The invention according to claim 39 is the information processing apparatus according to claim 38, wherein the control means controls the notification of the guidance to the second image associated with the second function.

請求項40に係る発明は、前記制御手段は、前記第1画像内の部分画像が指定された場合、前記部分画像に対応する機能と共に前記連携機能を実行できる機能であって前記第2機能に含まれる1又は複数の機能への前記案内の通知を制御する、ことを特徴とする請求項38に記載の情報処理装置である。   The invention according to claim 40 is a function that, when a partial image in the first image is designated, the control means can execute the linkage function together with a function corresponding to the partial image. 39. The information processing apparatus according to claim 38, wherein notification of the guidance to one or a plurality of functions included is controlled.

請求項41に係る発明は、前記制御手段は、前記第2機能に紐付く第2画像内の1又は複数の部分画像であって前記1又は複数の機能に紐付く1又は複数の部分画像への前記案内の通知を制御する、ことを特徴とする請求項37又は請求項40何れかに記載の情報処理装置である。   The invention according to claim 41 is characterized in that the control means is one or a plurality of partial images in the second image associated with the second function and is associated with the one or more functions. 41. The information processing apparatus according to claim 37, wherein notification of the guidance is controlled.

請求項42に係る発明は、前記制御手段は、前記案内の通知として、前記第1画像から前記第2機能に紐付く第2画像への誘導指示の表示を制御する、ことを特徴とする請求項31から請求項41何れかに記載の情報処理装置である。   The invention according to claim 42 is characterized in that the control means controls display of a guidance instruction from the first image to the second image associated with the second function as the guidance notification. An information processing apparatus according to any one of Items 31 to 41.

請求項43に係る発明は、前記第1画像と複数の第2画像が表示手段に表示されている場合、前記制御手段は、前記第1画像から前記複数の第2画像への誘導指示を前記表示手段に表示させる、ことを特徴とする請求項42に記載の情報処理装置である。   In the invention according to claim 43, when the first image and the plurality of second images are displayed on the display unit, the control unit issues a guidance instruction from the first image to the plurality of second images. 43. The information processing apparatus according to claim 42, wherein the information processing apparatus is displayed on a display unit.

請求項44に係る発明は、前記制御手段は、各第2機能に設定された優先順位に従った誘導指示を前記表示手段に表示させる、ことを特徴とする請求項43に記載の情報処理装置である。   44. The information processing apparatus according to claim 43, wherein the control means causes the display means to display a guidance instruction according to a priority set for each second function. It is.

請求項45に係る発明は、前記制御手段は、前記案内の通知として、前記連携機能を実行できる第2機能に関する情報を示す候補リストの出力を制御する、ことを特徴とする請求項31から請求項41何れかに記載の情報処理装置である。   The invention according to claim 45 is characterized in that the control means controls output of a candidate list indicating information on a second function capable of executing the cooperation function as the guidance notification. Item 42. The information processing device according to any one of Items 41.

請求項46に係る発明は、前記候補リスト内の各第2機能の並びの順番は、各第2機能の過去の利用実績に基づいて決定される、ことを特徴とする請求項45に記載の情報処理装置である。   The invention according to claim 46 is characterized in that the order of arrangement of the respective second functions in the candidate list is determined based on past use results of the respective second functions. Information processing apparatus.

請求項47に係る発明は、前記過去の利用実績は、前記第1画像を指定したユーザの利用実績、又は、他のユーザの利用実績を含む利用実績である、ことを特徴とする請求項46に記載の情報処理装置である。   47. The invention according to claim 47, wherein the past use record is a use record including a use record of a user who specified the first image or a use record of another user. It is an information processing apparatus as described in.

請求項48に係る発明は、実行可能な連携機能の数が多い第2機能ほど、前記候補リスト内において上位の順番に割り当てられる、ことを特徴とする請求項45に記載の情報処理装置である。   The invention according to claim 48 is the information processing apparatus according to claim 45, wherein a second function having a larger number of executable cooperation functions is assigned in a higher order in the candidate list. .

請求項49に係る発明は、前記候補リストには、各第2機能の名称、及び、各第2機能の画像の中の少なくとも1つが含まれる、ことを特徴とする請求項45から請求項48何れかに記載の情報処理装置である。   The invention according to claim 49 is characterized in that the candidate list includes at least one of a name of each second function and an image of each second function. An information processing apparatus according to any one of the above.

請求項50に係る発明は、前記制御手段は、前記候補リスト内にて第2機能が指定された場合、その指定された第2機能を利用する前記連携機能に関する情報の表示を制御する、ことを特徴とする請求項45から請求項49何れかに記載の情報処理装置である。   According to a 50th aspect of the invention, when the second function is designated in the candidate list, the control means controls display of information relating to the cooperation function that uses the designated second function. An information processing apparatus according to any one of claims 45 to 49.

請求項51に係る発明は、前記制御手段は、前記第1機能と前記第2機能が指定された場合、前記連携機能の表示を更に制御する、ことを特徴とする請求項31から請求項49何れかに記載の情報処理装置である。   The invention according to claim 51 is characterized in that, when the first function and the second function are designated, the control means further controls display of the cooperation function. An information processing apparatus according to any one of the above.

請求項52に係る発明は、前記制御手段は、前記第1機能と前記第2機能の指定の順番に応じて、前記連携機能を変えて表示を制御する、ことを特徴とする請求項51に記載の情報処理装置である。   The invention according to Claim 52 is characterized in that the control means controls the display by changing the cooperation function according to the designation order of the first function and the second function. The information processing apparatus described.

請求項53に係る発明は、前記制御手段は、前記第1機能と前記第2機能が指定された場合、前記第1機能及び前記第2機能とともに連携機能を実行できる第3機能への案内の通知を更に制御する、ことを特徴とする請求項31から請求項52何れかに記載の情報処理装置である。   The invention according to Claim 53 is directed to a third function capable of executing a linkage function together with the first function and the second function when the first function and the second function are designated. 53. The information processing apparatus according to claim 31, further controlling the notification.

請求項54に係る発明は、前記制御手段は、前記第1機能と前記第2機能の指定の順番に応じて、前記第3機能を変えて前記案内の通知を制御する、ことを特徴とする請求項53に記載の情報処理装置である。   The invention according to claim 54 is characterized in that the control means controls the notification of the guidance by changing the third function in accordance with the order of designation of the first function and the second function. 54. An information processing apparatus according to claim 53.

請求項55に係る発明は、前記第1機能と前記第2機能は、予め登録された機能群、識別された1又は複数の機器が有する機能群、表示手段に表示された機能群、又は、表示手段の画面内において特定の領域に表示された機能群に含まれる機能である、ことを特徴とする請求項31から請求項54何れかに記載の情報処理装置である。   According to a 55th aspect of the present invention, the first function and the second function include a function group registered in advance, a function group included in one or more identified devices, a function group displayed on a display unit, or 55. The information processing apparatus according to claim 31, wherein the information processing apparatus is a function included in a function group displayed in a specific area in the screen of the display unit.

請求項56に係る発明は、コンピュータを、連携機能を実行するために必要な第1機器に紐付く第1画像が指定された場合、前記第1機器と共に前記連携機能を実行できる第2機器への案内の通知を制御する制御手段、として機能させるプログラムである。   The invention according to claim 56 is directed to a second device capable of executing the cooperation function together with the first device when a first image associated with the first device necessary for executing the cooperation function is designated. It is a program which functions as a control means for controlling notification of the guidance.

請求項57に係る発明は、コンピュータを、連携機能を実行するために必要な第1機能に紐付く第1画像が指定された場合、前記第1機能と共に前記連携機能を実行できる第2機能への案内の通知を制御する制御手段、として機能させるプログラムである。   The invention according to claim 57 is directed to a second function capable of executing the linkage function together with the first function when the first image associated with the first function necessary for executing the linkage function is designated. It is a program which functions as a control means for controlling notification of the guidance.

請求項1,27,29,30,56に係る発明によると、連携機能を実行する場合におけるユーザの利便性が向上する。   According to the inventions according to claims 1, 27, 29, 30, and 56, the convenience of the user when executing the cooperation function is improved.

請求項2,32に係る発明によると、案内が常時通知される場合に発生し得る煩雑さを回避できる。   According to the inventions according to claims 2 and 32, it is possible to avoid the complexity that may occur when the guidance is constantly notified.

請求項3,33に係る発明によると、画像を繋ぐ操作によって案内の通知が制御される。   According to the inventions according to claims 3 and 33, the notification of guidance is controlled by the operation of connecting the images.

請求項4,34に係る発明によると、画像を重ねる操作によって案内の通知が制御される。   According to the inventions related to claims 4 and 34, the notification of guidance is controlled by the operation of overlapping images.

請求項5,8に係る発明によると、機器の状況に応じて案内の通知が制御される。   According to the fifth and eighth aspects of the invention, the notification of guidance is controlled according to the status of the device.

請求項6,28に係る発明によると、利用されると想定される機器の案内の通知が制御される。   According to the inventions according to claims 6 and 28, the notification of guidance of the equipment that is assumed to be used is controlled.

請求項7に係る発明によると、機器の周辺環境に応じて案内の通知が制御される。   According to the invention which concerns on Claim 7, the notification of guidance is controlled according to the surrounding environment of an apparatus.

請求項9,12,13に係る発明によると、機器が有する機能が個別的に案内される。   According to the invention which concerns on Claim 9,12,13, the function which an apparatus has is guided separately.

請求項10,11に係る発明によると、機器が有する特定の機能と共に連携機能を実行することが可能な機器の案内の通知が制御される。   According to the invention which concerns on Claim 10, 11, the notification of the guidance of the apparatus which can perform a cooperation function with the specific function which an apparatus has is controlled.

請求項14,15に係る発明によると、連携機能を実行することが可能な機器が視覚的に分かり易くなる。   According to the fourteenth and fifteenth aspects of the present invention, a device capable of executing the cooperation function can be visually easily understood.

請求項16に係る発明によると、連携機能を実行することが可能な機器の優先順位が視覚的に分かり易くなる。   According to the invention which concerns on Claim 16, it becomes easy to understand visually the priority of the apparatus which can perform a cooperation function.

請求項17,21,22,23,24に係る発明によると、連携機能を実行することが可能な機器がリスト化されて提示される。   According to the inventions according to claims 17, 21, 22, 23, and 24, devices capable of executing the cooperation function are presented in a list.

請求項18,19に係る発明によると、各機器間の相対的な利用実績の把握が容易となる。   According to the inventions according to claims 18 and 19, it is easy to grasp the relative usage record between the devices.

請求項20に係る発明によると、実行可能な連携機能の数が他の機器よりも多い機器の把握が容易となる。   According to the invention of claim 20, it becomes easy to grasp a device having more executable cooperation functions than other devices.

請求項25に係る発明によると、複数の機器を指定することで、連携機能の表示が制御される。   According to the invention of claim 25, the display of the cooperation function is controlled by designating a plurality of devices.

請求項26,52に係る発明によると、利用されると想定される連携機能の表示が制御される。   According to the invention which concerns on Claim 26,52, the display of the cooperation function assumed to be utilized is controlled.

請求項31,53,55,57に係る発明によると、連携機能を実行するために必要な機能を指定する場合におけるユーザの利便性が向上する。   According to the inventions related to claims 31, 53, 55, and 57, the convenience of the user in the case of specifying a function necessary for executing the cooperation function is improved.

請求項35に係る発明によると、機能の状況に応じて案内の通知が制御される。   According to the invention of claim 35, the notification of guidance is controlled according to the function status.

請求項36,54に係る発明によると、利用されると想定される機能の案内の通知が制御される。   According to the inventions according to claims 36 and 54, the notification of the function guidance assumed to be used is controlled.

請求項37,38,39,40,41に係る発明によると、機能が個別的に案内される。   According to the invention according to claims 37, 38, 39, 40, and 41, the functions are individually guided.

請求項42,43に係る発明によると、連携機能を実行することが可能な機能が視覚的に分かり易くなる。   According to the inventions according to claims 42 and 43, the function capable of executing the cooperation function is visually easily understood.

請求項44に係る発明によると、連携機能を実行することが可能な機能の優先順位が視覚的に分かり易くなる。   According to the invention of claim 44, the priority order of the functions capable of executing the cooperation function can be easily understood visually.

請求項45,49,50に係る発明によると、連携機能を実行することが可能な機能がリスト化されて提示される。   According to the inventions according to claims 45, 49, and 50, the functions capable of executing the cooperation function are presented in a list.

請求項46,47に係る発明によると、各機能間の相対的な利用実績の把握が容易となる。   According to the inventions according to claims 46 and 47, it is easy to grasp the relative usage results between the respective functions.

請求項48に係る発明によると、実行可能な連携機能の数が他の機能よりも多い機能の把握が容易となる。   According to the invention of claim 48, it becomes easy to grasp a function having more executable cooperation functions than other functions.

請求項51に係る発明によると、複数の機能を指定することで、連携機能の表示が制御される。   According to the invention of claim 51, the display of the cooperation function is controlled by designating a plurality of functions.

本発明の実施形態に係る機器システムを示すブロック図である。It is a block diagram which shows the apparatus system which concerns on embodiment of this invention. 本実施形態に係る画像形成装置を示すブロック図である。1 is a block diagram illustrating an image forming apparatus according to an exemplary embodiment. 本実施形態に係るサーバを示すブロック図である。It is a block diagram which shows the server which concerns on this embodiment. 本実施形態に係る端末装置を示すブロック図である。It is a block diagram which shows the terminal device which concerns on this embodiment. 画像形成装置の外観を示す模式図である。1 is a schematic diagram illustrating an appearance of an image forming apparatus. 機器機能管理テーブルの一例を示す図である。It is a figure which shows an example of an apparatus function management table. 連携機能管理テーブルの一例を示す図である。It is a figure which shows an example of a cooperation function management table. 単独で利用される機器を示す図である。It is a figure which shows the apparatus utilized independently. 機能表示画面の一例を示す図である。It is a figure which shows an example of a function display screen. 機能表示画面の一例を示す図である。It is a figure which shows an example of a function display screen. 連携対象の機器を示す図である。It is a figure which shows the apparatus of cooperation object. 機能表示画面の一例を示す図である。It is a figure which shows an example of a function display screen. 接続処理を示すシーケンス図である。It is a sequence diagram which shows a connection process. 機器表示画面の一例を示す図である。It is a figure which shows an example of an apparatus display screen. 実施例1に係る機器表示画面の一例を示す図である。It is a figure which shows an example of the apparatus display screen which concerns on Example 1. FIG. 実施例2に係る機器表示画面の一例を示す図である。FIG. 10 is a diagram illustrating an example of a device display screen according to the second embodiment. 実施例3に係る機器表示画面の一例を示す図である。It is a figure which shows an example of the apparatus display screen which concerns on Example 3. FIG. 実施例3に係る機器表示画面の一例を示す図である。It is a figure which shows an example of the apparatus display screen which concerns on Example 3. FIG. 実施例3に係る機器表示画面の一例を示す図である。It is a figure which shows an example of the apparatus display screen which concerns on Example 3. FIG. 実施例3に係る機器表示画面の一例を示す図である。It is a figure which shows an example of the apparatus display screen which concerns on Example 3. FIG. 実施例4に係る機器表示画面の一例を示す図である。It is a figure which shows an example of the apparatus display screen which concerns on Example 4. FIG. 実施例4に係る機器表示画面の一例を示す図である。It is a figure which shows an example of the apparatus display screen which concerns on Example 4. FIG. 実施例5に係る機器表示画面の一例を示す図である。It is a figure which shows an example of the apparatus display screen which concerns on Example 5. FIG. 実施例5に係る機器表示画面の一例を示す図である。It is a figure which shows an example of the apparatus display screen which concerns on Example 5. FIG. 実施例5に係る画面の一例を示す図である。FIG. 10 is a diagram illustrating an example of a screen according to the fifth embodiment. 実施例6に係る機器選択画面の一例を示す図である。It is a figure which shows an example of the apparatus selection screen which concerns on Example 6. FIG. 実施例7に係る機器選択画面の一例を示す図である。FIG. 10 is a diagram illustrating an example of a device selection screen according to a seventh embodiment. 実施例7に係る機器選択画面の一例を示す図である。FIG. 10 is a diagram illustrating an example of a device selection screen according to a seventh embodiment. 実施例7に係る機能選択画面の一例を示す図である。FIG. 10 is a diagram illustrating an example of a function selection screen according to a seventh embodiment. 実施例7に係る画面の一例を示す図である。FIG. 20 is a diagram illustrating an example of a screen according to the seventh embodiment. 実施例7に係るメッセージの一例を示す図である。FIG. 10 is a diagram illustrating an example of a message according to the seventh embodiment. 実施例7に係るメッセージの一例を示す図である。FIG. 10 is a diagram illustrating an example of a message according to the seventh embodiment. 実施例8に係る機器選択画面の一例を示す図である。FIG. 20 is a diagram illustrating an example of a device selection screen according to an eighth embodiment. 実施例8に係る機器選択画面の一例を示す図である。FIG. 20 is a diagram illustrating an example of a device selection screen according to an eighth embodiment. 実施例8に係る画面の一例を示す図である。FIG. 10 is a diagram illustrating an example of a screen according to an eighth embodiment. 連携機能管理テーブルの一例を示す図である。It is a figure which shows an example of a cooperation function management table. 機器表示画面と機能表示画面の一例を示す図である。It is a figure which shows an example of an apparatus display screen and a function display screen. 機器表示画面と機能表示画面の一例を示す図である。It is a figure which shows an example of an apparatus display screen and a function display screen. 機器機能管理テーブルの一例を示す図である。It is a figure which shows an example of an apparatus function management table. 機器表示画面と機能表示画面の一例を示す図である。It is a figure which shows an example of an apparatus display screen and a function display screen. 機器機能管理テーブルの一例を示す図である。It is a figure which shows an example of an apparatus function management table. 連携機能管理テーブルの一例を示す図である。It is a figure which shows an example of a cooperation function management table. 端末装置に表示される画面の一例を示す図である。It is a figure which shows an example of the screen displayed on a terminal device. 端末装置に表示される画面の一例を示す図である。It is a figure which shows an example of the screen displayed on a terminal device. 端末装置に表示される画面の一例を示す図である。It is a figure which shows an example of the screen displayed on a terminal device.

図1を参照して、本発明の実施形態に係る情報処理システムとしての機器システムについて説明する。図1には、本実施形態に係る機器システムの一例が示されている。   With reference to FIG. 1, a device system as an information processing system according to an embodiment of the present invention will be described. FIG. 1 shows an example of a device system according to the present embodiment.

本実施形態に係る機器システムは、複数の機器(例えば機器10,12)と、外部装置の一例としてのサーバ14と、情報処理装置の一例としての端末装置16と、を含む。機器10,12、サーバ14及び端末装置16は、ネットワーク等の通信経路Nを介して互いに通信する機能を備えている。もちろん、機器10,12、サーバ14及び端末装置16は、それぞれ異なる通信経路を介して他の装置と通信を行ってもよい。図1に示す例では、2つの機器(機器10,12)が画像形成システムに含まれているが、3つ以上の機器が機器システムに含まれていてもよい。また、複数のサーバ14や複数の端末装置16が、機器システムに含まれていてもよい。   The device system according to the present embodiment includes a plurality of devices (for example, devices 10 and 12), a server 14 as an example of an external device, and a terminal device 16 as an example of an information processing device. The devices 10 and 12, the server 14, and the terminal device 16 have a function of communicating with each other via a communication path N such as a network. Of course, the devices 10, 12, the server 14, and the terminal device 16 may communicate with other devices via different communication paths. In the example shown in FIG. 1, two devices (devices 10 and 12) are included in the image forming system, but three or more devices may be included in the device system. A plurality of servers 14 and a plurality of terminal devices 16 may be included in the device system.

機器10,12は、特定の機能を有する装置であり、例えば、画像形成機能を備えた画像形成装置、パーソナルコンピュータ(PC)、プロジェクタ、液晶ディスプレイやプロジェクタ等の表示装置、電話機、時計、監視カメラ、等の装置である。また、機器10,12は、他の装置との間でデータを送受信する機能を有する。本実施形態では、機器10は、一例として画像形成装置であるとする。画像形成装置(機器10)は、例えば、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも1つの機能を有する装置である。   The devices 10 and 12 are devices having specific functions. For example, an image forming device having an image forming function, a personal computer (PC), a projector, a display device such as a liquid crystal display or a projector, a telephone, a clock, and a surveillance camera. , Etc. The devices 10 and 12 have a function of transmitting and receiving data to and from other devices. In the present embodiment, the device 10 is an image forming apparatus as an example. The image forming apparatus (device 10) is an apparatus having at least one of a scan function, a print function, a copy function, and a facsimile function, for example.

サーバ14は、各機器が有する機能を管理する装置である。例えば、サーバ14は、各機器が有する機能、複数の機能を利用する連携機能、等を管理する。また、サーバ14は、他の装置との間でデータを送受信する機能を有する。   The server 14 is a device that manages the functions of each device. For example, the server 14 manages a function of each device, a cooperation function that uses a plurality of functions, and the like. The server 14 has a function of transmitting and receiving data to and from other devices.

サーバ14は、ユーザ毎に、ユーザによって利用可能な機能を管理してもよい。ユーザによって利用可能な機能は、例えば、ユーザに無償で提供された機能、ユーザに有償で提供されてユーザによって購入された機能、等である。サーバ14は、ユーザ毎に、ユーザが利用可能な機能を示す利用可能機能情報(例えば機能購入履歴情報)を管理してもよい。もちろん、無料で利用できる機能、追加アップデート機能、管理者によって特別に管理されている機能等もあるため、サーバ14は、一概に購入の有無によって機能を管理しなくてもよい。機能の購入処理は、例えば、サーバ14によって行われる。もちろん、別の装置によって購入処理が行われてもよい。   For each user, the server 14 may manage functions that can be used by the user. The functions that can be used by the user are, for example, functions that are provided to the user free of charge, functions that are provided to the user for a fee and purchased by the user, and the like. The server 14 may manage usable function information (for example, function purchase history information) indicating functions available to the user for each user. Of course, since there are functions that can be used free of charge, additional update functions, and functions that are specially managed by the administrator, the server 14 does not need to manage the functions depending on whether or not there is a purchase. The function purchase process is performed by the server 14, for example. Of course, the purchase process may be performed by another apparatus.

端末装置16は、パーソナルコンピュータ(PC)、タブレットPC、スマートフォン、携帯電話、等の装置であり、他の装置との間でデータを送受信する機能を有する。端末装置16は、例えば、機器の利用時に、ユーザインターフェース部(UI部)として機能する。   The terminal device 16 is a device such as a personal computer (PC), a tablet PC, a smartphone, or a mobile phone, and has a function of transmitting / receiving data to / from other devices. For example, the terminal device 16 functions as a user interface unit (UI unit) when the device is used.

本実施形態に係る機器システムにおいては、第1機器に紐付く第1画像が指定された場合、第1機器と共に連携機能を実行できる第2機器の案内の通知が制御される。別の例として、第1機能に紐付く第1画像が指定された場合、第1機能と共に連携機能を実行できる第2機能の案内の通知が制御されてもよい。   In the device system according to the present embodiment, when the first image associated with the first device is designated, the notification of the guidance of the second device that can execute the cooperation function together with the first device is controlled. As another example, when the first image associated with the first function is designated, the notification of the guidance of the second function that can execute the linkage function together with the first function may be controlled.

以下、本実施形態に係る機器システムに含まれる各装置について詳しく説明する。   Hereinafter, each device included in the device system according to the present embodiment will be described in detail.

図2を参照して、画像形成装置としての機器10の構成について詳しく説明する。以下では、機器10を画像形成装置10と称する場合がある。図2には、画像形成装置10の構成が示されている。   With reference to FIG. 2, the configuration of the device 10 as the image forming apparatus will be described in detail. Hereinafter, the device 10 may be referred to as an image forming apparatus 10. FIG. 2 shows the configuration of the image forming apparatus 10.

通信部18は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。通信部18は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。   The communication unit 18 is a communication interface and has a function of transmitting data to other devices and a function of receiving data from other devices. The communication unit 18 may be a communication interface having a wireless communication function or a communication interface having a wired communication function.

画像形成部20は画像形成機能を有する。具体的には、画像形成部20は、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも1つの機能を有する。スキャン機能が実行されることにより、原稿が読み取られてスキャンデータ(画像データ)が生成される。プリント機能が実行されることにより、画像が用紙等の記録媒体上に印刷される。コピー機能が実行されることにより、原稿が読み取られて記録媒体上に印刷される。ファクシミリ機能が実行されることにより、画像データがファクシミリ送信又はファクシミリ受信される。また、複数の機能を利用する連携機能が実行されてもよい。例えば、スキャン機能と送信機能(転送機能)とを組み合わせたスキャン転送機能が実行されてもよい。このスキャン転送機能が実行されることにより、原稿が読み取られてスキャンデータ(画像データ)が生成され、そのスキャンデータが送信先(例えば端末装置16等の外部装置)に送信される。もちろん、この連携機能は一例に過ぎず、別の連携機能が実行されてもよい。   The image forming unit 20 has an image forming function. Specifically, the image forming unit 20 has at least one of a scan function, a print function, a copy function, and a facsimile function. By executing the scan function, the document is read and scan data (image data) is generated. By executing the print function, an image is printed on a recording medium such as paper. By executing the copy function, the document is read and printed on the recording medium. By executing the facsimile function, the image data is transmitted or received by facsimile. In addition, a cooperation function that uses a plurality of functions may be executed. For example, a scan transfer function that combines a scan function and a transmission function (transfer function) may be executed. By executing the scan transfer function, the original is read to generate scan data (image data), and the scan data is transmitted to a transmission destination (for example, an external device such as the terminal device 16). Of course, this cooperation function is only an example, and another cooperation function may be executed.

記憶部22はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部22には、例えば、画像形成の命令を示す情報(例えばジョブ情報等)、プリントの対象となる画像データ、スキャン機能を実行することにより生成されたスキャンデータ、他の機器のアドレスを示す機器アドレス情報、サーバ14のアドレスを示すサーバアドレス情報、各種の制御データ、各種のプログラム、等が記憶される。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。   The storage unit 22 is a storage device such as a hard disk or a memory (for example, SSD). The storage unit 22 indicates, for example, information indicating an image formation command (for example, job information), image data to be printed, scan data generated by executing a scan function, and addresses of other devices. Device address information, server address information indicating the address of the server 14, various control data, various programs, and the like are stored. Of course, they may be stored in separate storage devices or may be stored in one storage device.

UI部24はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース(例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む)であってもよい。なお、画像形成装置10はUI部24を備えていなくてもよいし、表示部を備えずに、ハードウェアとしてのハードウェアユーザインターフェース部(ハードウェアUI部)を備えていてもよい。ハードウェアUI部は、例えば、数字入力に特化したハードウェアキー(例えばテンキー)、方向の指示に特化したハードウェアキー(例えば方向指示キー)、等である。   The UI unit 24 is a user interface unit and includes a display unit and an operation unit. The display unit is a display device such as a liquid crystal display. The operation unit is an input device such as a touch panel or a keyboard. Of course, it may be a user interface that serves both as a display unit and an operation unit (for example, including a touch-type display or a device that electronically displays a keyboard or the like on the display). The image forming apparatus 10 may not include the UI unit 24, or may include a hardware user interface unit (hardware UI unit) as hardware without including a display unit. The hardware UI unit is, for example, a hardware key (for example, a numeric keypad) specialized for numerical input, a hardware key (for example, a direction indication key) specialized for direction indication, and the like.

制御部26は、画像形成装置10の各部の動作を制御する。   The control unit 26 controls the operation of each unit of the image forming apparatus 10.

以下、図3を参照して、サーバ14の構成について詳しく説明する。図3には、サーバ14の構成が示されている。   Hereinafter, the configuration of the server 14 will be described in detail with reference to FIG. FIG. 3 shows the configuration of the server 14.

通信部28は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部28は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。   The communication unit 28 is a communication interface and has a function of transmitting data to another device and a function of receiving data from another device. The communication unit 28 may be a communication interface having a wireless communication function or a communication interface having a wired communication function.

記憶部30はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部30には、例えば、機器機能管理情報32、連携機能管理情報34、各種のデータ、各種のプログラム、各機器のアドレスを示す機器アドレス情報、サーバ14のアドレスを示すサーバアドレス情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。記憶部30に記憶されている機器機能管理情報32や連携機能管理情報34が、定期的に又は指定されたタイミングで端末装置16に提供され、これにより、端末装置16に記憶されている情報が更新されてもよい。以下、機器機能管理情報32と連携機能管理情報34について説明する。   The storage unit 30 is a storage device such as a hard disk or a memory (for example, SSD). The storage unit 30 includes, for example, device function management information 32, linkage function management information 34, various data, various programs, device address information indicating the address of each device, server address information indicating the address of the server 14, and the like. It is remembered. Of course, they may be stored in separate storage devices or may be stored in one storage device. The device function management information 32 and the link function management information 34 stored in the storage unit 30 are provided to the terminal device 16 regularly or at a designated timing, whereby the information stored in the terminal device 16 is stored. It may be updated. Hereinafter, the device function management information 32 and the linkage function management information 34 will be described.

機器機能管理情報32は、各機器が有する機能を管理するための情報であり、例えば、機器を識別するためのデバイス識別情報(機器識別情報)と、当該機器が有する機能を示す機能情報と、の対応付けを示す情報である。デバイス識別情報は、例えば、機器ID、機器名称、機器の種類を示す情報、機器の型番号、機器が設置されている位置を示す情報(機器の位置情報)、機器の外観を表わす外観画像、等である。機能情報は、例えば、機能IDや機能名称等である。例えば、画像形成装置10がスキャン機能、プリント機能、コピー機能及びスキャン転送機能を有する場合、当該画像形成装置10のデバイス識別情報には、スキャン機能を示す機能情報、プリント機能を示す機能情報、コピー機能を示す機能情報、及び、スキャン転送機能を示す機能情報が対応付けられている。機器機能管理情報32を参照することにより、各機器が有する機能が特定(識別)される。   The device function management information 32 is information for managing the functions of each device, for example, device identification information (device identification information) for identifying the device, function information indicating the function of the device, It is the information which shows matching of. The device identification information includes, for example, a device ID, a device name, information indicating the device type, a device model number, information indicating a position where the device is installed (device position information), an appearance image indicating the appearance of the device, Etc. The function information is, for example, a function ID or a function name. For example, when the image forming apparatus 10 has a scan function, a print function, a copy function, and a scan transfer function, the device identification information of the image forming apparatus 10 includes function information indicating the scan function, function information indicating the print function, copy The function information indicating the function and the function information indicating the scan transfer function are associated with each other. By referring to the device function management information 32, the function of each device is specified (identified).

機器機能管理情報32によって管理されている機器は、例えば機器システムに含まれる機器(例えば機器10,12)である。もちろん、機器システムに含まれない機器が機器機能管理情報32によって管理されてもよい。例えば、サーバ14は、機器システムに含まれていない新たな機器に関する情報(デバイス識別情報と機能情報とを含む情報)を取得し、機器機能管理情報32に新たに登録してもよい。機器に関する情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。また、サーバ14は、任意のタイミング、定期的、又は、管理者等によって指定されたタイミング等で、機器機能管理情報32を更新してもよい。これにより、更新前には機器が有していなかったが更新後には機器が有することになった機能を示す機能情報が、機器機能管理情報32に登録される場合がある。同様に、更新前には機器が有していたが更新後には機器が有していない機能を示す機能情報が、機器機能管理情報32から削除され、又は、使用不可な情報として登録される場合がある。更新用の情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。   The devices managed by the device function management information 32 are devices (for example, devices 10 and 12) included in the device system, for example. Of course, devices not included in the device system may be managed by the device function management information 32. For example, the server 14 may acquire information related to a new device not included in the device system (information including device identification information and function information) and newly register it in the device function management information 32. Information about the device may be acquired by using the Internet, for example, or may be input by an administrator or the like. In addition, the server 14 may update the device function management information 32 at an arbitrary timing, periodically, or at a timing designated by an administrator or the like. As a result, function information indicating functions that the device did not have before the update but that the device had after the update may be registered in the device function management information 32. Similarly, when function information indicating a function that the device has before the update but does not have the device after the update is deleted from the device function management information 32 or registered as unusable information There is. The update information may be acquired by using the Internet or the like, or may be input by an administrator or the like.

連携機能管理情報34は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。複数の機能を連携させることによって、1又は複数の連携機能が実行される。連携機能は、例えば、1つの機器(例えば機器10,12)が有する複数の機能を連携させることによって実行されてもよいし、複数の機器(例えば機器10,12)が有する複数の機能を連携させることによって実行されてもよい。また、操作指示を出している端末装置(本実施形態では端末装置16)も識別対象の機器に含め、端末装置が有する機能を連携機能の一部として利用するようにしてもよい。   The linkage function management information 34 is information for managing a linkage function executed by linking a plurality of functions. By coordinating a plurality of functions, one or a plurality of cooperation functions are executed. The cooperation function may be executed by, for example, linking a plurality of functions of one device (for example, the devices 10 and 12), or linking a plurality of functions of a plurality of devices (for example, the devices 10 and 12). May be executed. In addition, a terminal device that issues an operation instruction (in the present embodiment, the terminal device 16) may be included in the device to be identified, and the functions of the terminal device may be used as part of the linkage function.

連携機能は、ハードウェアとしての機器を利用せずに実行される機能であってもよい。例えば、連携機能は、複数のソフトウェアを連携させることによって実行される機能であってもよい。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実行される機能であってもよい。   The linkage function may be a function that is executed without using a device as hardware. For example, the cooperation function may be a function executed by linking a plurality of software. Of course, the linkage function may be a function executed by linking a function of a device as hardware and a function realized by software.

連携機能管理情報34は、例えば、連携機能に利用される各機能を示す機能情報の組み合わせと、当該連携機能を示す連携機能情報と、の対応付けを示す情報である。連携機能情報は、例えば、連携機能IDや連携機能名称等である。単独の機能が更新された場合、その更新に伴って連携機能管理情報34も更新される。これにより、更新前には互いに連携不可能であった複数の機能による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。更新後に利用可能になった連携機能を示す連携機能情報が、連携機能管理情報34に登録され、更新後に利用不可能になった連携機能を示す連携機能情報が、連携機能管理情報34から削除され、又は、使用不可な情報として登録される。   The cooperation function management information 34 is information indicating a correspondence between a combination of function information indicating each function used for the cooperation function and cooperation function information indicating the cooperation function, for example. The cooperation function information is, for example, a cooperation function ID or a cooperation function name. When a single function is updated, the linkage function management information 34 is also updated along with the update. As a result, a collaborative function with multiple functions that could not be linked to each other before the update becomes available after the update, and conversely, an available link function before the update cannot be used after the update. It may be possible. The link function information indicating the link function that can be used after the update is registered in the link function management information 34, and the link function information indicating the link function that has become unavailable after the update is deleted from the link function management information 34. Or, it is registered as unusable information.

複数の機器を連携させる場合、連携機能管理情報34は、複数の機器が有する複数の機能を利用する連携機能を管理するための情報であり、連携機能に利用される各機器を識別するためのデバイス識別情報の組み合わせと、連携機能情報と、の対応付けを示す情報である。上記のように、機器機能管理情報32が更新された場合、その更新に伴って、連携機能管理情報34も更新される。これにより、更新前には互いに連携不可能であった複数の機器による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。   When a plurality of devices are linked, the linkage function management information 34 is information for managing a linkage function that uses a plurality of functions of the plurality of devices, and for identifying each device used for the linkage function. This is information indicating a correspondence between a combination of device identification information and linkage function information. As described above, when the device function management information 32 is updated, the linkage function management information 34 is also updated along with the update. As a result, the cooperation function by multiple devices that could not cooperate with each other before the update becomes available after the update, and conversely, the available cooperation function before the update becomes unavailable after the update. It may be possible.

連携機能は、互いに異なる複数の機能を連携させることによって実行される機能であってもよいし、同一の機能を連携させることによって実行される機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、連携対象の機器が有する機能のうち、同じ機能を利用することによって利用できる機能であってもよいし、互いに異なる機能を組み合わせることによって利用できる機能であってもよい。例えば、プリント機能を有する機器(プリンタ)とスキャン機能を有する機器(スキャナ)を連携させることにより、連携機能としてのコピー機能が実現される。すなわち、プリント機能とスキャン機能を連携させることにより、コピー機能が実現される。この場合、連携機能としてのコピー機能と、プリント機能及びスキャン機能の組み合わせと、が対応付けられている。連携機能管理情報34においては、例えば、連携機能としてのコピー機能を示す連携機能情報と、プリント機能を有する機器を識別するためのデバイス識別情報及びスキャン機能を有する機器を識別するためのデバイス識別情報の組み合わせと、が対応付けられる。   The cooperation function may be a function executed by linking a plurality of different functions to each other, or may be a function executed by linking the same function. The cooperation function may be a function that could not be used before the cooperation. The functions that could not be used before cooperation may be functions that can be used by using the same functions among the functions of the devices to be linked, or functions that can be used by combining different functions. May be. For example, by coordinating a device having a print function (printer) and a device having a scan function (scanner), a copy function as a cooperation function is realized. That is, the copy function is realized by linking the print function and the scan function. In this case, a copy function as a linkage function is associated with a combination of a print function and a scan function. In the cooperation function management information 34, for example, cooperation function information indicating a copy function as a cooperation function, device identification information for identifying a device having a print function, and device identification information for identifying a device having a scan function. Are associated with each other.

なお、記憶部30には、利用可能機能管理情報が記憶されていてもよい。利用可能機能管理情報は、各ユーザが利用可能な機能を管理するための情報であり、例えば、ユーザを識別するためのユーザ識別情報と、当該ユーザが利用可能な機能を示す機能情報(連携機能情報を含んでいてもよい)と、の対応付けを示す情報である。ユーザが利用可能な機能は、上述したように、例えば、ユーザに無償で提供された機能や、ユーザが購入した機能、等であり、単体の機能であってもよいし、連携機能であってもよい。ユーザ識別情報は、例えば、ユーザIDや氏名等のユーザアカウント情報である。利用可能機能管理情報を参照することにより、各ユーザが利用可能な機能が特定(識別)される。利用可能機能管理情報は、例えば、ユーザに機能が提供される度に(例えば、ユーザに無償又は有償で機能が提供される度に)更新される。   The storage unit 30 may store usable function management information. The usable function management information is information for managing a function that can be used by each user. For example, user identification information for identifying a user and function information (link function) indicating a function that can be used by the user. Information (which may include information). As described above, the functions that can be used by the user are, for example, functions provided free of charge to the user, functions purchased by the user, and the like. Also good. The user identification information is user account information such as a user ID and a name, for example. By referring to the available function management information, a function that can be used by each user is specified (identified). The available function management information is updated, for example, every time a function is provided to the user (for example, every time a function is provided to the user free of charge or for a fee).

制御部36は、サーバ14の各部の動作を制御する。また、制御部36は、特定部38を含む。   The control unit 36 controls the operation of each unit of the server 14. The control unit 36 includes a specifying unit 38.

特定部38は、機器を識別するためのデバイス識別情報を受け、記憶部30に記憶されている機器機能管理情報32において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、機器が有する機能が特定(識別)される。例えば、端末装置16からサーバ14にデバイス識別情報が送信され、特定部38によって、当該デバイス識別情報に対応付けられている機能を示す機能情報が特定される。機能に関する情報(例えば、機能情報や機能の説明情報等)は、例えばサーバ14から端末装置16に送信されて端末装置16に表示される。これにより、デバイス識別情報によって特定される機器が有する機能に関する情報が、端末装置16に表示される。   The specifying unit 38 receives device identification information for identifying a device, and specifies function information indicating a function associated with the device identification information in the device function management information 32 stored in the storage unit 30. As a result, the function of the device is specified (identified). For example, the device identification information is transmitted from the terminal device 16 to the server 14, and the function information indicating the function associated with the device identification information is specified by the specifying unit 38. Information relating to the function (for example, function information and function description information) is transmitted from the server 14 to the terminal device 16 and displayed on the terminal device 16, for example. As a result, information related to the function of the device specified by the device identification information is displayed on the terminal device 16.

また、特定部38は、連携対象の各機器を識別するためのデバイス識別情報を受け、記憶部30に記憶されている連携機能管理情報34において各デバイス識別情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定する。これにより、連携対象の各機器が有する機能を連携させることによって実行される連携機能が特定(識別)される。例えば、端末装置16からサーバ14に複数のデバイス識別情報が送信され、特定部38によって、当該複数のデバイス識別情報に対応付けられている連携機能を示す連携機能情報が特定される。連携機能に関する情報(例えば、連携機能情報や連携機能の説明情報等)は、例えばサーバ14から端末装置16に送信されて端末装置16に表示される。これにより、複数のデバイス識別情報によって特定される複数の機器によって実行される連携機能に関する情報が、端末装置16に表示される。   In addition, the specifying unit 38 receives device identification information for identifying each device to be linked, and the linkage function management information 34 stored in the storage unit 30 is associated with a combination of each device identification information. Specify linked function information that indicates the function. Thereby, the cooperation function performed by cooperating the function which each apparatus of cooperation object has is identified (identified). For example, a plurality of device identification information is transmitted from the terminal device 16 to the server 14, and the specifying unit 38 specifies cooperation function information indicating a cooperation function associated with the plurality of device identification information. Information related to the cooperation function (for example, cooperation function information and description information of the cooperation function) is transmitted from the server 14 to the terminal device 16 and displayed on the terminal device 16, for example. Thereby, information related to the cooperation function executed by the plurality of devices specified by the plurality of device identification information is displayed on the terminal device 16.

例えば、1つの機器が識別された場合(例えば1つの機器が撮影された場合)、特定部38は、当該機器を識別するためのデバイス識別情報を受け、機器機能管理情報32において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定してもよい。これにより、1つの機器が識別された場合(例えば1つの機器が撮影された場合)、当該機器が有する機能が特定(識別)される。複数の機器が識別された場合(例えば複数の機器が撮影された場合)、特定部38は、当該複数の機器に含まれる各機器を識別するためのデバイス識別情報を受け、連携機能管理情報34において各デバイス識別情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定してもよい。これにより、複数の機器が識別された場合(例えば複数の機器が撮影された場合)、当該複数の機器が有する機能を利用する連携機能が特定(識別)される。   For example, when one device is identified (for example, when one device is photographed), the specifying unit 38 receives device identification information for identifying the device, and the device function management information 32 includes the device identification information. The function information indicating the function associated with may be specified. Thereby, when one device is identified (for example, when one device is photographed), the function of the device is specified (identified). When a plurality of devices are identified (for example, when a plurality of devices are photographed), the specifying unit 38 receives device identification information for identifying each device included in the plurality of devices, and cooperates function management information 34. The link function information indicating the link function associated with each combination of device identification information may be specified. Thereby, when a plurality of devices are identified (for example, when a plurality of devices are photographed), a cooperation function that uses a function of the plurality of devices is specified (identified).

また、特定部38は、連携機能に利用される各機能を示す機能情報を受け、記憶部30に記憶されている連携機能管理情報34において各機能情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定してもよい。これにより、連携対象の各機能を連携させることによって実行される連携機能が特定(識別)される。例えば、端末装置16からサーバ14に複数の機能情報が送信され、特定部38によって、当該複数の機能情報に対応付けられている連携機能を示す連携機能情報が特定される。上記と同様に、複数の機能情報によって特定される複数の機器によって実行される連携機能に関する情報が、端末装置16に表示される。   Further, the specifying unit 38 receives function information indicating each function used for the link function, and displays the link function associated with the combination of each function information in the link function management information 34 stored in the storage unit 30. You may identify the cooperation function information to show. Thereby, the cooperation function performed by making each function of cooperation object cooperate is specified (identification). For example, a plurality of pieces of function information are transmitted from the terminal device 16 to the server 14, and the specifying unit 38 specifies the link function information indicating the link functions associated with the plurality of function information. In the same manner as described above, information related to a cooperative function executed by a plurality of devices specified by a plurality of function information is displayed on the terminal device 16.

なお、ユーザが利用可能な機能が管理されている場合、特定部38は、ユーザを識別するためのユーザ識別情報を受け、記憶部30に記憶されている利用可能機能管理情報において当該ユーザ識別情報に対応付けられている各機能を示す機能情報を特定してもよい。これにより、当該ユーザが利用可能な機能群が特定(識別)される。例えば、端末装置16からサーバ14にユーザ識別情報が送信され、特定部38によって、当該ユーザ識別情報に対応付けられている各機能を示す機能情報が特定される。ユーザが利用可能な各機能に関する情報(例えば各機能の名称を示す情報)は、例えばサーバ14から端末装置16に送信されて端末装置16に表示される。これにより、ユーザ識別情報によって特定されるユーザが利用可能な各機能に関する情報が、端末装置16に表示される。例えば、特定部38は、デバイス識別情報とユーザ識別情報を受け、機器機能管理情報32において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定し、また、利用可能機能管理情報において当該ユーザ識別情報に対応付けられている機能を示す機能情報を特定する。これにより、当該デバイス識別情報によって特定される機器が有する機能であって、当該ユーザ識別情報によって特定されるユーザが利用可能な機能が特定される。   When a function that can be used by a user is managed, the specifying unit 38 receives user identification information for identifying the user, and the user identification information is stored in the available function management information stored in the storage unit 30. You may specify the function information which shows each function matched with. Thereby, the function group which can be used by the user is specified (identified). For example, user identification information is transmitted from the terminal device 16 to the server 14, and the function information indicating each function associated with the user identification information is specified by the specifying unit 38. Information regarding each function available to the user (for example, information indicating the name of each function) is transmitted from the server 14 to the terminal device 16 and displayed on the terminal device 16, for example. As a result, information related to each function available to the user specified by the user identification information is displayed on the terminal device 16. For example, the specifying unit 38 receives the device identification information and the user identification information, specifies the function information indicating the function associated with the device identification information in the device function management information 32, and in the usable function management information. The function information indicating the function associated with the user identification information is specified. As a result, a function that the device specified by the device identification information has and that can be used by the user specified by the user identification information is specified.

制御部36は、機能の購入処理を実行し、その購入の履歴を管理してもよい。例えば、有料の機能がユーザによって購入された場合、制御部36は、当該ユーザに対して課金処理を適用してもよい。   The control unit 36 may execute a function purchase process and manage the purchase history. For example, when a paid function is purchased by a user, the control unit 36 may apply a charging process to the user.

また、制御部36は、例えば、文字認識機能、翻訳機能、画像加工機能、画像形成機能、等の画像処理に関する機能を実行してもよい。もちろん、制御部36は、画像処理以外の処理に関する機能を実行してもよい。文字認識機能が実行されることにより、画像内の文字が認識されて当該文字を示す文字データが生成される。翻訳機能が実行されることにより、画像内の文字が特定の言語で表される文字に翻訳され、翻訳された文字を示す文字データが生成される。画像加工機能が実行されることにより、画像が加工される。制御部36は、例えば、スキャン機能を実行することにより生成されたスキャンデータを画像形成装置10から受信し、当該スキャンデータを対象として、文字認識機能、翻訳機能、画像加工機能、等の画像処理に関する機能を実行してもよい。制御部36は、画像データを端末装置16から受信し、当該画像データを対象として各機能を実行してもよい。制御部36によって生成された文字データや画像データは、例えば、サーバ14から端末装置16に送信される。サーバ14は外部機器として利用され、連携機能は、サーバ14を含む複数の機器が有する機能を利用する機能であってもよい。   Further, the control unit 36 may execute functions related to image processing such as a character recognition function, a translation function, an image processing function, and an image forming function. Of course, the control unit 36 may execute a function related to processing other than image processing. By executing the character recognition function, a character in the image is recognized and character data indicating the character is generated. By executing the translation function, the characters in the image are translated into characters expressed in a specific language, and character data indicating the translated characters is generated. The image is processed by executing the image processing function. The control unit 36 receives, for example, scan data generated by executing a scan function from the image forming apparatus 10, and performs image processing such as a character recognition function, a translation function, an image processing function, and the like for the scan data. You may perform the function about. The control unit 36 may receive image data from the terminal device 16 and execute each function for the image data. The character data and image data generated by the control unit 36 are transmitted from the server 14 to the terminal device 16, for example. The server 14 may be used as an external device, and the cooperation function may be a function that uses functions of a plurality of devices including the server 14.

以下、図4を参照して、端末装置16の構成について詳しく説明する。図4には、端末装置16の構成が示されている。   Hereinafter, the configuration of the terminal device 16 will be described in detail with reference to FIG. FIG. 4 shows the configuration of the terminal device 16.

通信部40は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部40は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。   The communication unit 40 is a communication interface, and has a function of transmitting data to other devices and a function of receiving data from other devices. The communication unit 40 may be a communication interface having a wireless communication function or a communication interface having a wired communication function.

撮影手段としてのカメラ42は、撮影対象を撮影することにより画像データ(例えば静止画像データや動画像データ)を生成する。また、端末装置16のカメラを利用するだけではなく、ネットワーク等の通信経路に繋がった外部のカメラで撮影された画像データを通信部40で受け取り、UI部46で画像データを表示し、ユーザが画像データを操作できるようにしてもよい。   The camera 42 as an imaging unit generates image data (for example, still image data or moving image data) by imaging an imaging target. In addition to using the camera of the terminal device 16, the communication unit 40 receives image data captured by an external camera connected to a communication path such as a network, and the UI unit 46 displays the image data. The image data may be manipulated.

記憶部44はハードディスクやメモリ(例えばSSD等)等の記憶装置であり、各種のプログラム、各種のデータ、サーバ14のアドレス情報、各機器のアドレス情報(例えば機器10,12のアドレス情報)、識別された機器に関する情報、識別された連携対象の機器に関する情報、識別された機器が有する機能に関する情報、連携機能に関する情報、等を記憶する。   The storage unit 44 is a storage device such as a hard disk or a memory (for example, SSD), and various programs, various data, address information of the server 14, address information of each device (for example, address information of the devices 10 and 12), identification Information about the identified device, information about the identified device to be linked, information about the function of the identified device, information about the linkage function, etc. are stored.

UI部46はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えば、タッチパネル、キーボード、マウス、等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース(例えばタッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示するものを含む)であってもよい。   The UI unit 46 is a user interface unit and includes a display unit and an operation unit. The display unit is a display device such as a liquid crystal display. The operation unit is, for example, an input device such as a touch panel, a keyboard, and a mouse. Of course, a user interface that serves as both a display unit and an operation unit (for example, a touch-type display or a device that electronically displays a keyboard or the like on the display) may be used.

制御部48は、端末装置16の各部の動作を制御する。制御部48は、例えば表示制御手段(制御手段)として機能し、各種の情報をUI部46の表示部に表示させる。   The control unit 48 controls the operation of each unit of the terminal device 16. The control unit 48 functions as, for example, a display control unit (control unit), and displays various types of information on the display unit of the UI unit 46.

UI部46の表示部には、例えば、カメラ42によって撮影された画像や、利用対象の機器(例えば、単独で利用される機器や連携対象の機器)として識別された機器に紐付く画像、機能に紐付く画像、等が表示される。機器に紐付く画像は、カメラ42によって撮影された当該機器を表わす画像(静止画像又は動画像)であってもよいし、当該機器を模式的に表す画像(例えばアイコン)であってもよい。模式的に表す画像のデータは、例えば、サーバ14に記憶されてサーバ14から端末装置16に提供されてもよいし、端末装置16に予め記憶されていてもよいし、別の装置に記憶されて当該別の装置から端末装置16に提供されてもよい。機能に紐付く画像は、例えば、その機能を表わすアイコン等の画像である。   On the display unit of the UI unit 46, for example, an image captured by the camera 42, an image associated with a device identified as a device to be used (for example, a device used alone or a device to be linked), and a function An image associated with is displayed. The image associated with the device may be an image (still image or moving image) representing the device taken by the camera 42, or may be an image (for example, icon) schematically representing the device. The image data schematically represented may be stored in the server 14 and provided from the server 14 to the terminal device 16, or may be stored in advance in the terminal device 16, or stored in another device. The terminal device 16 may be provided from the other device. The image associated with the function is, for example, an image such as an icon representing the function.

上述した機器機能管理情報32は、端末装置16の記憶部44に記憶されていてもよい。この場合、機器機能管理情報32は、サーバ14の記憶部30に記憶されていなくてもよい。同様に、上述した連携機能管理情報34は、端末装置16の記憶部44に記憶されていてもよい。この場合、連携機能管理情報34は、サーバ14の記憶部30に記憶されていなくてもよい。端末装置16の制御部48は、上述した特定部38を有し、デバイス識別情報に基づいて機器を識別し、機器が有する機能を特定してもよいし、複数の機能を利用する連携機能を特定してもよい。この場合、サーバ14は特定部38を有していなくてもよい。   The device function management information 32 described above may be stored in the storage unit 44 of the terminal device 16. In this case, the device function management information 32 may not be stored in the storage unit 30 of the server 14. Similarly, the cooperation function management information 34 described above may be stored in the storage unit 44 of the terminal device 16. In this case, the cooperation function management information 34 may not be stored in the storage unit 30 of the server 14. The control unit 48 of the terminal device 16 includes the specifying unit 38 described above, identifies the device based on the device identification information, may specify the function of the device, and has a cooperation function that uses a plurality of functions. You may specify. In this case, the server 14 may not have the specifying unit 38.

利用可能機能管理情報が作成されている場合、その利用可能機能管理情報は、端末装置16の記憶部44に記憶されていてもよい。この場合、利用可能機能管理情報は、サーバ14の記憶部30に記憶されていなくてもよい。端末装置16の制御部48は、ユーザによる機能の購入の履歴を管理してもよい。この場合、サーバ14の制御部36は、その管理機能を有していなくてもよい。端末装置16の制御部48は、ユーザ識別情報に基づいて、ユーザによって利用可能な機能を特定してもよい。   When the usable function management information is created, the usable function management information may be stored in the storage unit 44 of the terminal device 16. In this case, the available function management information may not be stored in the storage unit 30 of the server 14. The control unit 48 of the terminal device 16 may manage the purchase history of the function by the user. In this case, the control unit 36 of the server 14 may not have the management function. The control unit 48 of the terminal device 16 may specify a function that can be used by the user based on the user identification information.

更に別の例として、機器10,12等の機器に、機器機能管理情報32や連携機能管理情報34が記憶されていてもよいし、機器10,12等の機器が特定部38を有していてもよい。つまり、サーバ14の特定部38による処理(例えば、機器の識別処理、機能の識別処理、連携機能の識別処理等)は、サーバ14において行われてもよいし、端末装置16において行われてもよいし、機器10,12等の機器において行われてもよい。   As yet another example, the device function management information 32 and the link function management information 34 may be stored in a device such as the device 10 or 12, and the device such as the device 10 or 12 has the specifying unit 38. May be. In other words, the processing (for example, device identification processing, function identification processing, cooperation function identification processing, etc.) by the specifying unit 38 of the server 14 may be performed by the server 14 or the terminal device 16. Alternatively, it may be performed in devices such as the devices 10 and 12.

本実施形態では、一例として、AR(Augmented Reality)技術(拡張現実技術)を適用することにより、デバイス識別情報が取得されて機器が識別される。例えば、AR技術を適用することにより、単独で使用される機器のデバイス識別情報が取得されて当該機器が識別され、また、連携対象の機器のデバイス識別情報が取得されて連携対象の機器が識別される。AR技術として公知のAR技術が用いられる。例えば、2次元バーコード等のマーカを用いるマーカ型AR技術、画像認識技術を用いるマーカレス型AR技術、位置情報を用いる位置情報AR技術、等が用いられる。もちろん、AR技術を適用せずにデバイス識別情報が取得されて機器が識別されてもよい。例えば、ネットワークに繋がっている機器であれば、IPアドレスに基づいて機器を識別してもよいし、機器IDを読み出して機器を識別してもよい。更に、赤外線通信、可視光通信、Wi−Fi(Wireles Fidelity)(登録商標)、ブルートゥース(Bluetooth(登録商標))といった各種無線通信機能を備えた機器、端末装置であれば、それら無線通信機能を利用して連携する機器の機器IDを取得することで機器を識別し、連携機能を実行してもよい。   In the present embodiment, as an example, by applying AR (Augmented Reality) technology (augmented reality technology), device identification information is acquired and a device is identified. For example, by applying AR technology, device identification information of a device used alone is acquired and the device is identified, and device identification information of a device to be linked is acquired to identify a device to be linked. Is done. A known AR technique is used as the AR technique. For example, a marker type AR technique using a marker such as a two-dimensional barcode, a markerless type AR technique using an image recognition technique, a position information AR technique using position information, and the like are used. Of course, the device identification information may be acquired and the device may be identified without applying the AR technology. For example, if the device is connected to the network, the device may be identified based on the IP address, or the device ID may be read to identify the device. Furthermore, if the device or terminal device has various wireless communication functions such as infrared communication, visible light communication, Wi-Fi (Wireless Fidelity) (registered trademark), Bluetooth (Bluetooth (registered trademark)), these wireless communication functions are provided. The device may be identified by acquiring the device ID of the device to be used and linked to execute the linkage function.

以下、図5を参照して、デバイス識別情報の取得処理について詳しく説明する。一例として、画像形成装置10のデバイス識別情報を取得する場合について説明する。図5には、画像形成装置10の外観が模式的に示されている。ここでは、マーカ型AR技術を適用してデバイス識別情報を取得するための処理について説明する。画像形成装置10の筐体には、2次元バーコード等のマーカ50が設けられている。マーカ50は、画像形成装置10のデバイス識別情報がコード化された情報である。ユーザは端末装置16のカメラ42を起動させ、利用対象の画像形成装置10に設けられているマーカ50をカメラ42によって撮影する。これにより、マーカ50を表す画像データが生成される。その画像データは、例えば、端末装置16からサーバ14に送信される。サーバ14においては、制御部36が、当該画像データに表されたマーカ画像に対してデコード処理を適用することにより、デバイス識別情報を抽出する。これにより、利用対象の画像形成装置10(撮影されたマーカ50を有する画像形成装置10)が識別される。サーバ14の特定部38は、機器機能管理情報32において、抽出されたデバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、利用対象の画像形成装置10が有する機能が特定(識別)される。   The device identification information acquisition process will be described in detail below with reference to FIG. As an example, a case where device identification information of the image forming apparatus 10 is acquired will be described. FIG. 5 schematically shows the appearance of the image forming apparatus 10. Here, a process for acquiring the device identification information by applying the marker AR technology will be described. The casing of the image forming apparatus 10 is provided with a marker 50 such as a two-dimensional barcode. The marker 50 is information in which device identification information of the image forming apparatus 10 is encoded. The user activates the camera 42 of the terminal device 16 and photographs the marker 50 provided in the image forming apparatus 10 to be used by the camera 42. Thereby, image data representing the marker 50 is generated. The image data is transmitted from the terminal device 16 to the server 14, for example. In the server 14, the control unit 36 extracts device identification information by applying a decoding process to the marker image represented in the image data. Thereby, the image forming apparatus 10 to be used (the image forming apparatus 10 having the photographed marker 50) is identified. The specifying unit 38 of the server 14 specifies function information indicating a function associated with the extracted device identification information in the device function management information 32. Thereby, the function of the image forming apparatus 10 to be used is specified (identified).

なお、端末装置16の制御部48が、マーカ50を表す画像データにデコード処理を適用することにより、デバイス識別情報を抽出してもよい。この場合、抽出されたデバイス識別情報は、端末装置16からサーバ14に送信される。サーバ14の特定部38は、機器機能管理情報32において、端末装置16から送信されたデバイス識別情報に対応付けられている機能を示す機能情報を特定する。端末装置16の記憶部44に機器機能管理情報32が記憶されている場合、端末装置16の制御部48が、その機器機能管理情報32において、抽出されたデバイス識別情報に対応付けられている機能を示す機能情報を特定してもよい。   Note that the control unit 48 of the terminal device 16 may extract the device identification information by applying a decoding process to the image data representing the marker 50. In this case, the extracted device identification information is transmitted from the terminal device 16 to the server 14. The specifying unit 38 of the server 14 specifies function information indicating the function associated with the device identification information transmitted from the terminal device 16 in the device function management information 32. When the device function management information 32 is stored in the storage unit 44 of the terminal device 16, the control unit 48 of the terminal device 16 has a function associated with the extracted device identification information in the device function management information 32. The function information indicating may be specified.

マーカ50には、画像形成装置10が有する機能を示す機能情報がコード化されて含まれていてもよい。この場合、マーカ50を表す画像データにデコード処理を適用することにより、当該画像形成装置10のデバイス識別情報が抽出されるとともに、当該画像形成装置10が有する機能を示す機能情報も抽出される。これにより、画像形成装置10が特定(識別)されるとともに、当該画像形成装置10が有する機能が特定(識別)される。このデコード処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。   The marker 50 may include encoded function information indicating the function of the image forming apparatus 10. In this case, by applying the decoding process to the image data representing the marker 50, the device identification information of the image forming apparatus 10 is extracted, and the function information indicating the function of the image forming apparatus 10 is also extracted. Thereby, the image forming apparatus 10 is specified (identified), and the function of the image forming apparatus 10 is specified (identified). This decoding process may be performed by the server 14 or the terminal device 16.

複数の機器が有する機能を利用する連携機能を実行する場合、連携対象の各機器のマーカを撮影することにより各機器のデバイス識別情報が取得され、これにより、連携機能が特定(識別)される。   When executing a cooperation function that uses a function of a plurality of devices, device identification information of each device is acquired by photographing a marker of each device to be linked, thereby identifying (identifying) the cooperation function. .

マーカレス型AR技術を適用してデバイス識別情報を取得する場合、例えば、ユーザは端末装置16のカメラ42によって、利用対象の機器(例えば画像形成装置10)の外観の全部又は一部を撮影する。もちろん、利用対象機器の名称(例えば商品名)や型番号といった機器を特定するための情報を外観から撮影して得ることは役に立つ。撮影により、利用対象の機器の外観の全部又は一部を表す外観画像データが生成される。その外観画像データは、例えば端末装置16からサーバ14に送信される。サーバ14においては、制御部36が、当該外観画像データに基づいて利用対象の機器を識別する。例えば、サーバ14の記憶部30には、機器毎に、機器の外観の全部又は一部を表す外観画像データと、当該機器のデバイス識別情報と、の対応付けを示す外観画像対応付け情報が記憶されている。制御部36は、例えば、端末装置16から送信された外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定する。例えば、制御部36は、端末装置16から送信された外観画像データから利用対象の機器の外観の特徴を抽出し、外観画像対応付け情報に含まれる外観画像データ群において、その外観の特徴と同一又は類似の特徴を表す外観画像データを特定し、その外観画像データに対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器(カメラ42によって撮影された機器)が識別される。別の例として、機器の名称(例えば商品名)や型番号が撮影され、名称や型番号を表す外観画像データが生成されている場合、その外観画像データに表された名称や型番号に基づいて、利用対象の機器を識別してもよい。サーバ14の特定部38は、機器機能管理情報32において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器(例えば画像形成装置10)が有する機能が特定される。   When acquiring the device identification information by applying the markerless AR technology, for example, the user photographs all or a part of the appearance of the device to be used (for example, the image forming apparatus 10) with the camera 42 of the terminal device 16. Of course, it is useful to obtain information for identifying the device such as the name of the device to be used (for example, product name) and the model number from the appearance. Appearance image data representing all or a part of the appearance of the device to be used is generated by photographing. The appearance image data is transmitted from the terminal device 16 to the server 14, for example. In the server 14, the control unit 36 identifies a device to be used based on the appearance image data. For example, the storage unit 30 of the server 14 stores, for each device, appearance image association information indicating association between appearance image data representing all or part of the appearance of the device and device identification information of the device. Has been. For example, the control unit 36 compares the appearance image data transmitted from the terminal device 16 with each appearance image data included in the appearance image association information, and based on the comparison result, device identification information of the device to be used Is identified. For example, the control unit 36 extracts the appearance feature of the device to be used from the appearance image data transmitted from the terminal device 16, and is the same as the appearance feature in the appearance image data group included in the appearance image association information. Alternatively, appearance image data representing similar features is specified, and device identification information associated with the appearance image data is specified. Thereby, a device to be used (device photographed by the camera 42) is identified. As another example, when a device name (for example, a product name) or model number is photographed and appearance image data representing the name or model number is generated, it is based on the name or model number represented in the appearance image data. Thus, the device to be used may be identified. The specifying unit 38 of the server 14 specifies function information indicating each function associated with the specified device identification information in the device function management information 32. Thereby, the function which the apparatus (for example, image forming apparatus 10) of utilization object has is specified.

なお、端末装置16の制御部48が、利用対象の機器(例えば画像形成装置10)の外観の全部又は一部を表す外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定してもよい。外観画像対応付け情報は、端末装置16の記憶部44に記憶されていてもよい。この場合、端末装置16の制御部48は、端末装置16の記憶部44に記憶されている外観画像対応付け情報を参照することにより、利用対象の機器のデバイス識別情報を特定する。別の例として、端末装置16の制御部48は、サーバ14から外観画像対応付け情報を取得し、当該外観画像対応付け情報を参照することにより、利用対象の機器のデバイス識別情報を特定してもよい。   Note that the control unit 48 of the terminal device 16 compares the appearance image data representing all or part of the appearance of the device to be used (for example, the image forming apparatus 10) with each appearance image data included in the appearance image association information. Then, based on the comparison result, the device identification information of the device to be used may be specified. The appearance image association information may be stored in the storage unit 44 of the terminal device 16. In this case, the control unit 48 of the terminal device 16 specifies the device identification information of the device to be used by referring to the appearance image association information stored in the storage unit 44 of the terminal device 16. As another example, the control unit 48 of the terminal device 16 acquires the appearance image association information from the server 14 and refers to the appearance image association information to identify the device identification information of the device to be used. Also good.

複数の機器が有する複数の機能を利用する連携機能を実行する場合、連携対象の各機器の外観の全部又は一部を撮影することにより各機器のデバイス識別情報が取得され、これにより、連携機能が特定(識別)される。   When executing a linkage function that uses a plurality of functions of a plurality of devices, the device identification information of each device is acquired by photographing all or part of the appearance of each device to be linked. Is identified (identified).

位置情報AR技術を適用してデバイス識別情報を取得する場合、例えば、GPS(Global Positioning System)機能を利用することにより、機器(例えば画像形成装置10)が設置されている位置を示す位置情報が取得される。例えば、各機器がGPS機能を備えており、機器自身の位置を示すデバイス位置情報を取得する。端末装置16は、利用対象の機器に対してデバイス位置情報の取得要求を示す情報を出力し、その取得要求に対する応答として、当該機器から当該機器のデバイス位置情報を受信する。そのデバイス位置情報は、例えば、端末装置16からサーバ14に送信される。サーバ14においては、制御部36が、当該デバイス位置情報に基づいて利用対象の機器を識別する。例えば、サーバ14の記憶部30には、機器毎に、機器が設置されている位置を示すデバイス位置情報と、当該機器のデバイス識別情報と、の対応付けを示す位置対応付け情報が記憶されている。制御部36は、その位置対応付け情報において、端末装置16から送信されたデバイス位置情報に対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器が特定(識別)される。サーバ14の特定部38は、機器機能管理情報32において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器(例えば画像形成装置10)が有する機能が特定(識別)される。   When the device identification information is acquired by applying the position information AR technology, for example, by using a GPS (Global Positioning System) function, position information indicating a position where the device (for example, the image forming apparatus 10) is installed is obtained. To be acquired. For example, each device has a GPS function and acquires device position information indicating the position of the device itself. The terminal device 16 outputs information indicating an acquisition request for device position information to a device to be used, and receives device position information of the device from the device as a response to the acquisition request. The device position information is transmitted from the terminal device 16 to the server 14, for example. In the server 14, the control unit 36 identifies a device to be used based on the device position information. For example, the storage unit 30 of the server 14 stores, for each device, position association information indicating association between device position information indicating a position where the device is installed and device identification information of the device. Yes. The control unit 36 specifies device identification information associated with the device position information transmitted from the terminal device 16 in the position association information. Thereby, the device to be used is specified (identified). The specifying unit 38 of the server 14 specifies function information indicating each function associated with the specified device identification information in the device function management information 32. Thereby, the function of the device to be used (for example, the image forming apparatus 10) is specified (identified).

なお、端末装置16の制御部48が、位置対応付け情報において、利用対象の機器の位置情報に対応付けられているデバイス識別情報を特定してもよい。位置対応付け情報は、端末装置16の記憶部44に記憶されていてもよい。この場合、端末装置16の制御部48は、端末装置16の記憶部44に記憶されている位置対応付け情報を参照することにより、利用対象の機器のデバイス識別情報を特定する。別の例として、端末装置16の制御部48は、サーバ14から位置対応付け情報を取得し、当該位置対応付け情報を参照することにより、利用対象の機器のデバイス識別情報を特定してもよい。   Note that the control unit 48 of the terminal device 16 may specify the device identification information associated with the position information of the device to be used in the position association information. The position association information may be stored in the storage unit 44 of the terminal device 16. In this case, the control unit 48 of the terminal device 16 specifies the device identification information of the device to be used by referring to the position association information stored in the storage unit 44 of the terminal device 16. As another example, the control unit 48 of the terminal device 16 may acquire the position association information from the server 14 and specify the device identification information of the device to be used by referring to the position association information. .

複数の機器を利用する連携機能を実行する場合、連携対象の各機器のデバイス位置情報が取得され、各デバイス位置情報に基づいて各機器のデバイス識別情報が特定される。これにより、連携機能が特定(識別)される。   When executing a linkage function using a plurality of devices, device position information of each device to be linked is acquired, and device identification information of each device is specified based on each device location information. Thereby, a cooperation function is specified (identified).

以下、本実施形態に係る画像形成システムについて更に詳しく説明する。   Hereinafter, the image forming system according to the present embodiment will be described in more detail.

図6を参照して、機器機能管理情報32について詳しく説明する。図6には、機器機能管理情報32としての機器機能管理テーブルの一例が示されている。機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器が有する機能を示す情報(機能情報)と、画像IDと、が互いに対応付けられている。機器IDと機器名はデバイス識別情報の一例に相当する。画像IDは、機器を表わす画像(例えば、機器の外観を表わす画像や、機器を模式的に表す画像(例えばアイコン)等)を識別するための画像識別情報の一例である。なお、機器機能管理テーブルには、画像IDは含まれていなくてもよい。例えば、機器IDが「B」の機器は、複合機(複数の画像形成機能を有する画像形成装置)であり、プリント機能やスキャン機能等の機能を有している。その機器には、その機器を表わす画像を識別するための画像IDが対応付けられている。機器を表わす画像のデータは、例えば、サーバ14の記憶部30や他の装置に記憶されている。   The device function management information 32 will be described in detail with reference to FIG. FIG. 6 shows an example of a device function management table as the device function management information 32. In the device function management table, for example, a device ID, information indicating a device name (for example, device type), information indicating a function of the device (function information), and an image ID are associated with each other. Yes. The device ID and the device name correspond to an example of device identification information. The image ID is an example of image identification information for identifying an image representing a device (for example, an image representing an external appearance of the device, an image schematically representing the device (for example, an icon), or the like). The device function management table may not include the image ID. For example, a device whose device ID is “B” is a multifunction peripheral (an image forming apparatus having a plurality of image forming functions), and has functions such as a print function and a scan function. The device is associated with an image ID for identifying an image representing the device. Image data representing the device is stored in, for example, the storage unit 30 of the server 14 or another device.

例えば、AR技術を適用することにより、利用対象の機器を識別するための機器IDが取得される。サーバ14の特定部38は、機器機能管理テーブルを参照することにより、その機器IDに対応付けられている機器名、機能及び画像IDを特定する。これにより、利用対象の機器が識別される。例えば、機器名を示す情報、及び、機器を表す画像のデータが、サーバ14から端末装置16に送信され、それらが端末装置16のUI部46に表示される。機器を表す画像は、当該機器に紐付く画像として表示される。もちろん、カメラ42によって撮影された画像そのものが端末装置16のUI部46に表示されてもよい。また、端末装置16のUI部46において、機器に紐付く画像(例えば、カメラ42によって撮影された画像や、機器を模式的に表す画像)がユーザによって指定されると、その機器が有する機能に関する情報(例えば、機能情報や機能の説明情報等)が、サーバ14から端末装置16に送信されて端末装置16のUI部46に表示されてもよい。   For example, by applying the AR technology, a device ID for identifying a device to be used is acquired. The specifying unit 38 of the server 14 specifies the device name, function, and image ID associated with the device ID by referring to the device function management table. Thereby, the device to be used is identified. For example, information indicating the device name and image data representing the device are transmitted from the server 14 to the terminal device 16 and displayed on the UI unit 46 of the terminal device 16. An image representing a device is displayed as an image associated with the device. Of course, the image itself captured by the camera 42 may be displayed on the UI unit 46 of the terminal device 16. Further, in the UI unit 46 of the terminal device 16, when an image associated with a device (for example, an image photographed by the camera 42 or an image schematically representing the device) is designated by the user, the function of the device is provided. Information (for example, function information and function explanation information) may be transmitted from the server 14 to the terminal device 16 and displayed on the UI unit 46 of the terminal device 16.

以下、図7を参照して、連携機能管理情報34について詳しく説明する。図7には、連携機能管理情報34としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器IDの組み合わせと、連携対象の機器名(例えば各機器の種類)を示す情報と、連携機能を示す情報(連携機能情報)と、が互いに対応付けられている。例えば、機器IDが「A」の機器はPC(パーソナルコンピュータ)であり、機器IDが「B」の機器は複合機である。PC(A)と複合機(B)を連携させることにより、連携機能として、例えば「スキャン転送機能」や「プリント機能」が実現される。「スキャン転送機能」は、複合機(B)によるスキャンによって生成された画像データをPC(A)に転送する機能である。「プリント機能」は、PC(A)に保存されているデータ(例えば画像データや文書データ)を複合機(B)に送信して複合機(B)にて印刷する機能である。   Hereinafter, the cooperative function management information 34 will be described in detail with reference to FIG. FIG. 7 shows an example of a cooperation function management table as the cooperation function management information 34. In the linkage function management table, as an example, a combination of device IDs, information indicating a device name to be linked (for example, the type of each device), and information indicating a linkage function (linkage function information) are associated with each other. ing. For example, a device with a device ID “A” is a PC (personal computer), and a device with a device ID “B” is a multifunction device. By linking the PC (A) and the multifunction peripheral (B), for example, a “scan transfer function” or a “print function” is realized as a link function. The “scan transfer function” is a function for transferring image data generated by scanning by the multifunction peripheral (B) to the PC (A). The “print function” is a function for transmitting data (for example, image data or document data) stored in the PC (A) to the multifunction device (B) and printing the data on the multifunction device (B).

以下、図8を参照して、機器が単独で利用される場合の処理について説明する。図8には、単独で利用される機器の一例が示されている。一例として、画像形成装置10が、単独で利用される機器であるとする。画像形成装置10は例えば複合機である。画像形成装置10は、現実空間に存在する機器である。図8に示されている端末装置16は、現実空間に存在する機器であり、例えばスマートフォンや携帯電話等の携帯端末装置である。   Hereinafter, with reference to FIG. 8, processing when the device is used alone will be described. FIG. 8 shows an example of a device used alone. As an example, it is assumed that the image forming apparatus 10 is a device used alone. The image forming apparatus 10 is, for example, a multifunction machine. The image forming apparatus 10 is a device that exists in a real space. The terminal device 16 illustrated in FIG. 8 is a device that exists in the real space, and is a mobile terminal device such as a smartphone or a mobile phone.

例えば、画像形成装置10の筐体に2次元バーコード等のマーカ50が設けられている。マーカ型AR技術又はマーカレス型AR技術が用いられる場合、ユーザは端末装置16(例えばスマートフォン)のカメラ42によって、利用対象の画像形成装置10を撮影する。これにより、マーカ50を表わす画像データ又は画像形成装置10の外観を表わす外観画像データが生成される。端末装置16のUI部46の表示部には機器表示画面52が表示され、その機器表示画面52に、画像形成装置10に紐付く機器画像54が表示される。機器画像54は、例えば、カメラ42による撮影によって生成された画像(撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい)である。   For example, a marker 50 such as a two-dimensional barcode is provided on the housing of the image forming apparatus 10. When the marker type AR technology or the markerless type AR technology is used, the user photographs the image forming apparatus 10 to be used by the camera 42 of the terminal device 16 (for example, a smartphone). As a result, image data representing the marker 50 or appearance image data representing the appearance of the image forming apparatus 10 is generated. A device display screen 52 is displayed on the display unit of the UI unit 46 of the terminal device 16, and a device image 54 associated with the image forming apparatus 10 is displayed on the device display screen 52. The device image 54 is, for example, an image generated by photographing with the camera 42 (an image having a size at the time of photographing may be used, or an enlarged or reduced image may be used).

カメラ42による撮影によって生成された画像データは、端末装置16からサーバ14に送信される。サーバ14においては、制御部36が画像データにデコード処理を適用することにより、画像形成装置10のデバイス識別情報を抽出し、これにより、画像形成装置10を識別する。別の例として、画像形成装置10の外観を表わす外観画像データが生成され、端末装置16からサーバ14に外観画像データが送信されてもよい。この場合、サーバ14においては、制御部36が、外観画像対応付け情報を参照することにより、画像形成装置10のデバイス識別情報を特定する。これにより、画像形成装置10が識別される。   Image data generated by photographing by the camera 42 is transmitted from the terminal device 16 to the server 14. In the server 14, the control unit 36 applies the decoding process to the image data to extract the device identification information of the image forming apparatus 10, thereby identifying the image forming apparatus 10. As another example, appearance image data representing the appearance of the image forming apparatus 10 may be generated, and the appearance image data may be transmitted from the terminal device 16 to the server 14. In this case, in the server 14, the control unit 36 specifies the device identification information of the image forming apparatus 10 by referring to the appearance image association information. Thereby, the image forming apparatus 10 is identified.

また、サーバ14の特定部38は、機器機能管理情報32(例えば図6に示されている機器機能管理テーブル)を参照することにより、画像形成装置10が有する機能を特定(識別)する。この点について図6を参照して詳しく説明する。画像形成装置10は、一例として「複合機(B)」であるとする。特定部38は、図6に示されている機器機能管理テーブルにおいて、複合機(B)に対応付けられている機能を特定する。これにより、複合機(B)が有する機能が特定される。特定された機能に関する情報は、サーバ14から端末装置16に送信される。もちろん、機器や機能を識別するための処理は、端末装置16によって行われてもよい。   Further, the specifying unit 38 of the server 14 specifies (identifies) the function of the image forming apparatus 10 by referring to the device function management information 32 (for example, the device function management table shown in FIG. 6). This point will be described in detail with reference to FIG. The image forming apparatus 10 is assumed to be a “multifunction machine (B)” as an example. The specifying unit 38 specifies the function associated with the multifunction peripheral (B) in the device function management table shown in FIG. Thereby, the function which a multifunctional machine (B) has is specified. Information regarding the identified function is transmitted from the server 14 to the terminal device 16. Of course, the process for identifying a device or a function may be performed by the terminal device 16.

なお、機器表示画面52には、カメラ42による撮影によって生成された画像の替わりに、識別された画像形成装置10に紐付く予め用意された画像(撮影で得られた画像そのものではなく模式的な画像(例えばアイコン))や、外部のカメラによる撮影によって生成された画像が、機器画像54として表示されてもよい。   It should be noted that the device display screen 52 is a schematic image (not an image itself obtained by photographing) prepared in advance associated with the identified image forming apparatus 10 instead of an image generated by photographing by the camera 42. An image (for example, an icon) or an image generated by photographing with an external camera may be displayed as the device image 54.

例えば、機器を撮影することで得られた画像データを利用する場合、現在の機器そのものの外観(例えば、キズ、メモ書き、機器に貼り付けられたシール等が反映された外観)が画像に反映されるので、ユーザにとって他の同種の機器との違いが視覚的により分かる効果がある。   For example, when using image data obtained by shooting a device, the appearance of the current device itself (for example, an appearance that reflects scratches, notes, stickers attached to the device, etc.) is reflected in the image. As a result, the user can visually understand the difference from other similar devices.

模式的な画像を利用する場合、模式的な画像のデータは、例えばサーバ14から端末装置16に送信される。例えば画像形成装置10が識別されると、サーバ14の特定部38は、図6に示されている機器機能管理テーブル(機器機能管理情報32)を参照することにより、画像形成装置10に紐付く模式的な画像を特定する。その模式的な画像のデータはサーバ14から端末装置16に送信され、その模式的な画像は機器画像54として機器表示画面52に表示される。模式的な画像のデータは端末装置16に予め記憶されていてもよい。この場合、画像形成装置10が識別されると、端末装置16に記憶されている機器画像54が機器表示画面52に表示される。模式的な画像のデータは、サーバ14や端末装置16以外の装置に記憶されていてもよい。   When using a schematic image, the data of the schematic image is transmitted from the server 14 to the terminal device 16, for example. For example, when the image forming apparatus 10 is identified, the specifying unit 38 of the server 14 associates with the image forming apparatus 10 by referring to the device function management table (device function management information 32) illustrated in FIG. Identify a schematic image. The schematic image data is transmitted from the server 14 to the terminal device 16, and the schematic image is displayed on the device display screen 52 as the device image 54. Schematic image data may be stored in the terminal device 16 in advance. In this case, when the image forming apparatus 10 is identified, the device image 54 stored in the terminal device 16 is displayed on the device display screen 52. Schematic image data may be stored in a device other than the server 14 or the terminal device 16.

また、機器が識別されると、その機器の名称を示す情報がサーバ14から端末装置16に送信され、端末装置16において、機器表示画面52に機器の名称が表示されてもよい。図8に示す例では、画像形成装置10は複合機であり、その名称「複合機(B)」が表示されている。   When a device is identified, information indicating the name of the device may be transmitted from the server 14 to the terminal device 16, and the device name may be displayed on the device display screen 52 in the terminal device 16. In the example illustrated in FIG. 8, the image forming apparatus 10 is a multifunction peripheral, and the name “multifunction peripheral (B)” is displayed.

画像形成装置10が有する機能が特定されると、例えば図9に示すように、端末装置16の制御部48は、機能表示画面56を端末装置16のUI部46に表示させ、その機能表示画面56に機能に関する情報を表示させる。機能に関する情報として、例えば、その機能の実行を指示するためのボタン画像が表示される。画像形成装置10としての複合機(B)は、例えば、プリント機能、スキャン機能、コピー機能、及び、ファクシミリ機能を有しているため、これらの機能の実行を指示するためのボタン画像が機能表示画面56に表示される。例えば、ユーザが端末装置16を使用してプリント機能を表わすボタン画像を指定し、プリント機能の実行を指示すると、プリント機能の実行指示を示す実行指示情報が、端末装置16から画像形成装置10に送信される。その実行指示情報には、プリント機能を実行するための制御データや、プリント機能が適用される画像データ等のデータ、等が含まれる。画像形成装置10は実行指示情報を受けると、その実行指示情報に従ってプリントを実行する。   When the function of the image forming apparatus 10 is specified, for example, as illustrated in FIG. 9, the control unit 48 of the terminal device 16 displays a function display screen 56 on the UI unit 46 of the terminal device 16, and the function display screen is displayed. 56 displays information about the function. As information about a function, for example, a button image for instructing execution of the function is displayed. Since the multifunction peripheral (B) as the image forming apparatus 10 has, for example, a print function, a scan function, a copy function, and a facsimile function, button images for instructing execution of these functions are displayed as functions. It is displayed on the screen 56. For example, when a user designates a button image representing a print function using the terminal device 16 and instructs execution of the print function, execution instruction information indicating an instruction to execute the print function is transmitted from the terminal device 16 to the image forming apparatus 10. Sent. The execution instruction information includes control data for executing the print function, data such as image data to which the print function is applied, and the like. Upon receiving the execution instruction information, the image forming apparatus 10 executes printing according to the execution instruction information.

図10には、機能表示画面の別の例が示されている。この機能表示画面58は、図8に示すように、単体の機器を利用する際に、端末装置16のUI部46に表示される画面である。上述したように、利用対象の機器(例えば画像形成装置10)が特定され、利用対象の機器が有する機能が特定される。また、利用対象の機器を利用するユーザがユーザ識別情報に対応付けられている機能を示す機能情報、つまり、当該ユーザが利用可能な機能が特定されてもよい。さらに、利用対象の機器が有する機能が特定されるので、提供対象となっている機能群の中で利用対象の機器が有していない機能が特定されてもよい。これらの情報は、機能表示画面58に表示されてもよい。   FIG. 10 shows another example of the function display screen. As shown in FIG. 8, the function display screen 58 is a screen displayed on the UI unit 46 of the terminal device 16 when using a single device. As described above, the device to be used (for example, the image forming apparatus 10) is specified, and the function of the device to be used is specified. Moreover, the function information which shows the function with which the user using the apparatus of utilization object is matched with user identification information, ie, the function which the said user can utilize, may be specified. Furthermore, since the function of the device to be used is specified, the function that the device to be used does not have may be specified in the function group to be provided. Such information may be displayed on the function display screen 58.

図10に示されている機能表示画面58には、機能情報の一例として、機能Aを表すボタン画像60、機能Bを表すボタン画像62、及び、機能Cを表すボタン画像64が、表示されている。機能Aは、利用対象の機器(例えば識別された画像形成装置10)が有している機能であって、ユーザによって利用可能な機能である。機能Bは、利用対象の機器が有している機能であって、ユーザによる利用が不可能な機能である。ユーザが機能Bの提供を受けることにより、当該ユーザによる機能Bの利用が可能となる。機能Bが有償の機能であれば、ユーザが機能Bを購入することにより、機能Bの利用が可能となり、機能Bが無償の機能であれば、ユーザが無償で機能Bの提供を受けることにより、機能Bの利用が可能となる。機能Cは、利用対象の機器が有していない機能、つまり、利用対象の機器が対応していない機能である。端末装置16の制御部48は、ボタン画像によって表されている機能が、利用対象の機器が有している機能であるか否かに応じて、当該ボタン画像の表示態様を変えてもよい。また、制御部48は、ボタン画像によって表されている機能が、ユーザによって利用可能な機能であるか否かに応じて、当該ボタン画像の表示態様を変えてもよい。例えば、制御部48は、ボタン画像の色や形状を変えてもよい。図10に示す例では、ボタン画像60,62,64はそれぞれ異なる色で表示されている。一例として、利用対象の機器が有している機能であってユーザによって利用可能な機能を表すボタン画像(例えば機能Aを表すボタン画像60)は、青色で表示される。利用対象の機器が有している機能であってユーザによる利用が不可能な機能を表すボタン画像(機能Bを表すボタン画像62)は、黄色で表示される。利用対象の機器が有していない機能を表すボタン画像(例えば機能Cを表すボタン画像64)は、灰色で表示される。別の例として、制御部48は、ボタン画像60,62,64の形状を変えてもよいし、機能表示名のフォントを変えてもよい。もちろん、別の手法によって表示態様を変えてもよい。これにより、ユーザに視認性良く各機能の利用可否が伝えられる。   On the function display screen 58 shown in FIG. 10, as an example of function information, a button image 60 representing the function A, a button image 62 representing the function B, and a button image 64 representing the function C are displayed. Yes. The function A is a function that a device to be used (for example, the identified image forming apparatus 10) has, and is a function that can be used by the user. The function B is a function possessed by the device to be used and cannot be used by the user. When the user receives the provision of the function B, the user can use the function B. If the function B is a paid function, the user can use the function B by purchasing the function B. If the function B is a free function, the user receives the function B free of charge. The function B can be used. Function C is a function that the target device does not have, that is, a function that the target device does not support. The control unit 48 of the terminal device 16 may change the display mode of the button image according to whether or not the function represented by the button image is a function of the device to be used. The control unit 48 may change the display mode of the button image depending on whether or not the function represented by the button image is a function that can be used by the user. For example, the control unit 48 may change the color and shape of the button image. In the example shown in FIG. 10, the button images 60, 62, and 64 are displayed in different colors. As an example, a button image (for example, a button image 60 representing the function A) that represents a function that the target device has and that can be used by the user is displayed in blue. A button image (a button image 62 representing the function B) that represents a function that the target device has and cannot be used by the user is displayed in yellow. A button image representing a function that the device to be used does not have (for example, a button image 64 representing the function C) is displayed in gray. As another example, the control unit 48 may change the shape of the button images 60, 62, and 64, or may change the font of the function display name. Of course, the display mode may be changed by another method. This informs the user whether or not each function can be used with high visibility.

例えば、ユーザが端末装置16を利用して機能Aを表すボタン画像60を指定し、機能Aの実行の指示を与えると、機能Aの実行指示を示す実行指示情報が、端末装置16から利用対象の機器に送信される。その実行指示情報には、機能Aを実行するための制御データや、機能Aによる処理が適用される画像データ等のデータ、等が含まれる。利用対象の機器は実行指示情報を受けると、その実行指示情報に従って機能Aを実行する。例えば、利用対象の機器が画像形成装置10の場合であって機能Aがスキャン転送機能の場合、画像形成装置10の画像形成部20によってスキャン機能が実行され、これによりスキャンデータ(画像データ)が生成される。そのスキャンデータは、画像形成装置10から設定された送信先(例えば端末装置16)に送信される。   For example, when the user designates the button image 60 representing the function A using the terminal device 16 and gives an instruction to execute the function A, the execution instruction information indicating the execution instruction of the function A is used from the terminal device 16 as the usage target. Sent to other devices. The execution instruction information includes control data for executing function A, data such as image data to which processing by function A is applied, and the like. When the target device receives the execution instruction information, it executes the function A according to the execution instruction information. For example, when the device to be used is the image forming apparatus 10 and the function A is the scan transfer function, the scan function is executed by the image forming unit 20 of the image forming apparatus 10, and thereby the scan data (image data) is obtained. Generated. The scan data is transmitted from the image forming apparatus 10 to a transmission destination (for example, the terminal device 16) set.

また、ユーザが端末装置16を利用して機能Bを表すボタン画像62を指定し、機能Bの提供を指示した場合、提供処理が実行される。提供処理がサーバ14によって行われる場合、端末装置16はサーバ14にアクセスする。これにより、ユーザによる機能Bの利用を可能にするための情報として、機能Bの提供を受けるための画面(例えばWebサイト)が端末装置16のUI部46に表示される。この画面上で提供手続きを行うことにより、ユーザによる機能Bの利用が可能となる。例えば、端末装置16にはWebブラウザのプログラムが記憶されており、そのWebブラウザを利用することにより、端末装置16からサーバ14へのアクセスが実現される。ユーザはWebブラウザを用いてサーバ14にアクセスすると、端末装置16のUI部46に、機能提供画面(例えばWebサイト)が表示され、そのWebサイトを介して機能が提供される。もちろん、サーバ14以外のサーバ等によって提供処理が行われてもよい。別の例として、端末装置16のUI部46には、ユーザによる機能Bの利用を可能にするための情報として、管理者等に機能Bの利用を依頼するための利用許可依頼画面(例えばWebサイト)が表示されてもよい。この利用許可依頼画面を介して機能Bの利用の許可を管理者等に依頼し、その許可が得られた場合、ユーザによる機能Bの利用が可能となる。   When the user designates the button image 62 representing the function B using the terminal device 16 and instructs the provision of the function B, the providing process is executed. When the providing process is performed by the server 14, the terminal device 16 accesses the server 14. As a result, a screen (for example, a website) for receiving the provision of the function B is displayed on the UI unit 46 of the terminal device 16 as information for enabling the user to use the function B. By performing the provision procedure on this screen, the user can use the function B. For example, a Web browser program is stored in the terminal device 16, and access from the terminal device 16 to the server 14 is realized by using the Web browser. When the user accesses the server 14 using a Web browser, a function providing screen (for example, a Web site) is displayed on the UI unit 46 of the terminal device 16 and functions are provided via the Web site. Of course, the providing process may be performed by a server other than the server 14. As another example, the UI unit 46 of the terminal device 16 has a use permission request screen (for example, Web) for requesting the administrator or the like to use the function B as information for enabling the user to use the function B. Site) may be displayed. If the administrator or the like is requested to permit the use of the function B via the use permission request screen and the permission is obtained, the user can use the function B.

以下、図11を参照して、連携機能が利用される場合の処理について説明する。図11には、連携対象の機器の一例が示されている。一例として、画像形成装置10と機器12としてのプロジェクタ(以下、プロジェクタ12と称する場合がある)とが、連携対象の機器として用いられるものとする。画像形成装置10、プロジェクタ12及び端末装置16は、現実空間に存在する機器である。   Hereinafter, with reference to FIG. 11, processing when the cooperation function is used will be described. FIG. 11 shows an example of a cooperation target device. As an example, it is assumed that the image forming apparatus 10 and a projector as the device 12 (hereinafter sometimes referred to as a projector 12) are used as devices to be linked. The image forming apparatus 10, the projector 12, and the terminal device 16 are devices that exist in the real space.

例えば、画像形成装置10の筐体に2次元バーコード等のマーカ50が設けられており、プロジェクタ12の筐体に2次元バーコード等のマーカ66が設けられている。マーカ66は、プロジェクタ12の機器識別情報がコード化された情報である。マーカ型AR技術又はマーカレス型AR技術が用いられる場合、ユーザは端末装置16(例えばスマートフォン)のカメラ42によって、連携対象の画像形成装置10とプロジェクタ12を撮影する。図11に示す例では、カメラ42の撮影領域に画像形成装置10とプロジェクタ12の両方が含まれる状態で、画像形成装置10とプロジェクタ12が一緒に撮影されている。これにより、マーカ50,66のそれぞれを表わす画像データが生成される。端末装置16のUI部46の表示部には機器表示画面68が表示され、その機器表示画面68に、画像形成装置10に紐付く機器画像70とプロジェクタ12に紐付く機器画像72が表示される。機器画像70,72は、例えば、カメラ42による撮影によって生成された画像(撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい)である。   For example, a marker 50 such as a two-dimensional barcode is provided on the casing of the image forming apparatus 10, and a marker 66 such as a two-dimensional barcode is provided on the casing of the projector 12. The marker 66 is information obtained by coding the device identification information of the projector 12. When the marker type AR technology or the markerless type AR technology is used, the user captures the image forming apparatus 10 and the projector 12 to be linked by the camera 42 of the terminal device 16 (for example, a smartphone). In the example illustrated in FIG. 11, the image forming apparatus 10 and the projector 12 are photographed together in a state where both the image forming apparatus 10 and the projector 12 are included in the photographing region of the camera 42. Thereby, image data representing each of the markers 50 and 66 is generated. A device display screen 68 is displayed on the display unit of the UI unit 46 of the terminal device 16, and a device image 70 associated with the image forming apparatus 10 and a device image 72 associated with the projector 12 are displayed on the device display screen 68. . The device images 70 and 72 are, for example, images generated by photographing with the camera 42 (an image having a size at the time of photographing may be used, or an enlarged or reduced image may be used).

カメラ42による撮影によって生成された画像データは、端末装置16からサーバ14に送信される。サーバ14においては、制御部36が画像データにデコード処理を適用することにより、画像形成装置10のデバイス識別情報とプロジェクタ12のデバイス識別情報を抽出し、これにより、画像形成装置10とプロジェクタ12を識別する。別の例として、画像形成装置10とプロジェクタ12のそれぞれの外観を表わす外観画像データが生成され、端末装置16からサーバ14に送信されてもよい。この場合、サーバ14においては、制御部36が、外観画像対応付け情報を参照することにより、画像形成装置10の機器識別情報とプロジェクタ12のデバイス識別情報を特定する。これにより、画像形成装置10とプロジェクタ12が識別される。   Image data generated by photographing by the camera 42 is transmitted from the terminal device 16 to the server 14. In the server 14, the control unit 36 applies the decoding process to the image data to extract the device identification information of the image forming apparatus 10 and the device identification information of the projector 12, whereby the image forming apparatus 10 and the projector 12 are connected. Identify. As another example, appearance image data representing the appearances of the image forming apparatus 10 and the projector 12 may be generated and transmitted from the terminal device 16 to the server 14. In this case, in the server 14, the control unit 36 specifies the device identification information of the image forming apparatus 10 and the device identification information of the projector 12 by referring to the appearance image association information. Thereby, the image forming apparatus 10 and the projector 12 are identified.

また、サーバ14の特定部38は、連携機能管理情報34(例えば図7に示されている連携機能管理テーブル)を参照することにより、画像形成装置10が有する機能とプロジェクタ12が有する機能とを利用する連携機能を特定(識別)する。この点について図7を参照して詳しく説明する。画像形成装置10は、一例として「複合機(B)」であり、プロジェクタ12は、一例として「プロジェクタ(C)」であるとする。特定部38は、図7に示されている連携機能管理テーブルにおいて、複合機(B)とプロジェクタ(C)の組み合わせに対応付けられている連携機能を特定する。これにより、複合機(B)とプロジェクタ(C)を連携させることによって実行される連携機能が特定される。特定された連携機能に関する情報は、サーバ14から端末装置16に送信される。もちろん、機器や連携機能を識別するための処理は、端末装置16によって行われてもよい。   Further, the specifying unit 38 of the server 14 refers to the cooperation function management information 34 (for example, the cooperation function management table illustrated in FIG. 7), thereby determining the functions of the image forming apparatus 10 and the functions of the projector 12. Identify (identify) the linkage function to use. This point will be described in detail with reference to FIG. The image forming apparatus 10 is assumed to be a “multifunction machine (B)” as an example, and the projector 12 is assumed to be a “projector (C)” as an example. The specifying unit 38 specifies the link function associated with the combination of the multifunction peripheral (B) and the projector (C) in the link function management table shown in FIG. Thereby, the cooperation function performed by cooperating the multifunction peripheral (B) and the projector (C) is specified. Information regarding the identified linkage function is transmitted from the server 14 to the terminal device 16. Of course, the processing for identifying the device and the linkage function may be performed by the terminal device 16.

なお、機器表示画面68には、カメラ42による撮影によって生成された画像の替わりに、識別された画像形成装置10に紐付く予め用意された画像(例えば模式的な画像(例えばアイコン))や、外部のカメラによる撮影によって生成された画像が、機器画像70として表示されてもよい。同様に、識別されたプロジェクタ12に紐付く予め用意された画像や、外部のカメラによる撮影によって生成された画像が、機器画像72として表示されてもよい。模式的な画像のデータは、上述したように、例えばサーバ14から端末装置16に送信されてもよいし、端末装置16に予め記憶されていてもよいし、それら以外の装置に記憶されていてもよい。   The device display screen 68 includes an image prepared in advance (for example, a schematic image (for example, an icon)) associated with the identified image forming apparatus 10 instead of an image generated by photographing with the camera 42, An image generated by photographing with an external camera may be displayed as the device image 70. Similarly, an image prepared in advance associated with the identified projector 12 or an image generated by photographing with an external camera may be displayed as the device image 72. As described above, the schematic image data may be transmitted from the server 14 to the terminal device 16, stored in the terminal device 16 in advance, or stored in other devices. Also good.

また、機器が識別されると、その機器の名称を示す情報がサーバ14から端末装置16に送信され、端末装置16において、機器表示画面68に機器の名称が表示されてもよい。図11に示す例では、画像形成装置10の名称「複合機(B)」と、プロジェクタ12の名称「プロジェクタ(C)」が表示されている。   When a device is identified, information indicating the name of the device may be transmitted from the server 14 to the terminal device 16, and the device name may be displayed on the device display screen 68 in the terminal device 16. In the example shown in FIG. 11, the name “MFP (B)” of the image forming apparatus 10 and the name “Projector (C)” of the projector 12 are displayed.

なお、複数の機器が撮影された場合であっても、サーバ14の特定部38は、機器機能管理情報32を参照することにより、各機器が有する機能を特定してもよい。図11に示す例では、特定部38は、画像形成装置10が有する機能とプロジェクタ12が有する機能をそれぞれ特定してもよい。特定された機能に関する情報は、サーバ14から端末装置16に送信されてもよい。   Even when a plurality of devices are photographed, the specifying unit 38 of the server 14 may specify the functions of each device by referring to the device function management information 32. In the example illustrated in FIG. 11, the specifying unit 38 may specify the function of the image forming apparatus 10 and the function of the projector 12. Information regarding the identified function may be transmitted from the server 14 to the terminal device 16.

連携機能が特定されると、例えば図12に示すように、端末装置16の制御部48は、機能表示画面74を端末装置16のUI部46に表示させ、その機能表示画面56に連携機能に関する情報を表示させる。連携機能に関する情報として、例えば、その連携機能の実行を指示するためのボタン画像が表示される。複合機(B)とプロジェクタ(C)を連携させることで、例えば、複合機(B)によるスキャンによって生成された画像をプロジェクタ(C)によって投影する連携機能や、プロジェクタ(C)によって投影されている画像を複合機(B)によってプリントする連携機能が実行可能となる。これらの連携機能の実行を指示するためのボタン画像が機能表示画面74に表示される。例えば、ユーザが端末装置16を使用してボタン画像を指定し、連携機能の実行を指示すると、その連携機能の実行指示を示す実行指示情報が、端末装置16から画像形成装置10とプロジェクタ12に送信される。画像形成装置10とプロジェクタ12は、実行指示情報を受けると、ユーザによって指定された連携機能を実行する。   When the cooperation function is specified, for example, as illustrated in FIG. 12, the control unit 48 of the terminal device 16 displays the function display screen 74 on the UI unit 46 of the terminal device 16, and the function display screen 56 relates to the cooperation function. Display information. For example, a button image for instructing execution of the cooperation function is displayed as information on the cooperation function. By linking the multifunction machine (B) and the projector (C), for example, a cooperation function for projecting an image generated by scanning by the multifunction machine (B) by the projector (C), or being projected by the projector (C). The cooperative function of printing the existing image by the multifunction peripheral (B) can be executed. A button image for instructing execution of these linkage functions is displayed on the function display screen 74. For example, when the user designates a button image using the terminal device 16 and instructs execution of the cooperation function, execution instruction information indicating the execution instruction of the cooperation function is transmitted from the terminal device 16 to the image forming apparatus 10 and the projector 12. Sent. Upon receiving the execution instruction information, the image forming apparatus 10 and the projector 12 execute the cooperation function designated by the user.

ユーザの操作によって、連携対象の機器が指定されてもよい。例えば、画像形成装置10とプロジェクタ12をカメラ42によって撮影することにより、図11に示すように、端末装置16のUI部46には、画像形成装置10に紐付く機器画像70とプロジェクタ12に紐付く機器画像72が表示される。なお、機器に紐付く画像は、カメラ42による撮影で得られた画像であってもよいし、識別された機器に紐付く予め用意された画像(例えば模式的な画像(例えばアイコン))であってもよい。ユーザが機器表示画面68上で機器画像70,72を指定することにより、連携対象の機器として画像形成装置10とプロジェクタ12が指定される。例えば、ユーザが機器画像70を指定すると、マーカ型AR技術又はマーカレス型AR技術が機器画像70に適用され、これにより、画像形成装置10が特定(識別)される。同様に、ユーザが機器画像72を指定すると、マーカ型AR技術又はマーカレス型AR技術が機器画像72に適用され、これにより、プロジェクタ12が特定(識別)される。これにより、画像形成装置10とプロジェクタ12によって実行される連携機能が特定され、その連携機能に関する情報が端末装置16のUI部46に表示される。   A device to be linked may be designated by a user operation. For example, when the image forming apparatus 10 and the projector 12 are photographed by the camera 42, as shown in FIG. 11, the UI unit 46 of the terminal device 16 has a device image 70 associated with the image forming apparatus 10 and the projector 12. An attached device image 72 is displayed. The image associated with the device may be an image obtained by photographing with the camera 42, or may be an image prepared in advance (for example, a schematic image (eg, icon)) associated with the identified device. May be. When the user designates device images 70 and 72 on the device display screen 68, the image forming apparatus 10 and the projector 12 are designated as devices to be linked. For example, when the user designates the device image 70, the marker type AR technology or the markerless type AR technology is applied to the device image 70, and thereby the image forming apparatus 10 is specified (identified). Similarly, when the user designates the device image 72, the marker type AR technology or the markerless type AR technology is applied to the device image 72, and thereby the projector 12 is specified (identified). Thereby, the cooperation function executed by the image forming apparatus 10 and the projector 12 is specified, and information related to the cooperation function is displayed on the UI unit 46 of the terminal device 16.

別の例として、ユーザが機器表示画面68上で機器画像70をタッチして機器画像72までの間を指等で操作する(例えば指等でなぞる)ことにより、機器画像70,72が指定され、画像形成装置10とプロジェクタ12が連携対象の機器として指定されてもよい。機器画像70,72を触れる順番やなぞる方向は、上記の例と逆であってもよい。もちろん、機器表示画面68をなぞるためのペンといった指以外の画面接触手段が用いられてもよい。ユーザが機器画像70と機器画像72を繋げることにより、機器画像70,72が指定され、画像形成装置10とプロジェクタ12が連携対象の機器として指定されてもよい。ユーザが機器画像70と機器画像72を重ねることにより、機器画像70,72が指定され、画像形成装置10とプロジェクタ12が連携対象の機器として指定されてもよい。丸を付けるような描画操作によって連携対象の機器を指定してもよいし、連携したい機器に紐付く機器画像を予め設定された時間内に指定することで、連携対象の機器を指定してもよい。連携を解除する場合、ユーザが機器表示画面68上で解除対象の機器を指定してもよいし、連携解除ボタンを押してもよい。連携対象ではない機器が画像に写り込んでいる場合、ユーザが機器表示画面68上にてその機器を指定することにより、その機器を連携対象の機器群から除外してもよい。バツ印等を付けるような予め設定された操作によって、解除対象の機器を指定してもよい。   As another example, when the user touches the device image 70 on the device display screen 68 and operates the device image 72 with a finger or the like (for example, tracing with the finger or the like), the device images 70 and 72 are designated. The image forming apparatus 10 and the projector 12 may be designated as devices to be linked. The order of touching the device images 70 and 72 and the direction of tracing may be the reverse of the above example. Of course, screen contact means other than a finger such as a pen for tracing the device display screen 68 may be used. When the user connects the device image 70 and the device image 72, the device images 70 and 72 may be specified, and the image forming apparatus 10 and the projector 12 may be specified as devices to be linked. When the user overlaps the device image 70 and the device image 72, the device images 70 and 72 may be specified, and the image forming apparatus 10 and the projector 12 may be specified as devices to be linked. The device to be linked may be specified by a drawing operation such as adding a circle, or the device to be linked can be specified by specifying the device image associated with the device to be linked within a preset time. Good. When canceling the cooperation, the user may specify a device to be canceled on the device display screen 68 or may press a cooperation cancellation button. When a device that is not a collaboration target is reflected in the image, the device may be excluded from the collaboration target device group by designating the device on the device display screen 68. The device to be released may be designated by a preset operation such as adding a cross mark.

連携対象の各機器は別々に撮影されてもよい。例えば、カメラ42による撮影を複数回に分けることで、連携対象の各機器を識別する。カメラ42による撮影を複数回に分けた場合、各撮影回で識別された機器のデバイス識別情報は、サーバ14又は端末装置16の記憶部に記憶される。例えば、カメラ42の撮影領域に画像形成装置10が含まれる状態で画像形成装置10が撮影され、次に、カメラ42の撮影領域にプロジェクタ12が含まれる状態でプロジェクタ12が撮影される。これにより、画像形成装置10についての画像データとプロジェクタ12についての画像データが生成され、各画像データにマーカ型AR技術又はマーカレス型AR技術が適用されることにより、画像形成装置10とプロジェクタ12が特定(識別)され、画像形成装置10とプロジェクタ12の機能を利用する連携機能が特定(識別)される。例えば、連携対象の各機器が互いに近い位置に配置されて、カメラ42の撮影領域に画像形成装置10とプロジェクタ12の両方が必ずしも一緒に含まれるとは限らない。カメラ42の撮影領域のアングルを変えたり、撮影領域の拡大又は縮小によって対応することができる場合もあるが、そのような操作で対応しきれない場合、撮影を複数回に分けることにより、連携対象の機器を識別することも解決手段としてあり得る。   Each device to be linked may be shot separately. For example, each device to be linked is identified by dividing the shooting by the camera 42 into a plurality of times. When the shooting by the camera 42 is divided into a plurality of times, the device identification information of the device identified at each shooting time is stored in the storage unit of the server 14 or the terminal device 16. For example, the image forming apparatus 10 is photographed with the image forming apparatus 10 included in the photographing area of the camera 42, and then the projector 12 is photographed with the projector 12 included in the photographing area of the camera 42. Thereby, image data for the image forming apparatus 10 and image data for the projector 12 are generated, and the marker-type AR technique or the markerless-type AR technique is applied to each image data. Identification (identification) is performed, and a cooperation function that uses the functions of the image forming apparatus 10 and the projector 12 is identified (identification). For example, the devices to be linked are arranged at positions close to each other, and both the image forming apparatus 10 and the projector 12 are not necessarily included together in the shooting area of the camera 42. In some cases, it is possible to respond by changing the angle of the shooting area of the camera 42, or by expanding or reducing the shooting area. It is also possible to identify other devices.

別の例として、連携対象の機器が基本連携機器として予め設定されていてもよい。例えば、画像形成装置10が基本連携機器として予め設定されているものとする。基本連携機器のデバイス識別情報は、サーバ14や端末装置16の記憶部に予め記憶されていてもよい。ユーザが端末装置16を利用して基本連携機器を指定してもよい。基本連携機器が設定されている場合、ユーザは端末装置16のカメラ42によって、基本連携機器以外の連携対象の機器を撮影する。これにより、連携対象の機器が特定(識別)され、基本連携機器と撮影された機器が有する機能を利用する連携機能が特定(識別)される。   As another example, a device to be linked may be set in advance as a basic linked device. For example, it is assumed that the image forming apparatus 10 is preset as a basic cooperation device. The device identification information of the basic linkage device may be stored in advance in the storage unit of the server 14 or the terminal device 16. The user may specify the basic cooperation device using the terminal device 16. When the basic cooperation device is set, the user uses the camera 42 of the terminal device 16 to photograph a device to be linked other than the basic cooperation device. As a result, the device to be linked is specified (identified), and the linked function that uses the functions of the basic linked device and the captured device is specified (identified).

なお、図11及び図12に示す例では、連携機能は、ハードウェアとしての機器を利用する機能であるが、その連携機能は、ソフトウェア(アプリケーション)によって実現される機能を利用する機能であってもよい。例えば、機器画像の替わりに、ソフトウェアによって実現される機能に紐付く機能画像(例えばアイコン等の画像)が端末装置16のUI部46に表示され、複数の機能画像がユーザによって指定されることで、それら複数の機能画像に紐付く複数の機能を利用する連携機能が特定(識別)されてもよい。例えば、スマートフォンのホーム画面やパーソナルコンピュータのデスクトップ画面に表示されている機能に紐付く機器画像を指定することで、連携機能が特定されてもよい。もちろん、ハードウェアとしての機器に紐付く機器画像と、ソフトウェアによって実現される機能に紐付く機能画像と、が端末装置16のUI部46に表示され、機器画像と機能画像がユーザによって指定された場合、その機器画像に紐付く機器とその機能画像に紐付く機能とを利用する連携機能が識別されてもよい。   In the example shown in FIGS. 11 and 12, the cooperation function is a function that uses a device as hardware, but the cooperation function is a function that uses a function realized by software (application). Also good. For example, instead of a device image, a function image (for example, an image such as an icon) associated with a function realized by software is displayed on the UI unit 46 of the terminal device 16, and a plurality of function images are designated by the user. A linkage function that uses a plurality of functions associated with the plurality of function images may be specified (identified). For example, the cooperation function may be specified by designating a device image associated with a function displayed on the home screen of a smartphone or the desktop screen of a personal computer. Of course, the device image associated with the device as hardware and the function image associated with the function realized by software are displayed on the UI unit 46 of the terminal device 16, and the device image and the function image are designated by the user. In this case, a cooperation function that uses a device associated with the device image and a function associated with the function image may be identified.

上記の例では、マーカ型AR技術又はマーカレス型AR技術が用いられているが、位置情報AR技術が用いられてもよい。例えば、端末装置16はGPS機能を備えており、端末装置16自身の位置を示す端末位置情報を取得し、その端末位置情報をサーバ14に送信する。サーバ14の制御部36は、機器の設置位置を示すデバイス位置情報とデバイス識別情報との対応付けを示す位置対応付け情報を参照し、端末装置16の位置を基準にして、予め設定された範囲内に配置されている各機器を連携候補機器として特定する。例えば、端末装置16の位置を基準にして予め設定された範囲内に、複合機、PC、プリンタ及びスキャナが配置されているものとする。この場合、複合機、PC、プリンタ及びスキャナが連携候補機器として特定される。各連携候補機器のデバイス識別情報は、サーバ14から端末装置16に送信され、端末装置16のUI部46に表示される。デバイス識別情報として、連携候補機器の画像が表示されてもよいし、デバイスID等の文字列が表示されてもよい。ユーザは、UI部46に表示されている連携候補機器群の中から連携対象の機器を指定する。ユーザによって指定された連携対象の機器のデバイス識別情報は、端末装置16からサーバ14に送信され、サーバ14において、連携対象の機器のデバイス識別情報に基づいて連携機能が特定される。端末装置16のUI部46には、その連携機能に関する情報が表示される。なお、連携候補機器の特定処理及び連携機能の特定処理は、端末装置16によって行われてもよい。   In the above example, the marker type AR technique or the markerless type AR technique is used, but the position information AR technique may be used. For example, the terminal device 16 has a GPS function, acquires terminal position information indicating the position of the terminal device 16 itself, and transmits the terminal position information to the server 14. The control unit 36 of the server 14 refers to the position association information indicating the association between the device position information indicating the installation position of the device and the device identification information, and is set in advance with reference to the position of the terminal device 16. Each device arranged in is identified as a cooperation candidate device. For example, it is assumed that the multifunction device, the PC, the printer, and the scanner are arranged in a range set in advance with reference to the position of the terminal device 16. In this case, a multifunction device, a PC, a printer, and a scanner are specified as cooperation candidate devices. The device identification information of each cooperation candidate device is transmitted from the server 14 to the terminal device 16 and displayed on the UI unit 46 of the terminal device 16. As device identification information, an image of a cooperation candidate device may be displayed, or a character string such as a device ID may be displayed. The user designates a cooperation target device from the cooperation candidate device group displayed on the UI unit 46. The device identification information of the cooperation target device designated by the user is transmitted from the terminal device 16 to the server 14, and the server 14 identifies the cooperation function based on the device identification information of the cooperation target device. The UI unit 46 of the terminal device 16 displays information related to the cooperation function. In addition, the identification process of a cooperation candidate apparatus and the identification process of a cooperation function may be performed by the terminal device 16.

なお、AR技術等を適用しても撮影対象の機器が識別されない場合、その撮影対象の機器を表わす機器画像は、機器表示画面に表示されなくてもよい。これにより、識別された機器の視認性が向上する。例えば、識別された機器と識別されない機器が混在し、それぞれがカメラ42によって撮影された場合、識別されない機器を表わす機器画像を非表示にする。これにより、識別された機器を表わす機器画像が、識別されない機器を表わす機器画像に埋もれずに表示されるので、識別された機器の視認性が向上する。また、識別された機器を表わす機器画像を強調して表示してもよい。例えば、識別された機器を表わす機器画像を特定の色で表示してもよいし、機器画像の縁を強調して表示してもよいし、機器画像を拡大して表示してもよいし、機器画像を3次元で表示してもよいし、機器画像を振動させて表示してもよい。これにより、識別された機器の視認性が向上する。   Note that if the device to be imaged is not identified even when the AR technology or the like is applied, the device image representing the device to be imaged may not be displayed on the device display screen. This improves the visibility of the identified device. For example, when an identified device and an unidentified device are mixed and each is photographed by the camera 42, the device image representing the unidentified device is hidden. Thereby, since the device image representing the identified device is displayed without being buried in the device image representing the unidentified device, the visibility of the identified device is improved. In addition, a device image representing the identified device may be highlighted and displayed. For example, the device image representing the identified device may be displayed in a specific color, the edge of the device image may be displayed highlighted, the device image may be displayed enlarged, The device image may be displayed in three dimensions, or the device image may be displayed with vibration. This improves the visibility of the identified device.

以下、機器が有する機能を実行するときの処理について説明する。一例として、連携機能を実行するときの処理について説明する。この場合、端末装置16から連携対象の機器に対して接続要求が送信され、端末装置16と連携対象の機器とが接続される。以下、図13を参照して、この接続処理について説明する。図13は、その処理を示すシーケンス図である。   Hereinafter, processing when the function of the device is executed will be described. As an example, a process when executing the cooperation function will be described. In this case, a connection request is transmitted from the terminal device 16 to the cooperation target device, and the terminal device 16 and the cooperation target device are connected. The connection process will be described below with reference to FIG. FIG. 13 is a sequence diagram showing the processing.

まず、ユーザは、端末装置16を利用して、機器機能実行用のアプリケーション(プログラム)の起動を指示する。端末装置16の制御部48は、その指示に応じて当該アプリケーションを起動させる(S01)。なお、そのアプリケーションは、端末装置16の記憶部44に予め記憶されていてもよいし、サーバ14等からダウンロードされてもよい。   First, the user uses the terminal device 16 to instruct activation of an application (program) for executing a device function. The control unit 48 of the terminal device 16 activates the application according to the instruction (S01). The application may be stored in advance in the storage unit 44 of the terminal device 16 or may be downloaded from the server 14 or the like.

次に、マーカ型AR技術、マーカレス型AR技術又は位置情報AR技術を適用することにより、連携対象の機器が識別される(S02)。もちろん、AR技術以外の技術によって連携対象の機器が識別されてもよい。マーカ型AR技術又はマーカレス型AR技術を適用する場合、例えば、ユーザは、端末装置16のカメラ42によって連携対象の機器を撮影する。一例として、画像形成装置10(複合機(B))とプロジェクタ12(プロジェクタ(C))が連携機器として用いられる場合、ユーザは、カメラ42によって画像形成装置10とプロジェクタ12を撮影する。画像形成装置10とプロジェクタ12のそれぞれのデバイス識別情報が取得され、画像形成装置10とプロジェクタ12が連携対象の機器として識別される。位置情報AR技術を適用する場合、画像形成装置10とプロジェクタ12のそれぞれの位置情報が取得され、その位置情報に基づいて、画像形成装置10とプロジェクタ12のそれぞれのデバイス識別情報が特定され、画像形成装置10とプロジェクタ12が識別される。   Next, by applying the marker type AR technology, the markerless type AR technology, or the position information AR technology, a device to be linked is identified (S02). Of course, a device to be linked may be identified by a technology other than the AR technology. When applying the marker type AR technology or the markerless type AR technology, for example, the user photographs the device to be linked by the camera 42 of the terminal device 16. As an example, when the image forming apparatus 10 (multifunction machine (B)) and the projector 12 (projector (C)) are used as linked devices, the user photographs the image forming apparatus 10 and the projector 12 with the camera 42. Device identification information of each of the image forming apparatus 10 and the projector 12 is acquired, and the image forming apparatus 10 and the projector 12 are identified as devices to be linked. When the position information AR technology is applied, the position information of each of the image forming apparatus 10 and the projector 12 is acquired, and the device identification information of each of the image forming apparatus 10 and the projector 12 is specified based on the position information. The forming apparatus 10 and the projector 12 are identified.

例えば、連携機能表示の指示がユーザによって与えられた場合、識別された複数の機器が有する機能を利用する連携機能が識別される。端末装置16のUI部46には、識別された連携機能に関する情報が表示される(S03)。連携機能の識別処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。   For example, when an instruction to display a cooperation function is given by the user, a cooperation function that uses functions of a plurality of identified devices is identified. Information on the identified cooperation function is displayed on the UI unit 46 of the terminal device 16 (S03). The identification process of the cooperation function may be performed by the server 14 or the terminal device 16.

次に、端末装置16において、ユーザによって実行対象の連携機能が指定されると、端末装置16は、その連携機能を実行する連携対象の機器(例えば画像形成装置10とプロジェクタ12)に接続要求を示す情報を送信する(S04)。例えば、連携対象の機器のアドレスを示すアドレス情報が、サーバ14に記憶されている場合、端末装置16は、連携対象の機器のアドレス情報をサーバ14から取得する。デバイス識別情報にアドレス情報が含まれている場合、端末装置16は、連携対象の機器の識別情報からそれぞれのアドレス情報を取得してもよい。別の例として、端末装置16に、連携対象の機器のアドレス情報が記憶されていてもよい。もちろん、端末装置16は、別の手法によって連携対象の機器のアドレス情報を取得してもよい。端末装置16は、連携対象の機器(例えば画像形成装置10とプロジェクタ12)のアドレス情報を用いて、連携対象の機器(例えば画像形成装置10とプロジェクタ12)に接続要求を示す情報を送信する。   Next, in the terminal device 16, when the cooperation function to be executed is designated by the user, the terminal device 16 sends a connection request to the cooperation target devices (for example, the image forming apparatus 10 and the projector 12) that execute the cooperation function. The information shown is transmitted (S04). For example, when the address information indicating the address of the cooperation target device is stored in the server 14, the terminal device 16 acquires the address information of the cooperation target device from the server 14. When the address information is included in the device identification information, the terminal device 16 may acquire each address information from the identification information of the cooperation target device. As another example, the terminal device 16 may store address information of devices to be linked. Of course, the terminal device 16 may acquire the address information of the cooperation target device by another method. The terminal device 16 transmits information indicating a connection request to the cooperation target devices (for example, the image forming apparatus 10 and the projector 12) using the address information of the cooperation target devices (for example, the image forming apparatus 10 and the projector 12).

接続要求を示す情報を受けた画像形成装置10とプロジェクタ12は、端末装置16との接続を許可する、又は、許可しない(S05)。例えば、画像形成装置10とプロジェクタ12が、接続が許可されていない機器に該当する場合や、接続を要求している装置の数が上限を超えている機器に該当する場合、接続は許可されない。なお、端末装置16からの接続が許可された場合、画像形成装置10とプロジェクタ12の固有の設定情報が端末装置16から変更されないように、その変更操作を禁止してもよい。例えば、画像形成装置10の色彩のパラメータや、節電に移行する際の設定時間等の変更が禁止されてもよい。これにより、連携対象の機器に対するセキュリティが向上する。別の例として、機器を連携させる場合、当該機器を連携させずに単独で利用する場合と比べて、設定情報の変更が制限されてもよい。例えば、機器を単独で利用する場合と比べて、より少ない設定項目の変更が許可されてもよい。また、稼働履歴のような他のユーザの個人情報の閲覧を禁止してもよい。これにより、ユーザの個人情報に対するセキュリティが向上する。   Upon receiving the information indicating the connection request, the image forming apparatus 10 and the projector 12 permit or do not permit connection with the terminal device 16 (S05). For example, when the image forming apparatus 10 and the projector 12 correspond to devices that are not permitted to be connected, or when the number of devices that request connection exceeds the upper limit, the connection is not permitted. When the connection from the terminal device 16 is permitted, the change operation may be prohibited so that the setting information unique to the image forming apparatus 10 and the projector 12 is not changed from the terminal device 16. For example, it may be prohibited to change the color parameters of the image forming apparatus 10 or the set time when shifting to power saving. As a result, the security for the cooperation target device is improved. As another example, when the devices are linked, the change of the setting information may be limited as compared to the case where the devices are used alone without being linked. For example, fewer setting item changes may be permitted as compared to the case where the device is used alone. In addition, browsing of personal information of other users such as operation history may be prohibited. Thereby, the security with respect to a user's personal information improves.

接続の許可又は不許可を示す結果情報が、画像形成装置10とプロジェクタ12から端末装置16に送信される(S06)。画像形成装置10とプロジェクタ12への接続が許可された場合、端末装置16と、画像形成装置10及びプロジェクタ12と、の間で通信が確立される。   Result information indicating permission or non-permission of the connection is transmitted from the image forming apparatus 10 and the projector 12 to the terminal device 16 (S06). When the connection to the image forming apparatus 10 and the projector 12 is permitted, communication is established between the terminal device 16 and the image forming apparatus 10 and the projector 12.

次に、ユーザは端末装置16を利用して連携機能の実行を指示する(S07)。この指示に応じて、連携機能の実行指示を示す実行指示情報が、端末装置16から画像形成装置10とプロジェクタ12に送信される(S08)。画像形成装置10に送信される実行指示情報には、画像形成装置10にて実行される処理を示す情報(例えばジョブ情報)が含まれ、プロジェクタ12に送信される実行指示情報には、プロジェクタ12にて実行される処理を示す情報(例えばジョブ情報)が含まれる。   Next, the user uses the terminal device 16 to instruct execution of the cooperation function (S07). In response to this instruction, execution instruction information indicating an instruction to execute the cooperation function is transmitted from the terminal device 16 to the image forming apparatus 10 and the projector 12 (S08). The execution instruction information transmitted to the image forming apparatus 10 includes information (for example, job information) indicating processing executed in the image forming apparatus 10, and the execution instruction information transmitted to the projector 12 includes the projector 12. Includes information (for example, job information) indicating the process executed in step.

実行指示情報を受けた画像形成装置10とプロジェクタ12は、実行指示情報に従って機能を実行する(S09)。例えば、画像形成装置10(複合機(B))からプロジェクタ12(PC(A))へスキャンデータを転送してプロジェクタ12によってデータを投影する機能のように、連携機能に、画像形成装置10とプロジェクタ12との間でデータの送受信が行われる処理が含まれている場合、画像形成装置10とプロジェクタ12との間で通信が確立される。この場合、例えば、画像形成装置10に送信される実行指示情報にはプロジェクタ12のアドレス情報が含まれ、プロジェクタ12に送信される実行指示情報には画像形成装置10のアドレス情報が含まれ、それらのアドレス情報を用いて画像形成装置10とプロジェクタ12との間で通信が確立される。   Receiving the execution instruction information, the image forming apparatus 10 and the projector 12 execute the function according to the execution instruction information (S09). For example, the image forming apparatus 10 can be linked to the image forming apparatus 10 such as a function of transferring scan data from the image forming apparatus 10 (multifunction machine (B)) to the projector 12 (PC (A)) and projecting data by the projector 12. When processing for transmitting and receiving data to and from the projector 12 is included, communication is established between the image forming apparatus 10 and the projector 12. In this case, for example, the execution instruction information transmitted to the image forming apparatus 10 includes the address information of the projector 12, and the execution instruction information transmitted to the projector 12 includes the address information of the image forming apparatus 10. Communication is established between the image forming apparatus 10 and the projector 12 using the address information.

連携機能の実行が終了すると、連携機能の実行完了を示す情報が、画像形成装置10とプロジェクタ12から端末装置16に送信される(S10)。端末装置16のUI部46には、連携機能の実行が完了したことを示す情報が表示される(S11)。なお、実行指示を与えた時点から予め設定された時間が経過しても実行完了を示す情報が表示されない場合、端末装置16の制御部48は、エラーを示す情報をUI部46に表示させ、再度、実行指示情報、又は、接続要求を示す情報を、画像形成装置10とプロジェクタ12に送信してもよい。   When the execution of the cooperation function is completed, information indicating completion of execution of the cooperation function is transmitted from the image forming apparatus 10 and the projector 12 to the terminal device 16 (S10). Information indicating that the execution of the cooperation function is completed is displayed on the UI unit 46 of the terminal device 16 (S11). When information indicating execution completion is not displayed even after a preset time has elapsed since the execution instruction is given, the control unit 48 of the terminal device 16 causes the UI unit 46 to display information indicating an error, The execution instruction information or information indicating the connection request may be transmitted to the image forming apparatus 10 and the projector 12 again.

次に、ユーザは、画像形成装置10とプロジェクタ12の連携状態を解除するか否かを確認し(S12)、解除の有無に応じた処理が実行される(S13)。連携状態を解除する場合、ユーザは、端末装置16を利用して解除の指示を与える。これにより、端末装置16と、画像形成装置10及びプロジェクタ12と、の間の通信が解除される。同様に、画像形成装置10とプロジェクタ12との間の通信も解除される。連携状態を解除しない場合、継続して実行指示を与えてもよい。   Next, the user confirms whether or not to cancel the cooperative state between the image forming apparatus 10 and the projector 12 (S12), and performs processing according to the presence or absence of the cancellation (S13). When canceling the linked state, the user uses the terminal device 16 to give a cancellation instruction. Thereby, the communication between the terminal device 16 and the image forming apparatus 10 and the projector 12 is released. Similarly, communication between the image forming apparatus 10 and the projector 12 is also released. If the cooperation state is not canceled, an execution instruction may be given continuously.

また、連携対象の機器を増やしてもよい。例えば3台目の機器の機器識別情報が取得され、画像形成装置10とプロジェクタ12を含む3台の機器を連携させることによって実行される連携機能が特定されてもよい。なお、画像形成装置10とプロジェクタ12が既に連携機能として識別されていることを示す情報は、サーバ14や端末装置16に記憶される。   Moreover, you may increase the apparatus of cooperation object. For example, device identification information of a third device may be acquired, and a cooperation function executed by linking three devices including the image forming apparatus 10 and the projector 12 may be specified. Information indicating that the image forming apparatus 10 and the projector 12 have already been identified as the cooperation function is stored in the server 14 or the terminal device 16.

連携対象の機器を示すデバイス識別情報や、実行された連携機能を示す連携機能情報は、端末装置16やサーバ14等に記憶されてもよい。例えば、端末装置16を利用するユーザのユーザアカウント情報(ユーザ識別情報)が取得され、そのユーザアカウント情報と、連携対象の機器を示すデバイス識別情報と、実行された連携機能を示す連携機能情報と、の対応付けを示す履歴情報が作成され、端末装置16やサーバ14等に記憶されてもよい。履歴情報は、端末装置16によって作成されてもよいし、サーバ14によって作成されてもよい。履歴情報を参照することにより、どのような連携機能がどのような機器群を用いて実行されたのかが特定される。   The device identification information indicating the cooperation target device and the cooperation function information indicating the executed cooperation function may be stored in the terminal device 16, the server 14, or the like. For example, user account information (user identification information) of a user who uses the terminal device 16 is acquired, the user account information, device identification information indicating a device to be linked, linkage function information indicating an executed linkage function, and May be created and stored in the terminal device 16, the server 14, or the like. The history information may be created by the terminal device 16 or the server 14. By referring to the history information, it is specified which cooperation function is executed using which device group.

なお、連携対象の機器(例えば画像形成装置10とプロジェクタ12)は、接続を要求したユーザのユーザアカウント情報や、接続要求元の端末装置16を示す端末識別情報を、履歴情報として記憶してもよい。この履歴情報を参照することにより、機器を利用したユーザが特定される。例えば、機器が壊れたときに当該機器を使用していたユーザを特定する場合や、消耗品等について課金処理を行う場合等に、履歴情報を活用してユーザを特定してもよい。履歴情報は、サーバ14や端末装置16に記憶されてもよいし、別の装置に記憶されてもよい。   Note that the devices to be linked (for example, the image forming apparatus 10 and the projector 12) may store the user account information of the user who has requested the connection and the terminal identification information indicating the connection request source terminal device 16 as history information. Good. By referring to the history information, the user who uses the device is specified. For example, the history information may be used to specify a user when specifying a user who has used the device when the device is broken, or when charging a consumable item. The history information may be stored in the server 14 or the terminal device 16 or may be stored in another device.

ユーザアカウント情報は、例えば、端末装置16の記憶部44に予め記憶されており、端末装置16の制御部48は、ユーザ識別手段の一例として機能し、記憶部44からユーザのユーザアカウント情報を読み込んで、端末装置16を使用するユーザを識別する。複数のユーザのユーザアカウント情報が記憶部44に記憶されている場合、ユーザは端末装置16を使用して、自身のユーザアカウント情報を指定する。これにより、当該ユーザのユーザアカウント情報が読み込まれ、当該ユーザが識別される。別の例として、端末装置16の制御部48は、端末装置16にログインしているユーザのユーザアカウント情報を読み込むことにより、ユーザを識別してもよい。更に別の例として、同一の端末装置16に、1つのユーザアカウント情報のみが記憶されている場合、端末装置16の制御部48は、そのユーザアカウント情報を読み込むことによりユーザを識別してもよい。なお、ユーザアカウントが設定されておらず、ユーザアカウント情報が作成されていない場合、初期設定が行われ、これにより、ユーザアカウント情報が作成される。   For example, the user account information is stored in advance in the storage unit 44 of the terminal device 16, and the control unit 48 of the terminal device 16 functions as an example of a user identification unit, and reads the user account information of the user from the storage unit 44. Thus, the user who uses the terminal device 16 is identified. When user account information of a plurality of users is stored in the storage unit 44, the user uses the terminal device 16 to specify his / her user account information. Thereby, the user account information of the user is read and the user is identified. As another example, the control unit 48 of the terminal device 16 may identify the user by reading the user account information of the user who has logged into the terminal device 16. As yet another example, when only one user account information is stored in the same terminal device 16, the control unit 48 of the terminal device 16 may identify the user by reading the user account information. . If no user account is set and user account information is not created, initial setting is performed, thereby creating user account information.

ユーザ毎に連携機能の利用履歴が管理され、読み込まれたユーザアカント情報が示すユーザによって過去に利用された連携機能を示す情報が、端末装置16のUI部46に表示されてもよい。その利用履歴を示す情報は、端末装置16に記憶されていてもよいし、サーバ14に記憶されていてもよい。また、予め設定された利用頻度以上の頻度で利用されている連携機能を示す情報が表示されてもよい。このようなショートカット機能を設けることにより、連携機能に関するユーザの操作の手間が軽減される。   The use history of the cooperation function is managed for each user, and information indicating the cooperation function used in the past by the user indicated by the read user account information may be displayed on the UI unit 46 of the terminal device 16. Information indicating the usage history may be stored in the terminal device 16 or may be stored in the server 14. Moreover, the information which shows the cooperation function currently used with the frequency more than the preset usage frequency may be displayed. By providing such a shortcut function, it is possible to reduce the time and effort of the user's operation regarding the linkage function.

なお、単独機能が実行される場合、その単独機能の実行指示を示す情報が、端末装置16から単独機能を実行する機器に送信される。当該機器は、その実行指示に従って単独機能を実行する。   When a single function is executed, information indicating an instruction to execute the single function is transmitted from the terminal device 16 to a device that executes the single function. The device executes a single function according to the execution instruction.

上記の例では、複数の機器によって連携機能を実行することが可能であるが、機器の組み合わせによっては、必ずしも連携機能を実行することが可能であるとは限らない。同様に、複数の機能の組み合わせ(例えば、ソフトウェア同士の組み合わせや、ソフトウェアとハードウェアとしての機器との組み合わせ)によっては、必ずしも連携機能を実行することが可能であるとは限らない。以下、この点について詳しく説明する。   In the above example, the cooperation function can be executed by a plurality of devices. However, depending on the combination of the devices, the cooperation function is not necessarily executed. Similarly, depending on a combination of a plurality of functions (for example, a combination of software or a combination of software and hardware), it is not always possible to execute the linkage function. Hereinafter, this point will be described in detail.

図14には、連携機能を実行できない機器の組み合わせの一例が示されている。例えば、複合機(B)とドライヤ(D)が機器として識別されているものとする。図14(a)に示すように、端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に、識別された機器(複合機(B)とドライヤ(D))に紐付く機器画像70,76が表示されている。複合機(B)とドライヤ(D)によって実行可能な連携機能が存在しない場合、複合機(B)とドライヤ(D)が連携対象の機器として指定されたり識別されたりしたとしても、連携機能に関する情報は表示されず、図14(b)に示すように、端末装置16のUI部46には、メッセージ画面78が表示される。そのメッセージ画面78には、複合機(B)とドライヤ(D)によって連携機能を実行することができないことを示すメッセージが表示される。   FIG. 14 shows an example of a combination of devices that cannot execute the linkage function. For example, it is assumed that the multifunction device (B) and the dryer (D) are identified as devices. As shown in FIG. 14A, a device display screen 68 is displayed on the UI unit 46 of the terminal device 16, and the identified devices (multifunction device (B) and dryer (D) are displayed on the device display screen 68. Device images 70 and 76 associated with ()) are displayed. When there is no linkage function that can be executed by the multifunction device (B) and the dryer (D), even if the multifunction device (B) and the dryer (D) are designated or identified as devices to be linked, Information is not displayed, and a message screen 78 is displayed on the UI unit 46 of the terminal device 16 as shown in FIG. The message screen 78 displays a message indicating that the cooperation function cannot be executed by the multifunction peripheral (B) and the dryer (D).

上記の処理についてより詳しく説明する。複合機(B)とドライヤ(D)が識別され、連携対象の機器として指定されると、上述したように、サーバ14の特定部38は、連携機能管理情報34(例えば図7に示されている連携機能管理テーブル)を参照することにより、複合機(B)とドライヤ(D)とを利用する連携機能を特定(識別)する。この連携機能管理テーブルに、複合機(B)とドライヤ(D)とを利用する連携機能が登録されている場合、特定部38は、上述したように、その連携機能を特定する。一方、連携機能管理テーブルに、複合機(B)とドライヤ(D)とを利用する連携機能が登録されていない場合、特定部38は、複合機(B)とドライヤ(D)とを利用する連携機能がないと判断する。この場合、サーバ14の制御部36は、複合機(B)とドライヤ(D)とによって連携機能を実行することができないことを示すメッセージを出力する。このメッセージは、図14(b)に示すように、端末装置16のUI部46に表示される。   The above processing will be described in more detail. When the multi-function device (B) and the dryer (D) are identified and designated as devices to be linked, as described above, the specifying unit 38 of the server 14 displays the linked function management information 34 (for example, shown in FIG. 7). By referring to the linked function management table, the linked function that uses the multifunction peripheral (B) and the dryer (D) is specified (identified). When a cooperation function that uses the multifunction peripheral (B) and the dryer (D) is registered in the cooperation function management table, the specifying unit 38 specifies the cooperation function as described above. On the other hand, when the cooperation function that uses the multifunction device (B) and the dryer (D) is not registered in the cooperation function management table, the specifying unit 38 uses the multifunction device (B) and the dryer (D). Judge that there is no linkage function. In this case, the control unit 36 of the server 14 outputs a message indicating that the cooperation function cannot be executed by the multifunction peripheral (B) and the dryer (D). This message is displayed on the UI unit 46 of the terminal device 16 as shown in FIG.

上記のように、利用可能な連携機能がない場合であっても、機器の稼働状況、機器が設置されている環境(周辺環境)、機器の機能の変化(更新)、等によって、連携機能の利用が可能となる場合がある。上記の例で説明すると、複合機(B)が設置されている環境において結露が発生している場合、ドライヤ(D)によって結露を除去又は防止することが可能となる。この場合、複合機(B)とドライヤ(D)を利用した連携機能の利用が可能となるため、その連携機能を示す情報が、端末装置16のUI部46に表示される。例えば、サーバ14の制御部36は、各機器の稼働状況、各機器が設定されている環境(周辺環境)、各機器の機能の更新状況、等を監視しており、その監視結果に基づいて、連携機能の利用可能又は不可能を判断する。複合機(B)とドライヤ(D)との組み合わせを例に挙げて説明すると、制御部36は、複合機(B)の周辺環境が特定の条件を満たした場合に(例えば、複合機(B)の周辺環境にて結露が発生した場合に)、連携機能の利用が可能であると判断して、ドライヤ(D)を用いた連携機能を特定(識別)する。機器の稼働状況についても同様であり、制御部36は、識別又は指定された機器群が特定の稼働状況に該当する場合、その機器群を利用する連携機能の利用が可能であると判断する。また、機器の機能が更新されて、更新後の機能によって連携機能の利用が可能となった場合も同様である。   As described above, even if there is no available linkage function, the linkage function can be changed depending on the operating status of the device, the environment in which the device is installed (peripheral environment), the change (update) of the device function, etc. May be available. In the above example, when condensation occurs in the environment where the multifunction peripheral (B) is installed, the condensation can be removed or prevented by the dryer (D). In this case, since the cooperation function using the multifunction peripheral (B) and the dryer (D) can be used, information indicating the cooperation function is displayed on the UI unit 46 of the terminal device 16. For example, the control unit 36 of the server 14 monitors the operating status of each device, the environment (peripheral environment) in which each device is set, the update status of the function of each device, and the like based on the monitoring result , Judge whether the cooperation function is available or not. The combination of the multifunction machine (B) and the dryer (D) will be described as an example. The control unit 36 determines that the surrounding environment of the multifunction machine (B) satisfies a specific condition (for example, the multifunction machine (B ) When the condensation occurs in the surrounding environment), it is determined that the cooperation function can be used, and the cooperation function using the dryer (D) is specified (identified). The same applies to the operation status of the device. When the identified or designated device group corresponds to the specific operation status, the control unit 36 determines that the cooperation function using the device group can be used. The same applies to the case where the function of the device is updated and the cooperation function can be used by the updated function.

上記と同様に、複数のソフトウェアによって実現される複数の機能によって連携機能を実行できない場合や、ソフトウェアによって実現される機能とハードウェアとしての機器とによって連携機能が実行できない場合がある。   Similarly to the above, there are cases where the linkage function cannot be executed by a plurality of functions realized by a plurality of software, or the linkage function cannot be executed by a function realized by software and a device as hardware.

(案内処理)
本実施形態では、例えば、機器に紐付く画像が指定されると、その機器と共に連携機能を実行することが可能なハードウェアとしての機器やソフトウェアによって実現される機能が案内される。ソフトウェアを用いた連携機能についても同様であり、例えば、ソフトウェアによって実現される機能に紐付く画像が指定されると、その機能と共に連携機能を実行することが可能なハードウェアとしての機器やソフトウェアによって実現される機能が案内される。以下、本実施形態に係る案内処理の実施例について詳しく説明する。
(Guidance processing)
In the present embodiment, for example, when an image associated with a device is designated, a function realized by the device or software as hardware capable of executing the cooperation function with the device is guided. The same applies to the linkage function using software. For example, when an image associated with a function realized by software is specified, the device or software as hardware capable of executing the linkage function together with the function is specified. The functions to be realized are guided. Hereinafter, examples of guidance processing according to the present embodiment will be described in detail.

(実施例1)
図15を参照して、実施例1に係る案内処理について説明する。図15には、実施例1に係る機器表示画面の一例が示されている。例えば、複合機(B)、プロジェクタ(C)及びドライヤ(D)が機器として識別されているものとする。端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に、識別された機器(複合機(B)、プロジェクタ(C)及びドライヤ(D))に紐付く機器画像70,72,76が表示されている。
Example 1
With reference to FIG. 15, the guidance process according to the first embodiment will be described. FIG. 15 shows an example of a device display screen according to the first embodiment. For example, it is assumed that the multifunction peripheral (B), the projector (C), and the dryer (D) are identified as devices. A device display screen 68 is displayed on the UI unit 46 of the terminal device 16, and the device display screen 68 is associated with the identified devices (multifunction device (B), projector (C), and dryer (D)). Device images 70, 72, and 76 are displayed.

この場合において、例えば、複合機(B)がユーザによって選択され、複合機(B)に紐付く機器画像70がユーザによって指定されたものとする。複合機(B)が第1機器に相当し、複合機(B)に紐付く機器画像70が、第1機器に紐付く第1画像に相当する。第1機器としての複合機(B)がユーザによって指定された場合、サーバ14の特定部38は、連携機能管理情報34(例えば図7に示されている連携機能管理テーブル)を参照することにより、第1機器としての複合機(B)と共に連携機能を実行することが可能な第2機器を特定する。例えば、複合機(B)とプロジェクタ(C)とによって連携機能の実行が可能であり、複合機(B)とドライヤ(D)とによって連携機能の実行が不可能であるものとする。つまり、連携機能管理テーブルには、複合機(B)とプロジェクタ(C)とを利用する連携機能が登録されており、一方で、複合機(B)とドライヤ(D)とを利用する連携機能が登録されていないものとする。この場合、プロジェクタ(C)が第2機器として特定され、サーバ14の制御部36は、第2機器としてのプロジェクタ(C)の案内の通知を制御する。具体的には、制御部36の制御の下、プロジェクタ(C)を示すデバイス識別情報が、サーバ14から端末装置16に送信される。端末装置16の制御部48は、第2機器としてのプロジェクタ(C)の案内を通知する。例えば、図15に示されているように、端末装置16の制御部48は、プロジェクタ(C)を連携先の機器として誘導するための矢印80を機器表示画面68に表示させる。その矢印80は、例えば、第1機器としての複合機(B)に紐付く第1画像としての機器画像70と、第2機器としてのプロジェクタ(C)に紐付く第2画像としての機器画像72と、を結ぶ画像である。もちろん、制御部48は、矢印以外の手法によって第2機器としてのプロジェクタ(C)を案内してもよい。例えば、制御部48は、音声を出力することによって第2機器を案内してもよいし、第2機器に紐付く第2画像(例えば機器画像72)に重畳したマークを機器表示画面68に表示させてもよいし、第2機器に紐付く第2画像を他の画像と識別可能な状態にして機器表示画面68に表示させてもよいし、連携先を示す文字列を機器表示画面68に表示させてもよい。   In this case, for example, it is assumed that the multifunction device (B) is selected by the user and the device image 70 associated with the multifunction device (B) is designated by the user. The multifunction device (B) corresponds to the first device, and the device image 70 associated with the multifunction device (B) corresponds to the first image associated with the first device. When the multifunction device (B) as the first device is designated by the user, the specifying unit 38 of the server 14 refers to the cooperation function management information 34 (for example, the cooperation function management table shown in FIG. 7). The second device capable of executing the cooperation function together with the multifunction peripheral (B) as the first device is specified. For example, it is assumed that the cooperation function can be executed by the multifunction peripheral (B) and the projector (C), and the cooperation function cannot be executed by the multifunction peripheral (B) and the dryer (D). That is, the cooperation function using the multifunction machine (B) and the projector (C) is registered in the cooperation function management table, while the cooperation function using the multifunction machine (B) and the dryer (D). Is not registered. In this case, the projector (C) is specified as the second device, and the control unit 36 of the server 14 controls notification of guidance of the projector (C) as the second device. Specifically, device identification information indicating the projector (C) is transmitted from the server 14 to the terminal device 16 under the control of the control unit 36. The control unit 48 of the terminal device 16 notifies the guidance of the projector (C) as the second device. For example, as illustrated in FIG. 15, the control unit 48 of the terminal device 16 causes the device display screen 68 to display an arrow 80 for guiding the projector (C) as a cooperation destination device. The arrow 80 indicates, for example, a device image 70 as a first image associated with the multifunction peripheral (B) as the first device, and a device image 72 as a second image associated with the projector (C) as the second device. It is an image that connects Of course, the control unit 48 may guide the projector (C) as the second device by a method other than the arrow. For example, the control unit 48 may guide the second device by outputting sound, or display a mark superimposed on the second image (for example, the device image 72) associated with the second device on the device display screen 68. The second image associated with the second device may be displayed on the device display screen 68 in a state where it can be distinguished from other images, or a character string indicating the cooperation destination may be displayed on the device display screen 68. It may be displayed.

以上のようにして、第1機器としての複合機(B)がユーザによって指定された場合、その複合機(B)と共に連携機能を実行可能な第2機器としてのプロジェクタ(C)が、連携先機器の候補として推奨される。これにより、そのような候補が推奨されない場合と比べて、連携機能に必要な機器を指定するときにおけるユーザの利便性が向上する。   As described above, when the multifunction device (B) as the first device is designated by the user, the projector (C) as the second device capable of executing the cooperation function together with the multifunction device (B) Recommended as a candidate for equipment. Thereby, compared with the case where such a candidate is not recommended, the convenience of the user when designating a device necessary for the cooperation function is improved.

ソフトウェアによって実現される第1機能に紐付く機能画像(第1画像に相当する画像)がユーザによって指定された場合も、上記と同様の案内処理が行われる。つまり、第1画像としての機能画像がユーザによって指定された場合、その機能画像に紐付く第1機能と共に連携機能を実行することが可能な第2機能への案内が通知される。例えば、第2機能に紐付く第2画像への案内がなされてもよいし、音声や文字列によって第2機能が案内されてもよい。第2機能は、ソフトウェアによって実現される機能であってもよいし、ハードウェアとしての機器が有する機能であってもよい。もちろん、第1機器に紐付く機器画像がユーザによって指定された場合、その第1機器と共に連携機能を実行することが可能な機能であってソフトウェアによって実現される第2機能への案内が通知されてもよい。   The guidance process similar to the above is also performed when the user designates a functional image associated with the first function realized by software (an image corresponding to the first image). That is, when the functional image as the first image is designated by the user, the guidance to the second function capable of executing the cooperative function is notified together with the first function associated with the functional image. For example, guidance to the second image associated with the second function may be made, or the second function may be guided by voice or a character string. The second function may be a function realized by software, or may be a function of a device as hardware. Of course, when the device image associated with the first device is designated by the user, a guidance to the second function that is a function capable of executing the linkage function with the first device and realized by software is notified. May be.

ドライヤ(D)は、複合機(B)と共に連携機能を実行することが可能な機器ではないため、ドライヤ(D)を連携先として誘導するための指示はなされない。   Since the dryer (D) is not a device that can execute the cooperation function together with the multifunction peripheral (B), an instruction for guiding the dryer (D) as a cooperation destination is not made.

第1機器としての複合機(B)が設置されている環境(周辺環境)、複合機(B)の稼働状況(例えば、トナー量、紙の量、使用中、処理の終了時刻等)、複合機(B)の機能の変化(更新)、ドライヤ(D)の機能の変化(更新)、等によって、ドライヤ(D)が第2機器として案内される場合がある。例えば、上述したように、第1機器としての複合機(B)の周辺環境にて結露が発生している場合、サーバ14の特定部38は、その結露を除去するために必要な第2機器としてドライヤ(D)を特定する。この場合、上記のプロジェクタ(C)と同様に、ドライヤ(D)を連携先として誘導するための指示がなされる。例えば、第1機器としての複合機(B)に紐付く第1画像としての機器画像70と、第2機器としてのドライヤ(D)に紐付く第2画像としての機器画像76と、を結ぶ矢印等が表示されたり、音声によってドライヤ(D)が案内されたりする。   Environment (peripheral environment) where the multifunction device (B) as the first device is installed, operating status of the multifunction device (B) (for example, toner amount, paper amount, in use, processing end time, etc.), multifunction The dryer (D) may be guided as the second device by a change (update) in the function of the machine (B), a change (update) in the function of the dryer (D), or the like. For example, as described above, when condensation occurs in the surrounding environment of the multifunction peripheral (B) as the first device, the specifying unit 38 of the server 14 requires the second device necessary to remove the condensation. The dryer (D) is specified as In this case, as in the case of the projector (C), an instruction for guiding the dryer (D) as the cooperation destination is issued. For example, an arrow connecting a device image 70 as a first image associated with a multifunction device (B) as a first device and a device image 76 as a second image associated with a dryer (D) as a second device. Etc. are displayed or the dryer (D) is guided by voice.

なお、機器表示画面68に表示されている画像であっても、必ずしも、その画像に紐付く機器や物体が識別されるとは限らない。例えば、ドライヤ(D)がサーバ14の特定部38によって識別されない場合もある。識別されない機器や物体は、連携先候補(第2機器)から除外されることになる。識別されない機器や物体に紐付く画像は、機器表示画面68に表示されてもよいし、機器表示画面68に表示されなくてもよい。   Note that even an image displayed on the device display screen 68 does not necessarily identify a device or an object associated with the image. For example, the dryer (D) may not be identified by the specifying unit 38 of the server 14. Devices and objects that are not identified are excluded from cooperation destination candidates (second devices). An image associated with an unidentified device or object may be displayed on the device display screen 68 or may not be displayed on the device display screen 68.

(実施例2)
図16を参照して、実施例2に係る案内処理について説明する。図16には、実施例2に係る機器表示画面の一例が示されている。実施例2においては、複数の機器が第2機器(連携先機器)に該当する。例えば、複合機(B)、プロジェクタ(C)、ドライヤ(D)及びカメラ(E)が機器として識別されており、観葉植物(F)も観葉植物として識別されているものとする。もちろん、機器に該当しない物体は識別されなくてもよい。
(Example 2)
With reference to FIG. 16, the guidance processing according to the second embodiment will be described. FIG. 16 shows an example of a device display screen according to the second embodiment. In the second embodiment, a plurality of devices correspond to the second device (cooperation destination device). For example, it is assumed that a multifunction peripheral (B), a projector (C), a dryer (D), and a camera (E) are identified as devices, and a foliage plant (F) is also identified as a foliage plant. Of course, an object that does not correspond to the device may not be identified.

端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に、識別された機器(複合機(B)、プロジェクタ(C)、ドライヤ(D)及びカメラE)に紐付く機器画像70,72,76,82が表示されており、また、観葉植物(F)に紐付く画像84が表示されている。   A device display screen 68 is displayed on the UI unit 46 of the terminal device 16, and the identified devices (multifunction machine (B), projector (C), dryer (D), and camera E) are displayed on the device display screen 68. The device images 70, 72, 76, and 82 associated with each other are displayed, and the image 84 associated with the houseplant (F) is displayed.

この場合において、例えば、複合機(B)が第1機器としてユーザによって選択され、複合機(B)に紐付く機器画像70が第1画像としてユーザによって指定されたものとする。第1機器としての複合機(B)と共に連携機能を実行することが可能な第2機器として、例えば、プロジェクタ(C)とカメラ(E)が特定されたものとする。この場合、第2機器としてのプロジェクタ(C)とカメラ(E)の案内が通知される。例えば、その案内が同時に通知される。図16に示す例では、実施例1と同様に、複合機(B)に紐付く機器画像70とプロジェクタ(C)に紐付く機器画像72とを結ぶ矢印80が、案内通知として表示され、同様に、複合機(B)に紐付く機器画像70とカメラ(E)に紐付く機器画像82とを結ぶ矢印86が、案内通知として表示されている。   In this case, for example, it is assumed that the multifunction device (B) is selected by the user as the first device, and the device image 70 associated with the multifunction device (B) is designated by the user as the first image. Assume that, for example, a projector (C) and a camera (E) are specified as second devices that can execute the cooperation function together with the multifunction peripheral (B) as the first device. In this case, the guidance of the projector (C) and the camera (E) as the second device is notified. For example, the guidance is notified at the same time. In the example illustrated in FIG. 16, as in the first embodiment, an arrow 80 that connects the device image 70 associated with the multifunction peripheral (B) and the device image 72 associated with the projector (C) is displayed as a guidance notification. In addition, an arrow 86 connecting the device image 70 associated with the multifunction peripheral (B) and the device image 82 associated with the camera (E) is displayed as a guidance notification.

なお、連携機能に優先順位が対応付けられていてもよい。その優先順位を示す情報は、連携機能管理情報34(例えば図7に示されている連携機能管理テーブル)において、各連携機能に対応付けられている。複数の第2機器の案内通知を行う場合、各連携機能の優先順位を示す情報が、サーバ14から端末装置16に送信され、その優先順位が機器表示画面68に表示される。例えば、複合機(B)とプロジェクタ(C)とを利用する連携機能1の優先順位が、複合機(B)とカメラ(E)とを利用する連携機能2の優先順位よりも上位に該当する場合、端末装置16の制御部48は、連携機能1に利用されるプロジェクタ(C)の優先順位が、連携機能2に利用されるカメラ(E)の優先順位よりも上位であることを示す情報を、機器表示画面68に表示させる。制御部48は、その順位を示す文字列を機器表示画面68に表示させてもよいし、矢印80,86を互いに異なる色で機器表示画面68に表示させてもよいし、機器画像72,82を互いに異なる表示形態で機器表示画面68に表示させもよいし、優先順位が上位の機器画像72に対する矢印80を機器表示画面68に表示させ、優先順位が下位の機器画像82に対する矢印86を機器表示画面68に表示させなくてもよい。   Note that a priority order may be associated with the cooperation function. Information indicating the priority order is associated with each cooperation function in the cooperation function management information 34 (for example, the cooperation function management table shown in FIG. 7). When performing guidance notification of a plurality of second devices, information indicating the priority order of each cooperation function is transmitted from the server 14 to the terminal device 16, and the priority order is displayed on the device display screen 68. For example, the priority order of the cooperation function 1 that uses the multifunction peripheral (B) and the projector (C) is higher than the priority order of the cooperation function 2 that uses the multifunction peripheral (B) and the camera (E). In this case, the control unit 48 of the terminal device 16 indicates that the priority order of the projector (C) used for the cooperation function 1 is higher than the priority order of the camera (E) used for the cooperation function 2. Is displayed on the device display screen 68. The control unit 48 may display a character string indicating the order on the device display screen 68, may display the arrows 80 and 86 on the device display screen 68 in different colors, or may display the device images 72 and 82. May be displayed on the device display screen 68 in different display forms, or an arrow 80 for the device image 72 with a higher priority is displayed on the device display screen 68, and an arrow 86 for the device image 82 with a lower priority is displayed on the device. The display screen 68 may not be displayed.

また、端末装置16の制御部48は、矢印を表示せずに、機器表示画面68内の特定の領域に、第2機器を示す文字列を表示してもよい。例えば、機器画像が表示されていない領域に、その文字列が表示される。これにより、矢印が表示されて、画面に表示されている情報が見難くなることが防止される。   The control unit 48 of the terminal device 16 may display a character string indicating the second device in a specific area in the device display screen 68 without displaying an arrow. For example, the character string is displayed in an area where no device image is displayed. This prevents an arrow from being displayed and makes it difficult to see the information displayed on the screen.

以上のようにして、第1機器としての複合機(B)がユーザによって指定された場合、その複合機(B)と共に連携機能を実行可能な第2機器としてのプロジェクタ(C)とカメラ(E)が、連携先機器の候補として推奨される。   As described above, when the multifunction device (B) as the first device is designated by the user, the projector (C) and the camera (E) as the second device capable of executing the cooperation function together with the multifunction device (B). ) Is recommended as a candidate for the partner device.

なお、連携先機器の候補(第2機器)が機器表示画面68に表示されていない場合、その第2機器が設置されている場所を示す位置情報や、その第2機器が設定されている場所への案内を示す情報が、端末装置16のUI部46に表示されてもよい。例えば、サーバ14の制御部36は、第2機器の位置情報をGPS機能等によって取得し、その位置情報と端末装置16の位置情報とに基づいて、端末装置16の場所から第2機器の設置場所への案内を示す情報を作成する。その案内を示す情報は、サーバ14から端末装置16に送信され、端末装置16のUI部46に表示されてもよい。   In addition, when the cooperation destination device candidate (second device) is not displayed on the device display screen 68, the location information indicating the location where the second device is installed or the location where the second device is set Information indicating guidance to the user may be displayed on the UI unit 46 of the terminal device 16. For example, the control unit 36 of the server 14 acquires the position information of the second device by the GPS function or the like, and installs the second device from the location of the terminal device 16 based on the position information and the position information of the terminal device 16. Create information that shows directions to the place. Information indicating the guidance may be transmitted from the server 14 to the terminal device 16 and displayed on the UI unit 46 of the terminal device 16.

実施例1と同様に、実施例2に係る処理は、機能に紐付く機能画像が用いられる場合に適用されてもよい。例えば、第1画像としての機能画像がユーザによって指定された場合、その機能画像に紐付く第1機能と共に連携機能を実行することが可能な複数の第2機能への案内が通知されてもよい。もちろん、第1機器に紐付く機器画像がユーザによって指定された場合、その第1機器と共に連携機能を実行することが可能な複数の機能への案内の通知がなされてもよい。   Similar to the first embodiment, the processing according to the second embodiment may be applied when a function image associated with a function is used. For example, when a functional image as the first image is designated by the user, guidance to a plurality of second functions capable of executing the cooperative function together with the first function associated with the functional image may be notified. . Of course, when a device image associated with the first device is designated by the user, notification of guidance to a plurality of functions capable of executing the cooperation function together with the first device may be made.

(実施例3)
図17から図20を参照して、実施例3に係る案内処理について説明する。図17から図20には、実施例3に係る機器表示画面の一例が示されている。実施例3においては、第1機器がユーザによって指定された後、第2機器がユーザに指定され、第1機器及び第2機器とともに連携機能を実行することが可能な第3機器の案内の通知が制御される。また、第1機器と第2機器の指定の順番に応じて、第3機器として推奨される機器が変更されてもよい。
(Example 3)
With reference to FIGS. 17 to 20, the guidance process according to the third embodiment will be described. 17 to 20 show an example of a device display screen according to the third embodiment. In the third embodiment, after the first device is designated by the user, the second device is designated by the user, and the notification of the guidance of the third device that can execute the cooperation function together with the first device and the second device Is controlled. Further, the device recommended as the third device may be changed according to the designation order of the first device and the second device.

例えば、PC(A)、複合機(B)、プロジェクタ(C)及びカメラ(E)が機器として識別されており、図17に示すように、機器表示画面68に、識別された機器(PC(A)、複合機(B)、プロジェクタ(C)及びカメラ(E))に紐付く機器画像70,72,82,88と画像84が表示されているものとする。   For example, a PC (A), a multifunction peripheral (B), a projector (C), and a camera (E) are identified as devices. As shown in FIG. 17, the identified device (PC ( It is assumed that device images 70, 72, 82, 88 and an image 84 associated with A), the multifunction device (B), the projector (C), and the camera (E) are displayed.

この場合において、例えば、複合機(B)に紐付く機器画像70がユーザによって指定されると、サーバ14の特定部38によって、複合機(B)が第1機器として識別され、複合機(B)と共に連携機能を実行することが可能なPC(A)、プロジェクタ(C)及びカメラ(E)が第2機器(連携先機器の候補)として識別される。図17に示すように、第2機器の案内通知として、例えば矢印80,86,90が表示される。矢印90は、複合機(B)に紐付く機器画像70とPC(A)に紐付く機器画像88とを結ぶ画像である。   In this case, for example, when the device image 70 associated with the multifunction device (B) is designated by the user, the multifunction device (B) is identified as the first device by the specifying unit 38 of the server 14 and the multifunction device (B ), The PC (A), the projector (C), and the camera (E) that can execute the cooperation function are identified as second devices (cooperation destination device candidates). As shown in FIG. 17, for example, arrows 80, 86, and 90 are displayed as the second device guidance notification. An arrow 90 is an image that connects the device image 70 associated with the multifunction peripheral (B) and the device image 88 associated with the PC (A).

次に、連携先の機器として、第2機器群の中からプロジェクタ(C)がユーザによって選択され、プロジェクタ(C)に紐付く機器画像72がユーザによって指定されたものとする。この場合、サーバ14の特定部38は、連携機能管理情報34を参照することにより、第1機器としての複合機(B)及び第2機器としてのプロジェクタ(C)と共に連携機能を実行することが可能な第3機器を特定する。なお、図7に示されている連携機能管理テーブルにおいては、2つの機器を連携することで実行可能な連携機能が登録されているが、もちろん、3つ以上の機器を連携することで実行可能な連携機能が登録されていてもよい。例えば、第3機器としてPC(A)が特定されたものとする。この場合、図18に示すように、第3機器としてのPC(A)への案内が通知される。例えば、第2機器としてのプロジェクタ(C)に紐付く機器画像72と、第3機器としてのPC(A)に紐付く機器画像88と、を結ぶ矢印92が、案内通知として表示される。   Next, it is assumed that the projector (C) is selected from the second device group by the user as the cooperation destination device, and the device image 72 associated with the projector (C) is designated by the user. In this case, the specifying unit 38 of the server 14 can execute the link function together with the multifunction peripheral (B) as the first device and the projector (C) as the second device by referring to the link function management information 34. Identify possible third devices. In the cooperation function management table shown in FIG. 7, cooperation functions that can be executed by linking two devices are registered, but of course, they can be executed by linking three or more devices. Various linkage functions may be registered. For example, it is assumed that PC (A) is specified as the third device. In this case, as shown in FIG. 18, the guidance to the PC (A) as the third device is notified. For example, an arrow 92 connecting the device image 72 associated with the projector (C) as the second device and the device image 88 associated with the PC (A) as the third device is displayed as the guidance notification.

例えば、ユーザが、プロジェクタ(C)に紐付く機器画像72を指定したり、複合機(B)に紐付く機器画像70とプロジェクタ(C)に紐付く機器画像72とを繋ぐ操作を行ったり、機器画像70を機器画像72に重ねたり、機器画像70と機器画像72との間を機器画像70から機器画像72へ向けてなぞったりすることで、第2機器として利用されるプロジェクタ(C)が指定される。   For example, the user designates the device image 72 associated with the projector (C), performs an operation of connecting the device image 70 associated with the multifunction device (B) and the device image 72 associated with the projector (C), By superimposing the device image 70 on the device image 72 or tracing the space between the device image 70 and the device image 72 from the device image 70 toward the device image 72, the projector (C) used as the second device can be used. It is specified.

各機器(各機器画像)の指定の順番は、各機器で利用される機能の順番や、連携する各機器間を移動するデータの移動順番に対応しており、機器を指定する操作(例えば、画像を繋ぐ操作や画像を重ねる操作)は、機能の順番やデータの移動順番を指定する操作を兼ねることになる。図18に示す例では、第1機器としての複合機(B)が1番目に利用され、第2機器としてのプロジェクタ(C)が2番目に利用される。第1機器及び第2機器と共に連携機能を実行することが可能であり、かつ、その連携機能において3番目に利用される機器が第3機器として案内される。つまり、1番目に複合機(B)が利用され2番目にプロジェクタ(C)が利用される連携機能において、3番目に利用される機器が第3機器として案内される。図18に示す例では、その第3機器がPC(A)である。実施例3では、連携機能管理情報34には、機器の利用順番も含めて、複数の機器を連携することで実行可能な連携機能が登録されており、サーバ14の特定部38は、その連携機能管理情報34を参照することで、第3機器を特定する。   The order of designation of each device (each device image) corresponds to the order of functions used in each device and the movement order of data that moves between each linked device. The operation of connecting images and the operation of overlapping images) also serve as operations for specifying the order of functions and the order of data movement. In the example shown in FIG. 18, the multifunction device (B) as the first device is used first, and the projector (C) as the second device is used second. The cooperation function can be executed together with the first device and the second device, and the third device used in the cooperation function is guided as the third device. That is, in the cooperation function in which the multifunction device (B) is used first and the projector (C) is used second, the device used third is guided as the third device. In the example shown in FIG. 18, the third device is PC (A). In the third embodiment, the cooperation function management information 34 includes a cooperation function that can be executed by cooperation of a plurality of devices, including the order of use of the devices. The third device is specified by referring to the function management information 34.

図19には、別の例が示されている。図17と同様に、機器表示画面68に、機器画像70,72,82,88と画像84が表示されている。   FIG. 19 shows another example. As in FIG. 17, device images 70, 72, 82, 88 and an image 84 are displayed on the device display screen 68.

この場合において、例えば、プロジェクタ(C)に紐付く機器画像72がユーザによって指定されると、サーバ14の特定部38によって、プロジェクタ(C)が第1機器として識別され、プロジェクタ(C)と共に連携機能を実行することが可能なPC(A)、複合機(B)及びカメラ(E)が第2機器(連携先機器の候補)として識別される。図19に示すように、第2機器の案内通知として、例えば矢印94,96,98が表示される。矢印94は、第1機器としてのプロジェクタ(C)に紐付く機器画像72と、第2機器としての複合機(B)に紐付く機器画像70とを結ぶ画像である。矢印96は、機器画像72と第2機器としてのカメラ(E)に紐付く機器画像82とを結ぶ画像である。矢印98は、機器画像72と第2機器としてのドライヤ(A)に紐付く機器画像88とを結ぶ画像である。   In this case, for example, when the device image 72 associated with the projector (C) is designated by the user, the specifying unit 38 of the server 14 identifies the projector (C) as the first device and cooperates with the projector (C). A PC (A), a multifunction peripheral (B), and a camera (E) capable of executing the function are identified as second devices (cooperation destination device candidates). As shown in FIG. 19, for example, arrows 94, 96, and 98 are displayed as the second device guidance notification. An arrow 94 is an image that connects the device image 72 associated with the projector (C) as the first device and the device image 70 associated with the multifunction device (B) as the second device. An arrow 96 is an image connecting the device image 72 and the device image 82 associated with the camera (E) as the second device. An arrow 98 is an image that connects the device image 72 and the device image 88 associated with the dryer (A) as the second device.

次に、連携先の機器として、第2機器群の中から複合機(B)がユーザによって選択され、複合機(B)に紐付く機器画像70がユーザによって指定されたものとする。この場合、サーバ14の特定部38は、連携機能管理情報34を参照することにより、第1機器としてのプロジェクタ(C)及び第2機器としての複合機(B)と共に連携機能を実行することが可能な第3機器を特定する。例えば、第3機器としてカメラ(E)が特定されたものとする。この場合、図20に示すように、第3機器としてのカメラ(E)の案内が通知される。例えば、第2機器としての複合機(B)に紐付き機器画像70と、第3機器としてのカメラ(E)に紐付く機器画像82と、を結ぶ矢印100が、案内通知として表示される。この場合、1番目にプロジェクタ(C)が利用され2番目に複合機(B)が利用される連携機能において、3番目に利用される機器(例えばカメラ(E))が第3機器として案内される。   Next, it is assumed that the multifunction device (B) is selected by the user from the second device group as the cooperation destination device, and the device image 70 associated with the multifunction device (B) is designated by the user. In this case, the specifying unit 38 of the server 14 can execute the cooperation function together with the projector (C) as the first device and the multifunction peripheral (B) as the second device by referring to the cooperation function management information 34. Identify possible third devices. For example, it is assumed that the camera (E) is specified as the third device. In this case, as shown in FIG. 20, the guidance of the camera (E) as the third device is notified. For example, an arrow 100 connecting the device image 70 associated with the multifunction device (B) as the second device and the device image 82 associated with the camera (E) as the third device is displayed as a guidance notification. In this case, in the cooperation function in which the projector (C) is used first and the multifunction peripheral (B) is used second, the device (for example, camera (E)) used third is guided as the third device. The

例えば、ユーザが、複合機(B)に紐付く機器画像70を指定したり、プロジェクタ(C)に紐付く機器画像72と複合機(B)に紐付く機器画像70とを繋ぐ操作を行ったり、機器画像72を機器画像70に重ねたり、機器画像72と機器画像70との間を機器画像72から機器画像70へ向けてなぞったりすることで、第2機器として利用される複合機(B)が指定される。   For example, the user designates the device image 70 associated with the multifunction device (B), or performs an operation of connecting the device image 72 associated with the projector (C) and the device image 70 associated with the multifunction device (B). The device image 72 is superimposed on the device image 70, or the device image 72 and the device image 70 are traced from the device image 72 toward the device image 70, thereby being used as a second device (B ) Is specified.

以上のように、第1機器及び第2機器と共に連携機能を実行することが可能な第3機器の案内が通知される。また、第1機器と第2機器の指定順番に応じて、第3機器として案内(推奨)される機器が変わる。機器を指定する順番は、各機器で利用される機能の順番や、連携する各機器間を移動するデータの移動順番を兼ねており、機器を指定する操作は、機能の順番やデータの移動順番を指定する操作を兼ねることになる。機器の指定順番によって、連携機能において、次に利用される機器やデータの移動先の機器が変わるため、実施例3では、その変更に対応して、連携機能に利用される第3機器の案内が通知される。   As mentioned above, the guidance of the 3rd apparatus which can perform a cooperation function with the 1st apparatus and the 2nd apparatus is notified. In addition, the device that is guided (recommended) as the third device changes according to the designation order of the first device and the second device. The order in which devices are specified also serves as the order of functions used by each device and the movement order of data that moves between each linked device. The operation to specify a device depends on the order of functions or the order of data movement. It also serves as an operation to specify. In the linkage function, the next device to be used and the device to which the data is moved change depending on the designation order of the devices. In the third embodiment, in accordance with the change, the guidance of the third device used in the linkage function is provided. Will be notified.

実施例1と同様に、実施例3に係る処理は、機能に紐付く機能画像が用いられる場合に適用されてもよい。例えば、第1機能に紐付く機能画像がユーザによって指定された場合、第1機能と共に連携機能を実行することができる第2機能に紐付く機能画像への案内が通知される。また、第2機能に紐付く機能画像がユーザによって指定された場合、第1機能及び第2機能と共に連携機能を実行することが可能な第3機能に紐付く機能画像への案内が通知されてもよい。この場合、第1機能と第2機能の指定順番に応じて、第3機能として案内される機能が変わる。また、実施例3においても、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を利用する機能であってもよい。   Similar to the first embodiment, the process according to the third embodiment may be applied when a function image associated with a function is used. For example, when a function image associated with the first function is designated by the user, guidance to the function image associated with the second function capable of executing the cooperation function together with the first function is notified. In addition, when a function image associated with the second function is designated by the user, a guidance to the function image associated with the third function capable of executing the linkage function together with the first function and the second function is notified. Also good. In this case, the function guided as the third function changes according to the designation order of the first function and the second function. In the third embodiment, the linkage function may be a function that uses a function of a device as hardware and a function realized by software.

(実施例4)
図21及び図22を参照して、実施例4に係る案内処理について説明する。図21及び図22には、実施例4に係る機器表示画面の一例が示されている。実施例4では、第1機器と共に連携機能を実行できない機器が指定された場合に、第1機器と共に連携機能を実行することが可能な第2機器(連携先機器)の案内が通知される。例えば、複合機(B)、プロジェクタ(C)及びドライヤ(D)が機器として識別されているものとする。
Example 4
With reference to FIGS. 21 and 22, the guidance process according to the fourth embodiment will be described. 21 and 22 show an example of a device display screen according to the fourth embodiment. In the fourth embodiment, when a device that cannot execute the cooperation function together with the first device is designated, the guidance of the second device (cooperation destination device) that can execute the cooperation function together with the first device is notified. For example, it is assumed that the multifunction peripheral (B), the projector (C), and the dryer (D) are identified as devices.

図21に示すように、端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に、識別された機器(複合機(B)、プロジェクタ(C)及びドライヤ(D))に紐付く機器画像70,72,76が表示されている。   As shown in FIG. 21, a device display screen 68 is displayed on the UI unit 46 of the terminal device 16. Device images 70, 72, and 76 associated with (D)) are displayed.

この場合において、例えば、複合機(B)が第1機器としてユーザによって選択され、複合機(B)に紐付く機器画像70が第1画像としてユーザによって指定されると、サーバ14の特定部38によって、複合機(B)が第1機器として識別される。例えば、プロジェクタ(C)が、第1機器としての複合機(B)と共に連携機能を実行することが可能な第2機器に該当し、ドライヤ(D)が、複合機(B)と共に連携機能を実行することが不可能な機器に該当するものとする。この場合において、例えば、ユーザが、ドライヤ(D)に紐付く機器画像76を指定したり、複合機(B)に紐付く機器画像70とドライヤ(D)に紐付く機器画像76とを繋ぐ操作を行ったり、機器画像70を機器画像76に重ねたり、機器画像70と機器画像76との間を機器画像70から機器画像76へ向けてなぞったりすることで、複合機(B)と共に連携機能を実行することができないドライヤ(D)を連携先の機器として指定したとする。図21に示す例では、矢印102で示すように、機器画像70と機器画像76とを繋ぐ操作がユーザによって行われている。   In this case, for example, when the multifunction device (B) is selected by the user as the first device and the device image 70 associated with the multifunction device (B) is designated by the user as the first image, the specifying unit 38 of the server 14 is selected. Thus, the multifunction device (B) is identified as the first device. For example, the projector (C) corresponds to the second device capable of executing the cooperation function together with the multifunction device (B) as the first device, and the dryer (D) has the cooperation function together with the multifunction device (B). It shall correspond to equipment that cannot be executed. In this case, for example, the user designates the device image 76 associated with the dryer (D) or connects the device image 70 associated with the multifunction device (B) and the device image 76 associated with the dryer (D). Function, the device image 70 is superimposed on the device image 76, and the device image 70 and the device image 76 are traced from the device image 70 toward the device image 76, thereby being linked together with the multifunction peripheral (B). It is assumed that a dryer (D) that cannot execute the above is designated as a cooperation destination device. In the example illustrated in FIG. 21, as indicated by an arrow 102, an operation for connecting the device image 70 and the device image 76 is performed by the user.

第1機器としての複合機(B)と共に連携機能を実行することができないドライヤ(D)がユーザによって連携先の機器として指定されると、サーバ14の制御部36は、その指定を受け付け、複合機(B)と共に連携機能を実行することができる第2機器としてのプロジェクタ(C)の案内の通知を制御する。これにより、プロジェクタ(C)を第2機器として案内するための通知がなされる。例えば図22に示すように、端末装置16の制御部48は、プロジェクタ(C)を連携先の機器として誘導するための矢印104を機器表示画面68に表示させる。その矢印104は、例えば、第1機器としての複合機(B)に紐付く機器画像70と、第2機器としてのプロジェクタ(C)に紐付く機器画像72と、を結ぶ画像である。もちろん、その案内通知は、音声や文字列の表示等によって行われてもよい。   If a dryer (D) that cannot execute the linkage function together with the multifunction peripheral (B) as the first device is designated by the user as a linkage destination device, the control unit 36 of the server 14 accepts the designation, Control of notification of guidance of the projector (C) as the second device capable of executing the cooperation function together with the machine (B). Thereby, notification for guiding the projector (C) as the second device is made. For example, as illustrated in FIG. 22, the control unit 48 of the terminal device 16 displays an arrow 104 for guiding the projector (C) as a cooperation destination device on the device display screen 68. The arrow 104 is, for example, an image that connects a device image 70 associated with the multifunction device (B) as the first device and a device image 72 associated with the projector (C) as the second device. Of course, the notification of the guidance may be performed by displaying a voice or a character string.

以上のように、実施例4では、第1機器と共に連携機能を実行することができない機器が指定された場合に、第1機器と共に連携機能を実行することが可能な第2機器の案内の通知が制御される。第1機器が指定された場合に、常時、案内用の矢印等を表示する場合、画面上が矢印等によって煩雑になることがある。実施例4によると、その煩雑さを回避することが可能となる。   As described above, in the fourth embodiment, when a device that cannot execute the cooperation function together with the first device is designated, the notification of the guidance of the second device that can execute the cooperation function together with the first device. Is controlled. When the first device is designated and the arrow for guidance is always displayed, the arrow on the screen may be complicated. According to the fourth embodiment, it is possible to avoid the complexity.

実施例1と同様に、実施例4に係る処理は、機能に紐付く機器画像が用いられる場合に適用されてもよい。例えば、第1機能と共に連携機能を実行することができない機能が指定された場合に、第1機能と共に連携機能を実行することが可能な第2機能の案内が通知される。   Similar to the first embodiment, the processing according to the fourth embodiment may be applied when a device image associated with a function is used. For example, when a function that cannot execute the cooperation function together with the first function is designated, the guidance of the second function that can execute the cooperation function together with the first function is notified.

(実施例5)
図23から図25を参照して、実施例5について説明する。図23から図25には、実施例5に係る画面の一例が示されている。実施例5では、連携先の機器としてユーザによって指定された機器が、故障中又は使用中等の理由によって、第1機器と共に連携機能を実行することができない場合、第1機器と共に連携機能を実行することが可能な別の機器の案内が通知される。この場合、連携先の機器としてユーザによって指定された機器と同種の機器(例えば同種の機能を有する機器)の案内が優先的に通知されてもよい。サーバ14の制御部36は、各機器から各機器の稼働状況(例えば、処理の実行中、故障中、メンテナンス中等)を示す情報を取得して、各機器の稼働状況を管理している。
(Example 5)
Example 5 will be described with reference to FIGS. 23 to 25 show examples of screens according to the fifth embodiment. In the fifth embodiment, when the device designated by the user as the cooperation destination device cannot execute the cooperation function together with the first device due to a failure or being used, the cooperation function is executed together with the first device. You will be notified of guidance for another device that can. In this case, guidance for a device of the same type (for example, a device having the same type of function) as the device specified by the user as the cooperation destination device may be preferentially notified. The control unit 36 of the server 14 acquires information indicating the operation status of each device (for example, during execution of a process, during failure, during maintenance, etc.) from each device, and manages the operation status of each device.

例えば、複合機(B)とプロジェクタ(C),(F)が機器として識別されているものとする。図23に示すように、端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に、識別された機器(複合機(B)とプロジェクタ(C),(F))に紐付く機器画像70,72,106が表示されている。   For example, it is assumed that the multifunction peripheral (B) and the projectors (C) and (F) are identified as devices. As shown in FIG. 23, a device display screen 68 is displayed on the UI unit 46 of the terminal device 16. Device images 70, 72, 106 associated with F)) are displayed.

この場合において、例えば、複合機(B)が第1機器としてユーザによって選択され、複合機(B)に紐付く機器画像70が第1画像としてユーザによって指定されると、サーバ14の特定部38によって、複合機(B)が第1機器として識別される。例えば、プロジェクタ(C),(F)が、第1機器としての複合機(B)と共に連携機能を実行することが可能な第2機器に該当するものとする。例えば、ユーザが、プロジェクタ(F)に紐付く機器画像106を指定したり、複合機(B)に紐付く機器画像70とプロジェクタ(F)に紐付く機器画像106とを繋ぐ操作を行ったり、機器画像70を機器画像106に重ねたり、機器画像70と機器画像106との間を機器画像70から機器画像106へ向けてなぞったりすることで、プロジェクタ(F)を連携先の機器として指定したとする。図23に示す例では、矢印108で示すように、機器画像70と機器画像106とを繋ぐ操作がユーザによって行われている。   In this case, for example, when the multifunction device (B) is selected by the user as the first device and the device image 70 associated with the multifunction device (B) is designated by the user as the first image, the specifying unit 38 of the server 14 is selected. Thus, the multifunction device (B) is identified as the first device. For example, it is assumed that the projectors (C) and (F) correspond to the second device that can execute the cooperation function together with the multifunction peripheral (B) as the first device. For example, the user designates the device image 106 associated with the projector (F), or performs an operation of connecting the device image 70 associated with the multifunction device (B) and the device image 106 associated with the projector (F), By superimposing the device image 70 on the device image 106 or tracing between the device image 70 and the device image 106 from the device image 70 toward the device image 106, the projector (F) is designated as the cooperation destination device. And In the example shown in FIG. 23, as indicated by an arrow 108, an operation for connecting the device image 70 and the device image 106 is performed by the user.

プロジェクタ(F)がユーザによって連携先の機器として指定されると、サーバ14の制御部36は、その指定を受け付け、プロジェクタ(F)の稼働状況を確認する。例えば、プロジェクタ(F)が故障中又は使用中の場合、サーバ14の制御部36は、プロジェクタ(F)以外の機器であって第1機器と共に連携機能を実行することが可能な他の機器の案内の通知を制御する。制御部36は、プロジェクタ(F)と同種の機器(例えば、プロジェクタ(F)と同種の機能を有する機器)の案内の通知を優先的に行ってもよい。例えば、プロジェクタ(C)がプロジェクタ(F)と同種の機器に該当する場合、プロジェクタ(C)を第2機器として案内するための通知が優先的に行われる。この場合、例えば図24に示すように、端末装置16の制御部48は、プロジェクタ(F)を連携先の機器として誘導するための矢印110を機器表示画面68に表示させる。その矢印110は、例えば、第1機器としての複合機(B)に紐付く機器画像70と、第2機器としてのプロジェクタ(C)に紐付く機器画像72と、を結ぶ画像である。   When the projector (F) is designated as a cooperation destination device by the user, the control unit 36 of the server 14 accepts the designation and confirms the operating status of the projector (F). For example, when the projector (F) is out of order or in use, the control unit 36 of the server 14 is a device other than the projector (F) that is capable of executing the linkage function together with the first device. Control notifications for guidance. The control unit 36 may preferentially notify the guidance of a device of the same type as the projector (F) (for example, a device having the same type of function as the projector (F)). For example, when the projector (C) corresponds to the same type of device as the projector (F), notification for guiding the projector (C) as the second device is preferentially performed. In this case, for example, as shown in FIG. 24, the control unit 48 of the terminal device 16 displays an arrow 110 for guiding the projector (F) as a cooperation destination device on the device display screen 68. The arrow 110 is, for example, an image that connects a device image 70 associated with the multifunction device (B) as the first device and a device image 72 associated with the projector (C) as the second device.

また、故障中や使用中の機器が連携先の機器としてユーザによって指定された場合、例えば図25に示すように、端末装置16のUI部46には、サーバ14の制御部36の制御の下、連携不可能な理由を示すメッセージを示す画面112が表示されてもよい。   In addition, when a device that is out of order or in use is designated by the user as a cooperation destination device, for example, as shown in FIG. 25, the UI unit 46 of the terminal device 16 is under the control of the control unit 36 of the server 14. A screen 112 showing a message indicating the reason why cooperation is not possible may be displayed.

なお、故障中であった機器が修理によって利用可能になった場合や、処理を実行中であった機器がその処理を完了して処理を実行していない場合、サーバ14の制御部36は、当該機器を第1機器と共に連携機能を実行することが可能な機器として識別する。   Note that when the device that has been out of order becomes available due to repair, or when the device that has been executing the process has completed its processing and is not executing the process, the control unit 36 of the server 14 The device is identified as a device capable of executing the linkage function together with the first device.

実施例5によると、故障中ではない機器や使用中ではない機器が案内されるので、ユーザの利便性が向上する。また、ユーザによって指定された機器と同種の機器が案内されるので、ユーザが利用すると想定される機器が案内される。   According to the fifth embodiment, devices that are not in failure and devices that are not in use are guided, so that convenience for the user is improved. Further, since the same type of device as the device specified by the user is guided, the device assumed to be used by the user is guided.

(実施例6)
図26を参照して、実施例6に係る案内処理について説明する。図26には、機器選択画面の一例が示されている。実施例6では、端末装置16のUI部46に、第1機器と共に連携機能を実行することが可能な第2機器に関する情報を示す候補リストが表示される。
(Example 6)
With reference to FIG. 26, the guidance process according to the sixth embodiment will be described. FIG. 26 shows an example of the device selection screen. In the sixth embodiment, a candidate list indicating information on the second device that can execute the cooperation function together with the first device is displayed on the UI unit 46 of the terminal device 16.

例えば、複合機(B)とドライヤ(D)が機器として識別されており、図14(a)に示すように、複合機(B)に紐付く機器画像70とドライヤ(D)に紐付く機器画像76が、端末装置16のUI部46に表示されているものとする。この場合において、例えば、複合機(B)が第1機器としてユーザによって選択され、複合機(B)に紐付く機器画像70がユーザによって指定されると、サーバ14の特定部38によって、複合機(B)が第1機器として識別される。例えば、ドライヤ(D)が、複合機(B)と共に連携機能を実行することが不可能な機器に該当するものとする。この場合において、例えば、ユーザが、ドライヤ(D)に紐付く機器画像76を指定したり、複合機(B)に紐付く機器画像70とドライヤ(D)に紐付く機器画像76とを繋ぐ操作を行ったり、機器画像70を機器画像76に重ねたり、機器画像70と機器画像76との間を機器画像70から機器画像76へ向けてなぞったりすることで、ドライヤ(D)を連携先の機器として指定したとする。   For example, the multifunction device (B) and the dryer (D) are identified as devices, and as shown in FIG. 14A, the device image 70 associated with the multifunction device (B) and the device associated with the dryer (D). It is assumed that the image 76 is displayed on the UI unit 46 of the terminal device 16. In this case, for example, when the multifunction device (B) is selected by the user as the first device and the device image 70 associated with the multifunction device (B) is designated by the user, the identifying unit 38 of the server 14 causes the multifunction device to (B) is identified as the first device. For example, it is assumed that the dryer (D) corresponds to a device that cannot execute the cooperation function together with the multifunction peripheral (B). In this case, for example, the user designates the device image 76 associated with the dryer (D) or connects the device image 70 associated with the multifunction device (B) and the device image 76 associated with the dryer (D). The device image 70 is superimposed on the device image 76, or the device image 70 and the device image 76 are traced from the device image 70 toward the device image 76, thereby allowing the dryer (D) to be linked. Suppose that it is specified as a device.

第1機器としての複合機(B)と共に連携機能を実行することができないドライヤ(D)がユーザによって連携先の機器として指定されると、サーバ14の制御部36は、その指定を受け付け、複合機(B)と共に連携機能を実行することができる第2機器の案内の通知として、第2機器に関する情報を示す候補リストの表示を制御する。これにより、端末装置16のUI部46には、図26に示すように、機器選択画面114が表示され、その機器選択画面114中に候補リストが表示される。なお、機器選択画面114が表示される前に、図14(b)に示されているメッセージ画面78が、端末装置16のUI部46に表示されてもよい。   If a dryer (D) that cannot execute the linkage function together with the multifunction peripheral (B) as the first device is designated by the user as a linkage destination device, the control unit 36 of the server 14 accepts the designation, The display of a candidate list indicating information related to the second device is controlled as a notification of the guidance of the second device that can execute the cooperation function together with the machine (B). As a result, the device selection screen 114 is displayed on the UI unit 46 of the terminal device 16 as shown in FIG. 26, and the candidate list is displayed in the device selection screen 114. Note that the message screen 78 shown in FIG. 14B may be displayed on the UI unit 46 of the terminal device 16 before the device selection screen 114 is displayed.

図26に示すように、候補リストには、複合機(B)と共に連携機能を実行することができる各機器の名称、各機器に紐付く各機器画像、連携機能の例(例えば連携機能の名称)、等が含まれている。もちろん、これらの中の少なくとも1つの情報が、候補リストに含まれていてもよい。また、機器画像は、実際の機器の外観を表わす画像(その機器と一対一の関係で紐付く画像)であってもよいし、機器を模した画像(例えばアイコン)であってもよい。実際の機器の外観を表わす画像は、例えば、機器の外観を撮影することで生成された画像であり、当該機器そのものを表わす画像である。機器を模した画像は、機器の種類を示す画像に相当する。連携機能の例として、1又は複数の連携機能の名称が、候補リストに含まれる。複数の連携機能の名称が表示される場合、連携対象となる複数の機器の指定順番に応じた表示順位で、各連携機能の名称が表示されてもよい。例えば、複合機とプロジェクタとによって複数の連携機能(例えば連携機能A,B)の実行が可能な場合、複合機が第1機器として指定された場合と、プロジェクタが第1機器として指定された場合とで、候補リストに含まれる複数の連携機能の表示順が異なっていてもよい。例えば、複合機が第1機器として指定された場合、連携機能A,Bの順番で各連携機能の名称が表示され、プロジェクタが第1機器として指定された場合、連携機能B,Aの順番で各連携機能の名称が表示されてもよい。   As shown in FIG. 26, the candidate list includes names of devices that can execute the linkage function together with the multifunction peripheral (B), device images associated with the devices, and examples of linkage functions (for example, names of linkage functions). ), Etc. Of course, at least one of these pieces of information may be included in the candidate list. The device image may be an image representing the appearance of an actual device (an image associated with the device in a one-to-one relationship), or may be an image imitating the device (for example, an icon). The image representing the actual appearance of the device is, for example, an image generated by photographing the appearance of the device, and is an image representing the device itself. An image simulating a device corresponds to an image indicating the type of device. As an example of the cooperation function, the names of one or more cooperation functions are included in the candidate list. When the names of a plurality of linkage functions are displayed, the names of the linkage functions may be displayed in a display order corresponding to the designation order of a plurality of devices to be linked. For example, when a multifunction device and a projector can execute a plurality of cooperation functions (for example, cooperation functions A and B), the multifunction device is designated as the first device, and the projector is designated as the first device. The display order of the plurality of linkage functions included in the candidate list may be different. For example, when the multifunction device is designated as the first device, the names of the cooperation functions are displayed in the order of the cooperation functions A and B, and when the projector is designated as the first device, the names of the cooperation functions B and A are displayed. The name of each cooperation function may be displayed.

候補リスト内の各第2機器の並びの順番は、例えば、各第2機器の過去の利用実績に基づいて決定されてもよい。例えば、サーバ14の制御部36は、各機器の利用実績を示す情報を各機器から取得することで、各機器の利用実績を管理する。制御部36は、例えば、利用頻度が高い第2機器(例えば利用回数が多い第2機器)ほど、候補リスト内で上位に表示する。過去の利用実績は、第1画像を指定したユーザ(例えば、端末装置16を利用するユーザや、サーバ14にログインしたユーザ)の利用実績であってもよいし、他のユーザの利用実績を含む利用実績であってもよい。   The order of arrangement of the second devices in the candidate list may be determined based on, for example, past usage records of the second devices. For example, the control unit 36 of the server 14 manages the use record of each device by acquiring information indicating the use result of each device from each device. For example, the control unit 36 displays the second device with the higher usage frequency (for example, the second device with the higher usage frequency) at the top in the candidate list. The past use record may be a use record of a user who has designated the first image (for example, a user who uses the terminal device 16 or a user who has logged into the server 14), and includes the use record of other users. It may be a usage record.

別の例として、制御部36は、実行可能な連携機能の数が多い第2機器ほど、候補リスト内において上位の順番に表示してもよい。例えば、プロジェクタが複合機(B)と共に実行可能な連携機能の数が「3」であり、パソコンが複合機(B)と共に実行可能な連携機能の数が「2」の場合、候補リスト内において、プロジェクタがパソコンよりも上位に表示される。   As another example, the control unit 36 may display the second device having the larger number of executable cooperation functions in the higher order in the candidate list. For example, when the number of cooperation functions that the projector can execute with the multifunction peripheral (B) is “3” and the number of cooperation functions that the personal computer can execute with the multifunction peripheral (B) is “2”, The projector is displayed above the personal computer.

また、各機器の機能が更新されて、連携機能管理情報34が更新された場合、制御部36は、その更新に伴って、候補リスト内の第2機器の表示を更新する。例えば、更新前には複合機と共に連携機能を実行することができなかった機器が、更新後には複合機と共に連携機能を実行することが可能になった場合、制御部36は、その機器を第2機器として候補リストに表示する。また、各機器の利用実績も時間と共に更新され、制御部36は、更新後の利用実績に基づいて、候補リスト内の各第2機器の表示順を更新する。   When the function of each device is updated and the cooperation function management information 34 is updated, the control unit 36 updates the display of the second device in the candidate list along with the update. For example, if a device that could not execute the cooperation function with the multifunction peripheral before the update becomes capable of executing the cooperation function together with the multifunction peripheral after the update, the control unit 36 identifies the device as the first device. Two devices are displayed in the candidate list. In addition, the usage record of each device is also updated with time, and the control unit 36 updates the display order of each second device in the candidate list based on the updated usage record.

また、サーバ14の制御部36は、第1機器と第2機器の稼働状況や周辺状況に応じて、候補リストに含まれる第2機器を更新してもよいし、候補リスト内の第2機器の表示順位を更新してもよい。   Further, the control unit 36 of the server 14 may update the second device included in the candidate list according to the operating status and the peripheral status of the first device and the second device, or the second device in the candidate list. The display order may be updated.

なお、複合機と共に連携機能を実行することが可能な機器であっても、故障中又は使用中の機器は、候補リストに表示されなくてもよい。この場合においても、機器の故障が解消されたり、機器が使用中ではなくなった場合、その機器は候補リストに表示される。   Even if the device is capable of executing the linkage function together with the multifunction device, the device that is out of order or in use may not be displayed in the candidate list. Even in this case, when the failure of the device is resolved or the device is not in use, the device is displayed in the candidate list.

ユーザが、候補リストに含まれる機器名又は機器画像を指定した場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、第1機器としての複合機と指定された機器とによって実行可能な連携機能の一覧を、端末装置16のUI部46に表示させてもよい。例えば、候補リスト内のプロジェクタが指定された場合、端末装置16の制御部48は、複合機とプロジェクタとによって実行可能な連携機能の一覧をUI部46に表示させる。また、ユーザが、候補リストに含まれる連携機能を指定した場合、指定された連携機能を実行するための制御が行われる。   When the user designates a device name or device image included in the candidate list, the control unit 48 of the terminal device 16 controls the device designated as the first multifunction device under the control of the control unit 36 of the server 14. A list of cooperative functions that can be executed may be displayed on the UI unit 46 of the terminal device 16. For example, when a projector in the candidate list is designated, the control unit 48 of the terminal device 16 causes the UI unit 46 to display a list of cooperation functions that can be executed by the multifunction peripheral and the projector. In addition, when the user designates a cooperation function included in the candidate list, control for executing the designated cooperation function is performed.

なお、候補リストに表示される第2機器は、サーバ14に予め登録された機器群に含まれるであってもよいし、AR技術等によって識別された機器群に含まれる機器であってもよいし、端末装置16のUI部46に表示された機器群に含まれる機器であってもよいし、UI部46の画面内において特定の領域に表示された機器群に含まれる機器であってもよい。例えば、ユーザが機器に紐付く機器画像を操作することで、その機器画像が特定の領域に表示される。また、第1機器も、これらの機器群に含まれる機器であってもよい。上述した実施例1−5、及び、以下に説明する各実施例においても同様である。   The second device displayed in the candidate list may be included in a device group registered in advance in the server 14, or may be a device included in a device group identified by the AR technology or the like. In addition, a device included in the device group displayed on the UI unit 46 of the terminal device 16 or a device included in the device group displayed in a specific area in the screen of the UI unit 46 may be used. Good. For example, when a user operates a device image associated with a device, the device image is displayed in a specific area. The first device may also be a device included in these device groups. The same applies to the first to fifth embodiments described above and the embodiments described below.

実施例1と同様に、実施例6に係る処理は、機能に紐付き機器画像が用いられる場合に適用されてもよい。例えば、第1機能と共に連携機能を実行することができない機器や機能が指定された場合に、第1機能と共に連携機能を実行することができる機器(第2機器の候補)や機能(第2機能の候補)を示す候補リストが表示されてもよい。例えば、第2機能の機能名、第2機能に紐付く機器画像、連携機能の例、等が候補リストに含まれる。また、第1機器と共に連携機能を実行することができない機能が指定された場合に、候補リストが表示されてもよい。   Similar to the first embodiment, the process according to the sixth embodiment may be applied when a device image with a string is used for a function. For example, when a device or function that cannot execute the cooperation function together with the first function is specified, a device (second device candidate) or function (second function) that can execute the cooperation function together with the first function. A candidate list indicating the candidates) may be displayed. For example, the function list of the second function, the device image associated with the second function, an example of the cooperation function, and the like are included in the candidate list. In addition, a candidate list may be displayed when a function that cannot execute the cooperation function with the first device is designated.

実施例6によると、第2機器の候補や第2機能の候補が候補リストとして表示されるので、ユーザにとって便利である。   According to the sixth embodiment, the second device candidates and the second function candidates are displayed as the candidate list, which is convenient for the user.

(実施例7)
図26から図32を参照して、実施例7について説明する。実施例7では、実施例6と同様に、端末装置16のUI部46に候補リストが表示される。
(Example 7)
Example 7 will be described with reference to FIGS. In the seventh embodiment, similarly to the sixth embodiment, the candidate list is displayed on the UI unit 46 of the terminal device 16.

実施例6と同様に、複合機(B)が第1機器としてユーザによって指定され、複合機(B)と共に連携機能を実行することができない機器がユーザによって指定されたものとする。サーバ14の制御部36は、その指定を受け付け、複合機(B)と共に連携機能を実行することができる第2機器の案内の通知として、第2機器に関する情報を示す候補リストの表示を制御する。これにより、図26に示すように、機器選択画面114が端末装置16のUI部46に表示される。   Similarly to the sixth embodiment, it is assumed that the multifunction device (B) is designated by the user as the first device, and the device that cannot execute the cooperation function together with the multifunction device (B) is designated by the user. The control unit 36 of the server 14 receives the designation and controls the display of a candidate list indicating information on the second device as a notification of the guidance of the second device that can execute the cooperation function together with the multifunction peripheral (B). . As a result, as shown in FIG. 26, the device selection screen 114 is displayed on the UI unit 46 of the terminal device 16.

例えば、ユーザが機器名を指定した場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、指定された機器と同種の機器の一覧(第2機器の一覧)を、端末装置16のUI部46に表示させる。例えば、ユーザがプロジェクタを指定した場合、図27に示すように、機器選択画面116が端末装置16のUI部46に表示される。機器選択画面116には、第2機器としてのプロジェクタの一覧が表示される。例えば、サーバ14の特定部38によって、プロジェクタaaa,bbb,cccが第2機器に該当するプロジェクタとして特定(識別)された場合、それらを示す一覧が表示される。ユーザは、この一覧の中から第2機器として利用されるプロジェクタを選択することになる。   For example, when the user designates a device name, the control unit 48 of the terminal device 16 creates a list of devices of the same type as the designated device (list of second devices) under the control of the control unit 36 of the server 14. It is displayed on the UI unit 46 of the terminal device 16. For example, when the user designates a projector, a device selection screen 116 is displayed on the UI unit 46 of the terminal device 16 as shown in FIG. On the device selection screen 116, a list of projectors as second devices is displayed. For example, when the specifying unit 38 of the server 14 specifies (identifies) the projectors aaa, bbb, and ccc as projectors corresponding to the second device, a list indicating them is displayed. The user selects a projector to be used as the second device from this list.

また、機器選択画面116には、連携対象の機器の追加をユーザに問い合わせるメッセージが表示される。例えば、第2機器がユーザによって指定された後、連携対象の機器の追加がユーザによって指示された場合(例えば図27に示されている「はい」がユーザによって指定された場合)、図28に示すように、端末装置16のUI部46には、機器選択画面118が表示され、その機器選択画面118には、第1機器及び第2機器と共に連携機能を実行することが可能な第3機器に関する情報を示す候補リストが表示される。この候補リストは、第2機器に関する情報を示す候補リストと同じ構成を有する。なお、第3機器としての機器の表示順位は、第2機器についての候補リストと異なる順位であってもよい。第3機器がユーザによって指定された場合、第2機器が指定されたときに表示される機器選択画面116(図27参照)と同様に、第3機器の一覧が表示される。第4機器以降の機器を追加する場合も同様である。   In addition, the device selection screen 116 displays a message asking the user to add a device to be linked. For example, after the second device is designated by the user, when the user instructs to add a device to be linked (for example, when “Yes” shown in FIG. 27 is designated by the user), FIG. As illustrated, a device selection screen 118 is displayed on the UI unit 46 of the terminal device 16, and the device selection screen 118 includes a third device that can execute a linkage function together with the first device and the second device. A candidate list showing information about is displayed. This candidate list has the same configuration as the candidate list indicating information on the second device. Note that the display order of the device as the third device may be different from the candidate list for the second device. When the third device is designated by the user, a list of third devices is displayed in the same manner as the device selection screen 116 (see FIG. 27) displayed when the second device is designated. The same applies when adding devices after the fourth device.

なお、機器を模した画像(例えばアイコン)が機器画像として候補リストに含まれており、その機器画像がユーザによって指定された場合、図27に示すように、その機器画像に紐付く第2機器(例えばプロジェクタ)の一覧が表示される。つまり、その機器画像は、機器の種類を表わし、その機器を代表して表す画像であるため、その機器画像が指定された場合、その機器画像に紐付く第2機器の一覧が表示される。一方、実際の機器を表わす画像(機器と一対一の関係で紐付く画像)は、当該機器そのものを表わす画像であるため、その機器画像が候補リストに含まれて、ユーザによって指定された場合、当該機器そのものがユーザによって指定されたことになる。この場合、図27に示されている第2機器の一覧は表示されずに、連携対象の機器の追加をユーザに問い合わせるためのメッセージのみが表示されてもよい。   When an image imitating a device (for example, an icon) is included in the candidate list as a device image and the device image is designated by the user, as shown in FIG. 27, the second device associated with the device image. A list of (for example, projectors) is displayed. That is, since the device image represents the type of device and represents the device as a representative, when the device image is designated, a list of second devices associated with the device image is displayed. On the other hand, since an image representing an actual device (an image associated with the device in a one-to-one relationship) is an image representing the device itself, when the device image is included in the candidate list and designated by the user, The device itself is designated by the user. In this case, only the message for inquiring the user to add a device to be linked may be displayed without displaying the list of the second devices shown in FIG.

連携対象の機器の追加が行われない場合(例えば、図27に示されている「いいえ」がユーザによって指定された場合)、端末装置16の制御部48は、サーバ14の制御部36の制御の下、図29に示すように、機能選択画面120を端末装置16のUI部46に表示させる。機能選択画面120には、ユーザによって指定された複数の機器によって実行可能な連携機能の一覧が表示される。例えば、複合機(B)が第1機器として指定され、プロジェクタaaaが第2機器として指定された場合、複合機(B)とプロジェクタaaaとによって実行可能な連携機能の一覧が表示される。ユーザが、その一覧の中から連携機能を指定して実行の指示を与えると、複合機(B)とプロジェクタaaaとによってその連携機能が実行される。   When the device to be linked is not added (for example, when “No” shown in FIG. 27 is designated by the user), the control unit 48 of the terminal device 16 controls the control unit 36 of the server 14. 29, the function selection screen 120 is displayed on the UI unit 46 of the terminal device 16 as shown in FIG. The function selection screen 120 displays a list of cooperative functions that can be executed by a plurality of devices specified by the user. For example, when the multifunction device (B) is designated as the first device and the projector aaa is designated as the second device, a list of cooperative functions that can be executed by the multifunction device (B) and the projector aaa is displayed. When the user designates a cooperation function from the list and gives an execution instruction, the multifunction machine (B) and the projector aaa execute the cooperation function.

一方、連携機能の一覧に含まれない連携機能を実行する場合、ユーザは、その連携機能の実行を依頼する。例えば、端末装置16のUI部46には、図30に示すように、その依頼を行うための画面122が表示され、ユーザは、その画面122において、実行を希望する連携機能の名称等を入力する。その依頼を示す情報は、端末装置16からサーバ14に送信される。サーバ14の制御部36は、その依頼を受けると、指定された機器群(例えば第1機器と第2機器)とによって、その依頼に係る連携機能を実行することが可能か否かを判断する。依頼に係る連携機能の実行が不可能な場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、図31に示すように、依頼に係る連携機能の実行が不可能な旨を示すメッセージを、端末装置16のUI部46に表示させる。依頼に係る連携機能の実行が可能な場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、図32に示すように、依頼に係る連携機能を実行する旨を示すメッセージを、端末装置16のUI部46に表示させる。ユーザによって実行指示が与えられた場合、その連携機能が実行される。また、ユーザによって依頼された連携機能が登録されてもよい。例えば図32に示すように、端末装置16の制御部48は、サーバ14の制御部36の制御の下、依頼された連携機能を今後の連携機能候補として登録するか否かをユーザに問い合わせるためのメッセージを、端末装置16のUI部46に表示させる。ユーザによって「登録」が指示された場合、依頼された連携機能に関する情報は、連携機能管理情報34に登録され、今後、連携機能の一覧に含まれて表示される。ユーザによって「登録しない」が指示された場合、依頼された連携機能に関する情報は登録されず、連携機能の一覧に含まれない。例えば、依頼された連携機能が、例外的な処理に該当する場合や、他の連携機能の方が利用頻度が高い場合や、一覧に含まれる連携機能の数が増大して煩雑になるのを避ける場合等に、依頼された連携機能が登録されないことが想定される。   On the other hand, when executing a linkage function that is not included in the list of linkage functions, the user requests execution of the linkage function. For example, the UI unit 46 of the terminal device 16 displays a screen 122 for making the request, as shown in FIG. 30, and the user inputs the name of the cooperation function desired to be executed on the screen 122. To do. Information indicating the request is transmitted from the terminal device 16 to the server 14. Upon receiving the request, the control unit 36 of the server 14 determines whether or not the designated device group (for example, the first device and the second device) can execute the cooperation function related to the request. . When the cooperation function related to the request cannot be executed, the control unit 48 of the terminal device 16 cannot execute the cooperation function related to the request as shown in FIG. 31 under the control of the control unit 36 of the server 14. Is displayed on the UI unit 46 of the terminal device 16. When the cooperation function related to the request can be executed, the control unit 48 of the terminal device 16 indicates that the cooperation function related to the request is executed as shown in FIG. 32 under the control of the control unit 36 of the server 14. The message is displayed on the UI unit 46 of the terminal device 16. When the execution instruction is given by the user, the linkage function is executed. Moreover, the cooperation function requested by the user may be registered. For example, as shown in FIG. 32, the control unit 48 of the terminal device 16 inquires of the user whether or not to register the requested cooperation function as a future cooperation function candidate under the control of the control unit 36 of the server 14. Is displayed on the UI unit 46 of the terminal device 16. When “registration” is instructed by the user, the requested information on the cooperation function is registered in the cooperation function management information 34 and will be displayed in the list of cooperation functions in the future. When the user instructs “not register”, the requested information regarding the cooperation function is not registered and is not included in the list of cooperation functions. For example, when the requested cooperation function falls under exceptional processing, when the other cooperation function is used more frequently, or when the number of cooperation functions included in the list increases and becomes complicated. In case of avoidance, it is assumed that the requested cooperation function is not registered.

実施例1と同様に、実施例7に係る処理は、機能に紐付き機器画像が用いられる場合に適用されてもよい。   Similar to the first embodiment, the processing according to the seventh embodiment may be applied when a device image with a string is used for a function.

実施例7によると、第2機器の候補や第2機能の候補が候補リストとして表示されるので、ユーザにとって便利である。また、候補リストを利用して、連携対象の機器を簡単に増やすことが可能となる。   According to the seventh embodiment, the second device candidates and the second function candidates are displayed as the candidate list, which is convenient for the user. In addition, it is possible to easily increase the devices to be linked using the candidate list.

(実施例8)
図33から図35を参照して、実施例8について説明する。実施例8では、実施例6,7と同様に、端末装置16のUI部46に候補リストが表示される。
(Example 8)
Example 8 will be described with reference to FIGS. 33 to 35. In the eighth embodiment, as in the sixth and seventh embodiments, the candidate list is displayed on the UI unit 46 of the terminal device 16.

実施例6,7と同様に、複合機(B)が第1機器としてユーザによって指定され、複合機(B)と共に連携機能を実行することができない機器がユーザによって指定されたものとする。この場合、図26に示すように、機器選択画面114が端末装置16のUI部46に表示される。   As in the sixth and seventh embodiments, it is assumed that the multifunction device (B) is designated by the user as the first device, and the device that cannot execute the cooperation function together with the multifunction device (B) is designated by the user. In this case, as shown in FIG. 26, the device selection screen 114 is displayed on the UI unit 46 of the terminal device 16.

機器選択画面114において、ユーザによって連携機能(例えば「表示画面を印刷」)が指定された場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、図33に示すように、機器選択画面124を端末装置16のUI部46に表示させる。機器選択画面124には、ユーザによって指定された連携機能(例えば「表示画面を印刷」)を実行するために必要な(その連携機能を実行可能な)機器の一覧(第2機器の一覧)が表示される。この一覧の中から機器(第2機器)がユーザによって指定されて連携機能の実行指示が与えられると、ユーザによって指定された第1機器と第2機器とによって、ユーザによって指定された連携機能が実行される。   When a cooperation function (for example, “print display screen”) is designated by the user on the device selection screen 114, the control unit 48 of the terminal device 16 is controlled by the control unit 36 of the server 14 as shown in FIG. Then, the device selection screen 124 is displayed on the UI unit 46 of the terminal device 16. In the device selection screen 124, there is a list of devices (second device list) necessary (executable for the link function) necessary to execute a cooperation function (for example, “print display screen”) designated by the user. Is displayed. When a device (second device) is designated by the user from the list and an execution instruction for the cooperation function is given, the cooperation function designated by the user is specified by the first device and the second device designated by the user. Executed.

機器選択画面124に表示されている機器の一覧には含まれない他の機器の選択がユーザによって指示された場合(「他の機器にしますか?」という問い合わせに対して「はい」が選択された場合)、端末装置16の制御部48は、サーバ14の制御部36の制御の下、図34に示すように、機器選択画面126を端末装置16のUI部46に表示させる。機器選択画面126には、ユーザによって指定された連携機能の実行が可能な他の機器の候補の一覧が表示される。機器選択画面126において、機器(第2機器)がユーザによって指定されて連携機能の実行指示が与えられると、ユーザによって指定された第1機器と第2機器とによって、ユーザによって指定された連携機能が実行される。   When the user instructs the selection of another device not included in the device list displayed on the device selection screen 124 (“Yes” is selected in response to an inquiry “Do you want to make another device?” ), The control unit 48 of the terminal device 16 displays the device selection screen 126 on the UI unit 46 of the terminal device 16 as shown in FIG. 34 under the control of the control unit 36 of the server 14. The device selection screen 126 displays a list of other device candidates that can execute the cooperation function designated by the user. In the device selection screen 126, when a device (second device) is designated by the user and an execution instruction for the cooperation function is given, the cooperation function designated by the user by the first device and the second device designated by the user. Is executed.

機器選択画面126に表示されている機器の一覧には含まれない他の機器の選択がユーザによって指示された場合(「上記以外ですか?」という問い合わせに対して「はい」が選択された場合)、端末装置16の制御部48は、サーバ14の制御部36の制御の下、図35に示すように、連携対象の機器に関する情報を入力するための画面128を、端末装置16のUI部46に表示させる。ユーザは、この画面128において、連携対象の機器に関する情報(例えば、機器の名称や種類等)を入力する。ユーザによって入力された連携対象の機器に関する情報は、端末装置16からサーバ14に送信される。サーバ14の制御部36は、その情報を受けると、第1機器と、ユーザによって指定された当該連携対象の機器と、によって、ユーザによって指定された連携機能を実行することが可能か否かを判断する。その連携機能の実行が不可能な場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、別の機器を連携対象の機器として設定し直すための画面を、端末装置16のUI部46に表示させる。その連携機能の実行が可能な場合、連携機能の実行指示が与えられると、ユーザによって指定された第1機器と第2機器(連携対象の機器)とによって、ユーザによって指定された連携機能が実行される。   When the user instructs the selection of another device not included in the device list displayed on the device selection screen 126 (when “Yes” is selected in response to an inquiry “other than the above?”) ), The control unit 48 of the terminal device 16 displays a screen 128 for inputting information related to the cooperation target device under the control of the control unit 36 of the server 14 as shown in FIG. 46 is displayed. On this screen 128, the user inputs information related to the device to be linked (for example, the name and type of the device). Information relating to the cooperation target device input by the user is transmitted from the terminal device 16 to the server 14. When the control unit 36 of the server 14 receives the information, the control unit 36 determines whether the first device and the cooperation target device designated by the user can execute the cooperation function designated by the user. to decide. When the cooperation function cannot be executed, the control unit 48 of the terminal device 16 displays a screen for resetting another device as a device to be linked under the control of the control unit 36 of the server 14. 16 UI parts 46 are displayed. When the cooperation function can be executed, when the execution instruction of the cooperation function is given, the cooperation function designated by the user is executed by the first device and the second device (device to be linked) designated by the user. Is done.

実施例1と同様に、実施例8に係る処理は、機能に紐付き機器画像が用いられる場合に適用されてもよい。   Similar to the first embodiment, the processing according to the eighth embodiment may be applied when a device image with a string is used for a function.

実施例8によると、候補リストにて連携機能が指定されると、その連携機能を実行するために必要な機器が表示されるので、機器を選択するときのユーザの利便性が向上する。   According to the eighth embodiment, when a cooperation function is specified in the candidate list, devices necessary for executing the cooperation function are displayed, so that convenience for the user when selecting a device is improved.

本実施形態は、複数の機器を複数のユーザが利用するという環境に適用されてもよい。例えば、機器からタッチパネル等のユーザインターフェースが取り除かれた場合であっても、端末装置16がユーザインターフェースとして用いられる。別の場面として、例えば、ユーザの出先等で機器が一時的に利用される場合に、当該ユーザに適したユーザインターフェース、つまり、当該ユーザによって指定された機器が有する機能やその機器を利用する連携機能が表示されたユーザインターフェースが、端末装置16にて実現される。   The present embodiment may be applied to an environment where a plurality of users use a plurality of devices. For example, even when a user interface such as a touch panel is removed from the device, the terminal device 16 is used as the user interface. As another scene, for example, when a device is temporarily used at a user's destination, etc., a user interface suitable for the user, that is, a function of the device specified by the user and cooperation using the device A user interface on which the function is displayed is realized by the terminal device 16.

以下、上記の実施例1から実施例8に関連する処理について説明する。   Hereinafter, processes related to the first to eighth embodiments will be described.

(連携機能に関する情報の表示の切り替え処理)
本実施形態において、機器に紐付く機器画像同士を繋げる順番に応じて、連携機能に関する情報の表示が切り替えられてもよい。この場合において、連携対象の機器として指定された機器が、第1機器と共に連携機能を実行することができない場合、上記の実施例1から実施例8と同様に、第1機器と共に連携機能を実行することが可能な第2機器の案内の通知が制御される。一方、第1機器とともに連携機能を実行することが可能な第2機器がユーザによって指定された場合、機器画像同士を繋げる順番に応じて、連携機能に関する情報の表示が切り替えられる。以下、図36から図38を参照して、この処理について詳しく説明する。
(Switching display of information related to linkage function)
In the present embodiment, the display of information related to the cooperation function may be switched according to the order in which the device images associated with the devices are connected. In this case, when the device designated as the device to be linked cannot execute the linkage function together with the first device, the linkage function is executed together with the first device as in the first to eighth embodiments. Notification of guidance of the second device that can be performed is controlled. On the other hand, when the second device capable of executing the cooperation function together with the first device is designated by the user, the display of information regarding the cooperation function is switched according to the order in which the device images are connected. Hereinafter, this processing will be described in detail with reference to FIGS.

図36には、連携機能管理情報34の別の例としての連携機能管理テーブルが示されている。この連携機能管理テーブルにおいては、一例として、機器IDの組み合わせを示す情報と、連携対象の機器名(例えば各機器の種類)を示す情報と、連携機能を示す情報(連携機能情報)と、接続順番を示す情報と、優先順位を示す情報と、が対応付けられている。接続順番は、機器に紐付く機器画像を繋ぐ順番に対応している。優先順位は、連携機能に関する情報の表示の優先順位である。例えば、機器IDが「A」の機器はPC(パーソナルコンピュータ)であり、機器IDが「B」の機器は複合機である。PC(A)と複合機(B)を連携させることにより、連携機能として、例えば「スキャン転送機能」と「印刷機能」が実現される。「スキャン転送機能」は、複合機(B)によるスキャンによって生成された画像データをPC(A)に転送する機能である。「印刷機能」は、PC(A)に保存されているデータ(例えば画像データや文書データ)を複合機(B)に送信して複合機(B)にて印刷する機能である。例えば、複合機(B)からPC(A)に機器が接続された場合、つまり、複合機(B)に紐付く機器画像からPC(A)に紐付く機器画像へ機器画像が繋がれた場合、「スキャン転送機能」の優先順位が「1位」となり、「印刷機能」の優先順位は「2位」となる。この場合、「スキャン転送機能」に関する情報が「印刷機能」に関する情報よりも優先的に表示される。これとは逆に、PC(A)から複合機(B)に機器が接続された場合、つまり、PC(A)に紐付く機器画像から複合機(B)に紐付く機器画像へ画像が繋がれた場合、「印刷機能」の優先順位が「1位」となり、「スキャン転送機能」の優先順位が「2位」となる。この場合、「印刷機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に表示される。   FIG. 36 shows a cooperative function management table as another example of the cooperative function management information 34. In this linkage function management table, as an example, information indicating a combination of device IDs, information indicating a device name to be linked (for example, the type of each device), information indicating a linkage function (linkage function information), and connection Information indicating the order is associated with information indicating the priority order. The connection order corresponds to the order of connecting the device images associated with the devices. The priority order is a display priority order of information related to the linkage function. For example, a device with a device ID “A” is a PC (personal computer), and a device with a device ID “B” is a multifunction device. By linking the PC (A) and the multifunction peripheral (B), for example, a “scan transfer function” and a “print function” are realized as linked functions. The “scan transfer function” is a function for transferring image data generated by scanning by the multifunction peripheral (B) to the PC (A). The “print function” is a function for transmitting data (for example, image data and document data) stored in the PC (A) to the multifunction device (B) and printing the data on the multifunction device (B). For example, when a device is connected from the multifunction device (B) to the PC (A), that is, when a device image is connected from a device image associated with the multifunction device (B) to a device image associated with the PC (A). The priority of the “scan transfer function” is “1st”, and the priority of the “printing function” is “2nd”. In this case, information related to the “scan transfer function” is displayed with priority over information related to the “print function”. Conversely, when a device is connected from the PC (A) to the multifunction device (B), that is, an image is connected from the device image associated with the PC (A) to the device image associated with the multifunction device (B). In this case, the priority of the “print function” is “1st”, and the priority of the “scan transfer function” is “2nd”. In this case, information related to the “print function” is displayed with priority over information related to the “scan transfer function”.

図37及び図38には、端末装置16のUI部46に表示される画面の一例が示されている。例えば、複合機(B)とPC(A)が識別されているものとする。図37(a)に示すように、端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に、複合機(B)に紐付く機器画像70とPC(A)に紐付く機器画像88が表示されている。この状態で、ユーザは指示子(例えばユーザの指、ペン、スタイラス等)を用いて連携対象の機器を表わす機器画像同士を繋ぐ。端末装置16の制御部48は、機器表示画面68への指示子の接触を検知し、機器表示画面68上での指示子の移動を検知する。例えば、矢印130で示すように、ユーザが操作子を用いて機器表示画面68上で機器画像70をタッチして機器画像88まで操作する(例えば、機器表示画面68上で操作子をなぞる)ことにより、機器画像70と機器画像88を繋ぐ。これにより、機器画像70に紐付く複合機(B)と機器画像88に紐付くPC(A)が、連携対象の機器として指定されるとともに、接続の順番が指定される。機器画像を繋ぐ順番が接続の順番に相当する。なお、複合機(B)が第1機器に該当し、PC(A)が第2機器に該当する。図37(a)に示す例では、機器画像70から機器画像88へ画像を繋げているため、複合機(B)からPC(A)へ機器が接続されている。機器の接続順番を示す情報は、端末装置16からサーバ14に送信される。なお、端末装置16の制御部48は、ユーザがなぞった軌跡を表わす画像を機器表示画面68に表示させてもよいし、機器同士が接続された後は、その軌跡を予め設定された直線等に置き換えて機器表示画面68に表示させてもよい。   37 and 38 show an example of a screen displayed on the UI unit 46 of the terminal device 16. For example, it is assumed that the multifunction peripheral (B) and the PC (A) are identified. As shown in FIG. 37A, a device display screen 68 is displayed on the UI unit 46 of the terminal device 16, and the device image 70 and the PC (PC) associated with the multifunction device (B) are displayed on the device display screen 68. A device image 88 associated with A) is displayed. In this state, the user connects device images representing devices to be linked using an indicator (for example, a user's finger, pen, stylus, etc.). The control unit 48 of the terminal device 16 detects the contact of the indicator on the device display screen 68 and detects the movement of the indicator on the device display screen 68. For example, as indicated by an arrow 130, the user touches the device image 70 on the device display screen 68 and operates to the device image 88 using the operation device (for example, traces the operation device on the device display screen 68). Thus, the device image 70 and the device image 88 are connected. As a result, the MFP (B) associated with the device image 70 and the PC (A) associated with the device image 88 are designated as devices to be linked and the order of connection is designated. The order of connecting the device images corresponds to the order of connection. Note that the multifunction device (B) corresponds to the first device, and the PC (A) corresponds to the second device. In the example shown in FIG. 37A, since the image is connected from the device image 70 to the device image 88, the device is connected from the multifunction device (B) to the PC (A). Information indicating the connection order of devices is transmitted from the terminal device 16 to the server 14. Note that the control unit 48 of the terminal device 16 may display an image representing a locus traced by the user on the device display screen 68. After the devices are connected to each other, the locus is set in advance as a straight line or the like. May be displayed on the device display screen 68.

上記のように、連携対象の機器(例えば複合機(B)とPC(A))が指定されると、サーバ14の特定部38は、図36に示されている連携機能管理テーブルにおいて、PC(A)と複合機(B)の組み合わせに対応付けられている連携機能を特定する。これにより、PC(A)と複合機(B)を連携させることによって実行される連携機能が特定される。また、ユーザによって機器の接続順番が指定されると、特定部38は、連携機能管理テーブルにおいて、その接続順番に対応付けられている優先順位を特定する。図36を参照して具体例を挙げて説明すると、PC(A)と複合機(B)が連携対象の機器として指定されているため、それらによって実行される連携機能は「スキャン転送機能」と「印刷機能」である。また、複合機(B)からPC(A)へ機器が接続されているため(B→A)、「スキャン転送機能」の優先順位は「1位」であり、「印刷機能」の優先順位は「2位」である。   As described above, when the devices to be linked (for example, the multifunction device (B) and the PC (A)) are specified, the specifying unit 38 of the server 14 uses the PC in the linkage function management table shown in FIG. The cooperation function associated with the combination of (A) and the multifunction peripheral (B) is specified. Thereby, the cooperation function executed by linking the PC (A) and the multifunction peripheral (B) is specified. When the device connection order is specified by the user, the specifying unit 38 specifies the priority order associated with the connection order in the cooperation function management table. A specific example will be described with reference to FIG. 36. Since the PC (A) and the multifunction peripheral (B) are designated as devices to be linked, the linkage function executed by them is “scan transfer function”. “Print function”. In addition, since a device is connected from the MFP (B) to the PC (A) (B → A), the priority of the “scan transfer function” is “first”, and the priority of the “print function” is “2nd place”.

上記のようにして特定された連携機能に関する情報と優先順位を示す情報は、サーバ14から端末装置16に送信される。端末装置16の制御部48は、その優先順位に従って、連携機能に関する情報を連携機能候補に関する情報としてUI部46に表示させる。   Information relating to the cooperation function identified as described above and information indicating the priority order are transmitted from the server 14 to the terminal device 16. The control unit 48 of the terminal device 16 causes the UI unit 46 to display information related to the cooperative function as information related to the cooperative function candidate according to the priority order.

例えば図37(b)に示すように、端末装置16の制御部48は、UI部46に連携機能表示画面132を表示させ、その連携機能表示画面132に連携機能候補に関する情報を表示させる。「スキャン転送機能」の優先順位が「1位」であり、「印刷機能」の優先順位が「2位」であるため、「スキャン転送機能」に関する情報が「印刷機能」に関する情報よりも優先的に(例えば上位に)表示されている。例えば、「スキャン転送機能」に関する情報として、「複合機(B)でスキャンしたデータをPC(A)に転送する。」という「スキャン転送機能」の説明文が表示される。また、「印刷機能」に関する情報として、「PC(A)にあるデータを印刷する。」という「印刷機能」の説明文が表示される。   For example, as illustrated in FIG. 37B, the control unit 48 of the terminal device 16 displays the cooperation function display screen 132 on the UI unit 46 and displays information on the cooperation function candidate on the cooperation function display screen 132. Since the priority of the “scan transfer function” is “first” and the priority of the “print function” is “second”, the information related to the “scan transfer function” has priority over the information related to the “print function”. (For example, at the top). For example, as the information related to the “scan transfer function”, an explanatory text of “scan transfer function” “transfer data scanned by the MFP (B) to the PC (A)” is displayed. In addition, as the information related to the “print function”, an explanatory text of “print function” “print data in PC (A)” is displayed.

連携機能がユーザによって指定されて実行指示が与えられると、指定された連携機能が実行される。例えば、「YES」ボタンがユーザによって押されると、その「YES」ボタンに紐付く連携機能が実行される。また、連携機能表示画面132に「戻る」ボタンが表示されており、ユーザが「戻る」ボタンを押すことにより、機器の接続処理が中止される。   When the cooperation function is designated by the user and an execution instruction is given, the designated cooperation function is executed. For example, when a “YES” button is pressed by the user, a cooperation function associated with the “YES” button is executed. In addition, a “return” button is displayed on the cooperation function display screen 132, and when the user presses the “return” button, the device connection processing is stopped.

なお、連携機能の特定処理及び優先順位の特定処理は、端末装置16にて行われてもよい。   It should be noted that the specifying process of the cooperation function and the specifying process of the priority order may be performed by the terminal device 16.

機器画像の間を操作子でなぞる以外の操作として、丸印を付けるような描画操作によって連携対象の機器を指定するとともに、接続順番を指定してもよい。例えば、描画操作の順番が接続順番に相当する。別の例として、ユーザの音声指示に従って連携対象の機器や接続順番が指定されてもよい。   As an operation other than tracing between device images with an operator, a device to be linked may be specified by a drawing operation such as adding a circle, and a connection order may be specified. For example, the order of drawing operations corresponds to the connection order. As another example, a device to be linked and a connection order may be specified in accordance with a user's voice instruction.

図38には別の操作の例が示されている。例えば図38(a)に示すように、ユーザが操作子を用いて、機器表示画面68上で機器画像88をタッチし、矢印134で示す方向に機器画像70まで操作することにより、機器画像88と機器画像70を繋ぐ。これにより、機器画像88に紐付くPC(A)と機器画像70に紐付く複合機(B)が、連携対象の機器として指定されるとともに、接続の順番が指定される。この例では、機器画像88から機器画像70へ画像を繋げているため、PC(A)から複合機(B)へ機器が接続されている。図36に示されている連携機能管理テーブルを参照すると、「印刷機能」の優先順位が「1位」であり、「スキャン転送機能」の優先順位は「2位」である。この場合、図38(b)に示すように、連携機能表示画面136において、「印刷機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に(例えば上位に)表示される。   FIG. 38 shows another example of the operation. For example, as shown in FIG. 38A, the user touches the device image 88 on the device display screen 68 using the operator, and operates up to the device image 70 in the direction indicated by the arrow 134, thereby causing the device image 88. And the device image 70 are connected. As a result, the PC (A) associated with the device image 88 and the multifunction peripheral (B) associated with the device image 70 are designated as devices to be linked and the order of connection is designated. In this example, since the image is connected from the device image 88 to the device image 70, the device is connected from the PC (A) to the multifunction device (B). Referring to the cooperation function management table shown in FIG. 36, the priority of “print function” is “1st”, and the priority of “scan transfer function” is “2nd”. In this case, as shown in FIG. 38B, information related to the “printing function” is displayed on the cooperation function display screen 136 with priority (for example, higher) than information related to the “scan transfer function”.

以上のように、機器に紐付く機器画像同士を繋ぐことにより、機器が有する機能を利用する連携機能が特定される。また、画像を繋ぐ順番、つまり、機器を接続する順番に応じて、連携機能に関する情報の表示順位が変更される。機器の接続順番は、各機器で利用される機能の順番や、連携する機器間を移動するデータの移動順番を兼ねており、機器を接続する操作(つまり画像を繋ぐ操作)は、機能の順番やデータの移動順番を指定する操作を兼ねることになる。それ故、接続順番に応じて連携機能に関する情報の表示順位を変えることにより、ユーザが利用するであろうと予測される連携機能に関する情報が優先的に表示される。つまり、ユーザが利用する可能性の高い連携機能に関する情報が優先的に表示される。例えば、複合機(B)からPC(A)へ画像が繋がれた場合、「PC(A)よりも先に複合機(B)の機能を利用し、複合機(B)からPC(A)へデータを転送する」という連携機能がユーザによって利用されると予測される。また、PC(A)から複合機(B)へ画像が繋がれた場合、「複合機(B)よりも先にPC(A)の機能を利用し、PC(A)から複合機(B)へデータを転送する」という連携機能がユーザによって利用されると予測される。それ故、画像を繋ぐ順番に応じて連携機能に関する情報の表示順位を変えることにより、ユーザが利用する可能性の高い連携機能に関する情報が優先的に表示される。また、機器画像同士を繋ぐ操作以外の特別な操作を行わずに、利用する機能の順番やデータの移動順番が指定され、ユーザが利用するであろうと予測される連携機能に関する情報が表示される。   As described above, a linkage function that uses a function of a device is specified by connecting device images associated with the device. In addition, the display order of the information related to the cooperation function is changed according to the order of connecting the images, that is, the order of connecting the devices. The connection order of devices also serves as the order of functions used by each device and the movement order of data that moves between linked devices. The operation of connecting devices (that is, the operation of connecting images) is the order of functions. It also serves as an operation to specify the order of data movement. Therefore, by changing the display order of the information related to the cooperation function according to the connection order, the information related to the cooperation function predicted to be used by the user is preferentially displayed. That is, information related to a cooperative function that is highly likely to be used by the user is preferentially displayed. For example, when an image is connected from the multifunction device (B) to the PC (A), “the function of the multifunction device (B) is used before the PC (A), and the multifunction device (B) to the PC (A). It is anticipated that the user will use the link function "transfer data to". Further, when an image is connected from the PC (A) to the multifunction device (B), “the function of the PC (A) is used before the multifunction device (B), and the multifunction device (B) from the PC (A). It is anticipated that the user will use the link function "transfer data to". Therefore, by changing the display order of the information related to the cooperative function according to the order of connecting the images, information related to the cooperative function that is highly likely to be used by the user is preferentially displayed. In addition, the order of the functions to be used and the data movement order are specified without performing any special operation other than the operation for connecting the device images, and information on the cooperation function that the user is expected to use is displayed. .

上記の表示切替処理は、機能に紐付く機能画像が用いられる場合に適用されてもよい。例えば、第1機能に紐付く機器画像と第2機能に紐付く機器画像の指定の順番に応じて、連携機能に関する情報の表示が切り替えられる。   The display switching process described above may be applied when a function image associated with a function is used. For example, the display of information related to the cooperation function is switched according to the designation order of the device image associated with the first function and the device image associated with the second function.

また、上記の表示切替処理は、上記の実施例6等に係る候補リスト(例えば図26参照)に表示される連携機能に関する情報に適用されてもよい。つまり、複合機(B)が第1機器として指定された場合、第2機器の候補(連携先の候補)としてPC(A)が候補リストに含まれて表示され、PC(A)に紐付く連携機能に関する情報(複合機(B)とPC(A)とによって実行可能な連携機能に関する情報)として、例えば図37(b)に示されている順番で複数の連携機能に関する情報が表示される。一方、PC(A)が第1機器として指定された場合、第2機器の候補(連携先の候補)として複合機(B)が候補リストに含まれて表示され、複合機(B)に紐付く連携機能に関する情報として、例えば図38(b)に示されている順番で複数の連携機能に関する情報が表示される。   In addition, the display switching process described above may be applied to information related to the cooperation function displayed in the candidate list (see, for example, FIG. 26) according to the sixth embodiment. That is, when the multifunction device (B) is designated as the first device, the PC (A) is included in the candidate list and displayed as the second device candidate (cooperation destination candidate), and is associated with the PC (A). As information related to the cooperative function (information related to the cooperative function that can be executed by the MFP (B) and the PC (A)), for example, information related to a plurality of cooperative functions is displayed in the order shown in FIG. . On the other hand, when the PC (A) is designated as the first device, the multifunction device (B) is displayed as a candidate for the second device (cooperation destination candidate) included in the candidate list, and is linked to the multifunction device (B). For example, information regarding a plurality of cooperation functions is displayed in the order shown in FIG.

(部分画像を用いた連携処理)
機器に紐付く機器画像内の位置に応じて、連携機能に割り当てられる機器が有する機能が異なっていてもよい。機器画像内において特定の位置がユーザによって指定されると、その特定の位置に対応する機能を利用する連携機能に関する情報が優先的に表示される。以下、この処理について詳しく説明する。
(Cooperative processing using partial images)
Depending on the position in the device image associated with the device, the function assigned to the device assigned to the cooperation function may be different. When a specific position is designated by the user in the device image, information related to a cooperation function that uses a function corresponding to the specific position is preferentially displayed. Hereinafter, this process will be described in detail.

図39には、機器機能管理テーブルの一例が示されている。この機器機能管理テーブルのデータは、機器機能管理情報32としてサーバ14に記憶されている。この機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器画像内位置を示す情報と、その機器画像内位置に対応する機能を示す情報(機能情報)と、画像IDと、が対応付けられている。機器画像内位置は、機器に紐付く機器画像内の特定の位置(特定の部位)であり、例えば、機器を模式的に表す機器画像内の特定の位置や、カメラによって撮影された機器画像内の特定の位置である。機器画像内の特定の位置毎に、異なる機能が対応付けられている。   FIG. 39 shows an example of a device function management table. Data of the device function management table is stored in the server 14 as device function management information 32. In this device function management table, as an example, information indicating a device ID, a device name (for example, a device type), information indicating a position in a device image, and information indicating a function corresponding to the position in the device image ( Function information) and an image ID are associated with each other. The position in the device image is a specific position (specific part) in the device image associated with the device, for example, a specific position in the device image schematically representing the device, or in the device image captured by the camera Is a specific position. Different functions are associated with each specific position in the device image.

図40には、端末装置16のUI部46に表示される画面の一例が示されている。例えば、複合機(B)とPC(A)が識別されているものとする。図40(a)に示すように、端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に機器画像70,88が表示されている。例えば、機器画像70において複合機(B)の本体部分に対応する特定の位置(部分画像70a)には、「プリント機能」が割り当てられている。機器画像70において複合機(B)の原稿カバーや原稿ガラスや自動原稿給紙装置に対応する特定の位置(部分画像70b)には、「スキャン機能」が割り当てられている。機器画像70において後処理装置に対応する特定の位置(部分画像70c)には、「ステープラ止め機能」が割り当てられている。「ステープラ止め機能」は、出力された用紙をステープラによって止める機能である。また、機器画像88においてPC(A)の本体部分に対応する特定の位置(部分画像88a)には、「データ保存機能」が割り当てられている。機器画像88においてPC(A)の表示部に対応する特定の位置(部分画像88b)には、「画面表示機能」が割り当てられている。「データ保存機能」は、他の装置から送られてきたデータをPC(A)にて保存する機能である。「画面表示機能」は、他の装置から送られてきたデータをPC(A)にて表示する機能である。   FIG. 40 shows an example of a screen displayed on the UI unit 46 of the terminal device 16. For example, it is assumed that the multifunction peripheral (B) and the PC (A) are identified. As shown in FIG. 40A, a device display screen 68 is displayed on the UI unit 46 of the terminal device 16, and device images 70 and 88 are displayed on the device display screen 68. For example, a “print function” is assigned to a specific position (partial image 70 a) corresponding to the main body portion of the multifunction peripheral (B) in the device image 70. In the device image 70, a “scan function” is assigned to a specific position (partial image 70b) corresponding to the document cover, document glass, or automatic document feeder of the multifunction machine (B). A “stapler stop function” is assigned to a specific position (partial image 70 c) corresponding to the post-processing device in the device image 70. The “stapler stopping function” is a function for stopping the output paper with the stapler. In addition, a “data storage function” is assigned to a specific position (partial image 88 a) corresponding to the main part of the PC (A) in the device image 88. A “screen display function” is assigned to a specific position (partial image 88 b) corresponding to the display unit of PC (A) in the device image 88. The “data storage function” is a function for storing data sent from another device on the PC (A). The “screen display function” is a function for displaying data sent from another device on the PC (A).

なお、端末装置16の制御部48は、機器画像内の特定の位置に割り当てられている機能の名称(例えば印刷やスキャン等)を機器表示画面68に表示させてもよい。これにより、特定の位置にどのような機能が対応しているのかが分かり易い情報がユーザに提供される。もちろん、機能の名称は表示されなくてもよい。   Note that the control unit 48 of the terminal device 16 may cause the device display screen 68 to display the name of a function (for example, printing or scanning) assigned to a specific position in the device image. As a result, the user is provided with easy-to-understand information about what function corresponds to a specific position. Of course, the name of the function may not be displayed.

機器画像において機能が割り当てられている位置がユーザによって指定されると、その指定された位置に割り当てられている機能が連携対象の機能として指定される。ユーザは指示子を用いて、連携対象の機器を表わす機器画像において機能が割り当てられている特定の位置(部分画像)を繋ぐ。例えば、矢印138で示すように、ユーザが操作子を用いて、機器表示画面68上で部分画像70bをタッチして部分画像88bまで操作することにより、部分画像70bと部分画像88bを繋ぐ。これにより、部分画像70bを含む機器画像70に紐付く複合機(B)と部分画像88bを含む機器画像88に紐付くPC(A)が、連携対象の機器として指定されるとともに、部分画像70bに割り当てられている「スキャン機能」と部分画像88bに割り当てられている「画面表示機能」が指定される。また、この繋ぐ操作によって、接続の順番が指定されてもよい。この場合、部分画像を繋ぐ順番が接続の順番に相当する。図40(a)に示す例では、部分画像70bから部分画像88bへ画像を繋げているため、複合機(B)からPC(A)へ機器が接続されている。また、連携機能に利用する機能として「スキャン機能」と「画面表示機能」が指定されている。機器の接続順番を示す情報と、機器画像内においてユーザによって指定された特定の位置を示す情報が、端末装置16からサーバ14に送信される。   When the position to which the function is assigned in the device image is designated by the user, the function assigned to the designated position is designated as a function to be linked. The user uses an indicator to connect a specific position (partial image) to which a function is assigned in the device image representing the device to be linked. For example, as indicated by an arrow 138, the user touches the partial image 70b on the device display screen 68 and operates to the partial image 88b using the operator, thereby connecting the partial image 70b and the partial image 88b. As a result, the MFP (B) associated with the device image 70 including the partial image 70b and the PC (A) associated with the device image 88 including the partial image 88b are designated as cooperation target devices, and the partial image 70b. The “scan function” assigned to ”and the“ screen display function ”assigned to the partial image 88b are designated. Moreover, the order of connection may be designated by this connection operation. In this case, the order of connecting the partial images corresponds to the order of connection. In the example shown in FIG. 40A, since the images are connected from the partial image 70b to the partial image 88b, a device is connected from the multifunction peripheral (B) to the PC (A). In addition, “scan function” and “screen display function” are designated as functions used for the linkage function. Information indicating the connection order of the devices and information indicating a specific position designated by the user in the device image are transmitted from the terminal device 16 to the server 14.

連携対象の機器(例えばPC(A)と複合機(B))が識別されると、サーバ14の特定部38は、例えば図7に示されている連携機能管理テーブルにおいて、PC(A)と複合機(B)を連携させることによって実現される連携機能を特定する。また、特定部38は、図39に示されている機器機能管理テーブルを参照することにより、機器画像内においてユーザによって指定された特定に位置に割り当てられている機能を特定する。そして、特定部38は、PC(A)と複合機(B)とを連携させることによって実現される連携機能群の中で、ユーザによって指定された位置に割り当てられている機能を利用する連携機能の優先順位を上げて、その機能を利用しない連携機能の優先順位を下げる。   When the devices to be linked (for example, the PC (A) and the multifunction device (B)) are identified, the specifying unit 38 of the server 14 is connected to the PC (A) in the linked function management table shown in FIG. A linkage function realized by linking the multifunction peripheral (B) is specified. Further, the specifying unit 38 specifies the function assigned to the position specified by the user in the device image by referring to the device function management table shown in FIG. And the specific | specification part 38 uses the function allocated to the position designated by the user in the cooperation function group implement | achieved by cooperating PC (A) and a multifunctional machine (B). The priority of the cooperative function that does not use the function is lowered.

上記のようにして特定された連携機能に関する情報と優先順位を示す情報は、サーバ14から端末装置16に送信される。端末装置16の制御部48は、その優先順位に従って、連携機能に関する情報を連携機能候補に関する情報としてUI部46に表示させる。   Information relating to the cooperation function identified as described above and information indicating the priority order are transmitted from the server 14 to the terminal device 16. The control unit 48 of the terminal device 16 causes the UI unit 46 to display information related to the cooperative function as information related to the cooperative function candidate according to the priority order.

例えば図40(b)に示すように、端末装置16の制御部48は、UI部46の表示部に連携機能表示画面140を表示させ、その連携機能表示画面140に連携機能候補に関する情報を表示させる。「スキャン機能」と「画面表示機能」がその順番でユーザによって指定されているため、「スキャン機能」と「画像表示機能」を連携させることによって実行される連携機能「スキャン転送表示機能」に関する情報が、他の連携機能に関する情報よりも優先的に(例えば上位に)表示される。例えば、「スキャン機能」と「データ保存機能」を連携させることによって実行される連携機能「スキャン転送保存機能」に関する情報よりも、「スキャン転送表示機能」に関する情報が優先的に表示される。なお、スキャン転送表示機能は、複合機(B)によるスキャンによって生成されたデータをPC(A)に転送してPC(A)の画面に表示する機能である。スキャン転送保存機能は、複合機(B)によるスキャンによって生成されたデータをPC(A)に転送してPC(A)に保存する機能である。図40(b)に示す例では、各連携機能に関する情報として、各連携機能の説明文が表示されている。   For example, as illustrated in FIG. 40B, the control unit 48 of the terminal device 16 displays the cooperation function display screen 140 on the display unit of the UI unit 46, and displays information related to the cooperation function candidates on the cooperation function display screen 140. Let Since the “scan function” and “screen display function” are specified by the user in that order, information on the link function “scan transfer display function” that is executed by linking the “scan function” and the “image display function” However, it is displayed preferentially (for example, at a higher rank) than information related to other linkage functions. For example, information related to the “scan transfer display function” is preferentially displayed over information related to the link function “scan transfer storage function” executed by linking the “scan function” and the “data storage function”. The scan transfer display function is a function for transferring data generated by scanning by the multifunction peripheral (B) to the PC (A) and displaying it on the screen of the PC (A). The scan transfer storage function is a function for transferring data generated by scanning by the multifunction peripheral (B) to the PC (A) and storing it in the PC (A). In the example shown in FIG. 40 (b), explanatory text of each cooperative function is displayed as information relating to each cooperative function.

部分画像を用いた連携処理によると、連携対象の機器が複数の機能を有している場合に、機能が個別的に指定され、その指定された機能を利用する連携機能に関する情報が優先的に表示される。これにより、ユーザが利用するであろうと予測される連携機能が優先的に表示される。   According to the collaboration process using partial images, when a device to be linked has multiple functions, the functions are individually specified, and information on the linkage function that uses the specified function is given priority. Is displayed. Thereby, the cooperation function predicted to be used by the user is preferentially displayed.

なお、連携機能は、機器の部分同士の組み合わせを利用する機能であってもよいし、機器の全体と機器の部分との組み合わせを利用する機能であってもよいし、機器の全体同士の組み合わせを利用する機能であってもよい。   Note that the linkage function may be a function that uses a combination of device parts, a function that uses a combination of the entire device and the device part, or a combination of the entire device. It may be a function that uses.

部分画像を用いた連携処理は、機能に紐付く機能画像が用いられる場合に適用されてもよい。例えば、機能画像内の位置に応じて異なる機能が割り当てられており、ユーザによって指定された位置に割り当てられている機能を利用する連携機能が特定される。   The cooperation process using the partial image may be applied when a function image associated with the function is used. For example, different functions are assigned depending on the position in the function image, and the cooperation function that uses the function assigned to the position specified by the user is specified.

部分画像を用いた連携処理においても、上記の実施例1から実施例8が適用されてもよい。例えば、第1機器に紐付く第1画像内の部分画像がユーザによって指定された場合、その部分画像に紐付く部分に割り当てられている機能と共に連携機能を実行することが可能な第2機器の全体又は部分の案内の通知が制御されてもよい。別の例として、第1機器に紐付く第1画像の全体がユーザによって指定された場合、第1機器と共に連携機能を実行することが可能な第2機器の部分の案内の通知が制御されてもよい。その案内の通知として、上記の実施例6で説明した候補リストに、第2機器の全体又は部分が含まれて表示されてもよい。第1機器の全体又は部分がユーザによって指定された場合に、第1機器の全体又は部分と共に連携機能を実行することができる第2機器の全体又は部分の案内の通知がなされてもよいし、ユーザによって指定された第1機器の全体又は部分と共に連携機能を実行することができない第2機器の全体又は部分が指定された場合に、第1機器の全体又は部分と共に連携機能を実行することができる第2機器の全体又は部分の案内の通知がなされてもよい。以下、これらの処理について詳しく説明する。   The above-described first to eighth embodiments may also be applied to the cooperative processing using partial images. For example, when the partial image in the first image associated with the first device is designated by the user, the second device capable of executing the linkage function together with the function assigned to the portion associated with the partial image. Notification of guidance in whole or in part may be controlled. As another example, when the entire first image associated with the first device is designated by the user, the notification of the guidance of the part of the second device that can execute the cooperation function together with the first device is controlled. Also good. As the notification of the guidance, the whole or part of the second device may be displayed in the candidate list described in the sixth embodiment. When the whole or part of the first device is designated by the user, notification of the guidance of the whole or part of the second device that can execute the linkage function together with the whole or part of the first device may be made, When the whole or part of the second device that cannot be executed with the whole or part of the first device designated by the user is designated, the linkage function may be executed with the whole or part of the first device. Notification of guidance of the whole or part of the second device that can be made may be made. Hereinafter, these processes will be described in detail.

例えば、第1機器に紐付く第1画像(全体画像)が指定された場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、その第1機器と共に連携機能を実行することが可能な機能であって、第2機器が有する1又は複数の機能への案内を通知する。より詳しく説明すると、端末装置16の制御部48は、第2機器に含まれる1又は複数の部分に紐付く1又は複数の部分画像(第2機器に紐付く第2画像内の1又は複数の部分画像)であって、第1機器と共に連携機能を実行することが可能な機能が割り当てられている1又は複数の部分に紐付く1又は複数の部分画像への案内を通知する。例えば、端末装置16の制御部48は、実施例1から実施例8と同様に、案内を通知するための矢印を表わす画像を端末装置16のUI部46に表示させたり、その案内を音声によって行ったり、その案内を示す文字列をUI部46に表示させたりする。図40(a)を参照して説明すると、複合機(B)に紐付く機器画像70が第1画像としてユーザによって指定された場合、複合機(B)と共に連携機能を実行することが可能なPC(A)の機能が割り当てられた部分に紐付く部分画像への案内が通知される。例えば、PC(A)の「画面表示機能」が、複合機(B)と共に連携機能を実行することが可能な機能に該当する場合、「画面表示機能」に紐付く部分画像88bへの案内の通知がなされる。例えば、複合機(B)に紐付く機器画像70と部分画像88bとを結ぶ矢印が表示されたり、「画面表示機能」が音声によって案内されたり、「画面表示機能」を示す文字列が表示されたり、部分画像88bが、他の部分画像と識別可能な状態で表示されたりする。なお、第1画像としての機器画像70がユーザによって指定された場合に、案内が通知されてもよいし、PC(A)内の部分であって、複合機(B)と共に連携機能を実行することができない機能が割り当てられている部分がユーザによって指定された場合に、案内が通知されてもよい。   For example, when the first image (overall image) associated with the first device is designated, the control unit 48 of the terminal device 16 executes the cooperation function together with the first device under the control of the control unit 36 of the server 14. This is a function that can be performed and notifies the guide to one or more functions of the second device. More specifically, the control unit 48 of the terminal device 16 includes one or a plurality of partial images associated with one or a plurality of portions included in the second device (one or a plurality of partial images in the second image associated with the second device). Notification of one or a plurality of partial images associated with one or a plurality of portions to which a function capable of executing the cooperation function with the first device is assigned. For example, as in the first to eighth embodiments, the control unit 48 of the terminal device 16 displays an image representing an arrow for notifying the guidance on the UI unit 46 of the terminal device 16, or the guidance by voice. Or a character string indicating the guidance is displayed on the UI unit 46. Referring to FIG. 40A, when the device image 70 associated with the multifunction device (B) is designated as the first image by the user, the cooperation function can be executed together with the multifunction device (B). The guidance to the partial image associated with the portion to which the function of PC (A) is assigned is notified. For example, when the “screen display function” of the PC (A) corresponds to a function capable of executing the cooperation function together with the multifunction peripheral (B), guidance to the partial image 88b associated with the “screen display function” is provided. Notification is made. For example, an arrow connecting the device image 70 and the partial image 88b associated with the multifunction peripheral (B) is displayed, the “screen display function” is guided by voice, or a character string indicating the “screen display function” is displayed. Or the partial image 88b is displayed in a state where it can be distinguished from other partial images. In addition, when the device image 70 as the first image is designated by the user, the guidance may be notified, or it is a part in the PC (A) and executes the cooperation function together with the multifunction peripheral (B). The guidance may be notified when a part to which a function that cannot be performed is assigned is designated by the user.

別の例として、第1機器に紐付く第1画像内の部分画像が指定された場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、その部分画像に紐付く部分に割り当てられた機能(第1機器が有する機能)と共に連携機能を実行することが可能な第2機器(機器全体)への案内を通知してもよい。図40(a)を参照して説明すると、例えば、複合機(B)に紐付く部分画像70aがユーザによって指定された場合、部分画像70aに紐付く部分に割り当てられた「プリント機能」と共に連携機能を実行することが可能な第2機器に紐付く第2画像への案内が通知される。例えば、PC(A)が、複合機(B)と共に連携機能を実行することが可能な機器に該当する場合、PC(A)に紐付く機器画像88への案内が通知される。例えば、部分画像70aと機器画像88とを結ぶ矢印が表示されたり、PC(A)が音声によって案内されたり、PC(A)を示す文字列が表示されたり、機器画像88が他の機器画像と識別可能な状態で表示されたりする。なお、機器画像70内の部分画像がユーザによって指定された場合に、案内が通知されてもよいし、その部分画像に紐付く機能と共に連携機能を実行することができない機器に紐付く機器画像がユーザによって指定された場合に、案内が通知されてもよい。   As another example, when a partial image in the first image associated with the first device is designated, the control unit 48 of the terminal device 16 associates with the partial image under the control of the control unit 36 of the server 14. You may notify the guidance to the 2nd apparatus (whole apparatus) which can perform a cooperation function with the function (function which 1st apparatus has) allocated to the part. Referring to FIG. 40A, for example, when the partial image 70a associated with the multifunction peripheral (B) is designated by the user, it is linked with the “print function” assigned to the portion associated with the partial image 70a. The guidance to the second image associated with the second device capable of executing the function is notified. For example, when the PC (A) corresponds to a device that can execute the cooperation function together with the multifunction peripheral (B), guidance to the device image 88 associated with the PC (A) is notified. For example, an arrow connecting the partial image 70a and the device image 88 is displayed, the PC (A) is guided by voice, a character string indicating the PC (A) is displayed, or the device image 88 is another device image. May be displayed in an identifiable state. In addition, when a partial image in the device image 70 is designated by the user, guidance may be notified, or a device image associated with a device that cannot execute the cooperation function together with a function associated with the partial image. When specified by the user, guidance may be notified.

別の例として、第1機器に紐付く第1画像内の部分画像(「第1部分画像」と称する)が指定された場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、第1部分画像に紐付く部分に割り当てられた機能(第1機器が有する機能)と共に連携機能を実行することが可能な機能であって、第2機器が有する1又は複数の機能への案内を通知する。より詳しく説明すると、端末装置16の制御部48は、第2機器に含まれる1又は複数の部分に紐付く1又は複数の部分画像(第2機器に紐付く第2画像内の1又は複数の部分画像)(「第2部分画像」と称する)であって、第1部分画像に紐付く部分に割り当てられた機能と共に連携機能を実行することが可能な機能が割り当てられている1又は複数の部分に紐付く1又は複数の第2部分画像への案内を通知する。図40(a)を参照して説明すると、例えば、複合機(B)に紐付く部分画像70aがユーザによって指定された場合、部分画像70aに紐付く部分に割り当てられた「プリント機能」と共に連携機能を実行することが可能なPC(A)の機能が割り当てられている部分に紐付く第2部分画像への案内が通知される。例えば、PC(A)の「画面表示機能」が、「プリント機能」と共に連携機能を実行することが可能な機能に該当する場合、「画面表示機能」に紐付く部分画像88bへの案内の通知がなされる。例えば、部分画像70bと部分画像88bとを結ぶ矢印が表示されたり、「画面表示機能」が音声によって案内されたり、「画面表示機能」を示す文字列が表示されたり、部分画像88bが、他の部分画像と識別可能な状態で表示されたりする。なお、機器画像70内の部分画像がユーザによって指定された場合に、案内が通知されてもよいし、その部分画像に紐付く機能と共に連携機能を実行することができない機能に紐付く部分画像がユーザによって指定された場合に、案内が通知されてもよい。   As another example, when a partial image (referred to as “first partial image”) in the first image associated with the first device is designated, the control unit 48 of the terminal device 16 causes the control unit 36 of the server 14 to A function capable of executing a linkage function together with a function (a function possessed by the first device) assigned to a portion associated with the first partial image under control, and one or a plurality of functions possessed by the second device Notify the guide to. More specifically, the control unit 48 of the terminal device 16 includes one or a plurality of partial images associated with one or a plurality of portions included in the second device (one or a plurality of partial images in the second image associated with the second device). A partial image) (referred to as a “second partial image”), and one or a plurality of functions assigned to a function associated with the function associated with the portion associated with the first partial image. A guide to one or a plurality of second partial images associated with the part is notified. Referring to FIG. 40A, for example, when the partial image 70a associated with the multifunction peripheral (B) is designated by the user, it is linked with the “print function” assigned to the portion associated with the partial image 70a. The guidance to the second partial image associated with the part to which the function of the PC (A) capable of executing the function is assigned is notified. For example, when the “screen display function” of the PC (A) corresponds to a function capable of executing the linkage function together with the “print function”, notification of guidance to the partial image 88b associated with the “screen display function” Is made. For example, an arrow connecting the partial image 70b and the partial image 88b is displayed, the “screen display function” is guided by voice, a character string indicating the “screen display function” is displayed, and the partial image 88b Displayed in a state that can be distinguished from the partial image. In addition, when a partial image in the device image 70 is designated by the user, guidance may be notified, or a partial image associated with a function that cannot execute the cooperation function together with a function associated with the partial image. When specified by the user, guidance may be notified.

3つ以上の部分画像が指定されることで3つ以上の機能がユーザによって指定されてもよい。例えば、2つの部分画像(つまり、2つの機能(第1機能と第2機能))がユーザによって指定された場合、その2つの機能と共に連携機能を実行することが可能な機能(第3機能)が割り当てられている部分への案内が通知されてもよい。この場合、サーバ14の特定部38は、第1機能に紐付く部分画像と第2機能に紐付く部分画像の指定の順番に応じて、案内される第3機能を変更してもよい。   Three or more functions may be designated by the user by designating three or more partial images. For example, when two partial images (that is, two functions (first function and second function)) are designated by the user, a function (third function) capable of executing the linkage function together with the two functions. Guidance to the part to which is assigned may be notified. In this case, the specifying unit 38 of the server 14 may change the guided third function in accordance with the designation order of the partial image associated with the first function and the partial image associated with the second function.

同一の機器が有する複数の機能が連携対象の機能として指定されてもよい。例えば、PC(A)の「画面表示機能」と「データ保存機能」が連携対象の機能としてユーザによって指定されてもよいし、複合機(B)の「スキャン機能」、PC(A)の「画面表示機能」及び「データ保存機能」が連携対象の機能としてユーザによって指定されてもよい。この場合においても、先に指定された機能(例えば第1機能)と共に連携機能を実行することが可能な機能(例えば第2機能)が割り当てられている部分への案内が通知される。また、サーバ14の特定部38は、その指定の順番に従って各機能を利用する連携機能が特定し、その連携機能の優先順位を上げてもよい。   A plurality of functions that the same device has may be designated as functions to be linked. For example, the “screen display function” and the “data storage function” of the PC (A) may be designated by the user as functions to be linked, the “scan function” of the multifunction machine (B), the “scan function” of the PC (A), The “screen display function” and the “data storage function” may be designated by the user as functions to be linked. Even in this case, the guidance to the part to which the function (for example, the second function) capable of executing the linkage function is assigned together with the previously specified function (for example, the first function) is notified. In addition, the specifying unit 38 of the server 14 may specify a cooperation function that uses each function according to the specified order, and increase the priority of the cooperation function.

(部分画像を用いた連携処理の別の例)
以下、図41及び図42を参照して、部分画像を用いた連携処理の別の例について説明する。
(Another example of cooperative processing using partial images)
Hereinafter, another example of the cooperation process using the partial images will be described with reference to FIGS. 41 and 42.

図41には、機器機能管理テーブルの一例が示されている。この機器機能管理テーブルのデータは、機器機能管理情報32としてサーバ14に記憶されている。機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器の部分の名称(例えば部分の種類)を示す情報と、その部分を識別するための部分識別情報としての部分IDと、その部分に割り当てられている機能(その部分が有する機能)を示す情報と、その部分に紐付く部分画像を識別するための部分画像IDと、が互いに対応付けられている。部分画像は、カメラによる撮影によって得られた機器の部分の外観を表わす画像である。もちろん、機器の部分を模式的に表す部分画像が、当該部分に対応付けられていてもよい。例えば、機器の部分毎に異なる機能が割り当てられている。   FIG. 41 shows an example of the device function management table. Data of the device function management table is stored in the server 14 as device function management information 32. In the device function management table, as an example, the device ID, information indicating a device name (for example, the type of device), information indicating the name of the device portion (for example, the type of portion), and the part are identified. A part ID as part identification information, information indicating a function assigned to the part (function possessed by the part), and a part image ID for identifying a part image associated with the part are associated with each other. It has been. The partial image is an image representing the appearance of the part of the device obtained by photographing with the camera. Of course, a partial image that schematically represents the part of the device may be associated with the part. For example, a different function is assigned to each part of the device.

具体例を挙げて説明すると、PC(A)の表示部には画面表示機能が割り当てられており、その表示部に紐付く部分画像の部分画像IDには、画面表示機能を示す情報が対応付けられている。画面表示機能は、情報をPC(A)にて表示する機能である。PC(A)の本体部にはデータ保存機能が割り当てられており、その本体部に紐付く部分画像の部分画像IDには、データ保存機能を示す情報が対応付けられている。データ保存機能は、データをPC(A)に保存する機能である。   A specific example will be described. A screen display function is assigned to the display unit of PC (A), and information indicating the screen display function is associated with the partial image ID of the partial image associated with the display unit. It has been. The screen display function is a function for displaying information on the PC (A). A data storage function is assigned to the main body of the PC (A), and information indicating the data storage function is associated with the partial image ID of the partial image associated with the main body. The data storage function is a function for storing data in the PC (A).

また、複合機(B)の本体部にはプリント機能が割り当てられており、その本体部に紐付く部分画像の部分画像IDには、プリント機能を示す情報が対応付けられている。複合機(B)の読取部(例えば、複合機(B)の原稿カバーや原稿ガラスや自動原稿給紙装置に対応する部分)にはスキャン機能が割り当てられており、その読取部に紐付く部分画像の部分画像IDには、スキャン機能を示す情報が対応付けられている。複合機(B)の後処理装置にはステープル止め機能が割り当てられており、その後処理装置に紐付く部分画像の部分画像IDには、ステープル止め機能を示す情報が対応付けられている。ステープル止め機能は、出力された用紙をステープルによって綴じる機能である。   Also, a print function is assigned to the main body of the multifunction peripheral (B), and information indicating the print function is associated with the partial image ID of the partial image associated with the main body. A scanning function is assigned to the reading unit of the multifunction device (B) (for example, a portion corresponding to the document cover, document glass, or automatic document feeder of the multifunction device (B)), and a portion associated with the reading unit Information indicating the scan function is associated with the partial image ID of the image. The stapling function is assigned to the post-processing apparatus of the multifunction peripheral (B), and information indicating the stapling function is associated with the partial image ID of the partial image associated with the processing apparatus thereafter. The stapling function is a function of binding the output paper by stapling.

機器の部分に割り当てられている機能は、例えば、マーカレス型AR技術を用いることによって特定(識別)される。例えば、機器の部分がカメラ(例えば端末装置16のカメラ42)によって撮影された場合、その部分を表わす外観画像データが端末装置16からサーバ14に送信される。サーバ14の特定部38は、機器機能管理テーブルにおいて、その外観画像データに対応付けられている機能を特定(識別)する。これにより、撮影された部分に割り当てられている機能が特定(識別)される。例えば、複合機(B)の本体部がカメラ42によって撮影された場合、複合機(B)の本体部を表わす外観画像データが端末装置16からサーバ14に送信される。サーバ14の特定部38は、機器機能管理テーブルにおいて、その外観画像データに対応付けられているプリント機能を特定する。これにより、複合機(B)の本体部に割り当てられている機能がプリント機能であることが特定される。   The function assigned to the device part is specified (identified) by using, for example, a markerless AR technology. For example, when a device portion is photographed by a camera (for example, the camera 42 of the terminal device 16), appearance image data representing the portion is transmitted from the terminal device 16 to the server 14. The specifying unit 38 of the server 14 specifies (identifies) a function associated with the appearance image data in the device function management table. Thereby, the function assigned to the photographed part is specified (identified). For example, when the main body of the multifunction peripheral (B) is photographed by the camera 42, appearance image data representing the main body of the multifunction peripheral (B) is transmitted from the terminal device 16 to the server 14. The specifying unit 38 of the server 14 specifies the print function associated with the appearance image data in the device function management table. Thereby, it is specified that the function assigned to the main body of the multifunction peripheral (B) is the print function.

もちろん、機器の部分に割り当てられている機能は、マーカ型AR技術を用いることによって特定(識別)されてもよい。例えば、機器の各部分に、部分を識別するための部分識別情報(例えば部分ID)がコード化された2次元バーコード等のマーカが設けられている。部分に設けられているマーカがカメラによって撮影されてマーカ型AR技術が適用されると、その部分の部分識別情報(例えば部分ID)が取得される。マーカ型AR技術の適用は、端末装置16で行われてもよいし、サーバ14で行われてもよい。このように部分識別情報が取得されると、サーバ14の特定部38は、機器機能管理テーブルにおいて、その部分識別情報(例えば部分ID)に対応付けられている機能を特定(識別)する。   Of course, the function assigned to the part of the device may be specified (identified) by using the marker type AR technology. For example, each part of the device is provided with a marker such as a two-dimensional barcode in which part identification information (for example, part ID) for identifying the part is encoded. When a marker provided in a part is photographed by a camera and the marker type AR technology is applied, partial identification information (for example, a partial ID) of the part is acquired. The application of the marker type AR technology may be performed by the terminal device 16 or the server 14. When the partial identification information is acquired in this way, the specifying unit 38 of the server 14 specifies (identifies) the function associated with the partial identification information (for example, the partial ID) in the device function management table.

図42には、連携機能管理テーブルの一例が示されている。この連携機能管理テーブルのデータは、連携機能管理情報34としてサーバ14に記憶されている。この連携機能管理テーブルは、複数の部分が有する機能を利用する連携機能を示す情報であり、その連携機能管理テーブルにおいては、一例として、機器の部分の組み合わせを示す情報と、部分IDの組み合わせを示す情報と、その組み合わせに含まれる複数の部分が有する機能を利用する連携機能を示す情報と、が互いに対応付けられている。もちろん、連携機能管理テーブルにおいては、機器の部分と機器の全体との組み合わせを示す情報と、その機器の部分が有する機能と機器の全体が有する機能とを利用する連携機能を示す情報と、が対応付けられていてもよい。   FIG. 42 shows an example of the cooperation function management table. The data of this linkage function management table is stored in the server 14 as linkage function management information 34. This cooperation function management table is information indicating a cooperation function that uses the functions of a plurality of parts. In the cooperation function management table, for example, information indicating a combination of device parts and a combination of part IDs are included. The information indicating and the information indicating the cooperation function that uses the functions of a plurality of parts included in the combination are associated with each other. Of course, in the linkage function management table, information indicating the combination of the device portion and the entire device, and information indicating the linkage function using the function of the device portion and the function of the entire device are: It may be associated.

具体例を挙げて説明すると、PC(A)の表示部と複合機(B)の本体部との組み合わせには、連携機能としてのプリント機能が割り当てられており、PC(A)の表示部の部分IDと複合機(B)の本体部の部分IDとの組み合わせを示す情報には、連携機能としてのプリント機能を示す情報が対応付けられている。連携機能としてのプリント機能は、例えば、PC(A)に保存されているデータを複合機(B)に送信して、そのデータを複合機(B)によって印刷する機能である。   A specific example will be described. A print function as a cooperation function is assigned to the combination of the display unit of the PC (A) and the main unit of the multifunction peripheral (B). Information indicating the combination of the partial ID and the partial ID of the main body of the multifunction peripheral (B) is associated with information indicating a print function as a cooperation function. The print function as the linkage function is a function that, for example, transmits data stored in the PC (A) to the multifunction device (B) and prints the data by the multifunction device (B).

また、複合機(B)の本体部とプロジェクタ(C)の本体部との組み合わせには、連携機能としてのプリント機能が割り当てられており、複合機(B)の本体部の部分IDとプロジェクタ(C)の本体部の部分IDとの組み合わせを示す情報には、連携機能としてのプリント機能を示す情報が対応付けられている。連携機能としてのプリント機能は、例えば、プロジェクタ(C)によって投影されているデータを複合機(B)に送信して、そのデータを複合機(B)によって印刷する機能である。   A print function as a cooperation function is assigned to the combination of the main body of the multifunction peripheral (B) and the main body of the projector (C). The information indicating the print function as the cooperation function is associated with the information indicating the combination with the partial ID of the main body portion of C). The print function as the cooperation function is, for example, a function of transmitting data projected by the projector (C) to the multifunction device (B) and printing the data by the multifunction device (B).

また、複合機(B)の読取部とプロジェクタ(C)の本体部との組み合わせには、連携機能としてのスキャン投影機能が割り当てられており、複合機(B)の読取部の部分IDとプロジェクタ(C)の本体部の部分IDとの組み合わせを示す情報には、連携機能としてのスキャン投影機能を示す情報が対応付けられている。連携機能としてのスキャン投影機能は、例えば、複合機(B)によるスキャンによって生成されたデータをプロジェクタ(C)に送信して、そのデータをプロジェクタ(C)によって投影する機能である。   Further, a scan projection function as a cooperation function is assigned to the combination of the reading unit of the multifunction device (B) and the main body of the projector (C), and the partial ID of the reading unit of the multifunction device (B) and the projector The information indicating the combination with the partial ID of the main body part in (C) is associated with information indicating the scan projection function as the cooperation function. The scan projection function as the cooperation function is a function of, for example, transmitting data generated by scanning by the multifunction peripheral (B) to the projector (C) and projecting the data by the projector (C).

なお、連携機能は、同一の機器に含まれる複数の部分が有する機能を利用する機能であってもよいし、互いに異なる複数の機器の部分が有する機能を利用する機能であってもよい。また、連携機能は、3つ以上の部分が有する機能を利用する機能であってもよい。   Note that the linkage function may be a function that uses a function of a plurality of parts included in the same device, or a function that uses a function of a part of a plurality of different devices. In addition, the cooperation function may be a function that uses functions of three or more parts.

例えば、マーカ型AR技術又はマーカレス型AR技術を利用して、機器の複数の部分(例えば、互いに異なる複数の機器の複数の部分や、同一機器の複数の部分)が特定(識別)されると、サーバ14の特定部38は、連携機能管理テーブルにおいて、識別された複数の部分の組み合わせに対応付けられている連携機能を特定(識別)する。これにより、識別(例えば撮影)された複数の部分が有する機能を利用する連携機能が特定(識別)される。例えば、複合機(B)の本体部とプロジェクタ(C)の本体部が、端末装置16のカメラ42によって撮影されて、複合機(B)の本体部とプロジェクタ(C)の本体部が識別された場合、サーバ14の特定部38は、連携機能管理テーブルにおいて、複合機(B)の本体部とプロジェクタ(C)の本体部の組み合わせに対応付けられている連携機能としてのプリント機能等を特定する。   For example, when a plurality of parts of a device (for example, a plurality of parts of a plurality of different devices or a plurality of parts of the same device) are specified (identified) using the marker type AR technology or the markerless type AR technology. The specifying unit 38 of the server 14 specifies (identifies) a cooperative function associated with a combination of a plurality of identified parts in the cooperative function management table. Thereby, the cooperation function using the function which the some part identified (for example, imaging | photography) has is pinpointed (identification). For example, the main body of the multifunction peripheral (B) and the main body of the projector (C) are photographed by the camera 42 of the terminal device 16, and the main body of the multifunction peripheral (B) and the main body of the projector (C) are identified. In this case, the specifying unit 38 of the server 14 specifies a print function or the like as a link function associated with a combination of the main body unit of the multifunction peripheral (B) and the main body unit of the projector (C) in the link function management table. To do.

このような連携処理においても、上記の実施例1から実施例8が適用されてもよい。例えば、機器の第1部分が特定(識別)された場合、端末装置16の制御部48は、サーバ14の制御部36の制御の下、その第1部分に割り当てられている機能と共に連携機能を実行することが可能な機器の第2部分を案内する。   In such a cooperative process, the first to eighth embodiments may be applied. For example, when the first part of the device is specified (identified), the control unit 48 of the terminal device 16 performs the cooperation function together with the function assigned to the first part under the control of the control unit 36 of the server 14. Guide the second part of the instrument that can be performed.

(機器画像の重ね合わせによる連携対象の機器の指定)
複数の機器画像を重ね合わせることによって、連携対象の機器群が指定されてもよい。以下、図43及び図44を参照して、この処理について説明する。図43及び図44には、端末装置16のUI部46に表示される画面の一例が示されている。
(Designation of devices to be linked by overlaying device images)
A device group to be linked may be designated by superimposing a plurality of device images. Hereinafter, this process will be described with reference to FIGS. 43 and 44. FIGS. 43 and 44 show an example of a screen displayed on the UI unit 46 of the terminal device 16.

例えば、複合機(B)とPC(A)が識別されているものとする。図43(a)に示すように、端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面68に、識別された機器に紐付く機器画像70,88が表示されている。この状態で、ユーザが指示子(例えばユーザの指、ペン、スタイラス等)を用いて第1機器に紐付く機器画像を、連携先の機器(第2機器)に紐付く機器画像に重ね合わせる。例えば、図43(b)に示すように、ユーザが操作子を用いて機器画像70を指定し、矢印142で示すように、その機器画像70を機器画像88に重ね合わせる。例えば、ドラッグ&ドロップ操作によって機器画像同士を重ね合わせる。つまり、ユーザは機器画像70をドラッグ操作し、機器画像88に重なる位置で機器画像70をドロップ操作する。このドラッグ&ドロップ操作自体は、例えば公知の技術である。なお、ユーザの音声指示に従って、重ね合わせる機器画像が指定されてもよい。例えば、ユーザの音声指示に従って、機器画像70,88が重ね合わせ対象の機器画像として指定され、それらが重ねられてもよい。   For example, it is assumed that the multifunction peripheral (B) and the PC (A) are identified. As shown in FIG. 43A, a device display screen 68 is displayed on the UI unit 46 of the terminal device 16, and device images 70 and 88 associated with the identified device are displayed on the device display screen 68. Has been. In this state, the user uses an indicator (for example, the user's finger, pen, stylus, etc.) to superimpose the device image associated with the first device on the device image associated with the cooperation destination device (second device). For example, as shown in FIG. 43 (b), the user designates the device image 70 using the operator, and superimposes the device image 70 on the device image 88 as indicated by an arrow 142. For example, device images are overlapped by a drag and drop operation. That is, the user performs a drag operation on the device image 70 and performs a drop operation on the device image 70 at a position overlapping the device image 88. This drag and drop operation itself is a known technique, for example. Note that a device image to be superimposed may be designated in accordance with a user's voice instruction. For example, the device images 70 and 88 may be designated as device images to be superimposed in accordance with a user's voice instruction, and may be superimposed.

機器画像70,88を互いに重ね合わせることにより、機器画像70に紐付く複合機(B)と機器画像88に紐付くPC(A)が、連携対象の機器として指定される。例えば、先に指定された複合機(B)が第1機器に該当する。後に指定されたPC(A)が、複合機(B)と共に連携機能を実行することができない機器の場合、上記の実施例1から実施例8と同様に、複合機(B)と共に連携機能を実行することが可能な機器の案内が通知される。   By superimposing the device images 70 and 88 on each other, the multifunction device (B) associated with the device image 70 and the PC (A) associated with the device image 88 are designated as devices to be linked. For example, the multifunction device (B) specified earlier corresponds to the first device. If the PC (A) specified later is a device that cannot execute the linkage function with the multifunction peripheral (B), the linkage function with the multifunction peripheral (B) is the same as in the first to eighth embodiments. Information on devices that can be executed is notified.

なお、端末装置16の制御部48は、ドラッグ操作中の機器画像を識別可能な表示態様でUI部46に表示させてもよい。例えば、ドラッグ操作中の機器画像を半透明に表示したり、特定の色で表示したりしてもよい。   Note that the control unit 48 of the terminal device 16 may display the device image being dragged on the UI unit 46 in a display mode that can be identified. For example, the device image being dragged may be displayed semi-transparently or displayed in a specific color.

機器画像70が機器画像88に重ねられた場合において、PC(A)が複合機(B)と共に連携機能を実行することが可能な場合、図43(c)に示すように、端末装置16のUI部46に確認画面144が表示される。確認画面144は、連携対象の機器として指定された機器群を連携させるか否かを確認するための画面である。確認画面144において、連携指示がユーザによって与えられると(例えば「YES」ボタンがユーザによって押されると)、連携機能に関する情報が端末装置16のUI部46に表示される。   When the device image 70 is superimposed on the device image 88 and the PC (A) can execute the cooperation function together with the multifunction peripheral (B), as shown in FIG. A confirmation screen 144 is displayed on the UI unit 46. The confirmation screen 144 is a screen for confirming whether or not a device group designated as a device to be linked is to be linked. When a cooperation instruction is given by the user on the confirmation screen 144 (for example, when the “YES” button is pressed by the user), information related to the cooperation function is displayed on the UI unit 46 of the terminal device 16.

例えば図44(a)に示すように、端末装置16の制御部48は、UI部46に連携機能表示画面146を表示させ、その連携機能表示画面146に連携機能候補に関する情報を表示させる。PC(A)と複合機(B)を連携させることにより、例えば、「スキャン転送機能」と「印刷機能」が実現されるため、連携機能表示画面146には、「スキャン転送機能」に関する情報と「印刷機能」に関する情報が表示される。   For example, as illustrated in FIG. 44A, the control unit 48 of the terminal device 16 displays the cooperation function display screen 146 on the UI unit 46 and displays information on the cooperation function candidate on the cooperation function display screen 146. By linking the PC (A) and the multifunction peripheral (B), for example, a “scan transfer function” and a “print function” are realized, and the link function display screen 146 includes information on the “scan transfer function” and Information about “printing function” is displayed.

連携機能がユーザによって指定されて実行指示が与えられると、端末装置16から連携対象の機器に対して接続要求が行われる。図44(b)に示すように、その接続要求の間、端末装置16のUI部46には待機画面148が表示される。端末装置16と連携対象の機器との接続が成功すると、指定された連携機能が実行される。   When the cooperation function is designated by the user and an execution instruction is given, a connection request is made from the terminal device 16 to the cooperation target device. As shown in FIG. 44B, a standby screen 148 is displayed on the UI unit 46 of the terminal device 16 during the connection request. When the connection between the terminal device 16 and the device to be linked is successful, the designated linkage function is executed.

以上のように、機器に紐付いた機器画像同士を重ね合わせることにより、機器が有する機能を利用する連携機能が特定される。それ故、画像操作以外の操作を行わずに、機能を連携させることが可能となり、簡易な操作で機能が連携される。この場合においても、第1機器と共に連携機能を実行することが可能な第2機器の案内が通知されるので、その案内が通知されない場合と比べて、連携機能の利用時におけるユーザの利便性が向上する。   As described above, a cooperation function that uses a function of a device is specified by superimposing device images associated with the device. Therefore, the functions can be linked without performing an operation other than the image operation, and the functions are linked with a simple operation. Even in this case, since the guidance of the second device capable of executing the linkage function together with the first device is notified, the convenience of the user when using the linkage function is improved compared to the case where the guidance is not notified. improves.

部分画像を機器画像又は部分画像に重ね合わせることで、連携機能が特定されてもよい。図45を参照して、この処理について説明する。図45には、端末装置16のUI部46に表示される画面の一例が示されている。   The cooperation function may be specified by superimposing the partial image on the device image or the partial image. This process will be described with reference to FIG. FIG. 45 shows an example of a screen displayed on the UI unit 46 of the terminal device 16.

上述した部分画像を用いた連携処理と同様に、機器に紐付く機器画像内の位置に応じて、機器が有する機能が異なっている。機器画像内の部分画像を、同一又は異なる機器画像内の部分画像に重ね合わせることにより、両部分画像に紐付く機能を利用する連携機能が特定される。以下、この処理について詳しく説明する。   Similar to the cooperation process using the partial image described above, the function of the device differs depending on the position in the device image associated with the device. By superimposing the partial images in the device images on the partial images in the same or different device images, a cooperation function that uses a function associated with both partial images is specified. Hereinafter, this process will be described in detail.

例えば、複合機(B)とPC(A)が識別されているものとする。図45(a)に示すように、端末装置16のUI部46には機器表示画面68が表示されており、その機器表示画面6に機器画像70,88が表示されている。例えば、部分画像70a,70b,70c,88a,88bは他の部分画像から分離して個別的に移動可能な画像として表示されている。   For example, it is assumed that the multifunction peripheral (B) and the PC (A) are identified. As shown in FIG. 45A, a device display screen 68 is displayed on the UI unit 46 of the terminal device 16, and device images 70 and 88 are displayed on the device display screen 6. For example, the partial images 70a, 70b, 70c, 88a, and 88b are displayed as images that can be moved separately from other partial images.

部分画像がユーザによって指定されて、その部分画像が他の部分画像に重ねられると、それら両部分画像に紐付く機能を利用する連携機能が特定され、その連携機能に関する情報が端末装置16のUI部46に表示される。この特定処理は、サーバ14の特定部38によって行われてもよいし、端末装置16によって行われてもよい。   When a partial image is designated by the user and the partial image is superimposed on another partial image, a cooperation function that uses a function associated with both partial images is specified, and information regarding the cooperation function is stored in the UI of the terminal device 16. Displayed on the unit 46. This specifying process may be performed by the specifying unit 38 of the server 14 or may be performed by the terminal device 16.

例えば、図45(b)中の矢印150で示すように、ユーザが操作子を用いて、部分画像70bをドラッグ操作して部分画像88bに重ねてドロップ操作を行った場合、部分画像70bを含む機器画像70に紐付く複合機(B)と部分画像88bを含む機器画像88に紐付くPC(A)が、連携対象の機器として指定されるとともに、部分画像70bに割り当てられている「スキャン機能」と部分画像88bに割り当てられている「画面表示機能」が連携対象の機能として指定される。   For example, as indicated by an arrow 150 in FIG. 45B, when the user drags the partial image 70b using the operator and performs a drop operation on the partial image 88b, the partial image 70b is included. The multifunction device (B) associated with the device image 70 and the PC (A) associated with the device image 88 including the partial image 88b are designated as devices to be linked and are assigned to the partial image 70b by the “scan function” "And the" screen display function "assigned to the partial image 88b are designated as functions to be linked.

サーバ14においては、部分画像に割り当てられている機能が管理されている。例えば、部分画像を識別するための識別情報と、部分画像に対応付けられている機能を示す機能情報と、機能を連携させることによって実行される連携機能を示す連携機能情報と、が対応付けられてサーバ14に記憶されている。機器表示画面68上で部分画像が選択されて他の部分画像に重ねられると、それらの部分画像を示す識別情報が、端末装置16からサーバ14に送信される。図45(b)に示す例では、部分画像70b,88bをそれぞれ示す識別情報が端末装置16からサーバ14に送信される。サーバ14の特定部38は、その識別情報に基づいて、重ねられた部分画像70b,88bのそれぞれに割り当てられている機能を特定し、その機能を利用する連携機能を特定する。その連携機能に関する情報は、サーバ14から端末装置16に送信されて表示される。   In the server 14, functions assigned to the partial images are managed. For example, identification information for identifying a partial image, functional information indicating a function associated with the partial image, and cooperative function information indicating a cooperative function executed by linking the functions are associated with each other. Is stored in the server 14. When partial images are selected on the device display screen 68 and superimposed on other partial images, identification information indicating these partial images is transmitted from the terminal device 16 to the server 14. In the example shown in FIG. 45B, identification information indicating the partial images 70 b and 88 b is transmitted from the terminal device 16 to the server 14. Based on the identification information, the specifying unit 38 of the server 14 specifies a function assigned to each of the superimposed partial images 70b and 88b, and specifies a cooperation function that uses the function. Information regarding the cooperation function is transmitted from the server 14 to the terminal device 16 and displayed.

以上の処理によると、連携対象の機器が複数の機能を有している場合に、機能が個別的に指定され、この指定された機能を利用する連携機能に関する情報が優先的に表示される。これにより、ユーザが利用するであろうと予測される連携機能が優先的に表示される。   According to the above processing, when a device to be linked has a plurality of functions, the functions are individually designated, and information related to the linked function using the designated function is preferentially displayed. Thereby, the cooperation function predicted to be used by the user is preferentially displayed.

また、部分画像を重ね合わせる順番に応じて、連携機能の表示の優先順位が変更されてもよい。この場合、重ねられた部分画像に紐付く機能を利用する連携機能に関する情報が優先的に表示される。   Further, the display priority of the cooperation function may be changed according to the order in which the partial images are superimposed. In this case, information related to the cooperation function that uses the function associated with the superimposed partial images is preferentially displayed.

部分画像同士を重ね合わせる場合において、先に指定された部分画像が第1画像に相当し、その部分画像に紐付く機能が第1機能に相当する。後に指定された部分画像(第1画像が重ねられる部分画像)が第2画像に相当し、その部分画像に紐付く機能が第2機能に相当する。後に指定された機能が、先に指定された機能と共に連携機能を実行することができない機能の場合、上記の実施例1から実施例8と同様に、先に指定された機能と共に連携機能を実行することが可能な機能の案内が通知される。上記の例で説明すると、後に指定された部分画像88bに紐付く「画面表示機能」が、先に指定された部分画像70bに紐付く「スキャン機能」と共に連携機能を実行することができない場合、先に指定された「スキャン機能」と共に連携機能を実行することが可能な機能の案内が通知される。この場合、先に指定された機能(例えば「スキャン機能」)と共に連携機能を実行することが可能な機器の全体(例えば機器画像そのもの)が案内されてもよいし、先に指定された機能と共に連携機能を実行することが可能な機能が割り当てられた機器の部分(例えば部分画像)が案内されてもよい。   In the case of overlapping partial images, the previously specified partial image corresponds to the first image, and the function associated with the partial image corresponds to the first function. The partial image specified later (partial image on which the first image is superimposed) corresponds to the second image, and the function associated with the partial image corresponds to the second function. If the function specified later is a function that cannot execute the linkage function together with the function specified earlier, the linkage function is executed together with the function specified earlier as in the first to eighth embodiments. Information on functions that can be performed is notified. In the above example, when the “screen display function” associated with the partial image 88b specified later cannot execute the linkage function together with the “scan function” associated with the partial image 70b previously specified, The function guide capable of executing the linkage function is notified together with the previously designated “scan function”. In this case, the whole device (for example, the device image itself) capable of executing the linkage function together with the previously specified function (for example, “scan function”) may be guided, or together with the previously specified function. A part of a device (for example, a partial image) to which a function capable of executing the cooperation function is assigned may be guided.

(単独機能と連携機能の表示の切り替え処理)
本実施形態において、機器が単独で利用される機能(以下、「単独機能」と称する)の表示と、連携機能の表示と、の切り替え制御が行われてもよい。
(Switching between single function and linkage function display)
In the present embodiment, switching control between a display of a function used by the device alone (hereinafter referred to as “single function”) and a display of the cooperation function may be performed.

例えば、予め設定された識別時間内に、1つの機器のみが識別された場合、端末装置16の制御部48は、当該1つの機器(例えば画像形成装置10)が有する機能に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させる。識別期間の長さは、ユーザによって変更されてもよい。なお、AR技術を適用することで機器を識別してもよいし、AR技術以外の技術を適用することで機器を識別してもよい。機器の識別処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。識別時間の始点(起算点)は、例えば、1つの機器が識別された時点であってもよいし、ユーザが指定した時点(例えば識別処理開始時点)であってもよい。   For example, when only one device is identified within a preset identification time, the control unit 48 of the terminal device 16 displays information regarding the function of the one device (for example, the image forming apparatus 10) as a single function. As the information regarding, it is displayed on the UI unit 46 of the terminal device 16. The length of the identification period may be changed by the user. The device may be identified by applying the AR technology, or the device may be identified by applying a technology other than the AR technology. The device identification process may be performed by the server 14 or the terminal device 16. The start point (starting point) of the identification time may be, for example, a time point when one device is identified, or may be a time point specified by the user (for example, the identification process start time point).

例えば、1つの機器が識別された時点から識別時間内に、別の機器が識別されない場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させる。この場合、当該1つの機器は、識別期間内に識別された機器として扱われる。機器に関する情報は、サーバ14から端末装置16に送信された情報であってもよいし、端末装置16に予め記憶されている情報であってもよい。   For example, when another device is not identified within the identification time from the time when one device is identified, the control unit 48 of the terminal device 16 uses information regarding the function of the one device as information regarding a single function. It is displayed on the UI unit 46 of the terminal device 16. In this case, the one device is treated as a device identified within the identification period. The information related to the device may be information transmitted from the server 14 to the terminal device 16 or information stored in the terminal device 16 in advance.

別の例として、ユーザが指定した時点を識別時間の開始時点として、その開始時点から識別時間内に1つの機器のみが識別された場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独利用機器に関する情報として、端末装置16のUI部46に表示させる。   As another example, when only one device is identified within the identification time from the start time when the time specified by the user is the start time of the identification time, the control unit 48 of the terminal device 16 Information related to the functions possessed is displayed on the UI unit 46 of the terminal device 16 as information related to the single use device.

別の例として、1つの機器が識別された後、単独機能の表示指示が与えられた場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させてもよい。端末装置16の制御部48は、例えば、常時、又は、1つの機器が撮影された場合(又は1つの機器が識別された場合)、単独機能の表示を指示するためのボタン画像を、端末装置16のUI部46に表示させる。そのボタン画像がユーザによって押された場合、制御部48は、当該1つの機器が有する機能に関する情報をUI部46に表示させる。   As another example, when a single function display instruction is given after one device is identified, the control unit 48 of the terminal device 16 uses information related to the function of the one device as information related to the single function. The information may be displayed on the UI unit 46 of the terminal device 16. The control unit 48 of the terminal device 16 displays, for example, a button image for instructing the display of a single function when always or when one device is photographed (or when one device is identified). 16 UI parts 46 are displayed. When the button image is pressed by the user, the control unit 48 causes the UI unit 46 to display information related to the function of the one device.

識別時間が経過した時点で、端末装置16の制御部48は、確認画面を端末装置16のUI部46に表示させてもよい。その確認画面は、例えば、ユーザが識別時間の延長を指示するための画面である。ユーザが確認画面を介して識別時間の延長を指示した場合において、その延長時間内に別の機器が撮影されない場合、端末装置16の制御部48は、識別された機器が有する機能に関する情報を、端末装置16のUI部46に表示させる。   When the identification time has elapsed, the control unit 48 of the terminal device 16 may display a confirmation screen on the UI unit 46 of the terminal device 16. The confirmation screen is, for example, a screen for the user to instruct extension of the identification time. When the user instructs the extension of the identification time via the confirmation screen, when another device is not photographed within the extension time, the control unit 48 of the terminal device 16 displays information on the function of the identified device. It is displayed on the UI unit 46 of the terminal device 16.

単独機能に関する情報の表示制御について更に詳しく説明する。例えば、マーカ型AR技術又はマーカレス型AR技術によって機器が識別されるものとする。例えば、予め設定された撮影時間内に、1つの機器のみが撮影された場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させる。撮影時間の始点(起算点)は、1つの機器が撮影された時点であってもよいし、ユーザが指示した時点(例えば撮影開始時点)であってもよい。撮影時間の長さは、ユーザによって変更されてもよい。なお、当該1つの機器が撮影されると、マーカ型AR技術又はマーカレス型AR技術によって、当該1つの機器が識別される。この識別処理は、サーバ14によって行われてもよいし、端末装置16によって行われてもよい。   The display control of information related to a single function will be described in more detail. For example, it is assumed that the device is identified by the marker type AR technology or the markerless type AR technology. For example, when only one device is photographed within a preset photographing time, the control unit 48 of the terminal device 16 uses the information regarding the function of the one device as information regarding the single function. Are displayed on the UI part 46 of FIG. The start point (starting point) of the shooting time may be the time when one device is shot, or may be the time point designated by the user (for example, the shooting start time). The length of the shooting time may be changed by the user. When the one device is photographed, the one device is identified by the marker type AR technology or the markerless type AR technology. This identification process may be performed by the server 14 or the terminal device 16.

例えば、1つの機器が撮影された時点から撮影時間内に、別の機器が撮影されない場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させる。この場合、当該1つの機器は、撮影時間内に撮影された機器として扱われる。   For example, when another device is not photographed within the photographing time from the time when one device is photographed, the control unit 48 of the terminal device 16 uses information regarding the function of the one device as information regarding a single function. It is displayed on the UI unit 46 of the terminal device 16. In this case, the one device is treated as a device photographed within the photographing time.

別の例として、ユーザが指定した時点を撮影時間の開始時点として、その開始時点から撮影時間内に1つの機器のみが撮影された場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させる。   As another example, when the time point specified by the user is set as the start time of the shooting time, and only one device is shot within the shooting time from the start time, the control unit 48 of the terminal device 16 causes the one device to Information related to the function that the user has is displayed on the UI unit 46 of the terminal device 16 as information related to the single function.

別の例として、1つの機器が撮影された後、単独機能の表示指示が与えられた場合、端末装置16の制御部48は、当該1つの機器が有する機能に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させてもよい。   As another example, when a single function display instruction is given after one device is photographed, the control unit 48 of the terminal device 16 uses information related to the function of the one device as information related to the single function. The information may be displayed on the UI unit 46 of the terminal device 16.

例えば、撮影時間内に1つの機器のみが撮影された場合(例えば、1つ目の機器が撮影された時点から撮影時間内に別の機器が撮影されない場合や、ユーザが指定した開始時点から撮影時間内に1つの機器のみが撮影された場合)、端末装置16の制御部48は、その撮影で生成された画像データをサーバ14に送信する。撮影時間は、制御部48によって計測されてもよいし、タイマーによって計測されてもよい。サーバ14の特定部38は、その画像データに基づいて機器を特定(識別)し、その機器が有する機能を特定する。その機能に関する情報は、サーバ14から端末装置16に送信され、端末装置16のUI部46に表示される。もちろん、端末装置16が時間の管理を行わずに、サーバ14が時間の管理を行って、識別された機器が有する機能に関する情報を端末装置16に送信してもよい。   For example, when only one device is photographed within the photographing time (for example, when another device is not photographed within the photographing time from the time when the first device was photographed, or from the start time specified by the user) When only one device is photographed in time), the control unit 48 of the terminal device 16 transmits the image data generated by the photographing to the server 14. The shooting time may be measured by the control unit 48 or may be measured by a timer. The specifying unit 38 of the server 14 specifies (identifies) a device based on the image data, and specifies the function of the device. Information regarding the function is transmitted from the server 14 to the terminal device 16 and displayed on the UI unit 46 of the terminal device 16. Of course, the terminal device 16 may not manage the time, but the server 14 may manage the time and transmit information about the functions of the identified device to the terminal device 16.

撮影時間が経過した時点で、端末装置16の制御部48は、確認画面を端末装置16のUI部46に表示させてもよい。その確認画面は、例えば、ユーザが撮影時間の延長を指示するための画面である。ユーザが確認画面を介して撮影時間の延長を指示した場合において、その延長時間内に別の機器が撮影されない場合、端末装置16の制御部48は、撮影で得られた画像データをサーバ14に送信し、それに応じて、当該1つの機器が有する機能を端末装置16のUI部46に表示させる。延長時間の長さは、ユーザによって変更されてもよい。   When the shooting time has elapsed, the control unit 48 of the terminal device 16 may display a confirmation screen on the UI unit 46 of the terminal device 16. The confirmation screen is, for example, a screen for the user to instruct extension of the shooting time. When the user instructs to extend the shooting time via the confirmation screen, if another device is not shot within the extended time, the control unit 48 of the terminal device 16 sends the image data obtained by shooting to the server 14. In response, the function of the one device is displayed on the UI unit 46 of the terminal device 16. The length of the extension time may be changed by the user.

別の例として、端末装置16の制御部48は、1つの機器が撮影された後、単独機能の表示指示が与えられた場合、その撮影で生成された画像データをサーバ14に送信し、それに応じて、撮影された機器が有する機能に関する情報をサーバ14から受信してもよい。   As another example, when an instruction to display a single function is given after one device has been photographed, the control unit 48 of the terminal device 16 transmits the image data generated by the photographing to the server 14, and Accordingly, information regarding the functions of the photographed device may be received from the server 14.

更に別の例として、端末装置16の制御部48は、機器が撮影されて画像データが生成される度に、その画像データをサーバ14に送信し、それに応じて、撮影された機器が有する機能に関する情報をサーバ14から受信してもよい。この場合、端末装置16の制御部48は、撮影時間内に1つの機器のみが撮影された場合、当該1つの機器に関する情報を、単独機能に関する情報として、端末装置16のUI部46に表示させる。   As yet another example, the control unit 48 of the terminal device 16 transmits the image data to the server 14 each time the device is photographed and image data is generated, and the function of the photographed device accordingly. Information regarding the server 14 may be received. In this case, when only one device is photographed within the photographing time, the control unit 48 of the terminal device 16 causes the UI unit 46 of the terminal device 16 to display information regarding the one device as information regarding a single function. .

一方、識別時間内に複数の機器が識別された場合、サーバ14の制御部36は、連携機能モードを実行する。連携機能モードにおいては、上記の実施例1から実施例8と同様に、第1機器と共に連携機能を実行することが可能な第2機器への案内が通知される。   On the other hand, when a plurality of devices are identified within the identification time, the control unit 36 of the server 14 executes the cooperation function mode. In the cooperation function mode, the guidance to the second device capable of executing the cooperation function together with the first device is notified in the same manner as in the first to eighth embodiments.

例えば、1つの目の機器が識別された時点から識別時間内に、別の機器が識別された場合、連携機能モードが実行される。この場合、1つ目の機器も、識別時間内に識別された機器として扱われる。また、1つ目の機器が識別された時点から識別時間内に別の機器が識別された場合、サーバ14の制御部36は、当該別の機器が識別された時点を開始時点とした新たな識別時間を設定してもよい。以降についても同様であり、新たな識別時間内に更に別の機器が識別された場合、更に新たな識別時間が設定される。   For example, when another device is identified within the identification time from when the first device is identified, the cooperation function mode is executed. In this case, the first device is also treated as a device identified within the identification time. In addition, when another device is identified within the identification time from the time when the first device is identified, the control unit 36 of the server 14 starts a new time starting from the time when the other device is identified. An identification time may be set. The same applies to the subsequent processes. When another device is identified within the new identification time, a new identification time is set.

別の例として、ユーザが指定した時点を識別時間の開始時点として、その開始時点から識別時間内に複数の機器が撮影された場合、連携機能モードが実行されてもよい。   As another example, when the time point specified by the user is set as the start time of the identification time, and a plurality of devices are photographed within the identification time from the start time, the cooperation function mode may be executed.

別の例として、複数の機器が識別された後、連携機能の表示指示が与えられた場合、連携機能モードが実行されてもよい。端末装置16の制御部48は、例えば、常時、又は、複数の機器が撮影された場合(又は複数の機器が識別された場合)、連携機能の表示を指示するためのボタン画像をUI部46に表示させる。そのボタン画像がユーザによって押された場合、連携機能モードが実行される。   As another example, the cooperation function mode may be executed when a display instruction of the cooperation function is given after a plurality of devices are identified. For example, when a plurality of devices are photographed (or when a plurality of devices are identified), the control unit 48 of the terminal device 16 displays a button image for instructing display of the cooperation function on the UI unit 46. To display. When the button image is pressed by the user, the cooperation function mode is executed.

別の例として、1つ目の機器が識別された後、当該1つ目の機器が有する機能の実行指示が与えられない間に、別の機器が識別された場合、連携機能モードが実行されてもよい。   As another example, after the first device is identified, when another device is identified while the execution instruction for the function of the first device is not given, the cooperative function mode is executed. May be.

連携機能モードの実行について更に詳しく説明する。例えば、マーカ型AR技術又はマーカレス型AR技術によって複数の機器が識別されるものとする。例えば、予め設定された撮影時間内に複数の機器が撮影された場合、連携機能モードが実行される。例えば、1つの目の機器が撮影された時点から撮影時間内に、別の機器が撮影された場合、連携機能モードが実行される。この場合、1つ目の機器も、撮影時間内に撮影された機器として扱われる。また、1つ目の機器が撮影された時点から撮影時間内に別の機器が撮影された場合、サーバ14の制御部36は、当該別の機器が撮影された時点を開始時点とした新たな撮影時間を設定してもよい。以降についても同様であり、新たな撮影時間内に更に別の機器が撮影された場合、更に新たな撮影時間が設定される。   The execution of the cooperation function mode will be described in more detail. For example, it is assumed that a plurality of devices are identified by the marker type AR technology or the markerless type AR technology. For example, when a plurality of devices are photographed within a preset photographing time, the cooperation function mode is executed. For example, when another device is photographed within the photographing time from the time when the first device is photographed, the cooperation function mode is executed. In this case, the first device is also treated as a device that has been photographed within the photographing time. Further, when another device is photographed within the photographing time from the time when the first device is photographed, the control unit 36 of the server 14 starts a new time from the time when the other device is photographed. The shooting time may be set. The same applies to the following, and when another device is photographed within the new photographing time, a new photographing time is set.

別の例として、ユーザが指定した時点を撮影時間の開始時点として、その開始時点から撮影時間内に複数の機器が撮影された場合、連携機能モードが実行されてもよい。   As another example, when the time point specified by the user is set as the start time of the shooting time, and a plurality of devices are shot within the shooting time from the start time, the cooperation function mode may be executed.

別の例として、複数の機器が撮影された後、連携機能の表示指示が与えられた場合に、連携機能モードが実行されてもよい。   As another example, the cooperation function mode may be executed when a display instruction of the cooperation function is given after a plurality of devices are photographed.

別の例として、1つ目の機器が撮影された後、当該1つ目の機器が有する機能の実行指示が与えられない間に、別の機器が撮影された場合、連携機能モードが実行されてもよい。   As another example, after the first device is photographed, when another device is photographed while the execution instruction for the function of the first device is not given, the cooperative function mode is executed. May be.

以上のように、単独機能と連携機能の表示の切り替え処理によると、1つの機器が識別(例えば撮影)された場合、当該1つの機器が有する機能に関する情報が表示され、複数の機器が識別(例えば撮影)された場合、連携機能モードが実行される。これにより、識別(例えば撮影)された機器を利用して実行可能な機能の情報がユーザに提供され、ユーザにとって便利である。   As described above, according to the display switching process of the single function and the cooperation function, when one device is identified (for example, photographed), information on the function of the one device is displayed, and a plurality of devices are identified ( For example, when shooting is performed, the cooperation function mode is executed. Accordingly, information on functions that can be executed using the identified (eg, photographed) device is provided to the user, which is convenient for the user.

また、AR技術を適用して機器を識別するだけで単独機能や連携機能の利用が可能になるため、機能を実行するための設定等をユーザがマニュアル操作で行う場合と比べて、簡単な作業で各機能の利用が可能となり、ユーザの手間も軽減する。   In addition, since it is possible to use a single function or a linked function simply by identifying the device by applying the AR technology, it is simpler than the case where the user performs the setting for executing the function manually. This makes it possible to use each function, reducing the user's trouble.

なお、本実施形態において、識別された機器に紐付く機器画像や重ねられた機器画像は、背景画像に埋もれないように3次元で表示されてもよい。つまり、それらの画像が3次元画像として表示されてもよい。例えば、背景画像が2次元で表示され、機器画像が3次元で表示される。これより、機器画像の視認性が向上する。また、ユーザによって指定された機器画像が他の機器画像から識別されるように、指定された機器画像の色を変えたり、指定された機器画像を振動させたりしてもよい。   In the present embodiment, the device image associated with the identified device or the superimposed device image may be displayed in three dimensions so as not to be buried in the background image. That is, those images may be displayed as a three-dimensional image. For example, the background image is displayed in two dimensions and the device image is displayed in three dimensions. As a result, the visibility of the device image is improved. Further, the color of the designated device image may be changed, or the designated device image may be vibrated so that the device image designated by the user is identified from other device images.

また、本実施形態によると、AR技術を適用することにより、連携対象の機器が有する機能を利用する連携機能が特定され、その連携機能に関する情報が表示される。これにより、連携対象の機器によってどのような連携機能が実行可能であるのかその外観からでは分からない場合であっても、その連携機能に関する情報がユーザに提供される。また、個々の機器が単独では実行できない機能が、複数の機器を連携させることによって実行できるようになり、便利である。また、AR技術を適用して連携対象の機器を識別するだけで連携機能の利用が可能となるため、連携機能を実行するための設定等をユーザがマニュアル操作で行う場合と比べて、簡単な操作で連携機能の利用が可能となり、ユーザの手間が軽減される。   In addition, according to the present embodiment, by applying the AR technology, a cooperation function that uses a function of a cooperation target device is specified, and information regarding the cooperation function is displayed. Thereby, even if it is not clear from the appearance what kind of cooperation function can be executed by the cooperation target device, information regarding the cooperation function is provided to the user. In addition, functions that cannot be executed individually by individual devices can be executed by linking a plurality of devices, which is convenient. In addition, since the cooperation function can be used simply by identifying the device to be linked by applying the AR technology, it is simpler than the case where the user performs settings for executing the cooperation function manually. The cooperation function can be used by operation, and the user's trouble is reduced.

上記の画像形成装置10、サーバ14及び端末装置16のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、画像形成装置10、サーバ14及び端末装置16のそれぞれは、図示しないCPU等の1又は複数のプロセッサを備えている。当該1又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、画像形成装置10、サーバ14及び端末装置16の各部の機能が実現される。上記プログラムは、CDやDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、画像形成装置10、サーバ14及び端末装置16のそれぞれの各部は、例えばプロセッサや電子回路やASIC(Application Specific Integrated Circuit)等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、画像形成装置10、サーバ14及び端末装置16のそれぞれの各部は、DSP(Digital Signal Processor)やFPGA(Field Programmable Gate Array)等によって実現されてもよい。   Each of the image forming apparatus 10, the server 14, and the terminal device 16 is realized by cooperation of hardware and software, for example. Specifically, each of the image forming apparatus 10, the server 14, and the terminal device 16 includes one or a plurality of processors such as a CPU (not shown). The function of each unit of the image forming apparatus 10, the server 14, and the terminal device 16 is realized by the one or more processors reading and executing a program stored in a storage device (not shown). The program is stored in the storage device via a recording medium such as a CD or DVD, or via a communication path such as a network. As another example, each unit of the image forming apparatus 10, the server 14, and the terminal device 16 may be realized by hardware resources such as a processor, an electronic circuit, and an ASIC (Application Specific Integrated Circuit). In the realization, a device such as a memory may be used. As another example, each part of the image forming apparatus 10, the server 14, and the terminal device 16 may be realized by a DSP (Digital Signal Processor), an FPGA (Field Programmable Gate Array), or the like.

10,12 機器、14 サーバ、16 端末装置、32 機器機能管理情報、34 連携機能管理情報、38 特定部。   10, 12 devices, 14 servers, 16 terminal devices, 32 device function management information, 34 linkage function management information, 38 identification unit.

請求項1に係る発明は、連携機能を実行するために必要な第1機器に紐付く第1画像が指定され、更に、前記第1機器と共に前記連携機能を実行できる機能を有さない機器に紐付く画像が指定された場合、前記第1機器と共に前記連携機能を実行できる機能を有する第2機器への案内の通知を制御する制御手段を有する情報処理装置である。 The invention according to claim 1 is a device in which a first image associated with a first device necessary for executing the cooperation function is designated , and further, the device does not have a function capable of executing the cooperation function together with the first device. If string attached image is designated, an information processing apparatus which have a control means for controlling the notification of the guide to a second device having a function capable of executing the cooperative function with the first device.

請求項に係る発明は、前記制御手段は、前記第1画像と、前記第1機器と共に前記連携機能を実行できる機能を有さない機器に紐付く画像と、を繋ぐ操作が行われた場合、前記案内の通知を制御する、ことを特徴とする請求項に記載の情報処理装置である。 The invention according to claim 2, wherein the control means includes a first image, said first tied to the no can Ru function perform the cooperative function device with the instrument image, the connecting operation is performed If, controls the notification of the guide, it is an information processing apparatus according to claim 1, wherein the.

請求項に係る発明は、前記制御手段は、前記第1画像と、前記第1機器と共に前記連携機能を実行できる機能を有さない機器に紐付く画像と、が重ねられた場合、前記案内の通知を制御する、ことを特徴とする請求項に記載の情報処理装置である。 The invention according to claim 3, wherein the control means includes a first image, and the string attached image on the said no can Ru function perform the cooperative function device together with the first device if, is superimposed, said The information processing apparatus according to claim 1 , wherein guidance information is controlled.

請求項に係る発明は、前記第1機器の状況に応じて前記第2機器が変更される、ことを特徴とする請求項1から請求項何れかに記載の情報処理装置である。 The invention according to claim 4 is the information processing apparatus according to any one of claims 1 to 3, wherein the second device is changed according to a situation of the first device.

請求項に係る発明は、前記制御手段は、更に、前記第1機器と共に前記連携機能を実行できる機能であって前記第2機器が有する1又は複数の機能への前記案内の通知を制御する、ことを特徴とする請求項1から請求項何れかに記載の情報処理装置である。 According to a fifth aspect of the present invention, the control means further controls the notification of the guidance to one or more functions of the second device, which is a function capable of executing the cooperation function together with the first device. it is an information processing apparatus according to any one claims 1 to 4, characterized in.

請求項に係る発明は、前記制御手段は、前記第1画像内の部分画像が指定され、更に、前記部分画像に対応する機能と共に前記連携機能を実行できる機能を有さない機器に紐付く画像が指定された場合、前記部分画像に対応する機能と共に前記連携機能を実行できる機能を有する前記第2機器への前記案内の通知を制御する、ことを特徴とする請求項1から請求項何れかに記載の情報処理装置である。 According to a sixth aspect of the present invention, the control means is associated with a device in which a partial image in the first image is designated and has no function capable of executing the linkage function together with a function corresponding to the partial image. If an image is specified, the portion wherein the controlling the notification of the guide to the second device having a function capable of executing the cooperative function with the function corresponding to the image, claims 1 to 4, characterized in that An information processing apparatus according to any one of the above.

請求項に係る発明は、前記制御手段は、前記第2機器に紐付く第2画像への前記案内の通知を制御する、ことを特徴とする請求項に記載の情報処理装置である。 The invention according to claim 7, wherein the control means controls the notification of the guide to the second image tied to the second device, it is an information processing apparatus according to claim 6, wherein.

請求項に係る発明は、前記制御手段は、前記部分画像に対応する機能と共に前記連携機能を実行できる機能であって前記第2機器が有する1又は複数の機能への前記案内の通知を制御する、ことを特徴とする請求項に記載の情報処理装置である。 In the invention according to claim 8 , the control means is a function capable of executing the linkage function together with a function corresponding to the partial image, and controls notification of the guidance to one or a plurality of functions of the second device. The information processing apparatus according to claim 6 , wherein the information processing apparatus is an information processing apparatus.

請求項に係る発明は、前記制御手段は、前記第2機器に紐付く第2画像内の1又は複数の部分画像であって前記1又は複数の機能に紐付く1又は複数の部分画像への前記案内の通知を制御する、ことを特徴とする請求項又は請求項に記載の情報処理装置である。 The invention according to claim 9 is the one or more partial images in the second image associated with the second device, wherein the control means associates with the one or more functions. controls the notification of the guide, it is an information processing apparatus according to claim 5 or claim 8, characterized in.

請求項1に係る発明は、前記制御手段は、前記案内の通知として、前記連携機能を実行できる機能を有する第2機器に関する情報を示す候補リストの表示を制御する、ことを特徴とする請求項1から請求項何れかに記載の情報処理装置である。 The invention according to claim 1 0, wherein the control means as a notification of the guide, controls the display of the candidate list showing information about the second device having a function capable of executing the cooperation function, it is characterized in claim An information processing apparatus according to any one of claims 1 to 9 .

請求項1に係る発明は、前記候補リスト内の各第2機器の並びの順番は、各第2機器の過去の利用実績に基づいて決定される、ことを特徴とする請求項1に記載の情報処理装置である。 The invention according to claim 1 1, the order of arrangement of the second device of the candidate in the list, each second is determined based on historical use record of the equipment, it in claim 1 0, characterized in The information processing apparatus described.

請求項1に係る発明は、前記過去の利用実績は、前記第1画像を指定したユーザの利用実績、又は、他のユーザの利用実績を含む利用実績である、ことを特徴とする請求項1に記載の情報処理装置である。 Claim invention according to claim 1 2, wherein the past usage record is to use results of users who specify the first image, or a use record comprising use records of other users, it is characterized by 11. An information processing apparatus according to 1 .

請求項13に係る発明は、実行可能な連携機能の数が多い第2機器ほど、前記候補リスト内において上位の順番に割り当てられる、ことを特徴とする請求項1に記載の情報処理装置である。 The invention according to claim 13, as the second device a large number of possible cooperation function, the assigned to the higher order in the candidate list, it in the information processing apparatus according to claim 1 0, characterized in is there.

請求項14に係る発明は、前記候補リストには、各第2機器の名称、及び、各第2機器の画像の中の少なくとも1つが含まれる、ことを特徴とする請求項1から請求項13何れかに記載の情報処理装置である。 Invention, the candidate list, the second device name, and, according to claim claims 1 0 to at least one in each second device of the image contained, characterized in that according to claim 14 The information processing apparatus according to any one of 13 .

請求項15に係る発明は、前記各第2機器の画像は、前記各第2機器を撮影することで得られた画像、又は、前記各第2機器を模した画像である、ことを特徴とする請求項14に記載の情報処理装置である。 The invention according to claim 15 is characterized in that the image of each second device is an image obtained by photographing each second device, or an image imitating each second device. The information processing apparatus according to claim 14 .

請求項16に係る発明は、前記各第2機器の画像が前記各第2機器を模した画像である場合において、前記候補リスト内にて第2機器が指定された場合、前記制御手段は、利用可能な第2機器の一覧の表示を制御し、その一覧の中から第2機器が指定された場合に前記連携機能に関する情報の表示を制御する、ことを特徴とする請求項15に記載の情報処理装置である。 According to a sixteenth aspect of the present invention, in the case where the image of each second device is an image imitating each of the second devices, when the second device is designated in the candidate list, the control means includes: 16. The display of a list of available second devices is controlled, and when the second device is designated from the list, the display of information related to the linkage function is controlled. Information processing apparatus.

請求項17に係る発明は、前記制御手段は、前記候補リスト内にて第2機器が指定された場合に、その指定された第2機器を利用する前記連携機能に関する情報の表示を制御する、ことを特徴とする請求項1から請求項15何れかに記載の情報処理装置である。 The invention according to claim 17 is configured such that, when a second device is designated in the candidate list, the control means controls display of information relating to the cooperation function that uses the designated second device. it is an information processing apparatus according to any one of claims 1 to 15 0, wherein.

請求項18に係る発明は、前記制御手段は、前記第1機器と前記第2機器が指定された場合、前記連携機能の表示を更に制御する、ことを特徴とする請求項1から請求項15何れかに記載の情報処理装置である。 The invention according to claim 18, wherein, when the second device and the first device is designated, further controls the display of the linkage facility claims 1 to 15, characterized in that An information processing apparatus according to any one of the above.

請求項19に係る発明は、前記制御手段は、前記第1機器と前記第2機器の指定の順番に応じて、前記連携機能を変えて表示を制御する、ことを特徴とする請求項18に記載の情報処理装置である。 The invention according to claim 19, wherein the control means, in accordance with the designated order of the first device and the second device, to control the display by changing the linking function, it in claim 18, wherein The information processing apparatus described.

請求項2に係る発明は、前記第1機器と前記第2機器は、予め登録された機器群、識別された機器群、表示手段に表示された機器群、又は、表示手段の画面内において特定の領域に表示された機器群に含まれる機器である、ことを特徴とする請求項1から請求項19何れかに記載の情報処理装置である。 The invention according to claim 2 0, the first device and the second device, pre-registered device group, identified device group, the displayed device group on the display means, or, in the screen of the display means a device included in the device group that is displayed in a specific region, it is an information processing apparatus according to any one of claims 19 claim 1, characterized in.

請求項21に係る発明は、前記第1画像は、前記第1機器を撮影することで得られた画像、又は、前記第1機器を模した画像である、ことを特徴とする請求項1から請求項2何れかに記載の情報処理装置である。
請求項22に係る発明は、複数の画像が同一画面に表示されている場合において、前記複数の画像の中から前記第1機器に紐付く前記第1画像が選択され、更に、前記第1機器と共に前記連携機能を実行できる機能を有さない機器に紐付く画像が選択された場合、前記制御手段は、前記複数の画像に含まれる第2画像であって前記第1機器と共に前記連携機能を実行できる機能を有する第2機器に紐付く第2画像への案内を制御する、ことを特徴とする請求項1に記載の情報処理装置である。
The invention according to claim 21 is characterized in that the first image is an image obtained by photographing the first device or an image imitating the first device. claim 2 0 which is an information processing apparatus according to any one.
In the invention according to claim 22, when a plurality of images are displayed on the same screen, the first image associated with the first device is selected from the plurality of images, and the first device is further selected. When an image associated with a device that does not have a function capable of executing the cooperation function is selected, the control means is a second image included in the plurality of images, and the cooperation function is combined with the first device. The information processing apparatus according to claim 1, wherein guidance to a second image associated with a second device having a function that can be executed is controlled.

請求項23に係る発明は、連携機能を実行するために必要な第1機能に紐付く第1画像が指定され、更に、前記第1機能と共に前記連携機能を実行できる機能を有さない機能に紐付く画像が指定された場合、前記第1機能と共に前記連携機能を実行できる機能を有する第2機能への案内の通知を制御する制御手段を有する情報処理装置である。 In the invention according to claim 23 , the first image associated with the first function necessary for executing the cooperation function is designated , and further, the function having no function capable of executing the cooperation function together with the first function is provided. If string attached image is designated, an information processing apparatus having a control means to control the notification of the guide to a second function having a function capable of executing the cooperative function with the first functional.

請求項24に係る発明は、前記制御手段は、前記第1画像と、前記第1機能と共に前記連携機能を実行できる機能を有さない機能に紐付く画像と、を繋ぐ操作が行われた場合、前記案内の通知を制御する、ことを特徴とする請求項23に記載の情報処理装置である。 The invention according to claim 24, wherein the control means includes a first image, a first function with tied to the cooperative function no can Ru function execution function image, the connecting operation is performed 24. The information processing apparatus according to claim 23 , wherein notification of the guidance is controlled.

請求項25に係る発明は、前記制御手段は、前記第1画像と、前記第1機能と共に前記連携機能を実行できる機能を有さない機能に紐付く画像と、が重ねられた場合、前記案内の通知を制御する、ことを特徴とする請求項23に記載の情報処理装置である。 The invention according to claim 25, wherein the control means includes a first image, and the string attached image on the said no can Ru function perform the cooperation function feature with a first function if, is superimposed, said The information processing apparatus according to claim 23 , wherein notification of guidance is controlled.

請求項26に係る発明は、前記制御手段は、更に、前記第1機能と共に前記連携機能を実行できる機能であって前記第2機能に含まれる1又は複数への前記案内の通知を制御する、ことを特徴とする請求項23から請求項25何れかに記載の情報処理装置である。 The invention according to claim 26, wherein said control means further controls notification of the guidance of a function that can perform the cooperative function with the first functional to one or more included in the second function, An information processing apparatus according to any one of claims 23 to 25 .

請求項27に係る発明は、前記制御手段は、前記第1画像内の部分画像が指定され、更に、前記部分画像に対応する機能と共に前記連携機能を実行できる機能を有さない機能に紐付く画像が指定された場合、前記部分画像に対応する機能と共に前記連携機能を実行できる機能を有する前記第2機能への前記案内の通知を制御する、ことを特徴とする請求項23から請求項26何れかに記載の情報処理装置である。 According to a twenty-seventh aspect of the present invention, the control means is associated with a function in which a partial image in the first image is designated and a function corresponding to the partial image and a function capable of executing the linkage function is not provided. If the image has been specified, the controls the notification of the guide to the having the ability to perform the cooperative function with the function corresponding to the partial image a second function, according to claim 26 claim 23, characterized in that An information processing apparatus according to any one of the above.

請求項28に係る発明は、前記制御手段は、前記第2機能に紐付く第2画像への前記案内の通知を制御する、ことを特徴とする請求項27に記載の情報処理装置である。 The invention according to claim 28 is the information processing apparatus according to claim 27 , wherein the control means controls notification of the guidance to the second image associated with the second function.

請求項29に係る発明は、前記制御手段は、前記部分画像に対応する機能と共に前記連携機能を実行できる機能であって前記第2機能に含まれる1又は複数の機能への前記案内の通知を制御する、ことを特徴とする請求項27に記載の情報処理装置である。 Invention, the control unit may notify the guide Previous Stories partial images a function that can perform the cooperative function with the function corresponding one or more included in the second functional function according to claim 29 28. The information processing apparatus according to claim 27 , wherein the information processing apparatus is controlled.

請求項30に係る発明は、前記制御手段は、前記第2機能に紐付く第2画像内の1又は複数の部分画像であって前記1又は複数の機能に紐付く1又は複数の部分画像への前記案内の通知を制御する、ことを特徴とする請求項26又は請求項29何れかに記載の情報処理装置である。 The invention according to claim 30 is the one or more partial images in the second image associated with the second function, wherein the control means associates with the one or more partial images associated with the one or more functions. controls the notification of the guide, it is an information processing apparatus according to any one of claims 26 or claim 29, characterized in.

請求項31に係る発明は、前記制御手段は、前記案内の通知として、前記連携機能を実行できる機能を有する第2機能に関する情報を示す候補リストの出力を制御する、ことを特徴とする請求項23から請求項30何れかに記載の情報処理装置である。 The invention according to claim 31 is characterized in that the control means controls output of a candidate list indicating information on a second function having a function capable of executing the cooperation function as the guidance notification. An information processing apparatus according to any one of claims 23 to 30 .

請求項32に係る発明は、前記候補リスト内の各第2機能の並びの順番は、各第2機能の過去の利用実績に基づいて決定される、ことを特徴とする請求項31に記載の情報処理装置である。 The invention according to claim 32, the arrangement of order of the second function of the candidate list is determined based on historical use record of each of the second feature, according to claim 31, characterized in that Information processing apparatus.

請求項33に係る発明は、前記過去の利用実績は、前記第1画像を指定したユーザの利用実績、又は、他のユーザの利用実績を含む利用実績である、ことを特徴とする請求項32に記載の情報処理装置である。 The invention according to claim 33, wherein the past usage record is claim 32, wherein the usage record of the first user specifying the image, or a use record comprising use records of other users, it is characterized by It is an information processing apparatus as described in.

請求項34に係る発明は、実行可能な連携機能の数が多い第2機能ほど、前記候補リスト内において上位の順番に割り当てられる、ことを特徴とする請求項31に記載の情報処理装置である。 The invention according to Claim 34 is the information processing apparatus according to Claim 31 , wherein the second function having a larger number of executable cooperation functions is assigned in the higher order in the candidate list. .

請求項35に係る発明は、前記候補リストには、各第2機能の名称、及び、各第2機能の画像の中の少なくとも1つが含まれる、ことを特徴とする請求項31から請求項34何れかに記載の情報処理装置である。 The invention according to claim 35, wherein the candidate list, the name of each of the second function, and, according to claim 34 claim 31 which has at least one of the images of the second function is included, it is characterized by An information processing apparatus according to any one of the above.

請求項36に係る発明は、前記制御手段は、前記候補リスト内にて第2機能が指定された場合、その指定された第2機能を利用する前記連携機能に関する情報の表示を制御する、ことを特徴とする請求項31から請求項35何れかに記載の情報処理装置である。 In a thirty- sixth aspect of the invention, when the second function is designated in the candidate list, the control means controls display of information relating to the cooperation function that uses the designated second function. An information processing apparatus according to any one of claims 31 to 35 .

請求項37に係る発明は、前記制御手段は、前記第1機能と前記第2機能が指定された場合、前記連携機能の表示を更に制御する、ことを特徴とする請求項23から請求項35何れかに記載の情報処理装置である。 The invention according to claim 37, wherein, when said first feature and said second feature is specified, claim 35 claim 23, wherein the linkage further controls the display of the function, it is characterized by An information processing apparatus according to any one of the above.

請求項38に係る発明は、前記制御手段は、前記第1機能と前記第2機能の指定の順番に応じて、前記連携機能を変えて表示を制御する、ことを特徴とする請求項37に記載の情報処理装置である。 The invention according to claim 38, wherein the control means, in accordance with the designated order of the first function as the second function, to control the display by changing the linking function, it in claim 37, wherein The information processing apparatus described.

請求項39に係る発明は、前記第1機能と前記第2機能は、予め登録された機能群、識別された1又は複数の機器が有する機能群、表示手段に表示された機能群、又は、表示手段の画面内において特定の領域に表示された機能群に含まれる機能である、ことを特徴とする請求項23から請求項38何れかに記載の情報処理装置である。
請求項40に係る発明は、複数の画像が同一画面に表示されている場合において、前記複数の画像の中から前記第1機能に紐付く前記第1画像が選択され、更に、前記第1機能と共に前記連携機能を実行できる機能を有さない機能に紐付く画像が指定された場合、前記制御手段は、前記複数の画像に含まれる第2画像であって前記第1機能と共に前記連携機能を実行できる機能を有する第2機能に紐付く第2画像への案内を制御する、ことを特徴とする請求項23に記載の情報処理装置である。
The invention according to claim 39 is characterized in that the first function and the second function are a function group registered in advance, a function group possessed by one or more identified devices, a function group displayed on a display means, or The information processing apparatus according to any one of claims 23 to 38 , wherein the information processing apparatus is a function included in a function group displayed in a specific area in the screen of the display means.
In the invention according to claim 40, when a plurality of images are displayed on the same screen, the first image associated with the first function is selected from the plurality of images, and the first function is further selected. When an image associated with a function that does not have a function capable of executing the cooperation function is designated, the control means is a second image included in the plurality of images, and the cooperation function is combined with the first function. 24. The information processing apparatus according to claim 23, wherein guidance to a second image associated with a second function having a function that can be executed is controlled.

請求項41に係る発明は、コンピュータを、連携機能を実行するために必要な第1機器に紐付く第1画像が指定され、更に、前記第1機器と共に前記連携機能を実行できる機能を有さない機器に紐付く画像が指定された場合、前記第1機器と共に前記連携機能を実行できる機能を有する第2機器への案内の通知を制御する制御手段、として機能させるプログラムである。 The invention according to claim 41 has a function in which the first image associated with the first device necessary for executing the cooperation function of the computer is designated, and the cooperation function can be executed together with the first device. This is a program that functions as a control unit that controls notification of guidance to a second device having a function capable of executing the linkage function together with the first device when an image associated with a non-device is designated .

請求項42に係る発明は、コンピュータを、連携機能を実行するために必要な第1機能に紐付く第1画像が指定され、更に、前記第1機能と共に前記連携機能を実行できる機能を有さない機能に紐付く画像が指定された場合、前記第1機能と共に前記連携機能を実行できる機能を有する第2機能への案内の通知を制御する制御手段、として機能させるプログラムである。 The invention according to claim 42 has a function of specifying the first image associated with the first function necessary for executing the cooperation function of the computer , and further executing the cooperation function together with the first function. When an image associated with a function that does not exist is designated, the program functions as a control unit that controls notification of guidance to a second function having a function capable of executing the linkage function together with the first function.

請求項1,202122,41に係る発明によると、連携機能を実行する場合におけるユーザの利便性が向上する。また、案内が常時通知される場合に発生し得る煩雑さを回避できる。 According to the invention according to claims 1 , 20 , 21 , 22 , and 41 , the convenience of the user when executing the cooperation function is improved. Further, it is possible to avoid the trouble that may occur when the guidance is constantly notified.

請求項24に係る発明によると、画像を繋ぐ操作によって案内の通知が制御される。 According to the inventions according to claims 2 and 24 , the notification of guidance is controlled by the operation of connecting the images.

請求項25に係る発明によると、画像を重ねる操作によって案内の通知が制御される。 According to the inventions according to claims 3 and 25 , the notification of guidance is controlled by the operation of overlapping images.

請求項に係る発明によると、機器の状況に応じて案内の通知が制御される。 According to the invention which concerns on Claim 4 , the notification of guidance is controlled according to the condition of an apparatus.

請求項に係る発明によると、機器が有する機能が個別的に案内される。 According to the invention of claim 5, 8, 9, function device has to be guided individually.

請求項に係る発明によると、機器が有する特定の機能と共に連携機能を実行することが可能な機器の案内の通知が制御される。 According to the inventions according to claims 6 and 7 , notification of guidance of a device capable of executing a linkage function together with a specific function of the device is controlled.

請求項114151617に係る発明によると、連携機能を実行することが可能な機器がリスト化されて提示される。 According to the invention of claim 1 0, 14, 15, 16, 17, are presented device capable of performing a cooperative function is listed.

請求項1,1に係る発明によると、各機器間の相対的な利用実績の把握が容易となる。 According to the inventions according to claims 1 1 and 1 2, it is easy to grasp the relative usage record between the devices.

請求項13に係る発明によると、実行可能な連携機能の数が他の機器よりも多い機器の把握が容易となる。 According to the thirteenth aspect of the present invention, it is easy to grasp a device having more executable cooperation functions than other devices.

請求項18に係る発明によると、複数の機器を指定することで、連携機能の表示が制御される。 According to the invention of claim 18 , by specifying a plurality of devices, the display of the cooperation function is controlled.

請求項1938に係る発明によると、利用されると想定される連携機能の表示が制御される。 According to the inventions according to claims 19 and 38 , the display of the cooperation function assumed to be used is controlled.

請求項233940,42に係る発明によると、連携機能を実行するために必要な機能を指定する場合におけるユーザの利便性が向上する。また、案内が常時通知される場合に発生し得る煩雑さを回避できる。 According to the inventions according to claims 23 , 39 , 40 , and 42 , the convenience of the user when specifying a function necessary for executing the cooperation function is improved. Further, it is possible to avoid the trouble that may occur when the guidance is constantly notified.

請求項2627282930に係る発明によると、機能が個別的に案内される。 According to the invention according to claims 26 , 27 , 28 , 29 , 30 , the functions are individually guided.

請求項313536に係る発明によると、連携機能を実行することが可能な機能がリスト化されて提示される。 According to the inventions according to claims 31 , 35 , and 36 , functions capable of executing the cooperation function are presented in a list.

請求項3233に係る発明によると、各機能間の相対的な利用実績の把握が容易となる。 According to the inventions according to claims 32 and 33, it is easy to grasp the relative usage results between the respective functions.

請求項34に係る発明によると、実行可能な連携機能の数が他の機能よりも多い機能の把握が容易となる。 According to the thirty-fourth aspect of the present invention, it becomes easy to grasp a function that has more executable functions than other functions.

請求項37に係る発明によると、複数の機能を指定することで、連携機能の表示が制御される。 According to the invention of claim 37 , the display of the cooperation function is controlled by designating a plurality of functions.

Claims (57)

連携機能を実行するために必要な第1機器に紐付く第1画像が指定された場合、前記第1機器と共に前記連携機能を実行できる第2機器への案内の通知を制御する制御手段、
を有する情報処理装置。
Control means for controlling notification of guidance to a second device capable of executing the cooperation function together with the first device, when a first image associated with the first device necessary for executing the cooperation function is designated;
An information processing apparatus.
前記制御手段は、前記第1機器と共に前記連携機能を実行できない機器に紐付く画像が更に指定された場合、前記案内の通知を制御する、
ことを特徴とする請求項1に記載の情報処理装置。
The control means controls notification of the guidance when an image associated with a device that cannot execute the cooperation function together with the first device is further specified.
The information processing apparatus according to claim 1.
前記制御手段は、前記第1画像と、前記第1機器と共に前記連携機能を実行できない機器に紐付く画像と、を繋ぐ操作が行われた場合、前記案内の通知を制御する、
ことを特徴とする請求項2に記載の情報処理装置。
The control means controls the notification of the guidance when an operation for connecting the first image and an image associated with a device that cannot execute the cooperation function together with the first device is performed.
The information processing apparatus according to claim 2.
前記制御手段は、前記第1画像と、前記第1機器と共に前記連携機能を実行できない機器に紐付く画像と、が重ねられた場合、前記案内の通知を制御する、
ことを特徴とする請求項2に記載の情報処理装置。
The control means controls the notification of the guidance when the first image and an image associated with a device that cannot execute the cooperation function together with the first device are superimposed.
The information processing apparatus according to claim 2.
前記第1機器と共に前記連携機能を実行できない機器は、当該機器の状況に応じて、前記第1機器と共に前記連携機能を実行できる機器に変更される、
ことを特徴とする請求項2から請求項4何れかに記載の情報処理装置。
The device that cannot execute the linkage function together with the first device is changed to a device that can execute the linkage function together with the first device, depending on the status of the device.
The information processing apparatus according to claim 2, wherein the information processing apparatus is an information processing apparatus.
前記第1機器と共に前記連携機能を実行できない機器は、故障中又は使用中の機器であり、
前記制御手段は、前記第1機器と共に前記連携機能を実行できない機器が更に指定された場合、当該機器と同種の機器であって前記第1機器と共に前記連携機能を実行できる機器を前記第2機器として優先的に案内の通知を行う、
ことを特徴とする請求項2から請求項5何れかに記載の情報処理装置。
The device that cannot execute the linkage function together with the first device is a device that is malfunctioning or in use,
When a device that cannot execute the cooperation function together with the first device is further designated, the control means is a device of the same type as the device that can execute the cooperation function together with the first device. As a preferential notification of,
The information processing apparatus according to claim 2, wherein the information processing apparatus is an information processing apparatus.
前記第1機器と共に前記連携機能を実行できない機器は、前記第1機器の周辺環境に応じて、前記第1機器と共に前記連携機能を実行できる機器に変更される、
ことを特徴とする請求項2から請求項4何れかに記載の情報処理装置。
The device that cannot execute the cooperation function together with the first device is changed to a device that can execute the cooperation function together with the first device according to the surrounding environment of the first device.
The information processing apparatus according to claim 2, wherein the information processing apparatus is an information processing apparatus.
前記第1機器の状況に応じて前記第2機器が変更される、
ことを特徴とする請求項1から請求項7何れかに記載の情報処理装置。
The second device is changed according to the status of the first device.
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus.
前記制御手段は、前記第1画像が指定された場合、前記第1機器と共に前記連携機能を実行できる機能であって前記第2機器が有する1又は複数の機能への前記案内の通知を制御する、
ことを特徴とする請求項1から請求項8何れかに記載の情報処理装置。
The control means is a function capable of executing the cooperation function together with the first device when the first image is designated, and controls notification of the guidance to one or a plurality of functions of the second device. ,
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus.
前記制御手段は、前記第1画像内の部分画像が指定された場合、前記部分画像に対応する機能と共に前記連携機能を実行できる前記第2機器への前記案内の通知を制御する、
ことを特徴とする請求項1から請求項8何れかに記載の情報処理装置。
The control means controls notification of the guidance to the second device that can execute the linkage function together with a function corresponding to the partial image when a partial image in the first image is designated.
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus.
前記制御手段は、前記第2機器に紐付く第2画像への前記案内の通知を制御する、
ことを特徴とする請求項10に記載の情報処理装置。
The control means controls notification of the guidance to a second image associated with the second device;
The information processing apparatus according to claim 10.
前記制御手段は、前記第1画像内の部分画像が指定された場合、前記部分画像に対応する機能と共に前記連携機能を実行できる機能であって前記第2機器が有する1又は複数の機能への前記案内の通知を制御する、
ことを特徴とする請求項10に記載の情報処理装置。
The control means is a function capable of executing the linkage function together with a function corresponding to the partial image when a partial image in the first image is designated, and to the one or more functions of the second device. Controlling notification of the guidance;
The information processing apparatus according to claim 10.
前記制御手段は、前記第2機器に紐付く第2画像内の1又は複数の部分画像であって前記1又は複数の機能に紐付く1又は複数の部分画像への前記案内の通知を制御する、
ことを特徴とする請求項9又は請求項12に記載の情報処理装置。
The control means controls notification of the guidance to one or more partial images in a second image associated with the second device and associated with the one or more functions. ,
The information processing apparatus according to claim 9 or 12, characterized in that:
前記制御手段は、前記案内の通知として、前記第1画像から前記第2機器に紐付く第2画像への誘導指示の表示を制御する、
ことを特徴とする請求項1から請求項13何れかに記載の情報処理装置。
The control means controls the display of a guidance instruction from the first image to the second image associated with the second device as the guidance notification.
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus.
前記第1画像と複数の第2画像が表示手段に表示されている場合、前記制御手段は、前記第1画像から前記複数の第2画像への誘導指示を前記表示手段に表示させる、
ことを特徴とする請求項14に記載の情報処理装置。
When the first image and the plurality of second images are displayed on the display unit, the control unit causes the display unit to display a guidance instruction from the first image to the plurality of second images.
The information processing apparatus according to claim 14.
前記制御手段は、各第2機器に設定された優先順位に従った誘導指示を前記表示手段に表示させる、
ことを特徴とする請求項15に記載の情報処理装置。
The control means causes the display means to display a guidance instruction according to the priority order set for each second device.
The information processing apparatus according to claim 15.
前記制御手段は、前記案内の通知として、前記連携機能を実行できる第2機器に関する情報を示す候補リストの表示を制御する、
ことを特徴とする請求項1から請求項13何れかに記載の情報処理装置。
The control means controls the display of a candidate list indicating information on a second device capable of executing the cooperation function as the guidance notification.
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus.
前記候補リスト内の各第2機器の並びの順番は、各第2機器の過去の利用実績に基づいて決定される、
ことを特徴とする請求項17に記載の情報処理装置。
The order of arrangement of the second devices in the candidate list is determined based on the past usage record of each second device.
The information processing apparatus according to claim 17.
前記過去の利用実績は、前記第1画像を指定したユーザの利用実績、又は、他のユーザの利用実績を含む利用実績である、
ことを特徴とする請求項18に記載の情報処理装置。
The past use record is a use record including the use record of the user who specified the first image, or the use record of other users.
The information processing apparatus according to claim 18.
実行可能な連携機能の数が多い第2機器ほど、前記候補リスト内において上位の順番に割り当てられる、
ことを特徴とする請求項17に記載の情報処理装置。
A second device having a larger number of executable cooperation functions is assigned in a higher order in the candidate list.
The information processing apparatus according to claim 17.
前記候補リストには、各第2機器の名称、及び、各第2機器の画像の中の少なくとも1つが含まれる、
ことを特徴とする請求項17から請求項20何れかに記載の情報処理装置。
The candidate list includes at least one of a name of each second device and an image of each second device.
The information processing apparatus according to claim 17, wherein the information processing apparatus is an information processing apparatus.
前記各第2機器の画像は、前記各第2機器を撮影することで得られた画像、又は、前記各第2機器を模した画像である、
ことを特徴とする請求項21に記載の情報処理装置。
The image of each second device is an image obtained by photographing each second device, or an image imitating each second device.
The information processing apparatus according to claim 21.
前記各第2機器の画像が前記各第2機器を模した画像である場合において、前記候補リスト内にて第2機器が指定された場合、前記制御手段は、利用可能な第2機器の一覧の表示を制御し、その一覧の中から第2機器が指定された場合に前記連携機能に関する情報の表示を制御する、
ことを特徴とする請求項22に記載の情報処理装置。
In the case where the image of each second device is an image imitating each second device, and when the second device is designated in the candidate list, the control means lists the available second devices. Control the display of information related to the linkage function when the second device is designated from the list.
The information processing apparatus according to claim 22.
前記制御手段は、前記候補リスト内にて第2機器が指定された場合に、その指定された第2機器を利用する前記連携機能に関する情報の表示を制御する、
ことを特徴とする請求項17から請求項22何れかに記載の情報処理装置。
When the second device is designated in the candidate list, the control means controls display of information regarding the cooperation function that uses the designated second device.
The information processing apparatus according to claim 17, wherein the information processing apparatus is an information processing apparatus.
前記制御手段は、前記第1機器と前記第2機器が指定された場合、前記連携機能の表示を更に制御する、
ことを特徴とする請求項1から請求項22何れかに記載の情報処理装置。
The control means further controls the display of the cooperation function when the first device and the second device are designated,
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus.
前記制御手段は、前記第1機器と前記第2機器の指定の順番に応じて、前記連携機能を変えて表示を制御する、
ことを特徴とする請求項25に記載の情報処理装置。
The control means controls the display by changing the cooperation function according to the designation order of the first device and the second device.
The information processing apparatus according to claim 25.
前記制御手段は、前記第1機器と前記第2機器が指定された場合、前記第1機器及び前記第2機器とともに連携機能を実行できる第3機器への案内の通知を更に制御する、
ことを特徴とする請求項1から請求項26何れかに記載の情報処理装置。
The control means further controls notification of guidance to a third device that can execute a linkage function together with the first device and the second device when the first device and the second device are designated.
27. The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus.
前記制御手段は、前記第1機器と前記第2機器の指定の順番に応じて、前記第3機器を変えて前記案内の通知を制御する、
ことを特徴とする請求項27に記載の情報処理装置。
The control means controls the notification of the guidance by changing the third device according to the designation order of the first device and the second device.
The information processing apparatus according to claim 27.
前記第1機器と前記第2機器は、予め登録された機器群、識別された機器群、表示手段に表示された機器群、又は、表示手段の画面内において特定の領域に表示された機器群に含まれる機器である、
ことを特徴とする請求項1から請求項28何れかに記載の情報処理装置。
The first device and the second device are pre-registered device groups, identified device groups, device groups displayed on display means, or device groups displayed in a specific area on the screen of the display means. Equipment included in the
The information processing apparatus according to any one of claims 1 to 28, wherein:
前記第1画像は、前記第1機器を撮影することで得られた画像、又は、前記第1機器を模した画像である、
ことを特徴とする請求項1から請求項29何れかに記載の情報処理装置。
The first image is an image obtained by photographing the first device or an image imitating the first device.
The information processing apparatus according to any one of claims 1 to 29, wherein:
連携機能を実行するために必要な第1機能に紐付く第1画像が指定された場合、前記第1機能と共に前記連携機能を実行できる第2機能への案内の通知を制御する制御手段、
を有する情報処理装置。
Control means for controlling notification of guidance to a second function capable of executing the linkage function together with the first function when a first image associated with the first function necessary for executing the linkage function is designated;
An information processing apparatus.
前記制御手段は、前記第1機能と共に前記連携機能を実行できない機能に紐付く画像が更に指定された場合、前記案内の通知を制御する、
ことを特徴とする請求項31に記載の情報処理装置。
The control means controls the notification of the guidance when an image associated with a function that cannot execute the cooperation function together with the first function is further specified.
32. The information processing apparatus according to claim 31.
前記制御手段は、前記第1画像と、前記第1機能と共に前記連携機能を実行できない機能に紐付く画像と、を繋ぐ操作が行われた場合、前記案内の通知を制御する、
ことを特徴とする請求項32に記載の情報処理装置。
The control means controls the notification of the guidance when an operation for connecting the first image and an image associated with the function that cannot execute the cooperation function together with the first function is performed.
The information processing apparatus according to claim 32, wherein:
前記制御手段は、前記第1画像と、前記第1機能と共に前記連携機能を実行できない機能に紐付く画像と、が重ねられた場合、前記案内の通知を制御する、
ことを特徴とする請求項32に記載の情報処理装置。
The control unit controls the notification of the guidance when the first image and an image associated with a function that cannot execute the cooperation function together with the first function are superimposed.
The information processing apparatus according to claim 32, wherein:
前記第1機能と共に前記連携機能を実行できない機能は、当該機能の状況に応じて、前記第1機能と共に前記連携機能を実行できる機能に変更される、
ことを特徴とする請求項32から請求項34何れかに記載の情報処理装置。
The function that cannot execute the cooperation function together with the first function is changed to a function that can execute the cooperation function together with the first function according to the state of the function.
The information processing apparatus according to any one of claims 32 to 34, wherein:
前記第1機能と共に前記連携機能を実行できない機能は、使用中の機能であり、
前記制御手段は、前記第1機能と共に前記連携機能を実行できない機能が更に指定された場合に、当該機能と同種の機能であって前記第1機能と共に前記連携機能を実行できる機能を前記第2機能として優先的に案内の通知を行う、
ことを特徴とする請求項32から請求項35何れかに記載の情報処理装置。
The function that cannot execute the linkage function together with the first function is a function in use,
When the function that cannot execute the linkage function is specified together with the first function, the control means is a function of the same type as the function and that can execute the linkage function together with the first function. Priority notification as a function,
36. The information processing apparatus according to any one of claims 32 to 35, wherein:
前記制御手段は、前記第1画像が指定された場合、前記第1機能と共に前記連携機能を実行できる機能であって前記第2機能に含まれる1又は複数への前記案内の通知を制御する、
ことを特徴とする請求項31から請求項36何れかに記載の情報処理装置。
The control means is a function capable of executing the linkage function together with the first function when the first image is designated, and controls notification of the guidance to one or a plurality included in the second function.
The information processing apparatus according to any one of claims 31 to 36, wherein:
前記制御手段は、前記第1画像内の部分画像が指定された場合、前記部分画像に対応する機能と共に前記連携機能を実行できる前記第2機能への前記案内の通知を制御する、
ことを特徴とする請求項31から請求項36何れかに記載の情報処理装置。
The control means controls notification of the guidance to the second function capable of executing the cooperation function together with a function corresponding to the partial image when a partial image in the first image is designated.
The information processing apparatus according to any one of claims 31 to 36, wherein:
前記制御手段は、前記第2機能に紐付く第2画像への前記案内の通知を制御する、
ことを特徴とする請求項38に記載の情報処理装置。
The control means controls the notification of the guidance to the second image associated with the second function.
The information processing apparatus according to claim 38, wherein:
前記制御手段は、前記第1画像内の部分画像が指定された場合、前記部分画像に対応する機能と共に前記連携機能を実行できる機能であって前記第2機能に含まれる1又は複数の機能への前記案内の通知を制御する、
ことを特徴とする請求項38に記載の情報処理装置。
The control means is a function capable of executing the linkage function together with a function corresponding to the partial image when a partial image in the first image is designated, to one or a plurality of functions included in the second function Controlling the notification of the guidance,
The information processing apparatus according to claim 38, wherein:
前記制御手段は、前記第2機能に紐付く第2画像内の1又は複数の部分画像であって前記1又は複数の機能に紐付く1又は複数の部分画像への前記案内の通知を制御する、
ことを特徴とする請求項37又は請求項40何れかに記載の情報処理装置。
The control unit controls notification of the guidance to one or more partial images in the second image associated with the second function and associated with the one or more functions. ,
41. An information processing apparatus according to claim 37 or claim 40.
前記制御手段は、前記案内の通知として、前記第1画像から前記第2機能に紐付く第2画像への誘導指示の表示を制御する、
ことを特徴とする請求項31から請求項41何れかに記載の情報処理装置。
The control means controls the display of a guidance instruction from the first image to the second image associated with the second function as the guidance notification.
The information processing apparatus according to any one of claims 31 to 41, wherein
前記第1画像と複数の第2画像が表示手段に表示されている場合、前記制御手段は、前記第1画像から前記複数の第2画像への誘導指示を前記表示手段に表示させる、
ことを特徴とする請求項42に記載の情報処理装置。
When the first image and the plurality of second images are displayed on the display unit, the control unit causes the display unit to display a guidance instruction from the first image to the plurality of second images.
The information processing apparatus according to claim 42, wherein:
前記制御手段は、各第2機能に設定された優先順位に従った誘導指示を前記表示手段に表示させる、
ことを特徴とする請求項43に記載の情報処理装置。
The control means causes the display means to display a guidance instruction according to the priority order set for each second function.
The information processing apparatus according to claim 43, wherein:
前記制御手段は、前記案内の通知として、前記連携機能を実行できる第2機能に関する情報を示す候補リストの出力を制御する、
ことを特徴とする請求項31から請求項41何れかに記載の情報処理装置。
The control means controls the output of a candidate list indicating information on a second function capable of executing the cooperation function as the guidance notification.
The information processing apparatus according to any one of claims 31 to 41, wherein
前記候補リスト内の各第2機能の並びの順番は、各第2機能の過去の利用実績に基づいて決定される、
ことを特徴とする請求項45に記載の情報処理装置。
The order of the arrangement of each second function in the candidate list is determined based on the past usage record of each second function.
46. The information processing apparatus according to claim 45.
前記過去の利用実績は、前記第1画像を指定したユーザの利用実績、又は、他のユーザの利用実績を含む利用実績である、
ことを特徴とする請求項46に記載の情報処理装置。
The past use record is a use record including the use record of the user who specified the first image, or the use record of other users.
The information processing apparatus according to claim 46, wherein:
実行可能な連携機能の数が多い第2機能ほど、前記候補リスト内において上位の順番に割り当てられる、
ことを特徴とする請求項45に記載の情報処理装置。
A second function having a larger number of executable cooperation functions is assigned in a higher order in the candidate list.
46. The information processing apparatus according to claim 45.
前記候補リストには、各第2機能の名称、及び、各第2機能の画像の中の少なくとも1つが含まれる、
ことを特徴とする請求項45から請求項48何れかに記載の情報処理装置。
The candidate list includes at least one of a name of each second function and an image of each second function.
49. An information processing apparatus according to any one of claims 45 to 48, wherein:
前記制御手段は、前記候補リスト内にて第2機能が指定された場合、その指定された第2機能を利用する前記連携機能に関する情報の表示を制御する、
ことを特徴とする請求項45から請求項49何れかに記載の情報処理装置。
When the second function is designated in the candidate list, the control means controls display of information related to the cooperation function that uses the designated second function.
50. The information processing apparatus according to any one of claims 45 to 49, wherein:
前記制御手段は、前記第1機能と前記第2機能が指定された場合、前記連携機能の表示を更に制御する、
ことを特徴とする請求項31から請求項49何れかに記載の情報処理装置。
The control means further controls the display of the cooperation function when the first function and the second function are designated;
50. The information processing apparatus according to any one of claims 31 to 49, wherein:
前記制御手段は、前記第1機能と前記第2機能の指定の順番に応じて、前記連携機能を変えて表示を制御する、
ことを特徴とする請求項51に記載の情報処理装置。
The control means controls the display by changing the cooperation function according to the designation order of the first function and the second function.
52. The information processing apparatus according to claim 51, wherein:
前記制御手段は、前記第1機能と前記第2機能が指定された場合、前記第1機能及び前記第2機能とともに連携機能を実行できる第3機能への案内の通知を更に制御する、
ことを特徴とする請求項31から請求項52何れかに記載の情報処理装置。
The control means further controls notification of guidance to a third function capable of executing a linkage function together with the first function and the second function when the first function and the second function are designated.
53. The information processing apparatus according to any one of claims 31 to 52, wherein:
前記制御手段は、前記第1機能と前記第2機能の指定の順番に応じて、前記第3機能を変えて前記案内の通知を制御する、
ことを特徴とする請求項53に記載の情報処理装置。
The control means controls the notification of the guidance by changing the third function according to the designation order of the first function and the second function.
54. The information processing apparatus according to claim 53.
前記第1機能と前記第2機能は、予め登録された機能群、識別された1又は複数の機器が有する機能群、表示手段に表示された機能群、又は、表示手段の画面内において特定の領域に表示された機能群に含まれる機能である、
ことを特徴とする請求項31から請求項54何れかに記載の情報処理装置。
The first function and the second function are specified in a function group registered in advance, a function group included in one or more identified devices, a function group displayed on a display unit, or a screen of the display unit. It is a function included in the function group displayed in the area.
The information processing apparatus according to any one of claims 31 to 54, wherein:
コンピュータを、
連携機能を実行するために必要な第1機器に紐付く第1画像が指定された場合、前記第1機器と共に前記連携機能を実行できる第2機器への案内の通知を制御する制御手段、
として機能させるプログラム。
Computer
Control means for controlling notification of guidance to a second device capable of executing the cooperation function together with the first device, when a first image associated with the first device necessary for executing the cooperation function is designated;
Program to function as.
コンピュータを、
連携機能を実行するために必要な第1機能に紐付く第1画像が指定された場合、前記第1機能と共に前記連携機能を実行できる第2機能への案内の通知を制御する制御手段、
として機能させるプログラム。
Computer
Control means for controlling notification of guidance to a second function capable of executing the linkage function together with the first function when a first image associated with the first function necessary for executing the linkage function is designated;
Program to function as.
JP2017002491A 2016-10-19 2017-01-11 Information processing device and program Pending JP2018112860A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017002491A JP2018112860A (en) 2017-01-11 2017-01-11 Information processing device and program
US15/641,871 US10440208B2 (en) 2016-10-19 2017-07-05 Information processing apparatus with cooperative function identification
CN201710938467.4A CN108307084B (en) 2017-01-11 2017-09-30 Information processing apparatus, information processing method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017002491A JP2018112860A (en) 2017-01-11 2017-01-11 Information processing device and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018096311A Division JP2018129097A (en) 2018-05-18 2018-05-18 Information processing apparatus and program

Publications (1)

Publication Number Publication Date
JP2018112860A true JP2018112860A (en) 2018-07-19

Family

ID=62869993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017002491A Pending JP2018112860A (en) 2016-10-19 2017-01-11 Information processing device and program

Country Status (2)

Country Link
JP (1) JP2018112860A (en)
CN (1) CN108307084B (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095500A (en) * 2018-12-13 2020-06-18 シャープ株式会社 Display unit, program, and display method for display unit

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182183A (en) * 2010-03-01 2011-09-15 Panasonic Corp Device information display apparatus, television, equipment information display method, program, and recording medium
JP2011253370A (en) * 2010-06-02 2011-12-15 Sony Corp Information processing device, information processing method and program
JP2012213144A (en) * 2011-03-18 2012-11-01 Ricoh Co Ltd Information processor, information processing system, device cooperation method and program
WO2013061517A1 (en) * 2011-10-27 2013-05-02 パナソニック株式会社 Apparatus for executing device coordination service, method for executing device coordination service, and program for executing device coordination service
JP6024848B1 (en) * 2016-05-06 2016-11-16 富士ゼロックス株式会社 Information processing apparatus and program
JP6052458B1 (en) * 2016-06-29 2016-12-27 富士ゼロックス株式会社 Information processing apparatus and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6366239B2 (en) * 2013-08-14 2018-08-01 キヤノン株式会社 Image forming apparatus, control method therefor, and program
JP6303709B2 (en) * 2014-03-28 2018-04-04 ブラザー工業株式会社 Image processing apparatus, communication system, and relay apparatus
JP6511946B2 (en) * 2015-05-11 2019-05-15 富士ゼロックス株式会社 INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING PROGRAM

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182183A (en) * 2010-03-01 2011-09-15 Panasonic Corp Device information display apparatus, television, equipment information display method, program, and recording medium
JP2011253370A (en) * 2010-06-02 2011-12-15 Sony Corp Information processing device, information processing method and program
JP2012213144A (en) * 2011-03-18 2012-11-01 Ricoh Co Ltd Information processor, information processing system, device cooperation method and program
WO2013061517A1 (en) * 2011-10-27 2013-05-02 パナソニック株式会社 Apparatus for executing device coordination service, method for executing device coordination service, and program for executing device coordination service
JP6024848B1 (en) * 2016-05-06 2016-11-16 富士ゼロックス株式会社 Information processing apparatus and program
JP6052458B1 (en) * 2016-06-29 2016-12-27 富士ゼロックス株式会社 Information processing apparatus and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095500A (en) * 2018-12-13 2020-06-18 シャープ株式会社 Display unit, program, and display method for display unit
JP7271157B2 (en) 2018-12-13 2023-05-11 シャープ株式会社 DISPLAY DEVICE, PROGRAM AND DISPLAY METHOD OF DISPLAY DEVICE

Also Published As

Publication number Publication date
CN108307084A (en) 2018-07-20
CN108307084B (en) 2022-06-24

Similar Documents

Publication Publication Date Title
JP6052459B1 (en) Information processing apparatus and program
JP6024848B1 (en) Information processing apparatus and program
JP6052458B1 (en) Information processing apparatus and program
JP6179653B1 (en) Information processing apparatus and program
JP2019029806A (en) Information processing apparatus and program
US10440208B2 (en) Information processing apparatus with cooperative function identification
JP6146528B1 (en) Information processing apparatus and program
JP6160761B1 (en) Information processing apparatus and program
JP6493466B2 (en) Information processing apparatus and program
JP7235072B2 (en) Information processing device, program and control method
JP6075502B1 (en) Information processing apparatus and program
JP6075501B1 (en) Information processing apparatus and program
JP6327387B2 (en) Information processing apparatus and program
JP6443498B2 (en) Information processing apparatus and program
JP6972738B2 (en) Information processing equipment and programs
JP6432612B2 (en) Information processing apparatus and program
JP2018129097A (en) Information processing apparatus and program
JP2018112860A (en) Information processing device and program
JP2017201515A (en) Information processing device and program
JP6958680B2 (en) Information processing equipment and programs
JP6075503B1 (en) Information processing apparatus and program
JP6455551B2 (en) Information processing apparatus and program
JP6443497B2 (en) Information processing apparatus and program
JP6624242B2 (en) Information processing device and program
JP2019068442A (en) Information processing apparatus and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180829

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181120