JP2019049899A - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP2019049899A
JP2019049899A JP2017174218A JP2017174218A JP2019049899A JP 2019049899 A JP2019049899 A JP 2019049899A JP 2017174218 A JP2017174218 A JP 2017174218A JP 2017174218 A JP2017174218 A JP 2017174218A JP 2019049899 A JP2019049899 A JP 2019049899A
Authority
JP
Japan
Prior art keywords
image
function
information
file
cooperation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017174218A
Other languages
English (en)
Other versions
JP6981118B2 (ja
Inventor
賢吾 得地
Kengo Tokuchi
賢吾 得地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2017174218A priority Critical patent/JP6981118B2/ja
Priority to US15/990,834 priority patent/US10416933B2/en
Priority to CN201811018284.1A priority patent/CN109495669B/zh
Publication of JP2019049899A publication Critical patent/JP2019049899A/ja
Priority to US16/568,291 priority patent/US11119706B2/en
Application granted granted Critical
Publication of JP6981118B2 publication Critical patent/JP6981118B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32502—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device in systems having a plurality of input or output devices
    • H04N1/32523—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device in systems having a plurality of input or output devices a plurality of output devices
    • H04N1/32539—Detecting or indicating the status of the output devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/121—Facilitating exception or error detection and recovery, e.g. fault, media or consumables depleted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1224—Client or server resources management
    • G06F3/1226—Discovery of devices having required properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1229—Printer resources management or printer maintenance, e.g. device status, power levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1229—Printer resources management or printer maintenance, e.g. device status, power levels
    • G06F3/1232—Transmitting printer device capabilities, e.g. upon request or periodically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1236—Connection management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1259—Print job monitoring, e.g. job status
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/126—Job scheduling, e.g. queuing, determine appropriate device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285—Remote printer device, e.g. being remote from client or server
    • G06F3/1288—Remote printer device, e.g. being remote from client or server in client-server-printer device configuration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292—Mobile client, e.g. wireless printing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32502—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device in systems having a plurality of input or output devices
    • H04N1/32545—Distributing a job or task among a plurality of input devices or a plurality of output devices
    • H04N1/3255—Hybrid jobs, i.e. performing different parts of the same job on different devices, e.g. colour and B/W pages on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0074—Arrangements for the control of a still picture apparatus by the connected apparatus
    • H04N2201/0075—Arrangements for the control of a still picture apparatus by the connected apparatus by a user operated remote control device, e.g. receiving instructions from a user via a computer terminal or mobile telephone handset
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3245—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of image modifying data, e.g. handwritten addenda, highlights or augmented reality information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Facsimiles In General (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】実行可能な連携機能の情報を提供する。【解決手段】操作アシスタントに複数の機器の情報が提供された場合、複数の機器を利用して実行可能な連携機能の通知が制御される。【選択図】図８

Description

本発明は、情報処理装置及びプログラムに関する。
特許文献１には、画像形成装置に関する撮像画像に付加情報を重畳させた拡張現実画像を生成して表示する技術が開示されている。
特許文献２には、画像形成装置に操作パネルが装着されていない状態で、撮像手段によって撮像されて表示部に表示されている映像に、操作方法を示す画像を合成して表示する技術が開示されている。
特開２０１４−４８６７２号公報 特開２０１２−９６４４８号公報
本発明の目的は、実行可能な連携機能の情報を提供することにある。
請求項１に記載の発明は、操作アシスタントに複数の機器の情報を送ることで複数の機器を利用して実行可能な連携機能の通知を制御する制御手段を有する情報処理装置である。
請求項２に記載の発明は、操作アシスタントに複数の機能の情報を送ることで複数の機能を利用して実行可能な連携機能の通知を制御する制御手段を有する情報処理装置である。
請求項３に記載の発明は、操作アシスタントに機器と機能の情報を送ることで機器と機能を利用する連携機能の通知を制御する制御手段を有する情報処理装置である。
請求項４に記載の発明は、操作アシスタントに複数のファイルの情報を送ることで連携機能の通知を制御する制御手段を有する情報処理装置である。
請求項５に記載の発明は、操作アシスタントに複数のソフトウェアの情報を送ることで複数のソフトウェアを利用して実行可能な連携機能の通知を制御する制御手段を有する情報処理装置である。
請求項６に記載の発明は、機器、機能、ファイル及びソフトウェアの中の少なくとも２つの組み合わせの情報を操作アシスタントに送ることで前記組み合わせを利用して実行可能な連携機能の通知を制御する制御手段を有する情報処理装置である。
請求項７に記載の発明は、前記制御手段は、前記情報としての画像が前記操作アシスタントに紐付く画像に繋げられた場合、連携機能の通知を制御する、ことを特徴とする請求項１から請求項６何れかに記載の情報処理装置である。
請求項８に記載の発明は、前記制御手段は、前記情報としての画像が前記操作アシスタントに紐付く画像に重ねられた場合、連携機能の通知を制御する、ことを特徴とする請求項１から請求項６何れかに記載の情報処理装置である。
請求項９に記載の発明は、前記制御手段は、前記操作アシスタントに紐付く画像に重ねられた前記情報としての複数の画像によって合成画像を更に生成する、ことを特徴とする請求項８に記載の情報処理装置である。
請求項１０に記載の発明は、前記情報としての画像を前記操作アシスタントに紐付く画像に重ねる操作がユーザによって行われた場合、前記制御手段は、前記情報としての画像が前記操作アシスタントに紐付く画像に吸い込まれる表示演出を更に実行する、ことを特徴とする請求項８又は請求項９に記載の情報処理装置である。
請求項１１に記載の発明は、前記制御手段は、連携機能の実行が不可能な場合、前記操作アシスタントに紐付く画像から前記情報としての画像を吐き出す表示演出を更に実行する、ことを特徴とする請求項１０に記載の情報処理装置である。
請求項１２に記載の発明は、前記情報としての画像を前記操作アシスタントに紐付く画像に重ねる操作がユーザによって行われた場合、前記制御手段は、前記操作アシスタントが表示されている位置で前記情報としての画像が消える演出を更に実行する、ことを特徴とする請求項８又は請求項９に記載の情報処理装置である。
請求項１３に記載の発明は、前記制御手段は、連携機能の実行が不可能な場合、前記操作アシスタントに紐付く画像から前記情報としての画像を再表示する演出を更に実行する、ことを特徴とする請求項１２に記載の情報処理装置である。
請求項１４に記載の発明は、前記制御手段は、制限時間内に前記情報が前記操作アシスタントに送られた場合、連携機能の通知を制御する、ことを特徴とする請求項１から請求項１３何れかに記載の情報処理装置である。
請求項１５に記載の発明は、前記制御手段は、前記情報を前記操作アシスタントに送る順番に応じた連携機能の通知を制御する、ことを特徴とする請求項１から請求項１４何れかに記載の情報処理装置である。
請求項１６に記載の発明は、前記制御手段は、前記情報としての画像中の部分が前記操作アシスタントに送られた場合、前記部分に応じた連携機能の通知を制御する、ことを特徴とする請求項１から請求項１５に記載の情報処理装置である。
請求項１７に記載の発明は、前記操作アシスタントは学習機能を有しており、前記制御手段は、前記操作アシスタントが得た情報に応じて連携機能の通知を更に変える、ことを特徴とする請求項１から請求項１６何れかに記載の情報処理装置である。
請求項１８に記載の発明は、コンピュータを、操作アシスタントに複数の機器の情報を提供することで複数の機器を利用して実行可能な連携機能の通知を制御する制御手段、を実行させるプログラムである。
請求項１，２，３，４，５，６，１８に記載の発明によれば、実行可能な連携機能の情報が提供される。
請求項７に記載の発明によれば、画像を繋げる操作によって、連携機能の情報が提供される。
請求項８，９に記載の発明によれば、画像を重ねる操作によって、連携機能の情報が提供される。
請求項１０，１２に記載の発明によれば、画像が操作アシスタントに紐付く画像に重ねられる様子がユーザにとって明確になる。
請求項１１，１３に記載の発明によれば、連携機能の実行が不可能なことがユーザにとって明確になる。
請求項１４に記載の発明によれば、制限時間によって連携機能の通知が制御される。
請求項１５に記載の発明によれば、操作の順番に応じた連携機能の情報が提供される。
請求項１６に記載の発明によれば、部分に応じた連携機能の情報が提供される。
請求項１７に記載の発明によれば、操作アシスタントが得た情報に応じた連携機能の情報が提供される。
本発明の第１実施形態に係る機器システムの構成を示すブロック図である。 端末装置の構成を示すブロック図である。 画像形成装置の構成を示すブロック図である。 サーバの構成を示すブロック図である。 画像形成装置の外観を示す模式図である。 機器機能管理テーブルを示す図である。 連携機能管理テーブルを示す図である。 画面を示す図である。 画面を示す図である。 機器システムの動作を示すシーケンス図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 変形例３に係る連携機能管理テーブルを示す図である。 画面を示す図である。 画面を示す図である。 変形例４に係る機器機能管理テーブルを示す図である。 画面を示す図である。 画面を示す図である。 変形例４に係る機器機能管理テーブルの別の例を示す図である。 変形例４に係る連携機能管理テーブルを示す図である。 画面を示す図である。 第２実施形態に係る連携機能管理テーブルを示す図である。 画面を示す図である。 画面を示す図である。 第３実施形態に係る連携機能管理テーブルを示す図である。 画面を示す図である。 第４実施形態に係る連携機能管理テーブルを示す図である。 画面を示す図である。 画面を示す図である。
＜第１実施形態＞
図１を参照して、本発明の第１実施形態に係る情報処理システムとしての機器システムについて説明する。図１には、第１実施形態に係る機器システムの一例が示されている。
第１実施形態に係る機器システムは、一例として、端末装置１０と、複数の機器（例えば機器１２，１４）と、外部装置の一例としてのサーバ１６と、を含む。図１に示す例では、端末装置１０、機器１２，１４及びサーバ１６は、ネットワーク等の通信経路Ｎを介して互いに通信する機能を備えている。もちろん、端末装置１０、機器１２，１４及びサーバ１６は、通信経路Ｎを利用せずに、それぞれ異なる通信経路を介して他の装置と通信を行ってもよい。図１に示す例では、２つの機器（機器１２，１４）が機器システムに含まれているが、３つ以上の機器が機器システムに含まれていてもよい。また、複数の端末装置１０や複数のサーバ１６が、機器システムに含まれていてもよい。なお、サーバ１６は機器システムに含まれていなくてもよい。
端末装置１０は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、スマートフォン、携帯電話、等の装置であり、他の装置との間でデータを送受信する機能を有する。また、端末装置１０は、ウェアラブル端末（腕時計型端末、リストバンド型端末、眼鏡型端末、指輪型端末、コンタクトレンズ型端末、体内埋め込み型端末、ヒアラブル端末等）であってもよい。端末装置１０は、例えば、機器の利用時にユーザインターフェース部（ＵＩ部）として機能する。
機器１２，１４は機能を有する装置であり、例えば、画像形成機能を備えた画像形成装置、ＰＣ、タブレットＰＣ、スマートフォン、携帯電話、ロボット（人型ロボット、人以外の動物型ロボット、それら以外のロボット等）、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器、時計、監視カメラ、自動車、二輪車、航空機（例えば無人航空機（いわゆるドローン））、ゲーム機、各種のセンシング機器（例えば温度センサ、湿度センサ、電圧センサ、電流センサ等）等の装置である。機器１２，１４は、ユーザに対してアウトプットを出力する機器（例えば画像形成装置やＰＣ等）であってもよいし、ユーザに対してアウトプットを出力しない機器（例えばセンシング機器）であってもよい。また、後述する連携機能を実行する複数の機器の中のすべての機器が、ユーザに対してアウトプットを出力する機器であってもよいし、一部の機器がユーザに対してアウトプットを出力する機器であり、他の機器がユーザに対してアウトプットを出力しない機器であってもよいし、すべての機器がユーザに対してアウトプットを出力しない機器であってもよい。機器１２，１４の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、本実施形態に係る機器の範疇に含まれてもよい。また、機器１２，１４は、他の装置との間でデータを送受信する機能を有する。
サーバ１６は、データの管理、ユーザ情報の管理、機器１２，１４の管理等を行う装置である。また、サーバ１６は、他の装置との間でデータを送受信する機能を有する。
端末装置１０においてユーザの操作を補助する操作アシスタント（パーソナルアシスタント）が用いられる。操作アシスタントは、例えば、ユーザから問い合わせを受け、その問い合わせ内容を解析することで、その問い合わせに対する回答を作成してユーザに提供する機能を有する。操作アシスタントは例えばプログラムを実行することで実現され、そのプログラムは例えば端末装置１０にインストールされている。もちろん、操作アシスタントに関するプログラムは、サーバ１６等の外部装置にインストールされ、操作アシスタントの機能が、サーバ１６から端末装置１０に対して提供されてもよい。また、操作アシスタントは人工知能（ＡＩ）によって実現されてもよい。例えば、操作アシスタントは、人工知能による学習機能を有し、その学習機能によって、人に近い判断を行う能力を有していてもよい。また、ニューラルネットワーク型のディープラーニングが利用されてもよいし、部分的に学習分野を強化する強化学習等が利用されてもよいし、その他、遺伝的アルゴリズム、クラスタ分析、自己組織化マップ、アンサンブル学習、等が利用されてもよい。もちろん、これら以外の人工知能に関する技術が利用されてもよい。
操作アシスタントを利用することで、各機器が有する機能の表示や、複数の機能を利用して実行可能な連携機能の表示等が制御される。各機器が有する機能や連携機能の特定処理は、端末装置１０によって行われてもよいし、サーバ１６等の外部装置によって行われてもよい。以下では、端末装置１０によって上記の特定処理が行われるものとする。
以下、図２を参照して、端末装置１０の構成について詳しく説明する。
通信部１８は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部１８は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。通信部１８は、例えば、１又は複数の種類の通信方式に対応しており、通信相手に適した通信方式（つまり、通信相手が対応している通信方式）に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Ｗｉ−Ｆｉ（登録商標）通信、近接無線通信（例えばＮＦＣ（Near Field Communication）等）、等である。近接無線通信としては、Ｆｅｌｉｃａ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）、ＲＦＩＤ（Radio Frequency Identifier）等が用いられる。もちろん、別の方式の無線通信が近接無線通信として用いられてもよい。通信部１８は、例えば、通信相手に応じて通信方式や周波数帯域を切り替えてもよいし、周囲の環境に応じて通信方式や周波数帯域を切り替えてもよい。
ＵＩ部２０はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース（例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む）であってもよい。また、ＵＩ部２０は、マイク等の集音部やスピーカ等の音声発生部を含んでいてもよい。この場合、音声入力によって情報が端末装置１０に入力されてもよいし、音声によって情報が発せられてもよい。
ＵＩ部２０の表示部には、例えば、カメラによって撮影された画像や、利用対象の機器（例えば、単独で利用される機器や連携対象の機器）として識別された機器に紐付く画像、機能に紐付く画像、等が表示されてもよい。機器に紐付く画像は、カメラによって撮影された当該機器を表わす画像（静止画像又は動画像）であってもよいし、当該機器を模式的に表す画像（例えばアイコン）であってもよい。模式的に表す画像のデータは、例えば、端末装置１０の制御部２６によって作成されてもよいし、端末装置１０の記憶部２４に予め記憶されていてもよいし、サーバ１６に記憶されてサーバ１６から端末装置１０に提供されてもよいし、別の装置に記憶されて当該別の装置から端末装置１０に提供されてもよい。機能に紐付く画像は、例えば、その機能を表わすアイコン等の画像である。
撮影手段としてのカメラ２２は、撮影対象を撮影することで画像データ（例えば静止画像データや動画像データ）を生成する。画像は例えばＵＩ部２０の表示部に表示される。表示部に表示された画像がユーザによって操作されてもよい。なお、外部のカメラによって撮影された画像データが、通信経路を介して端末装置１０に送られ、その画像がＵＩ部２０の表示部に表示されてもよい。この場合も、その画像がユーザによって操作されてもよい。
記憶部２４はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部２４には、例えば、機器機能管理情報、連携機能管理情報、各種のデータ、各種のプログラム（例えば、ＯＳ（Operating System）、操作アシスタントを実現するためのプログラム、各種のアプリケーションプログラム等）、各機器のアドレスを示す情報（機器アドレス情報）、サーバ１６のアドレスを示す情報（サーバアドレス情報）、識別された機器に関する情報、識別された連携対象の機器に関する情報、識別された機器が有する機能に関する情報、連携機能に関する情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。なお、操作アシスタントを実現するためのプログラムはサーバ１６等の外部装置に記憶され、そのプログラム自体が外部装置によって実行されることで、操作アシスタントの機能が外部装置から端末装置１０に提供されてもよい。この場合、操作アシスタントを実現するためのプログラムは記憶部２４に記憶されていなくてもよい。
以下、機器機能管理情報と連携機能管理情報について説明する。
機器機能管理情報は、各機器が有する機能を管理するための情報であり、例えば、機器を識別するためのデバイス識別情報（機器識別情報）と、当該機器が有する機能を示す機能情報と、の対応付けを示す情報である。デバイス識別情報は、例えば、機器ＩＤ、機器名称、機器の種類を示す情報、機器の型番号、機器を管理するための情報（例えば資産管理番号等）、機器が設置されている位置を示す情報（機器の位置情報）、機器に紐付く機器画像、機器のアドレス情報、等である。機器画像は、例えば機器を表す外観画像である。外観画像は、機器の外側（例えば機器の筐体）を表す画像であってもよいし、筐体を開けて内部が外から見える状態（例えば内部構造）を表す画像であってもよいし、梱包用のシート等によって機器が覆われている状態を表す画像であってもよい。機器画像は、機器を撮影することで生成された画像（機器の外側を表す画像や内部を表す画像等）であってもよいし、機器を模した画像（例えばアイコン等）であってもよい。機能情報は、例えば、機能ＩＤや機能名称等である。例えば、機器１２が画像形成装置であって、その画像形成装置が、プリント機能、スキャン機能及びコピー機能を有する場合、当該画像形成装置のデバイス識別情報には、一例として、プリント機能を示す機能情報、スキャン機能を示す機能情報、及び、コピー機能を示す機能情報が対応付けられている。機器機能管理情報を参照することで、各機器が有する機能が特定（識別）される。
機器機能管理情報によって管理されている機器は、例えば機器システムに含まれる機器（例えば機器１２，１４）である。もちろん、機器システムに含まれない機器が機器機能管理情報によって管理されてもよい。例えば、端末装置１０は、機器システムに含まれていない新たな機器に関する情報（デバイス識別情報と機能情報とを含む情報）を取得し、機器機能管理情報に新たに登録してもよい。機器に関する情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。また、端末装置１０は、任意のタイミング、定期的、又は、管理者等によって指定されたタイミング等で、機器機能管理情報を更新してもよい。これにより、更新前には機器が有していなかったが更新後には機器が有することになった機能を示す機能情報が、機器機能管理情報に登録される場合がある。同様に、更新前には機器が有していたが更新後には機器が有していない機能を示す機能情報が、機器機能管理情報から削除され、又は、使用不可な情報として登録される場合がある。更新用の情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。もちろん、端末装置１０自体が、機器に関する情報を取得して機器機能管理情報の生成や更新を実行せずに、サーバ１６等の外部装置が、機器に関する情報を取得して機器機能管理情報の生成や更新を実行してもよい。この場合、外部装置によって生成や更新された機器機能管理情報が、外部装置から端末装置１０に送信されて記憶部２４に記憶される。
連携機能管理情報は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。複数の機能を連携させることによって、１又は複数の連携機能が実行される。連携機能は、例えば、１つの機器（例えば機器１２）が有する複数の機能を連携させることによって実行可能な機能であってもよいし、複数の機器（例えば機器１２，１４）が有する複数の機能を連携させることによって実行可能な機能であってもよい。また、操作指示を出している端末装置１０も連携対象の機器として利用され、端末装置１０が有する機能も連携機能の一部として利用されてもよい。
連携機能は、ハードウェアとしての機器を利用せずに実行される機能であってもよい。例えば、連携機能は、複数のソフトウェアを連携させることによって実行される機能であってもよい。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実行される機能であってもよい。
連携機能管理情報は、例えば、連携機能に利用される各機能を示す機能情報の組み合わせと、当該連携機能を示す連携機能情報と、の対応付けを示す情報である。連携機能情報は、例えば、連携機能ＩＤや連携機能名称等である。単独の機能が更新された場合、その更新に伴って連携機能管理情報も更新される。これにより、更新前には互いに連携不可能であった複数の機能による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。更新後に利用可能になった連携機能を示す連携機能情報が、連携機能管理情報に登録され、更新後に利用不可能になった連携機能を示す連携機能情報が、連携機能管理情報から削除され、又は、使用不可な情報として登録される。連携機能管理情報の更新は、端末装置１０によって行われてもよいし、サーバ１６等の外部装置によって行われてもよい。外部装置によって連携機能管理情報の更新が実行された場合、更新された連携機能管理情報が外部装置から端末装置１０に送信されて記憶部２４に記憶される。
複数の機器を連携させる場合、例えば、連携機能管理情報は、複数の機器が有する複数の機能を利用する連携機能を管理するための情報であり、連携機能に利用される各機器を識別するためのデバイス識別情報の組み合わせと、連携機能情報と、の対応付けを示す情報である。また、複数のアウトプット機能を有する機器（ユーザに対してアウトプットを出力する機器であって複数のアウトプット機能を有する機器）とアウトプット機能を有していないセンシング機器（ユーザに対してアウトプットを出力しない機器）とを連携させる場合、連携機能管理情報には、特定のセンシング機器と当該複数のアウトプット機能の中の特定のアウトプット機能との組み合わせを示す情報が含まれてもよい。こうすることで、複数のアウトプット機能の中から、特定のセンシング機器と組み合わせて使用されるアウトプット機能が特定される。上記のように、機器機能管理情報が更新された場合、その更新に伴って、連携機能管理情報も更新される。これにより、更新前には互いに連携不可能であった複数の機器による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。
連携機能は、互いに異なる複数の機能を連携させることによって実行可能な機能であってもよいし、同一の機能を連携させることによって実行可能な機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、連携対象の機器が有する機能のうち、同じ機能を利用することによって利用できる機能であってもよいし、互いに異なる機能を組み合わせることによって利用できる機能であってもよい。例えば、プリント機能を有する機器（プリンタ）とスキャン機能を有する機器（スキャナ）を連携させることで、連携機能としてのコピー機能が実現される。すなわち、プリント機能とスキャン機能を連携させることでコピー機能が実現される。この場合、連携機能としてのコピー機能と、プリント機能及びスキャン機能の組み合わせと、が対応付けられている。連携機能管理情報においては、例えば、連携機能としてのコピー機能を示す連携機能情報と、プリント機能を有する機器を識別するためのデバイス識別情報及びスキャン機能を有する機器を識別するためのデバイス識別情報の組み合わせと、が対応付けられる。
連携機能の概念の範疇には、複数の機能や複数の機器を連携させることで新たな機能の実行が可能となる合体機能が含まれてもよい。例えば、複数のディスプレイを組み合わせることで、合体機能としての拡張表示機能が実現されてもよい。別の例として、テレビとレコーダーを組み合わせることで、合体機能としての録画機能が実現されてもよい。その録画機能は、テレビに表示されている画像を録画する機能であってもよい。また、複数のカメラを組み合わせることで、合体機能としての撮影領域拡張機能が実現されてもよい。その拡張機能は、例えば各カメラの撮影領域を繋ぎ合せて撮影する機能である。また、電話と翻訳機や翻訳ソフトを組み合わせることで、合体機能としての翻訳通話機能（電話を介した会話が翻訳される機能）が実現されてもよい。このように、連携機能の概念の範疇には、互いに同一の種類の機器や機能を連携させることで実現可能となる機能や、互いに異なる種類の機器や機能を連携させることで実現可能となる機能が含まれる。
制御部２６は、端末装置１０の各部の動作を制御する。制御部２６は、例えば、通信部１８による通信の制御、ＵＩ部２０の表示部への情報の表示の制御、等を行う。また、制御部２６は特定部２８を含む。
特定部２８は、ユーザによって指定された機器が有する機能や、ユーザによって指定された複数の機器を利用して実行可能な連携機能を特定する機能を有する。特定部２８は、例えば操作アシスタントによって実現される。もちろん、特定部２８は、操作アシスタントによって実現されずに、他のプログラム等によって実現されてもよい。
例えば、特定部２８は、ユーザによって指定された機器を識別するためのデバイス識別情報を受け、記憶部２４に記憶されている機器機能管理情報において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、機器が有する機能が特定（識別）される。
制御部２６は、特定部２８によって特定された機能に関する情報（例えば、機能情報や機能の説明情報等）の通知（案内）の制御を行う。制御部２６は、その通知として、その機能に関する情報をＵＩ部２０の表示部に表示させてもよいし、スピーカ等を用いることで、その機能に関する情報を音声情報として発してもよい。また、制御部２６は、その機能の実行を制御してもよい。また、ユーザによる機器の指定は、ＵＩ部２０の表示部の画面上で行われてもよいし、音声によって行われてもよい。例えば、機器に紐付く画像がＵＩ部２０の画面に表示されている場合において、ユーザが、その画面上で画像を指定することで機器を指定してもよい。別の例として、機器に紐付く画像がＵＩ部２０の画面に表示されているか否かに関わらず、ユーザが音声によって機器を指定してもよい。例えば、ユーザが機器名を音声によって発した場合、その音声はマイク等の集音部によって集音され、機器名を示す音声情報が端末装置１０に入力される。特定部２８は、その機器名を有する機器がユーザによって指定されたと判断して機能を特定する。このように、機器を指定するための操作と機能の通知は、画面上の表示によって行われてもよいし、音声によって行われてもよい。画面上の表示と音声とを組み合わせてもよい。例えば、画面上でユーザが機器に紐付く画像を指定することで機器が指定され、機能を示す情報が画面に表示されてもよい。別の例として、画面上でユーザが機器に紐付く画像を指定することで機器が指定され、機能を示す情報が音声によって発せられてもよい。更に別の例として、機器名が音声情報として端末装置１０に入力されることで機器が指定され、機能を示す情報が画面に表示されてもよい。更に別の例として、機器名が音声情報として端末装置１０に入力されることで機器が指定され、機能を示す情報が音声によって発せられてもよい。
なお、機能の特定処理はサーバ１６によって行われてもよい。この場合、端末装置１０からサーバ１６にデバイス識別情報が送信され、サーバ１６に設けられた特定部２８によって、当該デバイス識別情報に対応付けられている機能を示す機能情報が特定される。なお、サーバ１６によって特定処理が行われる場合、サーバ１６には機器機能管理情報が記憶されている。機能に関する情報は、サーバ１６から端末装置１０に送信されてＵＩ部２０の表示部に表示されてもよいし、音声情報として発せられてもよい。
また、特定部２８は、連携対象の各機器を識別するためのデバイス識別情報を受け、記憶部２４に記憶されている連携機能管理情報において各デバイス識別情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定する。これにより、連携対象の各機器が有する機能を連携させることによって実行可能となる連携機能が特定（識別）される。制御部２６は、特定された連携機能に関する情報（例えば、連携機能情報や連携機能の説明情報等）の通知（案内）の制御を行う。制御部２６は、連携機能に関する情報をＵＩ部２０の表示部に表示させてもよいし、音声情報として発してもよい。なお、上記と同様に、連携対象の各機器の指定は、画面上にて行われてもよいし、音声によって行われてもよい。
なお、連携機能の特定処理はサーバ１６によって行われてもよい。この場合、端末装置１０からサーバ１６に複数のデバイス識別情報が送信され、サーバ１６に設けられた特定部２８によって、当該複数のデバイス識別情報に対応付けられている連携機能を示す連携機能情報が特定される。なお、サーバ１６によって特定処理が行われる場合、サーバ１６には連携機能管理情報が記憶されている。連携機能に関する情報は、サーバ１６から端末装置１０に送信されてＵＩ部２０の表示部に表示されてもよいし、音声情報として発せられてもよい。
例えば、１つの機器が指定された場合、当該機器が有する機能が特定され、複数の機器が指定された場合、当該複数の機器を利用して実行可能な連携機能が特定される。
また、特定部２８は、連携機能に利用される各機能を示す機能情報を受け、連携機能管理情報において各機能情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定してもよい。これにより、連携対象の各機能を連携させることによって実行可能な連携機能が特定（識別）される。この特定処理もサーバ１６によって行われ、その処理の結果がＵＩ部２０の表示部に表示されてもよいし、音声情報として発せられてもよい。
なお、ユーザ毎に、ユーザによって利用可能な機能（機器が有する単独機能や連携機能）が管理されてもよい。この管理は、端末装置１０によって行われてもよいし、サーバ１６等の外部装置によって行われてもよい。ユーザによって利用可能な機能は、例えば、ユーザに無償で提供された機能、ユーザに有償で提供されてユーザによって購入された機能、等である。ユーザ毎に、ユーザが利用可能な機能を示す利用可能機能情報（例えば機能購入履歴情報）が作成されて管理されてもよい。利用可能な機能の管理が端末装置１０によって行われる場合、利用可能機能情報は記憶部２４に記憶され、その管理がサーバ１６等の外部装置によって行われる場合、利用可能機能情報は外部装置に記憶される。もちろん、無料で利用できる機能、追加アップデート機能、管理者によって特別に管理されている機能等もあるため、一概に購入の有無によって機能の利用可能が判断されなくてもよい。機能の購入処理は、例えば、サーバ１６等の外部装置によって行われる。
利用可能機能管理情報は、各ユーザが利用可能な機能を管理するための情報であり、例えば、ユーザを識別するためのユーザ識別情報と、当該ユーザが利用可能な機能を示す機能情報（連携機能情報を含んでいてもよい）と、の対応付けを示す情報である。ユーザが利用可能な機能は、上述したように、例えば、ユーザに無償で提供された機能や、ユーザが購入した機能、等であり、単体の機能であってもよいし、連携機能であってもよい。ユーザ識別情報は、例えば、ユーザＩＤや氏名等のユーザアカウント情報である。利用可能機能管理情報を参照することで、各ユーザが利用可能な機能が特定（識別）される。利用可能機能管理情報は、例えば、ユーザに機能が提供される度に（例えば、ユーザに無償又は有償で機能が提供される度に）更新されてもよい。
ユーザによって利用可能な機能が管理されている場合、特定部２８は、ユーザを識別するためのユーザ識別情報を受け、利用可能機能管理情報（例えば、端末装置１０やサーバ１６に記憶されている情報）において当該ユーザ識別情報に対応付けられている各機能を示す機能情報を特定してもよい。これにより、当該ユーザが利用可能な機能が特定（識別）される。制御部２６は、特定された機能に関する情報をＵＩ部２０の表示部に表示させてもよいし、音声情報として発してもよい。例えば、特定部２８は、デバイス識別情報とユーザ識別情報を受け、機器機能管理情報において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定し、更に、利用可能機能管理情報において当該ユーザ識別情報に対応付けられている機能を示す機能情報を特定する。これにより、当該デバイス識別情報によって特定される機器が有する機能であって、当該ユーザ識別情報によって特定されるユーザが利用可能な機能が特定される。
なお、ユーザによって利用可能な機能はサーバ１６等の外部装置によって特定されてもよい。この場合、端末装置１０からサーバ１６にユーザ識別情報が送信され、サーバ１６に設けられた特定部２８によって、当該ユーザ識別情報に対応付けられている各機能を示す機能情報が特定される。サーバ１６によって特定処理が行われる場合、利用可能機能情報はサーバ１６に記憶されている。ユーザによって利用可能な各機能に関する情報は、サーバ１６から端末装置１０に送信されてＵＩ部２０の表示部に表示されてもよいし、音声情報として発せられてもよい。
以下、図３を参照して、機器１２の構成について詳しく説明する。一例として、機器１２は画像形成装置であるものとする。以下では、機器１２を画像形成装置１２と称する場合がある。図３には、画像形成装置１２の構成が示されている。
通信部３０は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部３０は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。通信部３０は、例えば、１又は複数の種類の通信方式に対応しており、通信相手に適した通信方式（つまり、通信相手が対応している通信方式）に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Ｗｉ−Ｆｉ通信、近接無線通信等である。通信部３０は、例えば、通信相手に応じて通信方式や周波数帯域を切り替えたり、周囲の環境に応じて通信方式や周波数帯域を切り替えたりしてもよい。
画像形成部３２は画像形成機能を有する。具体的には、画像形成部３２は、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも１つの機能を有する。スキャン機能が実行されることにより、原稿が読み取られてスキャンデータ（画像データ）が生成される。プリント機能が実行されることにより、画像が用紙等の記録媒体上に印刷される。コピー機能が実行されることにより、原稿が読み取られて記録媒体上に印刷される。ファクシミリ機能が実行されることにより、画像データがファクシミリ送信又はファクシミリ受信される。また、複数の機能を利用する連携機能が実行されてもよい。例えば、スキャン機能と送信機能（転送機能）とを組み合わせたスキャン転送機能が実行されてもよい。このスキャン転送機能が実行されることにより、原稿が読み取られてスキャンデータ（画像データ）が生成され、そのスキャンデータが送信先（例えば端末装置１０等の外部装置）に送信される。もちろん、この連携機能は一例に過ぎず、別の連携機能が実行されてもよい。
記憶部３４はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部３４には、例えば、画像形成の命令を示す情報（例えばジョブ情報等）、プリントの対象となる画像データ、スキャン機能を実行することにより生成されたスキャンデータ、他の機器のアドレスを示す機器アドレス情報、端末装置１０のアドレスを示す情報（端末アドレス情報）、サーバ１６のサーバアドレス情報、各種の制御データ、各種のプログラム、等が記憶される。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。
ＵＩ部３６はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース（例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む）であってもよい。なお、画像形成装置１２はＵＩ部３６を有していなくてもよいし、表示部を備えずに、ハードウェアとしてのハードウェアユーザインターフェース部（ハードウェアＵＩ部）を備えていてもよい。ハードウェアＵＩ部は、例えば、数字入力に特化したハードウェアキー（例えばテンキー）、方向の指示に特化したハードウェアキー（例えば方向指示キー）、等である。
制御部３８は、画像形成装置１２の各部の動作を制御する。
以下、図４を参照して、サーバ１６の構成について詳しく説明する。図４には、サーバ１６の構成が示されている。
通信部４０は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部４０は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。
記憶部４２はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部４２には、例えば、各種のデータ、各種のプログラム、端末装置１０の端末アドレス情報、各機器の機器アドレス情報、サーバ１６のサーバアドレス情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。
サーバ１６によって各機器が有する機能と連携機能が管理される場合、上記の機器機能管理情報と連携機能管理情報が記憶部４２に記憶され、サーバ１６において、機器機能管理情報と連携機能管理情報が更新されてもよい。端末装置１０によって機能の特定処理が行われる場合、機器機能管理情報と連携機能管理情報（情報が更新された場合は更新後の情報）がサーバ１６から端末装置１０に送信される。その送信は、定期的に又は指定されたタイミングで行われてもよい。これにより、端末装置１０に記憶されている情報が更新される。もちろん、端末装置１０の特定部２８は、サーバ１６に記憶されている機器機能管理情報や連携機能管理情報を参照することで、機器が有する機能や連携機能を特定してもよい。また、サーバ１６によって機能の特定処理が実行されてもよい。
制御部４４は、サーバ１６の各部の動作を制御する。制御部４４は、例えば、通信部４０による通信を制御する。
制御部４４は、機能の購入処理を実行し、その購入の履歴を管理してもよい。例えば、有料の機能がユーザによって購入された場合、制御部４４は、当該ユーザに対して課金処理を適用してもよい。
また、制御部４４は、例えば、文字認識機能、翻訳機能、画像加工機能、画像形成機能、等の画像処理に関する機能を実行してもよい。もちろん、制御部４４は、画像処理以外の処理に関する機能を実行してもよい。文字認識機能が実行されることにより、画像内の文字が認識されて当該文字を示す文字データが生成される。翻訳機能が実行されることにより、画像内の文字が特定の言語で表される文字に翻訳され、翻訳された文字を示す文字データが生成される。画像加工機能が実行されることにより、画像が加工される。制御部４４は、例えば、スキャン機能を実行することにより生成されたスキャンデータを画像形成装置１２から受信し、当該スキャンデータを対象として、文字認識機能、翻訳機能、画像加工機能、等の画像処理に関する機能を実行してもよい。制御部４４は、画像データを端末装置１０から受信し、当該画像データを対象として各機能を実行してもよい。制御部４４によって生成された文字データや画像データは、例えば、サーバ１６から端末装置１０に送信される。サーバ１６は外部装置として利用され、連携機能は、サーバ１６を含む複数の機器が有する機能を利用する機能であってもよい。
上述したように、機器機能管理情報は、サーバ１６の記憶部４２に記憶されていてもよい。この場合、機器機能管理情報は、端末装置１０の記憶部２４に記憶されていなくてもよい。同様に、連携機能管理情報は、サーバ１６の記憶部４２に記憶されていてもよい。この場合、連携機能管理情報は、端末装置１０の記憶部２４に記憶されていなくてもよい。サーバ１６の制御部４４は、上述した特定部２８を有し、デバイス識別情報に基づいて機器を識別し、機器が有する機能を特定してもよいし、複数の機能を利用して実行可能な連携機能を特定してもよい。この場合、端末装置１０は特定部２８を有していなくてもよい。
利用可能機能管理情報が作成されている場合、その利用可能機能管理情報は、サーバ１６の記憶部４２に記憶されていてもよい。この場合、利用可能機能管理情報は、端末装置１０の記憶部２４に記憶されていなくてもよい。端末装置１０の制御部２６は、ユーザによる機能の購入の履歴を管理してもよい。この場合、サーバ１６の制御部４４は、その管理機能を有していなくてもよい。
更に別の例として、機器１２，１４等の機器に、機器機能管理情報や連携機能管理情報が記憶されていてもよいし、機器１２，１４等の機器が特定部２８を有していてもよい。つまり、特定部２８による処理は、端末装置１０において行われてもよいし、機器１２，１４等の機器において行われてよいし、サーバ１６において行われてもよいし、更に別の装置において行われてもよい。
第１実施形態では、一例として、ＡＲ（Augmented Reality）技術（拡張現実技術）を適用することで、デバイス識別情報が取得されて機器が識別される。例えば、ＡＲ技術を適用することで、単独で使用される機器のデバイス識別情報が取得されて当該機器が識別され、また、連携対象の機器のデバイス識別情報が取得されて連携対象の機器が識別される。ＡＲ技術として公知のＡＲ技術が用いられる。例えば、２次元バーコード等のマーカを用いるマーカ型ＡＲ技術、画像認識技術を用いるマーカレス型ＡＲ技術、位置情報を用いる位置情報ＡＲ技術、等が用いられる。もちろん、ＡＲ技術を適用せずにデバイス識別情報が取得されて機器が識別されてもよい。例えば、ネットワークに繋がっている機器であれば、ＩＰアドレスに基づいて機器が識別されてもよいし、機器ＩＤが読み出されて機器が識別されてもよい。更に、赤外線通信、可視光通信、Ｗｉ−Ｆｉ、ブルートゥースといった各種無線通信機能を有する機器や端末装置が用いられる場合、無線通信機能を利用することで機器のＩＤが取得されて機器が識別されてもよい。
以下、図５を参照して、デバイス識別情報の取得処理について詳しく説明する。一例として、画像形成装置１２のデバイス識別情報を取得する場合について説明する。図５には、画像形成装置１２の外観が模式的に示されている。ここでは、マーカ型ＡＲ技術を適用してデバイス識別情報を取得するための処理について説明する。画像形成装置１２の筐体には、２次元バーコード等のマーカ４６が設けられている。マーカ４６は、画像形成装置１２のデバイス識別情報がコード化された情報である。ユーザは端末装置１０のカメラ２２を起動させ、利用対象の画像形成装置１２に設けられているマーカ４６をカメラ２２によって撮影する。これにより、マーカ４６を表す画像データが生成される。端末装置１０の制御部２６は、当該画像データに表されたマーカ画像に対してデコード処理を適用することでデバイス識別情報を抽出する。これにより、利用対象の画像形成装置１２（撮影されたマーカ４６を有する画像形成装置１２）が識別される。端末装置１０の特定部２８は、機器機能管理情報において、抽出されたデバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、利用対象の画像形成装置１２が有する機能が特定（識別）される。
なお、サーバ１６の制御部４４が、マーカ４６を表す画像データにデコード処理を適用することで、デバイス識別情報を抽出してもよい。この場合、画像データが端末装置１０からサーバ１６に送信され、サーバ１６において当該画像データに対してデコード処理が適用される。サーバ１６に特定部２８が設けられている場合、サーバ１６において、デバイス識別情報に対応付けられている機能が特定されてもよい。
マーカ４６は、画像形成装置１２が有する機能を示す機能情報がコード化されて含まれていてもよい。この場合、マーカ４６を表す画像データにデコード処理を適用することで、当該画像形成装置１２のデバイス識別情報が抽出されると共に、当該画像形成装置１２が有する機能を示す機能情報も抽出される。これにより、画像形成装置１２が特定（識別）されると共に、当該画像形成装置１２が有する機能が特定（識別）される。このデコード処理は、端末装置１０によって行われてもよいし、サーバ１６によって行われてもよい。
複数の機器が有する機能を利用する連携機能を実行する場合、連携対象の各機器のマーカを撮影することで各機器のデバイス識別情報が取得され、これにより、連携機能が特定（識別）される。
マーカレス型ＡＲ技術を適用してデバイス識別情報を取得する場合、例えば、ユーザは端末装置１０のカメラ２２によって、利用対象の機器（例えば画像形成装置１２）の外観の全部又は一部を撮影する。もちろん、利用対象機器の名称（例えば商品名）や型番号や資産管理番号といった機器を特定するための情報を外観から撮影して得ることは役に立つ。撮影により、利用対象の機器の外観の全部又は一部を表す外観画像データが生成される。端末装置１０の制御部２６が、当該外観画像データに基づいて利用対象の機器を識別する。例えば、端末装置１０の記憶部２４には、機器毎に、機器の外観の全部又は一部を表す外観画像データと、当該機器のデバイス識別情報と、の対応付けを示す外観画像対応付け情報が記憶されている。制御部２６は、例えば、外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定する。例えば、制御部２６は、外観画像データから利用対象の機器の外観の特徴を抽出し、外観画像対応付け情報に含まれる外観画像データ群において、その外観の特徴と同一又は類似の特徴を表す外観画像データを特定し、その外観画像データに対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器（カメラ２２によって撮影された機器）が識別される。別の例として、機器の名称（例えば商品名）や型番号が撮影され、名称や型番号を表す外観画像データが生成されている場合、その外観画像データに表された名称や型番号に基づいて、利用対象の機器が識別されてもよい。端末装置１０の特定部２８は、機器機能管理情報において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器（例えば画像形成装置１２）が有する機能が特定される。
なお、サーバ１６の制御部４４が、利用対象の機器（例えば画像形成装置１２）の外観の全部又は一部を表す外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定してもよい。外観画像対応付け情報は、サーバ１６の記憶部４２に記憶されている。この場合、サーバ１６の制御部４４は、外観画像対応付け情報を参照することで、利用対象の機器のデバイス識別情報を特定する。
複数の機器が有する複数の機能を利用する連携機能を実行する場合、連携対象の各機器の外観の全部又は一部を撮影することで各機器のデバイス識別情報が取得され、これにより、連携機能が特定（識別）される。
位置情報ＡＲ技術を適用してデバイス識別情報を取得する場合、例えば、ＧＰＳ（Global Positioning System）機能を利用することで、機器（例えば画像形成装置１２）が設置されている位置を示す位置情報が取得される。例えば、各機器がＧＰＳ機能を備えており、機器自身の位置を示すデバイス位置情報を取得する。端末装置１０は、利用対象の機器に対してデバイス位置情報の取得要求を示す情報を出力し、その取得要求に対する応答として、当該機器から当該機器のデバイス位置情報を受信する。端末装置１０の制御部２６は、当該デバイス位置情報に基づいて利用対象の機器を識別する。例えば、端末装置１０の記憶部２４には、機器毎に、機器が設置されている位置を示すデバイス位置情報と、当該機器のデバイス識別情報と、の対応付けを示す位置対応付け情報が記憶されている。制御部２６は、その位置対応付け情報において、デバイス位置情報に対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器が特定（識別）される。端末装置１０の特定部２８は、機器機能管理情報において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器（例えば画像形成装置１２）が有する機能が特定（識別）される。
なお、サーバ１６の制御部４４が、位置対応付け情報において、利用対象の機器の位置情報に対応付けられているデバイス識別情報を特定してもよい。位置対応付け情報は、サーバ１６の記憶部４２に記憶されている。この場合、サーバ１６の制御部４４は、位置対応付け情報を参照することで、利用対象の機器のデバイス識別情報を特定する。
複数の機器を利用する連携機能を実行する場合、連携対象の各機器のデバイス位置情報が取得され、各デバイス位置情報に基づいて各機器のデバイス識別情報が特定される。これにより、連携機能が特定（識別）される。
なお、複数の識別技術を用いて機器を識別してもよい。例えば、マーカ型ＡＲ技術、マーカレス型ＡＲ技術、及び、位置情報ＡＲ技術の中から選択された複数の技術を用いて機器を識別してもよい。また、ある識別技術によって機器を識別できなかった場合に、他の識別技術を用いて機器を識別してもよい。例えば、マーカ型ＡＲ技術やマーカレス型ＡＲ技術によって機器を識別できなかった場合、位置情報ＡＲ技術を用いて機器を識別してもよい。
以下、第１実施形態に係る機器システムについて更に詳しく説明する。
図６を参照して、機器機能管理情報について詳しく説明する。図６には、機器機能管理情報としての機器機能管理テーブルの一例が示されている。機器機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器が有する機能を示す情報（機能情報）と、画像ＩＤと、が互いに対応付けられている。機器ＩＤと機器名はデバイス識別情報の一例に相当する。画像ＩＤは、機器に紐付く機器画像を識別するための画像識別情報の一例である。なお、機器機能管理テーブルには、画像ＩＤは含まれていなくてもよい。例えば、機器ＩＤが「Ｂ」の機器は、複合機（複数の画像形成機能を有する画像形成装置）であり、プリント機能やスキャン機能等の機能を有している。その機器には、その機器に紐付く機器画像を識別するための画像ＩＤが対応付けられている。機器に紐付く機器画像のデータは、例えば、端末装置１０に記憶されていてもよいし、サーバ１６に記憶されていてもよいし、他の装置に記憶されていてもよい。
例えば、ＡＲ技術を適用することで、利用対象の機器を識別するための機器ＩＤが取得される。端末装置１０の特定部２８は、機器機能管理テーブルを参照することで、その機器ＩＤに対応付けられている機器名、機能及び画像ＩＤを特定する。これにより、利用対象の機器が識別される。機器名を示す情報や機器画像がＵＩ部２０の表示部に表示される。もちろん、カメラ２２によって撮影された画像そのものがＵＩ部２０の表示部に表示されてもよい。また、ＵＩ部２０において、機器に紐付く機器画像（例えば、カメラ２２によって撮影された画像や、機器を模式的に表す画像）がユーザによって指定された場合、その機器が有する機能に関する情報（例えば、機能情報や機能の説明情報等）が、ＵＩ部２０の表示部に表示されてもよい。
以下、図７を参照して、連携機能管理情報について詳しく説明する。図７には、連携機能管理情報としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器ＩＤの組み合わせと、連携対象の機器名（例えば各機器の種類）を示す情報と、連携機能を示す情報（連携機能情報）と、が互いに対応付けられている。例えば、機器ＩＤが「Ａ」の機器はＰＣ（パーソナルコンピュータ）であり、機器ＩＤが「Ｂ」の機器は複合機である。ＰＣ（Ａ）と複合機（Ｂ）を連携させることにより、連携機能として、例えば「スキャン転送機能」や「プリント機能」が実現される。「スキャン転送機能」は、複合機（Ｂ）によるスキャンによって生成された画像データをＰＣ（Ａ）に転送する機能である。「プリント機能」は、ＰＣ（Ａ）に保存されているデータ（例えば画像データや文書データ）を複合機（Ｂ）に送信して複合機（Ｂ）にて印刷する機能である。なお、３個以上の機器を利用することで実行可能な連携機能が定められてもよい。この場合、３個以上の機器の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
以下、端末装置１０の動作について具体例を挙げて詳しく説明する。
図８には、端末装置１０に表示される画面の一例が示されている。端末装置１０の制御部２６は、ＵＩ部２０の表示部に画面４８を表示させ、その画面４８に各種の情報を表示させる。画面４８には、一例として、操作アシスタントに紐付くアシスタント画像５０が表示されている。
操作アシスタントは、例えば人工知能によってユーザと対話する機能を有する。例えば、ユーザがＵＩ部２０を用いて文字入力や音声入力によって情報を入力した場合、操作アシスタントは、その情報を解析し、その解析結果を出力する。その解析結果は、文字列や画像としてＵＩ部２０に表示されてもよいし、音声として発せられてもよい。例えば、ユーザがＵＩ部２０を用いて問い合わせを行うと、操作アシスタントは、その問い合わせ内容を解析し、その解析結果としての回答を出力する。操作アシスタントは、インターネット等を利用して情報を検索し、その検索結果を解析してもよいし、機器１２，１４に関する情報を取得し、その情報を解析してもよい。その解析結果が、ユーザからの問い合わせに対する回答に反映されてもよい。また、操作アシスタントは、ユーザによる各種アプリケーションの利用履歴、ユーザによる端末装置１０の操作履歴、ユーザによる機器１２，１４の利用履歴、等を管理してもよい。また、操作アシスタントは、他の装置に格納されている他の操作アシスタントとの間で通信を行うことで、他の操作アシスタントから情報を取得してもよい。
また、画面４８には機器画像５２，５４が表示されている。機器画像５２は、機器としての複合機Ｂ（画像形成装置）に紐付く画像であり、機器画像５４は、機器としてのＰＣ（Ａ）に紐付く画像である。ＰＣ（Ａ）と複合機Ｂは、上記のＡＲ技術（マーカ型ＡＲ技術、マーカレス型ＡＲ技術、又は、位置情報ＡＲ技術）や他の識別技術を利用することで、特定部２８によって識別された機器である。このように機器が識別された場合、制御部２６は、機器に紐付く画像を画面４８に表示させる。例えば、一度識別された機器に関する情報は記憶部２４に記憶され、その後、改めて当該機器に対する識別処理が行われなくても、当該機器に紐付く画像が画面４８に表示される。もちろん、識別された機器に関する情報は、ユーザの操作によって記憶部２４から削除されてもよい。この場合、その機器に紐付く画像も削除される。別の例として、識別された機器を利用して連携機能が実行された後や、機器が識別された時点から予め定められた時間が経過した後に、その識別された機器に関する情報が記憶部２４から削除されてもよい。
機器画像５２は、複合機Ｂをカメラ２２によって撮影することで生成された画像（撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい）であってもよいし、複合機Ｂに紐付く模式的な画像（例えばアイコン）であってもよい。機器画像５４についても同様に、ＰＣ（Ａ）を撮影することで生成された画像であってもよいし、ＰＣ（Ａ）に紐付く模式的な画像であってもよい。
なお、機器を撮影することで生成された画像データを利用する場合、現在の機器そのものの外観（例えば、キズ、メモ書き、機器に貼り付けられたシール等が反映された外観）が画像に反映されるので、ユーザにとって他の同種の機器との違いが視覚的により分かる効果がある。
模式的な画像が用いられる場合、特定部２８は、図６に示されている機器機能管理テーブルを参照することで、識別された機器に紐付く模式的な画像を特定する。その模式的な画像は機器画像５２，５４として画面４８に表示される。模式的な画像のデータは端末装置１０に記憶されていてもよいし、サーバ１６等の外部装置に記憶されていてもよい。
また、機器が識別された場合、その機器の名称を示す情報が画面４８に表示されてもよい。図８に示す例では、その名称として文字列「複合機Ｂ」と文字列「ＰＣ（Ａ）」が表示されている。
ユーザが複数の機器の情報を操作アシスタントに送った場合、特定部２８は、図７に示されている連携機能管理テーブルにおいて、当該複数の機器に対応付けられている連携機能を特定する。制御部２６は、その連携機能に関する情報をＵＩ部２０に表示させる。
例えば、ユーザが画面４８上で、矢印５６で示すように機器画像５２をアシスタント画像５０に繋げ、更に、矢印５８で示すように機器画像５４をアシスタント画像５０に繋げた場合、特定部２８（操作アシスタントによって実現される特定部２８）は、機器画像５２に紐付く複合機Ｂと機器画像５４に紐付くＰＣ（Ａ）を連携対象の機器として識別する。なお、先に機器画像５２をアシスタント画像５０に繋げ、その後に機器画像５４をアシスタント画像５０に繋げてもよいし、先に機器画像５４をアシスタント画像５０に繋げ、その後に機器画像５２をアシスタント画像５０に繋げてもよい。
例えば、ユーザが画面４８上で画像（上記の例では機器画像５２，５４）を指示子（例えばユーザの指、ペン、スタイラス等）によって他の画像（上記の例ではアシスタント画像５０）までなぞることで（例えば画像をタッチしてなぞることで）、画像を他の画像に繋げる。制御部２６は、画面４８への指示子の接触を検知し、画面４８上での指示子の移動を検知する。
上記のように、機器画像５２，５４がアシスタント画像５０に繋げられて複合機ＢとＰＣ（Ａ）が連携対象の機器として識別された場合、特定部２８は、図７に示されている連携機能管理テーブルにおいて、ＰＣ（Ａ）と複合機Ｂとの組み合わせに対応付けられている連携機能（例えば、「スキャン転送機能」と「プリント機能」）を特定する。これにより、ＰＣ（Ａ）と複合機Ｂとを利用して実行可能な連携機能が特定される。「スキャン転送機能」は、複合機Ｂによるスキャンによって生成された画像データをＰＣ（Ａ）に転送する機能である。「プリント機能」は、ＰＣ（Ａ）に記憶されている画像データを複合機Ｂに転送して複合機Ｂにて印刷する機能である。このようにして特定された連携機能に関する情報は、ＵＩ部２０に表示される。
なお、機器や連携機能の特定処理は、サーバ１６によって行われてもよい。
上記のようにして連携機能が特定された場合、例えば図９に示すように、端末装置１０の制御部２６は、画面６０をＵＩ部２０に表示させ、その画面６０に連携機能に関する情報を表示させる。制御部２６は、操作アシスタントが連携機能に関する情報を発しているように見えるように、アシスタント画像５０に繋げられた吹き出し状の形状を表す画像６２を画面６０に表示させてもよい。連携機能に関する情報は、その画像６２内に表示される。
例えば、ユーザが画面６０上にて実行対象の連携機能を指定し、その実行指示を操作アシスタントに与えた場合、操作アシスタントはその実行指示を受けて、その実行指示を示す情報（実行指示情報）を連携対象の機器に送信する。ユーザは、文字入力や音声入力によって操作アシスタントに実行指示を与える。別の例として、連携機能の実行を指示するためのボタン画像が画面６０に表示され、ユーザはそのボタン画像を押すことで、連携機能の実行指示を与えてもよい。ＰＣ（Ａ）と複合機Ｂが連携対象の機能として選ばれている場合、実行指示情報がＰＣ（Ａ）と複合機Ｂに送信される。実行指示情報を受けたＰＣ（Ａ）と複合機Ｂは、その実行指示情報に示されている連携機能（ユーザによって指定された連携機能）を実行する。例えば、連携機能として「プリント機能」の実行指示が与えられた場合、ＰＣ（Ａ）は印刷対象の画像データを複合機Ｂに送信し、複合機Ｂは、その画像データを記録媒体としての用紙上に印刷する。
なお、マーカ型ＡＲ技術又はマーカレス型ＡＲ技術によって連携対象の各機器が識別される場合、当該各機器は別々に撮影されて識別されてもよいし、一緒に撮影されて識別されてもよい。例えば、カメラ２２の撮影領域に複合機Ｂが含まれる状態で複合機Ｂが撮影され、次に、カメラ２２の撮影領域にＰＣ（Ａ）が含まれる状態でＰＣ（Ａ）が撮影されることで、複合機ＢとＰＣ（Ａ）が順次識別される。連携対象の各機器が互いに近い位置に配置されて、カメラ２２の撮影領域に複合機ＢとＰＣ（Ａ）の両方が必ずしも一緒に含まれるとは限らない。撮影領域のアングルの変更、撮影領域の拡大や縮小等によって対応可能な場合もあるが、そのような操作では対応しきれない場合もある。この場合、複数回撮影することで、各機器が識別される。
別の例として、連携対象の機器が基本連携機器として予め設定されていてもよい。例えば、複合機Ｂが基本連携機器として予め設定されているものとする。基本連携機器のデバイス識別情報は、端末装置１０の記憶部２４に予め記憶されていてもよい。ユーザがＵＩ部２０を利用して基本連携機器を指定してもよい。基本連携機器が設定されている場合、ユーザは、基本連携機器以外の連携対象の機器に紐付く画像をアシスタント画像に繋げる。これにより、連携対象の機器が特定（識別）され、基本連携機器と当該機器とを利用して実行可能な連携機能が特定（識別）される。
以下、連携機能を実行するときの動作について説明する。例えば、連携機能を実行するとき、端末装置１０から連携対象の各機器に対して接続要求が送信され、端末装置１０と各機器とが接続される。以下、図１０を参照して、この接続処理について説明する。図１０は、その処理を示すシーケンス図である。
端末装置１０において、ユーザによって、連携対象の機器として複合機ＢとＰＣ（Ａ）が指定された場合（つまり、複合機Ｂに紐付く画像とＰＣ（Ａ）に紐付く画像が操作アシスタントに渡された場合）、端末装置１０は、連携対象の機器（複合機ＢとＰＣ（Ａ））に接続要求を示す情報を送信する（Ｓ０１）。この送信の制御は、操作アシスタントによって行われてもよい。例えば、連携対象の各機器のアドレス情報がサーバ１６に記憶されている場合、端末装置１０は、各機器のアドレス情報をサーバ１６から取得する。デバイス識別情報にアドレス情報が含まれている場合、端末装置１０の制御部２６は、各機器のデバイス識別情報からアドレス情報を取得する。アドレス情報の取得処理は、操作アシスタントによって行われてもよい。もちろん、端末装置１０の記憶部２４に各機器のアドレス情報が記憶されていてもよい。端末装置１０は、別の手法によって各機器のアドレス情報を取得してもよい。端末装置１０は、連携対象の各機器（例えば複合機ＢとＰＣ（Ａ））のアドレス情報を用いて、連携対象の各機器に接続要求を示す情報を送信する。
接続要求を示す情報を受けた複合機ＢとＰＣ（Ａ）は、端末装置１０との接続の許可又は不許可を判断する（Ｓ０２）。例えば、複合機ＢとＰＣ（Ａ）が、接続が許可されていない機器に該当する場合や、接続を要求している装置の数が上限を超えている機器に該当する場合、接続は許可されない。なお、端末装置１０からの接続が許可された場合、複合機ＢとＰＣ（Ａ）のそれぞれの固有の設定情報が端末装置１０から変更されないように、その変更操作が禁止されてもよい。例えば、複合機Ｂの色彩のパラメータや、節電に移行する際の設定時間等の変更が禁止されてもよい。これにより、連携対象の機器に対するセキュリティが向上する。別の例として、機器を連携させる場合、当該機器を連携させずに単独で利用する場合と比べて、設定情報の変更が制限されてもよい。例えば、機器を単独で利用する場合と比べて、より少ない設定項目の変更が許可されてもよい。また、稼働履歴のような他のユーザの個人情報の閲覧を禁止してもよい。これにより、ユーザの個人情報に対するセキュリティが向上する。
接続の許可又は不許可を示す結果情報が、複合機ＢとＰＣ（Ａ）から端末装置１０に送信される（Ｓ０３）。複合機ＢとＰＣ（Ａ）への接続が許可された場合、端末装置１０と複合機Ｂとの間で通信が確立され、更に、端末装置１０とＰＣ（Ａ）との間で通信が確立される。
次に、端末装置１０において、ユーザは連携機能（例えば「プリント機能」）の実行を指示する（Ｓ０４）。端末装置１０は、その指示に従って、連携機能の実行指示を示す情報（実行指示情報）を、連携対象の各機器（複合機ＢとＰＣ（Ａ））に送信する（Ｓ０５）。この送信の制御は、操作アシスタントによって行われてもよい。複合機Ｂに送信される実行指示情報には、複合機Ｂにて実行される処理を示す情報（例えばジョブ情報）が含まれ、ＰＣ（Ａ）に送信される実行指示情報には、ＰＣ（Ａ）にて実行される処理を示す情報（例えばジョブ情報）が含まれる。
実行指示情報を受けた複合機ＢとＰＣ（Ａ）は、実行指示情報に従って連携機能（例えば「プリント機能」）を実行する（Ｓ０６）。実行対象の連携機能に、複合機ＢとＰＣ（Ａ）との間でデータの送受信が行われる処理が含まれている場合、複合機ＢとＰＣ（Ａ）との間で通信が確立される。例えば、複合機Ｂに送信される実行指示情報にはＰＣ（Ａ）のアドレス情報が含まれており、ＰＣ（Ａ）に送信される実行指示情報には複合機Ｂのアドレス情報が含まれている。それらのアドレス情報を用いて、複合機ＢとＰＣ（Ａ）との間で通信が確立される。その通信が確立された後、ＰＣ（Ａ）は、印刷対象の画像データを複合機Ｂに送信し、複合機Ｂは、その画像データを記録媒体としての用紙上に印刷する。
連携機能の実行が終了すると、連携機能の実行完了を示す情報が、複合機ＢとＰＣ（Ａ）から端末装置１０に送信される（Ｓ０７）。端末装置１０のＵＩ部２０には、連携機能の実行が完了したことを示す情報が表示される（Ｓ０８）。なお、実行指示を与えた時点から予め設定された時間が経過しても実行完了を示す情報が表示されない場合、端末装置１０の制御部２６は、エラーを示す情報をＵＩ部２０に表示させ、再度、実行指示情報、又は、接続要求を示す情報を、複合機ＢとＰＣ（Ａ）に送信してもよい。
次に、ユーザは、複合機ＢとＰＣ（Ａ）の連携状態を解除するか否かを確認し（Ｓ０９）、解除の有無に応じた処理が実行される（Ｓ１０）。連携状態を解除する場合、ユーザは、端末装置１０を利用して解除の指示を与える。これにより、端末装置１０と複合機Ｂとの間の通信が解除され、更に、端末装置１０とＰＣ（Ａ）との間の通信が解除される。同様に、複合機ＢとＰＣ（Ａ）との間の通信も解除される。連携状態を解除しない場合、継続して実行指示が与えられてもよい。
また、連携対象の機器を増やしてもよい。例えば３台目の機器に紐付く画像が操作アシスタントに渡されて、複合機ＢとＰＣ（Ａ）とを含む３台の機器を連携させてもよい。なお、複合機ＢとＰＣ（Ａ）が既に連携対象の機器として識別されていることを示す情報は、端末装置１０やサーバ１６に記憶される。
連携対象の機器を示すデバイス識別情報や、実行された連携機能を示す連携機能情報は、端末装置１０やサーバ１６等に記憶されてもよい。例えば、端末装置１０を利用するユーザのユーザアカウント情報（ユーザ識別情報）が取得され、そのユーザアカウント情報と、連携対象の機器を示すデバイス識別情報と、実行された連携機能を示す連携機能情報と、の対応付けを示す履歴情報が作成され、端末装置１０やサーバ１６等に記憶されてもよい。履歴情報は、端末装置１０によって作成されてもよいし、サーバ１６によって作成されてもよい。履歴情報を参照することで、どのような連携機能がどのような機器群を用いて実行されたのかが特定される。
なお、連携対象の機器（例えば複合機ＢとＰＣ（Ａ））は、接続を要求したユーザのユーザアカウント情報や、接続要求元の端末装置１０を示す端末識別情報を、履歴情報として記憶してもよい。この履歴情報を参照することで、機器を利用したユーザが特定される。例えば、機器が壊れたときに当該機器を使用していたユーザを特定する場合や、消耗品等について課金処理を行う場合等に、履歴情報を活用してユーザを特定してもよい。履歴情報は、端末装置１０やサーバ１６に記憶されてもよいし、別の装置に記憶されてもよい。
ユーザアカウント情報は、例えば、端末装置１０の記憶部２４に予め記憶されており、端末装置１０の制御部２６は、ユーザ識別手段の一例として機能し、記憶部２４からユーザのユーザアカウント情報を読み込んで、端末装置１０を使用するユーザを識別する。複数のユーザのユーザアカウント情報が記憶部２４に記憶されている場合、ユーザは端末装置１０を使用して、自身のユーザアカウント情報を指定する。これにより、当該ユーザのユーザアカウント情報が読み込まれ、当該ユーザが識別される。別の例として、端末装置１０の制御部２６は、端末装置１０にログインしているユーザのユーザアカウント情報を読み込むことでユーザを識別してもよい。更に別の例として、同一の端末装置１０に、１つのユーザアカウント情報のみが記憶されている場合、端末装置１０の制御部２６は、そのユーザアカウント情報を読み込むことでユーザを識別してもよい。なお、ユーザアカウントが設定されておらず、ユーザアカウント情報が作成されていない場合、初期設定が行われ、これにより、ユーザアカウント情報が作成される。
ユーザ毎に連携機能の利用履歴が管理され、読み込まれたユーザアカウント情報が示すユーザによって過去に利用された連携機能を示す情報が、端末装置１０のＵＩ部２０に表示されてもよい。その利用履歴を示す情報は、端末装置１０に記憶されていてもよいし、サーバ１６に記憶されていてもよい。また、予め設定された利用頻度以上の頻度で利用されている連携機能を示す情報が表示されてもよい。このようなショートカット機能を設けることにより、連携機能に関するユーザの操作の手間が軽減される。
以上のように第１実施形態によれば、連携対象となる機器に紐付く機器画像を操作アシスタントに渡すことで（例えば機器画像をアシスタント画像５０に繋げることで）、連携機能に関する情報が提供される。このように、操作アシスタントを利用した簡易な操作によって、連携機能に関する情報が提供される。
なお、３個以上の機器画像がアシスタント画像５０に渡された場合、３個以上の機器を利用して実行可能な連携機能に関する情報が表示される。
なお、特定部２８は、予め定められた制限時間内に複数の機器の情報が操作アシスタントに送られた場合、当該複数の機器を利用して実行可能な連携機能を特定し、当該制限時間内に１つの機器の情報が操作アシスタントに送られた場合、当該機器が有する機能（単独機能）を特定してもよい。この場合、特定部２８によって特定された連携機能又は単独機能に関する情報がＵＩ部２０の表示部に表示される。制限時間の開始時点は、例えば、最初の機器画像がアシスタント画像５０に繋げられた時点である。
例えば図８に示す例において、ユーザが複合機Ｂに紐付く機器画像５２をアシスタント画像５０に繋げた時点から制限時間内に他の機器画像をアシスタント画像５０に繋げなかった場合、特定部２８は、図６に示されている機器機能管理テーブルにおいて、複合機Ｂに対応付けられている機能（単独機能）を特定する。制御部２６は、その単独機能に関する情報をＵＩ部２０の表示部に表示させる。この場合、図１０に示されている処理と同様に、複合機Ｂに対して接続要求を示す情報が送信され、接続が許可された場合、ユーザによって指定された単独機能が複合機Ｂによって実行される。
一方、ユーザが機器画像５２をアシスタント画像５０に繋げた時点から制限時間内に他の機器画像（例えば機器画像５４）をアシスタント画像５０に繋げた場合、特定部２８は、図７に示されている連携機能管理テーブルにおいて、複合機ＢとＰＣ（Ａ）との組み合わせに対応付けられている連携機能を特定する。制御部２６は、その連携機能に関する情報をＵＩ部２０に表示させる。
上記のように制限時間を設けることで、連携機能又は単独機能の提供の切り替えが可能となる。
（変形例１）
以下、図１１を参照して変形例１について説明する。図１１には、画面４８が示されている。画面４８には、図８と同様に、アシスタント画像５０と機器画像５２，５４が表示されている。ユーザが画面４８上で、矢印６４で示すように、機器画像５２をアシスタント画像５０まで移動させて機器画像５２をアシスタント画像５０に重ねた場合、特定部２８（操作アシスタントによって実現される特定部２８）は、機器画像５２に紐付く複合機Ｂを連携対象の機器として識別する。同様に、ユーザが画面４８上で、矢印６６で示すように、機器画像５４をアシスタント画像５０に重ねた場合、特定部２８は、機器画像５４に紐付くＰＣ（Ａ）を連携対象の機器として識別する。この場合、上記と同様に、特定部２８は、連携機能管理テーブルにおいて、複合機ＢとＰＣ（Ａ）との組み合わせに対応付けられている連携機能を特定する。特定された連携機能に関する情報は、図９に示すように、ＵＩ部２０の表示部に表示される。
なお、先に機器画像５２をアシスタント画像５０に重ね、その後に機器画像５４をアシスタント画像５０に重ねてもよいし、先に機器画像５４をアシスタント画像５０に重ね、その後に機器画像５２をアシスタント画像５０に重ねてもよい。
例えば、ユーザが指示子を用いてドラッグ＆ドロップ操作することで、機器画像をアシスタント画像５０に重ねる。図１１に示す例では、ユーザが機器画像５２をドラッグ操作し（破線で示す機器画像５２）、アシスタント画像５０に重なる位置で機器画像５２をドロップ操作している。なお、ユーザの音声指示に従って、重ね合わせ操作が行われてもよい。
また、特定部２８は、制限時間内に複数の機器画像がアシスタント画像５０に重ねられた場合、当該複数の機器画像のそれぞれに紐付く機器を利用して実行可能な連携機能を特定し、制限時間内に１つの機器画像がアシスタント画像５０に重ねられた場合、当該機器画像に紐付く機器が有する機能（単独機能）を特定してもよい。制限時間の開始時点は、最初の機器画像がアシスタント画像５０に重ねられた時点である。
例えば図１１に示す例において、ユーザが複合機Ｂに紐付く機器画像５２をアシスタント画像５０に重ねた時点から制限時間内に他の機器画像がアシスタント画像５０に重ねられなかった場合、特定部２８は、図６に示されている機器機能管理テーブルにおいて、複合機Ｂに対応付けられている機能（単独機能）を特定する。制御部２６は、その単独機能に関する情報をＵＩ部２０の表示部に表示させる。この場合、図１０に示されている処理と同様に、複合機Ｂに対して接続要求を示す情報が送信され、接続が許可された場合、ユーザによって指定された単独機能が複合機Ｂによって実行される。
一方、ユーザが機器画像５２をアシスタント画像５０に重ねた時点から制限時間内に他の機器画像（例えば機器画像５４）をアシスタント画像５０に重ねた場合、特定部２８は、図７に示されている連携機能管理テーブルにおいて、複合機ＢとＰＣ（Ａ）との組み合わせに対応付けられている連携機能を特定する。制御部２６は、その連携機能に関する情報をＵＩ部２０に表示させる。
アシスタント画像５０に対して複数の機器画像が重ねられた場合、端末装置１０の制御部２６は、当該複数の機器画像が互いに重ねられた状態を表す新たな合成画像を生成してもよい。例えば図１１に示すように、機器画像５２，５４がその順番でアシスタント画像５０に重ねられた場合、図１２に示すように、機器画像５２，５４をグルーピングすることで生成された新たな合成画像６８が表示される。合成画像６８は、例えば端末装置１０の制御部２６によって生成される。合成画像６８は、機器画像５２上に機器画像５４が重ねられた状態を表す画像である。合成画像６８は、機器画像５２上に機器画像５４が重ねられたそのままの状態を表す画像であってもよいし、その状態を模式的に表す画像（例えばアイコン）であってもよい。なお、合成画像６８が生成された場合も、元の機器画像５２，５４はそのままの状態で表示される。なお、機器画像５４，５２の順番で各機器画像がアシスタント画像５０に重ねられた場合、機器画像５４上に機器画像５２が重ねられた状態を表す合成画像が生成される。
上記のように合成画像６８が生成された場合、端末装置１０の制御部２６は、合成画像６８を画面４８に残して表示させる。その合成画像６８が、アシスタント画像５０に重ねられ、更に、別の機器画像がアシスタント画像５０に重ねられた場合、合成画像６８に紐付く複数の機器と当該別の機器画像に紐付く機器とが連携対象の機器として識別される。例えば図１３に示すように、ディスプレイＤが識別され、そのディスプレイＤに紐付く機器画像７０が画面４８に表示されているものとする。合成画像６８がユーザの操作によってアシスタント画像５０に重ねられ、更に、機器画像７０がユーザの操作によってアシスタント画像５０に重ねられた場合、特定部２８は、合成画像６８に紐付く複合機ＢとＰＣ（Ａ）を連携対象の機器として識別し、更に、機器画像７０に紐付くディスプレイＤを連携対象の機器として識別する。この場合、特定部２８は、図７に示されている連携機能管理テーブルにおいて、ＰＣ（Ａ）と複合機ＢとディスプレイＤとの組み合わせに対応付けられている連携機能を特定する。その連携機能に関する情報は、ＵＩ部２０の表示部に表示される。また、合成画像６８上に機器画像７０が重ねられた状態を表す新たな合成画像が生成されて表示される。
上記のように合成画像を表示し、当該合成画像をアシスタント画像５０に重ね、更に別の機器画像をアシスタント画像５０に重ねることで、連携させる機器を増加させることができる。また、合成画像は、連携対象の機器が重ねられた状態を表わしているため、合成画像を表示することで、どのような機器が連携対象の機器として指定されているのかがユーザにとって視覚的に分かり易い。
上記の合成画像は、次回以降に連携機能を実行する際のショートカット用の画像として用いられてもよい。例えば、ユーザが端末装置１０を用いて、合成画像をショートカット用の画像として登録する指示を与えると、その登録用画面がＵＩ部２０の表示部に表示される。この登録画面には、合成画像が表示されるとともに、連携対象の複数の機器を利用して実行可能な連携機能の登録内容を示す情報が表示される。例えば、連携機能名、連携機能の概要、及び、連携に必要な機器を示す情報が、登録内容を示す情報として表示される。ユーザは端末装置１０を用いて、登録内容（例えば、連携機能名、連携機能の概要等）を編集してもよい。登録画面上でユーザが登録指示を与えた場合、合成画像がショートカット用の画像として登録される。また、ユーザによって登録内容が編集された場合、その編集内容も合成画像に紐付いて登録される。合成画像としてのショートカット用画像が生成されてＵＩ部２０の表示部に表示される。ショートカット用画像は、例えば端末装置１０の制御部２６によって生成される。複数のショートカット用画像が生成されて登録された場合、ＵＩ部２０の表示部には、ショートカット用画像の一覧が表示されてもよい。なお、ショートカット用画像と登録内容を示す情報は、端末装置１０に記憶される。別の例として、ショートカット用画像と登録内容を示す情報は、ユーザアカウント情報に紐付けられてサーバ１６に記憶されてもよい。この場合、ユーザアカウント情報が端末装置１０からサーバ１６に送信されると、そのユーザアカウント情報に紐付けられた情報（ショートカット用画像と登録内容を示す情報）が、サーバ１６から端末装置１０に送信されて表示される。
なお、ショートカット用画像には、連携対象の機器毎に、機器のステータスを示す情報（例えば画像等）が含まれてもよい。例えば、連携対象の機器が連携機能を実行できる状態の場合、その旨を示す画像（例えば緑色や青色の画像）がステータスを示す情報として表示される。連携対象の機器が連携機能を実行できる状態ではない場合、その旨を示す画像（例えば白色や赤色の画像）がステータスを示す情報として表示される。連携機能を実行できる状態とは、例えば、現在、機器が使用されていない状態、故障が発生していない状態、等である。連携機能を実行できない状態とは、例えば、機器が使用されている状態、故障が発生している状態、等である。例えば、操作アシスタントが、連携対象の機器のステータスを示す情報を連携対象の機器から取得し、その情報に基づいてステータス情報を表示する。情報の取得はサーバ１６によって行われてもよい。
端末装置１０のＵＩ部２０にショートカット用画像が表示されている場合において、ユーザがショートカット用画像を指定して連携機能の実行を指示した場合（例えば、ユーザがショートカット用画像をクリックやダブルクリックした場合）、そのショートカット用画像に紐付く連携機能を示す情報が表示されてもよいし、その連携機能の実行が制御されてもよい。また、ユーザがショートカット用画像をアシスタント画像５０に重ねた場合や、ショートカット用画像をアシスタント画像５０に繋げた場合、そのショートカット用画像に紐付く連携機能を示す情報が表示されてもよいし、その連携機能の実行が制御されてもよい。
以上のように、連携機能とショートカット用画像とを紐付けて管理することで、次回以降、連携機能を実行するためのユーザの操作負担が軽減される。
なお、別の操作例として、複数の機器画像がユーザによって選択され（例えば、画面上において複数の機器画像を囲む操作が行われることで当該複数の機器画像が選択される）、当該複数の機器画像がまとめてアシスタント画像５０に繋げられたり重ねられたりしてもよい。このような操作によっても、当該複数の機器画像のそれぞれに紐付く機器が、連携対象の機器として識別される。
（変形例２）
以下、変形例２について説明する。変形例２では、変形例１と同様に、機器画像をアシスタント画像５０に重ねることで、当該機器画像に紐付く機器が連携対象の機器として識別される。変形例２では、機器画像をアシスタント画像５０に重ねる操作がユーザによって行われた場合、制御部２６は、機器画像がアシスタント画像５０に吸い込まれる表示演出を実行する。
図１４には、その表示例が示されている。例えば、画面４８上で、矢印７２で示すように、ユーザが機器画像５２をドラッグ操作してアシスタント画像５０に近付けた場合、制御部２６は、機器画像５２の形状を変形させることで、例えば一部がアシスタント画像５０に向けて伸びる機器画像７４を生成して画面４８に表示させる。機器画像７４は、例えば、アシスタント画像５０に向けて先細りとなる形状を有する。例えば、機器画像５２をアシスタント画像５０に向けて移動させている状態で、機器画像５２とアシスタント画像５０との間の距離（画面４８上の距離）が、予め定められた閾値以下となった場合、制御部２６は、機器画像５２を変形させることで機器画像７４を生成する。ユーザが機器画像７４を更にアシスタント画像５０に近付けてアシスタント画像５０上に重ねた場合、機器画像７４に紐付く機器が連携対象の機器として識別され、制御部２６は、機器画像７４を画面４８から消す。つまり、制御部２６は、アシスタント画像５０が表示されている位置で、機器画像７４が消える演出を実行する。このとき、制御部２６は、機器画像７４がアシスタント画像５０に吸い込まれるような表示演出を行う。なお、機器画像５２がアシスタント画像５０上に重ねられた後も、機器画像５２は元の位置に表示されてもよい。もちろん、機器画像５２がアシスタント画像５０上に重ねられた後、機器画像５２は画面４８に表示されず、連携機能の実行が終了した後に、機器画像５２が画面４８に表示されてもよい。
上記のような演出を行うことで、ユーザによって操作されている機器画像が操作アシスタントに渡される様子が視覚的に明らかになる。
また、ユーザによって選択された複数の機器の組み合わせに対応付けられている連携機能が連携機能管理テーブルに登録されていない場合、特定部２８は、利用可能な連携機能が登録されていないと判断する。この場合、制御部２６は、利用可能な連携機能が登録されていないことを示すメッセージをＵＩ部２０に表示させる。このような場合であっても、機器の更新状況等によって、連携機能の利用が可能になる場合がある。この場合、特定部２８は、利用可能になった連携機能を特定する。
また、制御部２６は、操作アシスタントに渡された機器によって連携機能の実行が不可能な場合、当該機器に紐付く機器画像を再表示する演出を実行してもよい。例えば、上記のように、機器画像がアシスタント画像５０に重ねられて、アシスタント画像５０の表示位置で消えた場合において、その機器画像に紐付く機能によって連携機能の実行が不可能な場合、制御部２６は、その機器画像を再表示する演出を実行する。このとき、制御部２６は、アシスタント画像５０から当該機器に紐付く機器画像を吐き出す表示演出を実行してもよい。
図１５には、その表示例が示されている。例えば、画面４８上で、ユーザが機器画像７６をアシスタント画像５０に重ねた後、機器画像７８をアシスタント画像５０に重ねたものとする。この重ね合わせによって、アシスタント画像５０の表示位置で機器画像７６，７８が消える。なお、機器画像７６，７８は移動元の位置には表示されている。機器画像７６に紐付く機器と機器画像７８に紐付く機器とを利用して実行可能な連携機能（両機器の組み合わせに対応付けられている連携機能）が連携機能管理テーブルに登録されていない場合、制御部２６は、後から重ねられた機器画像７８をアシスタント画像５０の表示位置で再表示する演出を実行する。このとき、制御部２６は、後から重ねられた機器画像７８の形状を変形させることで、矢印８０で示すように、アシスタント画像５０から外側に向けて膨らむ形状を有する機器画像８２を生成して画面４８に表示させてもよい。制御部２６は、機器画像８２を機器画像７８の表示位置まで移動させ、その後、機器画像８２を画面４８から消す。もちろん、制御部２６は、機器画像７８の形状を変形させずに、アシスタント画像５０上まで移動させられた機器画像７８をアシスタント画像５０から元の表示位置まで弾き飛ばすような表示演出を行ってもよい。機器画像７６についても同様の表示演出が行われてもよい。
上記のような演出を行うことで、連携機能の実行が不可能であることが視覚的に明らかになる。
（変形例３）
以下、変形例３について説明する。変形例３では、機器の情報を操作アシスタントに送る順番に応じた連携機能の表示が制御される。以下、図１６から図１８を参照して、この変形例３について詳しく説明する。
図１６には、変形例３に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルにおいては、一例として、機器ＩＤの組み合わせを示す情報と、連携対象の機器名（例えば各機器の種類）を示す情報と、連携機能を示す情報（連携機能情報）と、接続順番を示す情報と、優先順位を示す情報と、が互いに対応付けられている。機器ＩＤと機器名はデバイス識別情報の一例に相当する。なお、３個以上の機器を利用することで実行可能な連携機能が定められてもよい。この場合、３個以上の機器の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
接続順番は、機器の指定の順番に対応しており、例えば、機器画像をアシスタント画像５０に繋げる順番や重ねる順番に対応している。例えば、ユーザが複数の機器画像を順番にアシスタント画像５０に繋げたり重ねたりした場合、その順番が接続順番に相当する。具体的には、ユーザが第１機器画像を先にアシスタント画像５０に繋げ、その後、第２機器画像をアシスタント画像５０に繋げた場合、第１機器画像に紐付く第１機器の指定の順番が１番であり、第２機器画像に紐付く第２機器の指定の順番が２番である。また、ユーザが第１機器画像をアシスタント画像５０に先に重ね、その後、第２機器画像をアシスタント画像５０に重ねた場合、第１機器画像に紐付く第１画像の指定の順番が１番であり、第２機器画像に紐付く第２機器の指定の順番が２番である。
優先順位は、連携機能に関する情報の表示の優先順位である。例えば、ＰＣ（Ａ）と複合機Ｂとの組み合わせには、連携機能として「スキャン転送機能」と「プリント機能」が対応付けられている。例えば、複合機Ｂ、ＰＣ（Ａ）の順番で各機器に紐付く機器画像がアシスタント画像５０に繋げられたり重ねられたりした場合、「スキャン転送機能」の優先順位が「１位」となり、「プリント機能」の優先順位は「２位」となる。この場合、「スキャン転送機能」に関する情報が「プリント機能」に関する情報よりも優先的に表示される。例えば、「スキャン転送機能」に関する情報が「プリント機能」に関する情報よりも上位に表示されたり、先に表示されたりする。それとは逆に、ＰＣ（Ａ）、複合機Ｂの順番で各機器に紐付く機器画像がアシスタント画像５０に繋げられたり重ねられたりした場合、「プリント機能」の優先順位が「１位」となり、「スキャン転送機能」の優先順位が「２位」となる。この場合、「プリント機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に表示される。
図１７には、優先順位に従った表示例が示されている。例えば、複合機Ｂ、ＰＣ（Ａ）の順番で機器画像５２，５４がアシスタント画像５０に繋げられたり重ねられたりした場合、「スキャン転送機能」の優先順位が「１位」となり、「プリント機能」の優先順位が「２位」となる。そのため、「スキャン転送機能」に関する情報が「プリント機能」に関する情報よりも優先的に（例えば上位に）表示される。画面６０上にて連携機能がユーザによって指定されて実行指示が与えられると、指定された連携機能が実行される。
図１８には、優先順位に従った別の表示例が示されている。例えば、ＰＣ（Ａ）、複合機Ｂの順番で機器画像５４，５２がアシスタント画像５０に繋げられたり重ねられたりした場合、「プリント機能」の優先順位が「１位」となり、「スキャン転送機能」の優先順位は「２位」となる。そのため、「プリント機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に（例えば上位に）表示される。
以上のように、操作アシスタントに機器に関する情報を送る順番に応じて、連携機能に関する情報の表示順位が変更される。機器の接続順番（機器の情報を操作アシスタントに送る順番）は、各機器で利用される機能の順番や、連携する機器間を移動するデータの移動順番を兼ねており、機器を指定する操作は、機能の順番やデータの移動順番を指定する操作を兼ねることになる。それ故、接続順番に応じて連携機能に関する情報の表示順位を変えることで、ユーザが利用するであろうと予測される連携機能に関する情報が優先的に表示される。つまり、ユーザが利用する可能性の高い連携機能に関する情報が優先的に表示される。例えば、複合機Ｂ、ＰＣ（Ａ）の順番で各機器に紐付く機器画像がアシスタント画像５０へ渡された場合、「ＰＣ（Ａ）よりも先に複合機Ｂの機能を利用し、複合機ＢからＰＣ（Ａ）へデータを転送する」という連携機能がユーザによって利用されると予測される。また、ＰＣ（Ａ）、複合機Ｂの順番で各機器に紐付く機器画像がアシスタント画像５０へ渡された場合、「複合機Ｂよりも先にＰＣ（Ａ）の機能を利用し、ＰＣ（Ａ）から複合機Ｂへデータを転送する」という連携機能がユーザによって利用されると予測される。それ故、機器を選択する順番に応じて連携機能に関する情報の表示順位を変えることで、ユーザが利用する可能性の高い連携機能に関する情報が優先的に表示される。
（変形例４）
以下、変形例４について説明する。変形例４では、機器に紐付く機器画像内の部分毎に異なる機能が割り当てられている。機器画像内の部分がユーザによって指定されて、その部分がアシスタント画像５０に繋げられたり重ねられたりした場合、その部分に割り当てられている機能を利用して実行可能な連携機能に関する情報が表示される。以下、変形例４について詳しく説明する。
図１９には、変形例４に係る機器機能管理テーブルの一例が示されている。この機器機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器画像内の位置（部分の位置）を示す情報と、その機器画像内の位置（部分の位置）に対応する機能を示す情報（機能情報）と、画像ＩＤと、が対応付けられている。機器画像内の位置は、機器に紐付く機器画像内の特定の位置（特定の部分）であり、例えば、機器を模式的に表す機器画像内の特定の位置や、カメラによって撮影された機器画像内の特定の位置である。機器画像内の特定の位置（部分）毎に、異なる機能が対応付けられている。なお、３個以上の部分を利用することで実行可能な連携機能が定められてもよい。この場合、３個以上の部分の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。もちろん、部分と機器全体とを利用して実行可能な連携機能が定められ、部分と機器全体との組み合わせと連携機能との対応付けが連携機能管理テーブルに登録されてもよい。
図２０には、ＵＩ部２０の表示部に表示される画面の一例が示されている。例えば、複合機ＢとＰＣ（Ａ）が識別されており、画面４８に機器画像７０，５４が表示されている。また、複合機ＢとＰＣ（Ａ）に含まれる各部分も識別されている。部分の識別も、上述した識別技術（例えばＡＲ技術等）を用いることで実現される。例えば、機器の各部分を撮影してマーカレス型ＡＲ技術を適用することで、各部分が識別される。
例えば、機器画像７０において複合機Ｂの本体部分に対応する特定の位置（部分画像７０ａ）には、「プリント機能」が割り当てられている。機器画像７０において複合機Ｂの原稿カバーや原稿ガラスや自動原稿給紙装置に対応する特定の位置（部分画像７０ｂ）には、「スキャン機能」が割り当てられている。機器画像７０において後処理装置に対応する特定の位置（部分画像７０ｃ）には、「ステープル止め機能」が割り当てられている。「ステープル止め機能」は、出力された用紙をステープラによって止める機能である。また、機器画像５４においてＰＣ（Ａ）の本体部分に対応する特定の位置（部分画像５４ａ）には、「データ保存機能」が割り当てられている。機器画像５４においてＰＣ（Ａ）の表示部に対応する特定の位置（部分画像５４ｂ）には、「画面表示機能」が割り当てられている。「データ保存機能」は、他の装置から送られてきたデータをＰＣ（Ａ）にて保存する機能である。「画面表示機能」は、他の装置から送られてきたデータをＰＣ（Ａ）にて表示する機能である。
なお、端末装置１０の制御部２６は、機器画像内の特定の位置に割り当てられている機能の名称（例えば印刷やスキャン等）を画面４８に表示させてもよい。これにより、特定の位置にどのような機能が対応しているのかが分かり易い情報がユーザに提供される。もちろん、機能の名称は表示されなくてもよい。
機器画像において機能が対応付けられている部分がユーザによって指定され、その部分の画像がアシスタント画像５０に繋げられたり重ねられたりした場合、その部分が連携対象の部分として識別される。例えば、矢印８４で示すように、部分画像７０ｂがアシスタント画像５０に繋げられ、矢印８６で示すように、部分画像５４ｂがアシスタント画像５０に繋げられた場合、部分画像７０ｂを含む機器画像７０に紐付いた複合機Ｂと部分画像５４ｂを含む機器画像５４に紐付いたＰＣ（Ａ）が、連携対象の機器として指定されると共に、部分画像７０ｂに対応する「スキャン機能」と部分画像５４ｂに対応する「画面表示機能」が指定される。
連携対象の機器（例えばＰＣ（Ａ）と複合機Ｂ）が識別されると、特定部２８は、図７に示されている連携機能管理テーブルにおいて、ＰＣ（Ａ）と複合機Ｂとの組み合わせに対応付けられている連携機能を特定する。また、特定部２８は、図１９に示されている機器機能管理テーブルを参照することにより、操作アシスタントに渡された機器画像内の部分に対応付けられている機能を特定する。そして、特定部２８は、ＰＣ（Ａ）と複合機Ｂとを利用して実行可能な連携機能群の中で、その部分に対応付けられている機能を利用する連携機能の優先順位を上げて、その機能を利用しない連携機能の優先順位を下げる。端末装置１０の制御部２６は、その優先順位に従って、連携機能に関する情報を連携機能候補に関する情報としてＵＩ部２０に表示させる。
例えば図２１に示すように、端末装置１０の制御部２６は、ＵＩ部２０の表示部に画面６０を表示させ、その画面６０に連携機能に関する情報を表示させる。「スキャン機能」と「画面表示機能」がその順番でユーザによって指定されているため、「スキャン機能」と「画像表示機能」とを利用して実行可能な連携機能「スキャン転送表示機能」に関する情報が、他の連携機能に関する情報よりも優先的に（例えば上位に）表示される。例えば、「スキャン機能」と「データ保存機能」とを利用して実行可能な連携機能「スキャン転送保存機能」に関する情報よりも、「スキャン転送表示機能」に関する情報が優先的に表示される。なお、「スキャン転送表示機能」は、複合機Ｂによるスキャンによって生成されたデータをＰＣ（Ａ）に転送してＰＣ（Ａ）の画面に表示する機能である。「スキャン転送保存機能」は、複合機Ｂによるスキャンによって生成されたデータをＰＣ（Ａ）に転送してＰＣ（Ａ）に保存する機能である。
変形例４によれば、連携対象の機器が複数の機能を有している場合に、機能が個別的に指定され、その指定された機能を利用して実行可能な連携機能に関する情報が優先的に表示される。これにより、ユーザが利用するであろうと予測される連携機能が優先的に表示される。
なお、連携機能は、互いに同じ機器又は互いに異なる機器の部分同士の組み合わせを利用する機能であってもよいし、機器の全体と機器の部分との組み合わせを利用する機能であってもよいし、機器の全体同士の組み合わせを利用する機能であってもよい。
また、変形例３，４を組み合わせることで、機器や部分を操作アシスタントに渡す順番に応じて、連携機能に関する情報の表示が切り替えられてもよい。
また、１つの部分の情報が操作アシスタントに渡された場合、その１つの部分を利用して実行可能な単独機能に関する情報がＵＩ部２０の表示部に表示される。
以下、部分画像を用いた処理の別の例について説明する。
図２２には、変形例４に係る機器機能管理テーブルの別の例が示されている。この機器機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器の部分の名称（例えば部分の種類）を示す情報と、その部分を識別するための部分識別情報としての部分ＩＤと、その部分に割り当てられている機能（その部分が有する機能）を示す情報と、その部分に紐付く部分画像を識別するための部分画像ＩＤと、が互いに対応付けられている。部分画像は、カメラによる撮影によって得られた機器の部分の外観を表わす画像である。もちろん、機器の部分を模式的に表す部分画像が、当該部分に対応付けられていてもよい。例えば、機器の部分毎に異なる機能が割り当てられている。
具体例を挙げて説明すると、ＰＣ（Ａ）の表示部には画面表示機能が割り当てられており、その表示部に紐付く部分画像の部分画像ＩＤには、画面表示機能を示す情報が対応付けられている。画面表示機能は、情報をＰＣ（Ａ）にて表示する機能である。ＰＣ（Ａ）の本体部にはデータ保存機能が割り当てられており、その本体部に紐付く部分画像の部分画像ＩＤには、データ保存機能を示す情報が対応付けられている。データ保存機能は、データをＰＣ（Ａ）に保存する機能である。
また、複合機Ｂの本体部にはプリント機能が割り当てられており、その本体部に紐付く部分画像の部分画像ＩＤには、プリント機能を示す情報が対応付けられている。複合機Ｂの読取部（例えば、複合機Ｂの原稿カバーや原稿ガラスや自動原稿給紙装置に対応する部分）にはスキャン機能が割り当てられており、その読取部に紐付く部分画像の部分画像ＩＤには、スキャン機能を示す情報が対応付けられている。複合機Ｂの後処理装置にはステープル止め機能が割り当てられており、その後処理装置に紐付く部分画像の部分画像ＩＤには、ステープル止め機能を示す情報が対応付けられている。ステープル止め機能は、出力された用紙をステープルによって綴じる機能である。
機器の部分に割り当てられている機能は、例えば、マーカレス型ＡＲ技術を用いることによって特定（識別）される。例えば、機器の部分がカメラ（例えば端末装置１０のカメラ２２）によって撮影された場合、特定部２８は、図２２に示されている機器機能管理テーブルにおいて、その外観画像データに対応付けられている機能を特定（識別）する。これにより、撮影された部分に割り当てられている機能が特定（識別）される。例えば、複合機Ｂの本体部がカメラ２２によって撮影された場合、特定部２８は、機器機能管理テーブルにおいて、複合機Ｂの本体部を表わす外観画像データに対応付けられているプリント機能を特定する。これにより、複合機Ｂの本体部に割り当てられている機能がプリント機能であることが特定される。
もちろん、機器の部分に割り当てられている機能は、マーカ型ＡＲ技術を用いることによって特定（識別）されてもよい。例えば、機器の各部分に、部分を識別するための部分識別情報（例えば部分ＩＤ）がコード化された２次元バーコード等のマーカが設けられている。部分に設けられているマーカがカメラによって撮影されてマーカ型ＡＲ技術が適用された場合、その部分の部分識別情報（例えば部分ＩＤ）が取得される。このように部分識別情報が取得されると、特定部２８は、図２２に示されている機器機能管理テーブルにおいて、その部分識別情報（例えば部分ＩＤ）に対応付けられている機能を特定（識別）する。
図２３には、変形例４に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、複数の部分が有する機能を利用する連携機能を示す情報であり、その連携機能管理テーブルにおいては、一例として、機器の部分の組み合わせを示す情報と、部分ＩＤの組み合わせを示す情報と、その組み合わせに含まれる複数の部分が有する機能を利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。もちろん、連携機能管理テーブルにおいては、機器の部分と機器の全体との組み合わせを示す情報と、その機器の部分が有する機能と機器の全体が有する機能とを利用する連携機能を示す情報と、が対応付けられていてもよい。
具体例を挙げて説明すると、ＰＣ（Ａ）の表示部と複合機Ｂの本体部との組み合わせには、連携機能としての「プリント機能」が割り当てられている。連携機能としての「プリント機能」は、ＰＣ（Ａ）に保存されているデータを複合機Ｂに送信して、そのデータを複合機Ｂによって印刷する機能である。
また、複合機Ｂの本体部とプロジェクタＣの本体部との組み合わせには、連携機能としての「プリント機能」が割り当てられている。連携機能としての「プリント機能」は、プロジェクタＣによって投影されているデータを複合機Ｂに送信して、そのデータを複合機Ｂによって印刷する機能である。
また、複合機Ｂの読取部とプロジェクタＣの本体部との組み合わせには、連携機能としての「スキャン投影機能」が割り当てられている。連携機能としての「スキャン投影機能」は、例えば、複合機Ｂによるスキャンによって生成されたデータをプロジェクタＣに送信して、そのデータをプロジェクタＣによって投影する機能である。
なお、連携機能は、同一の機器に含まれる複数の部分が有する機能を利用して実行可能な機能であってもよいし、互いに異なる複数の機器の部分が有する機能を利用して実行可能な機能であってもよい。また、連携機能は、３つ以上の部分が有する機能を利用して実行可能な機能であってもよい。
例えば、ユーザが複数の部分画像をアシスタント画像５０に繋げたり重ねたりした場合、特定部２８は、図２３に示されている連携機能管理テーブルにおいて、当該複数の部分画像のそれぞれに紐付く部分の組み合わせに対応付けられている連携機能を特定（識別）する。例えば、複合機Ｂの本体部に紐付く部分画像とプロジェクタＣの本体部に紐付く部分画像が、アシスタント画像５０に繋げられたり重ねられたりした場合、特定部２８は、図２３に示されている連携機能管理テーブルにおいて、複合機Ｂの本体部とプロジェクタＣの本体部との組み合わせに対応付けられている連携機能「プリント機能」等を特定する。図２１に示すように、その連携機能に関する情報はＵＩ部２０の表示部に表示される。
また、変形例３，４を組み合わせることで、機器画像や部分画像をアシスタント画像５０に繋げる順番や重ねる順番に応じて、連携機能に関する情報の表示が切り替えられてもよい。
以下、図２４を参照して、部分画像をアシスタント画像５０に重ねるときの操作例について説明する。例えば、ユーザが、矢印８８で示すように、部分画像７０ｂを移動させてアシスタント画像５０上に重ねた場合、特定部２８は、部分画像７０ｂに紐付く部分を連携対象の部分として識別する。また、ユーザが、矢印９０で示すように、部分画像５４ｂを移動させてアシスタント画像５０上に重ねた場合、特定部２８は、部分画像５４ｂに紐付く部分を連携対象の部分として識別する。そして、特定部２８は、図２３に示されている連携機能管理テーブルにおいて、部分画像７０ｂに紐付く複合機Ｂの読取部と部分画像５４ｂの表示部とに対応付けられている連携機能を特定する。その連携機能に関する情報は、図２１に示すように、ＵＩ部２０の表示部に表示される。
もちろん、部分画像と全体画像がアシスタント画像５０に繋げられたり重ねられたりした場合、部分画像に紐付く部分と機器画像に紐付く機器とを利用することで実行可能な連携機能が特定され、その連携機能に関する情報がＵＩ部２０の表示部に表示されてもよい。
（変形例５）
以下、変形例５について説明する。変形例５では、操作アシスタントは学習機能を有しており、操作アシスタントが得た情報に応じて連携機能の表示が制御される。操作アシスタントは、学習機能によって、例えば、ユーザに関する情報（例えば、端末装置１０の操作履歴を示す情報、機器の操作履歴を示す情報、行動履歴を示す情報等）、機器１２，１４に関する情報（例えば、利用履歴を示す情報、機器の状態を示す情報等）、等を取得する。操作アシスタントは、端末装置１０から情報を取得してもよいし、機器１２，１４等の機器から情報を取得してもよいし、サーバ１６から情報を取得してもよいし、他の装置（例えばクラウド等）から情報を取得してもよいし、他の装置に格納されている他の操作アシスタント（例えば、他の装置に格納されている人工知能）から情報を取得してもよい。
制御部２６は、操作アシスタントによって取得された情報に応じて、連携機能の表示を制御する。例えば、機器に対するユーザの利用履歴を示す情報や、ユーザのスケジュール（予定）を示す情報（スケジュール情報）が操作アシスタントによって取得された場合、制御部２６は、利用履歴やスケジュールを参照することで、ユーザによって使用される可能性が高い連携機能に関する情報を優先的にＵＩ部２０の表示部に表示させる。例えば、ユーザが複数の機器画像をアシスタント画像５０に繋げたり重ねたりすることで、当該複数の機器画像のそれぞれに紐付く機器を利用して実行可能な複数の連携機能が特定される。制御部２６は、利用履歴やスケジュールを解析し、当該複数の連携機能の中でユーザによって使用される可能性が高い連携機能に関する情報を優先的にＵＩ部２０の表示部に表示させる。例えば、制御部２６は、過去において複数の機器が連携対象の機器として指定されたタイミングとスケジュールとを突き合わせて、現時点において使用される可能性が高い連携機能に関する情報を優先的にＵＩ部２０の表示部に表示させる。
具体例を挙げて説明すると、過去において、ユーザが午後に外出した日の午前中に、第１機器画像と第２機器画像とがアシスタント画像５０に送られて連携機能Ｚが実行されたものとする。そのような利用履歴が存在する場合において、第１機器画像と第２機器画像とがアシスタント画像５０に送られたタイミングが、ユーザが午後に外出する予定がある日の午前中である場合、制御部２６は、上記の連携機能Ｚが使用される可能性が高いと判断し、その連携機能Ｚに関する情報を優先的にＵＩ部２０の表示部に表示させる。
別の具体例を挙げて説明すると、過去において、ある時間帯に第１機器画像と第２機器画像とがアシスタント画像５０に送られ、連携機能としての録画機能が実行されたことで、チャンネルＸの番組が録画されたものとする。そのような利用履歴が存在する場合において、第１機器画像と第２機器画像とがアシスタント画像５０に送られたタイミングが、その時間帯に含まれる場合、制御部２６は、上記の録画機能が使用される可能性が高いと判断し、その録画機能に関する情報（例えば、チャンネルＸを録画する機能に関する情報）を優先的にＵＩ部２０の表示部に表示させる。
また、アシスタント画像５０に渡された機器画像に紐付く機器が使用中又は故障中の場合、制御部２６は、その機器を利用して実行可能な連携機能に関する情報の優先度を下げて当該情報をＵＩ部２０の表示部に表示させてもよい。その機器が故障しておらず使用中ではない場合、制御部２６は、その機器を利用して実行可能な連携機能に関する情報を優先的にＵＩ部２０の表示部に表示させる。こうすることで、直ぐに使用可能な連携機能に関する情報が優先的にユーザに提供される。
（変形例６）
以下、変形例６について説明する。端末装置１０には、複数の操作アシスタントが存在してもよい。例えば、機器毎に操作アシスタントが割り当てられて、各機器に紐付くアシスタント画像５０がＵＩ部２０の表示部に表示される。例えば複数の機器が識別されている場合、複数のアシスタント画像５０がＵＩ部２０の表示部に表示される。各操作アシスタントは、自身に割り当てられている機器を管理してもよいし、自身に割り当てられている機器に関するユーザからの問い合わせに対して回答を作成して発してもよい。各操作アシスタントは他の操作アシスタントと通信することで、互いに情報を共有してもよい。
例えば、複合機Ｂに紐付く操作アシスタントを実現するためのプログラムや、ＰＣ（Ａ）に紐付く操作アシスタントを実現するためのプログラム等が端末装置１０にインストールされることで、複合機Ｂに紐付く操作アシスタントやＰＣ（Ａ）に紐付く操作アシスタントが、端末装置１０にて機能する。もちろん、１つのプログラムによって複数の操作アシスタントが実現されてもよい。
制御部２６は、変形例５と同様に、各操作アシスタントが取得した情報に応じて、連携機能の表示を制御してもよい。例えば、制御部２６は、複数の操作アシスタントが共有している情報（例えば、機器の利用履歴や機器の状態等の情報）に応じて、連携機能に関する情報を変える。
（変形例７）
以下、変形例７について説明する。変形例７では、操作アシスタントが、連携対象となる機器を推奨する。例えば、ユーザが機器画像をアシスタント画像５０に繋げたり重ねたりした場合、特定部２８は、その機器画像に紐付く機器を識別し、連携機能管理テーブルを参照することで、その機器との組み合わせで連携機能の実行が可能な機器を特定する。制御部２６は、特定部２８によって特定された機器に関する情報をＵＩ部２０の表示部に表示させる。例えば、ユーザが複合機Ｂに紐付く機器画像５２をアシスタント画像５０に繋げたり重ねたりした場合、特定部２８は、連携機能管理テーブルを参照することで、複合機Ｂとの組み合わせで連携機能の実行が可能な機器（例えば、ＰＣやプロジェクタ等）を特定する。その機器（例えばＰＣやプロジェクタ）に関する情報がＵＩ部２０の表示部に表示される。こうすることで、連携対象となる機器がユーザに提供される。
また、特定部２８は、連携機能の使用履歴（当該ユーザの使用履歴や、他のユーザの利用履歴）に基づいて、上記の機器画像に紐付く機器（例えば複合機Ｂ）と組み合わせて実際に利用された機器を特定し、制御部２６は、その機器に関する情報をＵＩ部２０の表示部に表示させてもよい。例えば、特定部２８は、上記の機器画像に紐付く機器（例えば複合機Ｂ）との組み合わせで利用された頻度（例えば利用回数）が予め定められた閾値以上となる機器を特定してもよい。こうすることで、利用頻度が比較的に高い機器がユーザに提供される。
また、制御部２６は、上記の機器画像に紐付く機器（例えば複合機Ｂ）との組み合わせで利用された頻度が高い機器に関する情報ほど優先的にＵＩ部２０の表示部に表示させてもよい。
（変形例８）
以下、変形例８について説明する。変形例８では、複数の操作アシスタント同士が連携してもよい。例えば、端末装置１０に格納されている操作アシスタントが、他の端末装置に格納されている操作アシスタントと情報（例えば、連携機能の使用履歴情報、機器の使用履歴情報等）を共有してもよい。この場合、特定部２８は、操作アシスタントが取得した上記の共有情報を用いることで、連携機能を特定してもよいし、変形例７と同様に、連携対象となる機器を推奨してもよい。例えば、特定部２８は、共有情報に含まれる使用履歴情報を用いることで、ユーザが操作アシスタントに渡した機器との組み合わせで連携機能を実行することが可能な機器を特定してもよい。
また、ユーザ毎に操作アシスタントが定められてもよい。この場合、同一の端末装置１０に複数の操作アシスタントが格納されていてもよい。各操作アシスタントは、自身に紐付けられているユーザに関する情報（例えば、端末装置１０の操作履歴情報、連携機能の使用履歴情報、機器の使用履歴情報等）を管理し、他の操作アシスタントと情報を共有してもよい。この場合、各操作アシスタントは、その共有情報を用いることで、連携対象となる機器を推奨してもよいし、連携機能を推奨してもよい。
（変形例９）
以下、変形例９について説明する。変形例９では、連携対象の機器に関する情報が音声によって端末装置１０に入力される。例えば、ユーザが、連携対象となる機器の名称（例えば複合機Ｂ、ＰＣ（Ａ）等）を音声によって発した場合、その音声が端末装置１０に入力され、特定部２８（操作アシスタントによって実現される特定部２８）は、その音声入力を受けて連携機能を特定する。その連携機能に関する情報は、ＵＩ部２０の表示部に表示されてもよいし、音声情報として発せられてもよい。音声入力が用いられる場合、アシスタント画像５０はＵＩ部２０の表示部に表示されなくてもよい。もちろん、アシスタント画像５０が表示されているときに音声入力によって機器に関する情報が端末装置１０に入力されてもよい。
また、アシスタント画像５０が表示されない場合に、画面上の特定領域に、機器画像が移動させられた場合、その機器画像に紐付く機器が連携対象の機器として識別されてもよい。
（変形例１０）
以下、変形例１０について説明する。変形例１０では、機器画像（例えば機器画像５２）がアシスタント画像５０上に予め定められた時間以上の間、重ねられた場合、特定部２８は、当該機器画像に紐付く機器（例えば複合機Ｂ）を連携対象の機器として識別する。その重ね合わせの時間の長さが予め定められた時間未満の場合、特定部２８は、その機器画像に紐付く機器（例えば複合機Ｂ）を連携対象の機器として識別しない。
別の例として、ユーザが機器画像（例えば機器画像５２）を指定した後、その機器画像からアシスタント画像５０まで画面４８上を指示子でなぞって、予め定められた時間以上の間、アシスタント画像５０を指定した場合、特定部２８は、その機器画像に紐付く機器（例えば複合機Ｂ）を連携対象の機器として識別してもよい。アシスタント画像５０の指定時間の長さが予め定められた時間未満の場合、特定部２８は、その機器画像に紐付く機器（例えば複合機Ｂ）を連携対象の機器として識別しない。
変形例１０によれば、機器画像の重ね合わせの時間の長さや指定時間の長さが予め定められた時間未満の場合、当該機器画像に紐付く機器は連携対象の機器として識別されない。それ故、ユーザの意図しない機器が連携対象の機器として識別され難くなる。
＜第２実施形態＞
以下、第２実施形態に係る機器システムについて説明する。上記の第１実施形態では、機器に紐付く機器画像がアシスタント画像５０に繋げられたり重ねられたりした場合に、連携機能に関する情報が表示されるが、第２実施形態では、機能に紐付く機能画像がアシスタント画像５０に繋げられたり重ねられたりした場合に、連携機能に関する情報が表示される。機能画像は、例えば、ソフトウェア（アプリケーション等）に紐付く画像であってもよいし、処理が行われる機器（現実空間に存在する機器）に紐付く画像であってもよい。機能画像は、例えばアイコン等の画像であり、ハードウェアとしての機器の実際の外観を表す画像（例えば写真）や機器そのものを表す画像と区別する意味で、バーチャルな画像ともいえる。例えば、ソフトウェアに紐付く機能画像がアシスタント画像５０に渡された場合、その機能画像に紐付くソフトウェアを利用して実行可能な連携機能を示す情報が表示される。以下、第２実施形態について詳しく説明する。
図２５には、第２実施形態に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、複数の機能を利用して実行可能な連携機能を示す情報である。この連携管理テーブルにおいては、一例として、機能ＩＤ（例えば、ソフトウェアを識別するためのＩＤ）と、機能名（例えばソフトウェア名）を示す情報と、複数の機能を利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、複数の機能を利用して実行可能な連携機能が特定される。
例えば、機能としてのソフトウェアαはデータを送るソフトウェアであり、機能としてのソフトウェアβはデータにパスワードをかけるソフトウェアである。ソフトウェアα，βを組み合わせることで、例えば、データにパスワードをかけた上で送信するという連携機能が実現される。他のソフトウェアについても同様に実行可能な連携機能が定められている。
なお、３個以上の機能（例えばソフトウェア）を利用することで実行可能な連携機能が定められてもよい。この場合、３個以上の機能の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
図２６には、画面４８が示されている。その画面４８には、１又は複数の機能画像が表示される。例えば、端末装置１０にインストールされているソフトウェアに紐付く機能画像が画面４８に表示される。図２６に示す例では、機能画像９２，９４が表示されている。また、第１実施形態と同様に、アシスタント画像５０が画面４８に表示されている。
機能画像９２は、パスワード設定機能に紐付く画像（例えば、パスワード設定ソフトウェアに紐付く画像）である。機能画像９２がユーザによって選択されてパスワード設定機能の起動指示が与えられると、例えば、パスワード設定ソフトウェアが起動して、データ等に対するパスワードの設定処理が行われる。
機能画像９４は、データ送信機能に紐付く画像（例えば、データ送信ソフトウェアに紐付く画像）である。機能画像９４がユーザによって選択されてデータ送信機能の起動指示が与えられると、例えば、データ送信ソフトウェアが起動して、送信対象のデータ等が送信先に送信される。
第１実施形態と同様に、ユーザが複数の機能画像をアシスタント画像５０に繋げたり重ねたりした場合、特定部２８は、当該複数の機能画像のそれぞれの機能を識別し、図２５に示されている連携機能管理テーブルを参照することで、複数の機能を利用して実行可能な連携機能を特定する。その連携機能を示す情報は、ＵＩ部２０の表示部に表示される。
図２６に示す例で説明すると、ユーザが、矢印９６で示すように機能画像９２をアシスタント画像５０に繋げ、矢印９８で示すように機能画像９４をアシスタント画像５０に繋げた場合、パスワードをかける機能とデータを送る機能とを利用して実行可能な連携機能を示す情報が表示される。また、ユーザが、機能画像９２，９４をアシスタント画像５０上に重ねた場合も同様である。例えば図２７に示すように画面６０がＵＩ部２０の表示部に表示され、その画面６０に、上記のようにして特定された連携機能に関する情報が表示される。
なお、３個以上の機能画像がアシスタント画像５０に渡された場合、３個以上の機能を利用して実行可能な連携機能を示す情報が表示されてもよい。
以上のように第２実施形態によれば、連携対象となる機能に紐付く機能画像を操作アシスタントに渡すことで（例えば機能画像をアシスタント画像５０に繋げたり重ねたりすることで）、連携機能に関する情報が提供される。このように、操作アシスタントを利用した簡易な操作によって、連携機能に関する情報が提供される。
なお、第２実施形態においても、第１実施形態と同様に、予め定められた制限時間内に複数の機能の情報が操作アシスタントに送られた場合、当該複数の機能を利用して実行可能な連携機能に関する情報が表示され、当該制限時間内に１つの機能の情報が操作アシスタントに送られた場合、当該機能に関する情報（単独機能の情報）が表示されてもよい。
例えば、ユーザが機能画像９２をアシスタント画像５０に繋げた時点から制限時間内に他の機能画像をアシスタント画像５０に繋げなかった場合、機能画像９２に紐付く機能（単独機能）に関する情報が表示される。ユーザが、その制限時間内に他の機能画像（例えば機能画像９４）をアシスタント画像５０に繋げた場合、機能画像９２に紐付く機能と機能画像９４に紐付く機能とを利用して実行可能な連携機能に関する情報が表示される。機能画像をアシスタント画像５０に重ねる操作が行われる場合も同様である。
このように制限時間を設けることで、第２実施形態においても、連携機能又は単独機能の提供の切り替えが可能となる。
また、第２実施形態においても、第１実施形態の変形例１から変形例１０が適用されてもよい。
例えば、変形例１が適用されることで、機能画像がアシスタント画像５０に重ねられた場合に連携機能に関する情報が表示されてもよいし、複数の機能画像の重ね合わせの結果、合成画像が生成されてもよいし、ショートカット用画像が生成されてもよい。
なお、別の操作例として、複数の機能画像がユーザによって選択され（例えば、画面上において複数の機能画像を囲む操作が行われることで当該複数の機能画像が選択される）、当該複数の機能画像がまとめてアシスタント画像５０に繋げられたり重ねられたりしてもよい。このような操作によっても、当該複数の機能画像のそれぞれに紐付く機能が、連携対象の機能として識別される。
また、変形例２が適用されることで、機能画像がアシスタント画像５０に吸い込まれる表示演出や、実行可能な連携機能が存在しない場合に、機能画像がアシスタント画像５０から吐き出される表示演出が実行されてもよい。
また、変形例３が適用されることで、機能画像をアシスタント画像５０に繋げる順番や重ねる順番に応じて、連携機能の表示が制御されてもよい。この場合、図１６に示されている連携機能管理テーブルと同様に、第２実施形態に係る連携機能管理テーブルにおいても、機能画像の接続順と優先順位が定められている。
また、変形例４が適用されることで、機能画像内の部分毎に更に異なる機能が割り当てられてもよい。この場合、機能に紐付く部分画像がアシスタント画像５０に繋げられたり重ねられたりした場合、当該部分画像に紐付く機能を利用して実行可能な連携機能に関する情報が表示される。また、変形例３，４の組み合わせが第２実施形態に適用されてもよい。
また、変形例５が適用されることで、操作アシスタントが得た情報に応じて連携機能の表示が制御されてもよい。例えば、操作アシスタントは、学習機能によって、機能の利用履歴を示す情報、機能を実現するためのソフトウェアの実行状況を示す情報、ユーザに関する情報（操作履歴や行動履歴を示す情報）、ユーザのスケジュールを示す情報等を取得し、これらの情報を用いて連携機能の表示を制御してもよい。
また、変形例６が適用されることで、機能毎（例えばソフトウェア毎）に操作アシスタントが割り当てられて、各機能に紐付くアシスタント画像５０がＵＩ部２０の表示部に表示されてもよい。各操作アシスタントは、自身に割り当てられている機能（例えばソフトウェア）を管理してもよいし、自身に割り当てられている機能に関するユーザからの問い合わせに対して回答を作成して発してもよい。制御部２６は、例えば、複数の操作アシスタントが共有している情報（例えば、ソフトウェアの利用履歴やソフトウェアの状態等の情報）に応じて、連携機能に関する情報を変える。
また、変形例７が適用されることで、連携対象となる機能が推奨されてもよい。例えば、ユーザが機能画像をアシスタント画像５０に繋げたり重ねたりした場合、特定部２８は、その機能画像に紐付く機能を識別し、連携機能管理テーブルを参照することで、その機能との組み合わせで連携機能の実行が可能な機能を特定する。また、特定部２８は、連携機能の使用履歴に基づいて機能を推奨してもよいし、使用頻度が比較的に高い機能を推奨してもよい。
また、変形例８が適用されることで、操作アシスタントが他の操作アシスタントとの間で共有した情報に基づいて、連携機能に用いられる機能が推奨されてもよい。
また、変形例９が適用されることで、音声入力によって、連携対象の機能に関する情報が端末装置１０に入力されてもよい。
また、変形例１０が適用されることで、機能画像がアシスタント画像５０上に予め定められた時間以上の間、重ねられた場合に、当該機能画像に紐付く機能が連携対象の機能として識別されてもよい。また、画面４８上を指示子でなぞる場合も同様である。
＜第３実施形態＞
以下、第３実施形態に係る機器システムについて説明する。第３実施形態は、上記の第１実施形態と第２実施形態の組み合わせに相当する。つまり、機器画像と機能画像がユーザによってアシスタント画像５０に渡された場合、機器画像に紐付く機器と機能画像に紐付く機能とを利用して実行可能な連携機能に関する情報が表示される。以下、第３実施形態について詳しく説明する。
図２８には、第３実施形態に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、機器と機能（例えばソフトウェア）とを利用して実行可能な連携機能を示す情報である。この連携機能管理テーブルにおいては、一例として、ＩＤの組み合わせ（機器ＩＤと機能ＩＤとの組み合わせ）と、機器名及び機能名を示す情報と、機器と機能とを利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、機器と機能とを利用して実行可能な連携機能が特定される。例えば、機器ＡとしてのＰＣ（Ａ）と機能αとしてのデータ送信機能とを組み合わせることで、例えば、ＰＣ（Ａ）を利用してデータを送信するという連携機能が実現される。他の機器と機能についても同様に実行可能な連携機能が定められている。なお、合計で３個以上の機器や機能を利用することで実行可能な連携機能が定められてもよい。この場合、３個以上の機器や機能の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
ユーザが機器画像と機能画像をアシスタント画像５０に繋げたり重ねたりした場合、特定部２８は、図２８に示されている連携機能管理テーブルを参照することで、当該機器画像に紐付く機器と当該機能画像に紐付く機能との組み合わせに対応付けられている連携機能を特定する。その連携機能を示す情報は、ＵＩ部２０の表示部に表示される。なお、１又は複数の機能画像と１又は複数の機能画像とがアシスタント画像５０に繋げられたり重ねられたりした場合、１又は複数の機器と１又は複数の機能とを利用して実行可能な連携機能を示す情報が表示されてもよい。
図２９には、画面４８が示されている。画面４８には、一例として、機器画像５２と機能画像９４が表示されている。機器画像５２は、複合機Ｂに紐付く画像であり、機能画像９４はデータ送信機能（例えばデータ送信ソフトウェア）に紐付く画像である。例えば、上記のＡＲ技術等によって複合機Ｂが識別されると、その複合機Ｂに紐付く機器画像５２が画面４８に表示される。また、データ送信ソフトウェアαが端末装置１０にインストールされると、データ送信ソフトウェアαに紐付く機能画像９４が画面４８に表示される。
例えば、ユーザが、矢印１００で示すように、機器画像５２をアシスタント画像５０に繋げ、矢印１０２で示すように、機能画像９４をアシスタント画像５０に繋げた場合、特定部２８は、機器画像５２に紐付く複合機Ｂを連携対象の機器として識別し、機能画像９４に紐付くデータ送信ソフトウェアαを連携対象の機能として識別する。そして、特定部２８は、図２８に示されている連携機能管理テーブルを参照することで、複合機Ｂとデータ送信ソフトウェアαとを利用して実行可能な連携機能を特定する。その連携機能を示す情報は、ＵＩ部２０の表示部に表示される。機器画像５２と機能画像９４がアシスタント画像５０上に重ねられた場合も同様である。なお、機器画像５２と機能画像９４をアシスタント画像５０に繋げる順番や重ねる順番は、上記の順番と逆であってもよい。
なお、合計で３個以上の機器画像や機能画像がアシスタント画像５０に渡された場合、３個以上の機器画像や機能画像を利用して実行可能な連携機能を示す情報が表示されてもよい。
以上のように第３実施形態によれば、機器画像と機能画像を操作アシスタントに渡すことで、連携機能に関する情報が提供される。このように、操作アシスタントを利用した簡易な操作によって、連携機能に関する情報が提供される。
また、データ（ファイルともいう）に紐付く画像（例えばアイコン）が、機器画像上に重ねられた場合、制御部２６は、当該データを、当該機器画像に紐付く機器による処理の対象として登録してもよい。ユーザによって処理の実行指示が与えられた場合、当該機器は、登録されたデータに対して、ユーザによって指定された処理を実行する。データは、例えば文書データ、画像データ等である。例えば、文書データが、複合機に紐付く機器画像上に重ねられた場合、当該文書データは、複合機による処理の対象として登録される。当該複合機に対してユーザによって印刷指示が与えられた場合、登録された当該文書データが当該複合機によって印刷される。なお、第１実施形態においても、このような処理が実行されてもよい。
また、データに紐付く画像が、機能画像上に重ねられた場合、制御部２６は、当該データを、当該機能画像に紐付く機能による処理の対象として登録してもよい。ユーザによって処理の実行指示が与えられた場合、登録されたデータに対して当該機能による処理が実行される。例えば、文書データが、データ送信ソフトウェアに紐付く機能画像上に重ねられた場合、当該文書データは、送信の対象として登録される。ユーザが送信指示を与えた場合、登録された当該文書データが宛先に送信される。なお、第２実施形態においても、このような処理が実行されてもよい。
また、データに紐付く画像が機器画像上に重ねられて処理の対象として登録された後に、当該機器画像と機能画像がアシスタント画像５０に繋げられたり重ねられたりした場合、制御部２６は、当該データを、当該機器画像に紐付く機器と当該機能画像に紐付く機能とを利用して実行可能な連携機能による処理の対象として登録する。同様に、データに紐付く画像が機能画像上に重ねられて処理の対象として登録された後に、当該機能画像と機器画像がアシスタント画像５０に繋げられたり重ねられたりした場合、制御部２６は、当該データを、当該機能画像に紐付く機能と当該機器画像に紐付く機器とを利用して実行可能な連携機能による処理の対象として登録する。その連携機能の実行指示がユーザによって与えられた場合、登録されたデータに対して連携機能による処理が実行される。
なお、第３実施形態においても、第１実施形態と同様に、予め定められた制限時間内に機器に関する情報と機能に関する情報が操作アシスタントに送られた場合、当該機器と当該機能とを利用して実行可能な連携機能に関する情報が表示され、当該制限時間内に１つの機器又は１つの機能の情報が操作アシスタントに送られた場合、当該機器が有する単独機能又は当該機能に関する情報が表示されてもよい。
例えば、ユーザが機器画像５２をアシスタント画像５０に繋げた時点から制限時間内に機能画像をアシスタント画像５０に繋げなかった場合、機器画像５２に紐付く機能（単独機能）に関する情報が表示される。ユーザが、その制限時間内に機能画像（例えば機能画像９４）をアシスタント画像５０に繋げた場合、機器画像５２に紐付く機器と機能画像９４に紐付く機能とを利用して実行可能な連携機能に関する情報が表示される。機能画像９４をアシスタント画像５０に先に繋げた場合も同様である。また、機器画像や機能画像をアシスタント画像５０に重ねる操作が行われる場合も同様である。
このように制限時間を設けることで、第３実施形態においても、連携機能又は単独機能の提供の切り替えが可能となる。
また、第３実施形態においても、第１実施形態の変形例１から変形例１０が適用されてもよい。
例えば、変形例１が適用されることで、機器画像や機能画像がアシスタント画像５０に重ねられた場合に連携機能に関する情報が表示されてもよいし、機器画像と機能画像の重ね合わせの結果、合成画像が生成されてもよいし、ショートカット用画像が生成されてもよい。
なお、別の操作例として、機器画像と機能画像がユーザによって選択され（例えば、画面上において機器画像と機能画像を囲む操作が行われることで機器画像と機能画像が選択される）、機器画像と機能画像がまとめてアシスタント画像５０に繋げられたり重ねられたりしてもよい。このような操作によっても、機器画像に紐付く機能と機能画像に紐付く機能が、連携対象として識別される。
また、変形例２が適用されることで、機器画像や機能画像がアシスタント画像５０に吸い込まれる表示演出や、実行可能な連携機能が存在しない場合に、機器画像や機能画像がアシスタント画像５０から吐き出される表示演出が実行されてもよい。
また、変形例３が適用されることで、機器画像や機能画像をアシスタント画像５０に繋げる順番や重ねる順番に応じて、連携機能の表示が制御されてもよい。この場合、図１６に示されている連携機能管理テーブルと同様に、第３実施形態に係る連携機能管理テーブルにおいても、機器画像と機能画像の接続順と優先順位が定められている。
また、変形例４が適用されることで、機器画像内の部分に紐付く部分画像がアシスタント画像５０に繋げられたり重ねられたりしてもよい。この場合、当該部分画像に紐付く部分を利用して実行可能な連携機能に関する情報が表示される。また、変形例３，４の組み合わせが第３実施形態に適用されてもよい。もちろん、機能画像内の部分毎に更に機能が割り当てられている場合、その部分に紐付く部分画像がアシスタント画像５０に繋げられたり重ねられたりしてもよい。
また、変形例５が適用されることで、操作アシスタントが得た情報に応じて連携機能の表示が制御されてもよい。例えば、操作アシスタントは、学習機能によって、機器や機能の利用履歴を示す情報、機器の実行状況を示す情報、機能を実現するためのソフトウェアの実行状況を示す情報、ユーザに関する情報（操作履歴や行動履歴を示す情報）、ユーザのスケジュールを示す情報等を取得し、これらの情報を用いて連携機能の表示を制御してもよい。
また、変形例６が適用されることで、機器毎や機能毎（例えばソフトウェア毎）に操作アシスタントが割り当てられて、各機器に紐付くアシスタント画像５０と各機能に紐付くアシスタント画像５０がＵＩ部２０の表示部に表示されてもよい。各操作アシスタントは、自身に割り当てられている機器や機能（例えばソフトウェア）を管理してもよいし、自身に割り当てられている機器や機能に関するユーザからの問い合わせに対して回答を作成して発してもよい。制御部２６は、例えば、複数の操作アシスタントが共有している情報（例えば、機器やソフトウェアの利用履歴、機器やソフトウェアの状態等の情報）に応じて、連携機能に関する情報を変える。
また、変形例７が適用されることで、連携対象となる機器や機能が推奨されてもよい。例えば、ユーザが機器画像や機能画像をアシスタント画像５０に繋げたり重ねたりした場合、特定部２８は、連携機能管理テーブルを参照することで、その機器画像に紐付く機器との組み合わせで連携機能の実行が可能な機能を特定してもよいし、その機能画像に紐付く機能との組み合わせで連携機能の実行が可能な機器を特定してもよい。また、特定部２８は、連携機能の使用履歴に基づいて機器や機能を推奨してもよいし、使用頻度が比較的に高い機器や機能を推奨してもよい。
また、変形例８が適用されることで、操作アシスタントが他の操作アシスタントとの間で共有した情報に基づいて、連携機能に用いられる機器や機能が推奨されてもよい。
また、変形例９が適用されることで、音声入力によって、連携対象の機器や機能に関する情報が端末装置１０に入力されてもよい。
また、変形例１０が適用されることで、機器画像や機能画像がアシスタント画像５０上に予め定められた時間以上の間、重ねられた場合に、当該機器画像に紐付く機器や当該機能画像に紐付く機能が連携対象の機能として識別されてもよい。また、画面４８上を指示子でなぞる場合も同様である。
＜第４実施形態＞
以下、第４実施形態に係る機器システムについて説明する。第４実施形態では、ファイル（データ）が操作アシスタントに送られた場合、そのファイルに応じた連携機能に関する情報が表示される。以下、第４実施形態について詳しく説明する。
第４実施形態に係る連携機能管理情報は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。連携機能は、複数のソフトウェアを連携させることによって実現される機能である。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実現される機能であってもよい。
第４実施形態に係る連携機能について更に詳しく説明する。連携機能は、複数のファイル（データ）がユーザによって選択された場合に、当該複数のファイルを対象にして実行される機能である。例えば、個々のファイル毎に、当該ファイルに対して処理を実行するソフトウェア（アプリケーション）が紐付けられている。連携機能は、ユーザによって選択された複数のファイルのそれぞれに紐付けられているアプリケーションを連携させることによって実現される機能である。
ファイルは、例えば、文書ファイル、画像ファイル、動画ファイル、表計算ファイル、プレゼンテーション用ファイル、図形（図面）ファイル、音声ファイル等である。
文書ファイルは、文書形式（文書フォーマット）を有するファイルであり、文字列やその他の情報によって構成されるファイルである。画像や表や図形が、その他の情報として文書ファイルに含まれてもよい。文書形式は、例えばテキスト形式やドキュメント形式等である。テキスト形式を有するデータ（例えば、拡張子として文字列「.txt」が紐付いているデータ）や、ドキュメント形式を有するデータ（例えば、拡張子として文字列「.doc」や「.docx」が紐付いているデータ）等が、文書ファイルに該当する。
画像ファイルは、画像形成（画像フォーマット）を有するファイルである。画像ファイルは、ラスター形式を有する画像データであってもよいし、ベクター形式を有する画像データであってもよい。画像形式は、例えばJPEG形式、BMP（ビットマップ）形式、PDF形式、GIF形式、TIFF形式、PNG形式、PICT形式等である。JPEG形式を有するデータ（拡張子として文字列「.jpeg」が紐付いているデータ）、BMP形式を有するデータ（拡張子として文字列「.bmp」が紐付いているデータ）、PDF形式を有するデータ（拡張子として文字列「.pdf」が紐付いているデータ）、GIF形式を有するデータ（拡張子として文字列「.gif」が紐付いているデータ）、TIFF形式を有するデータ（拡張子として文字列「.tiff」が紐付いているデータ）、PNG形式を有するデータ（拡張子として文字列「.png」が紐付いているデータ）、PICT形式を有するデータ（拡張子として文字列「.pict」が紐付いているデータ）等が、画像ファイルに該当する。もちろん、これら以外の形式を有する画像データが、第４実施形態に係る画像ファイルとして用いられてもよい。
動画ファイルは、動画形式（動画フォーマット）を有するファイルである。動画形式は、例えばAVI形式、MP4形式、MOV形式、MPEG2-TS形式、MPEG2-PS形式、WMV形式、FLV形式等である。AVI形式を有するデータ（拡張子として文字列「.avi」が紐付いているデータ）、MP4形式を有するデータ（拡張子として文字列「.mp4」が紐付いているデータ）、MOV形式を有するデータ（拡張子として文字列「.mov」が紐付いているデータ）、MPEG2-TS形式を有するデータ（拡張子として文字列「.m2ts」が紐付いているデータ）、MPEG2-PS形式を有するデータ（拡張子として文字列「.mpeg」が紐付いているデータ）、WMV形式を有するデータ（拡張子として文字列「.wmv」が紐付いているデータ）、FLV形式を有するデータ（拡張子として文字列「.flv」が紐付いているデータ）等が、動画ファイルに該当する。もちろん、これら以外の形式を有する動画データが、第４実施形態に係る動画ファイルとして用いられてもよい。
表計算ファイルは、表形式（表フォーマット）を有するファイルであり、表やグラフやその他の情報によって構成されるファイルである。文字列や画像や図形が、その他の情報として表計算ファイルに含まれてもよい。例えば、拡張子として文字列「.csv」や「.xls」や「.xlsx」が紐付いているデータである。
プレゼンテーション用ファイルは、プレゼンテーション用のシート形式（シートフォーマット）を有するファイルである。例えば、拡張子として文字列「.ppt」や「.pptx」が紐付いているデータが、プレゼンテーション用ファイルに該当する。プレゼンテーション用ファイルは、例えば、文字列、画像（静止画像や動画像）、図形、音声等によって構成される。
図形ファイルは、図形（図面）形式（図形フォーマット）を有するファイルである。図形ファイルは、例えば、図形作成ソフトウェア（例えば２次元ＣＡＤや３次元ＣＡＤ等）によって作成されるファイルである。例えば、DXF形式（フォーマット）を有するデータ（拡張子として文字列「.dxf」が紐付いているデータ）、DWG形式を有するデータ（拡張子として文字列「.dwg」が紐付いているデータ）等である。その他、拡張子として「.vsd」や「.vsdx」が紐付いているデータが図形ファイルとして扱われてもよい。
音声ファイルは、音声形式（音声フォーマット）を有するファイルである。音声形式は、例えば、非圧縮音声形式（WAV形式、AIFF形式、BWF形式等）、非可逆圧縮音声形式（mp3形式、AAC形式、WMA形式等）、可逆圧縮音声形式（TAK形式、FLAC形式等）等である。非圧縮音声形式を有するデータ（拡張子として「.wav」等が紐付いているデータ）、非可逆圧縮音声形式を有するデータ（拡張子として文字列「.mp3」等が紐付いているデータ）、非圧縮音声形式を有するデータ（拡張子として文字列「.tak」等が紐付いているデータ）等が、音声ファイルに該当する。
第４実施形態では、連携機能は、ファイルの形式（属性）毎に定められており、連携機能管理情報は、例えば、複数のファイル形式の組み合わせを示す情報と、連携機能を示す情報（連携機能情報）と、の対応付けを示す情報である。連携機能情報は、例えば、連携機能ＩＤや連携機能名称等である。ファイル形式は、上記の文書形式、画像形式、動画形式、表形式、シート形式、図形形式、音声形式等である。連携機能管理情報を参照することで、複数のファイル形式の組み合わせに対応する連携機能が特定（識別）される。
連携機能は、互いに異なる複数の機能（例えば、互いに異なるソフトウェア）を連携させることによって実現される機能であってもよいし、同一の機能（例えば、同一のソフトウェア）を連携させることによって実現される機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、同じ機能を連携させることによって利用可能になる機能であってもよいし、互いに異なる機能を組み合わせることによって利用可能になる機能であってもよい。例えば、文書作成機能（文書作成ソフトウェア）と画像表示機能（画像表示ソフトウェア（例えば画像ビューア））とを連携させることによって、連携機能として、文書への画像の挿入（添付）機能や、画像上への文書（文字列、テキスト）の重畳機能が実現される。すなわち、文書作成機能と画像表示機能とを連携させることによって、画像挿入機能やテキスト重畳機能が実現される。
連携機能の概念の範疇には、複数の機能を連携させることによって新たな機能の実行が可能となる合体機能が含まれてもよい。例えば、複数の表示機能を組み合わせることで、合体機能としての拡張表示機能が実現されてもよい。また、複数の撮影機能を組み合わせることで、合体機能としての撮影領域拡張機能が実現されてもよい。また、通話機能と翻訳機能とを組み合わせることで、合体機能としての翻訳通話機能（通話内容を翻訳する機能）が実現されてもよい。このように、連携機能の概念の範疇には、互いに同一の種類の機能を連携させることで実現可能となる機能や、互いに異なる種類の機能を連携させることで実現可能となる機能が含まれてもよい。
連携機能管理情報によって管理されている連携機能は、端末装置１０にインストールされているソフトウェアによって実行可能な機能であってもよいし、外部装置（例えばサーバや他の端末装置等）にインストールされているソフトウェアによって実行可能な機能であってもよいし、端末装置１０にインストールされているソフトウェアと外部装置にインストールされているソフトウェアとによって実行可能な機能であってもよい。
なお、連携機能管理情報の別の例として、複数の機能（複数のソフトウェア）の組み合わせを示す情報と、当該複数の機能を連携させることによって実行可能な連携機能を示す情報（連携機能情報）と、が対応付けられていてもよい。
複数のファイルのそれぞれに紐付く画像がアシスタント画像５０に繋げられたり重ねられたりした場合、特定部２８は、連携機能管理情報において、当該複数のファイルの形式（ファイル形式）の組み合わせに対応付けられている連携機能を特定する。これにより、複数のファイルが操作アシスタントに送られたときに実行可能な連携機能が特定される。
以下、図３０を参照して、第４実施形態に係る連携機能管理情報について詳しく説明する。図３０には、第４実施形態に係る連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、複数のファイル形式の組み合わせを示す情報と、連携機能を示す情報（連携機能情報）と、が互いに対応付けられている。例えば、ユーザが複数のファイルを操作アシスタントに送った場合、特定部２８は、連携機能管理テーブルにおいて、当該複数のファイルのそれぞれのファイル形式の組み合わせに対応付けられている連携機能を特定する。その連携機能に関する情報はＵＩ部２０の表示部に表示される。なお、図３０には、２つのファイル形式の組み合わせが示されているが、３つ以上のファイル形式の組み合わせと連携機能との対応付けが連携機能管理テーブルに登録されていてもよい。
以下、図３０に示されている各連携機能について説明する。
図３０中の「文書形式」は、テキスト形式（拡張子が「.txt」である）やドキュメント形式（拡張子が「.doc」や「.docx」である）である。「表形式」は、拡張子が「.csv」や「.xls」等で表現される形式である。画像形式は、拡張子が「.jpeg」や「.pdf」等で表現される形式である。動画形式は、拡張子が「.avi」や「.mpeg」等で表現される形式である。シート形式は、拡張子が「.ppt」等で表現される形式である。図３０には、図形形式や音声形式が示されていないが、これらを含む組み合わせと連携機能との対応付けが連携機能管理テーブルに登録されてもよい。もちろん、図３０に示されているファイル形式以外のファイル形式を含む組み合わせと連携機能との対応付けが定められて連携機能管理テーブルに登録されてもよい。
以下、図３０に示されている各連携機能について説明する。ユーザによって文書ファイルＡと表計算ファイルＢが操作アシスタントに送られた場合、文書形式と表形式との組み合わせに対応付けられている「表を文書に挿入する機能」と「文書を表に挿入する機能」が連携機能として特定される。「表を文書に挿入する機能」は、文書ファイルＡによって表される文書中に、表計算ファイルＢによって表される表を挿入する機能である。「文書を表に挿入する機能」は、上記の表計算ファイルＢによって表される表中に、文書ファイルＡによって表される文書を挿入する機能である。
ユーザによって文書ファイルＡと画像ファイルＣが操作アシスタントに送られた場合、文書形式と画像形式との組み合わせに対応付けられている「画像を文書に挿入する機能」と「文書を画像上に重畳する機能」が連携機能として特定される。「画像を文書に挿入する機能」は、文書ファイルＡによって表される文書に、画像ファイルＣによって表される画像を挿入する機能である。「文書を画像上に重畳する機能」は、画像ファイルＣによって表される画像上に、文書ファイルＡによって表される文書を重畳する機能である。
ユーザによって文書ファイルＡと動画ファイルＤが操作アシスタントに送られた場合、文書形式と動画形式との組み合わせに対応付けられている「動画を文書に挿入する機能」と「静止画を文書に挿入する機能」が連携機能として特定される。「動画を文書に挿入する機能」は、文書ファイルＡによって表される文書に、動画ファイルＤによって表される動画を挿入する機能である。「静止画を文書に挿入するという機能」は、文書ファイルＡによって表される文書に、動画ファイルＤを構成する１又は複数のフレーム（静止画）を挿入する機能である。例えば、文書ファイルＡは、動画に対応していない文書ファイル、つまり、動画を挿入することができないファイルに該当する場合において、「静止画を文書に挿入する機能」が実行された場合、動画ファイルＤ中の１又は複数フレーム（静止画）が、文書ファイルＡによって表される文書に挿入される。
同一のファイル形式を有する複数のファイルがユーザによって選択されてもよい。例えば、ユーザによって文書ファイルＡ１，Ａ２が操作アシスタントに送られた場合、文書形式と文書形式との組み合わせに対応付けられている「文書同士を合体する機能」が連携機能として特定される。「文書同士を合体する機能」は、文書ファイルＡ１，Ａ２が表す文書を合体する（例えば、２つの文書を結合する）ことで、文書ファイルＡ１，Ａ２を残しつつ、又は、文書ファイルＡ１，Ａ２を残さずに、別の新たな文書ファイルＡ３を生成する機能である。
ユーザによって表計算ファイルＢ１，Ｂ２が操作アシスタントに送られた場合、表形式と表形式との組み合わせに対応付けられている「表同士を合体する機能」が連携機能として特定される。「表同士を合体する機能」は、表計算ファイルＢ１，Ｂ２が表す表を合体する（例えば、２つの表を結合する）ことで、表計算ファイルＢ１，Ｂ２を残しつつ、又は、表計算ファイルＢ１，Ｂ２を残さずに、別の新たな表計算ファイルＢ３を生成する機能である。
ユーザによって動画ファイルＤ１，Ｄ２が操作アシスタントに送られた場合、動画形式と動画形式との組み合わせに対応付けられている「動画同士を合体する機能」が連携機能として特定される。「動画同士を合体する機能」は、動画ファイルＤ１，Ｄ２が表す動画を合体する（例えば、２つの動画を結合する）ことで、動画ファイルＤ１，Ｄ２を残しつつ、又は、動画ファイルＤ１，Ｄ２を残さずに、別の新たな動画ファイルＤ３を生成する機能である。
その他、ユーザによってプレゼンテーション用ファイルＥと文書ファイルＡが操作アシスタントに送られた場合、シート形式と文書形式との組み合わせに対応付けられている「文書をプレゼンテーション用シートに挿入する機能」が連携機能として特定される。「文書をプレゼンテーション用シートに挿入する機能」は、プレゼンテーション用ファイルＥによって表されるシートに、文書ファイルＡによって表される文書を挿入する機能である。
第４実施形態に係る端末装置１０の動作について詳しく説明する。
図３１には、画面４８が示されている。画面４８には、各種のファイルに紐付く画像（例えばアイコン）や、各種のソフトウェアに紐付く画像（例えばアイコン）が表示される。
図３１に示す例では、文書ファイルＡに紐付くファイル画像１０４と画像ファイルＣに紐付くファイル画像１０６が、画面４８に表示されている。また、操作アシスタントに紐付くアシスタント画像５０が表示されている。
例えば、ユーザが、矢印１０８で示すように、ファイル画像１０４をアシスタント画像５０に繋げ、矢印１１０で示すように、ファイル画像１０６をアシスタント画像５０に繋げた場合、特定部２８は、ファイル画像１０４に紐付く文書ファイルＡとファイル画像１０６に紐付く画像ファイルＣを連携対象のファイルとして識別する。また、特定部２８は、文書ファイルＡの拡張子（例えば、文書ファイルＡの属性情報として文書ファイルＡに紐付けられている拡張子）に基づいて文書ファイルＡのファイル形式を識別する。同様に、特定部２８は、画像ファイルＣの拡張子（例えば、画像ファイルＣの属性情報として画像ファイルＣに紐付けられている拡張子）に基づいて画像ファイルＣのファイル形式を識別する。なお、拡張子は、ファイル名に含まれている場合がある。文書ファイルＡの拡張子が、「.txt」や「.docx」等のように文書形式を表す拡張子に該当する場合、特定部２８は、文書ファイルＡのファイル形式は文書形式であると識別する。画像ファイルＣの拡張子が、「.jpeg」等のように画像形式を表す拡張子に該当する場合、特定部２８は、画像ファイルＣのファイル形式は画像形式であると識別する。そして、特定部２８は、図３０に示されている連携機能管理テーブルにおいて、文書形式と画像形式との組み合わせに対応付けられている連携機能（「画像を文書に挿入する機能」と「文書を画像上に重畳する機能」）を特定する。その連携機能に関する情報は、ＵＩ部２０の表示部に表示される。ファイル画像１０４，１０６がアシスタント画像５０上に重ねられた場合も同様である。なお、ファイル画像１０４，１０６をアシスタント画像５０に繋げる順番や重ねる順番は、上記の順番と逆であってもよい。
なお、３個以上のファイル画像がアシスタント画像５０に渡された場合、３個以上のファイルの形式の組み合わせに対応付けられている連携機能に関する情報が表示されてもよい。
図３２には、連携機能の表示例が示されている。画面６０には、特定部２８によって特定された連携機能を示す情報が表示される。上記の例では、連携機能としての「画像を文書に挿入する機能」を示す情報と、「文書を画像上に重畳する機能」を示す情報が、画面６０に表示される。
ユーザが画面６０上で連携機能を指定して実行指示を与えた場合、制御部２６は、その指定された連携機能を実行する。例えば、「画像を文書に挿入する機能」の実行指示がユーザによって与えられた場合、制御部２６は、文書ファイルＡによって表される文書中に、画像ファイルＣによって表される画像を挿入する。
より詳しく説明すると、制御部２６は、文書アプリケーションと画像アプリケーションを起動させる。文書アプリケーションは、文書形式を有するファイルの生成や編集や表示を行う機能を有するソフトウェア（プログラム）である。画像アプリケーションは、画像形式を有するファイルの生成や編集や表示を行う機能を有するソフトウェア（プログラム）である。なお、文書アプリケーションは、文書ファイルＡに予め紐付けられていてもよいし、画像アプリケーションは、画像ファイルＣに予め紐付けられていてもよい。制御部２６は、画像アプリケーションが有する機能を利用することで、画像ファイルＣから画像をコピーし、文書アプリケーションが有する機能を利用することで、文書ファイルＡによって表される文書中に当該画像を貼り付ける。これにより、画像が挿入された文書が生成される。なお、制御部２６は、画像アプリケーションが有る機能を利用することで、画像ファイルＣによって表される画像から特定部分を表す部分画像を抽出し、その部分画像を文書中に貼り付けてもよい。文書において画像が貼り付けられる領域は、予め定められた領域であってもよいし、ユーザによって指定された領域であってもよいし、その画像に関連する文字列が記述されていると推測される領域であってもよい。例えば、制御部２６は、画像に表されている特徴部分を表現する文字列を推測や検索し、文書において、その文字列と同一又は類似の意味を有する文字列が記述されている領域を、画像に関連する文字列が記述されている領域であると推測する。もちろん、別の手法によって、その領域が推測されてもよい。
「文書を画像上に重畳する機能」の実行指示がユーザによって与えられた場合も上記と同様に、文書アプリケーションが有する機能によって、文書ファイルＡによって表される文書の全部又は一部がコピーされ、コピーされた文書が、画像ファイルＣによって表される画像上に重畳される。文書においてコピーされる部分は、予め定められていてもよいし、ユーザによって指定されてもよい。また、画像において文書が重畳される部分は、予め定められていてもよいし、ユーザによって指定されてもよい。
制御部２６は、連携機能を実行することで新たなファイルを生成してもよい。この場合、連携対象として選択された複数のファイル自体は編集されない。例えば、文書ファイルＡと画像ファイルＣが連携対象のファイルとして選択され、例えば「画像を文書に挿入する機能」の実行指示が与えられた場合、制御部２６は、文書ファイルＡによって表される文書中に画像ファイルＣによって表される画像を貼り付けることで、新たな文書ファイルＡＣを生成する。この場合、制御部２６は、文書ファイルＡＣに紐付く新たなファイル画像（例えばアイコン）を生成し、そのファイル画像を画面４８に表示させる。この場合、文書ファイルＡと画像ファイルＣ自体は編集されず、ファイル画像１０４，１０６は画面４８に表示される。
「文書を画像上に重畳する機能」の実行指示が与えられた場合も同様に、制御部２６は、画像ファイルＣによって表される画像上に、文書ファイルＡによって表される文書の全部又は一部を重畳させることで、新たな画像ファイルＣＡを生成し、その画像ファイルＣＡに紐付く新たな画像を生成する。その新たな画像は画面４８に表示される。この場合も、文書ファイルＡと画像ファイルＣ自体は編集されず、ファイル画像１０４，１０６は画面４８に表示される。
別の例として、制御部２６は、連携機能を実行することで、新たなファイルを生成せずに、連携対象として選択されたファイル自体を編集（加工等を含む）してもよい。上記の例で説明すると、制御部２６は、文書ファイルＡによって表される文書中に画像ファイルＣによって表される画像を貼り付け、その画像の貼り付けが反映された文書ファイルを文書ファイルＡとして保存する。この場合、文書ファイルＡが更新される。
以上のように第４実施形態によれば、ファイル画像を操作アシスタントに渡すことで、連携機能に関する情報が表示される。このように、操作アシスタントを利用した簡易な操作によって、連携機能に関する情報が提供される。
第４実施形態においては、ファイル同士の主従関係に応じて、連携機能に関する情報の表示や、実行される連携機能が変更されてもよい。例えば、ファイルに表されるコンテンツ自体の編集が可能なファイルが主ファイルに該当し、コンテンツ自体の編集が不可能なファイルが従ファイルに該当する。一例として、文書ファイルに表される文書自体の編集が可能な場合、当該文書ファイルは主ファイルに該当する。また、画像ファイルに表される画像自体の編集が不可能な場合（つまり、画像上にコンテンツを重畳させることは可能であるが、当該画像自体の編集が不可能な場合）、当該画像ファイルは従ファイルに該当する。他のファイルについても同様である。もちろん、文書ファイルであっても、文書の編集が不可能な文書ファイルは従ファイルに該当し、画像ファイルであっても、画像の編集が可能な画像ファイルは主ファイルに該当する。
特定部２８は、ファイル形式（つまり拡張子）に基づいて、ファイルが主ファイル又は従ファイルの何れかに該当するのかを判断してもよい。例えば、特定部２８は、文書形式を有するファイル、表形式を有するファイル、シート形式を有するファイル、及び、図形形式を有するファイルは、主ファイルに該当すると判断し、画像形式を有するファイル、動画形式を有するファイル、及び、音声形式を有するファイルは、従ファイルに該当すると判断してもよい。もちろん、ファイルが主ファイル又は従ファイルの何れかに該当するのかという判断は、ファイル形式によって一概に判断されずに、連携対象として選択されたファイルを個別的に判断することで、当該ファイルが主ファイル又は従ファイルの何れかに該当するのかを判断してもよい。例えば、画像形式を有するファイルであっても、画像の編集が可能なファイルであれば、当該ファイルは主ファイルに該当してもよい。
例えば、文書ファイルＡに紐付くファイル画像１０４と画像ファイルＣに紐付くファイル画像１０６が、アシスタント画像５０に繋げられたり重ねられたりした場合、特定部２８は、文書ファイルＡに紐付く拡張子に基づいて、文書ファイルＡが主ファイル又は従ファイルの何れかに該当するのかを判断し、画像ファイルＣに紐付く拡張子に基づいて、画像ファイルＣが主ファイル又は従ファイルの何れかに該当するのかを判断する。文書ファイルＡの拡張子は、例えば「.docx」であり、画像ファイルＣの拡張子は、例えば「.jpeg」であるものとする。この場合、文書ファイルＡは、文書形式を有し編集可能なファイルに該当するため、特定部２８は、文書ファイルＡが主ファイルに該当すると判断する。また、画像ファイルＣは、画像形式を有し編集不可能なファイルに該当するため、特定部２８は、画像ファイルＣが従ファイルに該当すると判断する。もちろん、特定部２８は、拡張子に基づいて判断せずに、文書ファイルＡと画像ファイルＣを個別的に判断することで、文書ファイルＡと画像ファイルＣが編集可能なファイルに該当するか否かを判断してもよい。
文書ファイルＡが主ファイルに該当し、画像ファイルＣが従ファイルに該当するため、画像ファイルＣに表された画像が貼り付け対象のコンテンツに該当し、文書ファイルＡに表された文書が当該画像の貼り付け先のコンテンツに該当する。この場合、特定部２８は、「画像を文書に挿入する機能」を連携機能として特定する。制御部２６は、「画像を文書に挿入する機能」に関する情報をＵＩ部２０の表示部に表示させる。特定部２８によって複数の連携機能が特定された場合、制御部２６は、複数の連携機能に関する情報をＵＩ部２０の表示部に表示させる。
また、制御部２６は、図３０に示されている連携機能管理テーブルに登録されている複数の連携機能の中で、ファイルの主従関係に基づいて特定された連携機能に関する情報を、他の連携機能に関する情報よりも優先的にＵＩ部２０の表示部に表示させてもよい。文書ファイルＡと画像ファイルＣを例に挙げて説明すると、文書形式と画像形式との組み合わせに対応する連携機能として、「画像を文書に挿入する機能」と「文書を画像上に重畳する機能」が連携機能管理テーブルに登録されている（図３０参照）。この場合、特定部２８は、ファイルの主従関係に基づいて特定された「画像を文書に挿入する機能」を優先順位が「１位」の連携機能として特定し、「文書を画像上に重畳する機能」を優先順位が「２位」の連携機能として特定する。制御部２６は、優先順位に従って、「画像を文書に挿入する機能」に関する情報を「文書を画像上に重畳する機能」に関する情報よりも優先的に（例えば上位に）ＵＩ部２０の表示部に表示させる。
また、ファイルの主従関係に基づいて複数の連携機能が特定された場合、制御部２６は、ユーザによる各連携機能の使用履歴に基づいて各連携機能の優先順位を決定し、各連携機能の優先順位に従って、各連携機能に関する情報をＵＩ部２０の表示部に表示させてもよい。例えば、制御部２６は、使用頻度の高い連携機能に関する情報ほど優先的に（例えば上位に）ＵＩ部２０の表示部に表示させる。
また、ファイルの主従関係に基づいて複数の連携機能が特定された場合、制御部２６は、連携対象として選択された複数のファイルの関係性（つまり、複数のファイル形式の関係性）に基づいて各連携機能の優先順位を決定し、各連携機能の優先順位に従って、各連携機能に関する情報をＵＩ部２０の表示部に表示させてもよい。例えば、制御部２６は、複数のファイル形式に基づいて、特定部２８によって特定された複数の連携機能に含まれる各連携機能について、使用される可能性の高さを決定する。制御部２６は、使用される可能性が高い連携機能に関する情報ほど優先的に（例えば上位に）ＵＩ部２０の表示部に表示させる。例えば、文書形式と画像形式との組み合わせにおいては、「文書を画像上に重畳する機能」よりも「画像を文書に挿入する機能」の方が使用される可能性が高いと予測される。この場合、制御部２６は、「画像を文書に挿入する機能」に関する情報を「文書を画像上に重畳する機能」に関する情報よりも優先的にＵＩ部２０の表示部に表示させる。
なお、第４実施形態においても、第１実施形態と同様に、予め定められた制限時間内に複数のファイルの情報が操作アシスタントに送られた場合、当該複数のファイルの形式に対応付けられている連携機能に関する情報が表示され、当該制限時間内に１つのファイルの情報が操作アシスタントに送られた場合、当該ファイルに紐付けられている機能に関する情報（例えばソフトウェアに関する情報）が表示されてもよい。
例えば、ユーザがファイル画像１０４をアシスタント画像５０に繋げた時点から制限時間内に他のファイル画像をアシスタント画像５０に繋げなかった場合、ファイル画像１０４に紐付く機能（ソフトウェア）に関する情報が表示されてもよいし、当該ソフトウェアが起動させられてもよい。ユーザが、その制限時間内に他のファイル画像（例えばファイル画像１０６）をアシスタント画像５０に繋げた場合、ファイル画像１０４に紐付くファイルの形式とファイル画像１０６に紐付くファイルの形式との組み合わせに対応付けられている連携機能に関する情報が表示される。ファイル画像をアシスタント画像５０に重ねる操作が行われる場合も同様である。
このように制限時間を設けることで、第４実施形態においても、連携機能又は単独機能の提供の切り替えが可能となる。
また、第４実施形態においても、第１実施形態の変形例１から変形例１０が適用されてもよい。
例えば、変形例１が適用されることで、ファイル画像がアシスタント画像５０に重ねられた場合に連携機能に関する情報が表示されてもよいし、複数のファイル画像の重ね合わせの結果、合成画像が生成されてもよい。
なお、別の操作例として、複数のファイル画像がユーザによって選択され（例えば、画面上において複数のファイル画像を囲む操作が行われることで当該複数のファイル画像が選択される）、当該複数のファイル画像がまとめてアシスタント画像５０に繋げられたり重ねられたりしてもよい。このような操作によっても、当該複数のファイル画像のそれぞれに紐付くファイルが、連携対象のファイルとして識別される。
また、変形例２が適用されることで、ファイル画像がアシスタント画像５０に吸い込まれる表示演出や、実行可能な連携機能が存在しない場合に、ファイル画像がアシスタント画像５０から吐き出される表示演出が実行されてもよい。
また、変形例３が適用されることで、ファイル画像をアシスタント画像５０に繋げる順番や重ねる順番に応じて、連携機能の表示が制御されてもよい。この場合、図１６に示されている連携機能管理テーブルと同様に、第４実施形態に係る連携機能管理テーブルにおいても、ファイル画像の接続順と優先順位が定められている。
また、変形例４が適用されることで、ファイル画像内の部分毎に更に異なる機能が割り当てられてもよい。この場合、部分画像がアシスタント画像５０に繋げられたり重ねられたりした場合、当該部分画像に紐付く機能を利用して実行可能な連携機能に関する情報が表示される。また、変形例３，４の組み合わせが第４実施形態に適用されてもよい。
また、変形例５が適用されることで、操作アシスタントが得た情報に応じて連携機能の表示が制御されてもよい。例えば、操作アシスタントは、学習機能によって、ファイルの利用履歴を示す情報、ソフトウェアの実行状況を示す情報、ユーザに関する情報（操作履歴や行動履歴を示す情報）、ユーザのスケジュールを示す情報等を取得し、これらの情報を用いて連携機能の表示を制御してもよい。
また、変形例６が適用されることで、ファイル毎（例えばソフトウェア毎）に操作アシスタントが割り当てられて、各ファイルに紐付くアシスタント画像５０がＵＩ部２０の表示部に表示されてもよい。各操作アシスタントは、自身に割り当てられているファイル（例えばソフトウェア）を管理してもよいし、自身に割り当てられているファイルに関するユーザからの問い合わせに対して回答を作成して発してもよい。制御部２６は、例えば、複数の操作アシスタントが共有している情報（例えば、ソフトウェアの利用履歴やソフトウェアの状態等の情報）に応じて、連携機能に関する情報を変える。
また、変形例７が適用されることで、連携対象となるファイルが推奨されてもよい。例えば、ユーザがファイル画像をアシスタント画像５０に繋げたり重ねたりした場合、特定部２８は、連携機能管理テーブルを参照することで、そのファイル画像に紐付くファイルとの組み合わせで連携機能の実行が可能なファイル（又はファイル形式）を特定してもよい。また、特定部２８は、連携機能の使用履歴に基づいてファイル（又はファイル形式）を推奨してもよいし、使用頻度が比較的に高いファイル（又はファイル形式）や機能を推奨してもよい。
また、変形例８が適用されることで、操作アシスタントが他の操作アシスタントとの間で共有した情報に基づいて、連携機能に用いられるファイル（又はファイル形式）が推奨されてもよい。
また、変形例９が適用されることで、音声入力によって、連携対象のファイルに関する情報が端末装置１０に入力されてもよい。
また、変形例１０が適用されることで、ファイル画像がアシスタント画像５０上に予め定められた時間以上の間、重ねられた場合に、当該ファイル画像に紐付くファイルが連携対象のファイルとして識別されてもよい。また、画面４８上を指示子でなぞる場合も同様である。
第４実施形態において、特定部２８は、連携対象として操作アシスタントに渡された複数のファイルの名称（ファイル名）に応じた連携機能を特定してもよい。そのための連携機能管理テーブルにおいては、ファイル名の組み合わせと連携機能とが互いに対応付けられており、特定部２８は、その連携機能管理テーブルを参照することで、操作アシスタントに渡されたファイルの名称（ファイル名）の組み合わせに対応付けられている連携機能を特定する。
また、特定部２８は、操作アシスタントに渡されたファイルの名称に基づいて、コンテンツが追加されるファイルを特定してもよい。例えば、操作アシスタントに渡されたファイルの名称（ファイル名）に、文字列「台帳」、「まとめ」、「管理」、「統計」、「グラフ」、「表」、「リスト」等のように、データをまとめるファイル（つまり、他のデータのコンテンツが追加されることが想定又は予測されるファイル）であることを示唆する文字列が含まれている場合、特定部２８は、当該ファイルを、コンテンツの追加先のファイル（第２ファイルに相当）として識別する。また、特定部２８は、上記のまとめ用の文字列が含まれないファイル名を有するファイルや、コンテンツ（材料）を提供するファイルであることを示唆する文字列が含まれるファイル名を有するファイルを、追加対象のコンテンツ（追加対象の材料）を含むファイル（第１ファイルに相当）として識別する。例えば、文字列「レシート」、「伝票」、「個人データ」、「機器データ」等が含まれるファイル名を有するファイルは、上記のまとめ用のファイルに該当せず、また、コンテンツ（材料）を提供するファイルであると判断される。
例えば、連携対象のファイルとして文書ファイルＡ１，Ａ２が操作アシスタントに渡された場合において、文書ファイルＡ１が、上記のまとめ用の文字列を含むファイル名を有し、文書ファイルＡ２が、まとめ用の文字列を含まず材料提供用の文字列を含むファイル名を有する場合、特定部２８は、材料側の文書ファイルＡ２をまとめ用の文書ファイルＡ１に記入、複製、統計処理等を行う連携機能を、優先的な連携機能として特定する。制御部２６は、その優先的な連携機能を、他の連携機能よりも優先的にＵＩ部２０に表示させる。
なお、連携対象の組み合わせは、上記の第１実施形態から第４実施形態における組み合わせに限定されるものではない。例えば、機器、機能（機器によって実行される機能とソフトウェアによって実行される機能を含む）、ファイル、及び、ソフトウェアの中の少なくとも２つの組み合わせが連携対象として選択された場合、その組み合わせを使用して実行可能な連携機能の通知が制御されてもよい。例えば、機器画像とファイル画像がアシスタント画像５０に渡された場合、特定部２８は、当該機器画像に紐付く機器と当該ファイル画像に紐付くファイルとを使用して実行可能な連携機能を特定し、制御部２６は、その連携機能に関する情報の通知として、その連携機能に関する情報をＵＩ部２０の表示部に表示させてもよいし、音声情報として出力してもよい。具体例を挙げて説明すると、複合機Ｂに紐付く機器画像と文書ファイルに紐付くファイル画像とがアシスタント画像５０に渡された場合、特定部２８は、複合機Ｂと文書ファイルとを使用して実行可能な連携機能（例えば、文書ファイルを複合機Ｂによって印刷する機能や、文書ファイルを複合機Ｂによってファクシミリ送信する機能等）を特定する。制御部２６は、その連携機能に関する情報の通知を制御する。同様に、ソフトウェアに紐付く機能画像とファイル画像がアシスタント画像５０に渡された場合、特定部２８は、当該機能画像に紐付く機能と当該ファイル画像に紐付くファイルとを使用して実行可能な連携機能を特定し、制御部２６は、その連携機能に関する情報の通知を制御してもよい。具体例を挙げて説明すると、文書アプリケーションに紐付く機能画像と文書ファイルに紐付くファイル画像とがアシスタント画像５０に渡された場合、特定部２８は、文書アプリケーションと文書ファイルとを使用して実行可能な連携機能（例えば、文書アプリケーションによって文書ファイルを編集する機能や出力する機能等）を特定する。また、機器画像と機能画像とファイル画像がアシスタント画像５０に渡された場合、特定部２８は、当該機器画像に紐付く機器と当該機能画像に紐付く機能（例えばソフトウェア）と当該ファイル画像に紐付くファイルとを使用して実行可能な連携機能を特定し、制御部２６は、その連携機能に関する情報の通知を制御してもよい。具体例を挙げて説明すると、複合機Ｂに紐付く機器画像と、文書アプリケーションに紐付く機能画像と、文書ファイルに紐付くファイル画像が、アシスタント画像５０に渡された場合、特定部２８は、複合機Ｂと文書アプリケーションと文書ファイルとを使用して実行可能な連携機能（例えば、文書アプリケーションによって文書ファイルを編集して複合機Ｂに出力し、複合機Ｂにて当該文書ファイルを印刷やファクシミリ送信する機能等）を特定する。上記の具体例における組み合わせは一例に過ぎず、上記以外の機器、機能、ファイル、ソフトウェアを組み合わせて実行可能な連携機能が定められてもよい。また、機器、機能、ファイル、及び、ソフトウェアの情報を、音声によって操作アシスタントに伝えてもよい。
上記の第１実施形態から第４実施形態、及び、変形例１から変形例１０は、ＲＰＡ（Robotics Process Automation）による自動実行処理を設定するときに適用されてもよい。例えば、機器や機能やファイルに関する情報が設定者によって操作アシスタントに渡された場合、その渡された情報の組み合わせ、及び、その組み合わせに対応付けられている連携機能が、設定内容として保存され、その設定内容に従って処理が実行される。ＲＰＡとして、例えば、データ入力や複数のアプリケーションソフトウェアの組み合わせで実行可能な作業等の定型処理、データの収集や分析等の処理、データに基づいて学習して判断する処理、等が行われてもよい。
上記の端末装置１０、機器１２，１４及びサーバ１６のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置１０、機器１２，１４及びサーバ１６のそれぞれは、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、端末装置１０、機器１２，１４及びサーバ１６のそれぞれの各部の機能が実現される。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置１０、機器１２，１４及びサーバ１６のそれぞれの各部は、例えばプロセッサや電子回路やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置１０、機器１２，１４及びサーバ１６のそれぞれの各部は、ＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。
１０ 端末装置、１２，１４ 機器、１６ サーバ、２６ 制御部、２８ 特定部。

Claims (18)

  1. 操作アシスタントに複数の機器の情報を送ることで複数の機器を利用して実行可能な連携機能の通知を制御する制御手段を有する情報処理装置。
  2. 操作アシスタントに複数の機能の情報を送ることで複数の機能を利用して実行可能な連携機能の通知を制御する制御手段を有する情報処理装置。
  3. 操作アシスタントに機器と機能の情報を送ることで機器と機能を利用する連携機能の通知を制御する制御手段を有する情報処理装置。
  4. 操作アシスタントに複数のファイルの情報を送ることで連携機能の通知を制御する制御手段を有する情報処理装置。
  5. 操作アシスタントに複数のソフトウェアの情報を送ることで複数のソフトウェアを利用して実行可能な連携機能の通知を制御する制御手段を有する情報処理装置。
  6. 機器、機能、ファイル及びソフトウェアの中の少なくとも２つの組み合わせの情報を操作アシスタントに送ることで前記組み合わせを利用して実行可能な連携機能の通知を制御する制御手段を有する情報処理装置。
  7. 前記制御手段は、前記情報としての画像が前記操作アシスタントに紐付く画像に繋げられた場合、連携機能の通知を制御する、
    ことを特徴とする請求項１から請求項６何れかに記載の情報処理装置。
  8. 前記制御手段は、前記情報としての画像が前記操作アシスタントに紐付く画像に重ねられた場合、連携機能の通知を制御する、
    ことを特徴とする請求項１から請求項６何れかに記載の情報処理装置。
  9. 前記制御手段は、前記操作アシスタントに紐付く画像に重ねられた前記情報としての複数の画像によって合成画像を更に生成する、
    ことを特徴とする請求項８に記載の情報処理装置。
  10. 前記情報としての画像を前記操作アシスタントに紐付く画像に重ねる操作がユーザによって行われた場合、前記制御手段は、前記情報としての画像が前記操作アシスタントに紐付く画像に吸い込まれる表示演出を更に実行する、
    ことを特徴とする請求項８又は請求項９に記載の情報処理装置。
  11. 前記制御手段は、連携機能の実行が不可能な場合、前記操作アシスタントに紐付く画像から前記情報としての画像を吐き出す表示演出を更に実行する、
    ことを特徴とする請求項１０に記載の情報処理装置。
  12. 前記情報としての画像を前記操作アシスタントに紐付く画像に重ねる操作がユーザによって行われた場合、前記制御手段は、前記操作アシスタントが表示されている位置で前記情報としての画像が消える演出を更に実行する、
    ことを特徴とする請求項８又は請求項９に記載の情報処理装置。
  13. 前記制御手段は、連携機能の実行が不可能な場合、前記操作アシスタントに紐付く画像から前記情報としての画像を再表示する演出を更に実行する、
    ことを特徴とする請求項１２に記載の情報処理装置。
  14. 前記制御手段は、制限時間内に前記情報が前記操作アシスタントに送られた場合、連携機能の通知を制御する、
    ことを特徴とする請求項１から請求項１３何れかに記載の情報処理装置。
  15. 前記制御手段は、前記情報を前記操作アシスタントに送る順番に応じた連携機能の通知を制御する、
    ことを特徴とする請求項１から請求項１４何れかに記載の情報処理装置。
  16. 前記制御手段は、前記情報としての画像中の部分が前記操作アシスタントに送られた場合、前記部分に応じた連携機能の通知を制御する、
    ことを特徴とする請求項１から請求項１５に記載の情報処理装置。
  17. 前記操作アシスタントは学習機能を有しており、
    前記制御手段は、前記操作アシスタントが得た情報に応じて連携機能の通知を更に変える、
    ことを特徴とする請求項１から請求項１６何れかに記載の情報処理装置。
  18. コンピュータを、
    操作アシスタントに複数の機器の情報を提供することで複数の機器を利用して実行可能な連携機能の通知を制御する制御手段、
    を実行させるプログラム。
JP2017174218A 2017-09-11 2017-09-11 情報処理装置、プログラム及び制御方法 Active JP6981118B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017174218A JP6981118B2 (ja) 2017-09-11 2017-09-11 情報処理装置、プログラム及び制御方法
US15/990,834 US10416933B2 (en) 2017-09-11 2018-05-29 Information processing device and non-transitory computer readable medium for notification of linkage function
CN201811018284.1A CN109495669B (zh) 2017-09-11 2018-09-03 信息处理装置以及存储程序的计算机可读介质
US16/568,291 US11119706B2 (en) 2017-09-11 2019-09-12 Information processing device and non-transitory computer readable medium for notification of linkage function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017174218A JP6981118B2 (ja) 2017-09-11 2017-09-11 情報処理装置、プログラム及び制御方法

Publications (2)

Publication Number Publication Date
JP2019049899A true JP2019049899A (ja) 2019-03-28
JP6981118B2 JP6981118B2 (ja) 2021-12-15

Family

ID=65631116

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017174218A Active JP6981118B2 (ja) 2017-09-11 2017-09-11 情報処理装置、プログラム及び制御方法

Country Status (3)

Country Link
US (2) US10416933B2 (ja)
JP (1) JP6981118B2 (ja)
CN (1) CN109495669B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021076206A1 (en) * 2019-10-15 2021-04-22 UiPath, Inc. Artificial intelligence-based process identification, extraction, and automation for robotic process automation
US11488015B2 (en) 2019-10-15 2022-11-01 UiPath, Inc. Artificial intelligence layer-based process extraction for robotic process automation
US11815880B2 (en) 2019-10-15 2023-11-14 UiPath, Inc. Human-in-the-loop robot training for robotic process automation

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022022723A (ja) 2020-07-02 2022-02-07 キヤノン株式会社 通信システム、制御方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008052344A (ja) * 2006-08-22 2008-03-06 Konica Minolta Business Technologies Inc 情報処理装置及びプリント指示プログラム並びにプリント指示プログラムを記録した記録媒体
JP2014170524A (ja) * 2013-02-28 2014-09-18 Lg Uplus Corp 端末間機能共有方法及びその端末
JP6024848B1 (ja) * 2016-05-06 2016-11-16 富士ゼロックス株式会社 情報処理装置及びプログラム
JP6052458B1 (ja) * 2016-06-29 2016-12-27 富士ゼロックス株式会社 情報処理装置及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6052458B2 (ja) 1980-06-30 1985-11-19 三菱電機株式会社 二重化した計算機制御システム
JPS6024848B2 (ja) 1981-08-13 1985-06-14 愛知紡績株式会社 ラツプ成型機におけるラツプを形成する方法
JP4381012B2 (ja) * 2003-03-14 2009-12-09 ヒューレット・パッカード・カンパニー 万物識別子を用いたデータ検索システムおよびデータ検索方法
US20070076228A1 (en) * 2005-10-04 2007-04-05 Jacob Apelbaum System and method for providing data services via a network
US7944572B2 (en) * 2007-01-26 2011-05-17 Xerox Corporation Protocol allowing a document management system to communicate inter-attribute constraints to its clients
US20080288621A1 (en) * 2007-05-18 2008-11-20 Snell Dustin M Agent workflow system and method
JP2010009243A (ja) * 2008-06-25 2010-01-14 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP5737906B2 (ja) 2010-11-01 2015-06-17 キヤノン株式会社 画像形成装置、画像形成装置の制御方法、画像表示装置、及び画像表示装置の制御方法と記憶媒体
JP6079060B2 (ja) * 2012-08-29 2017-02-15 株式会社リコー 携帯端末、画像形成方法及び画像形成システム
US20140201629A1 (en) 2013-01-17 2014-07-17 Microsoft Corporation Collaborative learning through user generated knowledge
KR102066226B1 (ko) * 2013-11-01 2020-01-14 엘지전자 주식회사 전자기기 및 이를 구비하는 통신 시스템
KR101489772B1 (ko) * 2013-12-31 2015-02-04 주식회사 경동원 스마트폰앱을 이용한 보일러비용 자동관리시스템
US9977632B2 (en) 2014-10-27 2018-05-22 Konica Minolta, Inc. Apparatus and method for processing information on file or job
KR20160076371A (ko) 2014-12-22 2016-06-30 삼성전자주식회사 워크플로우를 처리하는 방법 및 이를 수행하는 모바일 디바이스
US20160225372A1 (en) * 2015-02-03 2016-08-04 Samsung Electronics Company, Ltd. Smart home connected device contextual learning using audio commands
JP5945999B1 (ja) * 2015-07-31 2016-07-05 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
CN105446742B (zh) * 2015-12-11 2019-02-12 珠海金山网络游戏科技有限公司 一种人工智能执行任务的优化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008052344A (ja) * 2006-08-22 2008-03-06 Konica Minolta Business Technologies Inc 情報処理装置及びプリント指示プログラム並びにプリント指示プログラムを記録した記録媒体
JP2014170524A (ja) * 2013-02-28 2014-09-18 Lg Uplus Corp 端末間機能共有方法及びその端末
JP6024848B1 (ja) * 2016-05-06 2016-11-16 富士ゼロックス株式会社 情報処理装置及びプログラム
JP6052458B1 (ja) * 2016-06-29 2016-12-27 富士ゼロックス株式会社 情報処理装置及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021076206A1 (en) * 2019-10-15 2021-04-22 UiPath, Inc. Artificial intelligence-based process identification, extraction, and automation for robotic process automation
US11440201B2 (en) 2019-10-15 2022-09-13 UiPath, Inc. Artificial intelligence-based process identification, extraction, and automation for robotic process automation
US11488015B2 (en) 2019-10-15 2022-11-01 UiPath, Inc. Artificial intelligence layer-based process extraction for robotic process automation
US11541548B2 (en) 2019-10-15 2023-01-03 UiPath, Inc. Artificial intelligence-based process identification, extraction, and automation for robotic process automation
US11648686B2 (en) 2019-10-15 2023-05-16 UiPath, Inc. Artificial intelligence-based process identification, extraction, and automation for robotic process automation
US11815880B2 (en) 2019-10-15 2023-11-14 UiPath, Inc. Human-in-the-loop robot training for robotic process automation
US11836626B2 (en) 2019-10-15 2023-12-05 UiPath, Inc. Artificial intelligence layer-based process extraction for robotic process automation

Also Published As

Publication number Publication date
US20200004468A1 (en) 2020-01-02
US10416933B2 (en) 2019-09-17
CN109495669A (zh) 2019-03-19
JP6981118B2 (ja) 2021-12-15
US20190079703A1 (en) 2019-03-14
US11119706B2 (en) 2021-09-14
CN109495669B (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
JP6972806B2 (ja) 情報処理装置、プログラム及び制御方法
US10712981B2 (en) Information processing device and non-transitory computer readable medium
US10922029B2 (en) Information processing device and non-transitory computer readable medium
US11119706B2 (en) Information processing device and non-transitory computer readable medium for notification of linkage function
US20210321010A1 (en) Information processing device and non-transitory computer readable medium
CN109895092B (zh) 信息处理装置、信息处理方法以及计算机可读介质
JP2022023931A (ja) 情報処理装置、プログラム及び制御方法
US10359975B2 (en) Information processing device and non-transitory computer readable medium
JP6642630B2 (ja) 情報処理装置及びプログラム
JP7302642B2 (ja) 情報処理装置、プログラム及び制御方法
JP7087363B2 (ja) 情報処理装置及びプログラム
JP7155505B2 (ja) 情報処理装置、プログラム及び制御方法
JP6455551B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211101

R150 Certificate of patent or registration of utility model

Ref document number: 6981118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150