JP2019109752A - 無線端末、管理サーバ、意図解釈サーバ、それらの制御方法、及びプログラム - Google Patents

無線端末、管理サーバ、意図解釈サーバ、それらの制御方法、及びプログラム Download PDF

Info

Publication number
JP2019109752A
JP2019109752A JP2017242878A JP2017242878A JP2019109752A JP 2019109752 A JP2019109752 A JP 2019109752A JP 2017242878 A JP2017242878 A JP 2017242878A JP 2017242878 A JP2017242878 A JP 2017242878A JP 2019109752 A JP2019109752 A JP 2019109752A
Authority
JP
Japan
Prior art keywords
intention
user
server
wireless terminal
user input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017242878A
Other languages
English (en)
Other versions
JP7177591B2 (ja
Inventor
政人 土屋
Masato Tsuchiya
政人 土屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2017242878A priority Critical patent/JP7177591B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to RU2020123539A priority patent/RU2750623C1/ru
Priority to CN201880082193.6A priority patent/CN111512281B/zh
Priority to KR1020207019870A priority patent/KR102540222B1/ko
Priority to KR1020237018451A priority patent/KR20230084324A/ko
Priority to PCT/JP2018/042099 priority patent/WO2019123899A1/ja
Publication of JP2019109752A publication Critical patent/JP2019109752A/ja
Priority to US16/901,364 priority patent/US11438469B2/en
Application granted granted Critical
Publication of JP7177591B2 publication Critical patent/JP7177591B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J29/00—Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J29/00—Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
    • B41J29/38—Drives, motors, controls or automatic cut-off devices for the entire printing mechanism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292—Mobile client, e.g. wireless printing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1296—Printer job scheduling or printer resource handling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00403—Voice input means, e.g. voice commands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W92/00—Interfaces specially adapted for wireless communication networks
    • H04W92/04—Interfaces between hierarchically different network devices
    • H04W92/08—Interfaces between hierarchically different network devices between user and terminal device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Facsimiles In General (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

【課題】ユーザに複雑な操作を要求することなく、ユーザの意図を対話的に取得し、ユーザの意図に適する装置や機能等を提示する仕組みを提供する。【解決手段】本実施形態に係る無線端末は、音声又はテキストでのユーザ入力を受け付けてサーバへ通知し、当該ユーザ入力に関する質問を前記サーバから取得してユーザへ提示することによって、ユーザとサーバとの間で対話を行わせる。また、本無線端末は、対話に基づいてサーバによって解釈されたユーザの意図に従う１以上の画像形成装置のリストを当該サーバから受信して表示する。【選択図】 図９

Description

本発明は、情報処理装置、その制御方法、及びプログラムに関する。
近年の人工知能系の研究開発分野はまさに黎明期であり、スマートフォン・家電などの小型の電子機器から車・家など大型のものまで人工知能を活用した機能を搭載し始めている。なかでも音声認識・自然言語処理を活用した対話式ユーザインタフェースに関連する技術はすでに実用に耐えうる十分な技術蓄積がある。フロントエンド開発の技術者が自社製品に対話式ユーザインタフェースの機能を搭載するためのプラットフォームが整い、開発に必要な敷居はかなり低くなったといえる。
対話式ユーザインタフェースでは音声又はテキスト入力によって人間とコンピュータが「対話」をする形で電子機器を操作する。以前からあるボイスコマンドは、特定のキーワードに反応するのみであるが、対話式ユーザインタフェースは人間と対話しているような感覚で電子機器を操作できるのが特徴である。音声認識・自然言語処理を活用した対話式ユーザインタフェースにおける課題はユーザが発話又はテキスト入力している内容から如何にしてユーザが現在行おうとしている意図を読み取ることにある。特許文献１には、ユーザ意図を解釈するためにハンズフリーコンテキストという概念を導入する方法が提案されている。
特開２０１７−１６６８３号公報
一方、ＭＦＰ（Multifunctional peripheral）等の画像形成装置では、提供する機能の多様化、複雑化に伴い、ユーザに対してより複雑な操作を要求することとなっている。ＭＦＰのユーザインタフェースを閲覧しながら条件等を設定することは、要望するサービスにもよるが、ユーザにとって非常に複雑であり、かつ煩わしいものとなる場合がある。また、携帯端末等からＭＦＰへアクセスする場合に、そのユーザインタフェースにおいて、無線ダイレクト等の複雑な設定を行うことは一般ユーザには理解が難しいものである。さらに、ＭＦＰ等が有する機能自体を十分に把握していないユーザも存在する。そこで、容易にユーザの意図を解釈して、当該ユーザに適切な装置や機能等を提示するユーザインタフェースが要望されている。
本発明は、上述の問題の少なくとも一つに鑑みて成されたものであり、ユーザに複雑な操作を要求することなく、ユーザの意図を対話的に取得し、ユーザの意図に適する装置や機能等を提示する仕組みを提供することを目的とする。
本発明は、例えば、画像形成装置及びサーバと通信可能な無線端末であって、音声又はテキストでのユーザ入力を受け付けて前記サーバへ通知し、該ユーザ入力に関する質問を前記サーバから取得してユーザへ提示することによって、前記ユーザと前記サーバとの間で対話を行わせる対話手段と、前記対話手段による前記対話に基づいて前記サーバによって解釈されたユーザの意図に従う１以上の画像形成装置のリストを該サーバから受信する受信手段と、前記受信手段によって受信した前記リストを表示する表示手段とを備えることを特徴とする。
また、本発明は、無線端末のユーザからユーザ入力に従って該ユーザの意図を解釈する意図解釈サーバと、１以上の画像形成装置と通信可能な管理サーバであって、各ユーザと利用可能な１以上の画像形成装置とを紐づけて定義するプリンタ情報テーブルと、各画像形成装置の能力情報を定義するプリンタ能力情報テーブルとを保持するプリンタデータベースと、前記意図解釈サーバで解釈されたユーザの意図を受信する受信手段と、前記受信手段によって受信した意図に従う１以上の画像形成装置のリストを前記プリンタデータベースを参照して作成して提供する提供手段とを備えることを特徴とする。
また、本発明は、管理サーバと無線端末と通信可能な意図解釈サーバであって、音声又はテキストでのユーザ入力を前記無線端末から受信する受信手段と、前記受信手段で受信したユーザ入力が音声である場合に音声認識を実行する音声認識エンジンと、前記音声認識エンジンによって音声認識されたユーザ入力又はテキストによるユーザ入力を言語処理する言語処理エンジンと、複数の意図と、意図ごとに１以上のパラメータとを紐づけて保持する意図データベースと、前記言語処理エンジンによって言語処理されたユーザ入力と、前記意図データベースが保持する情報とに従って、ユーザの意図を解釈し、解釈できない場合には追加の質問を前記無線端末へ提示する意図解釈手段とを備えることを特徴とする。
本発明によれば、ユーザに複雑な操作を要求することなく、ユーザの意図を対話的に取得し、ユーザの意図に適する装置や機能等を提示することができる。
一実施形態に係る情報処理システムの構成を示す図。 一実施形態に係るＭＦＰのハードウェア構成を示す図。 一実施形態に係るＭＦＰのソフトウェア構成を示す図。 一実施形態に係る無線端末のハードウェア構成を示す図。 一実施形態に係る各サーバのハードウェア構成を示す図。 一実施形態に係る意図解釈サーバのフローチャート。 一実施形態に係るＭＦＰ管理サーバのフローチャート。 一実施形態に係る携帯端末のユーザインタフェースの遷移図。 一実施形態に係るプリンタを選定する際のシーケンス図。
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念及び下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確立されるのであって、以下の個別の実施形態によって限定されるわけではない。
＜第１の実施形態＞
＜システム構成＞
以下では、本発明の第１の実施形態について説明する。まず、図１を参照して、本実施形態に係る情報処理システム１００の構成について説明する。本実施形態に係るシステムは、ＭＦＰ（画像形成装置及び通信装置の一例）１０１、無線端末（情報処理装置）１０２、意図解釈サーバ１０３、及びＭＦＰ管理サーバ１０４を含んで構成される。なお、少なくともＭＦＰ０１及び無線端末１０２は無線通信機能を有し、例えば、ＭＦＰ１０１と無線端末１０２との間では直接又は間接的に無線接続することができる。一般的に無線接続にはいくつかの実施形態があるが、本発明では特に限定しない。例えば、Ｗｉ−Ｆｉ（登録商標）、ＢＬＥ、ＮＦＣ等の近距離通信からＬＴＥ（登録商標），３Ｇ、４Ｇ等の長距離通信、また近年のＣａｔ−Ｍ１、ｎｂ−ＩｏＴ等のＩｏＴ通信を含んでもよい。
ＭＦＰ１０１は、印刷、コピー、スキャン、ＦＡＸ等の各種サービスを提供するとともに、無線通信機能を有する画像形成装置の一例である。無線端末１０２は、ＭＦＰ１０１と無線接続することができ、ユーザによってＭＦＰ１０１のコントローラとして使用される。意図解釈サーバ１０３は、無線端末１０２からユーザ入力を受け付けて、そのユーザの意図を解釈する。ＭＦＰ管理サーバ１０４は、意図解釈サーバ１０３及びＭＦＰ１０１と通信可能に接続され、意図解釈サーバ１０３によって解釈されたユーザの意図を受信し、その意図を実行するための命令をＭＦＰ１０１へ送信する。なお、ＭＦＰ管理サーバ１０４には、複数のＭＦＰ等の画像形成装置が通信可能に接続されており、意図解釈サーバ１０３が解釈したユーザの意図に応じて、上記複数の画像形成装置のうち適切な画像形成装置を意図解釈サーバ１０３を介してユーザに提示する。
ＭＰＦ１０１と無線端末１０２はオフィスビル内の同じ部屋に存在し、ユーザは無線端末１０２を操作することでＭＦＰ１０１に対して処理を要求する。一方で、意図解釈サーバ１０３及びＭＦＰ管理サーバ１０４はそれらのサービスをインターネット上で公開するものであってもよい。なお、本実施形態は、ユーザがＭＦＰ１０１へ処理要求を送信する場合を例に説明するが、特許請求の範囲となる設定対象機器は一般的な情報処理装置であり、ＭＦＰ１０１はパーソナルコンピュータや携帯端末などであってもよい。
＜ＭＦＰ１０１のハードウェア構成＞
次に、図２を参照して、本実施形態に係るＭＦＰ１０１のハードウェア構成を説明する。ＭＦＰ１０１は、ハードウェア構成として、ＣＰＵ２１１、ＲＯＭ（Read Only Memory）２１２、ＲＡＭ（Random Access Memory）２１３、ＨＤＤ（Hard Disk Drive）２１４、操作部２１５、プリンタ２１６、スキャナ２１７、Ｂｌｕｅｔｏｏｔｈ（登録商標）Ｉ／Ｆ２１８、Ｗｉ−ＦｉＩ／Ｆ２１９、Ｅｔｈｅｒｎｅｔ（登録商標）Ｉ／Ｆ２２０を備える。各ハードウェア２１１〜２２０は、内部バス２２１によって接続され相互にデータ交換を行うことができる。
ＣＰＵ２１１は、ＭＦＰ１０１全体の動作を統括的に制御する。ＣＰＵ２１１は、ＲＯＭ２１２やＨＤＤ２１４等に記憶された制御プログラムをＲＡＭ２１３に読み出して読取制御や送信制御などの各種制御を行う。ＲＡＭ２１３は、ＣＰＵ２１１が各種プログラムを実行するためのワークエリア等として使用する揮発性のメモリである。ＨＤＤ２１４は、画像データや各種プログラムを記憶する。
操作部２１５は、ユーザの指で操作可能なタッチパネルとして動作するディスプレイやハードウェアボタンを備える。プリンタ２１６は、内部バス２２１を介して転送された画像データを用紙等の記録媒体に印刷する。スキャナ２１７は、原稿上の画像を読み取って画像データを生成する。ＢｌｕｅｔｏｏｔｈＩ／Ｆ２１８は、Ｂｌｕｅｔｏｏｔｈ規格で無線通信を行うインタフェースであり、ＢｌｕｅｔｏｏｔｈＩ／Ｆを持つ他の機器と相互に通信を行う。本実施形態では無線端末１０２とＢｌｕｅｔｏｏｔｈ規格により相互に通信を行う。Ｗｉ−ＦｉＩ／Ｆ２１９とＥｔｈｅｒｎｅｔＩ／Ｆ２２０は、それぞれ無線・有線によってネットワークに接続するためのＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
＜ＭＦＰ１０１のソフトウェア構成＞
次に、図３を参照して、本実施形態に係るＭＦＰ１０１のソフトウェア構成を説明する。ＭＦＰ１０１は、ソフトウェア構成として、ネットワーク制御部３０１、ＵＩ制御部３０２、ＯＳカーネル３０３、Ｂｌｕｅｔｏｏｔｈ通信制御部３０４、Ｗｉ−Ｆｉ通信制御部３０５、及びＥｔｈｅｒｎｅｔ通信制御部３０６を備える。
Ｗｉ−Ｆｉ通信制御部３０５は、Ｗｉ−ＦｉＩ／Ｆ２１９を制御するためのモジュールである。Ｂｌｕｅｔｏｏｔｈ通信制御部３０４は、Ｂｌｕｅｔｏｏｔｈ通信Ｉ／Ｆ２１８を制御するためのモジュールである。同様にＥｔｈｅｒｎｅｔ通信制御部３０６は、Ｅｔｈｅｒｎｅｔ通信Ｉ／Ｆ２２０を制御する。これらのモジュールはＯＳカーネル３０３によって制御される。ネットワーク制御部３０１は、ＯＳカーネル３０３を介してＢｌｕｅｔｏｏｔｈやＷｉ−Ｆｉの各通信制御部を操作する。ネットワーク制御部３０１は現在のネットワーク設定を管理し、Ｅｔｈｅｒｎｅｔ（有線ＬＡＮ）、無線ＬＡＮ、無線Ｐ２Ｐ接続のそれぞれの通信形態が有効かどうかを管理する。ネットワーク制御部３０１は、ＵＩ制御部３０２と情報伝達を行い、ＵＩの表示を変えたり、逆にＵＩからの操作要求によってネットワーク制御を行ったりする。
＜無線端末のハードウェア構成＞
次に、図４を参照して、本実施形態に係る無線端末１０２のハードウェア構成の一例を説明する。図４に示すように、無線端末１０２は、ハードウェア構成として、システム制御部４００、操作パネル４０８、スピーカ４０９、及びマイク４１０を備える。また、システム制御部４００は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ＨＤＤ４０４、操作パネルＩ／Ｆ４０５、音声入出力Ｉ／Ｆ４０６、及びネットワークＩ／Ｆ４０７を備える。各ハードウェア４０１〜４０７は、内部バス４１２によって接続され相互にデータ交換を行うことができる。
システム制御部４００は、無線端末１０２を統括的に制御する制御部である。ＣＰＵ４０１は、無線端末１０２全体の動作を統括的に制御する。ＣＰＵ４０１は、ＲＯＭ４０２やＨＤＤ４０４等に記憶された制御プログラムをＲＡＭ４０３に読み出して音声入力や送信制御などの各種制御を行う。ＲＡＭ４０３は、ＣＰＵ４０１が各種プログラムを実行するためのワークエリア等として使用する揮発性のメモリである。ＨＤＤ４０４は、ＭＦＰ１０１へ送信する印刷データや各種プログラムを記憶する。
操作パネルＩ／Ｆ４０５は、操作パネル４０８におけるユーザ入力を制御するとともに、操作パネル４０８への表示出力を制御するインタフェースである。操作パネル４０８は、例えばタッチパネル式の液晶ディスプレイで構成され、入力部と表示部とを有するユーザインタフェースである。音声入出力Ｉ／Ｆ４０６は、スピーカ４０９及びマイク４１０に接続され、ユーザからの音声の取得や、ユーザへの音声の出力を制御する。ネットワークＩ／Ｆ４０７は、各種ネットワークへ接続され、例えば、インターネットを介して意図解釈サーバ１０３と接続され、無線通信を介してＭＦＰ１０１と接続される。
＜各サーバのハードウェア構成＞
次に、図５を参照して、本実施形態に係る意図解釈サーバ１０３やＭＦＰ管理サーバ１０４のハードウェア構成について説明する。意図解釈サーバ１０３は、ＣＰＵ５０１、ＲＡＭ５０２、ＲＯＭ５０３、ＨＤＤ５０４、データベースＩ／Ｆ５０５、及び広域ネットワークＩ／Ｆ５０６を備える。各ハードウェア５０１〜５０６は、内部バス５０８によって接続され相互にデータ交換を行うことができる。
ＣＰＵ５０１は、意図解釈サーバ１０３を統括的に制御する。ＣＰＵ５０１は、ＲＯＭ５０３やＨＤＤ５０４等に記憶された制御プログラムをＲＡＭ５０２に読み出して意図解析や送信制御などの各種制御を行う。ＲＡＭ５０２は、ＣＰＵ５０１が各種プログラムを実行するためのワークエリア等として使用する揮発性のメモリである。ＨＤＤ５０４は、後述する登録済み意図テーブルや各種プログラムを記憶する。
データベースＩ／Ｆ５０５は、データベース（意図データベース）５０７に接続され、データベース５０７への情報の入出力を制御する。データベース５０７は、後述する表１の登録済み意図テーブルを管理する。広域ネットワークＩ／Ｆ５０６は、広域ネットワークを介した無線端末１０２及びＭＦＰ管理サーバ１０４との通信を制御する。
ＭＦＰ管理サーバ１０４は、ＣＰＵ５１１、ＲＡＭ５１２、ＲＯＭ５１３、ＨＤＤ５１４、データベースＩ／Ｆ５１５、及び広域ネットワークＩ／Ｆ５１６を備える。各ハードウェア５１１〜５１６は、内部バス５１８によって接続され相互にデータ交換を行うことができる。
ＣＰＵ５１１は、ＭＦＰ管理サーバ１０４を統括的に制御する。ＣＰＵ５１１は、ＲＯＭ５１３やＨＤＤ５１４等に記憶された制御プログラムをＲＡＭ５１２に読み出して意図解析や送信制御などの各種制御を行う。ＲＡＭ５１２は、ＣＰＵ５１１が各種プログラムを実行するためのワークエリア等として使用する揮発性のメモリである。ＨＤＤ５１４は、後述するプリンタ情報テーブル、プリンタ能力情報テーブルや各種プログラムを記憶する。
データベースＩ／Ｆ５１５は、データベース（プリンタデータベース）５１７に接続され、データベース５１７への情報の入出力を制御する。データベース５１７は、後述する表２のプリンタ情報テーブル、及び表３のプリンタ能力情報テーブルを管理する。広域ネットワークＩ／Ｆ５１６は、広域ネットワークを介したＭＦＰ１０１及び意図解釈サーバ１０３との通信を制御する。
＜意図解釈サーバのデータベース構成＞
次に、表１を参照して、意図解釈サーバ１０３が保持する登録済み意図のテーブルについて説明する。このテーブルは、各意図（Ｉｎｔｅｎｔｉｏｎ）にする補足パラメータとして、Ｒｅｑｕｉｒｅｄパラメータと、そうでない通常のパラメータとの２種類を持つ。Ｒｅｑｕｉｒｅｄパラメータは入力が必須のパラメータであり、各意図と解釈するにあたって必ず満たさなければならない条件である。それ以外のパラメータは入力必須ではなく、意図の解釈においても満たした方が望ましいという位置づけである。
例えば、意図の例として「プリンタ選定」がある。これはユーザが使用するプリンタを１つに決定する意図であり、Ｒｅｑｕｉｒｅｄパラメータとして使用するプリンタがカラー印刷をサポートするかどうかのパラメータであるＣｏｌｏｒが設定されている。また、Ｒｅｑｕｉｒｅｄでないパラメータとして自動ステープル機能をサポートするかどうかのパラメータであるＳｔａｐｌｅが設定されている。
よって、意図解釈サーバ１０３に入力されたテキスト文又は音声入力文が「カラー印刷が可能でステープル機能持っているプリンタを使用する」であれば、この文の意図は「プリンタ選定」と解釈される。さらに、ＣｏｌｏｒパラメータはＥｎａｂｌｅ（カラー印刷をサポートする）と解釈され、ＳｔａｐｌｅパラメータもＥｎａｂｌｅ（自動ステープル機能をサポートする）と解釈される。用意してあるどの意図にも当てはまらなかったテキスト文入力は「意図不明」と解釈される。なお、表１では、意図として、「プリンタ選定」、「印刷準備」、「印刷」、「意図不明」が定義され、これらに対する各種パラメータが設定されているが、これらは一例であり、本発明を限定する意図はない。他の意図や他のパラメータが登録されてもよく、これらは任意に追加、削除を行うことができる。
Figure 2019109752
＜ＭＦＰ管理サーバのデータベース構成＞
次に、表２及び表３を参照して、ＭＦＰ管理サーバ１０４が保持するプリンタ情報テーブル及びプリンタ能力情報テーブルについて説明する。表２に示すプリンタ情報テーブルには、各ユーザが利用可能なプリンタ情報が定義されている。この情報は特定ユーザに紐づけられた利用可能なプリンタのリストであり、一人のユーザが複数のプリンタを利用可能とすることもでき、一つのプリンタが複数のユーザに利用可能とされることもできる。なお、表２は一例であって本発明を限定する意図はなく、他のユーザや他のプリンタが定義されてもよい。
Figure 2019109752
表３に示すプリンタ能力情報テーブルには、各プリンタの能力情報が定義されている。ここでは、Ｓｉｚｅ、Ｃｏｌｏｒ、Ｓｔａｐｌｅのパラメータは表１で出てきたものと同じものを示す。Ｓｉｚｅは当該プリンタで印刷可能な最大の用紙サイズを表す。Ｃｏｌｏｒは当該プリンタでカラー印刷が可能であるかどうかを示し、Ｔｒｕｅであれば当該プリンタでカラー印刷が可能であることを示す。Ｓｔａｐｌｅは自動ステープルを行うオプション機能が当該プリンタで利用可能かを示す。なお、表３は一例であって本発明を限定する意図はなく、他のプリンタや他のパラメータが定義されてもよい。
Figure 2019109752
＜意図解釈サーバ１０３の処理＞
次に、図６を参照して、本実施形態に係る意図解釈サーバ１０３がユーザ入力の意図を解釈し、ＭＦＰ管理サーバ１０４へ信号を送る処理手順を説明する。以下で説明する処理は、例えば、意図解釈サーバ１０３のＣＰＵ５０１がＲＯＭ５０３やＨＤＤ５０４に格納された制御プログラムをＲＡＭ５０２に読み出して実行することにより実現される。
Ｓ６０１で、意図解釈サーバ１０３のＣＰＵ５０１は、テキスト入力又は音声入力を無線端末１０２から受信したかどうかを判定する。テキスト入力又は音声入力を受信した場合、Ｓ６０２に進み、ＣＰＵ５０１は、受信した入力の意図を解釈する。具体的には、ＣＰＵ５０１は、音声入力についてはまず音声認識エンジンによる音声認識を行って入力音声をテキストに変換する。そして、ＣＰＵ５０１は、テキスト入力又は音声入力から変換されたテキストについて自然言語処理エンジンによる意図の解釈を実行する。
次に、Ｓ６０３で、ＣＰＵ５０１は、Ｓ６０２での意図判定結果が意図不明であるかどうかを判定する。意図不明であればＳ６０７に進み、そうでなければＳ６０４に進む。Ｓ６０４で、ＣＰＵ５０１は、判定された意図について、表１に示すＲｅｑｕｉｒｅｄパラメータの全てが満たされているかどうかを判定する。Ｒｅｑｕｉｒｅｄパラメータの全てが満たされていない場合Ｓ６０６に進み、全て満たされている場合はＳ６０５に進む。Ｓ６０６で、ＣＰＵ５０１は、満たされていないＲｅｑｕｉｒｅｄパラメータに関する追加の質問文を無線端末１０２のユーザにネットワークを介して提示し、Ｓ６０４の判定に戻る。なお、Ｓ６０４の判定に戻る際には、新たなユーザ入力を受信しＳ６０２相当の意図解釈処理を実行し、パラメータの抽出を行う。
Ｒｅｑｕｉｒｅｄパラメータが全て満たされた場合、Ｓ６０５で、ＣＰＵ５０１は、判定された意図とパラメータ群をＭＦＰ管理サーバ１０４に送信し、処理を終了する。一方、Ｓ６０３において意図判定結果が意図不明であった場合は、Ｓ６０７で、ＣＰＵ５０１は、意図が不明である旨を無線端末１０２のユーザにネットワークを介して提示し、処理を終了する。
＜ＭＦＰ管理サーバ１０４の処理＞
次に、図７を参照して、本実施形態に係るＭＦＰ１０４が意図解釈サーバ１０３から上記Ｓ６０５で送信された意図とそのパラメータを受信した際の処理手順について説明する。以下で説明する処理は、例えば、ＭＦＰ管理サーバ１０４のＣＰＵ５１１がＲＯＭ５１３やＨＤＤ５１４に格納された制御プログラムをＲＡＭ５１２に読み出して実行することにより実現される。
Ｓ７０１で、ＭＦＰ管理サーバ１０４のＣＰＵ５１１は、意図解釈サーバ１０３から送られてくる信号を受信したか否かを判定する。信号を受信した場合はＳ７０２に進み、ＣＰＵ５１１は、まず信号に含まれている意図種別を取得し、意図が「ＭＦＰの決定（プリンタ選定）」かどうかを判断する。意図が「ＭＦＰの決定」であればＳ７０３に進み、そうでない場合はＳ７０５に進む。
Ｓ７０３で、ＣＰＵ５１１は、現在のユーザに紐づけられたＭＦＰで、かつ上記信号に含まれている条件（Ｒｅｑｕｉｒｅｄ条件）を全て満たすプリンタがあるかどうかを、プリンタ能力情報テーブル（表２）を参照することで判定する。条件を満たすプリンタがあればＳ７０９に進み、そうでない場合はＳ７０４に進む。Ｓ７０４で、ＣＰＵ５１１は、適合するＭＦＰが見つからなかったことを意図解釈サーバ１０３へネットワークを介して通知し、処理を終了する。一方、条件を満たすプリンタが見つかった場合はＳ７０９で、ＣＰＵ５１１は、適合するプリンタのリストを作成して意図解釈サーバ１０３へ返し、処理を終了する。
Ｓ７０２で受信した信号から取得した意図が「ＭＦＰの決定」でない場合、Ｓ７０５で、ＣＰＵ５１１は、現在のユーザアカウントが使用しようとしているＭＦＰが既に決定済みかどうかを判定する。決定済みでない場合はＳ７１０に進み、決定済みの場合はＳ７０６に進む。Ｓ７１０で、ＭＦＰ管理サーバ１０４は、意図解釈サーバ１０３に対してＭＦＰを決定させるための意図切り替え要求を送信し、意図を表１における「プリンタ選定」へ切り替え、処理を終了する。
一方、既に使用するＭＦＰが決定している場合は、Ｓ７０６で、ＣＰＵ５１１は、今回の意図が決定されたＭＦＰへの通信を必要とするものかどうか判断する。必要であればＳ７０７に進み、そうでなければＳ７０９に進む。Ｓ７０７で、ＣＰＵ５１１は、通信が必要である場合は対象ＭＦＰに対して信号の意図に対応する処理要求を送信し、通信確認を行う。続いて、Ｓ７０８で、ＣＰＵ５１１は、送信した処理要求に対してＭＦＰからの応答があったか否かを判定する。応答があり、かつ当該応答が成功を示す場合はＳ７０９に進み、そうでない場合はＳ７１１に進む。Ｓ７０９で、ＣＰＵ５１１は、意図解釈サーバ１０３に対して意図の処理が完了したことを示す信号を送信する。Ｓ７０７でＭＦＰ１０１から失敗を示す応答又は応答そのものがなかった場合、Ｓ７１１で、ＣＰＵ５１１は、意図解釈サーバ１０３に対して意図の処理が失敗したことを示す信号を送信し、処理を終了する。
＜無線端末１０２のユーザインタフェース＞
次に、図８を参照して、無線端末１０２の操作パネル４０８に表示されるユーザインタフェースとそのフローについて説明する。当該ユーザインタフェースは、無線端末１０２に格納された所定のアプリケーションを開くと対話形式のアプリケーションの画面が操作パネル４０８に表示される。上記所定のアプリケーションは、デフォルトで無線端末１０２にインストールされたものでもよいし、外部装置からダウンロードとしてインストールされたものでもよい。図８に示す画面８０１〜８０４は当該アプリケーションの画面である。また、以下で説明する無線端末１０２の処理は、ＣＰＵ４０１によって行われる。
画面８０１は、対話表示領域８１４にこれまでの対話履歴を表示したものである。対話表示領域８１４は１対１の対話の流れを上から時系列に並べたものであり、左側にアラインされた文章はＭＦＰサービス側、即ち、意図解釈サーバ１０３による質問等、右側にアラインされた文章はユーザによる発話又はテキスト入力であることを示している。意図解釈サーバ１０３による質問等は、上記Ｓ６０６やＳ６０７で提示されたものである。画面８０１においてユーザが画面下方のテキストフィールド８１１をタップすると、ＣＰＵ４０１は、テキスト入力を開始すべく画面８０２へ遷移させる。
画面８０２では画面下半分に仮想キーボード８２２が表示され、ユーザは様々な言語で入力することができる。入力されたテキスト内容はテキストフィールド８２３に表示される。画面８０２で対話表示領域８２１をタップすると、ＣＰＵ４０１は、テキストフィールド８２３の入力状態を維持したまま画面８０１へ戻す。この状態で画面８０１の送信ボタン（アイコン）８１３がタップされると、ＣＰＵ４０１は、テキストフィールド８１１に表示されているテキストをユーザの発話として、意図解釈サーバ１０３へ送信する。さらに、ＣＰＵ４０１は、当該テキストを対話表示領域８１４に表示させる。
画面８０１で音声入力ボタン（アイコン）８１２がタップされると、ＣＰＵ４０１は、音声入力を開始するための画面８０３へ遷移させる。画面８０３ではリージョン８３２に示すような、ユーザに音声入力を促す説明が表示され、ユーザからの音声入力が待ち受けられる。ユーザが対話表示領域８３１にタップするか、音声入力を完了するか、キャンセルボタン８３３をタップすると、ＣＰＵ４０１は、画面８０１へ戻す。
画面８０１でファイルセレクタボタン（アイコン）８１５がタップされると、ＣＰＵ４０１は、ファイルの選択を開始する画面８０４へ遷移させる。画面８０４では画面の下半分で印刷対象となるファイルを選択することができる。リージョン８４３に表示された印刷可能なデータ（画像ファイルやＰＤＦなど）がタップされると、ＣＰＵ４０１は、テキストフィールド８４４に送信対象となった印刷可能データ（例えば、アイコン８４５）を表示させる。当該選択では複数のデータを選択することができ、テキストフィールド８４４には追加で選択された画像が右側に追加されていく。なお、この状態でテキストフィールド８４４がタップされると、ＣＰＵ４０１は、画面８０２へ遷移させ、ユーザは表示された印刷可能データのアイコン８４５をＢＳ（バックスペース）で消すことによって印刷対象から削除することもできる。送信ボタン８４２がタップされると、ＣＰＵ４０１は、選択された印刷可能データを、対話相手となっている情報機器（この場合はＭＦＰ側、直接的には意図解釈サーバ１０３）へ送信する。ＣＰＵ４０１は、画面８０４の表示中に対話表示領域８４１がタップされるか、ファイル選択が完了して印刷可能データを送信すると、画面８０１へ戻す。
＜対話シナリオ＞
次に、図９を参照して、ユーザが無線端末１０２を介してＭＦＰ側と対話し、所定のＭＦＰを利用する流れの一例を説明する。各装置の処理は、各装置のＣＰＵによって統括的に制御される。
Ｓ９０１で、無線端末１０２は、「印刷する」というユーザからの入力を、意図解釈サーバ１０３に送信する。意図解釈サーバ１０３は、音声認識及び言語処理を実行して意図を解釈し、意図が「印刷」であると判断される（Ｓ６０４）。Ｓ９０２で、意図解釈サーバ１０３は、意図”印刷”をＭＦＰ管理サーバ１０４に送信する。ここで、ＭＦＰ管理サーバ１０４は、図７のフローチャートを辿ると、まだ使用するＭＦＰが未決定であるため、Ｓ９０３で意図切替要求（Ｓ７１０）を意図解釈サーバ１０３へ送信する。
これを受けてＳ９０４で、意図解釈サーバ１０３は、「どういう用途ですか？」という主旨の質問文を無線端末１０２に提示する。これを受けてＳ９０５で、無線端末１０２は、「社内プレゼン用でカラー印刷」というユーザ入力を受け付け、意図解釈サーバ１０３へ通知する。Ｓ９０６で、意図解釈サーバ１０３は、音声認識及び言語処理を実行して意図を解釈して、解釈した意図とパラメータとをＭＦＰ管理サーバ１０４へ送信する（Ｓ６０４）。ここでは、意図「プリンタ選定」、Ｃｏｌｏｒ（Ｒｅｑｕｉｒｅｄ Ｐａｒａｍ）にはＥｎａｂｌｅｄ、Ｓｔａｐｌｅ（Ｏｐｔｉｏｎａｌ Ｐａｒａｍ）にはＥｎａｂｌｅが格納されたデータがＭＦＰ管理サーバ１０４へ送信される。
次に、Ｓ９０７で、ＭＦＰ管理サーバ１０４は、Ｒｅｑｕｉｒｅｄパラメータを全て満たす中で、Ｏｐｔｉｏｎａｌパラメータを多く満たすプリンタを優先的にリストアップしたリストを作成して、意図解釈サーバ１０３へ返す（Ｓ７０８）。Ｓ９０８で、意図解釈サーバ１０３は、「利用可能なプリンタリスト［１］［２］［３］」という形式で無線端末１０２上に利用可能ＭＦＰの一覧を提示する。
その後、Ｓ９０９で、無線端末１０２は、「［２］を使用する」というユーザにより選択された所望の画像形成装置を示すユーザ入力を、意図解釈サーバ１０３へ通知する。続いて、Ｓ９１０で、意図解釈サーバ１０３は、音声認識及び言語処理を実行して意図を解釈し、意図が切り替わり、意図「印刷準備」をＭＦＰ管理サーバ１０４へ送信する（Ｓ６０４）。
Ｓ９１１で、ＭＦＰ管理サーバ１０４は、図７のフローチャートに従って対象ＭＦＰへ向けて無線Ｐ２Ｐ起動指示を発行する（Ｓ７０６）。対象のＭＦＰ（ここでは、ＭＦＰ１０１）は、これを受けて無線Ｐ２Ｐ接続を行うための準備を行い、Ｓ９１２で無線Ｐ２Ｐ接続するための接続情報（ＳＳＩＤ／ＰａｓｓＰｈｒａｓｅ）をＭＦＰ管理サーバ１０４へ返す。Ｓ９１３で、当該接続情報は、ＭＦＰ管理サーバ１０４から意図解釈サーバ１０３を中継して、無線端末１０２へと渡される。Ｓ９１４で、無線端末１０２は、渡された接続情報に従って、ＭＦＰ１０１と無線接続を行い、最終的にこの無線接続を使用して印刷ジョブの投入を行う。
以上説明したように、本実施形態に係る無線端末は、音声又はテキストでのユーザ入力を受け付けてサーバへ通知し、当該ユーザ入力に関する質問を前記サーバから取得してユーザへ提示することによって、ユーザとサーバとの間で対話を行わせる。また、本無線端末は、対話に基づいてサーバによって解釈されたユーザの意図に従う１以上の画像形成装置のリストを当該サーバから受信して表示する。さらに、ユーザによってリストから所望の画像形成装置が選択されると、サーバから当該画像形成装置への接続情報を取得して、アクセスし、印刷ジョブ等を投入する。また、本実施形態に係る管理サーバは、各ユーザと利用可能な１以上の画像形成装置とを紐づけて定義するプリンタ情報テーブルと、各画像形成装置の能力情報を定義するプリンタ能力情報テーブルとを保持するプリンタデータベースを備える。さらに、本管理サーバは、意図解釈サーバで解釈されたユーザの意図に従う１以上の画像形成装置のリストをプリンタデータベースを参照して作成して提供する。また、本実施形態に係る意図解釈サーバは、音声又はテキストでのユーザ入力を無線端末から受信し、受信したユーザ入力が音声である場合に音声認識を実行し、音声認識エンジンによって音声認識されたユーザ入力又はテキストによるユーザ入力を言語処理する。また、本意図解釈サーバは、複数の意図と、意図ごとに１以上のパラメータとを紐づけて保持する意図データベースを備える。さらに、本意図解釈サーバは、言語処理エンジンによって言語処理されたユーザ入力と、意図データベースが保持する情報とに従って、ユーザの意図を解釈し、解釈できない場合には追加の質問を無線端末へ提示する。このように本実施形態によれば、ユーザに複雑な操作を要求することなく、ユーザの意図を対話的に取得し、ユーザの意図に適する装置や機能等を提示することができる。
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００：情報処理システム、１０１：ＭＦＰ、１０２：無線端末、１０３：意図解釈サーバ、１０４：ＭＦＰ管理サーバ

Claims (17)

  1. 画像形成装置及びサーバと通信可能な無線端末であって、
    音声又はテキストでのユーザ入力を受け付けて前記サーバへ通知し、該ユーザ入力に関する質問を前記サーバから取得してユーザへ提示することによって、前記ユーザと前記サーバとの間で対話を行わせる対話手段と、
    前記対話手段による前記対話に基づいて前記サーバによって解釈されたユーザの意図に従う１以上の画像形成装置のリストを該サーバから受信する受信手段と、
    前記受信手段によって受信した前記リストを表示する表示手段と
    を備えることを特徴とする無線端末。
  2. 前記表示手段に表示された前記リストを介して、前記ユーザ入力により選択された所望の画像形成装置への接続情報を前記サーバから取得する取得手段と、
    前記取得手段によって取得された前記接続情報を用いて、前記所望の画像形成装置へ無線接続を行ってジョブを投入する接続手段と
    をさらに備えることを特徴とする請求項１に記載の無線端末。
  3. 前記表示手段は、さらに、前記対話手段による前記ユーザと前記サーバとの前記対話を時系列に表示することを特徴とする請求項１又は２に記載の無線端末。
  4. 前記表示手段は、さらに、前記対話を表示している画面において、音声入力を開始するためのアイコンと、テキスト入力を開始するためのフィールドと、前記画像形成装置に送信する画像データの選択を開始するためのアイコンと、前記ユーザ入力を表示し、かつ該ユーザ入力を前記サーバへ通知させるためのアイコンと、の少なくとも１つを表示することを特徴とする請求項３に記載の無線端末。
  5. 前記サーバには、前記ユーザ入力に従ってユーザの意図を解釈する意図解釈サーバと、１以上の前記画像形成装置を管理する管理サーバとが含まれ、
    前記意図解釈サーバは、
    前記ユーザ入力が音声である場合に音声認識を実行する音声認識エンジンと、
    前記音声認識エンジンによって音声認識されたユーザ入力又はテキストによるユーザ入力を言語処理する言語処理エンジンと、
    複数の意図と、意図ごとに１以上のパラメータとを紐づけて保持する意図データベースと、
    前記言語処理エンジンによって言語処理されたユーザ入力と、前記意図データベースが保持する情報とに従って、ユーザの意図を解釈し、解釈できない場合には追加の質問を前記無線端末へ提示する意図解釈手段と
    を備え、
    前記管理サーバは、
    各ユーザと利用可能な１以上の画像形成装置とを紐づけて定義するプリンタ情報テーブルと、各画像形成装置の能力情報を定義するプリンタ能力情報テーブルとを保持するプリンタデータベースと、
    前記意図解釈サーバで解釈されたユーザの意図に従う１以上の画像形成装置のリストを前記プリンタデータベースを参照して作成して提供する提供手段と
    を備えることを特徴とする請求項１乃至４の何れか１項に記載の無線端末。
  6. 前記パラメータには、対応する意図と解釈するために前記ユーザ入力に含まれることを条件とする第１パラメータと、任意のパラメータである第２パラメータとが含まれることを特徴とする請求項５に記載の無線端末。
  7. 前記意図解釈手段は、前記ユーザ入力に前記第１パラメータが含まれていない場合は、前記追加の質問を前記無線端末へ提示することを特徴とする請求項６に記載の無線端末。
  8. 前記提供手段は、前記意図解釈サーバで解釈されたユーザの意図が、画像形成装置に対して通信を必要とする場合には、ユーザが所望する画像形成装置との通信確認を行うことを特徴とする請求項５乃至６の何れか１項に記載の無線端末。
  9. 無線端末のユーザからユーザ入力に従って該ユーザの意図を解釈する意図解釈サーバと、１以上の画像形成装置と通信可能な管理サーバであって、
    各ユーザと利用可能な１以上の画像形成装置とを紐づけて定義するプリンタ情報テーブルと、各画像形成装置の能力情報を定義するプリンタ能力情報テーブルとを保持するプリンタデータベースと、
    前記意図解釈サーバで解釈されたユーザの意図を受信する受信手段と、
    前記受信手段によって受信した意図に従う１以上の画像形成装置のリストを前記プリンタデータベースを参照して作成して提供する提供手段と
    を備えることを特徴とする管理サーバ。
  10. 前記提供手段は、
    前記リストを介して前記ユーザによって選択された所望の画像形成装置に対して通信確認を行い、
    前記通信確認が成功すると、前記意図解釈サーバを介して前記無線端末へ前記所望の画像形成装置へ接続するための接続情報を提供することを特徴とする請求項９に記載の管理サーバ。
  11. 管理サーバと無線端末と通信可能な意図解釈サーバであって、
    音声又はテキストでのユーザ入力を前記無線端末から受信する受信手段と、
    前記受信手段で受信したユーザ入力が音声である場合に音声認識を実行する音声認識エンジンと、
    前記音声認識エンジンによって音声認識されたユーザ入力又はテキストによるユーザ入力を言語処理する言語処理エンジンと、
    複数の意図と、意図ごとに１以上のパラメータとを紐づけて保持する意図データベースと、
    前記言語処理エンジンによって言語処理されたユーザ入力と、前記意図データベースが保持する情報とに従って、ユーザの意図を解釈し、解釈できない場合には追加の質問を前記無線端末へ提示する意図解釈手段と
    を備えることを特徴とする意図解釈サーバ。
  12. 画像形成装置及びサーバと通信可能な無線端末の制御方法であって、
    対話手段が、音声又はテキストでのユーザ入力を受け付けて前記サーバへ通知し、該ユーザ入力に関する質問を前記サーバから取得してユーザへ提示することによって、前記ユーザと前記サーバとの間で対話を行わせる対話工程と、
    受信手段が、前記対話工程による前記対話に基づいて前記サーバによって解釈されたユーザの意図に従う１以上の画像形成装置のリストを該サーバから受信する受信工程と、
    表示手段が、前記受信工程で受信した前記リストを表示する表示工程と
    を含むことを特徴とする無線端末の制御方法。
  13. 無線端末のユーザからユーザ入力に従って該ユーザの意図を解釈する意図解釈サーバと、１以上の画像形成装置と通信可能であって、各ユーザと利用可能な１以上の画像形成装置とを紐づけて定義するプリンタ情報テーブルと、各画像形成装置の能力情報を定義するプリンタ能力情報テーブルとを保持するプリンタデータベースを備える管理サーバの制御方法であって、
    受信手段が、前記意図解釈サーバで解釈されたユーザの意図を受信する受信工程と、
    提供手段が、前記受信工程で受信した意図に従う１以上の画像形成装置のリストを前記プリンタデータベースを参照して作成して提供する提供工程と
    を含むことを特徴とする管理サーバの制御方法。
  14. 管理サーバと無線端末と通信可能であって、複数の意図と、意図ごとに１以上のパラメータとを紐づけて保持する意図データベースを備える意図解釈サーバの制御方法であって、
    受信手段が、音声又はテキストでのユーザ入力を前記無線端末から受信する受信工程と、
    音声認識エンジンが、前記受信工程で受信したユーザ入力が音声である場合に音声認識を実行する音声認識工程と、
    言語処理エンジンが、前記音声認識工程で音声認識されたユーザ入力又はテキストによるユーザ入力を言語処理する言語処理工程と、
    意図解釈手段が、前記言語処理工程で言語処理されたユーザ入力と、前記意図データベースが保持する情報とに従って、ユーザの意図を解釈し、解釈できない場合には追加の質問を前記無線端末へ提示する意図解釈工程と
    を含むことを特徴とする意図解釈サーバの制御方法。
  15. 画像形成装置及びサーバと通信可能な無線端末の制御方法における各工程をコンピュータに実行させるためのプログラムであって、前記制御方法は、
    対話手段が、音声又はテキストでのユーザ入力を受け付けて前記サーバへ通知し、該ユーザ入力に関する質問を前記サーバから取得してユーザへ提示することによって、前記ユーザと前記サーバとの間で対話を行わせる対話工程と、
    受信手段が、前記対話工程による前記対話に基づいて前記サーバによって解釈されたユーザの意図に従う１以上の画像形成装置のリストを該サーバから受信する受信工程と、
    表示手段が、前記受信工程で受信した前記リストを表示する表示工程と
    を含むことを特徴とするプログラム。
  16. 無線端末のユーザからユーザ入力に従って該ユーザの意図を解釈する意図解釈サーバと、１以上の画像形成装置と通信可能であって、各ユーザと利用可能な１以上の画像形成装置とを紐づけて定義するプリンタ情報テーブルと、各画像形成装置の能力情報を定義するプリンタ能力情報テーブルとを保持するプリンタデータベースを備える管理サーバの制御方法における各工程をコンピュータに実行させるためのプログラムであって、前記制御方法は、
    受信手段が、前記意図解釈サーバで解釈されたユーザの意図を受信する受信工程と、
    提供手段が、前記受信工程で受信した意図に従う１以上の画像形成装置のリストを前記プリンタデータベースを参照して作成して提供する提供工程と
    を含むことを特徴とするプログラム。
  17. 管理サーバと無線端末と通信可能であって、複数の意図と、意図ごとに１以上のパラメータとを紐づけて保持する意図データベースを備える意図解釈サーバの制御方法における各工程をコンピュータに実行させるためのプログラムであって、前記制御方法は、
    受信手段が、音声又はテキストでのユーザ入力を前記無線端末から受信する受信工程と、
    音声認識エンジンが、前記受信工程で受信したユーザ入力が音声である場合に音声認識を実行する音声認識工程と、
    言語処理エンジンが、前記音声認識工程で音声認識されたユーザ入力又はテキストによるユーザ入力を言語処理する言語処理工程と、
    意図解釈手段が、前記言語処理工程で言語処理されたユーザ入力と、前記意図データベースが保持する情報とに従って、ユーザの意図を解釈し、解釈できない場合には追加の質問を前記無線端末へ提示する意図解釈工程と
    を含むことを特徴とするプログラム。
JP2017242878A 2017-12-19 2017-12-19 無線端末、サーバ、それらの制御方法、プログラム、及びシステム Active JP7177591B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2017242878A JP7177591B2 (ja) 2017-12-19 2017-12-19 無線端末、サーバ、それらの制御方法、プログラム、及びシステム
CN201880082193.6A CN111512281B (zh) 2017-12-19 2018-11-14 无线终端、管理服务器、意图解读服务器、及其控制方法
KR1020207019870A KR102540222B1 (ko) 2017-12-19 2018-11-14 무선 단말기, 관리 서버, 및 의도 해석 서버
KR1020237018451A KR20230084324A (ko) 2017-12-19 2018-11-14 무선 단말기, 관리 서버, 의도 해석 서버, 및 컴퓨터 판독가능 기록매체
RU2020123539A RU2750623C1 (ru) 2017-12-19 2018-11-14 Беспроводной терминал, сервер администрирования, сервер интерпретации намерений, способ управления ими и программа
PCT/JP2018/042099 WO2019123899A1 (ja) 2017-12-19 2018-11-14 無線端末、管理サーバ、意図解釈サーバ、それらの制御方法、及びプログラム
US16/901,364 US11438469B2 (en) 2017-12-19 2020-06-15 Wireless terminal, management server and intention interpretation server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017242878A JP7177591B2 (ja) 2017-12-19 2017-12-19 無線端末、サーバ、それらの制御方法、プログラム、及びシステム

Publications (2)

Publication Number Publication Date
JP2019109752A true JP2019109752A (ja) 2019-07-04
JP7177591B2 JP7177591B2 (ja) 2022-11-24

Family

ID=66994061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017242878A Active JP7177591B2 (ja) 2017-12-19 2017-12-19 無線端末、サーバ、それらの制御方法、プログラム、及びシステム

Country Status (6)

Country Link
US (1) US11438469B2 (ja)
JP (1) JP7177591B2 (ja)
KR (2) KR20230084324A (ja)
CN (1) CN111512281B (ja)
RU (1) RU2750623C1 (ja)
WO (1) WO2019123899A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021144645A (ja) * 2020-03-13 2021-09-24 株式会社リコー 命令送信装置、命令転送システム、命令送信方法及びプログラム
JP2022041741A (ja) * 2020-09-01 2022-03-11 シャープ株式会社 情報処理装置、印刷システム、制御方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7361509B2 (ja) 2019-07-03 2023-10-16 キヤノン株式会社 周辺装置管理システム、印刷装置制御システム、制御方法、印刷制御装置及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051887A (ja) * 2001-08-06 2003-02-21 Minolta Co Ltd 制御システムおよび制御方法
JP2004151562A (ja) * 2002-10-31 2004-05-27 Seiko Epson Corp 音声対話制御方法および音声対話制御装置
JP2014203320A (ja) * 2013-04-08 2014-10-27 株式会社リコー 印刷制御プログラム
JP2016212761A (ja) * 2015-05-13 2016-12-15 シャープ株式会社 画像形成システムおよびプログラム
JP2017107529A (ja) * 2015-12-07 2017-06-15 株式会社リコー 情報処理システム、端末装置及びプログラム
JP6447689B1 (ja) * 2017-09-11 2019-01-09 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2019049901A (ja) * 2017-09-11 2019-03-28 富士ゼロックス株式会社 情報処理装置及びプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4367929B2 (ja) 2004-08-27 2009-11-18 キヤノン株式会社 携帯電話及び印刷システムとその制御方法
JP4270134B2 (ja) * 2005-01-31 2009-05-27 ブラザー工業株式会社 サービス提供システム，クライアントデバイス，サーバおよびプログラム
RU2442213C2 (ru) * 2006-06-13 2012-02-10 Майкрософт Корпорейшн Панель управления поисковым механизмом
US8477350B2 (en) * 2010-03-16 2013-07-02 Google Inc. Cloud-based print service
JP2011232857A (ja) * 2010-04-26 2011-11-17 Canon Inc 印刷サービスシステム、印刷処理方法
JP2012248161A (ja) * 2011-05-31 2012-12-13 Oki Electric Ind Co Ltd 対話型検索システム及びプログラム、並びに、対話シナリオ生成システム及びプログラム
CN108337380B (zh) 2011-09-30 2022-08-19 苹果公司 自动调整用户界面以用于免提交互
JP5831251B2 (ja) * 2012-01-25 2015-12-09 コニカミノルタ株式会社 画像形成システム、画像形成装置、端末装置、画像形成装置の制御プログラム、および端末装置の制御プログラム
US8593501B1 (en) * 2012-02-16 2013-11-26 Google Inc. Voice-controlled labeling of communication session participants
US9108450B2 (en) * 2012-05-04 2015-08-18 Makerbot Industries, Llc Voice-controlled three-dimensional fabrication system
US9536049B2 (en) * 2012-09-07 2017-01-03 Next It Corporation Conversational virtual healthcare assistant
RU129673U1 (ru) * 2012-12-17 2013-06-27 Федеральное государственное унитарное предприятие "ЦентрИнформ" Система управления удаленными печатающими устройствами
US9171450B2 (en) * 2013-03-08 2015-10-27 Qualcomm Incorporated Emergency handling system using informative alarm sound
CN104608509B (zh) * 2013-11-04 2017-09-29 深圳光启智能光子技术有限公司 打印机、打印系统及方法、服务器
RU2589856C2 (ru) * 2014-09-25 2016-07-10 Общество С Ограниченной Ответственностью "Яндекс" Способ обработки целевого сообщения, способ обработки нового целевого сообщения и сервер (варианты)
US20190251126A1 (en) * 2015-02-12 2019-08-15 CogniCor Technologies, Inc. Multi-agent based virtual assistant
KR20170016683A (ko) 2015-08-04 2017-02-14 (주)풀쟁이 종자를 함유한 한지 제조 장치 및 그 방법
JP2018063537A (ja) * 2016-10-12 2018-04-19 株式会社東芝 ホームネットワーク、電子機器、処理装置および表示方法
US10515632B2 (en) * 2016-11-15 2019-12-24 At&T Intellectual Property I, L.P. Asynchronous virtual assistant
JP6636658B2 (ja) * 2016-11-16 2020-01-29 マンゴースラブ カンパニー リミテッド 再接着式メモ紙を出力するプリンタ及びプリンタシステム
US11340766B2 (en) * 2016-11-16 2022-05-24 Mangoslab Co., Ltd. Printer system and method for printing restickable note
KR101725314B1 (ko) * 2016-11-16 2017-04-10 망고슬래브 주식회사 재접착식 메모지를 출력하는 프린터 및 프린터 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051887A (ja) * 2001-08-06 2003-02-21 Minolta Co Ltd 制御システムおよび制御方法
JP2004151562A (ja) * 2002-10-31 2004-05-27 Seiko Epson Corp 音声対話制御方法および音声対話制御装置
JP2014203320A (ja) * 2013-04-08 2014-10-27 株式会社リコー 印刷制御プログラム
JP2016212761A (ja) * 2015-05-13 2016-12-15 シャープ株式会社 画像形成システムおよびプログラム
JP2017107529A (ja) * 2015-12-07 2017-06-15 株式会社リコー 情報処理システム、端末装置及びプログラム
JP6447689B1 (ja) * 2017-09-11 2019-01-09 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2019049901A (ja) * 2017-09-11 2019-03-28 富士ゼロックス株式会社 情報処理装置及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021144645A (ja) * 2020-03-13 2021-09-24 株式会社リコー 命令送信装置、命令転送システム、命令送信方法及びプログラム
JP7443844B2 (ja) 2020-03-13 2024-03-06 株式会社リコー 命令送信装置、命令転送システム、命令送信方法及びプログラム
JP2022041741A (ja) * 2020-09-01 2022-03-11 シャープ株式会社 情報処理装置、印刷システム、制御方法及びプログラム
JP7430126B2 (ja) 2020-09-01 2024-02-09 シャープ株式会社 情報処理装置、印刷システム、制御方法及びプログラム

Also Published As

Publication number Publication date
RU2750623C1 (ru) 2021-06-30
CN111512281B (zh) 2024-05-14
WO2019123899A1 (ja) 2019-06-27
JP7177591B2 (ja) 2022-11-24
KR20230084324A (ko) 2023-06-12
US11438469B2 (en) 2022-09-06
CN111512281A (zh) 2020-08-07
KR102540222B1 (ko) 2023-06-07
US20200314264A1 (en) 2020-10-01
KR20200096620A (ko) 2020-08-12

Similar Documents

Publication Publication Date Title
US10917369B2 (en) Information processing apparatus, information processing system, and information processing method
US11355106B2 (en) Information processing apparatus, method of processing information and storage medium comprising dot per inch resolution for scan or copy
CN101894003B (zh) 信息处理设备和控制方法
JP7071098B2 (ja) 音声制御システム、制御方法およびプログラム
JP5346059B2 (ja) 多機能画像形成装置
JP7146379B2 (ja) 印刷方法、音声制御システムおよびプログラム
US9648180B2 (en) Information processing system performing operation based on tag information, information processing device, portable terminal and non-transitory computer readable recording medium
US10506115B2 (en) System and method for natural language operation of multifunction peripherals
CN110831771A (zh) 打印系统及设备、信息处理设备、其控制方法和存储介质
US11159339B2 (en) Information processing apparatus, method of processing information and storage medium
JP2006238199A (ja) 情報処理システム、機器、情報処理装置、情報処理方法、情報処理プログラム及び記録媒体
JP2008047106A (ja) ユーザ・インターフェイスをカスタム化するシステムおよび方法
WO2019123899A1 (ja) 無線端末、管理サーバ、意図解釈サーバ、それらの制御方法、及びプログラム
RU2721223C1 (ru) Система печати, способ управления и сервер
CN109254738A (zh) 打印系统、打印设备和控制方法
JP2014099047A (ja) 印刷システム、プリンタドライバプログラム
KR20150138797A (ko) 화상형성장치 및 화상 형성 방법
JP2023115336A (ja) プログラム及び制御方法
JP2021081875A (ja) 情報処理システム、情報処理方法、情報処理装置及び出力装置
JP2015204526A (ja) 携帯端末、画像通信システム、ファクス装置、およびこれらの制御方法、並びにプログラム
JP7361509B2 (ja) 周辺装置管理システム、印刷装置制御システム、制御方法、印刷制御装置及びプログラム
JP2012168819A (ja) 画像処理装置、操作画面の表示制御方法及び表示制御プログラム
KR20100034909A (ko) 화상형성장치 및 그의 인쇄 처리 방법
JP7443844B2 (ja) 命令送信装置、命令転送システム、命令送信方法及びプログラム
JP2010129094A (ja) リモート画像処理ジョブおよび画像処理装置を第三者が管理制御するための方法およびシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201209

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221014

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221111

R151 Written notification of patent or utility model registration

Ref document number: 7177591

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151