JP2020004014A - 情報提示方法、情報提示システム、および情報提示装置 - Google Patents

情報提示方法、情報提示システム、および情報提示装置 Download PDF

Info

Publication number
JP2020004014A
JP2020004014A JP2018121996A JP2018121996A JP2020004014A JP 2020004014 A JP2020004014 A JP 2020004014A JP 2018121996 A JP2018121996 A JP 2018121996A JP 2018121996 A JP2018121996 A JP 2018121996A JP 2020004014 A JP2020004014 A JP 2020004014A
Authority
JP
Japan
Prior art keywords
information
search
image data
user
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018121996A
Other languages
English (en)
Inventor
直希 大塚
Naoki Otsuka
直希 大塚
徹一 嶋田
Tetsuichi Shimada
徹一 嶋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Data Corp filed Critical Oki Data Corp
Priority to JP2018121996A priority Critical patent/JP2020004014A/ja
Publication of JP2020004014A publication Critical patent/JP2020004014A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】ユーザが望む情報を適切に特定することができる情報提示方法を得る。【解決手段】本発明の情報提示方法は、第1のユーザインタフェース装置が、検索キーワードを受け付けることと、情報提示装置が、データベースから、検索キーワードに該当する複数の検索候補を取得することと、情報提示装置が、複数の検索候補のそれぞれに対応づけられた、第1の項目の付加情報および第2の項目の付加情報を含む複数の付加情報に基づいて、問い合わせるべき項目の順番を決定する項目順決定処理を行うことと、第1のユーザインタフェース装置が、項目順決定処理の結果に基づいて、複数の検索候補のうちの第1の検索候補に対応づけられた第1の項目の付加情報についての第1の問い合わせ処理を行うことと、情報提示装置が、複数の検索候補のうちのいずれかについての情報を提示する提示処理を行うこととを含む。【選択図】図15

Description

本発明は、検索キーワードに基づいて情報を提示する情報提示方法および情報提示システム、ならびに、そのような情報提示システムにおいて用いられる情報提示装置に関する。
電子機器では、しばしば検索処理が行われ、その検索結果に応じた情報が提示される。例えば、特許文献1には、検索キーワードに基づいて蓄積された文書の検索を行う検索装置が開示されている。
特開2009−37605号公報
ところで、近年、音声やチャットなどの対話形式のユーザインタフェースが開発されている。例えば、このような対話形式のユーザインタフェースを用いた場合でも、ユーザが望む情報を適切に特定することができることが望まれている。
ユーザが望む情報を適切に特定することができる情報提示方法、情報提示システム、および情報提示装置を提供することが望ましい。
本発明の一実施の形態における情報提示方法は、第1のユーザインタフェース装置が、検索キーワードを受け付けることと、情報提示装置が、データベースから、検索キーワードに該当する複数の検索候補を取得することと、情報提示装置が、複数の検索候補のそれぞれに対応づけられた、第1の項目の付加情報および第2の項目の付加情報を含む複数の付加情報に基づいて、問い合わせるべき項目の順番を決定する項目順決定処理を行うことと、第1のユーザインタフェース装置が、項目順決定処理の結果に基づいて、複数の検索候補のうちの第1の検索候補に対応づけられた第1の項目の付加情報についての第1の問い合わせ処理を行うことと、情報提示装置が、複数の検索候補のうちのいずれかについての情報を提示する提示処理を行うこととを含んでいる。
本発明の一実施の形態における情報提示システムは、情報提示装置と、第1のユーザインタフェース装置とを備えている。情報提示装置は、候補取得部と、決定部とを有している。候補取得部は、データベースから、検索キーワードに該当する複数の検索候補を取得するものである。決定部は、複数の検索候補のそれぞれに対応づけられた、第1の項目の付加情報および第2の項目の付加情報を含む複数の付加情報に基づいて、問い合わせるべき項目の順番を決定する項目順決定処理を行うものである。第1のユーザインタフェース装置は、検索キーワードを受け付けるとともに、項目順決定処理の結果に基づいて、複数の検索候補のうちの第1の検索候補に対応づけられた第1の項目の付加情報についての第1の問い合わせ処理を行うものである。
本発明の一実施の形態における情報提示装置は、候補取得部と、決定部とを備えている。候補取得部は、データベースから、第1のユーザインタフェース装置から指示された検索キーワードに該当する複数の検索候補を取得するものである。決定部は、複数の検索候補のそれぞれに対応づけられた、第1の項目の付加情報および第2の項目の付加情報を含む複数の付加情報に基づいて、問い合わせるべき項目の順番を決定する項目順決定処理を行うものである。
本発明の一実施の形態における情報提示方法、情報提示システム、および情報提示装置によれば、問い合わせるべき項目の順番を決定する項目順決定処理を行うようにしたので、ユーザが望む情報を適切に特定することができる。
第1の実施の形態に係る文書提示システムの一構成例を表すブロック図である。 第1の実施の形態に係るデータ情報の一構成例を表す説明図である。 第1の実施の形態に係るデータ情報の一具体例を表す説明図である。 第1の実施の形態に係る画像データの一例を表す画像図である。 図1に示した文書提示装置の一構成例を表すブロック図である。 第1の実施の形態に係る更新後のデータ情報の一具体例を表す説明図である。 図1に示した文書提示システムの一動作例を表すシーケンス図である。 図1に示した文書提示システムの一動作例を表す他のシーケンス図である。 図1に示した文書提示システムの一動作例を表す他のシーケンス図である。 図1に示した文書提示システムの一動作例を表す他のシーケンス図である。 第1の実施の形態に係る複数のデータ情報の一具体例を表す説明図である。 図5に示した関連度算出部の一動作例を表す説明図である。 図5に示した検索候補決定部の一動作例を表す説明図である。 図5に示した項目決定部の一動作例を表す説明図である。 図5に示した要約生成部の一動作例を表す説明図である。 図1に示した文書提示システムの一動作例を表すフローチャートである。 第1の実施の形態に係る問い合わせ文情報の一例を表す表である。 図5に示した対話部の一動作例を表す説明図である。 図5に示した対話部の一動作例を表す他の説明図である。 図5に示した対話部の一動作例を表す他の説明図である。 第1の実施の形態に係る文書提示システムにおける対話の一例を表す説明図である。 変形例に係る文書提示システムの一構成例を表すブロック図である。 第2の実施の形態に係る文書提示システムの一構成例を表すブロック図である。 図20に示した文書提示装置の一構成例を表すものである。 第2の実施の形態に係る更新後のデータ情報の一具体例を表す説明図である。 図20に示した文書提示システムの一動作例を表すシーケンス図である。 図20に示した文書提示システムの一動作例を表す他のシーケンス図である。 図20に示した文書提示システムの一動作例を表す他のシーケンス図である。 図20に示した文書提示システムの一動作例を表す他のシーケンス図である。 第2の実施の形態に係る複数のデータ情報の一具体例を表す説明図である。 図20に示したスマートフォンが表示する表示画像の一例を表す画像図である。 図20に示した文書提示システムの一動作例を表すフローチャートである。 第2の実施の形態に係る文書提示システムにおける対話の一例を表す説明図である。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
<1.第1の実施の形態>
[構成例]
図1は、本発明の第1の実施の形態に係る情報提示システム(文書提示システム1)の一構成例を表すものである。文書提示システム1は、対話形式のユーザインタフェースを用いて、蓄積された文書に対する検索処理を行い、検索結果に応じた文書を提示するものである。
(全体構成)
文書提示システム1は、情報処理装置11と、画像処理装置12と、スマートスピーカ13と、文書提示装置20と、クラウドサーバ14と、情報配信サーバ15とを備えている。この例では、情報処理装置11、画像処理装置12、およびスマートスピーカ13は、例えばユーザUの近くに配置されている。情報処理装置11、画像処理装置12、およびスマートスピーカ13は、LAN(Local Area Network)であるネットワーク9に接続され、このネットワーク9を介してインターネットINETに接続される。また、文書提示装置20、クラウドサーバ14、および情報配信サーバ15は、インターネットINETに接続される。
情報処理装置11は、例えば、パーソナルコンピュータである。この情報処理装置11には、ワードプロセッサソフトウェア、表計算ソフトウェア、プレゼンテーションソフトウェアなどがインストールされている。ユーザUは、例えば、これらのソフトウェアを用いて文書(ドキュメント)を作成する。そして、ユーザUが、印刷処理の指示を行うことにより、情報処理装置11は、この文書のファイルに基づいて、例えばPDL(Page Description Language)により記述された画像データDP1を生成し、この画像データDP1に基づいてデータ情報DT1を生成する。そして、情報処理装置11は、このデータ情報DT1を文書提示装置20に供給する。文書提示装置20は、このデータ情報DT1に含まれる画像データDP1を画像処理装置12に供給するとともに印刷指示を行い、画像処理装置12は、この画像データDP1に基づいて印刷処理を行う。このようにして、文書提示システム1では、ユーザUによる印刷指示に基づいて、文書が紙などの記録媒体に印刷されるようになっている。なお、この例では、情報処理装置11は、パーソナルコンピュータであるとしたが、これに限定されるものではなく、これに代えて、例えば、スマートフォンであってもよい。
画像処理装置12は、コピー機能、ファックス機能、スキャン機能、プリント機能、電子メール送信機能などを有する、いわゆる多機能周辺装置(MFP;Multi Function Peripheral)である。画像処理装置12は、例えば、文書提示装置20から供給された画像データに基づいて、印刷処理を行うことにより、紙などの記録媒体に画像を形成する。また、画像処理装置12は、例えば、ユーザUがScan to E-mail処理の指示を行うことにより、原稿媒体に形成された画像に基づいて、スキャン画像データである画像データDP2を生成し、この画像データDP2を、設定された電子メールアドレスに送信する。また、画像処理装置12は、この画像データDP2に基づいてデータ情報DT2を生成し、このデータ情報DT2を文書提示装置20に供給する機能をも有している。
スマートスピーカ13は、ユーザUと音声で対話するユーザインタフェースを有するものである。スマートスピーカ13は、例えば、インターネットINETに接続された図示しないサーバを利用することにより、ユーザUが発した音声をテキスト情報に変換し、このテキスト情報を文書提示装置20に供給する。また、スマートスピーカ13は、文書提示装置20から供給された問い合わせ文情報INFIを音声に変換することにより、ユーザUに情報を提示するようになっている。
文書提示装置20は、情報処理装置11および画像処理装置12から供給されたデータ情報DT(データ情報DT1,DT2)を蓄積するとともに、スマートスピーカ13から供給された検索処理の指示に基づいて、蓄積されたデータ情報DTに対する検索処理を行い、検索結果に係る画像データDP(画像データDP1,DP2)についての印刷指示または電子メール送信指示を行うことにより、文書をユーザUに提示するものである。文書提示装置20は、例えば、CPU(Central Processing Unit)、メモリ、ハードディスクなどを用いて構成される。
クラウドサーバ14は、いわゆるクラウドサービスを行うサーバである。このクラウドサービスは、例えば、電子メール(ウェブメール)の管理、スケジュールの管理、電話の発信や着信についてのコンタクト情報の管理、行動履歴情報の管理などを含む。ユーザUは、このクラウドサービスのアカウントを有している。例えば、情報処理装置11は、ユーザUの操作に基づいてクラウドサーバ14にアクセスする。そして、クラウドサーバ14は、ユーザUが入力したユーザ識別子およびパスワードに基づいて認証処理を行う。これにより、ユーザUは、このクラウドサービスを利用することができる。同様に、例えば、スマートスピーカ13は、例えばユーザUとの対話に基づいてクラウドサーバ14にアクセスする。そして、クラウドサーバ14は、例えばユーザUが発した音声に基づいて声紋認証を行う。これにより、ユーザUは、このクラウドサービスを利用することができるようになっている。
情報配信サーバ15は、天気情報やニュース情報などを配信するサーバである。情報の配信には、例えば、RSS(Really Simple Syndication)などを用いることができる。
この構成により、文書提示システム1では、例えば、ユーザUが情報処理装置11を操作することにより印刷処理の指示を行うと、情報処理装置11は、PDLデータである画像データDP1に基づいて文書情報INFD(後述)を生成し、クラウドサーバ14から取得した情報に基づいてユーザ情報INFU(後述)を生成し、情報配信サーバ15から取得した情報に基づいて一般情報INFG(後述)を生成し、文書情報INFD、ユーザ情報INFU、および一般情報INFGに基づいてデータ情報DT1を生成する。そして、情報処理装置11は、このデータ情報DT1を文書提示装置20に供給する。また、例えば、ユーザUが画像処理装置12を操作することによりScan to E-mail処理の指示を行うと、画像処理装置12は、スキャン画像データである画像データDP2に基づいて文書情報INFD(後述)を生成し、クラウドサーバ14から取得した情報に基づいてユーザ情報INFU(後述)を生成し、情報配信サーバ15から取得した情報に基づいて一般情報INFG(後述)を生成し、文書情報INFD、ユーザ情報INFU、および一般情報INFGに基づいてデータ情報DT2を生成する。そして、画像処理装置12は、このデータ情報DT2を文書提示装置20に供給する。これにより、文書提示装置20にデータ情報DT(データ情報DT1,DT2)が蓄積される。そして、例えば、ユーザUが、過去に印刷を行った画像データDP1や、過去に電子メール送信を行った画像データDP2を再度利用したい場合には、文書提示装置20に対して、その画像データDP(画像データDP1,DP2)を用いた印刷処理や電子メール送信処理を指示することができる。具体的には、ユーザUは、スマートスピーカ13と対話して、文書提示装置20に対して検索処理を指示する。文書提示装置20は、この検索処理の指示に基づいて検索処理を行い、蓄積されたデータ情報DTから、ユーザUが望む画像データDPを含むデータ情報DTを特定する。そして、文書提示装置20は、画像処理装置12に対して、その画像データDPを用いた印刷指示や電子メール送信指示を行う。このようにして、文書提示システム1では、蓄積された複数の文書(画像データDP)からユーザUが望む文書を検索し、その文書をユーザUに提示するようになっている。
(データ情報DT)
図2は、データ情報DTの一構成例を表すものである。図3は、情報処理装置11が生成したデータ情報DT(データ情報DT1)の一具体例を表すものである。
ユーザUが情報処理装置11を操作することにより印刷処理の指示を行うと、情報処理装置11は、ユーザが作成した文書データに基づいて、例えばPDLにより記述された画像データDP1を生成するとともに、この画像データDP1を含むデータ情報DT1を生成する。データ情報DT1は、文書情報INFDと、ユーザ情報INFUと、一般情報INFGとを有している。
文書情報INFDは、画像データDP1が示す文書についての情報である。文書情報INFDは、“文書データ”と、“ユーザ識別子”と、“抽出情報”と、“ファイル名情報”と、“日時・場所情報”と、“ホスト・アプリケーション情報”とを含んでいる。情報処理装置11は、情報処理装置11に記憶された様々なデータに基づいて、この文書情報INFDを生成するようになっている。
“文書データ”は、画像データDP1である。なお、これに限定されるものではなく、これに代えて、例えば、画像データDP1へのリンク情報であってもよい。具体的には、画像データDP1が情報処理装置11に記憶されている場合には、リンク情報は、情報処理装置11におけるその画像データDP1が記憶された場所を示す絶対パス、およびその画像データDP1のファイル名を含む。画像データDP1が画像処理装置12に記憶されている場合には、リンク情報は、画像処理装置12におけるその画像データDP1が記憶された場所を示す絶対パス、およびその画像データDP1のファイル名を含む。
“ユーザ識別子”は、クラウドサーバ14へ接続する際に使用する接続識別子である。なお、ユーザUが、クラウドサービスのアカウントを有していない場合には、“ユーザ識別子”は、情報処理装置11のログイン識別子であってもよい。
“抽出情報”は、画像データDP1から抽出された情報である。“抽出情報”は、テキスト情報W1と画像情報W2とを含んでいる。
図4は、画像データDP1が示す画像の一例を表すものである。この例では、画像データDP1は、テキストオブジェクトW11と、画像オブジェクトW12とを含んでいる。情報処理装置11は、テキストオブジェクトW11に基づいてテキスト情報W1を生成し、画像オブジェクトW12に基づいて画像情報W2を生成するようになっている。
“元ファイル名情報”は、情報処理装置11が画像データDP1を生成した際に使用した、その画像データDP1の元データである文書データのファイル名についての情報である。具体的には、“元ファイル名情報”は、情報処理装置11におけるその文書データが記憶された場所を示す絶対パス、およびその文書データのファイル名についての情報を含んでいる。
“日時・場所情報”は、情報処理装置11が画像データDP1を生成した日時および場所についての情報である。情報処理装置11に、設置場所についての情報が設定されている場合には、“日時・場所情報”は、この設置場所についての情報を含む。例えば、情報処理装置11が、スマートフォンである場合には、“日時・場所情報”は、例えば、スマートフォンが取得したGPS(Global Positioning System)情報や、そのGPS情報に基づいて特定された場所についての情報を含んでもよい。
“ホスト・アプリケーション情報”は、画像データDP1を生成した情報処理装置11についての情報、および画像データDP1の元データである文書データを生成したアプリケーションソフトウェアについての情報である。
ユーザ情報INFUは、画像データDP1に係る文書を作成したユーザUについての情報である。ユーザ情報INFUは、“ユーザ識別子”と、“アカウント情報”と、“パスワード情報”と、“電子メール情報”と、“スケジュール情報”と、“コンタクト情報”と、“行動履歴情報”と、“声紋情報”とを含んでいる。これらの情報は、クラウドサーバ14において管理されており、情報処理装置11は、このクラウドサーバ14からこれらの情報を取得することにより、ユーザ情報INFUを生成するようになっている。
“ユーザ識別子”は、文書情報INFDにおける“ユーザ識別子”と同じである。なお、図3では、この“ユーザ識別子”についての記載を省略している。
“アカウント情報”は、クラウドサービスのアカウントについての情報であり、ユーザUの氏名、電子メールアドレス、電話番号、住所などについての情報である。
“パスワード情報”は、クラウドサーバ14へ接続する際の認証処理において使用するパスワードである。
“電子メール情報”は、クラウドサービスを用いてやりとりした電子メール(ウェブメール)についての情報である。この“電子メール情報”は、例えば、文書情報INFDの“日時・場所情報”が示す時刻の直前の所定の長さの時間(例えば2時間)においてやりとりされた電子メールについての情報を含んでいる。
“スケジュール情報”は、クラウドサービスを用いて管理している、ユーザUのスケジュールについての情報である。この“スケジュール情報”は、例えば、文書情報INFDの“日時・場所情報”が示す時刻を含む所定の長さの時間におけるユーザUのスケジュールについての情報を含んでいる。
“コンタクト情報”は、クラウドサービスを用いて管理している電話のやりとりについての情報である。この“コンタクト情報”は、例えば、文書情報INFDの“日時・場所情報”が示す時刻の直前の所定の長さの時間におけるユーザUの通話相手についての情報を含んでいる。
“行動履歴情報”は、クラウドサービスを用いて管理している、ユーザUの行動履歴についての情報である。例えば、情報処理装置11がスマートフォンである場合には、“行動履歴情報”は、例えば、スマートフォンが取得したGPS情報や、そのGPS情報に基づいて特定された行動についての情報を含んでもよい。この“行動履歴情報”は、例えば、文書情報INFDの“日時・場所情報”が示す時刻の直前の所定の長さの時間におけるユーザUの行動履歴についての情報を含んでいる。
“声紋情報”は、クラウドサーバ14へ接続する際の認証処理において使用する声紋についての情報である。
一般情報INFGは、一般的な時事情報についての情報である。一般情報INFGは、“日時・場所情報”と、“天気情報”と、“ニュース情報”とを含んでいる。これらの情報は、情報配信サーバ15が配信する情報であり、情報処理装置11は、この情報配信サーバ15からこれらの情報を取得することにより、一般情報INFGを生成するようになっている。
“ユーザ識別子”は、文書情報INFDにおける“日時・場所情報”と同じである。なお、図3では、この“日時・場所情報”についての記載を省略している。
“天気情報”は、天気についての情報である。この“天気情報”は、例えば、この一般情報INFGの“日時・場所情報”が示す時刻および場所における天気についての情報を含んでいる。
“ニュース情報”は、政治、経済、国際、社会、スポーツ、芸能などについての情報である。この“ニュース情報”は、例えば、この一般情報INFGの“日時・場所情報”が示す時刻におけるニュースについての情報を含んでいる。
情報処理装置11は、図3に示したデータ情報DT1を生成する。そして、情報処理装置11は、このデータ情報DT1を文書提示装置20に供給するようになっている。
一方、ユーザUが画像処理装置12を操作することによりScan to E-mail処理の指示を行うと、画像処理装置12は、原稿媒体に形成された画像に基づいて、スキャン画像データである画像データDP2を生成するとともに、この画像データDP2を含むデータ情報DT2を生成する。データ情報DT2は、データ情報DT1(図3)と同様に、文書情報INFDと、ユーザ情報INFUと、一般情報INFGとを有している。データ情報DT2の文書情報INFDは、“文書データ”と、“ユーザ識別子”と、“抽出情報”と、“ファイル名情報”と、“日時・場所情報”と、“ホスト・アプリケーション情報”とを含んでいる。
データ情報DT2の“文書データ”は、画像データDP2である。なお、これに限定されるものではなく、これに代えて、例えば、画像データDP2へのリンク情報であってもよい。具体的には、画像データDP2が画像処理装置12に記憶されている場合には、リンク情報は、画像処理装置12におけるその画像データDP2が記憶された場所を示す絶対パス、およびその画像データDP2のファイル名を含む。
データ情報DT2の“抽出情報”は、画像データDP2から抽出された情報である。“抽出情報”は、テキスト情報W1と画像情報W2とを含んでいる。画像処理装置12は、画像データDP2に基づいて、画像データDP2に含まれるテキスト部分および画像部分をそれぞれ検出する。そして、画像処理装置12は、画像データDP2のテキスト部分に基づいてOCR(Optical Character Recognition)処理を行うことによりテキスト情報W1を生成し、画像データDP2から画像部分を抜き出すことにより画像情報W2を生成するようになっている。
データ情報DT2の“元ファイル名情報”は、いわゆるヌルデータである。すなわち、画像処理装置12は、スキャン処理を行うことにより画像データDP2を生成するので、その画像データDP2の元データである文書データはないので、“元ファイル名情報”を空のデータにする。同様に、データ情報DT2の“ホスト・アプリケーション情報”は、ヌルデータである。
(文書提示装置20)
図5は、文書提示装置20の一構成例を表すものである。文書提示装置20は、送受信部21と、データ情報記憶部22と、抽出情報解析部23と、UI(User Interface)ハンドル部24と、関連度算出部25と、検索候補決定部26と、項目決定部27と、要約生成部28と、対話部29と、指示部30とを有している。
送受信部21は、インターネットINETを介して、情報処理装置11、画像処理装置12、およびスマートスピーカ13との間で情報のやり取りを行うものである。
データ情報記憶部22は、情報処理装置11および画像処理装置12から供給されたデータ情報DT(データ情報DT1,DT2)を記憶するものである。データ情報記憶部22は、データベース22Aを記憶している。データベース22Aには、情報処理装置11および画像処理装置12から供給されたデータ情報DTが蓄積され記憶されるようになっている。
抽出情報解析部23は、情報処理装置11および画像処理装置12から供給されたデータ情報DT(データ情報DT1,DT2)に含まれる文書情報INFDの“抽出情報”を解析し、解析結果に基づいてデータ情報DTを更新するものである。
図5は、抽出情報解析部23により更新された後のデータ情報DT1の一具体例を表すものである。抽出情報解析部23は、情報処理装置11から供給されたデータ情報DT1(図3)に含まれる文書情報INFDの“抽出情報”におけるテキスト情報W1に基づいて、例えば人工知能技術を用いて、画像データDP1が示す文書のタイトル、およびその文書の結論を推定する。そして、抽出情報解析部23は、推定した文書のタイトルに基づいてタイトル情報W21を生成し、推定した文書の結論に基づいて結論情報W22を生成する。また、抽出情報解析部23は、テキスト情報W1から単語を抽出し、抽出した単語に基づいて単語情報W23を生成する。また、抽出情報解析部23は、画像情報W2に基づいて、例えば人工知能技術を用いて、画像情報W2が示すものを解析し、そのものの名称を含む画像解析情報W24を生成する。そして、抽出情報解析部23は、図5に示したように、文書情報INFDの“抽出情報”を、タイトル情報W21、結論情報W22、単語情報W23、および画像解析情報W24に置き換えることにより、データ情報DT1を更新するようになっている。以下、抽出情報解析部23により生成された、タイトル情報W21、結論情報W22、単語情報W23、および画像解析情報W24を、抽出情報W20とも呼ぶ。
UIハンドル部24は、対話部29が生成した問い合わせ文情報INFIをスマートスピーカ13に供給するとともに、スマートスピーカ13から供給された、スマートスピーカ13がユーザUと対話することにより得た情報を解析し、その情報を関連度算出部25および対話部29に供給するものである。
関連度算出部25は、スマートスピーカ13からUIハンドル部24を介して供給された検索キーワードKWと、データ情報記憶部22に記憶されたデータベース22Aに蓄積されたデータ情報DTとに基づいて、関連度Rを算出するものである。具体的には、関連度算出部25は、まず、抽出情報解析部23により更新されたデータ情報DTに基づいて、あらかじめ学習処理を行う。この学習処理では、関連度算出部25は、文書インデックス技術や機械学習などを用い、データ情報DTと、そのデータ情報DTに含まれる抽出情報W20との対応づけを学習する。機械学習を用いる場合には、例えば、200次元程度の意味空間に情報をマッピングすることにより学習処理を行うことができる。関連度算出部25は、この学習処理の結果に基づいて、学習データベース25Aを更新する。そして、関連度算出部25は、スマートスピーカ13から供給された検索キーワードKWに基づいて、この学習データベース25Aを利用して、検索キーワードKWと、データ情報DTに含まれる複数の項目Aのそれぞれについての情報との関連度Rを算出する。関連度Rを算出する複数の項目Aは、図6において太字で示したように、文書情報INFDの“ユーザ識別子”、“抽出情報”、“元ファイル名情報”、“日時・場所情報”、“ホスト・アプリケーション情報”、ユーザ情報INFUの“アカウント情報”、“電子メール情報”、“スケジュール情報”、“コンタクト情報”、“行動履歴情報”、および一般情報INFGの“天気情報”、“ニュース情報”である。関連度算出部25は、検索キーワードKWと、複数の項目Aのうちの項目A1についての情報との関連性が強い場合には、その項目A1についての関連度Rの値を大きくする。また、関連度算出部25は、検索キーワードKWと、複数の項目Aのうちの項目A2についての情報との関連性が弱い場合には、その項目についての関連度Rの値を小さくするようになっている。
検索候補決定部26は、関連度算出部25が算出した関連度Rに基づいて、データベース22Aに含まれる複数のデータ情報DTから、ユーザUに対して問い合わせを行うべき複数のデータ情報DTを決定するものである。すなわち、決定された複数のデータ情報DTは、検索候補CDに対応するものである。
項目決定部27は、関連度算出部25が算出した関連度Rに基づいて、複数の項目Aから、ユーザUに対して問い合わせを行うべき複数の項目Bを決定するものである。
要約生成部28は、例えば人工知能技術を用いて、検索候補CDに係る複数のデータ情報DTのそれぞれの画像データDPに基づいて、画像データDPが示す文書の要約を生成するものである。具体的には、要約生成部28は、例えば、データ情報DTにおける文書情報INFDの“文書データ”が画像データDPである場合には、この画像データDPに基づいて文書の要約を生成する。また、要約生成部28は、例えば、データ情報DTにおける文書情報INFDの“文書データ”が画像データDPへのリンク情報である場合には、このリンク情報に基づいて画像データDPを取得し、この画像データDPに基づいて文書の要約を生成するようになっている。
対話部29は、検索候補決定部26が決定した検索候補CD、項目決定部27が決定した項目B、および要約生成部28が生成した要約に基づいて、スマートスピーカ13がユーザUに対して問い合わせる際に使用する問い合わせ文情報INFIを生成するものである。また、対話部29は、スマートスピーカ13から供給された、スマートスピーカ13がユーザUと対話することにより得た情報に基づいて、検索候補CDである複数のデータ情報DTから、ユーザUが望む画像データDPを含むデータ情報DTを特定する機能をも有している。
指示部30は、対話部29からの指示に基づいて、画像処理装置12に対して、特定されたデータ情報DTの画像データDPについての印刷指示または電子メール送信指示を行うものである。具体的には、指示部30は、例えば、データ情報DTにおける文書情報INFDの“文書データ”が画像データDPである場合には、この画像データDPについての印刷指示または電子メール送信指示を行う。また、指示部30は、例えば、データ情報DTにおける文書情報INFDの“文書データ”が画像データDPへのリンク情報である場合には、このリンク情報に基づいて画像データDPを取得し、この画像データDPについての印刷指示または電子メール送信指示を行うようになっている。
この構成により、例えば、ユーザUが、スマートスピーカ13と対話して、文書提示装置20に対して検索処理を指示すると、文書提示装置20は、この検索処理の指示に基づいて、データベース22Aに蓄積されたデータ情報DTに対して検索処理を行うことにより、ユーザUが望む画像データDPを含むデータ情報DTの検索候補CDである複数のデータ情報DTを取得する。文書提示装置20は、検索候補CDを絞り込むため、スマートスピーカ13を用いてユーザUに対して問い合わせを行う。そして、文書提示装置20は、スマートスピーカ13がユーザUと対話することにより得た情報に基づいて、検索候補CDである複数のデータ情報DTから、ユーザUが望む画像データDPを含むデータ情報DTを特定する。そして、文書提示装置20は、画像処理装置12に対して、このデータ情報DTに含まれる画像データDPについての印刷指示または電子メール送信指示を行うようになっている。
ここで、文書提示システム1は、本発明における「情報提示システム」の一具体例に対応する。文書提示装置20は、本発明における「情報提示装置」の一具体例に対応する。データベース22Aは、本発明における「データベース」の一具体例に対応する。検索候補CDおよびデータ情報DTは、本発明における「検索候補」の一具体例に対応する。データ情報DTのうちの、複数の項目Bについての情報は、本発明における「複数の付加情報」の一具体例に対応する。スマートスピーカ13は、本発明における「第1のユーザインタフェース装置」の一具体例に対応する。関連度算出部25および検索候補決定部26は、本発明における「候補取得部」の一具体例に対応する。項目決定部27は、本発明における「決定部」の一具体例に対応する。
[動作および作用]
続いて、本実施の形態の文書提示システム1の動作および作用について説明する。
(全体動作概要)
まず、図1を参照して、文書提示システム1の全体動作概要を説明する。例えば、ユーザUが情報処理装置11を操作することにより印刷処理の指示を行うと、情報処理装置11は、ユーザが作成した文書データに基づいて、例えばPDLにより記述された画像データDP1を生成するとともに、この画像データDP1を含むデータ情報DT1を生成する。そして、情報処理装置11は、このデータ情報DT1を文書提示装置20に供給する。文書提示装置20は、このデータ情報DT1を記憶する。また、文書提示装置20は、このデータ情報DT1に含まれる画像データDP1を画像処理装置12に供給するとともに印刷指示を行い、画像処理装置12は、この画像データDP1に基づいて印刷処理を行う。
また、例えば、ユーザUが画像処理装置12を操作することによりScan to E-mail処理の指示を行うと、画像処理装置12は、原稿媒体に形成された画像に基づいて、スキャン画像データである画像データDP2を生成するとともに、この画像データDP2を含むデータ情報DT2を生成する。そして、画像処理装置12は、このデータ情報DT2を文書提示装置20に供給する。文書提示装置20は、このデータ情報DT2を記憶する。また、画像処理装置12は、この画像データDP2を、設定された電子メールアドレスに送信する。
その後に、例えば、ユーザUは、過去に印刷を行った画像データDP1や、過去に電子メール送信を行った画像データDP2を再度利用したい場合には、文書提示装置20に対して、その画像データDP(画像データDP1,DP2)を用いた印刷処理や、その画像データDPを用いた電子メール送信処理を指示することができる。具体的には、ユーザUは、スマートスピーカ13と対話して、文書提示装置20に対して検索処理を指示する。文書提示装置20は、この検索処理の指示に基づいて、蓄積されたデータ情報DTに対して検索処理を行うことにより、ユーザUが望む画像データDPを含むデータ情報DTの検索候補CDである複数のデータ情報DTを取得する。文書提示装置20は、検索候補CDを絞り込むため、スマートスピーカ13を用いてユーザUに対して問い合わせを行う。そして、文書提示装置20は、スマートスピーカ13がユーザUと対話することにより得た情報に基づいて、検索候補CDである複数のデータ情報DTから、ユーザUが望む画像データDPを含むデータ情報DTを特定する。そして、文書提示装置20は、画像処理装置12に対して、このデータ情報DTに含まれる画像データDPについての印刷指示または電子メール送信指示を行う。
文書提示装置20が印刷指示を行った場合には、画像処理装置12は、この印刷指示に基づいて印刷処理を行うことにより、この画像データDPに応じた画像を記録媒体に形成する。また、文書提示装置20が電子メール送信指示を行った場合には、画像処理装置12は、この電子メール送信指示に基づいて電子メール送信処理を行うことにより、この画像データDPを、設定された電子メールアドレスに送信する。
(詳細動作)
次に、文書提示システム1の動作について詳細に説明する。まず、ユーザUが情報処理装置11を操作することにより印刷処理の指示を行う場合の動作(動作OP1)と、ユーザUが画像処理装置12を操作することによりScan to E-mail処理の指示を行う場合の動作(動作OP2)について説明する。
(動作OP1)
図7は、ユーザUが情報処理装置11を操作することにより印刷処理の指示を行う場合における、文書提示システム1の一動作例を表すものである。図7において、ユーザの操作を括弧内に示している。
ユーザUが情報処理装置11を操作することにより印刷処理の指示を行うと、情報処理装置11は、ユーザが作成した文書のファイルに基づいて、例えばPDLにより記述された画像データDP1を生成する(ステップS101)。
次に、情報処理装置11は、データ情報DT1を生成する(ステップS102)。具体的には、情報処理装置11は、PDLデータである画像データDP1に基づいて文書情報INFDを生成する。また、情報処理装置11は、クラウドサーバ14から情報を取得し、取得した情報に基づいてユーザ情報INFUを生成する。また、情報処理装置11は、情報配信サーバ15から情報を取得し、取得した情報に基づいて一般情報INFGを生成する。そして、情報処理装置11は、文書情報INFD、ユーザ情報INFU、および一般情報INFGに基づいてデータ情報DT1を生成する。
次に、情報処理装置11は、データ情報DT1を、ネットワーク9およびインターネットINETを介して文書提示装置20に供給する(ステップS103)。文書提示装置20の送受信部21は、このデータ情報DT1を受け取る。
次に、文書提示装置20のデータ情報記憶部22は、データ情報DT1をデータベース22Aに登録する(ステップS104)。その際、文書提示装置20は、データ情報DT1に、データベース22Aに記憶された複数のデータ情報DTのそれぞれを識別するためのデータ情報識別子を付与する。
次に、文書提示装置20の抽出情報解析部23は、このデータ情報DT1に含まれる文書情報INFDの“抽出情報”を解析し、解析結果に基づいてデータ情報DT1を更新する(ステップS105)。具体的には、抽出情報解析部23は、情報処理装置11から供給されたデータ情報DT1(図3)に含まれる文書情報INFDの“抽出情報”におけるテキスト情報W1に基づいて、例えば人工知能技術を用いて、画像データDP1が示す文書のタイトル、およびその文書の結論を推定する。そして、抽出情報解析部23は、推定した文書のタイトルに基づいてタイトル情報W21を生成し、推定した文書の結論に基づいて結論情報W22を生成する。また、抽出情報解析部23は、テキスト情報W1から単語を抽出し、抽出した単語に基づいて単語情報W23を生成する。また、抽出情報解析部23は、画像情報W2に基づいて、例えば人工知能技術を用いて、画像情報W2が示すものを解析し、そのものの名称を含む画像解析情報W24を生成する。そして、抽出情報解析部23は、文書情報INFDの“抽出情報”(図3)を、図6に示したように、タイトル情報W21、結論情報W22、単語情報W23、および画像解析情報W24を含む抽出情報W20に置き換えることにより、データ情報DT1を更新する。
次に、文書提示装置20の関連度算出部25は、更新されたデータ情報DT1に基づいて学習処理を行う(ステップS106)。具体的には、関連度算出部25は、文書インデックス技術や機械学習などを用い、データ情報DT1と、そのデータ情報DT1に含まれる抽出情報W20との対応づけを学習する。そして、関連度算出部25は、この学習処理の結果に基づいて、学習データベース25Aを更新する。
次に、文書提示装置20の指示部30は、このデータ情報DT1に含まれる画像データDP1を画像処理装置12に供給するとともに印刷指示を行う(ステップS107)。画像処理装置12は、この画像データDP1および印刷指示を受け取る。
そして、画像処理装置12は、この画像データDP1および印刷指示に基づいて印刷処理を行う(ステップS108)。
以上で、このシーケンスは終了する。
(動作OP2)
図8は、ユーザUが画像処理装置12を操作することによりScan to E-mail処理の指示を行う場合における、文書提示システム1の一動作例を表すものである。
ユーザUが画像処理装置12を操作することによりScan to E-mail処理の指示を行うと、画像処理装置12は、スキャン処理を行うことにより、原稿媒体に形成された画像に基づいてスキャン画像データである画像データDP2を生成する(ステップS111)。
次に、画像処理装置12は、画像データDP2に基づいて、テキスト情報W1および画像情報W2を生成する(ステップS112)。具体的には、画像処理装置12は、画像データDP2に含まれるテキスト部分および画像部分をそれぞれ検出する。そして、画像処理装置12は、画像データDP2のテキスト部分に基づいてOCR処理を行うことによりテキスト情報W1を生成し、画像データDP2から画像部分を抜き出すことにより画像情報W2を生成する。
次に、画像処理装置12は、データ情報DT2を生成する(ステップS113)。具体的には、画像処理装置12は、スキャン画像データである画像データDP2に基づいて文書情報INFDを生成する。また、画像処理装置12は、例えば画像処理装置12に登録されたユーザUについての情報に基づいて、クラウドサーバ14から情報を取得し、取得した情報に基づいてユーザ情報INFUを生成する。また、画像処理装置12は、情報配信サーバ15から情報を取得し、取得した情報に基づいて一般情報INFGを生成する。そして、画像処理装置12は、文書情報INFD、ユーザ情報INFU、および一般情報INFGに基づいてデータ情報DT2を生成する。
次に、画像処理装置12は、データ情報DT2を、ネットワーク9およびインターネットINETを介して文書提示装置20に供給する(ステップS114)。文書提示装置20の送受信部21は、このデータ情報DT2を受け取る。
次に、文書提示装置20のデータ情報記憶部22は、データ情報DT2をデータベース22Aに登録する(ステップS115)。その際、文書提示装置20は、データ情報DT2に、データベース22Aに記憶された複数のデータ情報DTのそれぞれを識別するためのデータ情報識別子を付与する。
次に、文書提示装置20の抽出情報解析部23は、このデータ情報DT2に含まれる文書情報INFDの“抽出情報”を解析し、解析結果に基づいてデータ情報DT2を更新する(ステップS116)。
次に、文書提示装置20の関連度算出部25は、更新されたデータ情報DT2に基づいて学習処理を行う(ステップS117)。
また、画像処理装置12は、スキャン画像データである画像データDP2を、設定された電子メールアドレスに送信する(ステップS118)。この例では、画像処理装置12は、画像データDP2を情報処理装置11に送信している。
以上で、このシーケンスは終了する。
その後に、ユーザUは、例えば、過去に印刷を行った画像データDP1や、過去に電子メール送信を行った画像データDP2を再度利用したい場合には、文書提示装置20に対して、この画像データDP(画像データDP1,DP2)を用いた印刷処理の指示や、この画像データDPを用いた電子メール送信処理の指示を行うことができる。以下に、文書提示装置20に蓄積された画像データDPに基づいて、文書提示装置20に対して印刷処理の指示や電子メール送信処理の指示を行う場合の動作(動作OP3)について詳細に説明する。
(動作OP3)
図9A,9Bは、文書提示装置20に蓄積された画像データDPに基づいて、ユーザUが文書提示装置20に対して印刷処理の指示や電子メール送信処理の指示を行う場合の動作の一例を表すものである。
ユーザUが、スマートスピーカ13と対話して、文書提示装置20に対して、検索処理の指示を行うと、スマートスピーカ13は、ユーザUが発した音声をテキスト情報に変換し(ステップS121)、そのテキスト情報を検索指示情報として文書提示装置20に供給する(ステップS122)。この検索指示情報は、検索キーワードKWおよびアクション情報ACについての情報を含んでいる。アクション情報ACは、例えば、印刷処理の指示または電子メール送信処理の指示である。文書提示装置20の送受信部21は、この検索指示情報を受け取る。
次に、文書提示装置20のUIハンドル部24は、この検索指示情報から、検索キーワードKWおよびアクション情報ACを抽出する(ステップS123)。
次に、文書提示装置20の関連度算出部25は、学習データベース25Aを利用して、検索キーワードKWと、データベース22Aに蓄積されたデータ情報DTに含まれる複数の項目Aについての情報との関連度Rをそれぞれ算出する(ステップS124)。
図10は、データベース22Aに蓄積されたデータ情報DTのうちの、ユーザUに係るデータ情報DTにおける複数の項目Aについての情報の一例を表すものである。スマートスピーカ13は、例えば声紋に基づいてユーザUを特定するので、文書提示装置20は、データベース22Aに蓄積されたデータ情報DTのうち、特定されたユーザUに係るデータ情報DTを処理対象とする。
図11は、関連度算出部25が算出した関連度Rの一例を表すものである。図11の表における数値は、関連度Rを示している。この例では、検索キーワードKWは、“先週”および“P社”である。“先週”は、この例では、2月16日から2月23日までの週である。関連度算出部25は、この検索キーワードKWと、データベース22Aに蓄積されたデータ情報DTに含まれる複数の項目Aのそれぞれについての情報との関連度Rを算出する。関連度Rは、この例では、“0”以上“10”以下の整数である。関連度Rの値が高いものほど、検索キーワードKWと、その情報との関連性が強いことを示す。
次に、文書提示装置20の検索候補決定部26は、図9Aに示したように、関連度算出部25が算出した関連度Rに基づいて、データベース22Aに含まれる複数のデータ情報DTから、ユーザUに対して問い合わせを行うべき複数のデータ情報DT(検索候補CD)を決定する(ステップS125)。
図12は、検索候補決定部26の一動作例を表すものである。検索候補決定部26は、図12の部分Z1に示したように、複数のデータ情報DTのそれぞれについて、複数の項目Aについての複数の関連度Rの合計値(合計値Rtotal)を求める。そして、検索候補決定部26は、複数のデータ情報DTについて、合計値Rtotalが大きいものから順に、候補順OD1を設定する。そして、検索候補決定部26は、この候補順OD1における上位“N1”個(この例ではN1=3)のデータ情報DTを、ユーザUに対して問い合わせを行うべきデータ情報DTとする。すなわち、この上位“N1”個のデータ情報DTが、検索候補CDである。
次に、文書提示装置20の項目決定部27は、図9Aに示したように、関連度算出部25が算出した関連度Rに基づいて、複数の項目Aから、ユーザUに対して問い合わせを行うべき複数の項目Bを決定する(ステップS126)。
図13は、項目決定部27の一動作例を表すものである。項目決定部27は、図13の部分Z2に示したように、複数の項目Aのそれぞれについて、複数のデータ情報DTについての複数の関連度Rの分散値(分散値Rdev)を求める。そして、項目決定部27は、複数の項目Aについて、分散値Rdevが大きいものから順に、項目順OD2を設定する。そして、項目決定部27は、この項目順OD2における上位“N2”個(この例ではN2=3)の項目Aを、ユーザUに対して問い合わせを行うべき項目Bとする。
次に、文書提示装置20の要約生成部28は、図9Aに示したように、検索候補CDに係る複数のデータ情報DTのそれぞれの画像データDPに基づいて、画像データDPが示す文書の要約を生成する(ステップS127)。
図14は、要約生成部28の一動作例を表すものである。要約生成部28は、図14の部分Z3に示したように、複数のデータ情報DTのそれぞれについて、画像データDPが示す文書の要約を生成する。
次に、文書提示システム1は、ステップS125において求めた検索候補CDを絞り込むために、図9Bに示したステップS128〜S133の動作を1または複数回繰り返す。
まず、文書提示装置20の対話部29は、ステップS125において検索候補決定部26が決定した検索候補CD、ステップS126において項目決定部27が決定した項目B、およびステップS127において要約生成部28が生成した要約に基づいて、後述するように問い合わせ文情報INFIを生成する(ステップS128)。そして、文書提示装置20の送受信部21は、この問い合わせ文情報INFIをスマートスピーカ13に供給する(ステップS129)。スマートスピーカ13は、この問い合わせ文情報INFIを受け取る。そして、スマートスピーカ13は、この問い合わせ文情報INFIに基づいて、テキスト情報を音声に変換することにより、ユーザUに対して問い合わせを行う(ステップS130)。
ユーザUが、問い合わせに対して応答すると、スマートスピーカ13は、ユーザUが発した音声をテキスト情報に変換し(ステップS131)、そのテキスト情報を応答情報として文書提示装置20に供給する(ステップS132)。文書提示装置20の送受信部21は、この応答情報を受け取る。そして、文書提示装置20のUIハンドル部24は、この応答情報を解析する(ステップS133)。
このステップS128〜S133の動作を1または複数回繰り返すことにより、文書提示システム1は、検索候補CDを絞り込む。これにより、文書提示装置20は、検索候補CDである複数のデータ情報DTから、ユーザUが望む画像データDPを含むデータ情報DTを特定する。
次に、文書提示装置20の指示部30は、ステップS123において抽出されたアクション情報ACに基づいて、指示を決定する(ステップS134)。
例えば、アクション情報ACが、印刷処理の指示である場合には、文書提示装置20の指示部30は、特定されたデータ情報DTの画像データDPを画像処理装置12に供給するとともに印刷指示を行う(ステップS135)。画像処理装置12は、この画像データDPおよび印刷指示を受け取る。そして、画像処理装置12は、この画像データDPおよび印刷指示に基づいて印刷処理を行う(ステップS136)。
また、例えば、アクション情報ACが、電子メール送信処理の指示である場合には、文書提示装置20の指示部30は、特定されたデータ情報DTの画像データDPを画像処理装置12に供給するとともに電子メール送信指示を行う。画像処理装置12は、この画像データDPおよび電子メール送信指示を受け取る。そして、画像処理装置12は、この画像データDPおよび電子メール送信指示に基づいて、画像データDPを、設定された電子メールアドレスに送信する。
以上で、このシーケンスは終了する。
ここで、分散値Rdevは、本発明における「第1のばらつき度合い」および「第2のばらつき度合い」の一具体例に対応する。関連度Rは、本発明における「第1の関連度合い」および「第2の関連度合い」の一具体例に対応する。合計値Rtotalは、本発明における「第3の関連度合い」および「第4の関連度合い」の一具体例に対応する。
(検索候補CDの絞り込みについて)
文書提示システム1は、図9Bに示したステップS128〜S133において、ユーザUに対して問い合わせを行うことにより、検索候補CDの絞り込みを行う。以下に、この動作について詳細に説明する。
図15は、検索候補CDの絞り込みを行う場合における文書提示システム1の一動作例を表すものである。文書提示装置20の対話部29は、候補順OD1に対応する候補順変数Pおよび項目順OD2に対応する項目順変数Qを用いて、問い合わせ文情報INFIを順次生成することにより、ユーザUに対して問い合わせを行う。以下に、この動作について詳細に説明する。
まず、文書提示装置20の対話部29は、候補順変数Pおよび項目順変数Qを初期化(P=1,Q=1)する(ステップS141)。
次に、文書提示システム1は、候補順変数Pおよび項目順変数Qに基づいて、ユーザUに対して問い合わせを行う(ステップS142)。具体的には、文書提示装置20の対話部29は、検索候補CDに係る複数のデータ情報DTのうち、候補順OD1が候補順変数Pと一致するデータ情報DTを選択する。そして、対話部29は、複数の項目Bのうち、項目順OD2が項目順変数Qと一致する項目Bを選択する。そして、対話部29は、候補順OD1が候補順変数Pと一致するデータ情報DTに含まれる、項目順OD2が項目順変数Qと一致する項目Bについての情報と、そのデータ情報DTについての、要約生成部28が生成した要約に基づいて、問い合わせ文情報INFIを生成する。文書提示装置20は、このようにして生成した問い合わせ文情報INFIをスマートスピーカ13に供給する。そして、スマートスピーカ13は、この問い合わせ文情報INFIに基づいて、ユーザUに対して問い合わせを行う。
図16は、問い合わせ文情報INFIの一例を表すものである。例えば、候補順変数Pが“1”であり、項目順変数Qが“1”である場合には、対話部29は、この例では“18日に印刷した、P社業務効率化についての文書ですか?”という内容の問い合わせ文情報INFIを生成する。すなわち、候補順変数Pが“1”であり、項目順変数Qが“1”である場合には、図17Aに示したように、候補順OD1が“1”であるデータ情報DTが選択されるとともに、項目順OD2が“1”である項目B(“日時・場所情報”)が選択される。このデータ情報DTにおける“日時・場所情報”についての情報は、“2/18 14:00 本社4F”を含んでいる。また、このデータ情報DTの要約は、“P社業務効率化”である。対話部29は、この選択結果に基づいて、問い合わせ文情報INFIを生成する。
また、例えば、候補順変数Pが“1”であり、項目順変数Qが“2”である場合には、対話部29は、この例では“結論がRPA導入である、P社業務効率化についての文書ですか?”という内容の問い合わせ文情報INFIを生成する。すなわち、候補順変数Pが“1”であり、項目順変数Qが“2”である場合には、図17Bに示したように、候補順OD1が“1”であるデータ情報DTが選択されるとともに、項目順OD2が“2”である項目B(“抽出情報”)が選択される。対話部29は、この選択結果に基づいて、問い合わせ文情報INFIを生成する。
また、例えば、候補順変数Pが“1”であり、項目順変数Qが“3”である場合には、対話部29は、この例では“元ファイル名がP社業務効率化.pptである、P社業務効率化についての文書ですか?”という内容の問い合わせ文情報INFIを生成する。すなわち、候補順変数Pが“1”であり、項目順変数Qが“3”である場合には、図17Cに示したように、候補順OD1が“1”であるデータ情報DTが選択されるとともに、項目順OD2が“3”である項目B(“元ファイル名情報”)が選択される。対話部29は、この選択結果に基づいて、問い合わせ文情報INFIを生成する。
以上では、候補順変数Pが“1”である場合について具体的に説明したが、候補順変数Pが“2”や“3”である場合についても同様である。
文書提示システム1は、このような問い合わせ文情報INFIを生成し、ユーザUに対して問い合わせを行う。ユーザUがその問い合わせに対して応答すると、スマートスピーカ13は、その応答に応じた応答情報を生成し、生成した応答情報を文書提示装置20に供給する。そして、文書提示装置20のUIハンドル部24は、この応答情報を解析する。
ユーザUの応答が“わからない”旨の応答である場合(ステップS143において「わからない」)には、対話部29は、項目順変数Qをインクリメント(Q=Q+1)する(ステップS144)。そして、対話部29は、項目順変数Qの値が“N2”よりも大きい(Q>N2)かどうかを確認する(ステップS145)。項目順変数Qの値が“N2”以下である場合(ステップS145において“N”)には、ステップS142に戻る。項目順変数Qの値が“N2”より大きい場合(ステップS145において“Y”)には、このフローは終了する。
ユーザUの応答が“いいえ”である旨の応答である場合(ステップS143において「いいえ」)には、対話部29は、候補順変数Pをインクリメント(P=P+1)し(ステップS146)、項目順変数Qを初期化(Q=1)する(ステップS147)。そして、対話部29は、候補順変数Pの値が“N1”よりも大きい(P>N1)かどうかを確認する(ステップS148)。候補順変数Pの値が“N1”以下である場合(ステップS148において“N”)には、ステップS142に戻る。候補順変数Pの値が“N1”より大きい場合(ステップS148において“Y”)には、このフローは終了する。
ユーザUの応答が“はい”である旨の応答である場合(ステップS143において「はい」)には、対話部29は、現在選択している、候補順OD1が候補順変数Pと一致するデータ情報DTが、ユーザUが望む画像データDPを含むデータ情報DTであると判断し、このデータ情報DTを検索結果とする(ステップS149)。
以上で、このフローは終了する。
ここで、“わからない”旨の応答は、本発明における「第1の指示」の一具体例に対応する。“いいえ”である旨の応答は、本発明における「第2の指示」の一具体例に対応する。“はい”である旨の応答は、本発明における「第3の指示」の一具体例に対応する。
図18は、文書提示システム1における、ユーザUとスマートスピーカ13との間の対話の一例を表すものである。この例では、まず、ユーザUが、先週印刷したP社の資料を印刷してほしい旨の指示を行う(対話101)。この例では、検索キーワードKWは、“先週”および“P社”であり、アクション情報ACは、印刷処理の指示である。
次に、スマートスピーカ13は、ユーザUが望む文書が、“18日に印刷したP社業務効率化についての文書”であるかどうかを、ユーザUに問い合わせる(対話102)。すなわち、スマートスピーカ13は、図16に示した、候補順変数Pが“1”であり、項目順変数Qが“1”であるときの問い合わせ文情報INFIに基づいて、ユーザUに問い合わせを行う。
次に、ユーザUは、“わからない”旨の応答を行う(対話103)。
これに応じて、スマートスピーカ13は、ユーザUが望む文書が、“結論がRPA導入であるP社業務効率化についての文書”であるかどうかを、ユーザUに問い合わせる(対話104)。すなわち、対話103において、ユーザUは“わからない”旨の応答を行ったので(ステップS143において「わからない」)、項目順変数Qがインクリメントされる。よって、スマートスピーカ13は、図16に示した、候補順変数Pが“1”であり、項目順変数Qが“2”であるときの問い合わせ文情報INFIに基づいて、ユーザUに問い合わせを行う。
次に、ユーザUは、“いいえ”である旨の応答を行う(対話105)。
これに応じて、スマートスピーカ13は、ユーザUが望む文書が、“21日に印刷したP社説明資料についての文書”であるかどうかを、ユーザUに問い合わせる(対話106)。すなわち、対話105において、ユーザUは“いいえ”である旨の応答を行ったので(ステップS143において「いいえ」)、候補順変数Pがインクリメントされるとともに、項目順変数Qが初期化される。よって、スマートスピーカ13は、図16に示した、候補順変数Pが“2”であり、項目順変数Qが“1”であるときの問い合わせ文情報INFIに基づいて、ユーザUに問い合わせを行う。
次に、ユーザUは、“はい”である旨の応答を行う(対話107)。
これに応じて、スマートスピーカ13は、文書を印刷する旨の通知を行う(対話108)。すなわち、対話107において、ユーザUは“はい”である旨の応答を行ったので(ステップS143において「はい」)、文書提示装置20は、ユーザUが望む文書を特定した。また、対話101により、アクション情報ACは、印刷処理の指示である。よって、スマートスピーカ13は、特定された文書を印刷する旨を通知する。
この後、文書提示装置20は、特定されたデータ情報DTに含まれる画像データDPを画像処理装置12に供給するとともに印刷指示を行い、画像処理装置12は、この画像データDP1に基づいて印刷処理を行う。このようにして、文書提示システム1は、ユーザUが望む文書をユーザUに提示する。
以上のように、文書提示システム1では、ユーザUに対して問い合わせを行うことにより、検索候補CDを絞り、ユーザUが望む画像データDPを含むデータ情報DTを特定するようにしたので、例えば対話形式のユーザインタフェースを用いた場合でも、ユーザが望む文書を適切に特定することができる。すなわち、例えば、ユーザが望む文書を得る方法の1つに、ユーザが多くの情報を閲覧しやすい表示装置を用い、表示装置が検索候補CDのリストを提示し、ユーザが、その検索候補CDのリストからユーザが望む文書を選択する方法がある。しかしながら、例えば音声などを用いた対話形式のユーザインタフェースは、このような表示装置とは異なり、情報の閲覧性が乏しいので、ユーザに対して、検索候補CDのリストを提示することが難しい。そこで、文書提示システム1では、ユーザUに対して問い合わせを行うことにより、検索候補CDを絞り、ユーザUが望む文書を特定するようにした。これにより、例えば対話形式のユーザインタフェースを用いた場合でも、ユーザが望む文書を適切に特定することができる。
また、文書提示システム1では、複数の項目Aのそれぞれについて、複数のデータ情報DTについての複数の関連度Rの分散値(分散値Rdev)を求めるようにした。そして、複数の項目Aについて、分散値Rdevが大きいものから順に、項目順OD2を設定するようにした。これにより、文書提示システム1は、この項目順OD2で、ユーザUに対して問い合わせを行うので、ユーザが望む文書を適切に特定することができる。すなわち、複数の項目Aのうちのある項目Aにおける分散値Rdevが大きいことは、その項目Aについての情報の、データ情報DT間の差異が大きいことを意味しているので、ユーザUは、その項目Aについての情報に基づいて、データ情報DTに係る文書を区別しやすい。よって、文書提示システム1では、分散値Rdevが大きいものから順に、項目順OD2を設定することにより、ユーザが望む文書を適切に特定することができる。
また、文書提示システム1では、複数のデータ情報DTのそれぞれについて、複数の項目Aについての複数の関連度Rの合計値(合計値Rtotal)を求めるようにした。そして、複数のデータ情報DTについて、合計値Rtotalが大きいものから順に、候補順OD1を設定するようにした。これにより、文書提示システム1では、この候補順OD1で、ユーザUに対して問い合わせを行うので、ユーザが望む文書を適切に特定することができる。なわち、複数のデータ情報DTのうちのあるデータ情報DTにおける合計値Rtotalが大きいことは、そのデータ情報DTに係る文書と検索キーワードKWとの関連性が強いことを意味している。よって、文書提示システム1では、合計値Rtotalが大きいものから順に、候補順OD1を設定することにより、ユーザが望む文書を適切に特定することができる。
[効果]
以上のように本実施の形態では、ユーザに対して問い合わせを行うことにより、検索候補を絞り、ユーザが望む画像データを含むデータ情報を特定するようにしたので、例えば対話形式のユーザインタフェースを用いた場合でも、ユーザが望む文書を適切に特定することができる。
[変形例1−1]
上記実施の形態では、スマートスピーカ13が音声によりユーザUと対話を行うようにしたが、これに限定されるものではない。これに代えて、例えば、図19に示す文書提示システム1Aのように、スマートフォンがチャットによりユーザUと対話を行うようにしてもよい。この文書提示システム1Aは、スマートフォン13Aを備えている。スマートフォン13Aは、ユーザUとチャットを用いて対話するユーザインタフェースを有するものである。スマートフォン13Aは、例えばLTE(Long Term Evolution)や無線LANなどを用いた無線通信によりインターネットINETに接続される。スマートフォン13Aは、ユーザUがチャット形式で入力したテキスト情報を文書提示装置20に供給する。また、スマートフォン13Aは、文書提示装置20から供給された問い合わせ文情報INFIをチャット形式で表示することにより、ユーザUに情報を提示するようになっている。このように、音声の代わりに、チャットを用いて、対話形式のインタフェースを実現した場合でも、上記実施の形態の場合と同様の効果を得ることができる。
[変形例1−2]
上記実施の形態では、項目決定部27は、複数の項目Aのそれぞれについて、複数のデータ情報DTについての複数の関連度Rの分散値(分散値Rdev)を求めるようにしたが、これに限定されるものではない。これに代えて、標準偏差など、関連度Rのばらつき度合いを示す様々な値を用いてもよい。この場合、項目決定部27は、複数の項目Aについて、ばらつき度合いが大きいものから順に、項目順OD2を設定することができる。
<2.第2の実施の形態>
次に、第2の実施の形態に係る文書提示システム2について説明する。本実施の形態は、ユーザUの周囲に他の人がいる場合に、音声による問い合わせに代えて、スマートフォンの表示画面に検索候補CDのリストを表示させることができるものである。なお、上記第1の実施の形態に係る文書提示システム1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
図20は、文書提示システム2の一構成例を表すものである。文書提示システム2は、情報処理装置11と、画像処理装置12と、スマートスピーカ33と、スマートフォン34と、文書提示装置40と、クラウドサーバ14と、情報配信サーバ15とを備えている。スマートスピーカ33は、LANであるネットワーク9に接続され、このネットワーク9を介してインターネットINETに接続される。スマートフォン34は、例えばLTEや無線LANなどを用いた無線通信によりインターネットINETに接続される。また、文書提示装置40は、インターネットINETに接続される。
スマートスピーカ33は、上記第1の実施の形態に係るスマートスピーカ13と同様に、ユーザUと音声で対話するユーザインタフェースを有するものである。また、スマートスピーカ33は、例えば声紋を解析することにより、スマートスピーカ33の周囲にいる、ユーザUを含めた人の数を求める機能をも有している。そして、スマートスピーカ33は、このようにして求めたスマートスピーカ33の周囲にいる人の人数について情報(人数情報INFP)を、文書提示装置40に供給するようになっている。
スマートフォン34は、検索候補CDのリストを表示するものである。そして、スマートフォン34は、ユーザに、その検索候補CDのリストからユーザUが望む文書を選択させ、その選択結果についての情報を文書提示装置40に供給するようになっている。
文書提示装置40は、情報処理装置11および画像処理装置12から供給されたデータ情報DT(データ情報DT1,DT2)を蓄積するとともに、スマートスピーカ33から供給された検索処理の指示に基づいて、蓄積されたデータ情報DTに対する検索処理を行い、検索結果に係る画像データDP(画像データDP1,DP2)についての印刷指示または電子メール送信指示を行うことにより、文書をユーザUに提示するものである。また、文書提示装置40は、データ情報DTに基づいて、そのデータ情報DTに係る文書が秘密にされるべき情報を含むかどうか示す秘密度Sを求める機能を有している。そして、文書提示装置40は、スマートスピーカ33から供給された人数情報INFP、および秘密度Sに基づいて、スマートスピーカ33を用いてユーザUと対話を行う代わりに、スマートフォン34を用いてユーザUに検索候補CDのリストを提示することができるようになっている。
図21は、文書提示装置40の一構成例を表すものである。文書提示装置40は、送受信部41と、秘密度算出部44と、リスト情報処理部48と、対話部49と、指示部50とを有している。
送受信部41は、インターネットINETを介して、情報処理装置11、画像処理装置12、スマートスピーカ33、およびスマートフォン34との間で情報のやり取りを行うものである。
秘密度算出部44は、データベース22Aに蓄積された複数のデータ情報DTのそれぞれについて、抽出情報解析部23が生成した抽出情報W20に基づいて、そのデータ情報DTに係る文書が秘密にされるべき情報を含むかどうか示す秘密度Sを評価し、その評価結果に基づいてデータ情報DTを更新するものである。
図22は、秘密度算出部44により更新された後のデータ情報DT1の一具体例を表すものである。秘密度算出部44は、抽出情報解析部23が生成した抽出情報W20に基づいて、例えば人工知能技術を用いて、このデータ情報DT1に係る文書が秘密にされるべき情報を含むかどうか示す秘密度Sを評価する。この例では、文書が秘密にされるべき情報を含む場合に、秘密度Sを“1”にし、文書が秘密にされるべき情報を含まない場合に、秘密度Sを“0”にする。そして、秘密度算出部44は、図22に示したように、評価した秘密度Sについての情報を文書情報INFDに加えることにより、データ情報DT1を更新するようになっている。
リスト情報処理部48は、対話部49からの指示に基づいて、検索候補CDのリストを示すリスト情報INFLを生成するものである。また、リスト情報処理部48は、スマートフォン34から供給された、検索候補CDのリストが提示されたユーザUの操作に応じた情報に基づいて、ユーザUが望む画像データDPを含むデータ情報DTを特定する機能をも有している。
対話部49は、スマートスピーカ13から供給された人数情報INFPを保持するとともに、この人数情報INFPに基づいて、スマートスピーカ33の周囲にユーザU以外の人がいるかどうかを確認する。また、対話部49は、検索候補CDが、秘密度Sが“1”であるデータ情報DTを含むかどうかを確認する。そして、対話部49は、スマートスピーカ33の周囲にユーザU以外の人がいない場合や、スマートスピーカ33の周囲にユーザU以外の人がいるが、検索候補CDが、秘密度Sが“1”であるデータ情報DTを含まない場合に、上記第1の実施の形態に係る対話部29と同様に、問い合わせ文情報INFIを生成する。また、対話部49は、スマートスピーカ33の周囲にユーザU以外の人がおり、かつ、検索候補CDが、秘密度Sが“1”であるデータ情報DTを含む場合には、リスト情報処理部48に対して、リスト情報INFLを生成すべき旨の指示を行うようになっている。
指示部50は、対話部49およびリスト情報処理部48からの指示に基づいて、画像処理装置12に対して、特定されたデータ情報DTの画像データDPについての印刷指示または電子メール送信指示を行うものである。
ここで、文書提示システム2は、本発明における「情報提示システム」の一具体例に対応する。文書提示装置40は、本発明における「情報提示装置」の一具体例に対応する。スマートフォン34は、本発明における「第2のユーザインタフェース装置」の一具体例に対応する。
(動作OP1)
図23は、ユーザUが情報処理装置11を操作することにより印刷処理の指示を行う場合における、文書提示システム2の一動作例を表すものである。
ユーザUが情報処理装置11を操作することにより印刷処理の指示を行うと、情報処理装置11は、ユーザが作成した文書のファイルに基づいて、例えばPDLにより記述された画像データDP1を生成し(ステップS101)、データ情報DT1を生成し(ステップS102)、このデータ情報DT1を、ネットワーク9およびインターネットINETを介して文書提示装置40に供給する(ステップS103)。そして、文書提示装置40のデータ情報記憶部22は、データ情報DT1をデータベース22Aに登録する(ステップS104)。
次に、文書提示装置40の抽出情報解析部23は、このデータ情報DT1に含まれる文書情報INFDの“抽出情報”を解析し、解析結果に基づいてデータ情報DT1を更新する(ステップS105)。
次に、文書提示装置40の秘密度算出部44は、ステップS105において抽出情報解析部23が生成した抽出情報W20に基づいて、そのデータ情報DT1に係る文書が秘密にされるべき情報を含むかどうか示す秘密度Sを評価し、その評価結果に基づいてデータ情報DT1を更新する(ステップS205)。
次に、文書提示装置40の関連度算出部25は、更新されたデータ情報DT1に基づいて学習処理を行う(ステップS106)。
次に、文書提示装置40の指示部50は、このデータ情報DT1に含まれる画像データDP1を画像処理装置12に供給するとともに印刷指示を行う(ステップS107)。そして、画像処理装置12は、この画像データDP1および印刷指示に基づいて印刷処理を行う(ステップS108)。
以上で、このシーケンスは終了する。
(動作OP2)
図24は、ユーザUが画像処理装置12を操作することによりScan to E-mail処理の指示を行う場合における、文書提示システム2の一動作例を表すものである。
ユーザUが画像処理装置12を操作することによりScan to E-mail処理の指示を行うと、画像処理装置12は、スキャン処理を行うことにより、原稿媒体に形成された画像に基づいてスキャン画像データである画像データDP2を生成し(ステップS111)、画像データDP2に基づいて、テキスト情報W1および画像情報W2を生成し(ステップS112)、データ情報DT2を生成し(ステップS113)、このデータ情報DT2を、ネットワーク9およびインターネットINETを介して文書提示装置40に供給する(ステップS114)。そして、文書提示装置40のデータ情報記憶部22は、データ情報DT2をデータベース22Aに登録する(ステップS115)。
次に、文書提示装置40の抽出情報解析部23は、このデータ情報DT2に含まれる文書情報INFDの“抽出情報”を解析し、解析結果に基づいてデータ情報DT2を更新する(ステップS116)。
次に、文書提示装置40の秘密度算出部44は、ステップS105において抽出情報解析部23が生成した抽出情報W20に基づいて、そのデータ情報DT2に係る文書が秘密にされるべき情報を含むかどうか示す秘密度Sを評価し、その評価結果に基づいてデータ情報DT2を更新する(ステップS216)。
次に、文書提示装置20の関連度算出部25は、更新されたデータ情報DT2に基づいて学習処理を行う(ステップS117)。
また、画像処理装置12は、スキャン画像データである画像データDP2を、設定された電子メールアドレスに送信する(ステップS118)。この例では、画像処理装置12は、画像データDP2を情報処理装置11に送信している。
以上で、このシーケンスは終了する。
(動作OP3)
図25A,25Bは、文書提示装置40に蓄積された画像データDPに基づいて、ユーザUが文書提示装置40に対して印刷処理の指示や電子メール送信処理の指示を行う場合の動作の一例を表すものである。
ユーザUが、スマートスピーカ13と対話して、文書提示装置40に対して、検索処理の指示を行うと、スマートスピーカ13は、ユーザUが発した音声をテキスト情報に変換し(ステップS121)、そのテキスト情報を検索指示情報として文書提示装置40に供給する(ステップS122)。
次に、文書提示装置40のUIハンドル部24は、この検索指示情報から、検索キーワードKWおよびアクション情報ACを抽出する(ステップS123)。
次に、文書提示装置40の関連度算出部25は、学習データベース25Aを利用して、検索キーワードKWと、データベース22Aに蓄積されたデータ情報DTに含まれる複数の項目Aについての情報との関連度Rをそれぞれ算出する(ステップS124)。
次に、文書提示装置40の検索候補決定部26は、関連度算出部25が算出した関連度Rに基づいて、データベース22Aに含まれる複数のデータ情報DTから、ユーザUに対して問い合わせを行うべき複数のデータ情報DT(検索候補CD)を決定する(ステップS125)。
次に、文書提示装置40の項目決定部27は、関連度算出部25が算出した関連度Rに基づいて、複数の項目Aから、ユーザUに対して問い合わせを行うべき複数の項目Bを決定する(ステップS126)。
次に、文書提示装置40の要約生成部28は、検索候補CDに係る複数のデータ情報DTのそれぞれの画像データDPに基づいて、画像データDPが示す文書の要約を生成する(ステップS127)。
次に、文書提示装置40の対話部49は、スマートスピーカ33から供給された人数情報INFPに基づいて、スマートスピーカ33の周囲にユーザU以外の人がいるかどうかを確認する(ステップS226)。
次に、文書提示装置40の対話部49は、ステップS125において検索候補決定部26が決定した検索候補CDが、秘密度Sが“1”であるデータ情報DTを含むかどうかを確認する(ステップS227)。
図26は、各データ情報DTについて評価された秘密度Sの一例を表すものである。この例では、検索候補CDは、図26の部分Z4に示したように、秘密度Sが“1”であるデータ情報DTを含んでいる。
ステップS226において、スマートスピーカ33の周囲にユーザU以外の人がいない場合や、ステップS226,S227において、スマートスピーカ33の周囲にユーザU以外の人がいるが、検索候補CDが、秘密度Sが“1”であるデータ情報DTを含まない場合には、文書提示システム2は、上記第1の実施の形態に係る文書提示システム1の場合(図9B)と同様に、ユーザUに対してスマートスピーカ33を用いて問い合わせを行うことにより、検索候補CDを絞り込む(図9BのステップS128〜S133)。
一方、ステップS226,S227において、スマートスピーカ33の周囲にユーザU以外の人がおり、かつ、検索候補CDが、秘密度Sが“1”であるデータ情報DTを含む場合には、文書提示装置40のリスト情報処理部48は、検索候補CDのリストを示すリスト情報INFLを生成する(ステップS228)。
次に、文書提示装置40の送受信部41は、このリスト情報INFLをスマートフォン34に供給する(ステップS229)。スマートフォン34は、このリスト情報INFLを受け取る。
次に、スマートフォン34は、このリスト情報INFLに基づいて、検索候補CDのリストを表示する(ステップS230)。
図27は、スマートフォン34に表示される表示画像の一例を表すものである。この表示画像は、リスト表示フィールド191と、“OK”ボタン193とを含んでいる。リスト表示フィールド191は、検索候補CDのリストを含む。この例では、リスト表示フィールド191は、検索候補CDに係る、“文書名”、“印刷日時”、および“枚数”についての情報を含んでいる。“文書名”は、文書情報INFDに含まれる“元ファイル名情報”に対応し、“印刷日時”は、文書情報INFDに含まれる“日時・場所情報”のうちの日時についての情報に対応する。また、“枚数”は、画像データDPの枚数に対応する。リスト表示フィールド191は、ラジオボタン192を含んでいる。ユーザUは、このラジオボタン192を操作することにより、検索候補CDのうちの1つを選択することができる。そして、ユーザが“OK”ボタン193を操作することにより、スマートフォン34は、ユーザUがラジオボタン192により選択した結果についての情報(選択情報)を生成する。
次に、スマートフォン34は、この選択情報を文書提示装置40に供給する(ステップS232)。文書提示装置40の送受信部41は、この選択情報を受け取る。そして、文書提示装置40のリスト情報処理部48は、この選択情報を解析する(ステップS233)。これにより、リスト情報処理部48は、ユーザUが望む画像データDPを含むデータ情報DTを特定する。
次に、文書提示装置40の指示部50は、ステップS123において抽出されたアクション情報ACに基づいて、指示を決定する(ステップS234)。
例えば、アクション情報ACが、印刷処理の指示である場合には、文書提示装置40の指示部50は、特定されたデータ情報DTの画像データDPを画像処理装置12に供給するとともに印刷指示を行う(ステップS235)。画像処理装置12は、この画像データDPおよび印刷指示を受け取る。そして、画像処理装置12は、この画像データDPおよび印刷指示に基づいて印刷処理を行う(ステップS236)。
また、例えば、アクション情報ACが、電子メール送信処理の指示である場合には、文書提示装置40の指示部50は、特定されたデータ情報DTの画像データDPを画像処理装置12に供給するとともに電子メール送信指示を行う。画像処理装置12は、この画像データDPおよび電子メール送信指示を受け取る。そして、画像処理装置12は、この画像データDPおよび電子メール送信指示に基づいて、画像データDPを、設定された電子メールアドレスに送信する。
以上で、このシーケンスは終了する。
(ユーザインタフェースの選択について)
文書提示システム2は、図25Aに示したように、ステップS226において、スマートスピーカ33から供給された人数情報INFPに基づいて、スマートスピーカ33の周囲にユーザU以外の人がいるかどうかを確認し、ステップS227において、検索候補CDが、秘密度Sが“1”であるデータ情報DTを含むかどうかを確認する。そして、文書提示システム2は、これらの確認結果に基づいて、スマートスピーカ33およびスマートフォン34のうちの一方を選択する。以下に、この動作について、詳細に説明する。
図28は、ユーザインタフェースの選択動作の一例を表すものである。
まず、文書提示装置40の対話部49は、人数情報INFPに基づいて、スマートスピーカ33の周囲にユーザU以外の人がいるかどうかを確認する(ステップS241)。ユーザU以外に人がいない場合(ステップS241において“N”)には、ステップS243に進む。
ステップS241において、ユーザU以外の人がいる場合(ステップS241において“Y”)には、文書提示装置40の対話部49は、検索候補CDが、秘密度Sが“1”であるデータ情報DTを含むかどうかを確認する(ステップS242)。検索候補CDが、秘密度Sが“1”であるデータ情報DTを含まない場合(ステップS242において“N”)には、ステップS243に進む。検索候補CDが、秘密度Sが“1”であるデータ情報DTを含む場合(ステップS242において“Y”)には、ステップS244に進む。
スマートスピーカ33の周囲にユーザU以外の人がいない場合(ステップS241において“N”)や、スマートスピーカ33の周囲にユーザU以外の人がいるが、検索候補CDが、秘密度Sが“1”であるデータ情報DTを含まない場合(ステップS242において“N”)には、文書提示装置40の対話部49は、第1の実施の形態の場合(図15)と同様に、スマートスピーカ33を用いてユーザUに対して問い合わせを行うことにより、ユーザUが望む画像データDPを含むデータ情報DTを特定する。そして、このフローは終了する。
スマートスピーカ33の周囲にユーザU以外の人がおり(ステップS241において“Y”)、かつ、検索候補CDが、秘密度Sが“1”であるデータ情報DTを含む場合(ステップS242において“Y”)には、文書提示装置40のリスト情報処理部48は、リスト情報INFLを生成する(ステップS244)。そして、文書提示装置40の送受信部41は、このリスト情報INFLをスマートフォン34に供給する(ステップS245)。
スマートフォン34は、このリスト情報INFLに基づいて、検索候補CDのリストをユーザUに提示し、ユーザUは、検索候補CDのうちの1つを選択する。そして、スマートフォン34は、この選択情報を文書提示装置40に供給する。
次に、文書提示装置40の送受信部41は、スマートフォン34から供給された選択情報を受け取る(ステップS246)。そして、文書提示装置40のリスト情報処理部48は、この選択情報を解析することにより、ユーザUが望む画像データDPを含むデータ情報DTを特定する(ステップS247)。
以上で、このフローは終了する。
図29は、文書提示システム2における、ユーザUとスマートスピーカ33との間の対話の一例を表すものである。この例では、まず、ユーザUが、先週印刷したP社の資料を印刷してほしい旨の指示を行う(対話201)。この例では、検索キーワードKWは、“先週”および“P社”であり、アクション情報ACは、印刷処理の指示である。
この例では、スマートスピーカ33の周囲にユーザU以外の人がいる。また、図26に示したように、検索候補CDが、秘密度Sが“1”であるデータ情報DTを含む。よって、スマートスピーカ33は、“秘密度が高い候補が見つかった”旨を通知するとともに、スマートフォン34を用いて検索候補CDを確認するかどうかを問い合わせる(対話202)。
次に、ユーザUは、“はい”である旨の応答を行う(対話203)。
これに応じて、スマートフォン34は、文書提示装置40から供給されたリスト情報INFLに基づいて、図27に示したように、ユーザUに対して検索候補CDのリストを提示する(表示204)。ユーザUは、検索候補CDのうちの1つを選択する。これにより、文書提示装置40は、ユーザUが望む文書を特定する。
次に、スマートスピーカ33は、選択された文書を印刷するかどうかを問い合わせる(対話205)。ユーザUは、“はい”である旨の応答を行う(対話206)。これに応じて、スマートスピーカ33は、文書を印刷する旨の通知を行う(対話207)。
この後、文書提示装置40は、特定されたデータ情報DTに含まれる画像データDPを画像処理装置12に供給するとともに印刷指示を行い、画像処理装置12は、この画像データDP1に基づいて印刷処理を行う。このようにして、文書提示システム2は、ユーザUが望む文書をユーザUに提示する。
以上のように、文書提示システム2では、人数情報INFPおよび秘密度Sに基づいて、ユーザインタフェースを選択するようにした。具体的には、例えば、スマートスピーカ33の周囲にユーザU以外の人がおり、かつ、検索候補CDが、秘密度Sが“1”であるデータ情報DTを含む場合には、スマートフォン34が検索候補CDのリストをユーザUに提示するようにした。これにより、例えば、ユーザU以外の人に、秘密にすべき情報が漏れるおそれを低減することができるので、セキュリティを高めることができる。
以上のように本実施の形態では、人数情報および秘密度に基づいて、ユーザインタフェースを選択するようにしたので、ユーザU以外の人に、秘密にすべき情報が漏れるおそれを低減することができるので、セキュリティを高めることができる。
[変形例2−1]
上記実施の形態では、検索候補CDのリストを表示する際に、スマートフォン34を用いたが、これに限定されるものではなく、これに加えて、例えば、認証処理においてユーザUがパスワードを入力する際に、このスマートフォン34を用いてもよい。
[変形例2−2]
上記実施の形態では、スマートフォン34が検索候補CDのリストを表示したが、これに限定されるものではない。これに代えて、例えば、タブレット端末の携帯端末が検索候補CDのリストを表示してもよい。また、例えば、画像処理装置12が、情報閲覧性が高い表示操作部を有する場合には、この表示操作部が、検索候補CDのリストを表示してもよい。これにより、ユーザUは、この表示操作部を操作することにより、ユーザUが望む文書を選択することができる。
以上、いくつかの実施の形態および変形例、ならびにそれらの具体的な応用例および電子機器への適用例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
例えば、上記の各実施の形態等では、多機能周辺装置を用いて画像処理装置12を構成したが、これに限定されるものではなく、例えば、単機能のプリンタを用いて画像処理装置12を構成してもよい。
例えば、上記の各実施の形態等におけるデータ情報DTの構成(図3,6,12)や、関連度Rを算出する対象となる項目A(図10)対話文(図18,29)などは、一例であり、適宜変更してもよい。
1,1A,2…文書提示システム、9…ネットワーク、11…情報処理装置、12…画像処理装置、13,33…スマートスピーカ、13A…スマートフォン、14…クラウドサーバ、15…情報配信サーバ、20,40…文書提示装置、21,41…送受信部、22…データ情報記憶部、22A…データベース、23…抽出情報解析部、24…UIハンドル部、25…関連度算出部、25A…学習データベース、26…検索候補決定部、27…項目決定部、28…要約生成部、29,49…対話部、30,50…指示部、34…スマートフォン、44…秘密度算出部、48…リスト情報処理部、A,B…項目、CD…検索候補、AC…アクション情報、DP,DP1,DP2…画像データ、DT,DT1,DT2…データ情報、INET…インターネット、INFD…文書情報、INFG…一般情報、INFI…問い合わせ文情報、INFL…リスト情報、INFP…人数情報、INFU…ユーザ情報、KW…検索キーワード、OD1…候補順、OD2…項目順、P…候補順変数、Q…項目順変数、R…関連度、Rdev…分散値、Rtotal…合計値、S…秘密度、W20…抽出情報、W21…タイトル情報、W22…結論情報、W23…単語情報、W24…画像解析情報。

Claims (19)

  1. 第1のユーザインタフェース装置が、検索キーワードを受け付けることと、
    情報提示装置が、データベースから、前記検索キーワードに該当する複数の検索候補を取得することと、
    前記情報提示装置が、前記複数の検索候補のそれぞれに対応づけられた、第1の項目の付加情報および第2の項目の付加情報を含む複数の付加情報に基づいて、問い合わせるべき項目の順番を決定する項目順決定処理を行うことと、
    前記第1のユーザインタフェース装置が、前記項目順決定処理の結果に基づいて、前記複数の検索候補のうちの第1の検索候補に対応づけられた前記第1の項目の前記付加情報についての第1の問い合わせ処理を行うことと、
    前記情報提示装置が、前記複数の検索候補のうちのいずれかについての情報を提示する提示処理を行うことと
    を含む情報提示方法。
  2. 前記第1のユーザインタフェース装置が、前記第1の問い合わせ処理を行った後に第1の指示を受け付けることと、
    前記第1のユーザインタフェース装置が、前記第1の指示を受け付けた後に、前記項目順決定処理の結果に基づいて、前記第1の検索候補に対応づけられた前記第2の項目の前記付加情報についての第2の問い合わせ処理を行うことと
    をさらに含む
    請求項1に記載の情報提示方法。
  3. 前記項目順決定処理は、
    前記情報提示装置が、前記複数の検索候補にそれぞれ対応づけられた前記第1の項目についての複数の付加情報に基づいて、第1のばらつき度合いを求めることと、
    前記情報提示装置が、前記複数の検索候補にそれぞれ対応づけられた前記第2の項目についての複数の付加情報に基づいて、第2のばらつき度合いを求めることと、
    前記情報提示装置が、前記第1のばらつき度合いと前記第2のばらつき度合いとを比較することと
    を含み、
    前記第1のばらつき度合いは、前記第2のばらつき度合いよりも大きい
    請求項2に記載の情報提示方法。
  4. 前記項目順決定処理は、
    前記情報提示装置が、前記検索キーワードと、前記複数の検索候補にそれぞれ対応づけられた前記第1の項目についての前記複数の付加情報との複数の第1の関連度合いをそれぞれ求めることと、
    前記情報提示装置が、前記検索キーワードと、前記複数の検索候補にそれぞれ対応づけられた前記第2の項目についての前記複数の付加情報との複数の第2の関連度合いをそれぞれ求めることと
    をさらに含み、
    前記情報提示装置は、前記複数の第1の関連度合いに基づいて前記第1のばらつき度合いを求めるとともに、前記複数の第2の関連度合いに基づいて前記第2のばらつき度合いを求める
    請求項3に記載の情報提示方法。
  5. 前記情報提示装置が、前記複数の検索候補のそれぞれに対応づけられた前記複数の付加情報に基づいて、問い合わせるべき検索候補の順番を決定する候補順決定処理を行うことと、
    前記第1のユーザインタフェース装置が、前記第2の問い合わせ処理を行った後に第2の指示を受け付けることと、
    前記第1のユーザインタフェース装置が、前記第2の指示を受け付けた後に、前記候補順決定処理の結果に基づいて、前記複数の検索候補のうちの第2の検索候補に対応づけられた前記第1の項目の前記付加情報についての第3の問い合わせ処理を行うことと
    をさらに含む
    請求項2から請求項4のいずれか一項に記載の情報提示方法。
  6. 前記候補順決定処理は、
    前記情報提示装置が、前記検索キーワードと、前記第1の検索候補に対応づけられた前記複数の付加情報との複数の関連度合いをそれぞれ求め、その複数の関連度合いに基づいて第3の関連度合いを求めることと、
    前記情報提示装置が、前記検索キーワードと、前記第2の検索候補に対応づけられた前記複数の付加情報との複数の関連度合いをそれぞれ求め、その複数の関連度合いに基づいて第4の関連度合いを求めることと
    前記情報提示装置が、前記第3の関連度合いと前記第4の関連度合いとを比較することと
    を含み、
    前記第3の関連度合いは、前記第4の関連度合いよりも大きい
    請求項5に記載の情報提示方法。
  7. 前記第1のユーザインタフェース装置が、前記第2の問い合わせ処理を行った後に第3の指示を受け付けることをさらに含み、
    前記提示処理は、前記第1の検索候補についての情報を提示する
    請求項2から請求項4のいずれか一項に記載の情報提示方法。
  8. 前記提示処理は、前記第1の検索候補を利用した処理の実行指示を行うことを含み、
    前記複数の検索候補は、前記第1の検索候補に対応する第1の画像データを含む複数の画像データであり、
    前記実行指示は、前記第1の画像データを用いた処理の指示である
    請求項7に記載の情報提示方法。
  9. 前記実行指示は、前記第1の画像データに基づく印刷指示である
    請求項8に記載の情報提示方法。
  10. 前記実行指示は、前記第1の画像データを、電子メールを用いて送信する指示である
    請求項8に記載の情報提示方法。
  11. 前記複数の検索候補は、前記第1の検索候補に対応する第1の画像データを含む複数の画像データであり、
    前記第1の検索候補に対応づけられた前記複数の付加情報は、前記第1の画像データについての情報を含む
    請求項2から請求項10のいずれか一項に記載の情報提示方法。
  12. 前記第1の画像データについての情報は、前記第1の画像データに含まれる文字情報を含む
    請求項11に記載の情報提示方法。
  13. 前記第1の画像データについての情報は、前記第1の画像データを生成した日時を示す日時情報を含む
    請求項11または請求項12に記載の情報提示方法。
  14. 前記複数の検索候補は、前記第1の検索候補に対応する第1の画像データを含む複数の画像データであり、
    前記第1の問い合わせ処理および前記第2の問い合わせ処理のうちの一方は、前記第1の画像データに含まれる情報を用いて問い合わせを行う処理であり、他方は、前記第1の画像データに含まれる情報以外の情報を用いて問い合わせを行う処理である
    請求項2から請求項13のいずれか一項に記載の情報提示方法。
  15. 前記第1のユーザインタフェース装置は、音声または文字を用いて対話形式でユーザと情報のやりとりを行う
    請求項1から請求項14のいずれか一項に記載の情報提示方法。
  16. 前記第1のユーザインタフェース装置が、周囲にいる人の人数を検出することと、
    前記情報提示装置が、前記第1のユーザインタフェース装置における検出結果に基づいて、前記複数の検索候補のリストについての情報を含むリスト情報を生成する生成処理を行うことと、
    前記情報提示装置が前記生成処理を行った場合に、第2のユーザインタフェース装置が、前記リスト情報に基づく表示を行うとともに、前記複数の検索候補のうちの1つを選択する選択操作を受け付けることと
    をさらに含み、
    前記提示処理は、前記複数の検索候補のうちの、前記選択操作により選択された検索候補についての情報を提示する
    請求項1から請求項15のいずれか一項に記載の情報提示方法。
  17. 前記情報提示装置が、前記複数の検索候補にそれぞれ対応づけられ、対応する検索候補が秘密にすべき情報を含むかどうかを示す複数のフラグ情報に基づいて、前記複数の検索候補のリストについての情報を含むリスト情報を生成する生成処理を行うことと、
    前記情報提示装置が前記生成処理を行った場合に、第2のユーザインタフェース装置が、前記リスト情報に基づく表示を行うとともに、前記複数の検索候補のうちの1つを選択する選択操作を受け付けることと
    をさらに含み、
    前記提示処理は、前記複数の検索候補のうちの、前記選択操作により選択された検索候補についての情報を提示する
    請求項1から請求項16のいずれか一項に記載の情報提示方法。
  18. データベースから、検索キーワードに該当する複数の検索候補を取得する候補取得部と、前記複数の検索候補のそれぞれに対応づけられた、第1の項目の付加情報および第2の項目の付加情報を含む複数の付加情報に基づいて、問い合わせるべき項目の順番を決定する項目順決定処理を行う決定部とを有する情報提示装置と、
    前記検索キーワードを受け付けるとともに、前記項目順決定処理の結果に基づいて、前記複数の検索候補のうちの第1の検索候補に対応づけられた前記第1の項目の前記付加情報についての第1の問い合わせ処理を行う第1のユーザインタフェース装置と
    を備えた情報提示システム。
  19. データベースから、第1のユーザインタフェース装置から指示された検索キーワードに該当する複数の検索候補を取得する候補取得部と、
    前記複数の検索候補のそれぞれに対応づけられた、第1の項目の付加情報および第2の項目の付加情報を含む複数の付加情報に基づいて、問い合わせるべき項目の順番を決定する項目順決定処理を行う決定部と
    を備えた情報提示装置。
JP2018121996A 2018-06-27 2018-06-27 情報提示方法、情報提示システム、および情報提示装置 Pending JP2020004014A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018121996A JP2020004014A (ja) 2018-06-27 2018-06-27 情報提示方法、情報提示システム、および情報提示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018121996A JP2020004014A (ja) 2018-06-27 2018-06-27 情報提示方法、情報提示システム、および情報提示装置

Publications (1)

Publication Number Publication Date
JP2020004014A true JP2020004014A (ja) 2020-01-09

Family

ID=69100264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018121996A Pending JP2020004014A (ja) 2018-06-27 2018-06-27 情報提示方法、情報提示システム、および情報提示装置

Country Status (1)

Country Link
JP (1) JP2020004014A (ja)

Similar Documents

Publication Publication Date Title
US8489583B2 (en) Techniques for retrieving documents using an image capture device
JP4817952B2 (ja) メール誤送信防止システム、メール誤送信防止方法、およびメール誤送信防止プログラム
JP4485293B2 (ja) 情報処理装置、クライアント端末、画像形成装置、データ加工方法およびその方法をコンピュータに実行させるプログラム
US8359532B2 (en) Text type-ahead
EP0893760A2 (en) Context-sensitive document transactions
US8316035B2 (en) Systems and arrangements of text type-ahead
US20050219609A1 (en) Remote database support in a multifunction office device
US8208153B2 (en) Image processing apparatus, function offering method and computer program product
JP2004178072A (ja) Webページ更新通知方法及び装置
JP7073888B2 (ja) メッセージ提供装置及びプログラム
JP2007082238A (ja) 個人情報端末とインタフェースを取る方法及び通信機器
JP2014241111A (ja) 情報処理装置、情報処理方法及びプログラム
JP2011192279A (ja) 文書通知を提供するよう構成される文書管理システム、装置及び方法
JP5845107B2 (ja) 画像形成装置、その制御方法、及びプログラム
JP2010113620A (ja) 画像形成システム
US8514417B2 (en) Accessing functions of a multi-function device
US20120057186A1 (en) Image processing apparatus, method for managing image data, and computer-readable storage medium for computer program
US20030050971A1 (en) Client server system and method therefor
JP2020004014A (ja) 情報提示方法、情報提示システム、および情報提示装置
JP2012252456A (ja) 印刷システム、印刷方法、印刷プログラム
JP5932388B2 (ja) 画像処理装置及びその制御方法とプログラム
WO2020062175A1 (en) Discovery of internet-of-things resources
JP6701941B2 (ja) 画像データ処理システム、サーバ、画像データ処理方法、およびコンピュータプログラム
JP2020135824A (ja) 情報処理システム及びプログラム
JP2006099243A (ja) データファイル蓄積管理装置及びその電子メール処理プログラム