JP2022020149A - 情報処理装置およびプログラム - Google Patents

情報処理装置およびプログラム Download PDF

Info

Publication number
JP2022020149A
JP2022020149A JP2020123486A JP2020123486A JP2022020149A JP 2022020149 A JP2022020149 A JP 2022020149A JP 2020123486 A JP2020123486 A JP 2020123486A JP 2020123486 A JP2020123486 A JP 2020123486A JP 2022020149 A JP2022020149 A JP 2022020149A
Authority
JP
Japan
Prior art keywords
content
information
story
party
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020123486A
Other languages
English (en)
Inventor
奈実 徳永
Nami Tokunaga
慎也 山崎
Shinya Yamazaki
剛 齋藤
Takeshi Saito
典司 加藤
Noriji Kato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Priority to JP2020123486A priority Critical patent/JP2022020149A/ja
Priority to US17/173,624 priority patent/US20220020366A1/en
Priority to CN202110228118.XA priority patent/CN113962212A/zh
Publication of JP2022020149A publication Critical patent/JP2022020149A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34Browsing; Visualisation therefor
    • G06F16/345Summarisation for human users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/258Heading extraction; Automatic titling; Numbering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398Performance of employee with respect to a job function

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】利用者が他人と話をしている最中に遠隔の第三者が利用者に対してアドバイスを行う場合に、第三者が利用者によって作成された情報を見るのと比較して、第三者が話の内容を容易に把握することができる情報処理装置およびプログラムを提供する。【解決手段】表示制御システムにおいて、管理サーバ20は、端末装置10Aから入力された現在進行中の話の内容である議事情報を公知の自然言語処理技術により文章毎又は段落単位で区切り分割する議事分割部41と、現在進行中の議事情報における話題毎の関係性に応じて、入力された議事情報を示した情報であって、端末装置10Bの表示画面に表示する要約情報の表示態様が切り替わるようにダイジェストを生成する。ダイジェスト生成部45と、を有する。【選択図】図3

Description

本発明は、情報処理装置およびプログラムに関する。
特許文献1には、一連の会話音声を分析することにより営業担当者の発言と顧客の発言とを識別する発言者識別部と、営業担当者の発言および顧客の発言に対してそれぞれの内容に応じた分類をそれぞれ付与する担当者発言分類部および顧客発言分類部と、担当者発言分類と顧客発言分類との組み合わせに応じて、営業担当者が次に話すべき内容を提案する営業トークナビゲーションシステムが開示されている。
特許文献2には、会話テキストに登場する話題遷移情報における話題の集合同士の類似度である第1類似度と、会話テキストに登場する話題遷移情報における話題の列を文字列とした文字列同士の類似度である第2類似度に基づき、会話テキストを所定の会話形式を示すトークフローに分類し、第1類似度および第2類似度に基づき、オペレータのリアルタイム会話に現れた話題が、会話分類処理部により分類されたトークフローのうち、どのトークフローのどの話題に該当するのかを特定し、リアルタイム会話に現れた話題に基づいて、オペレータに会話を支援する会話支援システムが開示されている。
特許文献3には、音声認識テキストに対して自然言語解析処理を行って解析結果を出力する対話解析部と、各対話に対して顧客属性データに基づいて話題タグを付与して解析済対話データとして記録する対話属性抽出部と、指定された条件に基づいて解析済対話データから対話を抽出してユーザ端末に一覧表示させるユーザインタフェース部と、指定された対話について各発話を時系列で表示する第1領域と所定の事項の説明が行われていると判定された第2領域とを表示させるモニタリング箇所抽出部とを有する対話分析システムが開示されている。
特許文献4には、通信端末装置と販売支援用サーバとがネットワークを介して接続された販売支援システムにおいて、販売支援用サーバは、通信端末装置から送信された音声データを認識し、認識された音声データに基づきセールスマンの話した内容の間違いを判断し、販売支援情報の中から認識された音声データの内容に関連する販売支援情報を抽出し、判断された間違いの訂正メッセージや抽出された販売支援情報をネットワークを介して通信端末装置に送信し、通信端末装置は、販売支援用サーバから送信された判断された間違いの訂正メッセージや抽出された販売支援情報を表示可能とすることを特徴とする販売支援システムが開示されている。
特許文献5には、複数のバージョンの各々の間のテキスト差異及び画像差異のための1又は複数のスライドを備えるドキュメントの複数バージョンを処理すること、表示用にドキュメントの複数のバージョンのうちの第1のバージョンを提供すること、並びにドキュメントの複数のバージョンのうちの第1のバージョンをドキュメントの複数のバージョンのうちの第2のバージョンに移行させるアニメーションを生成することであって、アニメーションが第1のバージョンと第2のバージョンとの間のテキスト差異及び画像差異を組み込む、生成することを含む、アニメーションプレビュー生成方法が開示されている。
特許第6616038号公報 特許第6567128号公報 特開2019-28910号公報 特開2002-288352号公報 特開2020-4377号公報
例えば、営業担当者等の利用者が顧客との商談中に、遠隔の第三者から商談のアドバイスを受けたいような場合がある。
しかし、第三者が利用者に対して的確にアドバイスを行うには、第三者が過去の経緯を含めて話の内容を把握する必要がある。
本発明の目的は、利用者が他人と話をしている最中に遠隔の第三者が利用者に対してアドバイスを行う場合に、第三者が利用者によって作成された情報を見るのと比較して、第三者が話の内容を容易に把握することができる情報処理装置及びプログラムを提供することである。
[情報処理装置]
請求項1に係る本発明は、
メモリとプロセッサを備え、
前記プロセッサは、
利用者から入力された話の内容を話題毎に分割し、
話題毎の関係性に応じて、前記内容を示した情報であって、第三者の表示画面に表示する要約情報の表示態様を切り替える
情報処理装置である。
請求項2に係る本発明は、前記プロセッサは、分割された話の内容毎に、第三者がアドバイスを行うべき内容が含まれるか否かを判定し、アドバイスを行うべき内容が含まれていると判定された話の内容における話題と、他の話の内容における話題との関係性に応じて、前記要約情報の表示態様を切り替える請求項1記載の情報処理装置である。
請求項3に係る本発明は、前記プロセッサは、アドバイスを行うべき内容が含まれる話の内容における話題が現在進行中の話の中において初出の場合、アドバイスを行うべき内容が含まれる話の内容における話題の前後数行を要約情報として表示し、アドバイスを行うべき内容が含まれる話の内容における話題と同じ話題が現在進行中の話の中において過去にも存在する場合、同一の話題の要約情報を表示する請求項1又は2記載の情報処理装置である。
請求項4に係る本発明は、
メモリとプロセッサを備え、
前記プロセッサは、
利用者と前記利用者とは別の人とが話をしている際に、前記話を遠隔で見ている第三者に対して、前記話の要約情報を表示するか否かを問い合わせ、前記問い合わせてから当該第三者からの指示が入力されるまでの経過時間に応じて、第三者の表示画面に表示する要約情報の表示態様を切り替える
情報処理装置である。
請求項5に係る本発明は、前記プロセッサは、前記経過時間に応じて、アドバイスを行うべき内容が含まれていると判定された話の内容の前後において表示する要約情報の量を変化させる請求項4記載の情報処理装置である。
請求項6に係る本発明は、前記プロセッサは、前記経過時間が長いほど、表示する要約情報の量が多くなるようにする請求項5記載の情報処理装置である。
請求項7に係る本発明は、前記プロセッサは、話の内容においてアドバイスを行うべき内容が含まれていることを第三者に通知する請求項1から6のいずれか記載の情報処理装置である。
請求項8に係る本発明は、前記プロセッサは、第三者から指定された時間の範囲内となるように、アドバイスを行うべき内容が含まれている話の内容の前後における要約情報の量を変化させる請求項1から7のいずれか記載の情報処理装置である。
請求項9に係る本発明は、前記プロセッサは、利用者から入力された話の内容に基づいて推定された当該利用者の思考に応じて、分割された話の内容毎に、第三者が話の進行上のアドバイスを行うべき内容が含まれているか否かを判定する請求項1から8のいずれか記載の情報処理装置である。
請求項10に係る本発明は、前記プロセッサは、話の内容においてアドバイスを行うべき内容が含まれている箇所を、第三者の表示画面に表示する請求項9記載の情報処理装置である。
請求項11に係る本発明は、前記プロセッサは、前記アドバイスを行うべき内容が含まれている箇所と共に、推定された利用者の思考を、第三者の表示画面に表示する請求項10記載の情報処理装置である。
請求項12に係る本発明は、第三者のアドバイスを受け付ける受付手段を有し、前記プロセッサは、第三者からアドバイスを受け付けた場合に、利用者の表示画面に前記第三者からのアドバイスを表示する請求項1から11のいずれか記載の情報処理装置である。
請求項13に係る本発明は、前記プロセッサは、前記第三者からのアドバイスと共に、話の内容においてアドバイスされた内容が含まれる箇所を利用者の表示画面に表示する請求項12記載の情報処理装置である。
[プログラム]
請求項14に係る本発明は、
利用者から入力された話の内容を話題毎に分割するステップと、
話題毎の関係性に応じて、前記内容を示した情報であって、第三者の表示画面に表示する要約情報の表示態様を切り替えるステップと、
をコンピュータに実行させるためのプログラムである。
請求項15に係る本発明は、
利用者と前記利用者とは別の人とが話をしている際に、前記話を遠隔で見ている第三者に対して、前記話の要約情報を表示するか否かを問い合わせるステップと、
前記問い合わせてから当該第三者からの指示が入力されるまでの経過時間に応じて、第三者の表示画面に表示する要約情報の表示態様を切り替えるステップと、
をコンピュータに実行させるためのプログラムである。
請求項1に係る本発明によれば、利用者が他人と話をしている最中に遠隔の第三者が利用者に対してアドバイスを行う場合に、第三者が利用者によって作成された情報を見るのと比較して、第三者が話の内容を容易に把握することができる情報処理装置を提供することができる。
請求項2に係る本発明によれば、利用者が他人と話をしている最中に遠隔の第三者が利用者に対してアドバイスを行う場合に、第三者が利用者によって作成された情報を見るのと比較して、第三者が話の内容を容易に把握することができる。
請求項3に係る本発明によれば、アドバイスを行うべき内容が含まれる話の内容における話題が現在進行中の話の中において初出か過去にも存在するかによって要約情報の表示形態を切り替えることが可能となる。
請求項4に係る本発明によれば、利用者が他人と話をしている最中に遠隔の第三者が利用者に対してアドバイスを行う場合に、第三者が利用者によって作成された情報を見るのと比較して、第三者が話の内容を容易に把握することができる情報処理装置を提供することができる。
請求項5に係る本発明によれば、第三者が利用者によって作成された情報を見ていないであろう時間における情報の要約情報を生成することが可能となる。
請求項6に係る本発明によれば、第三者が利用者によって作成された情報を見ていないであろう時間における情報の要約情報を生成することが可能となる。
請求項7に係る本発明によれば、利用者が他人と話をしている最中に、利用者が他人と話をしている内容に、遠隔の第三者が利用者に対してアドバイスを行うべき内容が含まれていることを、第三者に把握させることが可能となる。
請求項8に係る本発明によれば、遠隔の第三者が、予め指定した時間の範囲内で要約情報を確認することが可能となる。
請求項9に係る本発明によれば、利用者が他人と話をしている最中に、利用者の思考に応じて、利用者が他人と話をしている内容に、遠隔の第三者が利用者に対してアドバイスを行うべき内容が含まれていることを、第三者に把握させることが可能となる。
請求項10に係る本発明によれば、利用者が他人と話をしている最中に、利用者の思考に応じて、利用者が他人と話をしている内容における遠隔の第三者が利用者に対してアドバイスを行うべき内容が含まれている箇所を、第三者に把握させることが可能となる。
請求項11に係る本発明によれば、利用者が他人と話をしている最中に、利用者の思考に応じて、利用者が他人と話をしている内容における遠隔の第三者が利用者に対してアドバイスを行うべき内容が含まれている箇所と利用者の思考とを、第三者に把握させることが可能となる。
請求項12に係る本発明によれば、利用者が他人と話をしている最中に、利用者に遠隔の第三者からのアドバイスを把握させることが可能となる。
請求項13に係る本発明によれば、利用者が他人と話をしている最中に、利用者に遠隔の第三者からのアドバイスと、利用者が他人と話をしている内容におけるアドバイスがされた箇所を把握させることが可能となる。
請求項14に係る本発明によれば、利用者が他人と話をしている最中に遠隔の第三者が利用者に対してアドバイスを行う場合に、第三者が利用者によって作成された情報を見るのと比較して、第三者が話の内容を容易に把握することができるプログラムを提供することができる。
請求項15に係る本発明によれば、利用者が他人と話をしている最中に遠隔の第三者が利用者に対してアドバイスを行う場合に、第三者が利用者によって作成された情報を見るのと比較して、第三者が話の内容を容易に把握することができるプログラムを提供することができる。
本発明の一実施形態の表示制御システムの構成を示すシステム図である。 本発明の一実施形態における管理サーバ20のハードウェア構成を示すブロック図である。 本発明の一実施形態における管理サーバ20の機能構成を示すブロック図である。 本発明の一実施形態における表示制御システムのフローを示す図である。 (A)~(D)は、本発明の一実施形態における端末装置10Aの表示画面の一例を示す図である。 (A)~(C)は、本発明の一実施形態における端末装置10Bの表示画面の一例を示す図である。 (A)、(B)は、端末装置10Bに表示される表示画面の一例を示す図である。 (A)~(C)は、端末装置10Bに表示されるダイジェストの一例を示す図である。 (A)は、端末装置10Bに表示される議事メモの一例を示す図であって、(B)は、端末装置10Bに表示されるダイジェストの一例を示す図である。 (A)は、端末装置10Bに表示される議事メモの一例を示す図であって、(B)は、端末装置10Bに表示されるダイジェストの一例を示す図である。 一般ユーザの思考の推定の一例を示す図である。 アドバイスポイント検出の一例を示す図である。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
図1は本発明の一実施形態の表示制御システムの構成を示すシステム図である。
本発明の一実施形態の表示制御システムは、図1に示されるように、インターネット30により相互に接続された情報処理装置である管理サーバ20と、情報処理装置であるパーソナルコンピュータ(以下、パソコンと略す。)、ノートパソコン、スマートフォン、タブレット端末等の端末装置10A、10Bにより構成される。
本実施形態の表示制御システムは、例えば、端末装置10Aを利用している利用者である営業担当者等の一般ユーザが、顧客との商談等の他人と話をしている最中に管理サーバ20にアクセスして、リアルタイムに端末装置10Bを利用している遠隔の第三者である管理者ユーザからアドバイスを受けることができるものである。
端末装置10Aは、一般ユーザが顧客等の他人と話をしている最中に商談内容等の話の内容を議事情報として入力するために用いられる情報処理装置である。ここで、議事情報の入力は、キーボードによる手入力でも音声による音声入力でもよく、テキスト化可能な入力手段により入力される。管理サーバ20は、このように入力された議事情報の要約情報をダイジェスト表示するための編集ソフトウェアがインストールされている情報処理装置である。端末装置10Bは、端末装置10Aにおいて入力された議事情報をリアルタイムに表示し、必要に応じて議事情報の要約情報をダイジェスト表示するために用いられる情報処理装置である。なお、端末装置10Bでは、端末装置10Aにおいて入力された議事情報を編集することはできない。
ここで、議事情報とは、商談や会議等の話の内容を示す情報をいう。例えば、画面の中に商談や会議等の話の内容をテキストで表した場合、テキストが議事情報である。また、要約情報とは、商談や会議等の話の内容を要約して示した情報をいう。例えば、読み手が商談や会議等の話の内容を短時間で把握できるような情報であって、画面の中にテキストを用いて表示した情報をいう。
次に、本実施形態の表示制御システムにおける管理サーバ20のハードウェア構成を図2に示す。
管理サーバ20は、図2に示されるように、CPU21、メモリ22、ハードディスクドライブ(HDD)等の記憶装置23、インターネット30を介して端末装置10A、10B等の外部の装置等との間でデータの送信及び受信を行う通信インタフェース(IF)25、タッチパネル又は液晶ディスプレイ並びにキーボードを含むユーザインタフェース(UI)装置24を有する。これらの構成要素は、制御バス26を介して互いに接続されている。
CPU21は、メモリ22または記憶装置23に格納された制御プログラムに基づいて所定の処理を実行して、管理サーバ20の動作を制御するプロセッサである。なお、本実施形態では、CPU21は、メモリ22または記憶装置23内に格納された制御プログラムを読み出して実行するものとして説明するが、当該プログラムをCD-ROM等の記憶媒体に格納してCPU21に提供することも可能である。
図3は、上記の制御プログラムが実行されることにより実現される管理サーバ20の機能構成を示すブロック図である。
本実施形態の管理サーバ20は、図3に示されるように、データ通信部31と、制御部32と、データ格納部33とを備えている。
データ通信部31は、端末装置10A、10Bとの間でインターネット30を介したデータ通信を行っている。
制御部32は、管理サーバ20の動作を制御していて、議事分割部41、話題判定部42、アドバイス判定部43、表示制御部44、ダイジェスト生成部45を備えている。
データ格納部33は、議事情報等の各種データを格納している。データ格納部33には、複数の議事情報が、例えば顧客毎や利用者毎や役割毎や日付毎等複数に分割して格納される。
表示制御部44は、端末装置10A、10Bにおいて表示される画面の制御を行っている。
議事分割部41は、端末装置10Aから入力された現在進行中の話の内容である議事情報を公知の自然言語処理技術により文章毎又は段落単位で区切り分割する。
話題判定部42は、分割された文章毎又は段落単位に公知の自然言語処理技術により話題を判定する。
また、話題判定部42は、話題が判定された文章又は段落に対して、話題が判定された文章又は段落の前後の、関連する話題であって、例えば同一の話題と判定された文章又は段落を対応付けてデータ格納部33に格納する。また、話題判定部42は、話題が判定された文章又は段落に対して、データ格納部33に格納された過去の議事情報において関連する話題であって、例えば同一の話題と判定された文章又は段落を対応付けてデータ格納部33に格納する。また、話題判定部42は、話題が判定された文章又は段落に対して、外部サーバから取得した議事情報以外の商談情報等の情報を対応付けてデータ格納部33に格納しておくこともできる。これにより、議事情報が変遷し不連続な内容であってもアドバイスを行うべき話題に関連付けられた要約情報をダイジェスト表示することができる。
表示制御部44は、端末装置10Aにおいて入力された議事情報をリアルタイムに端末装置10Bの表示画面に表示しつつ、話題判定部42により判定された話題に関する情報を、議事情報における文章毎又は段落単位に表示する。
アドバイス判定部43は、入力された議事情報において分割され話題が判定された文章又は段落ごとに、管理者ユーザがアドバイスを行うべき内容が含まれるか否かであって、アドバイスポイントが検出されたか否かを判定する。これにより、管理者ユーザが、遠隔の一般ユーザにより入力された議事情報を効率的に監視することができる。
そして、アドバイス判定部43により、入力された議事情報に、管理者ユーザがアドバイスを行うべき内容が含まれている、つまりアドバイスポイントが検出されたと判定された場合には、表示制御部44は、端末装置10Bの現在進行中の議事情報を表示する表示画面の、アドバイスを行うべき内容が含まれていると判定された文章又は段落であって、アドバイスポイントが検出された箇所に、後述するアドバイスフラグを表示する。すなわち、表示制御部44は、議事情報において管理者ユーザがアドバイスを行うべき内容が含まれていて、管理者ユーザからのアドバイスが必要であることを端末装置10Bの表示画面上で通知する。これにより、管理者ユーザは、アドバイスすべきポイントを確認することが可能となる。
具体的には、アドバイス判定部43は、入力された議事情報における話題の遷移や、議事の経過時間、顧客や一般ユーザの反応、一般ユーザの思考、商談等の話の状況、商談等の話のゴール、商談等の話の狙い、過去のアドバイス履歴と受容性、過去の商談の話題履歴等に基づいて、管理者ユーザがアドバイスを行うべき内容が含まれるか否かであって、アドバイスポイントが検出されたか否かを判定する。
また、表示制御部44は、アドバイスポイントが検出されたと判定された場合には、端末装置10Bの現在進行中の議事情報を表示する表示画面とは別に議事情報の要約情報を表示するダイジェスト表示を行うか否かを選択するための選択画面を表示する。
ダイジェスト生成部45は、現在進行中の議事情報における話題毎の関係性であって、アドバイスポイントが検出された文章又は段落における話題と、前後の文章又は段落における話題との関係性に応じて、入力された議事情報を示した情報であって、端末装置10Bの表示画面に表示する要約情報の表示態様が切り替わるようにダイジェストを生成する。
つまり、ダイジェスト生成部45は、話題判定部42により判定された話題毎の関係性に応じて、端末装置10Bの表示画面に表示する議事情報の要約情報の表示態様が切り替わるようにダイジェストを生成する。すなわち、ダイジェスト生成部45は、アドバイス判定部43によりアドバイスポイントが検出された文章又は段落における話題と、前後の文章又は段落における話題との関係性に応じて、議事情報の要約情報の表示態様が切り替わるようにダイジェストを生成する。
具体的には、ダイジェスト生成部45は、アドバイスポイントが検出された文章又は段落における話題が現在進行中の議事情報において初出の場合、アドバイスポイントが検出された文章又は段落の前後数行を要約情報としてダイジェストを生成する。このとき、ダイジェスト生成部45は、アドバイスポイントが検出された文章又は段落の前後数行の要約情報を、入力された順にアニメーション表示するようダイジェストを生成するようにしてもよい。
また、ダイジェスト生成部45は、アドバイスポイントが検出された文章又は段落における話題と同じ話題が現在進行中の議事情報の中において過去にも存在する場合、アドバイスポイントが検出された文章又は段落における話題と同一の話題の文章又は段落を要約情報としてダイジェストを生成する。
そして、表示制御部44は、ダイジェスト生成部45により生成されたダイジェストを端末装置10Bの表示画面に表示するように制御する。
また、ダイジェスト生成部45は、管理者ユーザの不在を検知して、管理者ユーザが不在中に端末装置10Aにおいて入力された議事情報を要約情報としてダイジェストを生成する。
具体的には、例えばアドバイスポイントが検出されると、表示制御部44は、端末装置10Bにおいて議事情報の要約情報をダイジェスト表示するか否かを問い合わせ、表示するか否かを選択するための選択画面を表示する。そして、ダイジェスト生成部45は、ダイジェスト表示するか否かを問い合わせてから指示が入力されるまでの経過時間である、選択画面が表示されてから「はい」が選択されるまでの経過時間に応じて、端末装置10Bの表示画面に表示する議事情報の要約情報の表示態様を切り替えるようにダイジェストを生成する。これにより、管理者ユーザが不在中の話題を把握することが可能となる。
また、ダイジェスト生成部45は、端末装置10Bにおいてダイジェスト表示するか否かを選択するための選択画面が表示されてから「はい」が選択されるまでの経過時間に応じて、アドバイスポイントが検出された文章又は段落の前後において表示する要約情報の量を変化させてダイジェストを生成する。すなわち、ダイジェスト生成部45は、選択画面が表示されてから「はい」が選択されるまでの経過時間が長いほど、表示する要約情報の量が多くなるようにダイジェストを生成する。
すなわち、ダイジェスト生成部45は、端末装置10Aにおいて入力された議事情報から、管理者ユーザが一般ユーザに対して的確にアドバイスを行うために最適なダイジェスト範囲と見せ方を決定してダイジェストを生成する。そして、表示制御部44は、ダイジェスト生成部45により生成されたダイジェストを端末装置10Bのダイジェスト表示画面に表示する。議事情報をダイジェスト表示することにより、管理者ユーザは、全ての議事情報に目を通す場合と比較して短い時間で話の内容を把握することができ、的確なアドバイスを一般ユーザに対して行うことができる。
また、ダイジェスト生成部45は、管理者ユーザから指定された時間の範囲内となるように、アドバイスを行うべき内容が含まれている、アドバイスポイントが検出された文章又は段落の前後における要約情報の量を変化させてダイジェストを生成する。これにより、管理者ユーザが、予め指定された時間の範囲内で話の内容を把握し、的確なアドバイスを一般ユーザに対して行うことが可能となる。
また、表示制御部44は、端末装置10Bにおいてダイジェスト表示を行う選択がなされた場合に、現在進行中の議事情報を表示する表示画面とは別に議事情報の要約情報をダイジェスト表示するダイジェスト表示画面を表示する。また、表示制御部44は、端末装置10Bにおいてダイジェスト表示画面とは別にアドバイスを入力する入力画面を表示する。表示制御部44は、端末装置10Bにおいて管理者ユーザのアドバイスを受け付ける受付手段として機能する。この入力画面にアドバイスを入力することにより遠隔の管理者ユーザは、一般ユーザに対してリアルタイムにアドバイスすることが可能となる。これにより、一般ユーザは、遠隔の管理者ユーザからアドバイスを受けつつ目の前の顧客等の他人との話に集中することができる。
また、表示制御部44は、端末装置10Bの表示画面に表示される議事情報において任意の箇所が選択された場合に、その部分に対するアドバイスを入力可能に構成されている。なお、管理者ユーザは、アドバイスを直接テキスト入力できるだけでなく、データ格納部33や外部サーバに格納されているアドバイス候補群の中からアドバイスを選択可能な構成となっている。また、過去の議事情報から既出のアドバイスが用いられたか否かを判断して、端末装置10B上に通知することが可能な構成となっている。これにより、管理者ユーザのアドバイス作業を効率化することが可能となる。
そして、表示制御部44は、端末装置10Bにおいて管理者ユーザからアドバイスを受け付けた場合に、端末装置10Aの表示画面に管理者ユーザからのアドバイスを表示する。このとき、表示制御部44は、端末装置10Aの表示画面に、管理者ユーザからのアドバイスと共に、議事情報においてどの部分になされたアドバイスか一般ユーザが認識できるように、議事情報におけるアドバイスされた箇所を指し示す例えば吹き出しを表示する。そして、表示制御部44は、吹き出しがクリックされるとアドバイスの内容を表示するように制御する。これにより、議事情報のどこに対するアドバイスか一般ユーザが視覚的に把握することができる。
次に、本実施形態の表示制御システムにおける端末装置10A、管理サーバ20及び端末装置10Bの各動作について図4~図6を参照して詳細に説明する。
図4は、表示制御システムのフローを示す図である。図5は、一般ユーザの端末装置10Aの表示画面を示す図である。図6は、管理者ユーザの端末装置10Bの表示画面を示す図である。
ステップS10において、図5(A)に示すように、一般ユーザが顧客と話をしている最中に、端末装置10Aにおいて現在進行中の議事情報としての現在の議事メモが議事メモ画面50に入力されると、ステップS11において、入力された議事情報が端末装置10Aから管理サーバ20を介して端末装置10Bへ送信される。そして、ステップS12において、表示制御部44は、図6(A)に示すように、端末装置10Bの表示画面に議事メモ画面60を表示し、議事メモ画面60に端末装置10Aにおいて入力されている現在の議事メモをリアルタイムに表示するように制御する。
そして、ステップS13において、議事分割部41は、端末装置10Aにおいて議事メモが入力されるたびに差分を抽出し、入力された議事情報を公知の自然言語処理技術により文章毎又は段落単位に区切り、分割する。
そして、ステップS14において、話題判定部42は、分割された文章毎又は段落単位に公知の自然言語処理技術により話題を判定する。
そして、ステップS15において、表示制御部44は、図6(A)に示すように、端末装置10Aにおいて入力された議事メモをリアルタイムに端末装置10Bの議事メモ画面60に表示しつつ、文章又は段落ごとに判定された話題である話題タグ64を付与して表示する。
ここで、話題タグ64の付与は、例えば、機械学習によって文章毎又は段落単位に話題の判定を行い、文章毎又は段落単位に現場タグ、定量タグ、課題タグ等の話題タグをタグ付けすることにより行う。すなわち、この例の場合、事前に正解データ(教師データともいう)を用意し、この正解データを用いることで話題判定部42は、文章毎又は段落単位に話題を判定し、文章毎又は段落単位に話題タグ64を付与する。
具体的には、先ず、議事情報を文章毎又は段落単位に分割し、文章毎又は段落単位に人の手で話題タグをつける。例えば、「営業部では売り上げ向上に向けて働き方を変えなければならない。」という文章に対して課題タグを、「お客様は予算についてまだはっきりと決めていない。」という文章に対して定量タグを、「営業部は未だ紙文書でやりとりすることが多い。」という文章に対して現場タグをつけて、事前に正解データを用意する。この正解データをBert等の機械学習のモジュールにインプットし、モデルが生成される。
そして、生成されたモデルに、議事情報を入力する。話題判定部42は、入力された議事情報における文章毎又は段落単位に正解データを参照して、機械学習した結果に近い話題を判定し、文章毎又は段落単位に話題タグ64を付与する。
そして、ステップS16において、話題判定部42は、話題が判定された文章又は段落に対して、話題が判定された文章又は段落に関連する話題である同一の話題を有する文章又は段落、過去の議事情報における関連する話題である同一の話題を有する文章又は段落等を対応付ける。そして、対応付けたデータをデータ格納部33に格納する。
つまり、話題判定部42は、話題タグ64が付与された文章又は段落に対して、話題タグ64が付与された文章又は段落の前後の、関連する話題タグ64が付与された文章又は段落を対応付ける。また、話題判定部42は、話題タグ64が付与された文章又は段落に対して、データ格納部33に格納された過去の議事情報において関連する話題タグ64が付与された文章又は段落を対応付ける。また、話題判定部42は、話題タグ64が付与された文章又は段落に対して、外部サーバから取得した議事情報以外の商談情報等の情報を対応付けておくこともできる。これにより、議事情報が変遷し不連続な内容であってもアドバイスを行うべき話題に関連付けて要約情報をダイジェスト表示することができる。
そして、ステップS17において、アドバイス判定部43は、入力された議事情報において話題タグ64が付与された文章又は段落ごとに、管理者ユーザのアドバイスが必要であるか否かであって、アドバイスポイントが検出されたか否かを判定する。アドバイスポイントが検出されない場合は、ステップS11の処理へ戻る。
そして、ステップS17において、入力された議事情報に、管理者ユーザがアドバイスを行うべき内容が含まれている、つまりアドバイスポイントが検出されたと判定された場合には、ステップS18において、表示制御部44は、図6(B)に示すように、端末装置10Bの議事メモ画面60の中のアドバイスポイントが検出された箇所に、アドバイスフラグ61を表示する。すなわち、表示制御部44は、現在の議事メモにおいて管理者ユーザがアドバイスを行うべき内容が含まれていて、管理者ユーザからのアドバイスが必要であることを端末装置10Bの表示画面上で通知する。
そして、ステップS19において、表示制御部44は、図6(B)に示すように、端末装置10Bの表示画面に、議事メモ画面60とは別に議事情報の要約情報のダイジェスト表示を行うか否かを選択するための選択画面62を表示する。
また、ステップS17において、入力された議事メモに、管理者ユーザがアドバイスを行うべき内容が含まれている、つまりアドバイスポイントが検出されたと判定された場合には、ステップS20において、ダイジェスト生成部45は、アドバイスポイントが検出された文章又は段落における話題タグとの関係性に応じて議事情報の要約情報としてダイジェストを生成する。
ダイジェスト生成部45は、アドバイスポイントが検出された文章又は段落における話題タグ64が現在進行中の議事情報において初出の場合、アドバイスポイントが検出された文章又は段落の前後数行を要約情報としてダイジェストを生成する。また、ダイジェスト生成部45は、アドバイスポイントが検出された文章又は段落における話題タグ64と同じ話題タグ64が現在進行中の議事情報の中において過去にも存在する場合、アドバイスポイントが検出された文章又は段落における話題タグ64と同一の話題タグ64の文章又は段落を要約情報としてダイジェストを生成する。
また、ダイジェスト生成部45は、管理者ユーザの不在を検知して、管理者ユーザが不在中に入力された議事メモの要約情報のダイジェストを生成する。具体的には、図6(B)に示すような選択画面62が表示されてから「はい」が選択されるまでの経過時間に応じて、端末装置10Bの表示画面に表示する議事メモの要約情報の表示態様を切り替えるようにダイジェストを生成する。
また、ダイジェスト生成部45は、選択画面62が表示されてから「はい」が選択されるまでの経過時間に応じて、アドバイスポイントが検出された文章又は段落の前後において表示する要約情報の量を変化させてダイジェストを生成する。すなわち、ダイジェスト生成部45は、選択画面62が表示されてから「はい」が選択されるまでの経過時間が長いほど、表示する要約情報の量が多くなるようにダイジェストを生成する。
そして、図6(B)に示すような選択画面62において「いいえ」が選択された場合には、ステップS12の処理へ戻る。また、図6(B)に示すような選択画面62において「はい」が選択された場合には、ステップS21において、データ通信部31は、ダイジェスト生成部45により生成されたダイジェストを端末装置10Bに送信する。
そして、ステップS22において、表示制御部44は、ダイジェスト生成部45により生成されたダイジェストを端末装置10Bの表示画面に表示する。このとき、表示制御部44は、図6(C)に示すように、端末装置10Bの表示画面に、現在の議事メモを表示する議事メモ画面60とは別にダイジェスト表示画面63を表示する。そして、このダイジェスト表示画面63にダイジェスト生成部45により生成されたダイジェストを表示するように制御する。また、端末装置10Bの表示画面には、議事メモ画面60、ダイジェスト表示画面63とは別にアドバイスを入力する入力画面65と、アドバイスを端末装置10Aへ送信する送信ボタン66が表示される。
そして、ステップS23において、図6(C)に示すように、端末装置10Bの入力画面65にアドバイスが入力され、送信ボタン66が押下されると、端末装置10Aに管理者ユーザのアドバイスに関する情報が送信される。
そして、ステップS24において、表示制御部44は、端末装置10Aの議事メモ画面50に管理者ユーザからのアドバイスを表示するように制御する。具体的には、端末装置10Bからアドバイスを受信すると、図5(B)に示すように、表示制御部44は、端末装置10Aの議事メモ画面50に、議事メモのどの部分になされたアドバイスか一般ユーザが認識できるように、現在の議事メモにおいてアドバイスされた箇所を指し示す例えば吹き出し51を表示する。そして、表示制御部44は、図5(C)に示すように、吹き出し51がクリックされると、図5(D)に示すように、吹き出し51の中に、端末装置10Bから送信されたアドバイスの内容を表示し、閉じる「×」がクリックされるとアドバイスの内容を表示しないように制御する。
次に、端末装置10Bにおいて表示される議事メモのダイジェスト表示の一例について、図7~図10に基づいて具体的に説明する。
先ず、端末装置10Aにおいて入力された現在の議事メモの中のアドバイスポイントが検出された文章における話題タグが初出の場合のダイジェスト表示例について、図7及び図8を用いて説明する。
図7(A)に示すように、管理者ユーザの端末装置10Bには、一般ユーザにより端末装置10Aにおいて入力された現在進行中の議事情報を表示する現在の議事メモが議事メモ画面60にリアルタイムに表示される。議事メモ画面60には、文章毎又は段落単位に、課題タグ64A、定量タグ64B、現場タグ64C等の話題タグ64がそれぞれタグ付けされて表示される。そして、現在の議事メモにおいてアドバイスポイントが検出されると、議事メモ画面60においてアドバイスポイントが検出された箇所に、アドバイスフラグ61が表示される。
そして、図7(B)に示すように、アドバイスポイントが検出された旨が表示され、議事メモのダイジェスト表示を行うか否かを選択する選択画面62が表示される。
そして、図7(B)の選択画面62において「はい」が選択されると、アドバイスフラグ61が付与された文章に付与されている現場タグ64Cは、現在の議事メモにおいて初出であるため、ダイジェスト生成部45は、アドバイスフラグ61が表示された文章の前後数行を要約情報として例えば入力された順にアニメーション表示するダイジェストを生成する。そして、表示制御部44は、ダイジェスト生成部45により生成されたダイジェストをダイジェスト表示画面63に表示する。つまり、表示制御部44は、端末装置10Bのダイジェスト表示画面63において議事メモの入力履歴の遷移を表示する。なお、ダイジェスト表示画面63におけるダイジェスト表示をシークバー等を用いて管理者ユーザの操作により調整できるようにしてもよい。
具体的には、例えば端末装置10Bのダイジェスト表示画面63において、図8(A)に示すように、表示制御部44は、議事メモのアドバイスフラグ61が付与された文章を表示する。そして、図8(B)に示すように、表示制御部44は、議事メモのアドバイスフラグ61が付与された文章の前4行を表示した後、図8(C)に示すように、表示制御部44は、議事メモのアドバイスフラグ61が付与された文章の後4行を表示する。すなわち、表示制御部44は、議事メモにおいて、どのようにしてアドバイスフラグ61が付与された話題に遷移したのかが管理者ユーザが把握できるように端末装置10Bのダイジェスト表示画面63に議事メモの要約情報をダイジェスト表示する。
次に、端末装置10Aにおいて入力された現在の議事メモの中のアドバイスポイントが検出された文章における話題タグと同じ話題タグが現在進行中の議事メモの中において過去にも存在する場合のダイジェスト表示例について、図9を用いて説明する。
図9(A)に示すように、管理者ユーザの端末装置10Bには、一般ユーザにより端末装置10Aにおいて入力された現在の議事メモが議事メモ画面60にリアルタイムに表示される。議事メモ画面60には、文章毎又は段落単位に、現場タグ64C、定量タグ64B、現場タグ64Cがそれぞれタグ付けされて表示されている。そして、現在の議事メモにおいてアドバイスポイントが検出されると、議事メモ画面60においてアドバイスポイントが検出された箇所に、アドバイスフラグ61が表示される。
そして、図7(B)に示すように、アドバイスポイントが検出された旨が表示され、議事メモのダイジェスト表示を行うか否かを選択する選択画面62が表示される。
そして、図7(B)の選択画面62において「はい」が選択されると、アドバイスフラグ61が付与された文章に付与されている現場タグ64Cと同じ現場タグ64Cが現在進行中の議事メモの中において過去にも存在するため、ダイジェスト生成部45は、アドバイスフラグ61が付与された文章における現場タグ64Cと同一の現場タグ64Cが付与された文章を要約情報としてダイジェストを生成する。具体的には、ダイジェスト生成部45は、アドバイスフラグ61が付与された文章と同一の現場タグ64Cが付与された文章のみを表示し、間の文章を省略して表示するようにダイジェストを生成する。
そして、表示制御部44は、ダイジェスト生成部45により生成されたダイジェストをダイジェスト表示画面63に表示する。つまり、表示制御部44は、アドバイスフラグ61が付与された文章と同一の現場タグ64Cが付与された文章のみを表示し、間の文章を省略して表示する。
なお、省略された文章又は段落は、展開可能に折り畳み表示するようにしてもよい。このように省略された文章又は段落を展開可能に表示することにより、アドバイスフラグ61が付与された文章とは異なる話題であってもアドバイスフラグ61が付与された話題に関してどのような内容が話されているのかを管理者ユーザは確認することができる。
次に、管理者ユーザが不在中の議事メモのダイジェスト表示例について、図10を用いて説明する。
端末装置10Aにおいて入力された現在の議事メモにアドバイスポイントが検出されると、図10(A)に示すように、アドバイスポイントが検出された旨が表示され、議事メモのダイジェスト表示を行うか否かを選択する選択画面62が端末装置10Bの表示画面に表示される。
そして、選択画面62において、「はい」が選択されるまでの経過時間に応じて、ダイジェスト表示の表示態様が変更される。具体的には、選択画面62において、選択画面62が表示されてから「はい」が選択されるまでの経過時間が長いほど、図10(B)に示すように、アドバイスポイントが検出されたアドバイスフラグ61が表示された文章の前後の行数が多くなるようにダイジェストの表示態様が変更される。このようにダイジェストの表示態様を変更することにより、アドバイスフラグ61が付与された話題に関してどのような内容が話されているのかを管理者ユーザは効率的に確認することができる。
なお、上述した選択画面62における「はい」が選択されるまでの経過時間と、上述したアドバイスポイントが検出された文章における話題タグとの関係性に応じてダイジェストの表示態様を変更するようにしてもよい。すなわち、選択画面62において、選択画面62が表示されてから「はい」が選択されるまでの経過時間が長いほど、アドバイスポイントが検出された文章における話題タグと同じ話題タグが付与された文章であって、アドバイスポイントが検出されたアドバイスフラグ61が表示された文章の前後の文章の行数が多くなるようにダイジェストの表示態様を変更するようにしてもよい。
次に、上述したステップS17におけるアドバイスポイントの検出例について、一般ユーザの思考を推定してアドバイスポイントを検出する例を用いて説明する。
本実施形態では、一般ユーザが顧客等の他人と話をしている最中に、端末装置10Aを用いて話の内容である議事の内容をテキスト入力しつつ、話の内容である議事の会話内容を音声取得する。そして、管理サーバ20は、端末装置10Aにおいてテキスト入力された議事の内容と音声取得された会話内容に基づいて、一般ユーザの思考を推定してアドバイスポイントを検出する。
アドバイス判定部43は、議事の入力過程である入力データ1と、議事の入力過程と議事の会話内容を比較した入力データ2と、議事の会話内容である入力データ3と、を用いて一般ユーザの思考を推定し、推定された一般ユーザの思考に応じて、分割された文章又は段落毎に、管理者ユーザがアドバイスを行うべき内容が含まれているか否かを判定し、アドバイスを行うべき内容が含まれている場合には、アドバイスポイントが検出されたと判定する。なお、データ格納部33には、機械学習によって、議事の入力過程である入力データ1と、議事の入力過程と議事の会話内容を比較した入力データ2と、議事の会話内容である入力データ3と、一般ユーザの思考の推定結果と、アドバイス例とが対
応付けて蓄積されたデータが格納されている。
例えば、アドバイス判定部43は、端末装置10Aにおける議事の入力過程において「議事内容を修正している」場合には、「一般ユーザは自身の理解に誤りがあったことに気付いた」ものと一般ユーザの思考を推定する。また、端末装置10Aにおける議事の入力過程において「議事文の順序を入れ替えている」場合には、「一般ユーザは思考、考えを整理している」ものと一般ユーザの思考を推定する。また、端末装置10Aにおける議事の入力過程において「N秒間入力がない」場合には、「一般ユーザは何を書けばよいか困っている」ものと一般ユーザの思考を推定する。また、議事の入力過程と議事の会話内容を比較して「会話内容と異なる議事文を入力している」場合には、「一般ユーザは仮説をたてた、気づきがあった」ものと一般ユーザの思考を推定する。また、議事の入力過程と議事の会話内容を比較して「会話内容にも議事にも含まれている」場合には、「一般ユーザはその箇所が重要であると判断している」ものと一般ユーザの思考を推定する。
また、アドバイス判定部43は、図11に示すように、議事の入力過程である入力データ1と、議事の入力過程と議事の会話内容の比較結果であるデータ2と、議事の会話内容である入力データ3等、複数のデータをAND条件で用いることで一般ユーザの思考を推定することができる。つまり、入力データが多くなるほど推定精度は高まることとなる。そして、一般ユーザが議事内容を修正していると推定された場合には、その修正箇所にアドバイスを入力していた場合には、表示制御部44は、そのアドバイスの削除を促すよう端末装置10Bの表示画面に表示する。また、一般ユーザは思考、考えを整理していると推定された場合には、表示制御部44は、混乱を避けるためアドバイスの入力画面を表示しない、又はアドバイスフラグを表示しないように制御する。
そして、アドバイス判定部43は、図12に示すように、一般ユーザから入力された議事の入力過程である入力データ1と、議事の入力過程と議事の会話内容を比較した入力データ2と、議事の会話内容である入力データ3と、に基づいて、一般ユーザの考え、解釈等の一般ユーザの思考を推定する。そして、推定結果に応じて、アドバイスポイントを検出する。そして、表示制御部44は、端末装置10Bの現在進行中の議事情報を表示する表示画面の、アドバイスを行うべき内容が含まれていると判定された文章又は段落であって、アドバイスポイントが検出された箇所に、アドバイスフラグ61を表示する。また、表示制御部44は、端末装置10Bの現在進行中の議事情報を表示する議事メモ画面60に、アドバイスフラグ61を表示すると共に、一般ユーザの思考の推定結果と、一般ユーザに対するアドバイス例を表示する。これにより、管理者ユーザは、一般ユーザの思考に配慮したアドバイスを端末装置10Aに表示させることが可能となり、一般ユーザは、遠隔の管理者ユーザからアドバイスを受けつつ目の前の顧客等の他人との話に集中することができる。
上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU:Central Processing Unit、等)や、専用のプロセッサ(例えばGPU:Graphics Processing Unit、ASIC:Application Specific Integrated Circuit、FPGA:Field Programmable Gate Array、プログラマブル論理デバイス等)を含むものである。
また上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
10A、10B 端末装置
20 管理サーバ
21 CPU
22 メモリ
23 記憶装置
24 通信インタフェース(IF)
25 ユーザインタフェース(UI)装置
26 制御バス
31 データ通信部
32 制御部
33 データ格納部
41 議事分割部
42 話題判定部
43 アドバイス判定部
44 表示制御部
45 ダイジェスト生成部

Claims (15)

  1. メモリとプロセッサを備え、
    前記プロセッサは、
    利用者から入力された話の内容を話題毎に分割し、
    話題毎の関係性に応じて、前記内容を示した情報であって、第三者の表示画面に表示する要約情報の表示態様を切り替える
    情報処理装置。
  2. 前記プロセッサは、分割された話の内容毎に、第三者がアドバイスを行うべき内容が含まれるか否かを判定し、アドバイスを行うべき内容が含まれていると判定された話の内容における話題と、他の話の内容における話題との関係性に応じて、前記要約情報の表示態様を切り替える請求項1記載の情報処理装置。
  3. 前記プロセッサは、アドバイスを行うべき内容が含まれる話の内容における話題が現在進行中の話の中において初出の場合、アドバイスを行うべき内容が含まれる話の内容における話題の前後数行を要約情報として表示し、アドバイスを行うべき内容が含まれる話の内容における話題と同じ話題が現在進行中の話の中において過去にも存在する場合、同一の話題の要約情報を表示する請求項1又は2記載の情報処理装置。
  4. メモリとプロセッサを備え、
    前記プロセッサは、
    利用者と前記利用者とは別の人とが話をしている際に、前記話を遠隔で見ている第三者に対して、前記話の要約情報を表示するか否かを問い合わせ、前記問い合わせてから当該第三者からの指示が入力されるまでの経過時間に応じて、第三者の表示画面に表示する要約情報の表示態様を切り替える
    情報処理装置。
  5. 前記プロセッサは、
    前記経過時間に応じて、アドバイスを行うべき内容が含まれていると判定された話の内容の前後において表示する要約情報の量を変化させる請求項4記載の情報処理装置。
  6. 前記プロセッサは、前記経過時間が長いほど、表示する要約情報の量が多くなるようにする請求項5記載の情報処理装置。
  7. 前記プロセッサは、話の内容においてアドバイスを行うべき内容が含まれていることを第三者に通知する請求項1から6のいずれか記載の情報処理装置。
  8. 前記プロセッサは、
    第三者から指定された時間の範囲内となるように、アドバイスを行うべき内容が含まれている話の内容の前後における要約情報の量を変化させる請求項1から7のいずれか記載の情報処理装置。
  9. 前記プロセッサは、利用者から入力された話の内容に基づいて推定された当該利用者の思考に応じて、分割された話の内容毎に、第三者が話の進行上のアドバイスを行うべき内容が含まれているか否かを判定する請求項1から8のいずれか記載の情報処理装置。
  10. 前記プロセッサは、話の内容においてアドバイスを行うべき内容が含まれている箇所を、第三者の表示画面に表示する請求項9記載の情報処理装置。
  11. 前記プロセッサは、前記アドバイスを行うべき内容が含まれている箇所と共に、推定された利用者の思考を、第三者の表示画面に表示する請求項10記載の情報処理装置。
  12. 第三者のアドバイスを受け付ける受付手段を有し、
    前記プロセッサは、第三者からアドバイスを受け付けた場合に、利用者の表示画面に前記第三者からのアドバイスを表示する請求項1から11のいずれか記載の情報処理装置。
  13. 前記プロセッサは、前記第三者からのアドバイスと共に、話の内容においてアドバイスされた内容が含まれる箇所を利用者の表示画面に表示する請求項12記載の情報処理装置。
  14. 利用者から入力された話の内容を話題毎に分割するステップと、
    話題毎の関係性に応じて、前記内容を示した情報であって、第三者の表示画面に表示する要約情報の表示態様を切り替えるステップと、
    をコンピュータに実行させるためのプログラム。
  15. 利用者と前記利用者とは別の人とが話をしている際に、前記話を遠隔で見ている第三者に対して、前記話の要約情報を表示するか否かを問い合わせるステップと、
    前記問い合わせてから当該第三者からの指示が入力されるまでの経過時間に応じて、第三者の表示画面に表示する要約情報の表示態様を切り替えるステップと、
    をコンピュータに実行させるためのプログラム。
JP2020123486A 2020-07-20 2020-07-20 情報処理装置およびプログラム Pending JP2022020149A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020123486A JP2022020149A (ja) 2020-07-20 2020-07-20 情報処理装置およびプログラム
US17/173,624 US20220020366A1 (en) 2020-07-20 2021-02-11 Information processing apparatus and non-transitory computer readable medium
CN202110228118.XA CN113962212A (zh) 2020-07-20 2021-03-02 信息处理装置、信息处理方法和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020123486A JP2022020149A (ja) 2020-07-20 2020-07-20 情報処理装置およびプログラム

Publications (1)

Publication Number Publication Date
JP2022020149A true JP2022020149A (ja) 2022-02-01

Family

ID=79293545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020123486A Pending JP2022020149A (ja) 2020-07-20 2020-07-20 情報処理装置およびプログラム

Country Status (3)

Country Link
US (1) US20220020366A1 (ja)
JP (1) JP2022020149A (ja)
CN (1) CN113962212A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114722194B (zh) * 2022-03-15 2023-05-09 电子科技大学 一种基于摘要生成算法的突发事件时间序列自动构建方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8537980B2 (en) * 2009-03-27 2013-09-17 Verizon Patent And Licensing Inc. Conversation support
KR101909141B1 (ko) * 2012-07-27 2018-10-17 엘지전자 주식회사 전자기기 및 전자기기의 제어방법
US20180285312A1 (en) * 2014-03-04 2018-10-04 Google Inc. Methods, systems, and media for providing content based on a level of conversation and shared interests during a social event
US9412394B1 (en) * 2015-03-09 2016-08-09 Jigen Labs, LLC Interactive audio communication system
US10671428B2 (en) * 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) * 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
DK201670540A1 (en) * 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10726832B2 (en) * 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) * 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US10818288B2 (en) * 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
DK201970511A1 (en) * 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems

Also Published As

Publication number Publication date
US20220020366A1 (en) 2022-01-20
CN113962212A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
US10635392B2 (en) Method and system for providing interface controls based on voice commands
US10056095B2 (en) Emotion detection in voicemail
US10554590B2 (en) Personalized automated agent
US10242672B2 (en) Intelligent assistance in presentations
US20210084145A1 (en) Method for conversion and classification of data based on context
WO2007043566A1 (ja) 音声認識システムと音声認識方法およびプログラム
KR101615848B1 (ko) 유사상황 검색을 통한 대화 스티커 추천방법 및 컴퓨터 프로그램
JP6983118B2 (ja) 対話システムの制御方法、対話システム及びプログラム
US11763074B2 (en) Systems and methods for tool integration using cross channel digital forms
US20060190240A1 (en) Method and system for locating language expressions using context information
US20220109585A1 (en) Customized meeting notes
JP7132538B2 (ja) 検索結果表示装置、検索結果表示方法、及びプログラム
KR102253279B1 (ko) 인공지능을 사용하는 키오스크 기반 무인결제시스템 및 그 방법
CN111902831B (zh) 演示支援系统
CN111475632A (zh) 问句处理方法、装置、电子设备及存储介质
CA2488961C (en) Systems and methods for semantic stenography
JP6141483B1 (ja) 音声翻訳装置、音声翻訳方法、及び音声翻訳プログラム
US11947894B2 (en) Contextual real-time content highlighting on shared screens
JP2022020149A (ja) 情報処理装置およびプログラム
US20210165540A1 (en) Information processing device, information processing method, and program
US20210390958A1 (en) Method of generating speaker-labeled text
JP6353860B2 (ja) 音声翻訳装置、音声翻訳方法、及び音声翻訳プログラム
JP6884442B2 (ja) プレゼンテーション支援システム
JP2018163581A (ja) 音声翻訳装置、音声翻訳方法、及び音声翻訳プログラム
US20230334427A1 (en) Information processing system

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102