JP2023076003A - プログラム、情報処理システム及び情報処理方法 - Google Patents
プログラム、情報処理システム及び情報処理方法 Download PDFInfo
- Publication number
- JP2023076003A JP2023076003A JP2021189134A JP2021189134A JP2023076003A JP 2023076003 A JP2023076003 A JP 2023076003A JP 2021189134 A JP2021189134 A JP 2021189134A JP 2021189134 A JP2021189134 A JP 2021189134A JP 2023076003 A JP2023076003 A JP 2023076003A
- Authority
- JP
- Japan
- Prior art keywords
- call
- user
- information
- customer
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 48
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 161
- 238000004364 calculation method Methods 0.000 claims description 46
- 238000000605 extraction Methods 0.000 claims description 39
- 230000004044 response Effects 0.000 abstract description 156
- 230000008859 change Effects 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 153
- 230000008569 process Effects 0.000 description 143
- 230000008520 organization Effects 0.000 description 92
- 238000004458 analytical method Methods 0.000 description 68
- 238000010586 diagram Methods 0.000 description 33
- 238000004891 communication Methods 0.000 description 19
- 238000009826 distribution Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 10
- 239000000945 filler Substances 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 206010002953 Aphonia Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013518 transcription Methods 0.000 description 2
- 230000035897 transcription Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Business, Economics & Management (AREA)
- Acoustics & Sound (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Operations Research (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Machine Translation (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
特許文献1には、対話の内容から重要な文を抽出して要約を生成する技術が開示されている。特許文献2には、対話構造を利用して単語単位で対話テキストを読み易く訂正する要約技術が開示されている。特許文献3には、コールセンタにおいて、スーパバイザの監視業務の効率化と、オペレータの顧客への応対品質を向上させる技術が開示されている。
ユーザは、要約情報を確認することで、ユーザと顧客との間で行われた通話応対を短時間で正確に把握することができる。
図1は、情報処理システム1の全体の構成を示す図である。本開示における情報処理システム1は、本開示にかかる通話サービスを提供する情報処理システムである。情報処理システム1は、ユーザと顧客との間で行われる通話に関するサービスを提供するとともに、通話に関連するデータを記憶、管理するための情報処理システムである。
本開示における情報処理システム1を図1に示す。情報処理システム1は、ネットワークNを介して接続された、サーバ10、複数のユーザ端末20A、20B、20C、CRMシステム30、音声サーバ(PBX)40、および、音声サーバ(PBX)40に対して電話網Tを介して接続された顧客端末50A、50B、50Cを備えて構成されている。
図2は、サーバ10の機能構成を示すブロック図である。図3は、ユーザ端末20の機能構成を示すブロック図である。図4は、CRMシステム30の機能構成を示すブロック図である。図5は、顧客端末50の機能構成を示すブロック図である。
サーバ10のハードウェア構成が実現する機能構成を図2に示す。サーバ10は、記憶部101、制御部104を備える。
サーバ10の記憶部101は、アプリケーションプログラム1011、ユーザテーブル1012、組織テーブル1013、通話テーブル1014、音声認識テーブル1015、要約テーブル1016、応対メモテーブル1017を備える。
図6は、ユーザテーブル1012のデータ構造を示す図である。図7は、組織テーブル1013のデータ構造を示す図である。図8は、通話テーブル1014のデータ構造を示す図である。図9は、音声認識テーブル1015のデータ構造を示す図である。図10は、要約テーブル1016のデータ構造を示す図である。図11は、応対メモテーブル1017のデータ構造を示す図である。
CRMIDは、CRMシステム30において、ユーザを識別するための識別情報を記憶する項目である。ユーザはCRMIDによりCRMシステム30にログインすることにより、CRMサービスの提供を受けることができる。つまり、サーバ10におけるユーザIDと、CRMシステム30におけるCRMIDが紐付けられる。
組織IDは、ユーザが所属する組織の組織IDを記憶する項目である。
ユーザ名は、ユーザの氏名を記憶する項目である。
連携モードは、ユーザと顧客との間で行われる通話に関連するデータを外部のCRMシステムに記憶する際の設定項目(連携設定)を記憶する項目である。
本開示において、連携モードはユーザごとに記憶されるものとしたが、組織テーブルにおいて、組織、部署ごとに記憶しても良い。その場合、各ユーザに適用される連携モードは、組織テーブルに記憶された、組織、部署ごとの連携モードを参照して各ユーザに対して適用される。このとき、組織、部署に所属するユーザに対して一律の連携モードを適用することができる。
ユーザ属性は、ユーザの年齢、性別、出身地、方言、職種(営業、カスタマーサポートなど)などのユーザの属性に関する情報を記憶する項目である。
評価指標は、ユーザの通話応対スキルに対する定量的な評価指標を記憶する項目である。具体的に、評価指標は、ユーザの過去の音声データを解析することにより得られる後述する解析データの各指標(Talk:Listen比率、沈黙回数、被り回数、ラリー回数、基本周波数、抑揚の強弱、話速、フィラー数、トークスクリプト一致度など)に対して所定のアルゴリズムを適用することにより算定される数値である。
評価指標は、例えば、インサイドセールスなどの分野においては、ユーザごとの顧客応対スキルを定量的に表したものに相当し、評価指標が高いユーザほど高い営業成績が期待される。
組織名は、組織の名称を記憶する項目である。組織の名称は、会社名、法人名、企業グループ名、サークル名、各種団体名など任意の組織名、グループ名を含む。
組織属性は、組織種別(会社、企業グループ、その他団体など)、業種(不動産、金融など)などの組織の属性に関する情報を記憶する項目である。
ユーザIDは、ユーザと顧客との間で行われる通話において、ユーザのユーザID(ユーザ識別情報)を記憶する項目である。
顧客IDは、ユーザと顧客との間で行われる通話において、顧客の顧客ID(顧客識別情報)を記憶する項目である。
通話カテゴリは、ユーザと顧客との間で行われた通話の種類(カテゴリ)を記憶する項目である。通話データは、通話カテゴリにより分類される。通話カテゴリには、ユーザと顧客との間で行われる通話の目的などに応じて、テレフォンオペレーター、テレマーケティング、カスタマーサポート、テクニカルサポートなどの値が記憶される。
受発信種別は、ユーザと顧客との間で行われた通話が、ユーザが発信した(アウトバウンド)ものか、ユーザが受信した(インバウンド)もののいずれかを区別するための情報を記憶する項目である。
音声データは、ユーザと顧客との間で行われた通話の音声データを記憶する項目である。音声データの形式としては、mp4、wavなど各種音声データ形式を用いることができる。また、他の場所に配置された音声データファイルに対する参照情報(パス)を記憶するものとしても良い。
音声データは、ユーザの音声と顧客の音声とが、それぞれ独立して識別可能な識別子が設定された形式のデータであっても良い。この場合、サーバ10の制御部104は、ユーザの音声、顧客の音声に対してそれぞれ独立した解析処理を実行することができる。
本開示において、音声データに替えて、音声情報を含む動画データを用いても構わない。また、本開示における音声データは、動画データに含まれる音声データも含む概念である。
音声認識有無は、ユーザと顧客との間で行われた通話の音声データに対して音声認識処理が行われたか否かを判定するための情報を記憶する項目である。音声データに対し音声認識処理が行われている場合は、音声認識処理が行われていることを示す情報などが記憶される。音声データに対し音声認識処理が行われていない場合は、ブランク、ヌル、その他、音声認識処理が行われていないことを示す情報などが記憶される。
要約有無は、ユーザと顧客との間で行われた通話の音声データに対して要約処理が行われたか否かを判定するための情報を記憶する項目である。要約処理が行われている場合は、要約処理が行われていることを示す情報などが記憶される。要約処理が行われていない場合は、ブランク、ヌル、その他、要約処理が行われていないことを示す情報などが記憶される。
解析データは、ユーザと顧客との間で行われた通話の音声データの音声を解析して得られた解析データを記憶する項目である。解析データには、Talk:Listen比率、沈黙回数、被り回数、ラリー回数、基本周波数、抑揚の強弱、話速、フィラー数、トークスクリプト一致度などが含まれる。
テキストは、ユーザと顧客との間で行われた通話の音声データの音声が存在する区間(発話区間)ごとのテキスト認識結果のテキスト情報を記憶する項目である。具体的には、音声データの発話区間ごとの話者により発話された文章内容がテキストデータとして記憶される。
発話時刻は、発話区間の音声データ(区間音声データ)中の開始時刻を記憶する項目である。なお、発話時刻は、各発話区間の開始時刻、各発話区間の終了時刻、各発話区間の任意の間の時刻など各発話区間に関連した任意の時刻としても良い。
話者は、区間音声データの話者を識別するための情報が記憶される。具体的には、ユーザまたは顧客を識別するための情報である。なお、ユーザID、顧客IDなどの話者を識別するためのユーザ識別情報、顧客識別情報などが記憶されても良い。
テキストは、要約情報として抽出された音声認識情報のテキストを記憶する項目である。
発話時刻は、要約情報として抽出された音声認識情報の発話時刻を記憶する項目である。
話者は、要約情報として抽出された音声認識情報の話者を記憶する項目である。
通話IDは、応対メモが付与された通話データの通話ID(通話データ識別情報)を記憶する項目である。
付与者IDは、通話データに対して応対メモを付与したユーザのユーザIDを記憶する項目である。
メモ内容は、通話データに対して付与される応対メモの内容を記憶する項目である。メモ内容は、通常は文字列(テキスト)情報である。
メモ日時は、ユーザが通話データに対して応対メモを付与した日時を記憶する項目である。
サーバ10の制御部104は、ユーザ登録制御部1041、設定部1042、認識部1043、解析部1044、重要度算定部1045、要約部1046、学習部1047、応対メモ提案部1048、応対メモ付与部1049、スコア算定部1050、CRM記憶制御部1051、表示制御部1052を備える。制御部104は、記憶部101に記憶されたアプリケーションプログラム1011を実行することにより、各機能ユニットが実現される。
ユーザテーブル1012に記憶される、ユーザID、ユーザ名、ユーザ属性などの情報は、ユーザが任意の情報処理端末からサービス提供者が運営するウェブページなどを開き、所定の入力フォームにユーザID、ユーザ名、ユーザ属性を入力しサーバ10へ送信する。サーバ10のユーザ登録制御部1041は、受信したユーザID、ユーザ名、ユーザ属性をユーザテーブル1012の新しいレコードに記憶し、ユーザ登録が完了する。これにより、ユーザテーブル1012に記憶されたユーザはサービスを利用することができるようになる。
ユーザ登録制御部1041によるユーザ情報のユーザテーブル1012への登録に先立ち、サービス提供者は所定の審査を行いユーザによるサービス利用可否を制限しても良い。
ユーザIDは、ユーザを識別できる任意の文字列または数字で良く、ユーザが希望する任意の文字列または数字、もしくはサーバ10のユーザ登録制御部1041が自動的に任意の文字列または数字を設定しても良い。
ユーザ登録制御部1041は、ユーザ登録の際に、ユーザと紐付けて、ユーザが所属する組織の組織ID、組織名、組織属性などの情報を組織テーブル1013に記憶しても良い。ユーザが所属する組織の情報は、ユーザ自身が入力しても良いし、ユーザが所属する組織の管理者、本開示にかかるサービスの運営者などが登録するものとしても良い。
認識部1043は、音声認識処理を実行する。詳細は後述する。
解析部1044は、音声解析処理を実行する。詳細は後述する。
重要度算定部1045は、重要度算定処理を実行する。詳細は後述する。
要約部1046は、要約処理を実行する。詳細は後述する。
学習部1047は、学習処理を実行する。詳細は後述する。
応対メモ提案部1048は、応対メモ提案処理を実行する。詳細は後述する。
応対メモ付与部1049は、応対メモ付与処理を実行する。詳細は後述する。
スコア算定部1050は、スコア算定処理を実行する。詳細は後述する。
CRM記憶制御部1051は、CRM記憶処理を実行する。詳細は後述する。
表示制御部1052は、通話表示処理を実行する。詳細は後述する。
ユーザ端末20のハードウェア構成が実現する機能構成を図3に示す。ユーザ端末20は、記憶部201、制御部204、ユーザ端末20に接続された入力装置206、出力装置208を備える。入力装置206は、カメラ2061、マイク2062、位置情報センサ2063、モーションセンサ2064、キーボード2065、マウス2066を含む。出力装置208は、ディスプレイ2081、スピーカ2082を含む。
ユーザ端末20の記憶部201は、ユーザ端末20を利用するユーザを識別するためのユーザID2011、アプリケーションプログラム2012、CRMID2013を記憶する。
ユーザIDは、サーバ10に対するユーザのアカウントIDである。ユーザは、ユーザ端末20からユーザID2011を、サーバ10へ送信する。サーバ10は、ユーザID2011に基づきユーザを識別し、本開示にかかるサービスをユーザに対して提供する。なお、ユーザIDには、ユーザ端末20を利用しているユーザを識別するにあたりサーバ10から一時的に付与されるセッションIDなどの情報を含む。
CRMIDは、CRMシステム30に対するユーザのアカウントIDである。ユーザは、ユーザ端末20からCRMID2013を、CRMシステム30へ送信する。CRMシステム30は、CRMID2013に基づきユーザを識別し、CRMサービスをユーザに対して提供する。なお、CRMID2013には、ユーザ端末20を利用しているユーザを識別するにあたりCRMシステム30から一時的に付与されるセッションIDなどの情報を含む。
アプリケーションプログラム2012は、記憶部201に予め記憶されていても良いし、通信IFを介してサービス提供者が運営するウェブサーバ等からダウンロードする構成としても良い。アプリケーションプログラム2012は、ユーザ端末20に記憶されているウェブブラウザアプリケーション上で実行されるJavaScript(登録商標)などのインタープリター型プログラミング言語を含む。
ユーザ端末20の制御部204は、入力制御部2041および出力制御部2042を備える。制御部204は、記憶部201に記憶されたアプリケーションプログラム2012を実行することにより、入力制御部2041、出力制御部2042の機能ユニットが実現される。
ユーザ端末20の入力制御部2041は、ユーザ端末20に接続されたカメラ2061、マイク2062、位置情報センサ2063、モーションセンサ2064、キーボード2065、マウス2066などの入力装置から出力される情報を取得し各種処理を実行する。ユーザ端末20の入力制御部2041は、入力装置206から取得した情報をユーザID2011とともにサーバ10へ送信する処理を実行する。同様に、ユーザ端末20の入力制御部2041は、入力装置206から取得した情報をCRMID2013とともにCRMシステム30へ送信する処理を実行する。
ユーザ端末20の出力制御部2042は、入力装置206に対するユーザによる操作およびサーバ10、CRMシステム30から情報を受信し、ユーザ端末20に接続されたディスプレイ2081の表示内容、スピーカ2082の音声出力内容の制御処理を実行する。
CRMシステム30のハードウェア構成が実現する機能構成を図4に示す。CRMシステム30は、記憶部301、制御部304を備える。
ユーザは、別途CRM事業者とも契約を締結しており、ユーザごとに設定されたCRMID2013を用いてCRM事業者が運営するウェブサイトへウェブブラウザなどを介してアクセス(ログイン)することにより、CRMサービスの提供を受ける事ができる。
CRMシステム30の記憶部301は、顧客テーブル3012、応対履歴テーブル3013を備える。
図12は、顧客テーブル3012のデータ構造を示す図である。図13は、応対履歴テーブル3013のデータ構造を示す図である。
ユーザIDは、顧客に紐付けられたユーザのユーザID(ユーザ識別情報)を記憶する項目である。ユーザは、自身のユーザIDに紐付けられた顧客を一覧表示したり、顧客に対して発信(架電)することができる。
本開示において、顧客はユーザに対して紐付けられるものとしたが、組織(組織テーブル1013の組織ID)に対して紐付けても良い。その場合、組織に所属するユーザは、自身の組織IDに紐付けられた顧客を一覧表示したり、顧客に対して発信することができる。
氏名は、顧客の氏名を記憶する項目である。
電話番号は、顧客の電話番号を記憶する項目である。
ユーザは、CRMシステムが提供するウェブサイトにアクセスし、電話を発信したい顧客を選択し「発信」などの所定の操作を行なうことにより、ユーザ端末20から顧客の電話番号に対して電話を発信することができる。
顧客属性は、顧客の年齢、性別、出身地、方言、職種(営業、カスタマーサポートなど)などの顧客の属性に関する情報を記憶する項目である。
顧客組織名は、顧客の所属する組織の名称を記憶する項目である。組織の名称は、会社名、法人名、企業グループ名、サークル名、各種団体名など任意の組織名、グループ名を含む。
顧客組織属性は、顧客の組織種別(会社、企業グループ、その他団体など)、業種(不動産、金融など)などの組織の属性に関する情報を記憶する項目である。
顧客属性、顧客組織名、顧客組織属性は、ユーザが入力することにより記憶する構成としても良いし、所定のウェブサイトへ顧客がアクセスすることにより、顧客に入力させても良い。
応対履歴IDは、応対履歴を識別するための応対履歴識別情報を記憶する項目である。
通話IDは、応対履歴に関する通話データの通話ID(通話データ識別情報)を記憶する項目である。これにより、CRMシステムにおける応対履歴は、サーバ10の通話データと紐付けられる。
URLは、通話IDを一意に特定する文字列を含むURL(Uniform Resource Locator)情報である。URLには通話IDが直接含まれていても良いし、通話IDを復号可能な文字列、その他、不図示のテーブルを参照して通話IDを取得できる特定の文字列が含まれていても良い。ユーザは、ユーザ端末20のブラウザを操作し、URLを開くことにより、サーバ10にアクセスし応対履歴に関する通話データの解析データを可視化した解析結果画面を確認することができる。
顧客IDは、応対履歴に関する顧客の顧客ID(顧客識別情報)を記憶する項目である。
ユーザIDは、応対履歴に関するユーザのユーザID(ユーザ識別情報)を記憶する項目である。
ダイアル日時は、応対履歴に関して、ユーザが顧客に対して発信を行った日時を記憶する項目である。
通話開始日時は、応対履歴に関して、ユーザと顧客との間で行われた通話の開始日時を記憶する項目である。
通話終了日時は、応対履歴に関して、ユーザと顧客との間で行われた通話の終了日時を記憶する項目である。
コメントは、応対履歴に関して、メモ、コメントなどのテキスト情報を記憶する項目である。ユーザは、応対履歴に関して気づいた事項、申し送り事項などをコメントに事由に編集することができる。また、サーバ10の制御部104は、CRMシステム30のAPI(Application Programming Interface)へ所定のリクエストを送信することにより、コメントを自由に編集することができる。
CRMシステム30の制御部304は、ユーザ登録制御部3041を備える。制御部304は、記憶部301に記憶されたアプリケーションプログラム3011を実行することにより、各機能ユニットが実現される。
音声サーバ(PBX)40は、ユーザから顧客に対する発信があった場合に、顧客端末50に対し発信(呼出し)を行う。
音声サーバ(PBX)40は、顧客からユーザに対する発信があった場合に、ユーザ端末20に対し、その旨を示すメッセージ(以下、「着信通知メッセージ」と呼ぶ)を送る。また、音声サーバ(PBX)40は、サーバ10が提供するビーコン、SDK、APIなどに着信通知メッセージを送ることができる。
顧客端末50のハードウェア構成が実現する機能構成を図5に示す。顧客端末50は、記憶部501、制御部504、タッチパネル506、タッチセンシティブデバイス5061、ディスプレイ5062、マイク5081、スピーカ5082、位置情報センサ5083、カメラ5084、モーションセンサ5085を備える。
顧客端末50の記憶部501は、顧客端末50を利用する顧客の電話番号5011、アプリケーションプログラム5012を記憶する。
アプリケーションプログラム5012は、記憶部501に予め記憶されていても良いし、通信IFを介してサービス提供者が運営するウェブサーバ等からダウンロードする構成としても良い。アプリケーションプログラム5012は、顧客端末50に記憶されているウェブブラウザアプリケーション上で実行されるJavaScript(登録商標)などのインタープリター型プログラミング言語を含む。
顧客端末50の制御部504は、入力制御部5041および出力制御部5042を備える。制御部504は、記憶部501に記憶されたアプリケーションプログラム5012を実行することにより、入力制御部5041、出力制御部5042の機能ユニットが実現される。
顧客端末50の入力制御部5041は、ユーザによるタッチパネル506のタッチセンシティブデバイス5061への操作内容、マイク5081への音声入力、位置情報センサ5083、カメラ5084、モーションセンサ5085などの入力装置から出力される情報を取得し各種処理を実行する。
顧客端末50の出力制御部5042は、入力装置に対するユーザによる操作およびサーバ10から情報を受信し、ディスプレイ5062の表示内容、スピーカ5082の音声出力内容などの制御処理を実行する。
以下、情報処理システム1の各処理について説明する。
図14は、要約処理(第一実施例)の動作を示すフローチャートである。
図15は、要約処理(第二実施例)の動作を示すフローチャートである。
図16は、応対メモ付与処理の動作を示すフローチャートである。
図17は、応対メモ提案処理の動作を示すフローチャートである。
図18は、スコア算定処理の動作を示すフローチャートである。
図19は、CRM記憶処理の動作を示すフローチャートである。
図20は、通話表示処理の動作を示すフローチャートである。
図21は、要約処理(第一実施例)におけるバインディング処理の概要を示した図である。
図22は、要約処理(第二実施例)における追加抽出処理の概要を示した図である。
図23は、要約表示処理の概要を示した図である。
図24は、通話表示処理におけるCRMサービスの画面例を示した図である。
情報処理システム1の各処理について説明するにあたり、用語を以下の通り定義する。
通話データは、ユーザと顧客との間で行われる通話に関するデータであり、通話テーブル1014の各項目に記憶されたデータ、通話IDにより紐づけられた音声認識テーブル1015の各項目に記憶されたデータ、通話IDにより紐づけられた要約テーブル1016の各項目に記憶されたデータなどを含むデータである。通話IDにより紐づけられた応対メモテーブル1017、応対履歴テーブル3013の各項目に記憶されたデータなどを含むデータである。
通話属性は、ユーザと顧客との間で行われる通話の属性に関するデータであり、ユーザ属性、ユーザの所属する組織の組織名または組織属性、顧客属性、顧客の所属する組織の組織名または組織属性、通話カテゴリ、受発信者種別などを含む。つまり、通話データは、通話を行なうユーザのユーザ属性、通話を行なう顧客の顧客属性、通話の通話カテゴリ、受発信者種別などの属性値により特徴づけられることになる。
発信処理は、ユーザから顧客に対し発信(架電)する処理である。
発信処理は、ユーザはユーザ端末20の画面に表示された複数の顧客のうち発信を希望する顧客を選択し、発信操作を行うことにより、顧客に対して発信を行なう一連の処理である。
ユーザから顧客に発信する場合における情報処理システム1の発信処理について説明する。
具体的に、ユーザ端末20は、CRMID2013および顧客を一覧表示する旨のリクエストをCRMシステム30へ送信する。CRMシステム30は、リクエストを受信すると、顧客テーブル3012を検索し、顧客ID、氏名、電話番号、顧客属性、顧客組織名、顧客組織属性などのユーザの顧客に関する情報をユーザ端末20に送信する。ユーザ端末20は、受信した顧客に関する情報をユーザ端末20のディスプレイ2081に表示する。
これにより、ユーザと顧客は、それぞれユーザ端末20、顧客端末50を用いて通話可能状態となり、ユーザと顧客との間で通話することができるようになる。具体的には、ユーザ端末20のマイク2062により集音されたユーザの音声は、顧客端末50のスピーカ5082から出力される。同様に、顧客端末50のマイク5081から集音された顧客の音声は、ユーザ端末20のスピーカ2082から出力される。
着信処理は、ユーザが顧客から着信(受電)する処理である。
着信処理は、ユーザがユーザ端末20においてアプリケーションを立ち上げている場合に、顧客がユーザに対して発信した場合に、ユーザが着信する一連の処理である。
ユーザが顧客から着信(受電)する場合における情報処理システム1の着信処理について説明する。
これに伴い、ユーザ端末20は、スピーカ2082などを制御し音声サーバ(PBX)40により着信が行われている旨を示す鳴動を行う。ユーザ端末20のディスプレイ2081は、音声サーバ(PBX)40により顧客から着信があること旨を示す情報を表示する。例えば、ユーザ端末20のディスプレイ2081は、「着信中」という文字を表示してもよい。
ユーザ端末20は、応答操作を受付けると、音声サーバ(PBX)40に対し、CRMシステム30、サーバ10を介して応答リクエストを送信する。音声サーバ(PBX)40は、送信されてきた応答リクエストを受信し、音声通信を確立する。これにより、ユーザ端末20は、顧客端末50と通話可能状態となる。
ユーザ端末20のディスプレイ2081は、通話が行われていることを示す情報を表示する。例えば、ユーザ端末20のディスプレイ2081は、「通話中」という文字を表示してもよい。
通話記憶処理は、ユーザと顧客との間で行われる通話に関するデータを記憶する処理である。
通話記憶処理は、ユーザと顧客との間で通話が開始された場合に、通話に関するデータを通話テーブル1014に記憶する一連の処理である。
ユーザと顧客との間で通話が開始されると、音声サーバ(PBX)40は、ユーザと顧客との間で行われる通話に関する音声データを録音し、サーバ10へ送信する。サーバ10の制御部104は、音声データを受信すると、通話テーブル1014に新たなレコードを作成し、ユーザと顧客との間で行われる通話に関するデータを記憶する。具体的に、サーバ10の制御部104は、ユーザID、顧客ID、通話カテゴリ、受発信種別、音声データの内容を通話テーブル1014に記憶する。
サーバ10の制御部104は、発信処理または着信処理において電話番号に基づきCRMシステム30へ問い合わせを行なう。CRMシステム30は、顧客テーブル3012を電話番号により検索することにより、顧客IDを取得し、サーバ10へ送信する。サーバ10の制御部104は、取得した顧客IDを新たなレコードの顧客IDの項目に記憶する。
サーバ10の制御部104は、予めユーザまたは顧客ごとに設定された通話カテゴリの値を、新たなレコードの通話カテゴリの項目に記憶する。なお、通話カテゴリは、通話ごとにユーザが値を選択したり入力することにより記憶しても良い。
サーバ10の制御部104は、行われている通話がユーザにより発信したものか、顧客から発信されたものかを識別し、新たなレコードの受発信種別の項目にアウトバウンド(ユーザから発信)、インバウンド(顧客から発信)のいずれかの値を記憶する。
サーバ10の制御部104は、音声サーバ(PBX)40から受信する音声データを、新たなレコードの音声データの項目に記憶する。なお、音声データは他の場所に音声データファイルとして記憶し、通話終了後に、音声データファイルに対する参照情報(パス)を記憶するものとしても良い。また、サーバ10の制御部104は、通話終了後にデータを記憶する構成としても良い。
音声認識処理は、ユーザと顧客との間で行われた通話の音声データに対してテキスト認識を行うことによりテキスト情報に変換し記憶する処理である。
音声認識処理は、通話テーブル1014に記憶された音声データを音声が存在する区間(発話区間)ごとに分割し区間音声データを抽出する。それぞれの区間音声データに対してテキスト認識を行なうことにより音声認識情報を生成し、音声認識テーブル1015に記憶する一連の処理である。
サーバ10の認識部1043は、通話テーブル1014において通話記憶処理が行われたものの、音声認識処理が行われていないレコードを検索する。具体的には、サーバ10の認識部1043は、通話テーブル1014から、音声認識有無の項目にブランク、ヌル、その他、音声認識処理が行われていないことを示す情報などが記憶されているレコードを検索する。なお、サーバ10の認識部1043は、通話テーブル1014に音声データが記憶されているものの、音声認識テーブル1015に通話IDが存在しないレコードを音声認識処理が行われていないレコードと判定しても良い。
サーバ10の認識部1043は、抽出された区間音声データに対してテキスト認識を行うことにより、区間音声データを文字(テキスト)に変換する(文字に起こす)。なお、テキスト認識の具体的手法は特に限定されない。例えば信号処理技術、AI(人工知能)を利用した機械学習や深層学習によって変換してもよい。
なお、音声認識処理の際に、予めテキストに含まれるフィラーなどのユーザと顧客との間で行われた通話を把握する上で無意味な情報をテキストから除外して、音声認識情報を音声認識テーブル1015に記憶する構成としても良い。
音声解析処理は、ユーザと顧客との間で行われた通話の音声データを解析し解析データを生成し、記憶する処理である。
音声解析処理は、通話テーブル1014に記憶された音声データに対して、音声解析処理を実行することにより、解析データを生成し、通話テーブル1014に記憶する一連の処理である。
サーバ10の解析部1044は、通話テーブル1014において通話記憶処理が行われたものの、音声解析処理が行われていないレコードを検索する。具体的には、サーバ10の解析部1044は、通話テーブル1014から、音声データが記憶されているものの、解析データが記憶されていないレコードを検索する。解析データが記憶されていないとは、解析データの項目がブランク、ヌル、その他、記憶されていないことを示す情報などが記憶されていることを示す。
その他、不図示のカラムに音声解析処理の対象である旨を示す情報を記憶し、当該情報が記憶されているレコードを音声解析処理の対象としても良い。
沈黙回数は、通話において沈黙が生じた回数である。被り回数は、通話において被りが生じた回数である。
ラリー回数は、通話においてユーザと顧客との間で応対が行われた回数(会話が切り替わった回数)である。
基本周波数は、ユーザ、顧客ごとに定義され、ユーザまたは顧客の音声の基本周波数、つまり声の高さに相当する情報である。
抑揚の強弱は、ユーザ、顧客ごとに定義され、ユーザまたは顧客の抑揚の大きさを定量的に評価した情報である。
話速は、ユーザ、顧客ごとに定義され、ユーザまたは顧客の話すスピードである。話速は、例えば、1秒間のうちに発せられた文字数(または単語数)で示される。
話速比は、ユーザおよび顧客の話速の比に関する情報である。具体的には、ユーザの話速から顧客の話速を割った数値として示される。例えば、値が大きいほどユーザは顧客に比べて話速が速いことになる。
フィラー数は、音声認識データの文中のフィラー(例えばえー、あのー、などの言い淀み)の検出数である。フィラー数は、ユーザ、顧客ごとに定義されても良い。
トークスクリプト一致度は、ユーザまたはユーザの所属する組織ごとに設定されたトークスクリプトと、音声認識データから検出されたユーザの発話内容との一致度に関する情報である。
要約処理(第一実施例)は、音声認識情報から要約情報を生成し記憶する処理である。以下、要約処理(第一実施例)の詳細を図14のフローチャートを用いて説明する。
要約処理(第一実施例)は、音声認識テーブル1015に記憶された音声認識情報を取得し、音声認識情報に含まれるテキストを発話時刻の順番に並べた場合に、話者が変化する前後のテキストをテキスト群としてバインディングするバインディング処理を実行し、バインディング処理後のテキスト及びテキスト群に対して重要度を算定し、当該重要度に基づき要約文書に用いるテキストを抽出し、要約文書を生成しサーバ10およびCRMシステム30に記憶する一連の処理である。
サーバ10の要約部1046は、定期的に要約処理(第一実施例)を自動的に実行する。
ステップS101において、サーバ10の要約部1046は、定期的に要約処理(第一実施例)を開始する。なお、サーバ10の要約部1046は、ユーザと顧客との間の通話の終了を検知して、要約処理(第一実施例)を開始するものとしても良い。
ユーザと顧客との間の通話が終了した後、音声認識処理が完了するまでの間は、通話テーブル1014の該当レコードの音声認識有無の項目には、音声認識処理が完了したことを示す情報が記憶されていないため、サーバ10の要約部は、ステップS102にて待機する(ステップS102のNo)。
サーバ10の要約部1046は、要約処理(第一実施例)が行われていないレコードが見つかると、当該レコードを取得しステップS104に進む(ステップS102のYes)。
3者以上の会話においても、話者情報が変化する前後の複数のテキストをまとめたテキスト群を生成するものとしても良い。
本開示においては、LexRankとよばれるアルゴリズムによる重要度の算定手法を一例として説明する。LexRankにおいては、複数の入力文章を対象として、それぞれの入力文章を形態素解析により単語ごとに分割し、各文章ごとの類似度(例えば、コサイン類似度)を算定し、文章間の類似度に基づくグラフ構造を算定し、グラフ構造に基づき各文章ごとの重要度を算定するアルゴリズムである。
具体的には、サーバ10の重要度算定部1045は、テキストおよびテキスト群のそれぞれを1つの入力文章として、LexRankを適用することにより、テキストおよびテキスト群ごとに重要度を算定する。
重要度算定処理(第一実施例)において、サーバ10の重要度算定部1045は、テキスト群に含まれる複数のテキストを結合したテキストを1つの文章として扱いLexRankを適用する。例えば、C4「田口様いらっしゃいますでしょうか。」と、U5「田口ですね。」を結合した、「田口様いらっしゃいますでしょうか。田口ですね。」を1つの文章としてLexRankを適用し重要度を算定する。
重要度算定処理(第二実施例)において、サーバ10の重要度算定部1045は、テキスト群に含まれる複数のテキストのそれぞれを独立した文章としてLexRankを適用する。サーバ10の重要度算定部1045は、独立した文章に対して算定された重要度の和をテキスト群の重要度とする処理を実行する。
例えば、サーバ10の重要度算定部1045は、テキスト群に含まれるC4、U5のそれぞれの文章に対してLexRankを適用し、C4、U5のそれぞれに対して重要度を算定する。その後、サーバ10の重要度算定部1045は、C4の重要度と、U5の重要度の和をテキスト群の重要度とする処理を実行する。
なお、独立した文章に対して算定された重要度に対して統計処理を行なった統計値(平均値、中央値、最頻値、最大値、最小値など)をテキスト群の重要度としても良い。具体的には、独立した文章に対して算定された重要度の平均、最大値などがテキスト群の重要度として好適である。
CRMシステム30は、リクエストを受信すると、リクエストに含まれる通話IDから応対履歴テーブル3013を検索し、当該通話IDを有するレコードのコメントの項目に、受信した要約テキストを記憶する。
要約処理(第二実施例)は、音声認識情報から要約情報を生成し記憶する処理の第二の実施形態である。以下、要約処理(第二実施例)の詳細を図15のフローチャートを用いて説明する。
要約処理(第二実施例)は、音声認識テーブル1015に記憶された音声認識情報を取得し、音声認識情報に含まれるテキストに対して重要度を算定し、当該重要度に基づき要約文書に用いるテキストを抽出する。音声認識情報に含まれるテキストを発話時刻の順番に並べた場合に、抽出したテキストに対して話者が変化する前後のテキストを要約文書に用いるテキストとして抽出し、要約文書を生成しサーバ10およびCRMシステム30に記憶する一連の処理である。
ステップS201からステップS204までの処理は、要約処理(第一実施例)のステップS101からステップS104までの処理と同様であるため説明を省略する。
サーバ10の重要度算定部1045は、取得した音声認識情報に含まれるテキストを1つの文章として扱いLexRankを適用する。図22は、要約処理(第二実施例)における追加抽出処理の概要を示した図であり、話者ごとのテキストを発話時刻の順番に下方向に並べたものである。図22の事例では、U1からU8、C1からC6のテキストすべてに対してそれぞれ重要度が算定される。
例えば、テキストU5が抽出された場合に、話者が異なり発話時刻において前後するテキストC4を追加抽出する。
3者以上の会話においても、話者情報が変化する前後の複数のテキストを追加抽出しても良い。
要約処理(第一実施例)、要約処理(第二実施例)において、サーバ10の重要度算定部1045は、テキストの重要度算定にあたり、テキストに含まれるフィラーなどのユーザと顧客との間で行われた通話を把握する上で無意味な情報を除外して、重要度の算定を行っても良い。
同様に、要約処理(第一実施例)、要約処理(第二実施例)の際に、予めテキストに含まれるフィラーなどのユーザと顧客との間で行われた通話を把握する上で無意味な情報をテキストから除外して、要約情報を要約テーブル1016に記憶する構成としても良い。
要約表示処理は、要約情報を要約文書としてユーザに対して表示する処理である。以下、要約表示処理の詳細を図23の画面例を用いて説明する。
要約表示処理は、要約テーブル1016に記憶された要約情報を取得し、要約情報に含まれるテキストを話者ごとに異なる色の吹き出しに格納し、発話時刻の順番に並べ、要約文書としてユーザ端末20のディスプレイ2081に表示する一連の処理である。
ユーザは、サーバ10へログインし所定の操作を行なうことにより、自身または自身が所属する組織の同僚などが過去に顧客と行なった通話履歴を一覧表示するためのリクエストをサーバ10へ送信する。サーバ10は、リクエストを受信すると、通話テーブル1014を照会し過去の通話履歴のレコードをユーザ端末20へ送信する。ユーザ端末20は、受信した過去の通話履歴のレコードをユーザ端末20のディスプレイ2081に一覧表示する。
サーバ10は、リクエストを受信すると、通話IDに基づき要約テーブル1016を検索し、当該通話IDに関する要約情報をユーザ端末20へ送信する。
ユーザ端末20の表示制御部1052は、取得した要約情報に含まれる、テキスト、発話時刻、話者の情報に基づき、要約表示画面70の上部から、発話時刻順に、話者がユーザであるテキストをユーザの発話内容を表示する吹き出し702に、話者が顧客であるテキストを顧客の発話内容を表示する吹き出し712に区別できる態様で一覧表示させる。
音声認識表示処理は、音声認識情報を音声認識文書としてユーザに対して表示する処理である。
音声認識表示処理は、音声認識テーブル1015に記憶された音声認識情報を取得し、音声認識情報に含まれるテキストを話者ごとに異なる色の吹き出しに格納し、発話時刻の順番に並べ、音声認識文書としてユーザ端末20のディスプレイ2081に表示する一連の処理である。
音声認識表示処理は、要約表示処理において、要約情報に替えて音声認識情報を用いる、即ち、要約テーブル1016に替えて音声認識テーブル1015を用いるのみで処理内容は同一であるため説明を省略する。音声認識表示処理においては、図23と略同一な音声認識表示画面に、音声認識情報が話者ごとに区別可能な態様で吹き出し形式で一覧表示される。
音声認識表示処理において、ユーザの発話内容を表示する吹き出しの色は、顧客の発話内容を表示する吹き出しの色と異なっている。これにより、ユーザが音声認識文書を確認するときに、発話内容の話者を視覚的に確認することができる。また、発話内容を表示する吹き出しの色は、要約処理(第一実施例)、要約処理(第二実施例)において算定された発話内容が含むテキストの重要度に基づき、色の明度、色相、彩度、濃さの少なくともいずれか1つを変化させて表示させても良い。例えば、重要度が高いテキストを含む吹き出しほど色を濃くしても良い。これにより、ユーザが音声認識文書を確認するときに、発話内容ごとの重要度を視覚的に確認することができ、短時間で文章内容を理解することができる。つまり、ユーザが、ユーザと顧客との間で行われた通話の音声認識情報をすべて確認する場合においても、重要な発話内容のみを視覚的に直感的に把握することができる。
応対メモ付与処理は、ユーザと顧客との間で行われる通話に対して応対メモを自動的に付与する処理である。以下、応対メモ付与処理の詳細を図16のフローチャートを用いて説明する。
応対メモ付与処理は、ユーザと顧客との間で行われる通話に関する音声データを取得し、音声データに対して学習モデルを適用することにより応対メモ候補を推論し、推論された応対メモ候補を当該通話に関連する通話データに紐づけて記憶する一連の処理である。
ステップS301において、サーバ10の応対メモ付与部1049は、ユーザと顧客との間の通話の終了を検知して、応対メモ付与処理を開始する。
具体的には、サーバ10の応対メモ付与部1049は、処理対象となる通話の通話IDに基づき、通話テーブル1014を検索し、通話カテゴリ、受発信種別を取得する。
サーバ10の応対メモ付与部1049は、処理対象となる通話のユーザIDに基づき、ユーザテーブル1012を検索し、ユーザ属性を取得する。サーバ10の応対メモ付与部1049は、通話のユーザIDに基づき、ユーザテーブル1012に記憶された組織IDから、組織テーブル1013を検索し、ユーザが所属する組織の組織名、組織属性を取得する。
サーバ10の応対メモ付与部1049は、処理対象となる通話の顧客IDに基づき、CRMシステム30へ問い合わせを行い、CRMシステム30の顧客テーブル3012から顧客属性、顧客組織名、顧客組織属性を取得する。
サーバ10の応対メモ付与部1049は、すべての通話属性を取得する必要はなく、必要に応じて複数の通話属性のうち少なくとも1つの通話属性を取得すれば良い。
学習モデルは、任意の機械学習、深層学習モデルなどを含み、通話属性に応じて作成されたデータセットにより学習されている。学習処理の詳細は後述する。
本開示においては、深層学習モデルを学習モデルの一例として説明する。深層学習モデルは、RNN(Recurrent Neural Network)、LSTM(Long Short Term Memory)、GRU(Gated Recurrent Unit)など、任意の時系列データを入力データとする深層学習モデルであればどのような学習モデルであっても構わない。学習モデルは、例えば、Attention、Transformerなどを含む任意の深層学習モデルを含む。
具体的には、応対メモ「AAA」、「BBB」、「CCC」などに対して、それぞれ「0.6」、「0.3」、「0.1」などの確率分布が出力される。確率分布はソフトマックス関数などで正規化されていても良いし、正規化されていなくても構わない。
なお、サーバ10の応対メモ付与部1049は、出力された応対メモ候補のうち、確率が所定値以上の複数の応対メモ候補を、応対メモテーブル1017のメモ内容の項目に記憶しても良い。
ステップS303において、サーバ10の応対メモ付与部1049は、複数の異なる通話属性に基づき、複数の学習モデルを選択しても良い。例えば、サーバ10の応対メモ付与部1049は、ユーザ属性ごとに用意された第1の学習モデル、顧客属性ごとに用意された第2の学習モデルを選択しても良い。このとき、サーバ10の応対メモ付与部1049は、任意の複数個の通話属性に基づき、複数の学習モデルを選択するものとしても良い。
サーバ10の応対メモ付与部1049は、複数の応対メモ候補の確率分布に対して任意の演算を適用することにより、応対メモ候補ごとの確率分布を算定しても良い。例えば、複数の応対メモ候補の確率分布に対して和や積をとったものを、出力する応対メモ候補ごとの確率分布としても良い。
具体的には、応対メモ「AAA」、「BBB」、「CCC」などに対して、第1の学習モデルに対する確率分布の推論結果が「0.6」、「0.3」、「0.1」、第2の学習モデルに対する確率分布の推論結果が「0.3」、「0.4」、「0.1」である場合において、それらの積である「0.18」、「0.12」、「0.01」を、応対メモ「AAA」、「BBB」、「CCC」の確率分布としても良い。確率分布はソフトマックス関数などで正規化されていても良いし、正規化されていなくても構わない。
応対メモ提案処理は、ユーザと顧客との間で行われる通話において、ユーザに対して応対メモ候補を提案する処理である。以下、応対メモ付与処理の詳細を図17のフローチャートを用いて説明する。
応対メモ提案処理は、ユーザと顧客との間で行われる通話に関する音声データを取得し、音声データに対して学習モデルを適用することにより応対メモ候補を推論し、推論された応対メモ候補をユーザに対して提案し、ユーザが選択した応対メモ候補を当該通話に関連する通話データに紐づけて記憶する一連の処理である。
ステップS401からステップS404までの処理は、応対メモ付与処理のステップS301からステップS304までの処理と同様であるため説明を省略する。
このとき、ユーザ端末20は、応対メモ候補ごとの確率を応対メモ候補の優先順位として、優先順位が高い応対メモ候補ほど、ユーザ端末20のディスプレイ2081のユーザが選択しやすい位置に表示しても良い。例えば、優先順位が高い応対メモ候補をリストの上位に表示させたり、複数の応対メモ候補をカルーセルまたはページ送りにより表示する場合にはより先頭のページに表示させることが考えられる。
つまり、ユーザ端末20は、確率が高い応対メモ候補を、ユーザ端末20のディスプレイ2081のユーザが選択しやすい位置に表示する。これにより、ユーザは、複数の応対メモからより確からしい応対メモを、より正確に簡単に選択することができる。
学習処理は、応対メモ付与処理、応対メモ提案処理などで利用する学習モデルを構築する処理である。
学習処理は、通話に関する通話属性ごとに、ユーザと顧客との間で行われた通話に関する音声データを入力データ、当該音声データに紐付けられたメモ内容を出力データ(出力ベクトル)として学習モデルのパラメータを学習させるための処理である。
サーバ10の学習部1047は、通話テーブル1014を検索し、音声データおよび、通話IDを介して応対メモテーブル1017を参照することで音声データに紐付けられたメモ内容を取得する。サーバ10の学習部1047は、音声データを通話属性ごとに分割し、通話属性ごとに訓練データ、テストデータ、検証データなどのデータセットを作成する。
サーバ10の学習部1047は、通話属性ごとに用意した学習モデルに対し、それぞれの通話属性に応じたデータセットを用いることで、学習モデルのパラメータを学習させる。
一例として、サーバ10の学習部1047は、通話を行う顧客に関する職種、顧客の所属組織の業種、顧客の所属組織の名称の何れか1つの顧客属性に関する情報ごとにデータセットを作成しても良い、
一例として、サーバ10の学習部1047は、テレフォンオペレータ、テレマーケティング、カスタマーサポート、テクニカルサポートなどの行われた通話の通話カテゴリに関する情報ごとにデータセットを作成しても良い。
一例として、サーバ10の学習部1047は、ユーザから顧客に対して発信されたアウトバウンド、顧客からユーザが受信したインバウンドのいずれかに関する情報ごとにデータセットを作成しても良い。
ユーザ属性に応じた学習モデルは、ユーザの発話内容のみに基づき学習させることにより、より正確に応対メモを推論することができる学習モデルを得ることができる。
顧客属性に応じた学習モデルは、顧客の発話内容のみに基づき学習させることにより、より正確に応対メモを推論することができる学習モデルを得ることができる。
本開示においては、学習モデルの入力データを音声データとしたが、音声データに対して任意の情報処理を行うことにより変換されたデータを入力データとしても良い。例えば、音声データに替えて当該音声データに対してテキスト認識を行うこと(テキスト起こし)により得られたテキストデータを入力データとしても良い。また、テキストデータに対して、任意の情報処理を行うことにより変換されたデータを入力データとしても良い。本開示における、学習モデルに音声データを適用することとは、そのように、ある音声データに対して任意の情報処理を行うことにより変換されたデータに対して学習モデルを適用することも含む。
この場合、応対メモ付与処理、応対メモ提案処理などの学習モデルにおける応対メモ候補を推論する際に、入力データである音声データに対して同様の情報処理を行い学習モデルを適用すれば良い。例えば、応対メモ付与処理、応対メモ提案処理などの学習モデルにおける応対メモ候補を推論する際に、音声データに替えて当該音声データに対してテキスト認識を行うこと(テキスト起こし)により得られたテキストデータを入力データとすれば良い。
スコア算定処理は、ユーザごとの通話スコアを算定する処理である。以下、スコア算定処理の詳細を図18のフローチャートを用いて説明する。
スコア算定処理は、ユーザごとの通話データに対して解析処理および統計処理を行うことにより、それぞれのユーザに対する通話スコアの算定を行う処理である。これにより、例えば、ユーザごとの顧客応対のスキルを定量的な指標で評価することができる。
ステップS501において、ユーザはユーザ端末20を操作することにより、サーバ10へユーザ一覧のリクエストを送信する。サーバ10のスコア算定部1050は、受信したリクエストに基づき、リクエストを送信したユーザと同じ組織に所属する(同じ組織IDを有する)ユーザの一覧をユーザテーブル1012から取得し、ユーザ端末20へ送信する。
ユーザ端末20のディスプレイ2081は、取得したユーザの一覧をユーザが選択可能なように一覧表示する。ユーザは、ユーザ端末20のディスプレイ2081に表示されたユーザの一覧から、スコアを算定したいユーザを選択する。ユーザは、ユーザ端末20のディスプレイ2081に表示された送信ボタンを押下することにより、選択されたユーザのユーザIDをサーバ10へ送信する。
連携モード設定処理は、通話記憶処理にあたり、CRMシステム30への通話情報の記憶処理を設定するための処理である。
ユーザまたは、ユーザが所属する組織、部署の管理者などはサーバ10が提供する所定のウェブサイトを開き、連携モード設定の編集画面を表示する。ユーザは、連携モード設定画面において、希望する連携モードを選択し、保存操作などを実行することによりサーバ10における、CRMシステム30への通話情報の記憶処理を設定することができる。
なお、ユーザが設定することなしに、連携モード設定は所定の規定値を予め有するものとしても良い。ユーザが、本開示にかかる音声通話サービスを初めて利用する際に設定するものとしても良い。
ユーザまたは、ユーザが所属する組織、部署の管理者など(ユーザ等)は自身のユーザ端末20を操作し、ウェブブラウザなどによりサーバ10が提供する連携モード設定の編集画面に関するウェブサイトを開く。ユーザ等は、ユーザ端末20を操作し、連携モード設定画面において、希望する連携モードとして第1モードまたは第2モードのいずれかを選択する。ユーザ等は、ユーザ端末20を操作し、自身のユーザID2011、選択した連携モードをサーバ10へ送信する。サーバ10の設定部1042は、受信したユーザID2011によりユーザテーブル1012を検索し、当該ユーザのレコードの連携モードの項目に、受信した連携モードを記憶する。
なお、連携モードは、ユーザごとではなく、ユーザが所属する組織ごとに記憶しても良い。つまり、組織テーブル1013に設けられた連携モードの項目に記憶し、各ユーザの連携モードは、組織IDにより紐づけられた組織テーブル1013の連携モードの項目を参照しても良い。
CRM記憶処理は、本開示にかかる音声通話サービスを利用してユーザと顧客との間で行われる通話に関する情報をCRMシステム30に記憶するための処理である。以下、CRM記憶処理の詳細を図19のフローチャートを用いて説明する。
CRM記憶処理は、ユーザと顧客との間で通話が開始された場合に、ユーザまたは組織ごとに設定された連携モードを取得し、連携モードの設定値に応じて通話に関するデータをCRMシステム30に記憶する一連の処理である。これにより、通話に関するデータは、CRMシステム30において、通話対象の顧客情報と紐付けて記憶される。
ステップS601において、発信処理または受信処理(受発信処理)が行われた後に、ユーザと顧客との間で通話が開始される。これにより、サーバ10はユーザと顧客との間で通話が開始されたことを検知する。
具体的には、CRMシステム30は、通話IDと紐づけて、第1通話データとして通話をしているユーザのユーザID、顧客の顧客ID、発信日時(発信の場合のみ)、通話の開始日時を、それぞれ応対履歴テーブル3013のユーザID、顧客ID、ダイアル日時、通話開始日時の項目に記憶する。なお、第1通話データは、ユーザID、顧客の顧客ID、ダイアル日時、通話開始日時の少なくとも1つを含む構成としても構わない。
音声解析処理が完了していない場合には、サーバ10のCRM記憶制御部1051は、ステップS606で待機する。音声解析処理が完了している場合は、サーバ10のCRM記憶制御部1051は、ステップS607に進む。
CRMシステム30は、通話IDと紐づけて、第2通話データとして通話をしているユーザのユーザID、顧客の顧客ID、発信日時(発信の場合のみ)、通話の開始日時、通話の終了日時をそれぞれ応対履歴テーブル3013のユーザID、顧客ID、ダイアル日時、通話開始日時、通話終了日時の項目に記憶する。CRMシステム30は、通話IDと紐づけて、通話に関する音声認識情報、通話に関する要約情報を応対履歴テーブル3013のコメントの項目に記憶する。具体的には、図24のコメント807の音声認識結果、要約結果のように、発話時刻、話者、テキストを結合したテキスト形式の情報に変換し応対履歴テーブル3013のコメントの項目に記憶する。CRMシステム30は、通話IDと紐づけて、通話IDに基づき生成したURLを応対履歴テーブル3013のURLの項目に記憶する。なお、応対履歴テーブル3013には、第2通話データの一部の情報のみを記憶する構成としても構わない。
CRMシステム30は、通話IDと紐づけて、第2通話データとして通話の終了日時を応対履歴テーブル3013の通話終了日時の項目に記憶する。CRMシステム30は、通話IDと紐づけて、通話に関する音声認識情報、通話に関する要約情報を応対履歴テーブル3013のコメントの項目に追記する。具体的には、図24のコメント807の音声認識結果、要約結果のように、発話時刻、話者、テキストを結合したテキスト形式の情報に変換し応対履歴テーブル3013のコメントの項目に追記する。
このとき、サーバ10のCRM記憶制御部1051は、連携モードが第1モードである場合は、ステップS604において既に応対履歴テーブル3013にレコードが生成されているため、当該レコードのコメントに既に記載された内容を上書きしないように追記する。具体的には、連携モードが第1モードである場合は、応対履歴テーブル3013には当該通話のレコードが新たに作成され、他のユーザなどによりコメントへの追記が行われる場合がある。そのような場合にも、サーバ10のCRM記憶制御部1051は、当該レコードのコメントを上書きしないように追記する。
CRMシステム30は、通話IDと紐づけて、通話IDに基づき生成したURLを応対履歴テーブル3013のURLの項目に記憶する。なお、応対履歴テーブル3013には、第3通話データの一部の情報のみを記憶する構成としても構わない。
サーバ10は、CRMシステム30の顧客テーブル3012などから顧客情報を取得し不図示のデータベース等に記憶することにより自身でも顧客情報を記憶する構成とできる。この場合、サーバ10のCRM記憶制御部1051は、通話IDに替えて、顧客IDまたは顧客の氏名、顧客組織名などを含むリクエストをCRMシステム30へ送信することにより、通話データを通話対象の顧客と関連付けて記憶しても良い。この場合も、通話に関するデータは、CRMシステム30において、通話対象の顧客情報と紐付けて記憶される。
通話表示処理は、CRMシステム30に記憶された通話データを、ユーザに表示するための処理である。以下、通話表示処理の詳細を図20のフローチャートを用いて説明する。図24は、通話表示処理におけるCRMシステム30が出力する画面例を示した図である。
ユーザは、顧客との間の通話が終了した後に、ユーザ端末20を操作し、CRMシステム30に記憶された顧客との応対履歴を表示させる。ユーザは、ユーザ端末20を操作し、顧客との応対履歴から、解析データを表示させたい応対履歴を選択し、解析データの表示をリクエストすると、CRMシステム30はサーバ10から解析データを取得し、ユーザ端末20のディスプレイ2081に顧客情報と解析データとを表示させる。
ステップS701において、ユーザはユーザ端末20を操作してCRMシステム30が提供する所定のウェブサイトを開き、応対履歴表示画面を表示させる。
具体的には、ユーザ端末20は、顧客情報の一覧表示に関するリクエストをCRMシステム30に送信する。CRMシステム30は、顧客テーブル3012を検索し、レコードをユーザ端末20へ送信する。ユーザ端末20のディスプレイ2081は、受信した顧客情報をユーザが選択可能なように一覧表示する。
ユーザは、ユーザ端末20のディスプレイ2081に一覧表示された顧客情報から、応対履歴を表示させたい顧客を選択し、「送信」ボタンを押下することにより、CRMシステム30に選択された顧客の顧客IDを送信する。CRMシステム30は、顧客IDを受信すると、応対履歴テーブル3013を検索し、選択された顧客に関する応対履歴のレコードをユーザ端末20へ送信する。ユーザ端末20のディスプレイ2081は、受信した応対履歴をユーザが選択可能なように一覧表示する。
なお、ステップS701、S702の処理を行わずに、例えば、ユーザと顧客との間の通話が終了した後に、ユーザ端末20は、当該通話に関する応対履歴を選択された応対履歴とし、応対履歴IDをCRMシステム30へ送信しても良い。
解析データが存在する場合はステップS704に進む。
CRMシステム30には、顧客テーブル3012などの顧客に関する情報が蓄積されており、ユーザはCRMシステム30に記憶された顧客に関する情報と、解析データを可視化した解析結果画面とを選択的に切り替えて表示したり、並べて表示することで、顧客との応対履歴を短時間でより詳細に把握することができる。つまり、ユーザは、CRMシステム30に対する操作により、顧客情報の管理に加え、解析データの可視化結果も確認することができる。
本開示において、音声サーバ(PBX)40と顧客端末50は、電話網Tにより接続されているものとして説明を行ったが、特にこれに限定されない。つまり、音声サーバ(PBX)40と顧客端末50は、例えば、インターネット等を含むあらゆる通信手段により接続されていても良い。
図25は、コンピュータ90の基本的なハードウェア構成を示すブロック図である。コンピュータ90は、プロセッサ901、主記憶装置902、補助記憶装置903、通信IF991(インタフェース、Interface)を少なくとも備える。これらは通信バス921により相互に電気的に接続される。
ネットワークは、インターネット、LAN、無線基地局等によって構築される各種移動通信システム等で構成される。例えば、ネットワークには、3G、4G、5G移動通信システム、LTE(Long Term Evolution)、所定のアクセスポイントによってインターネットに接続可能な無線ネットワーク(例えばWi-Fi(登録商標))等が含まれる。無線で接続する場合、通信プロトコルとして例えば、Z―Wave(登録商標)、ZigBee(登録商標)、Bluetooth(登録商標)等が含まれる。有線で接続する場合は、ネットワークには、USB(Universal Serial Bus)ケーブル等により直接接続するものも含む。
コンピュータ90の基本ハードウェア構成(図25)により実現されるコンピュータの機能構成を説明する。コンピュータは、制御部、記憶部、通信部の機能ユニットを少なくとも備える。
通常、各テーブル、各マスタにはレコードを一意に特定するための主キーとなるカラムが設定されるが、カラムへの主キーの設定は必須ではない。制御部は、各種プログラムに従ってプロセッサ901に、記憶部に記憶された特定のテーブル、マスタにレコードを追加、削除、更新を実行させることができる。
以上の各実施形態で説明した事項を以下に付記する。
プロセッサと、記憶部とを備え、ユーザと顧客との間で行われる通話に関連するデータをコンピュータに管理させるためのプログラムであって、プログラムは、プロセッサに、通話に関する音声データを受け付ける受付ステップと、音声データから、発話区間ごとに複数の区間音声データを抽出する音声抽出ステップ(S104、S204)と、複数の区間音声データのそれぞれに対してテキスト認識を行い複数のテキスト情報を抽出するテキスト抽出ステップ(S104、S204)と、テキスト抽出ステップにおいて抽出された複数のテキスト情報から、話者情報が異なり、発話時刻において前後する1または複数のテキスト情報を要約情報として抽出する要約抽出ステップ(S107、S207)と、を実行するプログラム。
これにより、ユーザと顧客との通話応対に注目した要約情報を生成することができる。
ユーザは、要約情報を確認することで、ユーザと顧客との間で行われた通話応対を短時間で正確に把握することができる。
プログラムは、プロセッサに、テキスト抽出ステップにおいて抽出された複数のテキスト情報に対して、複数のテキスト情報を発話時刻の順番に並べた場合に、話者情報が変化する前後のテキスト情報をテキスト情報群としてバインディングするバインディングステップ(S105)と、複数のテキスト情報、および、バインディングステップにおいてバインディングされた1または複数のテキスト情報群に対して重要度を算定する算定ステップ(S106)と、を実行させ、要約抽出ステップは、重要度に基づき、テキスト情報またはテキスト情報群を要約情報として抽出するステップである、付記1記載のプログラム。
これにより、ユーザと顧客との間で行われる通話に関連するデータを管理するコンピュータにおいて、ユーザと顧客との間で行われる通話に基づき、バインディングが行われた発話と応対のテキスト情報群というユーザと顧客との通話応対に注目した要約情報を生成することができる。
ユーザは、要約情報を確認することで、ユーザと顧客との間で行われた通話応対を短時間で正確に把握することができる。
算定ステップは、バインディングステップにおいてバインディングされた1または複数のテキスト情報群のそれぞれに対し、当該テキスト情報群に含まれるテキスト情報を結合してなる一の文章として重要度を算定するステップ(S106)である、付記2記載のプログラム。
これにより、バインディングが行われた発話と応対のテキスト情報群ごとの重要度を算定することができる。ユーザと顧客との通話応対に注目した要約情報が生成される。
ユーザは、要約情報を確認することで、ユーザと顧客との間で行われた通話応対を短時間で正確に把握することができる。
算定ステップは、バインディングステップにおいてバインディングされたテキスト情報群に含まれる複数のテキスト情報のそれぞれに対して重要度を算定し、算定された複数の重要度に対して統計処理を行った値を、テキスト情報群の重要度として算定するステップ(S106)である、付記2記載のプログラム。
これにより、バインディングが行われた発話と応対のテキスト情報群ごとの重要度を算定することができる。ユーザと顧客との通話応対に注目した要約情報が生成される。
ユーザは、要約情報を確認することで、ユーザと顧客との間で行われた通話応対を短時間で正確に把握することができる。
算定ステップは、算定された複数の重要度のうち最も大きな重要度をテキスト情報群の重要度とするステップ(S106)である、付記4記載のプログラム。
これにより、バインディングが行われた発話と応対のテキスト情報群に含まれるテキスト情報のうち最も重要度の高いテキスト情報の重要度に基づき、テキスト情報群の重要度が算定される。重要度が大きいテキスト情報を含む要約情報を生成することができる。
ユーザは、要約情報を確認することで、ユーザと顧客との間で行われた通話応対のうち、重要度が大きいテキスト情報を見落とさずに確認することができる。
算定ステップは、算定された複数の重要度の和または平均をテキスト情報群の重要度とするステップ(S106)である、付記4記載のプログラム。
これにより、バインディングが行われた発話と応対のテキスト情報群に含まれるテキスト情報の重要度の和または平均に基づき、テキスト情報群の重要度が算定される。重要度が大きいテキスト情報をより多く含む要約情報を生成することができる。
ユーザは、要約情報を確認することで、ユーザと顧客との間で行われた通話応対のうち、重要度が大きいテキスト情報をより多く含むテキスト情報を見落とさずに確認することができる。
プログラムは、プロセッサに、テキスト抽出ステップにおいて抽出された複数のテキスト情報に対して、重要度を算定する算定ステップ(S205)と、を実行させ、要約抽出ステップは、重要度に基づき、テキスト抽出ステップにおいて抽出された複数のテキスト情報から1または複数のテキスト情報を抽出するステップと、抽出された1または複数のテキスト情報と話者情報が異なり、発話時刻において前後するテキスト情報を要約情報として抽出するステップ(S206)と、を含む、付記1記載のプログラム。
これにより、通話に関連するデータを管理するコンピュータにおいて、ユーザと顧客との間で行われる通話に基づき、バインディングが行われた発話と応対のテキスト情報群というユーザと顧客との通話応対に注目した要約情報を生成することができる。
ユーザは、要約情報を確認することで、ユーザと顧客との間で行われた通話応対を短時間で正確に把握することができる。
プログラムは、プロセッサに、要約抽出ステップにおいて抽出された、要約情報に含まれるテキスト情報を発話時刻の順番に並べた要約文書を表示する表示ステップ(S207)と、を実行する付記1から7のいずれか記載のプログラム。
これにより、ユーザは、要約文書を確認することで、ユーザと顧客との間で行われた通話応対を短時間で正確に把握することができる。
要約文書は、テキスト情報ごとに吹き出しで表示された要約文書であり、吹き出しは、テキスト情報の話者ごとに異なる色で表示され、吹き出しの色は、テキスト情報またはテキスト情報の重要度に基づき、色の明度、色相、彩度、濃さの少なくともいずれか1つを変化させて表示される、付記8記載のプログラム。
これにより、ユーザは、テキスト情報が含まれる吹き出しの色の明度、色相、彩度、濃さを確認することにより、視覚的に吹き出しに含まれるテキスト情報の重要度を把握することができる。
プログラムは、プロセッサに、外部のCRMシステムに要約文書を記憶させる記憶ステップ(S107、S207)と、を実行させる、付記8または9記載のプログラム。
これにより、ユーザは、ユーザと顧客との間で行われる通話の要約文書を、顧客情報とともに、CRMシステムで体系的に管理することができる。
プロセッサと、記憶部とを備え、ユーザと顧客との間で行われる通話に関連するデータを管理するための情報処理システムであって、プロセッサに、通話に関する音声データを受け付ける受付ステップと、音声データから、発話区間ごとに複数の区間音声データを抽出する音声抽出ステップ(S104、S204)と、複数の区間音声データのそれぞれに対してテキスト認識を行い複数のテキスト情報を抽出するテキスト抽出ステップ(S104、S204)と、テキスト抽出ステップにおいて抽出された複数のテキスト情報から、話者情報が異なり、発話時刻において前後する1または複数のテキスト情報を要約情報として抽出する要約抽出ステップ(S107、S207)と、を実行する情報処理システム。
これにより、ユーザと顧客との通話応対に注目した要約情報を生成することができる。
ユーザは、要約情報を確認することで、ユーザと顧客との間で行われた通話応対を短時間で正確に把握することができる。
プロセッサと、記憶部とを備え、ユーザと顧客との間で行われる通話に関連するデータをコンピュータに管理させるための情報処理方法であって、プロセッサに、通話に関する音声データを受け付ける受付ステップと、音声データから、発話区間ごとに複数の区間音声データを抽出する音声抽出ステップ(S104、S204)と、複数の区間音声データのそれぞれに対してテキスト認識を行い複数のテキスト情報を抽出するテキスト抽出ステップ(S104、S204)と、テキスト抽出ステップにおいて抽出された複数のテキスト情報から、話者情報が異なり、発話時刻において前後する1または複数のテキスト情報を要約情報として抽出する要約抽出ステップ(S107、S207)と、を実行する情報処理方法。
これにより、ユーザと顧客との通話応対に注目した要約情報を生成することができる。
ユーザは、要約情報を確認することで、ユーザと顧客との間で行われた通話応対を短時間で正確に把握することができる。
Claims (12)
- プロセッサと、記憶部とを備え、ユーザと顧客との間で行われる通話に関連するデータをコンピュータに管理させるためのプログラムであって、
前記プログラムは、前記プロセッサに、
前記通話に関する音声データを受け付ける受付ステップと、
前記音声データから、発話区間ごとに複数の区間音声データを抽出する音声抽出ステップと、
前記複数の区間音声データのそれぞれに対してテキスト認識を行い複数のテキスト情報を抽出するテキスト抽出ステップと、
前記テキスト抽出ステップにおいて抽出された前記複数のテキスト情報から、話者情報が異なり、発話時刻において前後する1または複数の前記テキスト情報を要約情報として抽出する要約抽出ステップと、
を実行するプログラム。 - 前記プログラムは、前記プロセッサに、
前記テキスト抽出ステップにおいて抽出された前記複数のテキスト情報に対して、前記複数のテキスト情報を発話時刻の順番に並べた場合に、話者情報が変化する前後のテキスト情報をテキスト情報群としてバインディングするバインディングステップと、
前記複数のテキスト情報、および、バインディングステップにおいてバインディングされた前記1または複数のテキスト情報群に対して重要度を算定する算定ステップと、
を実行させ、
前記要約抽出ステップは、前記重要度に基づき、前記テキスト情報または前記テキスト情報群を前記要約情報として抽出するステップである、
請求項1記載のプログラム。 - 前記算定ステップは、前記バインディングステップにおいてバインディングされた前記1または複数のテキスト情報群のそれぞれに対し、当該テキスト情報群に含まれるテキスト情報を結合してなる一の文章として重要度を算定するステップである、
請求項2記載のプログラム。 - 前記算定ステップは、前記バインディングステップにおいてバインディングされた前記テキスト情報群に含まれる複数のテキスト情報のそれぞれに対して重要度を算定し、算定された複数の重要度に対して統計処理を行った値を、前記テキスト情報群の重要度として算定するステップである、
請求項2記載のプログラム。 - 前記算定ステップは、算定された前記複数の重要度のうち最も大きな重要度を前記テキスト情報群の重要度とするステップである、
請求項4記載のプログラム。 - 前記算定ステップは、算定された前記複数の重要度の和または平均を前記テキスト情報群の重要度とするステップである、
請求項4記載のプログラム。 - 前記プログラムは、前記プロセッサに、
前記テキスト抽出ステップにおいて抽出された前記複数のテキスト情報に対して、重要度を算定する算定ステップと、
を実行させ、
前記要約抽出ステップは、
前記重要度に基づき、前記テキスト抽出ステップにおいて抽出された前記複数のテキスト情報から1または複数のテキスト情報を抽出するステップと、
抽出された1または前記複数のテキスト情報と話者情報が異なり、発話時刻において前後する前記テキスト情報を前記要約情報として抽出するステップと、
を含む、
請求項1記載のプログラム。 - 前記プログラムは、前記プロセッサに、
前記要約抽出ステップにおいて抽出された、前記要約情報に含まれる前記テキスト情報を発話時刻の順番に並べた要約文書を表示する表示ステップと、
を実行する請求項1から7のいずれか記載のプログラム。 - 前記要約文書は、前記テキスト情報ごとに吹き出しで表示された要約文書であり、
前記吹き出しは、前記テキスト情報の話者ごとに異なる色で表示され、
前記吹き出しの色は、前記テキスト情報または前記テキスト情報の重要度に基づき、色の明度、色相、彩度、濃さの少なくともいずれか1つを変化させて表示される、
請求項8記載のプログラム。 - 前記プログラムは、前記プロセッサに、
外部のCRMシステムに前記要約文書を記憶させる記憶ステップと、
を実行させる、
請求項8または9記載のプログラム。 - プロセッサと、記憶部とを備え、ユーザと顧客との間で行われる通話に関連するデータを管理するための情報処理システムであって、
前記プロセッサに、
前記通話に関する音声データを受け付ける受付ステップと、
前記音声データから、発話区間ごとに複数の区間音声データを抽出する音声抽出ステップと、
前記複数の区間音声データのそれぞれに対してテキスト認識を行い複数のテキスト情報を抽出するテキスト抽出ステップと、
前記テキスト抽出ステップにおいて抽出された前記複数のテキスト情報から、話者情報が異なり、発話時刻において前後する1または複数の前記テキスト情報を要約情報として抽出する要約抽出ステップと、
を実行する情報処理システム。 - プロセッサと、記憶部とを備え、ユーザと顧客との間で行われる通話に関連するデータをコンピュータに管理させるための情報処理方法であって、
前記プロセッサに、
前記通話に関する音声データを受け付ける受付ステップと、
前記音声データから、発話区間ごとに複数の区間音声データを抽出する音声抽出ステップと、
前記複数の区間音声データのそれぞれに対してテキスト認識を行い複数のテキスト情報を抽出するテキスト抽出ステップと、
前記テキスト抽出ステップにおいて抽出された前記複数のテキスト情報から、話者情報が異なり、発話時刻において前後する1または複数の前記テキスト情報を要約情報として抽出する要約抽出ステップと、
を実行する情報処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021189134A JP7237381B1 (ja) | 2021-11-22 | 2021-11-22 | プログラム、情報処理システム及び情報処理方法 |
PCT/JP2022/042638 WO2023090380A1 (ja) | 2021-11-22 | 2022-11-17 | プログラム、情報処理システム及び情報処理方法 |
JP2023024850A JP2023076430A (ja) | 2021-11-22 | 2023-02-21 | プログラム、情報処理システム及び情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021189134A JP7237381B1 (ja) | 2021-11-22 | 2021-11-22 | プログラム、情報処理システム及び情報処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023024850A Division JP2023076430A (ja) | 2021-11-22 | 2023-02-21 | プログラム、情報処理システム及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7237381B1 JP7237381B1 (ja) | 2023-03-13 |
JP2023076003A true JP2023076003A (ja) | 2023-06-01 |
Family
ID=85513813
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021189134A Active JP7237381B1 (ja) | 2021-11-22 | 2021-11-22 | プログラム、情報処理システム及び情報処理方法 |
JP2023024850A Pending JP2023076430A (ja) | 2021-11-22 | 2023-02-21 | プログラム、情報処理システム及び情報処理方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023024850A Pending JP2023076430A (ja) | 2021-11-22 | 2023-02-21 | プログラム、情報処理システム及び情報処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7237381B1 (ja) |
WO (1) | WO2023090380A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7344612B1 (ja) * | 2023-04-20 | 2023-09-14 | amptalk株式会社 | プログラム、会話要約装置、および会話要約方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003066991A (ja) * | 2001-08-22 | 2003-03-05 | Seiko Epson Corp | 音声認識結果出力方法および音声認識結果出力装置ならびに音声認識結果出力処理プログラムを記録した記録媒体 |
JP2012003702A (ja) * | 2010-06-21 | 2012-01-05 | Nomura Research Institute Ltd | トークスクリプト利用状況算出システムおよびトークスクリプト利用状況算出プログラム |
JP2019061594A (ja) * | 2017-09-28 | 2019-04-18 | 株式会社野村総合研究所 | 会議支援システムおよび会議支援プログラム |
JP2020071675A (ja) * | 2018-10-31 | 2020-05-07 | 株式会社eVOICE | 対話要約生成装置、対話要約生成方法およびプログラム |
-
2021
- 2021-11-22 JP JP2021189134A patent/JP7237381B1/ja active Active
-
2022
- 2022-11-17 WO PCT/JP2022/042638 patent/WO2023090380A1/ja unknown
-
2023
- 2023-02-21 JP JP2023024850A patent/JP2023076430A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003066991A (ja) * | 2001-08-22 | 2003-03-05 | Seiko Epson Corp | 音声認識結果出力方法および音声認識結果出力装置ならびに音声認識結果出力処理プログラムを記録した記録媒体 |
JP2012003702A (ja) * | 2010-06-21 | 2012-01-05 | Nomura Research Institute Ltd | トークスクリプト利用状況算出システムおよびトークスクリプト利用状況算出プログラム |
JP2019061594A (ja) * | 2017-09-28 | 2019-04-18 | 株式会社野村総合研究所 | 会議支援システムおよび会議支援プログラム |
JP2020071675A (ja) * | 2018-10-31 | 2020-05-07 | 株式会社eVOICE | 対話要約生成装置、対話要約生成方法およびプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7344612B1 (ja) * | 2023-04-20 | 2023-09-14 | amptalk株式会社 | プログラム、会話要約装置、および会話要約方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7237381B1 (ja) | 2023-03-13 |
JP2023076430A (ja) | 2023-06-01 |
WO2023090380A1 (ja) | 2023-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10194029B2 (en) | System and methods for analyzing online forum language | |
KR102366307B1 (ko) | 협력형 전화 평판 시스템 | |
US11862190B2 (en) | Information processing device | |
JP2016103270A (ja) | 情報処理システム、受付サーバ、情報処理方法及びプログラム | |
US11762629B2 (en) | System and method for providing a response to a user query using a visual assistant | |
JP2007074175A (ja) | 電話業務検査システム及びそのプログラム | |
WO2023090380A1 (ja) | プログラム、情報処理システム及び情報処理方法 | |
TW202036323A (zh) | 智能線上客服匯流核心系統 | |
WO2019142976A1 (ko) | 사용자 발화 입력에 대한 대화 응답 후보를 표시하도록 하는 디스플레이 제어 방법, 컴퓨터 판독가능 기록 매체 및 컴퓨터 장치 | |
CN117424960A (zh) | 智能语音服务方法、装置、终端设备以及存储介质 | |
JP7168262B1 (ja) | プログラム、情報処理システム及び情報処理方法 | |
JP2023076017A (ja) | プログラム、情報処理システム及び情報処理方法 | |
JP2019186707A (ja) | 電話システムおよびプログラム | |
CN110765242A (zh) | 一种客服信息的提供方法,装置及系统 | |
US20240297935A1 (en) | Program, information processing system and information processing method | |
KR102137155B1 (ko) | 음성인식을 이용한 통화 서비스 시스템 및 방법 | |
JP7169031B1 (ja) | プログラム、情報処理装置、情報処理システム、情報処理方法、情報処理端末 | |
JP7169030B1 (ja) | プログラム、情報処理装置、情報処理システム、情報処理方法、情報処理端末 | |
EP4018438A1 (en) | Systems and methods for real-time processing of audio feedback | |
CN112911074A (zh) | 一种语音通信处理方法、装置、设备和机器可读介质 | |
WO2024127476A1 (ja) | プログラム、情報処理装置、製造方法、情報処理方法 | |
CN113132927B (zh) | 一种来电处理方法、装置、设备和机器可读介质 | |
WO2024127477A1 (ja) | プログラム、情報処理装置、製造方法、情報処理方法 | |
JP2023105607A (ja) | プログラム、情報処理装置及び情報処理方法 | |
WO2024166190A1 (ja) | プログラム、情報処理装置、製造方法、情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211122 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211122 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20211129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7237381 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |