JP2018045364A - 会話メンバー最適化装置、会話メンバー最適化方法およびプログラム - Google Patents

会話メンバー最適化装置、会話メンバー最適化方法およびプログラム Download PDF

Info

Publication number
JP2018045364A
JP2018045364A JP2016178532A JP2016178532A JP2018045364A JP 2018045364 A JP2018045364 A JP 2018045364A JP 2016178532 A JP2016178532 A JP 2016178532A JP 2016178532 A JP2016178532 A JP 2016178532A JP 2018045364 A JP2018045364 A JP 2018045364A
Authority
JP
Japan
Prior art keywords
members
conference
held
conversation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016178532A
Other languages
English (en)
Other versions
JP6672114B2 (ja
Inventor
武志 水本
Takeshi Mizumoto
武志 水本
俊市 萩谷
Shunichi Hagitani
俊市 萩谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2016178532A priority Critical patent/JP6672114B2/ja
Priority to US15/645,007 priority patent/US10699224B2/en
Publication of JP2018045364A publication Critical patent/JP2018045364A/ja
Application granted granted Critical
Publication of JP6672114B2 publication Critical patent/JP6672114B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group
    • G06Q10/063114Status monitoring or status determination for a person or group
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/14Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L15/222Barge in, i.e. overridable guidance for interrupting prompts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315Needs-based resource requirements planning or analysis

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Probability & Statistics with Applications (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】会話の盛り上がりを大きくするためのメンバーの構成を推定する会話メンバー最適化装置、会話メンバー最適化方法およびプログラムを提供することを目的とする。【解決手段】会話メンバー最適化装置は、過去に開催された複数の会議の音声信号を会議毎に認識して、会議の会話を会議毎に解析する会話解析部と、会話解析部が解析した結果に基づいて、かつこれから開催される会議に参加するメンバーを選択するメンバー選択指示に応じて、開催される会議に参加する前記メンバーの組み合わせにおける特徴量を推定する推定部と、推定部が推定した結果に基づいて、メンバーを選択するメンバー選択部と、を備える。【選択図】図1

Description

本発明は、会話メンバー最適化装置、会話メンバー最適化方法およびプログラムに関する。
複数人の参加者間でなされる会話について、参加者の発言量や特定のキーワードの発言等を検出することにより、会話の実施状況の一環として会話全体の盛り上がり度を客観的に評価する手法が提案されている。例えば、特許文献1には、会議データより会議の進行に沿った時系列としての特徴量を抽出し、当該特徴量に基づいて会議の進行に沿った時系列としての盛り上がり度を算出する会議分析装置について記載されている。当該会議分析装置は、会議参加者全体としての標準の盛り上がり度を考慮することで盛り上がり度を会議全体にわたって補正する。また、当該会議分析装置は、会議参加者の一部が議論に参加したトピックを対象として、当該一部の参加者における標準の盛り上がり度を考慮することで、当該トピックの議論された区間ごとに盛り上がり度を補正する。そして、当該会議分析装置は、会議における各参加者の発言区間ごとに、当該参加者の性質および当該発言内容に基づいて盛り上がり度を補正する。
特開2016−12216号公報
しかしながら、特許文献1に記載の技術では、予め定められたメンバー間における会話の盛り上がり度合い等を客観的に測定することができるが、予め定められたメンバー以外の盛り上がり度合い等を推定することができない。このため、特許文献1に記載の技術では、会社の会議や学校の授業等のディスカッション等において、会話の盛り上がりを大きくするためのメンバーの構成を推定することができなかった。
本発明は上記の点に鑑みてなされたものであり、会話の盛り上がりを大きくするためのメンバーの構成を推定する会話メンバー最適化装置、会話メンバー最適化方法およびプログラムを提供することを目的とする。
(1)上記目的を達成するため、本発明の一態様に係る会話メンバー最適化装置は、過去に開催された複数の会議の音声信号を会議毎に認識して、会議の会話を会議毎に解析する会話解析部と、前記会話解析部が解析した結果に基づいて、かつこれから開催される会議に参加するメンバーを選択するメンバー選択指示に応じて、前記開催される会議に参加する前記メンバーの組み合わせにおける特徴量を推定する推定部と、前記推定部が推定した結果に基づいて、前記メンバーを選択するメンバー選択部と、を備える。
(2)また、本発明の一態様に係る会話メンバー最適化装置において、会議に参加する前記メンバー間の支配関係を示す型を記憶し、前記メンバー選択部は、所望の型に合うように前記メンバーを選定するようにしてもよい。
(3)また、本発明の一態様に係る会話メンバー最適化装置において、前記特徴量は、一のメンバーと他のメンバーとの組み合わせよる発話量である条件付き発言量、一のメンバーの後で他のメンバーが割り込んで発言しているかを示す割り込み行列、一のメンバーの後で他のメンバーが発話をしている確率である活性度確率、のうち少なくとも1つであるようにしてもよい。
(4)また、本発明の一態様に係る会話メンバー最適化装置において、前記メンバー選択指示は、前記開催される会議の参加メンバーの総数と、前記開催される会議の参加メンバーのうち少なくとも1人の予め参加が決定しているメンバーを示す決情報を含むようにしてもよい。
(5)また、本発明の一態様に係る会話メンバー最適化装置において、前記メンバー選択指示は、前記開催される会議の参加メンバーの総数と、前記開催される会議の参加メンバーのうち少なくとも1人の予め参加が決定しているメンバーを示す決情報を含み、前記予め参加が決定しているメンバー以外のメンバーが選択可能なメンバーの候補であり、前記推定部は、前記開催される会議の参加メンバーに、選択する候補のメンバーのうち1人ずつを組み合わせた場合の前記条件付き発言量が最大となるように前記候補のメンバーの中から1人の前記メンバーを前記開催される会議の参加メンバーの総数になるまで繰り返して選択するようにしてもよい。
(6)また、本発明の一態様に係る会話メンバー最適化装置において、前記メンバー選択指示は、前記開催される会議の参加メンバーの総数と、前記開催される会議の参加メンバーのうち少なくとも1人の予め参加が決定しているメンバーを示す決情報を含み、前記予め参加が決定しているメンバー以外のメンバーが選択可能なメンバーの候補であり、前記推定部は、前記開催される会議の参加メンバーに、選択する候補のメンバーのうち1人ずつを組み合わせた場合の前記条件付き発言量と前記割り込み行列をスカラー化した値と前記活性度確率をスカラー化した値との総和が最大となるように前記候補のメンバーの中から1人の前記メンバーを前記開催される会議の参加メンバーの総数になるまで繰り返して選択するようにしてもよい。
(7)また、本発明の一態様に係る会話メンバー最適化装置において、前記メンバー選択指示は、前記開催される会議の参加メンバーの総数と、前記開催される会議の参加メンバーのうち少なくとも1人の予め参加が決定しているメンバーを示す決情報を含み、前記予め参加が決定しているメンバー以外のメンバーが選択可能なメンバーの候補であり、前記推定部は、前記開催される会議の参加メンバーに、選択する候補のメンバーのうち1人ずつを組み合わせた場合の前記条件付き発言量が第1の閾値以上である前記メンバーを選択し、前記開催される会議の参加メンバーに、選択する候補のメンバーのうち1人ずつを組み合わせた場合の前記割り込み行列をスカラー化した値が第2の閾値以上である前記メンバーを選択し、前記開催される会議の参加メンバーに、選択する候補のメンバーのうち1人ずつを組み合わせた場合の前記活性度確率をスカラー化した値が第3の閾値以上である前記メンバーを選択し、前記メンバー選択部は、前記推定部が選択した結果に基づいて、前記候補のメンバーの中から1人の前記メンバーを前記開催される会議の参加メンバーの総数になるまで繰り返して選択するようにしてもよい。
(8)また、本発明の一態様に係る会話メンバー最適化装置において、前記推定部は、前記割り込み行列をスカラー化するとき、前記メンバー選択指示に含まれる選択条件に応じて、前記割り込み行列をスカラー化に用いる関数を選択するようにしてもよい。
(9)上記目的を達成するため、本発明の一態様に係る会話メンバー最適化方法は、会話解析部が、過去に開催された複数の会議の音声信号を会議毎に認識して、会議の会話を会議毎に解析する会話解析手順と、推定部が、前記会話解析手順によって解析された結果に基づいて、かつこれから開催される会議に参加するメンバーを選択するメンバー選択指示に応じて、前記開催される会議に参加する前記メンバーの組み合わせにおける特徴量を推定する推定手順と、メンバー選択部が、前記推定手順によって推定された結果に基づいて、前記メンバーを選択するメンバー選択手順と、を含む。
(10)上記目的を達成するため、本発明の一態様に係るプログラムは、コンピュータに、過去に開催された複数の会議の音声信号を会議毎に認識して、会議の会話を会議毎に解析する会話解析手順と、前記会話解析手順によって解析された結果に基づいて、かつこれから開催される会議に参加するメンバーを選択するメンバー選択指示に応じて、前記開催される会議に参加する前記メンバーの組み合わせにおける特徴量を推定する推定手順と、前記推定手順によって推定された結果に基づいて、前記メンバーを選択するメンバー選択手順と、を実行させる。
(1)、(9)または(10)の構成によれば、過去に開催された会議の発話を解析した結果に基づいて、これから開催される会議のメンバーを選択する。これにより、(1)、(8)または(9)の構成によれば、これから開催される会議において、会話の盛り上がりを大きくするためのメンバーの構成を推定することができる。
(2)の構成によれば、会議に参加するメンバー間の支配関係を示す型にあうように、開催される会議へのメンバーを選択する。これにより、(2)の構成によれば、会議の狙い通りのメンバーを選択することができる。なお、会議の狙いとは、例えば、リーダーが他のメンバーを支配する関係の1人支配者型、リーダーを他のメンバーが支配する1人被支配者型、メンバー間で支配者と被支配者の組み合わせが存在する支配者−被支配者型、互いにメンバー同士が支配し合う支配者被存在型等である。
(3)の構成によれば、条件付き発言量、割り込み行列、活性度確率(ターンテイク確率)のうち少なくとも1つの推定結果に基づいて、開催される会議へのメンバーを選択する。これにより、(3)の構成によれば、利用者(例えば開催される会議の主催者、リーダー)の希望する項目(条件付き発言量、割り込み行列、活性度確率)を重視して、メンバーを選択することができる。
(4)の構成によれば、開催される会議への参加メンバーのうち少なくとも1人を決定する。これにより、(4)の構成によれば、メンバー選択のための演算量を低減することができる。
(5)の構成によれば、発言量が最大となるメンバーを逐次選択する。これにより、(5)の構成によれば、発言が活発になると推定されるメンバーを選択することができる。
(6)の構成によれば、発言量、発言への割り込み、および活性度(ターンテイク)が最大となるメンバーを逐次選択する。これにより、(5)の構成によれば、発言が活発になり、割り込みが活発になり、ターンテイクが活発になると推定されるメンバーを選択することができる。
(7)の構成によれば、発言量、発言への割り込み、および活性度(ターンテイク)それぞれが対応する閾値となるメンバーを逐次選択する。これにより、(6)の構成によれば、発言が活発になり、割り込みが活発になり、ターンテイクが活発になると推定されるメンバーを選択することができる。
(8)の構成によれば、利用者が行う選択条件を重視したメンバーを選択することができる。なお、選択条件は、例えば割り込みを最小にしたい、固有のメンバーが割り込まれる割合を減らしたい等である。
実施形態に係る会話メンバー最適化装置の構成を示すブロック図である。 実施形態に係る会議データ記憶部が記憶する開催される会議に参加可能なメンバーを示す情報の一例を示す図である。 実施形態に係る会議データ記憶部が記憶するメンバー毎の発言量の一例を示す図である。 実施形態に係る割り込み行列の例を示す図である。 第1実施形態に係る開催される会議への参加メンバーの選択方法の一例を示す図である。 第1実施形態に係る開催される会議に参加するメンバーの選択処理のフローチャートである。 第2実施形態に係る支配関係グラフの例を示す図である。 第2実施形態に係る支配関係グラフの生成の一例を示す図である。 第2実施形態に係る支配関係グラフの型の識別手順のフローチャートである。 第2実施形態に係る開催される会議に参加するメンバーの選択処理のフローチャートである。 第2実施形態に係る条件付き発話量のみを用いてメンバーを選択する例を示す図である。 第3実施形態に係る開催される会議に参加するメンバーの選択処理のフローチャートである。
<会話メンバー最適化装置の概要>
まず、会話メンバー最適化装置の概要を説明する。
会話メンバー最適化装置は、過去に開催された会議の音声信号を取得し、取得した音声信号を認識、解析することで、会議の会話内容を解析する。また、会話メンバー最適化装置は、会議にどのメンバーが参加しているときに発言量が多くなるか解析し、会議に参加しているメンバーにおいて、誰の後に誰が割り込んで発言しているかを解析し、誰の後で誰が発言しているか解析する。そして、会話メンバー最適化装置は、解析した結果のうち少なくとも1つに基づいて、これから開催される会議に参加させるメンバーを選択する。これにより、会話メンバー最適化装置は、活発な議論が行われるメンバーを選択することができる。
以下、図面を参照しながら本発明の実施形態について説明する。
<会話メンバー最適化装置の構成>
図1は、実施形態に係る会話メンバー最適化装置1の構成を示すブロック図である。
図1に示すように会話メンバー最適化装置1は、取得部10、音声解析部20、操作情報取得部30、会議データ記憶部40、会話解析部50、推定部60、記憶部70、およびメンバー選択部80を備える。また、会話メンバー最適化装置1には、操作部2および出力装置3が接続される。
操作部2は、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を生成する。操作部2は、生成した操作信号を会話メンバー最適化装置1に出力する。操作部2は、例えば、ボタン、レバーなどの物理的な部材、タッチセンサ、マウス、キーボード等の汎用の部材のいずれか、またはこれらの組み合わせを含んで構成される。
出力装置3は、会話メンバー最適化装置1が出力する選択結果を出力する装置である。選択結果は、例えば、開催される会議に参加するメンバーを示す情報(例えば、名前、所属等)である。出力装置3は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(Electroluminescence)ディスプレイ、印刷装置、音声出力装置等のいずれかを含んで構成される。
取得部10は、会議の音響信号を取得し、取得した音響信号を音声解析部20に出力する。ここで音響信号は、Pチャネル(ただし、Pは1以上の整数)の音響信号であり、1つの会議における、会議に参加しているM人のメンバーの発話を録音した信号である。なお、取得部10は、音響信号を取得できるUSB(Universal Serial Bus;ユニバーサル・シリアル・バス)端子等であってもよい。
音声解析部20は、音源定位部201、音源分離部202、発話区間検出部203、特徴量検出部204、および音声認識部205を備える。
音声解析部20は、取得部10が出力するPチャネルの音声信号に基づいて、会議毎の音声認識された結果を、会議データ記憶部40に記憶する。会議毎の音声認識された結果には、例えば、会議が行われた日時、会議名、話者であるメンバー毎の発話内容(テキスト形式)、メンバー毎かつ発話毎の発話開始時間と発話終了時間、会議に参加したメンバーを示す情報等が含まれる。
音源定位部201は、取得部10が出力するPチャネル(Pは1以上の整数)の音声信号に基づいて音源毎の方向を予め定めた長さの時間(例えば、50ms)毎に算出する。音源定位部201は、音源方向の算出において、例えば、MUSIC(Multiple Signal Classification)法を用いる。音源定位部201は、算出した音源毎の音源方向を示す音源方向情報とPチャネルの音声信号を音源分離部202に出力する。
音源分離部202には、音源定位部201が出力するPチャネルの音声信号と音源方向情報が入力される。音源分離部202は、Pチャネルの音声信号を音源方向情報が示す音源方向に基づいて音源毎の音源別音声信号に分離する。音源分離部202は、音源分離において、例えば、GHDSS(Geometric−constrained High−order Decorrelation−based Source Separation)法を用いる。音源分離部202は、分離した音源毎の音源別音声信号を発話区間検出部203に出力する。各話者は、発言により音声を発生する音源として扱われる。言い換えれば、音源別音声信号は各話者が発した音声を示す発言を示す音声信号である。
発話区間検出部203は、音源分離部202が出力する話者毎の音源別音声信号から所定の時間間隔の区間毎に発言区間を検出する。発話区間検出部203は、発言区間の特定の際に、例えば、零交差法、スペクトルエントロピー法などの方式を用いて音声区間検出(VAD:Voice Activity Detection)を行う。発話区間検出部203は、音声区間と特定された区間を発言区間と定め、話者ごとに発言区間であるか否かを示す発言区間データを生成する。発話区間検出部203は、発言区間データと音源別音声信号とを発言区間毎に対応付けて特徴量検出部204に出力する。
特徴量検出部204には、発話区間検出部203が出力する話者毎の発言区間データと音源別音声信号が入力される。特徴量検出部204は、発言区間データを参照して各発言区間内の音声信号について、音響特徴量を所定の時間間隔(例えば、10ms)ごとに算出する。音響特徴量は、例えば、13次のメルスケール対数スペクトル(MSLS:Mel−scale Logarithmic Spectrum)を含む。1セットの音響特徴量には、13次のデルタMSLSやデルタパワーが含まれてもよい。デルタMSLSは、その時点におけるフレーム(現時刻)のMSLSから直前のフレーム(前時刻)のMSLSの差分である。デルタパワーは、現時刻のパワーから前時刻のパワーの差分である。音響特徴量は、これには限られず、例えば、メル周波数ケプストラム係数(MFCC:Mel−frequency Cepstrum Coefficients)であってもよい。特徴量検出部204は、算出した音響特徴量と発言区間データとを発言区間ごとに対応付けて音声認識部205に出力する。
音声認識部205は、特徴量検出部204が出力する音響特徴量について会議データ記憶部40に予め記憶された音声認識データを用いて音声認識処理を行い、発言内容を示すテキストデータを生成する。音声認識データには、音声認識処理に用いられるデータとして、例えば、音響モデル、言語モデルおよび単語辞書が含まれる。音響モデルは、音響特徴量から音素を認識する際に用いられるデータである。言語モデルは、1個もしくは互いに隣接する複数の音素からなる音素列から1個もしくは複数の単語のセットを認識する際に用いられるデータである。単語辞書は、音素列の候補である単語を示すデータである。認識された1個もしくは複数の単語のセットが認識データとしてテキストデータに表される。音響モデルは、例えば、連続隠れマルコフモデル(continuous HMM:Hidden Markov Model)である。連続HMMは、出力分布密度が連続関数になっているモデルであり、その出力分布密度が複数の正規分布を基底として重み付け加算して表される。言語モデルは、例えば、ある音素に後続する音素からなる音素列の制約や、音素列毎の遷移確率を示すNグラムである。
音声認識部205は、音源、即ち、話者ごとに生成したテキストデータと発言区間データとを各話者の発言区間ごとに対応付けて会話データを生成する。音声認識部205は、話者ごとに生成した会話データを会議データ記憶部40に記憶する。
なお、音声解析部20は、発話区間検出部203、特徴量検出部204、および音声認識部205のみを備えるようにしてもよい。会議の場合、メンバーの一人ずつが発言する場合が多いため、音声解析部20は、発話区間毎に検出した音声信号の特徴量に基づいて話者を推定するようにしてもよい。
操作情報取得部30は、操作部2が出力する操作信号を取得する。操作情報取得部30は、取得した操作信号から開催される会議の参加メンバー数、事前に会議に参加が決定されているメンバー(以下、決定メンバーともいう)を示す情報(名前または識別子等)等を抽出する。操作情報取得部30は、抽出した開催される会議の参加メンバー数、決定メンバー等を、メンバー選択部80に出力し、会議データ記憶部40に記憶させる。
会議データ記憶部40は、音声認識データ、会議に参加可能なメンバー毎の音声信号の特徴量等を予め記憶する。会議データ記憶部40には、開催される会議に参加するメンバー数、決定メンバーを示す情報、会議に参加させたいメンバーのリスト等が、操作情報取得部30によって記憶される。なお、会議データ記憶部40は、会議に参加可能なメンバーのリストを予め記憶していてもよい。会議データ記憶部40には、会議毎の音声認識された結果が、音声解析部20によって記憶される。会議データ記憶部40には、会議における発話が解析された会議解析記録が、会話解析部50によって記憶される。また、会議データ記憶部40は、予め支配関係グラフの関係を示す情報を記憶する。なお、支配関係グラフについては、実施形態で説明する。
会話解析部50は、話者数検出部501、会議時間解析部502、および発話時間解析部503を備える。
会話解析部50は、会議データ記憶部40が記憶する音声認識された結果に基づいて、会議毎に、会議に参加しているメンバー(話者)の人数とメンバーの名前、会議にかかった時間、メンバー毎の1時間あたりの発話時間である発話量等を解析する。会話解析部50は、解析した結果を会議解析記録として会議データ記憶部40に記憶させる。
話者数検出部501は、会議データ記憶部40が記憶する音声認識された結果に基づいて、会議毎に、会議に参加しているメンバー(話者)の人数とメンバーの名前を推定し、推定した結果を会議データ記憶部40に記憶させる。なお、話者数検出部501は、メンバーの名前を、音声認識された結果から参加者名を抽出することで推定するようにしてもよい。または、話者数検出部501は、会議データ記憶部40が記憶するメンバー毎の音声信号の特徴量と、会議に参加しているメンバーの音声信号の特徴量とを、例えばパターンマッチングの手法によって比較することで推定するようにしてもよい。
会議時間解析部502は、会議データ記憶部40が記憶する音声認識された結果に基づいて、会議毎に、会議にかかった時間を推定し、推定した結果を会議データ記憶部40に記憶させる。
発話時間解析部503は、会議データ記憶部40が記憶する音声認識された結果に基づいて、会議毎かつメンバー毎に、発話した合計時間を推定する。また、発話時間解析部503は、推定した発話した合計時間を1時間あたりに正規化して、正規化した値を発話量として、会議毎かつメンバー毎に会議データ記憶部40に記憶させる。なお、発話時間解析部503は、メンバー毎の1時間あたりの発話回数を発話量として解析するようにしてもよい。
推定部60は、条件付き発言量推定部601、割込行列推定部602、活性度確率推定部603、および支配関係グラフ推定部604を備える。
推定部60は、条件付き発話量、割り込み行列、および活性度確率(ターンテイク確率)のうち少なくとも1つを推定し、推定した結果を記憶部70に記憶させる。なお、推定部60は、条件付き発言量推定部601、割込行列推定部602、および活性度確率推定部603のうち、推定する内容に対応する機能部を、少なくとも1つを備えていればよい。
条件付き発言量推定部601は、会話解析部50が解析した結果を会議データ記憶部40から読み出す。条件付き発言量推定部601は、読み出した解析結果に基づいて、メンバー選択部80が出力する推定指示に応じて、開催される会議に参加するメンバーの組み合わせ毎に、条件付き発言量を推定する。なお、条件付き発言量の推定方法は、後述する。条件付き発言量推定部601は、推定した条件付き発言量を記憶部70の条件付き発話量記憶部701に記憶させる。なお、条件付き発言量とは、誰と会議に参加しているときにより発言量が多くなる(活発になる)か、発言量が少なくなるかを示す値である。また、発話量とは、1時間あたりの発話時間である。
割込行列推定部602は、会話解析部50が解析した結果を会議データ記憶部40から読み出す。条件付き発言量推定部601は、読み出した解析結果に基づいて、メンバー選択部80が出力する推定指示に応じて、開催された全ての会議におけるメンバー間の割り込み回数と、開催された全ての会議における割込行列とを推定し、推定した割込行列を割込行列記憶部702に記憶する。なお、メンバー間の割り込み回数と割込行列の推定方法については、後述する。なお、割込行列とは、誰が誰の発言に割り込んでいるのか、または誰に割り込まれているのかを示すものである。この行列は、会議に参加可能な全てのメンバーに対する行列である。
活性度確率推定部603は、会話解析部50が解析した結果を会議データ記憶部40から読み出す。活性度確率推定部603は、読み出した解析結果に基づいて、メンバー選択部80が出力する推定指示に応じて、活性度確率を推定し、推定した活性度確率を活性度確率記憶部703に記憶する。なお、活性度確率の推定方法については、後述する。なお、活性度確率とは、誰の後に誰が発話しているのかを示す確率である。
支配関係グラフ推定部604は、割込行列推定部602が推定した割り込み回数に基づいて、開催される会議に参加するメンバーの構成が、どの支配関係グラフの型であるかを推定する。なお、支配関係グラフについては、後述する。
記憶部70は、条件付き発話量記憶部701、割込行列記憶部702、および活性度確率記憶部703を備える。
条件付き発話量記憶部701は、開催される会議のメンバーの組み合わせ毎の条件付き発言量を記憶する。
割込行列記憶部702は、会議に参加可能なメンバーの割込行列を記憶する。
活性度確率記憶部703は、会議に参加可能なメンバー毎の活性度確率を記憶する。
メンバー選択部80は、推定部60が推定した条件付き発話量、割り込み行列、および活性度確率のうち少なくとも1つの結果に基づいて、開催される会議の参加メンバーを推定する。なお、会議に参加するメンバーの総数は、利用者が操作部2を操作して入力する。また、利用者は、会議に必ず参加するメンバーを示す情報(名前または識別番号、部署名等)を、操作部2を操作して入力する。
メンバー選択部80は、操作情報取得部30が出力する会議の参加メンバー数、事前に参加が決定される事前決定者、会議に参加させたいメンバーのリスト等を受け取る。メンバー選択部80は、受け取った情報に基づいて、開催される会議の参加メンバーの総数N(人)、事前決定メンバーの人数M(人)とメンバーの名前、残りのメンバーの人数N−M(人)を決定する。メンバー選択部80は、推定部60に条件付き発話量、割り込み行列、および活性度確率のうち少なくとも1つを推定する推定指示を出力する。メンバー選択部80は、推定部60が推定した結果に基づいて、開催される会議に参加する残りのメンバーを選択する。メンバー選択部80は、選択したメンバーを示す情報(名前または識別番号、部署名等)を選択結果として出力装置3へ出力する。なお、開催される会議に参加するメンバーの選択方法については、各実施形態で説明する。
<会議データ記憶部40が記憶する情報>
次に、会議データ記憶部40が記憶する情報の一例を説明する。
図2は、実施形態に係る会議データ記憶部40が記憶する開催される会議に参加可能なメンバーを示す情報の一例を示す図である。図2に示すように、会議データ記憶部40は、開催される会議に参加可能なメンバーを示す情報を記憶する。図2示す例では、メンバーの情報として、識別番号に所属情報が関連付けられて記憶されている。なお、図2に示した例は、メンバーを示す情報の例として識別番号の例を示したが、識別番号の代わりに社員番号、名前等であってもよい。
図3は、本実施形態に係る会議データ記憶部40が記憶するメンバー毎の発言量の一例を示す図である。ここで、発言量とは、1つの会議における総発言時間を会議が開催された会議時間で正規化した値である。なお、図3に示す例は、開催された1つの会議における発言量の例であり、会議データ記憶部40は、会議毎にこの情報を記憶する。また、図3に示す例は、開催された会議の総参加者は5人であり、ID1、ID3、ID5、ID6およびID9が参加した例である。図3に示すように、会議データ記憶部40は、メンバーを示す情報に発言量a(分/1時間)を関連付けて記憶する。会議データ記憶部40は、例えば、ID1に発言量a(分/1時間)を関連付けて記憶する。
<開催される会議に参加するメンバーの選択に用いる要素>
次に、実施形態で用いる開催される会議に参加するメンバーの選択に用いる要素を説明、定義する。
I.開催される会議に参加可能なメンバーの総数をN(ただし、Nは2以上の整数)とする。
II.開催される会議に参加するメンバーベクトルを、gと定義する。
会議に参加するメンバーを、長さNのバイナリベクトルgで表し、次式(1)のように、第iメンバーに含まれる場合のgの第i成分g(i)を1とし、その他場合のgの第i成分g(i)を0とする。なお、Rは、1以上の実数である。
Figure 2018045364
III.メンバーベクトル間類似度をd(∈(0,1))とする。
2つのメンバーベクトルから、メンバーの構成の近さを算出する。例えばg、gの間のメンバーベクトル間類似度d(g、g)は、次式(2)のように表される。
Figure 2018045364
式(2)より、異なるメンバーが2人の場合のメンバーベクトル間類似度は、1/(1+2)=1/3となる。
IV.開催される会議に参加するメンバーの総数をMとする。また、Mを次式(3)のように定義する。
Figure 2018045364
V.次式(4)のように、各メンバーの発言時間を会議が行われた時間で正規化した値をメンバーの発言量と定義する。このため、発言量の単位は、1時間あたりの発言時間である。なお、会議時間の単位は[時間]であり、例えば150分なら2.5[時間]である。
Figure 2018045364
VI.各メンバーの発言量を、その会議に参加した全てのメンバーで平均したものを、次式(5)のように、平均発言量a∈Rと定義する。
Figure 2018045364
なお、会議データ記憶部40は、S(Sは、1以上の整数)件の会議に関する情報を記憶している。式(5)において、sは、1からSの整数である。
VII.開催される会議tにおけるメンバーベクトルをgとする。
<条件付き発言量>
VIII.開催される会議tにおけるメンバーベクトルgの発言量a を条件付き発言量と定義する。
過去の会議のメンバーベクトルgと、そのときの発言量aのペアS件から、推定する。会議に参加するメンバーの構成が、ターゲットと近いほど条件付き発言量a に近い発言量になると期待されるため、メンバーベクトル間の類似度で重み付けした平均によって、条件付き発言量a を推定する。
ここで、重みwは、次式(6)のように定義する。
Figure 2018045364
なお、重みwは、正規化されているため、次式(7)の関係が成り立つ。
Figure 2018045364
条件付き発言量推定部601は、このように重み付けした発言量を用いて、条件付き発言量a を、次式(8)を算出することで推定する。
Figure 2018045364
<割り込み行列>
IX.割り込み量oi(n),i(n+1)(nは1以上の整数)を、1時間あたりのメンバーi(n)からi(n+1)への割り込み回数であると定義する。
X.全メンバー(M人)におけるメンバー同士の割り込み量を表す行列を割込行列O∈RM×Mを、割込行列O(i(n),i(n+1))と定義する。
割込行列推定部602は、過去の会議毎のメンバーベクトルgと、その会議のときの割り込み量Oのペアそれぞれについて、開催される会議のメンバーベクトルgと比較して、以下のように分類することで、割り込み行列を推定するための行列O’∈RM×Mを構成する。なお、Oの行列サイズは、会議sの参加メンバーの総数によって異なる。
(分類1)メンバーが完全に一致する場合(g=g
割り込み行列Oを、そのまま推定するための行列(以下、推定行列という)O’として使用する。
’=O
(分類2)メンバーが一致しない場合(g≠g
次式(9)のように、推定行列Os’∈RM×Mを構成する。
Figure 2018045364
推定行列Os’の各要素は、会議sのメンバーベクトルgのメンバーではなく、開催される会議tのメンバーベクトルgのメンバーに対応している。メンバーベクトルg、メンバーベクトルgの両方に属しているメンバーのペアについては、元の割り込み行列の対応する値Os(i(n),i(n+1))の値をそのまま使用する。
一方、それに含まれないメンバーについては、対応する値が存在しないので、替わりに過去の会議における全メンバーの全割り込み量の平均値oを割り当てる。
これにより、割込行列推定部602は、推定行列Os’のサンプルがS個生成できるので、次式(10)のように、メンバーベクトルとの類似度dを用いた重み付き和を算出することで、ターゲットの割り込み行列O を求める。
Figure 2018045364
ここで、割り込み行列の例を説明する。
図4は、実施形態に係る割り込み行列の例を示す図である。
画像fg1は、割り込み行列における割り込み回数と割り込まれ回数を説明する図である。画像fg1に示すように、割り込み行列において、行方向がメンバー毎の割り込み回数を表し、列方向がメンバー毎の割り込まれ回数を表している。
また、画像fg2は、割り込み行列の要素を説明する図である。画像fg2に示すように、メンバー自身への割り込みはできないため、対角成分は0である。また、一例として、1行目3列目の要素3は、第1メンバーから第3メンバーへの割り込み回数が3回であることを表している。また、n行目1列目の要素1は、第1メンバーが第nメンバーから割り込まれた回数が3回であることを表している。
<活性度確率>
X.メンバーi(n)からメンバーi(n+1)へターンが移行する(メンバーi(n)の発言の開始後に他のメンバーより早くメンバーi(n+1)が発言を開始する)確率を、活性度確率(ターンテイク確率)qi(n),i(n+1)と定義する。なお、開催される会議に参加した全メンバーの活性度確率の和(Σi∈全メンバーi(n),i(n+1))は、1であるように正規化する。
XI.活性度確率qi(n),i(n+1)から、開催される会議に参加した全メンバー同士の活性度確率を表すターンテイク行列Q∈RM×Mを、Qs(i(n),i(n+1))=qi(n),i(n+1)と定義する。
活性度確率推定部603は、過去に開催された会議のメンバーベクトルgと、その会議のときのターンテイク行列QのペアS件それぞれについて、開催される会議のメンバーベクトルgと比較して、以下のように分類し、割り込み行列を推定するための推定行列Q’∈RM×M(s=1,…,S)を構成する。
(分類1)メンバーが完全に一致する場合(g=g
ターンテイク行列Qを、そのまま推定行列Q’として使用する。
’=Q
(分類2)メンバーが一致しない場合(g≠g
次式(11)のように、推定行列Qs’∈RM×Mを構成する。
Figure 2018045364
推定行列Qs’の各要素は、会議sのメンバーベクトルgのメンバーではなく、開催される会議tのメンバーベクトルgのメンバーに対応している。メンバーベクトルg、メンバーベクトルgの両方に属しているメンバーのペアについては、元のターンテイク行列の対応する値Qs(i(n),i(n+1))の値をそのまま使用する。
一方、それに含まれないメンバーについては、対応する値が存在しないので、替わりに過去の会議における全メンバーの全割り込み量の平均値qを割り当てる。
これにより、活性度確率推定部603は、推定行列Qs’のサンプルがS個生成できるので、次式(12)のように、メンバーベクトルとの類似度dを用いた重み付き和を算出することで、ターゲットのターンテイク行列Q を求める。
Figure 2018045364
そして、活性度確率推定部603は、確率の定義にあうように、次式(13)のように正規化することで、活性度確率Q を算出する。
Figure 2018045364
会話メンバー最適化装置1は、上述した条件付き発言量、割り込み行列、活性度確率のうち少なくとも1つを推定して、推定した結果に基づいて、開催される会議に参加するメンバーを選択する。これにより、会話メンバー最適化装置1は、開催される会議に最適なメンバーを選択することができる。
[第1実施形態]
第1実施形態では、会話メンバー最適化装置1が、条件付き発言量の推定結果に基づいて、開催される会議に参加するメンバーを選択する例を説明する。
なお、会話メンバー最適化装置1の構成は、図1に示した構成である。
図5は、本実施形態に係る開催される会議への参加メンバーの選択方法の一例を示す図である。図5に示す例は、開催される会議の総参加者は5人、予め参加が決まっている(事前決定)メンバーが3人、未決定なメンバーの人数が2人の例である。なお、予め参加が決まっているメンバーは、例えばその会議におけるリーダーやその補佐役のメンバー等である。ここでは、事前決定メンバーがID7、ID8、ID9であるとする。また、開催される会議に参加可能な残りのメンバーをID1〜ID6とする。
メンバー選択部80は、操作情報取得部30が出力する情報から参加が決定しているメンバーに関する情報を抽出する。メンバー選択部80は、参加が決定しているメンバーの情報(事前決定情報)と、総参加数と、未決定なメンバーの人数とを含む推定指示を推定部60に出力する。
条件付き発言量推定部601は、会議データ記憶部40が記憶するメンバーの中から、事前決定の3人(ID7、ID8、ID9)以外のメンバーを1人ずつ選択し、事前決定の3人に選択したメンバー(ID1〜ID6のうちの1人)を加えた4人の場合の6通りのメンバーベクトルgを生成する。そして、条件付き発言量推定部601は、生成したメンバーベクトルgを用いて、条件付き発言量を、式(8)を用いて算出する。
すなわち、条件付き発言量推定部601は、ID7、ID8、ID9に、ID1〜ID6のうち1人を加えた時の条件付き発言量それぞれを算出する。図5に示す例では、条件付き発言量それぞれは、0.6、0.8、0.2、0.1、0.3、0.5である。例えば、以下のように計算する。参加者A、B、Cがいる場合、([AのB、Cが居る場合の発言量]+[BのA、Cが居る場合の発言量]+[CのA、Bが居る場合の発言量])/3で求める。
ここで、図5における条件付き発言量の算出方法について、さらに説明する。
まず、条件付き発言量推定部601は、ID7、ID8、ID9、ID1が参加した会議の解析結果を会議データ記憶部40から抽出する。
次に、条件付き発言量推定部601は、ID7、ID8、ID9、ID1それぞれの1つの会議あたりの1時間あたりの発言回数を会議データ記憶部40から読み出す。ID7、ID8、ID9、ID1が参加した会議が例えば5つあった場合、この5つの会議における各メンバーの平均発言量a、メンバーベクトルg、メンバーベクトル間の類似度dを用いて、式(8)によって、ID1〜ID6が参加した場合の条件付き発言量それぞれを算出する。
メンバー選択部80は、条件付き発言量推定部601が推定した条件付き発言量が最大の0.8である場合のID7、ID8、ID9、ID2の組み合わせを選択する。
次に、メンバー選択部80は、ID7、ID8、ID9、ID2以外の残りの1名を加えた場合の条件付き発言量を推定する推定指示を条件付き発言量推定部601に出力する。
条件付き発言量推定部601は、会議データ記憶部40が記憶するメンバーの中から、事前決定の3人(ID7、ID8、ID9)と選択したID2以外のメンバーを1人ずつ選択し、決定済みの4人に残りのメンバー(ID1、ID3〜ID6))を順次選択した5人の場合の5通りのメンバーベクトルを生成する。そして、条件付き発言量推定部601は、生成したメンバーベクトルgを用いて、条件付き発言量を算出する。
すなわち、条件付き発言量推定部601は、ID7、ID8、ID、ID2に、ID1、ID3〜ID6のうち1人を加えた時の条件付き発言量それぞれを算出する。図5に示す例では、条件付き発言量それぞれは、0.1、0.2、0.3、0.9、0.5である。
メンバー選択部80は、条件付き発言量推定部601が推定した条件付き発言量が最大の0.9である場合のID7、ID8、ID9、ID2、ID5の組み合わせを選択する。
なお、図5に示した条件付き発言量の値は、説明を簡便にするために用いた値である。
このように、会話メンバー最適化装置1は、特徴量である条件付き発言量を用いて、開催される会議に参加するメンバーを1人ずつ加えて、メンバーを加えたときの評価値を求め、評価値が最大となるメンバーを選択する。そして、会話メンバー最適化装置1は、決定メンバーに選択したメンバーを追加し、開催される会議に参加するメンバーを1人ずつ加えて、メンバーを加えたときの評価値を求め、評価値が最大となるメンバーを選択する。このような処理を繰り返すことで、会話メンバー最適化装置1は、開催される会議の発言が活発になるメンバーを選択する。
このように、本実施形態では、開催される会議に参加するメンバーのうち、事前に結滞されたメンバー以外を、過去に開催された会議の発言量に基づいて、どのメンバーの組み合わせにしたときに発言量が最大となるかを、条件付き発言量を算出することで推定する。これにより、最も発言量が多くなる、すなわち会議が活発になると推定されるメンバーを選択することができる。
次に、条件付き発言量の算出の処理手順を、フローチャートを用いて説明する。
図6は、本実施形態に係る開催される会議に参加するメンバーの選択処理のフローチャートである。
(ステップS1)メンバー選択部80は、開催される会議の条件を、操作情報取得部30が出力する操作情報から取得する。ここで、メンバー選択部80が取得する条件は、開催される会議に参加するメンバーの総数M、事前に参加が決まっているメンバーを示す情報(識別子、名前等)である。
(ステップS2)メンバー選択部80は、操作情報取得部30が出力する操作情報から取得した事前に参加が決まっているメンバーを示す情報から、決定メンバーを設定する。続けて、メンバー選択部80は、取得した情報、設定した情報に基づいて推定指示を生成し、生成した推定指示を条件付き発言量推定部601に出力する。
(ステップS3)推定部60とメンバー選択部80は、ステップS4〜ステップS5の処理を、開催する会議のメンバーが選択されるまで、または選択に失敗するまで繰り返す。
(ステップS4)推定部60は、会議データ記憶部40が記憶するメンバーのリストの中から、決定メンバー以外のメンバーを1人以上、選択可能であるか否かを判別する。推定部60は、リストに選択可能なメンバーが1人以上いると判別した場合(ステップS4;YES)、ステップS5に処理を進め、リストに選択可能なメンバーが1人以上いないと判別した場合(ステップS4;NO)、ステップS8の処理に進める。
(ステップS5)条件付き発言量推定部601は、推定部60が1人ずつ逐次選択したメンバーを決定メンバーに加えた場合のメンバーベクトルを生成する。続けて、条件付き発言量推定部601は、生成したメンバーベクトルを用いて、条件付き発言量それぞれを算出する。続けて、メンバー選択部80は、条件付き発言量推定部601が算出した条件付き発言量の中から値が最大となる選択したメンバーを構成メンバー(会議に参加するメンバー)として決定する。例えば、参加メンバーの総数が5人であり、決定メンバーが3人の場合、条件付き発言量推定部601は、一巡目で1人目のメンバーを選択し、二巡目で2人目のメンバーを選択する。
(ステップS6)推定部60とメンバー選択部80は、ステップS4〜ステップS5の処理が終了した後、ステップS7の処理に進む。
(ステップS7)メンバー選択部80は、選択したメンバーを、開催される会議に参加するメンバーとして決定する。続けて、メンバー選択部80は、決定したメンバー(含む決定メンバー)を示す情報(例えば名前、識別情報)を出力装置3へ出力する。なお、メンバー選択部80は、会議データ記憶部40がメンバーの所属等を記憶している場合、決定したメンバーが所属する部署名等を、会議データ記憶部40から探索し、探索した結果を出力装置3へ出力するようにしてもよい。
(ステップS8)メンバー選択部80は、メンバーが選択できなかったことを示す情報を、出力装置3へ出力する。
なお、上述した条件付き発言量の算出方法は一例であり、これに限られない。条件付き発言量は、1つの会議における発言回数であってもよい。この場合、式(4)に示したメンバー毎の発言量は、(1つの会議における発言回数)/(1つの会議時間)であってもよい。また、式(5)に示した平均発言量は、1/M×[Σi∈会議メンバー{(iの発言回数)/(会議sの会議時間)}]であってもよい。
また、メンバー選択部80は、選択したメンバーのうち、最も好ましい結果となるメンバーの組み合わせにおけるメンバーを示す情報のみではなく、例えば二番目、三番目の組み合わせにおけるメンバーを示す情報も出力装置3へ出力するようにしてもよい。
これにより、利用者は、開催される会議に参加するメンバーの中で、急用等によって参加できないメンバーが発生した場合であっても、代わりのメンバーを選択することができる。このように、会話メンバー最適化装置1は、会議に参加するメンバーの第1候補のみではなく、第2候補、第3候補、・・・も提供することができる。
以上のように、本実施形態の会話メンバー最適化装置1は、過去に開催された会議の会話を解析した結果に基づいて、これから開催される会議のメンバーに参加が決定している決定メンバーと、選択可能なメンバーを組み合わせた場合の条件付き発言量を推定する。そして、本実施形態の会話メンバー最適化装置1は、推定した結果のうち、条件付き発言量が最大となる1人をメンバーとして選択し、開催されるメンバーの総数に達するまで、この選択処理を繰り返して、開催される会議の参加メンバーを選択するようにした。
これにより、本実施形態によれば、発言量を重視して開催されるメンバーを選択したので、開催される会議の発言が活発になると推定されるメンバーを選択することができる。
また、本実施形態によれば、開催される会議に参加するメンバーのうち、数人(1人以上)を予め決定し、残りのメンバーを逐次1人ずつ選択するようにしたので、演算量を削減することができる。
議論は複数人のコミュニケーションなので、議論が活発になる組み合わせや、そうではない組み合わせが存在する。これは、事前の知識だけではなく、議論の能力にも影響する。特に、議論の能力に基づく会議メンバーの最適化は、議論のアウトプットの質に重要な要素であるにもかかわらず、議論能力の定量的な評価が困難であったために、従来、主催者とうによって、経験や感覚、あるいは年齢などのメタ情報によってしか選択されていなかった。
一方、本実施形態によれば、過去に開催された会議の会話を解析することで、参加者の役割推定結果や、過去の発言の行動から、最適な議論の組み合わせを計算することで、最適なメンバーを選択することができる。これにより、本実施形態によれば、会議における発言を活発にする、すなわち、会議の質を向上することが可能になる。
なお、本実施形態では、会議に参加可能なメンバーを、1人ずつ決定する例を説明したが、これに限られない。会話メンバー最適化装置1は、例えば残りの2人について全ての組み合わせを、決定メンバーに組み合わせて条件付き発言量を推定するようにしてもよい。例えば、残りの2人に対する候補が6人の場合、会話メンバー最適化装置1は、30通り(=6×5)の組み合わせの条件付き発言量を推定するようにしてもよい。そして、会話メンバー最適化装置1は、推定した中から、条件付き発言量が最大となる組み合わせのメンバーを選択するようにしてもよい。
また、本実施形態では、決定メンバーが予め決められている例を説明したが、これに限られない。開催される会議へのメンバーが予め1人も決定していない場合、会話メンバー最適化装置1は、会議に参加可能な候補のメンバーの中から逐次1人を仮に選択し、さらに別の1人を選択して、条件付き発言量が最大となる組み合わせのメンバーを選択するようにしてもよい。会話メンバー最適化装置1は、この2人のメンバーの組み合わせのうち、条件付き発言量が最大となる組み合わせを採用し、以後、3人目、4人目、・・・のメンバーを実施形態で説明したように条件付き発言量が最大となる組み合わせのメンバーを選択するようにしてもよい。
[第2実施形態]
第2実施形態では、特徴量である、発言量、割り込み、活性度(ターンテイク)に基づいて、この3つの特徴量に対して利用者からの指示に応じた重みを用いて開催されるメンバーを選択する例を説明する。
なお、会話メンバー最適化装置1の構成は、図1に示した構成である。
<支配関係グラフ>
まず、本実施形態で用いる支配関係グラフについて説明する。
図7は、本実施形態に係る支配関係グラフの例を示す図である。なお、図7において、i〜iは、会議に参加するメンバーを表している。また、画像fg101〜画像fg104それぞれは、支配関係グラフの例である。
画像fg101に示す支配関係グラフは、木構造であり、1人のメンバーiが、他のメンバーi〜iを支配している構造である。本実施形態では、このような支配関係を、1人支配者型という。
画像fg102に示す支配関係グラフは、逆木構造であり、他のメンバーi〜iが、1人のメンバーiを支配している構造である。本実施形態では、このような支配関係を、1人被支配者型という。
画像fg103に示す支配関係グラフは、2部グラフ構造であり、メンバーiとメンバーiがメンバーiを支配し、メンバーiとメンバーiがメンバーiを支配し、メンバーiとメンバーiとメンバーiがメンバーiを支配している構造である。本実施形態では、このような支配関係を、支配者−被支配者型という。
画像fg104に示す支配関係グラフは、閉ループ構造であり、メンバーiがメンバーiを支配し、メンバーiがメンバーiを支配し、メンバーiがメンバーiを支配し、メンバーiがメンバーiを支配し、メンバーiがメンバーiを支配している構造である。本実施形態では、このような支配関係を、支配者非存在型という。
なお、図7に示した支配関係のグラフは一例であり、メンバーの総数、支配関係、構造等が異なっている他の支配関係であってもよい。このような支配関係グラフの関係を示す情報は、会議データ記憶部40が、予め記憶する。
<支配関係グラフの生成手法>
本実施形態では、支配関係グラフ推定部604が、開催された会議における発言の割り込み回数に基づいて、支配関係グラフを推定する。
図8は、本実施形態に係る支配関係グラフの生成の一例を示す図である。図8において、符号A〜Cは、メンバーでありグラフにおけるノードでもある。また、エッジe201〜e202は、グラフにおけるエッジである。
図8に示す例では、符号fg201に示すように、支配関係グラフ推定部604は、メンバーAからメンバーBへの割り込み回数が、メンバーBからメンバーAへの割り込み回数より多く、かつその差が所定の値tより大きい場合に、エッジe201を生成する。
また、符号fg202に示すように、支配関係グラフ推定部604は、メンバーBからメンバーCへの割り込み回数が、メンバーCからメンバーBへの割り込み回数より多いが、その差が所定の値tより小さい場合に、エッジe202を生成しない。
支配関係グラフ推定部604は、割込行列推定部602が推定したメンバー間毎の割り込み回数に基づいて、選択したメンバーによる支配関係グラフを推定する。
支配関係グラフ推定部604は、利用者が支配関係グラフを指定した場合、指定された構造と近いか否かを判別する。例えば、利用者が1人支配者型を指示した場合、支配関係グラフ推定部604は、選択したメンバーによる支配関係グラフを推定して、1人支配者型に近い構造であれば1人支配者型であると判別し、その他の場合に1人支配者型ではないと判別する。
このように、本実施形態では、利用者、例えば会議の主催者やリーダーが、開催される会議に求める支配関係を指定し、その支配関係に近く、かつ発言が活発になるメンバーを選択することができる。
次に、支配関係グラフ推定部604が行う支配関係グラフの型の識別手順の一例を説明する。
図9は、本実施形態に係る支配関係グラフの型の識別手順のフローチャートである。
(ステップS101)支配関係グラフ推定部604は、推定したグラフが木構造であるか否かを判別する。支配関係グラフ推定部604は、推定したグラフが木構造であると判別した場合(ステップS101;YES)、ステップS102に処理を進め、推定したグラフが木構造ではないと判別した場合(ステップS101;NO)、ステップS103に処理を進める。
(ステップS102)支配関係グラフ推定部604は、メンバー毎に他のメンバーへの割り込み回数の総和が多い順にソートする。続けて、支配関係グラフ推定部604は、推定したグラフを、ソートした先頭のメンバーが支配者である「1人支配者型」であると識別する。支配関係グラフ推定部604は、識別後、処理を終了する。
(ステップS103)支配関係グラフ推定部604は、有効グラフの向きを逆にしたグラフが木構造であるか否かを判別する。支配関係グラフ推定部604は、有効グラフの向きを逆にしたグラフが木構造であると判別した場合(ステップS103;YES)、ステップS104に処理を進め、有効グラフの向きを逆にしたグラフが木構造ではないと判別した場合(ステップS103;NO)、ステップS105に処理を進める。
(ステップS104)支配関係グラフ推定部604は、メンバー毎に他のメンバーへの割り込み回数の総和が多い順にソートする。続けて、支配関係グラフ推定部604は、推定したグラフを、ソートした先頭のメンバーが支配者である「1人被支配者型」であると識別する。支配関係グラフ推定部604は、識別後、処理を終了する。
(ステップS105)支配関係グラフ推定部604は、推定したグラフが2部グラフ構造であるか否かを判別する。支配関係グラフ推定部604は、推定したグラフが2部グラフ構造であると判別した場合(ステップS105;YES)、ステップS106に処理を進め、推定したグラフが2部グラフ構造ではないと判別した場合(ステップS105;NO)、ステップS107に処理を進める。
(ステップS106)支配関係グラフ推定部604は、推定したグラフを「支配者−被支配者型」であると識別する。支配関係グラフ推定部604は、識別後、処理を終了する。
(ステップS107)支配関係グラフ推定部604は、推定したグラフが全ノードを含む閉路を持つ構造(閉ループ構造)であるか否かを判別する。支配関係グラフ推定部604は、推定したグラフが全ノードを含む閉路を持つ構造であると判別した場合(ステップS107;YES)、ステップS108に処理を進め、推定したグラフが全ノードを含む閉路を持つ構造ではないと判別した場合(ステップS107;NO)、ステップS109に処理を進める。
(ステップS108)支配関係グラフ推定部604は、推定したグラフを「支配者非存在型」であると識別する。支配関係グラフ推定部604は、識別後、処理を終了する。
(ステップS109)支配関係グラフ推定部604は、推定したグラフを「その他の型」であると識別する。支配関係グラフ推定部604は、識別後、処理を終了する。
<重み付き和で組み合わせる方法>
次に、本実施形態における開催される会議のメンバーを選択する方法の例を説明する。
利用者は、3つの特徴量(発話量、割り込み、ターンテイク)のうち、どれを重視するか、例えば比率で操作部2を操作して入力する。
また、利用者は、第1実施形態と同様に、開催される会議に参加するメンバーの総数と、決定メンバーを、操作部2を操作して入力する。
さらに利用者は、支配関係グラフを指定したい場合、指定したい支配関係グラフを示す情報を、操作部2を操作して入力する。
また、利用者は、開催される会議に参加させたくないメンバー(除外メンバー)がある場合、除外メンバーを示す情報(名前、識別番号、社員番号等)を、操作部2を操作して入力する。
操作部2は、入力された操作情報を、操作情報取得部30に出力する。操作情報取得部30は、取得した操作情報を、メンバー選択部80に出力する。
次に、メンバー選択部80は、利用者の指示に応じて、重み、発言量、割り込み、ターンテイク、支配関係グラフそれぞれに関して、以下のパラメータを指定、設定する。
I.メンバー選択部80は、どの要素を重視するかに応じて、重み(w,w,wqo)の割合を設定する。
ここで、重みwは発言量に対する重みであり、重みwは割り込みに対する重みであり、重みwqoはターンテイクに対する重みである。
II.メンバー選択部80は、割り込み行列Oをスカラーに変換する関数f(O)を、利用者の指示に応じて、例えば以下の例1〜例3のように設定する。
(例1)割り込みを最小にしたい場合;
Figure 2018045364
(例2)i(n)が割り込まれる割合を減らしたい場合;
Figure 2018045364
(例3)支配関係グラフが指定された場合;
Figure 2018045364
III.メンバー選択部80は、ターンテイク行列Qをスカラーに変換する関数f(Q)を、例えば以下の例1のように設定する。
(例1)全体の活性度確率を一様にしたい場合;
Figure 2018045364
ただし、式(17)において、qは、Qの全要素の平均である。
図10は、本実施形態に係る開催される会議に参加するメンバーの選択処理のフローチャートである。なお、第1実施形態と同じ処理については、同じ符号を用いて説明を省略する。
メンバー選択部80は、開催される会議に参加するメンバーのうち、決定メンバー以外の残りのメンバーを、以下の手順で選択する。なお、以下の処理において、決定メンバーが少なくとも1人はいるとする。
(ステップS1〜S2)メンバー選択部80は、ステップS1〜S2の処理を行う。メンバー選択部80は、処理終了後、ステップS201に処理を進める。
(ステップS201)メンバー選択部80は、上述したパラメータ(重み、割り込み行列Oをスカラーに変換する関数f(O)、ターンテイク行列Qをスカラーに変換する関数f(Q))を設定する。
(ステップS202)推定部60とメンバー選択部80は、ステップS4〜ステップS209の処理を、開催する会議のメンバーが選択されるまで、または選択に失敗するまで繰り返す。
(ステップS4)推定部60は、会議データ記憶部40が記憶するメンバーのリストの中から、決定メンバー以外のメンバーを1人以上、選択可能であるか否かを判別する。推定部60は、リストに選択可能なメンバーが1人以上いると判別した場合(ステップS4;YES)、ステップS203に処理を進め、リストに選択可能なメンバーが1人以上いないと判別した場合(ステップS4;NO)、ステップS8の処理に進める。
(ステップS203)支配関係グラフ推定部604とメンバー選択部80は、選択可能なメンバー(決定メンバー以外かつ除外メンバー以外)全てに対して、ステップS204〜S207の処理を繰り返して行う。
(ステップS204)支配関係グラフ推定部604は、決定メンバー以外かつ除外メンバー以外のメンバーを1人、仮に選択する。
(ステップS205)支配関係グラフ推定部604は、割込行列推定部602が推定したメンバー間の割り込み回数に基づいて、決定メンバーに仮に選択したメンバーを加えた場合のグラフを生成し、生成したグラフがどの型の構成であるか、例えば図9の処理によって識別する。続けて、支配関係グラフ推定部604は、識別した型が指示された支配関係グラフの型と同じまたは近いものであるか否かを判別する。支配関係グラフ推定部604は、識別した型が指示された支配関係グラフの型と同じまたは近いものであると判別した場合(ステップS205;YES)、割り込み行列Oをスカラーに変換する関数f(O)を1に設定して、ステップS206の処理に進める。または、支配関係グラフ推定部604は、識別した型が指示された支配関係グラフの型と同じまたは近いものではないと判別した場合(ステップS205;NO)、割り込み行列Oをスカラーに変換する関数f(O)を0に設定して、ステップS204の処理に戻る。
(ステップS206)メンバー選択部80は、支配関係グラフが利用者によって指示された構造と同じまたは近い場合、決定メンバーに仮に選択したメンバーを加えたメンバーベクトルg (1)(i)(iは、1からNの間の整数)を算出する。
(ステップS207)メンバー選択部80は、算出したメンバーベクトルg (1)(i)から、条件付き発言量a 、割り込み行列O 、および活性度確率Q を算出する。
(ステップS208)メンバー選択部80は、支配関係グラフ推定部604とメンバー選択部80は、選択可能なメンバー(決定メンバー以外かつ除外メンバー以外)全てに対して、ステップS204〜S207が終了した後、ステップS208の処理に進む。
(ステップS209)メンバー選択部80は、ステップS4〜S207の処理によって条件を満たすメンバーの組み合わせそれぞれの評価値eval(i)を次式(18)のように算出する。続けて、メンバー選択部80は、算出した評価値のうち値が最大となるメンバーを選択する。メンバー選択部80は、処理後、ステップS6の処理に進む。
Figure 2018045364
(ステップS6)推定部60とメンバー選択部80は、ステップS4〜ステップS208の処理が終了した後、ステップS7の処理に進む。
(ステップS7、S8)メンバー選択部80は、ステップS7、S8の処理を行う。
なお、上述した例では、支配関係グラフが指定された場合を例に説明したが、支配関係グラフが指定されていない場合、ステップS205の処理を行わずに、支配関係グラフ推定部604は、ステップS204の処理後、ステップS206の処理に進める。
また、上述した例では、発言量、割り込み、ターンテイクの3つを用いる例を説明したが、利用者の指示に応じて少なくとも1つを用いるようにしてもよい。例えば、割り込みのみを重視して、他の特徴量(発言量、ターンテイク)を用いない場合は、重みw,wqoそれぞれを0とし、重みwを1として評価値を算出する。
一例として、条件付き発話量のみを用いてメンバーを選択する例を、図11を用いて説明する。
図11は、本実施形態に係る条件付き発話量のみを用いてメンバーを選択する例を示す図である。
図11に示す例では、開催される会議に参加するメンバーの総数が5人であり、決定メンバーが3人(ID7〜ID9)であり、利用者が指示した支配関係グラフが1人支配者型の例である。また、選択可能なメンバーの識別番号が、ID1〜ID6の6人であるとする。
支配関係グラフ推定部604は、決定メンバーの3人に、選択可能なメンバーのうちの1人を仮に加えた場合の支配関係グラフを推定し、推定したグラフの構造が1人支配者型であるか否かを判別する。図11に示す例では、判別の結果、ID3またはID4を加えた場合、1人支配者型にならなかったことを示している。
次に、条件付き発言量推定部601は、ID7〜ID9に、ID1、ID2、ID5、ID6を1人ずつ加えたそれぞれのメンバーベクトルを生成し、生成したメンバーベクトルそれぞれを用いて、条件付き発言量それぞれを算出する。算出した結果、条件付き発言量は、(ID7、ID8、ID9、ID1)の組み合わせが0.5、(ID7、ID8、ID9、ID2)の組み合わせが0.3、(ID7、ID8、ID9、ID5)の組み合わせが0.8、(ID7、ID8、ID9、ID6)の組み合わせが0.6であることを示している。これにより、メンバー選択部80は、条件付き発言量が最大となる組み合わせのID5を第1のメンバーとして選択する。
推定部60とメンバー選択部80は、このような処理を、2人(=5−3)が埋まるまで繰り返す。
以上のように、本実施形態の会話メンバー最適化装置1は、発言量、割り込み、ターンテイクそれぞれに重みを付加し、利用者の要望に応じて、この重みを設定するようにした。
これにより、本実施形態によれば、会議における発言量を多くし、会議における割り込み量を大きくし、会議におけるターンテイクを大きくすることができるメンバーを選択することができるので、会議に最適なメンバーを選択することができる。
また、本実施形態によれば、利用者の指示に応じて、発言量、割り込み、ターンテイクに対して重視したい項目に重み付けしてメンバーを選択することができるので、会議に最適なメンバーを選択することができる。
また、本実施形態によれば、利用者の指示に応じて、発言量、割り込み、ターンテイクのうち少なくとも1つを重視してメンバーを選択することができるので、会議に最適なメンバーを選択することができる。
なお、ターンテイクを大きくすることができるメンバーを選択することで、会話のキャッチボールが活発になる。
[第3実施形態]
第3実施形態では、特徴量である、発言量、割り込み、活性度(ターンテイク)に基づいて、この3つの特徴量に対して利用者からの指示に応じた重みを用いずに開催されるメンバーを選択する例を説明する。
なお、会話メンバー最適化装置1の構成は、図1に示した構成である。
重みを用いない場合、推定部60とメンバー選択部80は、決定メンバーに対して、選択可能なメンバーを仮に1人ずつ加え、その都度、条件付き発言量、割込行列、活性度確率それぞれを順番に算出する。なお、算出する順番は、利用者の指示に応じたもの(重視したい項目)等であってもよい。
推定部60とメンバー選択部80は、算出した各値が、所定の閾値より大きいメンバーを選択する。なお、条件付き発言量、割込行列、活性度確率の選択結果が異なる場合、例えば、閾値と算出した値との差分が一番大きくなるメンバーを選択するようにしてもよい。または、条件付き発言量、割込行列、活性度確率の選択結果が異なる場合、一巡目で、3人の候補メンバーを選択するようにしてもよい。
推定部60とメンバー選択部80は、二巡目で、決定メンバーに一巡目で選択したメンバーを加える。続けて、推定部60とメンバー選択部80は、決定メンバーに一巡目で選択したメンバーを加えた以外に選択可能なメンバーから、選択可能なメンバーを仮に1人ずつ加え、その都度、条件付き発言量、割込行列、活性度確率それぞれを順番に算出する。なお、推定部60とメンバー選択部80は、一巡目で複数の候補メンバーを選択した場合、この複数の候補メンバーの1人ずつを決定メンバーに加えて、選択可能なメンバーを仮に1人ずつ加え、その都度、条件付き発言量、割込行列、活性度確率それぞれを順番に算出する。例えば、決定メンバーがID7、ID8、ID9であり、一巡目の候補メンバーがID1とID3の場合、(ID1、ID7、ID8、ID9)に選択可能なメンバーを加えて各値を算出し、さらに、(ID3、ID7、ID8、ID9)に選択可能なメンバーを加えて各値を算出する。
推定部60とメンバー選択部80は、一巡目と同様に、算出した各値が、所定の閾値より大きいメンバーを選択する。
図12は、本実施形態に係る開催される会議に参加するメンバーの選択処理のフローチャートである。なお、図6、図10と同じ処理については、同じ符号を用いて説明を省略する。
(ステップS1〜S2)メンバー選択部80は、ステップS1〜S2の処理を行う。メンバー選択部80は、処理終了後、ステップS301に処理を進める。
(ステップS301)メンバー選択部80は、パラメータ(割り込み行列Oをスカラーに変換する関数f0(O)、ターンテイク行列Qをスカラーに変換する関数fq(Q))を設定する。
以下、推定部60とメンバー選択部80は、ステップS4〜ステップS311の処理を、開催する会議のメンバーが選択されるまで、または選択に失敗するまで繰り返すことで、メンバーを選択する。
(ステップS4)推定部60は、会議データ記憶部40が記憶するメンバーのリストの中から、決定メンバー以外のメンバーを1人以上、選択可能であるか否かを判別する。推定部60は、リストに選択可能なメンバーが1人以上いると判別した場合(ステップS4;YES)、ステップS302に処理を進め、リストに選択可能なメンバーが1人以上いないと判別した場合(ステップS4;NO)、ステップS8の処理に進める。
(ステップS302)支配関係グラフ推定部604は、決定メンバー以外かつ除外メンバー以外のメンバーを1人、仮に選択する。なお、支配関係グラフ推定部604は、フラグが1に設定されているメンバーを除外して選択する。続けて、支配関係グラフ推定部604は、割込行列推定部602が推定したメンバー間の割り込み回数に基づいて、決定メンバーに仮に選択したメンバーを加えた場合のグラフを生成し、生成したグラフがどの型の構成であるか、例えば図9の処理によって識別する。続けて、支配関係グラフ推定部604は、識別した型が指示された支配関係グラフの型と同じまたは近いものであるか否かを判別する。続けて、指示された支配関係グラフの型と同じまたは近いものであると判別されたメンバーを仮に選択する。
(ステップS303)メンバー選択部80は、決定メンバーに仮に選択したメンバーを加えたメンバーベクトルg (1)(i)(iは、1からNの間の整数)を算出する。
(ステップS304)条件付き発言量推定部601は、算出したメンバーベクトルg (1)(i)から、条件付き発言量a を算出する。
(ステップS305)条件付き発言量推定部601は、決定メンバーに仮に選択したメンバーを加えた場合の条件付き発言量a が第1の閾値以上となるメンバーを選択する。
(ステップS306)割込行列推定部602は、算出したメンバーベクトルg (1)(i)から、割り込み行列O を算出する。
(ステップS307)割込行列推定部602は、決定メンバーに仮に選択したメンバーを加えた場合の割り込み行列O をスカラー化した値が第2の閾値以上となるメンバーを選択する。
(ステップS308)活性度確率推定部603は、算出したメンバーベクトルg (1)(i)から、活性度確率Q−を算出する。
(ステップS309)活性度確率推定部603は、決定メンバーに仮に選択したメンバーを加えた場合の活性度確率Q をスカラー化した値が第3の閾値以上となるメンバーを選択する。
(ステップS310)メンバー選択部80は、算出した各値(条件付き発言量a 、割り込み行列O をスカラー化した値、および活性度確率Q をスカラー化した値)と、対応する所定の閾値それぞれとを比較する。メンバー選択部80は、例えば、閾値に対して一番差が大きいメンバーを1人選択する。メンバー選択部80は、会議データ記憶部40が記憶する情報にたいして、選択したメンバーを示す情報に対して、例えばフラグを1に設定する。
(ステップS311)メンバー選択部80は、メンバー選択が終了したか否かを判別する。メンバー選択部80は、メンバー選択が終了したと判別した場合(ステップS311;YES)、ステップS310でフラグを1に設定したメンバーを示す情報のフラグをリセットし、ステップS7の処理に進める。または、メンバー選択部80は、メンバー選択が終了していないと判別した場合(ステップS311;NO)、ステップS4の処理に戻す。
(ステップS7、S8)メンバー選択部80は、ステップS7、S8の処理を行う。
例えば、図11のように、決定メンバーがID7〜ID9であり、参加可能な残りのメンバーがID1〜ID6の場合、支配関係グラフ推定部604は、ID1、ID2、ID5およびID6が、指定された支配関係グラフの構成となるメンバーとして選択する。
そして、条件付き発言量推定部601は、決定メンバーID7〜ID9に、ID1、ID2、ID5およびID6のうち1人を加えた場合の条件付き発言量を推定し、推定した結果のうち、条件付き発言量が第1の閾値以上となるメンバーを選択する。ここで、条件付き発言量推定部601は、ID5とID6を選択したとする。
次に、割込行列推定部602は、決定メンバーID7〜ID9に、ID1、ID2、ID5およびID6のうち1人を加えた場合の割り込み行列を推定し、推定した結果のうち、割り込み行列をスカラー化した値が第2の閾値以上となるメンバーを選択する。ここで、割込行列推定部602は、ID1とID6を選択したとする。
次に、活性度確率推定部603は、決定メンバーID7〜ID9に、ID1、ID2、ID5およびID6のうち1人を加えた場合の活性度確率を推定し、推定した結果のうち、活性度確率をスカラー化した値が第3の閾値以上となるメンバーを選択する。ここで、割込行列推定部602は、ID1とID5を選択したとする。
次に、メンバー選択部80は、算出した各値(条件付き発言量、割り込み行列をスカラー化した値、および活性度確率をスカラー化した値)と、対応する所定の閾値それぞれとを比較して、閾値に対して一番差が大きいメンバーを1人選択する。これにより、メンバー選択部80は、ID1をメンバーとして選択する。
推定部60とメンバー選択部80は、このような処理をさらにもう1度行って、残りのメンバー1人を選択する。
このように、本実施形態では、所定の閾値より高いメンバーを選択することで、順番に候補を絞っていくことができる。
なお、本実施形態における会話メンバー最適化装置1の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより開催される会議に参加するメンバーの選択を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
1…会話メンバー最適化装置、10…取得部、20…音声解析部、30…操作情報取得部、40…会議データ記憶部、50…会話解析部、60…推定部、70…記憶部、80…メンバー選択部、201…音源定位部、202…音源分離部、203…発話区間検出部、204…特徴量検出部、205…音声認識部、501…話者数検出部、502…会議時間解析部、503…発話時間解析部、601…条件付き発言量推定部、602…割込行列推定部、603…活性度確率推定部、604…支配関係グラフ推定部、701…条件付き発話量記憶部、702…割込行列記憶部、703…活性度確率記憶部

Claims (10)

  1. 過去に開催された複数の会議の音声信号を会議毎に認識して、会議の会話を会議毎に解析する会話解析部と、
    前記会話解析部が解析した結果に基づいて、かつこれから開催される会議に参加するメンバーを選択するメンバー選択指示に応じて、前記開催される会議に参加する前記メンバーの組み合わせにおける特徴量を推定する推定部と、
    前記推定部が推定した結果に基づいて、前記メンバーを選択するメンバー選択部と、
    を備える会話メンバー最適化装置。
  2. 会議に参加する前記メンバー間の支配関係を示す型を記憶し、
    前記メンバー選択部は、所望の型に合うように前記メンバーを選定する、請求項1に記載の会話メンバー最適化装置。
  3. 前記特徴量は、
    一のメンバーと他のメンバーとの組み合わせよる発話量である条件付き発言量、
    一のメンバーの後で他のメンバーが割り込んで発言しているかを示す割り込み行列、
    一のメンバーの後で他のメンバーが発話をしている確率である活性度確率、のうち少なくとも1つである請求項1または請求項2に記載の会話メンバー最適化装置。
  4. 前記メンバー選択指示は、
    前記開催される会議の参加メンバーの総数と、前記開催される会議の参加メンバーのうち少なくとも1人の予め参加が決定しているメンバーを示す決情報を含む、請求項1から請求項3のいずれか1項に記載の会話メンバー最適化装置。
  5. 前記メンバー選択指示は、
    前記開催される会議の参加メンバーの総数と、前記開催される会議の参加メンバーのうち少なくとも1人の予め参加が決定しているメンバーを示す決情報を含み、
    前記予め参加が決定しているメンバー以外のメンバーが選択可能なメンバーの候補であり、
    前記推定部は、
    前記開催される会議の参加メンバーに、選択する候補のメンバーのうち1人ずつを組み合わせた場合の前記条件付き発言量が最大となるように前記候補のメンバーの中から1人の前記メンバーを前記開催される会議の参加メンバーの総数になるまで繰り返して選択する、請求項3に記載の会話メンバー最適化装置。
  6. 前記メンバー選択指示は、
    前記開催される会議の参加メンバーの総数と、前記開催される会議の参加メンバーのうち少なくとも1人の予め参加が決定しているメンバーを示す決情報を含み、
    前記予め参加が決定しているメンバー以外のメンバーが選択可能なメンバーの候補であり、
    前記推定部は、
    前記開催される会議の参加メンバーに、選択する候補のメンバーのうち1人ずつを組み合わせた場合の前記条件付き発言量と前記割り込み行列をスカラー化した値と前記活性度確率をスカラー化した値との総和が最大となるように前記候補のメンバーの中から1人の前記メンバーを前記開催される会議の参加メンバーの総数になるまで繰り返して選択する、請求項3に記載の会話メンバー最適化装置。
  7. 前記メンバー選択指示は、
    前記開催される会議の参加メンバーの総数と、前記開催される会議の参加メンバーのうち少なくとも1人の予め参加が決定しているメンバーを示す決情報を含み、
    前記予め参加が決定しているメンバー以外のメンバーが選択可能なメンバーの候補であり、
    前記推定部は、
    前記開催される会議の参加メンバーに、選択する候補のメンバーのうち1人ずつを組み合わせた場合の前記条件付き発言量が第1の閾値以上である前記メンバーを選択し、
    前記開催される会議の参加メンバーに、選択する候補のメンバーのうち1人ずつを組み合わせた場合の前記割り込み行列をスカラー化した値が第2の閾値以上である前記メンバーを選択し、
    前記開催される会議の参加メンバーに、選択する候補のメンバーのうち1人ずつを組み合わせた場合の前記活性度確率をスカラー化した値が第3の閾値以上である前記メンバーを選択し、
    前記メンバー選択部は、
    前記推定部が選択した結果に基づいて、前記候補のメンバーの中から1人の前記メンバーを前記開催される会議の参加メンバーの総数になるまで繰り返して選択する、請求項3に記載の会話メンバー最適化装置。
  8. 前記推定部は、
    前記割り込み行列をスカラー化するとき、前記メンバー選択指示に含まれる選択条件に応じて、前記割り込み行列をスカラー化に用いる関数を選択する、請求項6または請求項7に記載の会話メンバー最適化装置。
  9. 会話解析部が、過去に開催された複数の会議の音声信号を会議毎に認識して、会議の会話を会議毎に解析する会話解析手順と、
    推定部が、前記会話解析手順によって解析された結果に基づいて、かつこれから開催される会議に参加するメンバーを選択するメンバー選択指示に応じて、前記開催される会議に参加する前記メンバーの組み合わせにおける特徴量を推定する推定手順と、
    メンバー選択部が、前記推定手順によって推定された結果に基づいて、前記メンバーを選択するメンバー選択手順と、
    を含む会話メンバー最適化方法。
  10. コンピュータに、
    過去に開催された複数の会議の音声信号を会議毎に認識して、会議の会話を会議毎に解析する会話解析手順と、
    前記会話解析手順によって解析された結果に基づいて、かつこれから開催される会議に参加するメンバーを選択するメンバー選択指示に応じて、前記開催される会議に参加する前記メンバーの組み合わせにおける特徴量を推定する推定手順と、
    前記推定手順によって推定された結果に基づいて、前記メンバーを選択するメンバー選択手順と、
    を実行させるためのプログラム。
JP2016178532A 2016-09-13 2016-09-13 会話メンバー最適化装置、会話メンバー最適化方法およびプログラム Active JP6672114B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016178532A JP6672114B2 (ja) 2016-09-13 2016-09-13 会話メンバー最適化装置、会話メンバー最適化方法およびプログラム
US15/645,007 US10699224B2 (en) 2016-09-13 2017-07-10 Conversation member optimization apparatus, conversation member optimization method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016178532A JP6672114B2 (ja) 2016-09-13 2016-09-13 会話メンバー最適化装置、会話メンバー最適化方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2018045364A true JP2018045364A (ja) 2018-03-22
JP6672114B2 JP6672114B2 (ja) 2020-03-25

Family

ID=61560174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016178532A Active JP6672114B2 (ja) 2016-09-13 2016-09-13 会話メンバー最適化装置、会話メンバー最適化方法およびプログラム

Country Status (2)

Country Link
US (1) US10699224B2 (ja)
JP (1) JP6672114B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124399A1 (ja) * 2020-12-10 2022-06-16 正林 真之 情報処理装置
WO2022244366A1 (ja) * 2021-05-17 2022-11-24 株式会社シンギュレイト 情報処理装置、情報処理方法、およびプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020086056A1 (en) * 2018-10-22 2020-04-30 Hewlett-Packard Development Company, L.P. Maintaining independent network connections for user devices in conferencing sessions
US11423910B2 (en) * 2019-03-19 2022-08-23 Servicenow, Inc. Systems and method for third party natural language understanding service integration

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163431A (ja) * 2007-12-28 2009-07-23 Nec Corp コミュニケーション算定装置、会合関数算定装置、会合関数算定方法および会合関数算定用プログラム
WO2010113614A1 (ja) * 2009-04-03 2010-10-07 株式会社日立製作所 コミュニケーション支援装置、コミュニケーション支援システム、及びコミュニケーション支援方法
JP2011076480A (ja) * 2009-09-30 2011-04-14 Fujitsu Ltd 参加者配置プログラム及び参加者配置装置
JP2013246501A (ja) * 2012-05-23 2013-12-09 Ricoh Co Ltd 会議支援装置、会議支援システム、会議支援方法およびプログラム
JP2014527651A (ja) * 2011-07-07 2014-10-16 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 対人的対話からのテキストコンテンツを用いて、対人関係影響情報を判定するためのシステム及び方法
JP5814490B1 (ja) * 2015-01-22 2015-11-17 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4931934A (en) * 1988-06-27 1990-06-05 Snyder Thomas E Method and system for measuring clarified intensity of emotion
US5025471A (en) * 1989-08-04 1991-06-18 Scott Instruments Corporation Method and apparatus for extracting information-bearing portions of a signal for recognizing varying instances of similar patterns
EP0481107B1 (en) * 1990-10-16 1995-09-06 International Business Machines Corporation A phonetic Hidden Markov Model speech synthesizer
US5862519A (en) * 1996-04-02 1999-01-19 T-Netix, Inc. Blind clustering of data with application to speech processing systems
US6011851A (en) * 1997-06-23 2000-01-04 Cisco Technology, Inc. Spatial audio processing method and apparatus for context switching between telephony applications
US6480826B2 (en) * 1999-08-31 2002-11-12 Accenture Llp System and method for a telephonic emotion detection that provides operator feedback
US6275806B1 (en) * 1999-08-31 2001-08-14 Andersen Consulting, Llp System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters
US6151571A (en) * 1999-08-31 2000-11-21 Andersen Consulting System, method and article of manufacture for detecting emotion in voice signals through analysis of a plurality of voice signal parameters
US7222075B2 (en) * 1999-08-31 2007-05-22 Accenture Llp Detecting emotions using voice signal analysis
US7035804B2 (en) * 2001-04-26 2006-04-25 Stenograph, L.L.C. Systems and methods for automated audio transcription, translation, and transfer
US7930181B1 (en) * 2002-09-18 2011-04-19 At&T Intellectual Property Ii, L.P. Low latency real-time speech transcription
WO2004088632A2 (en) * 2003-03-26 2004-10-14 Honda Motor Co., Ltd. Speaker recognition using local models
JP4516527B2 (ja) * 2003-11-12 2010-08-04 本田技研工業株式会社 音声認識装置
US20050246165A1 (en) * 2004-04-29 2005-11-03 Pettinelli Eugene E System and method for analyzing and improving a discourse engaged in by a number of interacting agents
JP4679254B2 (ja) * 2004-10-28 2011-04-27 富士通株式会社 対話システム、対話方法、及びコンピュータプログラム
US9300790B2 (en) * 2005-06-24 2016-03-29 Securus Technologies, Inc. Multi-party conversation analyzer and logger
US7830408B2 (en) * 2005-12-21 2010-11-09 Cisco Technology, Inc. Conference captioning
US7843486B1 (en) * 2006-04-10 2010-11-30 Avaya Inc. Selective muting for conference call participants
CN101904151A (zh) * 2007-12-17 2010-12-01 皇家飞利浦电子股份有限公司 控制在通信系统的至少两个用户之间通信的方法
US9484019B2 (en) * 2008-11-19 2016-11-01 At&T Intellectual Property I, L.P. System and method for discriminative pronunciation modeling for voice search
US9646603B2 (en) * 2009-02-27 2017-05-09 Longsand Limited Various apparatus and methods for a speech recognition system
US20100283829A1 (en) * 2009-05-11 2010-11-11 Cisco Technology, Inc. System and method for translating communications between participants in a conferencing environment
JP5433696B2 (ja) * 2009-07-31 2014-03-05 株式会社東芝 音声処理装置
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US8666672B2 (en) * 2009-11-21 2014-03-04 Radial Comm Research L.L.C. System and method for interpreting a user's psychological state from sensed biometric information and communicating that state to a social networking site
US8818175B2 (en) * 2010-03-08 2014-08-26 Vumanity Media, Inc. Generation of composited video programming
US20110246172A1 (en) * 2010-03-30 2011-10-06 Polycom, Inc. Method and System for Adding Translation in a Videoconference
US9723260B2 (en) * 2010-05-18 2017-08-01 Polycom, Inc. Voice tracking camera with speaker identification
US8395653B2 (en) * 2010-05-18 2013-03-12 Polycom, Inc. Videoconferencing endpoint having multiple voice-tracking cameras
EP2588972A4 (en) * 2010-07-01 2014-06-11 METHOD AND APPARATUS FOR ADAPTING A CONTEXT MODEL
JP2012038131A (ja) * 2010-08-09 2012-02-23 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US8630854B2 (en) * 2010-08-31 2014-01-14 Fujitsu Limited System and method for generating videoconference transcriptions
US8825584B1 (en) * 2011-08-04 2014-09-02 Smart Information Flow Technologies LLC Systems and methods for determining social regard scores
BR112014008457A2 (pt) * 2011-10-18 2017-04-11 Unify Gmbh & Co Kg processo e dispositivo para obtenção de dados gerados em uma conferência
JP6109927B2 (ja) * 2012-05-04 2017-04-05 カオニックス ラブス リミテッド ライアビリティ カンパニー 源信号分離のためのシステム及び方法
US8681203B1 (en) * 2012-08-20 2014-03-25 Google Inc. Automatic mute control for video conferencing
US9269073B2 (en) * 2012-09-20 2016-02-23 Avaya Inc. Virtual agenda participant
US10026329B2 (en) * 2012-11-26 2018-07-17 ISSLA Enterprises, LLC Intralingual supertitling in language acquisition
US9378729B1 (en) * 2013-03-12 2016-06-28 Amazon Technologies, Inc. Maximum likelihood channel normalization
EP2974273A4 (en) * 2013-03-15 2018-01-10 Jibo, Inc. Apparatus and methods for providing a persistent companion device
US9280972B2 (en) * 2013-05-10 2016-03-08 Microsoft Technology Licensing, Llc Speech to text conversion
US9595271B2 (en) * 2013-06-27 2017-03-14 Getgo, Inc. Computer system employing speech recognition for detection of non-speech audio
US9087521B2 (en) * 2013-07-02 2015-07-21 Family Systems, Ltd. Systems and methods for improving audio conferencing services
US9355636B1 (en) * 2013-09-16 2016-05-31 Amazon Technologies, Inc. Selective speech recognition scoring using articulatory features
JP6148163B2 (ja) * 2013-11-29 2017-06-14 本田技研工業株式会社 会話支援装置、会話支援装置の制御方法、及び会話支援装置のプログラム
JP2016012216A (ja) 2014-06-27 2016-01-21 Kddi株式会社 会議分析装置、方法及びプログラム
US20170270930A1 (en) * 2014-08-04 2017-09-21 Flagler Llc Voice tallying system
US11232466B2 (en) * 2015-01-29 2022-01-25 Affectomatics Ltd. Recommendation for experiences based on measurements of affective response that are backed by assurances

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163431A (ja) * 2007-12-28 2009-07-23 Nec Corp コミュニケーション算定装置、会合関数算定装置、会合関数算定方法および会合関数算定用プログラム
WO2010113614A1 (ja) * 2009-04-03 2010-10-07 株式会社日立製作所 コミュニケーション支援装置、コミュニケーション支援システム、及びコミュニケーション支援方法
JP2011076480A (ja) * 2009-09-30 2011-04-14 Fujitsu Ltd 参加者配置プログラム及び参加者配置装置
JP2014527651A (ja) * 2011-07-07 2014-10-16 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 対人的対話からのテキストコンテンツを用いて、対人関係影響情報を判定するためのシステム及び方法
JP2013246501A (ja) * 2012-05-23 2013-12-09 Ricoh Co Ltd 会議支援装置、会議支援システム、会議支援方法およびプログラム
JP5814490B1 (ja) * 2015-01-22 2015-11-17 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124399A1 (ja) * 2020-12-10 2022-06-16 正林 真之 情報処理装置
WO2022244366A1 (ja) * 2021-05-17 2022-11-24 株式会社シンギュレイト 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
US20180075395A1 (en) 2018-03-15
JP6672114B2 (ja) 2020-03-25
US10699224B2 (en) 2020-06-30

Similar Documents

Publication Publication Date Title
US10347244B2 (en) Dialogue system incorporating unique speech to text conversion method for meaningful dialogue response
JP6210239B2 (ja) 会話解析装置、会話解析方法及びプログラム
JP6350148B2 (ja) 話者インデキシング装置、話者インデキシング方法及び話者インデキシング用コンピュータプログラム
TWI396184B (zh) 一種語音辨認所有語言及用語音輸入單字的方法
CN109543020B (zh) 问询处理方法及系统
JP2017097162A (ja) キーワード検出装置、キーワード検出方法及びキーワード検出用コンピュータプログラム
JP6672114B2 (ja) 会話メンバー最適化装置、会話メンバー最適化方法およびプログラム
JP2017161731A (ja) 会話解析装置、会話解析方法およびプログラム
Schapire et al. Boosting with prior knowledge for call classification
Kaushik et al. Automatic audio sentiment extraction using keyword spotting.
JP7160778B2 (ja) 評価システム、評価方法、及びコンピュータプログラム。
Lin et al. Mixture representation learning for deep speaker embedding
Ananthi et al. Speech recognition system and isolated word recognition based on Hidden Markov model (HMM) for Hearing Impaired
Kaur et al. An efficient speaker recognition using quantum neural network
CN113129895A (zh) 一种语音检测处理系统
WO2016152132A1 (ja) 音声処理装置、音声処理システム、音声処理方法、および記録媒体
JP5315976B2 (ja) 音声認識装置、音声認識方法、および、プログラム
Andra et al. Contextual keyword spotting in lecture video with deep convolutional neural network
Mandel et al. Learning a concatenative resynthesis system for noise suppression
WO2020196743A1 (ja) 評価システム及び評価方法
Bird et al. Lstm and gpt-2 synthetic speech transfer learning for speaker recognition to overcome data scarcity
JPH0823758B2 (ja) 話者適応形音声認識装置
Ohta et al. Selecting type of response for chat-like spoken dialogue systems based on acoustic features of user utterances
Lee et al. Recognizing low/high anger in speech for call centers
Avikal et al. Estimation of age from speech using excitation source features

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200304

R150 Certificate of patent or registration of utility model

Ref document number: 6672114

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150