JP2022080074A - 情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2022080074A
JP2022080074A JP2020191039A JP2020191039A JP2022080074A JP 2022080074 A JP2022080074 A JP 2022080074A JP 2020191039 A JP2020191039 A JP 2020191039A JP 2020191039 A JP2020191039 A JP 2020191039A JP 2022080074 A JP2022080074 A JP 2022080074A
Authority
JP
Japan
Prior art keywords
time
analysis section
section
boundary
utterance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020191039A
Other languages
English (en)
Inventor
光留 菅田
Hikaru Sugata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020191039A priority Critical patent/JP2022080074A/ja
Priority to US17/526,389 priority patent/US20220157296A1/en
Priority to CN202111351387.1A priority patent/CN114509157B/zh
Publication of JP2022080074A publication Critical patent/JP2022080074A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H04M3/569—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants using the instant speaker's algorithm

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】複数の参加者によるコミュニケーションの状況をより適切に分析することを可能とする情報処理システムを提供する。【解決手段】情報処理装置１００は、発話判定部１１４及び分析区間決定部１２０を有する。発話判定部１１４は、コミュニケーションにおける複数の参加者それぞれの発話の時系列上の区間である発話区間を判定する。分析区間決定部１２０は、基準分析区間を用いて、複数の実際分析区間の境界の時点が無発話時間に対応する時間となるように、複数の実際分析区間の境界を設定する。【選択図】図２

Description

本発明は、情報処理システム、情報処理方法及びプログラムに関し、特に、コミュニケーションに関する処理を行う情報処理システム、情報処理方法及びプログラムに関する。
グループワーク、ディスカッション又は会議等の、複数の参加者が参加するコミュニケーションの場の盛り上がり度を算出する技術が知られている。この技術に関連し、特許文献１は、複数の会議場間で行われる遠隔会議を支援する会議支援装置を開示する。特許文献１にかかる会議支援装置は、ある会議場における参加者の動作を表す動作情報に基づき会議における発言動作を認識し、この認識結果に基づいてある会議場の盛り上がりの度合いを示す会議場活性度を算出する。上記の会議場活性度としては、例えば、会議場における単位時間当たりの発言動作の量がある。
特開２００６－３０２０４７号公報
あるコミュニケーションにおいて、場の盛り上がりの度合い又は場の雰囲気といったコミュニケーションの状態は、時間とともに変化する可能性がある。このようなコミュニケーションの状態の変遷を把握するためには、コミュニケーションをある時間幅ごとに複数に区切り、時間の推移に沿ってその時間幅の区間ごとにコミュニケーションの指標を分析するということが行われる。このような分析では、例えば、各区間における各参加者の発話長さを分析することが行われる。ここで、コミュニケーションの参加者のいずれかが発話している途中で時間幅を区切ってしまうと、参加者の発話長さを適切に取得することができないおそれがある。したがって、コミュニケーションの状況を適切に分析することができないおそれがある。
本発明は、複数の参加者によるコミュニケーションの状況をより適切に分析することを可能とする、情報処理システム、情報処理方法及びプログラムを提供するものである。
本発明にかかる情報処理システムは、複数の参加者が参加するコミュニケーションにおける前記複数の参加者それぞれの発話の時系列上の区間である発話区間を判定する発話判定部と、予め定められた時間長さの基準分析区間を用いて、実際に前記コミュニケーションの分析を行うための時間区間である複数の実際分析区間の境界の時点が前記複数の参加者のどの前記発話区間にも属さない時間である無発話時間に対応する時間となるように、複数の前記実際分析区間の境界を設定する分析区間決定部と、を有する。
また、本発明にかかる情報処理方法は、複数の参加者が参加するコミュニケーションにおける前記複数の参加者それぞれの発話の時系列上の区間である発話区間を判定し、予め定められた時間長さの基準分析区間を用いて、実際に前記コミュニケーションの分析を行うための時間区間である複数の実際分析区間の境界の時点が前記複数の参加者のどの前記発話区間にも属さない時間である無発話時間に対応する時間となるように、複数の前記実際分析区間の境界を設定する。
また、本発明にかかるプログラムは、複数の参加者が参加するコミュニケーションにおける前記複数の参加者それぞれの発話の時系列上の区間である発話区間を判定するステップと、予め定められた時間長さの基準分析区間を用いて、実際に前記コミュニケーションの分析を行うための時間区間である複数の実際分析区間の境界の時点が前記複数の参加者のどの前記発話区間にも属さない時間である無発話時間に対応する時間となるように、複数の前記実際分析区間の境界を設定するステップと、をコンピュータに実行させる。
本発明は、このように構成されているので、参加者の発話の途中で実際分析区間が区切られることが抑制される。したがって、実際分析区間において参加者の発話長さを適切に取得できるので、コミュニケーションの状況をより適切に分析することが可能となる。
また、好ましくは、前記分析区間決定部は、前記コミュニケーションについて、前記基準分析区間の境界を設定し、前記設定された前記基準分析区間の境界が前記複数の参加者の前記発話区間の少なくとも１つに含まれる場合に、当該基準分析区間の境界に最も近い前記無発話時間に対応する時点を、前記実際分析区間の境界の時点と設定する。
このような構成により、実際分析区間の長さが基準分析区間の長さにより近くなる。したがって、複数の実際分析区間の長さのバラツキを抑制することが可能となる。
また、好ましくは、前記分析区間決定部は、予め、前記コミュニケーションの開始時点から終了時点まで、前記基準分析区間に対応する間隔で複数の前記基準分析区間の境界を設定し、設定された複数の前記基準分析区間の境界それぞれを用いて、複数の前記実際分析区間の境界の時点が前記無発話時間に対応する時間となるように、複数の前記実際分析区間の境界を設定する。
このような構成により、複数の実際分析区間の境界の時点を一度に設定することができるので、処理を簡略化することが可能となる。
また、好ましくは、前記分析区間決定部は、前記基準分析区間の境界を設定し、設定された前記基準分析区間の境界を用いて前記実際分析区間の境界の時点が前記無発話時間に対応する時間となるように前記実際分析区間の境界を設定することを、前記コミュニケーションの開始時点から、順次行う。
このような構成により、実際分析区間の長さと基準分析区間の長さとのズレを抑制することが可能となる。
また、好ましくは、前記分析区間決定部は、前記コミュニケーションの開始時点から前記基準分析区間に対応する時間だけ後に前記基準分析区間の境界を設定する第１の工程を実行し、設定された前記基準分析区間の境界を用いて、前記実際分析区間の境界の時点が前記無発話時間に対応する時間となるように、前記実際分析区間の境界を設定する第２の工程を実行し、設定された前記実際分析区間の境界の時点から、前記基準分析区間に対応する時間だけ後に前記基準分析区間の境界を設定する第３の工程を実行し、前記第２の工程と前記第３の工程とを繰り返すことで、複数の前記実際分析区間の境界の時点をそれぞれ設定する。
このような構成により、複数の実際分析区間の境界を順次設定することを、より確実に実行することが可能となる。
本発明によれば、複数の参加者によるコミュニケーションの状況をより適切に分析することを可能とする、情報処理システム、情報処理方法及びプログラムを提供できる。
実施の形態１にかかる情報処理システムを示す図である。 実施の形態１にかかる情報処理装置の構成を示す図である。 実施の形態１にかかる情報処理システムによって実行される情報処理方法を示すフローチャートである。 実施の形態１にかかる発話判定部の判定処理を説明するための図である。 実施の形態１にかかる発話判定部によって生成される発話推移グラフを例示する図である。 実施の形態１にかかる基準分析区間設定部によって発話推移グラフに基準分析区間境界が配置された状態を例示する図である。 実施の形態１にかかる実際分析区間設定部が実際分析区間境界を設定する方法を説明するための図である。 実施の形態２にかかる情報処理システムによって実行される情報処理方法を示すフローチャートである。 実施の形態２にかかる情報処理方法を説明するための図である。 実施の形態２にかかる情報処理方法を説明するための図である。 実施の形態２にかかる情報処理方法を説明するための図である。 実施の形態２にかかる情報処理方法を説明するための図である。 実施の形態２にかかる情報処理方法を説明するための図である。 実施の形態２にかかる情報処理方法を説明するための図である。
（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
図１は、実施の形態１にかかる情報処理システム１を示す図である。本実施の形態にかかる情報処理システム１は、複数の参加者が参加するコミュニケーションの状況を分析する。したがって、情報処理システム１は、コミュニケーション分析システム（又は単に分析システム）として機能する。あるいは、情報処理システム１は、コミュニケーションの分析を支援する分析支援システム（又は単に支援システム）として機能する。
なお、「コミュニケーション」は、例えば、グループワーク、ディスカッション又は会議等であるが、これらに限定されない。また、本実施の形態にかかる情報処理システム１は、コミュニケーションの分析を行う際に、コミュニケーションを複数の時系列上の区間に分割して、分割された区間ごとにコミュニケーションの指標を分析する。これにより、コミュニケーションの状態の時間的な推移を分析することができる。
実施の形態１にかかる情報処理システム１は、複数の集音装置１０と、情報処理装置１００とを有する。集音装置１０と、情報処理装置１００とは、有線又は無線のネットワーク２を介して接続され得る。
集音装置１０は、マイクを内蔵している。集音装置１０は、音声を検出するセンサとして機能する。集音装置１０は、参加者それぞれの発話を集音するように構成されている。集音装置１０は、コミュニケーションの参加者のそれぞれに装着され得る。例えば、集音装置１０は、バッジのように構成されることによって参加者に装着されてもよい。あるいは、集音装置１０は、参加者の首に掛けられるように構成されることによって参加者に装着されるようにしてもよい。あるいは、集音装置１０は、参加者の頭部に装着されるようにしてもよい。集音装置１０を装着した参加者は、コミュニケーションにおいて発話を行う。集音装置１０は、集音装置１０を装着した参加者の発話を集音する。これにより、集音装置１０は、各参加者の発話を示す発話データ（音声データ）を取得する。なお、以下、用語「発話」は、発話を示す発話データをも示し得る。
また、集音装置１０は、参加者の発話（発声）の音圧の変化を検出してもよい。この場合、集音装置１０は、発話データとして、対応する参加者の発話による音圧の時系列データを検出する。つまり、集音装置１０は、参加者ごとの発話データ（音圧データ）を取得する。
ここで、本実施の形態にかかる情報処理システム１は、コミュニケーションの状況を分析する際に、参加者の発話の内容を把握する必要はない。したがって、集音装置１０は、発話の内容が把握できる程度に精度よく発話を集音する必要はない。例えば、集音装置１０が発話を集音する際のサンプリングレートを十分（例えば２０Ｈｚ程度に）下げることにより、発話の内容が把握されることなく、単に参加者がどのタイミングで発話したかのみを把握することができる。これにより、参加者の心理的抵抗感を抑制することができる。
情報処理装置１００は、複数の集音装置１０のそれぞれから、各参加者の発話（発話データ）を取得する。情報処理装置１００は、各参加者が発話を行ったタイミングに基づいて、コミュニケーションを実際に分析するための、時系列上の（時間軸上の）複数の分析区間（実際分析区間）を設定する。その際に、情報処理装置１００は、実際分析区間の境界が参加者の発話の途中とならないように、実際分析区間を設定する。ここで、実際分析区間は、実際にコミュニケーションの分析を行う際のコミュニケーションの単位となる時間区間である。
そして、情報処理装置１００は、各参加者の発話を用いて、設定された複数の実際分析区間それぞれについて、複数の参加者の発話を分析する。これにより、参加者の発話の途中で実際分析区間が区切られることが抑制される。したがって、実際分析区間において参加者の発話長さを適切に取得できるので、コミュニケーションの状況をより適切に分析することが可能となる。詳しくは後述する。なお、情報処理装置１００は、コミュニケーションの推移及びコミュニケーションにおける発話を分析する、分析装置として機能し得る。あるいは、情報処理装置１００は、コミュニケーションの分析を支援する分析支援装置（又は単に支援装置）として機能する。
図２は、実施の形態１にかかる情報処理装置１００の構成を示す図である。情報処理装置１００は、主要なハードウェア構成として、制御部１０２と、記憶部１０４と、通信部１０６と、インタフェース部１０８（ＩＦ；Interface）とを有する。制御部１０２、記憶部１０４、通信部１０６及びインタフェース部１０８は、データバスなどを介して相互に接続されている。
制御部１０２は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。制御部１０２は、制御処理及び演算処理等を行う演算装置としての機能を有する。記憶部１０４は、例えばメモリ又はハードディスク等の記憶デバイスである。記憶部１０４は、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等である。記憶部１０４は、制御部１０２によって実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。また、記憶部１０４は、処理データ等を一時的に記憶するための機能を有する。記憶部１０４は、データベースを含み得る。
通信部１０６は、集音装置１０等の他の装置とネットワーク２を介して通信を行うために必要な処理を行う。通信部１０６は、通信ポート、ルータ、ファイアウォール等を含み得る。インタフェース部１０８（ＩＦ；Interface）は、例えばユーザインタフェース（ＵＩ）である。インタフェース部１０８は、キーボード、タッチパネル又はマウス等の入力装置と、ディスプレイ又はスピーカ等の出力装置とを有する。インタフェース部１０８は、ユーザ（オペレータ）によるデータの入力の操作を受け付け、ユーザに対して情報を出力する。
また、情報処理装置１００は、構成要素として、発話取得部１１２、発話判定部１１４、分析区間決定部１２０、分析部１３２、及び分析結果出力部１３４を有する。分析区間決定部１２０は、基準分析区間設定部１２２と、実際分析区間設定部１２４とを有する。発話取得部１１２、発話判定部１１４、分析区間決定部１２０、分析部１３２、及び分析結果出力部１３４は、それぞれ、発話取得手段、発話判定手段、分析区間決定手段、分析手段、及び分析結果出力手段としての機能を有する。基準分析区間設定部１２２及び実際分析区間設定部１２４は、それぞれ、基準分析区間設定手段及び実際分析区間設定手段としての機能を有する。
なお、各構成要素は、例えば、制御部１０２の制御によって、プログラムを実行させることによって実現できる。より具体的には、各構成要素は、記憶部１０４に格納されたプログラムを、制御部１０２が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。以上のことは、後述する他の実施の形態においても同様である。
発話取得部１１２は、複数の参加者が参加するコミュニケーションにおける複数の参加者それぞれの発話（発話データ）を取得する。発話判定部１１４は、コミュニケーションにおける複数の参加者それぞれの発話の時系列上の区間である発話区間を判定する。具体的には、発話判定部１１４は、発話取得部１１２によって取得された発話に基づいて、複数の参加者それぞれの時系列上の発話区間（発話時間）を判定する。つまり、発話判定部１１４は、複数の参加者それぞれが、分析対象のコミュニケーションにおいて、いつ発話を行い、いつ発話を行わなかったかを判定する。そして、発話判定部１１４は、コミュニケーションの開始から終了までの複数の参加者それぞれの発話区間の時間的な推移を示す、発話推移グラフを生成する。発話推移グラフについては図５を用いて後述する。なお、発話判定部１１４が各参加者の発話区間を判定する方法については後述する。
分析区間決定部１２０は、複数の基準分析区間の境界と無発話時間とに応じて、複数の実際分析区間の境界の時点を設定する。言い換えると、分析区間決定部１２０は、基準分析区間を用いて、複数の実際分析区間の境界の時点が無発話時間に対応する時間となるように、複数の実際分析区間の境界を設定する。ここで、好ましくは、分析区間決定部１２０は、分析対象のコミュニケーションについて、基準分析区間の境界を設定する。そして、分析区間決定部１２０は、設定された基準分析区間の境界が複数の参加者の発話区間の少なくとも１つに含まれる場合に、当該基準分析区間の境界に最も近い無発話時間に含まれる時点を、実際分析区間の境界の時点と設定する。詳しくは後述する。
ここで、基準分析区間は、予め定められた時間長さの時間区間である。また、複数の基準分析区間の長さは、互いに同じであるとする。例えば、基準分析区間の長さは１０分であるが、これに限定されない。また、基準分析区間の長さは、分析の方法によって定められてもよい。例えば、ある１つのコミュニケーションの状態の変遷を分析する場合であっても、ある分析方法で分析を行うときは基準分析区間を１０分とし、別の分析方法で分析を行うときは基準分析区間を５分としてもよい。
また、無発話時間は、複数の参加者の誰もが発話を行っていない時間（期間）である。つまり、無発話時間は、複数の参加者のどの発話区間にも属さない時間である。無発話時間は、無発話期間又は無発話区間と称してもよい。また、上述したように、実際分析区間は、実際にコミュニケーションの分析を行うための分析区間である。実際にコミュニケーションの分析を行う際は、この実際分析区間ごとに、複数の参加者の発話が分析される。ここで、本実施の形態においては、ある分析において、基準分析区間は一定であるが、実際分析区間は一定とは限らない。
ここで、基準分析区間は、コミュニケーションの状態の変遷を分析する際に、各参加者の発話を分析するための基準の時間区間となる。上述したように、コミュニケーションの状態の変遷の分析では、時間区間ごとに各参加者の発話を分析する。この場合、時間区間の長さのバラツキが大きいと、適切に分析を行うことができないおそれがある。例えば、あるコミュニケーションに対してある分析方法で分析を行う場合に、ある時間帯では１０分間の時間区間で分析を行ったのに、別の時間帯では５分間の時間区間で分析を行うと、コミュニケーションの状態の変遷の分析を適切に行うことができないおそれがある。したがって、本実施の形態では、この分析を行うための時間区間のバラツキを抑制するために、基準分析区間を設ける。そして、分析区間決定部１２０は、なるべく基準分析区間の長さに近い長さとなるように、実際分析区間を設定する。
基準分析区間設定部１２２は、予め、基準分析区間の長さを設定する。基準分析区間設定部１２２は、分析対象のコミュニケーションに対応する発話推移グラフに、基準分析区間（基準分析区間の境界）を設定する。実際分析区間設定部１２４は、分析対象のコミュニケーションに対応する発話推移グラフに、複数の実際分析区間（実際分析区間の境界）を設定する。詳しくは後述する。
分析部１３２は、複数の実際分析区間それぞれについて、複数の参加者の発話を分析する。分析方法については、コミュニケーションの変遷を分析できる任意の方法が考えられる。分析方法の具体例については後述する。分析結果出力部１３４は、分析部１３２による分析結果を出力する。
図３は、実施の形態１にかかる情報処理システム１によって実行される情報処理方法を示すフローチャートである。図３に示すフローチャートは、情報処理装置１００によって実行される分析方法（分析支援方法又は支援方法）を示す。ここで、以下に示す説明では、適宜、後述する図５～図７を用いて、参加者Ａ、参加者Ｂ及び参加者Ｃが参加するコミュニケーションについて分析を行う例について説明する。
発話取得部１１２は、複数の参加者それぞれの発話を取得する（ステップＳ１０２）。具体的には、発話取得部１１２は、集音装置１０から、複数の参加者それぞれの発話を示す発話データを取得する。さらに具体的には、発話取得部１１２は、発話データとして、参加者ごとの発話に伴う、音圧の時間ごとの推移を示す音圧データを取得する。音圧データについては、後述する図４に例示されている。
次に、発話判定部１１４は、各参加者の発話区間を判定する（ステップＳ１０４）。これにより、発話判定部１１４は、発話推移グラフを生成する。具体的には、発話判定部１１４は、各参加者の音圧データにおいて、音圧値が予め定められた閾値よりも大きい時間区間を、その参加者の発話区間と判定する。
図４は、実施の形態１にかかる発話判定部１１４の判定処理を説明するための図である。図４は、ある参加者（例えば参加者Ａ）の音圧データを用いて発話区間を判定する方法を説明するための図である。音圧データは、音圧の時間的な推移を示す。図４に例示する音圧データは、横軸を時間とし、縦軸を音圧値としている。そして、図４に示すように、発話判定部１１４は、音圧値が閾値よりも大きな区間を、発話区間と判定する。図４の例では、参加者Ａについて、３つの発話区間が判定されている。発話判定部１１４は、上記の処理を全ての参加者について行うことによって、各参加者の発話区間を判定する。
なお、発話判定部１１４は、音声データにおけるノイズを判定し、そのノイズの区間を発話区間と判定しないようにして、発話区間を判定してもよい。その際に、発話判定部１１４は、ある参加者（例えば参加者Ａ）の発話区間を判定する際に、その参加者と距離が近い他の参加者（例えば参加者Ｂ及び参加者Ｃ）の音圧データを用いて、ノイズを判定してもよい。この場合、集音装置１０は、参加者同士の距離を把握するための位置情報を検出するセンサを有してもよい。そして、音圧データは、位置情報と対応付けられていてもよい。
具体的には、発話判定部１１４は、参加者Ａの発話区間を判定する際に、参加者Ａの音圧データの形状と、参加者Ｂ及び参加者Ｃの音圧データの形状とを比較し、形状が類似する区間を、ノイズと判定してもよい。ここでいうノイズとは、例えば、どの参加者の発話とは異なる外乱（騒音）である。また、参加者Ａのすぐ近くに参加者Ｂがいて、参加者Ａの集音装置１０で参加者Ｂの発話を集音してしまう場合もある。この場合、発話判定部１１４は、参加者Ａの音圧データの形状と、参加者Ｂの音圧データの形状とを比較し、形状が類似するが参加者Ｂの音圧データにおける音圧よりも低い区間を、参加者Ｂの発話区間だと判定し、参加者Ａの発話区間と判定しないようにしてもよい。したがって、ここでいうノイズは、判定対象の参加者の近くにいる別の参加者の発話に対応し得る。
また、発話判定部１１４は、コミュニケーションに参加する全ての参加者について発話区間を判定する。そして、発話判定部１１４は、複数の参加者の発話区間を同じ時系列上に並べることで、図５に例示するような発話推移グラフを生成する。
図５は、実施の形態１にかかる発話判定部１１４によって生成される発話推移グラフを例示する図である。図５の横軸は、時間を示す。「００：００」は、コミュニケーションの開始時点を示す。「００：１０」は、コミュニケーションの開始時点から１０分後の時点を示す。図５に示す発話推移グラフは、参加者Ａ～Ｃの発話区間を含む。参加者Ａの発話区間は、発話区間ＳｐＡ＃１，ＳｐＡ＃２，ＳｐＡ＃３，ＳｐＡ＃４である。参加者Ｂの発話区間は、発話区間ＳｐＢ＃１，ＳｐＢ＃２，ＳｐＢ＃３である。参加者Ｃの発話区間は、発話区間ＳｐＣ＃１，ＳｐＣ＃２，ＳｐＣ＃３，ＳｐＣ＃４である。この発話推移グラフは、各参加者がいつ発話を行い、いつ発話を行わなかったかを示す。
また、図５において、無発話時間は、参加者Ａの発話区間ＳｐＡ＃１～ＳｐＡ＃４、参加者Ｂの発話区間ＳｐＢ＃１～ＳｐＢ＃３、及び、参加者Ｃの発話区間ＳｐＣ＃１～ＳｐＣ＃４が、互いに重なっていない時間である。例えば、参加者Ｂの発話区間ＳｐＢ＃１の終了時点ＳｐＢ＃１ｅと参加者Ａの発話区間ＳｐＡ＃２の開始時点ＳｐＡ＃２ｓとの間の時間は、無発話時間Ｓｉ＿Ｂ１Ａ２である。また、参加者Ｃの発話区間ＳｐＣ＃２の終了時点ＳｐＣ＃２ｅと参加者Ａの発話区間ＳｐＡ＃３の開始時点ＳｐＡ＃３ｓとの間の時間は、無発話時間Ｓｉ＿Ｃ２Ａ３である。また、参加者Ａの発話区間ＳｐＡ＃４の終了時点ＳｐＡ＃４ｅと参加者Ｃの発話区間ＳｐＣ＃４の開始時点ＳｐＣ＃４ｓとの間の時間は、無発話時間Ｓｉ＿Ａ４Ｃ４である。
図３のフローチャートの説明に戻る。分析区間決定部１２０は、予め、コミュニケーションの開始時点から終了時点まで、基準分析区間に対応する間隔で、複数の基準分析区間の境界（基準分析区間境界）を設定する（ステップＳ１０６）。具体的には、基準分析区間設定部１２２は、発話推移グラフに対して、コミュニケーションの開始時点から終了時点まで、一度に、基準分析区間に対応する間隔で、複数の基準分析区間境界を配置する。これにより、発話推移グラフには、等間隔で、複数の基準分析区間境界が配置されることとなる。つまり、発話推移グラフには、同じ長さの複数の基準分析区間が、時間軸上に互いに連結して配置されることとなる。なお、基準分析区間境界は、基準分析区間の終了時点に対応する。実施の形態１では、基準分析区間境界は、ある基準分析区間とその次の基準分析区間との境界に対応する時点である。
図６は、実施の形態１にかかる基準分析区間設定部１２２によって発話推移グラフに基準分析区間境界が配置された状態を例示する図である。ここで、基準分析区間６０の時間長さをＴｓ（分）とする。例えば、Ｔｓ＝１０（分）であるが、これに限定されない。実施の形態１では、コミュニケーションの開始時点ｔｓ０から、コミュニケーションの終了時点まで、Ｔｓ分おきに、基準分析区間境界が配置されている。図６において、例えば、コミュニケーションの開始時点ｔｓ０からＴｓ分後に、１番目の基準分析区間境界ｔｓ１が配置されている。また、基準分析区間境界ｔｓ１からＴｓ分後に、２番目の基準分析区間境界ｔｓ２が配置されている。また、基準分析区間境界ｔｓ２からＴｓ分後に、３番目の基準分析区間境界ｔｓ３が配置されている。なお、コミュニケーションの終了時点の近傍において、ある基準分析区間境界ｔｓＸ（図示せず）からコミュニケーションの終了時点までの間の時間がＴｓ未満となった場合は、基準分析区間境界ｔｓＸからコミュニケーションの終了時点までの間には、基準分析区間境界を配置しない。
図３のフローチャートの説明に戻る。分析区間決定部１２０は、設定された複数の基準分析区間境界それぞれと無発話時間とに応じて、複数の実際分析区間の境界（実際分析区間境界）を設定する（ステップＳ１０８）。具体的には、実際分析区間設定部１２４は、設定された複数の基準分析区間境界それぞれを用いて、複数の実際分析区間境界の時点が無発話時間に対応する時間となるように、複数の実際分析区間境界（実際分析区間）を設定する。さらに具体的には、実際分析区間設定部１２４は、複数の基準分析区間境界それぞれについて、基準分析区間境界の時点が発話区間の少なくとも１つに含まれる場合に、当該基準分析区間境界に最も近い無発話時間に対応する時間を、実際分析区間境界の時点と設定する。なお、実際分析区間設定部１２４は、基準分析区間境界の時点が無発話時間に含まれる場合に、当該基準分析区間境界の時点を実際分析区間境界の時点と設定する。なお、実際分析区間境界は、対応する実際分析区間の終了時点に対応する。つまり、実際分析区間境界は、対応する実際分析区間とその次の実際分析区間との境界に対応する時点である。
図７は、実施の形態１にかかる実際分析区間設定部１２４が実際分析区間境界を設定する方法を説明するための図である。図７は、図６に例示するように発話推移グラフに基準分析区間境界が配置された場合に対応する。実際分析区間設定部１２４は、基準分析区間境界が配置された発話推移グラフにおいて、基準分析区間境界がいずれかの参加者の発話区間に含まれる場合に、その基準分析区間境界に最も近い無発話時間に対応する時点を、実際分析区間境界の時点と設定する。
図７において、１番目の基準分析区間境界ｔｓ１は発話区間ＳｐＢ＃１に含まれている。この場合、実際分析区間設定部１２４は、基準分析区間境界ｔｓ１に最も近い無発話時間である無発話時間Ｓｉ＿Ｂ１Ａ２に含まれる時点を、１番目の実際分析区間７０－１に対応する１番目の実際分析区間境界ｔａ１の時点と設定する。図７の例では、実際分析区間設定部１２４は、無発話時間Ｓｉ＿Ｂ１Ａ２において基準分析区間境界ｔｓ１に最も近い、発話区間ＳｐＢ＃１の終了時点ＳｐＢ＃１ｅに対応する時点を、実際分析区間境界ｔａ１の時点と設定している。このようにして、実際分析区間設定部１２４は、コミュニケーションの開始時点ｔｓ０から実際分析区間境界ｔａ１までの、時間長さＴａ１（分）の実際分析区間７０－１を設定する。
また、２番目の基準分析区間境界ｔｓ２は発話区間ＳｐＣ＃２に含まれている。この場合、実際分析区間設定部１２４は、基準分析区間境界ｔｓ２に最も近い無発話時間である無発話時間Ｓｉ＿Ｃ２Ａ３に含まれる時点を、２番目の実際分析区間７０－２に対応する２番目の実際分析区間境界ｔａ２の時点と設定する。図７の例では、実際分析区間設定部１２４は、無発話時間Ｓｉ＿Ｃ２Ａ３において基準分析区間境界ｔｓ２に最も近い、発話区間ＳｐＣ＃２の終了時点ＳｐＣ＃２ｅに対応する時点を、実際分析区間境界ｔａ２の時点と設定している。このようにして、実際分析区間設定部１２４は、実際分析区間境界ｔａ１から実際分析区間境界ｔａ２までの、時間長さＴａ２（分）の実際分析区間７０－２を設定する。
また、３番目の基準分析区間境界ｔｓ３は発話区間ＳｐＡ＃４に含まれている。この場合、実際分析区間設定部１２４は、基準分析区間境界ｔｓ３に最も近い無発話時間である無発話時間Ｓｉ＿Ａ４Ｃ４に含まれる時点を、３番目の実際分析区間７０－３に対応する３番目の実際分析区間境界ｔａ３の時点と設定する。図７の例では、実際分析区間設定部１２４は、無発話時間Ｓｉ＿Ａ４Ｃ４において基準分析区間境界ｔｓ３に最も近い、発話区間ＳｐＡ＃４の終了時点ＳｐＡ＃４ｅを、実際分析区間境界ｔａ３の時点と設定している。このようにして、実際分析区間設定部１２４は、実際分析区間境界ｔａ２から実際分析区間境界ｔａ３までの、時間長さＴａ３（分）の実際分析区間７０－３を設定する。
これにより、実際分析区間７０－１には、発話区間ＳｐＡ＃１、発話区間ＳｐＣ＃１及び発話区間ＳｐＢ＃１が、途中で途切れることなく含まれることとなる。また、実際分析区間７０－２には、発話区間ＳｐＡ＃２、発話区間ＳｐＢ＃２及び発話区間ＳｐＣ＃２が、途中で途切れることなく含まれることとなる。また、実際分析区間７０－３には、発話区間ＳｐＡ＃３、発話区間ＳｐＢ＃３、発話区間ＳｐＣ＃３及び発話区間ＳｐＡ＃４が、途中で途切れることなく含まれることとなる。
図３のフローチャートの説明に戻る。分析部１３２は、Ｓ１０８の処理によって設定された複数の実際分析区間それぞれについて、複数の参加者の発話を分析する（ステップＳ１２０）。分析結果出力部１３４は、Ｓ１２０の処理による分析結果を出力する（ステップＳ１２２）。例えば、分析結果出力部１３４は、ディスプレイであるインタフェース部１０８に、分析結果を表示させてもよい。
分析部１３２による分析方法の具体例について説明する。例えば、分析部１３２は、実際分析区間の中で、その区間に含まれる各発話区間の長さを取得する。そして、分析部１３２は、複数の実際分析区間それぞれについて、発話区間の長さ（発話時間）の平均値を算出する。図７の例では、分析部１３２は、例えば、実際分析区間７０－１について、発話区間ＳｐＡ＃１の長さと、発話区間ＳｐＣ＃１の長さと、発話区間ＳｐＢ＃１の長さとの平均値を算出する。
分析部１３２は、この発話区間の長さの平均値を用いて、コミュニケーションの状態を評価する。例えば、分析部１３２は、発話区間の長さの平均値が大きいほど、その実際分析区間において、じっくりと議論がなされていると評価する。一方、分析部１３２は、発話区間の長さの平均値が小さいほど、その実際分析区間において、テンポよく意見が交わされていると評価する。分析部１３２は、このような、複数の実際分析区間における分析結果から、コミュニケーションの状態の変遷を判定することができる。
また、発話区間の長さ（発話時間）の変化量の重みは、同じ変化量であっても、発話区間の長さによって異なり得る。例えば、短い発話時間（例えば５秒）の発話区間における１秒の変化と、長い発話時間（例えば５０秒）の発話区間における１秒の変化とを比較すると、短い発話時間の発話区間における１秒の変化の方が、重みが大きい。したがって、発話時間を対数で変換することによって、長い発話時間の変化量の重みを軽減することができる。具体的には、発話区間ｉの発話時間をＴｉとすると、分析部１３２は、Ｘｉ＝ｌｏｇ１０（Ｔｉ＋１）を算出する。そして、分析部１３２は、複数の実際分析区間それぞれについて、Ｘｉの平均値を算出する。そして、分析部１３２は、算出されたＸｉの平均値を用いて、上述したようにコミュニケーションの状態を評価する。なお、Ｘｉの対数の底は、１０でなくてもよく、任意であってもよい。
また、分析部１３２は、複数の実際分析区間それぞれについて、発話率を算出してもよい。発話率は、対応する実際分析区間ｋの時間長さＴａ＿ｋに対する、その実際分析区間において参加者のいずれかが発話を行っている時間の合計時間Ｔｂ＿ｋの割合である。なお、実際分析区間ｋにおける無発話時間の合計時間をＴｃ＿ｋとすると、Ｔｂ＿ｋ＝Ｔａ＿ｋ－Ｔｃ＿ｋである。そして、分析部１３２は、この発話率を用いて、コミュニケーションの状態を評価してもよい。例えば、分析部１３２は、発話率が大きいほど、その実際分析区間において、議論が盛り上がっていると評価してもよい。
また、分析部１３２は、複数の実際分析区間それぞれについて、発話数を算出してもよい。図７の例では、分析部１３２は、実際分析区間７０－１について発話数を３個と算出し、実際分析区間７０－２について発話数を３個と算出し、実際分析区間７０－３について発話数を４個と算出する。そして、分析部１３２は、この発話数を用いて、コミュニケーションの状態を評価してもよい。例えば、分析部１３２は、発話数が大きいほど、その実際分析区間において、テンポよく議論がなされていると評価してもよい。
実施の形態１にかかる情報処理装置１００は、上述したように、予め定められた時間長さの基準分析区間を用いて、複数の実際分析区間の境界の時点が無発話時間に対応する時間となるように、複数の実際分析区間の境界を設定するように構成されている。これにより、参加者の発話の途中で実際分析区間が区切られることが抑制される。したがって、実際分析区間において参加者の発話長さを適切に取得できるので、コミュニケーションの状況をより適切に分析することが可能となる。
また、実施の形態１にかかる情報処理装置１００は、上述したように、分析対象のコミュニケーションについて、基準分析区間の境界を設定する。そして、情報処理装置１００は、設定された基準分析区間の境界が複数の参加者の発話区間の少なくとも１つに含まれる場合に、当該基準分析区間の境界に最も近い無発話時間に含まれる時点を、実際分析区間の境界の時点と設定する。これにより、実際分析区間の長さが基準分析区間の長さにより近くなる。例えば、基準分析区間の長さが１０分である場合、各実際分析区間の長さを１０分に近づけることが可能となる。したがって、複数の実際分析区間の長さのバラツキを抑制することが可能となる。
また、実施の形態１にかかる情報処理装置１００は、予め、コミュニケーションの開始時点から終了時点まで、基準分析区間に対応する間隔で複数の基準分析区間の境界を設定する。そして、情報処理装置１００は、設定された複数の基準分析区間の境界それぞれを用いて、複数の実際分析区間の境界の時点が無発話時間に対応する時間となるように、複数の実際分析区間の境界を設定する。このような構成により、複数の実際分析区間の境界の時点を一度に設定することができるので、処理を簡略化することが可能となる。
なお、図７の例では、実際分析区間境界は、無発話時間の開始時点又は終了時点（つまりある発話区間の終了時点又は開始時点）に設定されているが、これに限定されない。実際分析区間境界は、無発話時間に含まれる任意の時点であってもよい。また、例えば、実際分析区間境界は、無発話時間に含まれる時点のうち、対応する実際分析区間の長さが基準分析区間の長さに最も近くなる時点に設定されてもよい。これにより、設定される実際分析区間の長さが基準分析区間の長さにより近くなる。したがって、実際分析区間の長さのバラツキをさらに低減することができる。このことは、後述する実施の形態２においても同様である。
（実施の形態２）
次に、実施の形態２について説明する。実施の形態２においては、実際分析区間の境界を設定する方法が、実施の形態１と異なる。なお、実施の形態２にかかる情報処理システム１のハードウェア構成については、図１に示した実施の形態１にかかる情報処理システム１のハードウェア構成と実質的に同様であるので、説明を省略する。また、実施の形態２にかかる情報処理装置１００の構成については、図２に示したものと実質的に同様であるので、説明を省略する。
なお、実施の形態２にかかる情報処理装置１００（分析区間決定部１２０）は、基準分析区間の境界を設定し、設定された基準分析区間の境界それぞれと無発話時間とに応じて実際分析区間の境界の時点を設定することを、コミュニケーションの開始時点から、順次行う。つまり、実施の形態２にかかる分析区間決定部１２０は、基準分析区間の境界を設定し、設定された基準分析区間の境界を用いて実際分析区間の境界の時点が無発話時間に対応する時間となるように実際分析区間の境界を設定することを、コミュニケーションの開始時点から、順次行う。
図８は、実施の形態２にかかる情報処理システム１によって実行される情報処理方法を示すフローチャートである。図８に示すフローチャートは、情報処理装置１００によって実行される分析方法（分析支援方法又は支援方法）を示す。なお、図８に示すフローチャートを説明した後で、図９～図１４を用いて、発話推移グラフを用いた具体例を説明する。
発話取得部１１２は、Ｓ１０２の処理と同様にして、複数の参加者それぞれの発話を取得する（ステップＳ２０２）。発話判定部１１４は、Ｓ１０４の処理と同様にして、各参加者の発話区間を判定する（ステップＳ２０４）。これにより、発話判定部１１４は、図５に例示したような発話推移グラフを生成する。
次に、分析区間決定部１２０は、コミュニケーションの開始時点から基準分析区間に対応する時間だけ後に基準分析区間境界を設定する（ステップＳ２０６）。このＳ２０６の処理を、第１の工程と称する。具体的には、基準分析区間設定部１２２は、コミュニケーションの開始時点から基準分析区間の時間長さＴｓだけ後に、１番目の基準分析区間境界の時点を設定する。このようにして、基準分析区間設定部１２２は、第１の工程を実行する。Ｓ２０６の処理については、図９を用いて後述する。
次に、分析区間決定部１２０は、設定された基準分析区間境界と無発話時間とに応じて、実際分析区間境界を設定する（ステップＳ２０８）。このＳ２０８の処理を、第２の工程と称する。具体的には、実際分析区間設定部１２４は、設定された基準分析区間の境界を用いて、実際分析区間の境界の時点が無発話時間に対応する時間となるように、実際分析区間の境界を設定する。さらに具体的には、実際分析区間設定部１２４は、基準分析区間境界の時点が発話区間の少なくとも１つに含まれる場合に、当該基準分析区間境界に最も近い無発話時間に対応する時間を、実際分析区間境界の時点と設定する。さらに言い換えると、実際分析区間設定部１２４は、基準分析区間境界が配置された発話推移グラフにおいて、基準分析区間境界がいずれかの参加者の発話区間に含まれる場合に、その基準分析区間境界に最も近い無発話時間に対応する時点を、実際分析区間境界の時点と設定する。このようにして、実際分析区間設定部１２４は、第２の工程を実行する。
ここで、分析区間決定部１２０は、設定されたｎ番目の基準分析区間境界と無発話時間とに応じて、ｎ番目の実際分析区間境界を設定する。なお、「ｎ」は１以上の整数であって、コミュニケーションの開始時点からの順序を示す。また、実際分析区間設定部１２４は、基準分析区間境界の時点が無発話時間に含まれる場合に、当該基準分析区間境界の時点を実際分析区間境界の時点と設定する。Ｓ２０８の処理については、図１０，図１２及び図１４を用いて後述する。
次に、分析区間決定部１２０は、Ｓ２０８の処理で設定された実際分析区間境界の時点から基準分析区間に対応する時間だけ後に基準分析区間境界を設定する（ステップＳ２１０）。このＳ２１０の処理を、第３の工程と称する。具体的には、基準分析区間設定部１２２は、ｎ番目の実際分析区間に対応するｎ番目の実際分析区間境界の時点から基準分析区間の時間長さＴｓだけ後に、（ｎ＋１）番目の基準分析区間境界の時点を設定する。このようにして、基準分析区間設定部１２２は、第３の工程を実行する。Ｓ２１０の処理については、図１１及び図１３を用いて後述する。
次に、分析区間決定部１２０は、Ｓ２１０の処理で設定された基準分析区間境界に対応する時点がコミュニケーションの終了時点を超えたか否かを判定する（ステップＳ２１２）。設定された基準分析区間境界に対応する時点がコミュニケーションの終了時点を超えていない場合（Ｓ２１２のＮＯ）、全ての実際分析区間の境界の設定が終了していないので、処理はＳ２０８に進む。そして、分析区間決定部１２０は、コミュニケーションの終了時点まで、Ｓ２０８の処理（第２の工程）とＳ２１０の処理（第３の工程）とを繰り返し実行することで、複数の実際分析区間の境界の時点をそれぞれ設定する。
一方、設定された基準分析区間境界に対応する時点がコミュニケーションの終了時点を超えた場合（Ｓ２１２のＹＥＳ）、分析区間決定部１２０（実際分析区間設定部１２４）は、コミュニケーションの終了時点を実際分析区間境界に設定する（ステップＳ２１４）。これにより、全ての実際分析区間の境界の設定が終了する。分析部１３２は、Ｓ１２０の処理と同様にして、複数回実行されたＳ２１０の処理によって設定された複数の実際分析区間それぞれについて、複数の参加者の発話を分析する（ステップＳ２２０）。分析結果出力部１３４は、Ｓ２２０の処理による分析結果を出力する（ステップＳ２２２）。
図９～図１４は、実施の形態２にかかる情報処理方法を説明するための図である。以下、図９～図１４を用いて、実施の形態１と同様に、参加者Ａ、参加者Ｂ及び参加者Ｃが参加するコミュニケーションについて分析を行う例について説明する。
図９は、実施の形態２にかかるＳ２０６の処理（第１の工程）を説明するための図である。基準分析区間設定部１２２は、コミュニケーションの開始時点ｔｓ０からＴｓ分後に、１番目の基準分析区間境界ｔｓ１ｂを配置する（Ｓ２０６）。なお、上述したように、Ｔｓは、基準分析区間６０の時間長さである。また、Ｔｓ１ｂは、実施の形態１にかかるＴｓ１と同じであり得る。
図１０は、実施の形態２にかかるＳ２０８の処理（第２の工程）を説明するための図である。図１０は、１番目の実際分析区間を設定する方法を例示している。図１０は、図９に例示するように発話推移グラフに１番目の基準分析区間境界ｔｓ１ｂが配置された場合に対応する。図１０において、１番目の基準分析区間境界ｔｓ１ｂは発話区間ＳｐＢ＃１に含まれている。この場合、実際分析区間設定部１２４は、基準分析区間境界ｔｓ１ｂに最も近い無発話時間である無発話時間Ｓｉ＿Ｂ１Ａ２に含まれる時点を、１番目の実際分析区間境界ｔａ１ｂの時点と設定する。このようにして、実際分析区間設定部１２４は、コミュニケーションの開始時点ｔｓ０から１番目の実際分析区間境界ｔａ１ｂまでの、時間長さＴａ１ｂ（分）の、１番目の実際分析区間７２－１を設定する。なお、Ｔａ１ｂは、実施の形態１にかかるＴａ１と同じであり得る。
図１１は、実施の形態２にかかるＳ２１０の処理（第３の工程）を説明するための図である。図１１は、図１０に例示するように発話推移グラフに１番目の実際分析区間境界ｔａ１ｂが配置された場合に対応する。基準分析区間設定部１２２は、１番目の実際分析区間境界ｔａ１ｂから、基準分析区間６０の時間長さであるＴｓ分後に、２番目の基準分析区間境界ｔｓ２ｂを配置する。なお、図１１の例では、基準分析区間境界ｔｓ２ｂに対応する時点はコミュニケーションの終了時点を超えていないので、処理はＳ２０８に進む。
図１２は、実施の形態２にかかるＳ２０８の処理（第２の工程）を説明するための図である。図１２は、２番目の実際分析区間を設定する方法を例示している。図１２は、図１１に例示するように発話推移グラフに２番目の基準分析区間境界ｔｓ２ｂが配置された場合に対応する。図１２において、２番目の基準分析区間境界ｔｓ２ｂは発話区間ＳｐＡ＃３に含まれている。この場合、実際分析区間設定部１２４は、基準分析区間境界ｔｓ２ｂに最も近い無発話時間である無発話時間Ｓｉ＿Ｃ２Ａ３に含まれる時点を、２番目の実際分析区間境界ｔａ２ｂの時点と設定する。このようにして、実際分析区間設定部１２４は、１番目の実際分析区間境界ｔａ１ｂから２番目の実際分析区間境界ｔａ２ｂまでの、時間長さＴａ２ｂ（分）の、２番目の実際分析区間７２－２を設定する。なお、Ｔａ２ｂは、実施の形態１にかかるＴａ２と異なり得る。
図１３は、実施の形態２にかかるＳ２１０の処理（第３の工程）を説明するための図である。図１３は、図１２に例示するように発話推移グラフに２番目の実際分析区間境界ｔａ２ｂが配置された場合に対応する。基準分析区間設定部１２２は、２番目の実際分析区間境界ｔａ２ｂから、基準分析区間６０の時間長さであるＴｓ分後に、３番目の基準分析区間境界ｔｓ３ｂを配置する。なお、図１３の例では、基準分析区間境界ｔｓ３ｂに対応する時点はコミュニケーションの終了時点を超えていないので、処理はＳ２０８に進む。
図１４は、実施の形態２にかかるＳ２０８の処理（第２の工程）を説明するための図である。図１４は、３番目の実際分析区間を設定する方法を例示している。図１４は、図１３に例示するように発話推移グラフに３番目の基準分析区間境界ｔｓ３ｂが配置された場合に対応する。図１４において、３番目の基準分析区間境界ｔｓ３ｂは、いずれの発話区間にも含まれておらず、無発話時間Ｓｉ＿Ａ４Ｃ４に含まれている。この場合、実際分析区間設定部１２４は、基準分析区間境界ｔｓ３ｂの時点を、そのまま、３番目の実際分析区間境界ｔａ３ｂの時点と設定する。このようにして、実際分析区間設定部１２４は、２番目の実際分析区間境界ｔａ２ｂから３番目の実際分析区間境界ｔａ３ｂまでの、時間長さＴａ３ｂ（分）の、３番目の実際分析区間７２－３を設定する。なお、Ｔａ３ｂは、実施の形態１にかかるＴａ３と異なり得る。
実施の形態２にかかる情報処理装置１００は、基準分析区間の境界を設定し、設定された基準分析区間の境界を用いて実際分析区間の境界の時点が無発話時間に対応する時間となるように実際分析区間の境界を設定することを、コミュニケーションの開始時点から、順次行うように構成されている。このような構成により、実施の形態１にかかる方法と比較して、実際分析区間の長さを基準分析区間の長さに近づけることが可能となる。
すなわち、上述した実施の形態１にかかる情報処理装置１００は、一度に、複数の基準分析区間境界を設定するように構成されている。このような方法によって設定された基準分析区間境界を用いて実際分析区間境界を設定すると、各実際分析区間の長さと基準分析区間の長さとのズレが大きくなるおそれがある。例えば、ｎ番目の実際分析区間境界に着目すると、実施の形態１では、ｎ番目の実際分析区間の長さは、ｎ番目の基準分析区間境界と無発話時間との関係だけでなく、（ｎ－１）番目の基準分析区間境界と無発話時間との関係の影響を受ける。したがって、実施の形態１の場合では、各実際分析区間の長さと基準分析区間の長さとのズレが大きくなるおそれがある。
これに対し、実施の形態２にかかる情報処理装置１００は、ｎ番目の実際分析区間境界から基準分析区間の長さ分だけ後に（ｎ＋１）番目の基準分析区間境界の時点を設定する。そして、実施の形態２にかかる情報処理装置１００は、この設定された基準分析区間境界に近い無発話時間の時点に（ｎ＋１）番目の実際分析区間境界を設定する。これにより、１つの実際分析区間境界を設定するごとに、基準分析区間の長さに応じてこの設定を行うことができるので、各実際分析区間の長さと基準分析区間の長さとのズレを小さくすることができる。例えば、ｎ番目の実際分析区間境界に着目すると、実施の形態２では、ｎ番目の実際分析区間の長さは、ｎ番目の基準分析区間境界と無発話時間との関係の影響を受ける。したがって、実施の形態２の場合では、実施の形態１と比較して、各実際分析区間の長さと基準分析区間の長さとのズレを抑制する（小さくする）ことができる。
また、実施の形態２にかかる情報処理装置１００は、第１の工程を実行し、第２の工程を実行し、第３の工程を実行し、第２の工程と第３の工程とを繰り返すことで、複数の前記実際分析区間の境界の時点をそれぞれ設定するように構成されている。このような構成により、複数の実際分析区間の境界を順次設定することを、より確実に実行することができる。
（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおいて、複数の処理の順序は、適宜、変更可能である。また、上述したフローチャートにおいて、複数の処理のうちの１つは、省略されてもよい。例えば、図３のＳ１２０及びＳ１２２の処理は、省略されてもよい。図８についても同様である。
また、図２に記載した各構成要素は、物理的に１つの装置で実現されることに限定されない。例えば、分析部１３２及び分析結果出力部１３４は、他の装置で実現されてもよい。また、図２に記載した各構成要素は、クラウドコンピューティングによって実現されてもよい。
また、上述した実施の形態では、発話を集音装置１０で収集して音圧データを生成し、その音圧データから各参加者の発話区間を判定するとしたが、このような構成に限られない。つまり、マイク（センサ）によって発話を検出しなくてもよい。例えば、参加者自身又は他の作業者が、カウンタ等を用いて、発話を行った時間を入力してもよい。例えば、ある参加者が発話を行ったタイミングでカウンタの発話開始ボタンを押下し、発話が終了したタイミングでカウンタの発話終了ボタンを押下することで、発話区間を判定してもよい。つまり、発話判定部１１４が発話区間を判定する際に、集音装置１０によって取得された発話データを用いることに限定されない。
また、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
１ 情報処理システム
１０ 集音装置
６０ 基準分析区間
７０，７２ 実際分析区間
１００ 情報処理装置
１１２ 発話取得部
１１４ 発話判定部
１２０ 分析区間決定部
１２２ 基準分析区間設定部
１２４ 実際分析区間設定部
１３２ 分析部
１３４ 分析結果出力部

Claims (7)

  1. 複数の参加者が参加するコミュニケーションにおける前記複数の参加者それぞれの発話の時系列上の区間である発話区間を判定する発話判定部と、
    予め定められた時間長さの基準分析区間を用いて、実際に前記コミュニケーションの分析を行うための時間区間である複数の実際分析区間の境界の時点が前記複数の参加者のどの前記発話区間にも属さない時間である無発話時間に対応する時間となるように、複数の前記実際分析区間の境界を設定する分析区間決定部と、
    を有する情報処理システム。
  2. 前記分析区間決定部は、前記コミュニケーションについて、前記基準分析区間の境界を設定し、前記設定された前記基準分析区間の境界が前記複数の参加者の前記発話区間の少なくとも１つに含まれる場合に、当該基準分析区間の境界に最も近い前記無発話時間に対応する時点を、前記実際分析区間の境界の時点と設定する、
    請求項１に記載の情報処理システム。
  3. 前記分析区間決定部は、予め、前記コミュニケーションの開始時点から終了時点まで、前記基準分析区間に対応する間隔で複数の前記基準分析区間の境界を設定し、設定された複数の前記基準分析区間の境界それぞれを用いて、複数の前記実際分析区間の境界の時点が前記無発話時間に対応する時間となるように、複数の前記実際分析区間の境界を設定する、
    請求項１又は２に記載の情報処理システム。
  4. 前記分析区間決定部は、
    前記基準分析区間の境界を設定し、設定された前記基準分析区間の境界を用いて前記実際分析区間の境界の時点が前記無発話時間に対応する時間となるように前記実際分析区間の境界を設定することを、前記コミュニケーションの開始時点から、順次行う、
    請求項１又は２に記載の情報処理システム。
  5. 前記分析区間決定部は、
    前記コミュニケーションの開始時点から前記基準分析区間に対応する時間だけ後に前記基準分析区間の境界を設定する第１の工程を実行し、
    設定された前記基準分析区間の境界を用いて、前記実際分析区間の境界の時点が前記無発話時間に対応する時間となるように、前記実際分析区間の境界を設定する第２の工程を実行し、
    設定された前記実際分析区間の境界の時点から、前記基準分析区間に対応する時間だけ後に前記基準分析区間の境界を設定する第３の工程を実行し、
    前記第２の工程と前記第３の工程とを繰り返すことで、複数の前記実際分析区間の境界の時点をそれぞれ設定する、
    請求項４に記載の情報処理システム。
  6. 複数の参加者が参加するコミュニケーションにおける前記複数の参加者それぞれの発話の時系列上の区間である発話区間を判定し、
    予め定められた時間長さの基準分析区間を用いて、実際に前記コミュニケーションの分析を行うための時間区間である複数の実際分析区間の境界の時点が前記複数の参加者のどの前記発話区間にも属さない時間である無発話時間に対応する時間となるように、複数の前記実際分析区間の境界を設定する、
    情報処理方法。
  7. 複数の参加者が参加するコミュニケーションにおける前記複数の参加者それぞれの発話の時系列上の区間である発話区間を判定するステップと、
    予め定められた時間長さの基準分析区間を用いて、実際に前記コミュニケーションの分析を行うための時間区間である複数の実際分析区間の境界の時点が前記複数の参加者のどの前記発話区間にも属さない時間である無発話時間に対応する時間となるように、複数の前記実際分析区間の境界を設定するステップと、
    をコンピュータに実行させるプログラム。
JP2020191039A 2020-11-17 2020-11-17 情報処理システム、情報処理方法及びプログラム Pending JP2022080074A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020191039A JP2022080074A (ja) 2020-11-17 2020-11-17 情報処理システム、情報処理方法及びプログラム
US17/526,389 US20220157296A1 (en) 2020-11-17 2021-11-15 Information processing system, information processing method, and program
CN202111351387.1A CN114509157B (zh) 2020-11-17 2021-11-16 信息处理系统、信息处理方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020191039A JP2022080074A (ja) 2020-11-17 2020-11-17 情報処理システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2022080074A true JP2022080074A (ja) 2022-05-27

Family

ID=81547660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020191039A Pending JP2022080074A (ja) 2020-11-17 2020-11-17 情報処理システム、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20220157296A1 (ja)
JP (1) JP2022080074A (ja)
CN (1) CN114509157B (ja)

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2827932B2 (ja) * 1994-11-25 1998-11-25 日本電気株式会社 多地点テレビ会議における合成画面表示制御方式
DE19616103A1 (de) * 1996-04-23 1997-10-30 Philips Patentverwaltung Verfahren zum Ableiten charakteristischer Werte aus einem Sprachsignal
JP4297602B2 (ja) * 2000-09-18 2009-07-15 パイオニア株式会社 音声認識システム
JP4109063B2 (ja) * 2002-09-18 2008-06-25 パイオニア株式会社 音声認識装置及び音声認識方法
JP4162604B2 (ja) * 2004-01-08 2008-10-08 株式会社東芝 雑音抑圧装置及び雑音抑圧方法
JP2006208482A (ja) * 2005-01-25 2006-08-10 Sony Corp 会議の活性化を支援する装置，方法，プログラム及び記録媒体
JP2007057844A (ja) * 2005-08-24 2007-03-08 Fujitsu Ltd 音声認識システムおよび音声処理システム
JP2007215053A (ja) * 2006-02-10 2007-08-23 Fuji Xerox Co Ltd 議事録作成装置及び議事録作成方法。
JP2007256498A (ja) * 2006-03-22 2007-10-04 Yamaha Corp 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム
JP2010054991A (ja) * 2008-08-29 2010-03-11 Yamaha Corp 録音装置
EP2485461A4 (en) * 2009-10-01 2013-11-27 Fujitsu Ltd VOICE COMMUNICATION DEVICE
JP2012113442A (ja) * 2010-11-22 2012-06-14 Ntt Comware Corp 会議分析システム及び会議分析方法並びにそのプログラム
JP2016012216A (ja) * 2014-06-27 2016-01-21 Kddi株式会社 会議分析装置、方法及びプログラム
JP2016046705A (ja) * 2014-08-25 2016-04-04 コニカミノルタ株式会社 会議録編集装置、その方法とプログラム、会議録再生装置、および会議システム
JP2020046399A (ja) * 2018-09-21 2020-03-26 トヨタ自動車株式会社 待ち合わせ支援装置および待ち合わせ支援方法
JP2020064300A (ja) * 2018-10-11 2020-04-23 株式会社エーアイ 備忘録作成システム、備忘録作成方法、および備忘録作成システムのログ管理サーバのプログラム
JP2020067495A (ja) * 2018-10-22 2020-04-30 ヤマハ株式会社 音声を分析する装置、方法およびプログラム
CN109274922A (zh) * 2018-11-19 2019-01-25 国网山东省电力公司信息通信公司 一种基于语音识别的视频会议控制系统
CN109783642A (zh) * 2019-01-09 2019-05-21 上海极链网络科技有限公司 多人会议场景的结构化内容处理方法、装置、设备及介质
JP7487457B2 (ja) * 2019-09-13 2024-05-21 コニカミノルタ株式会社 会議支援システム、会議支援装置、および会議支援プログラム

Also Published As

Publication number Publication date
US20220157296A1 (en) 2022-05-19
CN114509157B (zh) 2024-04-05
CN114509157A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
JP6171617B2 (ja) 応答対象音声判定装置、応答対象音声判定方法および応答対象音声判定プログラム
US10388279B2 (en) Voice interaction apparatus and voice interaction method
US20120296642A1 (en) Method and appratus for temporal speech scoring
US20180122377A1 (en) Voice interaction apparatus and voice interaction method
CN108039181B (zh) 一种声音信号的情感信息分析方法和装置
JP4587854B2 (ja) 感情解析装置、感情解析プログラム、プログラム格納媒体
JP6969491B2 (ja) 音声対話システム、音声対話方法及びプログラム
JP2000172295A (ja) 低複雑性スピ―チ認識器の区分ベ―スの類似性方法
JP6270661B2 (ja) 音声対話方法、及び音声対話システム
JP2022080074A (ja) 情報処理システム、情報処理方法及びプログラム
JP6801587B2 (ja) 音声対話装置
KR20190125668A (ko) 반려동물의 감정상태 분석장치 및 방법
JP5882183B2 (ja) トークスクリプト抽出装置、方法、及びプログラム
KR20040038419A (ko) 음성을 이용한 감정인식 시스템 및 감정인식 방법
TW200811833A (en) Detection method for voice activity endpoint
JP6736225B2 (ja) 対話装置、対話装置の制御方法およびプログラム
JP2003044078A (ja) 発声速度正規化分析を用いた音声認識装置
Savchenko Estimation of the phonetic speech quality using the information theoretic approach
CN108573712B (zh) 语音活性检测模型生成方法、系统及语音活性检测方法、系统
Lykartsis et al. Prediction of dialogue success with spectral and rhythm acoustic features using dnns and svms
EP3291228B1 (en) Audio processing method, audio processing device, and audio processing program
JP7323936B2 (ja) 疲労推定装置
Rajeswari et al. Improved emotional speech recognition algorithms
JP6887622B1 (ja) マルチチャンネル発話区間推定装置
JP7131362B2 (ja) 制御装置、音声対話装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240426

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521