JP2018173752A - 会議システム、会議システム制御方法、およびプログラム - Google Patents

会議システム、会議システム制御方法、およびプログラム Download PDF

Info

Publication number
JP2018173752A
JP2018173752A JP2017070681A JP2017070681A JP2018173752A JP 2018173752 A JP2018173752 A JP 2018173752A JP 2017070681 A JP2017070681 A JP 2017070681A JP 2017070681 A JP2017070681 A JP 2017070681A JP 2018173752 A JP2018173752 A JP 2018173752A
Authority
JP
Japan
Prior art keywords
unit
utterance
information
request
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017070681A
Other languages
English (en)
Other versions
JP6548045B2 (ja
Inventor
卓 川内
Suguru Kawauchi
卓 川内
一博 中臺
Kazuhiro Nakadai
一博 中臺
智幸 佐畑
Tomoyuki Satake
智幸 佐畑
将太 森
Shota Mori
将太 森
由起 上薗
Yuki Uezono
由起 上薗
恭佑 日根野
Kyosuke Hineno
恭佑 日根野
一也 眞浦
Kazuya Maura
一也 眞浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Honda R&D Sun Co Ltd
Original Assignee
Honda Motor Co Ltd
Honda R&D Sun Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd, Honda R&D Sun Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2017070681A priority Critical patent/JP6548045B2/ja
Priority to US15/934,402 priority patent/US10741172B2/en
Publication of JP2018173752A publication Critical patent/JP2018173752A/ja
Application granted granted Critical
Publication of JP6548045B2 publication Critical patent/JP6548045B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】会議の発話内容をテキスト化する速度やテキスト化された発話内容を読む速度に合わせた発話を支援する。【解決手段】会議システム1は、会議の各参加者の端末20−1、20−2、…と、会議支援装置30と、を備える。会議支援装置30の処理部310は、会議における各話者の発話内容を表すテキスト情報を、端末20−1、20−2、…それぞれの表示部203に表示させる。会議支援装置30の処理部310は、端末20−1、20−2、…のいずれかから、話者の話速を遅くするよう要求する旨の通知を受けた場合に、各参加者の端末20−1、20−2、…の表示部203に、話者の話速を遅くするよう要求する旨を表示させる。【選択図】図1

Description

本発明は、会議システム、会議システム制御方法、およびプログラムに関する。
複数人で行われる会議における各話者の発話内容を音声認識し、話者毎に発話内容をテキスト化して会議の各参加者が所有する端末(スマートフォン、タブレット、ノートPC等)に表示するものがある(例えば特許文献1参照)。
特開平8−194492号公報
しかしながら、音声認識には時間がかかるため、発話内容が表示され、読めるようになるときには、すでに会議では別の話題に移ってしまっていることがある。また、音声認識されたテキストを読む速度が、端末に発話内容を追加表示する速度に追いつかないこともある。
本発明は、上記の問題点に鑑みてなされたものであって、会議の発話内容をテキスト化する速度やテキスト化された発話内容を読む速度に合わせた発話を支援できる会議システム、会議システム制御方法、およびプログラムを提供することを目的とする。
(1)上記目的を達成するため、本発明の一態様に係る会議システム(例えば会議システム1)は、1以上の端末(例えば端末20)それぞれが有する表示部(例えば表示部203)に各話者の発話内容を表すテキスト情報を表示させる発話表示処理部(例えば、表示制御部251及び発話情報送信部351)と、前記話者の話速を遅くするよう要求する旨を通知する通知部(例えば要求情報送信部253及び通知配信部353)と、を備える。
(2)また、本発明の一態様に係る会議システムにおいて、前記通知部は、前記話者に再度の発話又は前記発話内容に対する詳細な説明を要求する旨を通知するようにしてもよい。
(3)また、本発明の一態様に係る会議システムにおいて、前記通知部は、前記通知を前記表示部に表示させるようにしてもよい。
(4)また、本発明の一態様に係る会議システムにおいて、発話を遅くするよう要求する対象の前記話者を示す対象話者情報を入力する対象話者入力部(例えば端末20の操作部201)をさらに備え、前記通知部は、話速を遅くするよう要求する旨と、前記対象話者情報により示される前記話者の情報を前記表示部に表示させるようにしてもよい。
(5)また、本発明の一態様に係る会議システムにおいて、再度の発話を要求する対象又は詳細な説明を要求する対象の前記発話内容を示す対象発話情報を入力する対象発話入力部(例えば端末20の操作部201)をさらに備え、前記通知部は、前記話者に再度の発話又は詳細な説明を要求する旨と、前記対象発話情報により示される前記発話内容を示す情報とを前記表示部に表示させるようにしてもよい。
(6)また、本発明の一態様に係る会議システムにおいて、前記通知部は、ボタン又は前記表示部に表示されるアイコン画像で構成されるようにしてもよい。
(7)また、本発明の一態様に係る会議システムにおいて、前記話者の音声信号又は前記話者の発話内容を表すテキスト情報を入力する入力部(例えば、入力装置10)と、前記入力部により入力された前記音声信号又は前記テキスト情報に基づいて話速を算出する話速算出部(例えば、会議支援装置30の話速算出部354)とをさらに備え、前記通知部は、前記話速算出部により算出された前記話速に基づいて話速を遅くするよう要求する旨を通知するようにしてもよい。
(8)上記目的を達成するため、本発明の一態様に係る会議システムが実行する会議システム制御方法は、1以上の端末それぞれが有する表示部に各話者の発話内容を表すテキスト情報を表示させる発話内容表示過程と、前記話者の話速を遅くするよう要求する旨を通知する通知過程と、を有する。
(9)上記目的を達成するため、本発明の一態様に係るプログラムは、会議支援装置(例えば、会議支援装置30)のコンピュータに、前記会議支援装置と接続される1以上の端末(例えば端末20)それぞれが有する表示部(例えば表示部203)に各話者の発話内容を表すテキスト情報を表示させる発話内容表示過程と、前記話者の話速を遅くするよう要求する旨を通知する通知過程と、を実行させる。
(10)上記目的を達成するため、本発明の一態様に係るプログラムは、会議支援装置(例えば、会議支援装置30)と接続される端末(例えば端末20)のコンピュータに、前記会議支援装置から各話者の発話内容を表すテキスト情報を受信し、受信した前記テキスト情報を表示部(例えば表示部203)に表示する発話内容表示過程と、前記会議支援装置から前記話者の話速を遅くするよう要求する旨の通知を受信し、受信した前記通知を前記表示部に表示する通知表示過程と、を実行させる。
上述した(1)、(8)、(9)又は(10)の構成によれば、会議における発話内容のテキストを、会議の参加者それぞれが使用する端末に表示する場合に、参加者にゆっくり話してもらうことが可能となる。
上述した(2)の構成によれば、話者に再度の発話や、発話内容についての詳細な説明を促すことができる。
上述した(3)の構成によれば、話者は、発話内容のテキストの表示に用いている端末によって、ゆっくり話すことが要求されている旨を認識できる。
上述した(4)の構成によれば、話者は、発話内容のテキストの表示に用いている端末によって、いずれの話者に再度の発話や詳細な説明が要求されているかを認識できる。
上述した(5)の構成によれば、話者は、発話内容のテキストの表示に用いている端末によって、いずれの発話について再度の発話や詳細な説明が要求されているかを認識できる。
上述した(6)の構成によれば、簡易な操作によって、話者へゆっくり話すよう要求したり、再度の発話や詳細な説明を要求したりすることができる。
上述した(7)の構成によれば、話速が早い場合に、利用者が操作することなく、話者にゆっくり話してもらうよう通知することができる。
第1の実施形態に係る会議システムの構成例を示すブロック図である。 同実施形態に係る端末が備える処理部の構成例を示すブロック図である。 同実施形態に係る会議支援装置が備える処理部の構成例を示すブロック図である。 同実施形態に係る会議システムの処理手順例を示すシーケンス図である。 同実施形態に係る端末の表示部に表示される画面例を示す図である。 同実施形態に係る会議支援装置の処理手順例を示すフロー図である。 同実施形態に係る端末の表示部に表示される画面例を示す図である。 同実施形態に係る会議支援装置の処理手順例を示すフロー図である。 同実施形態に係る端末の表示部に表示される画面例を示す図である。 同実施形態に係る会議支援装置の処理手順例を示すフロー図である。 同実施形態に係る端末の表示部に表示される画面例を示す図である。
以下、本発明の実施の形態について図面を参照しながら説明する。
[第1の実施形態]
図1は、本実施形態に係る会議システム1の構成例を示すブロック図である。
まず、会議システム1の構成について説明する。図1に示す会議システム1は、入力装置10、端末20、会議支援装置30、音響モデル・辞書DB40、および議事録・音声ログ記憶部50を備える。会議システム1は、端末20を1台以上備える。同図に示す会議システム1は複数の端末20を備えており、それら複数の端末20をそれぞれ、端末20−1、端末20−2、・・・と記載する。入力装置10と会議支援装置30とは、有線または無線によって接続されている。端末20と会議支援装置30とは、有線または無線によって接続されている。本実施形態では、入力装置10は、利用者の音声を入力する。
会議システム1は、例えば、複数人が参加する会議において利用される。会議の参加者はそれぞれ、入力装置10と端末20とを使用する。健常者と聴覚障がい者が参加者する会議の場合、健常者と発話を行う聴覚障がい者は入力装置10と端末20とを使用し、発話を行わない聴覚障がい者は端末20を使用する。
まず、入力装置10について説明する。
入力装置10は、利用者が発話した音声を表す音声信号を会議支援装置30に出力する。入力装置10は、1以上の入力部11を備える。同図では、入力装置10は、複数の入力部11を備えており、それら複数の入力部11をそれぞれ、入力部11−1、入力部11−2、入力部11−3、・・・と記載する。
入力部11は、マイクロフォンである。マイクロフォンは、会議で発言を行う各利用者に装着される。入力部11は、利用者の音声信号を収音する。入力部11は、この収音した音声信号をアナログ信号からデジタル信号に変換し、デジタル信号に変換した音声信号を会議支援装置30に出力する。なお、入力部11は、アナログ信号の音声信号を会議支援装置30に出力してもよい。入力部11は、音声信号を、有線のコードやケーブルを介して会議支援装置30に出力してもよく、無線で会議支援装置30に送信してもよい。
なお、入力装置10は、マイクロフォンアレイであってもよい。この場合、入力装置10は、それぞれ異なる位置に配置されたP個のマイクロフォンを有する。そして、入力装置10は、収音した音からPチャネル(Pは、2以上の整数)の音声信号を生成し、生成したPチャネルの音声信号を会議支援装置30に出力する。
次に、端末20について説明する。
端末20は、例えばスマートフォン、タブレット端末、パーソナルコンピュータ等のコンピュータ端末である。端末20は、操作部201、処理部202、表示部203、および通信部204を備える。
操作部201は、利用者の操作を検出し、検出した結果を処理部202に出力する。操作部201は、例えば表示部203上に設けられたタッチパネル式のセンサー、またはキーボードである。
処理部202は、操作部201が検出した操作結果に応じて、会議支援装置30へ送信する要求情報を生成し、生成した要求情報を通信部204に出力する。要求情報は、要求する内容を設定した情報であり、例えば、話速低減要求通知情報、再発話要求通知情報、詳細説明要求通知情報、議事録読出要求情報である。話速低減要求通知情報は、話速を遅くするよう要求があった旨を通知する情報である。再発話要求通知情報は、再度の発話を要求する旨を通知する情報である。詳細説明要求通知情報は、発話内容に対する詳細な説明を要求する旨を通知する情報である。話速低減要求通知情報、再発話要求通知情報、詳細説明要求通知情報を総称して発話関連要求通知情報と記載する。議事録読出要求情報は、議事録の読出しが要求されたことを通知する情報である。また、処理部202は、会議支援装置30から受信した情報に基づいて、表示部203に画像データを表示させる。
表示部203は、処理部202が出力した画像データを表示する。表示部203は、例えば液晶表示装置、有機EL(エレクトロルミネッセンス)表示装置、電子インク表示装置等である。
通信部204は、発話情報、または議事録の情報などの各種情報や、発話関連要求配信情報を会議支援装置30から受信し、処理部202に出力する。発話情報とは、利用者の発話内容を表すテキストデータである発話内容テキストが含まれる情報である。発話情報には、話者(発話した利用者)の情報と、発話時刻の情報と、発話を特定する情報である発話識別子とがさらに含まれる。発話時刻が発話識別子を兼ねてもよい。発話関連要求配信情報は、発話に関する要求があった旨の通知を各端末20に出力させるために配信される情報である。発話関連要求配信情報には、話速低減要求配信情報、再発話要求配信情報、詳細説明要求配信情報がある。話速低減要求配信情報は、ゆっくり話すよう要求があった旨を各端末20に出力させるために配信される情報である。再発話要求配信情報は、発話を繰り返すよう要求があった旨を各端末20に出力させるために配信される情報である。詳細説明要求配信情報は、詳細な説明が要求された旨を各端末20に出力させるために配信される情報である。また、通信部204は、処理部202が出力した情報を会議支援装置30に送信する。
次に、音響モデル・辞書DB40について説明する。
音響モデル・辞書DB40には、例えば音響モデル、言語モデル、単語辞書等が格納されている。音響モデルとは、音の特徴量に基づくモデルであり、言語モデルとは、単語とその並び方の情報のモデルである。また、単語辞書とは、多数の語彙による辞書であり、例えば大語彙単語辞書である。
次に、議事録・音声ログ記憶部50について説明する。
議事録・音声ログ記憶部50は、議事録の情報や、発話時刻が付与された音声信号のデータである音声ログを記憶する。
次に、会議支援装置30について説明する。
会議支援装置30は、例えばパーソナルコンピュータ、サーバコンピュータ、スマートフォン、タブレット端末等のうちのいずれかである。会議支援装置30は、取得部301、音声認識部302、テキスト変換部303、テキスト修正部305、議事録作成部306、通信部307、認証部308、操作部309、処理部310、および表示部311を備える。
取得部301は、入力部11が出力する音声信号を取得し、取得した音声信号を音声認識部302に出力する。なお、取得した音声信号がアナログ信号の場合、取得部301は、アナログ信号をデジタル信号に変換し、デジタル信号に変換した音声信号を音声認識部302に出力する。
音声認識部302は、入力部11が複数の場合、入力部11を使用する話者毎に音声認識を行う。音声認識部302は、取得部301が出力する音声信号を取得する。音声認識部302は、取得部301が出力した音声信号から発話区間の音声信号を検出する。発話区間の検出は、例えば所定のしきい値以上の音声信号を発話区間として検出する。なお、音声認識部302は、発話区間の検出を周知の他の手法を用いて行ってもよい。音声認識部302は、検出した発話区間の音声信号に対して、音響モデル・辞書DB40を参照して、周知の手法を用いて音声認識を行う。例えば、音声認識部302は、特開2015−64554号公報に開示されている手法等を用いて音声認識を行う。音声認識部302は認識した認識結果と音声信号をテキスト変換部303に出力する。なお、音声認識部302は、認識結果と音声信号とを、例えば1文毎、または発話区間毎、または話者毎に対応つけて出力する。
テキスト変換部303は、音声認識部302が出力した認識結果をテキストデータに変換する。テキスト変換部303は、変換したテキストデータである発話内容テキストをテキスト修正部305に出力する。テキスト変換部303は、処理部310が話速を計測する場合、音声信号と、その音声信号の認識結果を示す発話内容テキストとを処理部310に出力する。
テキスト修正部305は、処理部310が出力した修正指示に応じて、音響モデル・辞書DB40を参照し、テキスト変換部303が出力した発話内容テキストを修正する。テキスト修正部305は、例えば、「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除して発話内容テキストを修正するようにしてもよい。また、テキスト修正部305は、操作部309による操作等に基づいて処理部310が出力した修正指示に応じて表示に言葉や文等を削除して発話内容テキストを修正するようにしてもよい。表示から削除する言葉や文とは、例えば雑談等である。テキスト修正部305は、修正した発話内容テキストに、話者の利用者識別子及び発話時刻を付加して議事録作成部306及び処理部310に出力する。利用者識別子は、各利用者を特定する情報であり、端末20の識別子を用いてもよい。また、テキスト修正部305は、修正された発話内容テキストが示す発話内容に形態素解析を行い、発話内容テキストに形態素解析結果を付加してもよい。
議事録作成部306は、テキスト修正部305が出力した発話内容テキストと音声信号に基づいて、議事録を作成する。議事録作成部306は、作成した議事録と対応する音声信号を議事録・音声ログ記憶部50に記憶させる。なお、議事録作成部306は、「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除して議事録を作成するようにしてもよい。議事録の情報には、発話を行った利用者の利用者表示情報、テキスト修正部305が修正した結果の発話内容テキスト等が含まれ、さらに、発話時刻の情報が含まれていてもよい。利用者表示情報は、例えば、利用者の名前を表すテキストであるが、利用者の名前を表すテキストに代えて又は加えて、利用者を表す画像を用いることができる。利用者表示情報は、予め会議支援装置30が備える図示しない記憶部又は会議支援装置30と接続される記憶装置に利用者識別子と対応付けて記憶される。
通信部307は、端末20と情報の送受信を行う。端末20から受信する情報には、参加要請、音声信号、要求情報等が含まれている。通信部307は、端末20から受信した参加要請から、例えば、端末20を識別するための識別子を抽出し、抽出した識別子を認証部308に出力する。識別子は、例えば、端末20のシリアル番号、MACアドレス(Media Access Control address)、IP(Internet Protocol)アドレス等である。通信部307は、認証部308が通信参加を許可する指示を出力した場合、会議に参加要請した端末20との通信を行う。通信部307は、認証部308が通信参加を許可しない指示を出力した場合、会議に参加要請した端末20との通信を行わない。通信部307は、受信した情報から要求情報を抽出し、抽出した要求情報を処理部310に出力する。通信部307は、処理部310が出力した発話情報や発話関連要求配信情報を、参加要請のあった端末20に送信する。また、通信部307は、処理部310が出力した議事録の情報を、議事録読出要求情報の送信元の端末20に送信する。
認証部308は、通信部307が出力した識別子を受け取り、通信を許可するか否か判別する。なお、会議支援装置30は、例えば、会議へ参加する利用者が使用する端末20の登録を受け付け、認証部308に登録しておく。認証部308は、判別結果に応じて、通信参加を許可する指示か、通信参加を許可しない指示を通信部307に出力する。
操作部309は、例えばキーボード、マウス、表示部311上に設けられているタッチパネルセンサー等である。操作部309は、利用者の操作結果を検出して、検出した操作結果を処理部310に出力する。
処理部310は、テキスト修正部305が出力した発話内容テキストから発話情報を生成し、通信部307に出力する。処理部310は、要求情報に応じた動作を行う。また、要求情報が発話関連要求通知情報である場合、処理部310は、発話関連要求配信情報を生成して通信部307に出力する。また、要求情報が議事録読出要求情報である場合、処理部310は、議事録・音声ログ記憶部50から議事録を読み出し、読み出した議事録の情報を通信部307に出力する。
表示部311は、処理部310が出力した画像データを表示する。表示部311は、例えば液晶表示装置、有機EL表示装置、電子インク表示装置等である。
なお、入力装置10がマイクロフォンアレイの場合、会議支援装置30は、音源定位部、音源分離部、および音源同定部をさらに備える。この場合、会議支援装置30は、取得部301が取得した音声信号に対して予め生成した伝達関数を用いて音源定位部が音源定位を行う。そして、会議支援装置30は、音源定位部が定位して結果を用いて話者同定を行う。会議支援装置30は、音源定位部が定位して結果を用いて、取得部301が取得した音声信号に対して音源分離を行う。そして、会議支援装置30の音声認識部302は、分離された音声信号に対して発話区間の検出と音声認識を行う(例えば特開2017−9657号公報参照)。また、会議支援装置30は、残響音抑圧処理を行うようにしてもよい。
図2は、端末20が備える処理部202の詳細な構成を示すブロック図である。処理部202は、表示制御部251、操作判定部252及び要求情報送信部253を備える。
表示制御部251は、通信部204から受信した情報が発話情報である場合、発話情報に含まれる話者の情報及び発話内容テキストを表示させる画像データを表示部203に表示させる。また、表示制御部251は、通信部204から受信した情報が発話関連要求配信情報である場合、発話関連要求配信情報に基づいて発話に関する要求を表示させる画像データを生成し、表示部203に表示させる。発話に関する要求とは、話速を遅くする要求、再度の発話の要求、又は、発話内容に対する詳細な説明の要求である。また、表示制御部251は、通信部204から受信した情報が議事録の情報である場合、議事録を表示させる画像データを生成し、表示部203に表示させる。
操作判定部252は、操作部201による操作が、要求情報の送信を指示する操作であると判定した場合、操作部201による操作の内容を要求情報送信部253に出力する。
要求情報送信部253は、操作部201による操作に応じた要求情報を生成し、通信部204に出力する。要求情報送信部253は、発話に関する要求を入力する操作が行われた場合、会議支援装置30宛の発話関連要求通知情報を生成して通信部204に出力する。要求情報送信部253は、議事録を要求する操作が行われた場合、会議支援装置30宛の議事録読出要求情報を生成して通信部204に出力する。通信部204は、発話関連要求通知情報や議事録読出要求情報を会議支援装置30に送信する。
図3は、会議支援装置30が備える処理部310の詳細な構成を示すブロック図である。処理部310は、発話情報送信部351、要求情報受信部352、通知配信部353、話速算出部354、および議事録送信部355を備える。
発話情報送信部351は、テキスト修正部305が出力した発話内容テキストに基づいて、発話情報を生成する。例えば、発話情報送信部351は、話者の利用者識別子及び発話時刻が付加された発話内容テキストに、話者の利用者識別子により特定される利用者表示情報と、発話識別子とを付加して発話情報を生成する。発話時刻を発話識別子として用いる場合、発話情報送信部351において発話識別子を割当てなくてもよい。発話情報送信部351は、参加要請した端末20宛の発話情報を通信部307へ出力する。
要求情報受信部352は、端末20が送信した要求情報を通信部307から受信し、要求情報を解析する。
通知配信部353は、要求情報受信部352により要求情報が発話関連要求通知情報であると判定された場合、発話関連要求配信情報を生成する。通知配信部353は、参加要請した端末20宛の発話関連要求配信情報を通信部307へ出力する。
話速算出部354は、テキスト変換部303が一定時間の音声信号をテキスト変換した結果得られた文字数に基づいて話速を算出する。話速算出部354は、算出した話速と閾値との比較により、話速が早いか否かを判定する。
議事録送信部355は、議事録・音声ログ記憶部50から読み出した議事録の情報を、議事録読出要求情報の送信元の端末20を宛先として通信部307へ出力する。
次に、会議システム1の処理手順例を説明する。以下では、複数の利用者A、B、C、D、…が、会議に参加している場合を例に説明する。会議の参加者である利用者A、B、C、D、…のそれぞれは端末20を使用し、それら参加者のうち一部が入力部11を使用する。利用者Aは、入力部11−1及び端末20−1を使用し、利用者Bは入力部11−2及び端末20−2を使用し、利用者Dは、端末20−3を使用し、入力部11を使用しないものとして説明する。利用者Cや他の参加者は、入力部11−1〜11−2以外の入力部11や端末20−1〜20−3以外の端末20を使用する。
図4は、本実施形態に係る会議システム1の処理手順例を示すシーケンス図である。同図は、入力部11−1〜11−2及び端末20−1〜20−3に関するシーケンスのみを示しているが、利用者Cや他の参加者が使用する入力部11、端末20についても同様に動作する。
(ステップS105〜S115)利用者Aは端末20−1の操作部201を操作して、利用者Bは端末20−2の操作部201を操作して、利用者Dは端末20−3の操作部201を操作して、会議に参加する。端末20−1〜20−3のそれぞれにおいて、操作判定部252は、会議への参加を要請する操作が行われたと判定し、要求情報送信部253は、参加要請を会議支援装置30に送信する。
(ステップS120)会議支援装置30の通信部307は、端末20−1〜20−3のそれぞれが送信した参加要請を受信する。続けて、通信部307は、端末20から受信した参加要請から、例えば、端末20を識別するための識別子を抽出する。会議支援装置30の認証部308は、通信部307が出力した識別子を受け取り、通信を許可するか否かの認証を行う。同図の例では、端末20−1〜20−3の参加を許可した例である。
(ステップS125)利用者Aが発話を行う。入力部11−1は、音声信号を会議支援装置30に出力する。
(ステップS130)会議支援装置30の音声認識部302は、入力部11−1から受信した音声信号に対して音声認識処理を行う。
(ステップS135)会議支援装置30のテキスト変換部303は、音声信号をテキストデータに変換する。
(ステップS140)会議支援装置30のテキスト修正部305は、テキスト変換部303により変換されたテキストデータである発話内容テキストに修正を行い、発話を行った利用者Aの利用者識別子と、発話時刻とを付加して、処理部310に出力する。会議支援装置30の発話情報送信部351は、テキスト修正部305が出力した発話内容テキストに、利用者Aの利用者表示情報と、発話識別子とを付加して発話情報を生成する。発話情報送信部351は、通信部307を介して発話情報を端末20−1〜20−3に送信する。
(ステップS145〜S155)端末20−1〜20−3それぞれにおいて、通信部204は、会議支援装置30が送信した発話情報を処理部202に出力する。端末20−1〜20−3のそれぞれにおいて、処理部202の表示制御部251は、受信した発話情報を表示部203上に表示させる。
(ステップS160)利用者Bが発話を行う。入力部11−2は、音声信号を会議支援装置30に送信する。
(ステップS165)会議支援装置30の音声認識部302は、入力部11−2から受信した音声信号に対して音声認識処理を行う。
(ステップS170)会議支援装置30のテキスト変換部303は、音声信号をテキストに変換する。
(ステップS175)会議支援装置30のテキスト修正部305は、テキスト変換部303により変換されたテキストデータである発話内容テキストに修正を行い、発話を行った利用者Bの利用者識別子と、発話時刻とを付加して、処理部310に出力する。会議支援装置30の発話情報送信部351は、テキスト修正部305が出力した発話内容テキストに、利用者Bの利用者表示情報と、発話識別子とを付加して発話情報を生成する。発話情報送信部351は、通信部307を介して発話情報を端末20−1〜20−3に送信する。
(ステップS180〜ステップS190)端末20−1〜20−3それぞれは、ステップS145〜ステップS155と同様に処理を行う。
(ステップS195)利用者Dは、端末20−3の操作部201を操作して、ゆっくり話してほしい、もう一度発話を繰り返してほしい、詳細に説明してほしいなど、発話に関する要求を入力する。端末20−3の処理部202において、操作判定部252は、発話に関する要求の入力操作が行われたと判定し、要求情報送信部253は、利用者の操作に応じた発話関連要求通知情報を会議支援装置30に送信する。
(ステップS200)会議支援装置30の処理部310は、端末20−3が送信した発話関連要求通知情報によって通知された発話に関する要求を配信するための発話関連要求配信情報を生成する。続けて、会議支援装置30の処理部310は、通信部307を介して生成した発話関連要求配信情報を端末20−1〜端末20−3のそれぞれに送信する。
(ステップS205〜ステップS215)端末20−1〜20−3それぞれにおいて通信部204は、会議支援装置30から受信した発話関連要求配信情報を処理部202に出力する。端末20−1〜20−3それぞれにおいて、表示制御部251は、発話関連要求配信情報に基づいて、発話に関する要求を表示部203上に表示させる。
図5は、端末20−1〜20−3の表示部203に表示される画面例を示す図である。同図は、会議システム1が、図4に示すステップS190までの処理を行ったのちに利用者Cが発話し、会議システム1が、さらに、ステップS130〜ステップS155と同様の処理を行った結果、表示される画面G10の例である。
画面G10には、アイコン画像の入室ボタンB1、退出ボタンB2、ゆっくりボタンB3、もう一度ボタンB4、詳しくボタンB5の表示と、及び発話表示領域G11が含まれる。さらに、画面G10には、任意の文字、定型文、絵文字を入力するためのアイコン画像のボタンが含まれる。
入室ボタンB1は、会議への参加を会議支援装置30に要請するためのボタンである。入室ボタンB1がタッチされると、端末20は、参加要請を会議支援装置30に送信する。退出ボタンB2は、会議からの退出を会議支援装置30に通知するためのボタンである。ゆっくりボタンB3、もう一度ボタンB4及び詳しくボタンB5は、発話に関する要求を入力するためのボタンである。ゆっくりボタンB3は、ゆっくり話すことを要求するためのボタンである。もう一度ボタンB4は、発話を繰り返してもらうよう要求するためのボタンである。詳しくボタンB5は、すでに発話された内容について詳しく話してもらうよう要求するためのボタンである。ゆっくりボタンB3、もう一度ボタンB4又は詳しくボタンB5がタッチされると、端末20は、発話関連要求通知情報を会議支援装置30に送信する。
発話表示領域G11には、話者の利用者表示情報と、その話者の発話内容を表すテキストとが、時系列に表示される。同図では、利用者表示情報は、「Aさん」、「Bさん」など、利用者の名前のテキストである。発話表示領域G11において、領域G12にはAさんを表す利用者表示情報とAさんの発話内容が表示され、領域G13にはBさんを表す利用者表示情報とBさんの発話内容が表示されている。
上記では、端末20の表示部203にアイコン画像でゆっくりボタンB3、もう一度ボタンB4及び詳しくボタンB5を表示させているが、それら各ボタンに対応する物理的なボタンを、端末20の筐体に、又は、端末20とは別に設けてもよい。
続いて、発話に関する要求が行われたときの図4のステップS195〜ステップS215における会議システム1の処理について説明する。
まず、端末20−3において、利用者DがゆっくりボタンB3をタッチしたときの会議システム1の処理について説明する。
図6は、端末20においてゆっくりボタンB3がタッチされたときの会議支援装置30の処理手順例を示すフロー図である。利用者Dは、Aさんにゆっくり話してもらいたいと思った場合、端末20−3が表示している画面G10(図5)において、Aさんの発話が表示されている領域G12にタッチする。このとき、端末20−3の表示制御部251は、領域G12の文字色を変える、背景色を変えるなどして、領域G12が選択されていることを表示してもよい。利用者Dは、さらに、ゆっくりボタンB3にタッチする。なお、ゆっくりボタンB3をタッチしてから、領域G12にタッチしてもよい。
端末20−3の操作判定部252は、領域G12が選択され、ゆっくりボタンB3が操作されたことを検出する。端末20−3の要求情報送信部253は、利用者Dにより指定された発話内容を含んだ発話情報から発話識別子及び利用者識別子を取得し、取得した発話識別子及び利用者識別子(対象話者情報)を設定した話速低減要求通知情報を会議支援装置30に送信する。
(ステップS310)会議支援装置30の通信部307は、端末20から話速低減要求通知情報を受信し、受信した話速低減要求通知情報を処理部310に出力する。要求情報受信部352は、話速低減要求通知情報を受信したと判断すると、受信した話速低減要求通知情報を通知配信部353に出力する。さらに、要求情報受信部352は、話速低減要求通知情報から取得した利用者識別子を設定した話速計測要求を話速算出部354に出力する。なお、端末20が話速低減要求通知情報に利用者識別子を設定しない場合、要求情報受信部352は、話速低減要求通知情報に設定されている発話識別子により特定される発話情報から利用者識別子を取得し、話速低減要求通知情報に付加する。
(ステップS320)通知配信部353は、話速低減要求通知情報に設定されている送信元の端末20−3の識別子を抽出し、抽出した識別子により特定される利用者Dの利用者表示情報「Dさん」を要求元利用者表示情報として取得する。通知配信部353は、話速低減要求通知情報に設定されている発話識別子により特定される利用者表示情報を、対象話者表示情報として取得する。通知配信部353は、例えば、対象話者表示情報「Aさん」に、話速低減要求通知情報に対応した定型文「、ゆっくり話してください。」を付加してテキストデータを生成する。生成されたテキストデータを、通知テキストとする。通知配信部353は、要求元利用者表示情報と、生成した通知テキストと、話速低減要求通知情報から取得した発話識別子とを設定した話速低減要求配信情報を生成する。
(ステップS330)通知配信部353は、会議に参加している各利用者の端末20それぞれを宛先に設定した話速低減要求配信情報を、通信部307に出力する。通信部307は、各利用者の端末20に話速低減要求配信情報を送信する。話速低減要求配信情報を受信した各端末20の表示制御部251は、話速低減要求配信情報に設定されている要求元利用者表示情報及び通知テキストを表示部203上に表示させる。
(ステップS340)いずれかの利用者が発話した場合、会議支援装置30の処理部310は、図4のステップS130〜ステップS140の動作を行う。会議支援装置30の話速算出部354は、テキスト変換部303から出力された発話内容テキストに設定されている利用者識別子が、話速計測要求に設定されている利用者識別子と一致するか否かにより、利用者Dが指定した利用者Aの発話であるか否かを判断する。話速算出部354は、利用者Aの発話ではないと判断した場合、ステップS370の処理を行い、利用者Aの発話であると判断した場合、ステップS350の処理を行う。
(ステップS350)会議支援装置30の話速算出部354は、テキスト変換部303から出力された利用者Aの音声データと発話内容テキストに基づいて、単位時間当たりの音声データに対応したテキストの文字数である話速を算出する。
(ステップS360)会議支援装置30の話速算出部354は、利用者Aの話速が予め決められた所定の閾値よりも早いか否かを判断する。話速算出部354が、利用者Aの話速は閾値より早いと判断した場合、処理部310は、ステップS330に戻って処理を行う。一方、話速算出部354が、利用者Aの話速は予め決められた閾値以下であると判断した場合、処理部310は、ステップS370の処理を行う。
(ステップS370)会議支援装置30の話速算出部354は、要求情報受信部352から通知された利用者識別子の利用者Aについて、話速の測定を終了するか否かを判断する。話速測定を終了する条件については任意に設定可能である。話速算出部354は、話速測定を終了しないと判断した場合、ステップS340からの処理を行い、終了すると判断した場合、図6の処理を終了する。
図7は、図5に示す画面G10においてゆっくりボタンB3を操作された後に端末20−1〜20−3の表示部203に表示される画面例を示す図である。同図に示す画面G20では、上述したステップS330において送信された話速低減要求配信情報に含まれる要求元利用者表示情報及び通知テキストが、発話表示領域G11内の領域G14に表示されている。同図に示す発話表示領域G11には、領域G14が表示された後の利用者の発話に基づく発話情報も表示されている。
上記においては、利用者は、発話を遅くするよう要求する対象の話者を指定しているが、話者を指定しなくてもよい。この場合、話速低減要求通知情報には発話識別子及び利用者識別子が設定されない。会議支援装置30の処理部310は、端末20から発話識別子も利用者識別子も設定されていない話速低減要求通知情報を受信すると、全利用者が指定話者であるとして動作する。この場合、通知配信部353は、対象話者表示情報として全員を表すテキスト(例えば、「みなさん」)を用いてもよく、対象話者を指定しない通知テキスト「ゆっくり話してください」を話速低減要求配信情報に設定してもよい。また、利用者は、ゆっくり話してもらいたい対象の利用者を端末20の操作部201により直接入力したり、表示部203に表示される利用者のリストから選択したりしてもよい。
また、上記において、会議支援装置30は、話速低減要求通知情報の受信後、指定話者のみの話速を計測しているが、全利用者の話速を計測対象としてもよい。
また、上記においては、利用者が端末20に行った操作を話速低減要求通知情報のトリガとしているが、会議支援装置30において話速が閾値を超えたことを検出したことをトリガとしてもよい。この場合、会議支援装置30の話速算出部354は、各利用者の話速を算出し、所定の話速を超える利用者を検出した場合に、話速低減要求通知情報を要求情報受信部352に出力する。話速低減要求通知情報には、所定の話速を超えたときの発話内容が設定された発話情報の発話識別子及び利用者識別子を設定する。通知配信部353は、話速低減要求配信情報に要求元利用者表示情報を設定しなくてもよく、システムを表す要求元利用者表示情報を設定してもよい。
次に、端末20−3において、利用者Dがもう一度ボタンB4をタッチしたときの会議システム1の処理について説明する。
図8は、端末20においてもう一度ボタンB4がタッチされたときの会議支援装置30の処理手順例を示すフロー図である。利用者Dは、端末20−3が表示している画面G10(図5)において、もう一度繰り返してもらいたい発話が表示されている領域G13をタッチする。このとき、端末20−3の表示制御部251は、領域G13の文字色を変える、背景色を変えるなどして、領域G13が選択されていることを表示してもよい。利用者Dは、さらに、もう一度ボタンB4をタッチする。なお、もう一度ボタンB4をタッチしてから、領域G13にタッチしてもよい。
端末20−3の操作判定部252は、領域G13が選択され、もう一度ボタンB4が操作されたことを検出する。端末20−3の要求情報送信部253は、利用者Dにより指定された発話内容を含んだ発話情報から発話識別子及び利用者識別子を取得し、取得した発話識別子(対象発話情報)及び利用者識別子を設定した再発話要求通知情報を会議支援装置30に送信する。
(ステップS410)会議支援装置30の通信部307は、端末20から再発話要求通知情報を受信し、受信した再発話要求通知情報を処理部310に出力する。要求情報受信部352は、再発話要求通知情報を受信したと判断すると、再発話要求通知情報を通知配信部353に出力する。なお、端末20が再発話要求通知情報に利用者識別子を設定しない場合、要求情報受信部352は、再発話要求通知情報に設定されている発話識別子により特定される発話情報から利用者識別子を取得し、再発話要求通知情報に付加する。
(ステップS420)通知配信部353は、再発話要求通知情報に設定されている送信元の端末20−3の識別子を抽出し、抽出した識別子により特定される利用者Dの利用者表示情報「Dさん」を要求元利用者表示情報として取得する。通知配信部353は、再発話要求通知情報に設定されている発話識別子により特定される利用者表示情報を、対象話者表示情報として取得する。通知配信部353は、例えば、対象話者表示情報「Bさん」に、再発話要求通知情報に対応した定型文「、もう一度話してください。」を付加して通知テキストを生成する。通知配信部353は、要求元利用者表示情報と、生成した通知テキストと、再発話要求通知情報から取得した発話識別子とを設定した再発話要求配信情報を生成する。
(ステップS430)通知配信部353は、会議に参加している各利用者の端末20それぞれを宛先に設定した再発話要求配信情報を、通信部307に出力する。通信部307は、各利用者の端末20に再発話要求配信情報を送信する。再発話要求配信情報を受信した端末20の表示制御部251は、再発話要求配信情報に設定されている要求元利用者表示情報及び通知テキストを表示部203上に表示させる。
図9は、図5に示す画面G10においてもう一度ボタンB4が操作された後に端末20−1〜20−3の表示部203に表示される画面例を示す図である。同図に示す画面G30では、上述したステップS430において送信された再発話要求配信情報に含まれる要求元利用者表示情報及び通知テキストが、発話表示領域G11内の領域G15に表示されている。同図に示す発話表示領域G11には、領域G15が表示された後の利用者の発話に基づく発話情報も表示されている。
上記においては、利用者が端末20に行った操作を再発話要求通知情報のトリガとしているが、会議支援装置30において話速が閾値を超えたことを検出したことをトリガとしてもよい。この場合、会議支援装置30の話速算出部354は、各利用者の話速を算出し、所定の話速を超える利用者を検出した場合に、再発話要求通知情報を要求情報受信部352に出力する。再発話要求通知情報には、所定の話速を超えたときの発話内容が設定された発話情報の発話識別子及び利用者識別子を設定する。通知配信部353は、再発話要求配信情報に要求元利用者表示情報を設定しなくてもよく、システムを表す要求元利用者表示情報を設定してもよい。
次に、端末20−3において、利用者Dが詳しくボタンB5をタッチしたときの会議システム1の処理について説明する。
図10は、端末20において詳しくボタンB5がタッチされたときの会議支援装置30の処理手順例を示すフロー図である。利用者Dは、端末20−3が表示している画面G10(図5)において、詳しく説明してもらいたい発話が表示されている領域G13をタッチする。このとき、端末20−3の表示制御部251は、領域G13の文字色を変える、背景色を変えるなどして、領域G13が選択されていることを表示してもよい。利用者Dは、さらに、詳しくボタンB5をタッチする。なお、詳しくボタンB5をタッチしてから、発話が表示されている領域G13をタッチしてもよい。
端末20−3の操作判定部252は、領域G13が選択され、詳しくボタンB5が操作されたことを検出する。端末20−3の要求情報送信部253は、利用者Dにより指定された発話内容を含んだ発話情報から発話識別子及び利用者識別子を取得し、取得した発話識別子(対象発話情報)及び利用者識別子を設定した詳細説明要求通知情報を会議支援装置30に送信する。
(ステップS510)会議支援装置30の通信部307は、端末20から詳細説明要求通知情報を受信し、受信した詳細説明要求通知情報を処理部310に出力する。要求情報受信部352は、詳細説明要求通知情報を受信したと判断すると、詳細説明要求通知情報を通知配信部353に出力する。なお、端末20が詳細説明要求通知情報に利用者識別子を設定しない場合、要求情報受信部352は、詳細説明要求通知情報に設定されている発話識別子により特定される発話情報から利用者識別子を取得し、詳細説明要求通知情報に付加する。
(ステップS520)通知配信部353は、詳細説明要求通知情報に設定されている送信元の端末20−3の識別子を抽出し、抽出した識別子により特定される利用者Dの利用者表示情報「Dさん」を要求元利用者表示情報として取得する。通知配信部353は、詳細説明要求通知情報に設定されている発話識別子により特定される利用者表示情報を、対象話者表示情報として取得する。通知配信部353は、例えば、対象話者表示情報「Bさん」に、詳細説明要求通知情報に対応した定型文「、詳しく話してください。」を付加して通知テキストを生成する。通知配信部353は、要求元利用者表示情報と、生成した通知テキストと、詳細説明要求通知情報から取得した発話識別子とを設定した詳細説明要求配信情報を生成する。
(ステップS530)通知配信部353は、会議に参加している各利用者の端末20それぞれを宛先に設定した詳細説明要求配信情報を、通信部307に出力する。通信部307は、各利用者の端末20に詳細説明要求配信情報を送信する。詳細説明要求配信情報を受信した端末20の表示制御部251は、詳細説明要求配信情報に設定されている要求元利用者表示情報及び通知テキストを表示部203上に表示させる。
図11は、図5に示す画面G10において詳しくボタンB5が操作された後に端末20−1〜20−3の表示部203に表示される画面例を示す図である。同図に示す画面G40では、上述したステップS530において送信された詳細説明要求配信情報に含まれる要求元利用者表示情報及び通知テキストが、発話表示領域G11内の領域G16に表示されている。同図に示す発話表示領域G11には、領域G16が表示された後の利用者の発話に基づく発話情報も表示されている。
なお、図7、図9、図11において、端末20の表示制御部251は、話速低減要求配信情報、再発話要求配信情報、又は詳細説明要求配信情報に設定されている発話識別子により特定される発話情報の表示の態様を変えてもよい。例えば、端末20の表示制御部251は、発話識別子により特定される発話情報に基づき表示している領域G12又は領域13の文字色を変える、背景色を変える、文字を点滅させるなどの表示を行ってもよい。また、端末20の表示制御部251は、領域G14、領域G15、および領域G16における文字色やフォントの大きさ、背景色などを、発話表示領域G11における発話内容の表示と変えて表示させてもよい。また、端末20の表示制御部251は、領域G14、領域G15、又は領域G16にテキストを追加表示させる際に、追加表示された領域G14、領域G15、又は領域G16、あるいは、発話表示領域G11全体の背景色を一定時間変えて表示させてもよい。また、領域G14、領域G15、又は領域G16における表示内容を、発話表示領域G11における任意の位置や、利用者Dが選択した領域G12又は領域13の近傍などにポップアップメッセージのように表示してもよく、その場合は一定時間後に表示を消去してもよい。
また、上記においては、利用者Dは、再発話を要求する対象や、詳細な説明を要求する対象を発話単位で指定しているが、文字列を指定してもよい。この場合、端末20−3の要求情報送信部253は、再発話要求通知情報又は詳細説明要求通知情報に、指定された文字列を示す指定文字列情報をさらに設定する。発話内容テキストに、形態素解析の結果が付加されている場合、指定文字列情報が単語単位で選択されるようにしてもよい。会議支援装置30の通知配信部353は、再発話要求配信情報に、再発話要求通知情報から取得した指定文字列情報をさらに設定し、詳細説明要求配信情報に、詳細説明要求通知情報から取得した指定文字列情報をさらに設定する。端末20の表示制御部251は、受信した再発話要求配信情報又は詳細説明要求配信情報から発話識別子及び指定文字列情報を読み出す。表示制御部251は、読み出した発話識別子により特定される発話情報のテキストに含まれ、かつ、指定文字列情報と一致する文字列の文字色を変える、背景色を変える、文字を点滅させるなどの表示を行う。また、詳細説明要求配信情報に設定するテキストに指定文字列情報を含めてもよい。例えば、上記の例では、指定文字列情報「○△」を用いた語句をさらに挿入して、通知テキスト「Bさん、○△について詳しく話してください。」を生成してもよい。
なお、端末20の要求情報送信部253は、話速低減要求配信情報、再発話要求配信情報、詳細説明要求配信情報に設定する要求元利用者表示情報及び通知テキストを生成し、話速低減要求通知情報、再発話要求通知情報、詳細説明要求通知情報に設定してもよい。この場合、端末20の要求情報送信部253は、要求元利用者表示情報を予め設定されている自端末の利用者の利用者表示情報に基づき生成する。また、端末20の要求情報送信部253は、通知テキストに設定する対象話者表示情報を、利用者が選択した発話内容に対応した発話者の利用者表示情報から取得する。
なお、上記において、会議支援装置30は、会議に参加している全利用者の端末20に、話速低減要求配信情報、再発話要求配信情報、詳細説明要求配信情報を送信しているが、発話を行う利用者の端末20へ送信するなど、一部の端末20にのみ送信してもよい。
会議支援装置30の通知配信部353は、話速低減要求配信情報、再発話要求配信情報、又は詳細説明要求配信情報に設定した要求元利用者表示情報及び通知テキストを議事録作成部306に出力する。議事録作成部306は、通知配信部353から出力された要求元利用者表示情報及び通知テキストを、発話情報と同様に議事録の情報に設定する。なお、会議支援装置30は、話速低減要求配信情報、再発話要求配信情報、又は詳細説明要求配信情報に設定した要求元利用者表示情報及び通知テキストについては、議事録の情報に含めないようにすることもできる。
なお、会議支援装置30の処理部310は、端末20の表示制御部251、操作判定部252及び要求情報送信部253と同様の機能を有してもよい。この場合、処理部310は、端末20において表示制御部251が表示部203に表示させる画面と同様の画面を表示部311に表示させ、端末20の操作部201による操作と同様の操作を、操作部309から受けてもよい。
[第2の実施形態]
上述した実施形態においては、入力部11としてマイクロフォンを使用していた。本実施形態では、入力部11は、マイクロフォンまたはキーボード(タッチパネル式のキーボードを含む)である。入力部11がマイクロフォンの場合、入力部11は、利用者の音声信号を収音し、収音した音声信号をアナログ信号からデジタル信号に変換して、デジタル信号に変換した音声信号を会議支援装置30に出力する。なお、入力部11は、アナログ信号の音声信号を会議支援装置30に出力するようにしてもよい。入力部11がキーボードの場合、入力部11は、利用者の操作を検出し、検出した結果のテキスト情報を会議支援装置30に出力する。入力部11がキーボードの場合、入力部11は、端末20の操作部201であってもよい。なお、入力部11は、音声信号またはテキスト情報を、有線のコードやケーブルを介して、会議支援装置30に出力するようにしてもよく、無線で会議支援装置30に送信するようにしてもよい。
この場合、会議の参加者は、マイクロフォンとキーボードのいずれを入力部11として用いるかを任意に選択可能である。例えば、参加者が聴覚障がい者である場合には、キーボードを入力部11として利用する。
会議支援装置30の取得部301は、入力部11からテキスト情報を受信した場合、受信したテキスト情報をテキスト修正部305に出力する。また、会議支援装置30の話速算出部354は、所定時間に入力されたテキスト情報の文字数を話速として算出する。
上述した実施形態によれば、会議における発話内容の音声認識に時間がかかってしまう場合や、音声認識された発話内容のテキストを読む速度が、表示が更新される速度に追いつかない場合に、話者にゆっくり話してもらうよう依頼することができる。よって、会議の発話内容をテキスト化する速度やテキスト化された発話内容を読む速度に合わせた発話を支援することが可能となる。また、発話の繰り返しや、すでに発話された内容に関する詳細な説明を話者に依頼することも可能となる。これにより、聴覚障がい者が参加する会議への配慮を促すことも可能となる。よって、聴覚障がい者も会議に参加しやすくなり、会議への理解が高まって、意見が出しやすくなるという効果を奏する。
なお、本発明における会議システム1の全てまたは一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより会議システム1が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
1…会議システム、10…入力装置、20−1,20−2…端末、30…会議支援装置、40…音響モデル・辞書DB、50…議事録・音声ログ記憶部、11−1,11−2,11−3…入力部、201…操作部、202…処理部、203…表示部、204…通信部、251…表示制御部、252…操作判定部、253…要求情報送信部、301…取得部、302…音声認識部、303…テキスト変換部、305…テキスト修正部、306…議事録作成部、307…通信部、308…認証部、309…操作部、310…処理部、311…表示部、351…発話情報送信部、352…要求情報受信部、353…通知配信部、354…話速算出部、355…議事録送信部

Claims (10)

  1. 1以上の端末それぞれが有する表示部に各話者の発話内容を表すテキスト情報を表示させる発話表示処理部と、
    前記話者の話速を遅くするよう要求する旨を通知する通知部と、
    を備えた会議システム。
  2. 前記通知部は、前記話者に再度の発話又は前記発話内容に対する詳細な説明を要求する旨を通知する、
    請求項1に記載の会議システム。
  3. 前記通知部は、前記通知を前記表示部に表示させる、
    請求項1又は請求項2に記載の会議システム。
  4. 発話を遅くするよう要求する対象の前記話者を示す対象話者情報を入力する対象話者入力部をさらに備え、
    前記通知部は、話速を遅くするよう要求する旨と、前記対象話者情報により示される前記話者の情報を前記表示部に表示させる、
    請求項1に記載の会議システム。
  5. 再度の発話を要求する対象又は詳細な説明を要求する対象の前記発話内容を示す対象発話情報を入力する対象発話入力部をさらに備え、
    前記通知部は、前記話者に再度の発話又は詳細な説明を要求する旨と、前記対象発話情報により示される前記発話内容を示す情報とを前記表示部に表示させる、
    請求項2に記載の会議システム。
  6. 前記通知部は、ボタン又は前記表示部に表示されるアイコン画像で構成される、
    請求項1から請求項5のいずれか一項に記載の会議システム。
  7. 前記話者の音声信号又は前記話者の発話内容を表すテキスト情報を入力する入力部と、
    前記入力部により入力された前記音声信号又は前記テキスト情報に基づいて話速を算出する話速算出部とをさらに備え、
    前記通知部は、前記話速算出部により算出された前記話速に基づいて話速を遅くするよう要求する旨を通知する、
    請求項1から請求項6のいずれか一項に記載の会議システム。
  8. 会議システムが実行する会議システム制御方法であって、
    1以上の端末それぞれが有する表示部に各話者の発話内容を表すテキスト情報を表示させる発話内容表示過程と、
    前記話者の話速を遅くするよう要求する旨を通知する通知過程と、
    を有する会議システム制御方法。
  9. 会議支援装置のコンピュータに、
    前記会議支援装置と接続される1以上の端末それぞれが有する表示部に各話者の発話内容を表すテキスト情報を表示させる発話内容表示過程と、
    前記話者の話速を遅くするよう要求する旨を通知する通知過程と、
    を実行させるためのプログラム。
  10. 会議支援装置と接続される端末のコンピュータに、
    前記会議支援装置から各話者の発話内容を表すテキスト情報を受信し、受信した前記テキスト情報を表示部に表示する発話内容表示過程と、
    前記会議支援装置から前記話者の話速を遅くするよう要求する旨の通知を受信し、受信した前記通知を前記表示部に表示する通知表示過程と、
    を実行させるためのプログラム。
JP2017070681A 2017-03-31 2017-03-31 会議システム、会議システム制御方法、およびプログラム Active JP6548045B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017070681A JP6548045B2 (ja) 2017-03-31 2017-03-31 会議システム、会議システム制御方法、およびプログラム
US15/934,402 US10741172B2 (en) 2017-03-31 2018-03-23 Conference system, conference system control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017070681A JP6548045B2 (ja) 2017-03-31 2017-03-31 会議システム、会議システム制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2018173752A true JP2018173752A (ja) 2018-11-08
JP6548045B2 JP6548045B2 (ja) 2019-07-24

Family

ID=63669788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017070681A Active JP6548045B2 (ja) 2017-03-31 2017-03-31 会議システム、会議システム制御方法、およびプログラム

Country Status (2)

Country Link
US (1) US10741172B2 (ja)
JP (1) JP6548045B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154847A (ja) * 2019-03-20 2020-09-24 Tis株式会社 配信システム、配信システムの制御方法、プログラム
WO2022004067A1 (ja) * 2020-06-30 2022-01-06 株式会社 東芝 コミュニケーションシステム
JP7384730B2 (ja) 2020-03-30 2023-11-21 本田技研工業株式会社 会議支援システム、会議支援方法、およびプログラム
JP7452299B2 (ja) 2020-07-10 2024-03-19 コニカミノルタ株式会社 会話支援システム、会話支援方法及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7026004B2 (ja) * 2018-06-13 2022-02-25 日本電信電話株式会社 会話補助装置、会話補助方法及びプログラム
CN113544772A (zh) * 2019-03-15 2021-10-22 富士通株式会社 编辑支持程序、编辑支持方法和编辑支持装置
US11920790B2 (en) * 2021-11-03 2024-03-05 General Electric Company Wavy annular dilution slots for lower emissions

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001127657A (ja) * 1999-10-28 2001-05-11 Nec Corp 放送情報の提供方法及び放送情報提供装置
JP2002101204A (ja) * 2000-09-22 2002-04-05 Katsuyuki Adachi 通話仲介システム及び聴覚障害者用電話機
JP2006317768A (ja) * 2005-05-13 2006-11-24 Toshiba Corp 話速変換装置、及びこの話速変換装置を制御する話速変換プログラム
JP2008256802A (ja) * 2007-04-02 2008-10-23 Fujitsu Ten Ltd 音声認識装置および音声認識方法
JP2014086014A (ja) * 2012-10-26 2014-05-12 Konami Digital Entertainment Co Ltd 表示装置、制御方法、およびプログラム
US20140214403A1 (en) * 2013-01-29 2014-07-31 International Business Machines Corporation System and method for improving voice communication over a network

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08194492A (ja) 1995-01-18 1996-07-30 Fujitsu Ltd 議事録作成支援装置
US8411835B2 (en) * 2008-02-28 2013-04-02 At&T Intellectual Property I, L.P. Methods and apparatus to manage conference calls
US8265671B2 (en) * 2009-06-17 2012-09-11 Mobile Captions Company Llc Methods and systems for providing near real time messaging to hearing impaired user during telephone calls

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001127657A (ja) * 1999-10-28 2001-05-11 Nec Corp 放送情報の提供方法及び放送情報提供装置
JP2002101204A (ja) * 2000-09-22 2002-04-05 Katsuyuki Adachi 通話仲介システム及び聴覚障害者用電話機
JP2006317768A (ja) * 2005-05-13 2006-11-24 Toshiba Corp 話速変換装置、及びこの話速変換装置を制御する話速変換プログラム
JP2008256802A (ja) * 2007-04-02 2008-10-23 Fujitsu Ten Ltd 音声認識装置および音声認識方法
JP2014086014A (ja) * 2012-10-26 2014-05-12 Konami Digital Entertainment Co Ltd 表示装置、制御方法、およびプログラム
US20140214403A1 (en) * 2013-01-29 2014-07-31 International Business Machines Corporation System and method for improving voice communication over a network

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154847A (ja) * 2019-03-20 2020-09-24 Tis株式会社 配信システム、配信システムの制御方法、プログラム
JP7098561B2 (ja) 2019-03-20 2022-07-11 Tis株式会社 配信システム、配信システムの制御方法、プログラム
JP7384730B2 (ja) 2020-03-30 2023-11-21 本田技研工業株式会社 会議支援システム、会議支援方法、およびプログラム
WO2022004067A1 (ja) * 2020-06-30 2022-01-06 株式会社 東芝 コミュニケーションシステム
JP7452299B2 (ja) 2020-07-10 2024-03-19 コニカミノルタ株式会社 会話支援システム、会話支援方法及びプログラム

Also Published As

Publication number Publication date
US10741172B2 (en) 2020-08-11
JP6548045B2 (ja) 2019-07-24
US20180286389A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
JP6548045B2 (ja) 会議システム、会議システム制御方法、およびプログラム
US11114091B2 (en) Method and system for processing audio communications over a network
KR101726945B1 (ko) 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감
WO2016194740A1 (ja) 音声認識装置、音声認識システム、当該音声認識システムで使用される端末、および、話者識別モデルを生成するための方法
JP2018174439A (ja) 会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラム
JP2018174442A (ja) 会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラム
JP7467635B2 (ja) 使用者端末、ビデオ通話装置、ビデオ通話システム、及びその制御方法
US20180288109A1 (en) Conference support system, conference support method, program for conference support apparatus, and program for terminal
JP2003216564A (ja) コミュニケーション支援方法、これを用いたコミュニケーションサーバ及びコミュニケーション支援システム
US11398224B2 (en) Communication system and method for providing advice to improve a speaking style
JP2021117371A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP6950708B2 (ja) 情報処理装置、情報処理方法、および情報処理システム
JP2014149571A (ja) コンテンツ検索装置
JP2020140169A (ja) 話者決定装置、話者決定方法、および話者決定装置の制御プログラム
JP7467636B2 (ja) 使用者端末、放送装置、それを含む放送システム、及びその制御方法
JP6824547B1 (ja) アクティブラーニングシステム及びアクティブラーニングプログラム
JP7316971B2 (ja) 会議支援システム、会議支援方法、およびプログラム
JP2019179081A (ja) 会議支援装置、会議支援制御方法およびプログラム
JP7471979B2 (ja) 会議支援システム
JP7384730B2 (ja) 会議支援システム、会議支援方法、およびプログラム
JP7293863B2 (ja) 音声処理装置、音声処理方法およびプログラム
JP2023135870A (ja) 補助装置
JP7070402B2 (ja) 情報処理装置
JP2023020622A (ja) 遠隔会議システム及びプログラム
JP2023149734A (ja) 検出プログラム、検出方法および検出装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190612

R150 Certificate of patent or registration of utility model

Ref document number: 6548045

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250